知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-22
(45)【発行日】2024-04-01
(54)【発明の名称】情報処理装置、情報処理装置の制御方法、及びプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240325BHJP
G06T 19/00 20110101ALI20240325BHJP
【ＦＩ】
H04N7/18 U
G06T19/00 A
【請求項の数】
7
(21)【出願番号】P 2023055188
(22)【出願日】2023-03-30
(62)【分割の表示】P 2018159231の分割
【原出願日】2018-08-28
(65)【公開番号】P2023083314
(43)【公開日】2023-06-15
【審査請求日】2023-04-27
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】松林 一弘
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２００７－１９５０９１（ＪＰ，Ａ）
【文献】特表２００８－５０２２２８（ＪＰ，Ａ）
【文献】国際公開第２０１２／０３２９９６（ＷＯ，Ａ１）
【文献】特開２０１８－８５７２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ １９／００
Ｇ０６Ｔ １５／００
Ｈ０４Ｎ ２３／００
(57)【特許請求の範囲】
【請求項1】
ユーザ操作に従って、仮想カメラが第１の方向に移動することを可能にするモードか前記仮想カメラが前記第１の方向に移動することを禁止するモードのいずれかに第１の設定を行う第１設定手段と、
ユーザ操作に従って、前記仮想カメラが第２の方向に移動することを可能にするモードか前記仮想カメラが前記第２の方向に移動することを禁止するモードのいずれかに第２の設定を行う第２設定手段と、
ユーザ操作に従って、前記仮想カメラが第３の方向に移動することを可能にするモードか前記仮想カメラが前記第３の方向に移動することを禁止するモードのいずれかに第３の設定を行う第３設定手段と、
前記仮想カメラが前記第１の方向に移動することを可能にするモードか前記仮想カメラが前記第１の方向に移動することを禁止するモードのいずれが設定されているかを示す第１の情報と、前記仮想カメラが前記第２の方向に移動することを可能にするモードか前記仮想カメラが前記第２の方向に移動することを禁止するモードのいずれが設定されているかを示す第２の情報と、前記仮想カメラが前記第３の方向に移動することを可能にするモードか前記仮想カメラが前記第３の方向に移動することを禁止するモードのいずれが設定されているかを示す第３の情報と、を表示装置に表示させる表示手段と、
を有し、
前記第１の設定と前記第２の設定と前記第３の設定とを互いに独立に行うことができること、
を特徴とする情報処理装置。
【請求項2】
ユーザ操作に従って、前記仮想カメラが第１の回転軸に対する回転移動することを可能にするモードか前記仮想カメラが前記第１の回転軸に対する回転移動することを禁止するモードのいずれかに第４の設定を行う第４設定手段と、
ユーザ操作に従って、前記仮想カメラが第２の回転軸に対する回転移動することを可能にするモードか前記仮想カメラが前記第２の回転軸に対する回転移動することを禁止するモードのいずれかに第５の設定を行う第５設定手段と、
ユーザ操作に従って、前記仮想カメラが第３の回転軸に対する回転移動することを可能にするモードか前記仮想カメラが前記第３の回転軸に対する回転移動することを禁止するモードのいずれかに第６の設定を行う第６設定手段と、
を更に有し、
前記第１の設定と前記第２の設定と前記第３の設定と前記第４の設定と前記第５の設定と前記第６の設定とを互いに独立に行うことができ、
前記表示手段は、前記仮想カメラが前記第１の回転軸に対する回転移動することを可能にするモードか前記仮想カメラが前記第１の回転軸に対する回転移動することを禁止するモードのいずれが設定されているかを示す第４の情報と、前記仮想カメラが前記第２の回転軸に対する回転移動することを可能にするモードか前記仮想カメラが前記第２の回転軸に対する回転移動することを禁止するモードのいずれが設定されているかを示す第５の情報と、前記仮想カメラが前記第３の回転軸に対する回転移動することを可能にするモードか前記仮想カメラが前記第３の回転軸に対する回転移動することを禁止するモードのいずれが設定されているかを示す第６の情報と、を前記表示装置に表示させること、
を特徴とする請求項１に記載の情報処理装置。
【請求項3】
ユーザ操作に従って、前記仮想カメラの画角を変更することを可能にするモードか前記仮想カメラの画角の変更を禁止するモードのいずれかに第７の設定を行う第７設定手段、
を更に有し、
前記第１の設定と前記第２の設定と前記第３の設定と前記第４の設定と前記第５の設定と前記第６の設定と前記第７の設定とを互いに独立に行うことができ、
前記表示手段は、前記仮想カメラの画角を変更することを可能にするモードか前記仮想カメラの画角の変更を禁止するモードのいずれが設定されているかを示す第７の情報を前記表示装置に更に表示させること、
を特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記表示手段は、前記仮想カメラの前記第１の方向における位置を示す情報と、前記仮想カメラの前記第２の方向における位置を示す情報と、前記仮想カメラの前記第３の方向における位置を示す情報と、を前記表示装置に更に表示させること、
を特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項5】
操作装置を介して前記仮想カメラを移動させるための入力情報を取得する取得手段と、
前記仮想カメラが前記第１の方向に移動することを可能にするモードが設定され、かつ、前記仮想カメラが前記第２の方向に移動することを可能にするモードが設定され、かつ、前記仮想カメラが前記第３の方向に移動することを禁止するモードが設定されている場合には、前記入力情報に、前記第３の方向に沿った前記仮想カメラの移動に関する情報が含まれていても、前記第３の方向への前記仮想カメラの移動を禁止する禁止手段と、
を更に有すること、
を特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項6】
ユーザ操作に従って、仮想カメラが第１の方向に移動することを可能にするモードか前記仮想カメラが前記第１の方向に移動することを禁止するモードのいずれかに第１の設定を行う第１設定工程と、
ユーザ操作に従って、前記仮想カメラが第２の方向に移動することを可能にするモードか前記仮想カメラが前記第２の方向に移動することを禁止するモードのいずれかに第２の設定を行う第２設定工程と、
ユーザ操作に従って、前記仮想カメラが第３の方向に移動することを可能にするモードか前記仮想カメラが前記第３の方向に移動することを禁止するモードのいずれかに第３の設定を行う第３設定工程と、
前記仮想カメラが前記第１の方向に移動することを可能にするモードか前記仮想カメラが前記第１の方向に移動することを禁止するモードのいずれが設定されているかを示す第１の情報と、前記仮想カメラが前記第２の方向に移動することを可能にするモードか前記仮想カメラが前記第２の方向に移動することを禁止するモードのいずれが設定されているかを示す第２の情報と、前記仮想カメラが前記第３の方向に移動することを可能にするモードか前記仮想カメラが前記第３の方向に移動することを禁止するモードのいずれが設定されているかを示す第３の情報と、を表示装置に表示させる表示工程と、
を含み、
前記第１の設定と前記第２の設定と前記第３の設定とを互いに独立に行うことができること、
を特徴とする情報処理方法。
【請求項7】
コンピュータを、請求項１乃至５のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想視点画像の生成において、任意の仮想視点を指定する操作を行なうための技術に関する。
【背景技術】
【0002】
近年、複数のカメラを異なる位置に配置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラの配置位置における画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理部に集約し、当該画像処理部において、仮想視点に基づくレンダリング等の処理を施し、さらにユーザ端末に仮想視点画像を表示することで実現される。
【0003】
この仮想視点画像において、視点の変更は、仮想三次元空間上に配置された仮想カメラの位置及び姿勢をコントローラで操作することにより行われる。具体的には、仮想カメラの位置をＸ、Ｙ、Ｚの３軸で制御し、また、仮想カメラの姿勢をパン、チルト、ロールの３軸で制御する。さらに、仮想カメラの画角をズーム軸、再生速度を時間軸で制御することも行われている。
【0004】
これまで、仮想視点画像における視点の変更では、上述の各々の操作軸を操作するために、複数のオペレータが操作軸毎に操作を分担していた。若しくは、１人のオペレータが両手を使って同時に２つのコントローラを操作するか、又は、上述の各々の操作軸に関して同時に操作が可能なコントローラを用いて操作することが行われていた。また、特許文献１には、所望の視点の映像を操作の負担を軽減して取得するために、過去に他のユーザが行った操作の履歴を保持し、その操作の履歴を推奨として提示（配信）するシステムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第２０１６／１７８３４０号
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、複数のオペレータが操作を分担する場合、他のオペレータが自分の意図と異なる操作をしてしまう恐れがあった。これにより、所望のカメラパラメータが得られないことがあった。また、多数の仮想視点画像を同時に作成する場合、オペレータの人数が多いと人件費がかさみ、制作コストが高くなる恐れもあった。
【0007】
一方、１人のオペレータが上述の各々の操作軸に対して同時に操作を行う場合、すべての操作軸の値を正確に調整するのは困難であった。また、一度作成したカメラパラメータに対して、一部の操作軸の値だけを指定して編集（調整）したいときにも、最初からすべての操作軸にして操作をやり直す必要があり、所望の仮想視点画像を得るのが困難であった。この点、特許文献１においても同様であり、つまりは、仮想視点操作の自由度に制約があった。
【0008】
そこで、本発明は、上記の従来の課題の少なくとも１つを解決するためになされたものであって、仮想視点の操作性を向上させることを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明の情報処理装置は、ユーザ操作に従って、仮想カメラが第１の方向に移動することを可能にするモードか前記仮想カメラが前記第１の方向に移動することを禁止するモードのいずれかに第１の設定を行う第１設定手段と、ユーザ操作に従って、前記仮想カメラが第２の方向に移動することを可能にするモードか前記仮想カメラが前記第２の方向に移動することを禁止するモードのいずれかに第２の設定を行う第２設定手段と、ユーザ操作に従って、前記仮想カメラが第３の方向に移動することを可能にするモードか前記仮想カメラが前記第３の方向に移動することを禁止するモードのいずれかに第３の設定を行う第３設定手段と、前記仮想カメラが前記第１の方向に移動することを可能にするモードか前記仮想カメラが前記第１の方向に移動することを禁止するモードのいずれが設定されているかを示す第１の情報と、前記仮想カメラが前記第２の方向に移動することを可能にするモードか前記仮想カメラが前記第２の方向に移動することを禁止するモードのいずれが設定されているかを示す第２の情報と、前記仮想カメラが前記第３の方向に移動することを可能にするモードか前記仮想カメラが前記第３の方向に移動することを禁止するモードのいずれが設定されているかを示す第３の情報と、を表示装置に表示させる表示手段と、を有し、前記第１の設定と前記第２の設定と前記第３の設定とを互いに独立に行うことができる。
【発明の効果】
【0010】
本発明によれば、仮想視点の操作性が向上する。
【図面の簡単な説明】
【0011】
【図1】画像処理システムについて説明するための図である。
【図2】情報処理装置の入出力部の模式図である。
【図3】カメラビューウィンドウを説明するための図である。
【図4】パイロットウィンドウのパイロットタブを説明するための図である。
【図5】パイロットウィンドウのカメラ制御タブを説明するための図である。
【図6】カメラ制御タブを選択したときのパイロットウィンドウの一部を抜粋した図である。
【図7】リプレイウィンドウを説明するための図である。
【図8】３軸コントローラを説明するための図である。
【図9】ズームコントローラを説明するための図である。
【図10】リプレイコントローラを説明するための図である。
【図11】仮想カメラの操作軸について説明するための図である。
【図12】情報処理装置の機能ブロックを示す図である。
【図13】情報処理装置における処理の手順を示したフローチャートである。
【図14】カメラパラメータを編集した結果を示す図である。
【図15】仮想カメラの操作軸について説明するための図である。
【図16】仮想カメラの操作軸について説明するための図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。
【0013】
図１は、画像処理システム１０について説明するための図である。より詳細には、図１（ａ）は画像処理システム１０の全体構成を示す図であり、また、図１（ｂ）は画像処理システム１０の情報処理装置１０３のハードウェア構成を示す図である。以下、図１（ａ）及び図１（ｂ）の各々について説明する。
【0014】
画像処理システム１０は、図１（ａ）に示されるように、撮影システム１０１、仮想視点画像生成サーバ１０２、情報処理装置１０３を備える。画像処理システム１０は、仮想視点画像を生成することができる。
【0015】
撮影システム１０１は、複数のカメラを各々、異なる位置に配置し、複数視点からの複数画像を同期撮影する。撮影システム１０１は、複数視点から同期撮影した複数画像を、仮想視点画像生成サーバ１０２に送信する。
【0016】
仮想視点画像生成サーバ１０２は、複数視点から同期撮影した複数画像を取得し、当該複数画像に基づいて、仮想カメラから見た仮想視点画像を生成する。なお、ここで、仮想カメラとは、撮影空間内を自由に移動可能な仮想的なカメラのことである。即ち、この仮想カメラでは、撮影空間内において、設置（配置）されたどのカメラとも異なる視点において撮影することができる。但し、仮想カメラの位置及び姿勢に一定の制限が課せられるようにしても良い。仮想カメラの視点は、後述する情報処理装置１０３が決定するカメラパラメータによって操作される。
【0017】
仮想視点画像生成サーバ１０２は、受信した複数画像から逐次、仮想視点画像を生成する。したがって、例えば、ライブ仮想視点画像を生成することができる。なお、画像処理システム１０において生成されるライブ仮想視点画像は、現在時刻に対して撮影システム１０１及び仮想視点画像生成サーバ１０２での処理遅延が考慮された時刻に撮影システム１０１により撮影された撮影画像に基づく仮想視点画像である。
【0018】
さらに、仮想視点画像生成サーバ１０２は、所定のデータベースを備え、受信した複数画像を記録する機能を有する。そのため、記録した複数画像から、過去の仮想視点画像、つまり、リプレイ仮想視点画像（即ち、任意の時刻において、撮影システム１０１により撮影された撮影画像に基づく仮想視点画像）を生成することができる。
【0019】
また、補足として、以降の説明において、特に断りがない限り、画像という用語は、動画と静止画の両方の概念を含むものとする。即ち、画像処理システム１０は、静止画像及び動画像のいずれについても、処理することができる。
【0020】
情報処理装置１０３は、仮想カメラを制御し、仮想カメラの視点を示すカメラパラメータを決定する。仮想カメラのカメラパラメータは、仮想カメラの位置、姿勢、ズーム、又は時刻の少なくともいずれか１つを指定するためのパラメータを含む。
【0021】
カメラパラメータにより指定される仮想カメラの位置は、例えば、３次元座標等で示される。具体的には、Ｘ軸、Ｙ軸、Ｚ軸の３軸の直交座標系の座標により示すことができる。この場合、カメラパラメータにより指定される仮想カメラの位置は、座標を示すものであり、Ｘ軸、Ｙ軸、Ｚ軸の３軸のパラメータから構成される。また、原点を、撮影空間内の任意の位置とすることもできる。
【0022】
カメラパラメータにより指定される仮想カメラの姿勢は、例えば、パン（Ｐａｎ）、チルト（Ｔｉｌｔ）、ロール（Ｒｏｌｌ）の３軸との成す角度等で示される。この場合、カメラパラメータにより指定される仮想カメラの姿勢は、パン、チルト、ロールの３軸のパラメータから構成される。カメラパラメータにより指定される仮想カメラのズームは、焦点距離の１軸のパラメータで示される。また、時刻についても、同様に、１軸のパラメータで示される。
【0023】
このように、仮想カメラのカメラパラメータは、８軸のパラメータを含み、また、情報処理装置１０３は、これらの８軸を制御することができる。なお、カメラパラメータとして、他の要素を規定するパラメータを含ませることもでき、また、上述した８軸のパラメータの全てを含ませないようにすることもできる。
【0024】
情報処理装置１０３は、決定した仮想カメラのカメラパラメータを、仮想視点画像生成サーバ１０２に送信する。仮想視点画像生成サーバ１０２は、仮想カメラのカメラパラメータを受信すると、その受信したカメラパラメータに基づいて、仮想視点画像を生成し、さらに、その生成した仮想視点画像を情報処理装置１０３に送信する。そして、情報処理装置１０３は、受信した仮想視点画像をカメラビュー３０１に表示する。なお、本実施形態のように１台の情報処理装置１０３によりライブ仮想視点画像とリプレイ仮想視点画像を生成しても、２台の情報処理装置を用いて、ライブ仮想視点画像とリプレイ仮想視点画像を各々、異なる情報処理装置により生成してもよい。また、上述の図１（ａ）では、仮想視点画像生成サーバ１０２と情報処理装置１０３とが別体として構成されているが、情報処理装置１０３に仮想視点画像生成サーバ１０２を含ませる構成としてもよい。
【0025】
次に、図１（ｂ）を用いて、情報処理装置１０３のハードウェア構成について説明する。情報処理装置１０３は、そのハードウェア構成として、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、通信部１１４、入出力部１１５を備える。
【0026】
ＣＰＵ（Central Processing Unit）１１１は、ＲＡＭ１１２に格納されているデータやＲＯＭ１１３に格納されているコンピュータプログラムを用いて、情報処理装置１０３の動作を制御する。ＲＡＭ（Random Access Memory）１１２は、ＲＯＭ１１３から読み出されたコンピュータプログラム、計算の途中結果である中間データ、通信部１１４を介して外部から供給されるデータ等を一時的に記憶する。ＲＯＭ（Read Only Memory）１１３は、変更を必要としないコンピュータプログラムやデータを保持する。なお、ＲＯＭ１１３には、電源が遮断されても保持しておく必要があるデータを記憶するための不揮発メモリも含まれるものとする。
【0027】
通信部１１４は、ＥｔｈｅｒｎｅｔやＵＳＢ（Universal Serial Bus）等の通信手段を備え、仮想視点画像生成サーバ１０２との通信を行う。入出力部１１５は、仮想カメラを制御するための複数のコントローラと、仮想カメラの状態等を表示する複数の表示部を備える。
【0028】
図２は、情報処理装置１０３の入出力部１１５の模式図である。入出力部１１５は、図２に示されるように、３つの表示部（２０１ａ、２０１ｂ、２０１ｃ）を備える。表示部２０１ａは、カメラビューウィンドウを表示する。カメラビューウィンドウは、仮想視点画像生成サーバ１０２から受信した仮想視点画像を表示するためのウィンドウである。表示部２０１ｂは、パイロットウィンドウを表示する。パイロットウィンドウは、仮想カメラを制御するためのウィンドウである。表示部２０１ｃは、リプレイウィンドウを表示する。リプレイウィンドウは、リプレイ仮想視点画像を生成及び編集するためのウィンドウである。
【0029】
なお、以降の説明において、表示部２０１ａ、２０１ｂ、２０１ｃを総称して、表示部２０１と記載することもある。また、情報処理装置１０３は、上述の各ウィンドウに対する操作を行うために、不図示のタッチパネル、マウス、キーボード等を備えてもよい。
【0030】
また、入出力部１１５は、図２に示されるように、４つのコントローラ２０２ａ、２０２ｂ、２０３、２０４を備える。入出力部１１５は、ユーザによるコントローラ操作に応じた、仮想カメラの制御を行うための指示を受け付ける。即ち、入出力部１１５は、仮想カメラの位置・姿勢等を変化させるため（制御するため）の指示を受け付ける。
【0031】
３軸コントローラ２０２ａ及び３軸コントローラ２０２ｂは、３軸を制御（操作）するコントローラである。３軸コントローラの各々の軸には、設定により任意の制御を割り当てることができる。３軸コントローラ２０２ａの各々の軸には、例えば、仮想カメラの位置を指定するためのＸ軸、Ｙ軸、Ｚ軸の制御を割り当てることができる。また、３軸コントローラ２０２ｂの各々の軸には、例えば、仮想カメラの姿勢を指定するためのパン、チルト、ロールの制御を割り当てることができる。
【0032】
ズームコントローラ２０３は、仮想カメラのズームを制御するコントローラである。リプレイコントローラ２０４は、リプレイ仮想視点画像を生成するための機能を制御するコントローラである。また、リプレイコントローラ２０４には、仮想カメラの時刻の制御も割り当てられる。
【0033】
なお、図２では、入出力部１１５に関して、３つの表示部を備える構成をその一例として示したが、１つ、２つ、又は４つ以上の表示部を備える構成としてもよい。同様に、図２では、入出力部１１５に関して、４つのコントローラを備える構成をその一例として示したが、３つ以下、又は５つ以上のコントローラを備える構成としてもよい。
【0034】
図３は、カメラビューウィンドウを説明するための図である。カメラビューウィンドウは、上述のように、表示部２０１ａに表示される。カメラビュー３０１は、仮想視点画像生成サーバ１０２から受信した仮想視点画像を表示する表示領域である。この仮想視点画像は、ユーザが制御する仮想カメラから見た仮想視点画像である。また、情報処理装置１０３は、仮想カメラの時刻を制御することで、過去の仮想視点画像を表示することもできる。
【0035】
シーン時刻３０２は、カメラビュー３０１が表示する仮想視点画像の生成に用いられる撮影画像の撮影時刻である。即ち、カメラビュー３０１に表示されている仮想視点画像の時刻である。
【0036】
シーン再生速度３０３は、カメラビュー３０１に表示されている仮想視点画像の再生速度である。このシーン再生速度３０３が１００％である場合、仮想視点画像は通常の再生速度で再生される。また、シーン再生速度３０３が１００％より小さい場合、仮想視点画像はスローで再生される。例えば、実時間における１秒間の映像を２秒間で再生する場合、シーン再生速度３０３は５０％となる。また、シーン再生速度３０３が１００％より大きい場合、仮想視点画像は早送りで再生される。
【0037】
なお、シーン再生速度３０３が０％である場合、カメラビュー３０１にはある撮影時刻の仮想視点画像が時間的に停止している状態で表示され、シーン時刻３０２は変動しない。但し、シーン再生速度３０３が０％である場合であっても、仮想カメラを制御することは可能である。具体的には、例えば、サッカーにおいて、特定の選手がボールを蹴った瞬間に、その特定の選手の周りをぐるりと回るような仮想視点画像を生成することができる。
【0038】
カメラビューの状態３０４は、カメラビュー３０１に表示されている仮想視点画像の状態である。具体的には、例えば、カメラビューの状態３０４として、以下の５つの状態（「Ｒｅｖｉｅｗ ｒｅｐｌａｙ ｃｌｉｐ」、「Ｌｉｖｅ」、「Ｒｅｃｏｒｄｉｎｇ」、「Ｅｄｉｔ ｒｅｐｌａｙ」、「Ｎｏｎｅ」）がある。
【0039】
「Ｒｅｖｉｅｗ ｒｅｐｌａｙ ｃｌｉｐ」は、リプレイクリップの仮想視点画像を再生している状態である。「Ｌｉｖｅ」は、ライブの仮想視点画像を再生している状態である。「Ｒｅｃｏｒｄｉｎｇ」は、リプレイクリップを録画している状態である。「Ｅｄｉｔ ｒｅｐｌａｙ」は、録画したリプレイクリップを編集している状態である。「Ｎｏｎｅ」は、その他の状態である。
【0040】
図４は、パイロットウィンドウのパイロットタブを説明するための図である。パイロットウィンドウは、上述のように、表示部２０１ｂに表示される。切り換えボタン４０１は、パイロットウィンドウに表示する内容を切り替えるためのボタンであり、パイロットタブとカメラ制御タブで構成される。パイロットタブを選択すると、表示部２０１ｂには、主に仮想カメラの状態が表示される。また、カメラ制御タブを選択すると、表示部２０１ｂには、主に仮想カメラの制御に関する情報が表示される。
【0041】
コンテキストビュー４０８は、ユーザが制御している仮想カメラの位置・姿勢等を俯瞰的に表示する表示領域である。図４に示す例では、パイロットウィンドウは、コンテキストビュー４０８を４面含んでいる。図４に示されるように、左上のコンテキストビュー４０８にはフィールドを真上から見た画像が表示され、左下のコンテキストビュー４０８には、左上のコンテキストビュー４０８において、その左側からフィールドの長辺方向に沿って見た画像が表示されている。また、右下のコンテキストビュー４０８には、左上のコンテキストビュー４０８において、その下側からフィールドの短辺方向に沿って見た画像が表示され、右上のコンテキストビュー４０８にはフィールドを斜め上から見下ろした画像が表示されている。
【0042】
これらの画像は、例えば、スタジアムのモデルのＣＧ（Computer Graphics）画像を用いて生成される。或いは、コンテキストビュー４０８用の仮想カメラを別途、用意し、仮想視点画像を生成してもよい。ユーザは、コンテキストビュー４０８を確認することで、撮影空間（例えば、スタジアム）における仮想カメラの位置・姿勢等を容易に把握することができる。
【0043】
カメラパラメータ表示４１０は、仮想カメラのカメラパラメータを表示する。ここでは、仮想カメラのカメラパラメータとして、仮想カメラの位置を示す座標値、仮想カメラの姿勢を示すパン、チルト、ロール、及びズーム等を表示する。また、情報処理装置１０３は、ＧＵＩ（Graphical User Interface）において、各種パラメータに対応するバーの操作を受け付けた場合、カメラパラメータの値を変更することができる。なお、カメラパラメータのうち、仮想カメラの時刻は、シーン時刻３０２に表示される。仮想カメラ画角表示４１２は、撮影空間内で、仮想カメラの位置と姿勢を示すＣＧである。
【0044】
図５は、パイロットウィンドウのカメラ制御タブを説明するための図である。Ｘ軸制御設定５０１は、仮想カメラのＸ軸方向（左右方向）への移動に関する各種の設定を行うための設定部である。Ｙ軸制御設定５０２は、仮想カメラのＹ軸方向（前後方向）への移動に関する各種の設定を行うための設定部である。Ｚ軸制御設定５０３は、仮想カメラのＺ軸方向（上下方向）への移動に関する各種の設定を行うための設定部である。
【0045】
パン制御設定５０４は、仮想カメラのパン方向への回転に関する各種の設定を行うための設定部である。チルト制御設定５０５は、仮想カメラのチルト方向への回転に関する各種の設定を行うための設定部である。ロール制御設定５０６は、仮想カメラのロール方向への回転に関する各種の設定を行うための設定部である。ズーム制御設定５０７は、仮想カメラのズームに関する各種の設定を行うための設定部である。
【0046】
図６は、図５のカメラ制御タブを選択したときのパイロットウィンドウの一部を抜粋した図である。図６において、操作軸名５１１は、各操作軸の項目名を示す。カメラパラメータ値５１２は、各操作軸に対する操作に応じて決定された各カメラパラメータの現在の値を示す。スライドバー５１３は、コントローラの操作量に対するカメラパラメータの変化速度等の各種設定を行うためのスライドバーである。
【0047】
Ｏｎスイッチ５１４は各操作軸の編集操作を有効にするためのスイッチであり、Ｏｆｆスイッチ５１５は各操作軸の編集操作を無効にするためのスイッチである。具体的には、Ｏｎスイッチ５１４をクリックすると、当該操作軸において編集操作が可能な状態（Ｏｎ状態）となり、当該操作軸のＯｎスイッチ５１４が強調表示されるとともに、当該操作軸のＯｆｆスイッチ５１５が非強調表示される。また、Ｏｆｆスイッチ５１５をクリックすると、当該操作軸において編集操作が不可の状態（Ｏｆｆ状態）となり、当該操作軸のＯｆｆスイッチ５１５が強調表示されるとともに、当該操作軸のＯｎスイッチ５１４が非強調表示される。図６において、図６（ａ）はすべての操作軸においてＯｎ状態である場合を示しており、また、図６（ｂ）は仮想カメラの位置を指定するためのＸ軸、Ｙ軸、Ｚ軸においてＯｆｆ状態、それ以外の操作軸においてＯｎ状態である場合を示している。
【0048】
なお、各操作軸の編集操作に関して、有効又は無効を切り替える機能が実装されたものであれば、必ずしも上述の形態（即ち、Ｏｎスイッチ５１４、Ｏｆｆスイッチ５１５）に限定されない。したがって、例えば、１つのスイッチやボタン等で、各操作軸の編集操作の有効又は無効を切り替えるようにしてもよい。また、Ｏｎスイッチ５１４、Ｏｆｆスイッチ５１５は、他のウィンドウ（例えば、図４のパイロットタブを選択したときのパイロットウィンドウのカメラパラメータ表示４１０等）に表示させてもよい。
【0049】
図７は、リプレイウィンドウを説明するための図である。リプレイウィンドウは、主にリプレイクリップの生成に関連する情報を表示する。リプレイクリップリスト６０４は、ユーザが生成したリプレイクリップ６０５を管理するためのリストである。なお、図７のリプレイクリップリスト６０４において、新しいリプレイクリップ６０５から順に表示している。
【0050】
リプレイクリップ６０５は、仮想カメラのカメラパラメータを記録したものである。即ち、情報処理装置１０３は、リプレイクリップ６０５を画像としてではなく、カメラパラメータとして記録する。そして、この記録されたカメラパラメータの仮想視点画像を順に生成したものがリプレイ画像となる。
【0051】
リプレイウィンドウにおいて、リプレイクリップ編集ボタン６０６が押下されると、リプレイクリップの編集が開始される。リプレイクリップ編集では、一度作成したカメラパラメータをより良いカメラパラメータにするために、再操作して修正することが行われる。そして、この作成したカメラパラメータの修正では、仮想カメラの操作軸のうち、指定した操作軸の値のみが変化し、それ以外の操作軸においては前回の値が維持（保持）される。これにより、１度の操作（修正）において、操作対象とする操作軸を減らすことができるため、即ち、仮想視点操作の自由度を向上させることができるため、操作の負担を軽減したり、オペレータを減らしたりすることができる。
【0052】
タイムライン６０７には、試合の進行に合わせて、１フレーム毎に仮想カメラのカメラパラメータが記録される。なお、タイムライン６０７には、仮想カメラのパラメータが次のように記録される。情報処理装置１０３がライブの仮想視点画像の生成に使用されている場合、タイムライン６０７には、そのときの仮想カメラのカメラパラメータが記録される。情報処理装置１０３がリプレイの仮想視点画像の生成に使用されている場合、タイムライン６０７には、仮想カメラのカメラパラメータは記録されない。
【0053】
タイムライン６０７上の１点がクリックされると、クリックされた時刻にジャンプし、その時刻に対応するフレームのカメラパラメータの値が仮想カメラに設定される。なお、対応するフレームにカメラパラメータが記録されていない場合には、クリック時の仮想カメラのカメラパラメータが適用される。即ち、この場合、位置・姿勢はそのままで、時刻のみがジャンプすることになる。
【0054】
図８は、３軸コントローラ２０２を説明するための図である。３軸コントローラ２０２は、１つの３軸コントローラ２０２で３軸の制御が可能であり、６個のつまみ８０１～８０６、６個のボタン８０７～８１２、シーソースイッチ８１３、３軸ジョイスティック８１４を備える。本実施形態では、２つの３軸コントローラ２０２を用いて、６軸の制御を割り当てる。以下、一方の３軸コントローラ２０２ａにＸ、Ｙ、Ｚの３軸の制御を割り当て、他方の３軸コントローラ２０２ｂにパン、チルト、ロールの３軸の制御を割り当てる。
【0055】
次に、３軸コントローラ２０２ａのつまみ、ボタン、シーソースイッチ、及び３軸ジョイスティックに割り当てられる機能について説明する。３軸コントローラ２０２ａにおいて、ボタン８０７には、Ｘ軸のＯｎ／Ｏｆｆが割り当てられ、ボタン８０８には、Ｙ軸のＯｎ／Ｏｆｆが割り当てられ、さらに、ボタン８０９には、Ｚ軸のＯｎ／Ｏｆｆが割り当てられる。また、シーソースイッチ８１３には、Ｚ軸が割り当てられ、３軸ジョイスティック８１４には、左右への倒しはＸ軸、前後への倒しはＹ軸が割り当てられる。なお、左右へのひねりは、３軸コントローラ２０２ａにおいて、割り当てられていない。
【0056】
同様に、３軸コントローラ２０２ｂのつまみ、ボタン、シーソースイッチ、及び３軸ジョイスティックに割り当てられる機能について説明する。３軸コントローラ２０２ｂにおいて、ボタン８０７には、パンのＯｎ／Ｏｆｆが割り当てられ、ボタン８０８には、チルトのＯｎ／Ｏｆｆが割り当てられ、さらに、ボタン８０９には、ロールのＯｎ／Ｏｆｆが割り当てられる。また、３軸ジョイスティック８１４には、左右への倒しはパン、前後への倒しはチルト、左右へのひねりはロールが割り当てられる。なお、３軸コントローラ２０２ｂにおいて、シーソースイッチ８１３には、所定の機能は割り当てられていない。
【0057】
その他、補足として、ジョイスティックに関して、３軸より多い操作軸の制御が可能なジョイスティックを用いることもできる。例えば、ジョイスティックの左右への平行移動はＸ軸、前後への平行移動はＹ軸、引き上げ／押し下げはＺ軸、左右への倒しはパン、前後への倒しはチルト、左右へのひねりはロールが割り当てられるようにしてもよい。
【0058】
図９は、ズームコントローラ２０３を説明するための図である。ズームコントローラ２０３は、２個のつまみ９０１、９０２、４個のボタン９０３～９０６、ダイヤル９０７、シーソースイッチ９０８を備える。ズームコントローラ２０３において、ボタン９０３には、ズームのＯｎ／Ｏｆｆが割り当てられ、ダイヤル９０７には、フォーカスが割り当てられ、シーソースイッチ９０８には、ズームが割り当てられる。
【0059】
図１０は、リプレイコントローラ２０４を説明するための図である。リプレイコントローラ２０４は、１３個のボタン１００１～１０１３、スライダー１０１４、ジョグホイール１０１５、フィンガーホイール１０１６を備える。以下、リプレイコントローラ２０４において、割り当てられる機能について説明する。
【0060】
ボタン１０１０にはＲＥＣが割り当てられ、このボタン１０１０が押下されると、リプレイクリップの作成が開始され、以降において、ユーザが操作した仮想カメラのパラメータがリプレイクリップとして記録される。ボタン１０１１にはＰＬＡＹ／ＰＡＵＳＥが割り当てられ、このボタン１０１１によりシーンの再生と一時停止が行われる。なお、一時停止されている間は、仮想カメラの時刻を停止する。さらに、ボタン１０１２にはＲＥＶＩＥＷが割り当てられ、このボタン１０１２が押下されると、リプレイクリップの再生が開始される。
【0061】
スライダー１０１４は、シーン再生速度を設定するためのスライダーである。このスライダー１０１４によりシーン再生速度が設定されると、仮想カメラの時刻は、設定されたシーンの再生速度に応じて、変更される。ジョグホイール１０１５は、時刻を設定するためのものである。このジョグホイール１０１５により、時刻の巻き戻し、早送り等が行われる。また、フィンガーホイール１０１６は、フレーム単位で時刻を設定するためのものである。このフィンガーホイール１０１６により、時刻の巻き戻し、先送り等がフレーム単位で行われる。即ち、フィンガーホイール１０１６では、ジョグホイール１０１５よりも時刻を細かく制御することができる。
【0062】
なお、コントローラ２０２、２０３、２０４において、上述で説明した以外のつまみ、ボタン、スイッチ等については、本実施形態に関係ないので、その説明を省略する。また、上述の機能以外の機能、例えば、被写界深度調整やフォーカス調整等の機能を割り当てることもできる。以下、図１１～図１６を参照して、各実施形態について説明する。
【実施形態１】
【0063】
図１１は、仮想カメラの操作軸について説明するための図である。操作軸のうち、Ｘ軸７０３、Ｙ軸７０４、Ｚ軸７０５は、仮想カメラの移動操作方向に対応する。なお、Ｘ軸７０３、Ｙ軸７０４、Ｚ軸７０５は互いに直交し、Ｚ軸７０５は、仮想カメラ７０１の姿勢によらず、常に地面７０２に垂直な方向である。そのため、Ｘ軸７０３とＹ軸７０４は、カメラの姿勢によらず、常に地面７０２に水平な方向である。また、Ｘ軸７０３とＹ軸７０４は、仮想カメラ７０１の姿勢によって方向が変わる。仮想カメラ７０１の光軸を地面７０２に水平な面に投影した方向がＹ軸７０４であり、仮想カメラ７０１の光軸に直交する方向がＸ軸７０３である。操作軸のうち、Ｐａｎ軸（パン軸）７０６はＺ軸７０５、Ｔｉｌｔ軸（チルト軸）７０７はＸ軸７０３、Ｒｏｌｌ軸（ロール軸）７０８はＹ軸７０４を各々回転軸とした回転操作方向に対応する。
【0064】
図１１（ａ）及び図１１（ｂ）は、仮想カメラ７０１をＺ軸方向から見た図である。図１１（ａ）の状態から仮想カメラをパンさせる（即ち、Ｚ軸を回転軸として回転させる）と、図１１（ｂ）の状態になる。図１１（ｃ）及び図１１（ｄ）は、仮想カメラ７０１をＹ軸方向から見た図である。図１１（ｃ）の状態から仮想カメラをロールさせる（即ち、Ｙ軸を回転軸として回転させる）と、図１１（ｄ）の状態になる。図１１（ｅ）及び図１１（ｆ）は、仮想カメラ７０１をＸ軸方向から見た図である。図１１（ｅ）の状態から仮想カメラをチルトさせる（即ち、Ｘ軸を回転軸として回転させる）と、図１１（ｆ）の状態になる。
【0065】
なお、各操作軸への操作に応じて、各カメラパラメータがどのように変化するかは、図６のカメラ制御タブを選択したときのパイロットウィンドウのスライドバー５１３の設定による。また、操作軸とカメラパラメータの項目とは、１対１に対応するとは限らない。例えば、操作軸のＸ軸は仮想カメラに対して左右方向、Ｙ軸は仮想カメラに対して前後方向であるが、カメラパラメータのＸ軸はグラウンドの長辺方向、Ｙ軸はグラウンドの短辺方向としてもよい。この場合、カメラパラメータのＸ軸の現在値及びＹ軸の現在値と、操作軸のＸ軸の値及びＹ軸の値とを相互に組み合わせることによって、編集後のカメラパラメータのＸ軸の値及びＹ軸の値が決定される。具体的には、例えば、Ｘ軸をＯｆｆ（編集不可）、Ｙ軸をＯｎ（編集可能）に設定した場合に、仮想カメラを前後方向に移動させると、グラウンドに対して斜め方向の移動であれば、カメラパラメータのＸ軸の値及びＹ軸の値は、いずれも変化する。
【0066】
図１２は、情報処理装置１０３の機能ブロックを示す図である。入出力部１２０は、上述のコントローラ２０２ａ－２０４、及び表示部２０１ａ－２０１ｃで構成される入出力部１１５により実現される機能であり、仮想カメラを制御するための複数のコントローラと、仮想カメラの状態等を表示する。
【0067】
設定部１２１は、コントローラの操作に応じて、各種カメラパラメータを設定する。例えば、図６のカメラ制御タブを選択したときのパイロットウィンドウにおける各種設定や、図８の３軸コントローラの各種ボタンによる設定が該当する。なお、設定部１２１において設定された値は、設定記憶部１２２に記憶される。
【0068】
カメラパラメータ編集部１２３は、入出力部１２０を介したユーザからの操作に応じて、カメラパラメータを編集する。具体的には、カメラパラメータ編集部１２３は、動画のシーンの開始時点からシーンの終了時点までの各フレームにおいて、入出力部１２０における操作に応じて仮想カメラの位置と視野を設定することで、カメラパラメータを編集する。カメラパラメータ記憶部１２４は、カメラパラメータ編集部１２３により編集されたカメラパラメータを、三次元オブジェクトデータの時間経過に対応付けて記憶する。
【0069】
ウィンドウ制御部１２５は、カメラビューウィンドウ、パイロットウィンドウ、リプレイウィンドウ等の各種ウィンドウの表示制御を行う。ウィンドウ制御部１２５は、カメラビューウィンドウにおいて、各フレームにおけるカメラパラメータをカメラパラメータ記憶部１２４から読み出し、仮想視点画像生成サーバ１０２に渡す。さらに、ウィンドウ制御部１２５は、入出力部１１５の表示部２０１ａのカメラビューウィンドウ内に仮想視点画像生成サーバ１０２が生成した仮想視点画像を表示させる。また、ウィンドウ制御部１２５は、パイロットウィンドウにおいて、各フレームにおけるカメラパラメータをカメラパラメータ記憶部１２４から読み出し、カメラパラメータの位置、姿勢に応じて仮想カメラ画角表示４１２を描画する。
【0070】
図１３は、情報処理装置１０３における処理の手順を示したフローチャートである。なお、以下において、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。即ち、ここでは、フローチャートの各処理ステップＳ１０１～ステップＳ１１４をＳ１０１～Ｓ１１４と略記する。
【0071】
Ｓ１０１において、カメラパラメータ編集部１２３は、カメラパラメータ記憶部１２４に記憶済みのカメラパラメータの中からオペレータによって指定された１つのカメラパラメータを読み出す。具体的には、図７に示すリプレイウィンドウにおいて、表示されているリプレイクリップリスト６０４を表示し、オペレータがリストの中から１つのリプレイクリップ６０５を選択（指定）する。
【0072】
Ｓ１０２において、カメラパラメータ編集部１２３は、シーンの開始フレームを処理対象として設定する。Ｓ１０３において、カメラパラメータ編集部１２３は、シーンの開始フレームにおける仮想カメラパラメータを読み出す。Ｓ１０４においては、ウィンドウ制御部１２５は、カメラパラメータ記憶部１２４から仮想カメラパラメータを読み出して、カメラビューウィンドウ及びパイロットウィンドウを更新する。カメラビューウィンドウの更新では、仮想視点画像生成サーバ１０２に仮想カメラパラメータを渡し、仮想視点画像生成サーバ１０２において生成された仮想視点画像をカメラビューウィンドウ（カメラビュー）に表示させる。また、パイロットウィンドウの更新では、仮想カメラ画角表示４１２をカメラパラメータの位置、姿勢に応じて描画する。なお、Ｓ１０４からＳ１１４までの処理は、動画シーンのフレーム毎に実行される処理である。
【0073】
Ｓ１０５において、カメラパラメータ編集部１２３は、コントローラの各操作軸に対する操作を取得する。Ｓ１０６において、カメラパラメータ編集部１２３は、カメラパラメータの最初の操作軸を処理対象とする。具体的には、例えば、Ｘ軸、Ｙ軸、Ｚ軸、Ｐａｎ軸、Ｔｉｌｔ軸、Ｒｏｌｌ軸、Ｚｏｏｍ軸の順に処理を行う場合に、先ず、Ｘ軸を処理対象とする。
【0074】
Ｓ１０７において、カメラパラメータ編集部１２３は、設定記憶部１２２に記憶されている情報（設定値）を参照して、当該操作軸（処理対象の操作軸）が編集可（Ｏｎ）として指定されているか否かを判定する。即ち、編集可否を判定する。情報処理装置１０３は、当該操作軸が編集可能として指定されていれば（１０７ Ｙｅｓ）、処理をＳ１０８に移行させ、また、当該操作軸が編集可能として指定されていなければ（Ｓ１０７ Ｎｏ）、処理をＳ１０９に移行させる。なお、Ｓ１０７からＳ１１２までの処理は、操作軸毎に実行される処理である。
【0075】
Ｓ１０８において、カメラパラメータ編集部１２３は、Ｓ１０５で取得したコントローラ操作に基づいて、当該操作軸のカメラパラメータの値を導出（算出）する。他方、Ｓ１０９において、カメラパラメータ編集部１２３は、Ｓ１０１で指定された既存カメラパラメータの当該フレームの当該操作軸のパラメータの値をカメラパラメータ記憶部１２４から読み出す。
【0076】
Ｓ１１０において、カメラパラメータ編集部１２３は、上述のＳ１０８で算出した値、又はＳ１０９で取得した値を、編集中のカメラパラメータの当該フレームの当該操作軸の値としてカメラパラメータ記憶部１２４に記憶する。
【0077】
Ｓ１１１において、カメラパラメータ編集部１２３は、当該操作軸（処理対象の操作軸）が処理順序の最後の操作軸であるか否かを判定する。情報処理装置１０３は、当該操作軸が処理順序の最後の操作軸である場合（Ｓ１１１ Ｙｅｓ）、処理をＳ１１３に移行させ、また、当該操作軸が処理順序の最後の操作軸でない場合（Ｓ１１１ Ｎｏ）、処理をＳ１１２に移行させる。
【0078】
Ｓ１１２において、カメラパラメータ編集部１２３は、その次の操作軸を処理対象として設定し、さらに、処理をＳ１０７に返す。具体的には、例えば、Ｘ軸、Ｙ軸、Ｚ軸、Ｐａｎ軸、Ｔｉｌｔ軸、Ｒｏｌｌ軸、Ｚｏｏｍ軸の順に処理を行う場合に、現在の処理対象がＸ軸であれば、その次の処理対象（操作軸）としてＹ軸を新たに設定する。
【0079】
Ｓ１１３において、カメラパラメータ編集部１２３は、現在のフレームがシーンの最後のフレーム（最終のフレーム）であるか否かを判定する。情報処理装置１０３は、最後のフレームであれば、図１３に示すフローチャートの処理を終了し、最後のフレームでなければ、処理をＳ１１４に移行させる。Ｓ１１４において、カメラパラメータ編集部１２３は、現在のフレームの次のフレームを編集対象として設定し、さらに、処理をＳ１０４に返す。
【0080】
図１４は、カメラパラメータを編集した結果を示す図である。図１４において、オブジェクト１４０２は軌跡１４０５に沿って移動しており、オペレータは、オブジェクト１４０２を追うように、仮想カメラ１４０１を軌跡１４０４に沿って移動させている。また、ここでは、３軸コントローラ２０２ａにはＸ軸、Ｙ軸、Ｚ軸の操作、３軸コントローラ２０２ｂにはＰａｎ軸、Ｔｉｌｔ軸、Ｒｏｌｌ軸の操作、ズームコントローラ２０３にはＺｏｏｍ軸の操作が割り当てられているものとする。
【0081】
１回目の操作では、図６（ａ）に示されるように、Ｘ軸、Ｙ軸、Ｚ軸、Ｐａｎ軸、Ｔｉｌｔ軸、Ｒｏｌｌ軸、Ｚｏｏｍ軸のすべてを編集可能な状態（Ｏｎ）にする。オペレータは、主にパイロットウィンドウのコンテキストビュー４０８を見ながら、片方の手で３軸コントローラ２０２ａを操作し、Ｘ軸、Ｙ軸、Ｚ軸の値を調整し、仮想カメラが所望の軌跡を描くように、仮想カメラを正確に移動させる。それと同時に、オペレータは、もう片方の手で３軸コントローラ２０２ｂを操作して、Ｐａｎ軸、Ｔｉｌｔ軸、Ｒｏｌｌ軸の値を調整するが、これらの操作軸の値は、２回目の操作で正確に調整するので、１回目の操作では正確に操作（調整）されなくてもよい。また、ズームコントローラ２０３によるＺｏｏｍ軸の調整は、２回目の操作で行うので、１回目の操作では行わない。なお、１回目の操作で出力されたカメラパラメータは、図７のリプレイウィンドウのリプレイクリップ６０５として表示される。
【0082】
１回目の操作では、図１４（ａ）に示されるように、仮想カメラ１４０１の向きは所望の向き（オブジェクトへの向き）から多少ずれており、そのため、所望の構図が十分に得られていない。そこで、２回目の操作では、リプレイウィンドウのリプレイクリップ編集ボタン６０６を押下して、リプレイクリップ６０５の編集を開始する。また、２回目の操作では、図６（ｂ）に示されるように、Ｘ軸、Ｙ軸、Ｚ軸を編集不可状態（Ｏｆｆ）にする。
【0083】
２回目の操作において、オペレータは、主にカメラビューウィンドウのカメラビュー３０１を見ながら、片方の手で３軸コントローラ２０２ｂを操作して、Ｐａｎ軸、Ｔｉｌｔ軸、Ｒｏｌｌ軸の値を正確に調整する。それと同時に、オペレータは、もう片方の手でズームコントローラ２０３を操作して、Ｚｏｏｍ軸の値を正確に調整する。そして、このように調整すると、図１４（ｂ）に示されるように、仮想カメラの位置及び向きが所望の状態となる。そのため、所望の構図を得ることができる。なお、補足として、上述の操作軸のうち、さらに微調整が必要な操作軸があれば、その操作軸のみ編集可能な状態（Ｏｎ状態）にして、再度、同様に編集してもよい。また、編集対象とする操作軸によっては、パイロットウィンドウ（仮想カメラの位置、姿勢）、カメラビューウィンドウのいずれかを確認することで、操作することもできる。
【0084】
以上、説明したように、同時に制御する操作軸を減らし、操作軸毎に複数回に分けて操作することで、操作の負担を減らしたり、操作人数を減らしたりすることが可能になる。また、このように操作することで、各操作軸において、正確かつ容易にカメラパラメータを調整することができる。特に、上述のように、コンテキストビューを見ながらの操作と、カメラビューを見ながらの操作を分けて行うことで、オペレータが特定のビューに集中できるので、正確な操作を容易に行うことができる。また、カメラパラメータを微調整したいときに、改めてすべての操作軸の操作をやり直す必要はなく、微調整したい操作軸のみを調整（変更）できるので、調整時の負担を軽減することができる。
【実施形態２】
【0085】
次に、実施形態２について、図１５を参照して説明する。図１５は、仮想カメラの操作軸について説明するための図である。操作軸のうち、Ｘ軸７０３は仮想カメラ７０１の側面方向、Ｙ軸７０４は仮想カメラ７０１の正面方向（光軸方向）、Ｚ軸７０５は仮想カメラ７０１の上面方向への移動操作方向に各々、対応し、Ｘ軸７０３、Ｙ軸７０４、Ｚ軸７０５は互いに直交する。また、操作軸のうち、Ｐａｎ軸７０６はＺ軸７０５、Ｔｉｌｔ軸７０７はＸ軸７０３、Ｒｏｌｌ軸７０８はＹ軸７０４を各々回転軸とした回転操作方向に対応する。
【0086】
上述の実施形態１では、３軸コントローラ２０２ａで仮想カメラを前方に移動させる操作（即ち、Ｙ軸方向への移動）を行うと、仮想カメラのレンズの上下方向の向き（即ち、Ｔｉｌｔ）に依存せず、仮想カメラは、常に地面７０２に対して水平に移動する。他方、本実施形態（実施形態２）では、同様に３軸コントローラ２０２ａで仮想カメラを前方に移動させる操作（即ち、Ｙ軸方向への移動）を行うと、仮想カメラは、仮想カメラの光軸方向に移動する。そのため、仮想カメラが水平に対して下向き（即ち、Ｔｉｌｔ値が負）であれば、仮想カメラは地面に近づくことになる（即ち、Ｚ値が小さくなる）。また、逆に仮想カメラが水平に対して上向き（即ち、Ｔｉｌｔ値が正）であれば、仮想カメラは地面から遠ざかることになる（即ち、Ｚ値が大きくなる）。
【実施形態３】
【0087】
次に、実施形態３について、図１６を参照して説明する。図１６は、仮想カメラの操作軸について説明するための図である。操作軸のうち、Ｘ軸７０３、Ｙ軸７０４、Ｚ軸７０５は、仮想カメラの位置や姿勢に依存せず、常に一定の方向に各々、対応する。具体的には、例えば、サッカーグラウンド等の施設の場合、Ｘ軸７０３はグラウンドの長辺方向、Ｙ軸７０４はグラウンドの短辺方向、Ｚ軸７０５はグラウンド面に垂直な方向への移動操作方向に各々、対応する（即ち、各々の操作軸は施設の形状に対応する）。
【0088】
なお、Ｘ軸７０３、Ｙ軸７０４、Ｚ軸７０５は互いに直交する。また、この場合、操作軸のうち、Ｐａｎ軸７０６、Ｔｉｌｔ軸７０７、Ｒｏｌｌ軸７０８は、上述の実施形態１、実施形態２と同様に、Ｚ軸、Ｘ軸、Ｙ軸の各々を回転軸とした回転操作方向に対応させることができる。但し、この例に限らず、Ｘ軸７０３とＰａｎ軸７０６、Ｙ軸７０４とＴｉｌｔ軸７０７、及びＺ軸７０５とＲｏｌｌ軸７０８が一致しないようにＰａｎ軸７０６、Ｔｉｌｔ軸７０７、Ｒｏｌｌ軸７０８を設定するようにしても良い。例えば、X軸７０３がサッカーグラウンドの長辺方向、Y軸７０４がサッカーグラウンドの短辺方向を基準とした座標軸であっても、ロールやチルトの回転軸が仮想カメラの光軸の向きを基準に設定されるようにしても良い。
【実施形態４】
【0089】
次に、実施形態４について説明する。上述の実施形態では、撮影済みの画像に対してカメラパラメータを編集することで様々な視点から見たリプレイ映像を提供する例について説明したが、ここでは、撮影しながらリアルタイムにカメラパラメータを生成してライブ映像を提供する例について説明する。
【0090】
例えば、音楽映像や演劇映像等のように、シナリオが予め決まっている場合がある。その場合、リハーサルを撮影して、リハーサル用のカメラパラメータを予め作成しておく。そして、本番において、シナリオの進行に同期させてリハーサル用のカメラパラメータを編集して、本番用のカメラパラメータを作成（生成）する。リハーサルと本番では、演者の動きに微妙な違いがあるので、それに応じて所望の構図になるように仮想カメラの向きを調整（例えば、パン、チルト、ロールのみ調整）しながら本番用のカメラパラメータを作成する。さらに、ライブ映像（ライブ画像）として放送や配信を行う。
【実施形態５】
【0091】
次に、実施形態５について説明する。上述のように、操作軸の１つとして、リプレイコントローラ２０４による時間軸（より詳細には、再生速度を制御する時間軸）がある。スロー再生や一時停止等の仮想カメラ操作を含むカメラパラメータを編集する場合、リプレイコントローラ２０４による再生速度の調整（編集）可否を切り替えられるようにしてもよい。
【0092】
編集可能にした場合、既存のカメラパラメータの再生速度によらず、リプレイコントローラ２０４を操作して新たに再生速度を調整しながら、さらに３軸コントローラ２０２やズームコントローラ２０３を操作して任意の操作軸を調整する。また、編集不可にした場合、既存のカメラパラメータの再生速度の変化に従って、さらに任意の操作軸を調整する。
【0093】
以上、実施形態１から実施形態５までで説明したように、仮想視点画像の生成において、仮想視点操作の自由度を向上させることで、操作上の負担を軽減することができる。また、操作軸の定義は、上述の実施形態１から実施形態５までで記載した定義に必ずしも限定されない。
【その他の実施形態】
【0094】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0095】
１０３ 情報処理装置
１２１ 設定部
１２３ カメラパラメータ編集部
１２４ カメラパラメータ記憶部
１２１ 設定部
１２３ カメラパラメータ編集部
１２４ カメラパラメータ記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】