特許 7455524 情報処理装置、設定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】情報処理装置、設定方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240318BHJP

   H04N 23/60 20230101ALI20240318BHJP

   H04N 23/90 20230101ALI20240318BHJP

   G06F 3/04815 20220101ALI20240318BHJP

   G06T 15/20 20110101ALI20240318BHJP

【ＦＩ】

G06T19/00 A

H04N23/60

H04N23/90

G06F3/04815

G06T15/20 500

【請求項の数】 13

(21)【出願番号】P 2019129614

(22)【出願日】2019-07-11

(65)【公開番号】P2021015440

(43)【公開日】2021-02-12

【審査請求日】2022-07-04

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】松林 一弘

(72)【発明者】

【氏名】石川 零

【審査官】橋爪 正樹

(56)【参考文献】

【文献】国際公開第２０１５／００１６３５（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０１２８１７（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１９９０５２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／２０

Ｈ０４Ｎ ２３／００－２３／９５９

(57)【特許請求の範囲】

【請求項1】

第１操作部に対する操作に応じた第１入力を受け付ける第１受付部と、
第２操作部に対する操作に応じた第２入力を受け付ける第２受付部と、
第３操作部に対する操作に応じた第３入力を受け付ける第３受付部と、
前記第１入力に基づいて、第１仮想視点に応じた視野および第２仮想視点に応じた視野に含まれる注目位置を設定する第１設定部と、
前記第２入力に基づいて、前記注目位置に対応する前記第１仮想視点の位置と前記第１仮想視点からの視線方向とを設定し、前記第３入力に基づいて、前記注目位置に対応する前記第２仮想視点の位置と前記第２仮想視点からの視線方向とを設定する第２設定部と、
前記第１仮想視点に対応する第１仮想視点画像と前記第２仮想視点に対応する第２仮想視点画像とを同時に表示する制御を行う表示制御部と
を有することを特徴とする情報処理システム。

【請求項2】

前記第２設定部は、前記第１仮想視点から見て所定の方向に前記注目位置が存在するように、前記第１仮想視点の位置と前記第１仮想視点からの視線方向とを連動させて設定し、前記第２仮想視点から見て所定の方向に前記注目位置が存在するように、前記第２仮想視点後と前記第２仮想視点からの視線方向とを連動させて設定することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記第１仮想視点から見て所定の方向は、前記第１仮想視点からの視線方向であり、前記第２仮想視点から見て所定の方向は、前記第２仮想視点からの視線方向であることを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記第１仮想視点から見て所定の方向は、前記第１仮想視点画像においてユーザ操作により指定された位置に前記注目位置が表示されるように設定された前記第１仮想視点からの視線方向であり、前記第２仮想視点から見て所定の方向は、前記第２仮想視点画像においてユーザ操作により指定された位置に前記注目位置が表示されるように設定された前記第２仮想視点からの視線方向であることを特徴とする請求項２に記載の情報処理システム。

【請求項5】

前記第２設定部は、前記第２入力に基づいて、前記第１仮想視点の画角を設定し、前記第３入力に基づいて、前記第２仮想視点の画角を設定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。

【請求項6】

第４操作部に対する操作に応じた入力を受け付ける第４受付部を有し、
前記第１設定部は、第１の注目位置を前記第１受付部により受け付けられた入力に基づいて設定し、且つ、第２の注目位置を前記第４受付部により受け付けられた入力に基づいて設定し、
前記第２設定部は、前記第１の注目位置と前記第２の注目位置とを含む複数の注目位置のうち選択された注目位置に対する前記第１仮想視点の位置と前記第１仮想視点からの視線方向とを前記第２入力に基づいて設定し、前記第１の注目位置と前記第２の注目位置とを含む複数の注目位置のうち選択された注目位置に対する前記第２仮想視点の位置と前記第２仮想視点からの視線方向とを前記第２入力に基づいて設定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。

【請求項7】

前記第１操作部と前記第２操作部と前記第３操作部とは、それぞれ別個の筐体に備えられた操作部であることを特徴とする請求項１乃至６の何れか１項に記載の情報処理システム。

【請求項8】

前記第１操作部と前記第２操作部と前記第３操作部とは、それぞれ別個のジョイスティックであることを特徴とする請求項１乃至６の何れか１項に記載の情報処理システム。

【請求項9】

前記表示制御部は、前記第１仮想視点画像と前記第２仮想視点画像とをそれぞれ異なる表示装置の表示部に表示する制御を行うことを特徴とする請求項１乃至８の何れか１項に記載の情報処理システム。

【請求項10】

前記表示制御部は、前記第１仮想視点画像と前記第２仮想視点画像とを同一の表示装置のそれぞれ異なる表示領域に表示する制御を行うことを特徴とする請求項１乃至８の何れか１項に記載の情報処理システム。

【請求項11】

更に、前記第１仮想視点の位置と前記第１仮想視点からの視線方向とに基づいて前記第１仮想視点画像を生成し、前記第２仮想視点の位置と前記第２仮想視点からの視線方向とに基づいて前記第２仮想視点画像を生成する生成部を有することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理システム。

【請求項12】

第１操作部に対する操作に応じた第１入力を受け付ける第１受付工程と、
第２操作部に対する操作に応じた第２入力を受け付ける第２受付工程と、
第３操作部に対する操作に応じた第３入力を受け付ける第３受付工程と、
前記第１入力に基づいて、第１仮想視点に応じた視野および第２仮想視点に応じた視野に含まれる注目位置を設定する第１設定工程と、
前記第２入力に基づいて、前記注目位置に対応する前記第１仮想視点の位置と前記第１仮想視点からの視線方向とを設定し、前記第３入力に基づいて、前記注目位置に対応する前記第２仮想視点の位置と前記第２仮想視点からの視線方向とを設定する第２設定工程と、
前記第１仮想視点に対応する第１仮想視点画像と前記第２仮想視点に対応する第２仮想視点画像とを同時に表示する制御を行う表示制御工程と
を有することを特徴とする情報処理方法。

【請求項13】

コンピュータを、請求項１乃至１１の何れか１項に記載の情報処理システムとして動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点画像に対応する仮想視点の設定に関するものである。

【背景技術】

【0002】

複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。具体的には、複数の撮像画像に基づいて、撮像画像に含まれる被写体（オブジェクト）の３次元形状データを生成し、仮想視点の位置及び向きに基づくレンダリング処理を行うことにより、仮想視点画像が生成される。

【0003】

仮想視点画像に対応する仮想視点は、例えばコントローラを操作することで変更できる。特許文献１には、ジョイスティックを３台用いて仮想視点を操作することが記載されている。具体的には、１つ目のジョイスティックの操作で仮想視点の前後左右の移動を制御し、２つ目のジョイスティックの操作で仮想視点の上下移動とロール回転を制御し、３つ目のジョイスティックの操作で仮想視点のピッチ回転とヨー回転を制御する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０９２４９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ユーザが所望する仮想視点画像を得るために、仮想視点の設定に係る操作の利便性をより向上させることが求められる。例えば、サッカーにおける選手やボールなどの動くオブジェクトを仮想視点に応じた視野内に含めつつ、どの方向からオブジェクトを見るかを変化させるように、ユーザが仮想視点を操作しようとする場合が考えられる。特許文献１に記載の技術を用いてこのような仮想視点の操作を実現しようとした場合、どの方向からオブジェクトを見るかを変化させるために、１つ目と２つ目のジョイスティックを用いてオブジェクトに対する仮想視点の相対位置を変化させる。さらに、仮想視点の位置の変化に応じてオブジェクトが視野から外れないように、３つ目のジョイスティックを用いて仮想視点の向きを変化させる。このような複雑な操作を一人のユーザが行うのは困難である。また、複数のジョイスティックを複数のユーザで分担して操作する場合、所望の仮想視点画像を得るためにそれぞれの操作を正確に連動させることは難しい。ジョイスティック以外の操作部を用いる場合にも同様の課題が生じうる。

【0006】

本発明は上記の課題に鑑み、仮想視点画像に対応する仮想視点の設定に係る操作の利便性を向上させることを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明に係る情報処理システムは、例えば以下の構成を有する。すなわち、第１操作部に対する操作に応じた第１入力を受け付ける第１受付部と、第２操作部に対する操作に応じた第２入力を受け付ける第２受付部と、第３操作部に対する操作に応じた第３入力を受け付ける第３受付部と、前記第１入力に基づいて、第１仮想視点に応じた視野および第２仮想視点に応じた視野に含まれる注目位置を設定する第１設定部と、前記第２入力に基づいて、前記注目位置に対応する前記第１仮想視点の位置と前記第１仮想視点からの視線方向とを設定し、前記第３入力に基づいて、前記注目位置に対応する前記第２仮想視点の位置と前記第２仮想視点からの視線方向とを設定する第２設定部と、前記第１仮想視点に対応する第１仮想視点画像と前記第２仮想視点に対応する第２仮想視点画像とを同時に表示する制御を行う表示制御部とを有する。

【発明の効果】

【0008】

本発明によれば、仮想視点画像に対応する仮想視点の設定に係る操作の利便性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】画像処理システムの構成例を示す図である。

【図2】装置のハードウェア構成例を示す図である。

【図3】制御システムのデバイス構成例を示す図である。

【図4】操作部を用いた操作の説明図である。

【図5】表示部の表示画面例を示す図である。

【図6】操作部を用いた動作の説明図である。

【図7】表示部の表示画面例を示す図である。

【図8】情報処理装置の動作の例を示すフローチャートである。

【図9】制御システムのデバイス構成例を示す図である。

【図10】制御システムのデバイス構成例を示す図である。

【図11】制御システムのデバイス構成例を示す図である。

【図12】表示部の表示画面例を示す図である。

【図13】表示部の表示画面例を示す図である。

【図14】制御システムのデバイス構成例を示す図である。

【図15】表示部の表示画面例を示す図である。

【図16】表示部の表示画面例を示す図である。

【図17】制御システムのデバイス構成例を示す図である。

【発明を実施するための形態】

【0010】

［システム構成］
本実施形態に係る画像処理システム１０の構成例を図１に示す。画像処理システム１０は、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

【0011】

画像処理システム１０は、撮像領域１０１を複数の方向から撮像する撮像複数の撮像装置８を有する。本実施形態では、撮像対象となる撮像領域１０１が、サッカーが行われる競技場であるものとする。ただし撮像領域１０１はこれに限定されず、ラグビーや空手などが行われる競技場であってもよいし、もしくはコンサートや演劇が行われる舞台などであってもよい。図１に示すように、複数の撮像装置８は、このような撮像領域１０１を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置８は撮像領域１０１の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域１０１の周囲の一部にのみ設置されていてもよい。また、撮像装置８の数は図１に示す例に限定されず、例えば撮像領域１０１をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置８が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置８が設置されていてもよい。

【0012】

画像処理装置９は、画像処理部７と記憶部７２を有し、情報処理装置３及び複数の撮像装置８と接続して通信を行い、仮想視点画像を生成する。仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置８によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得され、画像処理部７へ入力される。次に、画像処理部７は、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像を取得する。また、画像処理部７は、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとを前景画像に基づいて生成する。また、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータを背景画像に基づいて生成する。そして、画像処理部７は、前景モデルと背景モデルに対してテクスチャデータをマッピングし、情報処理装置３から取得した視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像を生成する。生成された仮想視点画像は、記憶部７２、情報処理装置３、もしくはその他の外部ネットワーク等へ出力される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

【0013】

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向きを示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン方向、チルト方向、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点に応じた視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

【0014】

なお、本実施形態の説明においては、仮想カメラという用語を用いる。図１に示す仮想カメラ１０２は、撮像領域１０１の周囲に実際に設置された複数の撮像装置８とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域１０１に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラ１０２の位置及び向きとして表すことができる。また、仮想視点に応じた視野は、仮想カメラ１０２の視野に相当する。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。ただし、本実施形態の構成を実現するために仮想カメラ１０２の概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

【0015】

記憶部７２には、画像処理部７により生成された仮想視点画像に限らず、仮想視点画像の生成に係る素材データが記憶されてもよい。本実施形態では、仮想視点画像を生成するためのデータであって、撮像装置８によって撮像された撮像画像、および該撮像画像に基づいて生成されるデータのことを、素材データと表記する。撮像画像に基づいて生成される素材データは、例えば、撮像画像から抽出した前景画像と背景画像のデータ、三次元空間におけるオブジェクトの形状を表す三次元モデルデータ、および三次元モデルに色付けするためのテクスチャデータ等である。

【0016】

なお、素材データは仮想視点画像を生成するためのデータであれば、その種類は限定されない。例えば、撮像画像を取得する撮像装置８の撮像条件を表すカメラパラメータが素材データに含まれていてもよい。また、上記では三次元モデルを用いて仮想視点画像を生成する場合の素材データの例について記載したが、三次元モデルを用いずに仮想視点画像を生成する場合、仮想視点画像の生成に必要なデータは上記の素材データの例と異なる場合がある。このように、仮想視点画像の生成手法に応じて素材データが異なっていてもよい。また、記憶部７２に記憶される素材データには、上記撮像画像に基づいて生成されるデータ以外に、ＣＡＤなどで生成される三次元モデルデータが含まれてもよい。

【0017】

図１における制御システム６は、操作部１、操作部２、情報処理装置３、表示部４、及び表示部５を有し、仮想視点画像に対応する仮想視点をユーザ操作に基づいて設定するために用いられる。操作部１及び操作部２は、例えばジョイスティック、キーボード、マウス、タッチパネルなどで構成され、ユーザ（操作者）による操作の対象となる。表示部４及び表示部５は、例えば液晶ディスプレイやＬＥＤ等で構成され、情報処理装置３からの出力に基づいてユーザに対して画像を表示する。

【0018】

情報処理装置３は、操作入力部３１、視点設定部３２、及び表示制御部３３を有する。操作入力部３１は、操作部１及び操作部２からのユーザ操作に応じた入力を受け付け、例えば物理的な操作を示す信号を論理的な操作命令に変換するなどの処理を行う。これにより、操作部の機器種別やＩ／Ｆの物理的な差異を吸収できる。視点設定部３２は、操作入力部３１からの操作命令に基づいて仮想視点の位置及び向き等を設定し、設定された仮想視点を示す視点情報を画像処理装置９へ送信する。表示制御部３３は、ユーザが操作部１を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示部４に表示させ、操作部２を操作するためのＧＵＩを表示部５に表示させる。また、表示制御部３３は、画像処理装置９から仮想視点画像を受信し、表示部４及び表示部５の一方もしくは両方に仮想視点画像を表示させる。また、表示制御部３３は必要に応じて、撮像装置８が撮像した画像を受信して表示部４又は表示部５に表示させてもよい。

【0019】

なお、画像処理システム１０の構成は、図１に示したものに限定されない。例えば、情報処理装置３と画像処理装置９とが一体となって構成されていてもよい。また、複数の情報処理装置３が画像処理装置９と接続されて通信を行ってもよい。また、画像処理装置９が有する機能が、複数の装置により実現されてもよい。例えば、前景画像の生成、三次元モデルの生成、及び仮想視点画像の生成が、それぞれ異なる装置により実行されてもよい。

【0020】

［ハードウェア構成］
情報処理装置３のハードウェア構成について、図２を用いて説明する。なお、画像処理装置９のハードウェア構成も、以下で説明する情報処理装置３の構成と同様である。あるいは、情報処理装置３のハードウェアに画像処理装置９の機能を統合してもよい。情報処理装置３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０４、表示Ｉ／Ｆ３０５、操作Ｉ／Ｆ３０６、通信Ｉ／Ｆ３０７、及びバス３０８を有する。

【0021】

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３に格納されているコンピュータプログラムやデータを用いて情報処理装置３の全体を制御することで、図１に示す情報処理装置３の各機能を実現する。なお、情報処理装置３がＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ３０３は、補助記憶装置３０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0022】

表示Ｉ／Ｆ３０５は、表示部４及び表示部５との通信に用いられ、例えば表示部４及び表示部５へ映像信号を出力する。操作Ｉ／Ｆ３０６は、操作部１及び操作部２との通信に用いられ、例えば操作部１及び操作部２からユーザ操作に応じた操作信号の入力の受付を行う。通信Ｉ／Ｆ３０７は、情報処理装置３の外部の装置との通信に用いられる。例えば、情報処理装置３が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３０７に接続される。情報処理装置３が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３０７はアンテナを備える。バス３０８は、情報処理装置３の各部をつないで情報を伝達する。本実施形態では、操作部１、操作部２、表示部４、及び表示部５が情報処理装置３とは別個の装置として存在するものとするが、これらのうち少なくとも何れかが情報処理装置３の内部に存在してもよい。

【0023】

［仮想視点の操作］
以下では、仮想視点画像に対応する仮想視点を設定するための操作方法の例を説明する。図３は、操作部１、操作部２、情報処理装置３、表示部４、及び表示部５の具体的なデバイス構成の一例を示した図である。図３の操作部１は、操作卓１１にジョイスティック１２Ａ及びジョイスティック１２Ｂが取り付けられた構成である。各ジョイスティックの操作に基づいて、操作卓１１の電気回路によって操作信号が生成される。操作信号は操作信号ケーブル１３によって情報処理装置３へ伝送される。操作部２についても同様に、ジョイスティック２２Ａ及びジョイスティック２２Ｂの操作に基づいて操作卓２１で生成された操作信号が、操作信号ケーブル２３によって情報処理装置３へ伝送される。操作部１と操作部２とは、独立して操作が可能である。例えば図３に示すように、操作部１と操作部２とはそれぞれ物理的に独立したデバイス（操作卓）を有する。

【0024】

なお、本実施形態において、複数の操作部が独立して操作可能であるとは、一方の操作部に対する操作が他方の操作部に対する操作を直接的に制約することがないことをいう。すなわち、独立して操作可能な複数の操作部は、別々の筐体に備えられているものに限定されない。図３におけるジョイスティック１２Ａとジョイスティック１２Ｂも、独立して操作可能な操作部である。また例えば、同じ操作デバイス上の複数の異なるボタンなどの操作部も、一方の操作部に対する操作が他方の操作部に対する操作を直接的に制約しなければ、独立して操作可能な操作部である。

【0025】

図３の表示部４は、独立した１つの表示装置４１を有する。情報処理装置３から出力された映像信号は、映像信号ケーブル４２によって表示装置４１へ伝送される。表示部５についても同様に、情報処理装置３から出力された映像信号が映像信号ケーブル４２によって表示装置５１へ伝送される。なお、操作部１と操作部２の構成は同一でなくてもよく、表示部４と表示部５の構成は同一でなくてもよい。また、表示部４と表示部５が同一の表示装置における異なる表示領域であってもよい。

【0026】

以下では、操作部１と操作部２がそれぞれ異なる操作者により操作される場合の例を中心に説明する。第一操作者は表示部４に表示された画像を見ながら操作部１を操作し、第二操作者は表示部５に表示された画像を見ながら操作部２を操作する。各操作者は、左手と右手で１つずつのジョイスティックを操作する。ただし、制御システム６を用いた操作の方法はこれに限定されず、例えば各ジョイスティックをそれぞれ異なる操作者が操作してもよい。

【0027】

図４は、注目点１０３の三次元位置を設定するための、操作部１を用いた操作を説明する図である。本実施形態における注目点は、仮想カメラ１０２の視野に含まれるべき位置、すなわち仮想視点画像に表示されるべき注目位置である。例えば、注目点を特定の被写体（選手、ボール、及びゴールなど）に合わせ、仮想カメラ１０２の視線方向に注目点が位置するように仮想カメラ１０２を制御することで、特定の被写体が中心に映る仮想視点画像を生成できる。操作者は操作部１を操作することで、注目点を特定の被写体から他の被写体に切り替えてもよいし、被写体の存在しない空間上の位置（例えば、特定の被写体の上空や、複数の被写体の位置の中間点など）に設定してもよい。

【0028】

ジョイスティック１２Ａ及びジョイスティック１２Ｂは、レバーを３６０度任意の方向に傾けることによって、傾けた方向と傾けた量に応じた左右方向成分値と前後方向成分値を出力する。図４（Ａ）に示すようにジョイスティック１２Ｂを操作したときの左右方向成分値に応じて、図４（Ｄ）に示す注目点１０３のＸ座標値が増減する。なお、操作者の好みに合わせて、左右方向成分値に対するＸ座標値の増減量を調整できるようにしてもよい。以下に説明する各操作についても同様である。図４（Ｂ）に示すようにジョイスティック１２Ｂを操作したときの前後方向成分値に応じて、注目点１０３のＹ座標値が増減する。図４（Ｃ）に示すようにジョイスティック１２Ａを操作したときの前後方向成分値に応じて、注目点１０３のＺ座標値が増減する。このように、独立して操作可能なジョイスティック１２Ａとジョイスティック１２Ｂに対する操作に基づいて、３次元空間における注目点１０３の位置が設定される。ジョイスティック１２Ａ及びジョイスティック１２Ｂから手を離すと、傾いていたジョイスティックは初期位置に戻り、注目点１０３の移動は停止する。

【0029】

図５（Ａ）は、表示部４に表示される表示画面の例である。表示部４には設定された注目点１０３の位置を示す画像が表示されるため、第一操作者は表示部４の表示画面を見ながら操作部１を操作して注目点１０３を移動させることができる。表示制御部３３が生成して表示部４に表示させる表示画面には、図５（Ａ）に示すように、競技場の俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４が含まれる。これらの画像は、それぞれ所定の視点から見た仮想視点画像として、フレーム毎の撮像画像に基づいて画像処理装置９によって生成され、表示制御部３３へ送られる。したがって、第一操作者は仮想視点画像に映っているボールや選手などを見ながら注目点の三次元位置を指定することができる。ただし、ボールや選手を表す画像は撮像画像に基づいて生成されたものに限定されず、予め記憶された画像や所定のアイコンなどであってもよい。

【0030】

表示制御部３３は、上記生成された俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４にそれぞれ操作部１の操作に応じた注目点１０３の三次元位置を表わすアイコンを重畳表示する。さらに、後述の処理によって求められる仮想カメラ１０２の三次元位置を表わすアイコンが重畳表示されてもよい。上記アイコンの重畳方法としては、画像処理装置９が、三次元空間上における注目点１０３及び仮想カメラ１０２の三次元位置を取得し、仮想視点画像上にアイコンを配置してもよい。あるいは、表示制御部３３が、仮想視点画像上における注目点１０３及び仮想カメラ１０２の二次元位置を算出して、仮想視点画像上にアイコンを配置してもよい。

【0031】

図５（Ａ）の例では、画面を４分割して俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４を同じ面積で表示している。ただし、不図示の操作ボタンを介した操作などによって、特定の画像の表示面積を大きくしたり、小さくしたり、もしくは非表示にしたりしてもよい。また、細かい位置指定操作を容易にするために、表示制御部３３は、図５（Ｂ）に示すように注目点１０３の付近の拡大図画像２０５を表示部４に表示させてもよい。図５（Ｂ）の拡大図画像２０５は俯瞰図画像２０１を拡大表示した画像であるが、不図示の操作ボタンを介した操作などによって、俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４のうち選択された画像が拡大表示されてもよい。

【0032】

拡大図画像２０５は、表示部４の一部分に常に表示するようにしてもよく、あるいは不図示の操作ボタンを介した操作などによって拡大表示操作を行った場合に表示されるようにしてもよい。例えば俯瞰図画像２０１に対して拡大表示操作が行われた場合に、俯瞰図画像２０１の表示位置にそのまま拡大図画像２０５が表示されてもよい。または、他の画像（例えば側面図画像２０３）の表示位置に拡大図画像２０５が表示されてもよい。あるいは、各画像の表示面積を小さくして、拡大図画像２０５の表示位置を確保するようにしてもよい。表示制御部３３は、拡大図画像２０５の中央に常に注目点１０３が位置するように、注目点１０３の移動に伴って拡大図画像２０５の領域をスクロールしてもよい。

【0033】

なお、多数の仮想視点画像をフレーム毎に更新するには画像処理装置９に高い処理能力が必要となる。そこで、処理負荷を下げるために、俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４として表示する仮想視点画像は視聴用の仮想視点画像よりも低解像度としてもよい。上述のように、各図の表示面積を可変にした場合は、表示面積に合わせて解像度を可変にしてもよい。また、俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４の背景は毎フレーム生成せずに予め生成しておいた静止画像を用い、前景（選手、ボールなど）の画像のみ毎フレーム生成するようにしてもよい。また、俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４のうちの少なくとも一部の画像は前景を省略してもよい。

【0034】

図６は、注目点１０３に対する仮想カメラ１０２の水平方向、垂直方向、仮想カメラ１０２のロール角、注目点１０３と仮想カメラ１０２との距離、及び仮想カメラ１０２の画角を変更するための、操作部２を用いた操作を説明する図である。ジョイスティック２２Ａ及びジョイスティック２２Ｂは、レバーを３６０度任意の方向に傾けることによって、傾けた方向と傾けた量に応じた左右方向成分値と前後方向成分値を出力する。さらに、レバーの軸を中心にレバーを回転させることによって、回転成分値を出力する。

【0035】

図６（Ａ）に示すようにジョイスティック２２Ａを操作したときの前後方向成分値に応じて、図６（Ｆ）に示すように仮想カメラ１０２の視線１０４の方向に仮想カメラが移動し、注目点１０３と仮想カメラ１０２との距離が増減する。図６（Ｂ）に示すようにジョイスティック２２Ａを操作したときの回転成分値に応じて、図６（Ｇ）に示すように仮想カメラの画角が増減し、仮想カメラ１０２の視野１０５の大きさが変化する。

【0036】

図６（Ｃ）に示すようにジョイスティック２２Ｂを操作したときの左右方向成分値に応じて、図６（Ｈ）に示すように注目点１０３に対する仮想カメラ１０２の水平方向が変化する。その際、仮想カメラ１０２の視線１０４の方向は、情報処理装置３の視点設定部３２によって、注目点１０３を向くように制御される。図６（Ｄ）に示すようにジョイスティック２２Ｂを操作したときの前後方向成分値に応じて、図６（Ｉ）に示すように注目点１０３に対する仮想カメラ１０２の垂直方向が変化する。その際、仮想カメラ１０２の視線１０４の方向は、情報処理装置３の視点設定部３２によって、注目点１０３を向くように制御される。

【0037】

図６（Ｅ）に示すようにジョイスティック２２Ｂを操作したときの回転成分値に応じて、図６（Ｊ）に示すように仮想カメラ１０２のロール角が変化し、仮想カメラ１０２の視野１０５の傾きが変化（仮想カメラ１０２が視線１０４を軸に回転）する。ジョイスティック２２Ａ及びジョイスティック２２Ｂから手を離すと、傾いていたジョイスティックは初期位置に戻り、仮想カメラの方向、ロール角、距離、及び画角の変化は停止する。

【0038】

このように、独立して操作可能なジョイスティック２２Ａとジョイスティック２２Ｂの操作に基づいて、注目点１０３に対する仮想カメラ１０２の３次元位置と、仮想カメラ１０２のパン、チルト、及びロール方向における向きと画角が設定される。また、視点設定部３２は、仮想カメラ１０２の位置から見て所定の方向（例えば仮想カメラの向きに応じた視線方向）に注目点１０３が位置するように、注目点１０３に対する仮想カメラ１０２の位置と仮想カメラ１０２の向きを連動させて設定する。これにより、仮想カメラ１０２の視野から注目点１０３が外れることなく、仮想カメラ１０２の位置を変更できる。

【0039】

図７は、表示部５に表示される表示画面の例である。表示部５には設定された仮想カメラ１０２の位置及び向きに応じた画像が表示され、第二操作者は表示部５の表示画面を見ながら操作部２を操作して、注目点１０３に対する仮想カメラ１０２の方向、ロール角、距離、及び画角などを制御することができる。表示制御部３３が生成して表示部５に表示させる表示画面には、図７に示すように、操作部１及び操作部２の操作に基づいて設定された仮想視点に応じた仮想視点画像２０６が含まれる。ただし、表示部５に表示される仮想カメラ１０２の位置及び向きに応じた画像は仮想視点画像２０６に限定されず、仮想カメラ１０２の位置及び向きを示すアイコンなどの画像であってもよい。

【0040】

なお、図６（Ｆ）、図６（Ｇ）、図６（Ｈ）、図６（Ｉ）、及び図６（Ｊ）は、注目点１０３を基準とした相対的な仮想カメラ１０２の位置や向き等の変化を図示していることに注意されたい。すなわち、操作部１及び操作部２を同時に操作した場合における３次元空間における仮想カメラ１０２の動きは、図４に示す注目点１０３の動きと図６に示す相対的な仮想カメラ１０２の動きとを合成した動きになる。

【0041】

本実施形態によれば、図４を用いて説明した注目点１０３の操作と図６を用いて説明した注目点１０３に対する仮想カメラ１０２の相対的な操作とを、それぞれ異なる操作者に分担させることによって、両操作者の操作をいずれも簡単にすることができる。

【0042】

例えば、動く被写体（例えば選手やボールなど）を追いながら、どの方向から被写体を見るか（被写体に対する仮想視点の相対位置）を変化させる場合を考える。本実施形態とは異なり、第一操作者が仮想カメラ１０２の位置を操作し、第二操作者が仮想カメラ１０２の向きを操作する場合、第二操作者は、第一操作者の操作する仮想カメラ１０２の移動を予測もしくは確認しながら仮想カメラ１０２の向きを操作する。同様に、第一操作者も、第二操作者の操作する仮想カメラ１０２の向きの変化を予測もしくは確認しながら仮想カメラ１０２を移動させる。このように互いの操作を予測もしくは確認しながら操作すると、予測が外れて意図しない結果になってしまったり、相手の操作結果を確認してから操作したために操作のタイムラグが生じてしまったりすることが考えられる。

【0043】

一方、本実施形態の操作分担によれば、第一操作者は被写体を追いかけることに専念でき、第二操作者は被写体を見る方向を変えることに専念できる。第二操作者は被写体の移動を気にしなくてよく、第一の操作者は被写体を見る方向を気にしなくてよい。すなわち、互いの操作に影響されることなく、意図した動作結果がタイムラグなくスムーズに得られる。

【0044】

また例えば、仮想カメラ１０２と被写体との距離及び仮想カメラ１０２の画角をそれぞれ操作して、遠近感を調整する場合を考える。仮想カメラ１０２を被写体に近づけて画角を広げると、近くの被写体が大きく、遠くの被写体が小さく映るため、遠近感が強調される。逆に視点を被写体から遠ざけて画角を狭めると、遠近感が弱まる。すなわち、仮想視点画像における注目被写体の大きさを略一定に保ちながら、注目被写体の背後の映り方を変化させることができる。本実施形態とは異なり、第一操作者が仮想カメラ１０２の位置を操作し、第二操作者が仮想カメラ１０２の画角を操作するものとした場合、第二操作者は、第一操作者の操作に応じた仮想カメラ１０２と被写体との距離の変化を予測又は確認しながら画角を操作する。同様に、第一操作者も、第二操作者の操作する画角の変化を予測もしくは確認しながら仮想カメラ１０２の位置を操作する。この場合も、先の例と同様に、予想が外れて意図しない結果になってしまったり、確認のためタイムラグが生じてしまったりすることが考えられる。

【0045】

一方、本実施形態の操作分担によれば、第二操作者が仮想カメラ１０２と注目点１０３との距離及び仮想カメラ１０２の画角の両方を操作して、所望の遠近感に調整することができる。すなわち、第一操作者の操作に影響されることなく、意図した動作結果がタイムラグなくスムーズに得られる。ただし、制御システム６は少なくとも仮想カメラ１０２の位置と向きとを設定できればよく、仮想カメラ１０２の画角を設定する機能を有していなくてもよい。

【0046】

なお、図４及び図６に示したユーザ操作と仮想カメラ１０２の動作の対応は一例であり、上述した各動作を実現するために、個々のジョイスティックに上記の説明と異なる操作を割り当てても構わない。例えば、ジョイスティックの左手と右手の操作の割り当てを交換してもよく、左手（または右手）の操作の割り当ての一部を右手（または左手）の操作に割り当てても構わない。また、ジョイスティックの前後方向成分の操作、左右方向成分の操作、回転成分の操作の割り当てを入れ替えても構わない。さらに、操作者の好みや慣れに合わせて、操作と動作の対応を任意に設定できるようにしてもよい。

【0047】

例えば、図６（Ｈ）に示す動作に関して、仮想カメラ１０２を左方向へ移動させたい場合、「仮想カメラ１０２を移動させる方向へジョイスティックを傾ける」と考える操作者にとっては、ジョイスティックを左へ傾けるのが自然な操作であると考えられる。一方、仮想カメラ１０２が左方向へ移動するのに連動して仮想カメラ１０２の向きは右方向へ変化することから、「仮想カメラ１０２を向ける方向へジョイスティックを傾ける」と考える操作者にとっては、ジョイスティックを右へ傾けるのが自然な操作である。操作と動作の対応を変更できるようにすることで、このような異なる操作者の何れにとっても操作を簡単にすることができる。

【0048】

仮想カメラ１０２を前後方向に移動させる操作が行われた場合、図６（Ｋ）に示すように仮想カメラ１０２から注目点１０３へ向かう直線上で仮想カメラ１０２を移動させてもよい。また、図６（Ｌ）に示すように注目点１０３からの相対的な高さが一定となる水平面上で仮想カメラ１０２を移動させてもよい。仮想カメラ１０２を左右方向に移動させる操作が行われた場合、図６（Ｋ）に示すように注目点１０３を中心とした球面上で仮想カメラ１０２を移動させてもよい。また、図６（Ｌ）に示すように注目点１０３からの相対的な高さが一定の水平面上で仮想カメラ１０２を移動させてもよい。仮想カメラ１０２を上下方向に移動させる操作が行われた場合、図６（Ｋ）に示すように注目点１０３を中心とした球面上で仮想カメラ１０２を移動させてもよい。また、図６（Ｌ）に示すように地面と垂直な直線上で仮想カメラ１０２を移動させてもよい。このように、操作者の好みや慣れに合わせて、操作と動作の対応を入れ替えることによって、操作者にとって自然な操作が可能になる。

【0049】

図５及び図７に示した画面表示も一例であり、表示部４及び表示部５に表示される画像はこれに限定されない。例えば、表示部４に図７に示す仮想視点画像２０６を表示させてもよい。また、表示部５に図５に示す俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４を表示させてもよい。また、表示部４及び表示部５にその他のさまざまな画像や情報を表示させてもよい。

【0050】

［動作フロー］
図８のフローチャートを用いて、情報処理装置３の動作について説明する。図８に示す処理は、情報処理装置３のＣＰＵ３０１がＲＯＭ３０２に格納されたプログラムをＲＡＭ３０３に展開して実行することで実現される。なお、図８に示す処理の少なくとも一部を、ＣＰＵ３０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。図８に示す処理は、画像処理装置９と情報処理装置３とが接続され、仮想視点画像の生成に係る視点操作を行うための指示が情報処理装置３に入力されたタイミングで開始される。ただし、図８に示す処理の開始タイミングはこれに限定されない。また、図８におけるＳ１００１からＳ１０１１までの処理ループは、画像処理部７から動画として出力される仮想視点画像の１フレームにつき１回ずつ処理される。

【0051】

Ｓ１００１において、操作入力部３１は、操作部１及び操作部２に対するユーザ操作に応じた入力を受け付け、操作命令を視点設定部３２へ出力する。なお、操作部１及び操作部２の他にも操作部が情報処理装置３に接続されている場合には、それらの操作部からの入力も処理される。Ｓ１００２において、視点設定部３２は、上記操作命令が視点操作を終了することを示す終了命令であるかを判定する。入力された操作命令が終了命令であれば図８の処理を終了し、そうでない場合はＳ１００３へ進む。例えば、入力された操作命令が注目点１０３又は仮想カメラ１０２の操作に関する命令である場合や、操作部１及び操作部２に対する操作が行われなかったことを示す命令である場合は、Ｓ１００３へ進む。

【0052】

Ｓ１００３において、視点設定部３２は、注目点１０３の位置を特定する注目点パラメータと、注目点に対する仮想視点の相対位置や向き、画角等を特定する視点パラメータとの現在値を、ＲＡＭ３０３から読み出す。最初のフレームの処理が行われる際には、所定の初期値または前回の動作時における最終値が現在値として読みだされる。２フレーム目以降のフレームの処理が行われる際には、１つ前のフレームの処理における後述のＳ１００５で記憶された値が現在値として読みだされる。

【0053】

注目点パラメータは、注目点の位置を示すパラメータであり、例えば３次元空間における注目点１０３の位置のＸ座標、Ｙ座標、及びＺ座標を示す。一方、視点パラメータは、少なくとも注目点１０３に対する仮想カメラ１０２の位置と仮想カメラ１０２の向きとを示すパラメータである。例えば視点パラメータは、注目点１０３に対する仮想カメラ１０２の水平方向及び垂直方向、注目点１０３と仮想カメラ１０２との距離、並びに仮想カメラ１０２の画角を示す。

【0054】

Ｓ１００４において、視点設定部３２は、Ｓ１００３において読みだされた注目点パラメータ及び視点パラメータと、Ｓ１００１において受け付けられた入力に応じた上記操作命令に基づいて、注目パラメータ及び視点パラメータを変更する。具体的には、操作部１に対する操作に応じた入力に基づいて注目パラメータを変更し、操作部２に対する操作に応じた入力に基づいて視点パラメータを変更する。パラメータの変更方法は、図４及び図６を用いて説明した通りである。Ｓ１００５において、視点設定部３２は、上記変更された注目点パラメータ及び視点パラメータを、更新された新たな現在値としてＲＡＭ３０３へ記憶する。なお、操作部１及び操作部２に対してユーザ操作が行われなかった場合には、Ｓ１００４の処理は行われず、Ｓ１００３で読みだされた注目点パラメータと視点パラメータがそのまま新たな現在値として記憶される。

【0055】

Ｓ１００６において、視点設定部３２は、最新の注目点パラメータと視点パラメータとに基づいて、３次元空間における仮想視点の三次元位置を特定する。すなわち、視点設定部３２は、注目点１０３に対する仮想カメラ１０２の相対位置ではなく、注目点の位置座標と同様の座標系で表される仮想カメラ１０２の絶対位置を特定する。

【0056】

Ｓ１００７において、視点設定部３２は、仮想視点画像の生成に用いる素材データのフレーム（例えば撮像画像のフレーム）を更新する。画像処理システム１０は、撮像装置８により撮像しながらライブ映像として仮想視点画像を生成してもよいし、撮像画像や撮像画像から生成された素材データを記憶部７２に記憶しておき、撮像終了後にリプレイ映像として仮想視点画像を生成してもよい。ライブ映像の場合、及びリプレイ映像を等倍速再生する場合は、出力される仮想視点画像のフレームが１フレーム進む毎に、素材データのフレームを１フレーム進ませる。一方、リプレイ映像をスロー再生する場合は、出力される仮想視点画像のフレームが複数フレーム進む毎に、素材データのフレームを１つ進ませる。また、リプレイ映像として、撮像画像を一時停止させて仮想視点を移動させるような映像を再生する場合は、出力する仮想視点画像のフレームのみ進行させ、素材データのフレーム更新は停止させる。

【0057】

Ｓ１００８において、視点設定部３２は、フレーム番号、仮想視点の三次元位置、仮想視点の向き、及び仮想視点の画角の示す情報を含む所定形式の視点情報を生成する。Ｓ１００９において、情報処理装置３は、静止した視点情報を通信Ｉ／Ｆ３０６を介して画像処理装置９へ出力する。画像処理装置９は、情報処理装置から取得した視点情報と記憶部７２に記憶された素材データに基づいて、仮想視点画像を生成し、情報処理装置３へ出力する。また、画像処理装置９は、生成された仮想視点画像を記憶部７２や画像処理システムの外部へ出力してもよい。

【0058】

Ｓ１０１０において、表示制御部３３は、表示部４及び表示部５に表示させる表示画像を生成する。生成する表示画像には、画像処理装置９により生成された仮想視点画像が含まれてもよい。第一操作者と第二操作者は、それぞれ表示部４及び表示部５に表示された画面を見ながら次の操作を行う。情報処理装置３はＳ１００１へ戻り、新たな操作入力の処理を行う。

【0059】

［変形例］
図３に示したデバイス構成は一例であり、制御システム６の構成はこれに限定されない。図９に、制御システム６の変形例を示す。操作部１は、操作卓１１Ａにジョイスティック１２Ａ、操作卓１１Ｂにジョイスティック１２Ｂがそれぞれ取り付けられた構成である。ジョイスティック１２Ａの操作に基づいて、操作卓１１Ａの電気回路によって操作信号が生成される。操作信号は操作信号ケーブル１３Ａによって情報処理装置３へ伝送される。また、ジョイスティック１２Ｂの操作に基づいて、操作卓１１Ｂの電気回路によって操作信号が生成される。操作信号は操作信号ケーブル１３Ｂによって情報処理装置３へ伝送される。操作部２も操作部１と同様に、操作卓２１Ａに取り付けられたジョイスティック２２Ａと、操作卓２１Ｂに取り付けられたジョイスティック２２Ｂとを有する。操作卓２１Ａと操作卓２１Ｂはそれぞれ操作信号ケーブル２３Ａと操作信号ケーブル２３Ｂに接続される。

【0060】

表示部４は、独立した表示装置４１Ａ及び表示装置４１Ｂの組で構成される。情報処理装置３からの映像信号は映像信号ケーブル４２Ａ及び映像信号ケーブル４２Ｂによって、それぞれ表示装置４１Ａ及び表示装置４１Ｂへ伝送される。表示部５も表示部４と同様に、映像信号ケーブル５２Ａに接続された表示装置５１Ａと、映像信号ケーブル５２Ｂに接続された表示装置５１Ｂを有する。

【0061】

図１０は別の変形例を示しており、１つの操作卓１１に、操作部１のジョイスティック１２Ａ及びジョイスティック１２Ｂと、操作部２のジョイスティック２２Ａ及びジョイスティック２２Ｂが取り付けられた構成である。各ジョイスティックの操作に基づいて、操作卓１１の電気回路によって操作信号が生成される。操作信号は操作信号ケーブル１３によって情報処理装置３へ伝送される。図１０の表示装置４１には、表示部４に相当する領域であるウィンドウ４３と、表示部５に相当する領域であるウィンドウ５３がそれぞれ表示される。情報処理装置３からの映像信号は映像信号ケーブル４２によって、表示装置４１へ伝送される。

【0062】

また、制御システム６が有する個々のジョイスティックは、それぞれ少なくとも１次元の入力が可能であればよい。例えば、図４のジョイスティック１２Ａは前後方向成分の入力のみが可能な一次元ジョイスティックであってもよい。また、他の可動部を設けた多次元ジョイスティックや、ジョイスティック以外の操作デバイス（キーボード、マウス、タッチパネルなど）を用いてもよい。また、手で操作する操作デバイスだけでなく、頭、視線、声、足など操作者の体の各部位によって操作する操作デバイスを用いてもよい。

【0063】

また、操作部１として表示部４と一体化したタッチパネルを用いてもよいし、操作部２として表示部５と一体化したタッチパネルを用いてもよい。例えば、操作部１にタッチパネルを用いた場合、Ｘ座標とＹ座標をタッチパネルで操作し、Ｚ座標をジョイスティックまたはボタンなどで操作するようにしてもよい。また、操作部１又は操作部２に、予め決められた位置（例えば、サッカーフィールドのセンターマーク、ペナルティマーク、及びゴール中央など、もしくは野球のマウンド、及びホームベースなど）を注目点１０３として指定するためのボタンを設けてもよい。また、操作部１と操作部２とが完全に独立していなくてもよく、操作部１と操作部２とを異なる操作者が同時に操作できるような構成であってもよい。

【0064】

なお、画像処理装置９が生成する仮想視点画像は、撮像画像を用いずに、例えばＣＡＤなどによって生成された三次元モデルから生成された画像であってもよい。あるいは、撮像画像に基づいて生成された三次元モデルとＣＡＤなどによって生成された三次元モデルとを混在させた画像であってもよい。

【0065】

以上説明したように、本実施形態に係る情報処理装置３は、仮想視点画像に対応する仮想視点の位置及び向きを設定する。具体的には、情報処理装置３は、仮想視点に応じた視野に含まれるべき注目位置を操作部１に対する操作に基づいて設定し、且つ、注目位置に対する仮想視点の位置と仮想視点の向きとを操作部２に対する操作に基づいて設定する。このような構成によれば、例えば、注目位置を仮想視点に応じた視野内に含めつつ、どの方向から注目位置を見るかを変化させるように仮想視点を操作することが簡単になる。これにより、仮想視点画像に対応する仮想視点の設定に係る操作の利便性を向上できる。

【0066】

また、本実施形態に係る情報処理装置３は、注目位置を操作部１に対する第一操作者による操作に基づいて設定し、注目位置に対する仮想視点の位置と仮想視点の向きとを、操作部２に対する第二操作者による操作に基づいて設定する。このように、注目位置の操作と注目位置に対する仮想視点の相対的な操作を異なる操作者に分担させることによって、両操作者の操作をいずれも簡単にすることができる。これにより、操作者が互いの操作に影響されず、意図した動作をスムーズに得ることができるという効果が得られる。

【0067】

［複数の仮想視点の制御］
以下では、複数の仮想視点画像を生成するために、同じ注目点１０３に向けた複数の仮想カメラ１０２を設定することを可能とする制御システム６の例について説明する。図１１は、制御システム６の具体的なデバイス構成の一例を示した図である。図１１の例においては、１つの操作部１に対して、操作卓２１－１、操作卓２１－２、及び操作卓２１－３という独立した３つの操作卓を有する操作部２が対応付けられている。

【0068】

操作部１を用いて設定された１つの注目点１０３を基準に、３つの操作卓を用いて３つの仮想カメラ１０２を同時に制御することによって、３つの仮想視点画像が生成される。すなわち、３つの仮想視点画像にそれぞれ対応する３つの仮想カメラ１０２の視野のいずれにも、操作部１を用いて設定された注目点１０３が含まれる。そして、注目点１０３に対する各仮想カメラ１０２の位置と向きとが、各仮想カメラ１０２に対応する操作卓を用いた操作に基づいて設定される。なお、操作部２が有する独立した操作デバイス（例えば操作卓）の個数は、３つに限らず、２つであってもよいし４つ以上であってもよい。

【0069】

図１２は、表示部４に表示される俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、平面図画像２０４の例である。図１１に示す制御システム６を用いることで仮想カメラ１０２が３つ設定されるため、図１２に示す各画像には、それぞれ仮想カメラ１０２を示すアイコンが３つずつ表示される。仮想カメラ１０２－１は操作卓２１－１を用いて操作され、仮想カメラ１０２－２は操作卓２１－２を用いて操作され、仮想カメラ１０２－３は操作卓２１－３を用いて操作される。表示部４の表示画面においては、各仮想カメラ１０２を識別するために、アイコンの色分けや記号又は番号の表示などが行われてもよい。

【0070】

なお、仮想カメラ１０２が多数設定される場合は、表示画面が煩雑になるので、仮想カメラ１０２のアイコンを非表示にしてもよい。あるいは、操作部１に特定の仮想カメラ１０２を選択するためのボタン１４を設け、選択された仮想カメラ１０２のアイコンのみが表示されるようにしてもよい。ボタン１４は、図１１に示すような物理的なボタンでなく、表示部４に表示されるＧＵＩに含まれていてもよく、ＧＵＩを操作するキーボード、マウス、及びタッチパネルなどによってボタン１４が操作されてもよい。

【0071】

このように複数の仮想カメラ１０２を同時に制御する場合、操作入力部３１は、操作部２から入力される３つの操作信号をそれぞれ並行して処理する。視点設定部３２は、３つ仮想カメラ１０２にそれぞれ対応する３つの視点情報を並行して生成する。その際、操作部１の操作信号は、共通に使用される。画像処理装置９は、それぞれの視点情報に基づいて、３つの仮想視点画像を並行して生成する。表示制御部３３は、表示部４に表示される画像を生成するのに加え、表示部５が有する表示装置５１－１、表示装置５１－２、及び表示装置５１－３のそれぞれに表示される画像を並行して生成する。図１３（Ａ）、図１３（Ｂ）、及び図１３（Ｃ）は、表示部５が有する３つの表示装置それぞれの画面例であり、３つの仮想カメラ１０２にそれぞれ対応する３つの仮想視点画像２０６が表示される。

【0072】

上記のような構成によれば、１つの注目点に向けた複数の仮想視点に対応する複数の仮想視点画像を生成することができる。また、複数の仮想視点を制御する場合における操作者の人数を削減できるため、仮想視点画像の制作の手間及びコストを削減することができる。例えば、１つの仮想カメラ１０２を２人で操作する場合、Ｎ個の仮想カメラ１０２を制御するためには、２×Ｎ人（例えばＮ＝５の場合は１０人）の操作者が操作を行う。一方、図１１、図１２及び図１３を用いて説明した上記の構成によれば、Ｎ個の仮想視点画像を生成するためには、１＋Ｎ人の操作者（例えばＮ＝５の場合は６人）が操作を行えばよい。Ｎが大きいほど、上記の構成による手間及びコストの削減の効果は大きくなる。

【0073】

なお、１個の操作デバイスを有する操作部１とＮ個の独立した操作デバイスを有する操作部２のセットをＭ組用いることによって、Ｍ個の注目点に対してそれぞれＮ個ずつの仮想視点を同時に制御できる。

【0074】

［複数の注目点の制御］
以下では、操作部１が独立した複数の操作デバイス（例えば操作卓）を有し、複数の注目点１０３を設定することを可能とする制御システム６の例について説明する。図１４は、制御システム６の具体的なデバイス構成の一例を示した図である。図１４の例においては、操作部１は操作卓１１－１と操作卓１１－２を有し、操作部２は操作卓２１－１、操作卓２１－２、及び操作卓２１－３を有する。ただし、操作部１と操作部２のそれぞれが有する独立した操作デバイスの数はこれに限定されない。

【0075】

操作部１が有する複数の操作卓のそれぞれに対する操作に基づいて、複数の注目点１０３が設定される。そして、操作部２が有する各操作卓に対する操作に基づいて、複数の注目点１０３のうち選択された注目点１０３に対する仮想カメラ１０２の位置及び向きが設定される。また、操作部１が有する操作卓と操作部２が有する操作卓の対応付けを変えられるように、操作部２が有する操作卓には、操作部１が有する特定の操作卓を選択するためのボタン２４が設けられている。なお、ボタン２４が物理ボタンでなく、表示部５に表示されるＧＵＩに含まれていてもよく、ＧＵＩを操作するキーボード、マウス、及びタッチパネルなどによってボタン２４が操作されてもよい。

【0076】

視点設定部３２は、操作部２が有する３つの操作卓を用いて制御される３つの仮想カメラ１０２にそれぞれ対応する視点情報を並行して生成する。その際、操作部２の各操作卓に対応付けられた操作部１の操作卓を用いて制御される注目点１０３を基準に、各仮想カメラ１０２が制御される。画像処理装置９は、それぞれの視点情報に基づいて、３つの仮想視点画像を並行して生成する。表示制御部３３は、表示部４が有する表示装置４１－１及び表示装置４１－２、並びに表示部５が有する表示装置５１－１、表示装置５１－２、及び表示装置５１－３のそれぞれに表示される画像を並行して生成する。

【0077】

第二操作者が操作卓の対応付けを変更できるようにするために、図１５に示すように、表示装置５１－１に俯瞰図画像２０１、正面図画像２０２、側面図画像２０３、及び平面図画像２０４が表示される。なお、操作卓２１－１を用いて制御される仮想カメラ１０２に応じた仮想視点画像２０６も表示部５に表示されてもよい。図１５に示す各画像には、それぞれ注目点１０３を示すアイコンが２つずつ表示される。注目点１０３－１は操作卓１１－１を用いて操作され、注目点１０３－２は操作卓１１－２を用いて操作される。各注目点１０３を識別するために、アイコンの色分けや記号又は番号の表示などが行われてもよい。

【0078】

上記の構成によれば、各シーンにおいて重要な注目点１０３には比較的多数の操作デバイスを割り当て、それ以外の注目点１０３には比較的少数の操作デバイスを割り当てることができる。例えばサッカーのシーンにおいて、４人の第一操作者がそれぞれ、選手Ａ、選手Ｂ、選手Ｃ、及び選手Ｄを追い続けるように注目点１０３を操作しているとする。選手Ａがボールをドリブルしているとき、１０人の第二操作者のうち６人が選手Ａに合わせた注目点１０３を基準としてそれぞれ仮想カメラ１０２を操作しているとする。このとき６人の第二操作者が操作する６つの操作デバイスは、選手Ａに合わせて注目点１０３を制御している第一操作者が操作する操作デバイスに対応付けられている。

【0079】

ここで、ボールが選手Ａから選手Ｂへパスされると、６人の第二操作者のうち３人は、選手Ｂへ注目点１０３を切り替える。すなわち３人の第二操作者が操作する操作デバイスは、選手Ｂに合わせて注目点１０３を制御している第一操作者が操作する操作デバイスに対応付けられる。このような方法によれば、ボールを持っている選手に注目した仮想視点画像をより多くの視点で生成することができるようになる。

【0080】

なお、ボールが選手Ａから選手Ｂにパスされたとき、選手Ａに合わせて注目点１０３を制御していた第一操作者が注目点１０３を選手Ｂに切り替えてもよい。ただし、その場合、当該第一操作者に対応付けられていた第二操作者の注目点１０３が一斉に選手Ａから選手Ｂに切り替わってしまう。そこで、上述した方法のように、第一操作者が同じ選手を追い続け、第二操作者が第一操作者との対応付けを切り替えることで、注目点１０３の切り替えタイミングを第二操作者が個別に決められるというメリットがある。例えば、ある第二操作者は選手Ａがボールを蹴った瞬間に注目点１０３を選手Ｂに切り替え、別の第二操作者は選手Ｂがボールを受けた瞬間に注目点１０３を選手Ｂに切り替えることができる。残りの第二操作者はそのまま選手Ａに注目点１０３を合わせ続けてもよい。

【0081】

以上述べた構成によれば、複数の第一操作者がそれぞれ個別の注目点１０３を制御し、１人以上の第二操作者が適宜注目点１０３を切り替えながら仮想カメラ１０２を操作できる。すなわち、注目点１０３と仮想カメラ１０２の組み合わせを臨機応変に切り替えながら仮想視点画像を生成することができる。

【0082】

［注目点１０３の表示位置の調整］
以下では、注目点１０３を仮想カメラ１０２の視野内のどこに位置させるか、すなわち仮想視点画像内のどの位置に注目点１０３を表示させるかを、調整可能とする制御システム６の例について説明する。

【0083】

例えば、ボールに注目点１０３を合わせている場合、図１６（Ａ）の例のようにボール１０６が地面にあるときは、仮想視点画像２０６の下寄りの位置にボールの位置（注目点１０３の位置）が存在すると優れた構図になることが多い。特に仮想カメラ１０２と注目点１０３とが近い場合にこのような構図が求められる。一方、図１６（Ｂ）の例のようにボール１０６が上空にあるときは、仮想視点画像２０６の上寄りの位置にボールの位置（注目点１０３の位置）が存在すると優れた構図になることが多い。また、パスをする選手１０７とパスを受ける選手１０８の両方を仮想カメラ１０２の視野に入れたい場合には、ボールの位置（注目点１０３の位置）が画像の中心に対して横方向にずれた位置に存在した方が優れた構図になることが多い。

【0084】

注目点１０３を仮想視点画像の中心から外れた位置へ移動させられるように、図１７に示す操作部２はタッチパネル２５を有する。例えば、タッチパネル２５をシングルタップすると、タップした座標に対応する画像上の位置に注目点１０３が位置するように、仮想カメラ１０２の向きが変化する。また、タッチパネル２５をフリックすると、画像上の注目点１０３の位置がフリックした方向へフリックした距離に対応する画像上の距離だけ移動する。また、タッチパネル２５をダブルタップすると、注目点１０３の位置が画像の中心へ復帰する。なお、このような注目点１０３を調整する操作は、タッチパネル以外の操作デバイスを用いて行われてもよい。

【0085】

情報処理装置３の処理としては、視点設定部３２が、三次元空間における仮想カメラ１０２の位置から注目点１０３の位置へ向かう三次元方向ベクトルと、仮想カメラ１０２の位置から仮想カメラ１０２の視野の中心へ向かう三次元方向ベクトルとの差を求める。そして視点設定部３２は、タッチパネル２５の操作に基づいて仮想カメラ１０２の向きを調整する。

【0086】

以上述べた構成によれば、仮想カメラ１０２から見て注目点１０３がどの方向に位置するかを、ユーザ操作に基づいて設定できる。これにより、注目点１０３を仮想カメラ１０２の視野の中心（仮想視点画像の中心）から移動させることが可能になり、より多彩な構図の仮想視点画像を生成できる。なお、図１１や図１４に示したように、操作部２が複数の独立した操作デバイスを有する場合、それぞれの操作デバイスにおいて個別に仮想視点画像における注目点１０３の位置を調整できるようにしてもよい。

【0087】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0088】

１ 操作部
２ 操作部
３ 情報処理装置
１０２ 仮想カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】