特許 7581002 画像処理装置、画像処理システム、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241105BHJP

   G06T 15/20 20110101ALI20241105BHJP

   H04N 21/234 20110101ALI20241105BHJP

   H04N 7/18 20060101ALI20241105BHJP

   H04N 23/90 20230101ALI20241105BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

H04N21/234

H04N7/18 V

H04N23/90

【請求項の数】 18

(21)【出願番号】P 2020168045

(22)【出願日】2020-10-02

(65)【公開番号】P2022060058

(43)【公開日】2022-04-14

【審査請求日】2023-09-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】相澤 道雄

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０２０－０８６９８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／２０

Ｈ０４Ｎ ２１／２３４

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／９０

(57)【特許請求の範囲】

【請求項1】

第１の撮像装置群により複数の方向から撮像されることで得られた第１の画像群に基づき生成される仮想視点画像に対応する仮想視点を特定するための情報に基づいて決定された視線情報であって、前記第１の撮像装置群とは異なる第２の撮像装置群に含まれる複数の撮像装置の視線情報を取得する第１の取得手段と、
前記第２の撮像装置群によりオブジェクトが複数の方向から撮像されることに基づく第２の画像群を取得する第２の取得手段と、
前記第１の取得手段により取得された視線情報と、前記第２の取得手段により取得された第２の画像群とに基づいて、前記第１の撮像装置群が撮像する撮像空間における所定の位置に前記オブジェクトが存在する場合の仮想視点画像を生成する生成手段と、を有し、
前記第１の取得手段により取得される視線情報は、前記第２の撮像装置群が撮像する撮像空間の基準点と、前記第１の画像群に基づき生成された仮想視点画像を表示する表示部の位置と、前記表示部に表示されている前記仮想視点画像における仮想視点を特定するための情報と、前記所定の位置と、に基づき決定される前記第２の撮像装置群に含まれる複数の撮像装置の視線情報である
ことを特徴とする画像処理装置。

【請求項2】

前記第１の画像群に含まれるオブジェクトから指定されたオブジェクトの位置を取得する第３の取得手段をさらに有し、
前記所定の位置は、前記第３の取得手段により取得された、指定されたオブジェクトの位置に基づく位置である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１の取得手段により取得される視線情報は、
前記指定されたオブジェクトの位置に前記基準点を合わせるためのパラメータと、前記表示部に表示されている仮想視点画像における仮想視点からの視線方向に、前記基準点から前記表示部への方向を合わせるためのパラメータと、に基づき決定された前記第２の撮像装置群に関する視線情報である
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記基準点は、前記第２の撮像装置群が撮像するオブジェクトの位置である
ことを特徴とする請求項１または３に記載の画像処理装置。

【請求項5】

前記表示部は、前記第２の撮像装置群が撮像するオブジェクトから見える位置に設置されている
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第１の画像群に含まれるオブジェクトを検出する検出手段をさらに有し
前記指定されたオブジェクトは、前記検出されたオブジェクトから指定されたオブジェクトである
ことを特徴とする請求項２または３に記載の画像処理装置。

【請求項7】

前記生成手段は、前記指定されたオブジェクトの形状を抑制する処理をする
ことを特徴とする請求項２または３または６に記載の画像処理装置。

【請求項8】

前記第１の取得手段は、前記第２の画像群に対応付ける時刻情報として、前記第１の画像群に基づき生成された仮想視点画像に対応付けられている時刻情報を取得する
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記第２の撮像装置群が撮像するオブジェクトの近傍に設置されたボール発射装置を制御する制御手段をさらに有する
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

前記制御手段は、前記第１の画像群に基づき生成された仮想視点画像における仮想視点からの視線方向に、前記第２の撮像装置群の撮像空間の基準点から前記第１の画像群に基づき生成された仮想視点画像を表示する表示部への方向を合わせるためのパラメータと、前記仮想視点画像におけるボールの移動する方向とに基づき、前記ボール発射装置によるボールの発射する方向を決定する
ことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記第２の撮像装置群が撮像する際に、前記表示部に表示されている前記仮想視点画像の仮想視点からの見えを規定する情報に少なくとも基づき、前記第２の撮像装置群に関する視線情報を変更する変更手段をさらに有し、
前記第１の取得手段は、前記変更手段が変更した前記第２の撮像装置群に関する視線情報を取得する
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項12】

前記第１の画像群と前記第１の撮像装置群に関する視線情報とを取得する第４の取得手段と、
前記第１の画像群と前記第１の撮像装置群の視線情報とに基づき、前記第１の画像群に含まれるオブジェクトの三次元形状データを生成して、前記表示部に表示される仮想視点画像を生成する第２の生成手段と、をさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項13】

前記生成手段は、
前記第１の画像群に含まれるオブジェクトの三次元形状データと、前記第２の取得手段が取得した前記第２の画像群と前記第２の取得手段が取得した視線情報とに基づき生成した前記第２の画像群に含まれるオブジェクトの三次元形状データと、を合成して、前記合成した結果得られた三次元形状データに基づき、仮想視点画像を生成する
ことを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記生成手段によって生成された仮想視点画像を、前記表示部とは異なる第２の表示部に表示させる制御をする表示制御手段をさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項15】

前記第２の撮像装置群は、前記第２の撮像装置群の撮像空間の円周上に位置するようにそれぞれ配置されている
ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。

【請求項16】

請求項１から１５のいずれか１項に記載の画像処理装置と、
前記第１の画像群に基づき生成された仮想視点画像を、前記第２の撮像装置群が撮像するオブジェクトが見える位置にある表示部に表示する制御をする表示制御手段を有する装置と、
を有することを特徴とする画像処理システム。

【請求項17】

第１の撮像装置群により複数の方向から撮像されることで得られた第１の画像群に基づき生成される仮想視点画像に対応する仮想視点を特定するための情報に基づいて決定された視線情報であって、第１の撮像装置群とは異なる第２の撮像装置群に含まれる複数の撮像装置の視線情報を取得する第１の取得ステップと、
前記第２の撮像装置群によりオブジェクトが複数の方向から撮像されることに基づく第２の画像群を取得する第２の取得ステップと、
前記第１の取得ステップにより取得された視線情報と、前記第２の取得ステップにより取得された第２の画像群とに基づいて、前記第１の撮像装置群が撮像する撮像空間における所定の位置に前記オブジェクトが存在する場合の仮想視点画像を生成する生成ステップと、を有し、
前記第１の取得ステップにより取得される視線情報は、前記第２の撮像装置群が撮像する撮像空間の基準点と、前記第１の画像群に基づき生成された仮想視点画像を表示する表示部の位置と、前記表示部に表示されている前記仮想視点画像における仮想視点を特定するための情報と、前記所定の位置と、に基づき決定される前記第２の撮像装置群に含まれる複数の撮像装置の視線情報である
ことを特徴とする画像処理方法。

【請求項18】

コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、撮像画像に基づくデータの生成に関する。

【背景技術】

【0002】

コンピュータグラフィックの技術を用いて、実際に撮像して得られた撮像画像に、当該撮像画像には含まれない別のオブジェクトの画像を合成する方法がある。

【0003】

特許文献１には、実際の試合の映像に、アーカイブされたデータから別の選手のグラフィックを合成することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１０１４００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１には、撮像画像の撮像空間の任意の位置に、別の撮像空間のオブジェクトが合成された画像を生成する方法が記載されていない。

【0006】

本開示の技術は、撮像空間の任意の位置に、別の撮像空間のオブジェクトが合成された画像を生成することを目的とする。

【課題を解決するための手段】

【0007】

本開示の画像処理装置は、第１の撮像装置群により複数の方向から撮像されることで得られた第１の画像群に基づき生成される仮想視点画像に対応する仮想視点を特定するための情報に基づいて決定された視線情報であって、前記第１の撮像装置群とは異なる第２の撮像装置群に含まれる複数の撮像装置の視線情報を取得する第１の取得手段と、前記第２の撮像装置群によりオブジェクトが複数の方向から撮像されることに基づく第２の画像群を取得する第２の取得手段と、前記第１の取得手段により取得された視線情報と、前記第２の取得手段により取得された第２の画像群とに基づいて、前記第１の撮像装置群が撮像する撮像空間における所定の位置に前記オブジェクトが存在する場合の仮想視点画像を生成する生成手段と、を有し、前記第１の取得手段により取得される視線情報は、前記第２の撮像装置群が撮像する撮像空間の基準点と、前記第１の画像群に基づき生成された仮想視点画像を表示する表示部の位置と、前記表示部に表示されている前記仮想視点画像における仮想視点を特定するための情報と、前記所定の位置と、に基づき決定される前記第２の撮像装置群に含まれる複数の撮像装置の視線情報であることを特徴とする。

【発明の効果】

【0008】

本開示の技術によれば、撮像空間の任意の位置に、別の撮像空間のオブジェクトが合成された画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】画像処理システムの構成を説明する図。

【図2】画像処理システムの機能構成を説明する図。

【図3】画像処理装置のハードウエア構成を説明する図。

【図4】第１の撮像装置による撮像処理を説明するフローチャート。

【図5】第２の撮像装置による撮像処理を説明するフローチャート。

【図6】位置合わせ処理を説明するフローチャート。

【図7】平行移動ベクトルを説明する図。

【図8】回転行列の角度を説明する図。

【図9】位置合わせ処理を説明するための図。

【図10】合成仮想視点画像の生成処理を説明するフローチャート。

【図11】ボール発射装置の制御処理を説明するフローチャート。

【図12】ボールの向きを説明する図。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、実施形態に基づいて本開示の技術の詳細を説明する。以下の実施形態は、本開示の技術を実施するにあたっての具体化の例を示したものに過ぎず、本開示の技術的範囲が限定的に解釈されるものではない。本開示の技術はその技術思想又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【0011】

＜実施形態１＞
［システム構成］
図１は、異なる撮像空間のオブジェクトの三次元モデルを合成して仮想視点画像を生成するための、本実施形態の画像処理システム１の構成を示す図である。仮想視点画像とは、実際に設置されているカメラの設置位置及び撮像方向とは異なる実在しないカメラの視点である仮想視点から見た画像であり、自由視点画像や任意視点画像とも呼ばれる。仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。仮想視点画像は、動画であっても、静止画であってもよい。本実施形態では、仮想視点画像は動画であるものとして説明する。

【0012】

なお、本実施形態では説明の便宜上、仮想視点を表す概念として、仮想視点を仮想的なカメラ（仮想カメラ）に置き換えて説明する場合がある。このとき、仮想カメラの位置は仮想視点の位置、仮想視点からの視線方向は仮想カメラの姿勢にそれぞれ対応する。また、仮想視点画像は、仮想カメラにより仮想的に撮像されることにより得られる撮像画像に対応する。

【0013】

本実施形態の画像処理システム１は、第１の撮像装置１１０、第１の制御装置１００、第２の撮像装置２１０、第２の制御装置２００、仮想視点画像表示装置２３０、画像処理装置３００、合成画像表示装置４１０、操作装置４２０を有する。各装置間は、例えばネットワーク２３１で接続され、ＩＰ通信などにより各種データを送受信する。

【0014】

第１の撮像装置１１０は、第１の撮像空間１２０を撮像する複数の撮像装置（撮像装置群）であり、例えば、静止画像及び動画像等の撮像画像を撮像可能な複数のデジタルカメラである。第１の撮像空間１２０は、第１のオブジェクトを含む撮像空間である。例えば、第１の撮像空間１２０はサッカーの試合が行われるスタジアムのフィールドであり、第１のオブジェクトはサッカーの選手１２２である。図１に示すように第１の撮像空間１２０がスタジアムのフィールドの場合、第１の撮像装置１１０は、スタジアムのフィールドの周囲に配置され、フィールドを様々な角度から時刻同期して撮像する。その結果、複数視点の撮像画像が得られる。本明細書では、第１のオブジェクトはサッカーの選手であるものとして説明する。

【0015】

第１の制御装置１００は、第１の撮像装置１１０を制御して、第１の撮像装置１１０に第１の撮像空間１２０を時刻同期して撮像させる制御装置である。

【0016】

第２の撮像装置２１０は、第２の撮像空間２２０を撮像する複数の撮像装置であり、例えば、静止画像及び動画像等の撮像画像を撮像可能な複数のデジタルカメラである。第２の撮像空間２２０は、例えば、スタジアム内に設置されたスタジオである。図１に示すように、第２の撮像空間２２０には第２のオブジェクトが存在し、第２の撮像装置２１０は、スタジオ内の周囲に配置され、第２のオブジェクトを様々な角度から時刻同期して撮像する。その結果、複数視点の撮像画像が得られる。本明細書では、ユーザ２２２が第２のオブジェクトであるものとして説明する。なお、第２の撮像空間２２０は、第１の撮像装置１１０が設置されたスタジアムとは別の場所に設置されたスタジオであってもよい。また、第２の撮像空間２２０は、スタジオでなくてもよく、例えば、第１の撮像装置１１０が設置されたスタジアムとは別のスタジアムのフィールドであってもよい。

【0017】

第２の制御装置２００は、第２の撮像装置２１０を制御して、第２の撮像装置２１０に第２の撮像空間２２０を時刻同期して撮像させる制御装置である。第２の制御装置２００の機能の詳細については後述する。

【0018】

仮想視点画像表示装置２３０は、第１の撮像空間１２０の撮像画像に基づき画像処理装置３００が生成した仮想視点画像を表示するための表示装置である。仮想視点画像表示装置２３０における画面を表示する表示部は、第２の撮像空間２２０の近傍の位置であって、ユーザ２２２が視聴可能な位置に設置される。第２の撮像空間２２０の近傍とは第２の撮像空間２２０を含んでもよい。つまり、仮想視点画像表示装置２３０は、ユーザ２２２が画面を視聴可能な位置であれば第２の撮像空間２２０内に設置されてもよい。本明細書の図で示した仮想視点画像表示装置２３０は、仮想視点画像表示装置２３０の表示部を指す。

【0019】

画像処理装置３００は、例えば複数のサーバとデータベースとで構成される装置である。画像処理装置３００は、第１の撮像装置１１０が時刻同期して撮像することよって得られた複数の撮像画像を取得して、第１の撮像空間１２０を仮想視点から見た仮想視点画像を生成する。また、画像処理装置３００は、第１の撮像装置１１０の撮像画像に基づき生成された三次元モデルに、第２の制御装置２００の撮像画像に基づき生成されたユーザ２２２の三次元モデルを合成して仮想視点画像を生成する装置である。この合成した結果得られた仮想視点画像を合成仮想視点画像と記す。図１の画像処理装置３００は、スタジアムの近くに駐車された中継車３１０に設置された例である。画像処理装置３００の機能の詳細については後述する。画像処理装置３００は、中継車３１０に設置されていなくても別の場所に設置されていてもよい。

【0020】

操作装置４２０は、画像処理装置３００が合成仮想視点画像を生成する際の仮想視点の位置および仮想視点からの視線方向を指示するための操作装置である。操作装置４２０を操作するオペレータ２４４は、画像処理システム１の運営者であってもよいしスタジアムを訪れた観客２４３でもよい。

【0021】

合成画像表示装置４１０は、画像処理装置３００が生成した合成仮想視点画像を表示するための表示装置である。

【0022】

このように、画像処理システム１は、スタジアムで行われている試合を仮想視点から見た画像に、アトラクションの参加者であるユーザ２２２の画像を合成して、合成仮想視点画像を生成して表示するアトラクションを提供するためのシステムである。ユーザ２２２は、例えば、スタジアムを訪れた観客である。このアトラクションによればユーザ２２２は、フィールド内の選手１２２のプレイを追体験することができる。

【0023】

このため、図１では、第２の撮像装置２１０、第２の制御装置２００、仮想視点画像表示装置２３０は、スタジアム内に設置されたブース内のスタジオに、アトラクションを提供するために配置されている例を示している。同様に、図１では、合成画像表示装置４１０は、スタジアムに設置される例を示している。このように、画像処理システム１によれば、スタジアムを訪れた観客２４３は、スタジアムで行われた実施の試合のほかに合成仮想視点画像も楽しむことができる。

【0024】

［機能構成］
図２は、画像処理システム１の機能構成を示す図である。図２を用いて、画像処理システム１を構成する各装置の機能について説明する。

【0025】

第１の制御装置１００は、第１の撮像制御部１０１を有する。第１の撮像制御部１０１は、第１の撮像装置１１０を制御して、第１の撮像装置１１０に第１の撮像空間１２０を時刻同期して撮像させる。

【0026】

第２の制御装置２００は、第２の撮像制御部２０１、撮像空間合わせ部２０２、表示制御部２０５、および受付部２０６を有する。

【0027】

第２の撮像制御部２０１は、時刻同期して第２の撮像装置２１０に第２の撮像空間２２０を撮像させる制御を行う。そして、その結果得られた複数の撮像画像（撮像画像群）を取得する。

【0028】

撮像空間合わせ部２０２は、時刻合わせ部２０３と、位置合わせ部２０４と、を有する。時刻合わせ部２０３は、第２の撮像装置２１０が撮像することによって得られた撮像画像に対応付ける時刻を、第１の撮像装置１１０の撮像画像に基づき生成された仮想視点画像の時刻に、フレームごとに合わせる処理を行う。位置合わせ部２０４は、第２の撮像装置２１０の位置および姿勢を規定するカメラパラメータを、仮想視点画像表示装置２３０に表示される仮想視点画像の仮想視点の情報等に基づき、フレームごとに変更する処理を行う。撮像空間合わせ部２０２の処理の詳細は後述する。

【0029】

表示制御部２０５は、画像処理装置３００が生成した仮想視点画像を取得し、仮想視点画像表示装置２３０に取得した仮想視点画像を表示する制御を行う。なお、表示制御部２０５は、画像処理装置３００の機能に含まれていてもよく、画像処理装置３００の表示制御部が生成した仮想視点画像を仮想視点画像表示装置２３０に表示する制御を行ってもよい。受付部２０６は、第２のオブジェクト等のユーザによる第２の制御装置２００の操作部（不図示）の操作を受け付ける。

【0030】

画像処理装置３００は、オブジェクト検出部３０１、第１の撮像画像管理部３０２、仮想視点画像生成部３０３、第２の撮像画像管理部３０４、合成仮想視点画像生成部３０５、表示制御部３０６、および仮想視点制御部３０７を有する。さらに、画像処理装置３００はボール発射制御部３０８を有する。

【0031】

オブジェクト検出部３０１は、第１の撮像装置１１０が撮像することによって得られた撮像画像から、第１の撮像空間１２０内の選手やボールなどのオブジェクトを検出する。
本実施形態では、受信したそれぞれの画像からイメージピラミッドを作成し、ＳＶＭなどを用いてオブジェクトを検出するものとして説明するが、オブジェクトの検出方法はこの方法に限られない。

【0032】

第１の撮像画像管理部３０２は、第１の撮像装置１１０が撮像することによって得られた複数の撮像画像（撮像画像群）と、オブジェクト検出部３０１がオブジェクトを検出した結果を記憶させて管理する。

【0033】

仮想視点画像生成部３０３は、第１の撮像装置１１０が撮像することによって得られた撮像画像に基づき、第１の撮像空間１２０を仮想視点から見た仮想視点画像を生成する。仮想視点画像を生成する方法は後述する。

【0034】

第２の撮像画像管理部３０４は、第２の撮像装置２１０が撮像することによって得られた撮像画像およびその撮像画像に関する情報を第２の制御装置２００から取得し、取得したデータを記憶させて管理する。

【0035】

合成仮想視点画像生成部３０５は、第１の撮像空間の任意の位置にユーザ２２２の三次元モデルを合成して、ユーザ２２２が合成された第１の撮像空間を仮想視点から見た画像である合成仮想視点画像を生成する。合成仮想視点画像生成部３０５の処理の詳細は後述する。

【0036】

表示制御部３０６は、合成仮想視点画像生成部３０５が生成した合成仮想視点画像を、合成画像表示装置４１０に表示する制御を行う。仮想視点制御部３０７は、合成仮想視点画像を生成する際の仮想視点を指示するための、オペレータによる操作装置４２０の操作を受け付ける。

【0037】

ボール発射制御部３０８は、画像処理システム１と接続しているボール発射装置１２０６（図１２参照）がボールを発射する時刻等を算出し、ボール発射装置１２０６にボールを発射する指示を行う等の制御を行う。なお、ボール発射装置１２０６およびボール発射制御部３０８については実施形態２で説明する。本実施形態では、ボール発射制御部３０８が無い形態でもよい。

【0038】

［ハードウエア構成］
画像処理装置３００のハードウエア構成について、図３を用いて説明する。なお、第１の制御装置１００、および第２の制御装置２００のハードウエア構成も、以下で説明する画像処理装置３００の構成と同様である。画像処理装置３００は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、補助記憶装置３１４、表示部３１５、操作部３１６、通信Ｉ／Ｆ３１７、及びバス３１８を有する。

【0039】

ＣＰＵ３１１は、ＲＯＭ３１２やＲＡＭ３１３に格納されているコンピュータプログラムやデータを用いて画像処理装置３００の全体を制御する。なお、画像処理装置３００がＣＰＵ３１１とは異なる１又は複数の専用のハードウエアを有し、ＣＰＵ３１１による処理の少なくとも一部を専用のハードウエアが実行してもよい。専用のハードウエアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ３１３は、補助記憶装置３１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0040】

表示部３１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置３００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部３１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ３１１に入力する。ＣＰＵ３１１は、表示部３１５を制御する表示制御部、及び操作部３１６を制御する操作制御部として動作する。

【0041】

通信Ｉ／Ｆ３１７は、画像処理装置３００の外部の装置との通信に用いられる。例えば、画像処理装置３００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３１７に接続される。画像処理装置３００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３１７はアンテナを備える。バス３１８は、画像処理装置３００の各部をつないで情報を伝達する。

【0042】

本実施形態では表示部３１５と操作部３１６が画像処理装置３００の内部に存在するものとするが、表示部３１５と操作部３１６との少なくとも一方が画像処理装置３００の外部に別の装置として存在していてもよい。

【0043】

図２を用いて説明した、図１の画像処理システム１を構成する装置の各機能は、夫々の装置のＣＰＵが所定のプログラムを実行することにより実現されるが、これに限られるものではない。他にも例えば、演算を高速化するためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウエアが利用されてもよい。すなわち、本実施形態の画像処理システム１を構成する装置の図２の各機能部は、ソフトウエアと専用ＩＣなどのハードウエアとの協働で実現されてもよいし、一部またはすべての機能がハードウエアのみで実現されてもよい。

【0044】

［第１の撮像装置による撮像処理について］
図４は、第１の撮像装置１１０が撮像した動画像のフレームにおける、フレームに含まれるオブジェクトと、フレームのタイムコードを保持する処理を説明するためのシーケンス図である。図３のシーケンス図で示されるそれぞれの装置における処理は、それぞれ装置のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図４におけるステップの一部または全部の機能を、それぞれの装置のＡＳＩＣや電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローにおけるステップであることを示すこととし、以下のシーケンス図またはフローチャートでも同様とする。

【0045】

Ｓ４０１において第１の撮像制御部１０１は、第１の撮像装置１１０を構成する夫々の撮像装置の実際の位置および姿勢等を示す実カメラパラメータを推定するために、キャリブレーションを実行する。例えば、キャリブレーションは次のとおり実行する。

【0046】

第１の撮像空間１２０に、キャリブレーションパターンを印刷した多数のマーカーを配置する。これらのマーカーを、第１の撮像装置１１０が撮像し、撮像した結果得られた撮像画像に含まれるキャリブレーションパターンの位置を対応づける。第１の撮像制御部１０１は、対応付けられた位置に基づき、透視投影モデルを用いて、第１の撮像装置１１０を構成する夫々の撮像装置の実際の位置および姿勢を示す実カメラパラメータを算出する。撮像装置の位置ｔは、例えば、式１で示すベクトルで表す。

【0047】

【数1】

【0048】

撮像装置の姿勢Ｒは、例えば、式２で示す回転行列で表す。

【0049】

【数2】

【0050】

Ｓ４０２において第１の撮像制御部１０１は、Ｓ４０１で推定した第１の撮像装置１１０の実カメラパラメータを画像処理装置３００へ送信する。

【0051】

Ｓ４０３において画像処理装置３００の第１の撮像画像管理部３０２は、第１の撮像装置１１０の実カメラパラメータをＲＯＭ３１２または補助記憶装置３１４等の記憶部へ記憶させる。

【0052】

次のＳ４０４～Ｓ４０８は、第１の撮像装置１１０が１フレームを撮像し、その結果得られたフレームから検出されたオブジェクトと、フレームのタイムコードと、を保持するための処理である。

【0053】

Ｓ４０４において第１の撮像制御部１０１は、第１の撮像装置１１０に、時刻を同期させて１フレームの撮像を指示する。第１の撮像装置１１０は、例えば、スタジアムで行われているサッカーの試合を撮像する。

【0054】

Ｓ４０５において第１の撮像制御部１０１は、Ｓ４０４の処理の結果得られた第１の撮像装置１１０を構成する複数の撮像装置からそれぞれ１フレーム分の画像データを取得することで複数視点のフレームの画像データを取得する。そして、第１の撮像制御部１０１は、複数視点のフレームの画像データとそのフレームのタイムコードとを画像処理装置３００へ送信する。

【0055】

Ｓ４０６で画像処理装置３００は、Ｓ４０５で送信された複数視点の１フレーム分の画像データとタイムコードとを受信する。

【0056】

Ｓ４０７においてオブジェクト検出部３０１は、Ｓ４０６で受信した画像データが示す画像内に含まれるオブジェクトを検出する。例えば、オブジェクト検出部３０１は、受信したそれぞれの画像からイメージピラミッドを作成し、ＳＶＭなどの手法を用いてオブジェクトを検出する。

【0057】

Ｓ４０８において第１の撮像画像管理部３０２は、受信した複数視点の１フレームの画像データと、そのフレームのタイムコードと、そのフレームから検出されたそれぞれのオブジェクトの位置とを、関連付けて記憶させる。

【0058】

Ｓ４０９において第１の撮像制御部１０１は、第１の撮像装置１１０に撮像を続行させるかを判定する。撮像を終了する場合、本フローチャートの処理を終了する。撮像を続行する場合は、Ｓ４０４へ戻り、再度、第１の撮像装置１１０に１フレームの撮像を指示する。本ステップでの判定方法は、例えば、画像処理システム１の運営者等による撮像終了の指示が受け付けられた場合に撮像を終了すると判定する。

【0059】

［第２の撮像装置による撮像処理について］
図５は、画像処理装置３００が生成する仮想視点画像に合わせて、第２の撮像装置に第２の撮像空間を撮像させる処理を説明するフローチャートである。

【0060】

Ｓ５０１において第２の撮像制御部２０１が、第２の撮像装置２１０を構成する夫々の撮像装置の実際の位置および姿勢等を示す実カメラパラメータを推定するために、キャリブレーションを実行する。そして、第２の撮像制御部２０１は、第２の撮像装置２１０を構成する夫々の撮像装置の実カメラパラメータを取得する。キャリブレーションの方法は、Ｓ４０１の方法と同様の方法により行えばよい。

【0061】

Ｓ５０２において第２の撮像制御部２０１は、第２の撮像装置２１０の実カメラパラメータを記憶させる。

【0062】

次に、第２の制御装置２００の操作部（不図示）を介して、第２のオブジェクトが追体験するシーンが指定される。Ｓ５０３において受付部２０６は、第２の制御装置２００の操作部（不図示）の操作を受け付けて、追体験するシーンの情報を取得する。具体的には、追体験するシーンの開始時刻と終了時刻のタイムコードとが指定される。また追体験の対象であるオブジェクトが、オブジェクト検出部３０１が検出したオブジェクトのうちから指定される。例えば、サッカーの試合のシュートシーンを追体験するシーンとする場合、開始時刻としてシュートした時刻の１０秒前のタイムコードが指定され、終了時刻としてゴールした時刻の１０秒後のタイムコードが指定される。１０秒は、一例であり、任意に時間が設定されてもよい。また、選手１２２がそのシーンにおけるシュートした選手とすると、選手１２２が追体験するオブジェクトとして指定される。本実施形態では、追体験する選手として選手１２２が指定されるものとして説明する。なお、運営者がいくつかのシーンと時刻とを関連付けて保存しておき、保存されたシーンの中から所望のシーンが指定できるようにしてもよい。

【0063】

次に、第２の制御装置２００の操作部（不図示）を介して、第２のオブジェクトが追体験するシーンの再生速度が指示される。Ｓ５０４において受付部２０６は、第２の制御装置２００の操作部（不図示）の操作を受け付けて、追体験するシーンの再生速度を取得する。再生速度が等速に指定された場合、ユーザ２２２は、選手１２２による実際の速さの動作で、指定したシーンを追体験することができる。一方、再生速度をスローに指定した場合、ユーザ２２２は、選手１２２のプレイをより容易に再現することができる。シーンの指定および再生速度の指定は、例えば、ユーザ２２２が第２の制御装置２００の操作部（不図示）を操作して指定する。

【0064】

そして、受付部２０６は、指定された、シーンとオブジェクトと再生速度とを画像処理装置３００へ送信する。

【0065】

Ｓ５０５において仮想視点画像生成部３０３は、指定された、シーンとオブジェクトと再生速度とを受信して保持する。

【0066】

次のＳ５０６～Ｓ５０９は、第１の撮像装置１１０の撮像に基づく動画像のフレームから、１フレーム分の仮想視点画像を生成する処理が行われる。

【0067】

Ｓ５０６において仮想視点画像生成部３０３は、後続のステップであるＳ５０９において生成する１フレームの仮想視点画像に対応付ける時刻を決定する。時刻とは、本実施形態ではタイムコードであるものして説明する。タイムコードとは［時：分：秒．フレーム］の形式で表される時刻情報である。ループ処理における１回目の本ステップの処理では、指定されたシーンの開始時刻のタイムコードを仮想視点画像の時刻として決定する。２回目以降の本ステップの処理では、設定されたシーンの再生速度に応じて時刻を決定する。

【0068】

例えば、フレームレートが６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の仮想視点画像を生成する場合を例に説明する。この場合、シーンの再生速度が等速に指定されたときは、１／６０秒ごとに１フレーム分タイムコードを進めて、そのタイムコードを仮想視点画像の時刻として決定する。シーンの再生速度が２倍のスロー再生に指定されたときは、１／３０秒ごとに１フレーム分、タイムコードを進める。

【0069】

Ｓ５０７において仮想視点画像生成部３０３は、第１の撮像空間１２０を仮想視点から見た画像である仮想視点画像を生成するための仮想視点を設定する。具体的には、仮想視点の位置、仮想視点からの視線方向を示す姿勢などを表す仮想視点パラメータを設定する。仮想視点パラメータは、実カメラパラメータと同様のパラメータである。ただし、仮想カメラパラメータは実カメラパラメータとは異なり、第１の撮像装置１１０が実在しない位置に視点を設定することができる。

【0070】

本ステップで決定される仮想視点に基づき生成される仮想視点画像は、ユーザ２２２が視聴するための画像であり、ユーザ２２２は、その仮想視点画像を見ながら選手１２２のプレイを再現する。このため、本ステップで設定される仮想視点は、例えば、指定された選手１２２を第３者の視点から見た視点に設定する。この場合、仮想視点からの視線方向は、指定されたシーンがゴールシーンの場合、ゴールの方向に設定することで、ユーザはプレイを再現しやすくなる。または、仮想視点からの視線方向は指定された選手１２２の視線方向と同じにしてもよい。この場合、仮想視点の位置は指定された選手１２２の顔の位置に設定してもよい。このように仮想視点を設定した場合、ユーザ２２２の追体験の度合いを高めることができる。

【0071】

本ステップにおける仮想視点の設定は、仮想視点画像生成部３０３が指定されたシーンまたは指定されたオブジェクトに応じて決定してもよい。または、画像処理システム１の運営者が仮想視点を指定し、仮想視点画像生成部３０３が指定された仮想視点を設定してもよい。

【0072】

Ｓ５０８において仮想視点画像生成部３０３は、第１の撮像空間１２０内のオブジェクトの三次元形状を示す三次元モデル（三次元形状データとも記す）を１フレーム分生成する。三次元モデルの生成方法は、例えば次のとおりに行う。

【0073】

まず、第１の撮像画像管理部３０２が管理している第１の撮像空間１２０を撮像して得られた動画像のフレームから、Ｓ５０６で決定された時刻に対応するフレームを、第１の撮像装置１１０を構成する夫々の撮像装置が撮像した分それぞれ取得する。

【0074】

取得した複数視点の１フレームに対してオブジェクトの領域を検出する。オブジェクトを検出する処理は、オブジェクト検出部３０１の処理と同様の方法が用いられてもよし、背景画像との差分に基づき検出してもよい。そして、オブジェクトの形状を示すシルエット画像と、撮像画像から切り出されたオブジェクトのテクスチャを表すテクスチャ画像と、を生成する。

【0075】

そして、シルエット画像を用いて、例えば視体積交差法により、オブジェクトの三次元モデルを生成する。この際に、第１の撮像装置１１０の実カメラパラメータが必要になるため、第１の撮像画像管理部３０２が管理している実カメラパラメータを使用する。第１の撮像空間を撮像した第１の撮像装置１１０の実カメラパラメータは変更されることがない。

【0076】

Ｓ５０９において仮想視点画像生成部３０３は、Ｓ５０８で生成された第１の撮像空間１２０内のオブジェクトの三次元モデルを、Ｓ５０７で設定された仮想視点から見た画像になるようにレンダリングする。具体的には、仮想視点から見た三次元モデルに対して当該時刻のテクスチャ画像を用いて着色処理する。こうして１フレーム分の仮想視点画像が生成される。

【0077】

Ｓ５１０において仮想視点画像生成部３０３は、生成された１フレーム分の仮想視点画像、Ｓ５０６で決定された時刻、およびＳ５０７で設定された仮想視点の仮想視点パラメータを第２の制御装置２００に送信する。さらに仮想視点画像生成部３０３は、生成された仮想視点画像における指定されたオブジェクトの位置を第２の制御装置２００に送信する。本実施形態では選手１２２の位置が送信される。

【0078】

次のＳ５１１～５１５は、第２の撮像装置２１０の撮像に基づくフレームの時刻および、第２の撮像装置２１０のカメラパラメータを、生成された仮想視点画像に合わせる処理を行う。

【0079】

Ｓ５１１において第２の制御装置２００は、仮想視点画像、タイムコード、仮想視点パラメータ、および指定されたオブジェクトの位置を受信する。

【0080】

Ｓ５１２において表示制御部２０５は、受信した仮想視点画像に受信したタイムコードを重畳させて、タイムコードが重畳された仮想視点画像を仮想視点画像表示装置２３０に表示させる。ユーザ２２２は表示される仮想視点画像を見て、例えば、選手１２２の動きに合わせて動作することにより選手１２２のプレイを真似する楽しみを味わうことができる。

【0081】

Ｓ５１３において時刻合わせ部２０３は、Ｓ５１５で第２の撮像装置２１０が撮像することによって得られるフレームに対応付ける時刻を決定する。仮想視点画像表示装置２３０に仮想視点画像に重畳して表示されているタイムコードと同じタイムコードを、次にＳ５１５で第２の撮像装置２１０が撮像することにより得られるフレームに対応付ける時刻として決定する。

【0082】

仮想視点画像表示装置２３０において仮想視点画像に重畳して表示されているタイムコードは、直前のＳ５０６で決定されてＳ５１１で受信したタイムコードである。この結果、第２の撮像装置２１０がこれからＳ５１５で撮像することによって得られるフレームのタイムコードが、仮想視点画像表示装置２３０に現在表示されている仮想視点画像のタイムコードと同じになるように決定される。このように、第１の撮像空間１２０の仮想視点画像の時刻に、第２の撮像空間の撮像画像の時刻を合わせることで、シーンを逆再生するなどゲーム性を高めた場合でも、ユーザ２２２は、仮想視点画像を見ながら選手１２２に動きを真似し易くすることができる。

【0083】

Ｓ５１４において位置合わせ部２０４は、第２の撮像装置２１０のカメラパラメータに対して位置合わせ処理を行う。この位置合わせ処理により、仮想視点からの視線方向等に応じて、第２の撮像装置２１０の位置と姿勢を示す実カメラパラメータが変更される。具体的な処理手順は後述する。位置合わせがされた第２の撮像装置２１０の変更後のカメラパラメータ（変更後カメラパラメータと呼ぶ）は、位置合わせ前の実カメラパラメータとは別に、一時的に保存される。

【0084】

Ｓ５１５において第２の撮像制御部２０１は、第２の撮像装置２１０を構成する撮像装置に時刻同期させて第２の撮像空間２２０を撮像させる。その結果、ユーザ２２２を含む１フレームの複数視点の画像データを得る。

【0085】

Ｓ５１６において第２の撮像制御部２０１は、Ｓ５１５で取得した複数視点のフレームを示す画像データと、Ｓ５１３で決定したフレームのタイムコードとを画像処理装置３００へ送信する。さらに第２の撮像制御部２０１は、Ｓ５１４の結果得られた第２の撮像装置２１０を構成する撮像装置の変更後カメラパラメータを画像処理装置３００へ送信する。変更後カメラパラメータは、画像処理装置３００へ送信された後、第２の制御装置２００の記憶部から削除される。

【0086】

Ｓ５１７において画像処理装置３００の第２の撮像画像管理部３０４は、複数視点の１フレーム分の画像データと、そのフレームのタイムコードと、第２の撮像装置２１０の変更後カメラパラメータを受信する。

【0087】

Ｓ５１８において第２の撮像画像管理部３０４は、受信した複数視点の１フレーム分の画像データ、そのフレームのタイムコード、第２の撮像装置２１０の変更後カメラパラメータを関連付けて記憶させる。

【0088】

Ｓ５１９において第２の撮像制御部２０１は、第２の撮像空間の撮像を終了するか否かを判定する。Ｓ５０６で設定された時刻が、Ｓ５０３で指定されたシーンの終了時刻と等しい場合に撮像を終了すると判定する。撮像を終了する場合は処理を終了し、終了しない場合はＳ５０６へ戻り、処理を繰り返す。

【0089】

なお、第２の撮像装置２１０が１台の撮像装置である場合、第２の撮像制御部２０１は、第２の撮像装置２１０を制御し、ユーザ２２２を追いかけるように撮像する構成としてもよい。

【0090】

［位置合わせ処理について］
図６は、Ｓ５１４における位置合わせ部２０４の処理手順を説明するフローチャートである。位置合わせ処理では、三次元モデルを生成するために用いられる第２の撮像装置２１０のカメラパラメータを、仮想視点の視線情報等に基づき変更する。本実施形態では、図９（ｂ）に示すように、第２の撮像空間２２０の座標系の原点を中心とする円の円周上に設置された第２の撮像装置２１０を構成する夫々の撮像装置のカメラパラメータを変更するものとして説明する。なお、第２の撮像装置２１０は円周上でなくてもよく、第２の撮像空間２２０の空間に合わせて設置されればよい。

【0091】

Ｓ６０１において位置合わせ部２０４は、第２の撮像空間２２０内に基準点を設定する。例えば第２の撮像空間２２０の中心を基準点に設定する。この場合、第２の撮像空間の撮像を通して基準点は変わらない。他にも例えば、第２のオブジェクト（ユーザ２２２）の位置を基準点に設定してもよい。この場合、第２のオブジェクトの移動に伴い基準点も移動する。

【0092】

Ｓ６０２において位置合わせ部２０４は、第２の撮像空間２２０内の基準点が、第１の撮像空間内の指定されたオブジェクトである第１のオブジェクト（選手１２２）の位置と等しくなるよう移動するための平行移動ベクトルΔｔを算出する。第１の撮像空間１２０の座標系における第１のオブジェクト（選手１２２）の位置ｐ₁は式３で表すものとする。なお、第１のオブジェクト（選手１２２）の位置は、Ｓ５１１で受信したフレームにおける位置である。なお、第２の撮像空間２２０内の基準点が、第１の撮像空間内の選手等ではない、指定された特定の位置に合うように調整されてもい。

【0093】

【数3】

【0094】

また、第２の撮像空間２２０の座標系における基準点の位置ｐ₂を式４で表すものとする。

【0095】

【数4】

【0096】

平行移動ベクトルΔｔは、式５で表される。

【0097】

【数5】

【0098】

図７は、本ステップの処理を説明するための図である。図７（ａ）は、第１の撮像空間１２０内の座標系を表す図であり、図７（ａ）の点は、指定された選手１２２の位置を示している。図７（ｂ）は、第２の撮像空間２２０内の座標系を表す図である。基準点７０１は、Ｓ６０１で設定された基準点である。平行移動ベクトルΔｔは式５から、図７（ｃ）のように表される。

【0099】

Ｓ６０３において位置合わせ部２０４は、仮想視点画像表示装置２３０に表示された仮想視点画像を生成するために設定された仮想視点からの視線方向を取得する。つまりＳ５０７で設定された仮想視点パラメータから仮想視点からの視線方向ｖ₂₀を取得する。仮想カメラの姿勢Ｒは式６で表される。

【0100】

【数6】

【0101】

仮想視点からの視線方向ｖ₂₀は、式７で表される。

【0102】

【数7】

【0103】

Ｓ６０４において位置合わせ部２０４は、Ｓ６０１で設定した第２の撮像空間２２０内の基準点から仮想視点画像表示装置２３０への向きを算出する。第２の撮像空間２２０の座標系における仮想視点画像表示装置２３０の位置ｐ₃を式８で表す。

【0104】

【数8】

【0105】

第２の撮像空間２２０内の基準点から仮想視点画像表示装置２３０への向きｖ₁₀は、式９で求められる。

【0106】

【数9】

【0107】

Ｓ６０５において位置合わせ部２０４は、ｘｙ平面において、基準点から仮想視点画像表示装置２３０への向きｖ₁₀が、仮想視点からの視線方向ｖ₂₀と等しくなるように回転するための回転行列を算出する。まず、ｘｙ平面における、第２の撮像空間２２０内の基準点から仮想視点画像表示装置２３０への向きｖ₁₀と、仮想視点からの視線方向ｖ₂₀と、のなす角θを求める。基準点から仮想視点画像表示装置２３０への向きｖ₁₀をｘｙ平面に投影したベクトルをｖ₁とすると、ｖ₁は式１０で表される。

【0108】

【数10】

【0109】

仮想視点からの視線方向ｖ₂₀をｘｙ平面に投影したベクトルをｖ₂とすると、ｖ₂は式１１で表される。

【0110】

【数11】

【0111】

よって、θは式１２で求めることができる。

【0112】

【数12】

【0113】

ｘｙ平面において、基準点から仮想視点画像表示装置２３０への向きｖ₁₀が、仮想視点からの視線方向ｖ₂₀と等しくなるように回転する回転行列ΔＲは式１３で表される。

【0114】

【数13】

【0115】

図８は、本ステップの処理を説明するための図である。図８（ａ）は、第１の撮像空間１２０内の座標系を表す図であり、図中の点は指定されたオブジェクトである選手１２２の位置を示している。また、仮想カメラ８０１は、Ｓ５０７で設定された仮想視点の位置と仮想視点からの視線方向を表し、仮想視点からの視線方向ｖ₂₀は仮想カメラ８０１の向きで表している。図８（ｂ）は、第２の撮像空間２２０内の座標系を表す図であり、基準点７０１はＳ６０１で設定された基準点である。向きｖ₁₀は、基準点７０１から仮想視点画像表示装置２３０への向きを表す。図８（ｃ）に示すように、θは、ｘｙ平面における、仮想視点からの視線方向ｖ₂₀と、基準点７０１から仮想視点画像表示装置２３０への向きｖ₁₀とのなす角となる。

【0116】

Ｓ６０６において位置合わせ部２０４は、回転行列ΔＲを用いて、第２の撮像装置２１０を構成する撮像装置の姿勢をθだけ回転するように撮像装置の姿勢を表す実カメラパラメータを変更して、変更後カメラパラメータを得る。変更後の、第２の撮像装置２１０を構成する夫々の撮像装置の姿勢Ｒ’は、式１４で求められる。式１４におけるＲは、位置合わせ前の第２の撮像装置２１０を構成する夫々の撮像装置の姿勢である。これによりフレームごとに姿勢の位置合わせが可能になる。

【0117】

【数14】

【0118】

Ｓ６０７において位置合わせ部２０４は、算出された回転行列ΔＲと平行移動ベクトルΔｔとを用いて、第２の撮像装置２１０を構成する撮像装置の位置を示す実カメラパラメータを変更して、変更後カメラパラメータを得る。移動後の、第２の撮像装置２１０を構成する夫々の撮像装置の位置ｔ’は、式１５で求められる。式１５におけるｔは、本ステップによる位置合わせ前の第２の撮像装置２１０を構成する夫々の撮像装置の位置である。移動後の位置を示す変更後カメラパラメータを用いることによってフレームごとに第１の撮像空間との位置合わせが可能になる。

【0119】

【数15】

【0120】

変更後カメラパラメータはＳ５０１でキャリブレーションした結果得られた実カメラパラメータとは別に保存される。Ｓ６０６の処理の結果得られた回転後の姿勢と、Ｓ６０７の処理の結果得られた移動後の位置とを示す第２の撮像装置２１０の変更後カメラパラメータは、前述したように第２の制御装置２００に一時的に記憶され、Ｓ５１６で画像処理装置３００へ送信される。第２の撮像制御部２０１に保持されているＳ５０１でキャリブレーションした結果得られた実カメラパラメータは、本フローチャートの完了後も、変更されないで記憶されている。

【0121】

図９は、位置合わせ後の変更後カメラパラメータが示す撮像装置の位置と姿勢を説明するための図である。図９（ａ）は、第１の撮像空間１２０を示す図である。仮想カメラ８０１は、Ｓ５０７で設定された仮想視点の位置と仮想視点からの視線方向を表し、点は選手１２２の位置を表す。Ｓ６０１で第２の撮像空間２２０の座標系の原点に基準点が設定されたとすると、平行移動ベクトルΔｔは図９（ａ）に示すように原点から選手１２２までのベクトルで表される。

【0122】

図９（ｂ）は、第２の撮像空間２２０と、第２の撮像空間２２０に設置された第２の撮像装置２１０を構成する撮像装置の実際の位置と姿勢を示す図である。つまり、図９（ｂ）中の撮像装置の位置および姿勢は、た第２の撮像装置２１０の実カメラパラメータが示す撮像装置の位置および姿勢を示す図である。第２の撮像装置２１０を構成する撮像装置のうちカメラＡの位置と姿勢（向き）に着目して本フローチャートの処理の結果を説明する。

【0123】

図９（ｃ）は、Ｓ６０６による実カメラパラメータを変更した結果得られる変更後カメラパラメータが示す撮像装置の向きを示す図である。点線の矢印はＳ６０６の処理が行われる前のカメラパラメータが示す撮像装置の向きを表し、実線の矢印はＳ６０６の処理が行われた後のカメラパラメータが示す撮像装置の向きを表す。図９（ｃ）に示す通り、Ｓ６０６の処理の結果、撮像装置の向きがθだけ回転するように実カメラパラメータが変更される。図９（ｄ）は、Ｓ６０７による実カメラパラメータを変更した結果得られる変更後カメラパラメータが示す撮像装置の位置を示す。図９（ｃ）に示す通り、撮像装置の位置が原点を中心にθ回転して、Δｔだけ平行移動した位置になるように実カメラパラメータが変更される。

【0124】

［合成仮想視点画像の生成処理について］
図１０は、画像処理装置３００が合成仮想視点画像を生成して、合成仮想視点画像を合成画像表示装置４１０に表示する処理を説明するためのフローチャートである。

【0125】

はじめに、オペレータ２４４が操作装置４２０を操作してシーンを指定する。オペレータ２４４が指定可能なシーンはＳ５０３で指定されたシーンである。Ｓ１００１において仮想視点制御部３０７は、オペレータ２４４が操作装置４２０を介して指定したシーンを示す情報を取得する。

【0126】

次に、オペレータ２４４は、操作装置４２０を操作して、シーンの再生速度を指定する。オペレータが指定可能な再生速度には、等速再生、スロー再生などが含まれる。Ｓ１００２において仮想視点制御部３０７は、オペレータ２４４が操作装置４２０を介して指定した再生速度を示す情報を取得する。

【0127】

Ｓ１００３～Ｓ１００８の処理は、指定されたシーンの１フレーム分の合成仮想視点画像を生成して合成仮想視点画像を表示させる処理である。

【0128】

オペレータ２４４が操作装置４２０を操作して、仮想視点の位置および仮想視点からの視線方向を指示する。合成仮想視点画像の開始時点では、指定されたシーンに応じてデフォルトの仮想視点が設定されているものとする。オペレータ２４４は仮想視点を、デフォルトの状態から、前後上下左右へ移動させ、パン、チルトのように向きを変更させ、ズームさせる等の操作することができる。Ｓ１００３において仮想視点制御部３０７は、オペレータ２４４による操作装置４２０の操作の情報を取得して、仮想視点の位置および仮想視点からの視線方向を表す仮想視点パラメータを設定する。

【0129】

Ｓ１００４において仮想視点制御部３０７は、指定された再生速度に応じて、合成仮想視点画像を生成するための時刻を更新する。時刻とは、具体的には、タイムコードである。ループ処理の１回目の本ステップの処理では、指定されたシーンの開始時のタイムコードが決定される。２回目以降の本ステップの処理では、指定されたシーンの再生速度に応じて時刻を更新する。更新の方法はＳ５０６で説明した方法と同様である。

【0130】

Ｓ１００５において合成仮想視点画像生成部３０５は、Ｓ１００３で設定された仮想視点パラメータとＳ１００４で設定された時刻とを取得する。そして、合成仮想視点画像生成部３０５は、Ｓ１００４で設定された時刻に対応する第１の撮像空間１２０内のオブジェクトの三次元モデルを生成する。生成の方法は、Ｓ５０８と同様であるため説明は省略する。または、図５のフローチャートの処理で生成された第１の撮像空間１２０内のオブジェクトの三次元モデルが記憶されている場合、本ステップでは三次元モデルは生成しないで、Ｓ１００４で設定された時刻に対応する三次元モデルを取得してもよい。

【0131】

Ｓ１００６において合成仮想視点画像生成部３０５は、Ｓ１００５で設定された時刻に対応するユーザ２２２（第２のオブジェクト）の三次元モデルを生成する。例えば、次のとおりにユーザ２２２の三次元モデルを生成する。まず、第２の撮像画像管理部３０４が管理している第２の撮像装置２１０の撮像に基づく撮像画像から、Ｓ１００４で設定された時刻に対応する、夫々の撮像装置の１フレームの画像データを取得する。取得した夫々の１フレームに対して、オブジェクトの領域を検出する。そして、視体積交差法を用いて第２のオブジェクトの三次元モデルを生成する。この際、ユーザ２２２を撮像した第２の撮像装置２１０のカメラパラメータが必要になるが、第２の撮像画像管理部３０４が管理している変更後カメラパラメータのうち、Ｓ１００４で設定された時刻に対応する変更後カメラパラメータが用いられる。つまり、変更後カメラパラメータは、フレームごとに異なる値である。

【0132】

本ステップによって、選手１２２の位置にＳ６０１で設定した基準点が位置するようにユーザ２２２の三次元モデルが生成される。例えば、基準点をユーザ２２２の位置として設定した場合は、選手１２２の位置にユーザ２２２が位置するようにユーザ２２２の三次元モデルが生成される。

【0133】

Ｓ１００７において合成仮想視点画像生成部３０５は、第１の撮像空間１２０内のオブジェクトの三次元モデルと、ユーザ２２２の三次元モデルとが同じ三次元空間に配置されるように生成した三次元モデルを合成する。

【0134】

ユーザ２２２を撮像した第２の撮像装置２１０の変更後カメラパラメータは、第１の撮像空間１２０の仮想視点画像に合わせて位置合わせされたものである。よって、Ｓ１００６では、ユーザ２２２が第１の撮像空間１２０内の指定されたオブジェクトである選手１２２に基づく位置に存在するようにユーザ２２２の三次元モデルが生成されている。第１の撮像空間１２０のオブジェクトの三次元モデルと第２のオブジェクトの三次元モデルとを合わせることで、第１の撮像空間１２０のオブジェクトと共に第１の撮像空間１２０の所定の位置にユーザ２２２が存在する三次元モデルを得ることができる。

【0135】

そして、合成仮想視点画像生成部３０５は、合成された三次元モデルをＳ１００３で設定された仮想視点から見た画像となるようにレンダリングして１フレームの合成仮想視点画像を生成する。背景は、第１の撮像空間１２０の背景を用いてレンダリングを行う。なお、合成仮想視点画像をレンダリングする際に、選手１２２の存在を抑制する処理が行われてもよい。例えば、選手１２２の三次元モデルを削除してもよい。または、選手１２２の三次元モデルを透過表示するようにレンダリングしてもよい。

【0136】

Ｓ１００８において合成仮想視点画像生成部３０５は、生成された１フレーム分の合成仮想視点画像と、その時刻とを表示制御部３０６へ出力する。表示制御部３０６は、１フレームの合成仮想視点画像を合成画像表示装置４１０に表示する制御を行うことで、１フレームの合成仮想視点画像は観客２４３が視聴可能な合成画像表示装置４１０に表示される。このため、合成仮想視点画像は、合成仮想視点画像の視聴者である観客２４３に対し、ユーザ２２２による選手１２２のプレイの再現度合いを確認するという楽しみを提供できる。

【0137】

Ｓ１００９において表示制御部３０６は、合成仮想視点画像の表示を終了するか否かを判定する。受信した時刻が、指定されたシーンの終了時刻と等しい場合に表示を終了すると判定する。表示を終了する場合は処理を終了し、終了しない場合はＳ１００３へ戻り、表示を続ける。

【0138】

以上説明したように本実施形態では、仮想視点画像表示装置２３０に表示される仮想視点画像に応じて、ユーザを撮像する第２の撮像装置の位置および姿勢を示す視線情報であるカメラパラメータを変更する。そして、変更したカメラパラメータを用いてユーザ２２２の三次元モデルを生成することにより、第１の撮像空間１２０内の任意の位置に、任意の向きでユーザ２２２を合成した合成仮想視点画像を生成することができる。

【0139】

このカメラパラメータの変更はフレームごとに行われる。フレームごとにカメラパラメータを変更することにより、注目点（例えば選手１２２の位置）がフレームごとに異なる場合でも、注目点を基準とした位置にユーザ２２２を適切に合成された合成仮想視点画像を生成することができる。このため、野球のバッターのように指定されるオブジェクトの位置が固定されている場合だけでなく、サッカーのシュートシーンのように指定されるオブジェクトの位置および向きが変わる動的なシーンにもユーザを合成させることができる。

【0140】

また、第２の撮像空間内２２０の基準点をユーザ２２２の位置とした場合、ユーザの位置から仮想視点画像表示装置２３０の位置への向きに応じて、第２の撮像装置２１０のカメラパラメータを変更する。これにより、例えば、仮想視点画像を見て選手１２２のシュートの動作を真似て動作するユーザ２２２を適切な位置および向きで合成して合成仮想視点画像を生成することができる。

【0141】

本実施形態における画像処理システム１を構成する各装置の機能は、画像処理システム１を構成する装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現される。本実施形態における画像処理システム１を構成する各装置の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、画像処理システム1を構成する装置に供給してもよい。この場合、記憶媒体から読み出されたプログラムコード自体が本実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本実施形態を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ－ＲＯＭ，ＣＤ－Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

【0142】

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行うことで画像処理システム１を構成する各装置の機能が実現されてもよい。

【0143】

また、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれてもよい。そして、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことで本実施形態における画像処理システム１を構成する各装置の機能が実現されてもよい。

【0144】

なお、第２の撮像装置群に含まれる複数の撮像装置の視線情報を変更しなくてもよい。例えば、第１の撮像装置群により撮像される撮像空間の座標系と、第２の撮像装置群により撮像される撮像空間の座標系とを調整すればよい。例えば、第２の撮像空間の中心を基準点とする場合、座標変換を利用して、第２の撮像装置群により撮像された画像に基づいて生成されたオブジェクトの三次元モデルを、第１の撮像装置群により撮像される撮像空間の所定の位置及び向きで配置することができる。つまり、第２の撮像空間の中心を基準点と表示部の位置は、仮想視点の位置及び仮想視点からの視線方向とは関係なく、固定されるため、座標変換の係数が一意に決めることができる。そのため、座標変換の係数を予め取得しておくことで、処理負荷を軽減し、処理速度を向上させることができる。

【0145】

＜実施形態２＞
本実施形態では、第２の撮像空間に設置されたボール発射装置を用いて、ユーザがより臨場感もって第１のオブジェクトのプレイを追体験するための方法を説明する。本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

【0146】

本実施形態で想定するシーンは、サッカーの試合において、選手１２２にパスされたボールを選手１２２がシュートしたシーンである。本実施形態では、ボール発射装置１２０６が実際にボールを発射することによって、当該シーンのパスを再現する方法を説明する。

【0147】

図１１は、ボール発射制御部３０８の処理手順を説明するフローチャートである。本フローチャートの処理は、Ｓ５０３でシーンが指定された後、第２の撮像装置２１０がユーザの撮像を開始する前までに開始される。本フローチャートの処理では、選手１２２にパスされたボールを選手１２２がシュートしたシーンがＳ５０３で指定されたものとして説明する。

【0148】

Ｓ１１０１においてボール発射制御部３０８は、Ｓ５０３で指定されたシーンの中で、パスされたボールを選手１２２が受けた時刻のタイムコードを取得する。例えば、ボールを受けた時刻をユーザに指定させてもよい。

【0149】

Ｓ１１０２においてオブジェクト検出部３０１は、Ｓ１１０１で取得されたタイムコードにおけるボールが移動した向きを算出する。具体的には、オブジェクト検出部３０１は、取得されたタイムコードの１フレーム前のボールの位置と、取得されたタイムコードのフレームのボールの位置と、を検出する。そして、夫々の位置の差分からボールが移動する向きを算出する。

【0150】

図１２は、本フローチャートの処理を説明するための図である。図１２（ａ）は、第１の撮像空間１２０を示す図であり、本ステップの処理の結果、ボール１２０１の移動する向き１２０２が算出される。

【0151】

Ｓ１１０３においてボール発射制御部３０８は、Ｓ１１０２で算出されたボールが移動する向きを、第２の撮像空間２２０における向きに変換する。本実施形態では、仮想視点画像表示装置２３０へ表示する仮想視点画像を生成するための仮想視点からの視線方向は、フレームに基づき仮想視点画像生成部３０３が決定しているものとして説明する。

【0152】

ボール発射制御部３０８は、Ｓ１１０１で取得されたタイムコードにおける仮想視点からの視線方向を取得し、さらにそのタイムコードにおける回転行列ΔＲをＳ６０５で説明した方法で算出して、その逆行列ΔＲ^-1を算出する。第２の撮像空間２２０におけるボールの向きは式１６によって算出される。
第２の撮影撮像空間における向き=ΔＲ^-1・第１の撮像空間でボールが移動する向き
（式１６）

【0153】

図１２（ｂ）は第２の撮像空間２２０を示す図である。図１２（ａ）で示した第１の撮像空間１２０でのボールが移動する向き１２０２は、本ステップの処理の結果、向き１２０４に変換される。向き１２０４は、基準点７０１から仮想視点画像表示装置２３０への向きＶ₁₀を、仮想カメラの向きと同じ向きとした場合の、ボールが移動する向きである。

【0154】

Ｓ１１０４においてボール発射制御部３０８は、ボール発射装置１２０６のボール発射位置１２０３から第２の撮像空間２２０内のキック位置への向きが、Ｓ１１０３で算出された向き１２０４と等しくなるような位置を決定する。そしてボール発射装置１２０６のボール発射位置が決定した位置になるようにボール発射装置１２０６を移動させる。例えば、図１２（ｂ）は、第２の撮像空間２２０の中心がキック位置１２０５とした例である。図１２（ｂ）では、ボール発射位置１２０３からキック位置１２０５への向きが、Ｓ１１０３で算出された向き１２０４と等しくなるようにボール発射装置１２０６が移動されたようすを示している。ボール発射装置１２０６がボールを発射するために移動可能な位置が限られている場合、Ｓ１１０３で算出された向き１２０４とボール発射位置１２０３からキック位置１２０５への向きとが最も近くなる位置にボール発射装置１２０６を移動させる。

【0155】

次に、ユーザ２２２によって第２の制御装置２００の操作部（不図示）を介して発射されるボールの速度が指定される。例えば、高速、中速、低速のようにいくつかの候補の中から、ユーザ２２２は何れかの速度を指定する。S１１０５において受付部２０６は、ユーザが指定した速度が受け付け、ボール発射制御部３０８はユーザが指定した速度を取得する。

【0156】

Ｓ１１０６においてボール発射制御部３０８は、ボールを発射する時刻を示すタイムコードを算出する。例えば、ボール発射位置１２０３からキック位置１２０５までの距離を、ユーザによって指定されたボールの速度で割り、ボールがボール発射位置１２０３からキック位置１２０５へ到達するまでの時間を求める。そして、選手１２２がボールを受けた時刻から、先に求めた時間を引いて得られた時刻を、ボールを発射する時刻を示すタイムコードとして算出する。

【0157】

その後、図５のフローチャートの処理を進めることで、Ｓ１１０７においてボール発射制御部３０８は、仮想視点画像表示装置２３０に表示された仮想視点画像のタイムコードを取得する。

【0158】

Ｓ１１０８においてボール発射制御部３０８は、取得したタイムコードがボールを発射する時刻のタイムコードと等しいか否かを判定する。等しい場合はＳ１１０９へ進む。等しくない場合はＳ１１０７へ戻る。

【0159】

Ｓ１１０９においてボール発射制御部３０８は、ボール発射装置１２０６に、キック位置１２０５へ向けて指定された速度でボールを発射させる。

【0160】

以上説明したように、本実施形態によれば、ボール発射装置を用いることにより、ユーザがより臨場感もって第１のオブジェクトのプレイを追体験することができる。

【0161】

＜その他の実施形態＞
上述した実施形態では、第１の制御装置１００、第２の制御装置２００、画像処理装置３００の機能はそれぞれ装置に有するものとして説明した。他にも、１つのまたは２つの装置により、図２で示した、第１の制御装置１００、第２の制御装置２００、および画像処理装置３００の機能が実現されてもよい。例えば、画像処理装置３００が、第１の制御装置１００、第２の制御装置２００の機能を有していてもよい。

【0162】

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0163】

３００ 画像処理装置
３０２ 第１の撮像画像管理部
３０４ 第２の撮像画像管理部
３０５ 合成仮想視点画像生成部
２３０ 仮想視点画像表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】