知財求人 - 知財ポータルサイト「IP Force」
特開2023-178007情報処理装置、情報処理装置の制御方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023178007
(43)【公開日】2023-12-14
(54)【発明の名称】情報処理装置、情報処理装置の制御方法、及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20231207BHJP
G06T 15/20 20110101ALI20231207BHJP
【ＦＩ】
G06T19/00 A
G06T15/20 500
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022091021
(22)【出願日】2022-06-03
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】岩渕 清
【テーマコード（参考）】
5B050
5B080
【Ｆターム（参考）】
5B050CA08
5B050DA07
5B050EA07
5B050EA27
5B080BA04
(57)【要約】 （修正有）
【課題】ユーザー端末が増加しても、サーバ装置にかかる処理負荷を低減し、各ユーザーに仮想視点画像を提供することである。
【解決手段】配信システム１００において、サーバ装置１２０は、複数のユーザー端末装置１３０で指定された複数の仮想視点情報を取得し、取得した複数の仮想視点情報から複数の注目点を特定し、複数の仮想視点に基づいて仮想視点を決定し、複数の注目点に基づいて注目点を決定し、決定した仮想視点と注目点から仮想視点画像を生成し、生成した仮想視点画像を端末装置１３０に配信する制御を行う。
【選択図】図１
【解決手段】配信システム１００において、サーバ装置１２０は、複数のユーザー端末装置１３０で指定された複数の仮想視点情報を取得し、取得した複数の仮想視点情報から複数の注目点を特定し、複数の仮想視点に基づいて仮想視点を決定し、複数の注目点に基づいて注目点を決定し、決定した仮想視点と注目点から仮想視点画像を生成し、生成した仮想視点画像を端末装置１３０に配信する制御を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とする情報処理装置。
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記生成手段は、前記生成手段において所定の時間内に生成可能な仮想視点画像の数が前記取得手段によって取得される前記複数の仮想視点の数より少ない場合、前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た光景を示す仮想視点画像および前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た光景を示す仮想視点画像を生成しないこと
を特徴とする請求項１に記載の情報処理装置。
を特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記生成手段は、仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数が前記取得手段によって取得される前記複数の仮想視点の数以上に多い場合、前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た光景を示す仮想視点画像および前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た光景を示す仮想視点画像を生成し、
前記送信手段は、前記第１のユーザー端末に前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た仮想視点画像を送信し、前記第２のユーザー端末に前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た仮想視点画像を送信すること
を特徴とする請求項１に記載の情報処理装置。
前記送信手段は、前記第１のユーザー端末に前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た仮想視点画像を送信し、前記第２のユーザー端末に前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た仮想視点画像を送信すること
を特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記第１の仮想視点の注目点は、前記第１の仮想視点の位置から前記第１の仮想視点からの視線方向に向かう線とオブジェクトとの交点であり、
前記第２の仮想視点の注目点は、前記第２の仮想視点の位置から前記第２の仮想視点からの視線方向に向かう線とオブジェクトとの交点であること
を特徴とする請求項１に記載の情報処理装置。
前記第２の仮想視点の注目点は、前記第２の仮想視点の位置から前記第２の仮想視点からの視線方向に向かう線とオブジェクトとの交点であること
を特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記第１の仮想視点の注目点と前記第２の仮想視点の注目点は、同一のオブジェクトに対応する点であること
を特徴とする請求項４に記載の情報処理装置。
を特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記送信手段は、前記第１のユーザー端末および前記第２のユーザー端末に前記第３の仮想視点の位置および注目点を送信すること
を特徴とする請求項１に記載の情報処理装置。
を特徴とする請求項１に記載の情報処理装置。
【請求項7】
前記第３の仮想視点の位置は、前記第１の仮想視点の位置と前記第２の仮想視点の位置との重心の位置であること
を特徴とする請求項１に記載の情報処理装置。
を特徴とする請求項１に記載の情報処理装置。
【請求項8】
前記第３の仮想視点の注目点は、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点との重心に対応する点であること
を特徴とする請求項１に記載の情報処理装置。
を特徴とする請求項１に記載の情報処理装置。
【請求項9】
前記第１仮想視点情報と前記第２仮想視点情報とは同時刻の情報である
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項10】
複数のユーザー端末から複数の仮想視点の注目点を示す情報を含む仮想視点情報を取得する取得手段と、
前記取得手段によって取得される前記複数の仮想視点の数が仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より多い場合、前記取得手段によって取得される前記複数の仮想視点の数が前記仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より少なくなるように、前記複数の仮想視点の内、複数の仮想視点から特定される特定仮想視点に基づいて特定仮想視点画像を生成し、前記特定仮想視点の特定に用いた仮想視点を取得した複数のユーザー端末に前記特定仮想視点画像を送信する制御を行う制御手段と、
を有することを特徴とする情報処理装置。
前記取得手段によって取得される前記複数の仮想視点の数が仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より多い場合、前記取得手段によって取得される前記複数の仮想視点の数が前記仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より少なくなるように、前記複数の仮想視点の内、複数の仮想視点から特定される特定仮想視点に基づいて特定仮想視点画像を生成し、前記特定仮想視点の特定に用いた仮想視点を取得した複数のユーザー端末に前記特定仮想視点画像を送信する制御を行う制御手段と、
を有することを特徴とする情報処理装置。
【請求項11】
前記制御手段は、前記複数の仮想視点の内、仮想視点の注目点に基づいてクラスタリングし、同じクラスに分類された複数の仮想視点から前記特定仮想視点が特定されること
を特徴とする請求項１０に記載の情報処理装置。
を特徴とする請求項１０に記載の情報処理装置。
【請求項12】
第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得工程と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定工程と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成工程と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信工程と、
を有することを特徴とする配信方法。
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定工程と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成工程と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信工程と、
を有することを特徴とする配信方法。
【請求項13】
第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とする配信システム。
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とする配信システム。
【請求項14】
コンピュータを請求項１乃至１１のいずれか１項に記載のサーバ装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、仮想視点画像を生成するための技術に関するものである。
【背景技術】
【0002】
近年、複数のカメラを異なる位置に設置し、同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点（仮想カメラ）位置で撮影しているかのような画像を生成する技術が注目されている。
【0003】
特許文献１には、複数のユーザーに対して各ユーザーが指定した仮想視点に応じた仮想視点画像を提供することや、各ユーザーが指定した仮想視点に応じた仮想視点画像をサーバ装置で生成し、複数のユーザーで共有できるようにすることが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１４－２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ユーザー端末が増加すると、サーバ装置において仮想視点画像を生成する処理負荷が増加する。
【0006】
そこで本開示は上記の問題点を鑑みてなされたものであり、その目的は、ユーザー端末が増加しても、サーバ装置にかかる処理負荷を低減し、各ユーザーに仮想視点画像を提供することである。
【課題を解決するための手段】
【0007】
本開示の１つの実施態様のサーバ装置は、
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて第３の仮想視点の注目点とを示す第３仮想視点情報を生成する視点情報生成手段と、
複数の撮像装置により撮像された複数の画像と前記第３の仮想視点の位置および注目点とに基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴としている。
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて第３の仮想視点の注目点とを示す第３仮想視点情報を生成する視点情報生成手段と、
複数の撮像装置により撮像された複数の画像と前記第３の仮想視点の位置および注目点とに基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴としている。
【発明の効果】
【0008】
本開示によれば、ユーザー端末が増加しても、サーバ装置にかかる処理負荷を低減し、各ユーザーに仮想視点画像を提供することが可能となる。
【図面の簡単な説明】
【0009】
【図1】配信システムを示す図である。
【図2】撮像装置の設置例を示す図である。
【図3】仮想視点画像配信装置のハードウェア構成を示す図である。
【図4】仮想視点画像配信装置の機能構成を示す図である。
【図5】近接視点選択部及び視点統合部の動作フローを示す図である。
【図6】クラスタリング処理の動作フローを示す図である。
【図7】実施形態１に係る仮想視点統合処理の動作フローを示す図である。
【図8】実施形態１に係る近接視点選択部及び視点統合部の動作の例を表した概念図である。
【図9】端末装置の動作フローを示す図である。
【図10】実施形態２に係る仮想視点統合処理の動作フローを示す図である。
【図11】実施形態２に係る近接視点選択部及び視点統合部の動作の例を表した概念図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。
【0011】
本開示において、サーバ側で用いる情報処理装置のことをサーバ装置と呼称する。例えば、コンピュータのことである。
【0012】
（実施形態１）
図１は、実施形態１に係る配信システム１００を示す図である。
図１は、実施形態１に係る配信システム１００を示す図である。
【0013】
配信システム１００は、複数の撮像装置１１０と、仮想視点画像配信装置１２０と、複数の端末装置１３０とを有している。各撮像装置１１０と仮想視点画像配信装置１２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザーが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザーが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザー操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
【0014】
撮像装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。なお、撮像装置はカメラだけでなく、画像処理を行う機能部を有していてもよい。また、撮像装置は、カメラ以外に、距離情報を取得するセンサを有していてもよい。
【0015】
図２は、複数の撮像装置１１０の設置例を示す図である。複数の撮像装置１１０は、複数の方向から撮像領域を撮像する。本実施形態において、複数の撮像装置１１０は、スタジアム２００などでフィールド２２０を取り囲むように観客席２１０に設置され、フィールド２２０内の被写体の画像（映像）を撮影する。撮影された画像は、撮像装置１１０から仮想視点画像配信装置１２０に送信される。
【0016】
撮像装置１１０は、望遠カメラと広角カメラなど画角が異なるカメラが含まれていてもよい。例えば、望遠カメラを用いて被写体を高解像度に撮像することで、生成される仮想視点画像の解像度を向上できる。また、被写体の移動範囲が広い場合は、広角カメラを用いて撮影することで、カメラ台数を減らすことができる。また、広角カメラと望遠カメラの撮像領域を組み合わせて撮像することで設置位置の自由度が向上する。なお、撮像装置は共通の時刻で同期され、撮像した画像にはフレーム毎の画像に撮像時刻情報が付与される。
【0017】
仮想視点画像配信装置１２０は、撮像装置１１０により得られた撮影画像を蓄積しておき、端末装置１３０であるユーザー操作により仮想視点情報が入力されると、撮像画像と仮想視点情報とに基づいて、仮想視点画像を生成する。仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。
【0018】
仮想視点画像配信装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、スタジアム２００内の被写体撮影開始前など予め被写体が存在しない状態の場面を撮影した画像を背景画像として、撮像装置１１０を介して保持しておく。また被写体の存在するシーンでは、被写体となる特定のオブジェクト等の前景を画像処理により分離して、特定オブジェクト画像として保持しておく。なお、特定オブジェクトは、人物だけでなく、道具など、画像パターンが予め定められている物体であってもよい。
【0019】
仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮像画像に基づいて生成される三次元形状データを用いて仮想視点画像を生成する方式である。三次元形状データの生成は、例えば視体積交差法（Ｓｈａｐ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法）が用いられる。この処理の結果、被写体の３次元形状を表現した３Ｄ点群（３次元座標を持つ点の集合）が得られる。なお、撮影画像から被写体の３次元形状を導出する方法はこれに限らない。この三次元形状データと、指定した背景モデルから、仮想カメラに対応した仮想視点画像を生成する。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。
【0020】
端末装置１３０は、例えば、スマートフォンやタブレット端末である。各種の操作を行うタブレット１３１は、画像やＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する画面１３２の上に重ねて配置されている。
【0021】
また端末装置１３０は、仮想視点画像配信装置１２０から受信した仮想視点画像を画面１３２に表示する。端末装置１３０は、さらにタブレット１３１を使用したユーザー操作を仮想視点位置の移動指示（移動量と移動方向に関する指示）情報に変換し仮想視点画像配信装置１２０に送信する。
【0022】
図３は、仮想視点画像配信装置１２０のハードウェア構成を示す図である。
【0023】
仮想視点画像配信装置１２０は、ＣＰＵ３００と、ＲＯＭ３１０と、ＲＡＭ３２０と、ＨＤＤ３３０と、有線通信部３４０と、無線通信部３５０とを有している。ＣＰＵ３００は、ＲＯＭ３１０に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３２０は、ＣＰＵ３００の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３３０は、各種データや各種プログラム等を記憶する。有線通信部３４０は、ネットワークを介して撮像装置１１０との通信処理を行う。無線通信部３５０は、無線通信により端末装置１３０と通信を行う。
【0024】
なお、後述する仮想視点画像配信装置１２０の機能や処理は、ＣＰＵ３００がＲＯＭ３１０又はＨＤＤ３３０に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、端末装置１３０のハードウェア構成については、図示は省略するが、仮想視点画像配信装置１２０のハードウェア構成に準ずるものである。
【0025】
図４は、仮想視点画像配信装置１２０の機能構成を示す図である。
【0026】
撮影画像入力部４００は、撮像装置１１０からＬＡＮケーブルを介して入力された伝送信号を撮影画像データに変換して、前景背景分離部４０１へ出力する。
【0027】
前景背景分離部４０１は、撮影画像入力部４００から入力された撮影画像のうち、予め被写体が存在しない状態の場面を撮影した画像を背景画像データとして、撮影画像保存部４０２へ出力する。また、撮影された画像から被写体を抽出し、前景画像データとして撮影画像保存部４０２へ出力する。
【0028】
撮影画像保存部４０２は、データベースであり、前景背景分離部４０１から入力された前景画像データと、背景画像データを保存する。また、形状生成部４０３に前景画像データを出力する。また、画像生成部４１０にレンダリングに使用する前景画像データと背景画像データを出力する。
【0029】
形状生成部４０３は、撮影画像保存部４０２から入力された前景画像データを用いて、被写体の形状を示す三次元形状情報を生成する。また、生成した三次元形状情報を画像生成部４１０へ出力する。なお、撮像画像から被写体の三次元形状情報を導出する方法はこれに限らない。
【0030】
仮想視点受信部４３０は、端末装置１３０から無線通信により入力された伝送信号をユーザー入力データに変換する。ユーザー入力データが仮想視点情報である場合、仮想視点情報を近接視点選択部４３２へ出力する。この時、視点の統合を希望しないユーザーからの仮想視点情報には、非統合の指示情報が付加されている。本実施形態では無線通信を用いているが、これに限らず、ＬＡＮ等によって接続してもよい。
【0031】
仮想視点受信部４３０はまた、端末装置１３０より受信した仮想視点の総数を負荷監視部４３１へ出力する。
【0032】
負荷監視部４３１は、仮想視点受信部４３０から受け取った仮想視点の総数に基づき、所定の期間内において仮想視点画像を生成することができる仮想視点の総数を決定し、近接視点選択部４３２へ出力する。本実施形態では負荷の監視のパラメータとして同時に接続されているユーザー端末を使用しているが、これに限るものではなく、例えば、仮想視点受信部４３０が受信した仮想視点の総数や画像生成部４１０の稼働率といったパラメータを使用してもよい。
【0033】
近接視点選択部４３２では、負荷監視部４３１から受け取った所定の期間内において仮想視点画像を生成することができる仮想視点の総数となるよう、仮想視点受信部４３０から受け取った仮想視点情報を統合する近接仮想視点情報を選択する。選択された近接仮想視点情報は、視点統合部４３３へ出力される。この近接視点情報の選択アルゴリズムに関しては、フローチャートを用いて後述する。選択から外れた統合の必要が無い仮想視点情報は、そのまま画像生成部４１０へ出力される。また、仮想視点受信部４３０から受け取った仮想視点情報のうち、視点の統合を希望しないユーザーから非統合の指示情報付きで受け取った仮想視点情報は、統合対象から外し、非統合指示情報と共に画像生成部４１０へ出力される。本開示は、視点の統合を許容するユーザーにとって効果のあるものであり、視点の統合を希望しないユーザーにとっては従来通りの動作となる。
【0034】
視点統合部４３３では、近接視点選択部４３２から受け取った情報に従って仮想視点情報の統合を行い、統合された仮想視点情報を画像生成部４１０に出力する。
【0035】
画像生成部４１０は、近接視点選択部４３２及び視点統合部４３３から入力された仮想視点情報と、撮影画像保存部４０２から入力された撮影画像データと、形状生成部４０３から入力された三次元形状情報により、仮想視点画像生成処理を行う。この際、非統合指示情報が付加されている仮想視点情報に関しては、ベストエフォートで処理され、時間内で処理できない場合はフレームレートの低下が起きる。
【0036】
仮想視点画像生成処理は、仮想視点位置から見た被写体の三次元形状に対して、実カメラで撮影された画像データの色情報でレンダリング（着色処理）する。仮想視点から三次元形状情報に基づく被写体が見えている状況で、仮想視点の位置から所定の範囲内に実カメラ位置がある場合、その実カメラの前景画像データを形状の色として使用するものとする。その後、背景画像データと、その仮想視点位置から撮影された被写体の画像とを合成して仮想視点画像となる。
【0037】
生成された仮想視点画像は、画像送信部４２０へ出力する。この時、視点統合部４３３によって統合された仮想視点を元に生成された仮想視点画像には、統合処理が行われたことを表すフラグと、統合された仮想視点の情報をメタ情報として付加する。
【0038】
画像送信部４２０は、画像生成部４１０から入力した仮想視点画像データを、無線通信信号に変換して端末装置１３０へ出力する。
【0039】
図５は、近接視点選択部４３２及び視点統合部４３３の動作を示すフローチャートである。
【0040】
ステップＳ５００で、負荷監視部４３１から受け取った作成可能な仮想視点の総数と仮想視点受信部４３０から受け取った仮想視点の総数を比較し、作成可能な仮想視点の総数の方が少なければ、ステップＳ５１０からステップＳ５３０の処理を行う。それぞれが同数または作成可能な仮想視点の総数の方が多い場合は、統合の必要がないのでステップＳ５１０、ステップＳ５２０の処理はスキップし、ステップＳ５３０の処理を行う。
【0041】
ステップＳ５１０では、仮想視点受信部４３０から受け取った仮想視点情報をクラスタリングし、現フレームで生成する仮想視点の総数が負荷監視部４３１から受け取った作成可能な仮想視点数となるように近接仮想視点を選択する。クラスタリング処理に関しては、図６を用いて後述する。
【0042】
ステップＳ５２０では、ステップＳ５１０で選択された近接仮想視点の仮想視点情報を、視点統合部４３３へ出力する。その後ステップＳ５２５で、視点統合部４３３により視点の統合が行われ、画像生成部４１０へ送られる。
【0043】
ステップＳ５３０では、統合の対象外となった仮想視点情報を、画像生成部４１０に出力する。
【0044】
【0045】
本実施形態では、クラスタリング処理の手法として、ｋ－ｍｅａｎｓ法と呼ばれる手法を用いる。また、クラスタリングを行う際のパラメータとして、仮想視点がフィールド２２０と交わる点（注目点）の座標を用いる。なお、注目点は仮想視点から仮想視点の視線方向に投射した光線とオブジェクトが交わる点の座標でもよい。
【0046】
ステップＳ６００では、目標数の各クラスタの注目点座標の初期値として、前フレームで仮想視点画像生成に用いた仮想視点位置の注目点座標を代入する。
【0047】
ステップＳ６１０では、仮想視点受信部４３０から受け取った仮想視点情報から求めた注目点座標と、各クラスタの注目点座標との距離を計算し、一番距離が近いクラスタにクラスタリングする。この処理を仮想視点受信部４３０から受け取った全仮想視点情報に対して行う。この時、どの注目点座標に対しても一定以上の距離がある孤立した注目点座標を持つ仮想視点情報は、クラスタリングの対象から外す。
【0048】
ステップＳ６２０では、ステップＳ６１０の結果のクラスタ毎に、注目点座標の重心位置を計算し、そのクラスタの注目点座標を更新する。
【0049】
ステップＳ６３０では、ステップＳ６１０及びステップＳ６２０の処理でクラスタが変化したかどうか確認し、変化が無くなるまで繰り返す。
【0050】
本実施形態では、クラスタリング処理の手法として、ｋ－ｍｅａｎｓ法と呼ばれる手法を用いることとしたが、これに限らず、ウォード法や群平均法など別の手法を用いてもよい。また、本実施形態では近接仮想視点の選択に用いるパラメータとして注目点座標を用いたが、これに限るものではなく、カメラの向きや、画角といったパラメータを用いてもよい。以上のクラスタリング処理を行うことにより、注目点座標の近い仮想視点を選択することができる。
【0051】
図７は視点統合部４３３の動作を示すフローチャートである。
【0052】
ステップＳ７００では、各々の近接仮想視点の注目点の座標から、重心座標を計算し、統合仮想視点の注目点の座標とする。
【0053】
ステップＳ７１０では、各々の近接仮想視点の仮想カメラの位置から、重心座標を計算し、統合仮想視点の仮想カメラの位置とする。
【0054】
ステップＳ７２０では、各々の近接仮想視点の画角（ズーム）から、平均を計算し、統合仮想視点の画角（ズーム）とする。
【0055】
図８は、近接視点選択部４３２及び、視点統合部４３３の動作の例を表した概念図である。
【0056】
図８（ａ）において、８００から８０６は仮想視点受信部４３０から受け取った仮想視点情報を図示したものである。同図で８１０、８１１は図６で説明したクラスタリングの結果近接仮想視点として選択された様子を表している。
【0057】
仮想視点８００は、図６のステップＳ６１０で、クラスタリングの対象から外された仮想視点である。
【0058】
【0059】
図９は、端末装置１３０の動作を示すフローチャートである。
【0060】
ステップＳ９００でタブレット１３１の操作による入力を確認する。確認の結果、プリセットカメラ位置の選択などの、カメラを切り替える処理であればステップＳ９１０、およびステップＳ９３０の処理が行われる。また、ピンチイン／インチアウト／ドラッグなどといったカメラを操作する入力であれば、ステップＳ９２０、およびステップＳ９３０の処理が行われる。特に入力が無い場合にはステップＳ９１０からステップＳ９３０の処理はスキップされる。
【0061】
ステップＳ９１０では、カメラの切り替えを行う為、仮想視点の現在情報を切り替えるカメラの情報で直接書き換える。
【0062】
ステップＳ９２０では、仮想視点の現在情報を、カメラの操作に従い相対的に移動させる。
【0063】
ステップＳ９３０では、ステップＳ９１０またはステップＳ９２０で変更された仮想視点情報を、仮想視点画像配信装置１２０に送信する。
【0064】
ステップＳ９４０では、仮想視点画像配信装置１２０から仮想視点画像が配信されたかどうか確認し、配信されている場合はステップＳ９５０以降の処理を行い、配信されていなければステップＳ９００へ戻る。
【0065】
ステップＳ９５０では、仮想視点画像配信装置１２０から配信された仮想視点画像を、画面１３２に表示する。
【0066】
次にステップＳ９６０では、配信された仮想視点画像に付加されているメタ情報を確認し、統合処理が行われたことを表すフラグが付加されていればステップＳ９７０以降の処理を行い、付加されていなければステップＳ９００へ戻る。
【0067】
ステップＳ９７０では、視点の統合が行われたことをユーザーに知らせる表示を画面１３２に対して行う。
【0068】
次にステップＳ９８０でメタ情報から統合された仮想視点の情報を取り出し、その情報で仮想視点の現在情報を更新する。
【0069】
このステップＳ９８０の処理で、統合された仮想視点の情報をフィードバックすることにより、ユーザーがタブレット１３１の操作を行っていない状態では、仮想視点の統合が行われている間は仮想視点が統合されたものに追従する。仮想視点の統合が行われない場合では、そのままの仮想視点が保持される。
【0070】
以上、実施形態１の形態によれば、上記処理を各フレームにおいて繰り返すことにより、仮想視点の統合により仮想視点画像の生成数を、生成可能な数に制限することができる。したがって、ユーザー端末が増加しても、サーバ装置にかかる処理負荷を低減し、各ユーザーに仮想視点画像を提供することができる。
【0071】
（実施形態２）
本実施形態では、実施形態１と比較し、視点統合部４３３の動作が異なる。図１０は、視点統合部４３３の動作を示すフローチャートである。
本実施形態では、実施形態１と比較し、視点統合部４３３の動作が異なる。図１０は、視点統合部４３３の動作を示すフローチャートである。
【0072】
実施形態１の図７のフローチャートに対し、ステップＳ７１０とステップＳ７２０の間に、ステップＳ１０００～ステップＳ１０２０の処理が追加されている。
【0073】
ステップＳ１０００では、仮想視点受信部４３０から受け取った複数の仮想視点情報から、仮想カメラと注目点との距離を計算し、そのばらつきを求める。
【0074】
ステップＳ１０１０では、ステップＳ１０００で求めたばらつきをチェックし、ばらつきがあらかじめ定めた閾値よりも大きい場合、ステップＳ１０２０の処理を実行する。この閾値は、設置されているスタジアム２００の大きさなどにより変わる為、設置時などに設定しておく。
【0075】
ステップＳ１０２０では、仮想カメラと注目点との距離を元に、２つのグループに分け、各々のグループで距離の平均値を取り、新たな仮想カメラと注目点の距離として設定する。２つのグループに分ける手法としては、平均値以上の距離があるか、平均値より短い距離であるかで２つのグループに分けることができる。また、２つのグループではなく複数のグループに分けてもよい。複数のグループに分ける方法は、平均値に基づいて設定する方法に限らず、Ｋ－ｍｅａｎｓ法等のクラスタリング処理を用いてもよい。
【0076】
【0077】
【0078】
【0079】
以上、実施形態２の形態によれば、統合対象の近接視点が、仮想カメラと注目点の距離のばらつきが大きい場合、複数の距離を持つ近接視点として統合される為、ユーザーの意図により近い仮想視点画像を配信することができる。
【0080】
尚、本実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本開示を構成することとなる。
【0081】
尚、本実施形態の開示は、以下の構成、方法およびプログラムを含む。
【0082】
（構成１）
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とする装置。
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とする装置。
【0083】
（構成２）
前記生成手段は、前記生成手段において所定の時間内に生成可能な仮想視点画像の数が前記取得手段によって取得される前記複数の仮想視点の数より少ない場合、前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た光景を示す仮想視点画像および前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た光景を示す仮想視点画像を生成しないこと
を特徴とする構成１に記載の装置。
前記生成手段は、前記生成手段において所定の時間内に生成可能な仮想視点画像の数が前記取得手段によって取得される前記複数の仮想視点の数より少ない場合、前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た光景を示す仮想視点画像および前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た光景を示す仮想視点画像を生成しないこと
を特徴とする構成１に記載の装置。
【0084】
（構成３）
前記生成手段は、仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数が前記取得手段によって取得される前記複数の仮想視点の数以上に多い場合、前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た仮想視点画像および前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た仮想視点画像を生成し、
前記送信手段は、前記第１のユーザー端末に前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た仮想視点画像を送信し、前記第２のユーザー端末に前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た仮想視点画像を送信すること
を特徴とする構成１に記載の装置。
前記生成手段は、仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数が前記取得手段によって取得される前記複数の仮想視点の数以上に多い場合、前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た仮想視点画像および前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た仮想視点画像を生成し、
前記送信手段は、前記第１のユーザー端末に前記第１の仮想視点の位置から前記第１の仮想視点の注目点を見た仮想視点画像を送信し、前記第２のユーザー端末に前記第２の仮想視点の位置から前記第２の仮想視点の注目点を見た仮想視点画像を送信すること
を特徴とする構成１に記載の装置。
【0085】
（構成４）
前記第１の仮想視点の注目点は、前記第１の仮想視点の位置から前記第１の仮想視点からの視線方向に投射する光線とオブジェクトとの交点であり、
前記第２の仮想視点の注目点は、前記第２の仮想視点の位置から前記第２の仮想視点からの視線方向に投射する光線とオブジェクトとの交点であること
を特徴とする構成１乃至３のいずれか１項に記載の装置。
前記第１の仮想視点の注目点は、前記第１の仮想視点の位置から前記第１の仮想視点からの視線方向に投射する光線とオブジェクトとの交点であり、
前記第２の仮想視点の注目点は、前記第２の仮想視点の位置から前記第２の仮想視点からの視線方向に投射する光線とオブジェクトとの交点であること
を特徴とする構成１乃至３のいずれか１項に記載の装置。
【0086】
（構成５）
前記第１の仮想視点の注目点と前記第２の仮想視点の注目点は、同一のオブジェクトに対応する点であること
を特徴とする構成１乃至４のいずれか１項に記載の装置。
前記第１の仮想視点の注目点と前記第２の仮想視点の注目点は、同一のオブジェクトに対応する点であること
を特徴とする構成１乃至４のいずれか１項に記載の装置。
【0087】
（構成６）
前記送信手段は、前記第１のユーザー端末および前記第２のユーザー端末に前記第３の仮想視点の位置および注目点を送信すること
を特徴とする構成１乃至５のいずれか１項に記載の装置。
前記送信手段は、前記第１のユーザー端末および前記第２のユーザー端末に前記第３の仮想視点の位置および注目点を送信すること
を特徴とする構成１乃至５のいずれか１項に記載の装置。
【0088】
（構成７）
前記第３の仮想視点の位置は、前記第１の仮想視点の位置と前記第２の仮想視点の位置との重心の位置であること
を特徴とする構成１乃至６のいずれか１項に記載の装置。
前記第３の仮想視点の位置は、前記第１の仮想視点の位置と前記第２の仮想視点の位置との重心の位置であること
を特徴とする構成１乃至６のいずれか１項に記載の装置。
【0089】
（構成８）
前記第３の仮想視点の注目点は、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点との重心に対応する点であること
を特徴とする構成１乃至７のいずれか１項に記載の装置。
前記第３の仮想視点の注目点は、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点との重心に対応する点であること
を特徴とする構成１乃至７のいずれか１項に記載の装置。
【0090】
（構成９）
前記第１仮想視点情報と前記第２仮想視点情報とは同時刻の情報である
ことを特徴とする構成１乃至８のいずれか１項に記載の装置。
前記第１仮想視点情報と前記第２仮想視点情報とは同時刻の情報である
ことを特徴とする構成１乃至８のいずれか１項に記載の装置。
【0091】
（構成１０）
複数のユーザー端末から複数の仮想視点の注目点を示す情報を含む仮想視点情報を取得する取得手段と、
前記取得手段によって取得される前記複数の仮想視点の数が仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より多い場合、前記取得手段によって取得される前記複数の仮想視点の数が前記仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より少なくなるように、前記複数の仮想視点の内、複数の仮想視点から特定される特定仮想視点に基づいて特定仮想視点画像を生成し、前記特定仮想視点の特定に用いた仮想視点を取得した複数のユーザー端末に前記特定仮想視点画像を送信する制御を行う制御手段と、
を有することを特徴とする装置。
複数のユーザー端末から複数の仮想視点の注目点を示す情報を含む仮想視点情報を取得する取得手段と、
前記取得手段によって取得される前記複数の仮想視点の数が仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より多い場合、前記取得手段によって取得される前記複数の仮想視点の数が前記仮想視点画像を生成する生成手段において所定の時間内に生成可能な仮想視点画像の数より少なくなるように、前記複数の仮想視点の内、複数の仮想視点から特定される特定仮想視点に基づいて特定仮想視点画像を生成し、前記特定仮想視点の特定に用いた仮想視点を取得した複数のユーザー端末に前記特定仮想視点画像を送信する制御を行う制御手段と、
を有することを特徴とする装置。
【0092】
（構成１１）
前記制御手段は、前記複数の仮想視点の内、仮想視点の注目点に基づいてクラスタリングし、同じクラスに分類された複数の仮想視点から前記特定仮想視点が特定されること
を特徴とする構成１０に記載の装置。
前記制御手段は、前記複数の仮想視点の内、仮想視点の注目点に基づいてクラスタリングし、同じクラスに分類された複数の仮想視点から前記特定仮想視点が特定されること
を特徴とする構成１０に記載の装置。
【0093】
（方法）
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得工程と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定工程と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成工程と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信工程と、
を有することを特徴とする方法。
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得工程と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定工程と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成工程と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信工程と、
を有することを特徴とする方法。
【0094】
（システム）
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とするシステム。
複数の仮想視点を示す仮想視点情報を取得する取得手段であって、第１のユーザー端末より、第１の仮想視点の位置および第１の仮想視点からの視線方向を示す第１仮想視点情報と、第２のユーザー端末より、第２の仮想視点の位置および第２の仮想視点からの視線方向を示す第２仮想視点情報とを取得する取得手段と、
前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向に基づいて、第１の仮想視点の注目点を特定し、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向に基づいて、第２の仮想視点の注目点を特定する特定手段と、
複数の撮像装置により撮像された複数の画像と、前記第１の仮想視点の位置と前記第２の仮想視点の位置とに基づいて決定される第３の仮想視点の位置と、前記第１の仮想視点の注目点と前記第２の仮想視点の注目点とに基づいて決定される第３の仮想視点の注目点と、に基づいて仮想視点画像を生成する生成手段と、
前記仮想視点画像を前記第１のユーザー端末および前記第２のユーザー端末に送信する送信手段と、
を有することを特徴とするシステム。
【0095】
（プログラム）
構成１乃至１１のいずれか１項に記載の装置に記載の各手段をコンピュータにより制御するためのプログラム。
構成１乃至１１のいずれか１項に記載の装置に記載の各手段をコンピュータにより制御するためのプログラム。
【符号の説明】
【0096】
１００ 配信システム
１１０ 撮像装置
１２０ サーバ装置
１３０ 端末装置
４１０ 画像生成部
４２０ 画像送信部
４３０ 仮想視点受信部
４３３ 視点統合部
１１０ 撮像装置
１２０ サーバ装置
１３０ 端末装置
４１０ 画像生成部
４２０ 画像送信部
４３０ 仮想視点受信部
４３３ 視点統合部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】