特許 7552616 情報処理装置および方法、プログラム、並びに、情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】情報処理装置および方法、プログラム、並びに、情報処理システム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20240910BHJP

   H04N 23/60 20230101ALI20240910BHJP

【ＦＩ】

H04N21/238

H04N23/60 300

【請求項の数】 20

(21)【出願番号】P 2021563836

(86)(22)【出願日】2020-11-25

(86)【国際出願番号】 JP2020043735

(87)【国際公開番号】W WO2021117482

(87)【国際公開日】2021-06-17

【審査請求日】2023-09-28

(31)【優先権主張番号】P 2019222245

(32)【優先日】2019-12-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】菅野 尚子

【審査官】川中 龍太

(56)【参考文献】

【文献】国際公開第２０１８／０４３２２５（ＷＯ，Ａ１）

【文献】特開２０１２－１１９９１６（ＪＰ，Ａ）

【文献】特開２０１８－１３３０６３（ＪＰ，Ａ）

【文献】特開２０１８－０６３５００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

動画像を送信する送信部と、
複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、前記送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御する制御部と
を備える情報処理装置。

【請求項2】

前記制御部は、
前記判定結果として、前記自由視点動画像の生成に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記判定結果として、前記自由視点動画像の生成に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
請求項１に記載の情報処理装置。

【請求項3】

前記自由視点動画像の生成に遅延が生じているか否かを判定する生成判定部をさらに備え、
前記制御部は、
前記生成判定部により、前記自由視点動画像の生成に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記生成判定部により、前記自由視点動画像の生成に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、
前記判定結果として、前記複数のカメラ動画像の符号化データの復号に成功したと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記判定結果として、前記複数のカメラ動画像の符号化データのうちの少なくとも１つ以上の復号に失敗したと判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
請求項１に記載の情報処理装置。

【請求項5】

前記複数のカメラ動画像の符号化データの復号の成否を判定する復号判定部をさらに備え、
前記制御部は、
前記復号判定部により、前記複数のカメラ動画像の符号化データの復号に成功したと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記復号判定部により、前記複数のカメラ動画像の符号化データのうちの少なくとも１つ以上の復号に失敗したと判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
請求項４に記載の情報処理装置。

【請求項6】

前記制御部は、
前記判定結果として、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像の受信に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記判定結果として、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像のうちの少なくとも１つ以上の受信に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
請求項１に記載の情報処理装置。

【請求項7】

前記複数のカメラ動画像の受信に遅延が生じているか否かを判定する受信判定部をさらに備え、
前記制御部は、
前記受信判定部により、前記複数のカメラ動画像の受信に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記受信判定部により、前記複数のカメラ動画像のうちの少なくとも１つ以上の受信に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
請求項６に記載の情報処理装置。

【請求項8】

前記複数のカメラ動画像を用いて前記自由視点動画像を生成する自由視点動画像生成部をさらに備え、
前記制御部は、前記判定結果に基づいて、前記送信部に、前記自由視点動画像生成部により生成された前記自由視点動画像を送信させるか、または、前記実カメラ視点動画像を生成させるかを制御する
請求項１に記載の情報処理装置。

【請求項9】

前記自由視点動画像生成部は、前記制御部の制御に従って、前記制御部が前記送信部に前記実カメラ視点動画像を送信させる前に、前記実カメラ視点動画像の視点に近づくように視点移動する前記自由視点動画像を生成する
請求項８に記載の情報処理装置。

【請求項10】

前記複数のカメラ動画像の符号化データを復号し、前記複数のカメラ動画像を復元する復号部をさらに備え、
前記自由視点動画像生成部は、前記復号部により復元された前記複数のカメラ動画像を用いて前記自由視点動画像を生成する
請求項８に記載の情報処理装置。

【請求項11】

他の装置から送信されてくる前記符号化データを受信する受信部をさらに備え、
前記復号部は、前記受信部により受信された前記符号化データを復号する
請求項１０に記載の情報処理装置。

【請求項12】

前記カメラ動画像を用いて前記実カメラ視点動画像を生成する実カメラ視点動画像生成部をさらに備え、
前記制御部は、前記判定結果に基づいて、前記送信部に、前記自由視点動画像を送信させるか、または、前記実カメラ視点動画像生成部により生成された前記実カメラ視点動画像を生成させるかを制御する
請求項１に記載の情報処理装置。

【請求項13】

前記実カメラ視点動画像生成部は、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像のいずれかを用いて前記実カメラ視点動画像を生成する
請求項１２に記載の情報処理装置。

【請求項14】

前記実カメラ視点動画像生成部は、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像とは異なる他のカメラ動画像を用いて前記実カメラ視点動画像を生成する
請求項１２に記載の情報処理装置。

【請求項15】

前記実カメラ視点動画像生成部は、前記制御部の制御に従って、視点が前記自由視点動画像により近いカメラ動画像を用いて前記実カメラ視点動画像を生成する
請求項１２に記載の情報処理装置。

【請求項16】

情報処理装置が、
複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御し、
前記制御に従って、前記自由視点動画像または前記実カメラ視点動画像を送信する
情報処理方法。

【請求項17】

コンピュータに、
複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御し、
前記制御に従って、前記自由視点動画像または前記実カメラ視点動画像を送信する
処理を実行させるためのプログラム。

【請求項18】

撮像装置と情報処理装置とを備える情報処理システムであって、
前記撮像装置は、
それぞれが被写体を撮像してカメラ動画像を生成する複数の撮像部と、
複数の前記撮像部による前記カメラ動画像の生成の成否を判定する撮像判定部と、
複数の前記撮像部により生成された複数の前記カメラ動画像と、前記撮像判定部による判定結果とを前記情報処理装置に送信する情報送信部と
を備え、
前記情報処理装置は、
前記撮像装置から送信された複数の前記カメラ動画像および前記判定結果を受信する情報受信部と、
動画像を送信する動画像送信部と、
前記情報受信部により受信された前記判定結果に基づいて、前記情報送信部に、前記情報受信部により受信された複数の前記カメラ動画像を用いて生成される任意の位置および向きを視点とする動画像である自由視点動画像を送信させるか、または、前記情報受信部により受信された前記カメラ動画像を用いて生成される前記撮像部の位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御する制御部と
を備える情報処理システム。

【請求項19】

前記撮像装置の前記撮像判定部は、前記複数のカメラ動画像について、同期ずれおよびフレームの欠損が発生しているか否かを判定する
請求項１８に記載の情報処理システム。

【請求項20】

前記情報処理装置は、
前記制御部により前記判定結果に基づいて生成された、前記カメラ動画像を指定する制御情報を前記撮像装置に送信する制御情報送信部をさらに備え、
前記撮像装置は、
前記情報処理装置から送信された前記制御情報を受信する制御情報受信部をさらに備え、
前記撮像装置の前記情報送信部は、前記制御情報受信部により受信された前記制御情報に従って、前記制御部により指定された前記カメラ動画像を前記情報処理装置に送信する
請求項１８に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置および方法、プログラム、並びに、情報処理システムに関し、特に、自由視点動画像を視聴するユーザに対して、より良いユーザ体験を提供することができるようにした情報処理装置および方法、プログラム、並びに、情報処理システムに関する。

【背景技術】

【0002】

多視点で撮像された動画像から被写体の３Ｄモデルを生成し、任意の視点位置に応じた動画像である自由視点動画像を３Ｄモデルに基づいて生成する技術がある。このような技術は、ボリュメトリックキャプチャ技術などとも呼ばれている。

【0003】

例えば、特許文献１においては、異なる方向から撮像して得られた複数の撮像画像に基づいて被写体の３次元形状の削り出しを行うVisual Hull等の手法を用いて、３Ｄモデルを生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１８／１５０９３３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ボリュメトリックキャプチャ技術によって生成された自由視点動画像をリアルタイムで伝送することによって、自由視点動画像に被写体として写っているユーザと、自由視点動画像を視聴しているユーザとがコミュニケーションをとるようなことも行われている。

【0006】

しかしながら、多視点で撮像された全てのカメラ動画像の伝送が正常に行われない場合、視聴側において、形状が崩れた３Ｄモデルの自由視点動画像が表示されたり、自由視点動画像が表示されなかったりすることがある。これにより、自由視点動画像を視聴するユーザ体験が低下してしまうことになる。

【0007】

本技術はこのような状況に鑑みてなされたものであり、自由視点動画像を視聴するユーザに対して、より良いユーザ体験を提供することができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の一側面の情報処理装置は、動画像を送信する送信部と、複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、前記送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御する制御部とを備える情報処理装置である。

【0009】

本技術の一側面の情報処理方法は、情報処理装置が、複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御し、前記制御に従って、前記自由視点動画像または前記実カメラ視点動画像を送信する情報処理方法である。

【0010】

本技術の一側面のプログラムは、コンピュータに、複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御し、前記制御に従って、前記自由視点動画像または前記実カメラ視点動画像を送信する処理を実行させるためのプログラムである。

【0011】

本技術の一側面の情報処理システムは、撮像装置と情報処理装置とを備える情報処理システムであって、前記撮像装置は、それぞれが被写体を撮像してカメラ動画像を生成する複数の撮像部と、複数の前記撮像部による前記カメラ動画像の生成の成否を判定する撮像判定部と、複数の前記撮像部により生成された複数の前記カメラ動画像と、前記撮像判定部による判定結果とを前記情報処理装置に送信する情報送信部とを備え、前記情報処理装置は、前記撮像装置から送信された複数の前記カメラ動画像および前記判定結果を受信する情報受信部と、動画像を送信する動画像送信部と、前記情報受信部により受信された前記判定結果に基づいて、前記情報送信部に、前記情報受信部により受信された複数の前記カメラ動画像を用いて生成される任意の位置および向きを視点とする動画像である自由視点動画像を送信させるか、または、前記情報受信部により受信された前記カメラ動画像を用いて生成される前記撮像部の位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御する制御部とを備える情報処理システムである。

【0012】

本技術の一側面の情報処理装置および方法、並びにプログラムにおいては、動画像が送信され、複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかが制御される。

【0013】

本技術の一側面の情報処理システムにおいては、被写体を撮像してカメラ動画像が生成され、複数の撮像部による前記カメラ動画像の生成の成否が判定され、複数の前記撮像部により生成された複数の前記カメラ動画像と、前記撮像判定部による判定結果とが情報処理装置に送信され、撮像装置から送信された複数の前記カメラ動画像および前記判定結果が受信され、動画像が送信され、情報受信部により受信された前記判定結果に基づいて、情報送信部に、前記情報受信部により受信された複数の前記カメラ動画像を用いて生成される任意の位置および向きを視点とする動画像である自由視点動画像を送信させるか、または、前記情報受信部により受信された前記カメラ動画像を用いて生成される前記撮像部の位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかが制御される。

【図面の簡単な説明】

【0014】

【図1】本技術の一実施形態に係る情報処理システムの構成例を示す図である。

【図2】自由視点動画像を伝送する情報処理システムの処理の流れを示す図である。

【図3】カメラの配置の例を示す図である。

【図4】情報処理システムにおいて発生する遅延の例を示す図である。

【図5】情報処理システムの処理の流れを示す図である。

【図6】動画像の切り替えの例を示す図である。

【図7】自由視点動画像と実カメラ視点動画像の切り替え条件の例を示す図である。

【図8】情報処理システムにおける情報の流れの例を示す図である。

【図9】キャプチャシステムの機能構成例を示すブロック図である。

【図10】カメラの台数の例を示す図である。

【図11】サーバの機能構成例を示すブロック図である。

【図12】視聴装置の機能構成例を示すブロック図である。

【図13】キャプチャシステム、サーバ、および視聴装置が行う処理の流れを示すシーケンス図である。

【図14】動画像切り替え処理＃１について説明するフローチャートである。

【図15】動画像切り替え処理＃２について説明するフローチャートである。

【図16】動画像切り替え処理＃３について説明するフローチャートである。

【図17】情報処理システムにおける情報の流れの他の例を示す図である。

【図18】キャプチャシステムの第２の機能構成例を示すブロック図である。

【図19】サーバの第２の機能構成例を示すブロック図である。

【図20】視聴装置の第２の機能構成例を示すブロック図である。

【図21】キャプチャシステムの第２の他の機能構成例を示すブロック図である。

【図22】情報処理システムにおける情報の流れのさらに他の例を示す図である。

【図23】キャプチャシステムの第３の機能構成例を示す図である。

【図24】キャプチャシステム、サーバ、および視聴装置が行う他の処理の流れを示すシーケンス図である。

【図25】コンピュータのハードウェアの構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．情報処理システムの概要の説明
２．第１の情報処理の例
３．第２の情報処理の例
４．第３の情報処理の例
５．変形例

【0016】

＜１．情報処理システムの概要の説明＞
図１は、本技術の一実施形態に係る情報処理システム１の構成例を示す図である。

【0017】

図１に示すように、情報処理システム１は、キャプチャシステム１１、サーバ１２、視聴装置１４により構成される。キャプチャシステム１１とサーバ１２は、有線または無線の通信を介して接続される。サーバ１２と視聴装置１４は、インターネット、無線LAN(Local Area Network)、セルラー方式のネットワークなどのネットワーク１３を介して接続される。なお、キャプチャシステム１１が、サーバ１２や視聴装置１４とネットワーク１３を介して接続されるようにしてもよい。

【0018】

キャプチャシステム１１は、撮像装置２１と送信装置２２により構成される。

【0019】

撮像装置２１は、被写体を撮像し、カメラ動画像を生成する複数台のカメラにより構成される。例えば、コンピュータビジョン用のカメラ、コンピュータビジョン用のカメラと異なるカメラ、スマートフォン、ネットワークカメラ、デプスセンサなどが、撮像装置２１を構成するカメラとして用いられ得る。撮像装置２１を構成する複数台のカメラは、被写体を囲むように配置され、多視点で被写体を撮像する。なお、撮像装置２１を構成するカメラの数は、複数であれば任意である。

【0020】

送信装置２２は、例えばPC(Personal Computer)や専用の機器により構成される。例えば、送信装置２２として、撮像装置２１を構成するカメラの台数と同じ台数のPCが用意される。送信装置２２は、撮像装置２１により生成された複数のカメラ動画像をサーバ１２に対して送信する。送信装置２２からサーバ１２に対して、複数の視点位置から被写体を撮像して得られた多視点のカメラ動画像が送信される。なお、送信装置２２を構成するPC（または専用の機器）の数は、任意である。カメラと同数であってもよいし、異なっていてもよい。

【0021】

サーバ１２は、例えば、ネットワーク上に設置されたサーバ装置である。１台のサーバ装置によりサーバ１２が実現されるようにしてもよいし、いわゆるクラウドを構成する複数台のサーバ装置によりサーバ１２が実現されるようにしてもよい。サーバ１２は、キャプチャシステム１１から送信されてきた複数のカメラ動画像を用いて自由視点動画像を生成する。自由視点動画像は、任意の位置および向きを視点とすることが可能な動画像である。

【0022】

また、サーバ１２は、キャプチャシステム１１から送信されてきた複数のカメラ動画像のうちのいずれかのカメラ動画像を用いて、実カメラ視点動画像を生成する。実カメラ視点動画像は、撮像装置２１を構成する複数台のカメラのうちの特定のカメラにより撮像されたカメラ動画像を用いて生成される動画像である。すなわち、実カメラ視点動画像は、特定のカメラの位置および向きを視点とする動画像である。これに対して自由視点動画像の視点は、いずれかのカメラの位置および向きとすることもできるし、いずれかのカメラの位置および向きでもない仮想の視点とすることもできる。

【0023】

サーバ１２は、自由視点動画像または実カメラ視点動画像を視聴装置１４に対してネットワーク１３を介して送信する。

【0024】

視聴装置１４は、例えば、PC、スマートフォン、タブレット端末、ヘッドマウントディスプレイなどの、表示機能を有するデバイスにより構成される。視聴装置１４は、サーバ１２から送信されてきた動画像を受信し、リアルタイムで表示する。

【0025】

例えば、自由視点動画像がサーバ１２から送信されてきた場合、視聴装置１４は、被写体の３Ｄモデルの動画像を表示する。ユーザは、視聴装置１４を操作することによって、被写体の３Ｄモデルを任意の視点からリアルタイムで見ることができる。

【0026】

なお、図１においては、キャプチャシステム１１、サーバ１２、ネットワーク１３、および視聴装置１４をそれぞれ１つずつ示しているが、情報処理システム１を構成するこれらのシステムやデバイスは、それぞれ単数であってもよいし複数であってもよい。

【0027】

図２は、自由視点動画像を伝送する情報処理システム１の処理の流れを示す図である。

【0028】

図２の左側に示すように、例えば、キャプチャシステム１１においては、撮像装置２１および送信装置２２により、それぞれが撮像を行い、カメラ動画像を送信する処理を行うカメラシステム３１－１乃至３１－ｎが構成される。以下においては、カメラシステム３１－１乃至３１－ｎのそれぞれを区別する必要がない場合、まとめてカメラシステム３１という。複数設けられる他の構成についても同様にまとめて説明する。

【0029】

カメラシステム３１－１乃至３１－ｎは、それぞれ、撮像装置２１の少なくとも１台のカメラと、送信装置２２の少なくとも１台のPCにより実現される。１つのカメラシステム３１を構成するこれら（カメラおよびPC）の数は任意であり、単数であってもよいし複数であってもよい。また、そのカメラおよびPCの数が互いに同一であってもよいし、異なっていてもよい。以下においては、１つのカメラシステム３１が１台のカメラと１台のPCにより構成されるものとして説明する。それぞれのカメラシステム３１における撮像を行うカメラは、被写体を囲むように配置される。

【0030】

図３は、カメラの配置の例を示す図である。

【0031】

図３に示すように、カメラは、被写体を下から見上げるように撮像する位置、水平方向から撮像する位置、上から見下ろすように撮像する位置などの様々な位置に配置される。図３に示す１つの白丸は、１台のカメラを示す。

【0032】

図３の例では、上段に８台、中段に８台、下段に８台の計２４台のカメラが撮像装置２１として配置されている。各段にはカメラが円周上に配置される。このような配置を有する２４台のカメラによって撮像が行われることにより、２４の視点のカメラ動画像が生成される。

【0033】

図２の説明に戻り、カメラシステム３１－１乃至３１－ｎのそれぞれにおいては、撮像によって生成されたカメラ動画像に対して、例えば輝度調節などの処理であるポストプロセス処理が行われる。また、ポストプロセス処理が行われたカメラ動画像が所定の規格でエンコードされ、符号化データが生成される。エンコードによって生成された各カメラシステム３１の符号化データが、サーバ１２に対して送信される。

【0034】

サーバ１２においては、カメラシステム３１－１乃至３１－ｎのそれぞれから送信されてきた符号化データがデコードされ、カメラ動画像が復元される。ここで、カメラシステム３１－１乃至３１－ｎにより生成された全てのカメラ動画像が揃っているか否かが確認される。また、それぞれのカメラ動画像の同期が確保されているか否かが確認される。

【0035】

全てのカメラ動画像が揃っていることと、カメラ動画像の同期が確保されていることが確認された場合、サーバ１２は、復元された複数のカメラ動画像を用いて３Ｄモデルのモデリング（三次元再構成）を行う。

【0036】

例えば、サーバ１２は、カメラ動画像と背景動画像との差分を抽出することにより、被写体領域を抽出したシルエット画像を生成する。また、サーバ１２は、異なる方向の複数枚のシルエット画像とカメラパラメータを用いたVisual Hull等の手法により、被写体の３Ｄモデルを生成する。

【0037】

３Ｄモデルのデータには、色情報としての複数のカメラ動画像が含まれる。また、３Ｄモデルのデータには、３Ｄモデルの形状を規定するジオメトリ情報が含まれる。ジオメトリ情報として、複数のカメラ動画像に対応するデプス動画像、被写体の３次元位置を点の集合で表したポイントクラウド、頂点と頂点間のつながりで表したポリゴンメッシュを用いることが可能である。

【0038】

その後、３Ｄモデルに基づいてレンダリングが行われることによって、キャプチャシステム１１において指定された視点位置から見た３Ｄモデルの動画像が、自由視点動画像として生成される。自由視点動画像の生成においては、複数のカメラ動画像を用いて３Ｄモデルに対してキャプチャシステム１１において指定された視点位置（仮想視点位置）に応じたテクスチャをつけるViewDependentレンダリングが行われる。また、キャプチャシステム１１から取得されたCG背景の合成等が行われる。

【0039】

このようにしてサーバ１２により生成された自由視点動画像が、視聴装置１４に対して送信され、表示される。なお、視聴装置１４がヘッドマウントディスプレイにより構成される場合、右目用の動画像と左目用の動画像が、視聴装置１４に対して送信される。

【0040】

情報処理システム１においては、いずれかのカメラシステム３１のカメラ動画像がサーバ１２に対して送信されないことなどによって、遅延が発生した場合、自由視点動画像が生成されないことがある。

【0041】

図４は、情報処理システム１において発生する遅延の原因となる障害の例を示す図である。

【0042】

図４の吹き出しＢ１に示すように、キャプチャシステム１１において、いずれかのカメラシステム３１のカメラでフレームの欠損が発生した場合、遅延が発生する。また、カメラシステム３１のカメラの電池が切れることなどによって撮像が失敗した場合、遅延が発生する。

【0043】

上述したように、全てのカメラシステム３１において同時に撮像を行うことができない場合、サーバ１２において自由視点動画像が生成されない可能性がある。

【0044】

また、図４の吹き出しＢ２に示すように、帯域が不足することなどによって、いずれかのカメラシステム３１からサーバ１２に対する符号化データの送信に遅延が発生することがある。

【0045】

符号化データの送信に遅延などの不調が発生した場合、３Ｄモデルの形状が崩れてしまう可能性がある。

【0046】

図４の吹き出しＢ３に示すように、サーバ１２の負荷が上昇することによって、モデリングの処理に遅延が発生することがある。モデリングに用いるカメラ動画像が多いほどモデリングの処理に時間がかかるため、カメラシステム３１の数が多い場合、モデリングの処理に遅延が発生する可能性がある。

【0047】

モデリングの処理に遅延が発生し、自由視点動画像が送信されてこない場合、視聴装置１４においては、ディスプレイに何も表示されない状態になったり、CGの背景のみが表示される状態になったりする。この場合、コミュニケーションによるユーザ体験の質が低下してしまうおそれがあった。

【0048】

ユーザ体験の質の低下を防ぐため、遅延が発生した場合においてもコミュニケーションを続けられるようにする仕組みが求められる。

【0049】

図５は、情報処理システム１の処理の流れを示す図である。

【0050】

図５の下方に示すように、情報処理システム１においては、カメラシステム３１と同様の構成を有する１つのカメラシステムであるカメラシステム４１が設けられる。

【0051】

カメラシステム４１においては、カメラシステム３１－１乃至３１－ｎと同様にカメラ動画像の撮像が行われる。カメラシステム４１により撮像されたカメラ動画像は、実カメラ視点動画像を生成するためにサーバ１２において用いられる。実カメラ視点動画像の生成は、例えばカメラシステム３１－１乃至３１－ｎのカメラ動画像を用いて自由視点動画像を生成するのと並行して行われる。

【0052】

カメラシステム４１においては、カメラシステム３１－１乃至３１－ｎにおいて行われる処理と同様の処理が行われる。具体的には、カメラシステム４１のカメラにより撮像されたカメラ動画像に対して、ポストプロセス処理とエンコードが行われることによって、符号化データが生成される。符号化データはサーバ１２に対して送信される。

【0053】

サーバ１２においては、カメラシステム４１から送信されてきた符号化データがデコードされ、カメラ動画像が復元される。また、復元されたカメラ動画像に対して前景背景差分処理が施されることによって、被写体領域の動画像が抽出される。その後、被写体領域の動画像とキャプチャシステム１１から取得されたCG背景とが合成され、実カメラ視点動画像が生成される。

【0054】

実カメラ視点動画像は、カメラシステム４１のカメラにより撮像された１視点のカメラ動画像を含む動画像となる。

【0055】

情報処理システム１においては、自由視点動画像の生成の成否に関する判定が行われる。例えば図４を参照して説明したような障害を原因として、自由視点動画像の生成にエラーが生じる。

【0056】

すなわち、自由視点動画像の生成に関する判定には、キャプチャシステム１１におけるカメラ動画像の生成の成否の判定、サーバ１２において符号データの受信に遅延が生じているか否かの判定、サーバ１２における符号化データの復号の成否の判定、および、サーバ１２において自由視点動画像の生成に遅延が生じているか否かの判定が含まれる。

【0057】

例えばサーバ１２においては、自由視点動画像の生成の成否に関する判定結果に基づいて、自由視点動画像と実カメラ視点動画像のいずれかが、視聴装置１４に対して送信する動画像として選択される。視聴装置１４においては、自由視点動画像に代えて、実カメラ視点動画像が表示されることもある。

【0058】

図６は、動画像の切り替えの例を示す図である。

【0059】

図６の左上に示すように、情報処理システム１において遅延が発生していない場合、視聴装置１４においては自由視点動画像が表示される。

【0060】

一方、例えばいずれかのカメラシステム３１にエラーが発生した場合、白抜き矢印Ａ１の先に示すように、サーバ１２においては、視聴装置１４に対して送信する動画像が実カメラ視点動画像に切り替えられる。

【0061】

実カメラ視点動画像への切り替え時、仮想カメラワークの生成と画像加工が行われる。

【0062】

仮想カメラワークの生成は、視点位置の切り替えによってユーザが不快に感じるのを防ぐための処理である。自由視点動画像の所定の仮想視点位置から実カメラ視点動画像の視点位置に視点が突然切り替えられると、不自然であり、視聴装置１４のユーザが不快に感じる可能性がある。

【0063】

具体的には、サーバ１２は、実カメラ視点動画像に切り替えられる前の仮想視点位置からカメラシステム４１のカメラの位置（実カメラ視点動画像の視点位置）までの最短のルートである仮想カメラワークを生成する。実カメラ視点動画像に切り替える前の自由視点動画像として、仮想カメラワークに沿って、実カメラ視点動画像の視点位置に近づくように視点が移動する動画像が生成され、視聴装置１４において表示される。

【0064】

画像加工は、自由視点動画像および実カメラ視点動画像のそれぞれにフェードアウトおよびフェードインなどのエフェクトを加える処理である。

【0065】

サーバ１２により以上のような処理が行われることによって、白抜き矢印Ａ２の先に示すように、視聴装置１４においては実カメラ視点動画像が表示される。

【0066】

実カメラ視点動画像の表示が行われている状態において、例えばエラーが解消された場合、白抜き矢印Ａ３の先に示すように、サーバ１２においては、視聴装置１４に対して送信する動画像が自由視点動画像に切り替えられる。

【0067】

動画像の切り替えが行われた後、白抜き矢印Ａ４の先に示すように、視聴装置１４においては自由視点動画像が表示されることになる。

【0068】

なお、実カメラ視点動画像から自由視点動画像への切り替え時、自由視点動画像の視点位置を実カメラ視点動画像の視点位置に合わせることによって、動画像を自然に切り替えることが可能である。したがって、実カメラ視点動画像から自由視点動画像に切り替える際、動画像に対してエフェクトを加えるなどの画像加工は行われない。

【0069】

図７は、自由視点動画像と実カメラ視点動画像の切り替え条件の例を示す図である。

【0070】

図７の１行目に示すように、被写体の撮像時、同期ずれやフレームの欠損などの異常がカメラに発生することがある。情報処理システム１においては、異常が発生したカメラの台数が判定される。また、正常なカメラの位置の分布が、３Ｄモデルの品質を担保できるか否かが判定される。

【0071】

例えば、異常が発生したカメラの台数が少なく、かつ、３Ｄモデルの形状の品質も担保できると判定された場合、サーバ１２は、正常なカメラにより生成されたカメラ動画像を用いて三次元再構成を行い、自由視点動画像を生成する。この場合、自由視点動画像が視聴装置１４に対して送信され、表示される。

【0072】

一方、異常が発生したカメラの台数が多い、または、３Ｄモデルの形状の品質が担保されないと判定された場合、実カメラ視点動画像が視聴装置１４に対して送信され、表示される。

【0073】

図７の２行目に示すように、カメラ動画像の符号化データの送信に遅延が発生することがある。また、サーバ１２において、指定時間以内に全ての符号化データを受信できないことがある。情報処理システム１においては、遅延が生じた符号化データの数が判定される。また、符号化データが正常に受信されたカメラ動画像を生成した正常なカメラの位置の分布が、３Ｄモデルの品質を担保できるか否かが判定される。

【0074】

例えば、遅延が生じた符号化データの数が少なく、かつ、３Ｄモデルの形状の品質も担保できると判定された場合、サーバ１２は、正常なカメラにより生成されたカメラ動画像を用いて三次元再構成を行い、自由視点動画像を生成する。この場合、自由視点動画像が視聴装置１４に対して送信され、表示される。

【0075】

一方、遅延が生じた符号化データの数が多い、または、３Ｄモデルの形状の品質が担保されないと判定された場合、実カメラ視点動画像が視聴装置１４に対して送信され、表示される。

【0076】

図７の３行目に示すように、キャプチャシステム１１から送信されてきた符号化データをサーバ１２においてデコードできないことがある。また、キャプチャシステム１１から送信されてきた符号化データが破綻していることがある。情報処理システム１においては、復元できなかったカメラ動画像の数が判定される。また、正常なカメラの位置の分布が、３Ｄモデルの品質を担保できるか否かが判定される。

【0077】

例えば、復元できなかったカメラ動画像の数が少なく、かつ、３Ｄモデルの形状の品質も担保できると判定された場合、サーバ１２は、復元されたカメラ動画像を用いて三次元再構成を行い、自由視点動画像を生成する。この場合、自由視点動画像が視聴装置１４に対して送信され、表示される。

【0078】

一方、復元できなかったカメラ動画像の数が多い、または、３Ｄモデルの形状の品質が担保されないと判定された場合、実カメラ視点動画像が視聴装置１４に対して送信され、表示される。

【0079】

図７の４行目に示すように、３Ｄモデルの生成時、モデリングの処理にかかる時間が、動画像をリアルタイムで表示するために許容される時間を超えることがある。この場合、実カメラ視点動画像が視聴装置１４に対して送信され、表示される。

【0080】

一方、モデリングの処理にかかる時間が、動画像をリアルタイムで表示するために許容される時間を超えない場合、自由視点動画像が視聴装置１４に対して送信され、表示される。

【0081】

図７の５行目に示すように、自由視点動画像の視点変更のためのインタラクションが視聴装置１４から届かないことがある。情報処理システム１においては、オートパイロットが指定されているか否かが判定される。自由視点動画像の視点位置を自動的に設定することをオートパイロットとして設定することが可能とされる。

【0082】

例えば、オートパイロットが指定されている場合、オートパイロットによって選択された視点位置から見た自由視点動画像が視聴装置１４に対して送信され、表示される。

【0083】

一方、オートパイロットが指定されていない場合、実カメラ視点動画像が視聴装置１４に対して送信され、表示される。

【0084】

図７の６行目に示すように、情報処理システム１において不具合が頻繁に発生することがある。例えば、一定の時間の間に閾値となる回数以上の不具合が発生した場合、実カメラ視点動画像が視聴装置１４に対して送信され、表示される。

【0085】

一方、一定の時間の間に発生した不具合の回数が閾値未満である場合、自由視点動画像が視聴装置１４に対して送信され、表示される。

【0086】

このように、自由視点動画像の生成の成否に関する各種の判定結果に基づいて、視聴装置１４に対して、自由視点動画像を送信するか、または、実カメラ視点動画像を送信するかが選択される。

【0087】

これにより、カメラに異常が発生することなどによって自由視点動画像が生成されない場合においても、途切れさせることなく、動画像を視聴装置１４に表示させることが可能となる。

【0088】

また、動画像が途切れることなく表示されるため、視聴装置１４を用いて自由視点動画像を視聴するユーザに対して、より良いユーザ体験を提供することができる。

【0089】

＜２．第１の情報処理の例＞
図８は、情報処理システム１における情報の流れの例を示す図である。

【0090】

図８に示すように、キャプチャシステム１１に対しては、端末情報が視聴装置１４から供給される。端末情報は、視聴装置１４を構成する機器を表す情報や、視聴装置１４の帯域情報などを含む情報である。帯域情報は、視聴装置１４が利用している通信（例えば、Wi-Fi，4G，5Gなど）を表す情報である。なお、視聴装置１４を用いて動画像を視聴するユーザによるリクエストを表す情報が端末情報に含まれるようにしてもよい。

【0091】

キャプチャシステム１１は、視聴装置１４から供給された端末情報に基づいて、撮像を行うカメラの台数を決定する。ここで決定された台数のカメラにより生成されたカメラ動画像が、自由視点動画像の生成に用いられる。

【0092】

サーバ１２に対しては、仮想視点位置を表す情報がキャプチャシステム１１から供給される。すなわち、この例においては、仮想視点位置がキャプチャシステム１１によって指定されることになる。サーバ１２は、キャプチャシステム１１から供給された仮想視点位置から被写体を見ているような自由視点動画像を生成する。

【0093】

・キャプチャシステム１１の構成
図９は、キャプチャシステム１１の機能構成例を示すブロック図である。

【0094】

図９に示すように、キャプチャシステム１１を構成する撮像装置２１は、端末情報受信部６１、カメラシステム台数選定部６２、インスタンス生成部６３、および撮像部６４により構成される。

【0095】

端末情報受信部６１は、無線通信または有線通信に対応した通信モジュールなどを制御し、視聴装置１４から送信されてきた端末情報を受信する。端末情報受信部６１により受信された端末情報は、カメラシステム台数選定部６２に供給される。

【0096】

カメラシステム台数選定部６２は、端末情報受信部６１から供給された端末情報に基づいて、撮像を行うカメラ（カメラシステム３１）の台数を選定する。例えば、視聴装置１４がスマートフォンである場合、撮像を行うカメラの台数として１５台が選定される。また、視聴装置１４がハイスペックなPCである場合、撮像を行うカメラの台数として２４台が選定される。

【0097】

図１０は、カメラの台数の例を示す図である。

【0098】

図１０の上段には、撮像を行うカメラの台数が１台、３台、９台、１５台、および２４台のそれぞれの場合のカメラの配置が示されている。図１０の上段に示す色付きの円は、撮像を行うカメラを表す。また、図１０の上段に示す白抜きの円は、撮像を行わないカメラを表す。

【0099】

図１０の下段に示すように、撮像を行うカメラが多いほど、視聴装置１４において表示される自由視点動画像の視点の自由度が高くなる。また、撮像を行うカメラが多いほど、キャプチャシステム１１からサーバ１２に対して符号化データの送信に用いられる帯域の量が多くなる。

【0100】

撮像を行うカメラが多いほど、自由視点動画像の画質が高くなる。また、撮像を行うカメラが多いほど、ユーザが負担するネットワーク使用料は高くなる。

【0101】

撮像を行うカメラとしてToF(Time of Flight)センサなどのデプスセンサが用いられる場合、自由視点動画像はポイントクラウドで構成される。ToFセンサの台数が多いほど、ポイントクラウドを構成する点は密になる。

【0102】

図１０の左端に示すように、撮像を行うカメラが１台である場合、自由視点動画像の視点の自由度はない。この場合、視聴装置１４においては、１台のカメラにより撮像されたカメラ動画像、または、カメラ動画像に写っている被写体とCG背景とが合成された動画像が表示される。

【0103】

撮像を行うカメラが、垂直方向に並べられた３台のカメラである場合、１視点で立体視が可能な動画像が自由視点動画像として生成される。この場合、３台のカメラの位置から被写体までの距離が用いられることによって、自由視点動画像で運動視差を表現することができる。

【0104】

撮像を行うカメラが９台である場合、形状の再現度が中程度の３Ｄモデルに基づいて自由視点動画像が生成される。自由視点動画像の画質も中程度となる。

【0105】

撮像を行うカメラが、被写体の前方に重点的に配置された１５台のカメラである場合、被写体の前方の形状の再現度が高い３Ｄモデルに基づいて自由視点動画像が生成される。ただし、被写体の後方における３Ｄモデルの形状の再現度が低いため、被写体の背中側を見せないような視点位置の制約が必要となる。

【0106】

撮像を行うカメラが２４台である場合、被写体の全体の形状の再現度が高い３Ｄモデルに基づいて、高画質の自由視点動画像が生成される。カメラ動画像の解像度が４Ｋである場合、より高画質な自由視点動画像が生成される。

【0107】

このようにして選定されたカメラ台数を表す情報が、カメラシステム台数選定部６２から図９のインスタンス生成部６３に対して供給される。

【0108】

インスタンス生成部６３は、カメラシステム台数選定部６２から供給された情報に基づいて、カメラパラメータ（内部パラメータおよび外部パラメータ）を設定し、設定内容を表す情報を撮像部６４に供給する。

【0109】

撮像部６４は、インスタンス生成部６３から供給された情報に応じて、撮像を行うカメラを選択し、撮像を行う。撮像部６４により撮像された複数のカメラ動画像は送信装置２２に供給される。

【0110】

図９に示すように、送信装置２２は、撮像遅延判定部７１、制御信号受信部７２、送信制御部７３、および送信部７４により構成される。

【0111】

撮像遅延判定部７１は、撮像部６４から供給された複数のカメラ動画像に基づいて、それぞれのカメラ動画像の生成の成否を判定する。具体的には、撮像遅延判定部７１は、撮像時、それぞれのカメラに異常が発生したか否かを判定する。撮像遅延判定部７１は、カメラ動画像の生成の成否の判定結果を複数のカメラ動画像とともに送信部７４に供給する。

【0112】

制御信号受信部７２は、サーバ１２から送信されてきた制御信号を受信し、送信制御部７３に供給する。制御信号は、送信部７４から送信するカメラ動画像を指定する信号である。

【0113】

送信制御部７３は、送信部７４を制御し、制御信号によって指定されたカメラ動画像を送信部７４から送信させる。

【0114】

制御信号により、多視点カメラ動画像を送信するか、または、１視点カメラ動画像を送信するかが指定される。多視点カメラ動画像は、自由視点動画像の生成に用いられる、複数台のカメラにより生成されたカメラ動画像である。１視点カメラ動画像は、実カメラ視点動画像の生成に用いられる、カメラシステム４１を構成する１台のカメラにより生成された特定のカメラ動画像である。

【0115】

送信部７４は、撮像遅延判定部７１から供給された判定結果をサーバ１２に対して送信する。

【0116】

送信部７４は、カメラ動画像を符号化する符号化部としても機能する。送信部７４は、撮像遅延判定部７１から供給されたカメラ動画像を符号化し、符号化データを生成する。

【0117】

また、送信部７４は、送信制御部７３による制御に従って、符号化データを、CG背景、仮想視点位置を表す情報、および実カメラ視点位置を表す情報とともに送信する。実カメラ視点位置は、実カメラ視点動画像の視点位置である。

【0118】

多視点カメラ動画像を送信することが制御信号により指定された場合、送信部７４は、多視点カメラ動画像の符号化データを各種の情報とともに送信する。

【0119】

一方、１視点カメラ動画像を送信することが制御信号により指定された場合、送信部７４は、多視点カメラ動画像のうち、実カメラ視点位置に配置されたカメラにより生成された特定のカメラ動画像を、１視点カメラ動画像として選択する。選択された１視点カメラ動画像の符号化データは、各種の情報とともに送信される。

【0120】

なお、それぞれのカメラ動画像には、当該カメラ動画像を生成したカメラのカメラパラメータが対応付けられている。カメラ動画像に対応付けられたカメラパラメータも、符号化データとしてサーバ１２に送信される。

【0121】

実カメラ視点動画像の生成に用いられるカメラ動画像を撮像するカメラが、自由視点動画像の生成に用いられるカメラ動画像を撮像するカメラとは別に設けられるようにしてもよい。すなわち、カメラシステム４１が、カメラシステム３１－１乃至３１－ｎのいずれかのカメラシステムによって構成されるようにしてもよいし、カメラシステム３１－１乃至３１－ｎとは別に設けられたカメラシステムによって構成されるようにしてもよい。

【0122】

実カメラ視点動画像の生成に用いられるカメラ動画像を撮像するカメラが、自由視点動画像の生成に用いられるカメラ動画像を撮像するカメラとは別に設けられる場合、多視点カメラ動画像と１視点カメラ動画像がそれぞれサーバ１２に対して送信される。実カメラ視点動画像用のカメラは、ビデオカメラやスマートフォンなどの手持ちのカメラであってもよい。

【0123】

・サーバ１２の構成
図１１は、サーバ１２の機能構成例を示すブロック図である。

【0124】

図１１に示すように、サーバ１２は、受信部９１、受信遅延判定部９２、自由視点動画像生成部９３、実カメラ視点動画像生成部９４、生成遅延判定部９５、配信動画像生成部９６、制御信号送信部９７、および配信動画像送信部９８により構成される。

【0125】

受信部９１は、無線通信または有線通信に対応した通信モジュールなどを制御し、キャプチャシステム１１から送信されてきた、撮像遅延判定部７１（図９）による判定結果を受信する。受信部９１により受信された判定結果は配信動画像生成部９６に供給される。

【0126】

また、受信部９１は、キャプチャシステム１１から送信されてきた符号化データを受信し、復号する。符号化データを復号することによって復元されたカメラ動画像は、受信遅延判定部９２に供給される。受信部９１は、符号化データを復号し、カメラ動画像を復元する復号部としても機能する。

【0127】

受信部９１は、キャプチャシステム１１から送信されてきたCG背景、仮想視点位置を表す情報、および実カメラ視点位置を表す情報を受信する。CG背景は、自由視点動画像生成部９３の背景合成部１１３と、実カメラ視点動画像生成部９４の背景合成部１２２とに供給される。仮想視点位置を表す情報は、自由視点動画像生成部９３の仮想視点動画像生成部１１２に供給される。実カメラ視点位置を表す情報は、実カメラ視点動画像生成部９４の実カメラ視点動画像生成部１２１に供給される。

【0128】

受信遅延判定部９２は、複数の符号化データの受信に遅延が生じているか否かを判定する。また、受信遅延判定部９２は、受信部９１から供給されたカメラ動画像が破綻しているか否かを判定する。すなわち、受信遅延判定部９２は、符号化データの復号の成否を判定する復号判定部としても機能するといえる。受信遅延判定部９２は、これらの判定結果を配信動画像生成部９６に供給する。

【0129】

受信遅延判定部９２は、多視点カメラ動画像が受信部９１から供給された場合、多視点カメラ動画像を自由視点動画像生成部９３の三次元再構成部１１１と、実カメラ視点動画像生成部９４の実カメラ視点動画像生成部１２１に供給する。

【0130】

一方、受信遅延判定部９２は、１視点カメラ動画像が受信部９１から供給された場合、１視点カメラ動画像を実カメラ視点動画像生成部１２１のみに供給する。

【0131】

自由視点動画像生成部９３は、三次元再構成部１１１、仮想視点動画像生成部１１２、および背景合成部１１３により構成される。

【0132】

三次元再構成部１１１は、受信遅延判定部９２から供給された多視点カメラ動画像に基づいて、被写体の３Ｄモデルを生成し、仮想視点動画像生成部１１２に供給する。

【0133】

仮想視点動画像生成部１１２は、配信動画像生成部９６による制御に従って、受信部９１から供給された情報により指定される仮想視点の自由視点動画像を生成する。具体的には、仮想視点動画像生成部１１２は、レンダリング処理によって、指定された仮想視点から見た３Ｄモデルの動画像を、自由視点動画像として生成する。

【0134】

配信動画像生成部９６から仮想カメラワークが供給された場合、仮想視点動画像生成部１１２は、仮想カメラワークに基づいて、実カメラ視点位置に近づくように視点が移動する自由視点動画像を生成する。仮想視点動画像生成部１１２により生成された自由視点動画像は背景合成部１１３に供給される。

【0135】

背景合成部１１３は、仮想視点動画像生成部１１２から供給された自由視点動画像に、受信部９１から供給されたCG背景を合成する。CG背景が合成された自由視点動画像は、生成遅延判定部９５に供給される。

【0136】

実カメラ視点動画像生成部９４は、実カメラ視点動画像生成部１２１および背景合成部１２２により構成される。

【0137】

実カメラ視点動画像生成部１２１は、配信動画像生成部９６による制御に従って実カメラ視点動画像を生成する。具体的には、実カメラ視点動画像生成部１２１は、前景背景差分処理によって、１視点カメラ動画像から被写体領域の動画像を実カメラ視点動画像として抽出する。

【0138】

多視点カメラ動画像が受信遅延判定部９２から供給された場合、実カメラ視点動画像生成部１２１は、実カメラ視点位置を表す情報に基づいて、多視点カメラ動画像のうちの特定のカメラ動画像を１視点カメラ動画像として選択する。実カメラ視点動画像生成部１２１により選択された１視点カメラ動画像は、実カメラ視点動画像の生成に用いられる。

【0139】

一方、１視点カメラ動画像が受信遅延判定部９２から供給された場合、実カメラ視点動画像生成部１２１は、そのカメラ動画像を用いて、実カメラ視点動画像を生成する。実カメラ視点動画像生成部１２１により生成された実カメラ視点動画像は、背景合成部１２２に供給される。

【0140】

背景合成部１２２は、実カメラ視点動画像生成部１２１から供給された実カメラ視点動画像に、受信部９１から供給されたCG背景を合成する。CG背景が合成された実カメラ視点動画像は、生成遅延判定部９５に供給される。

【0141】

生成遅延判定部９５は、自由視点動画像の生成に遅延が生じているか否かを判定し、判定結果を配信動画像生成部９６に供給する。例えば、視聴装置１４において表示される動画像のフレームレートが60fpsである場合、自由視点動画像の生成が16msec以内に行われる必要がある。このため、16msec以内に自由視点動画像が生成された場合、自由視点動画像の生成に遅延が生じていないと判定される。

【0142】

また、生成遅延判定部９５は、背景合成部１１３から供給された自由視点動画像と、背景合成部１２２から供給された実カメラ視点動画像を配信動画像生成部９６に供給する。

【0143】

配信動画像生成部９６は、情報処理システム１に設けられた各種の判定部から供給された自由視点動画像の生成の成否に関する判定結果に基づいて、情報処理システム１に設けられた各構成を制御する制御部として機能する。

【0144】

具体的には、配信動画像生成部９６は、受信部９１から供給された撮像遅延判定部７１による判定結果に基づいて、キャプチャシステム１１に、多視点カメラ動画像を送信させるか、または、１視点カメラ動画像を送信させるかを選択する。配信動画像生成部９６は、キャプチャシステム１１において送信されるカメラ動画像を指定する制御信号を生成する。

【0145】

配信動画像生成部９６により生成された制御信号は、制御信号送信部９７に供給される。制御信号送信部９７においては、配信動画像生成部９６から供給された制御信号がキャプチャシステム１１に対して送信される。

【0146】

また、配信動画像生成部９６は、受信遅延判定部９２による判定結果に基づいて、正常なカメラの台数と位置が、３Ｄモデルの形状の品質を保証できるものであるか否かを判定する。

【0147】

配信動画像生成部９６は、自身による判定結果に基づいて、仮想視点動画像生成部１１２に自由視点動画像を生成させるか否かを選択する。配信動画像生成部９６は、選択結果に応じて、仮想視点動画像生成部１１２と実カメラ視点動画像生成部１２１を制御する。

【0148】

さらに、配信動画像生成部９６は、生成遅延判定部９５による判定結果に基づいて、自由視点動画像を送信するか、または、実カメラ視点動画像を送信するかを選択する。

【0149】

なお、視聴装置１４に対して送信する動画像が自由視点動画像から実カメラ視点動画像に切り替えられる場合、配信動画像生成部９６は、仮想カメラワークを生成し、仮想視点動画像生成部１１２に供給する。

【0150】

配信動画像送信部９８は、配信動画像生成部９６から供給された自由視点動画像または実カメラ視点動画像を視聴装置１４に対して送信する。

【0151】

・視聴装置１４の構成
図１２は、視聴装置１４の機能構成例を示すブロック図である。

【0152】

図１２に示すように、視聴装置１４は、端末情報送信部１４１、動画像受信部１４２、および表示部１４３により構成される。

【0153】

端末情報送信部１４１は、無線通信または有線通信に対応した通信モジュールなどを制御し、キャプチャシステム１１に対して端末情報を送信する。

【0154】

動画像受信部１４２は、サーバ１２から送信されてきた自由視点動画像または実カメラ視点動画像を受信し、表示部１４３に供給する。

【0155】

表示部１４３は、動画像受信部１４２から供給された動画像をディスプレイに表示する。

【0156】

・各機器の動作
ここで、以上のような構成を有する情報処理システム１において行われる処理について説明する。

【0157】

図１３は、キャプチャシステム１１、サーバ１２、および視聴装置１４が行う処理の流れを示すシーケンス図である。

【0158】

ステップＳ４１において、視聴装置１４の端末情報送信部１４１は、視聴装置１４の端末情報をキャプチャシステム１１に対して送信する。

【0159】

ステップＳ１において、キャプチャシステム１１の端末情報受信部６１は、視聴装置１４から送信されてきた端末情報を受信する。

【0160】

ステップＳ２において、キャプチャシステム１１のカメラシステム台数選定部６２は、端末情報に基づいて、撮像を行うカメラの台数を選定する。

【0161】

ステップＳ３において、キャプチャシステム１１のインスタンス生成部６３は、カメラパラメータを設定し、インスタンスを生成する。

【0162】

ステップＳ４において、キャプチャシステム１１の撮像部６４は、ステップＳ２で選定された台数のカメラを用いて被写体を撮像し、カメラ動画像を取得する。

【0163】

ステップＳ５において、キャプチャシステム１１の撮像遅延判定部７１は、撮像部６４によるカメラ動画像の生成の成否を判定する。

【0164】

ステップＳ６において、キャプチャシステム１１の送信部７４は、判定結果をサーバ１２に対して送信する。

【0165】

ステップＳ２１において、サーバ１２の受信部９１は、キャプチャシステム１１から送信されてきた撮像遅延判定部７１による判定結果を受信する。

【0166】

ステップＳ２２において、サーバ１２の配信動画像生成部９６は、動画像切り替え処理＃１を行う。動画像切り替え処理＃１により、キャプチャシステム１１の撮像遅延判定部７１による判定結果に基づいて制御信号が生成される。動画像切り替え処理＃１については、図１４のフローチャートを参照して後述する。

【0167】

ステップＳ２３において、サーバ１２の制御信号送信部９７は、制御信号をキャプチャシステム１１に対して送信する。

【0168】

ステップ７において、キャプチャシステム１１の制御信号受信部７２は、サーバ１２から送信されてきた制御信号を受信する。

【0169】

ステップＳ８において、キャプチャシステム１１の送信部７４は、ステップＳ４で生成されたカメラ動画像を符号化することによって、符号化データを生成する。送信部７４は、制御信号に従って、CG背景、仮想視点位置を表す情報、および実カメラ視点位置を表す情報とともに、符号化データをサーバ１２に対して送信する。

【0170】

ステップＳ２４において、サーバ１２の受信部９１は、キャプチャシステム１１から送信されてきた符号化データ、CG背景、仮想視点位置を表す情報、および実カメラ視点位置を表す情報を受信する。受信部９１は、符号化データを復号し、カメラ動画像を復元する。

【0171】

ステップＳ２５において、サーバ１２の受信遅延判定部９２は、符号化データの受信に遅延が生じているか否か、および、カメラ動画像の復元の成否を判定する。

【0172】

ステップＳ２６において、サーバ１２の配信動画像生成部９６は、動画像切り替え処理＃２を行う。動画像切り替え処理＃２により、受信遅延判定部９２による判定結果に基づいて、自由視点動画像の生成が制御される。動画像切り替え処理＃２については、図１５のフローチャートを参照して後述する。

【0173】

ステップＳ２７において、サーバ１２の自由視点動画像生成部９３は、配信動画像生成部９６による制御に従って、自由視点動画像を生成する。また、サーバ１２の実カメラ視点動画像生成部９４は、配信動画像生成部９６による制御に従って、実カメラ視点動画像を生成する。

【0174】

ステップＳ２８において、サーバ１２の生成遅延判定部９５は、ステップＳ２７で行われた自由視点動画像の生成に遅延が生じているか否かを判定する。

【0175】

ステップＳ２９において、サーバ１２の配信動画像生成部９６は、動画像切り替え処理＃３を行う。動画像切り替え処理＃３により、生成遅延判定部９５による判定結果に基づいて、自由視点動画像を送信するか、または、実カメラ視点動画像を送信するかが制御される。動画像切り替え処理＃３については、図１６のフローチャートを参照して後述する。

【0176】

ステップＳ３０において、サーバ１２の配信動画像送信部９８は、配信動画像生成部９６による制御に従って、自由視点動画像または実カメラ視点動画像を視聴装置１４に対して送信する。

【0177】

ステップＳ４２において、視聴装置１４の動画像受信部１４２は、サーバ１２から送信されてきた動画像を受信する。

【0178】

ステップＳ４３において、視聴装置１４の表示部１４３は、サーバ１２から送信されてきた動画像をディスプレイに表示する。

【0179】

次に、図１４のフローチャートを参照して、図１３のステップＳ２２において行われる動画像切り替え処理＃１について説明する。

【0180】

ステップＳ６１において、図１３のステップＳ５の撮像遅延判定部７１による判定結果に従った判定が行われ、撮像部６４に異常が発生していないと撮像遅延判定部７１により判定された場合、処理はステップＳ６２に進む。

【0181】

ステップＳ６２において、サーバ１２の配信動画像生成部９６は、多視点カメラ動画像を送信させるための制御信号を生成する。その後、図１３のステップＳ２２に戻り、それ以降の処理が行われる。

【0182】

一方、ステップＳ６１において、撮像部６４に異常が発生したと撮像遅延判定部７１により判定された場合、処理はステップＳ６３に進む。

【0183】

ステップＳ６３において、サーバ１２の配信動画像生成部９６は、正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものであるか否かを判定する。３Ｄモデルの形状の品質を保証するためには、それぞれが所定の位置に配置された複数台のカメラにより生成された多視点カメラ動画像が必要となる。配信動画像生成部９６は、正常なカメラのカメラパラメータを用いて、正常なカメラの分布を確認することになる。

【0184】

キャプチャシステム１１によって、３Ｄモデルを生成するために必須のカメラが指定されるようにしてもよい。この場合、指定された必須のカメラに異常が発生した場合、正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものではないと判定される。３Ｄモデルを生成するために必須のカメラとして、例えば被写体の正面に設けられたズームカメラが指定される。

【0185】

正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものであるとステップＳ６３において判定された場合、処理はステップＳ６２に進む。

【0186】

一方、正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものではないとステップＳ６３において判定された場合、処理はステップＳ６４に進む。

【0187】

ステップＳ６４において、サーバ１２の配信動画像生成部９６は、１視点カメラ動画像を送信させるための制御信号を生成する。その後、図１３のステップＳ２２に戻り、それ以降の処理が行われる。

【0188】

次に、図１５のフローチャートを参照して、図１３のステップＳ２６において行われる動画像切り替え処理＃２について説明する。

【0189】

ステップＳ７１において、図１３のステップＳ２５の受信遅延判定部９２による判定結果に従った判定が行われ、符号化データの受信に遅延が発生していないと受信遅延判定部９２により判定された場合、処理はステップＳ７２に進む。

【0190】

ステップＳ７２において、サーバ１２の配信動画像生成部９６は、正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものであるか否かを判定する。配信動画像生成部９６は、正常なカメラのカメラパラメータを用いて、正常なカメラの分布を確認する。

【0191】

正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものではないとステップＳ７２において判定された場合、処理はステップＳ７３に進む。

【0192】

ステップＳ７３において、サーバ１２の配信動画像生成部９６は、仮想視点動画像生成部１１２に対して、自由視点動画像を生成させないように制御を行う。また、配信動画像生成部９６は、実カメラ視点動画像生成部１２１に対して、実カメラ視点動画像を生成させるように制御を行う。その後、図１３のステップＳ２６に戻り、それ以降の処理が行われる。

【0193】

一方、正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものであるとステップＳ７２において判定された場合、処理はステップＳ７４に進む。ステップＳ７１において、符号化データの受信に遅延が発生していないと受信遅延判定部９２により判定された場合も同様に、処理はステップＳ７２に進む。

【0194】

ステップＳ７４において、図１３のステップＳ２５の受信遅延判定部９２による判定結果に従った判定が行われ、復元されたカメラ動画像が破綻していたと受信遅延判定部９２により判定された場合、処理はステップＳ７５に進む。

【0195】

ステップＳ７５において、サーバ１２の配信動画像生成部９６は、正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものであるか否かを判定する。配信動画像生成部９６は、正常なカメラのカメラパラメータを用いて、正常なカメラの分布を確認する。

【0196】

正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものではないとステップＳ７５において判定された場合、処理はステップＳ７３に進む。

【0197】

一方、正常なカメラの台数と分布が、３Ｄモデルの形状の品質を保証できるものであるとステップＳ７５において判定された場合、処理はステップＳ７６に進む。また、ステップＳ７４において、復元されたカメラ動画像が破綻していないと受信遅延判定部９２により判定された場合も同様に、処理はステップＳ７６に進む。

【0198】

ステップＳ７６において、サーバ１２の配信動画像生成部９６は、仮想視点動画像生成部１１２に対して、自由視点動画像を生成させるように制御を行う。また、配信動画像生成部９６は、実カメラ視点動画像生成部１２１に対して、実カメラ視点動画像を生成させるように制御を行う。その後、図１３のステップＳ２２に戻り、それ以降の処理が行われる。

【0199】

次に、図１６のフローチャートを参照して、図１３のステップＳ２９において行われる動画像切り替え処理＃３について説明する。

【0200】

ステップＳ８１において、図１３のステップＳ２８の生成遅延判定部９５による判定結果に従った判定が行われ、指定時間以内に自由視点動画像を生成する処理が終了したと生成遅延判定部９５により判定された場合、処理はステップＳ８２に進む。

【0201】

ステップＳ８２において、サーバ１２の配信動画像生成部９６は、配信動画像送信部９８に対して、自由視点動画像を送信させるように制御を行う。その後、図１３のステップＳ２９に戻り、それ以降の処理が行われる。

【0202】

一方、ステップＳ８１において、指定時間以内に自由視点動画像を生成する処理が終了していないと生成遅延判定部９５により判定された場合、処理はステップＳ８３に進む。

【0203】

ステップＳ８３において、サーバ１２の配信動画像生成部９６は、配信動画像送信部９８に対して、実カメラ視点動画像を送信させるように制御を行う。その後、図１３のステップＳ２９に戻り、それ以降の処理が行われる。

【0204】

以上の処理により、サーバ１２は、カメラに異常が発生することなどによって自由視点動画像が生成されない場合においても、途切れさせることなく、動画像を視聴装置１４に表示させることが可能となる。

【0205】

撮像遅延判定部７１による判定結果に基づいて、サーバ１２に対して送信されるカメラ動画像が制御されるため、カメラ動画像を送信するために用いられる帯域の量を抑えることができる。

【0206】

受信遅延判定部９２による判定結果に基づいて、自由視点動画像の生成が制御されるため、サーバ１２において行われる処理の負荷を抑えることができる。

【0207】

＜３．第２の情報処理の例＞
図１７は、情報処理システム１における情報の流れの他の例を示す図である。

【0208】

図１７に示すように、端末情報が視聴装置１４からキャプチャシステム１１に供給されるとともに、視聴装置１４において指定された仮想視点位置を表す情報がサーバ１２に供給されるようにしてもよい。

【0209】

図１８は、キャプチャシステム１１の第２の機能構成例を示すブロック図である。

【0210】

図１８において、図９のキャプチャシステム１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0211】

図１８に示すキャプチャシステム１１の構成は、送信部７４がCG背景を取得しない点で、図９を参照して説明した構成と異なる。

【0212】

送信部７４は、送信制御部７３による制御に従って、符号化データを、CG背景および実カメラ視点位置を表す情報とともに、サーバ１２に対して送信する。

【0213】

図１９は、サーバ１２の第２の機能構成例を示すブロック図である。

【0214】

図１９において、図１１のサーバ１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0215】

図１９に示すサーバ１２の構成は、仮想視点位置受信部２０１が仮想視点動画像生成部１１２の前段に設けられる点で、図１１を参照して説明した構成と異なる。

【0216】

仮想視点位置受信部２０１は、無線通信または有線通信に対応した通信モジュールなどを制御し、視聴装置１４から送信されてきた仮想視点位置を表す情報を受信する。仮想視点位置受信部２０１により受信された仮想視点位置を表す情報は、仮想視点動画像生成部１１２に供給される。

【0217】

仮想視点動画像生成部１１２は、配信動画像生成部９６による制御に従って、仮想視点位置受信部２０１から供給された仮想視点位置を表す情報に基づいて自由視点動画像を生成する。

【0218】

配信動画像生成部９６は、視聴装置１４により指定された仮想視点位置に最も近い位置に配置されたカメラによって撮像されたカメラ動画像を用いて実カメラ視点動画像を生成するように、実カメラ視点動画像生成部１２１を制御することも可能である。

【0219】

なお、多視点カメラ動画像の符号化データのうちの少なくとも１つ以上の受信に遅延が生じている、または、多視点カメラ動画像のうちの少なくとも１つ以上が破綻していると受信遅延判定部９２により判定された場合、視聴装置１４により指定された仮想視点位置から見た自由視点動画像が生成されない。

【0220】

このため、配信動画像生成部９６は、配信動画像送信部９８に、動画像の視点が変更できない旨を表す情報を視聴装置１４に対して送信させるようにしてもよい。このような場合、動画像の視点が変更できない旨を表す情報が、視聴装置１４のディスプレイに表示されることになる。

【0221】

図２０は、視聴装置１４の第２の機能構成例を示すブロック図である。

【0222】

図２０において、図１２の視聴装置１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0223】

図２０に示す視聴装置１４の構成は、仮想視点位置送信部２２１が設けられる点で、図１２を参照して説明した構成と異なる。

【0224】

視聴装置１４に対しては、例えばユーザの操作に応じて、仮想視点位置を表す情報が入力される。

【0225】

仮想視点位置送信部２２１は、仮想視点位置を表す情報をサーバ１２に対して送信する。

【0226】

なお、情報処理システム１により実行される処理の流れは、基本的に、図１３のシーケンス図に示した処理の流れと同様である。サーバ１２に対して仮想視点位置を表す情報が視聴装置１４から送信される処理は適宜行われる。

【0227】

以上のように、視聴装置１４のユーザは、視聴装置１４を用いて、自由視点動画像に写っている被写体を見る視点を指定することが可能となる。

【0228】

サーバ１２へのカメラ動画像やCG背景の送信に用いられるネットワーク帯域の量に余裕がある場合、自由視点動画像に合成されるライティングや影を表す情報が、符号化データとともにサーバ１２に対して送信されるようにしてもよい。

【0229】

図２１は、キャプチャシステム１１の第２の他の機能構成例を示すブロック図である。

【0230】

図２１において、図１８のキャプチャシステム１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。後述する図２３においても同様である。

【0231】

図２１に示すキャプチャシステム１１の構成は、送信部７４がハイポリゴンのCG背景、ライティングを表す情報、影を表す情報、およびローポリゴンのCG背景を取得する点で、図１８を参照して説明した構成と異なる。

【0232】

ハイポリゴンのCG背景は、多量のポリゴンを用いて精細に描画されたCG背景である。ハイポリゴンのCG背景は、自由視点動画像の背景として用いられる。ローポリゴンのCC背景は、ハイポリゴンのCG背景と比べて少量のポリゴンを用いて描画されたCG背景である。ローポリゴンのCG背景は、実カメラ視点動画像の背景として用いられる。

【0233】

ライティングと影を表す情報は、自由視点動画像において被写体の３Ｄモデルに対して当てられるライティングと、ライティングにより生じる３Ｄモデルの影を表す情報である。

【0234】

送信部７４は、送信制御部７３による制御に従って、符号化データを、ハイポリゴンのCG背景、ライティングを表す情報、影を表す情報、実カメラ視点位置を表す情報、およびローポリゴンのCG背景とともに、サーバ１２に対して送信する。

【0235】

送信部７４は、多視点カメラ動画像の符号化データを送信する場合、ハイポリゴンのCG背景、ライティングを表す情報、影を表す情報、実カメラ視点位置を表す情報、およびローポリゴンのCG背景をサーバ１２に対して送信する。一方、１視点カメラ動画像の符号化データを送信する場合、実カメラ視点位置を表す情報およびローポリゴンのCG背景をサーバ１２に対して送信する。

【0236】

自由視点動画像に合成されるライティングや影を表す情報が、符号化データとともにサーバ１２に対して送信される場合におけるサーバ１２の構成は、図１９を参照して説明した構成と同じである。

【0237】

受信部９１（図１９）は、キャプチャシステム１１から送信されてきたハイポリゴンのCG背景、ライティングを表す情報、影を表す情報、実カメラ視点位置を表す情報、およびローポリゴンのCG背景を受信する。ハイポリゴンのCG背景、ライティングを表す情報、および影を表す情報は、自由視点動画像生成部９３の背景合成部１１３に供給される。ローポリゴンを表す情報は、実カメラ視点動画像生成部９４の背景合成部１２２に供給される。

【0238】

背景合成部１１３は、仮想視点動画像生成部１１２から供給された自由視点動画像に、受信部９１から供給されたハイポリゴンのCG背景、ライティング、および影を合成する。CG背景などが合成された自由視点動画像は、生成遅延判定部９５に供給される。

【0239】

背景合成部１２２は、実カメラ視点動画像生成部１２１から供給された実カメラ視点動画像に、受信部９１から供給されたローポリゴンのCG背景を合成する。CG背景が合成された実カメラ視点動画像は、生成遅延判定部９５に供給される。

【0240】

以上のように、ライティングや影が合成された自由視点動画像が視聴装置１４に表示されるため、ユーザ体験の質を向上させることが可能となる。

【0241】

また、ハイポリゴンのCG背景が自由視点動画像に合成されるため、より精細な画質の自由視点動画像をユーザに提供することができる。

【0242】

＜４．第３の情報処理の例＞
図２２は、情報処理システム１における情報の流れのさらに他の例を示す図である。

【0243】

図２２に示すように、端末情報が視聴装置１４からキャプチャシステム１１に供給されるとともに、視聴装置１４において指定された仮想視点位置を表す情報がキャプチャシステム１１とサーバ１２のそれぞれに供給されるようにしてもよい。

【0244】

図２３は、キャプチャシステム１１の第３の機能構成例を示す図である。

【0245】

図２３に示すキャプチャシステム１１の構成は、実カメラ視点位置選択部２５１が端末情報受信部６１の後段に設けられる点で、図１８を参照して説明した構成と異なる。

【0246】

端末情報受信部６１は、視聴装置１４から送信されてきた仮想視点位置を表す情報を受信し、実カメラ視点位置選択部２５１に供給する。

【0247】

実カメラ視点位置選択部２５１に対しては、設定内容を表す情報がインスタンス生成部６３から供給される。

【0248】

実カメラ視点位置選択部２５１は、インスタンス生成部６３から供給された情報に基づいて、視聴装置１４により指定された仮想視点位置の最も近傍に配置されたカメラを選択する。実カメラ視点位置選択部２５１は、選択されたカメラの位置を表す情報を、実カメラ視点位置を表す情報として送信部７４に供給する。

【0249】

視聴装置１４において指定された仮想視点位置を表す情報がキャプチャシステム１１とサーバ１２のそれぞれに供給される場合における視聴装置１４の構成は、図２０を参照して説明した構成と同じである。

【0250】

仮想視点位置送信部２２１（図２０）は、仮想視点位置を表す情報をキャプチャシステム１１とサーバ１２のそれぞれに対して送信する。

【0251】

ここで、以上のような構成を有する情報処理システム１の全体において行われる処理について説明する。

【0252】

図２４は、キャプチャシステム１１、サーバ１２、および視聴装置１４が行う他の処理の流れを示すシーケンス図である。

【0253】

視聴装置１４におけるステップＳ１４１の処理は、図１３のステップＳ４１の処理と同様である。また、キャプチャシステム１１におけるステップＳ１０１乃至Ｓ１０３の処理は、図１のステップＳ１乃至Ｓ３の処理と同様である。

【0254】

ステップＳ１４２において、視聴装置１４の仮想視点位置送信部２２１は、仮想視点位置を表す情報をキャプチャシステム１１に対して送信する。

【0255】

ステップＳ１０４において、キャプチャシステム１１の端末情報受信部６１は、視聴装置１４から送信されてきた仮想視点位置を表す情報を受信する。

【0256】

ステップＳ１０５において、実カメラ視点位置選択部２５１は、ステップＳ１０３で設定されたカメラパラメータに基づいて、視聴装置１４により指定された仮想視点位置の最も近傍に配置されたカメラの位置を実カメラ視点位置として選択する。

【0257】

キャプチャシステム１１におけるステップＳ１０６乃至Ｓ１１０の処理は、図１３のステップＳ４乃至Ｓ８の処理と同様である。また、サーバ１２におけるステップＳ１２１乃至Ｓ１３０の処理は、図１３のステップＳ２１乃至Ｓ３０の処理と同様である。視聴装置１４におけるステップＳ１４３，Ｓ１４４の処理は、図１３のステップＳ４２，Ｓ４３の処理と同様である。

【0258】

以上のように、表示される動画像が自由視点動画像から実カメラ視点動画像に切り替わる際、自由視点動画像における仮想視点位置の最も近傍にあるカメラにより生成されたカメラ動画像を用いて、実カメラ視点動画像が生成される。

【0259】

これにより、表示される動画像が自由視点動画像から実カメラ視点動画像に切り替わる際に生じる、不自然さを低減することが可能となる。

【0260】

＜５．変形例＞
・コンピュータについて
上述したキャプチャシステム１１、サーバ１２、および視聴装置１４のそれぞれの処理の全部または一部は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。キャプチャシステム１１、サーバ１２、および視聴装置１４のそれぞれの処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

【0261】

図２５は、上述したキャプチャシステム１１、サーバ１２、および視聴装置１４のそれぞれの処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0262】

CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。

【0263】

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

【0264】

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。

【0265】

CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

【0266】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0267】

・その他
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0268】

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0269】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0270】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0271】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0272】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0273】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

【0274】

（１）
動画像を送信する送信部と、
複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、前記送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御する制御部と
を備える情報処理装置。
（２）
前記制御部は、
前記判定結果として、前記自由視点動画像の生成に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記判定結果として、前記自由視点動画像の生成に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
前記（１）に記載の情報処理装置。
（３）
前記自由視点動画像の生成に遅延が生じているか否かを判定する生成判定部をさらに備え、
前記制御部は、
前記生成判定部により、前記自由視点動画像の生成に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記生成判定部により、前記自由視点動画像の生成に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
前記（２）に記載の情報処理装置。
（４）
前記制御部は、
前記判定結果として、前記複数のカメラ動画像の符号化データの復号に成功したと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記判定結果として、前記複数のカメラ動画像の符号化データのうちの少なくとも１つ以上の復号に失敗したと判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記複数のカメラ動画像の符号化データの復号の成否を判定する復号判定部をさらに備え、
前記制御部は、
前記復号判定部により、前記複数のカメラ動画像の符号化データの復号に成功したと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記復号判定部により、前記複数のカメラ動画像の符号化データのうちの少なくとも１つ以上の復号に失敗したと判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
前記（４）に記載の情報処理装置。
（６）
前記制御部は、
前記判定結果として、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像の受信に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記判定結果として、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像のうちの少なくとも１つ以上の受信に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記複数のカメラ動画像の受信に遅延が生じているか否かを判定する受信判定部をさらに備え、
前記制御部は、
前記受信判定部により、前記複数のカメラ動画像の受信に遅延が生じていないと判定される場合、前記送信部に前記自由視点動画像を送信させ、
前記受信判定部により、前記複数のカメラ動画像のうちの少なくとも１つ以上の受信に遅延が生じていると判定される場合、前記送信部に前記実カメラ視点動画像を送信させる
前記（６）に記載の情報処理装置。
（８）
前記複数のカメラ動画像を用いて前記自由視点動画像を生成する自由視点動画像生成部をさらに備え、
前記制御部は、前記判定結果に基づいて、前記送信部に、前記自由視点動画像生成部により生成された前記自由視点動画像を送信させるか、または、前記実カメラ視点動画像を生成させるかを制御する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記自由視点動画像生成部は、前記制御部の制御に従って、前記制御部が前記送信部に前記実カメラ視点動画像を送信させる前に、前記実カメラ視点動画像の視点に近づくように視点移動する前記自由視点動画像を生成する
前記（８）に記載の情報処理装置。
（１０）
前記複数のカメラ動画像の符号化データを復号し、前記複数のカメラ動画像を復元する復号部をさらに備え、
前記自由視点動画像生成部は、前記復号部により復元された前記複数のカメラ動画像を用いて前記自由視点動画像を生成する
前記（８）または（９）に記載の情報処理装置。
（１１）
他の装置から送信されてくる前記符号化データを受信する受信部をさらに備え、
前記復号部は、前記受信部により受信された前記符号化データを復号する
前記（１０）に記載の情報処理装置。
（１２）
前記カメラ動画像を用いて前記実カメラ視点動画像を生成する実カメラ視点動画像生成部をさらに備え、
前記制御部は、前記判定結果に基づいて、前記送信部に、前記自由視点動画像を送信させるか、または、前記実カメラ視点動画像生成部により生成された前記実カメラ視点動画像を生成させるかを制御する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記実カメラ視点動画像生成部は、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像のいずれかを用いて前記実カメラ視点動画像を生成する
前記（１２）に記載の情報処理装置。
（１４）
前記実カメラ視点動画像生成部は、前記自由視点動画像の生成に用いられる前記複数のカメラ動画像とは異なる他のカメラ動画像を用いて前記実カメラ視点動画像を生成する
前記（１２）に記載の情報処理装置。
（１５）
前記実カメラ視点動画像生成部は、前記制御部の制御に従って、視点が前記自由視点動画像により近いカメラ動画像を用いて前記実カメラ視点動画像を生成する
前記（１２）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
情報処理装置が、
複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御し、
前記制御に従って、前記自由視点動画像または前記実カメラ視点動画像を送信する
情報処理方法。
（１７）
コンピュータに、
複数のカメラが被写体を撮像して生成した複数のカメラ動画像を用いた任意の位置および向きを視点とする動画像である自由視点動画像の生成の成否に関する判定結果に基づいて、送信部に、前記自由視点動画像を送信させるか、または、カメラが被写体を撮像して生成したカメラ動画像から生成される前記カメラの位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御し、
前記制御に従って、前記自由視点動画像または前記実カメラ視点動画像を送信する
処理を実行させるためのプログラム。
（１８）
撮像装置と情報処理装置とを備える情報処理システムであって、
前記撮像装置は、
それぞれが被写体を撮像してカメラ動画像を生成する複数の撮像部と、
複数の前記撮像部による前記カメラ動画像の生成の成否を判定する撮像判定部と、
複数の前記撮像部により生成された複数の前記カメラ動画像と、前記撮像判定部による判定結果とを前記情報処理装置に送信する情報送信部と
を備え、
前記情報処理装置は、
前記撮像装置から送信された複数の前記カメラ動画像および前記判定結果を受信する情報受信部と、
動画像を送信する動画像送信部と、
前記情報受信部により受信された前記判定結果に基づいて、前記情報送信部に、前記情報受信部により受信された複数の前記カメラ動画像を用いて生成される任意の位置および向きを視点とする動画像である自由視点動画像を送信させるか、または、前記情報受信部により受信された前記カメラ動画像を用いて生成される前記撮像部の位置および向きを視点とする動画像である実カメラ視点動画像を送信させるかを制御する制御部と
を備える情報処理システム。
（１９）
前記撮像装置の前記撮像判定部は、前記複数のカメラ動画像について、同期ずれおよびフレームの欠損が発生しているか否かを判定する
前記（１８）に記載の情報処理システム。
（２０）
前記情報処理装置は、
前記制御部により前記判定結果に基づいて生成された、前記カメラ動画像を指定する制御情報を前記撮像装置に送信する制御情報送信部をさらに備え、
前記撮像装置は、
前記情報処理装置から送信された前記制御情報を受信する制御情報受信部をさらに備え、
前記撮像装置の前記情報送信部は、前記制御情報受信部により受信された前記制御情報に従って、前記制御部により指定された前記カメラ動画像を前記情報処理装置に送信する
前記（１８）または（１９）に記載の情報処理システム。

【符号の説明】

【0275】

１ 情報処理システム， １１ キャプチャシステム， １２ サーバ， １３ ネットワーク， １４ 視聴装置， ２１ 撮像装置， ２２ 送信装置， ３１ カメラシステム， ６１ 端末情報受信部， ６２ カメラシステム台数選定部， ６３ インスタンス生成部， ６４ 撮像部， ７１ 撮像遅延判定部， ７２ 制御信号受信部， ７３ 送信制御部， ７４ 送信部， ９１ 受信部， ９２ 受信遅延判定部， ９３ 自由視点動画像生成部， ９４ 実カメラ視点動画像生成部， ９５ 生成遅延判定部， ９６ 配信動画像生成部， ９７ 制御信号送信部， ９８ 配信動画像送信部， １１１ 三次元再構成部， １１２ 仮想視点動画像生成部， １１３ 背景合成部， １２１ 実カメラ視点動画像生成部， １２２ 背景合成部， １４１ 端末情報送信部， １４２ 動画像受信部， １４３ 表示部， ２０１ 仮想視点位置受信部， ２２１ 仮想視点位置送信部， ２５１ 実カメラ視点位置選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】