特開 2024-50737 情報処理装置、情報処理装置の作動方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024050737

(43)【公開日】2024-04-10

(54)【発明の名称】情報処理装置、情報処理装置の作動方法、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240403BHJP

   H04N 23/60 20230101ALI20240403BHJP

   H04N 23/63 20230101ALI20240403BHJP

   G06T 19/00 20110101ALI20240403BHJP

   G06T 15/20 20110101ALI20240403BHJP

【ＦＩ】

H04N7/18 U

H04N23/60 500

H04N23/63 100

G06T19/00 A

G06T15/20 500

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2024013176

(22)【出願日】2024-01-31

(62)【分割の表示】P 2021566893の分割

【原出願日】2020-11-10

(31)【優先権主張番号】P 2019237438

(32)【優先日】2019-12-26

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】田村 一紀

(72)【発明者】

【氏名】青木 貴嗣

(72)【発明者】

【氏名】入江 史憲

(72)【発明者】

【氏名】宮田 真彦

(72)【発明者】

【氏名】村上 泰規

(57)【要約】      （修正有）

【課題】基準撮像装置によって撮像された画像と仮想視点画像との視野における差異を軽減する情報処理装置、その作動方法及びプログラムを提供する。
【解決手段】情報処理装置１２は、プロセッサ５８と、プロセッサに接続又は内蔵されたメモリ６０、６２と、を備える。プロセッサは、基準撮像装置の位置、撮像方向及び画角に相当する基準撮像装置情報を取得し、複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づく仮想視点画像の生成を開始する指示が与えられたことを条件に、基準撮像装置情報を基準にして、仮想視点画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
基準撮像装置の位置、撮像方向、及び画角に相当する基準撮像装置情報を取得し、
複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づく仮想視点画像の生成を開始する指示が与えられたことを条件に、
前記基準撮像装置情報を基準にして、前記仮想視点画像を生成する
情報処理装置。

【請求項2】

前記基準撮像装置情報が送信装置によって継続的に送信される場合、前記プロセッサは、前記指示が与えられたことを条件に、前記送信装置から送信された前記基準撮像装置情報を基準にして、前記仮想視点画像を生成する
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、前記基準撮像装置情報を取得する度に、前記基準撮像装置情報を更新する
請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記プロセッサは、
前記基準撮像装置によって前記撮像領域が撮像されることで得られた第１基準画像の画質を示す画質情報を取得し、
前記指示が与えられたことを条件に、前記画質情報に基づいて、前記仮想視点画像の画質を定める、
請求項１から請求項３のうちの何れか一項に記載の情報処理装置。

【請求項5】

前記プロセッサは、前記指示が与えられたことを条件に、前記基準撮像装置によって前記撮像領域が撮像されることで得られた第２基準画像に前記仮想視点画像を重ねた重畳画像を出力する
請求項１から請求項４のうちの何れか一項に記載の情報処理装置。

【請求項6】

前記プロセッサは、前記重畳画像において、前記第２基準画像と前記仮想視点画像との割合を徐々に変化させる
請求項５に記載の情報処理装置。

【請求項7】

前記プロセッサは、
前記仮想視点画像をディスプレイに出力し、
出力した前記仮想視点画像における視点位置、視線方向、及び画角のうちの少なくとも１つを連続的に変化させる変更信号を受け付ける、
請求項１から請求項６のうちの何れか一項に記載の情報処理装置。

【請求項8】

前記基準撮像装置は、前記位置、前記撮像方向、及び前記画角のうちの少なくとも１つを変更可能な撮像装置である
請求項１から請求項７のうちの何れか一項に記載の情報処理装置。

【請求項9】

前記プロセッサは、前記基準撮像装置によって前記撮像領域が撮像されることで得られた第３基準画像に基づいて、前記基準撮像装置情報を取得する
請求項１から請求項８のうちの何れか一項に記載の情報処理装置。

【請求項10】

前記基準撮像装置情報は、前記基準撮像装置の前記位置、前記撮像方向、及び前記画角である
請求項１から請求項９のうちの何れか一項に記載の情報処理装置。

【請求項11】

前記基準撮像装置は、前記複数の撮像装置のうちの１つである
請求項１から請求項１０のうちの何れか一項に記載の情報処理装置。

【請求項12】

前記基準撮像装置は、前記複数の撮像装置の間で切り替え可能である
請求項１１に記載の情報処理装置。

【請求項13】

前記プロセッサは、
前記基準撮像装置によって前記撮像領域が撮像されることで得られた第４基準画像を出力し、
前記基準撮像装置情報を取得し、
前記指示が与えられたことを条件に、前記基準撮像装置情報を基準にして、前記第４基準画像に対応する仮想視点画像を生成する
請求項１から請求項１２のうちの何れか一項に記載の情報処理装置。

【請求項14】

プロセッサと、前記プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置の作動方法であって、
基準撮像装置の位置、撮像方向、及び画角に相当する基準撮像装置情報を取得し、
複数の撮像装置によって撮像領域が撮像されることによって得られた複数の画像に基づく仮想視点画像の生成を開始する指示が与えられたことを条件に、
前記基準撮像装置情報を基準にして、前記仮想視点画像を生成することを含む
情報処理装置の作動方法。

【請求項15】

プロセッサと、前記プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置に対して適用されるコンピュータに、
基準撮像装置の位置、撮像方向、及び画角に相当する基準撮像装置情報を取得し、
複数の撮像装置によって撮像領域が撮像されることによって得られた複数の画像に基づく仮想視点画像の生成を開始する指示が与えられたことを条件に、
前記基準撮像装置情報を基準にして、前記仮想視点画像を生成することを含む処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、情報処理装置、情報処理装置の作動方法、及びプログラムに関する。

【背景技術】

【0002】

国際公開ＷＯ２０１８／０２１０６７には、仮想的な視点位置と視線方向とからなる仮想視点において撮影される仮想視点画像を、複数の視点位置および視線方向で撮影された複数の基準映像より生成する仮想視点画像生成部を含む画像処理装置が開示されている。

【0003】

特開２０１９－０３６７９０号公報には、複数の異なる位置から撮像された被写体の画像群を取得する画像取得手段と、仮想視点の位置情報を取得する視点取得手段と、解像度設定の基準となる基準点と仮想視点との間の距離に応じて被写体形状データの解像度を設定する設定手段と、解像度に応じた被写体形状データと、被写体の画像群とを用いて、仮想視点からの被写体の仮想視点画像を生成する生成手段と、を備えることを特徴とする画像生成装置が開示されている。

【発明の概要】

【0004】

本開示の技術に係る一つの実施形態は、基準撮像装置によって撮像された画像と仮想視点画像との視野における差異を軽減することができる情報処理装置、情報処理装置の作動方法、及びプログラムを提供する。

【課題を解決するための手段】

【0005】

本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置であって、プロセッサが、基準撮像装置の位置、撮像方向、及び画角に相当する基準撮像装置情報を取得し、複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づく仮想視点画像の生成を開始する指示が与えられたことを条件に、基準撮像装置情報を基準にして、仮想視点画像を生成する情報処理装置である。

【0006】

本開示の技術に係る第２の態様は、基準撮像装置情報が送信装置によって継続的に送信される場合、プロセッサが、指示が与えられたことを条件に、送信装置から送信された基準撮像装置情報を基準にして、仮想視点画像を生成する、第１の態様に係る情報処理装置である。

【0007】

本開示の技術に係る第３の態様は、プロセッサが、基準撮像装置情報を取得する度に、基準撮像装置情報を更新する、第１の態様又は第２の態様に係る情報処理装置である。

【0008】

本開示の技術に係る第４の態様は、プロセッサが、基準撮像装置によって撮像領域が撮像されることで得られた第１基準画像の画質を示す画質情報を取得し、指示が与えられたことを条件に、画質情報に基づいて、仮想視点画像の画質を定める、第１の態様から第３の態様のうちの何れか一つの態様に係る情報処理装置である。

【0009】

本開示の技術に係る第５の態様は、プロセッサが、指示が与えられたことを条件に、基準撮像装置によって撮像領域が撮像されることで得られた第２基準画像に仮想視点画像を重ねた重畳画像を出力する、第１の態様から第４の態様のうちの何れか一つの態様に係る情報処理装置である。

【0010】

本開示の技術に係る第６の態様は、プロセッサが、重畳画像において、第２基準画像と仮想視点画像との割合を徐々に変化させる、第５の態様に係る情報処理装置である。

【0011】

本開示の技術に係る第７の態様は、プロセッサが、仮想視点画像をディスプレイに出力し、出力した仮想視点画像における視点位置、視線方向、及び画角のうちの少なくとも１つを連続的に変化させる変更信号を受け付ける、第１の態様から第６の態様のうちの何れか一つの態様に係る情報処理装置である。

【0012】

本開示の技術に係る第８の態様は、基準撮像装置が、位置、撮像方向、及び画角のうちの少なくとも１つを変更可能な撮像装置である、第１の態様から第７の態様のうちの何れか一つの態様に係る情報処理装置である。

【0013】

本開示の技術に係る第９の態様は、プロセッサが、基準撮像装置によって撮像領域が撮像されることで得られた第３基準画像に基づいて、基準撮像装置情報を取得する、第１の態様から第８の態様のうちの何れか一つの態様に係る情報処理装置である。

【0014】

本開示の技術に係る第１０の態様は、基準撮像装置情報が、基準撮像装置の位置、撮像方向、及び画角である、第１の態様から第９の態様のうちの何れか一つの態様に係る情報処理装置である。

【0015】

本開示の技術に係る第１１の態様は、基準撮像装置が、複数の撮像装置のうちの１つである、第１の態様から第１０の態様のうちの何れか一つの態様に係る情報処理装置である。

【0016】

本開示の技術に係る第１２の態様は、基準撮像装置が、複数の撮像装置の間で切り替え可能である、第１１の態様に係る情報処理装置である。

【0017】

本開示の技術に係る第１３の態様は、プロセッサが、基準撮像装置によって撮像領域が撮像されることで得られた第４基準画像を出力し、基準撮像装置情報を取得し、指示が与えられたことを条件に、基準撮像装置情報を基準にして、第４基準画像に対応する仮想視点画像を生成する、第１の態様から第１２の態様のうちの何れか一つの態様に係る情報処理装置である。

【0018】

本開示の技術に係る第１４の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置の作動方法であって、基準撮像装置の位置、撮像方向、及び画角に相当する基準撮像装置情報を取得し、複数の撮像装置によって撮像領域が撮像されることによって得られた複数の画像に基づく仮想視点画像の生成を開始する指示が与えられたことを条件に、基準撮像装置情報を基準にして、仮想視点画像を生成することを含む、情報処理装置の作動方法である。

【0019】

本開示の技術に係る第１５の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置に対して適用されるコンピュータに、基準撮像装置の位置、撮像方向、及び画角に相当する基準撮像装置情報を取得し、複数の撮像装置によって撮像領域が撮像されることによって得られた複数の画像に基づく仮想視点画像の生成を開始する指示が与えられたことを条件に、基準撮像装置情報を基準にして、仮想視点画像を生成することを含む処理を実行させるためのプログラムである。

【図面の簡単な説明】

【0020】

【図1】情報処理システムの外観構成の一例を示す概略斜視図である。

【図2】情報処理システムに含まれる情報処理装置、スマートデバイス、受像機、無人航空機、及び撮像装置の関係の一例を示す概念図である。

【図3】情報処理装置の電気系のハードウェア構成の一例、及び情報処理装置と周辺機器との関係性の一例を示すブロック図である。

【図4】スマートデバイスの電気系のハードウェア構成の一例を示すブロック図である。

【図5】情報処理装置の要部機能の一例を示すブロック図である。

【図6】基準映像生成処理の内容の一例を説明するブロック図である。

【図7】仮想視点映像生成処理の内容の一例を説明するブロック図である。

【図8】スマートデバイスの表示を基準映像から仮想視点映像へ切り替えた場合に生じる表示変化の一例の説明に供する概念図である。

【図9】スマートデバイスの表示を仮想視点映像へ切り替えた後に生じる表示変化の一例の説明に供する概念図である。

【図10】仮想視点映像の表示中にユーザから発せられる変更指示の内容と、変更指示を受けて行われる変更処理内容の一例の説明に供する概念図である。

【図11】視点位置変更指示の指示方法と、視点位置変更処理の一例の説明に供する概念図である。

【図12】視点位置変更処理における仮想撮像装置のカメラパスの一例の説明に供する概念図である。

【図13】視点位置変更指示及び視線方向変更指示の指示方法と、視点位置変更処理及び視線方向変更処理の一例の説明に供する概念図である。

【図14】視点位置変更処理及び視線方向変更処理における仮想撮像装置のカメラパスの一例の説明に供する概念図である。

【図15】画角変更指示の指示方法と、画角変更処理の一例の説明に供する概念図である。

【図16】画角変更指示の指示方法と、画角変更処理の別の一例の説明に供する概念図である。

【図17】基準映像生成部によって行われる基準映像生成処理の流れの一例を示すフローチャートである。

【図18】仮想視点映像生成部によって行われる仮想視点映像生成処理の流れの一例を示すフローチャートである。

【図19】制御部によって行われる映像配信処理の流れの一例を示すフローチャートである。

【図20】情報処理装置側プログラムが記憶されている記憶媒体から情報処理装置のコンピュータに情報処理装置側プログラムがインストールされる態様の一例を示すブロック図である。

【発明を実施するための形態】

【0021】

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

【0022】

先ず、以下の説明で使用される文言について説明する。

【0023】

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。ＲＯＭとは、“Read Only Memory”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。３Ｄとは、“3 Dimension”の略称を指す。“ＨＭＤ”とは、“Head Mounted Display”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＬＴＥとは、“Long Term Evolution”の略称を指す。５Ｇとは、“5th generation (wireless technology for digital cellular networks)”の略称を指す。ＴＤＭとは“Time-Division Multiplexing”の略称を指す。

【0024】

本明細書の説明において、「一致」の意味には、完全な一致の意味の他に、設計上及び製造上において許容される誤差を含む略一致の意味も含まれる。本明細書の説明において、「同一」の意味には、完全な同一の意味の他に、設計上及び製造上において許容される誤差を含む略同一の意味も含まれる。本明細書の説明において、「直線的」の意味には、完全な直線の意味の他に、設計上及び製造上において許容される誤差を含む略直線の意味も含まれる。また、本明細書の説明において、「曲線的」の意味には、完全な曲線の意味の他に、設計上及び製造上において許容される誤差を含む略曲線の意味も含まれる。

【0025】

一例として図１に示すように、情報処理システム１０は、情報処理装置１２、スマートデバイス１４、複数の撮像装置１６、撮像装置１８、無線通信基地局（以下、単に「基地局」と称する）２０、及び受像機３４を備えている。なお、ここで、「スマートデバイス１４」とは、例えば、スマートフォンタブレット端末、スマートウォッチ（時計型多機能端末）、およびＨＭＤ型多機能端末等の携帯型の多機能端末を指す。ここで、情報処理装置１２は、本開示の技術に係る「情報処理装置」の一例である。複数の撮像装置１６及び撮像装置１８は、本開示の技術に係る「複数の撮像装置」の一例である。なお、ここでは、受像機３４を例示しているが、本開示の技術はこれに限定されず、ディスプレイ付きの電子機器（例えば、スマートデバイス）であってもよい。また、基地局２０は１ヵ所に限らず複数存在していてもよい。さらに、基地局で使用する通信規格には、ＬＴＥ規格等を含む無線通信規格と、ＷｉＦｉ（802.11）規格及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）規格を含む無線通信規格と、ＴＤＭ規格及び／又はイーサネット（登録商標）規格を含む有線通信規格が含まれる。

【0026】

撮像装置１６及び１８は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び／又はデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。以下では、説明の便宜上、撮像装置１８及び複数の撮像装置１６を区別して説明する必要がない場合、符号を付さずに「複数の撮像装置」と称する。

【0027】

複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカーフィールド２４を含む領域を撮像領域として撮像する。ここで、サッカーフィールド２４を含む領域は、本開示の技術に係る「撮像領域」の一例である。ここでは、複数の撮像装置１６の各々がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置１６の配置は、視聴者２８等によって生成されることが要求された仮想視点映像に応じて決定される。サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。撮像装置１８は、無人航空機（例えば、マルチ回転翼型無人航空機）に設置されており、サッカーフィールド２４を含む領域を撮像領域として上空から俯瞰した状態で撮像する。サッカーフィールド２４を含む領域を上空から俯瞰した状態の撮像領域とは、サッカーフィールド２４に対する撮像装置１８による撮像面を指す。

【0028】

情報処理装置１２は、管制室３２に設置されている。複数の撮像装置１６及び情報処理装置１２は、ＬＡＮケーブル３０を介して接続されており、情報処理装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。

【0029】

サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられており、観戦席２６には視聴者２８が着座している。視聴者２８は、スマートデバイス１４を所持しており、スマートデバイス１４は、視聴者２８によって用いられる。なお、ここでは、サッカー競技場２２内に視聴者２８が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視聴者２８は、サッカー競技場２２外に存在していてもよい。

【0030】

基地局２０は、情報処理装置１２及び無人航空機２７と電波を介して各種情報の送受信を行う。すなわち、情報処理装置１２は、基地局２０を介して、無人航空機２７と無線通信可能に接続されている。情報処理装置１２は、基地局２０を介して無人航空機２７と無線通信を行うことにより、無人航空機２７を制御したり、撮像装置１８によって撮像されることで得られた画像を無人航空機２７から取得したりする。

【0031】

基地局２０は、受像機３４に対して無線通信を介して各種情報を送信する。情報処理装置１２は、基地局２０を介して、各種映像を受像機３４に送信し、受像機３４は、情報処理装置１２から送信された各種映像を受信し、受信した各種映像を画面３４Ａに表示する。なお、受像機３４は、例えば、不特定多数の観戦者等の視聴に使用される。受像機３４の設置箇所は、サッカー競技場２２内であってもよいし、サッカー競技場２２外（例えば、パブリックビューイング会場）等であってもよい。なお、ここでは、受像機３４に対して無線通信を介して各種情報を送信する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、受像機３４に対して有線通信を介して各種情報を送信する形態であってもよい。

【0032】

情報処理装置１２はサーバに相当するデバイスであり、スマートデバイス１４は、情報処理装置１２に対するクライアント端末に相当するデバイスである。情報処理装置１２及びスマートデバイス１４が、基地局２０を介して互いに無線通信を行うことにより、スマートデバイス１４は、情報処理装置１２に対して各種サービスの提供を要求し、情報処理装置１２は、スマートデバイス１４からの要求に応じたサービスをスマートデバイス１４に提供する。

【0033】

一例として図２に示すように、情報処理装置１２は、上空から観察した場合のサッカーフィールド２４を含む領域を示す俯瞰映像４６Ａを無人航空機２７から取得する。俯瞰映像４６Ａは、サッカーフィールド２４を含む領域が撮像領域（以下、単に「撮像領域」とも称する）として上空から俯瞰した状態で無人航空機２７の撮像装置１８によって撮像されることで得られた動画像である。なお、ここでは、俯瞰映像４６Ａが動画像である場合を例示しているが、俯瞰映像４６Ａは、これに限らず、上空から観察した場合のサッカーフィールド２４を含む領域を示す静止画像であってもよい。

【0034】

情報処理装置１２は、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す撮像映像４６Ｂを複数の撮像装置１６の各々から取得する。撮像映像４６Ｂは、撮像領域が複数の撮像装置１６の各々によって撮像されることで得られた動画像である。なお、ここでは、撮像映像４６Ｂが動画像である場合を例示しているが、撮像映像４６Ｂは、これに限らず、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す静止画像であってもよい。ここで、俯瞰映像４６Ａ及び撮像映像４６Ｂは、本開示の技術に係る「複数の画像」の一例である。以下では、説明の便宜上、俯瞰映像４６Ａ及び複数の撮像映像４６Ｂを区別して説明する必要がない場合、符号を付さずに「複数の原映像」と称する。

【0035】

情報処理装置１２は、複数の原映像に基づいて仮想視点映像４６Ｃを生成する。仮想視点映像４６Ｃは、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す映像である。図２に示す例において、仮想視点映像４６Ｃとは、例えば、観戦席２６内の視点位置４２及び視線方向４４から画角４３でサッカーフィールド２４を観察した場合の撮像領域を示す仮想視点映像を指す。仮想視点映像４６Ｃの一例としては、３Ｄポリゴンを用いた動画像が挙げられる。視点位置４２、視線方向４４、及び画角４３は固定されていない。つまり、視点位置４２、視線方向４４、及び画角４３は、視聴者２８等からの指示に応じて変動する。ここでは、視点位置４２、視線方向４４、及び画角４３が固定されていない形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視点位置４２、視線方向４４、及び画角４３は固定されていてもよい。

【0036】

情報処理装置１２は、複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像（ここでは、一例として、俯瞰映像４６Ａを構成する俯瞰画像及び複数の撮像映像４６Ｂを構成する複数の撮像画像（以下では、説明の便宜上、俯瞰画像と複数の撮像画像を区別して説明する必要がない場合、符号を付さずに「複数の原画像」と称する。））を合成することにより、３Ｄポリゴンを用いた動画像を生成する。情報処理装置１２は、生成した３Ｄポリゴンを用いた動画像に基づき、任意の位置及び任意の方向から撮像領域が観察された場合に相当する仮想視点映像を生成する。本実施形態では、情報処理装置１２は、視点位置４２、視線方向４４、及び画角４３で被写体を観察した場合の被写体を示す仮想視点映像４６Ｃを生成する。換言すると、仮想視点映像４６Ｃとは、視点位置４２に設置された仮想的な撮像装置（以下、「仮想撮像装置」とも称する）が視線方向４４を撮像方向として画角４３で撮像することで得た映像に相当する映像を指す。ここでは、仮想視点映像４６Ｃとして動画像を例示しているが、これに限らず、静止画像であってもよい。なお、視点位置４２は、本開示の技術に係る「視点位置」の一例である。視線方向４４は、本開示の技術に係る「視線方向」の一例であり、画角４３は、本開示の技術に係る「画角」の一例である。また、仮想視点映像４６Ｃは、本開示の技術に係る「仮想視点画像」の一例である。

【0037】

また、ここでは、撮像装置１８によって撮像されることで得られた俯瞰映像４６Ａも生成に使用される形態例を示しているが、本開示の技術はこれに限定されない。例えば、俯瞰映像４６Ａが仮想視点映像４６Ｃの生成に使用されずに、複数の撮像装置１６の各々によって撮像されることで得られた複数の撮像映像４６Ｂのみが仮想視点映像４６Ｃの生成に使用されるようにしてもよい。すなわち、撮像装置１８から得られる映像を使用せずに、複数の撮像装置１６によって撮像されることで得られた映像のみから仮想視点映像４６Ｃが生成されるようにしてもよい。なお、撮像装置１８（例えば、ドローン）から得られる映像を使用すれば、より高精度な仮想視点映像の生成が可能となる。

【0038】

情報処理装置１２は、配信映像として後述の基準映像４６Ｄ（例えば、図６及び図７参照）及び仮想視点映像４６Ｃを選択的にスマートデバイス１４及び受像機３４に送信する。なお、以下では、説明の便宜上、基準映像４６Ｄ及び仮想視点映像４６Ｃを区別して説明する必要がない場合、「配信映像」とも称する。

【0039】

一例として図３に示すように、情報処理装置１２は、コンピュータ５０、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、および第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えており、ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バス６４を介して接続されている。図３に示す例では、図示の都合上、バス６４として１本のバスが図示されているが、複数のバスであってもよい。また、バス６４には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。また、メモリ６２はＣＰＵ５８に内蔵されていてもよい。ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例であり、ストレージ６０及びメモリ６２は、本開示の技術に係る「メモリ」の一例である。

【0040】

ＣＰＵ５８は、情報処理装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、フラッシュメモリが採用されているが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ６２は、記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＤＲＡＭが採用されているが、これに限らず、他の種類の記憶装置であってもよい。

【0041】

受付デバイス５２は、情報処理装置１２の使用者等からの指示を受け付ける。受付デバイス５２の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス５２は、バス６４等に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。

【0042】

ディスプレイ５３は、バス６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。

【0043】

第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バス６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を制御する。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた撮像映像４６Ｂ（図２参照）を取得し、取得した撮像映像４６ＢをＣＰＵ５８に出力する。なお、ここでは、第１通信Ｉ／Ｆ５４は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。

【0044】

第２通信Ｉ／Ｆ５６は、基地局２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バス６４に接続されている。第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と無人航空機２７との間で各種情報の授受を制御する。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とスマートデバイス１４との間で各種情報の授受を制御する。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８による受像機３４に対する各種映像の送信を制御する。なお、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＦＰＧＡの代わりに固定回路で構成することも可能である。また、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等で構成された回路であってもよい。

【0045】

一例として図４に示すように、スマートデバイス１４は、コンピュータ７０、ジャイロセンサ７４、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バス９４を介して接続されている。図４に示す例では、図示の都合上、バス９４として１本のバスが図示されているが、バス９４は、複数本のバスであってもよい。バス９４は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

【0046】

ＣＰＵ８８は、スマートデバイス１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ９０の一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ９０としては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。メモリ９２は、各種情報を一時的に記憶し、ＣＰＵ８８によってワークメモリとして用いられる。メモリ９２の一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

【0047】

ジャイロセンサ７４は、スマートデバイス１４のヨー軸周りの角度（以下、「ヨー角」とも称する）、スマートデバイス１４のロール軸周りの角度（以下、「ロール角」とも称する）、及びスマートデバイス１４のピッチ軸周りの角度（以下、「ピッチ角」とも称する）を測定する。ジャイロセンサ７４は、バス９４に接続されており、ジャイロセンサ７４によって測定されたヨー角、ロール角、及びピッチ角を示す角度情報は、バス９４等を介してＣＰＵ８８によって取得される。

【0048】

受付デバイス７６は、スマートデバイス１４の使用者等（ここでは、一例として、視聴者２８）からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バス９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。

【0049】

ディスプレイ７８は、バス９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。

【0050】

スマートデバイス１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによって、あるいはディスプレイ７８の内部にタッチパネル機能を内蔵（「インセル」型）することでタッチパネル・ディスプレイが形成される。

【0051】

マイクロフォン８０は、収集した音を電気信号に変換する。マイクロフォン８０は、バス９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バス９４を介してＣＰＵ８８によって取得される。

【0052】

スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バス９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バス９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をスマートデバイス１４の外部に出力する。

【0053】

撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バス９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バス９４を介してＣＰＵ８８によって取得される。

【0054】

通信Ｉ／Ｆ８６は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ８６は、バス９４に接続されている。通信Ｉ／Ｆ８６は、基地局２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を制御する。ここで、「外部装置」としては、例えば、情報処理装置１２が挙げられる。

【0055】

一例として図５に示すように、情報処理装置１２において、ストレージ６０には、基準映像生成処理プログラム６０Ａ、仮想視点映像生成処理プログラム６０Ｂ、及び映像配信処理プログラム６０Ｃが記憶されている。仮想視点映像生成処理プログラム６０Ｂは、本開示の技術に係る「プログラム」の一例である。なお、以下では、基準映像生成処理プログラム６０Ａ、仮想視点映像生成処理プログラム６０Ｂ、及び映像配信処理プログラム６０Ｃを区別して説明する必要がない場合、符号を付さずに「情報処理装置側プログラム」と称する。

【0056】

ＣＰＵ５８は、ストレージ６０から情報処理装置側プログラムを読み出し、読み出した情報処理装置側プログラムをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する情報処理装置側プログラムに従って、スマートデバイス１４、撮像装置１６、及び無人航空機２７との間で各種情報の授受を行い、かつ、受像機３４に対する各種映像の送信を行う。

【0057】

ＣＰＵ５８は、ストレージ６０から基準映像生成処理プログラム６０Ａを読み出し、読み出した基準映像生成処理プログラム６０Ａをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する基準映像生成処理プログラム６０Ａに従って制御部１００及び基準映像生成部１０２として動作する。ＣＰＵ５８は、制御部１００及び基準映像生成部１０２として動作することで、後述の基準映像生成処理（図１７参照）を実行する。

【0058】

ＣＰＵ５８は、ストレージ６０から仮想視点映像生成処理プログラム６０Ｂを読み出し、読み出した仮想視点映像生成処理プログラム６０Ｂをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する仮想視点映像生成処理プログラム６０Ｂに従って制御部１００及び仮想視点映像生成部１０４として動作することで、後述の仮想視点映像生成処理（図１８参照）を実行する。

【0059】

ＣＰＵ５８は、ストレージ６０から映像配信処理プログラム６０Ｃを読み出し、読み出した映像配信処理プログラム６０Ｃをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する映像配信処理プログラム６０Ｃに従って制御部１００として動作する。ＣＰＵ５８は、制御部１００として動作することで、後述の映像配信処理（図１９参照）を実行する。

【0060】

基準映像生成処理の内容の一例について、図６を参照して説明する。複数の撮像装置によって撮像されることで得られた複数の原映像は、情報処理装置１２のメモリ６２に記憶される。複数の原映像の各々は、予め定められたフレームレート（例えば、３０ｆｐｓ）で撮像されることで得られた動画像であり、複数フレームの静止画像から成る。メモリ６２には、複数の原映像の各々について、予め定められたフレーム数（例えば、数千フレーム）の静止画像を記憶する領域が設けられており、古い静止画像は新たに取得された静止画像で上書きされる。これにより、メモリ６２には、予め定められた時間分の複数の原映像が記憶される。

【0061】

基準映像生成処理において、情報処理装置１２では、受付デバイス５２によって映像制作者（図示省略）からの指示が受け付けられ、受け付けられた指示に従って受付デバイス５２によって基準撮像装置識別子３５が出力される。基準撮像装置識別子３５とは、複数の撮像装置のうちの１つを特定する識別子である。

【0062】

具体的には、ディスプレイ５３に複数の原映像が並べて表示されている状態で、映像制作者によって複数の原映像から１つの映像がタッチパネルを介して指定される。すると、指定された撮像映像４６Ｂ又は俯瞰映像４６Ａを撮像した撮像装置１６又は１８に関連付けられた識別子が、基準撮像装置識別子３５として受付デバイス５２から出力される。以下では、説明の便宜上、指定された撮像映像４６Ｂを得るための撮像に用いられた撮像装置１６、又は指定された俯瞰映像４６Ａを得るための撮像に用いられた撮像装置１８を、基準撮像装置１７と称する。つまり、基準撮像装置１７は、複数の撮像装置のうちの１つである。なお、ここで、基準撮像装置１７は、本開示の技術に係る「基準撮像装置」の一例である。

【0063】

基準撮像装置１７の位置、撮像方向、及び画角は変更可能である。また、基準撮像装置１７は、複数の撮像装置の間で切り替え可能である。なお、ここでは、基準撮像装置１７の位置、撮像方向、及び画角が変更可能である場合を例示しているが、本開示の技術はこれに限定されず、基準撮像装置１７の位置、撮像方向、及び画角の何れか１つ又は何れか２つが変更可能であってもよい。また、ここでは、複数の撮像装置のうちの１つが基準撮像装置１７として指定される場合を例示しているが、これに限らず、複数の撮像装置とは別の撮像装置が基準撮像装置１７として指定されてもよい。この場合、基準撮像装置１７として指定される撮像装置は、カメラマンによって位置、撮像方向、及び画角を操作される可動型のビデオカメラ（例えば、テレビ中継用のカメラ）であってもよい。

【0064】

図６に示す例では、複数の撮像装置１６のうちの１つが基準撮像装置１７として指定されている。基準映像生成部１０２は、基準撮像装置１７によってサッカーフィールド２４が撮像されることで得られた撮像映像４６Ｂをメモリ６２から読み出し、読み出した撮像映像４６Ｂに試合状況を示す情報（例えば、得点、選手情報、及び／又は試合の残り時間）を重畳することで基準映像４６Ｄを生成する。ここで、「基準映像４６Ｄ」とは、例えば、生中継映像である。基準映像４６Ｄは、本開示の技術に係る「第１基準画像」、「第２基準画像」、「第３基準画像」、及び「第４基準画像」の一例である。

【0065】

なお、ここでは、基準撮像装置識別子３５により指定された撮像装置１６によって撮像されることで得られた撮像映像４６Ｂに基づいて基準映像４６Ｄが生成されているが、撮像映像４６Ｂそのものが基準映像４６Ｄとして採用されてもよい。また、撮像装置１６の代わりに、撮像装置１８が基準撮像装置１７として指定されてもよい。この場合、俯瞰映像４６Ａに基づいて基準映像生成部１０２によって基準映像４６Ｄが生成される。

【0066】

基準映像生成部１０２は、生成した基準映像４６Ｄをメモリ６２に記憶する。ここで、基準映像４６Ｄは、予め定められたフレームレート（例えば、３０ｆｐｓ）で表示可能な動画像である。制御部１００は、基準映像４６Ｄをメモリから読み出し、第２通信Ｉ／Ｆ５６及び基地局２０を介して受像機３４に出力する。また、制御部１００は、後述する仮想視点映像生成指示１０７（図７及び図８参照）を受け付けていない場合に、スマートデバイス１４にも基準映像４６Ｄを出力する。この場合、ディスプレイ７８（図８参照）には基準映像４６Ｄが表示される。

【0067】

次に、仮想視点映像生成処理の内容の一例について、図７を参照して説明する。スマートデバイス１４のタッチパネル７６Ａは、視聴者２８から仮想視点映像生成指示１０７（図８参照）を受け付ける。制御部１００は、タッチパネル７６Ａによって受け付けられた仮想視点映像生成指示１０７を取得する。仮想視点映像生成指示１０７は、例えば、スマートデバイス１４のディスプレイ７８上で基準映像４６Ｄを視聴している視聴者２８によって、ディスプレイ７８に表示された指示ボタン１０６（図８参照）がタッチパネル７６Ａを介してオンされる。なお、仮想視点映像生成指示１０７は、本開示の技術に係る「指示」の一例である。

【0068】

仮想視点映像生成指示１０７は、複数の撮像装置によってサッカーフィールド２４が撮像されることで得られた複数の原映像に基づく仮想視点映像４６Ｃの生成を開始する指示である。例えば、仮想視点映像生成指示１０７は、情報処理装置１２に対して、仮想視点映像４６Ｃの生成を開始させ、かつ、生成された仮想視点映像４６Ｃをディスプレイ７８に表示させることを指示する場合に、視聴者２８によってスマートデバイス１４に対して与えられる。

【0069】

制御部１００は、基準撮像装置情報４６Ｅを取得する。基準撮像装置情報４６Ｅは、基準撮像装置１７の位置、撮像方向、及び画角である。ここでは、基準撮像装置情報４６Ｅとして、基準撮像装置１７の位置、撮像方向、及び画角を例示しているが、本開示の技術はこれに限らず、基準撮像装置１７の位置に近接した位置、基準撮像装置１７の撮像方向に近接した方向、及び基準撮像装置１７の画角に近接した画角であってもよく、基準撮像装置１７の位置、撮像方向、及び画角に相当する情報であればよい。

【0070】

複数の撮像装置は、それぞれ、サッカーフィールド２４における自らの位置、撮像方向、及び画角に相当する撮像装置情報を継続的に送信している。制御部１００は、複数の撮像装置によって送信された撮像装置情報を受け付け、メモリ６２に記憶する。さらに、制御部１００は、複数の撮像装置の中から指定された基準撮像装置１７によって送信された撮像装置情報を、基準撮像装置情報４６Ｅとして、メモリ６２から読み出すことにより取得する。なお、基準撮像装置情報４６Ｅは、本開示の技術に係る「基準撮像装置情報」の一例である。また、基準撮像装置１７は、本開示の技術に係る「送信装置」の一例である。また、ここで、「撮像装置情報を継続的に送信する」とは、撮像装置情報が複数回送信されることを意味する。撮像装置情報の送信間隔は一定であってもよいし、一定でなくてもよい。

【0071】

制御部１００は、抽出部１０８を作動させる。抽出部１０８は、メモリ６２から基準映像４６Ｄを読み出し、基準映像４６Ｄの画質を示す画質情報４６Ｆを取得する。抽出部１０８によって取得された画質情報４６Ｆは、メモリ６２に記憶される。画質情報４６Ｆとしては、例えば、画像の解像度、輝度、及びコントラスト等が含まれる。なお、画質情報４６Ｆは、本開示の技術に係る「画質情報」の一例である。

【0072】

さらに、制御部１００は、仮想視点映像生成指示１０７が与えられたことを条件に、仮想視点映像生成部１０４を作動させる。制御部１００は、撮像映像４６Ｂ、俯瞰映像４６Ａ、画質情報４６Ｆ、及び基準撮像装置情報４６Ｅをメモリ６２から読み出して、仮想視点映像生成部１０４へ出力する。

【0073】

仮想視点映像生成部１０４は、仮想視点映像生成指示１０７が与えられたことを条件に、複数の原映像を構成する複数の原画像を合成することにより、基準撮像装置情報４６Ｅを基準にして、３Ｄポリゴンを用いた仮想視点映像４６Ｃを生成する。仮想視点映像４６Ｃは、基準映像４６Ｄに対応した映像である。例えば、仮想視点映像４６Ｃは、基準撮像装置情報４６Ｅに含まれる位置、撮像方向、及び画角と同一の視点位置４２、視線方向４４、及び画角４３からサッカーフィールド２４を撮像することで得られる映像を、仮想視点映像４６Ｃとして生成する。すなわち、仮想撮像装置は、基準撮像装置１７と一致し、かつ仮想視点映像４６Ｃの視点位置４２、視線方向４４、及び画角４３は基準撮像装置１７の位置、撮像方向、及び画角と一致する。

【0074】

また、仮想視点映像生成部１０４は、仮想視点映像生成指示１０７が与えられたことを条件に、画質情報４６Ｆに基づいて、生成する仮想視点映像４６Ｃの画質を定める。例えば、仮想視点映像生成部１０４は、生成する仮想視点映像４６Ｃの解像度、輝度、及びコントラストを、画質情報４６Ｆに含まれる解像度、輝度、及びコントラストに一致させる。ここでは、仮想視点映像４６Ｃの解像度、輝度、及びコントラストを、画質情報４６Ｆに含まれる解像度、輝度、及びコントラストに一致させる形態例を挙げて説明しているが、本開示の技術はこれに限らず、仮想視点映像４６Ｃの解像度、輝度、及びコントラストを、画質情報４６Ｆに含まれる解像度、輝度、及びコントラストには近付けるようにしてもよい。仮想視点映像生成部１０４は、生成した仮想視点映像４６Ｃをメモリ６２に記憶する。

【0075】

次に、仮想視点映像４６Ｃをスマートデバイス１４のディスプレイ７８に表示する態様について説明する。一例として図８に示すように、ディスプレイ７８に基準映像４６Ｄが表示されている間、ディスプレイ７８の上部に指示ボタン１０６が表示される。視聴者２８が指示ボタン１０６をタッチパネル７６Ａ上からタッチすることで、仮想視点映像生成指示１０７が情報処理装置１２によってスマートデバイス１４から取得される。

【0076】

制御部１００は、仮想視点映像生成指示１０７が与えられたことを条件に、上述のように、仮想視点映像生成部１０４を作動させて仮想視点映像４６Ｃを生成する。制御部１００は、基準撮像装置１７によって得られた基準映像４６Ｄと、基準撮像装置情報４６Ｅを基準にして生成された仮想視点映像４６Ｃとをメモリ６２から読み出す。制御部１００は、基準映像４６Ｄと仮想視点映像４６Ｃと重ねた重畳映像４６Ｇを生成する。具体的には、重畳映像４６Ｇは、基準映像４６Ｄに仮想視点映像４６Ｃが重ねられた映像である。制御部１００は、重畳映像４６Ｇを第２通信Ｉ／Ｆ５６及び基地局２０を介してスマートデバイス１４に出力する。スマートデバイス１４のディスプレイ７８には重畳映像４６Ｇが表示される。なお、重畳映像４６Ｇは、本開示の技術に係る「重畳画像」の一例である。

【0077】

また、制御部１００は、重畳映像４６Ｇにおいて、基準映像４６Ｄと仮想視点映像４６Ｃとの割合を徐々に変化させる。一例として図９に示すように、仮想視点映像生成指示１０７が受信された後、制御部１００は、基準画像と仮想視点画像とを、例えば９：１の比で重ねて重畳画像を生成し、スマートデバイス１４へ出力する。ここで、比とは、例えば、重畳映像４６Ｇでの基準画像の平均画素値と重畳映像４６Ｇでの仮想視点画像の平均画素値との比を指す。換言すると、ここで、比とは、重畳映像４６Ｇの画素単位で、基準画像が占める度合いと仮想視点画像が占める度合いとの比を指す。また、ここで、基準画像とは、基準映像４６Ｄを構成する１フレーム分の画像のことである。仮想視点画像とは、仮想視点映像４６Ｃを構成する１フレーム分の画像のことである。なお、比は、本開示の技術に係る「割合」の一例である。

【0078】

９：１の比に従って制御部１００によって生成された重畳画像は、スマートデバイス１４へ出力される。例えば、スマートデバイス１４への重畳映像４６Ｇ及び仮想視点映像４６Ｃの出力フレームレートが３０ｆｐｓである場合、制御部１００は、３フレーム単位で比を変えながら重畳画像をスマートデバイス１４へ出力する。例えば、先ず、制御部１００は、９：１の比で生成した３フレーム分の重畳画像をスマートデバイス１４へ出力する。

【0079】

続いて、制御部１００は、基準画像と仮想視点画像とを８：２の比で重ねて生成した重畳画像を３フレーム分生成し、スマートデバイス１４へ出力する。以降、制御部１００は、基準画像と仮想視点画像との比を７：３、６：４、・・・、１：９と徐々に変化させて生成した重畳画像を、それぞれ３フレーム分ずつスマートデバイス１４へ出力する。その後、制御部１００は、仮想視点画像から構成される仮想視点映像４６Ｃをスマートデバイス１４へ出力する。

【0080】

基準画像と仮想視点画像との重畳には、例えば、アルファブレンドが適用される。アルファブレンドとは、２つの画像を係数（α値）に応じて合成する技術である。α値は０から１の範囲の値であり、α値が１に設定された画像は完全な不透明、α値が０に設定された画像は完全な透明となる。従って、基準画像と仮想視点画像とを９：１の比で重ね合わせるならば、例えば、基準画像のα値は０．９、かつ仮想視点画像のα値は０．１に設定されている。

【0081】

図９に示す例では、図９の上部に描かれたスマートデバイス１４は、指示ボタン１０６をタッチしたタイミングでの態様であり、ディスプレイ７８には、基準画像と仮想視点画像とを９：１の比で重ね合わせて生成した重畳画像が表示されている。図９の中央に描かれたスマートデバイス１４は、指示ボタン１０６をタッチしてから例えば０．５秒が経過したタイミングでの態様であり、ディスプレイ７８には、基準画像と仮想視点画像とを５：５の比で重ね合わせて生成した重畳画像が表示されている。図９の下部に描かれたスマートデバイス１４は、指示ボタン１０６をタッチしてから例えば１．０秒が経過したタイミングでの態様であり、ディスプレイ７８の表示は、重畳画像から仮想視点画像に切り替わっている。このように、スマートデバイス１４の表示は、基準映像４６Ｄから重畳映像を経て仮想視点映像４６Ｃへ１秒かけて徐々に変化する。

【0082】

ディスプレイ７８に仮想視点映像４６Ｃが表示されると、ディスプレイ７８の上部に指示ボタン１０６が表示される。指示ボタン１０６は、ディスプレイ７８の表示を仮想視点映像４６Ｃから基準映像４６Ｄへ変更する場合に操作されるボタンである。視聴者２８が指示ボタン１０６をタッチパネル７６Ａ上からタッチすることで、基準映像生成指示１０９がスマートデバイス１４から情報処理装置１２によって取得される。制御部１００は、基準映像生成指示１０９が与えられたことを条件に、仮想視点映像４６Ｃの生成及び出力を止め、基準映像４６Ｄをスマートデバイス１４に出力する。

【0083】

一例として図１０に示すように、制御部１００は、仮想視点映像４６Ｃをスマートデバイス１４のディスプレイ７８に出力し、出力した仮想視点映像４６Ｃにおける視点位置４２、視線方向４４、及び画角４３のうちの少なくとも一つを連続的に変化させる変更信号１２０を受け付ける。ここで、ディスプレイ７８は、本開示の技術に係る「ディスプレイ」の一例である。変更信号１２０は、本開示の技術に係る「変更信号」の一例である。

【0084】

ディスプレイ７８に表示された仮想視点映像４６Ｃにおいて、タッチパネル７６Ａによって視聴者２８からの変更指示１１０が受け付けられる。変更指示１１０は、視点位置４２を変更するための視点位置変更指示１１０Ａと、視線方向４４を変更するための視線方向変更指示１１０Ｂと、画角４３を変更するための画角変更指示１１０Ｃとに大別される。タッチパネル７６Ａによって受け付けられた変更指示１１０は、スマートデバイス１４から制御部１００に出力される。

【0085】

制御部１００は、スマートデバイス１４から入力された変更指示１１０を示す変更信号１２０を生成する。変更信号１２０は、視点位置変更指示１１０Ａを示す視点位置変更信号１２０Ａと、視線方向変更指示１１０Ｂを示す視線方向変更信号１２０Ｂと、画角変更指示１１０Ｃを示す画角変更信号１２０Ｃとに大別される。変更信号１２０は、制御部１００から仮想視点映像生成部１０４に出力される。

【0086】

仮想視点映像生成部１０４は、制御部１００から視点位置変更信号１２０Ａが入力された場合に、視点位置４２を変更する視点位置変更処理１０４Ａを実行する。仮想視点映像生成部１０４は、制御部１００から視線方向変更信号１２０Ｂが入力された場合に、視線方向４４を変更する視線方向変更処理１０４Ｂを実行する。仮想視点映像生成部１０４は、制御部１００から画角変更信号１２０Ｃが入力された場合に、画角４３を変更する画角変更処理１０４Ｃを実行する。

【0087】

一例として図１１に示すように、視点位置変更指示１１０Ａは、仮想視点映像４６Ｃの視点位置４２を変更するための指示である。視点位置変更指示１１０Ａは、視聴者２８はタッチパネル７６Ａ上で、直線的に指を滑らせることで、タッチパネル７６Ａによって受け付けられる。例えば、図１１の上部に描かれたスマートデバイス１４に示すように、視聴者２８がタッチパネル７６Ａ上で点線矢印の方向へ指を滑らせることによって、視点位置変更指示１１０Ａがスマートデバイス１４に対して与えられる。

【0088】

図１１の上部に描かれたスマートデバイス１４に表示されている仮想視点映像４６Ｃは、視点位置４２Ａに配置された仮想撮像装置で撮像された映像である。仮想撮像装置の視点位置４２Ａを視点位置４２Ｂに移動させる場合、視聴者２８は、タッチパネル７６Ａに対して視点位置の移動方向と反対方向へ連続的に指を滑らせるスワイプ動作を行うことで、スマートデバイス１４に対して視点位置変更指示１１０Ａを与える。

【0089】

このように、スマートデバイス１４に対して視点位置変更指示１１０Ａが与えられると、上述したように、仮想視点映像生成部１０４によって、視点位置変更処理１０４Ａが行われる。仮想視点映像生成部１０４によって視点位置変更処理１０４Ａが行われることで、一例として図１２に示すように、仮想撮像装置が、視点位置４２Ａから視点位置４２Ｂへ移動する。仮想視点映像生成部１０４によって視点位置４２Ｂを基準にして生成される仮想視点映像４６Ｃは、視点位置４２Ｂに配置された仮想撮像装置によって仮想的に撮像されることで得られる。

【0090】

一例として図１３に示すように、視聴者２８は、視点位置変更指示１１０Ａと共に視線方向変更指示１１０Ｂをスマートデバイス１４に対して与えることもできる。視線方向変更指示１１０Ｂは、仮想視点映像４６Ｃの視線方向４４を変更するための指示である。視線方向変更指示１１０Ｂをスマートデバイス１４に対して与えるためには、例えば、視聴者２８はタッチパネル７６Ａ上で曲線的に指を滑らせる。図１３の上部に示すように、視聴者２８がタッチパネル７６Ａ上で点線矢印の方向へ指を滑らせることによって、視点位置変更指示１１０Ａがタッチパネル７６Ａによって受け付けられる。

【0091】

図１３の上部に描かれたスマートデバイス１４に表示されている仮想視点映像４６Ｃは、視点位置４２Ｃに配置された仮想撮像装置によって視線方向４４Ｃが撮像されることで得られた映像である。仮想撮像装置の視点位置４２Ｃを視点位置４２Ｄに移動させ、仮想撮像装置の視線方向４４Ｃを視線方向４４Ｄに変更させる場合、視聴者２８は、タッチパネル７６Ａ上で視点位置の移動方向と反対方向へ連続的に指を滑らせるスワイプ動作によって、視点位置変更指示１１０Ａ及び視線方向変更指示１１０Ｂをスマートデバイス１４に対して与える。

【0092】

このように、スマートデバイス１４に対して視点位置変更指示１１０Ａ及び視線方向変更指示１１０Ｂが与えられると、仮想視点映像生成部１０４によって視点位置変更処理１０４Ａが行われ、かつ、視線方向変更処理１０４Ｂが行われる。これにより、一例として図１４に示すように、仮想撮像装置の視点位置は、視点位置４２Ｃから視点位置４２Ｄへ変更され、仮想撮像装置の視線方向が視線方向４４Ｃから視線方向４４Ｄへ変更される。仮想視点映像生成部１０４によって視点位置４２Ｄ及び視線方向４４Ｄを基準にして生成される仮想視点映像４６Ｃは、視点位置４２Ｄに配置された仮想撮像装置によって視線方向４４Ｄが仮想的に撮像されることで得られる。

【0093】

一例として図１５及び図１６に示すように、画角変更指示１１０Ｃは、仮想視点映像４６Ｃの画角４３を変更するための指示である。画角変更指示１１０Ｃをスマートデバイス１４に対して与えるためには、視聴者２８は、タッチパネル７６Ａ上で、２本の指で画面を摘まむピンチイン動作、又は画面を摘まんだ状態から放していくピンチアウト動作を行う。画角を狭くする場合にはピンチアウト動作が行われ、画角を広くする場合にはピンチイン動作が行われる。

【0094】

図１５に示す例では、仮想視点映像４６Ｃが表示されたタッチパネル７６Ａ上で、視聴者２８によってピンチアウト動作が行われる。タッチパネル７６Ａ上でピンチアウト動作が行われることによって、画角変更指示１１０Ｃとして、画角を狭くする指示がスマートデバイス１４に対して与えられる。このように、スマートデバイス１４に対して、画角変更指示１１０Ｃとして、画角を狭くする指示が与えられることで、上述したように、仮想視点映像生成部１０４によってピンチアウト動作に応じた画角変更処理１０４Ｃが行われる。仮想視点映像生成部１０４によってピンチアウト動作に応じた画角変更処理１０４Ｃが行われることで、一例として図１５に示すように、ピンチアウト動作に従って画角が狭くなるように、仮想視点映像生成部１０４によって仮想視点映像４６Ｃが生成される。

【0095】

図１６に示す例では、仮想視点映像４６Ｃが表示されたタッチパネル７６Ａ上で、視聴者２８によってピンチイン動作が行われる。タッチパネル７６Ａ上でピンチイン動作が行われることによって、画角変更指示１１０Ｃとして、画角を広くする指示がスマートデバイス１４に対して与えられる。このように、スマートデバイス１４に対して、画角変更指示１１０Ｃとして、画角を広くする指示が与えられることで、上述したように、仮想視点映像生成部１０４によってピンチイン動作に応じた画角変更処理１０４Ｃが行われる。仮想視点映像生成部１０４によってピンチイン動作に応じた画角変更処理１０４Ｃが行われることで、一例として図１６に示すように、ピンチイン動作に従って画角が広くなるように、仮想視点映像生成部１０４によって仮想視点映像４６Ｃが生成される。

【0096】

次に、情報処理装置１２で行われる基準映像生成処理、仮想視点映像生成処理、及び映像配信処理の流れの一例を図１７から図１９を参照して説明する。

【0097】

一例として図１７に示す基準映像生成処理は、基準映像生成処理を実行する指示が受付デバイス５２によって受け付けられた場合に、ＣＰＵ５８によって基準映像生成処理プログラム６０Ａに従って実行される。

【0098】

図１７に示す基準映像生成処理では、先ず、ステップＳ１０で、制御部１００は、画像生成タイミングが到来したか否かを判定する。画像生成タイミングの一例としては、フレームレートに従って規定されたタイミングが挙げられる。例えば、情報処理装置１２のフレームレートが３０ｆｐｓの場合、画像生成タイミングは１／３０秒毎に到来する。ステップＳ１０において、画像生成タイミングが到来していない場合には、判定が否定されて、基準映像生成処理はステップＳ１５へ移行する。ステップＳ１０において、画像生成タイミングが到来した場合には、判定が肯定されて、基準映像生成処理はステップＳ１１へ移行する。

【0099】

ステップＳ１１で、制御部１００は、基準撮像装置識別子３５を取得する。基準撮像装置識別子３５は、複数の撮像装置のうちの１つを指定する識別子であり、例えば、映像制作者によって受付デバイス５２が操作されることによって不定期に受け付けられて、メモリ６２に上書き保存される。制御部１００は、最も近いタイミングで受け付けられた基準撮像装置識別子３５をメモリ６２から取得する。その後、基準映像生成処理は、ステップＳ１２へ移行する。

【0100】

ステップＳ１２で、制御部１００は、基準撮像装置識別子３５によって特定された撮像装置、すなわち、基準撮像装置１７によって撮像されることで得られた１フレーム分の撮像画像又は俯瞰画像をメモリ６２から読み出して、基準映像生成部１０２へ出力する。その後、基準映像生成処理は、ステップＳ１３へ移行する。

【0101】

ステップＳ１３において、基準映像生成部１０２は、基準撮像装置１７によって撮像されることで得られた撮像画像又は俯瞰画像に試合状況情報を重畳して、１フレーム分の基準画像を生成する。試合状況情報は、例えば、得点、選手情報、及び／又は試合の残り時間を含む。その後、基準映像生成処理は、ステップＳ１４へ移行する。

【0102】

ステップＳ１４において、基準映像生成部１０２は、ステップＳ１３で生成した１フレーム分の基準画像をメモリ６２に記憶する。その後、基準映像生成処理は、ステップＳ１５へ移行する。

【0103】

ステップＳ１５で、制御部１００は、基準映像生成処理を終了する条件（以下、「基準映像生成処理終了条件」と称する）を満足したか否かを判定する。基準映像生成処理終了条件の一例としては、基準映像４６Ｄの生成を終了させる指示が受付デバイス５２（図３参照）によって受け付けられた、との条件が挙げられる。ステップＳ１５において、基準映像生成処理終了条件を満足していない場合は、判定が否定されて、基準映像生成処理はステップＳ１０へ移行する。ステップＳ１５において、基準映像生成処理終了条件を満足した場合は、判定が肯定されて、基準映像生成処理が終了する。

【0104】

一例として図１８に示す仮想視点映像生成処理は、スマートデバイス１４のタッチパネル７６Ａによって仮想視点映像生成指示１０７が受け付けられた場合に、仮想視点映像生成処理プログラム６０Ｂに従ってＣＰＵ５８によって実行される。

【0105】

図１８に示す仮想視点映像生成処理では、先ず、ステップＳ２０で、制御部１００は、スマートデバイス１４のタッチパネル７６Ａによって仮想視点映像生成指示１０７が受け付けられたか否かを判定する。ステップＳ２０において、スマートデバイス１４のタッチパネル７６Ａによって仮想視点映像生成指示１０７が受け付けられていない場合には、判定が否定されて、ステップＳ２０の判定が再び行われる。ステップＳ２０において、スマートデバイス１４のタッチパネル７６Ａによって仮想視点映像生成指示１０７が受け付けられた場合には、判定が肯定されて、仮想視点映像生成処理は、ステップＳ２１へ移行する。なお、ステップＳ２０は、ステップＳ２２よりも後のステップにしてもよく、具体的には、ステップＳ２２とステップＳ２３との間に入れてもよい。

【0106】

ステップＳ２１で、制御部１００は、基準撮像装置情報４６Ｅをメモリ６２から読み出す。基準撮像装置情報４６Ｅは、基準撮像装置１７の位置、撮像方向、及び画角に相当する情報である。その後、仮想視点映像生成処理は、ステップＳ２２へ移行する。

【0107】

ステップＳ２２で、制御部１００は、基準撮像装置情報４６Ｅを基準にして、仮想撮像装置の視点位置４２、視線方向４４、及び画角４３を定める。例えば、制御部１００は、仮想撮像装置により得られる画像の視野が、基準撮像装置１７により得られる画像の視野と同一になるように、仮想撮像装置の視点位置４２、視線方向４４、及び画角４３を定める。その後、基準映像生成処理は、ステップＳ２３へ移行する。

【0108】

ステップＳ２３で、制御部１００は、画像生成タイミングが到来したか否かを判定する。ステップＳ２３において、画像生成タイミングが到来していない場合には、判定が否定されて、仮想視点映像生成処理はステップＳ２９へ移行する。ステップＳ２３において、画像生成タイミングが到来した場合には、判定が肯定されて、仮想視点映像生成処理はステップＳ２４へ移行する。

【0109】

ステップＳ２４で、制御部１００は、ステップＳ２２で定めた視点位置４２、視線方向４４、及び画角４３に基づいて、複数の原画像をメモリ６２から読み出す。すなわち、制御部１００は、視点位置４２、視線方向４４、及び画角４３で規定された視野の仮想視点映像４６Ｃを生成するために必要となる複数の原画像をメモリ６２から読み出して、仮想視点映像生成部１０４へ出力する。その後、仮想視点映像生成処理は、ステップＳ２５へ移行する。

【0110】

ステップＳ２５で、仮想視点映像生成部１０４は、複数の原画像から、ステップＳ２２で定められた視点位置４２、視線方向４４、及び画角４３で規定された視野の１フレーム分の仮想視点画像を生成する。すなわち、仮想視点映像生成部１０４は、基準画像と同一の視野を有する仮想視点画像を生成する。その後、仮想視点映像生成処理は、ステップＳ２６へ移行する。

【0111】

ステップＳ２６で、仮想視点映像生成部１０４は、ステップＳ２５で生成した１フレーム分の仮想視点画像をメモリ６２に記憶する。その後、仮想視点映像生成処理は、ステップＳ２７へ移行する。

【0112】

ステップＳ２７で、制御部１００は、スマートデバイス１４によって変更指示１１０が受け付けられたか否かを判定する。ステップＳ２７において、スマートデバイス１４によって変更指示１１０が受け付けられていない場合には、判定が否定されて、仮想視点映像生成処理はステップＳ２９へ移行する。ステップＳ２７において、スマートデバイス１４によって変更指示１１０が受け付けられた場合には、判定が肯定されて、仮想視点映像生成処理はステップＳ２８へ移行する。

【0113】

ステップＳ２８で、制御部１００は、変更指示１１０に基づいて、仮想撮像装置の視点位置４２、視線方向４４、及び画角４３を定める。すなわち、ステップＳ２２で定めた視点位置４２、視線方向４４、及び画角４３は破棄され、ステップＳ２８で定めた視点位置４２、視線方向４４、及び画角４３が有効になる。すなわち、ステップＳ２５では、ステップＳ２８で定めた視点位置４２、視線方向４４、及び画角４３によって規定された視野の１フレーム分の仮想視点画像が生成される。ステップＳ２８の処理が実行された後、仮想視点映像生成処理は、ステップＳ２９へ移行する。

【0114】

ステップＳ２９で、制御部１００は、仮想視点映像生成処理を終了する条件（以下、「仮想視点映像生成処理終了条件」と称する）を満足したか否かを判定する。仮想視点映像生成処理終了条件の一例としては、仮想視点映像４６Ｃの生成を終了させる指示が受付デバイス５２（図３参照）によって受け付けられた、との条件が挙げられる。ステップＳ２９において、仮想視点映像生成処理終了条件を満足していない場合は、判定が否定されて、仮想視点映像生成処理はステップＳ２３へ移行する。ステップＳ２９において、仮想視点映像生成処理終了条件を満足した場合は、判定が肯定されて、仮想視点映像生成処理が終了する。

【0115】

一例として図１９に示す映像配信処理は、映像配信処理の実行を開始する指示が、スマートデバイス１４のタッチパネル７６Ａによって受け付けられた場合に、映像配信処理プログラム６０Ｃに従ってＣＰＵ５８によって実行される。

【0116】

図１９に示す映像配信処理では、先ず、ステップＳ３１で、制御部１００は、画像出力タイミングが到来したか否かを判定する。画像出力タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップＳ３１において、画像出力タイミングが到来していない場合には、判定が否定されて、ステップＳ３１の判定が再び行われる。ステップＳ３１において、画像出力タイミングが到来した場合には、判定が肯定されて、映像配信処理はステップＳ３２へ移行する。

【0117】

ステップＳ３２で、制御部１００は、メモリ６２から１フレーム分の基準画像を読み出して、スマートデバイス１４へ出力する。その後、映像配信処理は、ステップＳ３３へ移行する。

【0118】

ステップＳ３３で、制御部１００は、映像配信処理を終了する条件（以下、「映像配信処理終了条件」と称する）を満足したか否かを判定する。映像配信処理終了条件の一例としては、映像配信処理を終了する指示が受付デバイス５２又は７６によって受け付けられた、との条件が挙げられる。ステップＳ３３において、映像配信処理終了条件を満足していない場合は、判定が否定されて、映像配信処理はステップＳ３４へ移行する。ステップＳ３３において、映像配信処理終了条件を満足した場合は、判定が肯定されて、映像配信処理が終了する。

【0119】

ステップＳ３４で、制御部１００は、スマートデバイス１４のタッチパネル７６Ａによって仮想視点映像生成指示１０７が受け付けられたか否かを判定する。ステップＳ３４において、スマートデバイス１４のタッチパネル７６Ａによって仮想視点映像生成指示１０７が受け付けられていない場合には、判定が否定されて、映像配信処理はステップＳ３１に移行する。ステップＳ３４において、スマートデバイス１４のタッチパネル７６Ａによって仮想視点映像生成指示１０７が受け付けられた場合には、判定が肯定されて、映像配信処理はステップＳ３５へ移行する。

【0120】

ステップＳ３５で、制御部１００は、画像出力タイミングが到来したか否かを判定する。ステップＳ３５において、画像出力タイミングが到来していない場合には、判定が否定されて、ステップＳ３５の判定が再び行われる。ステップＳ３５において、画像出力タイミングが到来した場合には、判定が肯定されて、映像配信処理はステップＳ３６へ移行する。

【0121】

ステップＳ３６で、制御部１００は、メモリ６２から１フレーム分の仮想視点画像を読み出す。その後、映像配信処理は、ステップＳ３７へ移行する。

【0122】

ステップＳ３７で、制御部１００は、次の表示フレームが仮想視点映像生成指示１０７を受け付けてから間もない初期表示フレームか否かを判定する。例えば、次のフレームがＮ番目の表示フレームで（Ｎは１以上の自然数）、特定のフレーム数（例えば３０）より小さい場合（Ｎ＜３０）、判定が肯定されて、映像配信処理はステップＳ３８へ移行する。一方、次の表示フレームがＮ番目の表示フレームで、特定のフレーム数以上の場合（Ｎ≧３０）、判定が否定されて、映像配信処理はステップＳ３９へ移行する。なお、特定のフレーム数を“３０”として説明したが、本開示の技術はこれに限定されず、特定のフレーム数は自然数のうち何れの数に設定してもよい。

【0123】

ステップＳ３８で、制御部１００は、基準画像に仮想視点画像を重ねた重畳画像を生成し、生成した重畳画像をスマートデバイス１４へ出力する。その後、映像配信処理は、ステップＳ４０へ移行する。

【0124】

ステップＳ３９で、制御部１００は、ステップＳ３６で読み出した１フレーム分の仮想視点画像をスマートデバイス１４へ出力する。その後、映像配信処理はステップＳ４０へ移行する。

【0125】

ステップＳ４０で、制御部１００は、映像配信処理を終了する条件（以下、「映像配信処理終了条件」と称する）を満足したか否かを判定する。映像配信処理終了条件の一例としては、映像配信アプリケーションが終了された、との条件が挙げられる。ステップＳ４０において、映像配信処理終了条件を満足していない場合は、判定が否定されて、映像配信処理はステップＳ４１へ移行する。ステップＳ４０において、映像配信処理終了条件を満足した場合は、判定が肯定されて、映像配信処理が終了する。

【0126】

ステップＳ４１で、制御部１００は、スマートデバイス１４のタッチパネル７６Ａによって基準映像生成指示１０９が受け付けられたか否かを判定する。ステップＳ４１において、スマートデバイス１４のタッチパネル７６Ａによって基準映像生成指示１０９が受け付けられていない場合には、判定が否定されて、映像配信処理はステップＳ３５に移行する。ステップＳ４１において、スマートデバイス１４のタッチパネル７６Ａによって基準映像生成指示１０９が受け付けられた場合には、判定が肯定されて、映像配信処理はステップＳ３１へ移行する。

【0127】

以上説明したように、情報処理装置１２は、ＣＰＵ５８と、ＣＰＵ５８に接続又は内蔵されたメモリ６２とを備える。ＣＰＵ５８は、基準撮像装置１７の位置、撮像方向、及び画角に相当する基準撮像装置情報４６Ｅを取得する。さらに、ＣＰＵ５８は、複数の原映像に基づく仮想視点映像４６Ｃの生成を開始する指示である仮想視点映像生成指示１０７が与えられたことを条件に、基準撮像装置情報４６Ｅを基準にして、仮想視点映像４６Ｃを生成する。従って、基準撮像装置情報４６Ｅと同一又は近似した視野を有する仮想視点映像４６Ｃが生成される。本構成によれば、複数の撮像装置のうち、基準撮像装置１７とは異なる撮像装置１６又は１８の位置、撮像方向、及び画角に基づいて仮想視点映像４６Ｃが生成される場合に比べ、基準映像４６Ｄと仮想視点映像４６Ｃとの視野における差異を低減することができる。

【0128】

また、基準撮像装置情報４６Ｅが基準撮像装置１７によって継続的に送信される場合、ＣＰＵ５８は、仮想視点映像生成指示１０７が与えられたことを条件に、基準撮像装置１７から送信された基準撮像装置情報４６Ｅを基準にして、仮想視点映像４６Ｃを生成する。基準撮像装置１７は、基準撮像装置情報４６Ｅを継続的に送信するので、継続的に送信しない場合に比べ、ＣＰＵ５８は、仮想視点映像生成指示１０７が与えられた後、短時間で基準撮像装置情報４６Ｅを取得して仮想視点映像４６Ｃを生成することができる。また、ＣＰＵ５８は、仮想視点映像生成指示１０７が与えられたことを条件に仮想視点映像４６Ｃを生成するので、常に仮想視点映像４６Ｃを生成する場合に比べ、仮想視点映像４６Ｃの生成に要する通信負荷及び消費電力を低減することができる。

【0129】

また、ＣＰＵ５８は、基準撮像装置情報４６Ｅを取得する度に、基準撮像装置情報４６Ｅを更新する。従って、ＣＰＵ５８は、基準撮像装置情報４６Ｅが更新されない場合に比べ、基準撮像装置識別子３５の入力に応じて基準撮像装置情報４６Ｅを切り替えることができる。

【0130】

また、ＣＰＵ５８は、基準撮像装置１７によってサッカーフィールド２４が撮像されることで得られた基準映像４６Ｄの画質を示す画質情報４６Ｆを取得する。さらに、ＣＰＵ５８は、仮想視点映像生成指示１０７が与えられたことを条件に、画質情報４６Ｆに基づいて、仮想視点映像４６Ｃの画質を定める。従って、ＣＰＵ５８は、画質情報４６Ｆに基づいた画質を有する仮想視点映像４６Ｃを生成する。本構成によれば、基準映像４６Ｄの画質情報４６Ｆに基づいて仮想視点映像４６Ｃの画質が決定されない場合に比べ、基準映像４６Ｄと仮想視点映像４６Ｃとの画質における差異を低減することができる。

【0131】

また、ＣＰＵ５８は、仮想視点映像生成指示１０７が与えられたことを条件に、基準撮像装置１７によってサッカーフィールド２４が撮像されることで得られた基準映像４６Ｄに仮想視点映像４６Ｃを重ねた重畳映像４６Ｇをスマートデバイス１４に出力する。従って、生成される仮想視点画像の視野は、基準画像の視野と同一又は近似しているので、仮想視点画像は、視野の差異を有することなく基準画像に重畳される。本構成によれば、基準映像４６Ｄから仮想視点映像４６Ｃへの表示を切り替える際に重畳映像４６Ｇが出力されることにより、重畳映像４６Ｇが出力されない場合に比べ、視聴者２８に与える視覚的な違和感を軽減することができる。

【0132】

ＣＰＵ５８は、重畳映像４６Ｇにおいて、基準映像４６Ｄと仮想視点映像４６Ｃとの重ね合わせの比を徐々に変化させる。従って、基準映像４６Ｄから仮想視点映像４６Ｃへ徐々に表示を変化させることができる。本構成によれば、基準映像４６Ｄから仮想視点映像４６Ｃへ表示を切り替える際に、基準映像４６Ｄと仮想視点映像４６Ｃとを常に一定の比で重ね合わせる場合に比べ、視聴者２８に与える視覚的な違和感をより軽減することができる。

【0133】

ＣＰＵ５８は、仮想視点映像４６Ｃをスマートデバイス１４のディスプレイ７８に出力し、出力した仮想視点映像４６Ｃにおける視点位置４２、視線方向４４、及び画角４３のうちの少なくとも１つを連続的に変化させる変更信号１２０を受け付ける。本構成によれば、変更信号１２０により、視点位置４２、視線方向４４、及び画角４３のうちの少なくとも１つが連続的に変化されるため、視点位置４２、視線方向４４、及び画角４３が連続的に変更されない場合に比べ、仮想視点映像４６Ｃにおける臨場感を高めることができる。

【0134】

基準撮像装置１７は、位置、撮像方向、及び画角のうちの少なくとも１つを変更可能な撮像装置である。従って、基準撮像装置１７の位置、撮像方向、及び画角が変更できない場合に比べ、基準映像４６Ｄの撮像の自由度を高めることができる。

【0135】

ＣＰＵ５８は、基準撮像装置１７によってサッカーフィールド２４が撮像されることで得られた基準映像４６Ｄに基づいて、基準撮像装置情報４６Ｅを取得する。従って、基準映像４６Ｄに基づいて基準撮像装置情報４６Ｅが取得されない場合に比べ、基準撮像装置情報４６Ｅを容易に取得することができる。

【0136】

基準撮像装置情報４６Ｅは、基準撮像装置１７の位置、撮像方向、及び画角である。従って、基準撮像装置情報４６Ｅが、基準撮像装置１７の位置、撮像方向、及び画角でない場合に比べ、基準映像４６Ｄと仮想視点映像４６Ｃとの視野における差異をより低減することができる。

【0137】

基準撮像装置１７は、複数の撮像装置のうちの１つである。従って、基準撮像装置１７が複数の撮像装置のうちの１つでない場合に比べ、どの撮像装置を基準撮像装置１７として設定するか、設定の自由度を増すことができる。

【0138】

基準撮像装置１７は、複数の撮像装置の間で切り替え可能である。従って、基準撮像装置１７が切り替え可能でない場合に比べ、どの撮像装置を基準撮像装置１７として設定するか、設計の自由度を増すことができる。

【0139】

ＣＰＵ５８は、基準撮像装置１７によってサッカーフィールド２４が撮像されることで得られた基準映像４６Ｄを出力し、仮想視点映像生成指示１０７が与えられたことを条件に、基準撮像装置情報４６Ｅを基準にして、基準映像４６Ｄに対応する仮想視点映像４６Ｃを生成する。従って、基準撮像装置情報４６Ｅと同一の視野を有する仮想視点映像４６Ｃが生成される。本構成によれば、基準映像４６Ｄに対応しない仮想視点映像４６Ｃが生成される場合に比べ、基準映像４６Ｄと仮想視点映像４６Ｃとの視野における差異を低減することができる。

【0140】

なお、上記実施形態では、複数の撮像装置が撮像装置情報を継続的に送信する形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、サーバ（図示省略）によって撮像装置情報が継続的に送信されるようにしてもよい。この場合、サーバが本開示の技術に係る「送信装置」の一例である。サーバは、複数の撮像装置の撮像装置情報を保持する。そして、制御部１００は、サーバから送信された撮像装置情報を受信し、メモリ６２に記憶する。

【0141】

また、上記実施形態では、複数の撮像装置は撮像装置情報を継続的に送信したが、複数の撮像装置は、制御部１００からの送信要求に応じて、撮像装置情報を制御部１００に送信するようにしてもよい。すなわち、制御部１００は、基準撮像装置１７のみに対して撮像装置情報の送信要求を行い、送信要求に応じて、基準撮像装置１７が自らの撮像装置情報を基準撮像装置情報４６Ｅとして送信するようにしてもよい。

【0142】

また、上記実施形態では、複数の撮像装置の撮像装置情報がメモリ６２に記憶されたが、制御部１００は、基準撮像装置１７の撮像装置情報のみを、基準撮像装置情報４６Ｅとしてメモリ６２又はサーバに記憶してもよい。この場合、基準撮像装置１７は、映像制作者の操作に応じて変わるので、制御部１００は、基準撮像装置識別子３５を取得する度に、すなわち、基準撮像装置情報４６Ｅを取得する度に、メモリ６２又はサーバに保持する基準撮像装置情報４６Ｅを更新する。制御部１００は、サーバ又はメモリ６２に保持された基準撮像装置情報４６Ｅを取得する。

【0143】

また、上記実施形態では、制御部１００は、複数の撮像装置によって送信された撮像装置情報から基準撮像装置情報４６Ｅを取得したが、制御部１００は、基準映像４６Ｄに基づいて、基準撮像装置情報４６Ｅを取得してもよい。この場合、例えば、サッカーフィールド２４には、予め定められた距離毎に、基準位置からの距離を示す標識が設けられている。サッカーフィールド２４には、例えば、サッカーフィールド２４の中央を基準位置（０，０）として、サッカーフィールド２４の長手方向の距離Ｘ及び短手方向の距離Ｙを（Ｘ，Ｙ）の形で示した標識が、一定の間隔で格子状に設けられている。また、サッカーフィールド２４を囲む四方の壁の各々には、壁の長手方向の中央かつ地面を基準位置（０，０）として、基準位置から水平方向の距離Ｘ及び鉛直方向の距離Ｙを（Ｘ，Ｙ）の形で示した標識が、一定の間隔で格子状に設けられている。制御部１００は、基準映像４６Ｄから標識を検出することで、基準撮像装置１７の視野を特定し、特定した視野に基づいて幾何学的に基準撮像装置情報４６Ｅを取得することができる。

【0144】

なお、上記実施形態では、情報処理装置１２によって基準映像４６Ｄが生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。情報処理装置１２とは異なる装置（以下、「映像生成装置」と称する）によって基準映像４６Ｄが生成されるようにしてもよい。

【0145】

なお、本開示の技術に係る「ディスプレイ」の一例としてスマートデバイス１４のディスプレイ７８を挙げているが、スマートデバイス１４に代えて、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、パーソナル・コンピュータ及び／又はウェアラブル端末等のディスプレイ付きの各種デバイスも本開示の技術に係る「ディスプレイ」として採用することができる。

【0146】

また、上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の撮像装置及び複数の収音装置が設置可能であれば、如何なる場所であってもよい。

【0147】

また、上記実施形態では、基地局２０を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。

【0148】

また、上記実施形態では、無人航空機２７を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置１８（例えば、ワイヤを伝って移動可能な自走式の撮像装置）によって撮像領域が撮像されるようにしてもよい。

【0149】

また、上記実施形態では、コンピュータ５０及び７０を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０及び／又は７０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０及び／又は７０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

【0150】

また、上記実施形態では、ストレージ６０に情報処理装置側プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図２０に示すように、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体２００に情報処理装置側プログラムが記憶されていてもよい。この場合、記憶媒体２００に記憶されている情報処理装置側プログラムがコンピュータ５０にインストールされ、ＣＰＵ５８は、情報処理装置側プログラムに従って、情報処理装置側処理を実行する。

【0151】

また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等の記憶部に情報処理装置側プログラムを記憶させておき、情報処理装置１２の要求に応じて情報処理装置側プログラムが情報処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた情報処理装置側プログラムに基づく情報処理装置側処理がコンピュータ５０のＣＰＵ５８によって実行される。

【0152】

また、上記実施形態では、ＣＰＵ５８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ５８に代えて、複数のＣＰＵや、ＣＰＵとＧＰＵの組み合わせを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理装置側処理が実行されるようにしてもよい。また、ＣＰＵ８８に代えて、ＧＰＵを採用してもよいし、複数のＣＰＵや、ＣＰＵとＧＰＵの組み合わせを採用してもよく、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。

【0153】

情報処理装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理装置側処理を実行する。

【0154】

情報処理装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、情報処理装置側処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0155】

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、情報処理装置側処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、情報処理装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、情報処理装置側処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0156】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

【0157】

また、上述した情報処理装置１２側の処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0158】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0159】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0160】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】