特許 7389140 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20231121BHJP

   G06T 19/00 20110101ALI20231121BHJP

   H04N 23/60 20230101ALI20231121BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

H04N23/60 500

【請求項の数】 17

(21)【出願番号】P 2021566898

(86)(22)【出願日】2020-11-11

(86)【国際出願番号】 JP2020042159

(87)【国際公開番号】W WO2021131375

(87)【国際公開日】2021-07-01

【審査請求日】2022-06-09

(31)【優先権主張番号】P 2019237490

(32)【優先日】2019-12-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】入江 史憲

(72)【発明者】

【氏名】青木 貴嗣

(72)【発明者】

【氏名】田村 一紀

(72)【発明者】

【氏名】宮田 真彦

(72)【発明者】

【氏名】村上 泰規

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１８－２０６０２５（ＪＰ，Ａ）

【文献】特開２００６－１６６２５５（ＪＰ，Ａ）

【文献】特開２０１９－０２０８４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ２１／００

(57)【特許請求の範囲】

【請求項1】

プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
少なくとも１つの仮想視点に関する視点情報を取得し、
複数の撮像装置により撮像されることで得られた複数の動画データに基づき、前記視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報として、前記品質が閾値以上である時間帯と前記閾値未満である時間帯との少なくともいずれか一方を提示する
情報処理装置であって、
前記プロセッサは、
前記仮想視点映像を編集することにより作成される動画ファイルの再生速度が高いほど前記閾値を下げる
情報処理装置。

【請求項2】

前記プロセッサは、前記品質情報を、前記複数の撮像装置による撮像期間と対応させて提示する
請求項１に記載の情報処理装置。

【請求項3】

前記視点情報には、前記仮想視点の位置、視線方向、及び画角が含まれており、
前記品質は、前記視点情報により決定される視野範囲内に含まれる特定の被写体のオクルージョン領域の割合に関する値であり、
前記プロセッサは、前記オクルージョン領域の割合が小さいほど前記品質が高いと判定する
請求項１又は請求項２に情報処理装置。

【請求項4】

前記プロセッサは、前記オクルージョン領域の割合に応じて提示態様を変更する
請求項３に記載の情報処理装置。

【請求項5】

前記提示態様は、前記プロセッサがディスプレイを制御することにより行われる表示態様である
請求項４に記載の情報処理装置。

【請求項6】

前記視点情報には、前記仮想視点の位置、視線方向、及び画角が含まれており、
前記品質は、前記視点情報により決定される視野範囲内に含まれる特定の被写体の画素数又は合焦度に関する値であり、
前記プロセッサは、前記画素数が多いほど、又は前記合焦度が高いほど前記品質が高いと判定する
請求項１又は請求項２に情報処理装置。

【請求項7】

前記プロセッサは、
前記品質情報として、前記品質が閾値以上である時間帯及び前記閾値未満である時間帯を区別して提示する
請求項１から請求項６のうちいずれか１項に記載の情報処理装置。

【請求項8】

前記プロセッサは、
前記閾値を複数有しており、
前記閾値ごとに、前記品質が閾値以上である時間帯と前記閾値未満である時間帯との少なくともいずれか一方を提示する
請求項１から請求項７のうちいずれか１項に記載の情報処理装置。

【請求項9】

前記視点情報には、複数の仮想視点が含まれており、
前記プロセッサは、前記仮想視点ごとに前記品質情報を提示する
請求項１から請求項８のうちいずれか１項に記載の情報処理装置。

【請求項10】

前記視点情報には、１つの仮想視点の時間的な移動を表す軌跡が含まれており、
前記品質情報は、前記軌跡を構成する各仮想視点の位置から作成可能な仮想視点映像の品質を表す情報である
請求項１から請求項９のうちいずれか１項に記載の情報処理装置。

【請求項11】

前記プロセッサは、
受付デバイスにより指定された少なくとも１つの仮想視点に関する視点情報を取得する
請求項１から請求項１０のうちいずれか１項に記載の情報処理装置。

【請求項12】

前記プロセッサは、
前記複数の動画データのうちの少なくとも１つの動画データに基づいて設定された少なくとも１つの仮想視点に関する視点情報を取得する
請求項１から請求項１０のうちいずれか１項に記載の情報処理装置。

【請求項13】

プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
少なくとも１つの仮想視点に関する視点情報を取得し、
複数の撮像装置により撮像されることで得られた複数の動画データに基づき、前記視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報として、前記品質が閾値以上である時間帯と前記閾値未満である時間帯との少なくともいずれか一方を提示する
情報処理装置であって、
前記プロセッサは、
前記閾値を複数有しており、
前記閾値ごとに、前記品質が閾値以上である時間帯と前記閾値未満である時間帯との少なくともいずれか一方を提示する
情報処理装置。

【請求項14】

前記プロセッサは、前記品質情報を、前記複数の撮像装置による撮像期間と対応させて提示する
請求項１３に記載の情報処理装置。

【請求項15】

前記視点情報には、前記仮想視点の位置、視線方向、及び画角が含まれており、
前記品質は、前記視点情報により決定される視野範囲内に含まれる特定の被写体のオクルージョン領域の割合に関する値であり、
前記プロセッサは、前記オクルージョン領域の割合が小さいほど前記品質が高いと判定する
請求項１３又は請求項１４に情報処理装置。

【請求項16】

少なくとも１つの仮想視点に関する視点情報を取得すること、
複数の撮像装置により撮像されることで得られた複数の動画データに基づき、前記視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報として、前記品質が閾値以上である時間帯と前記閾値未満である時間帯との少なくともいずれか一方を提示すること、及び、
前記仮想視点映像を編集することにより作成される動画ファイルの再生速度が高いほど前記閾値を下げることを含む
情報処理方法。

【請求項17】

少なくとも１つの仮想視点に関する視点情報を取得すること、
複数の撮像装置により撮像されることで得られた複数の動画データに基づき、前記視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報として、前記品質が閾値以上である時間帯と前記閾値未満である時間帯との少なくともいずれか一方を提示すること、及び、
前記仮想視点映像を編集することにより作成される動画ファイルの再生速度が高いほど前記閾値を下げることを含む
処理をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

特開２０１９－４７４３２号公報には、情報処理装置が開示されている。特開２０１９－４７４３２号公報に記載の情報処理装置は、コンテンツを生成するために用いられる素材データに対応付けられた時刻に関する情報を取得し、コンテンツを生成するために用いられる素材データが存在する有効時間範囲を、取得された情報に基づいて特定し、特定された有効時間範囲を示す情報を出力する。

【0003】

特開２０１９－１０２９０７号公報には、設定装置が開示されている。設定装置は、仮想視点の位置及び向きに関する第１パラメータの設定に関するユーザ操作を受け付け、第１パラメータに基づいて、仮想視点に関する第２パラメータの設定可能範囲を決定し、第１パラメータと、設定可能範囲の第２パラメータとを仮想視点に関するパラメータとして設定する。

【0004】

特開２０１９－１６８６２号公報には、撮影対象領域におけるイベントの種類を受け付ける受付手段と、撮影対象領域に対して定められた、仮想視点画像の生成に係る制限内容と、撮影対象のイベントの種類に対して定められた、仮想視点画像の生成に係る制限内容と、を参照し、仮想視点画像の生成を制限する制限手段と、を有する情報処理装置が開示されている。

【0005】

国際公開第２０１８／０６６３８１号には、再生装置が開示されている。再生処理部は、複数種類の動画像コンテンツを、それぞれの動画像コンテンツが対応している再生モードで再生する処理を行う。ユーザインタフェース表示処理部は、再生中の動画像コンテンツの種類又は再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う。本技術は、例えば、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、及び自由視点動画像コンテンツを再生可能な再生装置に適用できる。

【0006】

特開２０１９－１１８０４０号公報には、医療動画処理システムが開示されている。医療動画処理システムは、施術に関する複数の動画ファイルを複数の入力系統に分けて入力するエンコーダと、複数の動画ファイルを共通のタイムコードに対応付けて記憶するサーバ装置と、複数の動画ファイル及び動画ファイルに関する情報を表示する視聴端末装置と、を備え、視聴端末装置は、複数の動画ファイルに係る複数のタイムラインを入力系統ごとに分けて表示し、表示されているタイムラインに対応する複数の動画ファイルに含まれる画像のうち、当該タイムラインに含まれる或る時点のタイムコードに対応付いている複数の画像の少なくとも一部を同期表示し、ユーザの操作入力を受け付けて同期表示領域に同期表示されている動画ファイルに関する編集処理を実行する。

【発明の概要】

【0007】

本開示の技術に係る一つの実施形態は、仮想視点映像の編集を支援することができる情報処理装置、情報処理方法、及びプログラムを提供する。

【課題を解決するための手段】

【0008】

本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、少なくとも１つの仮想視点に関する視点情報を取得し、複数の撮像装置により撮像されることで得られた複数の動画データに基づき、視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報を提示する情報処理装置である。

【0009】

本開示の技術に係る第２の態様は、プロセッサが、品質情報を、複数の撮像装置による撮像期間と対応させて提示する第１の態様に係る情報処理装置である。

【0010】

本開示の技術に係る第３の態様は、視点情報には、仮想視点の位置、視線方向、及び画角が含まれており、品質が、視点情報により決定される視野範囲内に含まれる特定の被写体のオクルージョン領域の割合に関する値であり、プロセッサは、オクルージョン領域の割合が小さいほど品質が高いと判定する第１の態様又は第２の態様に係る情報処理装置である。

【0011】

本開示の技術に係る第４の態様は、プロセッサが、オクルージョン領域の割合に応じて提示態様を変更する第３の態様に係る情報処理装置である。

【0012】

本開示の技術に係る第５の態様は、提示態様が、プロセッサがディスプレイを制御することにより行われる表示態様である第４の態様に係る情報処理装置である。

【0013】

本開示の技術に係る第６の態様は、視点情報には、仮想視点の位置、視線方向、及び画角が含まれており、品質が、視点情報により決定される視野範囲内に含まれる特定の被写体の画素数又は合焦度に関する値であり、プロセッサは、画素数が多いほど、又は合焦度が高いほど品質が高いと判定する第１の態様又は第２の態様に係る情報処理装置である。

【0014】

本開示の技術に係る第７の態様は、プロセッサが、品質情報として、品質が閾値以上である時間帯と閾値未満である時間帯との少なくともいずれか一方を提示する第１の態様から第６の態様のうちいずれか１つの態様に係る情報処理装置である。

【0015】

本開示の技術に係る第８の態様は、プロセッサが、品質情報として、品質が閾値以上である時間帯及び閾値未満である時間帯を区別して提示する第７の態様に係る情報処理装置である。

【0016】

本開示の技術に係る第９の態様は、プロセッサが、仮想視点映像を編集することにより作成される動画ファイルの再生速度に応じて閾値を変更する第７の態様又は第８の態様に係る情報処理装置である。

【0017】

本開示の技術に係る第１０の態様は、プロセッサが、再生速度が高いほど閾値を下げる第９の態様に係る情報処理装置である。

【0018】

本開示の技術に係る第１１の態様は、プロセッサが、閾値を複数有しており、閾値ごとに、品質が閾値以上である時間帯と閾値未満である時間帯との少なくともいずれか一方を提示する第７の態様から第１０の態様のうちいずれか１つの態様に記載の情報処理装置である。

【0019】

本開示の技術に係る第１２の態様は、視点情報には、複数の仮想視点が含まれており、プロセッサが、仮想視点ごとに品質情報を提示する第１の態様から第１１の態様のうちいずれか１つの態様に係る情報処理装置である。

【0020】

本開示の技術に係る第１３の態様は、視点情報には、１つの仮想視点の時間的な移動を表す軌跡が含まれており、プロセッサが、軌跡を構成する各仮想視点の位置から作成可能な仮想視点映像の品質を表す品質情報を提示する第１の態様から第１２の態様のうちいずれか１つに係る情報処理装置である。

【0021】

本開示の技術に係る第１４の態様は、プロセッサが、受付デバイスにより指定された少なくとも１つの仮想視点に関する視点情報を取得する第１の態様から第１３の態様のうちいずれか１つの態様に係る情報処理装置である。

【0022】

本開示の技術に係る第１５の態様は、プロセッサが、複数の動画データのうちの少なくとも１つの動画データに基づいて設定された少なくとも１つの仮想視点に関する視点情報を取得する第１の態様から第１３の態様のうちいずれか１つの態様に係る情報処理装置である。

【0023】

本開示の技術に係る第１６の態様は、少なくとも１つの仮想視点に関する視点情報を取得すること、及び、複数の撮像装置により撮像されることで得られた複数の動画データに基づき、視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報を提示することを含む情報処理方法である。

【0024】

本開示の技術に係る第１７の態様は、少なくとも１つの仮想視点に関する視点情報を取得すること、及び、複数の撮像装置により撮像されることで得られた複数の動画データに基づき、視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報を提示することを含む処理をコンピュータに実行させるためのプログラムである。

【図面の簡単な説明】

【0025】

【図1】情報処理システムの外観構成の一例を示す概略斜視図である。

【図2】情報処理システムに含まれる情報処理装置、スマートデバイス、受像機、無人航空機、及び撮像装置の関係の一例を示す概念図である。

【図3】情報処理装置の電気系のハードウェア構成の一例、及び情報処理装置と周辺機器との関係性の一例を示すブロック図である。

【図4】スマートデバイスの電気系のハードウェア構成の一例を示すブロック図である。

【図5】情報処理装置の要部機能の一例を示すブロック図である。

【図6】動画編集を開始するに際して表示される画面の一例を示す概念図である。

【図7】仮想視点指定処理の処理内容の一例の説明に用いる概念図である。

【図8】仮想視点指定処理における画面の遷移の一例の説明に用いる概念図である。

【図9】仮想視点映像生成処理の処理内容の一例の説明に用いる概念図である。

【図10】品質判定処理の処理内容の一例の説明に用いる概念図である。

【図11】オクルージョン率の算出方法の一例の説明に用いる概念図である。

【図12】提示処理の処理内容の一例の説明に用いる概念図である。

【図13】動画編集用画面の一例を示す概念図である。

【図14】編集処理の処理内容の一例の説明に用いる概念図である。

【図15】仮想視点処理の流れの一例を示すフローチャートである。

【図16】仮想視点映像生成処理の流れの一例を示すフローチャートである。

【図17】品質判定処理の流れの一例を示すフローチャートである。

【図18】提示処理の流れの一例を示すフローチャートである。

【図19】編集処理の流れの一例を示すフローチャートである。

【図20】品質情報の提示態様の第１変形例の説明に用いる概念図である。

【図21】品質判定処理の第１変形例の説明に用いる概念図である。

【図22】品質情報の提示態様の第２変形例の説明に用いる概念図である。

【図23】品質情報の提示態様の第３変形例の説明に用いる概念図である。

【図24】品質判定処理の第１変形例の説明に用いる概念図である。

【図25】品質判定処理の第２変形例の説明に用いる概念図である。

【図26】仮想視点の指定に係る変形例の説明に用いる概念図である。

【図27】記憶媒体から情報処理装置のコンピュータにプログラムがインストールされる態様の一例を示すブロック図である。

【発明を実施するための形態】

【0026】

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

【0027】

先ず、以下の説明で使用される文言について説明する。

【0028】

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。ＲＯＭとは、“Read Only Memory”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。３Ｄとは、“3 Dimension”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。“ＨＭＤ”とは、“Head Mounted Display”の略称を指す。ＧＵＩとは、“Graphical User Interface”の略称を指す。ＬＴＥとは、“Long Term Evolution”の略称を指す。５Ｇとは、“5th generation (wireless technology for digital cellular networks)”の略称を指す。ＴＤＭとは“Time-Division Multiplexing”の略称を指す。また、本明細書の説明において、「一致」の意味には、完全な一致の意味の他に、設計上及び製造上において許容される誤差を含む略一致の意味も含まれる。

【0029】

一例として図１に示すように、情報処理システム１０は、情報処理装置１２、スマートデバイス１４、複数の撮像装置１６、撮像装置１８、無線通信基地局（以下、単に「基地局」と称する）２０、及び受像機３４を備えている。なお、ここで、「スマートデバイス１４」とは、例えば、スマートフォン、タブレット端末、スマートウォッチ（時計型多機能端末）、及びＨＭＤ型多機能端末等の携帯型の多機能端末を指す。なお、ここでは、受像機３４を例示しているが、本開示の技術はこれに限定されず、ディスプレイ付きの電子機器（例えば、スマートデバイス）であってもよい。また、基地局２０は１ヵ所に限らず複数存在していてもよい。さらに、基地局で使用する通信規格には、５Ｇ規格、ＬＴＥ規格等を含む無線通信規格と、ＷｉＦｉ(802.11)規格及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）規格を含む無線通信規格と、ＴＤＭ規格及び／又はイーサネット（登録商標）規格を含む有線通信規格が含まれる。

【0030】

撮像装置１６及び１８は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び／又はデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。以下では、説明の便宜上、撮像装置１８及び複数の撮像装置１６を区別して説明する必要がない場合、符号を付さずに「複数の撮像装置」と称する。

【0031】

複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカーフィールド２４を含む領域を撮像領域として撮像する。ここでは、複数の撮像装置１６の各々がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置１６の配置は、視聴者２８等によって生成されることが要求された仮想視点映像に応じて決定される。サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。撮像装置１８は、無人航空機（例えば、マルチ回転翼型無人航空機）に設置されており、サッカーフィールド２４を含む領域を撮像領域として上空から俯瞰した状態で撮像する。サッカーフィールド２４を含む領域を上空から俯瞰した状態の撮像領域とは、サッカーフィールド２４に対する撮像装置１８による撮像面を指す。

【0032】

情報処理装置１２は、管制室３２に設置されている。詳しくは後述するが、情報処理装置１２は、コンピュータ５０と、ディスプレイ５３と、受付デバイス５２とを有しており、ディスプレイ５３には動画編集用画面５３Ａが表示される。複数の撮像装置１６及び情報処理装置１２は、ＬＡＮケーブル３０を介して接続されており、情報処理装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。

【0033】

サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられており、観戦席２６には視聴者２８が着座している。視聴者２８は、スマートデバイス１４を所持しており、スマートデバイス１４は、視聴者２８によって用いられる。なお、ここでは、サッカー競技場２２内に視聴者２８が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視聴者２８は、サッカー競技場２２外に存在していてもよい。

【0034】

基地局２０は、情報処理装置１２及び無人航空機２７と電波を介して各種情報の送受信を行う。すなわち、情報処理装置１２は、基地局２０を介して、無人航空機２７と無線通信可能に接続されている。情報処理装置１２は、基地局２０を介して無人航空機２７と無線通信を行うことにより、無人航空機２７を制御したり、撮像装置１８によって撮像されることで得られた画像を無人航空機２７から取得したりする。

【0035】

基地局２０は、受像機３４に対して無線通信を介して各種情報を送信する。情報処理装置１２は、基地局２０を介して、各種映像を受像機３４に送信し、受像機３４は、情報処理装置１２から送信された各種映像を受信し、受信した各種映像を画面３４Ａに表示する。なお、受像機３４は、例えば、不特定多数の観戦者等の視聴に使用される。受像機３４の設置個所は、サッカー競技場２２内であってもよいし、サッカー競技場２２外（例えば、パブリックビューイング会場）等であってもよい。なお、ここでは、情報処理装置１２が受像機３４に対して無線通信を介して各種情報を送信する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、情報処理装置１２が受像機３４に対して有線通信を介して各種情報を送信する形態であってもよい。

【0036】

情報処理装置１２はサーバに相当するデバイスであり、スマートデバイス１４は、情報処理装置１２に対するクライアント端末に相当するデバイスである。情報処理装置１２及びスマートデバイス１４が、基地局２０を介して互いに無線通信を行うことにより、スマートデバイス１４は、情報処理装置１２に対して各種サービスの提供を要求し、情報処理装置１２は、スマートデバイス１４からの要求に応じたサービスをスマートデバイス１４に提供する。

【0037】

一例として図２に示すように、情報処理装置１２は、上空から観察した場合のサッカーフィールド２４を含む領域を示す俯瞰映像４６Ａを無人航空機２７から取得する。俯瞰映像４６Ａは、サッカーフィールド２４を含む領域が撮像領域（以下、単に「撮像領域」とも称する）として上空から俯瞰した状態で無人航空機２７の撮像装置１８によって撮像されることで得られた動画像である。なお、撮像装置１８によって撮像されることで得られた動画像は、本開示の技術に係る「動画データ」の一例である。

【0038】

情報処理装置１２は、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す撮像映像４６Ｂを複数の撮像装置１６の各々から取得する。撮像映像４６Ｂは、撮像領域が複数の撮像装置１６の各々によって撮像されることで得られた動画像である。なお、撮像装置１６によって撮像されることで得られた動画像は、本開示の技術に係る「動画データ」の一例である。

【0039】

使用者は、ディスプレイ５３に表示される動画編集用画面５３Ａに基づいて受付デバイス５２を操作することにより、仮想視点映像の編集作業を行うことができる。これにより、情報処理装置１２によって、仮想視点映像が編集され、編集結果が配信用映像として生成される。

【0040】

一例として図３に示すように、情報処理装置１２は、コンピュータ５０、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、及び第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えており、ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バス６４を介して接続されている。図３に示す例では、図示の都合上、バス６４として１本のバスが図示されているが、複数のバスであってもよい。また、バス６４には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。

【0041】

ＣＰＵ５８は、情報処理装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、フラッシュメモリが採用されているが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ６２は、記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＤＲＡＭが採用されているが、これに限らず、他の種類の記憶装置であってもよい。なお、ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例である。また、ストレージ６０及びメモリ６２は、本開示の技術に係る「メモリ」の一例である。

【0042】

受付デバイス５２は、情報処理装置１２の使用者等からの指示を受け付ける。受付デバイス５２の一例としては、キーボード、タッチパネル、及びマウス等が挙げられる。受付デバイス５２は、バス６４等に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。

【0043】

ディスプレイ５３は、バス６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。

【0044】

第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バス６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた撮像映像４６Ｂ（図２参照）をＣＰＵ５８に出力する。なお、ここでは、第１通信Ｉ／Ｆ５４は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。

【0045】

第２通信Ｉ／Ｆ５６は、基地局２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バス６４に接続されている。第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と無人航空機２７との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とスマートデバイス１４との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８による受像機３４に対する各種映像の送信を司る。なお、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＦＰＧＡの代わりに固定回路で構成することも可能である。また、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等で構成された回路であってもよい。

【0046】

一例として図４に示すように、スマートデバイス１４は、コンピュータ７０、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バス９４を介して接続されている。図４に示す例では、図示の都合上、バス９４として１本のバスが図示されているが、バス９４は、複数本のバスであってもよい。バス９４は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

【0047】

ＣＰＵ８８は、スマートデバイス１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ１５Ｂとしては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。メモリ９２は、各種情報を一時的に記憶し、ＣＰＵ８８によってワークメモリとして用いられる。メモリ１５Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

【0048】

受付デバイス７６は、スマートデバイス１４の使用者等（ここでは、一例として、視聴者２８）からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バス９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。

【0049】

ディスプレイ７８は、バス９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。

【0050】

スマートデバイス１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによって、あるいはディスプレイ７８の内部にタッチパネル機能を内蔵（「インセル」型）することでタッチパネル・ディスプレイが形成される。

【0051】

マイクロフォン８０は、収集した音を電気信号に変換する。マイクロフォン８０は、バス９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バス９４を介してＣＰＵ８８によって取得される。

【0052】

スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バス９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バス９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をスマートデバイス１４の外部に出力する。

【0053】

撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バス９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バス９４を介してＣＰＵ８８によって取得される。

【0054】

通信Ｉ／Ｆ８６は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ８６は、バス９４に接続されている。通信Ｉ／Ｆ８６は、基地局２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置１２が挙げられる。

【0055】

一例として図５に示すように、情報処理装置１２において、ストレージ６０には、編集用プログラム６０Ａが記憶されている。ＣＰＵ５８は、ストレージ６０から編集用プログラム６０Ａを読み出し、読み出した編集用プログラム６０Ａをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する編集用プログラム６０Ａに従って、スマートデバイス１４、撮像装置１６、及び無人航空機２７との間で各種情報の授受を行い、かつ、受像機３４に対する各種映像の送信を行う。なお、編集用プログラム６０Ａは、コンピュータ５０に処理を実行させるためのプログラムであって、本開示の技術に係る「プログラム」の一例である。

【0056】

ＣＰＵ５８は、ストレージ６０から編集用プログラム６０Ａを読み出し、読み出した編集用プログラム６０Ａをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する編集用プログラム６０Ａに従って取得部１０２、実行部１０４、制御部１０６、及び設定部１０８として動作することで、後述の各種情報処理を実行する。

【0057】

一例として図６に示すように、情報処理装置１２において、制御部１０６は、使用者から与えられた指示に従ってディスプレイ５３に各種情報を表示させ、受付デバイス５２の操作を受け付け、かつ、受付結果に応じた処理を実行するＧＵＩ制御を行う。具体的には、制御部１０６は、受付デバイス５２の操作に応じて、ディスプレイ５３に、動画編集用画面５３Ａを表示させる。そして、制御部１０６は、受付デバイス５２の一例としてのマウスが使用者によって操作されることにより、情報処理装置１２によって動画編集に関する各種処理が実行されるように情報処理装置１２を制御する。

【0058】

制御部１０６は、動画編集を開始する際に、例えば、動画編集用画面５３Ａ内に、仮想視点映像を生成するための仮想視点の指定を使用者に促すダイアログ１１０を表示させる。ダイアログ１１０には、仮想視点の指定を開始するための開始ボタン１１２が表示されている。使用者は、動画編集用画面５３Ａ中に表示されるカーソル１１４を、上記マウスの操作により開始ボタン１１２上に位置させた状態でクリック操作を行うことにより、仮想視点の指定を開始することができる。

【0059】

一例として図７に示すように、取得部１０２は、撮像装置１８から俯瞰映像４６Ａを取得する。設定部１０８は、使用者による仮想視点の指定を可能とするための仮想視点指定処理を行う。具体的に説明すると、設定部１０８は、ＧＵＩ制御を行う制御部１０６と協働して、ディスプレイ５３に、仮想視点指定用画面５３Ｂを表示させる。設定部１０８は、取得部１０２によって取得された俯瞰映像４６Ａを仮想視点指定用画面５３Ｂに表示させる。

【0060】

使用者は、例えば、俯瞰映像４６Ａを参照しながら、受付デバイス５２の一例としてのマウスを操作することにより、仮想視点の指定（位置、視線方向、及び画角の指定）を行うことができる。設定部１０８は、指定された仮想視点の位置、視線方向、及び画角を含む視点情報を生成して、生成した視点情報をメモリ６２に記憶させる。なお、設定部１０８は、受付デバイス５２を介して使用者から与えられた指示に従って、複数の仮想視点を指定することを可能とする。

【0061】

一例として図８に示すように、具体的には、設定部１０８は、まず、仮想視点の位置を指定可能とする第１指定画面５３Ｃをディスプレイ５３に表示させることにより、使用者に仮想視点の位置を指定させる。第１指定画面５３Ｃには、例えば、「仮想視点の位置を指定して下さい。」というメッセージ表示が行われる。使用者は、受付デバイス５２の一例としてのマウスを操作することにより、俯瞰映像４６Ａにおいて複数の仮想視点の位置を指定することができる。第１指定画面５３Ｃには、決定ボタン１１６及び取消ボタン１１８が表示されている。使用者は、上記マウスの操作によりカーソル１１４を決定ボタン１１６又は取消ボタン１１８上に移動させた状態でクリック操作を行うことにより、仮想視点の位置の決定又は取消を行うことができる。

【0062】

設定部１０８は、仮想視点の位置の指定が終了すると、仮想視点の視線方向及び画角を指定可能とする第２指定画面５３Ｄをディスプレイ５３に表示させることにより、使用者に仮想視点の視線方向及び画角を指定させる。第２指定画面５３Ｄには、例えば、「視線方向及び画角を指定して下さい。」というメッセージ表示が行われる。使用者は、上記マウスを操作することにより、俯瞰映像４６Ａにおいて視線方向及び画角を指定することができる。第２指定画面５３Ｄには、決定ボタン１１６及び取消ボタン１１８が表示されている。使用者は、上記マウスの操作によりカーソル１１４を決定ボタン１１６又は取消ボタン１１８上に移動させた状態でクリック操作を行うことにより、仮想視点の視線方向及び画角の決定又は取消を行うことができる。

【0063】

設定部１０８は、第１指定画面５３Ｃ及び第２指定画面５３Ｄにおいて指定された複数の仮想視点のそれぞれについて、仮想視点の位置、視線方向、及び画角を含む視点情報を生成して、生成した視点情報をメモリ６２に記憶させる。なお、図８に示す例では、３つの仮想視点が指定されている。Ｐ１～Ｐ３は、仮想視点の位置を表す。Ｄ１～Ｄ３は、仮想視点の視線方向を表す。Ａ１～Ａ３は、仮想視点の画角を表す。

【0064】

一例として図９に示すように、情報処理装置１２では、実行部１０４により、視点情報を基準とした仮想視点映像を生成するための仮想視点映像生成処理が行われる。実行部１０４は、取得部１０２を介して、複数の動画データ（一例として俯瞰映像４６Ａ及び複数の撮像映像４６Ｂ）を取得する。また、実行部１０４は、仮想視点指定処理により生成された視点情報を、メモリ６２から読み出すことにより取得する。そして、実行部１０４は、取得した視点情報を基準として、複数の動画データに基づいて仮想視点映像を生成する。具体的には、実行部１０４は、複数の動画データに基づいて３Ｄポリゴンを生成することにより、視点情報により決定される視野範囲を表す仮想視点映像を生成する。仮想視点映像は、仮想視点の位置から視線方向に撮像領域を観察した場合における仮想的な映像である。

【0065】

実行部１０４は、視点情報に複数の仮想視点に関する情報が含まれている場合には、各仮想視点について仮想視点映像を生成する。図９に示す仮想視点映像４７Ａ～４７Ｃは、図８に示す３つの仮想視点に対応する映像である。実行部１０４は、生成した仮想視点映像をストレージ６０に記憶させる。

【0066】

一例として図１０に示すように、情報処理装置１２では、実行部１０４により、視点情報を基準として作成可能な仮想視点映像の品質を判定するための品質判定処理が行われる。実行部１０４は、視点情報を基準として仮想視点映像生成処理により生成された仮想視点映像をストレージ６０から読み出す。そして、実行部１０４は、ストレージ６０から読み出した仮想視点映像の品質を判定する。本実施形態では、一例として、品質を、視点情報により決定される視野範囲内に含まれる特定の被写体のオクルージョン領域の割合に関する値とする。オクルージョンとは、仮想視点に対して手前側にある被写体が背後側にある被写体を隠すことにより、背後側の被写体が少なくとも部分的に観測できない状態が生じていることを意味する。オクルージョン領域の割合（以下、オクルージョン率ともいう。）が小さいほど、仮想視点映像の品質が高い。

【0067】

本実施形態では、実行部１０４は、例えば、視野範囲の中央に位置する被写体を対象被写体ＭＳとして特定し、特定した対象被写体ＭＳのオクルージョン率Ｒを算出する。なお、本開示の技術に係る「特定の被写体」の一例である対象被写体ＭＳは、受付デバイス５２を用いた使用者の操作により特定されるようにしてもよいし、顔認識等のパターンマッチング機能等により特定されるようにしてもよい。

【0068】

実行部１０４は、仮想視点が複数指定されている場合には、仮想視点映像生成処理により生成された各仮想視点映像を用いてオクルージョン率Ｒを算出する。実行部１０４は、指定された仮想視点ごとに算出したオクルージョン率Ｒを、オクルージョン情報としてメモリ６２に記憶させる。

【0069】

具体的には、実行部１０４は、一例として図１１に示す手順でオクルージョン率Ｒを算出する。まず、実行部１０４は、仮想視点映像から、対象被写体ＭＳと、その手前に存在する別の被写体Ｓとを特定する。次に、実行部１０４は、対象被写体ＭＳの全面積Ａを求め、かつ、別の被写体Ｓにより生じた対象被写体ＭＳのオクルージョン領域の面積Ｂを求める。そして、実行部１０４は、例えば、計算式「Ｒ＝Ｂ／Ａ×１００」に基づいて、オクルージョン率Ｒ（％）を算出する。実行部１０４は、例えば、仮想視点映像に含まれる各フレームについてオクルージョン率Ｒを算出する。すなわち、オクルージョン情報は、指定された仮想視点ごとのオクルージョン率Ｒの時間変化を含む情報である。

【0070】

一例として図１２に示すように、情報処理装置１２では、実行部１０４により、仮想視点映像の品質を提示するための提示処理が行われる。実行部１０４は、品質判定処理により得られた品質情報を使用者に対して提示するための提示処理が行われる。実行部１０４は、品質判定処理により算出された各仮想視点映像のオクルージョン情報をメモリ６２から読み出す。また、実行部１０４は、予め設定された品質に対する閾値Ｒｔｈをストレージ６０から読み出す。

【0071】

実行部１０４は、オクルージョン率Ｒを閾値Ｒｔｈと比較し、オクルージョン率Ｒが閾値Ｒｔｈ未満である時間帯を、仮想視点映像の品質が高品質である高品質時間帯Ｔｈｑとして特定する。閾値Ｒｔｈは、例えば２０％である。実行部１０４は、オクルージョン率Ｒが２０％未満である時間帯を特定する。閾値Ｒｔｈは、予め設定された固定値であってもよいが、使用者の受付デバイス５２を用いた操作により設定変更可能としてもよい。

【0072】

実行部１０４は、特定した各仮想視点映像の高品質時間帯Ｔｈｑを高品質時間帯情報としてメモリ６２に記憶させる。そして、実行部１０４は、使用者に対して高品質時間帯情報を提示する。具体的には、実行部１０４は、制御部１０６によるＧＵＩ制御によって、動画編集用画面５３Ａ（図６参照）内に高品質時間帯Ｔｈｑを表示させる。この高品質時間帯Ｔｈｑは、視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報に対応する。

【0073】

高品質時間帯Ｔｈｑの長さは、オクルージョン率Ｒに応じて変化する。すなわち、実行部１０４は、オクルージョン率Ｒに応じて高品質時間帯Ｔｈｑの提示態様を変更する。本実施形態では、高品質時間帯Ｔｈｑの提示態様は、制御部１０６がディスプレイ５３を制御することにより変更される表示態様である。

【0074】

具体的には、高品質時間帯Ｔｈｑは、一例として図１３に示すように、動画編集用画面５３Ａ中に表示される。実行部１０４は、高品質時間帯Ｔｈｑを、指定された仮想視点ごとに、複数の撮像装置による撮像期間Ｔｖと対応させて提示する。図１３に示す例では、３つの仮想視点のそれぞれについて高品質時間帯Ｔｈｑが表示されている。なお、通常、複数の撮像装置の撮像期間はすべて同一であるので、１つの撮像期間Ｔｖのみを表示している。複数の撮像装置で撮像期間が異なる場合には、それぞれ個別に表示してもよい。

【0075】

使用者は、動画編集用画面５３Ａにおいて、例えば、受付デバイス５２の一例としてのマウス操作によって、各仮想視点に対する高品質時間帯Ｔｈｑから複数の期間を選択して繋ぎ合わせることにより、配信用映像を作成することができる。

【0076】

動画編集用画面５３Ａには、配信用映像をプレビュー表示するための第１表示部１２０が設けられている。また、動画編集用画面５３Ａには、第１表示部１２０に隣接して、再生操作部１２２が設けられている。使用者は、再生操作部１２２を、上記マウス等を用いて操作することにより、配信用映像の再生、停止、及び再生速度の変更などを行うことができる。

【0077】

同様に、動画編集用画面５３Ａには、仮想視点の指定に用いられた俯瞰映像を表示するための第２表示部１２４が設けられている。また、動画編集用画面５３Ａには、第２表示部１２４に隣接して、再生操作部１２６が設けられている。使用者は、再生操作部１２２を、上記マウス等を用いて操作することにより、俯瞰映像の再生、停止、及び再生速度の変更などを行うことができる。

【0078】

一例として図１４に示すように、制御部１０６により、仮想視点映像を編集して配信用映像を生成するためのＧＵＩ制御を行う。使用者は、動画編集用画面５３Ａに表示された高品質時間帯ＴｈｑにトリムマーカＴ１及びＴ２を設定することができる。トリムマーカＴ１は、トリムの開始位置を表す。トリムマーカＴ２は、トリムの終了位置を表す。使用者は、トリムマーカＴ１及びＴ２で規定される部分を、配信用映像の作成領域に対してドラッグアンドドロップすることにより、高品質時間帯Ｔｈｑから、使用者が意図する部分を抽出することができる。使用者は、複数の高品質時間帯Ｔｈｑに対して同様のトリミング操作を行うことにより、各仮想視点映像から、使用者が意図する時間帯を選択することができる。

【0079】

実行部１０４は、トリミング操作により選択された複数の仮想視点映像の部分を結合することにより配信用映像を生成する結合処理を行う。実行部１０４は、生成された配信用映像に基づき動画ファイルを生成し、生成した動画ファイルをストレージ６０に記憶させる。ストレージ６０に記憶された配信用映像は、実行部１０４によって、スマートデバイス１４及び受像機３４などに提供される。

【0080】

次に、情報処理システム１０の作用について説明する。

【0081】

まず、情報処理装置１２のＣＰＵ５８によって実行される仮想視点指定処理の流れの一例について図１５を参照しながら説明する。

【0082】

図１５に示す仮想視点指定処理では、まず、ステップＳＴ１００で、設定部１０８は、仮想視点指定処理を終了する条件（以下、「仮想視点指定処理開始条件」と称する。）を満足したか否かを判定する。仮想視点指定処理開始条件としては、例えば、受付デバイス５２により、仮想視点指定処理を開始させる指示が受け付けられた、という条件が挙げられる（図６参照）。ステップＳＴ１００において、仮想視点指定処理開始条件を満足していない場合は、判定が否定されて、ステップＳＴ１００の判定が再び行われる。ステップＳＴ１００において、仮想視点指定処理開始条件を満足した場合には、判定が肯定されて、仮想視点指定処理はステップＳＴ１０１へ移行する。

【0083】

ステップＳＴ１０１で、取得部１０２は、撮像装置１８から俯瞰映像４６Ａを取得し（図７参照）、その後、仮想視点指定処理はステップＳＴ１０２へ移行する。ステップＳＴ１０２において、設定部１０８は、俯瞰映像４６Ａを仮想視点指定用画面５３Ｂに表示させ、その後、仮想視点指定処理はステップＳＴ１０３へ移行する。

【0084】

ステップＳＴ１０３で、設定部１０８は、受付デバイス５２による仮想視点の位置、視線方向、及び画角を含む設定操作を受け付ける（図８参照）。

【0085】

次のステップＳＴ１０４で、設定部１０８は、仮想視点指定処理を終了する条件（以下、「仮想視点指定処理終了条件」と称する。）を満足したか否かを判定する。仮想視点指定処理終了条件としては、例えば、受付デバイス５２により、仮想視点指定処理を終了させる指示が受け付けられた、という条件が挙げられる。

【0086】

ステップＳＴ１０４において、仮想視点指定処理終了条件を満足していない場合には、判定が否定されて、仮想視点指定処理がステップＳＴ１０３へ移行する。ステップＳＴ１０４において、仮想視点指定処理終了条件を満足した場合には、判定が肯定されて、仮想視点指定処理はステップＳＴ１０５へ移行する。

【0087】

ステップＳＴ１０５で、設定部１０８は、視点情報を生成してメモリ６２に記憶させる。これにより、仮想視点指定処理が終了する。

【0088】

次に、情報処理装置１２のＣＰＵ５８によって実行される仮想視点映像生成処理の流れの一例について図１６を参照しながら説明する。

【0089】

図１６に示す仮想視点映像生成処理では、まず、ステップＳＴ２００で、実行部１０４は、メモリ６２に記憶された視点情報を読み出す。

【0090】

次のステップＳＴ２０１で、取得部１０２は、複数の撮像装置から複数の動画データ（一例として俯瞰映像４６Ａ及び複数の撮像映像４６Ｂ）を取得し、その後、仮想視点映像生成処理はステップＳＴ２０２へ移行する。

【0091】

ステップＳＴ２０２で、実行部１０４は、視点情報により決定される視野範囲を表す仮想視点映像を生成し、生成した仮想視点映像をストレージ６０に記憶させる（図９参照）。

【0092】

次のステップＳＴ２０３で、実行部１０４は、仮想視点映像生成処理を終了する条件（以下、「仮想視点映像生成処理終了条件」と称する。）を満足したか否かを判定する。仮想視点映像生成処理終了条件としては、例えば、仮想視点指定処理により指定された全ての仮想視点を基準とする仮想視点映像の生成が終了した、という条件が挙げられる。

【0093】

ステップＳＴ２０３において、仮想視点映像生成処理終了条件を満足していない場合には、判定が否定されて、仮想視点映像生成処理はステップＳＴ２０２へ移行する。ステップＳＴ２０３において、仮想視点映像生成処理終了条件を満足した場合には、判定が肯定されて、仮想視点映像生成処理が終了する。

【0094】

次に、情報処理装置１２のＣＰＵ５８によって実行される品質判定処理の流れの一例について図１７を参照しながら説明する。

【0095】

図１７に示す品質判定処理では、まず、ステップＳＴ３００で、実行部１０４は、ストレージ６０に記憶された仮想視点映像を読み出す。次のステップＳＴ３０１において、実行部１０４は、視点情報により決定される視野範囲内に含まれる対象被写体を特定し、その後、品質判定処理はステップＳＴ３０２へ移行する。

【0096】

ステップＳＴ３０２で、実行部１０４は、仮想視点映像の品質として、対象被写体のオクルージョン率を算出する（図１０及び図１１参照）。

【0097】

次のステップＳＴ３０３で、実行部１０４は、品質判定処理を終了する条件（以下、「品質判定処理終了条件」と称する。）を満足したか否かを判定する。品質判定処理終了条件としては、例えば、仮想視点映像生成処理により生成された全ての仮想視点映像についてオクルージョン率の算出が終了した、という条件が挙げられる。

【0098】

ステップＳＴ３０３において、品質判定処理終了条件を満足していない場合は、判定が否定されて、品質判定処理はステップＳＴ３００へ移行する。ステップＳＴ３０３において、品質判定処理終了条件を満足した場合には、判定が肯定されて、品質判定処理はステップＳＴ３０４へ移行する。

【0099】

ステップＳＴ３０４で、実行部１０４は、オクルージョン情報を生成してメモリ６２に記憶させる。これにより、品質判定処理が終了する。

【0100】

次に、情報処理装置１２のＣＰＵ５８によって実行される提示処理の流れの一例について図１８を参照しながら説明する。

【0101】

図１８に示す提示処理では、まず、ステップＳＴ４００で、実行部１０４は、メモリ６２からオクルージョン情報を読み出す。

【0102】

次のステップＳＴ４０１で、実行部１０４は、ストレージ６０に記憶された閾値を読み出し、その後、提示処理はステップＳＴ４０２へ移行する。

【0103】

ステップＳＴ４０２で、実行部１０４は、オクルージョン率を閾値と比較し、オクルージョン率が閾値未満であるか否かを判定する。ステップＳＴ４０２において、オクルージョン率が閾値未満である場合には、判定が肯定されて、提示処理はステップＳＴ４０３へ移行する。ステップＳＴ４０２において、オクルージョン率が閾値以上である場合には、判定が否定されて、提示処理はステップＳＴ４０４へ移行する。

【0104】

ステップＳＴ４０３で、実行部１０４は、オクルージョン率が閾値未満である時間帯を高品質時間帯として特定する（図１２参照）。次のステップＳＴ４０４において、実行部１０４は、提示処理を終了する条件（以下、「提示処理終了条件」と称する。）を満足したか否かを判定する。提示処理終了条件としては、オクルージョン情報のすべてに対して高品質時間帯の特定が終了した、という条件が挙げられる。

【0105】

ステップＳＴ４０４において、提示処理終了条件を満足していない場合には、判定が否定されて、提示処理はステップＳＴ４０２へ移行する。ステップＳＴ４０４において、提示処理終了条件を満足した場合には、判定が肯定されて、提示処理はステップＳＴ４０５へ移行する。

【0106】

ステップＳＴ４０５で、実行部１０４は、ステップＳＴ４０３で特定した各仮想視点映像の高品質時間帯を高品質時間帯情報としてメモリ６２に記憶させ、かつ、動画編集用画面５３Ａ内に高品質時間帯を表示させることにより（図１３参照）、使用者に対して高品質時間帯を提示する。

【0107】

次に、情報処理装置１２のＣＰＵ５８によって実行される編集処理の流れの一例について図１９を参照しながら説明する。

【0108】

図１９に示す編集処理では、まず、ステップＳＴ５００で、実行部１０４は、受付デバイス５２による仮想視点映像のトリミング操作を受け付ける。このトリミング操作により、配信用映像を生成するために、各仮想視点映像から、使用者が意図する時間帯が選択される（図１４参照）。

【0109】

次のステップＳＴ５０１で、実行部１０４は、編集処理を終了する条件（以下、「編集処理終了条件」と称する。）を満足したか否かを判定する。編集処理終了条件としては、例えば、受付デバイス５２により、編集処理を終了させる指示が受け付けられた、という条件が挙げられる。

【0110】

ステップＳＴ５０１において、編集処理終了条件を満足していない場合には、判定が否定されて、編集処理はステップＳＴ５００へ移行する。ステップＳＴ５０１において、編集処理終了条件を満足した場合には、判定が肯定されて、編集処理はステップＳＴ５０２へ移行する。

【0111】

ステップＳＴ５０２で、実行部１０４は、ステップＳＴ５００でのトリミング操作により選択された複数の仮想視点映像の部分を結合する結合処理を行う。

【0112】

次のステップＳＴ５０３で、実行部１０４は、ステップＳＴ５０２で結合処理を実行することで生成した配信用映像に基づいて動画ファイルを生成して、生成した動画ファイルをストレージ６０に記憶させる。これにより、編集処理が終了する。

【0113】

以上説明したように、情報処理装置１２では、ＣＰＵ５８によって、少なくとも１つの仮想視点に関する視点情報が取得され、複数の撮像装置により撮像されることで得られた複数の動画データに基づき、視点情報を基準として作成可能な仮想視点映像の品質を表す品質情報が提示される。従って、仮想視点映像の編集を支援することができる。

【0114】

また、情報処理装置１２では、ＣＰＵ５８によって、品質情報が、複数の撮像装置による撮像期間と対応して提示される。これにより、使用者に対して、撮像期間を参照しながら効率よく編集作業を行わせることができる。

【0115】

また、情報処理装置１２では、視点情報には、仮想視点の位置、視線方向、及び画角が含まれており、品質は、視点情報により決定される視野範囲内に含まれる特定の被写体のオクルージョン領域の割合に関する値である。オクルージョン領域の割合が小さいほど品質が高い。これにより、使用者に対して、特定の被写体についてオクルージョン領域の割合が小さい時間帯を容易に選択させることができる。

【0116】

また、情報処理装置１２では、ＣＰＵ５８によって、オクルージョン領域の割合に応じて提示態様が変更される。これにより、使用者に対して、オクルージョン領域の割合を直観的に認識させることができる。上記実施形態では、提示態様は、ＣＰＵ５８がディスプレイを制御することにより変更される。具体的には、オクルージョン領域の割合が閾値未満であるか否かに応じて、対応する時間帯を表示している。

【0117】

また、情報処理装置１２では、受付デバイス５２により指定された少なくとも１つの仮想視点に関する視点情報が設定部１０８によって生成されることで取得される。そして、実行部１０４によって、視点情報を基準にした仮想視点映像が生成される。これにより、使用者が意図する仮想視点を基準にした仮想視点映像を得ることができる。

【0118】

なお、上記実施形態では、ＣＰＵ５８は、閾値を用いて表示態様を変更しているが、閾値を用いずに、オクルージョン領域の割合に応じて色又は濃度など変化させる表示態様としてもよい。一例として図２０に示すように、オクルージョン領域の割合（オクルージョン率Ｒ）が低いほど、すなわち品質が高いほど濃度を濃くする表示態様で、品質情報を提示してもよい。また、品質情報の提示態様は、ディスプレイ等への表示に限られず、スピーカ等を用いた音声出力、及び／又は紙媒体等へ印刷するプリント表示等であってもよい。すなわち、本開示に係る「提示」には、可視表示、音声、及び／又はプリント表示等が含まれる。

【0119】

また、上記実施形態では、仮想視点映像の品質を、特定の被写体のオクルージョン領域の割合により表しているが、オクルージョン領域の割合に代えて、他のパラメータを用いて仮想視点映像の品質を表してもよい。例えば、品質を、視点情報により決定される視野範囲内に含まれる特定の被写体の画素数又は合焦度に関する値としてもよい。この場合には、画素数が多いほど、又は合焦度が高いほど品質が高い。

【0120】

一例として図２１に示すように、仮想視点映像中における対象被写体ＭＳの画素数（すなわち大きさ）を、仮想視点映像の品質と関連付ける。この場合、対象被写体ＭＳの画素数が多いほど（対象被写体ＭＳが大きいほど）品質が高い。ＣＰＵ５８は、対象被写体ＭＳの画素数が閾値以上である時間帯を、高品質時間帯Ｔｈｑとして特定すればよい。

【0121】

仮想視点映像の品質を、特定の被写体の合焦度に関連付ける場合も同様である。例えば、ＣＰＵ５８は、対象被写体ＭＳの合焦度が閾値以上である時間帯を、高品質時間帯Ｔｈｑとして特定すればよい。なお、ここで、合焦度とは、例えば、特定の被写体に対する合焦の度合い、又は、仮想視点映像により示される実空間領域に対する合焦の度合いを指す。合焦の度合いは、例えば、仮想視点映像のコントラスト、及び／又は、被写界深度等によって特定される。

【0122】

さらに、仮想視点映像の品質は、１つのパラメータに限られず、複数のパラメータ（例えば、オクルージョン率、画素数、及び合焦度のうちの少なくとも２つの組み合わせ）により表されるものであってもよい。

【0123】

また、上記実施形態では、ＣＰＵ５８は、品質が閾値以上である時間帯と品質が閾値未満である時間帯とのうち、品質が閾値以上である時間帯のみを提示している。なお、上記実施形態では、オクルージョン領域の割合が閾値未満であることが、品質が閾値以上であることに対応する。また、図２１に示す例では、対象被写体ＭＳの画素数が閾値以上であることが、品質が閾値以上であることに対応する。

【0124】

上記例に限られず、ＣＰＵ５８は、品質が閾値以上である時間帯と品質が閾値未満である時間帯とのうち、品質が閾値未満である時間帯を提示してもよい。一例として図２２に示すように、品質が閾値未満である時間帯を低品質時間帯Ｔｌｑとして特定し、特定した低品質時間帯Ｔｌｑをディスプレイ等に表示してもよい。すなわち、品質が閾値以上である時間帯と閾値未満である時間帯との少なくともいずれか一方を提示すればよい。この場合、使用者に対して、品質が閾値以上の時間帯とそれ以外の時間帯とを直観的に認識させることができる。

【0125】

さらに、ＣＰＵ５８は、品質が閾値以上である時間帯と品質が閾値未満である時間帯との両方を区別して提示してもよい。一例として図２３に示すように、品質が閾値以上である高品質時間帯Ｔｈｑと、品質が閾値未満である低品質時間帯Ｔｌｑとを、それぞれ区別可能に表示態様を代えてディスプレイ等に表示してもよい。この場合も、使用者に対して、品質が閾値以上の時間帯とそれ以外の時間帯とを直観的に認識させることができる。

【0126】

また、上記実施形態では、ＣＰＵ５８は、品質判定処理を行うための閾値を固定値としているが、各種のパラメータに応じて閾値を変更してもよい。一例として図２４に示すように、動画ファイルの再生速度に応じて、品質に対する閾値を変更してもよい。具体的
には、再生速度が高いほど閾値を下げる。上記実施形態では、動画ファイルの再生速度は、再生操作部１２２の操作により変更することができる。

【0127】

動画ファイルの再生速度が高いほど配信用映像の各フレームの視認性が低下するので、再生速度が高いほど、配信用映像の視聴者にとって品質に対する許容度が上がる。従って、再生速度が高いほど閾値を下げることにより、仮想視点映像から選択可能な時間帯が拡大する。これにより編集の自由度が向上する。

【0128】

また、上記実施形態では、ＣＰＵ５８は、品質判定処理において１つの閾値のみを用いているが、これに限られず、品質判定処理において複数の閾値を用いてもよい。ＣＰＵ５８は、閾値を複数有する場合には、閾値ごとに、品質が閾値以上である時間帯と閾値未満である時間帯との少なくともいずれか一方を提示する。これにより、使用者に対して、仮想視点映像から複数の品質に基づいて時間帯を選択させることができるので、編集の自由度が向上する。

【0129】

一例として図２５に示すように、ＣＰＵ５８は、第１閾値及び第２閾値を用いて品質判定処理を行う。ここで、第１閾値は第２閾値より大きいとする。ＣＰＵ５８は、例えば、品質が第１閾値以上である時間帯を高品質時間帯Ｔｈｑとし、第２閾値以上第１閾値未満である時間帯を中品質時間帯Ｔｍｑとし、第２閾値未満である時間帯を低品質時間帯Ｔｌｑとしてディスプレイ等に表示する。なお、図２５に示す例では、各時間帯を濃度により区別しているが、文字、記号、及び／又は数字等を付すことにより区別してもよい。

【0130】

また、上記実施形態では、視点情報には、複数の仮想視点が含まれており、ＣＰＵ５８は、仮想視点ごとに品質情報を提示する。これにより、使用者に対して、複数の仮想視点を基準とした仮想視点映像に基づいて編集を行わせることができるので、編集の自由度が向上する。

【0131】

また、上記実施形態では、仮想視点の位置は固定されているが、仮想視点の軌跡を指定可能としてもよい。軌跡は、１つの仮想視点の時間的な移動を表す。すなわち、軌跡は、時間的に位置が異なる複数の仮想視点により構成される。一例として図２６に示すように、ＣＰＵ５８は、仮想視点の軌跡を指定可能とする軌跡指定画面５３Ｅをディスプレイ５３に表示させて、使用者に所望とする仮想視点の軌跡１３０を指定させる。使用者は、マウスを操作することにより、俯瞰映像４６Ａにおいて複数の仮想視点の軌跡１３０を指定することができる。仮想視点の軌跡１３０は、複数の仮想視点の位置、視線方向、及び画角を指定することにより行われる。また、指定する仮想視点の粗密により、仮想視点の移動速度を変更可能としてもよい。ＣＰＵ５８は、軌跡１３０を構成する各仮想視点の位置から作成可能な仮想視点映像の品質を表す品質情報を提示する。品質情報の提示態様は、上記実施形態と同様である。これにより、視点が移動するダイナミックな映像の作成を支援することができる。

【0132】

なお、上記実施形態では、仮想視点を使用者が受付デバイス５２を介して指定する構成としているが、俯瞰映像４６Ａ等のシーンに応じてＣＰＵ５８が設定する構成であってもよい。すなわち、ＣＰＵ５８は、複数の動画データのうちの少なくとも１つの動画データに基づいて設定された少なくとも１つの仮想視点に関する視点情報を取得してもよい。この場合も、上記実施形態と同様に、使用者が意図する仮想視点を基準にした仮想視点映像を得ることができる。

【0133】

なお、上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の撮像装置が設置可能であれば、如何なる場所であってもよい。

【0134】

また、上記実施形態では、基地局２０を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。

【0135】

また、上記実施形態では、無人航空機２７を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置１８（例えば、ワイヤを伝って移動可能な自走式の撮像装置）によって撮像領域が撮像されるようにしてもよい。

【0136】

また、上記実施形態では、コンピュータ５０及び７０を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０及び／又は７０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０及び／又は７０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

【0137】

また、上記実施形態では、ストレージ６０に編集用プログラム６０Ａが記憶されているが、本開示の技術はこれに限定されず、一例として図２７に示すように、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体５００に編集用プログラム６０Ａが記憶されていてもよい。この場合、記憶媒体５００に記憶されている編集用プログラム６０Ａがコンピュータ５０にインストールされ、ＣＰＵ５８は、編集用プログラム６０Ａに従って情報処理（例えば、仮想視点指定処理、仮想視点映像生成処理、品質判定処理、提示処理、及び編集処理）を実行する。

【0138】

また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等の記憶部に編集用プログラム６０Ａを記憶させておき、情報処理装置１２の要求に応じて編集用プログラム６０Ａが情報処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた編集用プログラム６０Ａに基づく情報処理がコンピュータ５０のＣＰＵ５８によって実行される。

【0139】

また、上記実施形態では、ＣＰＵ５８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ５８に代えて、複数のＣＰＵ、又はＣＰＵとＧＰＵの組み合わせを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理が実行されるようにしてもよい。また、ＣＰＵ８８に代えて、ＧＰＵを採用してもよいし、複数のＣＰＵ、又はＣＰＵとＧＰＵの組み合わせを採用してもよく、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。

【0140】

情報処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが接続又は内蔵されており、何れのプロセッサもメモリを使用することで情報処理を実行する。

【0141】

情報処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、情報処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0142】

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、情報処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、情報処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、情報処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0143】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。更に、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0144】

また、上述した情報処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0145】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0146】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0147】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】