ホーム > 特許ランキング > 富士フイルム株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023182765
(43)【公開日】2023-12-26
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20231219BHJP
G06T 15/20 20110101ALI20231219BHJP
H04N 23/60 20230101ALI20231219BHJP
H04N 23/40 20230101ALI20231219BHJP
H04N 21/854 20110101ALI20231219BHJP
【ＦＩ】
G06T19/00 A
G06T15/20 500
H04N23/60 500
H04N23/40 100
H04N21/854
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023176295
(22)【出願日】2023-10-11
(62)【分割の表示】P 2022517664の分割
【原出願日】2021-04-20
(31)【優先権主張番号】P 2020080785
(32)【優先日】2020-04-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】入江 史憲
(72)【発明者】
【氏名】青木 貴嗣
(72)【発明者】
【氏名】宮田 真彦
(72)【発明者】
【氏名】田村 一紀
(72)【発明者】
【氏名】村上 泰規
(57)【要約】 （修正有）
【課題】複数の仮想視点パスにおける同一の再生位置の参照用画像を比較すること。
【解決手段】情報処理装置は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成し、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示する。
【選択図】図１６
【解決手段】情報処理装置は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成し、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示する。
【選択図】図１６
【特許請求の範囲】
【請求項1】
複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理装置であって、
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
前記撮像領域に対応する基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示し、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
前記プロセッサは、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更し、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新し、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示する
情報処理装置。
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
前記撮像領域に対応する基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示し、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
前記プロセッサは、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更し、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新し、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示する
情報処理装置。
【請求項2】
前記プロセッサは、前記基準画像内において、前記複数の仮想視点パスのうちの少なくとも１つを、指示された位置に配置する請求項１に記載の情報処理装置。
【請求項3】
前記プロセッサは、前記参照用画像を、１つの前記仮想視点パスに対して１つのみ表示させる請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記プロセッサは、前記基準画像上で前記参照用画像を移動させる操作に応じて前記再生位置を変更する請求項１から請求項３の何れか一項に記載の情報処理装置。
【請求項5】
前記プロセッサは、隣り合う２つの前記仮想視点パスに対する２つの前記参照用画像を、前記２つの仮想視点パスの相対位置に応じて表示する請求項１から請求項４の何れか一項に記載の情報処理装置。
【請求項6】
前記プロセッサは、与えられた指示に応じて、前記仮想視点パスの位置、長さ、及び形状のうちの少なくとも１つを変更する請求項１から請求項５の何れか一項に記載の情報処理装置。
【請求項7】
前記プロセッサは、前記インジケータ及び前記仮想視点パスのうちの少なくとも一方を、前記再生位置の前後で異なる態様にして表示させる請求項１から請求項６の何れか一項に記載の情報処理装置。
【請求項8】
前記プロセッサは、与えられた指示に応じて、前記仮想視点パスに含まれる前記仮想視点が注視する注視点を表す注視点情報を生成する請求項１から請求項７の何れか一項に記載の情報処理装置。
【請求項9】
前記注視点情報は、前記注視点の移動の軌跡を表す注視点パスであり、
前記プロセッサは、与えられた指示に応じて、前記基準画像内に複数の前記注視点パスを配置する請求項８に記載の情報処理装置。
前記プロセッサは、与えられた指示に応じて、前記基準画像内に複数の前記注視点パスを配置する請求項８に記載の情報処理装置。
【請求項10】
前記プロセッサは、
与えられた指示に応じて、同一の前記再生位置に対応する複数の前記参照用画像から１つの前記参照用画像を選択し、
選択した１つの前記参照用画像に対応する前記注視点を基準注視点とし、
非選択の他の前記参照用画像として、前記非選択の他の前記参照用画像に対応する前記仮想視点パスから前記基準注視点を注視した場合の態様を示す仮想視点画像に基づく画像を生成する請求項８又は請求項９に記載の情報処理装置。
与えられた指示に応じて、同一の前記再生位置に対応する複数の前記参照用画像から１つの前記参照用画像を選択し、
選択した１つの前記参照用画像に対応する前記注視点を基準注視点とし、
非選択の他の前記参照用画像として、前記非選択の他の前記参照用画像に対応する前記仮想視点パスから前記基準注視点を注視した場合の態様を示す仮想視点画像に基づく画像を生成する請求項８又は請求項９に記載の情報処理装置。
【請求項11】
前記プロセッサは、前記仮想視点パスにおいて、前記基準注視点を注視した仮想視点画像を生成することができない前記仮想視点を含む区間の表示態様を変更する請求項１０に記載の情報処理装置。
【請求項12】
前記プロセッサは、前記複数の仮想視点パスと前記参照用画像とを、１つの前記基準画像内に表示させる請求項１から請求項１１の何れか一項に記載の情報処理装置。
【請求項13】
前記プロセッサは、前記撮像領域のうちの少なくとも一部を表す複数の前記基準画像に、前記仮想視点パス及び前記参照用画像を表示させる請求項１から請求項１１の何れか一項に記載の情報処理装置。
【請求項14】
前記プロセッサは、前記複数の仮想視点パスについて、前記仮想視点パスに沿って、前記仮想視点に対応する前記参照用画像を表示させる請求項１に記載の情報処理装置。
【請求項15】
前記プロセッサは、
与えられた指示に応じて、前記複数の仮想視点パスから一部を切り取って結合する選択結合処理を行い、
前記選択結合処理によって結合されることで得られたパスに基づき前記仮想視点映像を生成する請求項１から請求項１４の何れか一項に記載の情報処理装置。
与えられた指示に応じて、前記複数の仮想視点パスから一部を切り取って結合する選択結合処理を行い、
前記選択結合処理によって結合されることで得られたパスに基づき前記仮想視点映像を生成する請求項１から請求項１４の何れか一項に記載の情報処理装置。
【請求項16】
複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理方法であって、
前記撮像領域に対応する基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示することを含み、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更すること、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新すること、及び、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示することを含む
情報処理方法。
前記撮像領域に対応する基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示することを含み、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更すること、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新すること、及び、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示することを含む
情報処理方法。
【請求項17】
複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理をコンピュータに実行させるためのプログラムであって、
前記情報処理は、
前記撮像領域を表す基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示することを含み、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
前記情報処理は、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更すること、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新すること、及び、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示することを含む
プログラム。
前記情報処理は、
前記撮像領域を表す基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示することを含み、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
前記情報処理は、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更すること、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新すること、及び、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示することを含む
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
特開２０１８－０４６４４８号公報には、複数のカメラを用いて撮影した多視点映像から、仮想カメラから見た映像である自由視点映像を生成する画像処理装置が開示されている。特開２０１８－０４６４４８号公報に記載の画像処理装置は、仮想カメラの移動の軌跡を示すカメラパス及び仮想カメラが注視する先である注視点の移動の軌跡を示す注視点パスを、ユーザが指定するためのユーザインタフェースと、ユーザインタフェースを介して指定されたカメラパス及び注視点パスに基づいて、自由視点映像を生成する生成手段と、を備えている。特開２０１８－０４６４４８号公報に記載の画像処理装置において、ユーザインタフェースは、多視点映像の撮影シーンを俯瞰的に捉えた２次元画像を用いたＵＩ画面に、多視点映像のうち、自由視点映像の生成対象となるタイムフレームにおける被写体の時系列の変化を表示し、ユーザが、２次元画像に対する入力操作によって軌跡を描くことで、カメラパス及び注視点パスが指定されるように構成される。
【0003】
特開２０１７－２１２５９２号公報には、受け付け手段、取得手段、及び表示制御手段を有する制御装置が開示されている。特開２０１７－２１２５９２号公報に記載の制御装置では、受け付け手段が、被写体を複数の方向から撮影するための複数のカメラによる撮影に基づく画像データに基づいて、画像生成装置により仮想視点画像が生成されるシステムにおいて、仮想視点画像の生成に係る視点を指定するためのユーザによる指示を受け付ける。取得手段は、受け付け手段により受け付けられる指示に基づく視点の指定が制限される制限領域であって、システムに含まれる装置の動作状態及び画像データに関するパラメータの少なくとも何れかに応じて変化する制限領域を特定するための情報を取得する。表示制御手段は、取得手段が取得した情報に基づいて、制限領域に応じた表示制御に基づく画像を表示部に表示させる。
【0004】
特開２０１９－０９６９９６号公報には、記憶手段、画像生成手段、設定手段、及び一覧生成手段を有する情報処理装置が開示されている。特開２０１９－０９６９９６号公報に記載の情報処理装置において、記憶手段は、動画シーンの各フレームに対して三次元空間のオブジェクトを二次元平面に投影するための仮想カメラのカメラパスを記憶する。画像生成手段は、記憶されたカメラパスに基づいて、動画シーンにおける仮想カメラの軌跡を三次元空間の所定地点から俯瞰したカメラパス画像を生成する。設定手段は、記憶されたカメラパスを基にカメラパス画像を生成するためのパラメータを設定する。一覧生成手段は、複数のカメラパスに対してそれぞれパラメータを適用して生成した複数のカメラパス画像を一覧表示する。
【0005】
特開２０１９－１２５３０３号公報には、仮想視点の映像を生成するために行われるユーザの操作を補助するための補助情報を生成する補助情報生成手段と、補助情報生成手段により生成された補助情報を、仮想視点の位置及び姿勢を決定するため操作手段に提供する提供手段と、を有することを特徴とする情報処理装置が開示されている。
【0006】
特開２０１９－１２５３０３号公報に記載の情報処理装置において、提供手段は、補助情報に基づいて、仮想視点の映像の候補を含む情報を表示する表示手段に対して、補助情報を提供する。仮想視点の位置及び姿勢は、表示手段により表示された仮想視点の映像の候補の中からユーザにより選択された仮想視点の映像に基づいて決定される。補助情報は、仮想視点の情報を含み、表示手段は、仮想視点の情報に基づいて仮想視点の映像の候補をサムネイル画像として表示し、仮想視点の映像の候補の中からユーザにより選択された仮想視点の映像を、サムネイル画像よりも高い解像度の画像で表示する。
【0007】
特開２０２０－０１３４７０号公報には、仮想視点映像の視点を示す仮想視点の位置及び姿勢の時間変化を表すカメラパス情報を生成するパス生成手段と、パス生成手段により生成されたカメラパス情報を他の装置に提供する提供手段と、を有することを特徴とする情報処理装置が開示されている。
【0008】
特開２０１９－１６０３１８号公報には、撮影領域を複数の撮影装置により複数の方向から撮影することで得られる撮影画像に基づく仮想視点画像の生成に係る仮想視点を設定する情報処理装置が開示されている。特開２０１９－１６０３１８号公報に記載の情報処理装置は、取得手段、抽出手段、受付手段、及び設定手段を有する。
【0009】
特開２０１９－１６０３１８号公報に記載の情報処理装置において、取得手段は、仮想視点の位置及び向きの少なくとも何れかを示す仮想視点パラメータを複数有する視点情報であって、複数の撮影装置による撮影期間に含まれる複数の時点に対応する複数の仮想視点パラメータを有する視点情報を取得する。抽出手段は、取得手段により取得された視点情報が有する複数の仮想視点パラメータから、撮影領域における所定のイベントに応じて特定される１以上の仮想視点パラメータを抽出する。受付手段は、抽出手段により抽出された仮想視点パラメータの変更に係るユーザ操作に応じた入力を受け付ける。設定手段は、受付手段により受け付けられた入力に応じて変更された仮想視点パラメータに基づいて、仮想視点画像の生成に係る仮想視点を設定する。特開２０１９－１６０３１８号公報に記載の情報処理装置は、抽出手段により抽出された仮想視点パラメータが変更可能であることを示す画像、抽出手段により抽出された仮想視点パラメータに対応する仮想視点の位置を仮想視点の移動経路上に示す画像、又は、抽出手段により抽出された仮想視点パラメータに対応する時点を撮影期間に対応するタイムライン上に示す画像を表示部に表示させる表示制御手段を有する。
【発明の概要】
【0010】
本開示の技術に係る一つの実施形態は、複数の仮想視点パスにおける同一の再生位置の参照用画像を比較することができる情報処理装置、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0011】
本開示の技術に係る第１の態様は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理装置であって、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示する情報処理装置である。
【0012】
本開示の技術に係る第２の態様は、プロセッサが、基準画像内において、複数の仮想視点パスのうちの少なくとも１つを、指示された位置に配置する第１の態様に係る情報処理装置である。
【0013】
本開示の技術に係る第３の態様は、プロセッサが、与えられた指示に応じて、インジケータにより示される再生位置を変更する第１の態様又は第２の態様に係る情報処理装置である。
【0014】
本開示の技術に係る第４の態様は、プロセッサが、再生位置が変更された場合に、変更後の再生位置に対応する参照用画像をディスプレイに表示する第１の態様から第３の態様の何れか１つの態様に係る情報処理装置である。
【0015】
本開示の技術に係る第５の態様は、プロセッサが、再生位置が変更された場合に、変更後の再生位置に対応する参照用画像を、変更前の再生位置に対応する参照用画像と異なる位置に表示させる第４の態様に係る情報処理装置である。
【0016】
本開示の技術に係る第６の態様は、プロセッサが、参照用画像を、仮想視点パスの各々に対して１つのみ表示させる第１の態様から第５の態様の何れか１つの態様に係る情報処理装置である。
【0017】
本開示の技術に係る第７の態様は、プロセッサが、基準画像上で参照用画像を移動させる操作に応じて再生位置を変更する第１の態様から第６の態様の何れか１つの態様に係る情報処理装置である。
【0018】
本開示の技術に係る第８の態様は、プロセッサが、隣り合う２つの仮想視点パスに対する２つの参照用画像を、２つの仮想視点パスの相対位置に応じて表示する第１の態様から第７の態様の何れか１つの態様に係る情報処理装置である。
【0019】
本開示の技術に係る第９の態様は、プロセッサが、与えられた指示に応じて、仮想視点パスの位置、長さ、及び形状のうちの少なくとも１つを変更する第１の態様から第７の態様の何れか１つの態様に係る情報処理装置である。
【0020】
本開示の技術に係る第１０の態様は、プロセッサが、インジケータ及び仮想視点パスのうちの少なくとも一方を、再生位置の前後で異なる態様にして表示させる第１の態様から第９の態様の何れか１つの態様に係る情報処理装置である。
【0021】
本開示の技術に係る第１１の態様は、プロセッサが、与えられた指示に応じて、仮想視点パスの各々に含まれる仮想視点の各々が注視する注視点を表す注視点情報を生成する第１の態様から第１０の態様の何れか１つの態様に係る情報処理装置である。
【0022】
本開示の技術に係る第１２の態様は、注視点情報が、注視点の移動の軌跡を表す注視点パスであり、プロセッサが、与えられた指示に応じて、基準画像内に複数の注視点パスを配置する第１１の態様に係る情報処理装置である。
【0023】
本開示の技術に係る第１３の態様は、プロセッサが、与えられた指示に応じて、同一の再生位置に対応する複数の参照用画像から１つの参照用画像を選択し、選択した１つの参照用画像に対応する注視点を基準注視点とし、非選択の他の参照用画像として、非選択の他の参照用画像に対応する仮想視点パスから基準注視点を注視した場合の態様を示す仮想視点画像に基づく画像を生成する第１１の態様又は第１２の態様に係る情報処理装置である。
【0024】
本開示の技術に係る第１４の態様は、プロセッサが、仮想視点パスの各々において、基準注視点を注視した仮想視点画像を生成することができない仮想視点を含む区間の表示態様を変更する第１３の態様に係る情報処理装置である。
【0025】
本開示の技術に係る第１５の態様は、プロセッサが、複数の仮想視点パスと参照用画像とを、１つの基準画像内に表示させる第１の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。
【0026】
本開示の技術に係る第１６の態様は、プロセッサが、撮像領域のうちの少なくとも一部を表す複数の基準画像の各々に、仮想視点パス及び参照用画像を表示させる第１の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。
【0027】
本開示の技術に係る第１７の態様は、プロセッサが、複数の仮想視点パスの各々について、仮想視点パスに沿って、仮想視点に対応する参照用画像を表示させる第１の態様から第１６の態様の何れか１つの態様に係る情報処理装置である。
【0028】
本開示の技術に係る第１８の態様は、プロセッサが、与えられた指示に応じて、複数の仮想視点パスの各々から一部を切り取って結合する選択結合処理を行い、選択結合処理によって結合されることで得られたパスに基づき仮想視点映像を生成する第１の態様から第１７の態様の何れか１つの態様に係る情報処理装置である。
【0029】
本開示の技術に係る第１９の態様は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理方法であって、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示することを含む情報処理方法である。
【0030】
本開示の技術に係る第２０の態様は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理をコンピュータに実行させるためのプログラムであって、情報処理が、撮像領域を表す基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示することを含むプログラムである。
【図面の簡単な説明】
【0031】
【図1】情報処理システムの外観構成の一例を示す概略斜視図である。
【図2】情報処理システムに含まれる情報処理装置、スマートデバイス、受像機、無人航空機、及び撮像装置の関係の一例を示す概念図である。
【図3】情報処理装置の電気系のハードウェア構成の一例、及び情報処理装置と周辺機器との関係性の一例を示すブロック図である。
【図4】ユーザデバイスの電気系のハードウェア構成の一例を示すブロック図である。
【図5】情報処理装置の要部機能の一例を示すブロック図である。
【図6】動画編集を開始するに際して表示される画面の一例を示す概念図である。
【図7】仮想視点指定処理の処理内容の一例の説明に用いる概念図である。
【図8】仮想視点指定処理における画面の遷移の一例の説明に用いる概念図である。
【図9】再生総時間を指定するに際して表示される画面の一例を示す概念図である。
【図10】視点情報を生成する処理内容の一例の説明に用いる概念図である。
【図11】仮想視点映像生成処理の処理内容の一例の説明に用いる概念図である。
【図12】再生位置としてシークバーの１点を指示するパターンの一例、及び再生位置として仮想視点パスの１点を指示するパターンの一例の説明に用いる概念図である。
【図13】サムネイル画像生成処理の処理内容の一例の説明に用いる概念図である。
【図14】動画編集用画面の表示内容の一例を示す概念図である。
【図15】実行部によって実行される選択処理及び結合処理の内容の一例の説明に用いる概念図である。
【図16】配信用映像が表示された動画編集用画面の一例を示す概念図である。
【図17】仮想視点指定処理の流れの一例を示すフローチャートである。
【図18】仮想視点映像生成処理の流れの一例を示すフローチャートである。
【図19】サムネイル画像表示処理の流れの一例を示すフローチャートである。
【図20】編集処理の流れの一例を示すフローチャートである。
【図21】選択処理及び結合処理の変形例の説明に用いる概念図である。
【図22】仮想視点パスとサムネイル画像との対応付けの第１変形例を示す概念図である。
【図23】仮想視点パスとサムネイル画像との対応付けの第２変形例を示す概念図である。
【図24A】仮想視点パス及び注視点パスの設定方法の第１例の説明に用いる概念図である。
【図25】仮想視点パス及び注視点パスの設定方法の第２例の説明に用いる概念図である。
【図26】仮想視点画像生成不可区間、仮想視点画像生成可能区間、及び仮想視点パスに対応付けられているサムネイル画像の一例を示す概念図である。
【図27】記憶媒体から情報処理装置のコンピュータに編集用プログラムがインストールされる態様の一例を示すブロック図である。
【発明を実施するための形態】
【0032】
添付図面に従って本開示の技術に係る情報処理装置、情報処理方法、及びプログラムの実施形態の一例について説明する。
【0033】
先ず、以下の説明で使用される文言について説明する。
【0034】
ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。３Ｄとは、“3 Dimensions”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。“ＨＭＤ”とは、“Head Mounted Display”の略称を指す。ＧＵＩとは、“Graphical User Interface”の略称を指す。ＬＴＥとは、“Long Term Evolution”の略称を指す。５Ｇとは、“5th generation (wireless technology for digital cellular networks）”の略称を指す。ＴＤＭとは“Time-Division Multiplexing”の略称を指す。以下では、説明の便宜上、本開示の技術に係る「プロセッサ」の一例として、ＣＰＵを例示しているが、本開示の技術に係る「プロセッサ」は、ＣＰＵ及びＧＰＵ等のように複数の処理装置の組み合わせであってもよい。本開示の技術に係る「プロセッサ」の一例として、ＣＰＵ及びＧＰＵの組み合わせが適用される場合、ＧＰＵは、ＣＰＵの制御下で動作し、画像処理の実行を担う。
【0035】
以下の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合い（本開示の技術の趣旨に反しない程度の誤差を含めた意味合い）での一致を指す。
【0036】
一例として図１に示すように、情報処理システム１０は、情報処理装置１２、ユーザデバイス１４、複数の撮像装置１６、撮像装置１８、無線通信基地局（以下、単に「基地局」と称する）２０、及び受像機３４を備えている。
【0037】
本実施形態では、ユーザデバイス１４の一例として、スマートフォンが適用されている。但し、スマートフォンは、あくまでも一例に過ぎず、例えば、パーソナル・コンピュータであってもよいし、タブレット端末又はヘッドマウントディスプレイ等の携帯型の多機能端末であってもよい。
【0038】
また、本実施形態では、受像機３４を例示しているが、本開示の技術はこれに限定されず、ディスプレイ付きの電子機器（例えば、スマートデバイス）であってもよい。また、基地局２０は１ヵ所に限らず複数存在していてもよい。基地局２０で使用する通信規格には、５Ｇ規格、ＬＴＥ規格等を含む無線通信規格と、ＷｉＦｉ（８０２．１１）規格及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）規格を含む無線通信規格と、ＴＤＭ規格及び／又はイーサネット（登録商標）規格を含む有線通信規格が含まれる。
【0039】
撮像装置１６は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び／又はデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。
【0040】
複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカー競技場２２内を含む領域を撮像領域として撮像する。ここでは、複数の撮像装置１６がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置１６の配置は、視聴者２８及び／又は情報処理装置１２の使用者等によって生成されることが要求された仮想視点映像に応じて決定される。サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。
【0041】
撮像装置１８は、例えば、無人航空機（例えば、マルチ回転翼型無人航空機）２７にも設置されており、サッカーフィールド２４を含む領域を撮像領域として上空から俯瞰した状態で撮像する。なお、以下では、撮像装置１６と撮像装置１８とを区別して説明する必要がない場合、符号を付さずに「物理カメラ」とも称する。
【0042】
物理カメラによる撮像とは、例えば、撮像領域を含む画角での撮像を指す。ここで、「撮像領域」という概念には、サッカー競技場２２内の全体を示す領域という概念の他に、サッカー競技場２２内の一部を示す領域という概念も含まれる。撮像領域は、物理カメラの撮像位置、撮像方向、及び画角に応じて変更される。
【0043】
情報処理装置１２は、管制室３２に設置されている。詳しくは後述するが、情報処理装置１２は、コンピュータ５０、受付デバイス５２、及びディスプレイ５３を備えている。ディスプレイ５３には動画編集用画面５３Ａが表示される。複数の撮像装置１６及び情報処理装置１２は、ＬＡＮケーブル３０を介して接続されており、情報処理装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。
【0044】
サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられており、観戦席２６には視聴者２８が着座している。視聴者２８は、ユーザデバイス１４を所持しており、ユーザデバイス１４は、視聴者２８によって用いられる。なお、ここでは、サッカー競技場２２内に視聴者２８が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視聴者２８は、サッカー競技場２２外に存在していてもよい。
【0045】
基地局２０は、情報処理装置１２及び無人航空機２７と電波を介して各種情報の送受信を行う。すなわち、情報処理装置１２は、基地局２０を介して、無人航空機２７と無線通信可能に接続されている。情報処理装置１２は、基地局２０を介して無人航空機２７と無線通信を行うことにより、無人航空機２７を制御したり、無人航空機２７に設置された撮像装置１８によって撮像されることで得られた画像を無人航空機２７から取得したりする。
【0046】
基地局２０は、受像機３４に対して無線通信を介して各種情報を送信する。情報処理装置１２は、基地局２０を介して、各種映像を受像機３４に送信し、受像機３４は、情報処理装置１２から送信された各種映像を受信し、受信した各種映像を画面３４Ａに表示する。受像機３４は、例えば、不特定多数の観戦者等の視聴に使用される。受像機３４の設置個所は、サッカー競技場２２内であってもよいし、サッカー競技場２２外（例えば、パブリックビューイング会場）等であってもよい。
【0047】
なお、ここでは、情報処理装置１２が受像機３４に対して無線通信を介して各種情報を送信する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、情報処理装置１２が受像機３４に対して有線通信を介して各種情報を送信する形態であってもよい。
【0048】
情報処理装置１２はサーバに相当するデバイスであり、ユーザデバイス１４は、情報処理装置１２に対するクライアント端末に相当するデバイスである。情報処理装置１２及びユーザデバイス１４が、基地局２０を介して互いに無線通信を行うことにより、ユーザデバイス１４は、情報処理装置１２に対して各種サービスの提供を要求し、情報処理装置１２は、ユーザデバイス１４からの要求に応じたサービスをユーザデバイス１４に提供する。
【0049】
情報処理装置１２は、複数の物理カメラより撮像領域が撮像されることで得られた動画像（以下、「動画」とも称する）を用い、仮想視点に基づく仮想視点映像を生成する装置である。仮想視点映像は、仮想視点に基づく複数の仮想視点画像（静止画像）からなる動画像である。情報処理装置１２の使用者（以下、単に「使用者」とも称する）は、ディスプレイ５３に表示される動画編集用画面５３Ａを観察しながら受付デバイス５２を操作することにより、仮想視点映像の編集作業を行うことができる。これにより、情報処理装置１２によって、仮想視点映像が編集され、編集結果が配信用映像として生成される。
【0050】
一例として図２に示すように、情報処理装置１２は、上空から観察した場合のサッカーフィールド２４を含む領域を示す俯瞰映像４６Ａを無人航空機２７から取得する。俯瞰映像４６Ａは、サッカーフィールド２４を含む領域が撮像領域として上空から俯瞰した状態で無人航空機２７の撮像装置１８によって撮像されることで得られた複数の撮像画像（静止画像）からなる動画像である。
【0051】
情報処理装置１２は、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す撮像映像４６Ｂを複数の撮像装置１６の各々から取得する。撮像映像４６Ｂは、撮像領域が複数の撮像装置１６の各々によって撮像されることで得られた複数の撮像画像（静止画像）からなる動画像である。
【0052】
なお、以下では、説明の便宜上、俯瞰映像４６Ａと撮像映像４６Ｂとを区別して説明する必要がない場合、符号を付さずに「実映像」と称する。
【0053】
一例として図３に示すように、情報処理装置１２は、コンピュータ５０、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、及び第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えており、ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バス６４を介して接続されている。図３に示す例では、図示の都合上、バス６４として１本のバスが図示されているが、複数のバスであってもよい。また、バス６４には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。
【0054】
ＣＰＵ５８は、情報処理装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、ＥＥＰＲＯＭ、ＳＳＤ及びＨＤＤが採用されているが、これに限らず、ＨＤＤ、ＳＳＤ、又ＥＥＰＲＯＭ等であってもよいし、複数の不揮発性の記憶装置の組み合わせであってもよい。メモリ６２は、記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＲＡＭが採用されているが、これに限らず、他の種類の記憶装置であってもよい。なお、ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例である。また、メモリ６２は、本開示の技術に係る「メモリ」の一例である。
【0055】
受付デバイス５２は、使用者等からの指示を受け付ける。受付デバイス５２の一例としては、キーボード、タッチパネル、及びマウス等が挙げられる。受付デバイス５２は、バス６４等に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。
【0056】
ディスプレイ５３は、本開示の技術に係る「ディスプレイ」の一例である。ディスプレイ５３は、バス６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。
【0057】
第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バス６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた撮像映像４６Ｂ（図２参照）をＣＰＵ５８に出力する。なお、ここでは、第１通信Ｉ／Ｆ５４は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。
【0058】
第２通信Ｉ／Ｆ５６は、基地局２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バス６４に接続されている。第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と無人航空機２７との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とユーザデバイス１４との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８による受像機３４に対する各種映像の送信を司る。なお、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６のうちの少なくとも一方は、ＦＰＧＡの代わりに固定回路で構成することも可能である。また、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６のうちの少なくとも一方は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等で構成された回路であってもよい。
【0059】
一例として図４に示すように、ユーザデバイス１４は、コンピュータ７０、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バス９４を介して接続されている。図４に示す例では、図示の都合上、バス９４として１本のバスが図示されているが、バス９４は、複数本のバスであってもよい。バス９４は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
【0060】
ＣＰＵ８８は、ユーザデバイス１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ９０の一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ９０としては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。メモリ９２は、各種情報を一時的に記憶し、ＣＰＵ８８によってワークメモリとして用いられる。メモリ９２の一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。
【0061】
受付デバイス７６は、視聴者２８等からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バス９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。
【0062】
ディスプレイ７８は、バス９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。
【0063】
ユーザデバイス１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによって、或いは、ディスプレイ７８の内部にタッチパネル機能を内蔵（「インセル」型）することによってタッチパネル・ディスプレイが形成される。なお、「インセル」型のタッチパネル・ディスプレイは、あくまでも一例に過ぎず、「アウトセル」型又は「オンセル」型のタッチパネル・ディスプレイであってもよい。
【0064】
マイクロフォン８０は、収集した音を電気信号に変換する。マイクロフォン８０は、バス９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バス９４を介してＣＰＵ８８によって取得される。
【0065】
スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バス９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バス９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をユーザデバイス１４の外部に出力する。
【0066】
撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バス９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バス９４を介してＣＰＵ８８によって取得される。なお、例えば、視聴者２８が撮像装置８４を用いてサッカー競技場２２内（例えば、サッカーフィールド２４上の領域）を撮像する場合、撮像装置８４によって撮像されることで得られた画像も、撮像映像４６Ｂと共に、仮想視点画像の生成に用いられるようにしてもよい。
【0067】
通信Ｉ／Ｆ８６は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ８６は、バス９４に接続されている。通信Ｉ／Ｆ８６は、基地局２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置１２が挙げられる。
【0068】
一例として図５に示すように、情報処理装置１２において、ストレージ６０には、編集用プログラム６０Ａが記憶されている。ＣＰＵ５８は、ストレージ６０から編集用プログラム６０Ａを読み出し、読み出した編集用プログラム６０Ａをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する編集用プログラム６０Ａに従って、ユーザデバイス１４、撮像装置１６、及び無人航空機２７との間で各種情報の授受を行い、かつ、受像機３４に対する各種映像の送信を行う。なお、編集用プログラム６０Ａは、コンピュータ５０に処理を実行させるためのプログラムであって、本開示の技術に係る「プログラム」の一例である。また、コンピュータ５０は、本開示の技術に係る「コンピュータ」の一例である。
【0069】
ＣＰＵ５８は、ストレージ６０から編集用プログラム６０Ａを読み出し、読み出した編集用プログラム６０Ａをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する編集用プログラム６０Ａに従って取得部１０２、実行部１０４、制御部１０６、及び設定部１０８として動作することで、後述の仮想視点指定処理、仮想視点映像生成処理、サムネイル画像表示処理、及び編集処理を実行する。なお、以下では、説明の便宜上、仮想視点指定処理、仮想視点映像生成処理、サムネイル画像表示処理、及び編集処理を区別して説明する必要がない場合、「情報処理」と称する。
【0070】
ＣＰＵ５８は、情報処理を実行することで、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイ５３に表示する。
【0071】
ここで、仮想視点パスとは、複数の仮想視点を線状に連ねた集合とも言える。仮想視点とは、仮想的な人物の視点を指す。仮想視点画像は、仮想視点から観察された撮像領域の態様を示す画像である。仮想的な人物は、仮想カメラとして置き換えて考えることができる。物理カメラは、実際に物体として存在しており、視覚的に認識されるカメラであるのに対し、仮想カメラは、実際に物体として存在しているわけではなく、視覚的に認識されない仮想的なカメラである。よって、仮想視点とは、仮想カメラの位置とも言い換えることができる。この場合、仮想視点画像は、仮想カメラによって撮像されることがで得られる画像とも言える。
【0072】
また、参照用画像は、仮想視点映像を編集する際に参照される画像である。参照用画像の一例としては、仮想視点映像に含まれる仮想視点画像に基づいて生成されるサムネイル画像が挙げられる。なお、本実施形態では、サムネイル画像を例に挙げて説明するが、参照用画像はサムネイル画像に限定されず、仮想視点画像に相当する画像であればよく、サムネイル画像のように、仮想視点画像が縮小化されることで得られる画像であることが好ましい。
【0073】
一例として図６に示すように、情報処理装置１２において、制御部１０６は、ＧＵＩ制御を行う。制御部１０６は、ＧＵＩ制御を行うことで、受付デバイス５２によって受け付けられた指示に応じた処理を実行したり、受付デバイス５２によって受け付けられた指示に従ってディスプレイ５３に各種情報を表示させたりする。具体的には、制御部１０６は、受付デバイス５２によって受け付けられた指示に応じて、ディスプレイ５３に、動画編集用画面５３Ａを表示させる。そして、制御部１０６は、受付デバイス５２（例えば、マウス）が使用者によって操作されることで、情報処理装置１２によって動画編集に関する各種処理が実行されるように情報処理装置１２を制御する。
【0074】
動画編集用画面５３Ａには複数の表示領域が含まれている。複数の表示領域には、参照用領域５３Ａ１、編集領域５３Ａ２、及び配信用映像領域５３Ａ３が含まれている。
【0075】
編集領域５３Ａ２は、複数の映像（例えば、複数の仮想視点映像等）を編集する作業エリアである。配信用映像領域５３Ａ３には、編集領域５３Ａ２で編集されて得られた配信用映像が表示される。
【0076】
参照用領域５３Ａ１は、編集領域５３Ａ２で複数の映像を編集する際に参照される領域である。参照用領域５３Ａ１は、参照用映像表示領域５５及び操作パネル５７を備えている。参照用映像表示領域５５には、俯瞰映像４６Ａと参照用画像とが表示される。図６に示す例では、参照用映像表示領域５５に俯瞰映像４６Ａが表示されているが、参照用画像は表示されていない。ここで、俯瞰映像４６Ａは、本開示の技術に係る「基準画像」の一例である。なお、ここでは、俯瞰映像４６Ａを例示しているが、これはあくまでも一例に過ぎず、複数の撮像装置１６のうちの何れかによって撮像されることで得られた画像であってもよいし、複数の仮想視点映像のうちの基準となる仮想視点映像として定められた基準仮想視点映像であってもよい。
【0077】
また、「基準画像」は、リアルな映像に限らず、例えば人を塗りつぶした輪郭のみで表示する等の簡易的な表示であってもよい。また、図６では、サッカーフィールド２４を斜め上から見た俯瞰映像４６Ａを表示しているが、「基準画像」はこれに限られない。例えば、「基準画像」は、サッカーフィールド２４を上空から鉛直下方向に見下ろしたような映像であってもよいし、サッカーフィールド２４を地面と平行に横から見たような映像であってもよい。また、「基準画像」は、１つには限られず、例えば、サッカーフィールド２４を上空から鉛直下方に見下ろしたような映像と、サッカーフィールド２４を地面と平行に横から見たような映像との双方を表示してもよい。この場合、一方の映像で仮想視点パスの指定を行えば、他方の映像にも指定した仮想視点パスが反映されるようにするのが望ましい。
【0078】
操作パネル５７は、再生キー５７Ａ、停止キー５７Ｂ、早送りキー５７Ｃ、早戻しキー５７Ｄ、及びシークバー５７Ｅを有する。本実施形態において、再生とは、ストレージ６０等の記憶装置に記憶されている実映像そのもの、及び／又はストレージ６０等の記憶装置に記憶されている実映像に基づく画像をディスプレイ５３等に表示する処理を指す。ストレージ６０等の記憶装置に記憶されている実映像に基づく画像の再生の一例としては、参照用画像（例えば、サムネイル画像）の再生が挙げられる。
【0079】
再生キー５７Ａは、参照用領域５３Ａ１に表示される映像（例えば、俯瞰映像４６Ａ又は撮像映像４６Ｂ、及び参照用画像）の再生を開始する指示を受け付けるソフトキーである。再生キー５７Ａがオンされることによって、映像に含まれる複数の画像（静止画像）が時系列で既定の再生フレームレート（例えば、３０フレーム／秒）に従って再生される。停止キー５７Ｂは、映像の再生を停止する指示を受け付けるソフトキーである。映像が再生されている状態で停止キー５７Ｂがオンされることによって、映像の再生が停止する。早送りキー５７Ｃは、映像の再生を早送りする指示を受け付けるソフトキーである。早送りキー５７Ｃがオンされることによって、映像の再生が早送りされる。早戻しキー５７Ｄは、再生中の映像を早戻しする指示を受け付けるソフトキーである。早戻しキー５７Ｄがオンされることによって、再生中の映像が早戻しされる。
【0080】
シークバー５７Ｅは、本開示の技術に係る「インジケータ」の一例であり、映像の再生位置（例えば、俯瞰映像４６Ａの再生位置及び時系列上の複数の参照用画像の再生位置）を示すバーである。再生位置とは、映像が再生される再生総時間を示す時間軸上の位置を指す。より具体的に説明すると、再生位置とは、現時点で再生対象とされているフレーム画像が、映像を構成している複数のフレーム画像の時系列のうちの何れの時点のフレーム画像かを時間軸（例えば、シークバー５７Ｅ）上で特定可能な位置を指す。
【0081】
シークバー５７Ｅは、スライダ５７Ｅ１を有しており、スライダ５７Ｅ１は、仮想視点映像の再生が進むに従って、シークバー５７Ｅの再生開始位置である一端から、シークバー５７Ｅの再生終了位置である他端かけて（図６に示す例では、左端から右端かけて）移動する。また、シークバー５７Ｅ上の何れかがカーソル１１４等によってクリックされることで再生位置が指示されると、指示された再生位置にスライダ５７Ｅ１が移動する。そして、指示された再生位置に対応するフレーム画像がディスプレイ５３に表示される。
【0082】
なお、ここでは、シークバー５７Ｅを例示しているが、これに限らず、スライダ５７Ｅ１と同様に再生位置が指示可能なスライダ等を有する他形状（例えば、半環状）のインジケータであってもよく、シークバー５７Ｅと同様の機能を有する表示器であればよい。
【0083】
制御部１０６は、動画編集を開始する際に、例えば、動画編集用画面５３Ａ内にダイアログ１１０を表示させる。ダイアログ１１０は、仮想視点映像を生成するための仮想視点パスの指定を使用者に促す画面である。図６に示す例では、ダイアログ１１０に「仮想視点パスを指定して下さい。」というメッセージ、及び、仮想視点の指定を開始するための開始ボタン１１２が表示されている。使用者は、動画編集用画面５３Ａ中に表示されるカーソル１１４を、マウスの操作により開始ボタン１１２上に位置させた状態でクリック操作を行うことにより、仮想視点の指定を開始することができる。なお、ここでは、マウスの操作を例示しているが、これに限らず、マウスに代えて、又は、マウスと共に、キーボード及び／又はタッチパネル等のデバイスを使用してもよい。
【0084】
一例として図７に示すように、取得部１０２は、撮像装置１６から俯瞰映像４６Ａを取得する。設定部１０８は、使用者による仮想視点の指定を可能とするための仮想視点指定処理を行う。具体的に説明すると、設定部１０８は、制御部１０６に対してＧＵＩ制御を行わせることで、制御部１０６を介してディスプレイ５３に対して仮想視点指定用画面５３Ｂを表示させる。設定部１０８は、取得部１０２によって取得された俯瞰映像４６Ａを仮想視点指定用画面５３Ｂに表示させる。仮想視点指定用画面５３Ｂには、俯瞰映像４６Ａの表示領域とは異なる領域に、決定キー１１６及び取消キー１１８がソフトキーとして表示されている。使用者は、マウスの操作によりカーソル１１４を決定キー１１６又は取消キー１１８上に移動させた状態でクリック操作を行うことにより、仮想視点の位置の決定又は取消を行うことができる。
【0085】
使用者は、例えば、俯瞰映像４６Ａを参照しながら、受付デバイス５２の一例としてのマウスを操作することにより、仮想視点の指定（ここでは、一例として、位置及び視線方向の指定）を行うことができる。なお、仮想視点の指定に、仮想視点の画角の指定も含めることも可能であるが、以下では、説明の便宜上、画角は、予め定められた画角（例えば、９０度）であることを前提として説明する。
【0086】
設定部１０８は、受付デバイス５２によって受け付けられ指示に従って、俯瞰映像４６Ａ上に仮想視点パスＰを配置する。仮想視点パスＰの始点及び終点は、マウスのクリック操作で指定される。仮想視点パスＰの形状は、仮想視点パスＰの始点が指定されてから終点が指定されるまでの間にマウス等の操作によって描かれるスプライン曲線によって定められる。
【0087】
仮想視点パスＰのスプライン曲線の長さ及び形状は、仮想視点パスＰの始点及び終点が指定された後であっても、マウス等の操作が行われることで設定部１０８によって変更される。また、仮想視点パスＰの始点及び終点が指定された後であっても、仮想視点パスＰの位置も、マウス等の操作が行われることで設定部１０８によって変更される。すなわち、仮想視点パスＰの位置、長さ及び形状は、与えられた指示に応じて設定部１０８によって変更される。
【0088】
なお、ここでは、仮想視点パスＰの位置、長さ及び形状が変更される形態例を挙げているが、本開示の技術はこれに限らず、仮想視点パスＰの位置、長さ及び形状のうちの１つ、又は、２つが与えられた指示に応じて設定部１０８によって変更されるようにしてもよい。
【0089】
仮想視点パスＰの位置、長さ、及び形状は、決定キー１１６がオンされることで決定される。また、仮想視点パスＰがマウスのクリック操作等で選択された状態で取消キー１１８がオンされると、選択された状態の仮想視点パスＰが仮想視点指定用画面５３Ｂから消去される。
【0090】
設定部１０８は、俯瞰映像４６Ａ内において、複数の仮想視点パスＰを、外部から指定された位置に配置する。図８に示す例では、仮想視点指定用画面５３Ｂの俯瞰映像４６Ａ内に仮想視点パスＰ１、Ｐ２及びＰ３が配置されている。ここでは、仮想視点パスＰ１、Ｐ２及びＰ３という３つの仮想視点パスを例示しているが、本開示の技術はこれに限定されず、仮想視点パスは複数であればよい。なお、以下では、仮想視点パスＰ１、Ｐ２及びＰ３を区別して説明する必要がない場合、「仮想視点パスＰ」とも称する。
【0091】
一例として図８に示すように、仮想視点パスＰ１、Ｐ２及びＰ３は、俯瞰映像４６Ａ上において互いに異なる位置に配置されており、長さ及び形状も互いに異なっている。仮想視点パスＰ１は、始点Ｐ１ｓ及び終点Ｐ１ｅを有する。仮想視点パスＰ１は、仮想視点指定用画面５３Ｂにおいて始点Ｐ１ｓから終点Ｐ１ｅにかけて描かれたスプライン曲線によって形成されている。仮想視点パスＰ２は、始点Ｐ２ｓ及び終点Ｐ２ｅを有する。仮想視点パスＰ２は、仮想視点指定用画面５３Ｂにおいて始点Ｐ２ｓから終点Ｐ２ｅにかけて俯瞰映像４６Ａ上で描かれたスプライン曲線によって形成されている。仮想視点パスＰ３は、始点Ｐ３ｓ及び終点Ｐ３ｅを有する。仮想視点パスＰ３は、仮想視点指定用画面５３Ｂにおいて始点Ｐ３ｓから終点Ｐ３ｅにかけて俯瞰映像４６Ａ上で描かれたスプライン曲線によって形成されている。図８に示す例では、仮想視点パスＰ１、Ｐ２及びＰ３を同じ破線で表しているが、それぞれ異なる態様で表示されてもよい。例えば、仮想視点パスＰ１、Ｐ２及びＰ３をそれぞれ異なる色で表示してもよい。
【0092】
このように、俯瞰映像４６Ａ上に仮想視点パスＰ１、Ｐ２及びＰ３が描かれ、決定キー１１６がオンされると、設定部１０８は、仮想視点パスＰ１、Ｐ２及びＰ３を確定し、次いで、ディスプレイ５３に、注視点指定用画面５３Ｃを表示させる。
【0093】
注視点指定用画面５３Ｃは、注視点を指定するための画面である。注視点とは、仮想視点が注視する点である。よって、仮想視点から注視点への方向が視線方向となる。仮想視点パスＰには、複数の仮想視点が含まれているので、仮想視点パスＰに含まれる仮想視点の各々から注視点への複数の方向の各々が視線方向となる。
【0094】
注視点指定用画面５３Ｃには、俯瞰映像４６Ａが表示されており、設定部１０８によって確定された仮想視点パスＰ１、Ｐ２及びＰ３が俯瞰映像４６Ａに重畳された状態で表示されている。また、注視点指定用画面５３Ｃにも、仮想視点指定用画面５３Ｂと同様に、俯瞰映像４６Ａの表示領域とは異なる領域に、決定キー１１６及び取消キー１１８がソフトキーとして表示されている。使用者は、マウスの操作によりカーソル１１４を決定キー１１６又は取消キー１１８上に移動させた状態でクリック操作を行うことにより、注視点の位置の決定又は取消を行うことができる。
【0095】
注視点は、注視点パスＰＩによって定められる。注視点パスＰＩは、本開示の技術に係る「注視点情報」の一例であり、注視点の移動の軌跡を表している。注視点パスＰＩは、複数の注視点を線状に連ねた集合とも言える。設定部１０８は、受付デバイス５２によって受け付けられ指示に従って、注視点パスＰＩを生成し、生成した注視点パスＰＩを俯瞰映像４６Ａ内に配置する。注視点パスＰＩは始点ＰＩｓ及び終点ＰＩｅを有する。始点ＰＩｓ及び終点ＰＩｅは、例えば、マウスのクリック操作で指定される。注視点パスＰＩの形状は、始点ＰＩｓが指定されてから終点ＰＩｅが指定されるまでの間にマウス等の操作によって描かれるスプライン曲線によって定められる。注視点パスＰＩのスプライン曲線の長さ及び形状は、始点ＰＩｓ及び終点ＰＩｅが指定された後であっても、マウス等の操作によって変更可能である。
【0096】
注視点パスＰＩの位置、長さ、及び形状は、決定キー１１６がオンされることで決定される。また、注視点パスＰＩがマウスのクリック操作等で選択された状態で取消キー１１８がオンされると、選択された状態の注視点パスＰＩが注視点指定用画面５３Ｃから消去される。
【0097】
このように、俯瞰映像４６上に注視点パスＰＩが描かれ、決定キー１１６がオンされると、設定部１０８は、注視点パスＰＩ仮想視点パスＰ１、Ｐ２及びＰ３を確定し、次いで、ディスプレイ５３に、再生時間指定用画面５３Ｄ（図９参照）を表示させる。なお、ここでは注視点パスを１つのみ設けたが、注視点パスは複数設けてよい。例えば、仮想視点パスＰ１、Ｐ２及びＰ３のそれぞれに対して注視点パスを１つずつ設けてもよい。
【0098】
一例として図９に示すように、再生時間指定用画面５３Ｄには、仮想視点映像を再生する総時間（以下、「再生総時間」とも称する）の指定を促すメッセージが表示されている。ここで、仮想視点映像の再生の意味には、参照用画像の再生、すなわち、仮想視点映像に基づく画像（例えば、サムネイル画像）の再生の意味も含まれる。
【0099】
図９に示す例では、「撮像時間（仮想視点映像を再生する総時間）を指定して下さい。」というメッセージが示されている。また、再生時間指定用画面５３Ｄには、基準映像系サムネイル画像列が表示されている。基準映像系サムネイル画像列は、基準映像の一例である俯瞰映像４６Ａを構成している複数の撮像画像が縮小化された複数のサムネイル画像が時系列で直線状に並べられた集合である。基準映像系サムネイル画像列に含まれる複数のサムネイル画像は撮像時間と並行して表示されている。ここで、撮像時間とは、サムネイル画像に対応する撮像画像を得るための撮像が行われた時間である。
【0100】
一例として図１０に示すように、使用者は、マウス等を操作することによって、撮像時間及び基準映像系サムネイル画像列をカーソル１１４で切り取るようにして窓選択する。なお、窓選択された状態は、取消キー１１８がオンされることによって解除される。
【0101】
撮像時間及び基準映像系サムネイル画像列が窓選択された状態で決定キー１１６がオンされると、設定部１０８は、窓選択されている撮像時間を再生総時間として決定する。
【0102】
再生総時間が決定されると、設定部１０８は、仮想視点の位置（以下、「仮想視点位置」とも称する）、視線方向、及び再生時間を含む視点情報を仮想視点パスＰ毎に生成し、生成した視点情報を仮想視点パスＰ毎にメモリ６２に記憶させる。
【0103】
視点情報は、仮想視点映像に時系列で含まれるフレーム毎に定められる。仮想視点映像に含まれるフレーム数（以下、「仮想視点画像フレーム数」とも称する）は、注視点パスＰＩに含まれる複数の注視点のうち、仮想視点画像の生成に用いられる注視点の数に相当する。ここで、仮想視点画像の生成に用いられる注視点とは、仮想視点画像の生成に用いられる視線方向を定める注視点を指す。仮想視点画像の生成に用いられる注視点の数、すなわち、仮想視点画像フレーム数は、再生総時間が長くなるほど、多くなる。仮想視点画像フレーム数は、実映像フレームレート（ここでは、一例として、俯瞰映像４６Ａのフレームレート）及び再生総時間に応じて定まる。具体的には、実映像フレームレートに再生総時間を乗じることで、仮想視点画像フレーム数が定まる。
【0104】
一例として図１１に示すように、情報処理装置１２では、実行部１０４により、仮想視点映像生成処理が行われる。仮想視点映像生成処理は、視点情報を基準とした仮想視点映像を生成する処理である。取得部１０２は、複数の物理カメラから複数の実映像を取得する。実行部１０４は、仮想視点指定処理により生成された視点情報を、メモリ６２から取得する。そして、実行部１０４は、取得した視点情報を基準として、取得部１０２によって取得された複数の実映像に基づいて仮想視点映像を生成する。具体的には、実行部１０４は、複数の動画データに基づいて３Ｄポリゴンを生成することにより、視点情報により決定される視野範囲を表す仮想視点映像を生成する。仮想視点映像は、仮想視点位置から視線方向に撮像領域を観察した場合における仮想的な映像である。
【0105】
複数の仮想視点パスＰの各々についての視点情報がメモリ６２に記憶されている場合、実行部１０４は、仮想視点パスＰの各々について視点情報に含まれる仮想視点位置毎に、仮想視点画像を生成することで、仮想視点パスＰ毎に仮想視点映像を生成する。
【0106】
図１１に示す例では、仮想視点パスＰ１に対応する仮想視点映像４７Ａ、仮想視点パスＰ２に対応する仮想視点映像４７Ｂ、及び仮想視点パスＰ３に対応する仮想視点映像４７Ｃが示されている。仮想視点映像４７Ａは、仮想視点パスＰ１についての視点情報に含まれる仮想視点位置毎に時系列で生成された複数の仮想視点画像で構成された映像である。仮想視点映像４７Ｂは、仮想視点パスＰ２についての視点情報に含まれる仮想視点位置毎に時系列で生成された複数の仮想視点画像で構成された映像である。仮想視点映像４７Ｃは、仮想視点パスＰ３についての視点情報に含まれる仮想視点位置毎に時系列で生成された複数の仮想視点画像で構成された映像である。
【0107】
実行部１０４は、仮想視点映像生成処理によって仮想視点パスＰ毎に生成された仮想視点映像を、ストレージ６０に仮想視点パスＰ毎に記憶させる。この場合、実行部１０４は、仮想視点映像を構成している複数の仮想視点画像の各々に視点情報を付与する。すなわち、ストレージ６０には、仮想視点パスＰ毎に仮想視点映像が記憶されており、仮想視点映像を構成している複数の仮想視点画像の各々には視点情報が付与されている。
【0108】
一例として図１２に示すように、制御部１０６は、ＧＵＩ制御を行うことで、仮想視点パスＰ１、Ｐ２及びＰ３、並びに注視点パスＰＩを参照用映像表示領域５５内に俯瞰映像４６Ａに重畳させて表示する。ここで、俯瞰映像４６Ａに重畳される仮想視点パスＰ１、Ｐ２及びＰ３は、仮想視点指定用画面５３Ｂで決定された仮想視点パスＰ１、Ｐ２及びＰ３であり、俯瞰映像４６Ａに重畳される注視点パスＰＩは、注視点指定用画面５３Ｃで決定された注視点パスＰＩである。また、制御部１０６は、ＧＵＩ制御を行うことで、仮想視点映像の再生に伴って、シークバー５７Ｅ内のスライダ５７Ｅ１を、再生時間指定用画面５３Ｄで決定された再生総時間に合わせて移動させる。スライダ５７Ｅ１の移動速度は、実映像フレームレート及び再生総時間に応じて定まる。更に、制御部１０６は、ＧＵＩ制御を行うことで、シークバー５７Ｅの隣に再生総時間を数値で表示する。再生総時間を示す数値は、仮想視点映像の再生に伴ってカウントアップ又はカウントダウンされる。
【0109】
使用者は、マウス等を操作することで、仮想視点映像の再生位置（以下、単に「再生位置」とも称する）を指示する。再生位置を指示する方法のパターンとしては、例えば、シークバー５７Ｅの１点を指示するパターン（以下、「第１指示パタ―ン」とも称する）と、何れかの仮想視点パスＰ上の１点を指示するパターン（以下、「第２指示パターン」とも称する）とが挙げられる。
【0110】
第１指示パターンでは、例えば、シークバー５７Ｅ上の１点にカーソル１１４が置かれた状態でマウスがクリック操作されることで再生位置が指示される。なお、スライダ５７Ｅ１の位置をずらすことで、ずらした先の位置が再生位置として指示されるようにしてもよい。
【0111】
シークバー５７Ｅ上の１点がマウスのクリック操作で指示されると、仮想視点パスＰ１、Ｐ２及びＰ３の各々に対応付けられている各仮想視点映像を構成している複数の仮想視点画像のうち、シークバー５７Ｅ上で指示された１点に対応する再生時間を含む視点情報から特定される仮想視点画像が実行部１０４によって再生対象として指定される。
【0112】
第２指示パターンでは、参照用映像表示領域５５内に表示されている仮想視点パスＰ上の１点にカーソル１１４が置かれた状態でマウスがクリック操作されることで再生位置が指示される。このように、仮想視点パスＰ上の１点が再生位置として指示されると、指示された１点に対応する仮想視点位置（例えば、指定された１点に最も近い仮想視点位置）を含む視点情報から特定される仮想視点画像が実行部１０４によって再生対象として指定される。
【0113】
図１２に示す例では、仮想視点パスＰ３上の１点にカーソル１１４が置かれた状態が示されている。この状態で、マウスがクリック操作されると、仮想視点パスＰ３上の１点が再生位置として指示される。これにより、仮想視点パスＰ３に対応付けられている仮想視点映像を構成している複数の仮想視点画像のうち、仮想視点パスＰ３上で指示された１点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部１０４によって再生対象として指定される。
【0114】
このように、仮想視点パスＰ３上の１点が再生位置として指示されると、仮想視点パスＰ１上の１点及び仮想視点パスＰ２上の１点も、再生位置として指示される。ここで、仮想視点パスＰ１及びＰ２上で指示される再生位置は、仮想視点パスＰ３上で指示された再生位置に対応する仮想視点位置を含む視点情報に含まれる再生時間と同じ再生時間を含む視点情報に対応している。
【0115】
仮想視点パスＰ１及びＰ２についても、仮想視点パスＰ３と同様に、指示された１点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部１０４によって再生対象として指定される。すなわち、仮想視点パスＰ１に対応付けられている仮想視点映像を構成している複数の仮想視点画像のうち、仮想視点パスＰ１上で指示された１点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部１０４によって再生対象として指定される。また、仮想視点パスＰ２に対応付けられている仮想視点映像を構成している複数の仮想視点画像のうち、仮想視点パスＰ２上で指示された１点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部１０４によって再生対象として指定される。
【0116】
一例として図１３に示すように、実行部１０４は、使用者によって指示された再生位置に対応する視点情報を仮想視点パスＰ毎にメモリ６２から取得し、取得した視点情報に対応する仮想視点画像を仮想視点パスＰ毎にストレージ６０から取得する。
【0117】
実行部１０４は、仮想視点パスＰ１について、ストレージ６０から取得した仮想視点画像を縮小化することでサムネイル画像４８Ｐ１を生成する。サムネイル画像４８Ｐ１は、仮想視点パスＰ１に含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置に対応付けられている。図１３に示す例では、仮想視点パスＰ１に含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置からサムネイル画像４８Ｐ１がポップアップされている態様が示されている。
【0118】
実行部１０４は、仮想視点パスＰ２について、ストレージ６０から取得した仮想視点画像を縮小化することでサムネイル画像４８Ｐ２を生成する。サムネイル画像４８Ｐ２は、仮想視点パスＰ２に含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置に対応付けられている。図１３に示す例では、仮想視点パスＰ２に含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置からサムネイル画像４８Ｐ２がポップアップされている態様が示されている。
【0119】
実行部１０４は、仮想視点パスＰ３について、ストレージ６０から取得した仮想視点画像を縮小化することでサムネイル画像４８Ｐ３を生成する。サムネイル画像４８Ｐ３は、仮想視点パスＰ３に含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置に対応付けられている。図１３に示す例では、仮想視点パスＰ３に含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置からサムネイル画像４８Ｐ３がポップアップされている態様が示されている。
【0120】
一例として図１４に示すように、制御部１０６は、ＧＵＩ制御を行うことで、俯瞰映像４６Ａと、仮想視点パスＰ１、Ｐ２及びＰ３と、実行部１０４によって生成されたサムネイル画像４８Ｐ１、４８Ｐ２及び４８Ｐ３とを参照用映像表示領域５５に表示する。また、制御部１０６は、ＧＵＩ制御を行うことで、仮想視点パスＰ１、Ｐ２及びＰ３、並びに実行部１０４によって生成されたサムネイル画像４８Ｐ１、４８Ｐ２及び４８Ｐ３を、俯瞰映像４６Ａ内に表示させる。
【0121】
図１４に示す例では、仮想視点パスＰ１に含まれる複数の仮想視点位置のうち、シークバー５７Ｅ上でスライダ５７Ｅ１によって指示されている再生位置に対応する仮想視点位置からサムネイル画像４８Ｐ１が吹き出し形式でポップアップ表示されている。また、図１４に示す例では、仮想視点パスＰ２に含まれる複数の仮想視点位置のうち、シークバー５７Ｅ上でスライダ５７Ｅ１によって指示されている再生位置に対応する仮想視点位置からサムネイル画像４８Ｐ２が吹き出し形式でポップアップ表示されている。更に、図１４に示す例では、仮想視点パスＰ３に含まれる複数の仮想視点位置のうち、シークバー５７Ｅ上でスライダ５７Ｅ１によって指示されている再生位置に対応する仮想視点位置からサムネイル画像４８Ｐ３が吹き出し形式でポップアップ表示されている。
【0122】
また、制御部１０６は、ＧＵＩ制御を行うことで、参照用映像表示領域５５内で、シークバー５７Ｅを再生位置の前後で異なる態様にして表示させている。図１４に示す例では、シークバー５７Ｅが、スライダ５７Ｅ１の前後で異なる態様で表示されている。具体的には、スライダ５７Ｅ１の位置よりも時間的に前の再生位置を示す領域は塗り潰されているのに対し、スライダ５７Ｅ１の位置よりも時間的に後の再生位置を示す領域は塗り潰されていない。
【0123】
また、制御部１０６は、ＧＵＩ制御を行うことで、与えられた指示に応じて、シークバー５７Ｅにより示される再生位置を変更する。例えば、使用者がシークバー５７Ｅ上でのスライダ５７Ｅ１の位置をマウスの操作等を行うことで変更した場合、シークバー５７Ｅにより示される再生位置は変更される。これに伴って、実行部１０４は、変更後の再生位置に対応する視点情報から特定される仮想視点画像に基づいてサムネイル画像４８Ｐ１、４８Ｐ２及び４８Ｐ３を生成する。以下では、説明の便宜上、再生位置に対応する視点情報から特定される仮想視点画像に基づいて生成されるサムネイル画像を、「再生位置に対応するサムネイル画像」とも称する。
【0124】
また、制御部１０６は、ＧＵＩ制御を行うことで、俯瞰映像４６Ａ上でサムネイル画像４８Ｐ１、４８Ｐ２又は４８Ｐ３を移動させる操作に応じて再生位置を変更する。すなわち、サムネイル画像４８Ｐ１、４８Ｐ２及び４８Ｐ３のうちの何れかをドラッグ操作等で移動させると、シークバー５７Ｅにより示される再生位置が制御部１０６によって変更される。そして、変更後の再生位置に対応する視点情報から特定される仮想視点画像に基づいてサムネイル画像４８Ｐ１、４８Ｐ２及び４８Ｐ３が実行部１０４によって生成される。なお、ここで、サムネイル画像４８Ｐ１の移動とは、仮想視点パスＰ１上でのサムネイル画像４８Ｐ１の移動を指し、サムネイル画像４８Ｐ２の移動とは、仮想視点パスＰ２上でのサムネイル画像４８Ｐ２の移動を指し、サムネイル画像４８Ｐ３の移動とは、仮想視点パスＰ３上でのサムネイル画像４８Ｐ３の移動を指す。
【0125】
また、制御部１０６は、シークバー５７Ｅにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像４８Ｐ１、４８Ｐ２及び４８Ｐ３を参照用映像表示領域５５に表示する。
【0126】
また、制御部１０６は、シークバー５７Ｅにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像４８Ｐ１を、変更前の再生位置に対応するサムネイル画像４８Ｐ１と異なる位置に表示させる。また、制御部１０６は、シークバー５７Ｅにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像４８Ｐ２を、変更前の再生位置に対応するサムネイル画像４８Ｐ２と異なる位置に表示させる。また、制御部１０６は、シークバー５７Ｅにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像４８Ｐ３を、変更前の再生位置に対応するサムネイル画像４８Ｐ３と異なる位置に表示させる。
【0127】
また、制御部１０６は、サムネイル画像４８Ｐ１を、仮想視点パスＰ１に対して１つのみ表示させ、サムネイル画像４８Ｐ２を、仮想視点パスＰ２に対して１つのみ表示させ、サムネイル画像４８Ｐ３を、仮想視点パスＰ２に対して１つのみ表示させる。
【0128】
変更後の再生位置に対応するサムネイル画像４８Ｐ１が実行部１０４によって生成された場合、実行部１０４は、再生位置が変更される前のサムネイル画像４８Ｐ１と仮想視点パスＰ１との対応付け状態を解除する。また、実行部１０４は、変更後の再生位置に対応するサムネイル画像４８Ｐ１を、仮想視点パスＰ１に含まれる複数の仮想視点位置のうち、変更後の再生位置に対応する視点情報に含まれる仮想視点位置に対応付ける。制御部１０６は、ＧＵＩ制御を行うことで、再生位置が変更される前のサムネイル画像４８Ｐ１を参照用映像表示領域５５から消去する。そして、制御部１０６は、ＧＵＩ制御を行うことで、仮想視点パスＰ１に含まれる複数の仮想視点位置のうち、シークバー５７Ｅ上でスライダ５７Ｅ１によって指示されている再生位置に対応する仮想視点位置から、変更後の再生位置に対応するサムネイル画像４８Ｐ１を吹き出し形式でポップアップ表示する。すなわち、制御部１０６は、仮想視点パスＰ１に沿って、サムネイル画像４８Ｐ１を表示させる。
【0129】
変更後の再生位置に対応するサムネイル画像４８Ｐ２が実行部１０４によって生成された場合、実行部１０４は、再生位置が変更される前のサムネイル画像４８Ｐ２と仮想視点パスＰ２との対応付け状態を解除する。また、実行部１０４は、変更後の再生位置に対応するサムネイル画像４８Ｐ２を、仮想視点パスＰ２に含まれる複数の仮想視点位置のうち、変更後の再生位置に対応する視点情報に含まれる仮想視点位置に対応付ける。制御部１０６は、ＧＵＩ制御を行うことで、再生位置が変更される前のサムネイル画像４８Ｐ２を参照用映像表示領域５５から消去する。そして、制御部１０６は、ＧＵＩ制御を行うことで、仮想視点パスＰ２に含まれる複数の仮想視点位置のうち、シークバー５７Ｅ上でスライダ５７Ｅ１によって指示されている再生位置に対応する仮想視点位置から、変更後の再生位置に対応するサムネイル画像４８Ｐ２を吹き出し形式でポップアップ表示する。すなわち、制御部１０６は、仮想視点パスＰ２に沿って、サムネイル画像４８Ｐ２を表示させる。
【0130】
変更後の再生位置に対応するサムネイル画像４８Ｐ３が実行部１０４によって生成された場合、実行部１０４は、再生位置が変更される前のサムネイル画像４８Ｐ３と仮想視点パスＰ３との対応付け状態を解除する。また、実行部１０４は、変更後の再生位置に対応するサムネイル画像４８Ｐ３を、仮想視点パスＰ３に含まれる複数の仮想視点位置のうち、変更後の再生位置に対応する視点情報に含まれる仮想視点位置に対応付ける。制御部１０６は、ＧＵＩ制御を行うことで、再生位置が変更される前のサムネイル画像４８Ｐ３を参照用映像表示領域５５から消去する。そして、制御部１０６は、ＧＵＩ制御を行うことで、仮想視点パスＰ３に含まれる複数の仮想視点位置のうち、シークバー５７Ｅ上でスライダ５７Ｅ１によって指示されている再生位置に対応する仮想視点位置から、変更後の再生位置に対応するサムネイル画像４８Ｐ３を吹き出し形式でポップアップ表示する。すなわち、制御部１０６は、仮想視点パスＰ３に沿って、サムネイル画像４８Ｐ３を表示させる。
【0131】
制御部１０６は、ＧＵＩ制御を行うことで、編集領域５３Ａ２に、基準映像系サムネイル画像列及び仮想視点映像系サムネイル画像列を再生総時間と対比可能に表示する。仮想視点映像系サムネイル画像列は、仮想視点映像を構成している複数の仮想視点画像が縮小化された複数のサムネイル画像が時系列で直線状に並べられた集合である。
【0132】
図１４に示す例では、編集領域５３Ａ２に「仮想視点パスごとに得られた仮想視点映像を表示しています。」というメッセージが表示されており、このメッセージの下に、基準映像系サムネイル画像列及び複数の仮想視点映像系サムネイル画像列が再生総時間と対比可能に表示されている。なお、図１４に示す例では、３つの仮想視点映像系サムネイル画像列が示されているが、これはあくまでも一例に過ぎず、参照用映像表示領域５５に表示されている仮想視点パスＰの数と同数の仮想視点映像系サムネイル画像列が編集領域５３Ａ２に表示されていればよい。
【0133】
基準映像系サムネイル画像列に含まれる複数のサムネイル画像、及び仮想視点映像系サムネイル画像列に含まれる複数のサムネイル画像は、時系列で配置されており、再生時間毎に対比可能に並べて表示されている。図１４に示す例では、仮想視点映像系サムネイル画像列に含まれる複数のサムネイル画像の一例として、仮想視点パスＰ１に基づいて生成された仮想視点映像に対応する複数のサムネイル画像４８Ｐ１と、仮想視点パスＰ２に基づいて生成された仮想視点映像に対応する複数のサムネイル画像４８Ｐ２と、仮想視点パスＰ３に基づいて生成された仮想視点映像に対応する複数のサムネイル画像４８Ｐ３と、が示されている。
【0134】
一例として図１５に示すように、制御部１０６は、ＧＵＩ制御を行うことで、編集領域５３Ａ２に表示された仮想視点映像系サムネイル画像列に対しての使用者によるトリミング操作に応じて、トリムマーカＴ１及びＴ２を表示する。トリムマーカＴ１は、トリムの開始位置を表す。トリムマーカＴ２は、トリムの終了位置を表す。使用者は、仮想視点映像系サムネイル画像列のうちのトリムマーカＴ１及びＴ２で規定される部分を、配信用映像の作成領域１５Ａ２ａに対してドラッグアンドドロップすることにより、使用者が意図する部分を抽出することができる。
【0135】
実行部１０４は、トリミング操作に応じて選択処理を実行し、ドラッグアンドドロップに応じて結合処理を実行する。選択処理は、仮想視点映像系サムネイル画像列に対してトリミング操作が行われることにより仮想視点映像系サムネイル画像列から切り取られた複数のサムネイル画像に対応する複数の仮想視点画像を、ストレージ６０内の複数の仮想視点映像から選択する処理である。結合処理は、選択処理によって選択された複数の仮想視点画像を時系列で結合することにより配信用映像を生成する処理である。実行部１０４は、配信用映像に基づき動画ファイルを生成し、生成した動画ファイルをストレージ６０に記憶させる。また、ストレージ６０内の動画ファイルは、実行部１０４によって、ユーザデバイス１４及び受像機３４などに提供される。
【0136】
一例として図１６に示すように、制御部１０６は、ＧＵＩ制御を行うことで、ストレージ６０内の動画ファイルに基づいて配信用映像を配信用映像領域５３Ａ３に表示する。図１６に示す例では、参照用領域５３Ａ１の操作パネル５７と同様に、配信用映像領域５３Ａ３に操作パネル５９が設けられている。操作パネル５７は、参照用領域５３Ａ１に表示される映像に対して用いられるのに対し、操作パネル５９は、配信用映像領域５３Ａ３に表示される配信用映像に対して用いられる。操作パネル５９は、配信用映像領域５３Ａ３に表示される配信用映像に対して適用されるシークバー５９Ａ等を備えている。
【0137】
次に、情報処理システム１０の作用について説明する。
【0138】
先ず、情報処理装置１２のＣＰＵ５８によって実行される仮想視点指定処理の流れの一例について図１７を参照しながら説明する。
【0139】
図１７に示す仮想視点指定処理では、ステップＳＴ１０で、取得部１０２は、俯瞰映像４６Ａを取得し、その後、仮想視点指定処理はステップＳＴ１２へ移行する。
【0140】
ステップＳＴ１２で、制御部１０６は、ステップＳＴ１０で取得された俯瞰映像４６Ａをディスプレイ５３に表示し、その後、仮想視点指定処理はステップＳＴ１４へ移行する。
【0141】
ステップＳＴ１４で、設定部１０８は、使用者等による仮想視点パスＰ及び注視点パスＰＩの指定操作を受け付け、その後、仮想視点指定処理はステップＳＴ１６へ移行する。
【0142】
ステップＳＴ１６で、設定部１０８は、決定キー１１６がオンされることによって仮想視点パスＰ及び注視点パスＰＩが確定されたか否かを判定する。ステップＳＴ１６において、仮想視点パスＰ及び注視点パスＰＩが確定されていない場合は、判定が否定されて、ステップＳＴ１６の判定が再び行われる。ステップＳＴ１６において、仮想視点パスＰ及び注視点パスＰＩが確定された場合は、判定が肯定されて、仮想視点指定処理はステップＳＴ１８へ移行する。
【0143】
ステップＳＴ１８で、設定部１０８は、ステップＳＴ１６で確定された仮想視点パスＰ毎に視点情報を生成し、その後、仮想視点指定処理はステップＳＴ２０へ移行する。
【0144】
ステップＳＴ２０で、設定部１０８は、ステップＳＴ１８で生成した視点情報を仮想視点パスＰ毎にメモリ６２に記憶させ、その後、仮想視点指定処理はステップＳＴ２２へ移行する。
【0145】
ステップＳＴ２２で、設定部１０８は、仮想視点指定処理を終了させる条件（以下、「仮想視点指定処理終了条件」とも称する）を満足したか否かを判定する。仮想視点指定処理終了条件の一例としては、情報処理装置１２に対して、仮想視点指定処理を終了させる指示が与えられた、との条件が挙げられる。仮想視点指定処理を終了させる指示は、例えば、受付デバイス５２によって受け付けられる。ステップＳＴ２２において、仮想視点指定処理終了条件を満足していない場合は、判定が否定されて、仮想視点指定処理はステップＳＴ１０へ移行する。ステップＳＴ２２において、仮想視点指定処理終了条件を満足した場合は、判定が肯定されて、仮想視点指定処理が終了する。
【0146】
次に、情報処理装置１２のＣＰＵ５８によって実行される仮想視点映像生成処理の流れの一例について図１８を参照しながら説明する。
【0147】
図１８に示す仮想視点映像生成処理では、先ず、ステップＳＴ５０で、取得部１０２は、複数の物理カメラから複数の実映像を取得し、その後、仮想視点映像生成処理はステップＳＴ５２へ移行する。
【0148】
ステップＳＴ５２で、実行部１０４は、メモリ６２から仮想視点パスＰ毎の視点情報を取得し、その後、仮想視点映像生成処理はステップＳＴ５４へ移行する。
【0149】
ステップＳＴ５４で、実行部１０４は、ステップＳＴ５２で取得された視点情報に基づいて仮想視点パスＰ毎に仮想視点映像を生成し、その後、仮想視点映像生成処理はステップＳＴ５６へ移行する。
【0150】
ステップＳＴ５６で、実行部１０４は、ステップＳＴ５４で仮想視点パスＰ毎に生成された仮想視点映像を仮想視点パスＰ毎にストレージ６０に記憶させる。また、実行部１０４は、仮想視点映像を構成している複数の仮想視点画像の各々に視点情報を付与する。ステップＳＴ５６の処理が実行された後、仮想視点映像生成処理が終了する。
【0151】
次に、情報処理装置１２のＣＰＵ５８によって実行されるサムネイル画像表示処理の流れの一例について図１９を参照しながら説明する。
【0152】
図１９に示すサムネイル画像表示処理では、先ず、ステップＳＴ１００で、実行部１０４は、シークバー５７Ｅ上の１点又は仮想視点パスＰ上の１点に対するクリック操作等によって仮想視点映像の再生位置が指示されたか否かを判定する。ステップＳＴ１００において、仮想視点映像の再生位置が指示されていない場合は、判定が否定されて、サムネイル画像表示処理はステップＳＴ１１２へ移行する。ステップＳＴ１００において、仮想視点映像の再生位置が指示された場合は、判定が肯定されて、サムネイル画像表示処理はステップＳＴ１０２へ移行する。
【0153】
ステップＳＴ１０２で、実行部１０４は、ステップＳＴ１００で指示された再生位置が新たに指示された再生位置か否かを判定する。ステップＳＴ１０２において、ステップＳＴ１００で指示された再生位置が新たに指示された再生位置でない場合は、判定が否定されて、サムネイル画像表示処理はステップＳＴ１１２へ移行する。ステップＳＴ１０２において、ステップＳＴ１００で指示された再生位置が新たに指示された再生位置の場合は、判定が肯定されて、サムネイル画像表示処理はステップＳＴ１０４へ移行する。
【0154】
ステップＳＴ１０４で、実行部１０４は、メモリ６２から、ステップＴ１００で指示された再生位置に対応する視点情報を仮想視点パスＰ毎に取得し、その後、サムネイル画像表示処理はステップＳＴ１０６へ移行する。
【0155】
ステップＳＴ１０６で、実行部１０４は、ストレージ６０から、ステップＳＴ１０４で取得された視点情報に対応する仮想視点画像を仮想視点パスＰ毎に取得し、その後、サムネイル画像表示処理はステップＳＴ１０８へ移行する。
【0156】
ステップＳＴ１０８で、実行部１０４は、ステップＳＴ１０６で取得された仮想視点画像に基づくサムネイル画像を仮想視点パスＰ毎に生成し、その後、サムネイル画像表示処理はステップＳＴ１１０へ移行する。
【0157】
ステップＳＴ１１０で、制御部１０６は、仮想視点パスＰを参照用映像表示領域５５に表示し、かつ、仮想視点パスＰに含まれる複数の仮想視点位置のうち、ステップＳＴ１００で指示された再生位置に対応する仮想視点位置にサムネイル画像を対応付けて表示し、その後、サムネイル画像表示処理はステップＳＴ１１２へ移行する。
【0158】
ステップＳＴ１１２で、制御部１０６は、サムネイル画像表示処理を終了させる条件（以下、「サムネイル画像表示処理終了条件」とも称する）を満足したか否かを判定する。サムネイル画像表示処理終了条件の一例としては、情報処理装置１２に対して、サムネイル画像表示処理を終了させる指示が与えられた、との条件が挙げられる。サムネイル画像表示処理を終了させる指示は、例えば、受付デバイス５２によって受け付けられる。ステップＳＴ１１２において、サムネイル画像表示処理終了条件を満足していない場合は、判定が否定されて、サムネイル画像表示処理はステップＳＴ１００へ移行する。ステップＳＴ１１２において、サムネイル画像表示処理終了条件を満足した場合は、判定が肯定されて、サムネイル画像表示処理が終了する。
【0159】
次に、情報処理装置１２のＣＰＵ５８によって実行される編集処理の流れの一例について図２０を参照しながら説明する。
【0160】
図２０に示す編集処理では、先ず、ステップＳＴ１５０で、実行部１０４は、選択処理を実行する。すなわち、実行部１０４は、仮想視点映像系サムネイル画像列に対してトリミング操作が行われることにより仮想視点映像系サムネイル画像列から切り取られた複数のサムネイル画像に対応する複数の仮想視点画像を、ストレージ６０内の複数の仮想視点映像から選択する。ステップＳＴ１５０の処理が実行された後、編集処理はステップＳＴ１５２へ移行する。
【0161】
ステップＳＴ１５２で、実行部１０４は、結合処理を実行する。すなわち、実行部１０４は、ステップＳＴ１５０で選択した複数の仮想視点画像を時系列で結合することにより配信用映像を生成する。ステップＳＴ１５２の処理が実行された後、編集処理はステップＳＴ１５４へ移行する。
【0162】
ステップＳＴ１５４で、実行部１０４は、ステップＳＴ１５２で生成した配信用映像に基づき動画ファイルを生成し、生成した動画ファイルをストレージ６０に記憶させる。ステップＳＴ１５４の処理が実行された後、編集処理が終了する。ステップＳＴ１５４の処理が実行されることによってストレージ６０に動画ファイルが記憶されると、制御部１０６は、ストレージ６０から動画ファイルを読み出し、読み出した動画ファイルに基づいて配信用映像を配信用映像領域５３Ａ３に表示する。
【0163】
以上説明したように、情報処理装置１２では、俯瞰映像４６Ａと、俯瞰映像４６Ａ内に配置された複数の仮想視点パスＰと、仮想視点映像の再生位置を示すシークバー５７Ｅと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスＰの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づくサムネイル画像と、がディスプレイ５３に表示される。従って、本構成によれば、複数の仮想視点パスＰにおける同一の再生位置のサムネイル画像を比較することができる。
【0164】
なお、俯瞰映像４６Ａと、俯瞰映像４６Ａ内に配置された複数の仮想視点パスＰと、仮想視点映像の再生位置を示すシークバー５７Ｅと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスＰの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づくサムネイル画像と、がディスプレイ５３に表示される、という構成に限定される必要はない。また、この構成以外の構成も必要に応じて削除したり追加したりしてもよい。
【0165】
また、情報処理装置１２では、俯瞰映像４６Ａ内において、複数の仮想視点パスＰが、指示された位置に配置される。従って、本構成によれば、使用者が意図する位置に複数の仮想視点パスＰを配置することができる。なお、本開示の技術はこれに限定されず、複数の仮想視点パスＰが、指示された位置に配置されなくてもよい。例えば、少なくとも１つの仮想視点パスＰが、指示された位置に配置され、残りの仮想視点パスＰは、指示された位置に配置されなくてもよい。
【0166】
また、情報処理装置１２では、与えられた指示に応じて、シークバー５７Ｅにより示される再生位置が変更される。従って、本構成によれば、使用者は再生位置を変更しながら複数の仮想視点パスＰのサムネイル画像を比較することができる。
【0167】
また、情報処理装置１２では、再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像がディスプレイ５３に表示される。従って、本構成によれば、再生位置が変更された場合であっても、使用者は、再生位置とサムネイル画像との位置関係を把握することができる。
【0168】
また、情報処理装置１２では、再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像が、変更前の再生位置に対応するサムネイル画像と異なる位置に表示される。従って、本構成によれば、使用者に対して、再生位置の変更前後でのサムネイル画像の位置関係を視覚的に認識させることができる。
【0169】
また、情報処理装置１２では、サムネイル画像が複数の仮想視点パスＰの各々に対して１つのみ表示される。従って、本構成によれば、複数の仮想視点パスＰの各々に対して複数のサムネイル画像が表示される場合に比べ、何れの仮想視点パスＰに対して何れのサムネイル画像が対応しているかを視覚的に把握し易くなる。
【0170】
また、情報処理装置１２では、俯瞰映像４６Ａ上でサムネイル画像を移動させる操作に応じて再生位置が変更される。従って、本構成によれば、サムネイル画像を移動させた場合であっても、サムネイル画像と再生位置との対応関係を維持することができる。
【0171】
また、情報処理装置１２では、与えられた指示に応じて、仮想視点パスＰの位置、長さ、及び形状のうちの少なくとも１つが変更される。従って、本構成によれば、使用者の意図が反映された仮想視点パスＰを作成することができる。
【0172】
また、情報処理装置１２では、シークバー５７Ｅが、再生位置の前後で異なる態様で表示される。従って、本構成によれば、シークバー５７Ｅでの再生位置を視覚的に把握することができる。なお、ここでは、シークバー５７Ｅを再生位置の前後で異なる態様にして表示させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部１０６は、ＧＵＩ制御を行うことで、仮想視点パスＰを、再生位置（例えば、サムネイル画像が対応付けられている仮想視点位置）の前後で異なる態様にして表示させるようにしてもよい。例えば、再生位置の前のエリアを太線とし、再生位置の後のエリアを細線とする。これにより、仮想視点パスＰでの再生位置を視覚的に把握することができる。また、制御部１０６は、シークバー５７Ｅ及び仮想視点パスＰの各々を、再生位置の前後で異なる態様にして表示させるようにしてもよい。これにより、シークバー５７Ｅ及び仮想視点パスＰでの再生位置を視覚的に把握することができる。
【0173】
また、情報処理装置１２では、与えられた指示に応じて、複数の仮想視点パスＰの各々に含まれる仮想視点の各々が注視する注視点を表す注視点パスＰＩが生成される。従って、本構成によれば、複数の仮想視点パスＰに対して共通の注視点を、使用者が意図する箇所に設定することができる。
【0174】
また、情報処理装置１２では、複数の仮想視点パスＰとサムネイル画像とが、１つの俯瞰映像４６Ａ内に表示される。従って、本構成によれば、俯瞰映像４６Ａ内での複数の仮想視点パスＰとサムネイル画像との位置関係を把握することができる。
【0175】
更に、情報処理装置１２では、複数の仮想視点パスＰの各々について、仮想視点パスＰに沿って、仮想視点に対応するサムネイル画像が表示される。従って、本構成によれば、複数の仮想視点パスＰのうちのどの仮想位置に対応するサムネイル画像なのかを視覚的に把握することができる。
【0176】
なお、上記実施形態では、仮想視点映像系サムネイル画像列に対してトリミング操作が行われることにより仮想視点映像系サムネイル画像列から切り取られた複数のサムネイル画像に対応する複数の仮想視点画像が結合処理によって結合される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ＣＰＵ５８が、与えられた指示に応じて、複数の仮想視点パスＰの各々から一部を切り取って結合し、結合することで得たパスに基づき仮想視点映像を生成するようにしてもよい。
【0177】
この場合、例えば、図２１に示すように、制御部１０６は、仮想視点パスＰ１及び仮想視点パスＰ２に対しての使用者によるトリミング操作に応じて、上記実施形態で説明したトリムマーカＴ１及びＴ２を表示する。使用者は、仮想視点パスＰ１及び仮想視点パスＰ２のうちのトリムマーカＴ１及びＴ２で規定される部分を、例えば、配信用映像の作成領域に対してドラッグアンドドロップすることにより、使用者が意図する部分を抽出することができる。
【0178】
実行部１０４は、トリミング操作に応じて選択処理を実行し、ドラッグアンドドロップに応じて結合処理を実行する。図２１に示す例において、選択処理は、仮想視点パスＰ１及び仮想視点パスＰ２に対してトリミング操作が行われることにより仮想視点パスＰ１及び仮想視点パスＰ２から切り取られた仮想視点パスＰ１の断片及び仮想視点パスＰ２の断片に対応する複数の仮想視点画像を、ストレージ６０内の複数の仮想視点映像から選択する処理である。図２１に示す例において、結合処理は、選択処理によって選択された複数の仮想視点画像を時系列で結合することにより配信用映像を生成する処理である。図２１に示す選択処理及び結合処理は、本開示の技術に係る「選択結合処理」の一例である。図２１に示す構成例によれば、使用者が意図する仮想視点パスを用いて配信用映像を生成することができる。
【0179】
また、この場合においても、仮想視点パスＰ１と仮想視点パスＰ２とを異なる態様で表示してもよい。例えば、仮想視点パスＰ１と仮想視点パスＰ２とを異なる色で表示する。このようにすれば、仮想視点パスＰ１の断片及び仮想視点パスＰ２の断片が結合された場合であっても、それぞれがどのパスから切り取られたかが視覚的に把握可能となる。
【0180】
また、上記実施形態では、仮想視点パスＰに含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置からサムネイル画像４８Ｐ１が吹き出し形式でポップアップ表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２２に示すように、仮想視点パスＰに含まれる複数の仮想視点位置のうち、メモリ６２から取得した視点情報に含まれる仮想視点位置とサムネイル画像とを線で繋げ、仮想視点パスＰのうちの結線されている箇所に結線マーク（図２２に示す例では、丸状のマーク）を付すことで、仮想視点パスＰに含まれる仮想視点位置とサムネイル画像との位置関係を明確化するようにしてもよい。図２２に示す例では、仮想視点位置とサムネイル画像とを結ぶ線が直線であるが、仮想視点位置とサムネイル画像とを結ぶ線は曲線であってもよい。
【0181】
図２２に示す例では、サムネイル画像４８Ｐ２が仮想視点パスＰ１側ではなく、仮想視点パスＰ３側に配置されている。そのため、サムネイル画像４８Ｐ２が仮想視点パスＰ２に線で繋げられ、サムネイル画像４８Ｐ３が仮想視点パスＰ３に線で繋げられていたとしても、俯瞰映像４６Ａの状態及び／又は使用者の見方次第で、サムネイル画像４８Ｐ２が仮想視点パスＰ３に対応しており、サムネイル画像４８Ｐ３が仮想視点パスＰ２に対応していると誤認される虞がある。
【0182】
そこで、制御部１０６は、隣り合う２つの仮想視点パスＰに対する２つのサムネイル画像４８Ｐ２を、隣り合う２つの仮想視点パスＰの相対位置（以下、単に「相対位置」とも称する）に応じて表示するようにしてもよい。この場合、例えば、制御部１０６は、仮想視点パスＰの本数、隣り合う仮想視点パスＰ間の距離、隣り合う２つの仮想視点パスＰのうちの一方に対応するサムネイル画像と他方に対応するサムネイル画像とが並走する区間、各仮想視点パスＰの向き、及びサムネイル画像の大きさ等に応じて定まる相対位置に基づいて、仮想視点パスＰ毎のサムネイル画像の表示位置を決定し、決定した表示位置にサムネイル画像を表示するようにすればよい。
【0183】
例えば、図２２に示すように、仮想視点パスＰ２と仮想視点パスＰ３との間でサムネイル画像４８Ｐ２及び４８Ｐ３が並走する区間で、サムネイル画像４８Ｐ２が仮想視点パスＰ３側に位置し、かつ、サムネイル画像４８Ｐ３が仮想視点パスＰ２側に位置することで、サムネイル画像４８Ｐ２とサムネイル画像４８Ｐ３とが互いに干渉し合う場合、一例として図２３に示すように、制御部１０６は、サムネイル画像４８Ｐ２を仮想視点パスＰ１側に表示する。これにより、複数の仮想視点パスの各々にサムネイル画像が対応付けられている場合であっても、何れかの仮想視点パスに何れのサムネイル画像が対応しているかを把握することができる。
【0184】
また、上記実施形態では、１つの俯瞰映像４６Ａ上に複数の仮想視点パスＰ及びサムネイル画像が表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部１０６は、撮像領域のうちの少なくとも一部を表す複数の基準画像の各々に、仮想視点パスＰ及びサムネイル画像を表示させるようにしてもよい。
【0185】
例えば、図２４Ａに示すように、仮想視点指定用画面５３Ｂには、撮像領域内の異なる部分（例えば、サッカーフィールド２４上の異なる部分）を示す複数の部分画像が表示されている。図２４Ａに示す例では、仮想視点指定用画面５３Ｂが４分割されて得られた４つの分割画面の各々に異なる部分画像が表示されている。４つの分割画面に表示される４つの部分画像は、本開示の技術に係る「複数の基準画像」の一例である。そして、設定部１０８は、与えられた指示に応じて、各分割画面内の部分画像上に仮想視点パスを設定する。設定された仮想視点パスは、制御部１０６によって部分画像上に表示される。また、上記実施形態と同様に、制御部１０６によって、一例として図２４Ｂに示すように、仮想視点パスに対応させてサムネイル画像が表示される。なお、図２４Ｂに示す例では、参照用映像表示領域５５に部分画像が表示されているが、これに限らず、上記実施形態と同様に、参照用映像表示領域５５に俯瞰映像４６Ａが表示されていてもよい。
【0186】
図２４Ａに示す例では、仮想視点指定用画面５３Ｂの正面視左上に表示されている部分画像上に仮想視点パスＰ４が設定部１０８によって設定される。設定部１０８によって設定された仮想視点パスＰ４は、制御部１０６によって、一例として図２４Ｂに示すように、仮想視点パスＰ４に対応するサムネイル画像４８Ｐ４と共に参照用映像表示領域５５に表示される。
【0187】
図２４Ａに示す例では、仮想視点指定用画面５３Ｂの正面視右上に表示されている部分画像上に仮想視点パスＰ５が設定部１０８によって設定される。設定部１０８によって設定された仮想視点パスＰ５は、制御部１０６によって、一例として図２４Ｂに示すように、仮想視点パスＰ５に対応するサムネイル画像４８Ｐ５と共に参照用映像表示領域５５に表示される。
【0188】
図２４Ａに示す例では、仮想視点指定用画面５３Ｂの正面視左下に表示されている部分画像上に仮想視点パスＰ６が設定部１０８によって設定される。設定部１０８によって設定された仮想視点パスＰ６は、制御部１０６によって、一例として図２４Ｂに示すように、仮想視点パスＰ６に対応するサムネイル画像４８Ｐ６と共に参照用映像表示領域５５に表示される。
【0189】
図２４Ａに示す例では、仮想視点指定用画面５３Ｂの正面視右下に表示されている部分画像上に仮想視点パスＰ７が設定部１０８によって設定される。設定部１０８によって設定された仮想視点パスＰ７は、制御部１０６によって、一例として図２４Ｂに示すように、仮想視点パスＰ７に対応するサムネイル画像４８Ｐ７と共に参照用映像表示領域５５に表示される。
【0190】
このように、複数の部分画像の各々に仮想視点パスＰ及びサムネイル画像を重畳表示させることで、何れの部分画像に対してどのような仮想視点パスＰ及びサムネイル画像が対応付けられているかを視覚的に把握することができる。なお、ここでは、複数の部分画像を例示しているが、これはあくまでも一例に過ぎず、複数の部分画像のうちの少なくとも１つを俯瞰映像４６Ａとしてもよい。また、図２４Ａ及び図２４Ｂに示す例では、４つの分割画面に表示される４つの部分画像をそれぞれ異なる画像としたが、一部が同じ画像であってもよいし、一例として図２４Ｃに示すように、全てが同じ画像であってもよい。また、参照用映像表示領域５５に表示される画像（俯瞰映像４６Ａ（図１２、図１４、図１６、図２２及び図２３参照）、部分画像、仮想視点パスＰ、注視点パスＩＰ１、及び／又は注視点パスＰＩ２，ＰＩ３，ＰＩ４（図２５参照））は、タッチパネルによる縮小表示指示（例えば、ピンチイン操作）、マウスによる縮小表示指示、及び／又はキーボードによる縮小表示指示等に従って制御部１０６によって縮小表示されるようにしてもよいし、タッチパネルによる拡大表示指示（例えば、ピンチアウト操作）、マウスによる拡大表示指示、及び／又はキーボードによる拡大表示指示等に従って制御部１０６によって拡大表示されるようにしてもよい。
【0191】
また、一例として図２４Ａに示すように、４つの部分画像のうちの１つに対して設定部１０８によって注視点パスＰＩが設定されるようにしてもよい。図２４Ａに示す例では、仮想視点指定用画面５３Ｂの正面視左上に表示されている部分画像上に注視点パスＰＩ１が設定部１０８によって設定される。設定部１０８によって設定された注視点パスＰＩ１は、制御部１０６によって、一例として図２４Ｂに示すように、参照用映像表示領域５５に表示される。
【0192】
仮想視点指定用画面５３Ｂの正面視左上に表示されている部分画像上に設定された注視点パスＰＩ１は、他の部分画像上に設定されている仮想視点パスＰ５、Ｐ６及びＰ７に対しても適用される。すなわち、仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７の視線方向は、仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７に含まれる各仮想視点位置と正面視左上に表示されている部分画像上に設定された注視点パスＰＩ１とに応じて定められる。
【0193】
また、一例として図２５に示すように、設定部１０８は、与えられた指示に応じて、基準画像内に注視点パスＰＩ１、ＰＩ２、ＰＩ３及びＰＩ４を配置するようにしてもよい。ここで、基準画像とは、４つの部分画像を指す。図２５に示す例では、仮想視点パスＰ４に対しては注視点パスＰＩ１が適用され、仮想視点パスＰ５に対しては注視点パスＰＩ２が適用され、仮想視点パスＰ６に対しては注視点パスＰＩ３が適用され、仮想視点パスＰ７に対しては注視点パスＰＩ４が適用される。
【0194】
図２５に示す例では、基準画像の一例として４つの部分画像が示されているが、これはあくまでも一例に過ぎず、上記実施形態と同様に、基準画像として俯瞰映像４６Ａを適用してもよいし、俯瞰映像４６Ａと部分画像とを併用してもよい。このように、与えられた指示に応じて、基準画像内に複数の注視点パスが配置されるので、１つの注視点パスのみが配置される場合に比べ、使用者は、視線方向を定める選択肢を増やすことができる。
【0195】
また、ＣＰＵ５８は、与えられた指示に応じて、同一の再生位置に対応する複数のサムネイル画像から１つのサムネイル画像を選択し、選択した１つのサムネイル画像に対応する注視点を基準注視点とし、非選択の他のサムネイル画像として、非選択の他のサムネイル画像に対応する仮想視点パスＰから基準注視点を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像を生成するようにしてもよい。以下、図２５に示す例を用いて具体的に説明する。
【0196】
一例として図２５に示すように、仮想視点指定用画面５３Ｂで仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７が設定部１０８によって設定され、かつ、注視点指定用画面５３Ｃで注視点パスＰＩ１、ＰＩ２、ＰＩ３及びＰＩ４が設定部１０８によって決定されると、制御部１０６は、仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７を参照用映像表示領域５５に表示し、仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７の各々に対してサムネイル画像を対応付けて参照用映像表示領域５５に表示する。注視点パスＰＩ１、ＰＩ２、ＰＩ３及びＰＩ４は、参照用映像表示領域５５に表示されてもよいし、表示されなくてもよい。
【0197】
仮想視点パスＰ４に対応して表示されるサムネイル画像、仮想視点パスＰ５に対応して表示されるサムネイル画像、仮想視点パスＰ６に対応して表示されるサムネイル画像、及び仮想視点パスＰ７に対応して表示されるサムネイル画像は、互いに同一の再生位置に対応するサムネイル画像である。これらのサムネイル画像のうちの何れか１つが、受付デバイス５２によって受け付けられた指示に従って選択されると、選択されたサムネイル画像に対応する注視点パスが基準注視点パスとして設定部１０８によって設定される。例えば、仮想視点パスＰ４に対応して表示されるサムネイル画像が選択されると、注視点パスＰＩ１が基準注視点パスとして設定部１０８によって設定される。この場合、仮想視点パスＰ４のみならず、仮想視点パスＰ５、Ｐ６及びＰ７から注視点パスＰＩ１を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部１０４によって生成され、制御部１０６によって、仮想視点パスＰ５、Ｐ６及びＰ７に対応付けて表示される。
【0198】
従って、本構成によれば、仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７の各々について、使用者が意図する注視点パスを用いて仮想視点画像に基づくサムネイル画像を生成することができる。
【0199】
なお、ここでは、仮想視点パスＰ４のみならず、仮想視点パスＰ５、Ｐ６及びＰ７から注視点パスＰＩ１を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部１０４によって生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、仮想視点パスＰ４の他に、仮想視点パスＰ５、Ｐ６及びＰ７のうちの何れか１つ又は２つから注視点パスＰＩ１を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部１０４によって生成されるようにしてもよい。また、仮想視点パスＰ４に代えて、仮想視点パスＰ５、Ｐ６及びＰ７のうちの何れか１つ又は２つから注視点パスＰＩ１を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部１０４によって生成されるようにしてもよい。
【0200】
制御部１０６は、仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７の各々において、基準注視点パス（例えば、注視点パスＰＩ１）を注視した仮想視点画像を生成することができない仮想視点を含む区間（以下、「仮想視点画像生成不可区間」とも称する）の表示態様を変更するようにしてもよい。
【0201】
例えば、図２６に示す例では、仮想視点パスＰ５において、基準注視点パスを注視した仮想視点画像を生成することができる区間（以下、「仮想視点画像生成可能区間」とも称する）は実線で表現されており、仮想視点画像生成不可区間は、破線で表現されている。仮想視点画像生成不可区間の表示態様は、これに限らず、仮想視点パスＰ５のうちの仮想視点画像生成不可区間を透明（非表示）にしてもよいし、点滅させてもよく、仮想視点画像生成可能区間と区別可能な表示態様であればよい。
【0202】
仮想視点画像生成可能区間には、サムネイル画像４８Ｐ５が対応付けて表示されている。サムネイル画像４８Ｐ５は、仮想視点パスＰ５について、指示された再生位置に対応する視点情報に基づいて生成された仮想視点画像が縮小化された画像である。仮想視点画像生成不可区間では、サムネイル画像４８Ｐ５が生成されないので、サムネイル画像４８Ｐ５が収まる枠のみが表示される。なお、実行部１０４によってサムネイル画像生成処理が実行されることで得られたサムネイル画像（図２６に示す例では、サムネイル画像４８Ｐ５）及び仮想視点パス（図２６に示す例では、仮想視点パスＰ５）は、制御部１０６によって、ディスプレイ５３（図２６に示す例では、ディスプレイ５３内の参照用映像表示領域５５）に表示される。
【0203】
このように、仮想視点パスＰ４、Ｐ５、Ｐ６及びＰ７の各々において、仮想視点画像生成不可区間の表示態様が変更されるようにすることで、仮想視点画像生成可能区間と仮想視点画像生成不可区間とを視覚的に把握することが可能となる。
【0204】
なお、上記実施形態では、配信用映像の生成を例示したが、本開示の技術はこれに限定されず、配信用映像以外の映像の生成にも適用可能である。例えば、本開示の技術は、配信せず個人で楽しむための映像の生成等にも用いることができる。また、本開示の技術は、複数の仮想視点映像を組み合わせる編集作業以外にも用いることができる。例えば、本開示の技術は、複数の仮想視点パスを設定して複数の仮想視点画像を確認するのみの用途にも用いることができる。換言すれば、本開示の技術は、仮想視点画像の確認、仮想視点パスの設定、及び／又は編集等のどのような用途にも用いることができる。
【0205】
また、上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の物理カメラが設置可能であれば、如何なる場所であってもよい。
【0206】
また、上記実施形態では、コンピュータ５０を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0207】
また、上記実施形態では、情報処理が情報処理装置１２のＣＰＵ５８によって実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。ＣＰＵ５８に代えて、ＧＰＵを採用してもよいし、複数のＣＰＵを採用してもよい。また、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。
【0208】
また、上記実施形態では、ストレージ６０に編集用プログラム６０Ａが記憶されているが、本開示の技術はこれに限定されず、一例として図２７に示すように、任意の可搬型の記憶媒体２００に編集用プログラム６０Ａが記憶されていてもよい。記憶媒体２００は、非一時的記憶媒体である。記憶媒体２００としては、例えば、ＳＳＤ又はＵＳＢメモリ等が挙げられる。記憶媒体２００に記憶されている編集用プログラム６０Ａはコンピュータ５０にインストールされ、ＣＰＵ５８は、編集用プログラム６０Ａに従って、情報処理を実行する。
【0209】
また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等のプログラムメモリに編集用プログラム６０Ａを記憶させておき、情報処理装置１２の要求に応じて編集用プログラム６０Ａが情報処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた編集用プログラム６０Ａに基づく情報処理がコンピュータ５０のＣＰＵ５８によって実行される。
【0210】
情報処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。
【0211】
また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理を実行する。
【0212】
情報処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、情報処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0213】
１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、情報処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、情報処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、情報処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0214】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
【0215】
また、上述した情報処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0216】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0217】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0218】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図24C】
【図25】
【図26】
【図27】
