特許 7524907 情報処理装置、提案装置、情報処理方法および提案方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】情報処理装置、提案装置、情報処理方法および提案方法

(51)【国際特許分類】

   G06T 13/20 20110101AFI20240723BHJP

   G06T 15/20 20110101ALI20240723BHJP

【ＦＩ】

G06T13/20 500

G06T15/20 500

【請求項の数】 18

(21)【出願番号】P 2021554296

(86)(22)【出願日】2020-10-12

(86)【国際出願番号】 JP2020038522

(87)【国際公開番号】W WO2021085105

(87)【国際公開日】2021-05-06

【審査請求日】2023-08-28

(31)【優先権主張番号】P 2019195579

(32)【優先日】2019-10-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】島川 真人

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１０－２６７０６９（ＪＰ，Ａ）

【文献】特開２０１０－４４４８４（ＪＰ，Ａ）

【文献】特開２００５－５６１０１（ＪＰ，Ａ）

【文献】特開２００８－５１６７（ＪＰ，Ａ）

【文献】特開２０００－２８５２４２（ＪＰ，Ａ）

【文献】特開平１１－２６６４２８（ＪＰ，Ａ）

【文献】特開２００４－１５９３３１（ＪＰ，Ａ）

【文献】Ferda Ofli ほか３名，Learn2Dance: Learning Statistical Music-to-Dance Mappings for Choreography Synthesis，IEEE Transactions on Multimedia，2012年06月，Vol.14 No.3，p.747-759，［令和6年6月12日検索］，インターネット ＜URL：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6112231＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

与えられた音の特徴量と、オブジェクトを撮影した多視点映像に基づく自由視点映像を分割した分割シーンそれぞれの接続フレーム間の類似度とに基づいて前記分割シーンの接続順序を決定する決定部と、
前記決定部によって決定された前記接続順序で前記分割シーンを接続した自由視点コンテンツを生成する生成部と
を備える、情報処理装置。

【請求項2】

前記自由視点映像は、
前記オブジェクトが演者であり、当該演者が収録曲にあわせて踊るダンス映像である、
請求項１に記載の情報処理装置。

【請求項3】

前記音は、
楽曲である、
請求項２に記載の情報処理装置。

【請求項4】

前記接続フレームそれぞれにおける前記オブジェクトの３次元モデルに基づいて、前記接続フレーム間の類似度を判定する判定部
を備える、
請求項２に記載の情報処理装置。

【請求項5】

前記判定部は、
前記演者の関節位置を示すボーンモデルに基づいて前記類似度を判定する、
請求項４に記載の情報処理装置。

【請求項6】

前記判定部は、
前記演者の表面形状に対応する点群データに基づいて前記類似度を判定する、
請求項４に記載の情報処理装置。

【請求項7】

前記決定部は、
前記音の開始から終了までを前記分割シーンで接続した複数の接続経路を設定し、前記接続経路ごとに算出される前記分割シーン間の前記類似度に応じた接続スコアの累積値に基づいて、前記接続順序を決定する、
請求項４に記載の情報処理装置。

【請求項8】

前記判定部は、
前記決定部によって前記接続順序が決定された場合に、前記接続フレームに加え、前記接続フレームの周辺フレーム間の前記類似度を前記分割シーン間で判定し、
前記生成部は、
前記周辺フレームのうち、前記類似度が最も高いフレーム同士を繋げて前記分割シーンを接続する、
請求項４に記載の情報処理装置。

【請求項9】

前記生成部は、
前記音の休符区間において、前記分割シーンを接続する、
請求項１に記載の情報処理装置。

【請求項10】

前記楽曲の特徴量と、前記分割シーンの収録曲の特徴量とに基づいて、前記楽曲と前記収録曲との適合度を示す楽曲スコアを算出する算出部
を備え、
前記決定部は、
前記楽曲スコアに基づいて、前記接続順序を決定する、
請求項３に記載の情報処理装置。

【請求項11】

前記算出部は、
前記楽曲を分割したパートそれぞれの曲調と、前記分割シーンそれぞれの曲調とに基づいて、前記楽曲スコアを算出する、
請求項１０に記載の情報処理装置。

【請求項12】

前記算出部は、
前記楽曲を分割したパートそれぞれの時間長と、前記分割シーンそれぞれの時間長とに基づいて、前記楽曲スコアを算出する、
請求項１０に記載の情報処理装置。

【請求項13】

前記決定部は、
前記楽曲の休符区間に対して、当該休符区間の時間長に応じて、時間長を調整した前記分割シーンを割り当てる、
請求項１２に記載の情報処理装置。

【請求項14】

前記決定部は、
前記分割シーンのフレームを間引くことで、前記分割シーンの前記時間長を調整する、
請求項１３に記載の情報処理装置。

【請求項15】

オブジェクトを撮影した多視点映像に基づく自由視点映像を分割した分割シーンをそれぞれの接続フレーム間の類似度に基づいて、前記自由視点映像を追加撮影時のポーズに関する提案データを生成する提案データ生成部
を備える、提案装置。

【請求項16】

前記提案データ生成部は、
蓄積した前記分割シーンにおける前記オブジェクトである演者の終了ポーズを開始ポーズとし、他の前記分割シーンにおける前記演者の開始ポーズを終了ポーズとする前記提案データを生成する、
請求項１５に記載の提案装置。

【請求項17】

コンピュータが、
与えられた音の特徴量と、オブジェクトを撮影した多視点映像に基づく自由視点映像を分割した分割シーンそれぞれの接続フレーム間の類似度とに基づいて前記分割シーンの接続順序を決定し、
決定した前記接続順序で前記分割シーンを接続した自由視点コンテンツを生成する、
情報処理方法。

【請求項18】

コンピュータが、
オブジェクトを撮影した自由視点映像を分割した分割シーンをそれぞれの接続フレーム間の類似度に基づいて、前記自由視点映像を追加撮影時のポーズに関する提案データを生成する、
提案方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、提案装置、情報処理方法および提案方法に関する。

【背景技術】

【0002】

例えば、予め収集したダンスの動きに関する情報の断片と楽曲の対応関係をモデル化し、与えられた楽曲にあわせてダンス映像を生成する技術がある。かかる技術によれば、楽曲にあわせたＣＧ映像を自動的に生成することが可能である（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｆ．Ｏｆｌｉ，Ｅ．Ｅｒｚｉｎ，Ｙ．Ｙｅｍｅｚ ａｎｄ Ａ．Ｍ．Ｔｅｋａｌｐ：ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｖｏｌ．１４，Ｎｏ．３（２０１２）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、ＣＧ映像を生成することを前提としているため、実写の自由視点映像を繋ぎ合わせて新たな自由視点コンテンツを生成することについては考慮されていなかった。また、実写の自由視点映像から新たな自由視点コンテンツを生成する場合には、自由視点映像に写るオブジェクトの動きを如何に滑らかに接続するかが重要な課題となる。

【0005】

そこで、本願は、上記に鑑みてなされたものであって、オブジェクトの動きを滑らかに繋いだ自由視点コンテンツを生成することができる情報処理装置、提案装置、情報処理方法および提案方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、実施形態の一態様に係る情報処理装置は、決定部と、生成部とを備える。前記決定部は、与えられた音の特徴量と、オブジェクトを撮像した多視点映像に基づく実写の自由視点映像を分割した分割シーンそれぞれの接続フレーム間の類似度とに基づいて前記分割シーンの接続順序を決定する。前記生成部は、前記決定部によって決定された前記接続順序で前記分割シーンを接続した自由視点コンテンツを生成する。

【0007】

実施形態の一態様によれば、実写によるオブジェクトの動きを滑らかに繋いだ自由視点コンテンツを生成することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る提供システムの概要を示す図である。

【図2】実施形態に係る提供システムの構成例を示すブロック図である。

【図3】実施形態に係る分割シーンの生成例を示す図である。

【図4】分割シーンのバリエーションの一例を示す図である。

【図5】実施形態に係るシーン情報ＤＢの一例を示す図である。

【図6】実施形態に係る候補経路の模式図である。

【図7】接続スコアと楽曲スコアの対応関係を示す図である。

【図8】休符区間と接続用シーンとの対応関係を示す模式図である。

【図9】周辺フレームの一例を示す図である。

【図10】実施形態に係るシーン情報生成装置が実行する処理手順を示すフローチャートである。

【図11】実施形態に係る情報処理装置が実行する処理手順を示すフローチャートである。

【図12】図１１に示したステップＳ２０４の処理手順を示すフローチャート（その１）である。

【図13】図１１に示したステップＳ２０４の処理手順を示すフローチャート（その２）である。

【図14】図１１に示したステップＳ２０７の処理手順を示すフローチャートである。

【図15】第２の実施形態に係る提供システムの構成例を示す図である。

【図16】実施形態に係る提案装置の構成例を示すブロック図である。

【図17】実施形態に係る提案装置が実行する処理手順を示すフローチャートである。

【図18】情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0010】

［第１の実施形態］
まず、図１を用いて、実施形態に係る提供システムの概要について説明する。図１は、実施形態に係る提供システムの一例を示す図である。なお、以下では、オブジェクトが演者であり、音が楽曲である場合を例に挙げて説明する。

【0011】

実施形態に係る提供システムＳは、例えば、演者によるダンス映像の自由視点コンテンツを提供するシステムである。具体的には、本実施形態に係る提供システムＳでは、演者を撮影した多視点映像に基づく自由視点映像から、例えば、ユーザによって指定された楽曲にあわせたダンス映像の自由視点コンテンツを生成する。なお、演者は、例えば、ダンサー、アイドル、芸能人などであるが、一般人（ユーザ）を含むようにしてもよい。

【0012】

ここで、自由視点映像とは、現実世界の演者の姿を３Ｄモデル化した映像であり、演者が収録曲にあわせて踊るダンス映像である。つまり、実施形態に係る提供システムＳは、演者が収録曲にあわせて踊るダンス映像から与えられた楽曲にあった実写のボリュメトリック映像を生成する。

【0013】

具体的には、提供システムＳでは、上記の自由視点映像を分割し、分割した分割シーンの接続順序を与えられた楽曲に対して組み換えを行うことで、自由視点映像から成る自由視点コンテンツを生成する。

【0014】

これにより、実施形態に係る提供システムＳでは、例えば、ＣＧベースでは再現できない演者の実際の動きを忠実に反映させた自由視点コンテンツを生成することが可能となる。

【0015】

図１に示すように、実施形態に係る提供システムＳは、シーン情報生成装置１と、情報処理装置１０と、ユーザ端末５０とを備える。シーン情報生成装置１は、例えば、スタジオなどに設置され、演者の多視点映像に基づく自由視点映像を生成する。また、シーン情報生成装置１は、生成した自由視点映像を分割し、分割シーンを生成する。

【0016】

本実施形態において、シーン情報生成装置１は、演者が収録曲にあわせて踊るダンス映像の自由視点映像および自由視点映像に基づく分割シーンを生成する。そして、シーン情報生成装置１は、分割シーンに関するシーン情報を生成し、情報処理装置１０へ送信する（ステップＳ１）。

【0017】

情報処理装置１０は、シーン情報生成装置１から送信されたシーン情報を格納するシーン情報ＤＢを有し、上記の自由視点コンテンツを生成する。具体的には、例えば、情報処理装置１０は、ユーザ端末５０から選曲情報を取得すると（ステップＳ２）、シーン情報ＤＢを参照し、選曲情報によって指定された楽曲にあわせて自由視点コンテンツを生成する（ステップＳ３）。

【0018】

そして、情報処理装置１０は、生成した自由視点コンテンツをユーザ端末５０へ提供する（ステップＳ４）。図１に示す例において、ユーザ端末５０は、ＡＲ（Augment Reality；拡張現実）や、ＶＲ（Virtual Reality；仮想現実）に対応したヘッドマウントディスプレイである。ユーザ端末５０は、情報処理装置１０から提供された自由視点コンテンツをユーザの視点情報にあわせて再生する。

【0019】

以下、実施形態に係る提供システムＳについてさらに詳細に説明する。

【0020】

次に、図２を用いて、実施形態に係る提供システムＳの構成例について説明する。図２は、実施形態に係る提供システムＳの構成例を示すブロック図である。まず、シーン情報生成装置１について説明する。

【0021】

図２に示すように、シーン情報生成装置１は、通信部１１と、記憶部１２と、制御部１３とを備える。通信部１１は、情報処理装置１０と、所定のネットワークを介して通信を行う通信モジュールである。

【0022】

記憶部１２は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、制御部１３の各種処理に必要となる情報を記憶する。

【0023】

制御部１３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、シーン情報生成装置１内部に記憶されたプログラムがＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0024】

図２に示すように、制御部１３は、３Ｄモデル生成部１３ａと、音楽解析部１３ｂと、シーン情報生成部１３ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、制御部１３は、例えばＮＩＣ（Network Interface Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。

【0025】

３Ｄモデル生成部１３ａは、図示しない複数のカメラから入力されるカメラ映像、すなわち、演者の多視点映像に基づいて、多視点映像のフレーム毎に演者の３次元モデルを生成する。つまり、３Ｄモデル生成部１３ａは、多視点映像に基づいて、実写の自由視点映像を生成する。

【0026】

例えば、３Ｄモデル生成部１３ａは、全てのカメラ映像から一度に３次元モデルを生成する多眼視による手法や、２台のカメラペアから順次３次元モデルを統合するステレオ視による手法等を用いることで、演者のダンス映像から３次元モデルを生成することができる。

【0027】

音楽解析部１３ｂは、演者のダンス映像の収録曲を解析する。音楽解析部１３ｂは、収録曲の休符区間を検出し、休符区間に基づいて、収録曲のパート分けを行うとともに、各パートの特徴量を解析する。

【0028】

ここで、特徴量とは、テンポ、曲調等を含む概念である。また、曲調の一例としては、楽しい曲、暗い曲、元気な曲、静かな曲等が挙げられる。例えば、音楽解析部１３ｂは、機械学習によって生成されたモデルに収録曲の楽曲データを入力することで、収録曲の特徴量を得ることができる。

【0029】

シーン情報生成部１３ｃは、３Ｄモデル生成部１３ａによって生成された３次元モデル、すなわち、自由視点映像を音楽解析部１３ｂによって解析された収録曲に基づいて分割した分割データを生成する。

【0030】

上述のように、自由視点コンテンツは、各分割シーンの組み換えを行ったコンテンツである。そのため、自由視点コンテンツにおいては、分割シーン間で演者の動きを滑らかに接続することが好ましい。換言すれば、ユーザに対して分割シーン間の区切りを感じさせにくくすることが好ましい。

【0031】

このため、シーン情報生成部１３ｃは、自由視点映像において、演者の動きが停止する区間で自由視点映像を分割する。また、一般的に、ダンスにおいては、休符区間において、演者がポージングを行うなどの演者の動きが停止する場面が多く発生する。

【0032】

そのため、シーン情報生成部１３ｃは、収録曲の休符区間に着目し、自由視点映像を分割する。ここで、図３を用いて、分割シーンの一例について説明する。図３は、実施形態に係る分割シーンの生成例を示す図である。図３に示すように、まず、シーン情報生成部１３ｃは、収録曲の休符区間Ｔにおける自由視点映像の各フレームを抽出する。

【0033】

図３に示す例では、自由視点映像のうち、休符区間ＴにフレームＦ１～Ｆ４が含まれる場合を示す。そして、シーン情報生成部１３ｃは、各フレームＦ１～Ｆ４について前後のフレームとの類似度を判定する。

【0034】

すなわち、フレームＦ２においては、１つ前のフレームＦ１と、１つ後のフレームＦ３との類似度を判定することになる。なお、類似度の判定は、各フレームの３次元モデルを比較することで行われる。

【0035】

シーン情報生成部１３ｃは、類似度が最も高いフレーム間で自由視点映像を分割し、各分割シーンを生成する。言い換えれば、シーン情報生成部１３ｃは、演者が静止している区間で自由視点映像を分割する。

【0036】

図３に示す例では、フレームＦ２と、フレームＦ３との類似度が最も高かった場合を示し、フレームＦ２と、フレームＦ３との間で、自由視点映像を分割した場合を示す。シーン情報生成部１３ｃは、各分割シーンを生成すると、分割シーンごとに収録曲の特徴量などを付与したシーン情報を生成する。シーン情報生成部１３ｃによって生成されたシーン情報は、図２に示した通信部１１を介して、情報処理装置１０へ送信される。

【0037】

この際、シーン情報生成部１３ｃは、同一の分割シーンから時間長が異なる分割シーンを生成することにしてもよい。これにより、１つの分割シーンについて、時間的なバリエーションを拡充させることができる。

【0038】

ここで、図４を用いて、分割シーンの時間的なバリエーションについて説明する。図４は、分割シーンのバリエーションの一例を示す図である。なお、ここでは、２４０ｆｐｓ（frames per second）の分割シーンから６０ｆｐｓの分割シーンを生成する場合について説明する。

【0039】

シーン情報生成部１３ｃは、２４０ｆｐｓの分割シーンのフレームを間引くことで、時間長が異なる複数の分割シーンを生成する。具体的には、シーン情報生成部１３ｃは、元の分割シーンに対して、時間長が１／２倍、３／４倍、１倍、１．５倍・・・となるように分割シーンの間引き処理を行う。

【0040】

例えば、時間長が１／２倍の分割シーンを生成する場合、元の分割シーンから８フレームごとにフレームを抽出し、抽出したフレームを繋ぎ合わせることで新たな分割シーンを生成する。同様に、時間長が３／４倍の分割シーンを生成する場合、元の分割シーンから６フレームごとにフレームを抽出し、抽出したフレームを繋ぎ合わせる。

【0041】

このように、シーン情報生成部１３ｃは、時間長の倍率に応じて、抽出するフレームの間隔を変えることで、時間長の異なる分割シーンを生成する。これにより、１つの分割シーンについて時間的なバリエーションを増やすことができる。したがって、少ない自由視点映像で自由視点コンテンツのバリエーションを増やすことができる。

【0042】

また、シーン情報生成部１３ｃは、接続用の分割シーン（以下、接続用シーンと記載）を生成し、上記の処理を接続用シーンに対して行うことにしてもよい。ここで、接続用シーンとは、例えば、与えられた楽曲の休符区間に対して優先的に割り当てられる分割シーンである。すなわち、接続用シーンは、自由視点コンテンツにおいて、分割シーン間における演者の動きを滑らかに接続するための分割シーンとも言える。

【0043】

上述のように、シーン情報生成部１３ｃは、収録曲の休符区間Ｔにおいて、自由視点映像を分割し、後述するように、情報処理装置１０は、与えられた楽曲の休符区間において分割シーンを接続する。

【0044】

そのため、接続用シーンにおける演者の開始ポーズと終了ポーズとのバリエーションおよび時間長のバリエーションを充実させておくことで、各分割シーンの接続を容易にすることができる。

【0045】

図２に戻り、情報処理装置１０について説明する。図２に示すように、情報処理装置１０は、通信部２１と、記憶部２２と、制御部２３とを備える。通信部２１は、シーン情報生成装置１や、ユーザ端末５０と通信を行う通信モジュールである。

【0046】

記憶部２２は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２に示す例では、記憶部２２は、シーン情報ＤＢ２２ａを備える。

【0047】

ここで、図５を用いて、シーン情報ＤＢ２２ａについて説明する。図５は、実施形態に係るシーン情報ＤＢ２２ａの一例を示す図である。図５に示すように、シーン情報ＤＢ２２ａは、「演者ＩＤ」、「シーンＩＤ」、「音楽特徴量」、「時間長」および「３次元モデル」などを互いに対応付けて記憶するデータベースである。

【0048】

「演者ＩＤ」は、自由視点映像の演者を識別する識別子を示す。「シーンＩＤ」は、上記の各分割シーンを識別する識別子である。「音楽特徴量」は、対応する分割シーンにおける収録曲の特徴量を示す。

【0049】

「時間長」は、対応する分割シーンの時間長であり、「３次元モデル」は、対応する分割シーンの自由視点映像本体である。なお、３次元モデルには、自由視点映像に加え、演者の関節位置を示すボーンモデルや演者の表面形状を示す点群データが含まれる。また、図５に示すシーン情報ＤＢ２２ａは、一例であり、その他の情報をあわせて記憶するようにしてもよい。具体的には、シーン情報ＤＢ２２ａに、各分割シーンとの接続のしやすさ（後述する接続コストに対応）などを併せて記憶しておくことにしてもよい。

【0050】

図２の説明に戻り、制御部２３について説明する。制御部２３は、与えられた楽曲の特徴量に応じて、上記の分割シーンを並び替えて自由視点コンテンツを生成する。

【0051】

制御部２３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、シーン情報生成装置１内部に記憶されたプログラムがＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0052】

図２に示すように、制御部２３は、取得部２３ａと、音楽解析部２３ｂと、判定部２３ｃと、算出部２３ｄと、決定部２３ｅと、生成部２３ｆとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２３の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、制御部２３は、例えばＮＩＣ（Network Interface Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。

【0053】

取得部２３ａは、例えば、ユーザ端末５０から選曲情報を取得する。選曲情報には、楽曲に関する情報に加え、演者ＩＤなどに関する情報が含まれる。なお、選曲情報は、ダンスのイメージに関する情報などを含むようにしてもよい。

【0054】

すなわち、ユーザは、踊って欲しい演者や、楽曲を指定することができ、さらに、ダンスのイメージ（雰囲気）を指定することもできる。また、選曲情報は、楽曲を録音した音楽データであってもよいし、楽曲を指定する情報（歌手や曲名など）であってもよい。

【0055】

取得部２３ａは、楽曲を指定する情報を取得する場合、かかる情報に基づいて外部サーバから楽曲データを取得することにしてもよい。また、選曲情報は、楽曲の楽譜に関する情報を含むようにしてもよい。さらに、取得部２３ａが取得する選曲情報に、自由視点コンテンツに追加する分割シーンを指定する情報を含むようにしてもよい。また、取得部２３ａは、ユーザが自作した楽曲データを選曲情報として取得するにしてもよい。

【0056】

音楽解析部２３ｂは、与えられた楽曲（例えば、選曲情報が示す楽曲）を解析する。例えば、音楽解析部２３ｂは、音楽解析部１３ｂが収録曲に対して行った処理を選曲情報によって指定された楽曲に対して行う。

【0057】

具体的には、音楽解析部２３ｂは、楽曲から休符区間を検出し、休符区間に基づいて、楽曲のパート分けを行い、パートごとに曲調を付与する。

【0058】

判定部２３ｃは、後述する決定部２３ｅが分割シーンの接続順序の決定処理を行う際に、分割シーンそれぞれの接続フレームの類似度を判定する。具体的には、判定部２３ｃは、接続フレームにおける演者の３次元モデルを比較することで、接続フレーム間の類似度を算出する。なお、接続フレームとは、例えば、各分割シーンにおける開始フレームと終了フレームである。

【0059】

例えば、判定部２３ｃは、接続フレームにおける演者の関節位置を示すボーンモデルや、接続フレームにおける演者の表面形状を示す点群データに基づいて接続フレーム間の類似度を判定する。ここでの類似度は、演者の動きを滑らかに接続するための指標となる。

【0060】

より詳細には、判定部２３ｃは、ボーンモデルにおいて対応する関節それぞれの距離や、点群データにおいて対応する点群データの頂点座標のハウスルドルフ距離を算出することで、接続フレーム間の類似度を判定することができる。

【0061】

そして、判定部２３ｃは、判定した類似度に応じて接続フレーム間の接続スコアを決定する。なお、以下では、接続スコアの上限を１０点、下限を０点として、接続フレーム間の類似度が高いほど、すなわち、接続フレーム間の演者のポーズが似ているほど、接続スコアが高いものとする。

【0062】

また、判定部２３ｃは、決定部２３ｅによって分割シーンの接続順序が決定されると、接続フレームの周辺フレームの類似度を判定する。なお、この点については、図９を用いて後述する。

【0063】

算出部２３ｄは、与えられた楽曲の特徴量と、分割シーンの収録曲の特徴量とに基づいて、楽曲を分割した各パートと各分割シーンとの適合度を示す楽曲スコアを算出する。例えば、算出部２３ｄは、楽曲を分割したパートそれぞれの曲調と、分割シーンそれぞれの曲調との双方の曲調の類似性に基づいて、楽曲スコアを算出する。

【0064】

楽曲スコアは、双方の曲調が類似しているほど高い値となり、双方の曲調が乖離しているほど低い値をとる。例えば、算出部２３ｄは、双方の曲調の関係性と、楽曲スコアとの関係性とを示す関数に対して、双方の曲調を入力することで、曲調に応じた楽曲スコアを算出する。

【0065】

この際、算出部２３ｄは、選曲情報にダンスのイメージ（雰囲気）を指定する情報が含まれる場合、かかるイメージに基づいて、楽曲スコアを算出することにしてもよい。

【0066】

すなわち、例えば、パートにおける曲調がアップテンポでありながら、指定されたダンスのイメージがスローテンポである場合には、かかるパートに対して、アップテンポの分割シーンに比べて、曲調がスローテンポの分割シーンの楽曲スコアを高く算出することにしてもよい。

【0067】

また、算出部２３ｄは、楽曲のパートそれぞれの時間長と、分割シーンの時間長とに基づいて、楽曲スコアを算出するようにしてもよい。この場合、楽曲スコアは、パートの時間長と、分割シーンの時間長とが近いほど高い値となる。

【0068】

この際、算出部２３ｄは、曲調に基づいて算出した楽曲スコアと、時間長に基づいて算出した楽曲スコアとをそれぞれ重み付けして最終的な楽曲スコアを算出するようにしてもよい。

【0069】

決定部２３ｅは、与えられた楽曲の特徴量と、記憶部２２に記憶された分割シーンそれぞれの接続フレーム間の類似度とに基づいて分割シーンの接続順序を決定する。

【0070】

例えば、決定部２３ｅは、上記の接続スコアおよび楽曲スコアに基づいて、いわゆるＶｉｔｅｒｂｉアルゴリズムを用いて、与えられた楽曲に対する各分割シーンの接続順序を決定する。なお、Ｖｉｔｅｒｂｉアルゴリズムを用いて決定した接続順序は、Ｖｉｔｅｒｂｉ経路と称される場合もある。

【0071】

具体的には、決定部２３ｅは、楽曲の開始から終了までを分割シーンで繋いだ分割シーン間の類似度に応じた接続スコアの累積スコアに基づいて、接続順序を決定する。

【0072】

まず、決定部２３ｅは、楽曲の開始から終了までを分割シーンで繋いだ候補経路を生成する。図６は、候補経路の模式図である。図６に示すように、各候補経路は、複数の分割シーンによって構成される。

【0073】

例えば、楽曲の再生時刻が終了するまでに取り得る分割シーンの接続パターンそれぞれが候補経路となり得る。まず、決定部２３ｅは、候補経路を生成するにあたり、楽曲の開始時刻（再生時刻ｔ＝０）に対して、各分割パターンをそれぞれ割り当てる。このとき、分割シーンの数に応じた候補経路が生成されることになる。

【0074】

次いで、決定部２３ｅは、生成した候補経路に対して、各分割パターンをそれぞれ追加し、楽曲が終了するまで上記の処理を繰り返すことで、各候補経路を生成する。このように生成された各候補経路は、再生時刻が進むにつれて、分岐を繰り返していくことになる。

【0075】

決定部２３ｅは、候補経路に対して分割パターンの追加毎に候補経路に関する情報を判定部２３ｃおよび算出部２３ｄへ通知する。これにより、判定部２３ｃによって各候補経路における接続フレーム間の接続スコアが付与され、算出部２３ｄによって各候補経路における楽曲と収録曲とに基づく楽曲スコアが付与されることになる。

【0076】

図７は、接続スコアと楽曲スコアの対応関係を示す図である。なお、図７に示す例では、接続スコアを「Ｓｃｃ」、楽曲スコアを「Ｓｃｍ」として示す。接続スコアＳｃｃは、候補経路において分割シーンを接続するごとに分割シーン間の類似度に応じて算出される値であり、楽曲スコアＳｃｍは、分割シーン自体に対して算出される値である。

【0077】

決定部２３ｅは、候補経路ごとに接続スコアＳｃｃおよび楽曲スコアＳｃｍの累積値である累積コストを算出し、累積スコアが最大となる候補経路を選択する。決定部２３ｅは、選択した候補経路の末尾の分割シーンを注目シーンに設定し、注目シーンよりも前に接続している各分割シーンのうち、累積スコアが最大となる分割シーンを追加していく。

【0078】

決定部２３ｅは、注目シーンに対して分割シーンを追加すると、追加した分割シーンを注目シーンに追加し、上記の処理を繰り返すことで、注目経路を決定する。すなわち、決定部２３ｅは、楽曲の終わりから始まりに向けて、再度、接続順序の最適化を行う。決定部２３ｅは、かかる注目経路から分割シーンを逆順（楽曲の初めから終わりに向かう順序）に取り出した並び順を接続順序として決定する。

【0079】

これにより得られる接続順序は、演者の動きが滑らかに繋がる分割シーンが時間的に連続するとともに、楽曲のパートごとに曲調にマッチする分割シーンが割り当てられた接続順序となる。

【0080】

また、決定部２３ｅは、例えば、与えられた楽曲の休符区間に上記の接続用シーンを優先的に割り当てることにしてもよい。図８は、休符区間と接続用シーンとの対応関係を示す模式図である。

【0081】

図８に示すように、決定部２３ｅは、休符区間において、接続用シーンＦｃを優先的に割り当てる。これにより、各分割シーンの演者の動きを接続用シーンにおいて滑らかに繋げることができる。

【0082】

この際、決定部２３ｅは、休符区間の時間長に応じて、接続用シーンＦｃの時間長を調節することにしてもよい。なお、接続用シーンＦｃの時間長の調節については、図４にて説明した手法を適用することができる。

【0083】

この際、算出部２３ｄは、休符区間に対して接続用シーンＦｃが割り当てられた場合には、接続用シーンＦｃに対する楽曲スコアを、休符区間に対して接続用シーンＦｃ以外の他の分割シーンが割り当てられた場合に比べて高く算出することにしてもよい。

【0084】

つまり、休符区間については、接続用シーンＦｃと、接続用シーンＦｃ以外の分割シーンとで楽曲スコアの重み付けを変更することにしてもよい。言い換えれば、算出部２３ｄは、休符区間に対して接続用シーンＦｃを優先的に割り当てた接続順序となるように、楽曲スコアを算出することにしてもよい。これにより、与えられた楽曲と、自由視点コンテンツにおける演者のダンスとのズレを緩和することができる。

【0085】

その後、決定部２３ｅは、接続順序を決定すると、接続順序に関する情報を判定部２３ｃおよび生成部２３ｆへ通知する。これにより、判定部２３ｃは、上記の接続フレーム間の類似度に加え、接続フレームの周辺フレームの類似度の判定を行う。

【0086】

ここで、図９を用いて、周辺フレームの具体例について説明する。図９は、周辺フレームの一例を示す図である。なお、図９では、分割シーンＡに分割シーンＢが接続される場合を例に挙げて説明する。

【0087】

図９に示すように、判定部２３ｃは、分割シーンＡの接続フレームＫｅの周辺フレームと、分割シーンＢの接続フレームＫｓの周辺フレームとをそれぞれ総当たりで類似度を判定する。

【0088】

そして、実施形態に係る情報処理装置１０は、総当たりの類似度の判定の結果、最も類似度が高いフレーム間で分割シーンＡと、分割シーンＢとを接続した自由視点コンテンツを生成する。

【0089】

言い換えれば、実施形態に係る情報処理装置１０は、演者の動きが最も滑らかに接続されるフレーム間で分割シーンＡおよび分割シーンＢを接続した自由視点コンテンツを生成する。

【0090】

つまり、実施形態に係る情報処理装置１０は、接続スコアＳｃｃや楽曲スコアＳｃｍに基づいて、分割シーンの接続順序を決定したのちに、かかる接続順序で分割シーンを繋いだ場合に、演者の動きが最も滑らかに接続するフレームを決定する。これにより、分割フレーム間における演者の動きのズレを抑制することができる。換言すれば、演者の動きを滑らかに繋げることができる。

【0091】

なお、図９に示す例では、接続フレームＫｅが分割シーンの終了フレームであり、接続フレームＫｓが分割フレームの開始フレームである場合について示したが、これに限定されるものではない。すなわち、接続フレームＫｅを終了フレームの周辺フレーム、接続フレームＫｓを開始フレームの周辺フレームとすることにしてもよい。なお、周辺フレームの数については、例えば、フレームレート等に基づき、適宜設定することにしてもよい。また、接続フレームをどのフレームにするかについても、接続する分割シーンに応じて適宜変更することにしてもよい。

【0092】

図２の説明に戻り、生成部２３ｆについて説明する。生成部２３ｆは、決定部２３ｅによって決定された接続順序に沿って各分割フレームを繋げることで自由視点コンテンツを生成し、ユーザ端末５０へ送信する。

【0093】

この際、生成部２３ｆは、判定部２３ｃの判定結果に基づき、周辺フレームのうち、類似度が最も高いフレーム同士を繋げて分割シーンを接続する。この際、生成部２３ｆは、楽曲の休符区間において、各分割フレームを繋げた自由視点コンテンツを生成することになる。また、生成部２３ｆは、自由視点コンテンツの演者に対する影の付与や、背景画像の差し替えを行うことにしてもよい。

【0094】

次に、図１０を用いて、実施形態に係るシーン情報生成装置１が実行する処理手順について説明する。図１０は、実施形態に係るシーン情報生成装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、演者を撮影した多視点映像の取得毎にシーン情報生成装置１の制御部１３によって繰り返し実行される。

【0095】

図１０に示すように、まず、シーン情報生成装置１は、多視点映像に基づいて自由視点映像を生成し（ステップＳ１０１）、多視点映像の収録曲の解析を行う（ステップＳ１０２）。

【0096】

続いて、シーン情報生成装置１は、収録曲の解析結果に基づいて、自由視点映像の境界候補区間を決定する（ステップＳ１０３）。なお、境界候補区間は、図３に示した休符区間Ｔに対応する。

【0097】

続いて、シーン情報生成装置１は、境界候補区間内における前後フレーム間の類似度を判定し（ステップＳ１０４）、ステップＳ１０４における類似度判定の結果に基づいて自由視点映像を分割する（ステップＳ１０５）。

【0098】

そして、シーン情報生成装置１は、分割シーンごとに音楽特徴量を付与して（ステップＳ１０６）、処理を終了する。

【0099】

次に、図１１を用いて、実施形態に係る情報処理装置１０が実行する処理手順について説明する。図１１は、実施形態に係る情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、選曲情報の取得毎に、情報処理装置１０の制御部２３によって繰り返し実行される。

【0100】

図１１に示すように、情報処理装置１０は、選曲情報を取得すると（ステップＳ２０１）、選曲情報が示す楽曲の解析を行う（ステップＳ２０２）。続いて、情報処理装置１０は、楽曲の再生時刻ｔ＝０に設定する（ステップＳ２０３）。

【0101】

続いて、情報処理装置１０は、候補経路ごとに分割シーンを選択し（ステップＳ２０４）、再生時刻ｔに１を加算する（ステップＳ２０５）。続いて、情報処理装置１０は、再生時刻ｔ＋１が再生時刻終了か否かを判定し（ステップＳ２０６）、再生時刻が終了する場合（ステップＳ２０６，Ｙｅｓ）、接続順序の決定処理へ移行する（ステップＳ２０７）。

【0102】

そして、情報処理装置１０は、ステップＳ２０７にて決定した接続順序に沿って、分割シーンを接続した自由視点コンテンツを生成し（ステップＳ２０８）、処理を終了する。また、情報処理装置１０は、ステップＳ２０６の判定処理において、再生時刻ｔ＋１が再生時刻の終了に満たない場合（ステップＳ２０６，Ｎｏ）、ステップＳ２０４の処理へ移行する。

【0103】

続いて、図１２および図１３を用いて、図１１に示したステップＳ２０４の処理手順の詳細について説明する。図１２および図１３は、図１１に示したステップＳ２０４の処理手順を示すフローチャートである。

【0104】

図１２に示すように、情報処理装置１０は、再生時刻ｔに分割シーンを追加すると（ステップＳ２１１）、追加した分割シーンの音楽の特徴量に基づいて、楽曲スコアＳｃｍを算出する（ステップＳ２１２）。次いで、情報処理装置１０は、追加した分割シーンに基づいて、接続スコアＳｃｃを算出し（ステップＳ２１３）、対応する候補経路の累積スコアを更新する（ステップＳ２１４）。

【0105】

そして、情報処理装置１０は、候補経路に対して未追加の分割シーンがあれば（ステップＳ２１５，Ｙｅｓ）、ステップＳ２１１へ移行し、各候補経路に対して全ての分割シーンの追加を終了した場合（ステップＳ２１５，Ｎｏ）、処理を終了する。

【0106】

また、ステップＳ２０４の処理について、休符区間を考慮した場合のフローチャートが図１３となる。図１３に示すように、情報処理装置１０は、再生時刻ｔは休符区間であるか否かを判定し（ステップＳ２２１）、再生時刻ｔが休符区間であると判定した場合（ステップＳ２２１，Ｙｅｓ）、再生時刻ｔに対して未選択の接続用シーンＦｃを選択する（ステップＳ２２２）。

【0107】

続いて、情報処理装置１０は、休符区間に基づいてステップＳ２２２にて選択した接続用シーンＦｃの時間長を調節し（ステップＳ２２３）、候補経路に対して、接続用シーンＦｃを追加する（ステップＳ２２４）。

【0108】

その後、情報処理装置１０は、未選択の接続用シーンＦｃがあるか否かを判定し（ステップＳ２２５）、未選択の接続用シーンＦｃがあった場合（ステップＳ２２５，Ｙｅｓ）、ステップＳ２２２の処理へ移行する。

【0109】

また、情報処理装置１０は、ステップＳ２２５の判定において、全ての接続用シーンの選択が終了していた場合（ステップＳ２２５，Ｎｏ）、処理を終了する。また、情報処理装置１０は、ステップＳ２２１の判定において、再生時刻ｔが休符区間でなかった場合（ステップＳ２２１，Ｎｏ）、候補経路に対して接続用シーンＦｃ以外の分割シーンを追加し（ステップＳ２２６）、処理を終了する。なお、ここでの図示を省略したが、ステップＳ２２４の処理に引き続き、図１２に示したステップＳ２１２～ステップＳ２１４の処理を行うものとする。

【0110】

次に、図１４を用いて、図１１に示したステップＳ２０７の処理の処理手順について説明する。図１４は、図１１に示したステップＳ２０７の処理手順を示すフローチャートである。

【0111】

図１４に示すように、情報処理装置１０は、末尾の分割シーンを注目シーンに追加すると（ステップＳ２３１）、注目シーンの前に分割シーンがあるか否か判定し（ステップＳ２３２）、注目シーンの前に分割シーンがあった場合（ステップＳ２３２，Ｙｅｓ）、累積コストが最大となる分割シーンを追加し（ステップＳ２３３）、ステップＳ２３１へ移行する。

【0112】

また、情報処理装置１０は、ステップＳ２３２の判定処理において、注目シーンの前に分割シーンがなかった場合（ステップＳ２３２，Ｎｏ）、すなわち、ステップＳ２３３の全ての処理が終了した場合、分割シーンを逆順に取り出したものを接続順序として決定し（ステップＳ２３４）、処理を終了する。

【0113】

［第２の実施形態］
続いて、図１５を用いて、第２の実施形態に係る提供システムについて説明する。図１５は、第２の実施形態に係る提供システムの構成例を示す図である。上述の実施形態では、演者の動きが滑らかに繋がるように、各分割シーンを接続して自由視点コンテンツを生成する場合について説明した。

【0114】

しかしながら、例えば、十分な分割シーンがない場合には、自由視点コンテンツのバリエーションが乏しく、魅力的なコンテンツを提供することができないおそれもある。かといって、単に分割シーンを増やしたとしても、他の分割シーンと接続できなければ、自由視点コンテンツに活用することができない。

【0115】

このため、図１５に示すように、第２の実施形態に係る提供システムＳ１は、演者に対して多視点映像を撮像する際の演者のポーズを提案する提案装置１００をさらに備える。

【0116】

具体的には、提案装置１００は、開始ポーズおよび終了ポーズを演者に提案する装置である。演者は、追加撮影時において、提案装置１００によって提案された開始ポーズおよび終了ポーズを含むダンスを踊ることで、各分割シーンの汎用性を向上させることができる。

【0117】

つまり、提案装置１００は、既存（撮影済み）の分割シーンを補完するための新たな分割シーンの撮影を提案する。これにより、各分割シーンを組み合わせた自由視点コンテンツの生成が可能となる。

【0118】

次に、図１６を用いて、提案装置１００の構成例について説明する。図１６は、実施形態に係る提案装置１００の構成例を示す図である。図１６に示すように、提案装置１００は、通信部３１と、記憶部３２と、制御部３３とを備える。

【0119】

通信部３１は、シーン情報生成装置１や、情報処理装置１０と、所定のネットワークを介して通信を行う通信モジュールである。

【0120】

記憶部３２は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部３２は、制御部３３が各種処理に必要な情報を記憶する。また、記憶部３２は、情報処理装置１０と同様に、シーン情報ＤＢを備えるものとする。

【0121】

制御部３３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、提案装置１００内部に記憶されたプログラムがＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部３３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0122】

図１６に示すように、制御部３３は、選択部３３ａと、提案データ生成部３３ｂとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部３３の内部構成は、図１６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、制御部３３は、例えばＮＩＣ（Network Interface Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。

【0123】

選択部３３ａは、シーン情報ＤＢを参照し、新たに撮影する分割シーンの開始ポーズおよび終了ポーズを選択する。例えば、選択部３３ａは、シーン情報ＤＢから任意の分割シーンを選択し、選択した分割シーンの後ろに接続可能な分割シーンが所定数以上か否かを判定する。

【0124】

選択部３３ａは、選択した分割シーンの後ろに接続可能な分割シーンが所定数以上ある場合に、他の分割シーンを選択する。ここで、接続可能な分割シーンとは、選択した分割シーンに対して上記の接続スコアＳｃｃが閾値以上である分割シーンを指す。

【0125】

また、選択部３３ａは、接続可能な分割シーンが所定数に満たない場合、選択した分割シーンの終了フレームにおける演者のポーズを開始ポーズとして選択する。

【0126】

続いて、選択部３３ａは、選択した分割シーンに対して接続スコアＳｃｃが閾値以下の分割シーンを選択する。この際、選択部３３ａは、接続スコアＳｃｃが閾値以下の全ての分割シーンを選択することにしてもよいし、接続スコアＳｃｃが閾値以下の分割シーンのうち、一部の分割シーンを選抜することにしてもよい。

【0127】

この場合、選択部３３ａは、例えば、接続可能な分割シーンが多い分割シーンを他の分割シーンに比べて優先的に選抜することにしてもよい。すなわち、提案装置１００は、汎用性の高い分割シーンへ接続可能にする分割シーンの撮影を提案することで、追加撮影の負荷を抑えつつ、自由視点コンテンツのバリエーションを拡充させることができる。

【0128】

このように、選択部３３ａは、これまで後ろに接続する分割シーンが乏しかった分割シーンに対して、これまで接続候補とならなかった分割シーンとを補完するための開始ポーズおよび終了ポーズを選択する。これにより、自由視点コンテンツの生成する場合に、各分割データを利用することが可能となる。

【0129】

なお、選択部３３ａは、例えば、シーン情報ＤＢを参照し、接続フレームにおける演者の３次元モデルが所定値を超えて類似する２つの分割シーンを選択し、開始ポーズと終了ポーズとを決定することにしてもよい。また、選択部３３ａは、ユーザが選択した分割シーンに基づいて開始ポーズと終了ポーズとを選択することにしてもよい。

【0130】

提案データ生成部３３ｂは、多視点映像の追加撮影時のポーズに関する提案データを生成する。提案データ生成部３３ｂは、開始ポーズと、終了ポーズとの３次元モデルに関する情報を提案データとして生成する。

【0131】

この際、提案データ生成部３３ｂは、追加撮影時の収録曲や、開始ポーズから終了ポーズまでの時間長を指定することにしてもよい。さらに、提案データ生成部３３ｂは、開始ポーズから終了ポーズまでの一連の振り付けを提案することにしてもよい。

【0132】

提案データ生成部３３ｂは、複数の開始ポーズおよび複数の終了ポーズが選択部３３ａによって選択された場合、複数の開始ポーズと、複数の終了ポーズとを一覧表示することにしてもよい。

【0133】

提案データ生成部３３ｂによって生成された提案データは、例えば、スタジオに設定されたモニタに表示される。これにより、演者は、開始ポーズおよび終了ポーズを視聴することができる。

【0134】

次に、図１７を用いて、実施形態に係る提案装置１００が実行する処理手順について説明する。図１７は、実施形態に係る提案装置１００が実行する処理手順を示すフローチャートである。

【0135】

図１７に示すように、実施形態に係る提案装置１００は、まず、シーン情報ＤＢから分割シーンを選択し（ステップＳ３０１）、選択した分割シーンに接続可能なシーン数が閾値より大きいか否かを判定する（ステップＳ３０２）。

【0136】

提案装置１００は、接続可能なシーン数が閾値よりも大きい場合（ステップＳ３０２，Ｙｅｓ）、ステップＳ３０１の処理へ移行し、他の分割シーンを選択することになる。また、提案装置１００は、ステップＳ３０２の判定処理において、接続可能なシーン数が閾値よりも小さい場合（ステップＳ３０２，Ｎｏ）、ステップＳ３０１において選択した分割シーンの最終フレームのポーズを開始ポーズとして決定する（ステップＳ３０３）。

【0137】

続いて、提案装置１００は、ステップＳ３０１において選択した分割シーンとの接続スコアＳｃｃが閾値以下である他の分割シーンを選択し（ステップＳ３０４）、ステップＳ３０４にて選択した開始フレームのポーズを終了ポーズとして決定する（ステップＳ３０５）。

【0138】

そして、提案装置１００は、ステップＳ３０３にて決定した開始ポーズおよびステップＳ３０５にて決定した終了ポーズに基づいて、提案データを生成し（ステップＳ３０６）、処理を終了する。

【0139】

［変形例］
上述した実施形態では、情報処理装置１０がユーザ端末５０から選曲情報を取得し、かかる選曲情報に基づいて自由視点コンテンツを生成する場合について説明した。しかしながら、これに限定されるものではない。すなわち、情報処理装置１０は、楽曲を管理する楽曲サーバから所定周期で選曲情報を取得し、自由視点コンテンツを生成することにしてもよい。すなわち、例えば、新曲がリリースされた場合などにおいて、新曲に対して自動的に自由視点コンテンツを生成することにしてもよい。

【0140】

また、例えば、ユーザ端末５０は、スマートフォンやスピーカから流れてくる楽曲を判定し、かかる楽曲の選曲情報を情報処理装置１０へ送信することにしてもよい。この場合、例えば、現在流れている楽曲に対して、リアルタイムで自由視点コンテンツを再生することも可能である。

【0141】

また、例えば、ＳＮＳ上で自由視点コンテンツを公開する場合、部分的に自由視点コンテンツを公開し、残りの自由視点コンテンツ（全編）については、各ユーザ端末５０が情報処理装置１０へアクセスした場合に、提供することにしてもよい。

【0142】

また、情報処理装置１０は、ユーザがカラオケで選曲した楽曲を選曲情報として取得し、自由視点コンテンツを生成することにしてもよい。この場合、例えば、ユーザは、自身の歌にあわせて、自由視点コンテンツを視聴することができる。すなわち、ユーザの歌にあわせて演者が躍るアプリケーションを提供することができる。

【0143】

また、上述した実施形態では、楽曲にあわせたダンス映像の自由視点コンテンツを生成する場合について説明したが、これに限定されるものではない。すなわち、プロジェクションマッピングに代表される照明演出に基づいて、ダンス映像の自由視点コンテンツを生成することにしてもよい。

【0144】

また、自由視点映像は、ダンス映像に限られず、３次元の映像であれば、その他の自由視点映像を適宜、自由視点コンテンツに組み込むことにしてもよい。また、上述した実施形態では、シーン情報生成装置１、情報処理装置１０および提案装置１００をそれぞれ異なる装置として説明した。しかしながら、これに限定されるものではなく、各機能を適宜、統合および分散することにしてもよい。

【0145】

また、上述した実施形態では、オブジェクトを演者、音を楽曲として説明したが、これに限定されるものではない。具体的には、例えば、動物や、ロボット、機械などをコンテンツとすることにしてもよいし、楽曲以外の様々な音声を音とすることにしてもよい。

【0146】

つまり、自由視点コンテンツは、演者のダンス映像に限られず、多様なオブジェクトと、音とを組み合わせたものであってもよい。

【0147】

上述してきた各実施形態に係る情報処理装置等の情報機器は、例えば図１８に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置１０を例に挙げて説明する。図１８は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0148】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0149】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0150】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。

【0151】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0152】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0153】

例えば、コンピュータ１０００が実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、取得部２３ａ等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部２２内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0154】

なお、本技術は以下のような構成も取ることができる。
（１）
与えられた音の特徴量と、オブジェクトを撮影した多視点映像に基づく自由視点映像を分割した分割シーンそれぞれの接続フレーム間の類似度とに基づいて前記分割シーンの接続順序を決定する決定部と、
前記決定部によって決定された前記接続順序で前記分割シーンを接続した自由視点コンテンツを生成する生成部と
を備える情報処理装置。
（２）
前記自由視点映像は、
前記オブジェクトが演者であり、当該演者が収録曲にあわせて踊るダンス映像である、
上記（１）に記載の情報処理装置。
（３）
前記音は、
楽曲である、
上記（１）または（２）に記載の情報処理装置。
（４）
前記接続フレームそれぞれにおける前記演者の３次元モデルに基づいて、前記接続フレーム間の類似度を判定する判定部
を備える、
上記（１）～（３）のいずれか一つに記載の情報処理装置。
（５）
前記判定部は、
前記演者の関節位置を示すボーンモデルに基づいて前記類似度を判定する、
上記（４）に記載の情報処理装置。
（６）
前記判定部は、
前記演者の表面形状に対応する点群データに基づいて前記類似度を判定する、
上記（４）または（５）に記載の情報処理装置。
（７）
前記決定部は、
前記楽曲の開始から終了までを前記分割シーンで接続した接続経路ごとに前記分割シーン間の前記類似度に応じた接続スコアの累積値に基づいて、前記接続順序を決定する、
上記（１）～（６）のいずれか一つに記載の情報処理装置。
（８）
前記判定部は、
前記決定部によって前記接続順序が決定された場合に、前記接続フレームに加え、前記接続フレームの周辺フレーム間の前記類似度を判定し、
前記生成部は、
前記周辺フレームのうち、前記類似度が最も高いフレーム同士を繋げて前記分割シーンを接続する、
上記（１）～（７）のいずれか一つに記載の情報処理装置。
（９）
前記生成部は、
前記楽曲の休符区間において、前記分割シーンを接続する、
上記（１）～（８）のいずれか一つに記載の情報処理装置。
（１０）
前記楽曲の特徴量と、前記分割シーンの収録曲の特徴量とに基づいて、前記楽曲と前記収録曲との適合度を示す楽曲スコアを算出する算出部
を備え、
前記決定部は、
前記楽曲スコアに基づいて、前記接続順序を決定する、
上記（１）～（９）のいずれか一つに記載の情報処理装置。
（１１）
前記算出部は、
前記楽曲を分割したパートそれぞれの曲調と、前記分割シーンそれぞれの曲調とに基づいて、前記楽曲スコアを算出する、
上記（１０）に記載の情報処理装置。
（１２）
前記算出部は、
前記楽曲を分割したパートそれぞれの時間長と、前記分割シーンそれぞれの時間長とに基づいて、前記楽曲スコアを算出する、
上記（１０）または（１１）に記載の情報処理装置。
（１３）
前記決定部は、
前記楽曲の休符区間に対して、当該休符区間の時間長に応じて、時間長を調整した前記分割シーンを割り当てる、
上記（１）～（１２）のいずれか一つに記載の情報処理装置。
（１４）
前記決定部は、
前記分割シーンのフレームを間引くことで、前記分割シーンの前記時間長を調整する、
上記（１３）に記載の情報処理装置。
（１５）
オブジェクトを撮影した多視点映像に基づく自由視点映像を分割した分割シーンをそれぞれの接続フレーム間の類似度に基づいて、前記自由視点映像を追加撮影時のポーズに関する提案データを生成する提案データ生成部
を備える、提案装置。
（１６）
前記提案データ生成部は、
前記記憶部に記憶された前記分割シーンにおける前記オブジェクトである演者の終了ポーズを開始ポーズとし、他の前記分割シーンにおける前記演者の開始ポーズを終了ポーズとする前記提案データを生成する、
上記（１７）に記載の提案装置。
（１７）
コンピュータが、
与えられた音の特徴量と、オブジェクトを撮影した多視点映像に基づく自由視点映像を分割した分割シーンそれぞれの接続フレーム間の類似度とに基づいて前記分割シーンの接続順序を決定し、
決定した前記接続順序で前記分割シーンを接続した自由視点コンテンツを生成する、
情報処理方法。
（１８）
コンピュータが、
与えられた音の特徴量と、オブジェクトを撮影した多視点映像に基づく実写の自由視点映像を分割した分割シーンそれぞれの接続フレーム間の類似度とに基づいて、前記多視点映像を追加撮影のポーズに関する提案データを生成する、
提案方法。

【符号の説明】

【0155】

１ シーン情報生成装置
１０ 情報処理装置
１３ａ ３Ｄモデル生成部
１３ｂ 音楽解析部
１３ｃ シーン情報生成部
２３ａ 取得部
２３ｂ 音楽解析部
２３ｃ 判定部
２３ｄ 算出部
２３ｅ 決定部
２３ｆ 生成部
３３ａ 選択部
３３ｂ 提案データ生成部
５０ ユーザ端末
１００ 提案装置
Ｓ、Ｓ１ 提供システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】