特開 2024-58403 コンテンツ再生制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058403

(43)【公開日】2024-04-25

(54)【発明の名称】コンテンツ再生制御システム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20240418BHJP

   A63J 5/02 20060101ALI20240418BHJP

【ＦＩ】

G10H1/00 Z

A63J5/02

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022165745

(22)【出願日】2022-10-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「エレクトレットを用いた振動発電素子開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】517085125

【氏名又は名称】株式会社毎日放送

(71)【出願人】

【識別番号】000173809

【氏名又は名称】一般財団法人電力中央研究所

(71)【出願人】

【識別番号】522404627

【氏名又は名称】株式会社れ組

(71)【出願人】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】田中 聖二

(72)【発明者】

【氏名】市川 充史

(72)【発明者】

【氏名】小野 新平

(72)【発明者】

【氏名】寺瀬 勇人

(72)【発明者】

【氏名】中嶋 宇史

(72)【発明者】

【氏名】洲崎 崇

【テーマコード（参考）】

5D478

【Ｆターム（参考）】

5D478CC22

(57)【要約】

【課題】コンテンツ再生の際の斬新性を向上させることが可能な、コンテンツ再生制御システムを提供する。
【解決手段】本開示の一実施の形態に係るコンテンツ再生制御システムは、動作体の動作を検出するセンサと、このセンサによる動作体の動作の検出結果に基づいて、コンテンツ再生装置におけるコンテンツの再生動作を制御する情報処理装置と、を備えている。この情報処理装置は、動作体の動作の検出結果に基づいて所定の解析処理を行うことにより、動作体の動作のテンポを示すテンポ情報を抽出する解析処理部と、この解析処理部によって抽出されたテンポ情報に基づいて、動作体の動作のテンポを、コンテンツの再生動作へと反映させる制御部と、を有している。
【選択図】図１

【特許請求の範囲】

【請求項1】

動作体の動作を検出するセンサと、
前記センサによる前記動作体の動作の検出結果に基づいて、コンテンツ再生装置におけるコンテンツの再生動作を制御する情報処理装置と
を備え、
前記情報処理装置は、
前記動作体の動作の検出結果に基づいて所定の解析処理を行うことにより、前記動作体の動作のテンポを示すテンポ情報を抽出する解析処理部と、
前記解析処理部によって抽出された前記テンポ情報に基づいて、前記動作体の動作のテンポを、前記コンテンツの再生動作へと反映させる制御部と
を有するコンテンツ再生制御システム。

【請求項2】

前記制御部は、前記テンポ情報に基づいて、
前記コンテンツの再生速度および再生内容のうちの少なくとも一方を、変化させる
請求項１に記載のコンテンツ再生制御システム。

【請求項3】

前記制御部は、前記再生速度および前記再生内容のうちの少なくとも一方を、時間軸に沿って連続的に変化させる
請求項２に記載のコンテンツ再生制御システム。

【請求項4】

前記コンテンツの再生動作として、音楽の再生動作と映像の再生動作とのうちの、少なくとも一方を含んでいる
請求項１ないし請求項３のいずれか１項に記載のコンテンツ再生制御システム。

【請求項5】

前記制御部は、
前記コンテンツの再生動作として、前記音楽の再生動作を少なくとも含んでいる場合には、
前記テンポ情報に基づいて、オリジナル音声データに含まれる第１の拍間隔を変化させることにより、前記音楽の再生動作の際の、再生速度を変化させる
請求項４に記載のコンテンツ再生制御システム。

【請求項6】

前記テンポ情報は、前記動作体の動作のテンポを示す、第２の拍間隔の情報を含んでおり、
前記制御部は、
前記オリジナル音声データにて規定されているオリジナル再生速度に対して、前記第１の拍間隔に対する前記第２の拍間隔の比率を乗ずることにより、
前記音楽の再生速度としての前記オリジナル再生速度を、変化させる
請求項５に記載のコンテンツ再生制御システム。

【請求項7】

前記制御部は、前記音楽の再生動作の際に、
前記オリジナル再生速度を変化させる一方、
前記オリジナル音声データにて規定されているオリジナル音程については、変化させない
請求項６に記載のコンテンツ再生制御システム。

【請求項8】

前記制御部は、前記動作体の動作のテンポを、前記コンテンツの再生動作に加え、演出装置における所定の演出動作にも、反映させる
請求項１に記載のコンテンツ再生制御システム。

【請求項9】

前記解析処理部は、
前記動作体の動作の検出結果としての、速度、加速度、角速度および地磁気のうちの少なくとも１つのパラメータにおける、時間変化の状況に基づいて、
前記所定の解析処理を行うことにより、前記テンポ情報を抽出する
請求項１に記載のコンテンツ再生制御システム。

【請求項10】

前記センサと前記情報処理装置とが、単一の装置内に、一体化して搭載されている
請求項１に記載のコンテンツ再生制御システム。

【請求項11】

演者と観客とを含んで実施される、ライブイベントに適用されるシステムである
請求項１に記載のコンテンツ再生制御システム。

【請求項12】

前記センサによる検出対象の前記動作体として、
前記演者、前記観客、前記ライブイベントに参加する動物、および、ロボットのうちの、少なくとも１つを含んでいる
請求項１１に記載のコンテンツ再生制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンテンツの再生動作を制御するコンテンツ再生制御システムに関する。

【背景技術】

【0002】

映像や音楽等のコンテンツの再生動作を制御するシステム（コンテンツ再生制御システム）として、各種のシステムが提案されている。このようなコンテンツ再生の際の制御システムとしては、例えば特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－０１１９８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記したコンテンツ再生制御システムでは、コンテンツ再生の際の斬新性を向上させることが求められている。コンテンツ再生の際の斬新性を向上させることが可能な、コンテンツ再生制御システムを提供することが望ましい。

【課題を解決するための手段】

【0005】

本開示の一実施の形態に係るコンテンツ再生制御システムは、動作体の動作を検出するセンサと、このセンサによる動作体の動作の検出結果に基づいて、コンテンツ再生装置におけるコンテンツの再生動作を制御する情報処理装置と、を備えたものである。この情報処理装置は、動作体の動作の検出結果に基づいて所定の解析処理を行うことにより、動作体の動作のテンポを示すテンポ情報を抽出する解析処理部と、この解析処理部によって抽出されたテンポ情報に基づいて、動作体の動作のテンポを、コンテンツの再生動作へと反映させる制御部と、を有している。

【発明の効果】

【0006】

本開示の一実施の形態に係るコンテンツ再生制御システムによれば、コンテンツ再生の際の斬新性を向上させることが可能となる。

【図面の簡単な説明】

【0007】

【図1】本開示の一実施の形態に係るコンテンツ再生システムの全体構成例を模式的に表すブロック図である。

【図2A】図１に示した振動センサによる検出結果としての相対位置の時間変化の一例を表す図である。

【図2B】図１に示した振動センサによる検出結果としての速度の時間変化の一例を表す図である。

【図2C】図１に示した振動センサによる検出結果としての加速度の時間変化の一例を表す図である。

【図2D】図１に示した振動センサによる検出結果としての角速度の時間変化の一例を表す図である。

【図3】実施の形態に係るテンポ情報に基づく制御動作の一例を表す図である。

【図4】図３に示した制御動作の一例としての音楽の再生動作への制御動作例を表すタイミング図である。

【図5】変形例１に係るコンテンツ再生システムの全体構成例を模式的に表すブロック図である。

【図6】変形例２に係るコンテンツ再生システムの全体構成例を模式的に表すブロック図である。

【発明を実施するための形態】

【0008】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（舞台上の演者の動作を検出してコンテンツ再生動作に反映させる例）
２．変形例
変形例１（観客の動作も検出してコンテンツ再生動作に反映させる例）
変形例２（建物内のユーザの動作を検出してコンテンツ再生動作に反映させる例）
３．その他の変形例

【0009】

＜１．実施の形態＞
［システムの全体構成］
図１は、本開示の一実施の形態に係るコンテンツ再生システム（コンテンツ再生システム３）の全体構成例を、模式的にブロック図で表したものである。このコンテンツ再生システム３は、図１に示した例では、舞台４上の演者５１と、複数の観客５２とを含んで実施される、ライブイベントに適用されるシステムとなっている。なお、演者５１としては、例えばダンサーなどが挙げられる（図１参照）。また、このような演者５１は、本開示における「動作体」（後述する振動センサ２１による検出対象の動作体）の一具体例に対応している。

【0010】

コンテンツ再生システム３は、図１に示したように、舞台４上に配置されたコンテンツ再生装置１ａおよび演出装置１ｂと、演者５１の近傍に配置されたスマートデバイス２とを、備えている。

【0011】

（Ａ．コンテンツ再生装置１ａ）
コンテンツ再生装置１ａは、図１に示したように、映像表示装置１１および音声出力装置１２を含んで構成されている。言い換えると、コンテンツ再生装置１ａによるコンテンツの再生動作としては、図１の例では、映像表示装置１１による映像の再生動作と、音声出力装置１２による音声の再生動作とを、それぞれ含んでいる。

【0012】

映像表示装置１１は、外部から入力されるオリジナル映像データＤｖ０に基づいて、映像の再生動作を行う装置であり、例えば、各種方式のディスプレイ等を用いて構成されている。

【0013】

音声出力装置１２は、外部から入力されるオリジナル音声データＤａ０に基づいて、音声の再生動作を行う装置であり、例えばスピーカ等を用いて構成されている。

【0014】

（Ｂ．演出装置１ｂ）
演出装置１ｂは、ライブイベントにおける各種の演出動作を行う装置であり、図１の例では、照明装置１３を含んで構成されている。言い換えると、演出装置１ｂによる演出動作としては、図１の例では、照明装置１３による照明動作を含んでいる。なお、演出装置１ｂとして、他の装置（例えば、キャノン砲や、スモーク発生装置など）を用いるようにしてもよい。

【0015】

照明装置１３は、外部から入力されるオリジナル照明データＤｉ０に基づいて、各種の照明動作（各種の照度や色度等による、ライトの点灯や消灯等の動作）を行う装置である。

【0016】

（Ｃ．スマートデバイス２）
スマートデバイス２は、前述したように、舞台４上に位置する演者５１の近傍に配置されているデバイスである（図１参照）。具体的には、このスマートデバイス２は、例えば、演者５１によって手のひら等で保持されていたり、演者５１の身体の一部（腕や足、胴体、頭部など）に固定して装着されるようになっている。このようなスマートデバイス２としては、例えば、スマートウォッチやスマートフォン、タブレット等の他、例えば、ペンライトや発光リストバンド等を用いて構成されている。

【0017】

このようなスマートデバイス２は、詳細は後述するが、コンテンツ再生装置１ａにおけるコンテンツの再生動作等を制御するものであり、本開示における「コンテンツ再生制御システム」の一具体例に対応している。

【0018】

スマートデバイス２は、図１に示したように、振動センサ２１と、情報処理装置２２とを、備えている。つまり、図１の例では、振動センサ２１と情報処理装置２２とがそれぞれ、単一の装置（スマートデバイス２）内に、一体化して搭載されている。

【0019】

なお、このようなスマートデバイス２は、本開示における「単一の装置」の一具体例に対応している。また、振動センサ２１は、本開示における「センサ」の一具体例に対応している。

【0020】

（Ｃ－１．振動センサ２１）
振動センサ２１は、演者５１の動作（動き）を検出するセンサである。具体的には、振動センサ２１は、例えば３次元方向（ｘ方向，ｙ方向，ｚ方向）の振動によって、演者５１の動きによる振動を検出するようになっている。このような振動センサ２１による演者５１の動作（３次元方向の振動）の検出結果は、図１に示したように、振動データＤｖとして、後述する解析処理部２２２へと出力されるようになっている。

【0021】

ここで、図２Ａ～図２Ｄはそれぞれ、振動センサ２１による検出結果の一例を表したものである。具体的には、図２Ａは、振動センサ２１による検出結果としての、相対位置Ｐｒの時間変化の一例を示し、図２Ｂは、振動センサ２１による検出結果としての、速度ｖの時間変化の一例を示している。また、図２Ｃは、振動センサ２１による検出結果としての、加速度ａの時間変化の一例を示し、図２Ｄは、振動センサ２１による検出結果としての、角速度ωの時間変化の一例を示している。なお、図２Ａ～図２Ｄ中の横軸は、時間ｔを示している。

【0022】

このようにして振動センサ２１は、例えば、このような速度ｖ、加速度ａおよび角速度ωのうちの少なくとも１つのパラメータ（例えば、上記した３次元方向でのパラメータ）における時間変化の状況を、振動データＤｖとして出力するようになっている。具体的には、例えば図２Ａ～図２Ｃにそれぞれ示した、速度ｖ、加速度ａおよび角速度ωの検出結果（時間変化の状況）が、振動データＤｖとして出力されるようになっている。また、このようなパラメータの他、例えば、地磁気の検出結果（時間変化の状況）を、振動データＤｖとして利用するようにしてもよい。すなわち、例えば、速度ｖ、加速度ａ、角速度ωおよび地磁気のうちの、少なくとも１つのパラメータにおける時間変化の状況が、振動データＤｖとして出力されるようにしてもよい。

【0023】

（Ｃ－２．情報処理装置２２）
情報処理装置２２は、振動センサ２１による演者５１の動作の検出結果（上記した振動データＤｖ）に基づいて、コンテンツ再生装置１ａにおけるコンテンツの再生動作と、演出装置１ｂにおける所定の演出動作とを、それぞれを制御する装置である。この情報処理装置２２は、図１に示したように、通信部２２１と、解析処理部２２２と、制御部２２３とを、有している。

【0024】

通信部２２１は、所定のネットワーク（有線または無線）を介して、コンテンツ再生装置１ａおよび演出装置１ｂとの間で、通信（データの送受信）を行うものである。

【0025】

解析処理部２２２は、振動センサ２１による演者５１の動作の検出結果（振動データＤｖ）に基づいて、所定の解析処理を行うことにより、動作体（図１の例では演者５１）の動作のテンポを示す、テンポ情報Ｉｔを抽出するものである。なお、このようにして解析処理部２２２において抽出されたテンポ情報Ｉｔは、上記した通信部２２１を介して、コンテンツ再生装置１ａおよび演出装置１ｂへと、それぞれ出力されるようになっている（図１参照）。

【0026】

具体的には、解析処理部２２２は、前述した各種パラメータ（例えば、３次元方向でのパラメータ）の時間変化の状況を示す振動データＤｖに基づいて、例えば以下のような解析処理（リアルタイムでのモーション解析処理）を行うことで、テンポ情報Ｉｔを抽出する。また、例えば、これらの各種パラメータの値を単位時間で積分して得られる「変位量」を用いたり、以下に挙げた各種の処理のうちの１つを用いたり、あるいは、複数の処理を組み合わせることで、テンポ情報Ｉｔが抽出されるようになっている。

【0027】

・加速度ａにおける、正の値と負の値との間での変化点の抽出処理
・加速度ａの絶対値が０（ゼロ）となる点の抽出処理
・速度ｖにおける、正の値と負の値との間での変化点の抽出処理
・角速度ωの符号（正の値または負の値）の判定処理
・地磁気の値の微分処理

【0028】

制御部２２３は、解析処理部２２２によって抽出されたテンポ情報Ｉｔに基づいて、コンテンツ再生装置１ａによるコンテンツの再生動作等を、制御するものである。具体的には、図１の例では、制御部２２３は制御信号Ｓｃを用いて、映像表示装置１１による映像の再生動作と、音声出力装置１２による音声の再生動作と、演出装置１ｂによる演出動作（照明装置１３による照明動作）とを、それぞれ制御するようになっている。なお、このような制御部２２３による制御動作の詳細については、後述する（図３，図４）。

【0029】

［動作および作用・効果］
続いて、本実施の形態における動作、作用および効果について、詳細に説明する。

【0030】

（Ａ．制御動作）
まず、図１，図２Ａ～図２Ｄに加えて図３，図４を参照して、制御部２２３による制御動作（上記したコンテンツの再生動作および所定の演出動作に対する制御動作）について、詳細に説明する。

【0031】

図３は、制御部２２３による制御動作（前述したテンポ情報Ｉｔに基づく制御動作）の一例を、表したものである。また、図４は、図３に示した制御動作の一例としての、音楽の再生動作への制御動作例を、タイミング図で表したものである。具体的には、図４（Ａ）は、前述したオリジナル音声データＤａ０の時間変化を、図４（Ｂ）は、テンポ情報Ｉｔの時間変化を、図４（Ｃ）は、音楽の再生動作の際の時間変化を、それぞれ示している。なお、図４中の横軸は、時間ｔを示している。

【0032】

まず、図３に示したように、振動データＤｖから抽出されたテンポ情報Ｉｔに基づく制御動作の際に、制御部２２３は、例えば以下のようにして制御を行う。

【0033】

すなわち、制御部２２３は、そのようなテンポ情報Ｉｔに基づき、動作体（演者５１）の動作のテンポを、コンテンツ再生装置１ａにおけるコンテンツの再生動作（映像表示装置１１における映像の再生動作、および、音声出力装置１２における音楽の再生動作）へと、反映させる。また、制御部２２３は、テンポ情報Ｉｔに基づき、演者５１の動作のテンポを、そのようなコンテンツの再生動作に加え、演出装置１ｂにおける所定の演出動作（照明装置１３における照明動作など）にも、反映させる。

【0034】

具体的には、制御部２２３は、例えば、テンポ情報Ｉｔに基づいて、コンテンツの再生速度および再生内容のうちの少なくとも一方を、変化させる。また、制御部２２３は、例えば、テンポ情報Ｉｔに基づいて、演出の速度および内容（照明の明るさ、色、点灯または消灯など）のうちの少なくとも一方を、変化させる。なお、例えば、演出装置１ｂとして、前述した他の装置（キャノン砲や、スモーク発生装置など）を用いるようにした場合には、制御部２２３は、これらの他の装置による、演出の速度および内容のうちの少なくとも一方を、変化させる。また、制御部２２３は、例えば、このような再生速度および再生内容のうちの少なくとも一方や、演出の速度および内容のうちの少なくとも一方を、時間軸に沿って連続的に変化させる。

【0035】

更に、制御部２２３は、音楽の再生動作を少なくとも含んでいる場合には、テンポ情報Ｉｔに基づいて音楽の再生動作を行う際に、例えば、以下のように制御する。すなわち、制御部２２３は、オリジナル音声データＤａ０にて規定されているオリジナル再生速度については、変化させる一方、オリジナル音声データＤａ０にて規定されているオリジナル音程については、変化させないようにする。具体的には、制御部２２３は、例えばフェイズボコーダーを用いることで、オリジナル音程が変化しないように制御する。

【0036】

ここで、図４を参照して、このような音楽の再生動作の際の制御動作例（テンポ情報Ｉｔに基づいて、音楽の再生速度を変化させる制御動作例）について、詳細に説明する。

【0037】

この図４に示した例では、オリジナル音声データＤａ０が、時間軸に沿った複数のファイル時刻ａ（ｎ），ａ（ｎ－１），…，ａ（３），ａ（２），ａ（１），ａ（０）により規定される、第１の拍間隔の情報を含んでいる（図４（Ａ）参照）。この第１の拍間隔は、オリジナル音声データＤａ０における音楽のテンポを示す情報であり、図４（Ａ）の例では、時間軸に沿った複数の拍間隔［ａ（ｎ）－ａ（ｎ－１）］，…，［ａ（３）－ａ（２）］，［ａ（２）－ａ（１）］，［ａ（１）－ａ（０）］を、含んでいる。

【0038】

なお、このようなオリジナル音声データＤａ０に含まれる第１の拍間隔は、例えば、ＣＳＶ（Comma Separated Value）を用いた簡易な情報（テキストデータ）によって規定されており、この第１の拍間隔は、例えば等間隔でなくてもよい。つまり、オリジナル音声データＤａ０における音楽のテンポは、一定とは限られず、音楽のテンポが時間軸に沿って変化するようになっていてもよい。

【0039】

また、例えば図４（Ｂ）に示したように、テンポ情報Ｉｔは、時間軸に沿った複数の入力時刻ｔ（ｎ－１），ｔ（ｎ－２），…，ｔ（３），ｔ（２），ｔ（１），ｔ（０），ｔ（－１）により規定される、第２の拍間隔の情報を含んでいる。この第２の拍間隔は、動作体（演者５１）の動作のテンポを示す情報であり、図４（Ｂ）の例では、時間軸に沿った複数の拍間隔［ｔ（ｎ－１）－ｔ（ｎ－２）］，…，［ｔ（３）－ｔ（２）］，［ｔ（２）－ｔ（１）］，［ｔ（１）－ｔ（０）］，［ｔ（０）－ｔ（－１）］を、含んでいる。なお、図４（Ｂ）中に符号Ｐ１で示した区間では、オリジナル音声データＤａ０が再生される直前の拍間隔［ｔ（０）－ｔ（－１）］が、入力されている。

【0040】

そして、制御部２２３は、このようなテンポ情報Ｉｔ（図４（Ｂ）参照）に基づいて、オリジナル音声データＤａ０に含まれる第１の拍間隔（図４（Ａ）参照）を変化させることにより、オリジナル音声データＤａ０を再生する際の、再生速度を変化させる。具体的には、制御部２２３は、オリジナル音声データＤａ０にて規定されているオリジナル再生速度に対して、上記した第１の拍間隔に対する第２の拍間隔の比率（再生速度比率）を乗ずることにより、オリジナル再生速度を変化させる。

【0041】

ここで、上記した再生速度比率については、ｎ拍目（ｎ：正の整数）における再生速度比率を規定すると、以下の式（１）のように表される。
・ｎ拍目の再生速度比率
＝（第２の拍間隔／第１の拍間隔）
＝［ｔ（ｎ－１）－ｔ（ｎ－２）］／［ａ（ｎ）－ａ（ｎ－１）］ ……（１）

【0042】

このようにしてオリジナル再生速度を変化させることで、例えば図４（Ｃ）に示したように、時間軸に沿った複数の再生時刻ｐ（ｎ），ｐ（ｎ－１），…，ｐ（３），ｐ（２），ｐ（１）により規定される再生速度にて、音楽の再生動作が実現される。つまり、例えば図４（Ｂ）に示したような第２の拍間隔を含むテンポ情報Ｉｔに基づき、例えば図４（Ａ）に示したようなオリジナル音声データＤａ０における第１の拍間隔（オリジナル再生速度）が、変化するように制御されることで、例えば図４（Ｃ）に示したような再生速度にて、音楽の再生動作が行われることになる。

【0043】

（Ｂ．作用・効果）
このようにして本実施の形態では、動作体（演者５１）の動作の検出結果に基づいて所定の解析処理を行うことにより、演者５１の動作のテンポを示すテンポ情報Ｉｔを抽出すると共に、抽出したテンポ情報Ｉｔに基づいて、演者５１の動作のテンポを、コンテンツの再生動作へと反映させるようにしたので、以下のようになる。

【0044】

すなわち、まず、従来のライブイベントでは、例えば、音楽などのコンテンツの再生時のテンポに合わせて、演者がダンスをしたり、音楽の再生動作に合わせて、映像の再生動作を変化させたりしていた。

【0045】

これに対して本実施の形態では、上記したように、逆に、演者５１の動作のテンポが、コンテンツの再生動作へと反映される。具体的には、例えば、演者５１のダンスそのものの動きに応じて、音楽のテンポを変化させたり、映像の内容を変化させたりすることができ、新しい演出（芸術の創造等）が実現可能となる。よって、本実施の形態では従来と比べ、コンテンツ再生の際の斬新性を向上させることが可能となる。

【0046】

また、本実施の形態では、コンテンツの再生動作として、音楽の再生動作を少なくとも含んでいる場合には、テンポ情報Ｉｔに基づいて、オリジナル音声データＤａ０に含まれる第１の拍間隔（前述）を変化させることによって、音楽の再生動作の際の再生速度を変化させるようにしたので、以下のようになる。すなわち、簡易な手法で音楽の再生速度を変化させることができ、演者５１の動作のテンポを、タイムリーに反映させることが可能となる。

【0047】

更に、本実施の形態では、テンポ情報Ｉｔが、演者５１の動作のテンポを示す第２の拍間隔（前述）の情報を含んでいると共に、オリジナル音声データＤａ０にて規定されているオリジナル再生速度に対して、上記した第１の拍間隔に対する第２の拍間隔の比率を乗ずることによって、音楽の再生速度としてのオリジナル再生速度を変化させるようにしたので、以下のようになる。すなわち、テンポ情報Ｉｔに含まれる第２の拍間隔の情報という、簡易な（データ量の少ない）情報を用いて、オリジナル再生速度を変化させていることから、例えば、従来の手法（映像によるモーション解析等）では反映が間に合わないような状況であっても、オリジナル再生速度を、タイムリーに変化させることが可能となる。

【0048】

加えて、本実施の形態では、テンポ情報Ｉｔに基づいて音楽の再生動作を行う際に、上記したオリジナル再生速度については変化させる一方、オリジナル音声データＤａ０にて規定されているオリジナル音程については、変化させないようにしたので、以下のようになる。すなわち、オリジナル音程については変化させないことで、音楽再生の際に、音楽的な破綻が生じてしまうのを、回避することが可能となる。

【0049】

また、本実施の形態では、テンポ情報Ｉｔに基づいて、演者５１の動作のテンポを、コンテンツの再生動作に加えて、演出装置１ｂにおける所定の演出動作にも反映させるようにしたので、以下のようになる。すなわち、コンテンツ再生の際の斬新性を、更に向上させることが可能となる。

【0050】

更に、本実施の形態では、振動センサ２１と情報処理装置２２とがそれぞれ、単一の装置（スマートデバイス２）内に、一体化して搭載されているようにしたので、以下のようになる。すなわち、例えば、これらを別体として設けた場合と比べ、装置の小型化を図ることができると共に、より手軽に利用することができるため、利便性を向上させることも可能となる。

【0051】

＜２．変形例＞
続いて、上記実施の形態の変形例（変形例１，２）について説明する。なお、以下では、実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

【0052】

［変形例１］
（構成）
図５は、変形例１に係るコンテンツ再生システム（コンテンツ再生システム３Ａ）の全体構成例を、模式的にブロック図で表したものである。この変形例１のコンテンツ再生システム３Ａは、舞台４上に配置されたコンテンツ再生装置１ａおよび演出装置１ｂと、演者５１の近傍に配置されたスマートデバイス２ａと、観客５２の近傍に配置されたスマートデバイス２ｂとを、備えている。なお、スマートデバイス２ａ，２ｂの構成はそれぞれ、実施の形態にて説明したスマートデバイス２の構成と、基本的には同一となっている。

【0053】

このように、実施の形態のコンテンツ再生システム３（図１参照）では、演者５１近傍のスマートデバイス２のみが設けられていたのに対し、変形例１のコンテンツ再生システム３Ａでは、演者５１近傍のスマートデバイス２ａと、観客５２近傍のスマートデバイス２ｂとが、それぞれ設けられている。言い換えると、実施の形態では、振動センサ２１による検出対象が、演者５１のみであったのに対し、変形例１では、振動センサ２１による検出対象が、演者５１および観客５２となっている。つまり、この変形例１では、演者５１および観客５２がそれぞれ、本開示における「動作体」の一具体例に対応している。

【0054】

なお、これらのスマートデバイス２ａ，２ｂはそれぞれ、本開示における「コンテンツ再生制御システム」および「単一の装置」の一具体例に対応している。

【0055】

このようなスマートデバイス２ａ，２ｂはそれぞれ、実施の形態のスマートデバイス２と同様にして、コンテンツ再生装置１ａにおけるコンテンツの再生動作と、演出装置１ｂにおける所定の演出動作とを、それぞれを制御するようになっている。具体的には、スマートデバイス２ａは、振動センサ２１による演者５１の動作の検出結果（振動データＤｖ）に基づき、前述した制御信号Ｓｃとしての制御信号Ｓｃａを用いて、コンテンツの再生動作と所定の演出動作とを、それぞれを制御する（図５参照）。また、スマートデバイス２ａは、振動センサ２１による観客５２の動作の検出結果（振動データＤｖ）に基づき、制御信号Ｓｃとしての制御信号Ｓｃｂを用いて、コンテンツの再生動作と所定の演出動作とを、それぞれを制御する（図５参照）。

【0056】

このようにして、実施の形態では、演者５１の動作を検出して、前述したようにしてコンテンツの再生動作および演出動作に反映させていたのに対し、この変形例１では、演者５１の動作に加えて観客５２の動作も検出して、それらの各動作に反映させるようになっている。

【0057】

（作用・効果）
このような変形例１においても、基本的には、実施の形態と同様の作用により、同様の効果を得ることが可能である。

【0058】

また、特にこの変形例１では、スマートデバイス２ａ，２ｂを用いて、演者５１の動作に加えて観客５２の動作も検出して、コンテンツの再生動作や演出動作に反映させるようにしたので、例えば以下のような効果も得られる。すなわち、演者５１の動作に加えて観客５２の動作についても、それらの各動作に反映させることができることから、実施の形態の場合と比べ、斬新性を更に向上させることが可能となる。

【0059】

なお、このような変形例１において、スマートデバイス２ｂ内の振動センサ２１による検出対象としては、例えば、複数の観客５２のうちの１人（特定の観客５２）だけでもよいし、あるいは、例えば、複数の観客５２をそれぞれ、スマートデバイス２ｂ内の振動センサ２１による検出対象としてもよい。

【0060】

また、振動センサ２１による検出対象の動作体としては、これまでに説明した、演者５１や観客５２には限られず、例えば、ライブイベントに参加する動物や、あるいは、以下説明する変形例２のように、コンテンツ再生装置１ａのユーザなどであってもよい。更に、振動センサ２１による検出対象の動作体としては、そのような生体（人間または動物）には限られず、例えば、ロボット（人間による操作に応じた動作するロボットや、人工知能（ＡＩ）にて動作するロボット，アンドロイドなど）であってもよい。すなわち、振動センサ２１による検出対象の動作体としては、例えば、演者５１、観客５２、ライブイベントに参加する動物、コンテンツ再生装置１ａのユーザ、および、上記したようなロボットのうちの、少なくとも１つを含んでいるようにしてもよい。

【0061】

［変形例２］
（構成）
図６は、変形例２に係るコンテンツ再生システム（コンテンツ再生システム３Ｂ）の全体構成例を、模式的にブロック図で表したものである。この変形例２のコンテンツ再生システム３Ｂは、建物４Ｂ（例えば自宅など）内に配置されたコンテンツ再生装置１ａと、このコンテンツ再生装置１ａのユーザ（ユーザ５３）の近傍に配置されたスマートデバイス２とを、備えている。

【0062】

この変形例２では、振動センサ２１による検出対象が、コンテンツ再生装置１ａのユーザ５３となっている。つまり、この変形例２ではユーザ５３が、本開示における「動作体」の一具体例に対応している。

【0063】

このようにして、この変形例２では、コンテンツ再生装置１ａのユーザ５３の動作を検出して、前述したようにしてコンテンツの再生動作に反映させるようになっている。つまり、実施の形態および変形例１では、演者５１と観客５２とを含んで実施される、ライブイベントに適用されるシステムを例に挙げて説明したが、この変形例２では、そのようなライブイベント以外のケースに、コンテンツ再生システム３Ｂが適用されている。

【0064】

このようなコンテンツ再生システム３Ｂ（変形例２のコンテンツ再生制御システム）の適用例としては、具体的には、例えば以下のようなものが挙げられる。

【0065】

（ａ）リモートコントローラにおける新機能としての利用
・建物４Ｂ（例えば、ユーザ５３の自宅）内における各種機器（例えば、部屋の照明機器、テレビ受像機、スピーカーなど）に対する、リモートコントローラによる遠隔制御動作に、変形例２のコンテンツ再生制御システムを適用するようにしてもよい。
（ｂ）エクササイズにおける利用
・建物４Ｂ（例えば、ユーザ５３の自宅や、エクササイズ用のジムなど）内でのエクササイズの際における、エクササイズ用の映像や音楽の再生動作の制御に、変形例２のコンテンツ再生制御システムを適用するようにしてもよい。
（ｃ）教育用途の利用
・建物４Ｂ（例えば、ユーザ５３の自宅）内での各種の教育用途（例えば、指揮者などの育成や、各種の学習用途など）の際に、変形例２のコンテンツ再生制御システムを適用するようにしてもよい。

【0066】

（作用・効果）
このような変形例２においても、基本的には、実施の形態と同様の作用により、同様の効果を得ることが可能である。

【0067】

なお、この変形例２においても実施の形態および変形例１と同様に、建物４Ｂ内にも演出装置１ｂを配置し、スマートデバイス２によって、演出装置１ｂによる演出動作（照明動作等）を制御するようにしてもよい。

【0068】

＜３．その他の変形例＞
以上、実施の形態および変形例を挙げて本開示の技術を説明したが、本技術はこれらの実施の形態等に限定されず、種々の変形が可能である。

【0069】

例えば、上記実施の形態等において説明した各部材の構成（具体例や配置位置、個数等）は限定されるものではなく、他の構成としてもよい。具体的には、上記実施の形態等では、振動センサ２１と情報処理装置２２とがそれぞれ、単一の装置（スマートデバイス２，２ａ，２ｂ）内に、一体化して搭載されている場合を例に挙げて説明したが、この例には限られない。すなわち、例えば、これらの振動センサ２１と情報処理装置２２とが、別体として設けられているようにしてもよい。なお、この場合、振動センサ２１と情報処理装置２２との間がそれぞれ、各種の通信（無線通信など）を介して、互いにデータの送受信を行うことが可能となっている。

【0070】

また、上記実施の形態等では、コンテンツ再生装置１ａによるコンテンツの再生動作の一例として、映像表示装置１１による映像の再生動作と、音声出力装置１２による音楽の再生動作とを、例に挙げて説明したが、この例には限られない。すなわち、例えば、これらの映像および音楽の再生動作のうちの一方のみを、コンテンツの再生動作として用いるようにしてもよい。また、上記実施の形態等では、コンテンツ再生制御システム（スマートデバイス）によって、そのようなコンテンツの再生動作に加えて、演出装置１ｂによる演出動作（照明動作等）も制御する場合を、例に挙げて説明したが、この例には限られない。すなわち、例えば、コンテンツ再生制御システムによって、コンテンツの再生動作のみを制御するようにしてもよいし、あるいは、コンテンツ再生制御システムによって、他の動作も制御するようにしてもよい。

【0071】

更に、上記実施の形態等で説明したスマートデバイス２，２ａ，２ｂが、例えば、これらのスマートデバイス２，２ａ，２ｂ内に内蔵されている振動発電素子から供給される電力（振動センサ２１によって検出された動作を利用して発電された電力）を利用して、動作するようにしてもよい。加えて、上記実施の形態等では、振動センサ２１による動作の検出結果として、速度、加速度、角速度および地磁気のうちの少なくとも１つのパラメータにおける時間変化の状況を、例に挙げて説明したが、この例には限られず、例えば他のパラメータを、動作の検出結果として用いるようにしてもよい。

【0072】

また、上記実施の形態等で説明した解析処理の手法（テンポ情報Ｉｔの抽出処理等）についても、上記実施の形態等で説明した手法には限られず、例えば、他の手法を用いるようにしてもよい。

【0073】

加えて、上記実施の形態等では、コンテンツ再生制御システム（スマートデバイス）による、コンテンツの再生動作や演出動作に対する制御動作について、具体的に挙げて説明したが、上記実施の形態等で説明した制御動作例には限られず、例えば、他の制御動作を行うようにしてもよい。具体的には、例えば上記実施の形態等では、コンテンツの再生動作を制御する際に、コンテンツの再生速度および再生内容のうちの少なくとも一方を変化させる場合を、例に挙げて説明したが、この例には限られず、例えば、他の手法を用いてコンテンツの再生動作を制御するようにしてもよい。

【0074】

また、上記実施の形態等では、主に、演者５１側と観客５２側とが同じ場所（ライブイベント会場）に位置して実施されるライブイベント（オフラインイベント）を、例に挙げて説明したが、この例には限られない。すなわち、例えば、演者５１側と観客５２側とが異なる場所に位置して実施されるライブイベント（オンラインイベント）において、本開示のコンテンツ再生制御システムを適用するようにしてもよい。また、本開示のコンテンツ再生制御システムは、例えばコンサートのようなライブイベントには限られず、それ以外の各種のライブイベント（例えば、各種の演劇、スポーツイベント、展覧会、博覧会、お祭り系のイベントなど）においても、適用することが可能である。

【0075】

更に、本技術では、これまでに説明した内容を、任意の組み合わせで適用することも可能である。

【0076】

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

【0077】

また、本発明は、以下のような構成を取ることも可能である。
（１）
動作体の動作を検出するセンサと、
前記センサによる前記動作体の動作の検出結果に基づいて、コンテンツ再生装置におけるコンテンツの再生動作を制御する情報処理装置と
を備え、
前記情報処理装置は、
前記動作体の動作の検出結果に基づいて所定の解析処理を行うことにより、前記動作体の動作のテンポを示すテンポ情報を抽出する解析処理部と、
前記解析処理部によって抽出された前記テンポ情報に基づいて、前記動作体の動作のテンポを、前記コンテンツの再生動作へと反映させる制御部と
を有するコンテンツ再生制御システム。
（２）
前記制御部は、前記テンポ情報に基づいて、
前記コンテンツの再生速度および再生内容のうちの少なくとも一方を、変化させる
上記（１）に記載のコンテンツ再生制御システム。
（３）
前記制御部は、前記再生速度および前記再生内容のうちの少なくとも一方を、時間軸に沿って連続的に変化させる
上記（２）に記載のコンテンツ再生制御システム。
（４）
前記コンテンツの再生動作として、音楽の再生動作と映像の再生動作とのうちの、少なくとも一方を含んでいる
上記（１）ないし（３）のいずれかに記載のコンテンツ再生制御システム。
（５）
前記制御部は、
前記コンテンツの再生動作として、前記音楽の再生動作を少なくとも含んでいる場合には、
前記テンポ情報に基づいて、オリジナル音声データに含まれる第１の拍間隔を変化させることにより、前記音楽の再生動作の際の、再生速度を変化させる
上記（４）に記載のコンテンツ再生制御システム。
（６）
前記テンポ情報は、前記動作体の動作のテンポを示す、第２の拍間隔の情報を含んでおり、
前記制御部は、
前記オリジナル音声データにて規定されているオリジナル再生速度に対して、前記第１の拍間隔に対する前記第２の拍間隔の比率を乗ずることにより、
前記音楽の再生速度としての前記オリジナル再生速度を、変化させる
上記（５）に記載のコンテンツ再生制御システム。
（７）
前記制御部は、前記音楽の再生動作の際に、
前記オリジナル再生速度を変化させる一方、
前記オリジナル音声データにて規定されているオリジナル音程については、変化させない
上記（６）に記載のコンテンツ再生制御システム。
（８）
前記制御部は、前記動作体の動作のテンポを、前記コンテンツの再生動作に加え、演出装置における所定の演出動作にも、反映させる
上記（１）ないし（７）のいずれかに記載のコンテンツ再生制御システム。
（９）
前記解析処理部は、
前記動作体の動作の検出結果としての、速度、加速度、角速度および地磁気のうちの少なくとも１つのパラメータにおける、時間変化の状況に基づいて、
前記所定の解析処理を行うことにより、前記テンポ情報を抽出する
上記（１）ないし（８）のいずれかに記載のコンテンツ再生制御システム。
（１０）
前記センサと前記情報処理装置とが、単一の装置内に、一体化して搭載されている
上記（１）ないし（９）のいずれかに記載のコンテンツ再生制御システム。
（１１）
演者と観客とを含んで実施される、ライブイベントに適用されるシステムである
上記（１）ないし（１０）のいずれかに記載のコンテンツ再生制御システム。
（１２）
前記センサによる検出対象の前記動作体として、
前記演者、前記観客、および、前記ライブイベントに参加する動物のうちの、少なくとも１つを含んでいる
上記（１１）に記載のコンテンツ再生制御システム。

【符号の説明】

【0078】

１ａ…コンテンツ再生装置、１１…映像表示装置、１２…音声出力装置、１ｂ…演出装置、１３…照明装置、２，２ａ，２ｂ…スマートデバイス（コンテンツ再生制御システム）、２１…振動センサ、２２…情報処理装置、２２１…通信部、２２２…解析処理部、２２３…制御部、３，３Ａ，３Ｂ…コンテンツ再生システム、４…舞台、４Ｂ…建物、５１…演者、５２…観客、５３…ユーザ、Ｄｖ…振動データ、Ｉｔ…テンポ情報、Ｓｃ，Ｓｃａ，Ｓｃｂ…制御信号、Ｄｖ０…オリジナル映像データ、Ｄａ０…オリジナル音声データ、Ｄｉ０…オリジナル照明データ、Ｐｒ…相対位置、ｖ…速度、ａ…加速度、ω…角速度、ｔ…時間、ａ（０）～ａ（ｎ）…ファイル時刻、ｔ（－１），ｔ（０）～ｔ（ｎ－１）…入力時刻、ｐ（０）～ｐ（ｎ）…再生時刻。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】