特許 7551079 ライブイベント演出補助システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-06

(45)【発行日】2024-09-17

(54)【発明の名称】ライブイベント演出補助システム

(51)【国際特許分類】

   A63J 5/00 20060101AFI20240909BHJP

   G06F 3/01 20060101ALI20240909BHJP

   G16Y 10/65 20200101ALI20240909BHJP

   G16Y 20/40 20200101ALI20240909BHJP

   G16Y 40/20 20200101ALI20240909BHJP

   G16Y 40/30 20200101ALI20240909BHJP

【ＦＩ】

A63J5/00

G06F3/01 510

G16Y10/65

G16Y20/40

G16Y40/20

G16Y40/30

【請求項の数】 12

(21)【出願番号】P 2020175147

(22)【出願日】2020-10-19

(65)【公開番号】P2022066666

(43)【公開日】2022-05-02

【審査請求日】2023-10-10

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「イオン液体ゲルによる新奇メカノエレクトリック変換の解明と応用展開」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000173809

【氏名又は名称】一般財団法人電力中央研究所

(73)【特許権者】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】小野 新平

(72)【発明者】

【氏名】菊池 広

(72)【発明者】

【氏名】井上 博行

(72)【発明者】

【氏名】水野 公平

(72)【発明者】

【氏名】古川 博敏

(72)【発明者】

【氏名】中嶋 宇史

(72)【発明者】

【氏名】岸本 孝幸

【審査官】白形 優依

(56)【参考文献】

【文献】国際公開第２０１８／１９９１１５（ＷＯ，Ａ１）

【文献】特開２０２０－０４７４７５（ＪＰ，Ａ）

【文献】特開２０１８－１９１４８１（ＪＰ，Ａ）

【文献】特開２０１５－０１１９８１（ＪＰ，Ａ）

【文献】特開２０１７－０１６４４２（ＪＰ，Ａ）

【文献】特表２０１９－５３０１６８（ＪＰ，Ａ）

【文献】寺内涼太 ほか，一体感を増強する遠隔ライブ参加システム，情報処理学会 インタラクション 2019，2019年03月06日，pp.308-312

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｊ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

演者と、観客を含む複数の参加者と、によって実施されるライブイベントにおける演出を補助するためのシステムであって、
前記演者側に配置された第１の情報処理装置と、
前記演者側に配置された演出装置に対する制御を行う演出制御装置と、
前記参加者側に配置された第２の情報処理装置と、
前記参加者側に配置され、所定の出力動作を行う出力デバイスと、
前記参加者における盛り上がり度合を検出するセンサと
を備え、
前記演者側から前記参加者側への前記演出の補助処理としての、第１の演出補助処理の際には、
前記第１の情報処理装置が、前記演者からの指示に応じて入力された制御信号を、前記第２の情報処理装置へと送信すると共に、
前記第２の情報処理装置が、前記第１の情報処理装置から受信した前記制御信号に基づいて、前記出力デバイスにおける前記出力動作の制御を行い、
前記参加者側から前記演者側への前記演出の補助処理としての、第２の演出補助処理の際には、
前記第２の情報処理装置が、前記センサによる前記盛り上がり度合の検出結果に基づいて所定の解析処理を行い、その解析処理により得られた盛り上がり度合データを、前記第１の情報処理装置へと送信すると共に、
前記第１の情報処理装置が、複数の前記参加者のうちの選択された特定の参加者について得られた前記盛り上がり度合データに基づいて、前記特定の参加者における盛り上がり度合を、前記演出制御装置による前記演出装置に対する制御動作へと反映させる
ライブイベント演出補助システム。

【請求項2】

前記特定の参加者が、前記演者からの指示に応じて前記第１の情報処理装置へと入力された選択信号に基づいて、前記第１の情報処理装置内で選択されるようになっている
請求項１に記載のライブイベント演出補助システム。

【請求項3】

演者と、観客および演出補助者を含む参加者と、によって実施されるライブイベントにおける演出を補助するためのシステムであって、
前記演者側に配置された第１の情報処理装置と、
前記演者側に配置された演出装置に対する制御を行う演出制御装置と、
前記参加者側に配置された第２の情報処理装置と、
前記参加者側に配置され、所定の出力動作を行う出力デバイスと、
前記参加者における盛り上がり度合を検出するセンサと
を備え、
前記演者側から前記参加者側への前記演出の補助処理としての、第１の演出補助処理の際には、
前記第１の情報処理装置が、前記演者からの指示に応じて入力された制御信号を、前記第２の情報処理装置へと送信すると共に、
前記第２の情報処理装置が、前記第１の情報処理装置から受信した前記制御信号に基づいて、前記出力デバイスにおける前記出力動作の制御を行い、
前記参加者側から前記演者側への前記演出の補助処理としての、第２の演出補助処理の際には、
前記第２の情報処理装置が、前記センサによる前記盛り上がり度合の検出結果に基づいて所定の解析処理を行い、その解析処理により得られた盛り上がり度合データを、前記第１の情報処理装置へと送信すると共に、
前記第１の情報処理装置が、前記第２の情報処理装置から受信した前記盛り上がり度合データに基づいて、前記参加者における盛り上がり度合を、前記参加者としての前記演出補助者における前記盛り上がり度合の検出結果も考慮して、前記演出制御装置による前記演出装置に対する制御動作へと反映させる
ライブイベント演出補助システム。

【請求項4】

前記第１の情報処理装置は、
複数の前記参加者について個別に得られた複数の前記盛り上がり度合データに基づいて、
複数の前記参加者における総合的な前記盛り上がり度合を、前記演出制御装置による前記演出装置に対する制御動作へと反映させる
請求項３に記載のライブイベント演出補助システム。

【請求項5】

前記第２の情報処理装置は、
機械学習モデルを利用して前記解析処理を行うことにより、
前記盛り上がり度合に関する複数段階の評価値の判別を行い、前記盛り上がり度合データを生成する
請求項１ないし請求項４のいずれか１項に記載のライブイベント演出補助システム。

【請求項6】

前記第２の演出補助処理の際に送受信される前記盛り上がり度合データが、前記第２の情報処理装置内におけるデータ量低減用の所定の変換処理後のデータである
請求項１ないし請求項５のいずれか１項に記載のライブイベント演出補助システム。

【請求項7】

前記第２の情報処理装置と前記出力デバイスと前記センサとが、前記参加者側における単一の装置内に、一体化して搭載されている
請求項１ないし請求項６のいずれか１項に記載のライブイベント演出補助システム。

【請求項8】

前記出力デバイスにおける前記出力動作が、振動動作、発光動作、映像出力動作および信号送信動作のうちの、少なくとも１つを含んでいる
請求項１ないし請求項７のいずれか１項に記載のライブイベント演出補助システム。

【請求項9】

前記盛り上がり度合が、前記参加者の所定の動きによる振動、前記参加者の体温、前記参加者の脈拍数、前記参加者から発せられる音声、および、前記参加者の周囲環境の明るさ、のうちの少なくとも１つのパラメータを用いて、規定される
請求項１ないし請求項８のいずれか１項に記載のライブイベント演出補助システム。

【請求項10】

前記第２の情報処理装置と前記出力デバイスと前記センサとが、振動発電素子から供給される電力を利用して動作する
請求項１ないし請求項９のいずれか１項に記載のライブイベント演出補助システム。

【請求項11】

前記ライブイベントが、前記演者側と前記観客側とが異なる場所に位置して実施される、オンラインイベントである
請求項１ないし請求項１０のいずれか１項に記載のライブイベント演出補助システム。

【請求項12】

前記ライブイベントが、コンサートであり、
前記演者が演奏者であると共に、前記参加者としての演出補助者が、ダンサーである
請求項１ないし請求項１１のいずれか１項に記載のライブイベント演出補助システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ライブイベントにおける演出を補助するための各種処理を行う、ライブイベント演出補助システムに関する。

【背景技術】

【0002】

コンサート等のライブイベントにおける演出を補助するシステム（ライブイベント演出補助システム）としては、例えば特許文献１に記載されている、ペンライトを用いたシステムなどが挙げられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－０１１９８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、このようなライブイベント演出補助システムでは一般に、演者と観客等（参加者）との間での一体感を向上させることが求められている。演者と観客等との間での一体感を向上させることが可能な、ライブイベント演出補助システムを提供することが望ましい。

【課題を解決するための手段】

【0005】

本開示の一実施の形態に係る第１のライブイベント演出補助システムは、演者と、観客を含む複数の参加者と、によって実施されるライブイベントにおける演出を補助するためのシステムであって、演者側に配置された第１の情報処理装置と、演者側に配置された演出装置に対する制御を行う演出制御装置と、参加者側に配置された第２の情報処理装置と、参加者側に配置され、所定の出力動作を行う出力デバイスと、参加者における盛り上がり度合を検出するセンサと、を備えたものである。演者側から参加者側への演出の補助処理としての、第１の演出補助処理の際には、第１の情報処理装置が、演者からの指示に応じて入力された制御信号を、第２の情報処理装置へと送信すると共に、第２の情報処理装置が、第１の情報処理装置から受信した制御信号に基づいて、出力デバイスにおける出力動作の制御を行う。また、参加者側から演者側への演出の補助処理としての、第２の演出補助処理の際には、第２の情報処理装置が、センサによる盛り上がり度合の検出結果に基づいて所定の解析処理を行い、その解析処理により得られた盛り上がり度合データを、第１の情報処理装置へと送信すると共に、第１の情報処理装置が、複数の参加者のうちの選択された特定の参加者について得られた盛り上がり度合データに基づいて、特定の参加者における盛り上がり度合を、演出制御装置による演出装置に対する制御動作へと反映させる。
本開示の一実施の形態に係る第２のライブイベント演出補助システムは、演者と、観客および演出補助者を含む複数の参加者と、によって実施されるライブイベントにおける演出を補助するためのシステムであって、演者側に配置された第１の情報処理装置と、演者側に配置された演出装置に対する制御を行う演出制御装置と、参加者側に配置された第２の情報処理装置と、参加者側に配置され、所定の出力動作を行う出力デバイスと、参加者における盛り上がり度合を検出するセンサと、を備えたものである。演者側から参加者側への演出の補助処理としての、第１の演出補助処理の際には、第１の情報処理装置が、演者からの指示に応じて入力された制御信号を、第２の情報処理装置へと送信すると共に、第２の情報処理装置が、第１の情報処理装置から受信した制御信号に基づいて、出力デバイスにおける出力動作の制御を行う。また、参加者側から演者側への演出の補助処理としての、第２の演出補助処理の際には、第２の情報処理装置が、センサによる盛り上がり度合の検出結果に基づいて所定の解析処理を行い、その解析処理により得られた盛り上がり度合データを、第１の情報処理装置へと送信すると共に、第１の情報処理装置が、第２の情報処理装置から受信した盛り上がり度合データに基づいて、参加者における盛り上がり度合を、参加者としての演出補助者における盛り上がり度合の検出結果も考慮して、演出制御装置による演出装置に対する制御動作へと反映させる。

【発明の効果】

【0006】

本開示の一実施の形態に係る第１および第２のライブイベント演出補助システムによれば、演者と観客等との間での一体感を向上させることが可能となる。

【図面の簡単な説明】

【0007】

【図1】本開示の一実施の形態に係るライブイベント演出補助システムの全体構成例を模式的に表すブロック図である。

【図2】実施の形態に係る第１の演出補助処理（演者側から観客側への演出補助処理）の際の動作例を表すブロック図である。

【図3】実施の形態に係る第２の演出補助処理（観客側から演者側への演出補助処理）の際の動作例を表すブロック図である。

【図4】実施の形態に係る第２の演出補助処理の際の他の動作例を表すブロック図である。

【図5】実施の形態に係る第２の演出補助処理の際の他の動作例を表すブロック図である。

【図6】実施の形態に係る解析処理（機械学習モデルを利用した解析処理）の適用例を表す図である。

【図7】実施例１に係る複数段階の評価値の状態例を表す特性図である。

【図8】実施例１に係る複数段階の評価値の判別例を表す特性図である。

【図9】実施例２に係る複数段階の評価値の状態例を表す特性図である。

【図10】実施例２に係る複数段階の評価値の判別例を表す特性図である。

【発明を実施するための形態】

【0008】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（演者側と観客等の参加者側との間での双方向の演出補助処理の例）
２．変形例

【0009】

＜１．実施の形態＞
［システムの全体構成］
図１は、本開示の一実施の形態に係るライブイベント演出補助システム（演出補助システム３）の全体構成例を、模式的にブロック図で表したものである。この演出補助システム３は、演者５１と、参加者としての観客５２および演出補助者５３とによって実施されるライブイベントにおける演出を補助するためのシステムである。また、このようなライブイベントとしては、例えば図１中に示したように、コンサートである場合が挙げられ、その場合、演者５１が演奏者であり、演出補助者５３が例えばダンサー（バックダンサーなど）である場合が挙げられる（図１参照）。

【0010】

また、図１に示したように、本実施の形態の演出補助システム３は、演者５１側と観客５２側とが異なる場所に位置して実施される、オンラインイベント（図１の例では、オンラインコンサート）に適用されるシステムとなっている。具体的には、図１に示したオンラインコンサートの例では、演者５１および演出補助者５３がそれぞれ、イベント会場としてのコンサート会場６１内に位置すると共に、複数の観客５２がそれぞれ、各自の自宅６２内に位置した状態で、オンラインコンサートが実施されるようになっている。なお、このようなオンラインイベントを実施する際の、各観客５２が位置する場所としては、図１に示したような各自の自宅６２内には限られず、例えば、所定のパブリックビューイング会場などであってもよい。

【0011】

このような演出補助システム３は、図１に示したように、演者５１側（コンサート会場６１内）に配置されたサーバ１１および演出制御装置１２と、各観客５２側（各自の自宅６２内）に配置されたスマートデバイス２ａとを、備えている。また、特に図１の例では、この演出補助システム３は、演出補助者５３側（コンサート会場６１内）に配置されたスマートデバイス２ｂを、更に備えている。また、このような演出補助システム３と、演者５１側（コンサート会場６１内）に配置された演出装置４とを含んで、ライブイベントとしてのオンラインコンサートにおける演出システムが、構成されるようになっている（図１参照）。

【0012】

（演者５１側の配置構成）
演出装置４は、コンサートにおける各種の演出動作を行う装置であり、例えば、楽器や照明装置などが挙げられる。

【0013】

演出制御装置１２は、図１中に矢印で示したように、演出装置４に対する制御を行う装置である。具体的には、演出制御装置１２は、演出装置４における各種の演出動作（例えば、楽器や照明装置の動作）を制御するようになっている。

【0014】

サーバ１１は、各種の情報処理を行う情報処理装置である。このサーバ１１は、図１に示したように、後述する観客５２側の各スマートデバイス２ａとの間で、ネットワーク３０（インターネット通信など）を介して、相互に通信（データの送受信）を行うことが可能となっている。また、サーバ１１は、図１に示したように、後述する演出補助者５３側のスマートデバイス２ｂと、上記した演出制御装置１２との間でも、各種のネットワーク（無線または有線）を介して、相互に通信（データの送受信）を行うことが可能となっている。なお、このようなサーバ１１における詳細な動作例については、後述する。

【0015】

ここで、このようなサーバ１１は、本開示における「第１の情報処理装置」の一具体例に対応している。

【0016】

（観客５２・演出補助者５３側の配置構成）
スマートデバイス２ａ，２ｂはそれぞれ、図１に示したように、各観客５２側や演出補助者５３側に配置されているデバイスである。具体的には、これらのスマートデバイス２ａ，２ｂはそれぞれ、各観客５２や演出補助者５３によって、例えば、手のひらで保持されていたり、身体の一部（手や足、頭など）に固定して装着されるようになっている。このようなスマートデバイス２ａ，２ｂとしては、例えば、スマートウォッチやスマートフォン、タブレット等の他、例えば、ペンライトや発光リストバンド等を用いて構成されている。

【0017】

これらのスマートデバイス２ａ，２ｂはそれぞれ、情報処理装置２１と、振動センサ２２と、振動デバイス２３ａと、発光デバイス２３ｂとを、備えている（図１参照）。また、情報処理装置２１は、送受信部（通信部）２１１と、解析処理部２１２と、データ変換処理部２１３とを、含んでいる。

【0018】

つまり、図１の例では、情報処理装置２１と、振動デバイス２３ａおよび発光デバイス２３ｂと、振動センサ２２とがそれぞれ、単一の装置（各スマートデバイス２ａ，２ｂ）内に、一体化して搭載されている。

【0019】

なお、このようなスマートデバイス２ａ，２ｂはそれぞれ、本開示における「単一の装置」の一具体例に対応しており、情報処理装置２１は、本開示における「第２の情報処理装置」の一具体例に対応している。また、振動センサ２２は、本開示における「センサ」の一具体例に対応しており、振動デバイス２３ａおよび発光デバイス２３ｂはそれぞれ、本開示における「出力デバイス」の一具体例に対応している。

【0020】

振動センサ２２は、各観客５２や演出補助者５３における、コンサートの際の盛り上がり度合の一例として、３次元方向の振動（各観客５２や演出補助者５３における所定の動きによる振動）を、検出するセンサである。このような振動センサ２２による盛り上がり度合（３次元方向の振動）の検出結果は、図１に示したように、振動データＤｖとして、後述する解析処理部２１２へと出力されるようになっている。

【0021】

なお、このような盛り上がり度合を示すパラメータとしては、上記した参加者（各観客５２や演出補助者５３）の所定（特定）の動きによる振動の他、例えば、以下のようなパラメータが挙げられる。すなわち、例えば、参加者の体温や脈拍数、参加者から発せられる音声、参加者の周囲環境の明るさ等が、挙げられる。つまり、このような盛り上がり度合を、各種のセンサ（盛り上がり度合センサ）によって検出される、これらの各種のパラメータのうちの、少なくとも１つのパラメータを用いて規定するようにしてもよい。

【0022】

振動デバイス２３ａおよび発光デバイス２３ｂはそれぞれ、所定の出力動作を行うデバイス（出力デバイス）である。具体的には、振動デバイス２３ａは、出力動作としての振動動作を行うデバイスであり、発光デバイス２３ｂは、出力動作としての発光動作を行うデバイスである。つまり、図１の例では、このような出力動作として、振動動作および発光動作のうちの少なくとも一方を、含んでいることになる。

【0023】

送受信部２１１は、前述したネットワーク３０を介して、サーバ１１との間で相互の通信（データの送受信）を行うものである。

【0024】

解析処理部２１２は、振動センサ２２による盛り上がり度合の検出結果（上記した振動データＤｖ）に基づいて、所定の解析処理を行うものである。具体的には、詳細は後述するが、解析処理部２１２は、各種の機械学習モデルを利用して解析処理を行うことによって、各観客５２や演出補助者５３における、上記した特定の動作の判定（例えば、人間の複雑な動きによる動作状態の判別）を行うようになっている。そして、このような解析処理によって生成された、各観客５２や演出補助者５３における盛り上がり度合データＤｅ１は、データ変換処理部２１３へと出力されるようになっている（図１参照）。

【0025】

データ変換処理部２１３は、解析処理部２１２から出力される盛り上がり度合データＤｅ１に対して、データ量低減用の所定の変換処理を行い、そのような変換処理後の盛り上がり度合データＤｅ２を生成するものである（図１参照）。これにより、詳細は後述するが、各スマートデバイス２ａ，２ｂからサーバ１１に対して送信される際の盛り上がり度合データＤｅ２が、このようなデータ量低減用の変換処理前のデータ（盛り上がり度合データＤｅ１）ではなく、変換処理後のデータとなっている。

【0026】

なお、このような変換処理としては、例えば、上記した解析処理部２１２によって解析された動作を、割り当てられた音やＭＩＤＩ（Musical Instruments Digital Interface：最大７bit）などの信号に変換する処理等が、挙げられる。つまり、上記した変換処理後の盛り上がり度合データＤｅ２の一例としては、ＭＩＤＩデータが挙げられる。

【0027】

［動作および作用・効果］
次に、図１に加えて、図２～図６を参照して、本実施の形態の演出補助システム３における動作、作用および効果について、比較例と比較しつつ詳細に説明する。

【0028】

（Ａ．比較例）
まず、比較例に係る一般的な演出補助システムとしては、例えば、以下のようなシステムが挙げられる。すなわち、例えば、前述した特許文献１に記載されているペンライトや、所定のリストバンド（ザイロバンド（登録商標））等を用いたシステムが、挙げられる。このような比較例の演出補助システムでは、演者が信号を発信することで、観客のペンライトやリストバンドにおける発光状態（光の色）を変化させる、という演出が行われるようになっている。このような演出が行われることで、各観客が演者との一体感（共有体験）を得ることを可能としている。

【0029】

しかしながら、このような比較例の演出補助システムでは、演者側は、観客側の反応を直接感じることができないため、演出がやりにくいという問題があった。特に昨今では、コンサート等のライブイベントが、前述したようなオンラインで開催される機会が増えている（オンラインイベントの実施機会が増大している）。このようなオンラインイベントでは、演者側にとっては、観客の表情や動作など（盛り上がり度合）を見ることができないため、観客側の反応が、増々分かりづらくなってしまう。また、観客側にとっても、オンラインイベントの際に映像を見ているだけでは、イベントに参加しているという一体感を得るのが、難しくなってしまう。

【0030】

このようにして、比較例に係る演出補助システムでは、演者と観客等（参加者）との間での一体感を向上させるのが、困難であると言える。

【0031】

（Ｂ．動作）
これに対して、本実施の形態の演出補助システム３では、前述した各構成において、以下のような各動作を行うようになっている。

【0032】

図２は、本実施の形態に係る演出補助処理Ｐｄ１（演者５１側から観客５２側への演出補助処理）の際の動作例を、ブロック図で表したものである。また、図３～図５はそれぞれ、本実施の形態に係る演出補助処理Ｐｄ２（観客５２側や演出補助者５３側から演者５１側への演出補助処理）の際の動作例を、ブロック図で表したものである。

【0033】

（Ｂ－１．演出補助処理Ｐｄ１の際の動作例）
まず、図２に示した演出補助処理Ｐｄ１の際には、演出補助システム３において、以下の各動作が行われる。

【0034】

すなわち、図２に示したように、演者５１らの指示（例えば、所定のスイッチなどを押す動作）に応じた制御信号Ｓｃ１が、サーバ１１に対して入力されると、サーバ１１は、この制御信号Ｓｃ１を、ネットワーク３０を介して、各スマートデバイス２ａ（送受信部２１１）へと送信する。そして、各スマートデバイス２ａにおける情報処理装置２１は、このようにしてサーバ１１から受信した制御信号Ｓｃ１に基づいて、振動デバイス２３ａや発光デバイス２３ｂにおける出力動作（振動動作や発光動作）の制御を行う。具体的には、例えば、演者５１や演出装置４による演出に同期させるようにして、各種の振動動作を行わせたり、発光色を変化させたり、所定の点滅動作を行わせたりする。

【0035】

このような各動作が行われることで、図２に示した演出補助処理Ｐｄ１（演者５１側から観客５２側への演出補助処理）の際には、前述した比較例の場合と同様に、各観客５２が演者５１との一体感（共有体験）を得ることが可能となる。

【0036】

なお、この演出補助処理Ｐｄ１の際に、演出補助者５３側のスマートデバイス２ｂにおいても、サーバ１１から送信された制御信号Ｓｃ１に基づいて、振動デバイス２３ａや発光デバイス２３ｂにおける出力動作（振動動作や発光動作）の制御を行うようにしてもよい。この場合、演者５１からの指示に応じて、スマートデバイス２ｂでの振動動作や発光動作を制御することで、演出補助者５３側での演出補助の制御を行ったりすることが可能となる。

【0037】

（Ｂ－２．演出補助処理Ｐｄ２の際の動作例）
一方、図３～図５に示した演出補助処理Ｐｄ２の際には、演出補助システム３において、以下の各動作が行われる。

【0038】

すなわち、図３～図５に示したように、まず、各観客５２側のスマートデバイス２ａにおける情報処理装置２１（解析処理部２１２）が、振動センサ２２による盛り上がり度合の検出結果（振動データＤｖ）に基づいて、前述した所定の解析処理を行う。次いで、この情報処理装置２１（送受信部２１１）は、そのような解析処理により得られた盛り上がり度合データ（この例では前述したように、データ変換処理部２１３におけるデータ量低減用の変換処理後の盛り上がり度合データＤｅ２）を、ネットワーク３０を介して、サーバ１１へと送信する（図３～図５参照）。そして、サーバ１１は、このようにして各スマートデバイス２ａから受信した盛り上がり度合データＤｅ２に基づいて、各観客５２における盛り上がり度合を、演出制御装置１２による演出装置４に対する制御動作へと反映させる。具体的には、サーバ１１から演出制御装置１２に対して制御信号Ｓｃ２が出力されることで（図３～図５参照）、そのような各観客５２における盛り上がり度合が、演出装置４における演出動作へと反映されることになる。

【0039】

この際に、例えば図４に示したように、複数の観客５２のうちの、選択信号Ｓｓによって選択された特定の観客５２について得られた盛り上がり度合データＤｅ２に基づいて、そのような特定の観客５２における盛り上がり度合が、上記した演出装置４に対する制御動作へと反映されるようにしてもよい。これに対して、図３の例では、複数の観客５２について個別に得られた複数の盛り上がり度合データＤｅ２に基づいて、複数の観客５２における盛り上がり度合（後述する総合的な盛り上がり度合）が、上記した演出装置４に対する制御動作へと反映されるようになっている。ちなみに、上記した特定の観客５２は、例えば図４に示したように、演者５１からの指示（例えば、所定のスイッチなどを押す動作）に応じて、サーバ１１へと入力された選択信号Ｓｓに基づいて、このサーバ１１内で選択されるようになっている。

【0040】

また、例えば図５に示したように、このような演出補助処理Ｐｄ２の際に、サーバ１１は、演出補助者５３側のスマートデバイス２ｂから出力される盛り上がり度合データＤｅ２（演出補助者５３における盛り上がり度合の検出結果）も考慮するようにしてもよい。つまり、サーバ１１は、上記したような観客５２における盛り上がり度合に加えて、演出補助者５３における盛り上がり度合についても考慮したうえで、上記した演出装置４に対する制御動作への反映を、行うようにしてもよい。

【0041】

なお、この図５の例でも、上記した図４の例のように、参加者としての複数の観客５２および演出補助者５３のうち、選択信号Ｓｓによって、特定の参加者（観客５２または演出補助者５３）が選択されるようにしてもよい。つまり、このようにして選択された特定の参加者について得られた盛り上がり度合データＤｅ２に基づいて、その特定の参加者における盛り上がり度合が、上記した演出装置４に対する制御動作へと反映されるようにしてもよい。なお、このようにして選択される特定の参加者としては、１人には限られず、例えば複数人（２人以上）であってもよい。

【0042】

このようにして、図３～図５に示した演出補助処理Ｐｄ２の際には、前述した比較例の場合とは異なり、観客５２側や演出補助者５３側から、演者５１側への演出補助処理がなされることになる。

【0043】

（Ｂ－３．機械学習モデルを利用した解析処理の適用例）
ここで、このような演出補助処理Ｐｄ２の際に、各スマートデバイス２ａ，２ｂにおける情報処理装置２１（解析処理部２１２）は、前述したように、例えば、各種の機械学習モデルを利用して解析処理を行い、盛り上がり度合データＤｅ１を生成する。具体的には、解析処理部２１２は、例えば、各観客５２や演出補助者５３における前述した特定の動作について、盛り上がり度合に関する複数段階の評価値（動作状態）の判別を行うことで、盛り上がり度合データＤｅ１を生成するようになっている。

【0044】

図６は、本実施の形態に係る解析処理（機械学習モデルを利用した解析処理）の適用例を、以下説明する２つの手法（手法Ａ，Ｂ）ごとに、まとめて表したものである。

【0045】

まず、手法Ａ（上記した図３の例に対応）では、複数の観客５２について個別に得られた複数の振動データＤｖ（盛り上がり度合データＤｅ２）に基づいて、複数の観客５２における総合的な盛り上がり度合が、前述した演出装置４に対する制御動作へと反映される。この際に、上記した盛り上がり度合に関する複数段階の評価値（例えば、Ｍ段階の評価値（Ｍ：２以上の整数））が、複数の観客５２ごとに個別に得られることから、例えば観客５２の人数をＮ（Ｎ：２以上の整数）とすると、（Ｍ×Ｎ）段階の評価値（例えば、５段階×５人＝２５段階の評価値）が、得られることになる。つまり、この手法Ａでは、このような（Ｍ×Ｎ）段階の評価値が、複数の観客５２における総合的な盛り上がり度合として、演出装置４に対する制御動作へと反映されることになる。

【0046】

一方、手法Ｂ（上記した図４の例に対応）では、複数の観客５２のうちの選択された特定の観客５２について得られた振動データＤｖ（盛り上がり度合データＤｅ２）に基づいて、その特定の観客５２における（特定の）盛り上がり度合が、演出装置４に対する制御動作へと反映される。したがって、この手法Ｂでは、その特定の観客５２についての、盛り上がり度合に関する複数段階の評価値（例えば上記した、Ｍ段階の評価値）が、その特定の観客５２における盛り上がり度合として、演出装置４に対する制御動作へと反映されることになる。

【0047】

（Ｃ．作用・効果）
このようにして、本実施の形態の演出補助システム３では、上記した演出補助処理Ｐｄ１（演者５１側から観客５２側への演出補助処理）の際には、以下の各動作が行われる。すなわち、サーバ１１が、演者５１からの制御信号Ｓｃ１を、各スマートデバイス２ａ，２ｂ（情報処理装置２１）へと送信すると共に、各情報処理装置２１が、受信した制御信号Ｓｃ１に基づいて、振動デバイス２３ａおよび発光デバイス２３ｂにおける出力動作の制御を行う。

【0048】

一方、上記した演出補助処理Ｐｄ２（観客５２側や演出補助者５３側から演者５１側への演出補助処理）の際には、以下の各動作が行われる。すなわち、まず、各スマートデバイス２ａ，２ｂ（情報処理装置２１）が、振動センサ２２による盛り上がり度合の検出結果（振動データＤｖ）に基づいて所定の解析処理を行い、その解析処理により得られた盛り上がり度合データＤｅ２を、サーバ１１へと送信する。そして、サーバ１１が、受信した盛り上がり度合データＤｅ２に基づいて、観客５２等における盛り上がり度合を、演出制御装置１２による演出装置４に対する制御動作へと、反映させる。

【0049】

このようにして本実施の形態では、前述した比較例（演者側から観客側への一方向の演出補助処理のみが行われるシステム）の場合とは異なり、演者５１側と観客５２側との間での、双方向の演出補助処理（演出補助処理Ｐｄ１，Ｐｄ２）が行われることになる。これにより本実施の形態では、演者５１側だけでなく観客５２側でも、ライブイベント（コンサート）の演出に参加することができ、今までにない新しい演出（観客参加型の演出）を行うことが可能となる。また、演者５１側と観客５２側とが相互に繋がることができ、観客５２側にとってはより一層、ライブイベントの一体感を得ることができると共に、演者５１側にとっても、前述した比較例の場合とは異なり、観客５２側の反応（盛り上がり度合）を感じることができ、より刺激的な体験を得ることができる。これらのことから、本実施の形態では上記比較例の場合と比べ、演者５１と観客５２等との間での一体感を向上させることが可能となる。

【0050】

また、本実施の形態では、各スマートデバイス２ａ，２ｂ内の情報処理装置２１（解析処理部２１２）において、機械学習モデルを利用して解析処理を行うことによって、盛り上がり度合に関する複数段階の評価値（動作状態）の判別を行い、盛り上がり度合データＤｅ１を生成するようにしたので、以下のようになる。すなわち、各観客５２や演出補助者５３における特定の動作の判定（例えば、人間の複雑な動きによる動作状態の判別）を行うことができることから、観客５２等における盛り上がり度合を、容易かつ精度良く判定することが可能となる。

【0051】

更に、本実施の形態では、複数の観客５２等について個別に得られた複数の盛り上がり度合データＤｅ２に基づいて、これら複数の観客５２等における総合的な盛り上がり度合を、演出装置４に対する制御動作へと反映させるようにした場合には、以下のようになる。すなわち、この場合には、観客５２等の全体での総合的（総意的）な盛り上がり度合を演出に反映することができることから、演者５１と観客５２等との間での一体感を、更に向上させることが可能となる。

【0052】

加えて、本実施の形態では、複数の参加者（観客５２等）のうちの選択された特定の参加者について得られた盛り上がり度合データＤｅ２に基づいて、その特定の参加者における盛り上がり度合を、演出装置４に対する制御動作へと反映させるようにした場合には、以下のようになる。すなわち、この場合には、そのような特定の参加者における盛り上がり度合を演出に反映することができることから、例えば、特に盛り上がっていると思われる観客５２等を、個別に演出に参加させるといったことができ、ライブイベントにおいて多様な演出を実現することが可能となる。

【0053】

また、本実施の形態では、上記した特定の参加者が、演者５１からの指示に応じてサーバ１１へと入力された選択信号Ｓｓに基づいて、サーバ１１内で選択されるようにしたので、以下のようになる。すなわち、例えば上記したように、特に盛り上がっていると思われる観客５２等を、演者５１側でピックアップして演出に参加させるといったことができ、演者５１と観客５２等との間での一体感を、より一層向上させることが可能となる。

【0054】

更に、本実施の形態では、上記した演出補助処理Ｐｄ２の際に、参加者としての演出補助者５３における盛り上がり度合の検出結果（盛り上がり度合データＤｅ２）も考慮して、演出装置４に対する制御動作へと反映させるようにした場合には、以下のようになる。すなわち、観客５２側の盛り上がり度合だけでなく、そのような演出補助者５３側の盛り上がり度合についても、演出へと反映させることができることから、ライブイベントにおいて、更に多様な演出を実現することが可能となる。また、演者５１側および観客５２側に加え、演出補助者５３側にとっても、ライブイベントでの一体感を得ることができるため、演者５１と参加者（観客５２および演出補助者５３）との間での一体感を、より一層向上させることが可能となる。

【0055】

加えて、本実施の形態では、上記した演出補助処理Ｐｄ２の際に送受信される盛り上がり度合データＤｅ２が、各スマートデバイス２ａ，２ｂの情報処理装置２１内（データ変換処理部２１３）における、データ量低減用の変換処理後のデータであることから、以下のようになる。すなわち、そのような変換処理後の盛り上がり度合データＤｅ２を利用して、演出補助処理Ｐｄ２を行うことで、観客５２側と演者５１側との間で、低容量なデータの送受信を行うことができることから、観客５２側の有用な情報（盛り上がり度合等）を、高速かつ簡便に演者５１側に提供することができる。これにより、例えば、多数の観客５２がライブイベントに参加するような場合であっても、サーバ１１の負荷を軽くすることができる（サーバ１１の増強が不要となる）と共に、ネットワーク３０上でのデータの遅延の影響を最小限に抑えることができる。その結果、観客５２側での盛り上がり度合等を、リアルタイムで演者５１側に提供することができ、演者５１と観客５２等との間での一体感を、より一層向上させることが可能となると共に、サーバ１１の増強が不要となることで、ライブイベントでの実施コストを低減することも可能となる。

【0056】

ちなみに、次世代のネットワーク環境下（いわゆる５Ｇ世代のネットワーク環境下）では、従来よりも大幅に高速化された通信が可能となるが、一方で、サーバの負荷が増大したり、サーバでの電力消費が増加するおそれもある。これに対して本実施の形態では、そのような次世代のネットワーク環境下においても、通常の発想とは逆に、送受信するデータ量を最小限に抑えることで、上記のような各種効果を得ることができ、ライブイベントに最適な演出補助を行うことが可能となると言える。

【0057】

また、本実施の形態では、情報処理装置２１と、振動デバイス２３ａおよび発光デバイス２３ｂと、振動センサ２２とがそれぞれ、単一の装置（各スマートデバイス２ａ，２ｂ）内に、一体化して搭載されているようにしたので、以下のようになる。すなわち、例えば、これらを別体として設けた場合と比べ、装置の小型化を図ることができると共に、より手軽に利用することができるため、参加者（観客５２および演出補助者５３）の利便性を向上させることも可能となる。

【0058】

［実施例］
続いて、図７～図１０を参照して、本実施の形態の実施例（実施例１，２）について、詳細に説明する。

【0059】

図７は、実施例１に係る複数段階の評価値の状態例を、特性図で表したものであり、図８は、この実施例１に係る複数段階の評価値の判別例を、特性図で表したものである。また、図９は、実施例２に係る複数段階の評価値の状態例を、特性図で表したものであり、図１０は、実施例２に係る複数段階の評価値の判別例を、特性図で表したものである。

【0060】

（実施例１）
まず、図７，図８に示した実施例１では、観客５２等側での盛り上がり度合を、２段階（興奮状態と落ち着いた状態との２値）に分類して判別するようにしている。具体的には、図７（Ａ）は、興奮状態における加速度（振動データＤｖ）の時間変化（リアクションの取得波形）の一例を示しており、図７（Ｂ）は、落ち着いた状態における加速度の時間変化の一例を示している。

【0061】

また、図８（Ａ），図８（Ｂ）はそれぞれ、このような２値分類に関して、以下の各条件での機械学習結果の一例を、示している。これらの図８（Ａ），図８（Ｂ）に示した機械学習結果の例では、上記した２値（興奮状態および落ち着いた状態）の判別については、ほぼ１００％の精度（判別精度：約１００％）で実現できていることが分かる。

【0062】

・軸の約２秒分の波形（２００点）:２００点を特徴量として、教師あり学習モデルで判別
・学習データ数:４００
・テストデータ数:５０
・１データの点数:２００点(約２秒分)
・機械学習モデル:ニューラルネットワーク
・活性化関数:シグモイド関数（最終層:ソフトマックス関数）
・学習回数:４０回

【0063】

（実施例２）
一方、図９，図１０に示した実施例２では、観客５２等側での盛り上がり度合を、より細分化した５段階（ＦＩＸＥＤ，ＣＡＬＭ，ＭＩＤＤＬＥ，ＩＮＴＥＮＳＥ，ＣＲＡＺＹの５値）に分類して判別するようにしている。具体的には、図９（Ａ）～図９（Ｅ）はそれぞれ、上記した５値の各状態における、加速度の時間変化（リアクションの取得波形）の一例を示している。

【0064】

また、図１０は、このような５値分類に関して、以下の各条件での機械学習結果の一例を、示している。この図１０に示した機械学習結果の例では、上記した５値の判別については、判別精度が約９０％となっているが、損失誤差（Ｌｏｓｓ）が０付近まで落ち切っていないため、多少の改善の余地もあることが分かる。

【0065】

・機械学習モデル:ニューラルネットワーク
・層数:４層（６４→３２→１６→５）
・活性化関数:ｓｉｇｍоｉｄ関数（出力層：ｓоｆｔｍａｘ）
・エポック数:１０００
・学習データ数:２０００
・テストデータ数:５００

【0066】

＜２．変形例＞
以上、実施の形態および実施例等を挙げて本開示の技術を説明したが、本技術はこれらの実施の形態等に限定されず、種々の変形が可能である。

【0067】

例えば、上記実施の形態等において説明した各部材の構成（具体例や配置位置、個数等）は限定されるものではなく、他の構成としてもよい。具体的には、上記実施の形態等では、第２の情報処理装置（情報処理装置２１）と出力デバイス（振動デバイス２３ａおよび発光デバイス２３ｂ）とセンサ（振動センサ２２）とが、参加者（観客５２および演出補助者５３）側における単一の装置（スマートデバイス２ａ，２ｂ）内に、一体化して搭載されている場合を例に挙げて説明したが、この例には限られない。すなわち、例えば、これらの第２の情報処理装置と出力デバイスとセンサとが、参加者側で別体として設けられているようにしてもよい。なお、この場合、第２の情報処理装置と出力デバイスとセンサとの間がそれぞれ、各種の通信（無線通信など）を介して、互いにデータの送受信を行うことが可能となっている。

【0068】

また、上記実施の形態等では、本開示における「出力デバイス」の一例として、振動デバイス２３ａおよび発光デバイス２３ｂを挙げると共に、本開示における「所定の出力動作」の一例として、これらのデバイスにおける振動動作や発光動作を挙げて説明したが、これらの例には限られない。すなわち、そのような「出力デバイス」や「所定の出力動作」としては、例えば、映像出力動作を行うディスプレイ（映像表示デバイス）や、他の機器を制御する制御信号等の所定の信号を送信する動作（信号送信動作）を行う発信装置（リモートコントローラなど）等も、挙げられる。具体的には、このようなディスプレイでは、例えば、演者５１側の演出制御装置１２等からサーバ１１を介して送信された制御信号が、各スマートデバイス２ａ，２ｂ内の信号処理装置２１において、サーバ１１側から送信される映像信号（ライブイベントの映像信号など）に対して反映された（合成処理が行われた）うえで、出力されるようにしてもよい。また、上記したリモートコントローラでは、例えば、観客５２の自宅６２内における各種機器（例えば、部屋の照明機器、テレビ受像機、スピーカーなど）に対する制御信号や、あるいは、演者５１側の各種機器に対する制御信号などを、送信するようにしてもよい。

【0069】

更に、上記実施の形態等で説明したスマートデバイス２ａ，２ｂ（本開示における第２の情報処理装置と出力デバイスとセンサとに対応する部分）が、例えば、これらのスマートデバイス２ａ，２ｂ内に内蔵されている振動発電素子から供給される電力（参加者の動きを利用して発電された電力）を利用して、動作するようにしてもよい。

【0070】

また、上記実施の形態等で説明した解析処理の手法（機械学習モデルを用いる際の複数段階の評価値の段階数や判別の手法等）についても、他の手法を用いるようにしてもよい。更に、このような解析処理の際に、上記実施の形態等で説明した機械学習モデルを利用する手法以外の、他の手法を用いるようにしてもよい。

【0071】

加えて、上記実施の形態等では、第１の演出補助処理（演者側から観客側への演出補助処理）および第２の演出補助処理（観客側や演出補助者側から演者側への演出補助処理）の際の動作例について、具体的に説明したが、これらの動作例には限られない。具体的には、上記実施の形態等では、各スマートデバイス２ａ，２ｂから受信した盛り上がり度合データＤｅ２に基づいて、各観客５２や演出補助者５３における盛り上がり度合を、演出装置４に対する制御動作へと反映させる動作例について説明した。このようにして、各観客５２や演出補助者５３における盛り上がり度合を、演者５１側（演出装置４）での演出動作に反映させる際の演出動作例としては、各種のものが挙げられる。具体的には、例えば、前述した楽器や照明装置による演出動作の他、各種の映像出力や音声出力による演出動作、各観客５２や演出補助者５３のアバター（各自の分身として、ネットワーク上の仮想空間内に模したキャラクター）の映像出力等による演出動作などが、挙げられる。また、例えば上記実施の形態等では、送受信対象の盛り上がり度合データＤｅ２が、情報処理装置２１内でのデータ量低減用の変換処理後のデータである場合を例に挙げて説明したが、この例には限られない。すなわち、例えば場合によっては、このようなデータ量低減用の変換処理前のデータ（盛り上がり度合データＤｅ１）を、送受信対象としてもよい。

【0072】

また、上記実施の形態等では、演者５１側と観客５２側とが異なる場所に位置して実施される、オンラインイベントを例に挙げて説明したが、この例には限られない。すなわち、本開示のライブイベント演出補助システムは、演者５１側と観客５２側とが同じ場所（ライブイベント会場）に位置して実施される、オフラインイベントについても、適用することが可能である。更に、上記実施の形態等では、このようなライブイベントがコンサートである場合（演者５１が演奏者であり、演出補助者５３がダンサーである場合）を例に挙げて説明したが、この場合の例には限られない。すなわち、コンサート以外の各種のライブイベント（例えば、各種の演劇、スポーツイベント、展覧会、博覧会、お祭り系のイベントなど）についても、本開示のライブイベント演出補助システムを適用することが可能である。

【0073】

更に、本技術では、これまでに説明した内容を、任意の組み合わせで適用することも可能である。

【0074】

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

【符号の説明】

【0075】

１１…サーバ、１２…演出制御装置、２ａ，２ｂ…スマートデバイス、２１…情報処理装置、２１１…送受信部、２１２…解析処理部、２１３…データ変換処理部、２２…振動センサ、２３ａ…振動デバイス、２３ｂ…発光デバイス、３…演出補助システム、３０…ネットワーク、４…演出装置、５１…演者、５２…観客、５３…演出補助者、６１…コンサート会場、６２…自宅、Ｄｖ…振動データ、Ｄｅ１，Ｄｅ２…盛り上がり度合データ、Ｓｃ１，Ｓｃ２…制御信号、Ｓｓ…選択信号。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】