特開 2022-32419 ライブ映像配信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022032419

(43)【公開日】2022-02-25

(54)【発明の名称】ライブ映像配信方法

(51)【国際特許分類】

   H04N 21/239 20110101AFI20220217BHJP

   H04N 21/233 20110101ALI20220217BHJP

   H04N 21/2187 20110101ALI20220217BHJP

   G10K 15/02 20060101ALI20220217BHJP

【ＦＩ】

H04N21/239

H04N21/233

H04N21/2187

G10K15/02

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020136165

(22)【出願日】2020-08-12

(71)【出願人】

【識別番号】518353153

【氏名又は名称】第２制作株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】立石 賢司

【テーマコード（参考）】

5C164

5D208

【Ｆターム（参考）】

5C164GA07

5C164PA41

5C164SA25P

5C164SB01S

5C164SB04P

5C164SB29P

5C164UA42S

5C164UB26S

5D208BB01

(57)【要約】      （修正有）

【課題】演奏者が視聴者にライブ映像を配信する場合における、双方の満足度の向上を図るライブ映像配信システムを提供する。
【解決手段】ライブ映像配信システムは、演奏者Ａが演奏する演奏会場において取得した演奏音情報を含むライブ映像を、ネットワークＮを介して視聴者が操作する視聴者端末ＵＴに配信する配信手段（中継装置３４）と、視聴者Ｕが視聴者端末ＵＴにてライブ映像を視聴する視聴場所において取得した視聴者音情報を含む視聴者映像を、ネットワークＮを介して取得する取得手段（中継装置３４）と、演奏会場に設置されたスピーカ２３にて視聴者音情報を出力すると共に、演奏会場に設置された表示装置２２にて視聴者映像を出力する出力手段（出力映像処理装置３２、ミキサー３３）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

演奏者が演奏する演奏会場において取得した演奏音情報を含むライブ映像を、ネットワークを介して視聴者が操作する視聴者端末に配信し、
前記視聴者が前記視聴者端末にて前記ライブ映像を視聴する視聴場所において取得した視聴者音情報を含む視聴者映像を、ネットワークを介して取得して、前記演奏会場に設置されたスピーカにて前記視聴者音情報を出力すると共に、前記演奏会場に設置された表示装置にて前記視聴者映像を出力する、
ライブ映像配信方法。

【請求項2】

請求項１に記載のライブ映像配信方法であって、
ネットワークを介して取得した前記視聴者映像から前記視聴者音情報を抽出し、複数の前記視聴者音情報を混合した混合視聴者音情報を生成し、当該混合視聴者音情報を前記スピーカにて出力すると共に前記視聴者端末に配信する、
ライブ映像配信方法。

【請求項3】

請求項２に記載のライブ映像配信方法であって、
前記混合視聴者音情報と前記演奏音情報とをさらに混合した混合音情報を生成し、当該混合音情報を前記スピーカにて出力すると共に前記視聴者端末に配信する、
ライブ映像配信方法。

【請求項4】

請求項３に記載のライブ映像配信方法であって、
前記混合視聴者音情報と前記演奏音情報とをそれぞれ設定された出力状況で混合した前記混合音情報を生成し、当該混合音情報を前記スピーカにて出力すると共に前記視聴者端末に配信する、
ライブ映像配信方法。

【請求項5】

演奏者が演奏する演奏会場において取得した演奏音情報を含むライブ映像を、ネットワークを介して視聴者が操作する視聴者端末に配信する配信手段と、
前記視聴者が前記視聴者端末にて前記ライブ映像を視聴する視聴場所において取得した視聴者音情報を含む視聴者映像を、ネットワークを介して取得する取得手段と、
前記演奏会場に設置されたスピーカにて前記視聴者音情報を出力すると共に、前記演奏会場に設置された表示装置にて前記視聴者映像を出力する出力手段と、
を備えたライブ映像配信システム。

【請求項6】

請求項５に記載のライブ映像配信システムであって、
前記取得手段は、前記視聴者映像から前記視聴者音情報を抽出し、
複数の前記視聴者音情報を混合した混合視聴者音情報を生成する混合手段をさらに備え、
前記出力手段は、前記混合視聴者音情報を前記スピーカにて出力し、
前記配信手段は、前記混合視聴者音情報を前記視聴者端末に配信する、
ライブ映像配信システム。

【請求項7】

請求項６に記載のライブ映像配信システムであって、
前記混合手段は、前記混合視聴者音情報と前記演奏音情報とをさらに混合した混合音情報を生成し、
前記出力手段は、前記混合音情報を前記スピーカにて出力し、
前記配信手段は、前記混合音情報を前記視聴者端末に配信する、
ライブ映像配信システム。

【請求項8】

請求項７に記載のライブ映像配信システムであって、
前記混合手段は、前記混合視聴者音情報と前記演奏音情報とをそれぞれ設定された出力状況で混合した前記混合音情報を生成する、
ライブ映像配信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ライブ映像配信方法、ライブ映像配信システムに関する。

【背景技術】

【0002】

歌手やバンドグループなどの音楽アーティストといった演奏者は、ライブハウスなどの施設でライブを行うことで、視聴者に音楽を提供している。一方で、近年では、感染症対策などの観点から、ライブハウスなどの施設に視聴者を集めることが困難な場合もあり、スタジオやライブハウスで演奏者が行ったライブ映像を、視聴者が所持するパソコンや携帯端末に配信することで、視聴者に音楽を提供することも行われている。ところが、このようなライブ映像の配信では、演奏者は視聴者の反応を知ることができず、演奏者と視聴者との一体感や盛り上がりに欠け、満足度が低下する、という問題が生じる。

【0003】

これに対して、特許文献１に記載のように、演奏者によるライブ映像の配信のモチベーションを高める方法が検討されている。例えば、特許文献１には、演奏者によるライブ映像の配信実績に基づいて当該演奏者のランクを決定し、かかるランク応じて演奏者に報酬を付与する、ことが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－２１４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した方法では、演奏者は演奏中の視聴者の歓声や動作、しぐさといった反応を知ることができず、依然として、演奏者と視聴者との一体感や盛り上がりに欠け、満足度が低下する、という問題が生じる。

【0006】

このため、本発明の目的は、演奏者が視聴者にライブ映像を配信する場合における、双方の満足度の向上を図ることにある。

【課題を解決するための手段】

【0007】

本発明の一形態であるライブ映像配信方法は、
演奏者が演奏する演奏会場において取得した演奏音情報を含むライブ映像を、ネットワークを介して視聴者が操作する視聴者端末に配信し、
前記視聴者が前記視聴者端末にて前記ライブ映像を視聴する視聴場所において取得した視聴者音情報を含む視聴者映像を、ネットワークを介して取得して、前記演奏会場に設置されたスピーカにて前記視聴者音情報を出力すると共に、前記演奏会場に設置された表示装置にて前記視聴者映像を出力する、
という構成をとる。

【0008】

また、上記ライブ映像配信方法では、
ネットワークを介して取得した前記視聴者映像から前記視聴者音情報を抽出し、複数の前記視聴者音情報を混合した混合視聴者音情報を生成し、当該混合視聴者音情報を前記スピーカにて出力すると共に前記視聴者端末に配信する、
という構成をとる。

【0009】

また、上記ライブ映像配信方法では、
前記混合視聴者音情報と前記演奏音情報とをさらに混合した混合音情報を生成し、当該混合音情報を前記スピーカにて出力すると共に前記視聴者端末に配信する、
という構成をとる。

【0010】

また、上記ライブ映像配信方法では、
前記混合視聴者音情報と前記演奏音情報とをそれぞれ設定された出力状況で混合した前記混合音情報を生成し、当該混合音情報を前記スピーカにて出力すると共に前記視聴者端末に配信する、
という構成をとる。

【0011】

また、本発明の一形態であるライブ映像配信システムでは、
演奏者が演奏する演奏会場において取得した演奏音情報を含むライブ映像を、ネットワークを介して視聴者が操作する視聴者端末に配信する配信手段と、
前記視聴者が前記視聴者端末にて前記ライブ映像を視聴する視聴場所において取得した視聴者音情報を含む視聴者映像を、ネットワークを介して取得する取得手段と、
前記演奏会場に設置されたスピーカにて前記視聴者音情報を出力すると共に、前記演奏会場に設置された表示装置にて前記視聴者映像を出力する出力手段と、
を備えた、
という構成をとる。

【0012】

また、上記ライブ映像配信システムでは、
前記取得手段は、前記視聴者映像から前記視聴者音情報を抽出し、
複数の前記視聴者音情報を混合した混合視聴者音情報を生成する混合手段をさらに備え、
前記出力手段は、前記混合視聴者音情報を前記スピーカにて出力し、
前記配信手段は、前記混合視聴者音情報を前記視聴者端末に配信する、
という構成をとる。

【0013】

また、上記ライブ映像配信システムでは、
前記混合手段は、前記混合視聴者音情報と前記演奏音情報とをさらに混合した混合音情報を生成し、
前記出力手段は、前記混合音情報を前記スピーカにて出力し、
前記配信手段は、前記混合音情報を前記視聴者端末に配信する、
という構成をとる。

【0014】

また、上記ライブ映像配信システムでは、
前記混合手段は、前記混合視聴者音情報と前記演奏音情報とをそれぞれ設定された出力状況で混合した前記混合音情報を生成する、
という構成をとる。

【発明の効果】

【0015】

本発明は、以上のように構成されることにより、演奏者が視聴者にライブ映像を配信する場合における双方の満足度の向上を図ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明におけるライブ映像配信システムの全体構成を示す図である。

【図2】図１に開示したライブ映像配信システムにおける映像情報の処理の流れを示す図である。

【図3】図１に開示したライブ映像配信システムにおける音情報の処理の流れを示す図である。

【図4】図１に開示したライブ映像配信システムにおける音情報の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0017】

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図４を参照して説明する。図１は、ライブ映像配信システムの構成を説明するための図であり、図２乃至図４は、ライブ映像配信システムの処理動作を説明するための図である。

【0018】

本発明におけるライブ映像配信システムは、歌手やバンドグループなどの演奏者Ａが、スタジオやライブハウスなどの施設（演奏会場）でライブ演奏を行い、ライブ映像をネットワークＮを介して、自宅などの遠隔地で視聴者端末ＵＴを利用して視聴している視聴者Ｕに配信する、というものである。特に、本発明では、演奏者Ａ及び視聴者Ｕに対して、全ての視聴者Ｕの歓声や動作といった反応を提供する構成とすることで、演奏者Ａと視聴者Ｕとで一体感や盛り上がりを共有し、ライブの満足度の向上を図る、というものである。

【0019】

図１に示すように、ライブ映像配信システムは、まず配信側の装置として、演奏者Ａのライブ映像を撮影するカメラ１１と、当該カメラ１１にて撮影されたライブ映像を取得する映像処理装置３１と、演奏者Ａによる楽器の演奏音や歌声といった演奏音情報を収集するマイク１２と、当該マイク１２にて収集した演奏音情報を取得するミキサー３３と、を備えている。なお、カメラ１１は一台に限らず、複数台備えていてもよい。また、演奏者Ａによる演奏音情報は、マイク１２から取得することに限らず、演奏音を出力する楽器などの装置から直接取得して、ミキサー３３にて取得してもよい。

【0020】

また、ライブ映像配信システムは、配信側の装置として、視聴者端末ＵＴから取得した視聴者映像を取得して出力する処理を行う出力映像処理装置３２と、演奏者Ａに視聴者映像を出力するプロジェクタ２１と、視聴者映像が表示されるスクリーン２２と、演奏音情報や視聴者Ｕによる歓声などの視聴者音情報を出力するスピーカ２３と、を備えている。なお、プロジェクタ２１、スクリーン２２、スピーカ２３は、一台に限らず、複数台備えていてもよい。また、プロジェクタ２１及びスクリーン２２に代えて、大型ディスプレイなど視聴者映像を表示可能な他の表示装置を備えていてもよい。

【0021】

さらに、ライブ映像配信システムは、配信側の装置として、視聴者端末ＵＴに対して演奏音情報などの音情報を含むライブ映像を配信したり、視聴者端末ＵＴから視聴者映像を取得する複数の中継装置３４を備えている。例えば、中継装置３４は、それぞれが複数台（例えば１０台）の視聴者端末ＵＴとネットワークＮを介して接続されており、接続された複数の視聴者端末ＵＴから視聴者映像を取得したり、接続された複数の視聴者端末ＵＴに対してライブ映像を配信する機能を有する。但し、中継装置３４は一台で構成されていてもよい。

【0022】

なお、図１の例では、上述した配信側の装置のうち、カメラ１１やプロジェクタ２１、スピーカ２３などは、演奏者Ａがライブを行うスタジオ内に設置され、映像処理装置３１、出力映像処理装置３２、ミキサー３３、中継装置３４は、スタジオ外に設置されている場合を例示しているが、これらの装置はいかなる場所に設置されていてもよい。また、これら各装置３１，３２，３３，３４は、それぞれ演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、各装置３１，３２，３３，３４による以下に説明するそれぞれの機能は、各情報処理装置の演算装置がプログラムを実行することで実現される。なお、ライブ映像配信システムは、図１に示す配信側の各装置の他に、以下に説明する機能と同等の機能を有する他の装置を備えていてもよい。

【0023】

また、図１に示すように、ライブ映像配信システムは、視聴者側の装置として、視聴者Ｕが操作する視聴者端末ＵＴを備えている。視聴者端末ＵＴは、例えば、パソコンやスマートフォン、タブレット端末などの情報処理端末であり、ネットワークＮを介して配信側の中継装置３４と接続されている。そして、視聴者端末ＵＴは、ディスプレイといった表示装置を備えており、また、図示しないが、カメラといった撮影装置と、スピーカ又はイヤホンといった音出力装置と、マイクといった音入力装置と、が装備あるいは接続されている。これにより、視聴者端末ＵＴは、後述するように配信側の中継装置３４から配信されたライブ映像を表示装置にて出力しつつ、配信された演奏音情報などの音情報を音出力装置から出力する。また、視聴者端末ＵＴは、配信側の中継装置３４に対して、撮影装置で撮影した視聴者映像と、音入力装置で収集した歓声などの視聴者音情報と、を送信する。

【0024】

次に、上述したライブ映像配信システムが備える機能つまり処理の詳細を、図２乃至図４を参照して説明する。まず、図２を参照して、主に映像の処理の様子を説明する。演奏者Ａによるライブの状況は、スタジオ内のカメラ１１で撮影されて、ライブ映像として映像処理装置３１が取得する。そして、図２の矢印Ｙ１に示すように、映像処理装置３１がライブ映像を配信用に処理して、かかるライブ映像を中継装置３４を介して視聴者Ｕの視聴者端末ＵＴに配信する。このとき、各中継装置３４は、それぞれに接続されている複数台（例えば１０台）の視聴者端末ＵＴに対して、ネットワークＮを介して配信する。なお、中継装置３４は、後述するようにミキサー３３にて演奏音情報と視聴者音情報とが混合された混合音情報も、ライブ映像と併せて視聴者端末ＵＴに配信する。このように、映像処理装置３１と中継装置３４とミキサー３３とは、混合音情報を含むライブ映像を視聴者端末ＵＴに配信する配信手段として機能する。

【0025】

そして、視聴者端末ＵＴは、上述したように配信側から配信されたライブ映像を表示装置に表示して、視聴者Ｕに対して出力する。なお、視聴者端末ＵＴは、ライブ映像と共に音情報も出力するが、かかる処理については後述する。このとき、視聴者端末ＵＴは、装備された撮影装置にて、ライブ映像を視聴している視聴者Ｕの動作を撮影し、視聴者映像をネットワークＮを介して中継装置３４に送信する。すると、中継装置３４は、接続されている複数の視聴者端末ＵＴからの視聴者映像を取得して出力映像処理装置３２に渡す。出力映像処理装置３２は、矢印Ｙ２に示すように、中継装置３４から収集した全ての視聴者端末ＵＴからの視聴者映像を、プロジェクタ２１を介してスタジオに設置されたスクリーン２２に表示するよう出力する。このとき、出力映像処理装置３２は、全ての視聴者端末ＵＴからの視聴者映像をまとめてスクリーン２２に表示出力してもよく、一部の複数の視聴者映像を複数回に分けて切り替えて表示出力してもよい。このように、中継装置３４は、視聴者映像を取得する取得手段として機能し、出力映像処理装置３２、プロジェクタ２１及びスクリーン２２は、視聴者映像を表示出力する出力手段として機能する。

【0026】

続いて、上述したようにライブ映像や視聴者映像と共に処理される音情報の処理の様子を、図３及び図４を参照して説明する。視聴者端末ＵＴは、ライブ映像を視聴している視聴者Ｕの歓声などの視聴者音情報を、装備された音入力装置にて取得し、視聴者映像と共にネットワークＮを介して中継装置３４に送信する。すると、中継装置３４は、接続されている複数の視聴者端末ＵＴからの視聴者映像から視聴者音情報を抽出し、矢印Ｙ１１に示すようにミキサー３３に渡す（図４のステップＳ１）。このとき、中継装置３４自体あるいは図示しない他のミキサーにて、中継装置３４単位で取得した複数の視聴者Ｕの視聴者音情報を混合してミキサー３３に渡す（図４のステップＳ２）。つまり、中継装置３４ごとに接続された複数の視聴者Ｕ（例えば１０人の視聴者）の歓声といった視聴者音情報が混合されて、ミキサー３３に入力される。そして、ミキサー３３は、複数の中継装置３４からそれぞれ入力された複数の視聴者Ｕの混合された視聴者音情報を、さらに混合する。このように、中継装置３４とミキサー３３とは、全ての視聴者Ｕの視聴者音情報を取得して混合し、混合視聴者音情報を生成する、取得手段及び混合手段として機能する。

【0027】

さらに、ミキサー３３は、矢印１２に示すように、演奏者Ａによるライブ演奏の音情報、例えば、マイク１２からの演奏者Ａの音声や演奏音といった演奏音情報を取得し、当該演奏音情報と上述した混合視聴者音情報とを混合する（ステップＳ３）。このとき、ミキサー３３は、演奏音情報と混合視聴者音情報との出力状況が、操作者Ｐの操作により設定された状況となるよう、演奏音情報と混合視聴者音情報とを混合した混合音情報を生成する。例えば、視聴者Ｕが盛り上がっている場面では演奏音情報に対して混合視聴者音情報の音量の方が大きいといった出力状況となるように混合するなど、演奏音情報と混合視聴者音情報との音量比が設定された出力状況となるように混合する。なお、設定される演奏音情報と混合視聴者音情報との出力状況は、相互間の音量比であることに限定されず、音の出力に関するいかなるパラメータの状況であってもよい。

【0028】

そして、ミキサー３３は、上述したように生成した混合音情報を、矢印Ｙ１３に示すように、スタジオ内のスピーカ２３から出力したり、矢印１４に示すように、中継装置３４を介してライブ映像と共に視聴者端末ＵＴに配信する（図４のステップＳ４）。つまり、ミキサー３３及びスピーカ２３は、混合音情報を出力する出力手段として機能し、ミキサー３３及び中継装置３４は、混合音情報を視聴者端末ＵＴに配信する配信手段として機能する。

【0029】

以上のようにすることで、まず、演奏者Ａは、ライブ演奏を行いつつ、ライブ映像を視聴している視聴者Ｕの映像を見ることができ、併せて、視聴者Ｕの歓声も聞くことができる。このとき、演奏者Ａは、複数の視聴者Ｕの映像をまとめて見ることができると共に、複数の視聴者Ｕの混合された歓声を聞くことができる。その結果、演奏者Ａは、ネットワークＮ上でそれぞれ個別に視聴している視聴者Ｕの反応をまとめて知ることができ、演奏中における自身と複数の視聴者Ｕとの一体感を感じることができる。また、視聴者Ｕも同様に、他の視聴者Ｕの歓声を聞くことができるため、同一のライブ会場にいるような一体感を感じることができる。その結果、演奏者Ａが視聴者Ｕにライブ映像を配信する場合における双方の満足度の向上を図ることができる。

【0030】

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0031】

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0032】

１１ カメラ
１２ マイク
２１ プロジェクタ
２２ スクリーン
２３ スピーカ
３１ 映像処理装置
３２ 出力映像処理装置
３３ ミキサー
３４ 中継装置
Ａ 演奏者
Ｐ 操作者
Ｕ 視聴者
ＵＴ 視聴者端末
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】