特開 2022-150269 動画配信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022150269

(43)【公開日】2022-10-07

(54)【発明の名称】動画配信システム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20220929BHJP

   H04N 21/2187 20110101ALI20220929BHJP

【ＦＩ】

H04N21/238

H04N21/2187

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2021052801

(22)【出願日】2021-03-26

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】519389362

【氏名又は名称】エイベックス・テクノロジーズ株式会社

(72)【発明者】

【氏名】岩永 朝陽

(72)【発明者】

【氏名】木野 穣

(72)【発明者】

【氏名】柏谷 佳樹

(72)【発明者】

【氏名】中前 省吾

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164SA25P

5C164SB01S

5C164SB21P

5C164SC01S

5C164SC11S

5C164UB90S

5C164YA11

(57)【要約】      （修正有）

【課題】効果的な動画配信を行うライブ配信システムを提供する。
【解決手段】楽器や声楽、演舞などのライブ演奏を撮影した映像（ライブ映像）を通信ネットワーク４０を介して配信する動画配信システムにおいて、配信サーバ２０は、視聴者端末１０及び運営者端末３０と互いに通信可能に接続する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ライブ演奏を撮影したライブ映像を取得する取得部と、
前記ライブ映像を配信する配信部と、
を備えるライブ配信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画配信システムに関する。

【背景技術】

【0002】

通信ネットワークを介してライブ演奏を配信することが行われている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－２０３５２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

動画配信をより効果的に行いたいというニーズがある。

【0005】

本発明はこのような背景を鑑みてなされたものであり、効果的な動画配信を行うことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、ライブ配信システムであって、広告主が提供する衣装オブジェクトを記憶する記憶部と、ライブ演奏を撮影したライブ映像の配信時に仮想視聴者を仮想空間に配置する配置部と、前記ライブ演奏のスポンサーに対応する前記衣装オブジェクトを前記仮想視聴者に装着させる衣装設定部と、を備えることを特徴とする。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、効果的な動画配信を行うことができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態である動画配信システムの全体構成図である。

【図2】本発明の一実施形態である映像のスイッチングを説明する図である。

【図3】本発明の一実施形態である演者が行った所作がオンライン視聴者の画面に影響を与えることについて説明する図である。

【発明を実施するための形態】

【0010】

図１は、本発明の一実施形態である動画配信システムの全体構成図である。以下、本発明の一実施形態に係る動画配信システムについて説明する。本実施形態の動画配信システムは、楽器や声楽、演舞などのライブ演奏を撮影した映像（以下、ライブ映像という。）を通信ネットワークを介して配信しようとするものである。ライブ映像は、現実世界での演奏を撮影した現実画像を表す映像データであってもよいし、現実画像に仮想空間の画像を重畳させた拡張現実（ＡＲ；Augmented Reality）を表すデータであってもよいし、仮想空間に現実画像を反映させた複合現実（ＭＲ；Mixed Reality）を表すデータであってもよい。なお、ライブ演奏自体を仮想空間内で行う仮想現実（ＶＲ；Virtual Reality）についても、仮想的な演奏を仮想的なカメラで撮影した映像を用いて本実施形態を実装することができる。以下、ＡＲ、ＭＲ、及びVRをまとめてＸＲと称する。

【0011】

本実施形態の動画配信システムは、配信サーバ２０を含んで構成される。配信サーバ２０は、通信ネットワーク４０を介して視聴者端末１０及び運営者端末３０と互いに通信可能に接続されうる。通信ネットワーク４０は、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築されうる。

【0012】

配信サーバ２０は、動画を通信ネットワーク４０に送出し、視聴者端末１０がこれを受信して再生することにより、視聴者は動画を視聴することができる。配信サーバ２０は、例えば、ストリーミング方式により動画を送出するようにしてもよいし、１つ又は複数の動画ファイルを視聴者端末１０にダウンロードさせるように送出してもよい。

【0013】

ライブ配信を行う場合、ライブ会場には、カメラ及びマイクを配置することができる。また、ライブ会場には、ディスプレイ及びスピーカを配置することもできる。ライブ会場には、カメラ及びマイクからの映像及び音声を通信ネットワークを介して配信サーバに送信し、配信サーバからの映像及び音声を通信ネットワークを介して受信してディスプレイ及びスピーカに出力するためのコンピュータを配置してもよい。

【0014】

ライブ映像には、視聴者を表す視聴者画像を付帯させて配信することができる。視聴者画像は、視聴者をカメラで撮影した画像であってもよいし、視聴者のアバターであってもよい。

【0015】

配信サーバ２０、及び視聴者端末１０は、１台または複数台のコンピュータとして実現できる。このコンピュータは、ＣＰＵ、メモリ、記憶装置、通信インタフェース、入力装置、出力装置を備えることができる。記憶装置は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェースは、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。配信サーバ、視聴者端末１０に関し、それぞれが備える機能部は、それぞれが備えるＣＰＵが記憶装置に記憶されているプログラムを実行することにより実現され、それぞれが備える記憶部は、それぞれが備えるメモリ及び記憶装置が提供する記憶領域の一部として実現される。

【0016】

本実施形態の動画配信システムにより実現される内容には少なくとも以下のものが含まれる。

【0017】

＜映像のスイッチング＞
図２は、本発明の一実施形態である映像のスイッチングを説明する図である。本実施形態の動画配信システムでは、視聴者端末１０からの反応に応じて、配信する動画を変更（スイッチング）することができる。配信サーバ２０は、複数の視聴者端末１０からデータを受信し、視聴者端末１０からのデータを集計する。集計結果に応じて動画をスイッチングすることができる。

【0018】

本実施形態では、動画のスイッチングは、配信サーバ２０により行われるものとし、配信サーバ２０からは同時に１種類の動画が送出されるものとする。なお、動画のスイッチングは、配信サーバ２０とは異なるスイッチング装置により行うようにすることもできる。この場合、配信サーバ２０からは複数のストリームを並行して送出するようにし、視聴者端末１０に届けるストリームをスイッチング装置により変更することができる。

【0019】

動画のスイッチングは、配信し得る複数の動画のうちの１つを選択することにより行うことができる。

【0020】

ライブ配信の場合、動画のスイッチングは、ライブ会場又は会場外に設置した複数のカメラのうちの１つを選択し、選択されたカメラからの映像を配信することを含む。動画のスイッチングは、ライブ会場又は会場外に設置した複数のマイクのうちの１つを選択し、選択したマイクからの音声を配信することを含む。

【0021】

録画データの配信の場合、動画のスイッチングは、複数のファイルの中から配信するファイルを選択することができる。例えば、配信サーバ２０は、複数のファイルを同時に再生し続け（同期してもよい）、再生した映像のうちの１つを選択して通信ネットワーク４０に送出するようにする（選択されなかった映像は、デコードだけ行い配信サーバ２０の外部に出力されないようにすることができる。）ことにより、録画データのスイッチングを行うことができる。また、配信サーバ２０は、時系列に連続するコマごとに複数の短尺の動画ファイルを記憶しておき、再生するファイルを選択して、選択したファイルのみをデコードして再生するようにすることもできる。

【0022】

動画を切り替えるタイミングは、配信サーバ２０において設定しておくことができる。すなわち、配信サーバ２０は、動画切替部を備えるようにし、動画切替部は、視聴者端末１０からの入力データの集計値に応じて、動画の切り替えを行うことができる。動画切替部は、視聴者端末１０に入力を指示し（例えば、ＨＴＭＬのフォームを送信するようにすることができる。）、視聴者端末１０から入力データを受信するようにすることができる。動画切替部は、選択肢を視聴者端末１０に送信し、視聴者端末１０の視聴者に選択肢を選択させるようにすることができる。

【0023】

動画を切り替えるタイミングは、外部からの指示に応じて決定することができる。動画切替部は、運営者端末３０からの指示に応じて動画を切り替えるようにすることができる。配信サーバ２０は、入力データを集計する集計部を備えることができる。集計部は、例えば、選択肢ごとの入力データの数（視聴者の数）をカウントし、選択肢ごとの数を運営者端末３０に通知することができる。なお、集計は、平均値であってもよいし、累積値であってもよいし、その他の統計手法により集計した値であってよい。運営者は、運営者端末３０において入力データの集計結果を参照し、動画の切り替え指示を配信サーバ２０に送信することができる。動画の切り替え指示には、切り替え先の動画を指定することができる。

【0024】

動画の切り替え指示は、コメントとして送信することもできる。配信サーバ２０は、動画を視聴者端末１０に配信するとともに、投稿されたコメントも送信することができる。配信サーバ２０は、コメントの管理を行うコメント管理部を備えることができる。コメント管理部は、視聴者端末１０から配信中の動画に対するコメントを受け付け、受け付けたコメントを全て又は一部の視聴者端末１０に配信するようにすることができる。コメント管理部は、運営者端末３０から特定のコマンドをコメントとして受信した場合に、切り替え指示として受け付けることができる。コメント管理部は、受け付けた切り替え指示を動画切替部に渡すことができる。例えば、運営者端末３０から、「ＸＸＸ発生」というコメントを受け付けた場合に、コメント管理部は、これを動画切替部に渡し、動画切替部は、例えば、アラートを報知するような映像又は音声を配信するようにすることができる。なお、動画切替部は、映像又は音声を切り替えるだけでなく、配信中の動画に重畳させて表示又は出力する映像又は音声を配信するようにしてもよい。

【0025】

＜会場内の装飾やブラウザが変化する仕組み＞
視聴者端末１０を通じて、視聴者の行動により、ライブ会場の演出を変化させたり、視聴者端末１０のライブ鑑賞中の演出を変化させることができる。視聴者の行動の検知方法は、例えば、カメラやモーションセンサなど視聴者を含め周りの動作を検知する装置、マイクなど視聴者含め周辺の音を収集する集音装置などが設けられている状態で、視聴者等が特定の行動、例えば、特定のポーズ、動作を検知したり、特定のキーワード、音声、歌唱等発音を検知したりすることができる。また、視聴者の行動は、動作や音声のみならず、例えば、課金、ＭＤの購入やポイントの消費、ギフティング等の行動でもよい。また、ライブ会場等の演出の変化としては、例えばライブ会場におけるビジュアルや音による演出変化が含まれる。ビジュアルによる演出の変化として、例えば、ライブ会場の照明、パネル、客席の照明が変化することや、ライブ会場に設置されているギミック、例えば、花火のが打ちあげやロボット等機器の稼働等が含まれてもよい。また、動画配信では動画映像に演出を加えても良いし、動画映像以外のパーツに変化を起こさせても良い。例えば、動画以外のパーツは例えば、チャット欄や広告バナー等の視聴者に動画映像以外のサービスを提供するパーツ等がある。また、映像の演出に限らず、例えば、視聴者端末１０に振動してもよい。演出等は、視聴者の行動程度に合わせて変化してもよく、例えば、消費金額やポイント等に応じて変化をしてもよい。さらに、連続するギフティングや投げ銭に応じて変化してもよい。

【0026】

＜視聴者が会場の演出選べる仕組み＞
配信サーバ２０は、視聴者が所望するライブ会場又は視聴者端末１０のライブ鑑賞中の視聴者端末１０の画面の演出を変更することができる。例えば、配信サーバ２０は、複数のライブ会場又は視聴者端末１０における動画映像の演出提案を１または複数の視聴者端末１０に送信することができ、視聴者は、その中から所望する演出を選択することができる。そして、視聴者が所望する演出を選択すると、ライブ会場や動画映像にその演出がされる。また、演出の提案は、カプセルトイサービスの様に視聴者を楽しませることができる。また、視聴者に演出を提案するトリガとして視聴者がご後述する視聴者行動を行う等により発動させることができる。また、演出の回数を制限してもよく、例えば、選択された演出は次から提案されない等がある。その際に、演出回数の残存数をバナーやチャット欄に告知させてもよい。

【0027】

＜演者が行った所作がオンライン視聴者の画面に影響を与える＞
図３は、本発明の一実施形態である演者が行った所作がオンライン視聴者の画面に影響を与えることについて説明する図である。配信サーバ２０は、動画中に演者が行った所作に応じて、鑑賞中の視聴者端末１０の画面に演出を出力することができる。配信サーバ２０は、例えば、演者がピストルを打つ所作を行うタイミングで、視聴者端末１０の画面にピストルの弾痕を表示させたり、当該画面が破損したような表示をさせたりすることができる。動画中で特定の所作が行われたことは、例えば、配信サーバ２０が映像を解析して映像中で行われた所作を検出するようにしてもよいし、配信サーバ２０が、配信する動画を特定する情報と所作とに対応付けて、当該動画において当該所作が行われる時間を事前に設定しておくタイミング記憶部を備えるようにし、配信されている動画の現時点（又は現時点から所定時間後）のタイミングに、設定された所作が行われたものとして判定するようにしてもよい。また、運営者端末３０から所作が行われたことを示す指示を受け付けるようにしてもよい。演者の所作には、モーションやポーズ等動作に限らず、例えば、発声等でもよい。なお、演者に限らず観客の行った所作でもよいし、演者と観客が一緒に行った所作でもいい。

【0028】

視聴者端末１０の画面上の演出は、画面上に配置された動画の表示部（動画プレイヤ）の大きさを超えて、画面上の任意の位置で行うようにすることができる。すなわち、配信サーバ２０は、動画の配信とは別途独立して、画面上の演出用のデータを視聴者端末１０に送信することができる。演出用のデータは、例えば、描画コマンドとしてもよいし、画面上に配置する画像としてもよい。画面上の演出は、透明レイヤー上に表示を行うことにより実現することができる。視聴者端末１０の画面データ（例えば、ＨＴＭＬデータ）は配信サーバ２０が提供するものとし、画面データには、動画プレイヤにより動画を再生する第１レイヤーと、第２レイヤーの一部又は全部にオーバーラップする第２レイヤーとを設けるようにすることができる。第２レイヤーは背景が透明の透過レイヤーとすることができる。動画中の演者の所作に応じた演出は、第２レイヤーに描画を行うことにより実現することができる。例えば、ＪａｖａＳｃｒｉｐｔなどの視聴者端末１０上で実行可能なスクリプトを画面データに含めるようにし、スクリプトの実行により、配信サーバ２０から演出用のデータを受信したことに応じて、第２レイヤーに描画を行うことが可能となる。

【0029】

また、視聴者端末１０の画面上の演出は、動画プレイヤのサイズを超えて行うことができる。動画プレイヤが視聴者端末１０の画面の一部を占有している場合（例えば、コメント欄などが設けられているような場合や、動画プレイヤの周りに余白が設けられているような場合など）に、動画プレイヤの枠外に演出を発生させることができる。このため、第２レイヤーは動画プレイヤの大きさよりも大きく、例えば、画面全部を覆うように配置することができる。

【0030】

また、視聴者端末１０の画面上の演出は、画像の配置により行うこともできる。配信サーバ２０は、演出を表示するための画像（アニメーション画像であっても静止画像であってもよい。）を視聴者端末１０に送信し、視聴者端末１０において、スクリプト等により配信サーバ２０から受信した画像を動画プレイヤよりも前面に配置することにより、動画プレイヤの枠外にも演出を施すことができる。

【0031】

配信サーバ２０は、運営者端末３０からの指示に応じて、演出用のデータを視聴者端末１０に送信するようにすることができる。運営者端末３０からの指示は、例えば、コメントの投稿として実現することもできる。この場合、特定のキーワードを含むコメントが運営者端末３０から投稿された場合に、演出の指示が行われたものとして、演出用のデータを送信することができる。運営者端末３０からのコメントであるか否かは、配信サーバ２０にログインするユーザが運営者のアカウントであるか否かにより判定することができる。

【0032】

＜特殊効果を発生させる透明スクリーンの設置＞
動画映像上の一部または全部に仮想スクリーンを覆わせるように設置することで、動画映像と仮想スクリーンにて様々演出等を行うことで動画映像と重畳的な演出をさせることができる。例えば、仮想的なスクリーンを通じて、アニメーションpng画像を表示させることにより、png画像上にひび割れや虫などを表示することができる。そして、仮想スクリーンは、最初から動画映像上に設けられても良いし、所定のトリガにより設けられてもい。トリガは、例えば、上述した視聴の行動によって生じてもいし、消失しても良い。また、視聴者端末がタッチスクリーンである場合には視聴者によってスクリーンを触れるとその箇所に割れる等演出を行っても良い。

【0033】

＜全画面制御＞
動画の表示領域（動画プレイヤ）が視聴者端末１０の画面の一部を占めているに過ぎない場合に、動画プレイヤのサイズを変更するコマンドを配信サーバ２０から送信し、このコマンドに応じて視聴者端末１０において動画プレイヤのサイズを変更することができる。

【0034】

配信サーバ２０は、運営者端末３０からの指示に応じて、動画プレイヤのサイズを変更するコマンドを視聴者端末１０に送信することができる。また、配信サーバ２０は、事前に動画を特定する情報と、演出のタイミングと、演出の内容とを対応付けて記憶する演出記憶部を備えるようにし、配信中の動画に対応する、現時点（又は所定時間後）のタイミングに対応する演出の内容を演出記憶部から特定し、特定できた場合には、当該演出の内容を実現するコマンドや画像を視聴者端末１０に送信することができる。なお、演出の内容に、コマンドや画像を設定しておくことができる。

【0035】

＜端末の縦持ち不可＞
配信サーバ２０は、視聴者端末１０に視聴者端末１０の姿勢または／及び位置に対して修正する指示を行う機能を有している。例えば、視聴者端末１０には、ジャイロセンサのような視聴者端末１０自身の姿勢を測定するセンサーや、GPSのような位置を測定する測位装置が設けられており、配信サーバ２０は、所定の時間や周期で姿勢情報及び位置情報を取得している状態である。そして、配信サーバ２０は、視聴者端末１０が所定の姿勢または位置でないときに、視聴者端末１０を介して警告する旨の表示や発声させることができる。また、配信サーバ２０は、視聴者端末１０を直接制御することも可能で、例えば、動画や音声を停止させたり、動画配信データの送信を中止させたりすることができる。

【0036】

＜黒い光の表現方法＞
動画内に表示されているレーザーライトに対して、所定以上の濃度を有する色素を取り除くことができる。例えば、動画内に緑色のレーザ光線があった場合に緑色の色素を抜くことにより当該緑色のレーザーライトが照射されている部分につき黒色のレーザーライトを照射させる演出を施すことができる。また、緑色のレーザ光線の周りには白い光が含まれていることから、緑色を抜くことにより、皆既日食のダイヤモンドリングのような効果を実現することもできる。

【0037】

＜画面の色味の変更＞
視聴者端末１０の画面が、動画の表示部（動画プレイヤ）以外の要素（例えば、コメント欄や、視聴者に入力を要求する入力欄における選択肢の表示など）が表示されている場合に、配信サーバ２０からの指示に応じて、視聴者端末１０の画面上で、これらの色調を変化させることができる。例えば、画面上では黒地に緑色の線や文字で描画がされている場合に、配信サーバ２０からの指示に応じて、緑地に黒色の線や文字で描画をするように変更することができる。この場合に、上述したような全画面制御の前後、又は、上述したような画面上における演出処理（動画プレイヤ外の領域も含む。）の前後で、色調を変化させるようにすることができる。

【0038】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【図1】

【図2】

【図3】