IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 依田 邦章の特許一覧 ▶ 武藤 洋の特許一覧 ▶ 有限会社ハイカラワークスの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071861
(43)【公開日】2024-05-27
(54)【発明の名称】双方向ライブ配信システム
(51)【国際特許分類】
   H04N 21/2665 20110101AFI20240520BHJP
   H04N 21/258 20110101ALI20240520BHJP
   H04L 67/2869 20220101ALI20240520BHJP
【FI】
H04N21/2665
H04N21/258
H04L67/2869
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022182334
(22)【出願日】2022-11-15
(71)【出願人】
【識別番号】522446764
【氏名又は名称】依田 邦章
(71)【出願人】
【識別番号】522446775
【氏名又は名称】武藤 洋
(71)【出願人】
【識別番号】522446786
【氏名又は名称】有限会社ハイカラワークス
(74)【代理人】
【識別番号】100109553
【弁理士】
【氏名又は名称】工藤 一郎
(72)【発明者】
【氏名】依田 邦章
(72)【発明者】
【氏名】武藤 洋
(72)【発明者】
【氏名】松下 祐介
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA06
5C164GA07
5C164SA25S
5C164SB13S
5C164SB29S
5C164SC04P
5C164SC11P
5C164UA42S
5C164YA15
(57)【要約】
【課題】ライブを会場で開催すると同時に配信も行う際に、会場の演者には無観客または限定した観客しか見えず、演奏のモチベーションが上がりづらかった。また会場のモニタには多くの視聴者を表示しきれない上に、ライブ開催の妨げとなるような問題を持った視聴者も現れる可能性がある。
【課題を解決するための手段】ライブ会場のモニタへ視聴者の映像を映し出すとともに、所定の方法で表示する視聴者映像を入れ替える。また視聴者映像の映像信号を遮断する命令を発することで、前記のように表示を入れ替えたり、ライブ開催の妨げとなるような視聴者映像の出力を中止させたりできる双方向ライブ配信システムを提供する。
【選択図】図1
【特許請求の範囲】
【請求項1】
ライブ会場に配置され後記会場端末(C)からの視聴者映像を出力するモニタ(A)と、
ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に送信する撮影装置(B)と、
ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と接続される会場端末(C)と、
ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)に送信するライブ映像送信サーバ(E)と、
前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)に送信する視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)と、
からなる双方向ライブ配信システム。
【請求項2】
会場端末(C)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択する視聴者映像選択部(G)を有する請求項1に記載の双方向ライブ配信システム。
【請求項3】
会場端末(C)は視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持する視聴者識別情報保持部(H)を有し、
前記視聴者映像選択部(G)は、視聴者識別情報を用いて視聴者映像を選択するように構成されている請求項2に記載の双方向ライブ配信システム。
【請求項4】
視聴者識別情報保持部(H)は、視聴者識別情報と、その視聴者識別情報で識別される視聴者の権限を示す情報である権限情報と、を関連付けて保持する権限情報保持手段(J)を有する請求項3に記載の双方向ライブ配信システム。
【請求項5】
会場端末(C)は、会場端末(C)の操作者からモニタ(A)に出力されている視聴者映像の送信元である視聴端末(D)からの視聴者映像の映像信号を遮断する命令である遮断命令を受付ける映像信号遮断命令受付部(K)を有し、
視聴者映像選択部(G)は、映像信号遮断命令受付部(K)で遮断命令を受付けた視聴者映像の映像信号の選択を終了する遮断命令実行手段(L)を有する、
請求項2から請求項4のいずれか一に記載の双方向ライブ配信システム。
【請求項6】
ライブ会場に配置され後記会場端末(C)からの視聴者映像をモニタ(A)へ出力するモニタステップ(a)と、
ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に撮影装置(B)が送信する撮影ステップ(b)と、
ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と会場端末(C)を接続する会場端末準備ステップ(c)と、
ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信するライブ映像送信ステップ(e)と、
前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)へ視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)から送信する視聴者映像送信ステップ(f)と、
からなる計算機である双方向ライブ配信システムの動作方法。
【請求項7】
会場端末(C)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択する視聴者映像選択ステップ(g)を有する請求項6に記載の計算機である双方向ライブ配信システムの動作方法。
【請求項8】
会場端末(C)は視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持する視聴者識別情報保持ステップ(h)を有し、
前記視聴者映像選択ステップ(g)は、視聴者識別情報を用いて視聴者映像を選択するように構成されている請求項7に記載の計算機である双方向ライブ配信システムの動作方法。
【請求項9】
視聴者識別情報保持ステップ(h)は、視聴者識別情報と、その視聴者識別情報で識別される視聴者の権限を示す情報である権限情報と、を関連付けて保持する権限情報保持サブステップ(j)を有する請求項8に記載の計算機である双方向ライブ配信システムの動作方法。
【請求項10】
会場端末(C)は、会場端末(C)の操作者からモニタ(A)に出力されている視聴者映像の送信元である視聴端末(D)からの視聴者映像の映像信号を遮断する命令である遮断命令を受付ける映像信号遮断命令受付ステップ(k)を有し、
視聴者映像選択ステップ(g)は、映像信号遮断命令受付ステップ(k)で遮断命令を受付けた視聴者映像の映像信号の選択を終了する遮断命令実行サブステップ(l)を、
有する請求項7から請求項9のいずれか一に記載の計算機である双方向ライブ配信システムの動作方法。
【請求項11】
ライブ会場に配置され後記会場端末(C)からの視聴者映像をモニタ(A)へ出力するモニタステップ(a)と、
ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に撮影装置(B)が送信する撮影ステップ(b)と、
ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と会場端末(C)を接続される会場端末準備ステップ(c)と、
ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信するライブ映像送信ステップ(e)と、
前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)へ視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)から送信する視聴者映像送信ステップ(f)と、
からなる計算機である双方向ライブ配信システムに読取り動作可能なプログラム。
【請求項12】
会場端末(C)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択する視聴者映像選択ステップ(g)を有する請求項11に記載の計算機である双方向ライブ配信システムに読取り動作可能なプログラム。
【請求項13】
会場端末(C)は視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持する視聴者識別情報保持ステップ(h)を有し、
前記視聴者映像選択ステップ(g)は、視聴者識別情報を用いて視聴者映像を選択するように構成されている請求項12に記載の計算機である双方向ライブ配信システムに読取り動作可能なプログラム。
【請求項14】
視聴者識別情報保持ステップ(h)は、視聴者識別情報と、その視聴者識別情報で識別される視聴者の権限を示す情報である権限情報と、を関連付けて保持する権限情報保持サブステップ(j)を有する請求項13に記載の計算機である双方向ライブ配信システムに読取り動作可能なプログラム。
【請求項15】
会場端末(C)は、会場端末(C)の操作者からモニタ(A)に出力されている視聴者映像の送信元である視聴端末(D)からの視聴者映像の映像信号を遮断する命令である遮断命令を受付ける映像信号遮断命令受付ステップ(k)を有し、
視聴者映像選択ステップ(g)は、映像信号遮断命令受付ステップ(k)で遮断命令を受付けた視聴者映像の映像信号の選択を終了する遮断命令実行サブステップ(l)を、
有する請求項12から請求項14のいずれか一に記載の計算機である双方向ライブ配信システムに読取り動作可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ライブ会場と、ライブ会場外からライブを視聴する視聴者間での双方向に交歓できる配信システムに関する。
【背景技術】
【0002】
2019年末頃から大流行したCOVID-19の感染防止のため、ライブやコンサートや、演劇や講演会など、大勢の人が1か所に集まる集会の開催が制限された。歌手などは無観客で、インターネットによる配信ライブを行った。その後、感染対策が進み規制が緩和されつつあるが、観客間の距離を空ける(具体的には1.5m以上離れることや、席を1つないしは2つ開けて座ることや、ステージと観客席の間の距離をとるまたはアクリル等の透明な板で区切るなど)ことを行い会場の収容数が、COVID―19流行前よりも減少した。来場できないファンに対し、ライブなどのインターネット配信を行い、会場での参加と、PC等の視聴端末を通じた参加という2つの形態が混合した状態での開催が現在も行われている。感染対策としてだけではなく、遠隔地に居住するため会場へ行くことが難しかったり、会場の収容数上限により会場参加チケットが買えなかったりしたファンがインターネット配信で参加するなど、新しいライブの楽しみ方として定着しつつある。
【0003】
特許文献1では、インターネットを介してライブ会場のマイク、スピーカと、視聴者が視聴に用いているユーザ端末をつなぐ。ユーザ端末からの視聴者のリアルタイムの反応音声をライブ会場のスピーカにアナログ音響信号として出力し、ライブ出演者へ視聴者の反応をリアルタイムに報知する無観客ライブ放送方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-182696号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1に記載の技術は、視聴者の反応は音声のみがライブ会場へ伝達され映像については開示されていない。そのため演奏者はライブ中の視聴者がリアルタイムに反応する姿を見ることができない可能性がある。無観客ライブであれば、観客がいない空虚な観客席の様子が目に入るばかりで、視聴者の音声があるとはいえ演者にとって自身の演奏に対する反応を感じにくいものであり盛り上がりに欠けると言わざるとえない。
【0006】
一般にインターネットを介して配信するリモートライブとして、会場とは別の場所(視聴者の自宅など)にいる視聴者の使用するスマートフォンやタブレット端末のカメラからの映像を会場のモニタに映しだすことも行われている。インターネットを介して配信されるライブ映像を視聴する視聴者が多い場合には、会場のモニタに全員を映し出すことができないという課題があった。また、なにかしらの問題行動(大声や奇声をあげる、公序良俗に反する映像や音声を発する)によってライブの進行や他の観客及び他の視聴者へ迷惑となる行為をする視聴者に対してのどのように対応するのかが不明確だった。また善意の視聴者が意図せずに、ライブ会場のマイクやスピーカを通じてハウリングを起こしたりする場合の対応なども不明確であるという課題があった。
【0007】
そこで本発明では、視聴者映像を選択し、モニタへ全員映せない場合には視聴者映像を入れ替えて映したり、不適当な視聴者の映像を遮断したりすることができる双方向ライブ配信システムを提供する。
【課題を解決するための手段】
【0008】
以上のような双方向ライブ配信システムに関する課題を解決するために、本願では、
第一の発明として、
ライブ会場に配置され後記会場端末(C)からの視聴者映像を出力するモニタ(A)と、
ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に送信する撮影装置(B)と、
ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と接続される会場端末(C)と、
ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)に送信するライブ映像送信サーバ(E)と、
前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)に送信する視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)と、
からなる双方向ライブ配信システムを提供する。
【0009】
第二の発明として、第一の発明を基礎として、
会場端末(C)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択する視聴者映像選択部(G)を有する双方向ライブ配信システムを提供する。
【0010】
第三の発明として、第二の発明を基礎として、
会場端末(C)は視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持する視聴者識別情報保持部(H)を有し、
前記視聴者映像選択部(G)は、視聴者識別情報を用いて視聴者映像を選択するように構成されている双方向ライブ配信システムを提供する。
【0011】
第四の発明として、第三の発明を基礎として、
視聴者識別情報保持部(H)は、視聴者識別情報と、その視聴者識別情報で識別される視聴者の権限を示す情報である権限情報と、を関連付けて保持する権限情報保持手段(J)を有する双方向ライブ配信システムを提供する。
【0012】
第五の発明として、第二の発明から第四の発明のいずれか一を基礎として、
会場端末(C)は、会場端末(C)の操作者からモニタ(A)に出力されている視聴者映像の送信元である視聴端末(D)からの視聴者映像の映像信号を遮断する命令である遮断命令を受付ける映像信号遮断命令受付部(K)を有し、
視聴者映像選択部(G)は、映像信号遮断命令受付部(K)で遮断命令を受付けた視聴者映像の映像信号の選択を終了する遮断命令実行手段(L)を有する双方向ライブ配信システムを提供する。
【0013】
さらに、計算機である第一から第五の発明の双方向ライブ配信システムの動作方法と、それぞれに読み込み可能な動作プログラムも提供する。またそれぞれの動作プログラムは記録媒体に記録されたものであってもよい。
【発明の効果】
【0014】
主に以上のような構成をとる本発明によって、システムを提供することができる。
【図面の簡単な説明】
【0015】
図1】実施形態1にかかる発明の機能ブロック図1
図2】実施形態1にかかる発明の機能ブロック図2
図3】実施形態1にかかる発明の動作フローチャート図
図4】実施形態1にかかる発明のハードウェア図
図5】実施形態2にかかる発明の機能ブロック図
図6】実施形態2にかかる発明の動作フローチャート図
図7】実施形態2にかかる発明のハードウェア図
図8】実施形態3にかかる発明の機能ブロック図
図9】実施形態3にかかる発明の動作フローチャート図
図10】実施形態3にかかる発明のハードウェア図
図11】実施形態4にかかる発明の機能ブロック図
図12】実施形態4にかかる発明の動作フローチャート図
図13】実施形態4にかかる発明のハードウェア図
図14】実施形態5にかかる発明の機能ブロック図
図15】実施形態5にかかる発明の動作フローチャート図
図16】実施形態5にかかる発明のハードウェア図
図17】本発明の全体構成概略図
図18】本発明の双方向ライブ配信システムの視聴端末(D)画面例1
図19】本発明の双方向ライブ配信システムの視聴端末(D)画面例2
図20】本発明の双方向ライブ配信システムの視聴端末(D)画面例3
図21】本発明の双方向ライブ配信システムの視聴端末(D)画面例4
図22】本発明の双方向ライブ配信システムのモニタ(A)画面例1
図23】本発明の双方向ライブ配信システムのモニタ(A)画面例2
図24】本発明の双方向ライブ配信システムのモニタ(A)画面例3
図25】本発明の双方向ライブ配信システムのモニタ(A)画面例4
【発明を実施するための形態】
【0016】
<本特許出願の前提>
【0017】
<全実施形態の説明の前提>
<本発明を構成し得るハードウェアについて>
本件発明は、原則的に電子計算機を利用する発明であるが、少なくとも一部はソフトウェアによって実現され、ハードウェアによっても実現され、ソフトウェアとハードウェアの協働によっても実現される。この場合に、ソフトウェアはハードウェア資源を利用して各種演算を行い求められるデータや情報を通じて諸機能を実現する。ソフトウェアによる情報処理が、ハードウェア資源を用いて具体的に実現されていると言える。
【0018】
本件発明の各構成要件の全部又は一部を実現するハードウェアでは、計算機の基本的構成であるCPU、メモリ、バス、入出力装置、各種周辺機器、ユーザーインターフェイスなどによって構成される。各種周辺機器には、記憶装置、インターネット等インターフェイス、インターネット等機器、LAN機器、Wifi(登録商標)機器、ディスプレイ、ディスプレイインターフェイス、キーボード、マウス、スピーカ、マイク、カメラ、ビデオカメラ、ビデオ、ビデオスイッチャー、ビデオキャプチャーデバイス、オーディオミキサー、テレビ、CD装置、DVD装置、ブルーレイ装置、USBメモリ、USBメモリインターフェイス、着脱可能タイプのハードディスク、一般的なハードディスク、プロジェクタ装置、SSD、電話、ファックス、コピー機、印刷装置、ムービー編集装置、各種センサ装置などが含まれうる。
【0019】
また、本システムは、必ずしも一つの筐体によって構成されている必要はなく、複数の筐体を通信で結合して構成されるものであってもよい。また、通信は、LANであってもWAN、Wifi(登録商標)、ブルートゥース(登録商標)、赤外線通信、超音波通信であってもよく、さらに、一部が国境を跨いで設置されていてもよい。
【0020】
<全実施形態における本願発明の自然法則の利用性の充足>
【0021】
本発明は、計算機とソフトウェアとの協働で機能するものである。本発明では一般インターネット回線又は専用回線を介して、ライブ会場に設置された会場端末(C)、モニタ(A)、撮影装置(B)や、ライブ映像送信サーバ(E)と視聴者映像送信サーバ(F)と、ライブ会場とは別の場所で視聴する視聴者が利用する視聴端末(D)との間で、ライブ映像又は/及び音声や視聴者映像/又は及び音声を通信で送付する。ICTならではの処理が含まれているのでいわゆるビジネスモデル特許として成立するものである。この観点からも本願発明は計算機などのリソースを請求項や明細書に記載された事項と、それらの事項に関係する技術常識に基づいて判断すれば、本願発明は自然法則を利用したものであることとなる。
【0022】
<特許法で求められる自然法則の利用の意義についての出願人の理解>
【0023】
特許法で求められる自然法則の利用とは、法目的に基づいて、発明が産業上利用性を有し、産業の発達に寄与するものでなければならないとの観点から、産業上有用に利用することができる発明であることを担保するために求められるものである。つまり、産業上有用であること、すなわち出願に際して宣言した発明の効果がその発明の実施によってある一定の確実性の下再現できることを求めるものである。この観点から自然法則利用性とは、発明の効果を発揮するための発明の構成である発明特定事項(発明構成要件)のそれぞれが発揮する機能が自然法則を利用して発揮されるものであればよい、と解釈される。さらに言えば、発明の効果とはその発明を利用する利用者に所定の有用性を提供できる可能性があればよいのであって、その有用性を利用者がどのように感じたり、考えたりするかという観点で見るべきではない。したがって、ライブ会場で演奏する演奏者や、ライブ映像/又は及び音声を配信する配信業者や、配信されたライブ映像を視聴端末で視聴する視聴者や、視聴端末から視聴者映像を受信する技術者(配信業者と同一でも可)などが本双方向ライブ配信システムによって得る効果が心理的な効果(安心できる等)であったとしても、その効果自体は求められる自然法則の利用性の有無を判断するための対象外の事象である。
【0024】
<ハードウェア構成>
【0025】
図4は本実施形態1におけるハードウェア構成の一例を示す図である。本発明の全実施形態における計算機である双方向ライブ配信システムのハードウェア構成について、図4を用いて説明する。
【0026】
この図にあるように、計算機は、マザーボード上に構成される、チップセット、CPU、不揮発性メモリ、メインメモリ、各種バス、BIOS、USBやLANなどの各種インターフェイス、リアルタイムクロック等からなる。これらはオペレーティングシステムやデバイスドライバ(USBなどの各種インターフェイス、カメラ、マイク、スピーカ又はヘッドホン、ディスプレイ、ビデオカメラ、ビデオ、ビデオスイッチャー、ビデオキャプチャーデバイス、オーディオミキサーなどの各種機器組込み用)、各種プログラムなどと協働し、計算機へ接続された各種入出力用外部機器(キーボード、マウス、USB、通信機器(LAN等)、モニタ、マイク、カメラなど)とも協働して動作する。本発明を構成する各種プログラムや各種データはこれらのハードウェア資源を効率的に利用して各種の処理を実行するように構成されている。
【0027】
≪チップセット≫
【0028】
「チップセット」は、計算機のマザーボードに実装され、CPUの外部バスと、メモリや周辺機器を接続する標準バスとの連絡機能、つまりブリッジ機能を集積した大規模集積回路(LSI)のセットである。2チップセット構成を採用する場合と、1チップセット構成を採用する場合とがある。CPUやメインメモリに近い側をノースブリッジ、遠い側で比較的低速な外部I/Oとのインターフェイスの側にサウスブリッジが設けられる。以下、本明細書中では2チップセット構成の場合で説明するが、CPUとノースブリッジを統合しチップセットはサウスブリッジ相当の1チップでの構成としてもよいし、CPUと両チップセットを統合した形態でも同様の効果が得られる。
【0029】
(ノースブリッジ)
ノースブリッジには、CPUインターフェイス、メモリコントローラ、グラフィックインターフェイスが含まれる。従来のノースブリッジの機能のほとんどをCPUに担わせてもよい。ノースブリッジは、メインメモリのメモリスロットとはメモリバスを介して接続し、グラフィックカードのグラフィックカードスロットとは、ハイスピードグラフィックバス(AGP、PCI Express)で接続される。
【0030】
(サウスブリッジ)
サウスブリッジには、PCIインターフェイス(PCIスロット)とはPCIバスを介して接続し、ATA(SATA)インターフェイス、USBインターフェイス、EthernetインターフェイスなどとのI/O機能やサウンド機能を担う。高速な動作が必要でない、あるいは不可能であるようなPS/2ポート、フロッピーディスクドライブ、シリアルポート、パラレルポート、ISAバスをサポートする回路を組み込むことは、チップセット自体の高速化の足かせとなるためサウスブリッジのチップから分離させ、スーパーI/Oチップと呼ばれる別のLSIに担当させることとしてもよい。CPU(MPU)と、周辺機器や各種制御部を繋ぐためにバスが用いられる。バスはチップセットによって連結される。メインメモリとの接続に利用されるメモリバスは、高速化を図るために、これに代えてチャネル構造を採用してもよい。バスとしてはシリアルバスかパラレルバスを採用できる。パラレルバスは、シリアルバスが1ビットずつデータを転送するのに対して、元データそのものや元データから切り出した複数ビットをひとかたまりにして、同時に複数本の通信路で伝送する。クロック信号の専用線がデータ線と平行して設けられ、受信側でのデータ復調の同期を行う。CPU(チップセット)と外部デバイスをつなぐバスとしても用いられ、GPIB、IDE/(パラレル)ATA、SCSI、PCIなどがある。高速化に限界があるため、PCIの改良版PCI ExpressやパラレルATAの改良版シリアルATAでは、データラインはシリアルバスでもよい。
【0031】
≪CPU≫
【0032】
CPUはメインメモリ上にあるプログラムと呼ばれる命令列を順に読み込んで解釈・実行することで信号からなる情報を同じくメインメモリ上に出力する。CPUは計算機内での演算を行なう中心として機能する。なお、CPUは演算の中心となるCPUコア部分と、その周辺部分とから構成され、CPU内部にレジスタ、キャッシュメモリや、キャッシュメモリとCPUコアとを接続する内部バス、DMAコントローラ、タイマー、ノースブリッジとの接続バスとのインターフェイスなどが含まれる。なお、CPUコアは一つのCPU(チップ)に複数備えられていてもよい。また、CPUに加えて、グラフィックインターフェイス(GPU)若しくはFPUによって、処理を行っても良い。なお、実施形態での説明は2コアタイプのものであるが、これに限定されない。またCPU内にプログラムを内蔵することもできる。
【0033】
≪不揮発性メモリ≫
【0034】
(HDD)
【0035】
ハードディスクドライブの基本構造は、磁気ディスク、磁気ヘッド、および磁気ヘッドを搭載するアームから構成される。外部インターフェイスは、SATA(過去ではATA)を採用することができる。高機能なコントローラ、例えばSCSIを用いて、ハードディスクドライブ間の通信をサポートする。例えば、ファイルを別のハードディスクドライブにコピーする時、コントローラがセクタを読み取って別のハードディスクドライブに転送して書き込むといったことができる。この時ホストCPUのメモリにはアクセスしない。したがってCPUの負荷を増やさないで済む。
【0036】
(フラッシュメモリ)
現在、NAND型フラッシュメモリとNOR型フラッシュメモリの2種が一般に使われている。読み出し書き出し速度は一長一短あるが、NAND型の方が高集積化には有利であり、データストレージ用途に使われる。ハードディスクドライブと比較し、可動部がないため小型で、稼動時の振動や音が発生しない。但し容量単価はハードディスクドライブを置き換えるようなところまで下がってはいない。記憶させるデータ容量が多くなければ、装置が小型化でき、衝撃などにも強くなるという利点がある。
【0037】
≪メインメモリ≫
【0038】
CPUが直接アクセスしてメインメモリ上の各種プログラムを実行する。メインメモリは揮発性のメモリでDRAMが用いられる。メインメモリ上のプログラムはプログラムの起動命令を受けて不揮発性メモリからメインメモリ上に展開される。その後もプログラム内で各種実行命令や、実行手順に従ってCPUがプログラムを実行する。
【0039】
≪オペレーティングシステム(OS)≫
【0040】
オペレーティングシステムは計算機上の資源をアプリケーションに利用させるための管理をしたり、各種デバイスドライバを管理したり、ハードウェアである計算機自身を管理するために用いられる。小型の計算機ではオペレーティングシステムとしてファームウェアを用いることもある。
【0041】
≪BIOS≫
【0042】
BIOSは、計算機のハードウェアを立ち上げてオペレーティングシステムを稼働させるための手順をCPUに実行させるもので、最も典型的には計算機の起動命令を受けるとCPUが最初に読取りに行くハードウェアである。ここには、ディスク(不揮発性メモリ)に格納されているオペレーティングシステムのアドレスが記載されており、CPUに展開されたBIOSによってオペレーティングシステムが順次メインメモリに展開されて稼働状態となる。なお、BIOSは、バスに接続されている各種デバイスの有無をチェックするチェック機能をも有している。チェックの結果はメインメモリ上に保存され、適宜オペレーティングシステムによって利用可能な状態となる。なお、外部装置などをチェックするようにBIOSを構成してもよい。なおBIOSの代わりに同様の機能を有する後継のUEFI(Unified Extensible Firmware Interface)を用いて計算機を起動するように構成してもよい。以上については、すべての実施形態でも同様である。
【0043】
図4に示すように、本発明は基本的に汎用計算機プログラム、各種デバイスで構成することが可能である。計算機の動作は基本的に不揮発性メモリに記録されているプログラムを主メモリにロードして、主メモリとCPUと各種デバイスとで処理を実行していく形態をとる。デバイスとの通信はバス線と繋がったインターフェイスを介して行われる。インターフェイスには、ディスプレイインターフェイス、キーボード、通信バッファ等が考えられる。以下、本発明の実施の形態を図示例と共に説明する。
【0044】
<実施形態1 概要>主に請求項1
実施形態1の双方向ライブ配信システムは、ライブ会場に配置されたモニタ(A)、撮影装置(B)、会場端末(C)、視聴者が視聴に用いる視聴端末(D)と、ライブ会場のライブ映像を視聴端末(D)へ送信するライブ映像送信サーバ(E)、視聴端末(D)からの視聴者映像を会場端末(C)へ送信する視聴者映像サーバ(F)とから構成される。
【0045】
<実施形態1 機能的構成>
図1は、本実施形態の双方向ライブ配信システムの構成の一例を示す図である。同図に示すように、実施形態1の双方向ライブ配信システム(0100)は、モニタ(A)(0101)と、撮影装置(B)(0102)と、会場端末(C)(0103)と、視聴端末(D)(0104)と、ライブ映像送信サーバ(E)(0105)と、視聴者映像送信サーバ(F)(0106)と、からなる。図1及び、以降の説明で図1に類似する図2図5図8図11図14において、点線で囲われた部分はライブ会場に設置されたものであり、実線で囲って図番+00の4ケタからなる符号で示した部分が本発明の双方向ライブシステムである。
【0046】
以下に記載する双方向ライブ配信システムを構成する各機能ブロックは、いずれもハードウェア、ソフトウェア、又はハードウェア及びソフトウェアのいずれによっても実現され得る。具体的には、コンピュータを利用するものであれば、CPUやメインメモリ、GPU、画像メモリ、グラフィックボード、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶媒体とそれらの媒体の読取ドライブなど)、情報入力に利用される操作ボタン等の入力デバイス、キーボード、マウス、タッチパネル、専らタッチパネルをタッチする目的で利用する電子ペン、ジョイスティック又はジョイスティック類似のポインタ位置入力装置、マイクやカメラなどの入力装置、モニタやスピーカなどの出力装置、通信用装置、音声や映像信号の合成・加工・選択切替用装置その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェイス、GPS受信インターフェイス、GPS用演算装置、ジャイロセンサ、加速度センサ、回転検知センサ、これらセンサの信号の処理装置、カメラ、画像ファイル処理回路、スピーカ、マイク、音声ファイル処理回路、通信用インターフェイス、バーコードリーダー、電子カードリーダー、POS端末、顔認証装置、暗号化装置、指紋認証装置、掌紋認証装置、網膜認証装置などの生体認証装置、ビデオカメラ、ビデオ、ビデオスイッチャー、ビデオキャプチャーデバイス、オーディオミキサー、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラムなどが挙げられる。特にスマートフォン、タブレット端末、携帯電話、スマートウォッチ、パーソナルコンピュータ、データセンターのサーバ装置、有線・無線ネットワーク及びインターフェイスなどを利用する。
【0047】
メインメモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェイスなどから入力されメモリやハードウェア上に保持されているデータなどが加工、蓄積されたり、前記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。ここで、上記プログラムは、モジュール化された複数のプログラムとして実現されてもよいし、二以上のプログラムを組み合わせて一のプログラムとして実現されても良い。
【0048】
また、本発明は、その一部をソフトウェアとして構成することも可能である。さらに、そのようなソフトウェアが記録された記憶媒体も当然に本発明の技術的な範囲に含まれる(本実施形態に限らず、本明細書の全体を通じて同様である。)。
【0049】
なお、上記機能ブロックは本発明を実施するための一例であって、本発明が克服すべき課題及びその効果と矛盾しない範囲において適宜その機能を省略したり、新たな機能を付加したりしてよい。以下の実施形態の説明でも同様である。
【0050】
<実施形態1 構成の説明>
<実施形態1 モニタ(A)(0101)>
「モニタ(A)」(0101)は、ライブ会場に配置され後記会場端末(C)からの視聴者映像を出力するように構成されている。
【0051】
<実施形態1:モニタ(A):ライブ会場>
「ライブ会場」は、収容観客数100人以下の小規模の会場から、1万人規模の野外ステージや数万人の武道館や野球場などのスポーツ競技場や競馬場などまでを含む。観客または視聴者へ配信するライブの音声を含む映像を撮影する後記撮影装置(B)を設置した場所とは区分けされた「ステージ」(一般的には観客から見えやすいように一段高くなった場所、または逆にすり鉢や階段状の会場の底の一番低い部分)には、楽曲を演奏または/及び歌唱したり、講演したり、劇を演じたり、スポーツ競技(相撲等格闘技も含む)をする1名以上の演者が位置する。ライブは、ステージ上の演者が、演目の時間割に沿って、演奏または/及び歌唱したり、講演したり、劇を演じたりする様子(スポーツの場合はコート、リング等競技スペースで行われる競技)を、会場内の観客が鑑賞するものであり、ライブ配信は前記ライブの映像を会場外の視聴者へリアルタイムに送信するものである。
【0052】
<実施形態1:モニタ(A):ディスプレイ>
モニタ(A)は、液晶パネル、有機ELパネルなどによるの対角50型ディスプレイ単体や、4つまたは9つなど複数台のディスプレイを組み合わせて一つの大型ディスプレイとして運用するものや、LEDを組合わせて大型ディスプレイとしたものや、プロジェクタなどでスクリーンや壁面などに投影するものなどが考えられる。ライブ会場の壁1面乃至は全壁面が全てモニタ(A)として機能するように構成してもよい。または32型から40型くらいのパネルを観客1人に対し1台割当てて客席位置に配置し、実際に観客が客席に位置しているように、ライブを行うステージ上の演者へ見せかけてもよい。これらの少なくとも1以上のモニタ(A)は後記会場端末(C)から視聴者映像を出力され、映し出すものである。
【0053】
モニタ(A)に映し出す視聴者映像はステージ上の演者に見せることが主目的であるが、会場に一部観客がいる場合には、会場外にも多数視聴している視聴者がいることを示すために会場の観客からも見えるように設置したほうがより好ましい。モニタ(A)が40型ワイド相当のサイズであれば、縦4から5人、横5から6人くらいの大きさが判別できるぎりぎりの大きさと考えられる。モニタ(A)がフルHD(横1920×縦1080)であれば、一人分の視聴者映像の解像度は横320×縦216くらいのサイズとなる。
【0054】
<実施形態1:モニタ(A):視聴者映像>
「視聴者映像」は、視聴端末(D)から送信されるライブ映像を視聴する視聴者のリアルタイム(遅延を数秒程度含む。以下本明細書中ではリアルタイムという表記は数秒程度の遅延を同様に含む意味で使用する)な映像が基本となる。視聴者映像は映像信号だけではなく、音声信号も含まれる。視聴者映像は視聴者のリアルタイムの映像だけではなく、視聴端末(D)に保持されている静止画や動画、音声のみやテキストデータなどであってもよい。
視聴端末(D)に、
ライブ映像を視聴中の視聴者の映像ではないテキストデータや画像データや音声データなどを保持する視聴者映像候補保持部と、
ライブ映像を視聴中に、視聴端末(D)に内蔵又は外付けのカメラからの視聴者の映像や、視聴端末(D)の視聴者映像候補保持部に保持された他のデータ(テキストデータや画像データや音声データなど)の中から、ライブ会場へ送信する視聴者映像を視聴者自身が選択する送信視聴者映像選択部と、
選択した視聴者映像を視聴者映像送信サーバ(F)へ送信する視聴者映像送信部と、
を有するように構成することにより達成できる。
視聴者はライブ映像を視聴しながら、作成したテキストデータや画像データや音声データを送信することができる。視聴者が自身の素顔や身なりを他者に公開することを良しとせず、他の画像(自身の似顔絵や、デフォルメされた顔、猫や犬など視聴者のペット画像や、所有する車の画像など)を身代わりにモニタ(A)へ表示したい場合に有効である。
【0055】
視聴端末(D)から視聴者映像送信サーバ(F)へ送信される視聴者映像は、インターネット回線などを通じて伝送される情報であり、インターネット回線を介して送受信されるパケットのペイロードには視聴者映像が納められ、ペイロードまたはヘッダには、視聴者映像に写る視聴者を識別する後記実施形態3に記載の視聴者識別情報が格納されるように構成することができる。後記別の実施形態4に記載の視聴者識別情報に関連付けられる権限情報が含まれていてもよい。また前記パケットのヘッダまたはペイロードには、最終的な送信先である会場端末(C)のアドレスも格納される。
【0056】
<実施形態1:モニタ(A):視聴者自身の映像以外の視聴者映像例>
視聴者の映像又は/及び音声の信号以外の他の例としては、動画は手や腕の映像を視聴者映像として送信し、ライブ開始時などに手を振ったり、合間や演奏などの終了時に拍手したりといった行為を表示して演者に対する好意や賞賛や謝意を伝えようとすることもできる。静止画の例は、花や花束の画像を送信し、ライブ開始時や終了時にモニタ(A)へ表示し行為や謝意を伝えようとすることもできる。テキストデータの例は、演者やライブの主催者に対してのコメントをテキスト形式で視聴者映像として送信してもよい。テキストの場合は、ライブ会場のモニタ(A)の所定の視聴者映像表示区画内のみに表示してもよいし、モニタ(A)全体に、他の視聴者映像に重畳して大映ししてもよい。会場端末(C)の視聴者映像選択部(G)内に視聴者テキストデータ出力選択手段を設け、モニタ(A)への出力方法を選択するように構成することができる。
【0057】
<実施形態1:モニタ(A):視聴者映像の例:音声信号>
視聴者映像は、前記のように視聴端末(D)から送信される映像信号と音声信号、または音声信号のみであってもよいため、モニタ(A)は映像を映すディスプレイ装置だけではなく音声を出力するスピーカなどを備えていてもよい。または音声信号だけをモニタするスピーカをモニタ(A)としても備えてもよい。なお音声信号は既知の技術である音声認識プログラムにてテキスト変換されてディスプレイ装置であるモニタ(A)へ表示されてもよい。会場端末(C)の視聴者映像選択部(G)内に設けた視聴者映像音声信号テキストデータ化手段にて視聴者映像に含まれる音声信号をテキスト化し、視聴者テキストデータ出力選択手段にてモニタ(A)の表示方法を選択し表示するように構成できる。
【0058】
<実施形態1 撮影装置(B)(0102)>
「撮影装置(B)」(0102)は、ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に送信するように構成されている。
【0059】
<実施形態1:撮影装置(B):配置>
撮影装置(B)は、少なくとも一台を配置する。演者が複数人からなるグループの場合、全体を撮影する撮影装置(B)と、演者一人一人をアップで撮影する撮影装置(B)など撮影のアングルを固定した、予め設定した場所から動かさない撮影装置(B)と、適宜場所を移動させ撮影アングルを変える撮影装置(B)など複数台を組み合わせて撮影するとよい。撮影装置(B)の移動は、撮影装置(B)の支持架下に取り付けた車輪によって滑らせるように移動させたり、手持ち式の撮影装置(B)を撮影者が自ら抱えて移動したり、クレーンの先に設置したり、ドローンに設置して会場内を自在に移動させて撮影したりすることもできる。
【0060】
また、会場外の視聴者や、会場内で演者のいるステージから遠い観客などが自身の望むアングルの映像を視聴端末(D)で視聴できるように、
視聴端末(D)に、
視聴者が見たいアングルで撮影している撮影装置(B)を選択するライブ映像撮影装置選択部と、
ライブ映像送信サーバ(E)から送信されたライブ映像を受信し取得するライブ映像取得部と、
ライブ映像を視聴端末(D)に接続(又は内蔵)されたディスプレイに出力するライブ映像出力部と、を有し、
さらに前記ライブ映像取得部は前記選択した撮影装置(B)が撮影したライブ映像を取得する撮影装置毎ライブ映像取得手段を、有するように構成してもよい。
【0061】
<実施形態1:撮影装置(B):カメラ、解像度>
一般民生用のビデオカメラやスマートフォンや、動画撮影可能なデジタル一眼レフカメラなどを使用して撮影してもよいし、放送用のテレビカメラや映画撮影用のカメラなど業務用の装置を使用してもよい。撮影する動画像の解像度が縦480より、縦720、縦1080と多い方が精細な画像を撮影することができる。テレビ受像機として増えてきている4K(縦2160)のほうがもっと精細度が良いが、インターネット回線で配信した際に時間当たりのデータ量が膨大となる。そのため配信に使用する回線の帯域幅と得られる画質のトレードオフにより適宜選択するとよい。又は視聴者の環境に応じて視聴者側の視聴ソフトにて視聴者が選択できるようにしてもよい。
【0062】
<実施形態1:撮影装置(B):ライブ映像>
「ライブ映像」とは、ライブが行われる会場で、演者が演奏、歌唱、公園、演劇、演舞、スポーツ競技(相撲など格闘技も含む)などを行う様を、撮影装置(B)にて撮影した映像であり、映像信号と音声信号を含むものである。ライブ映像の配信が、もし音声信号だけの配信であったとしても、本発明は有効となるものである。
【0063】
<実施形態1 会場端末(C)(0103)>
「会場端末(C)」(0103)は、ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と接続されるように構成されている(単数に限定されない)。会場端末(C)はライブ会場で撮影されたライブ映像を送信し、視聴者映像を受信してライブ会場のモニタ(A)へ出力する。詳細には次のような流れである。
【0064】
図1に示す会場端末(C)(0103)はライブ会場に設置された撮影装置(B)(0102)からのライブ映像を受信し、ライブ映像送信サーバ(E)(0105)へライブ映像を送信する。ライブ映像送信サーバ(E)(0105)は受信したライブ映像を視聴端末(D)(0104)へ送信する。視聴端末(D)(0104)はライブ映像を自身へ接続されたディスプレイへ表示し、視聴者が前記ディスプレイに表示されたライブ映像を視聴する。視聴端末(D)(0104)はライブ映像を視聴する前記視聴者の視聴者映像を視聴者映像送信サーバ(F)(0106)(ライブ映像送信サーバ(E)(0105)と同一でもよい)へ送信する。視聴者映像送信サーバ(F)(0106)は、受信した視聴者映像を会場端末(C)(0103)へ送信する。会場端末(C)(0103)は受信した視聴者映像を、ライブ会場に設置されたモニタ(A)(0101)へ出力する。会場端末(C)がモニタ(A)へ出力する一以上の視聴者映像を視聴端末(D)にて視聴者が視聴できるようにライブ映像送信サーバ(E)(0105)へ送信してもよい。
【0065】
<実施形態1:会場端末(C):会場端末(C)の構成>
また、図1では会場端末(C)(0103)は撮影装置(B)(0102)で撮影されたライブ映像と、視聴者映像送信サーバ(F)(0106)から受信した視聴者映像の両方を1台で取り扱うように構成しているが、両方の信号を取り扱う会場端末を複数台備えていてもよい。もしくは両方の映像を1台で取り扱わずに、ライブ映像をライブ映像送信サーバ(E)へ送信する専用の会場端末(C)と、視聴者映像送信サーバ(F)からの視聴者映像を受信する専用の会場端末(C)とへ分け、それぞれ少なくとも1台以上設けてもよい。
【0066】
<実施形態1:会場端末(C):モニタ(A)出力時の視聴者映像の配置>
会場端末(C)は、視聴者映像送信サーバ(F)から受信した視聴者映像を、ライブ会場に配置されたモニタ(A)へ出力する。前記説明のように、モニタ(A)へ複数の視聴者映像を出力することが考えられる。モニタ(A)に複数の視聴者映像を、例えば同じ大きさでタイル状(格子状)に配列させる場合は、それぞれを同じ縦横比、出来れば同じ解像度とする必要がある。縦横比が異なると配置する際に解像度調整を自動で行ったとしても、モニタ(A)に複数の視聴者映像を配置出力した際に、縦か横に隙間が生じるためである。縦横比を強制的に合わせる場合には、視聴者映像をトリミングするか、縦か横に延ばす変形を行うこととなる。タイル状に配置した視聴者映像中の特定の視聴者映像を拡大表示する場合には、例えば他の視聴者映像の大きさの4個分や9個分等縦横を均等にn倍した大きさとするとうまく配置できる。モニタ(A)一台の画面を例えば部屋を映した画面に見立てて、視聴者映像をその部屋にいる人物達であるかのように適宜かさなるように表示してもよい。モニタ(A)の表示に適するように視聴者映像を配置するために、会場端末(C)に、モニタ(A)での表示に適するように少なくとも一以上の視聴者映像を配置する視聴者映像配置部を、有するように構成するとよい。または会場端末(C)とは別にモニタ(A)との間に、前記視聴者映像配置部を有した映像信号処理装置を設けてもよい。視聴者映像配置部は、例えば4×4の16人分の視聴者映像を配置しモニタ(A)へ出力し、次に出力する際に3×3の9人分として出力するなど出力パターン形式を変更できる機能を有してもよい。前記視聴者映像配置部にモニタ(A)に出力した視聴者映像の配置を変更する視聴者映像配置変更手段を設けることもできる。モニタ(A)の端に表示された視聴者映像をモニタ(A)の中央に移動させるようなときに使用する。モニタ(A)へ出力中の視聴者映像を、例えば前記の例では視聴者映像を4×4出力している場合に、3×3へ変更させたり、出力する視聴者映像数を増やしたりすることもできる。
【0067】
<実施形態1:会場端末(C):視聴者映像:背景の変更>
各視聴者がライブ映像を視聴している場所は視聴者ごとにまちまちであるために、基本的にライブ視聴中の視聴者を映した映像である視聴者映像は、視聴者の周り、視聴者の背景は様々な様相が写されている。そのため、モニタ(A)へタイル状に配置して出力した場合には視聴者映像中の視聴者の背景が無秩序に色調の乱れとして見えてしまう。モニタ(A)へ出力する会場端末(C)又は視聴者映像を送信する視聴端末(D)のいずれかに視聴者映像中の視聴者自身以外の領域を消したり、ライブ主催者から指定された背景へ置き換えたりする処理を行う視聴者映像背景置換処理部を設けることができる。視聴端末(D)で置換処理する場合は視聴者が処理を行うことを選択してもよい。予めライブ主催者または本システムから提供された数種類の背景から選択し、視聴者映像をモニタ(A)へ出力する際に同じ背景の視聴者映像にそろえて出力してもよい。会場端末(C)で処理を行う場合は、モニタ(A)へ出力する視聴者映像を選択したあとで処理を行う。モニタ(A)へ出力する単位ごとに統一する背景を変更することができる。
【0068】
<実施形態1:会場端末(C):その他の装置:ビデオミキサー、ビデオスイッチャー>
ライブ会場内の撮影装置(B)が複数台設置されている場合、通常はすべての撮影装置(B)が撮影したライブ映像をすべて配信せずに、主催者またはライブの会場スタッフなどが、その時々に良いと考えるライブ映像を選択し切換えて、ライブ映像送信サーバ(E)へ送信する。そのため会場端末(C)は映像切替に便利なビデオスイッチャーや、ビデオミキサーなどの機能を有するか、それらの装置を別個に会場端末(C)とライブ映像送信サーバ(E)との間などに備えると、ライブ配信を良好に行うことができる。会場端末(C)は単一種の装置(PC等)には限定されず、撮影装置(B)やモニタ(A)やライブ映像送信サーバ(E)や視聴者映像送信サーバ(F)などとのやり取りを行うサーバ装置と制御端末(PCなど)とから構成したり、またはさらに前記ビデオスイッチャーやビデオミキサーなど他の装置をも含めて会場端末(C)として構成したりしてもよい。
【0069】
<実施形態1:会場端末(C):アングル選択(撮影装置(B)の選択)>
複数の撮影装置(B)が撮影したライブ映像を1回線で配信したり、撮影装置(B)ごとに配信用回線を割り当てておき、視聴端末(D)には視聴者が自らどの回線で視聴するか(どの撮影装置(B)のライブ映像を視聴するか)を選択したりするように構成できる。
そのために視聴端末(D)に、
ライブ会場内の異なる場所に配置され異なるアングルのライブ映像を撮影する複数の撮影装置(B)を選択するライブ映像撮影装置選択部と、
ライブ映像を取得するライブ映像取得部と、を有し、
さらにライブ映像取得部には選択したアングルのライブ映像を取得する撮影装置毎ライブ映像取得手段を有するように構成することができる。
【0070】
<実施形態1:会場端末(C):立体ライブ映像>
複数の撮影装置(B)が別々の角度から撮影した演者の画像を取得し、演者又は/およびライブ会場の少なくとも一部の立体画像を生成し、視聴者が望む任意の位置(主催者側から、ステージ上に相当する位置での視聴を禁止するなど予め範囲制限を設けてもよい)から、生成されたライブ会場での立体ライブ映像を視聴できるように構成することができる。このためには、複数の撮影装置(B)が別々の角度から撮影した演者の画像を取得し、演者又は/およびライブ会場の少なくとも一部の立体画像を生成する立体ライブ映像生成部を設ける。前記立体ライブ映像生成部は会場端末(C)、ライブ映像送信サーバ(E)に設けてもよいし、専用のサーバ装置をライブ映像送信サーバ(E)と会場端末(C)との間に設けて処理を行ってもよい。会場端末(C)では他の処理もあって立体映像生成処理の負荷が重いため、ライブ映像送信サーバ(E)かまたは専用のサーバ装置を設けることが好ましい。
【0071】
<実施形態1:会場端末(C):立体ライブ映像:構成例(専用サーバ装置設置例)>
立体ライブ映像を利用するために専用サーバ装置を設けた構成を例として以下説明する。なお立体ライブ映像生成部は、上記のようにライブ映像送信サーバ(E)や会場端末(C)に設けてもよい。
複数の撮影装置(B)が別々の角度から撮影した演者の画像を取得し、演者又は/およびライブ会場の少なくとも一部の立体画像を生成する立体ライブ映像生成部と、
生成した立体ライブ映像を保持する立体ライブ映像保持部と、
生成した立体ライブ映像をライブ映像送信サーバ(E)へライブ映像として送信する立体ライブ映像送信部と、
を専用サーバ装置に有し、
視聴者が立体ライブ映像を視聴することを選択したことを取得するライブ映像撮影装置選択部と(視聴端末(D)の視聴画面(専用アプリ、又はウェブブラウザ)上に表示した立体ライブ映像選択ボタン(3Dなどの表示)を押すなどして選択する)、
生成された立体ライブ映像をライブ映像として取得するライブ映像取得部と、
取得した立体ライブ映像をライブ映像として出力するライブ映像出力部と、
視聴者がライブ会場内のどの位置からどの角度で視聴したいかを示した位置情報である立体ライブ映像視聴位置情報を取得する立体ライブ映像視聴位置取得部と、
取得した立体ライブ映像視聴位置情報を前記専用サーバ装置の立体ライブ映像生成部へ出力する立体ライブ映像視聴位置情報出力部と、
を視聴端末(D)に有し、
さらに前記専用サーバ装置の立体ライブ映像生成部は受信した立体ライブ位置情報に基づいてた立体ライブ映像を生成し出力するように構成することで、視聴者が望むライブ会場の位置から望む角度で生成された立体ライブ映像が視聴端末(D)に接続(又は内蔵)されたディスプレイへ出力され、視聴者は自身が望む立体ライブ映像を視聴端末(D)にて視聴することができる。生成された立体ライブ映像を視聴する際に、より臨場感を得るためにVRゴーグルやARメガネなどを使用して視聴してもよい。視聴者を立体ライブ映像内のライブ会場へ反映する場合(そのような権限情報を得ていた場合:実施形態4の例)、事前に用意した画像や、視聴中の視聴者をモーションキャプチャしたアバター画像を視聴者映像として送信してもよい。
【0072】
<実施形態1:会場端末(C):ライブ映像:実際の映像ではない映像>
ライブ会場で演奏、歌唱、公園、演劇、演舞、スポーツ競技(相撲など格闘技も含む)などを行う演者は、非実在の演者(ヴァーチャルアイドルなどCGで描かれたキャラクタ)であってもよいし、実在の演者と非実在の演者が混在して協働するように表示されてもよい。非実在の演者の代わりに実在の演者の動きをトレースしたCGキャラクタを表示し、音声をそのまま又はヴォイスチェンジャーなどで音声を変換して(例:男声を女声へ、または音程を高めたり低めたりするなど)ライブ映像送信サーバ(E)へ送信してもよい。それらの場合、非実在または実在の演者をトレースしたCGキャラクタの映像(音声も含む)はライブ会場には表示せずに、撮影装置(B)がライブ会場を撮影したライブ映像と、会場端末(C)上で合成したうえで、ライブ映像送信サーバ(E)へ送信することができる。またはライブ会場のステージ上のスクリーンへ投影した映像と、会場のスピーカから出力した非実在の演者や前記CGキャラクタの音声を撮影装置(B)とマイクで撮影し送信してもよい。上記の非実在の演者または実在の演者をトレースしたCGキャラクタの映像は既知の技術で実現でき、実在の演者やライブ会場との合成も既知の技術で行うことができる。
【0073】
<実施形態1:会場端末(C):非公開の視聴者映像(テキストデータ)>
会場端末(C)を複数用意し、少なくとも一台の会場端末(C)はモニタ(A)へ視聴者映像を出力しないように構成してもよい。(他の会場端末(C)は視聴者映像をモニタ(A)へ出力するように構成される)。図2には会場端末(C)が2台設置され(2台には限定されない)、1台(0203a)はモニタ(A)(0201)へ接続され、もう一台の会場端末(C)(0203b)はモニタ(A)へは接続されていない様子が示されている。視聴者が演者へ直接テキストメッセージを送付したい時に、会場内で多数の人に目撃されるモニタ(A)とは接続されていない会場端末(C)(0203b)を選択してテキストを送信する。視聴端末(D)に、宛先の会場端末(C)を直接指定する視聴者映像送信先選択部を有するように構成することで達成できる。
または視聴端末(D)に、
送信する視聴者映像(視聴者映像の種別を含む)を選択する送信視聴者映像選択部と、
選択した視聴者映像を視聴者映像送信サーバ(F)へ送信する視聴者映像送信部と、
を有し、
さらに視聴者映像送信部に、
視聴者映像として、演者へ直接伝えたいテキストメッセージを選択(図示せず)した場合に、モニタ(A)へ接続していない会場端末(C)(0203b)を宛先として自動選択する非公開視聴者映像送信先選択手段を有するように構成することもできる。
【0074】
<実施形態1:会場端末(C):非公開の視聴者映像(テキストデータ)の流れ>
視聴者が視聴端末(D)から演者へ直接伝えたいテキストメッセージを視聴者映像として送信した後は、以下のような流れとなる。視聴者映像を受信した視聴者映像送信サーバ(F)(0206)は視聴者映像に含まれる宛先によって、宛先の会場端末(C)を振り分ける(視聴者映像に含まれる宛先から、会場端末(C)を選別する視聴者映像宛先選別部を視聴者映像送信サーバ(F)が有してもよい)。非公開で演者へ直接伝えたいテキストメッセージは会場端末(C)(0203b)へ送信される。演者へ直接伝えたいテキストメッセージである視聴者映像を受信した会場端末(C)(0203b)は、例えば演者のみが見られるライブ内容の監視モニタへ内々に出力する。別例としては演者一人一人が無線受信機のイヤホンを装着している場合には、会場端末(C)の操作者などが対象演者に対してのみイヤホンを使用して口頭でテキストメッセージを代読するなどして伝える。他者に公開可であれば、演者の入れ替わりや途中休憩などのタイミングや専用に設けられた時間枠で、司会や主催者などが読み上げてもよい。
【0075】
<実施形態1 視聴端末(D)(0104)>
「視聴端末(D)」(0104)は、ネットワークを介して前記会場端末(C)からのライブ映像を、ライブ映像送信サーバ(E)から受信して視聴するように構成されている。
【0076】
<実施形態1:視聴端末(D):態様>
視聴者が視聴に使用する視聴端末(D)としては、スマートフォンやタブレット端末、またはPC(できればカメラ付きの)が使われることが多いと考えられる。またはスマートTVを使用して視聴することもできる。または、スマートフォンやタブレット端末の映像をTVやモニタに映しだすミラーリングや、信号変換用の装置を介してTV画面等へ映してもよい。いずれの視聴端末(D)もライブ映像を映し出すディスプレイなどの表示部とライブ映像に含まれる音声を出力するためのスピーカまたはイヤホン端子、スピーカやイヤホンなどを接続するためのブルートゥース(登録商標)通信装置(図示せず)などを有する。
【0077】
視聴端末(D)は、ライブ映像の配信を受け、後記するように視聴者映像送信サーバ(F)へ送信するため通信装置を有する(図示せず)。通信は4Gや5G等の携帯電話用無線通信回線や、WiFi(登録商標)などや、視聴端末(D)の仕様によっては有線接続によるLANやWANによるインターネット回線接続によって行う。さらに視聴端末(D)は、後記するようにライブ映像を視聴して反応する視聴者の様子を撮影した映像や音声である視聴者映像を取得するためのカメラやマイクを有する。カメラやマイクは視聴端末(D)に内蔵されずに外付けでも構わない。内蔵された一体型の方が、取り扱いが容易なため好ましい。
【0078】
<実施形態1:視聴端末(D):ライブ会場での使用>
会場外にいる(遠隔地の自宅など)視聴者ばかりではなく、会場内にいる観客も視聴端末(D)をもって、視聴してもよい。小規模な会場ではなく数万人を収容可能な大きな会場であれば、ステージから離れた席の観客は演者の顔を目視でははっきりと見ることができない。美術効果や演出のためにステージ後ろに設置された大型モニタに、演者の姿が大映しにされることもあるが、観客がファンである演者が大型モニタへ映るかはわからない。会場にいる観客が見たい演者のライブ映像を視聴することに、視聴端末(D)を使用してもよい。
【0079】
<実施形態1:視聴端末(D):ライブ映像の視聴例>
図18から図21は視聴端末(D)を使用して視聴者がライブ映像を視聴する際の画面の一例である。本件発明は以下の例には限定されない。タブレット端末やスマートフォンなどの態様である視聴端末(D)上で動作する専用アプリを使用する場合を以下例として説明するが、ブラウザを用いてインターネットを介して本システムが提供するウェブサイトへアクセスし、サイト上でチケット購入や決済を行い、さらにはライブ映像を視聴してもよい。図18は、本システムのトップ画面である。「公演日程」、「ログイン」、「新規登録」、「会員情報」の4つのボタンが配置されている。最初にこのシステムを利用する際には「新規登録」を行う。
【0080】
<実施形態1:視聴端末(D):アプリの使用:新規登録>
新規登録画面自体は図示しないが、一般的な会員制サイトの会員登録と同様、氏名、年齢、連絡先(住所、電話番号、メールアドレス)、希望パスワードを登録する。その他、ファンであるアーティスト名を入力したり、ファンクラブの会員であればその会員情報を登録したりする。これらは視聴者の属性情報の例である。登録開始時に携帯電話のSMSやメールアドレスへ確認メールを送り、そのメールから登録ページへ誘導するように構成してもよい。すべて登録すると会員番号が発行される。会員番号は、後記実施形態3で説明する視聴者識別情報の一例である。会員情報を保持するサーバ装置を別途設けておき、視聴者識別情報を保持する視聴者識別情報保持部を前記サーバ装置に設けることができる。サーバ装置の視聴者識別情報保持部が保持する視聴者識別情報を、少なくとも視聴者が視聴予定のライブの会場端末(C)の後記する視聴者識別情報保持部(H)にて会員番号を視聴者識別情報として保持する。また視聴者の属性情報を保持する視聴者属性情報保持手段を視聴者識別情報保持部(H)内に有するように構成することができる。登録時に使用した情報機器または前記確認メールを受信した機器を、ライブ映像を視聴するための視聴端末(D)として登録することが好ましい。その際は登録時の通信のクッキーや情報機器のMACアドレスなど機器特定用の情報を自動的に本システムへ取得し、会員番号(視聴者の属性情報も含む)と関連付けて保持するようにするとよい。後記実施形態での視聴者識別情報保持部(H)に、視聴端末(D)を識別する情報である視聴端末識別情報保持手段を設けることができる。会員番号を取得し会員となったら、次に視聴チケットの選択と購入を行う。
【0081】
<実施形態1:視聴端末(D):アプリの使用:チケット購入>
「公演日程」ボタンを押すと、図19のような公演日程の一覧画面へ移る。図19では、7月11日から17日までの1週間の公演日程が示されている。図19では1日あたり1つの公演のみ行われる場合が示されているが、複数の公演が表示されていてもよい。その場合には1週間の公演予定は複数ページにわたって記載される。図19では7月12日の日比谷歌謡祭のAチケットを購入のため選択している(該当箇所の表示が変わり、文字色も白に替わっている)。日比谷歌謡祭のチケットは2種類ある。値段のみ表記されているが、Bチケットが一般視聴チケットであり、Aチケットは視聴途中で自身がファンであるアーティストと視聴端末(D)越しに短時間交流できる権利を有したチケットである。このような視聴者による視聴方法の違いは後記実施形態4で説明する権限情報の1例である。図19の例では7月12日(火)開催の日比谷歌謡祭のAチケットを購入した視聴者の視聴者識別情報と、Aチケット(アーティストと短時間交流できる権利)が示す権限情報が関連付けられて本システムの視聴者識別情報保持部(H)内にある権限情報保持手段(J)に保持される。
【0082】
<実施形態1:視聴端末(D):アプリの視聴:ライブ映像視聴>
図20は、実際の演奏の視聴画面である。右下にライブ会場の様子と撮影装置(B)であるカメラの配置を示す小画面がポップアップ表示されている(視聴端末(D)のライブ映像撮影装置選択部の例)。小画面上の方にステージ区画があり、下が観客席である。ステージ正面のカメラ1が黒表示されているが、視聴端末(D)の主画面に表示されているのがカメラ1の映像であることを示す(視聴端末(D)のライブ映像取得部が有する撮影装置毎ライブ映像取得手段によってカメラ1のライブ映像が取得されてライブ映像出力部がライブ映像を出力した例)。主画面左上にカメラ1の映像であることを示すように「1」が表示されている。その他のカメラ2~8は小画面に示すような位置に配置されており、カメラ2はステージ左から、カメラ3はステージ右から、カメラ4から8はアーティスト5名の一人一人に一台ずつそばに配置されている。これらのライブ映像は、ライブ会場に配置された撮影装置(B)であるカメラ1からカメラ8が撮影したライブ映像を、会場端末(C)へ送信し、会場端末(C)がライブ映像送信サーバ(E)へ送信し、ライブ映像送信サーバ(E)から視聴者の視聴端末(D)へ送信されて、表示されている。
【0083】
視聴端末(D)のカメラ1のライブ映像を表示している主画面下には、カメラ2から8のサブウィンドウが配置されている。一つの回線で全カメラのライブ映像を送信している場合に回線帯域が狭ければ、主画面の表示を優先し、下のサブウィンドウは無表示または間引き表示でもよい。カメラ1以外の画面を見たくなったら、適宜視聴者の好きなアングルのカメラを右下の小画面内から選択し、主画面に表示させることができる(ライブ映像撮影装置選択部)。カメラ1からカメラ8までの映像は、会場端末(C)に集められたのちに一つの回線で送信されてもよいし、別々の回線でライブ映像送信サーバ(E)へ送信されてもよい。視聴端末(D)から視聴したいカメラの番号を選択する(ライブ映像撮影装置選択部)。1回線で送信されている場合には、視聴端末(D)のライブ映像取得部がライブ映像を受信し、ライブ映像取得部が有する撮影装置毎ライブ映像取得手段によって選択された撮影装置(B)のライブ映像が視聴装置(D)の主画面に表示される。カメラ毎に別々の回線で送信されている場合、選択されたカメラに対応する回線を撮影装置毎ライブ映像取得手段が選択し、視聴端末(D)のライブ映像取得部が取得したライブ映像が視聴端末(D)の主画面へ表示される。
【0084】
視聴端末(D)のライブ映像撮影装置選択部にて、撮影装置(B)としてドローン搭載カメラを選択できる場合、ドローンに移動と姿勢(向き)を指示する移動式撮影装置指示入力部を視聴端末(D)に設け、会場端末(C)に前記ドローンへの指示を取得する移動式撮影装置指示取得部と、前記指示をドローンへ出力する移動式撮影装置指示出力部と、を有するように構成してもよい。ドローンを選択する場合、会場内の移動できるエリアを限定するように構成しておくことが望ましい。
【0085】
前記会場端末(C)の説明時に立体ライブ映像について説明した。三次元モデルとして再現構成した立体ライブ映像内で、ライブを視聴することもできる。その場合は前記説明のようにライブ会場内の任意の場所に移動することができ、ステージ直近で視聴したり、ステージ袖からひいきの演者を視聴したりするといったことができる。視聴端末(D)の立体ライブ映像視聴位置取得部は、図20の右下小画面が例である。
【0086】
<実施形態1:視聴端末(D):アプリの使用:ライブ中のアーティストとの交流例>
図21は、Aチケットを購入した視聴者が、ファンであるアーティストと視聴端末(D)越しに短時間ながら交流をしている様子である。後記実施形態4で説明予定の権限情報保持手段(J)に視聴者識別情報に関連付けて保持されている権限情報は、視聴者がファンであるアーティストとライブ中に短時間直接交流することができる権限を有することを示している。例えば、ライブ中の所定タイミングで、視聴端末(D)のディスプレイに直接交流開始が予告され(図示せず)、了承すると(図示せず)、図21の図のように主画面にアーティストがアップとなって表示され、右下の視聴者映像のモニタ画面に視聴者が表示される。送信視聴者映像選択部により、視聴者映像候補保持部に保持した視聴者映像の候補となるデータ(画像、動画、テキストなど)から選択してライブ会場へ送信できるように構成してもよい。視聴者映像は視聴端末(D)から視聴者映像送信サーバ(F)へ送信され、受信した視聴者映像送信サーバ(F)は会場端末(C)へ送信する。受信した会場端末(C)は視聴者映像の送信元の視聴者の視聴者識別情報から、視聴者識別情報と関連付けられたAチケットの権限情報を取得し、受信した視聴者映像を、交流相手の視聴者Aの映像として、ライブ会場のアーティスト正面のモニタ(A)に大写しにする。といったように視聴者が視聴端末(D)を使用し配信されるライブ映像を楽しむのである。
【0087】
<実施形態1:視聴端末(D):アプリの使用:ライブ中の視聴者間交流例>
ライブ会場のモニタ(A)へ出力される視聴者映像を、ライブ映像送信サーバ(E)を介して送信を受けて視聴端末(D)で視聴することができるようにも構成できる。モニタ(A)へ出力されたものと同じ視聴者映像を介して、他の視聴者と交流を持つことも考えられる。そのための構成の例を以下に示す。
会場端末(C)は、
ライブ会場のモニタ(A)へ出力する視聴者映像を並行してライブ映像送信サーバ(E)へも送信するライブ会場視聴者映像送信部を有し、
視聴端末(D)は、
ライブ会場のモニタ(A)へ出力されるものと同じ視聴者映像であるライブ会場視聴者映像を取得するライブ会場視聴者映像取得部と、
取得したライブ会場視聴者映像を視聴端末(D)のディスプレイ上の別ウィンドウなどに出力するライブ会場視聴者映像出力部と、
を有することによって、視聴者はライブ会場でモニタ(A)に表示されている視聴者映像を視聴するように構成できる。
さらに視聴端末(D)に、
表示した視聴者映像を視聴端末(D)上でタッチしたり、カーソルを移動させたりして視聴者映像を選択するライブ会場視聴者映像選択部と、
前記選択した視聴者映像に関連付けられた視聴者識別情報を取得するライブ会場視聴者識別情報取得部と、
取得した視聴者識別情報で識別される視聴者へメッセージを送信したり、チャットや直接対話の申請をしたりする交流申請部と、
を設けることによって、同じライブを視聴する他の視聴者と交流することができるように構成することができる。
【0088】
申請が相手方に受理された場合には、両者が交流関係にあることを示す情報である視聴者交流情報を保持する視聴者識別情報保持部(H)の視聴者交流情報保持手段を有するように構成することができる。交流関係を結ぶと直接視聴端末を介して、テキストでのチャットや、ビデオ通信などでライブ映像を視聴しながら交歓することができ、より楽しくライブを視聴できる。一度ライブ視聴時に交歓した相手を視聴端末又はライブ配信アプリなどに登録しておき(前記視聴者交流情報保持手段)、次回別のライブ配信(演者が同じでも別でも構わない)の時に相手方が視聴しているか検索できるように構成するとよい。相手方も視聴していれば、モニタ(A)へ視聴者映像が出力されていなくても、メッセージ送付やチャットや直接対話の申請が行えたり、直接チャットを開始したりできるように構成することもできる。ライブ視聴の時に知り合った視聴者だけではなく、元々の友人や知り合いを登録しておき(視聴端末(D)中の連絡帳などのデータを参照できるようにしてもよい)、メッセージやチャットや直接対話の申請を行えるようにしてもよい。
【0089】
<実施形態1:視聴端末(D):アプリの使用:視聴端末(D)でのモニタ(A)視聴>
視聴端末(D)で、ライブ会場のモニタ(A)へ出力されるものと同じ視聴者映像を視聴する場合、もしモニタ(A)に視聴者自身の視聴者映像が映っていたら、自身の視聴者映像が気付きやすくなるように視聴端末(D)上で表示されることが好ましい。例えば自身の視聴者映像が表示される領域を太枠で囲って示すとか、前記領域の角部を少し塗りつぶして「自」表示するなどである。また、ライブ会場のモニタ(A)へ出力されるものと同じ視聴者映像を視聴端末(D)に表示していない時であっても、視聴時点でモニタ(A)に出力されているかどうか、ライブ映像を表示している視聴端末(D)に接続されたディスプレイの端や角部などに●印や文字で表示されるように構成することもできる。ディスプレイの下辺などに、ライブ開始時から、自身の視聴者映像がライブ会場のモニタ(A)に出力されたどうかを色分け表示する太線が表示されてもよい。1例としては、ディスプレイ左端がライブ開始時点、右端がライブ終了予定時点とし、その間を結ぶ太線のうち、現時点には太線より径の大きな円が配置され、現時点である円と過去である円の左側を含め自身の視聴者映像がモニタ(A)へ出力された期間は赤線、出力されなかった期間は白線とし、円より右側の未来では自身が出力されない期間は暗い灰色、自身の視聴者映像の出力が予定されている期間は暗い赤色の線で表示するなどの方法がある。
【0090】
<実施形態1:視聴端末(D):ライブ中の課金>
ライブ視聴中に、演者やライブ主催者に対し、課金できるように構成することもできる。前記課金は、
視聴端末(D)に、
課金を支払うための電子マネーやクレジットカードなどの支払方法の情報を入力する課金支払方法情報取得部と、
支払を希望する課金額の支払いに関する情報である課金額情報を取得する課金額情報取得部と、
課金支払方法情報と関連付けた課金額の情報である課金額情報とを送信する課金額情報送信部と、を設け、
会場端末(C)に課金額情報を受信する課金額情報受信部を設けることによって達成できる。課金支払方法は都度入力でもよいし、事前に登録した又は一度入力した支払方法に関する情報を本システムに保持する課金支払方法情報保持部をさらに視聴端末(D)、視聴者映像送信サーバ(F)、会場端末(C)または本システム運営者が管理(又は管理委託)する別サーバ上のいずれかに設けてもよい。もしくは、課金支払方法情報取得部が本システムにあらかじめ預け入れる電子マネーやクレジットカードやプリペイドカード等の支払い方法の情報を取得し、課金額情報取得部があらかじめ預け入れる金額の入力を受付け、さらに課金額情報を保持する課金額情報保持部を会場端末(C)または本システム運営者が管理(又は管理委託)する別サーバ上のいずれかに設けてもよい。
【0091】
このような構成をすることによって課金を、いわゆる投げ銭として、例えばファンである芸人の芸に感動した場合や、ライブを開催してくれた主催者への支援などの趣旨で行うことができる。視聴画面の端などに、課金ボタンを配置し、ボタンを押すと予め本システムに登録しておいた(課金するごとに支払方法情報を入力してもよい)電子マネー(または支払方法として紐づけた電子マネーやクレジットカード等ネット決済可能な方法)から支払われる。演者と主催者用を分けてボタンを配置してもよい。ボタンを押すたびごとに固定額が課金されるようにしてもよいし、ボタンを押すと金額選択または金額を直接入力できるように構成してもよい。ライブ中の課金額(投げ銭額)がライブ会場に表示されると、演者や主催者のモチベーションも上がる効果が期待できる。課金するとライブ会場に課金者名(本名またはニックネーム等システムに登録した名)が所定時間表示されたり、上位高額課金者名を順位とともに表示したりするように構成することもできる。
【0092】
<実施形態1 ライブ映像送信サーバ(E)(0105)>
「ライブ映像送信サーバ(E)」(0105)は、ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)に送信するように構成されている。ライブ映像の他に、会場端末(C)からライブ会場に配置されたモニタ(A)へ視聴者映像を出力すると並行に視聴者映像をライブ送信サーバ(E)へ送信することもできる。前記会場端末(C)から送信された視聴者映像(ライブ会場のモニタ(A)へ出力された視聴者映像と同じ視聴者映像)を受信し、視聴端末(D)へ送信する。ライブ映像送信サーバ(E)はライブ会場に設置されてもよいし、ライブ会場以外のサーバ管理会社または、ライブ映像配信を業とする業者が管理する場所に設置されていてもよい。後記する視聴者映像を会場端末(C)へ送信する視聴者映像送信サーバ(F)と同一であってもよい。
【0093】
<実施形態1:ライブ映像送信サーバ(E):他装置、配信用回線>
会場端末(C)にビデオスイッチャーや、ビデオミキサーなどの機能を備えさせるか、それらの装置を別個に備えるとよいと前述したが、ビデオスイッチャーやビデオミキサーなどの機能をライブ映像送信サーバ(E)にも備えさせてもよい。別個の装置として備える場合では、会場端末(C)とライブ映像送信サーバ(E)との間に設置するとよい。ビデオスイッチャーやビデオミキサーという名称だが、映像信号だけの取り扱いではなく同時に音声信号も取り扱って、切換え等を行うことができる。
【0094】
ライブ映像の配信は、視聴者が視聴端末(D)にて視聴する際に、実際のライブの進行とできる限り時間的なずれが小さくなるように、かつ配信して視聴中のライブ映像が止まったり、画面が乱れたり、コマ落ちのように動きがカクカクしたりしないように十分な帯域幅を持つように、低遅延な帯域幅の広い回線を使用するとよい。
【0095】
<実施形態1 視聴者映像送信サーバ(F)(0106)>
「視聴者映像送信サーバ(F)」(0106)は、前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)に送信するように構成されている。なお、視聴者映像送信サーバ(F)(0106)がライブ映像送信サーバ(E)と同一であることを妨げるものではない。視聴者映像送信サーバ(F)もライブ映像送信サーバ(E)と同様にライブ会場に設置されていてもよいし、ライブ会場以外のサーバ管理会社または、ライブ映像配信を業とする業者が管理する場所に設置されていてもよい。
【0096】
<実施形態1:視聴者映像送信サーバ(F):サーバ能力>
ライブ会場外で視聴する視聴者の視聴者映像を視聴端末(D)から、視聴者映像送信サーバ(F)へ送信する。視聴者はライブ会場外に多数存在するため、ライブ映像の配信中には前記サーバへ同時に多数のアクセスが生じる。ライブ映像配信を視聴する権利である視聴チケットを販売する際に、前記サーバのアクセス可能能力に合わせた販売数とするか、または、チケット販売数推移に合わせて前記サーバ能力を増強(台数を増やす等)など行い不足が生じないようにするとよい。
【0097】
<実施形態1:視聴者映像送信サーバ(F):ライブ会場に対する視聴者映像の遅延>
視聴端末(D)は、視聴者が受信したライブ映像を見て起こした反応である視聴者映像(音声も含む)を送信する。送信された視聴者映像は、会場での演者の演技や音声とは若干ずれた(遅延した)状態でライブ会場のモニタ(A)へ出力される。この遅延時間は、撮影装置(B)、会場端末(C)、ライブ映像送信サーバ(E)、視聴端末(D)、視聴者映像送信サーバ(F)、会場端末(C)、モニタ(A)など経路上でライブ映像と視聴者映像の送受信や処理に係る装置内での処理時間と、視聴者が受信したライブ映像を視聴して反応した時のタイムラグによる。視聴者映像とライブ会場での実際のライブとの間の遅延が大きいと興ざめする。例えば演者が会場にいる観客の笑いを誘うような発言や行動をしたときに会場内に観客の笑いが起きるが、その会場内の笑いが収まった後、いざ次の楽曲の演奏が始まるような静まった雰囲気の会場内に、モニタ(A)に映し出された視聴者映像から会場外の視聴者の笑い声が響き渡るといったことが起こりうる。無観客の場合でも、ライブ会場の演者が大きくずれた視聴者の反応を受ければ、演者のモチベーションが下がる懸念もある。有観客の会場内でも、笑い声は起こり始めからピークになるまで数秒かかって、その後消えていくものであり、数秒の間に視聴者映像の笑い声が重なるのであれば、許容できる範囲といえる。そのためライブ映像の視聴端末(D)への送信と、視聴端末(D)からの視聴者映像の受信のそれぞれ、いわば往復の経路での遅延は、人が許容できるだろう範囲(3秒未満、2秒以下が望ましい)であることが望ましい。
【0098】
<実施形態1:視聴者映像送信サーバ(F):視聴者映像の整形>
視聴者映像送信サーバ(F)は受信した視聴者映像を会場端末(C)へ送信する。視聴者映像は、視聴端末(D)の仕様によって、解像度(動画像の縦横サイズ)が多種多様であり、そのままではモニタ(A)での表示に適さない。ライブ会場のモニタ(A)へ会場端末(C)から出力する前に様式を統一しておく必要がある。会場端末(C)の処理負荷低減のためには視聴者映像送信サーバ(F)にて視聴者映像の様式統一処理を行う方がよい(能力増強して会場端末(C)が処理してもよい)。視聴者映像の様式統一のためには、視聴者映像送信サーバ(F)は、視聴端末(D)から送信された視聴者映像の様式を、ライブ会場のモニタ(A)へ出力するに適した様式へ変換する視聴者映像様式変換部を有するように構成することができる。
【0099】
<実施形態1 双方向ライブ配信システム(0100)>
「双方向ライブ配信システム」(0100)は、ライブ会場に配置されたモニタ(A)(0101)、撮影装置(B)(0102)、会場端末(C)(0103)、視聴者が視聴に用いる視聴端末(D)(0104)と、ライブ会場のライブ映像を視聴端末(D)(0104)へ送信するライブ映像送信サーバ(E)(0105)、視聴端末(D)からの視聴者映像を会場端末(C)(0103)へ送信する視聴者映像サーバ(F)(0106)とから構成されている。
【0100】
図17に双方向ライブ配信システム全体構成概略図を示す。インターネットを介してライブ会場の会場端末(C)(1703A、B)と、ライブ映像送信サーバ(E)(1705)と、ユーザA~Cがライブ映像を視聴する際に利用する視聴端末(D)(1704A~C)、視聴端末(D)から視聴者映像を送信する先である視聴者映像送信サーバ(F)(1706)と、が有線又は無線にて接続されている。ライブ会場において会場端末(C)(1703A)には撮影装置(B)(1702A)、モニタ(A)(1701A)が接続されている。会場端末(C)は1台の装置から構成される態様だけではなく複数台の装置から構成される態様でもよい。例えば会場端末(C)(1703B)は制御端末とサーバ装置などからなり、モニタ(A)(1701B)と撮影装置(B)(1702B)が会場端末(C)(1703B)を構成するサーバ装置に接続されている。また、1つのライブ会場又はライブイベントにおいて、会場端末(C)1台、モニタ(A)が1台、撮影装置(B)が1台などのように、各々1台には限定されない。図17に示す会場端末(C)(1703A)とモニタ(A)(1701A)と撮影装置(B)(1702A)、及び会場端末(C)(1703B)とモニタ(A)(1701B)と撮影装置(B)(1702B)が全て一つのライブ会場に設置され、協働して一つのライブを双方向に配信するように構成してもよい。
【0101】
また会場端末(C)には、映像信号や音声信号を切り替えたり重畳させたりテロップを付与したりするためにビデオスイッチャーやミキサーなどが追加接続されて会場端末(C)を構成してもよい。さらには、ライブ映像をライブ映像送信サーバ(E)へ送信する会場端末(C)と、視聴者映像送信サーバ(F)からの視聴者映像を受信する会場端末(C)を分けて専用に少なくとも1台以上設けてもよい。会場端末(C)、視聴端末(D)、ライブ映像送信サーバ(E)、視聴者映像送信サーバ(F)も図17に示した数に限定されない。
【0102】
<実施形態1 処理の流れ>
図3は、実施形態1の計算機である双方向ライブ配信システムの動作処理のフローチャートである。この図で示すように実施形態1の双方向ライブ配信システムでは、会場端末準備ステップ(c)(S0301)と、撮影ステップ(b)(S0302)と、ライブ映像送信ステップ(e)(S0303)と、視聴者映像送信ステップ(f)(S0304)と、モニタステップ(a)(S0305)と、を有する。
【0103】
ここで計算機である双方向ライブ配信システムの動作方法は、
会場端末準備ステップ(c)(S0301)は、ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と会場端末(C)を接続する処理を行い、
撮影ステップ(b)(S0302)は、ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に撮影装置(B)が送信する処理を行い、
ライブ映像送信ステップ(e)(S0303)は、ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信する処理を行い、
視聴者映像送信ステップ(f)(S0304)は、前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)へ視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)から送信する処理を行い、
モニタステップ(a)(S0305)は、ライブ会場に配置され後記会場端末(C)からの視聴者映像をモニタ(A)へ出力するための処理を行う。
このような一連の処理を計算機である双方向ライブ配信システムに実行させる動作方法である。
【0104】
<実施形態1 ハードウェアの説明>
図4は、実施形態1の計算機である双方向ライブ配信システムの会場端末(C)のメインボードやその周辺機器によって構成されるハードウェアを説明するための図である。なお、ライブ映像送信サーバ(E)、視聴者映像送信サーバ(F)、視聴端末(D)なども同様にPCと類似の構成である。視聴端末(D)のハードウェアはスマートフォンやタブレット端末と同じく、CPUとチップセットが1チップに統合された構成であってもよい。「CPU」、ノースブリッジとサウスブリッジからなる「チップセット」、「不揮発性メモリ」、「メインメモリ」、「I/Oコントローラ」、「USB、IEEE1394、LAN端子、etc」、「BIOS」、「PCIスロット」、「リアルタイムクロック」などから構成される。
【0105】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0106】
すなわち、不揮発性メモリにはOS(オペレーティングシステム)とデバイスドライバのほかに、会場端末準備プログラム(c)と、撮影プログラム(b)と、ライブ映像送信プログラム(e)と、視聴者映像送信プログラム(f)と、モニタプログラム(a)とを有し、データとして、視聴者映像と、ライブ映像と、が保持されている。これらは、本システムがコンピュータ上で起動されることにより、メインメモリに展開されて、起動命令を受け付けることによって、CPUが順次プログラムとデータを利用した演算を行って行く。
【0107】
本実施形態により、ライブ会場にはいない視聴者へ、ライブの映像や音声といったライブ映像を配信できると共に、ライブ映像に対しリアルタイムで反応する視聴者の映像や音声といった視聴者映像をライブ会場のモニタへ出力し、ライブ会場で演奏する演者へ視聴者の反応を届けることができる。
【0108】
<実施形態2 概要>主に請求項2
実施形態2は、実施形態1の双方向ライブ配信システムを基礎とし、受信した複数の視聴者映像のうち、ライブ会場のモニタへ出力する視聴者映像を選択する視聴者映像選択部(G)をさらに有することが特徴である。
【0109】
<実施形態2 機能的構成>
図5は、実施形態1を基礎とする本実施形態2の双方向ライブ配信システム(0500)の構成の一例を示す図である。同図に示すように、実施形態2の双方向ライブ配信システム(0500)は、実施形態1に対しさらに、視聴者映像選択部(G)(0507)を有するように構成されている。
【0110】
<実施形態2 構成の説明>
<実施形態2 視聴者映像選択部(G)(0507)>
「視聴者映像選択部(G)」(0507)は、視聴者映像送信サーバ(F)からの、視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択するように、会場端末(C)(0503)内に構成されている。
【0111】
「視聴者映像」は、前記のように視聴端末(D)から送信されるライブ映像を視聴する視聴者のリアルタイムな映像が基本となる。視聴者映像は、映像信号だけではなく音声信号を含む。視聴者映像選択部(G)で選択する際には、モニタ(A)への出力形態として、映像信号+音声信号、映像信号のみ、音声信号のみ、出力しないの4種の選択肢から選ぶことができる。すべてを映像のみや映像+音声信号などとしたり、音声信号は視聴者から送信された音声信号で視聴者映像全てをライブ会場へ出力したりするが、映像信号は視聴者映像選択部(G)で選択するといった運用をすることができる。視聴者映像として、ライブ映像を視聴中の視聴者自身の映像ではなく、視聴端末(D)に保持した動画や画像や音声データやテキストデータが送られ、会場端末が受信する場合も考えられる。動画や画像は他の視聴者映像と共に視聴者映像選択部(G)選択しモニタ(A)へ出力することができる。一部の視聴者が音声データを送信してきた場合には、音声データのみの視聴者映像はライブ会場のスピーカに出力し、モニタ(A)のディスプレイに空きが出ないように追加で映像出力を含む視聴者映像を選択する。テキストデータの場合は画像としてモニタ(A)へ出力するといった運用を行う。本実施形態2の以下の説明では、映像信号+音声信号、又は映像信号のみの選択を例として説明する。
【0112】
<実施形態2:視聴者映像選択部(G):モニタ(A)への出力例>
視聴端末(D)を用いてライブ会場外からライブ映像を視聴する視聴者の数が多い場合、すべての視聴者映像をモニタ(A)に出力しようとすると、ステージ上の演者からは、一人一人の顔の表情などは判別が難しくなってしまうような小さな映像表示となってしまう可能性がある。解像度:横1920×縦1080のモニタ(A)に、横40×縦30の解像度で視聴者映像を出力すると1728人分表示できるが、目鼻立ちがつぶれてしまい、上述のように個々人の顔を判別できず表情もよくわからなくなってしまう。又は表示しきれないような人数の視聴者映像を受信した場合には、受信した視聴者映像の中から選択した一部をモニタ(A)に出力する必要がある。実施形態1のモニタ(A)の説明で述べたように、ステージ上の演者から見えるようなサイズでの表示では、1つのディスプレイに30人くらいの表示がギリギリであろう。人気のある演者であれば、3、4個のディスプレイでは映しきれない視聴者数となると考えられる。
【0113】
<実施形態2:視聴者映像選択部(G):視聴者映像の選択:手動又は自動>
視聴者映像を選択しなければならない場合には、操作者が手動で視聴者映像を選択し、ライブ会場内のモニタ(A)に出力されている視聴者映像と入れ替えることができる。手動で行う場合、操作者がつききりで選択と入れ替え作業を行わなければならず手間がかかることと、視聴者が多い場合には視聴者の選択間違い(同じ視聴者映像を何度も選択してしまうことや、選択すべき視聴者映像を選択しそこなうことなど)をすることも考えられる。そこで自動で選択しモニタ(A)へ出力する視聴者映像を入れ替えるように構成することもできる。その場合には、時間によって次々と表示する視聴者映像を入れ替えるようなことが考えられる。例えば会場端末(C)へ視聴者映像が届いた順序を記憶しておき、ディスプレイに一度に表示できる人数分ごとに、早い順から選択して、モニタ(A)へ出力する。
【0114】
<実施形態2:視聴者映像選択部(G):視聴者映像を時間ごとに自動選択する構成例>
会場端末(C)の視聴者映像選択部(G)は、さらに、
取得した視聴者映像を保持する視聴者映像保持手段と、
視聴者映像を取得した順番を示す情報である視聴者映像着順情報を取得する視聴者映像着順情報取得手段と、
視聴者映像着順情報を保持する視聴者映像着順情報保持手段と、
視聴者映像を切り替えるタイミングを示す情報である視聴者映像切替時間情報を取得する視聴者映像切替時間情報取得手段と、を有し、
視聴者映像選択部(G)は、視聴者映像が会場端末(C)に着いた順序を示す情報である視聴者着順情報と関連付けて保持された視聴者映像を、視聴者映像切替時間ごとに選択するように構成することができる。
【0115】
<実施形態2 処理の流れ>
図6は、実施形態1を基礎とする実施形態2の双方向ライブ配信システムの動作処理のフローチャートである。この図で示すように実施形態2の双方向ライブ配信システムでは、会場端末準備ステップ(c)(S0601)と、撮影ステップ(b)(S0602)と、ライブ映像送信ステップ(e)(S0603)と、視聴者映像送信ステップ(f)(S0604)と、視聴者映像選択ステップ(g)(S0605)と、モニタステップ(a)(S0606)と、を有する。
【0116】
ここで計算機である双方向ライブ配信システムの動作方法は、
会場端末準備ステップ(c)(S0601)は、ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と会場端末(C)を接続する処理を行い、
撮影ステップ(b)(S0602)は、ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に撮影装置(B)が送信する処理を行い、
ライブ映像送信ステップ(e)(S0603)は、ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信する処理を行い、
視聴者映像送信ステップ(f)(S0604)は、前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)へ視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)から送信する処理を行い、
会場端末(C)の視聴者映像選択ステップ(g)(S0605)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択する処理を行い、
モニタステップ(a)(S0606)は、ライブ会場に配置され後記会場端末(C)からの視聴者映像をモニタ(A)へ出力するための処理を行う。
このような一連の処理を計算機である双方向ライブ配信システムに実行させる動作方法である。
【0117】
<実施形態2 ハードウェアの説明>
図7は、実施形態1を基礎とする実施形態2の計算機である双方向ライブ配信システムのメインボードやその周辺機器によって構成されるハードウェアを説明するための図である。「CPU」、ノースブリッジとサウスブリッジからなる「チップセット」、「不揮発性メモリ」、「メインメモリ」、「I/Oコントローラ」、「USB、IEEE1394、LAN端子、etc」、「BIOS」、「PCIスロット」、「リアルタイムクロック」などから構成される。
【0118】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0119】
すなわち、不揮発性メモリにはOS(オペレーティングシステム)とデバイスドライバのほかに、会場端末準備プログラム(c)と、撮影プログラム(b)と、ライブ映像送信プログラム(e)と、視聴者映像送信プログラム(f)と、視聴者映像選択プログラム(g)と、モニタプログラム(a)とを有し、データとして、視聴者映像と、ライブ映像と、が保持されている。これらは、本システムがコンピュータ上で起動されることにより、メインメモリに展開されて、起動命令を受け付けることによって、CPUが順次プログラムとデータを利用した演算を行って行く。
【0120】
本実施形態にて、受信した複数の視聴者映像から、視聴者映像を選択し会場のモニタに一度に映しだすことができる数の視聴者映像へ絞りこんだり、順次入れ替えたりすることができる。
【0121】
<実施形態3 概要>主に請求項3
実施形態2を基礎とする実施形態3の双方向ライブ配信システムは、視聴者識別情報保持部(H)を有し視聴者映像選択部(G)は視聴者識別情報を用いて視聴者映像を選択するように構成される。
【0122】
<実施形態3 機能的構成>
図8は実施形態2を基礎とする実施形態3の双方向ライブ配信システムの機能ブロック図を示す。実施形態3の双方向ライブ配信システム(0800)は、実施形態2の構成に加え、さらに視聴者識別情報保持部(H)(0808)を有する。視聴者識別情報保持部(H)(0808)以外は説明済みの為、以下では実施形態3に係る視聴者識別情報保持部(H)(0808)と、視聴者映像選択部(G)(0807)のみ説明する。
【0123】
<実施形態3 構成の説明>
<実施形態3 視聴者識別情報保持部(H)(0808)>
「視聴者識別情報保持部(H)」(0808)は、視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持するように、会場端末(C)(0803)に構成される。
【0124】
<実施形態3:視聴者識別情報保持部(H):視聴者識別情報>
「視聴者識別情報」は、ライブを視聴する権利としてのライブの視聴チケットを購入する際のチケット番号や、ライブ主催者のウェブサイトやチケット販売サイトにおいて購入した際の受付番号などであってもよい。またはファンクラブなどを通してチケット購入した場合は、ファンクラブの会員番号であってもよいし、よくチケット購入に使用するチケット販売サイトに会員登録した際の会員番号(前記実施形態1での例)や、連絡先として登録したメールアドレスやSMSアドレスであってもよい。または視聴者が視聴に利用する視聴端末(D)を識別する情報である視聴端末識別情報を視聴者識別情報として使用してもよい。視聴端末識別情報は視聴端末(D)のMACアドレスや、シリアル番号(製造番号)などでもよい。視聴者識別情報には、視聴者の属性の情報である視聴者属性情報として前記チケット購入時にウェブサイトに登録した購入者の氏名、年齢、性別、住所、メールアドレス、趣味嗜好、家族構成、所属するファンクラブの会員番号などの情報を関連付けて保持するように構成してもよい。
【0125】
<実施形態3:視聴者識別情報保持部(H):視聴者映像へ視聴者識別情報を添付>
視聴者端末(D)は、視聴者識別情報を添付して視聴者映像を送信することができる。視聴者識別情報が添付されるように構成すれば、視聴者映像を会場端末(C)の視聴者映像選択部(G)で選択する際に視聴者識別情報を手掛かりに選択することができる。
【0126】
視聴端末(D)から視聴者映像送信サーバ(F)へ届く視聴者映像は、インターネット回線などを通じて伝送される情報であり、インターネット回線を介して送受信されるパケットのペイロードには前記視聴者映像が納められ、ペイロードまたはヘッダには、視聴者映像に写る視聴者を識別する視聴者識別情報が格納されるように構成することができる。
【0127】
<実施形態3:視聴者識別情報保持部(H):視聴者映像添付視聴者識別情報>
視聴者映像に添付される視聴者識別情報である視聴者映像添付視聴者識別情報は、会場端末(C)の視聴者識別情報保持部(H)が保持する視聴者識別情報と同一でなくともよい。例えば、会場端末(C)に保持された視聴者識別情報と異なる情報の例として、視聴に用いる視聴端末(D)の視聴端末識別情報を使用する場合の構成を説明する。視聴者映像に添付される視聴者映像添付視聴者識別情報は、視聴端末を識別するMACアドレスや、IPアドレス、またはライブ視聴チケット番号など他の情報であってもよい。会場端末(C)の視聴者識別情報保持部が保持する視聴者識別情報と一義的に関連付けられた情報であればよい。
【0128】
<実施形態3:視聴者識別情報保持部(H):視聴者映像添付視聴者識別情報の添付構成>
会場端末(C)の視聴者識別情報保持部(H)は、さらに、
視聴者映像に添付される視聴者映像添付視聴者識別情報と、視聴者自身の視聴者識別情報(例:会員番号、メールアドレスなど)と、を関連付けて保持する視聴者映像添付視聴者識別情報保持手段を有し、
視聴端末(D)は視聴者識別情報又は自身の視聴端末識別情報のいずれか一を視聴者映像へ添付して視聴者映像送信サーバ(F)へ送信する視聴者映像送信部を有するように構成することができる。
【0129】
<実施形態3 視聴者映像選択部(G)(0807)>
「視聴者映像選択部(G)」(0807)は、視聴者識別情報を用いて視聴者映像を選択するように構成される。即ち会場端末(C)の視聴者映像選択部(G)(0807)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を視聴者識別情報を用いて選択するように構成される。
【0130】
<実施形態3:視聴者映像選択部(G):視聴者映像の時間ごと自動選択の構成例>
会場端末(C)が有する視聴者映像選択部(G)で、視聴者映像の切り替えを時間ごとに自動で行う例を前記実施形態2で説明した。視聴者映像を送信した視聴者を識別する視聴者識別情報をも使用した場合には、
会場端末(C)が有する視聴者映像選択部(G)の視聴者映像着順情報保持手段は、会場端末(C)に視聴者映像が着いた順番を示す視聴者映像着順情報と視聴者識別情報を関連付けて保持し、
視聴者映像選択部(G)は、視聴者映像着順情報が示す順番に沿って、視聴者映像着順情報と関連付けられた視聴者識別情報で識別される視聴者の視聴者映像を、モニタ(A)に出力するために選択するように構成できる。
【0131】
<実施形態3:視聴者映像選択部(G):視聴者属性情報を使用した選択例>
着順だけではなく、モニタ(A)が複数台ある場合、視聴者識別情報と関連付けて保持される視聴者の属性情報を元に、各モニタへ出力する視聴者映像を選択することができる。例えば、視聴者の住所を元に、西日本と東日本居住者に大別したり、地方ごと(北海道、東北、北陸、関東、中部、関西、中国、四国、九州/沖縄といった分け方など)に分けたり、男女別に分けたり、世代別に分けたり、特定のアーティストのファン毎に分けたりするように、視聴者映像を選択することができる。演者ごとにファンである視聴者映像をモニタ(A)に選択して出力することができる。また例えば演者が複数メンバで構成されるグループの場合、あるメンバが一人でパフォーマンスする時に、前記メンバのファンである視聴者の視聴者映像をモニタ(A)に出力し応援する様子を見せることで、前記メンバのモチベーションが向上し、より優れたパフォーマンスがなされることを期待できる。
【0132】
<実施形態3:視聴者映像選択部(G):視聴者映像出力一部中断時の対応>
なお、視聴者側の都合で視聴を中断したためにモニタ(A)に出力していた視聴者映像が中断した場合や、回線や機材の不都合でモニタ(A)に出力していた一部の視聴者映像が中断した場合には、該当する視聴者映像を速やかに入れ替えるべく、モニタ(A)に出力されていなかった視聴者映像の中から選択を行うとよい。モニタ(A)に出力されている視聴者映像中で、動かなかったり、表示が乱れていたり、該当する視聴者映像が出力されていた部分が黒表示だったりすることは目につきやすく、ステージ上の演者のモチベーションを下げる要因の一つとなる。視聴者映像が全てモニタ(A)に出力されていて新たに加える視聴者映像がない場合には、出力済みの視聴者映像の少なくとも一部の映像を大きくするとよい。大きくすることで全員表示できなくなった場合には、モニタ(A)への出力を中止する視聴者映像を選択する。
【0133】
<実施形態3 処理の流れ>
図9は、実施形態2を基礎とする実施形態3の双方向ライブ配信システムの動作処理のフローチャートである。この図で示すように実施形態3の双方向ライブ配信システムでは、視聴者識別情報保持ステップ(h)(S0901)、会場端末準備ステップ(c)(S0902)と、撮影ステップ(b)(S0903)と、ライブ映像送信ステップ(e)(S0904)と、視聴者映像送信ステップ(f)(S0905)と、視聴者映像選択ステップ(g)(S0906)と、モニタステップ(a)(S0907)と、を有する。
【0134】
ここで計算機である双方向ライブ配信システムの動作方法は、
会場端末(C)の視聴者識別情報保持ステップ(h)(S0901)は、視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持する処理を行い、
会場端末準備ステップ(c)(S0902)は、ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と会場端末(C)を接続する処理を行い、
撮影ステップ(b)(S0903)は、ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に撮影装置(B)が送信する処理を行い、
ライブ映像送信ステップ(e)(S0904)は、ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信する処理を行い、
視聴者映像送信ステップ(f)(S0905)は、前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)へ視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)から送信する処理を行い、
会場端末(C)の視聴者映像選択ステップ(g)(S0906)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を視聴者識別情報を用いて選択する処理を行い、
モニタステップ(a)(S0907)は、ライブ会場に配置され後記会場端末(C)からの視聴者映像をモニタ(A)へ出力するための処理を行う。
このような一連の処理を計算機である双方向ライブ配信システムに実行させる動作方法である。
【0135】
<実施形態3 ハードウェアの説明>
図10は、実施形態2を基礎とする実施形態3の計算機である双方向ライブ配信システムのメインボードやその周辺機器によって構成されるハードウェアを説明するための図である。「CPU」、ノースブリッジとサウスブリッジからなる「チップセット」、「不揮発性メモリ」、「メインメモリ」、「I/Oコントローラ」、「USB、IEEE1394、LAN端子、etc」、「BIOS」、「PCIスロット」、「リアルタイムクロック」などから構成される。
【0136】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0137】
すなわち、不揮発性メモリにはOS(オペレーティングシステム)とデバイスドライバのほかに、会場端末準備プログラム(c)と、撮影プログラム(b)と、ライブ映像送信プログラム(e)と、視聴者映像送信プログラム(f)と、視聴者映像選択プログラム(g)と、モニタプログラム(a)と、さらに視聴者識別情報保持プログラム(h)を有し、データとして、視聴者映像と、ライブ映像と、さらに視聴者識別情報と、が保持されている。これらは、本システムがコンピュータ上で起動されることにより、メインメモリに展開されて、起動命令を受け付けることによって、CPUが順次プログラムとデータを利用した演算を行って行く。
【0138】
本実施形態により、視聴者識別情報を用いて、視聴者識別情報で識別される視聴者の視聴者映像を選択することができる。視聴者の属性情報も保持するように構成すると、属性情報を元に関連付けられた視聴者識別情報に基づいて視聴者映像を選択することができる。会場内のモニタ(A)への視聴者映像の出力も会場内の演出効果として寄与させることができる。
【0139】
<実施形態4 概要>主に請求項4
実施形態3を基礎とする実施形態4の双方向ライブ配信システムは視聴者を識別する視聴者識別情報と、視聴者の権限を示す情報である権限情報を関連付けて保持するように構成される。
【0140】
<実施形態4 機能的構成>
図11に、実施形態3を基礎とする実施形態4の双方向ライブ配信システムの機能ブロック図を示す。実施形態4の双方向ライブ配信システム(1100)は、実施形態3の構成に加え、さらに視聴者識別情報保持部(H)(1108)内に権限情報保持手段(J)(1109)を有する。
【0141】
<実施形態4 構成の説明>
<実施形態4 権限情報保持手段(J)(1109)>
「権限情報保持手段(J)」(1109)は、視聴者識別情報と、その視聴者識別情報で識別される視聴者の権限を示す情報である権限情報と、を関連付けて保持するように視聴者識別情報保持部(H)(1108)内に構成される。
【0142】
<実施形態4 権限情報保持手段(J):権限情報の例>
視聴者の権限を示す「権限情報」としては、例えば、視聴者映像のうち映像信号+音声信号がモニタ(A)へ出力される権限、視聴者映像のうち映像信号のみがモニタ(A)へ出力される権限、視聴者映像のうち音声信号のみがモニタ(A)へ出力される権限、視聴者映像のうち映像信号と音声信号のどちらもがモニタ(A)へ出力されない権限(テキストは送信可としたり、ライブ主催者があらかじめ提供する画像:拍手や手を振る画像などを選択して送信できたりするようにしてもよい)、配信されるライブ映像を視聴するだけの権限(前記のようにテキストデータなどを送ることも不可)、ライブ映像が使用回線内で最も広い帯域の回線で配信される権限、受信するライブ映像がSD(画素数:720×480)、HD(画素数:1920×1080)、4K(画素:3840×2160)などのようにどの解像度(解像度はこれらの例に限定されない)で視聴できるかを示す権限(高解像度の権限を有していれば、低解像度での視聴権限も有する)、会場内に設置された複数の撮影装置(B)のいずれかを選択してその撮影装置(B)が撮影したライブ映像を視聴できる権限、三次元再現空間内の任意の視点で立体ライブ映像を視聴できる権限、視聴者映像をモニタ(A)に長時間出力される権限、視聴者映像がモニタ(A)上で他の視聴者映像よりも大きく表示される権限などが考えられる。また視聴端末(D)上で視聴者の感情を表すボタンやアイコンを押下し、会場のモニタ(A)にその結果を表示するよう構成した場合に、感情を表すボタンやアイコンを押下するといった動作などを本システムに入力する権限も考えられる。撮影装置(B)を観客席毎に配置する、または間引きして観客席に配置した撮影装置(B)間の映像を補間して客席毎の画像を作り出すことにより、視聴者が購入したチケットが対応する各観客席の位置に応じたライブ映像を視聴できる権限なども考えられる。または、視聴端末(D)を介して特定の視聴者とライブ会場の演者との間で会話などの交流ができる権限なども考えられる(前記実施形態1の例)。
【0143】
<実施形態4 権限情報保持手段(J):権限情報のその他の例>
その他「権限情報」の例として、配信されるライブ映像を視聴者が、録画、録音、静止画のキャプチャなどいずれかをできる権限も考えられる(いずれか一のみ、又はいずれか一以上の組合せなど)。視聴端末(D)が大容量の不揮発メモリを備えていれば、視聴端末(D)の不揮発メモリに記録するように構成し、十分な容量の不揮発メモリが無ければ、外部メモリを接続して記録してもよい。視聴者側がデータを記録し手元に保持する構成の場合は、記録したデータには視聴者識別情報または視聴端末(D)の視聴端末識別情報を閲覧用の鍵情報として添付し、視聴者自身又は録画した視聴端末(D)で再生しなければ保持したデータを閲覧できないように構成することが望ましい。万一、記録したデータが視聴者の元からコピーされた場合など、出所をたどることができるとともに、基本的には記録した視聴者以外には再生閲覧できなくなるために、ライブ映像の著作権を保護しやすい。データの記録を、ライブ主催者またはライブ主催者が委託した業者が管理するクラウドサーバ上で行ってもよい。クラウドサーバ上からデータをダウンロードできずに、接続して閲覧する構成であれば、記録した視聴者以外による記録データの不正利用を防止出来る。また、視聴者に対しての記録権限ではなく、ライブ終了後に、ライブ主催者がクラウドサーバ等に保存したライブ映像を自由に視聴できる権限であってもよい。
【0144】
<実施形態4 権限情報保持手段(J):ライブ視聴中の権限情報の拡張>
各視聴者の権限情報はライブ視聴中に、視聴者が電子マネーやクレジット決済や、ギフトカードやプリペイドカードの番号入力などインターネット上で決済可能な手段で課金することにより、権限を拡張できるように構成することもできる。録画不可の権限の視聴者が、ライブ視聴中に録画したくなった時に便利である。またライブ配信の機器的な能力が許容する範囲において、上述したような様々な権限のうち自身よりも上位の(又は拡張された)権限に変更可能な残数を視聴端末(D)から確認でき、課金して、権限変更できるように構成するとよい。例えば、より高品位な映像が配信され視聴できる権限へ拡張する場合、視聴者が全員権限拡張行うと、ライブ主催者が用意していた配信用の回線や機器の処理能力を超えてしまい、配信映像が乱れたり配信できなくなったりする事態が考えられるためである。
【0145】
<実施形態4 権限情報保持手段(J):ライブ視聴中の権限情報の拡張する構成例>
前記の権限情報の拡張をするために次のような構成例が考えられる。
視聴端末(D)は、視聴者が自身の権限を拡張するために課金を支払う支払方法の情報を取得する課金支払方法情報取得部と、
視聴者識別情報と視聴者が望む拡張された権限を識別する権限識別情報とに関連付けて、拡張するために必要な金額の支払いの情報である課金額情報を取得する課金額情報取得部と、
前記課金額情報を会場端末(C)へ送付するために視聴者映像送信サーバ(F)へ送信する課金額情報送信部と、を有し、
会場端末(D)の視聴者識別情報保持部(H)は、
受信した課金額情報に関連付けられた権限識別情報と視聴者識別情報に基づいて、権限情報保持手段に保持された権限情報を権限拡張のため変更する権限情報拡張手段をさらに有するように構成できる。
【0146】
以下、権限情報を使用した場合の主な構成要件について改めて説明する。
【0147】
<実施形態4 視聴者識別情報保持部(H)(1108)>
「視聴者識別情報保持部(H)」(1108)は、視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持し、前記権限情報保持手段(J)(1109)を有するように構成されている。権限情報に関しては様々な例について上述した。視聴者がライブ視聴するための権限を、例えばチケット種別という形で選択し購入する(権限種別に応じて価格が異なってもよい)。チケット番号のようにチケットを識別する情報や、チケットを購入する際のウェブサイトの取引番号や同サイトの会員番号、視聴者の氏名などを視聴者識別情報として会場端末(C)の視聴者識別情報保持部(H)に保持し、前記視聴者識別情報に関連付けて対応する権限を示す情報である権限情報を、視聴者識別情報保持部(H)内の権限情報保持手段(J)に保持する。
【0148】
<実施形態4 ライブ映像送信サーバ(E)(1105)>
「ライブ映像送信サーバ(E)」(1105)は、ネットワークを介して会場端末(C)からのライブ映像を、視聴者識別情報と関連付けられた権限情報に応じて、視聴者識別情報で識別される視聴者がライブ映像を視聴するために利用する視聴端末(D)に送信するように構成される。視聴者が、どのようなライブ映像を視聴する権限を有するかによって該視聴者へ送信されるライブ映像を選択して送信を行う。例えば、視聴者AがSD品位のライブ映像を視聴する権限を有し、別の視聴者BがHD品位のライブ映像を視聴する権限を有していた場合は、会場端末(C)の視聴者識別情報保持部(H)およびその中に設けられた権限情報保持手段(J)に保持された視聴者識別情報と権限情報に基づいて、各々の視聴者AまたはBへ送信すべきライブ映像を送信する。
【0149】
<実施形態4:ライブ映像送信サーバ(E):権限情報毎に異なるライブ映像の送信例>
権限情報に基づいてライブ映像の送信を行うには次のような構成例が考えられる。
会場端末(C)は、
権限情報保持手段(J)に保持された視聴者識別情報と関連付けられた権限情報に基づいて、視聴者識別情報で識別される視聴者へ送信すべきライブ映像の種別を識別する情報であるライブ映像種別識別情報を視聴者識別情報と関連付けて取得するライブ映像種別識別情報取得部と、
前記ライブ映像種別識別情報をライブ映像送信サーバ(E)へ送信するライブ映像種別識別情報送信部と、を有し
ライブ映像送信サーバ(E)は、受信したライブ映像種別識別情報に基づいて、関連付けられた視聴者識別情報で識別される視聴者へ、ライブ映像種別識別情報で識別される種別のライブ映像を送信するライブ映像配信先選択部と、を有するように構成することができる。
【0150】
<実施形態4 視聴端末(D)(1104)>
「視聴端末(D)」(1104)は、ネットワークを介してライブ映像送信サーバ(E)から送信されたライブ映像を受信し、視聴者映像を視聴者映像送信サーバ(F)(1105)(ライブ映像送信サーバ(E)と同一であることを妨げない)へ送信する。視聴端末(D)は前記のとおり、タブレット端末やスマートフォンやPCなどが想定される。視聴者映像は、上述のように視聴端末(D)内蔵のカメラなどが捉えた視聴中の視聴者の映像には限定されず、視聴中の視聴者の映像信号+音声信号、同映像信号のみ、同音声信号のみや、視聴端末(D)内に保持された動画、静止画、音声などでもよく、テキストデータでもよい。ライブ開始前に準備されたデータに限らず、ライブ中に作成し保持されたデータでもよい。または、ライブ主催者が、視聴者が使用することを想定して用意したアバターや、動画、静止画、アニメーション、音声、テキストなどを選択して送信するようにしてもよい。ライブ主催者があらかじめ準備したデータは、視聴者映像送信権限のない視聴者でもライブ中に使用できるように設定してもよいし、時間を区切って使用できるようにしてもよい。または視聴者映像送信権限を有する視聴者だけが使用できるようにしてもよい。
【0151】
<実施形態4 視聴者映像送信サーバ(F)(1106)>
「視聴者映像送信サーバ(F)」(1106)は、視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)に送信するように構成されている。視聴者が購入したライブ視聴の権限の種別に応じて、視聴端末(D)上で視聴者映像送信のための準備が行われる際に、視聴者映像の準備が行われてもよいし、視聴端末(D)から送信された視聴者映像送信サーバ(F)上で会場端末(C)へ送信するための準備が行われてもよい。視聴者映像の準備とは、視聴者の権限が視聴者映像の映像信号+音声信号を送信できる権限であれば映像信号+音声信号の形式とし、映像信号のみ送信できる権限であれば映像信号のみとし、音声信号のみ送信できる権限であれば音声信号のみとすることである。もし視聴者が視聴者映像を送信できない権限であった場合には、上流側である視聴端末(D)で視聴者映像を視聴者映像送信サーバ(F)へ送信しないように構成したほうが、回線への負荷も生じないためよりよい。会場端末(C)を複数配置し、それぞれライブ映像送信用、視聴者映像(映像信号+音声信号、または映像信号のみ)用、視聴者映像(音声信号のみ)用、視聴者映像(テキストメッセージ)用などを担当するように設置し、視聴者識別情報に関連付けられた権限情報に基づいて、視聴者映像をそれぞれの権限情報毎に別々の会場端末(C)へ送信する様に構成することもできる。
【0152】
<実施形態4 視聴者映像選択部(G)(1107)>
「視聴者映像選択部(G)」(1107)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち、視聴者識別情報を用いて、視聴者識別情報と関連付けられた権限情報に基づいて、前記モニタ(A)に出力する視聴者映像を選択するように、会場端末(C)に構成されている。モニタ(A)へ出力する視聴者映像を選択する際に、視聴者映像に添付された視聴者識別情報に関連付けられた権限情報に基づいて選択する。例えば、ライブ会場内のモニタ(A)に出力される時間が長い、大きなサイズで出力される、演者から見えやすく気づきやすい位置に出力されるなどの権限を有する視聴者の場合には、それらの視聴者の権限を考慮して、視聴者映像選択部(G)は視聴者映像の選択を行う。長く出力される権限を有した視聴者の視聴者映像は、定期的な入替の際にも選択を終了せずに残し、他の部分の視聴者映像を入れ替えるようにするなどのことを行う。視聴者映像の映像信号の出力権限を持った視聴者の視聴者映像の選択は、モニタ(A)のディスプレイの制約からあまり多数は選択できないが、視聴者映像のうち音声信号のみの出力権限を持った視聴者映像の選択に際しては、スピーカへの出力となり映像信号よりも多くの視聴者映像(音声信号のみ)を選択することができる。
【0153】
<実施形態4:視聴者映像選択部(G):属性情報と権限情報に基づく選択>
視聴者識別情報に関連付けて視聴者の属性情報も保持されている場合、視聴者情報の選択は、視聴者映像に添付された視聴者識別情報を用いて、関連する権限情報と属性情報に基づいて視聴者映像の選択を行う。視聴者映像に添付された視聴者識別情報が会場端末(C)の視聴者識別情報保持部(H)に保持された視聴者識別情報と異なる場合は、視聴者映像に添付された視聴者識別情報から、視聴者識別情報保持部(H)内の対応する視聴者識別情報を検索する。視聴者識別情報保持部に保持された視聴者識別情報に関連付けられた権限情報と、属性情報に基づいて視聴者映像の選択が行われる。例えば、新潟県出身の歌手が出番となった場合に、住所が新潟県という属性情報を持つ視聴者映像が候補となり、権限情報(映像信号又は/及び音声信号がモニタ(A)へ出力される権限)に基づいてモニタ(A)へ出力される。モニタ(A)へ新潟県在住の視聴者の視聴者映像のみが出力される場合以外に、歌手の正面付近などに新潟県在住の視聴者の視聴者映像を集めて出力する場合も考えられる。また、少なくとも映像信号の出力権限を持つ場合にはモニタ(A)のディスプレイへ出力され、音声信号のみの場合はモニタ(A)のスピーカにのみ出力されるなどといった具合である。
【0154】
<実施形態4 モニタ(A)(1101)>
「モニタ(A)」(1101)は、ライブ会場に配置され、会場端末(C)からの視聴者映像を出力するように会場端末(C)へ接続される。モニタ(A)(1101)は、上述のように映像信号を出力するディスプレイには限定されない。音声信号を出力するスピーカもモニタ(A)に含まれるし、テキストメッセージを表示するディスプレイや電光掲示板、LEDディスプレイなどもモニタ(A)に含むことができる。視聴者の権限情報に応じて視聴者映像が選択され、権限に応じた視聴者映像がモニタ(A)へ出力される。
【0155】
<実施形態4 処理の流れ>
図12は、実施形態3を基礎とする実施形態4の計算機である双方向ライブ配信システムの動作処理のフローチャートである。この図で示すように実施形態4の双方向ライブ配信システムでは、視聴者識別情報保持ステップ(h)(S1201)、権限情報保持サブステップ(j)(S1202)と、会場端末準備ステップ(c)(S1203)と、撮影ステップ(b)(S1204)と、ライブ映像送信ステップ(e)(S1205)と、視聴者映像送信ステップ(f)(S1206)と、視聴者映像選択ステップ(g)(S1207)と、モニタステップ(a)(S1208)と、を有する。
【0156】
ここで計算機である双方向ライブ配信システムの動作方法は、
会場端末(C)の視聴者識別情報保持ステップ(h)(S1201)は、視聴者(視聴端末(D)である場合も含む。)を識別する視聴者識別情報を保持する処理を行い、
視聴者識別情報保持ステップ(h)内の権限情報保持サブステップ(j)(S1202)は、視聴者識別情報と、その視聴者識別情報で識別される視聴者の権限を示す情報である権限情報と、を関連付けて保持する処理を行い、
会場端末準備ステップ(c)(S1203)は、ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と会場端末(C)を接続する処理を行い、
撮影ステップ(b)(S1204)は、ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に撮影装置(B)が送信する処理を行い、
ライブ映像送信ステップ(e)(S1205)は、ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信する処理を行い、
視聴者映像送信ステップ(f)(S1206)は、前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)へ視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)から送信する処理を行い、
会場端末(C)の視聴者映像選択ステップ(g)(S1207)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択する処理を行い、
モニタステップ(a)(S1208)は、ライブ会場に配置され後記会場端末(C)からの視聴者映像をモニタ(A)へ出力するための処理を行う。
このような一連の処理を計算機である双方向ライブ配信システムに実行させる動作方法である。
【0157】
<実施形態4 ハードウェアの説明>
図13は、実施形態3を基礎とする本実施形態4の計算機である双方向ライブ配信システムのメインボードやその周辺機器によって構成されるハードウェアを説明するための図である。「CPU」、ノースブリッジとサウスブリッジからなる「チップセット」、「不揮発性メモリ」、「メインメモリ」、「I/Oコントローラ」、「USB、IEEE1394、LAN端子、etc」、「BIOS」、「PCIスロット」、「リアルタイムクロック」などから構成される。
【0158】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0159】
すなわち、不揮発性メモリにはOS(オペレーティングシステム)とデバイスドライバのほかに、会場端末準備プログラム(c)と、撮影プログラム(b)と、ライブ映像送信プログラム(e)と、視聴者映像送信プログラム(f)と、視聴者映像選択プログラム(g)と、モニタプログラム(a)と、視聴者識別情報保持プログラム(h)と、さらに権限情報保持サブプログラム(j)と、を有し、データとして、視聴者映像と、ライブ映像と、視聴者識別情報と、さらに権限情報と、が保持されている。これらは、本システムがコンピュータ上で起動されることにより、メインメモリに展開されて、起動命令を受け付けることによって、CPUが順次プログラムとデータを利用した演算を行って行く。
【0160】
本実施形態により、視聴者の権限を示す情報である権限情報を視聴者識別情報と関連付けて保持することにより、例えば視聴者の権限に拠って、長時間会場のモニタ(A)に映し出されることができたり、モニタ(A)内のより演者に対し目立ちやすい場所に表示されたりすることに役立てたりすることができる。または例えば視聴者の権限に拠ってライブ映像の配信を受ける際の解像度の種類に差を付けたり、標準配信以外の異なるアングルの映像を選択できるなど受信するライブ映像の視聴形態を区分けすることができる。
【0161】
<実施形態5 概要>主に請求項5
実施形態2から実施形態4のいずれか一を基礎とする実施形態5の双方向ライブ配信システムは、映像信号遮断命令受付部(K)と遮断命令実行手段(L)をさらに有するように、構成される。
【0162】
<実施形態5 機能的構成>
図14に示す実施形態2を基礎とする実施形態5の双方向ライブ配信システム(1400)は、実施形態2の構成に加え、映像信号遮断命令受付部(K)(1410)と、視聴者映像選択部(G)(1407)内に遮断命令実行手段(L)(1411)を、有する。なお実施形態3または4のいずれかを基礎としても同様の効果が得られる。
【0163】
<実施形態5 構成の説明>
<実施形態5 映像信号遮断命令受付部(K)(1410)>
「映像信号遮断命令受付部(K)」(1410)は、会場端末(C)の操作者からモニタ(A)に出力されている視聴者映像の送信元である視聴端末(D)からの視聴者映像の映像信号を遮断する命令である遮断命令を受付けるように、会場端末(C)内に構成される。
【0164】
<実施形態5:映像信号遮断命令受付部(K):遮断命令>
「遮断命令」は、モニタ(A)に表示された視聴者映像を入れ替えるために、会場端末(C)の操作者から発せられる。モニタ(A)へ出力されている視聴者映像に対する遮断命令は、個々の視聴者映像に対して都度発せられてもよい。逆に予め遮断命令を自動的に発する様に設定することもできる。例えば今後10分おきに視聴者識別情報で識別される視聴者の集団であるグループA、グループAとは含まれる視聴者識別情報が異なるグループB、、、の順に入れ替えるように順次自動で定期的に遮断命令が発せられるように構成することもできる。また遮断命令は一つの視聴者映像のみに対してではなく、複数の視聴者映像を対象として発することもできる。複数の視聴者映像を対象として一度にモニタ(A)への出力を遮断するための遮断命令として発せられてもよいし、30秒ごとなど定期的に少なくとも一つずつ遮断命令を発してもよい。発する数や間隔は一定でもよいし、一定でなくともよい。または選択されてモニタ(A)に出力されている視聴者映像が特定の条件を満たしたら、該当する視聴者映像を遮断する命令が発せられるようにAIなどで判断するように構成してもよい。出力されている時間や、演者の出演順に合わせてファンの視聴者映像を選択的に出力するために、ファンではない視聴者映像を遮断するなどである。
【0165】
<実施形態5:映像信号遮断命令受付部(K):遮断命令:音声信号>
遮断命令は、視聴者映像の映像信号を遮断する命令としているが、視聴者映像に含まれる音声信号も同時に遮断するように構成してもよい。視聴端末(D)の仕様、またはライブ会場内でのマイクとスピーカのセッティングにもよるが、視聴者映像中の音声がライブ会場内でハウリングの原因となる場合がある。ハウリングを起こした場合にはステージ上の演者のパフォーマンスを著しく阻害するために、該当する視聴者映像(特に音声信号)を速やかに遮断する必要がある。ハウリングを起こしている音声信号の周波数を元に視聴者映像を探し、原因となった視聴者映像に対し遮断命令を発する。なおハウリングに関しては、ハウリングの起きた周波数に対しノッチフィルタを設定しハウリングを抑制するハウリングサプレッサーなどを使用する方法もある。
【0166】
<実施形態5:映像信号遮断命令受付部(K):遮断命令:視聴者映像の品位による命令>
ハウリング以外に、視聴者が視聴者映像内でモニタ(A)に出力することが憚れるような、公序良俗に反する視聴者映像(映像、画像、静止画、動画、テキスト、音声など形態を問わない)を見せていた場合も、遮断命令の対象とすべきである。該当する視聴者映像が選択されていなかったとしても、選択待ちの選択対象候補の視聴者識別情報から除外する処置を行うことが好ましい。前記公序良俗に反するとは視聴者自身だけではなく、視聴者映像として公序良俗に反する映像を視聴者映像送信サーバ(F)へ送信する行為も含まれる。ライブ映像の配信を受けるためにチケット購入時に視聴者が同意したライブ主催者などによる注意事項や約款に違反する行為も含まれうる。
【0167】
<実施形態5:映像信号遮断命令受付部(K):遮断命令:視聴者映像の品位判断構成例>
上記の視聴者映像が公序良俗に反するか否かを判断する構成の例を説明する。
会場端末(C)は、
視聴者映像の品位を判断するためのルールである視聴者映像判断ルール保持部と、
視聴者映像の品位を判断する視聴者映像判断部と、を有するように構成できる。
【0168】
<実施形態5 遮断命令実行手段(L)(1411)>
「遮断命令実行手段(L)」(1411)は、映像信号遮断命令受付部(K)で遮断命令を受付けた視聴者映像の映像信号の選択を終了するように視聴者映像選択部(G)(1407)内に構成される。
【0169】
会場端末(C)の操作者が発した遮断命令を遮断命令実行手段(L)が受けて、実行する。例えば、ライブ映像を視聴する視聴者が使用する視聴端末(D)はライブ映像を視聴するために本システムへ接続する際に、視聴端末(D)の情報(例:MACアドレス、IPアドレス等)と視聴者の情報(例:視聴者識別情報、使用者属性情報など)を本システムへ送信する。するとモニタ(A)へ出力されている視聴者映像の送信元である視聴端末(D)に関連づけられた視聴者識別情報を用いて遮断命令の対象となった視聴者映像の映像の選択を終了(モニタ(A)に対する出力を終了)する。遮断命令の対象となった視聴者映像の選択を終了しただけでは、モニタ(A)の該当箇所に表示がない部分(例えば黒表示部分)が生じてしまうため、選択の終了と同時に他の視聴者映像を代わりに選択しモニタ(A)へ出力するように構成することが望ましい。
【0170】
<実施形態5:遮断命令実行手段(L):定期表示入替のための遮断命令実行例>
モニタ(A)に表示された視聴者映像の入れ替え例を、図22、23を用いて説明する。図22は会場で視聴者映像を映し出しているモニタ(A)の一台の表示例である。横4×縦3の全12組の視聴者が映し出されている。所定の時間が来たら、現在表示されている図22の視聴者映像の出力の遮断命令を発し、該当する視聴者映像の選択の終了を実行する。モニタ(A)の表示が途切れないように、直ちに別の12組の視聴者の視聴者映像の映像の選択を開始し図23のような表示となる。
【0171】
<実施形態5:遮断命令実行手段(L):規約違反による遮断命令実行例>
何らかの理由で特定の視聴者映像の映像の選択を中止する場合の例を説明する。チケット販売に当たって、チケット1枚につき一人で視聴の場合のみ会場のモニタ(A)に視聴者映像を表示するという規約下で開催されたライブ配信の場合の例である。図22のモニタ(A)の表示例では、右下の区画の視聴者映像には2名が映っており、前記規約に反している。そのため該当視聴者映像の映像の選択を中止した(図24)。モニタ(A)上の該当区画は視聴者映像の出力が中止されたため、黒表示となっている。図25に示すように、直ちに別の視聴者映像の映像の選択を開始し、モニタ(A)の該当区画には別の視聴者映像が出力され、黒表示状態が解消された。なお説明のために図24では黒表示を示しているが、黒表示を会場の観客や演者に悟らせないように極力短時間で切り替えることが望ましい。
【0172】
<実施形態5 処理の流れ>
図15は、実施形態2を基礎とする実施形態5の計算機である双方向ライブ配信システムの動作処理のフローチャートである。この図で示すように実施形態5の双方向ライブ配信システムでは、会場端末準備ステップ(c)(S1501)と、撮影ステップ(b)(S1502)と、ライブ映像送信ステップ(e)(S1503)と、視聴者映像送信ステップ(f)(S1504)と、映像信号遮断命令受付ステップ(k)(S1505)と、視聴者映像選択ステップ(g)(S1506)と、視聴者映像選択ステップ(g)内の遮断命令実行サブステップ(l)(S1507)と、モニタステップ(a)(S1508)と、を有する。なお実施形態3または4のいずれかを基礎としても同様の効果が得られる。
【0173】
ここで計算機である双方向ライブ配信システムの動作方法は、
会場端末準備ステップ(c)(S1501)は、ライブ会場に配置され前記モニタ(A)及び前記撮影装置(B)と会場端末(C)を接続する処理を行い、
撮影ステップ(b)(S1502)は、ライブ会場に配置されライブ映像を撮影して後記会場端末(C)(単数には限定されない)に撮影装置(B)が送信する処理を行い、
ライブ映像送信ステップ(e)(S1503)は、ネットワークを介して前記会場端末(C)からのライブ映像を、視聴者がライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信する処理を行い、
視聴者映像送信ステップ(f)(S1504)は、前記視聴端末(D)からの視聴者映像をライブ会場の会場端末(C)へ視聴者映像送信サーバ(F)(ライブ映像送信サーバ(E)と同一であることを妨げない)から送信する処理を行い、
映像信号遮断命令受付ステップ(k)(S1505)は、処理を行い、
会場端末(C)の視聴者映像選択ステップ(g)(S1506)は、視聴者映像送信サーバ(F)からの視聴端末(D)から受信する複数の視聴者映像のうち前記モニタ(A)に出力する視聴者映像を選択する処理を行い、
視聴者映像選択ステップ(g)内の遮断命令実行サブステップ(l)(S1507)は、処理を行い、
モニタステップ(a)(S1508)は、ライブ会場に配置され後記会場端末(C)からの視聴者映像をモニタ(A)へ出力するための処理を行う。
このような一連の処理を計算機である双方向ライブ配信システムに実行させる動作方法である。
【0174】
<実施形態5 ハードウェアの説明>
図16は、実施形態2を基礎とする実施形態5の計算機である双方向ライブ配信システムのメインボードやその周辺機器によって構成されるハードウェアを説明するための図である。「CPU」、ノースブリッジとサウスブリッジからなる「チップセット」、「不揮発性メモリ」、「メインメモリ」、「I/Oコントローラ」、「USB、IEEE1394、LAN端子、etc」、「BIOS」、「PCIスロット」、「リアルタイムクロック」、などから構成される。なお実施形態3または4のいずれかを基礎としても同様の効果が得られる。
【0175】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0176】
すなわち、不揮発性メモリにはOS(オペレーティングシステム)とデバイスドライバのほかに、会場端末準備プログラム(c)と、撮影プログラム(b)と、ライブ映像送信プログラム(e)と、視聴者映像送信プログラム(f)と、視聴者映像選択プログラム(g)と、モニタプログラム(a)と、さらに映像信号遮断命令受付プログラム(k)と、遮断命令実行サブプログラム(l)と、を有し、データとして、視聴者映像と、ライブ映像と、さらに遮断命令と、が保持されている。これらは、本システムがコンピュータ上で起動されることにより、メインメモリに展開されて、起動命令を受け付けることによって、CPUが順次プログラムとデータを利用した演算を行って行く。
【0177】
本実施形態により、会場のモニタに出力されている視聴者映像を遮断し、映像出力を終了させることができる。
【0178】
<5.効果>
以上の構成を有する双方向ライブ配信システムに対して、ライブをライブ会場外から視聴する視聴者の映像である視聴者映像をライブ会場のモニタ(A)へ出力することにより、ライブ会場ステージ上の演者へ視聴者のリアルタイムの反応を、音声だけではなく映像でも届けることができる。視聴者映像によって演者のモチベーション向上が期待できる。視聴者映像を視聴者識別情報に拠って適宜選択することにより、モニタ(A)上に視聴者を区分けして出力することができる。何かしらの理由で視聴者映像の選択を中止する(モニタ(A)への出力を中止する)ための遮断命令を出すことができる。
【符号の説明】
【0179】
双方向ライブ配信システム・・・0100
モニタ(A)・・・0101
撮影装置(B)・・・0102
会場端末(C)・・・0103
視聴端末(D)・・・0104
ライブ映像送信サーバ・・・0105
視聴者映像送信サーバ(F)・・・0106
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
【手続補正書】
【提出日】2024-04-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ライブ会場に配置されるモニタ(A)であって、1または複数の後記会場端末(C)からの視聴者映像を出力するモニタ(A)と、
前記ライブ会場に配置される撮影装置(B)であって、ライブ映像を撮影して1または複数の後記会場端末(C)に送信する撮影装置(B)と、
前記ライブ会場に配置される1または複数の会場端末(C)であって、前記モニタ(A)及び前記撮影装置(B)と接続される会場端末(C)と、
ネットワークを介して1または複数の前記会場端末(C)からのライブ映像を、視聴者が前記ライブ映像を視聴するために利用する視聴端末(D)に送信するライブ映像送信サーバ(E)と、
前記視聴端末(D)からの視聴者映像を前記ライブ会場の1または複数の前記会場端末(C)に送信する視聴者映像送信サーバ(F)からなる、
双方向ライブ配信システムであって、
1または複数の前記会場端末(C)は、前記視聴者映像送信サーバ(F)からの複数の前記視聴端末(D)からの視聴者映像のうち前記モニタ(A)に出力する視聴者映像を操作者が手動で「映像信号と音声信号」、「映像信号のみ」、「音声信号のみ」、「出力しない」のいずれかの選択するための視聴者映像選択部(G)を有する双方向ライブ配信システム。
【請求項2】
1または複数の前記会場端末(C)は視聴者または前記視聴端末(D)を識別する視聴者識別情報を保持する視聴者識別情報保持部(H)を有し、
前記視聴者映像選択部(G)は、前記視聴者識別情報を用いて前記視聴者映像を選択するように構成されている請求項1に記載の双方向ライブ配信システム。
【請求項3】
前記視聴者識別情報保持部(H)は、前記視聴者識別情報と、当該視聴者識別情報で識別される前記視聴者の権限を示す情報である権限情報と、を関連付けて保持する権限情報保持手段(J)を有する請求項2に記載の双方向ライブ配信システム。
【請求項4】
1または複数の前記会場端末(C)は、1または複数の前記会場端末(C)の操作者から前記モニタ(A)に出力されている前記視聴者映像の映像信号を遮断する命令である遮断命令を受付ける映像信号遮断命令受付部(K)を有し、
前記視聴者映像選択部(G)は、前記映像信号遮断命令受付部(K)で前記遮断命令を受付けた前記視聴者映像の映像信号の選択を終了する遮断命令実行手段(L)を有する、
請求項1から請求項3のいずれか一に記載の双方向ライブ配信システム。
【請求項5】
ライブ会場に配置されるモニタ(A)であって、1または複数の後記会場端末(C)からの視聴者映像を前記モニタ(A)へ出力するモニタステップ(a)と、
前記ライブ会場に配置される撮影装置(B)であって、ライブ映像を撮影して1または複数の後記会場端末(C)に前記撮影装置(B)が送信する撮影ステップ(b)と、
前記ライブ会場に配置される1または複数の会場端末(C)であって、前記モニタ(A)及び前記撮影装置(B)と1または複数の前記会場端末(C)を接続する会場端末準備ステップ(c)と、
ネットワークを介して1または複数の前記会場端末(C)からのライブ映像を、視聴者が前記ライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信するライブ映像送信ステップ(e)と、
前記視聴端末(D)からの視聴者映像を前記ライブ会場の1または複数の前記会場端末(C)へ視聴者映像送信サーバ(F)から送信する視聴者映像送信ステップ(f)とからなる、
計算機である双方向ライブ配信システムの動作方法であって、
1または複数の前記会場端末(C)は、前記視聴者映像送信サーバ(F)からの複数の前記視聴端末(D)からの視聴者映像のうち前記モニタ(A)に出力する視聴者映像を操作者が手動で「映像信号と音声信号」、「映像信号のみ」、「音声信号のみ」、「出力しない」のいずれかの選択するための視聴者映像選択ステップ(g)を有する計算機である双方向ライブ配信システムの動作方法。
【請求項6】
1または複数の前記会場端末(C)は視聴者または前記視聴端末(D)を識別する視聴者識別情報を保持する視聴者識別情報保持ステップ(h)を有し、
前記視聴者映像選択ステップ(g)は、前記視聴者識別情報を用いて前記視聴者映像を選択するように構成されている請求項5に記載の動作方法
【請求項7】
前記視聴者識別情報保持ステップ(h)は、前記視聴者識別情報と、当該視聴者識別情報で識別される前記視聴者の権限を示す情報である権限情報と、を関連付けて保持する権限情報保持サブステップ(j)を有する請求項6に記載の動作方法
【請求項8】
1または複数の前記会場端末(C)は、1または複数の前記会場端末(C)の操作者から前記モニタ(A)に出力されている前記視聴者映像の映像信号を遮断する命令である遮断命令を受付ける映像信号遮断命令受付ステップ(k)を有し、
前記視聴者映像選択ステップ(g)は、前記映像信号遮断命令受付ステップ(k)で前記遮断命令を受付けた前記視聴者映像の映像信号の選択を終了する遮断命令実行サブステップ(l)を、
有する請求項5から請求項7のいずれか一に記載の動作方法
【請求項9】
ライブ会場に配置されるモニタ(A)であって、1または複数の後記会場端末(C)からの視聴者映像を前記モニタ(A)へ出力するモニタステップ(a)と、
前記ライブ会場に配置される撮影装置(B)であって、ライブ映像を撮影して1または複数の後記会場端末(C)に前記撮影装置(B)が送信する撮影ステップ(b)と、
前記ライブ会場に配置される1または複数の会場端末(C)であって、前記モニタ(A)及び前記撮影装置(B)と1または複数の前記会場端末(C)を接続する会場端末準備ステップ(c)と、
ネットワークを介して1または複数の前記会場端末(C)からのライブ映像を、視聴者が前記ライブ映像を視聴するために利用する視聴端末(D)へライブ映像送信サーバ(E)から送信するライブ映像送信ステップ(e)と、
前記視聴端末(D)からの視聴者映像を前記ライブ会場の1または複数の前記会場端末(C)へ視聴者映像送信サーバ(F)から送信する視聴者映像送信ステップ(f)とからなる、
計算機である双方向ライブ配信システムに実行させるプログラムであって、
1または複数の前記会場端末(C)は、前記視聴者映像送信サーバ(F)からの複数の前記視聴端末(D)からの視聴者映像のうち前記モニタ(A)に出力する視聴者映像を操作者が手動で「映像信号と音声信号」、「映像信号のみ」、「音声信号のみ」、「出力しない」のいずれかの選択するための視聴者映像選択ステップ(g)を有する計算機である双方向ライブ配信システムに実行させるプログラム。
【請求項10】
1または複数の前記会場端末(C)は視聴者または前記視聴端末(D)を識別する視聴者識別情報を保持する視聴者識別情報保持ステップ(h)をさらに実行させ
前記視聴者映像選択ステップ(g)は、前記視聴者識別情報を用いて前記視聴者映像を選択するように構成されている請求項9記載のプログラム
【請求項11】
前記視聴者識別情報保持ステップ(h)は、前記視聴者識別情報と、当該視聴者識別情報で識別される前記視聴者の権限を示す情報である権限情報と、を関連付けて保持する権限情報保持サブステップ(j)をさらに実行させる、請求項10に記載のプログラム
【請求項12】
1または複数の前記会場端末(C)は、1または複数の前記会場端末(C)の操作者から前記モニタ(A)に出力されている前記視聴者映像の映像信号を遮断する命令である遮断命令を受付ける映像信号遮断命令受付ステップ(k)をさらに実行させ
前記視聴者映像選択ステップ(g)は、前記映像信号遮断命令受付ステップ(k)で前記遮断命令を受付けた前記視聴者映像の映像信号の選択を終了する遮断命令実行サブステップ(l)をさらに実行させる
請求項9から請求項11のいずれか一に記載のプログラム
【請求項13】
1または複数の前記会場端末(C)は、
ハウリングが生じた場合に、ハウリングの原因となった視聴者映像(特に音声信号)を、ハウリングを起こしている音声信号の周波数を元に探索し、探索の結果原因となった前記視聴者映像の遮断命令を発する遮断命令部を、さらに有し、
前記視聴者映像選択部(G)は、前記遮断命令部で発せられた前記遮断命令の「映像信号と音声信号」又は「音声信号」の選択を終了する遮断命令実行手段(L)を有する、
請求項1から請求項3のいずれか一に記載の双方向ライブ配信システム。
【請求項14】
1または複数の前記会場端末(C)は、
ハウリングが生じた場合に、ハウリングの原因となった視聴者映像(特に音声信号)を、ハウリングを起こしている音声信号の周波数を元に探索し、探索の結果原因となった前記視聴者映像の遮断命令を発する遮断命令ステップを、さらに有し、
前記視聴者映像選択ステップ(g)は、前記遮断命令ステップで発せられた前記遮断命令の「映像信号と音声信号」又は「音声信号」の選択を終了する遮断命令実行サブステップ(l)を有する、
請求項5から請求項7のいずれか一に記載の動作方法。
【請求項15】
1または複数の前記会場端末(C)は、
ハウリングが生じた場合に、ハウリングの原因となった視聴者映像(特に音声信号)を、ハウリングを起こしている音声信号の周波数を元に探索し、探索の結果原因となった前記視聴者映像の遮断命令を発する遮断命令ステップを、さらに実行させ、
前記視聴者映像選択ステップ(g)は、前記遮断命令ステップで発せられた前記遮断命令の「映像信号と音声信号」又は「音声信号」の選択を終了する遮断命令実行サブステップ(l)をさらに実行させる、
請求項9から請求項11のいずれか一に記載のプログラム。