(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022156116
(43)【公開日】2022-10-14
(54)【発明の名称】コンテンツ配信システム及びプログラム
(51)【国際特許分類】
H04N 21/233 20110101AFI20221006BHJP
H04N 21/258 20110101ALI20221006BHJP
G10K 15/02 20060101ALI20221006BHJP
G06F 13/00 20060101ALI20221006BHJP
A63F 13/86 20140101ALI20221006BHJP
【FI】
H04N21/233
H04N21/258
G10K15/02
G06F13/00 540A
A63F13/86
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021059648
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】000134855
【氏名又は名称】株式会社バンダイナムコエンターテインメント
(71)【出願人】
【識別番号】519180002
【氏名又は名称】株式会社バンダイナムコ研究所
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(72)【発明者】
【氏名】石井 みどり
【テーマコード(参考)】
5B084
5C164
5D208
【Fターム(参考)】
5B084AA01
5B084AA12
5B084AB04
5B084AB07
5B084AB13
5B084AB31
5B084BA03
5B084BB14
5B084CB06
5B084CB22
5B084CE02
5B084CF13
5B084DB02
5B084DB08
5B084DC02
5B084DC03
5B084DC13
5C164FA22
5C164PA41
5C164SB04P
5C164SB21S
5C164SB29S
5C164SC11P
5C164YA11
5C164YA21
5D208BA01
5D208BA10
5D208BB02
5D208BB03
5D208BB07
5D208BD02
5D208BD03
(57)【要約】
【課題】音声による視聴者の参加行動が可能な視聴コンテンツの配信を実現できるコンテンツ配信システム等の提供。
【解決手段】コンテンツ配信システムは、視聴コンテンツを視聴者端末の視聴者が視聴するための配信処理を行う配信処理部と、視聴コンテンツに対する視聴者の参加行動として、視聴者設定又はシステム設定の音声による参加行動を受け付ける受け付け部と、視聴者の参加行動のタイミングにおける視聴コンテンツの状況に基づいて、参加行動での音声の内容の変更処理、音声の出力タイミングの変更処理、音声の音色の変更処理、及び音声の音量の制御処理の少なくとも1つを行う音処理部と、を含む。
【選択図】
図8
【特許請求の範囲】
【請求項1】
視聴コンテンツを視聴者端末の視聴者が視聴するための配信処理を行う配信処理部と、
前記視聴コンテンツに対する前記視聴者の参加行動として、視聴者設定又はシステム設定の音声による前記参加行動を受け付ける受け付け部と、
前記視聴者の前記参加行動のタイミングにおける前記視聴コンテンツの状況に基づいて、前記参加行動での前記音声の内容の変更処理、前記音声の出力タイミングの変更処理、前記音声の音色の変更処理、及び前記音声の音量の制御処理の少なくとも1つを行う音処理部と、
を含むことを特徴とするコンテンツ配信システム。
【請求項2】
請求項1において、
前記音処理部は、
前記音声を、前記視聴コンテンツの曲の曲調又はジャンルに応じた内容、音色又は音量の音声に変更することを特徴とするコンテンツ配信システム。
【請求項3】
請求項1又は2において、
前記音処理部は、
前記視聴コンテンツに設定された設定タイミングと、前記視聴者の前記参加行動のタイミングとを判断して、前記音声の出力タイミングを、前記設定タイミングに近づける変更処理を行うことを特徴とするコンテンツ配信システム。
【請求項4】
請求項1又は2において、
前記音処理部は、
前記視聴者の前記参加行動のタイミングと、他の視聴者の参加行動のタイミングとを判断して、前記視聴者の前記参加行動のタイミングと前記他の視聴者の前記参加行動のタイミングとに基づき設定される代表タイミングにおいて、前記音声が出力されるように、前記音声の出力タイミングの変更処理を行うことを特徴とするコンテンツ配信システム。
【請求項5】
請求項1乃至4のいずれかにおいて、
前記音処理部は、
前記視聴者の前記参加行動での前記音声と、他の視聴者の参加行動での音声が前記視聴者端末において出力される場合に、前記音声の音量及び前記他の視聴者の音声の音量の少なくとも一方を変更する音量制御処理を行うことを特徴とするコンテンツ配信システム。
【請求項6】
請求項1乃至5のいずれかにおいて、
前記音処理部は、
前記視聴コンテンツに設定された設定タイミングと、前記視聴者の前記参加行動のタイミングとを判断して、前記設定タイミングと前記参加行動のタイミングの合致度合いに応じた、前記音声の音量制御処理を行うことを特徴とするコンテンツ配信システム。
【請求項7】
請求項1乃至6のいずれかにおいて、
前記音処理部は、
前記視聴者の前記参加行動のタイミングに対応するタイミングにおいて参加行動を行った他の視聴者の参加人数に応じた、前記音声の音量制御処理を行うことを特徴とするコンテンツ配信システム。
【請求項8】
請求項1乃至7のいずれかにおいて、
前記受け付け部は、
前記視聴者により選択又は入力されたフレーズと、システム設定の音色とに基づき生成された音声を、前記参加行動での前記音声として受け付けることを特徴とするコンテンツ配信システム。
【請求項9】
請求項1乃至7のいずれかにおいて、
前記受け付け部は、
前記視聴者により選択又は入力されたフレーズと、前記視聴者の入力音声の音色とに基づき生成された音声を、前記参加行動での前記音声として受け付けることを特徴とするコンテンツ配信システム。
【請求項10】
視聴コンテンツを視聴者端末の視聴者が視聴するための配信処理を行う配信処理部と、
前記視聴コンテンツに対する前記視聴者の参加行動として、視聴者設定又はシステム設定の音声による前記参加行動を受け付ける受け付け部と、
前記視聴者の前記参加行動のタイミングにおける前記視聴コンテンツの状況に基づいて、前記参加行動での前記音声の内容の変更処理、前記音声の出力タイミングの変更処理、前記音声の音色の変更処理、及び前記音声の音量の制御処理の少なくとも1つを行う音処理部として、
コンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ配信システム及びプログラム等に関する。
【背景技術】
【0002】
近年、インターネット等のネットワークを介してコンテンツの配信を行うコンテンツ配信システムが人気を集めている。このようなコンテンツ配信システムの従来技術としては例えば特許文献1に開示されるシステムが知られている。特許文献1には、視聴コンテンツに対する視聴者の参加行動である投げ銭を、視聴コンテンツの配信者に対して行うためのGUI(Graphical User Interface)が開示されている。また特許文献2には、プレーヤが音楽に合わせて演出操作を楽しむ音楽演出ゲーム機が開示されている。この特許文献2には、曲の進行状況に応じて操作部の入力音を変化させる手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-182546号公報
【特許文献2】特開平11-151380号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
これまでのコンテンツ配信システムは、視聴者の参加行動である投げ銭は、コメントやスタンプによる投げ銭であり、音声による視聴者の参加行動については提案されていなかった。
【0005】
本実施形態の幾つかの態様によれば、音声による視聴者の参加行動が可能な視聴コンテンツの配信を実現できるコンテンツ配信システム及びプログラム等を提供できる。
【課題を解決するための手段】
【0006】
本開示の一態様は、視聴コンテンツを視聴者端末の視聴者が視聴するための配信処理を行う配信処理部と、前記視聴コンテンツに対する前記視聴者の参加行動として、視聴者設定又はシステム設定の音声による前記参加行動を受け付ける受け付け部と、前記視聴者の前記参加行動のタイミングにおける前記視聴コンテンツの状況に基づいて、前記参加行動での前記音声の内容の変更処理、前記音声の出力タイミングの変更処理、前記音声の音色の変更処理、及び前記音声の音量の制御処理の少なくとも1つを行う音処理部と、を含むコンテンツ配信システムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0007】
本開示の一態様によれば、視聴コンテンツに対する音声による参加行動が受け付けられるため、視聴コンテンツに対する聴覚的な演出等が可能になる。また参加行動のタイミングにおける視聴コンテンツの状況に基づいて、音声の内容、出力タイミング又は音色の変更処理が行われたり、音量の制御処理が行われる。従って、視聴コンテンツの状況に応じた内容、出力タイミング、音色又は音量の音声による視聴者の参加行動が可能な視聴コンテンツの配信を実現できるコンテンツ配信システム等の提供が可能になる。
【0008】
また本開示の一態様では、前記音処理部は、前記音声を、前記視聴コンテンツの曲の曲調又はジャンルに応じた内容、音色又は音量の音声に変更してもよい。
【0009】
このようにすれば、視聴コンテンツの曲の曲調又はジャンルに合う内容、音色又は音量で、参加行動での音声を出力できるようになる。
【0010】
また本開示の一態様では、前記音処理部は、前記視聴コンテンツに設定された設定タイミングと、前記視聴者の前記参加行動のタイミングとを判断して、前記音声の出力タイミングを、前記設定タイミングに近づける変更処理を行ってもよい。
【0011】
このようにすれば、視聴コンテンツの設定タイミングに対応するタイミングで、参加行動での音声を出力できるようになる。
【0012】
また本開示の一態様では、前記音処理部は、前記視聴者の前記参加行動のタイミングと、他の視聴者の参加行動のタイミングとを判断して、前記視聴者の前記参加行動のタイミングと前記他の視聴者の前記参加行動のタイミングとに基づき設定される代表タイミングにおいて、前記音声が出力されるように、前記音声の出力タイミングの変更処理を行ってもよい。
【0013】
このようにすれば、視聴者の参加行動での音声と他の視聴者の参加行動での音声を、同じ代表タイミングにおいて集約させて出力できるようになる。
【0014】
また本開示の一態様では、前記音処理部は、前記視聴者の前記参加行動での前記音声と、他の視聴者の参加行動での音声が前記視聴者端末において出力される場合に、前記音声の音量及び前記他の視聴者の音声の音量の少なくとも一方を変更する音量制御処理を行ってもよい。
【0015】
このようにすれば、視聴者の参加行動での音声の音量と他の視聴者の参加行動での音声の音量の割合が適切な出力割合になるように音量制御処理を行うことが可能になる。
【0016】
また本開示の一態様では、前記音処理部は、前記視聴コンテンツに設定された設定タイミングと、前記視聴者の前記参加行動のタイミングとを判断して、前記設定タイミングと前記参加行動のタイミングの合致度合いに応じた、前記音声の音量制御処理を行ってもよい。
【0017】
このようにすれば、視聴コンテンツの設定タイミングと、視聴者の音声による参加行動のタイミングの合致度合いに応じた音声の音量制御を実現できるようになる。
【0018】
また本開示の一態様では、前記音処理部は、前記視聴者の前記参加行動のタイミングに対応するタイミングにおいて参加行動を行った他の視聴者の参加人数に応じた、前記音声の音量制御処理を行ってもよい。
【0019】
このようにすれば、視聴コンテンツに対する音声による参加行動の参加人数に応じた音声の音量制御を実現できるようになる。
【0020】
また本開示の一態様では、前記受け付け部は、前記視聴者により選択又は入力されたフレーズと、システム設定の音色とに基づき生成された音声を、前記参加行動での前記音声として受け付けてもよい。
【0021】
このようにすれば、視聴者が選択又は入力したフレーズを、システム設定の音色で、参加行動での音声として出力できるようになる。
【0022】
また本開示の一態様では、前記受け付け部は、前記視聴者により選択又は入力されたフレーズと、前記視聴者の入力音声の音色とに基づき生成された音声を、前記参加行動での前記音声として受け付けてもよい。
【0023】
このようにすれば、視聴者が選択又は入力したフレーズを、視聴者の入力音声に基づく音色で、参加行動での音声として出力できるようになる。
【図面の簡単な説明】
【0024】
【
図1】
図1(A)~
図1(F)は本実施形態のコンテンツ配信システムを実現するハードウェア装置の説明図。
【
図2】本実施形態のコンテンツ配信システムの構成例。
【
図7】
図7(A)、
図7(A)も音声の設定手法の他の例の説明図。
【
図8】本実施形態の処理を説明するフローチャート。
【
図9】視聴コンテンツの曲の曲調又はジャンルに応じて音声の音量を制御する処理を説明するフローチャート。
【
図10】視聴コンテンツの設定タイミングと視聴者の参加行動タイミングに基づき音声の出力タイミングを制御する処理を説明するフローチャート。
【
図11】視聴コンテンツの設定タイミングと視聴者の参加行動タイミングに基づき音声の出力タイミングを制御する手法の説明図。
【
図12】視聴者の参加行動タイミングと他の視聴者の参加行動タイミングに基づき音声の出力タイミングを制御する手法の説明図。
【
図13】視聴者の音声や他の視聴者の音声の音量を変更する処理を説明するフローチャート。
【
図14】視聴者の参加行動タイミングと視聴コンテンツの設定タイミングの合致度合いに基づき音声の音量を制御する処理を説明するフローチャート。
【
図15】視聴者の参加人数に基づき音声の音量を制御する処理を説明するフローチャート。
【発明を実施するための形態】
【0025】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。
【0026】
1.コンテンツ配信システム
まず、
図1(A)~
図1(F)を用いて、本実施形態のコンテンツ配信システムを実現するハードウェア装置について説明する。
【0027】
図1(A)では、サーバシステム500(情報処理システム)が、ネットワーク510を介して端末装置TM1~TMnと通信接続されている。例えばサーバシステム500はホストであり、端末装置TM1~TMnはクライアントである。なお、本実施形態のコンテンツ配信システム及びその処理は、サーバシステム500により実現してもよいし、或いはサーバシステム500と端末装置TM1~TMnの分散処理により実現してもよい。
【0028】
また本実施形態のコンテンツ配信システム及び処理は、ブロックチェーンの手法により実現することも可能である。例えばイーサリウム(Ethereum)で実行可能なスマートコントラクトと呼ばれるプログラムを用いて、本実施形態のコンテンツ配信システムの各処理を実行してもよい。この場合には端末装置TM1~TMnはピア・ツー・ピアで接続されることになる。また端末装置TM1~TMnの間で通信されるコンテンツ情報等の各種の情報は、ブロックチェーンを用いて転送されることになる。なお、以下では、TM1~TMnの各端末装置を、適宜、端末装置TMと記載する。
【0029】
サーバシステム500は例えば1又は複数のサーバ(管理サーバ、ゲーム配信サーバや動画配信サーバなどのコンテンツ配信サーバ、課金サーバ、サービス提供サーバ、認証サーバ、データベースサーバ、又は通信サーバ等)により実現できる。このサーバシステム500は、コンテンツ配信を運営するための各種サービスを提供し、視聴コンテンツの配信に必要なデータの管理や、クライアントプログラム及び各種データ等の配信を行うことができる。これにより視聴者は、視聴者端末である端末装置TMによりサーバシステム500にアクセスし、当該サーバシステム500から提供される視聴コンテンツの視聴が可能になる。またサーバシステム500の処理により、視聴者に視聴コンテンツを配信する配信機能、視聴コンテンツに対する視聴者の投げ銭等の参加行動(投稿)を可能にする参加行動機能(投稿機能)などが実現される。配信者は例えば視聴コンテンツの演者などである。またサーバシステム500の処理により、課金アイテムなどの仮想電子媒体のオンラインショッピング機能、オンラインゲームをプレイ可能にするゲーム提供機能、ユーザの登録やユーザ別の情報を管理するユーザ管理機能などが実現される。
【0030】
ネットワーク510(配信網、通信回線)は、例えばインターネットや無線LAN等を利用した通信路であり、直接接続のための専用線(専用ケーブル)やイーサネット(登録商標)等によるLANの他、電話通信網やケーブル網や無線LAN等の通信網を含むことができる。また通信方法については有線/無線を問わない。
【0031】
端末装置TM(ユーザ端末)は、例えばネット接続機能(インターネット接続機能)を有する端末である。これらの端末装置TMとしては、例えば
図1(B)に示すスマートフォンや携帯電話機などの携帯型通信端末、
図1(C)に示す携帯型ゲーム装置、
図1(D)に示す家庭用ゲーム装置(据え置き型)、
図1(E)に示す業務用ゲーム装置、或いは
図1(F)に示すパーソナルコンピュータ(PC)やタブレット型PCなどの情報処理装置などの種々の装置を用いることができる。或いは、端末装置TMとして、ユーザの頭部や腕などの部位に装着されるウェアラブル機器(HMD、ウォッチ型機器等)を用いてもよい。
【0032】
図2に本実施形態のコンテンツ配信システムの構成例を示す。なお、コンテンツ配信システムの構成は
図2に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0033】
コンテンツ配信システムは、処理部100と記憶部170と通信部196を含む。このコンテンツ配信システムは、例えば
図1(A)のサーバシステム500により実現することができ、ネットワーク510を介して、端末装置TMである配信者端末TMPや視聴者端末TMA~TMAmに通信接続されている。なお、以下では、TMA1~TMAnの各視聴者端末を、適宜、視聴者端末TMAと総称する。
【0034】
処理部100(プロセッサ)は、記憶部170に記憶される各種の情報、プログラム、又は操作情報等に基づいて、配信処理、受け付け処理、管理処理、表示処理、或いは音処理などを行う。
【0035】
処理部100の各部が行う本実施形態の各処理(各機能)はプロセッサ(ハードウェアを含むプロセッサ)により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリーにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された1又は複数の回路装置(例えばIC等)や、1又は複数の回路素子(例えば抵抗、キャパシタ等)で構成することもできる。プロセッサは、例えばCPU(Central Processing Unit)であってもよい。但し、プロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリー(記憶部)は、SRAM、DRAM等の半導体メモリーであってもよいし、レジスターであってもよい。或いはハードディスク装置(HDD)等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部100の各部の処理(機能)が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0036】
処理部100は、配信処理部102、受け付け部104、管理部118、表示処理部120、音処理部130を含む。なお処理部100の構成はこれに限定されず、これらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0037】
配信処理部102は種々の配信処理を行う。具体的には配信処理部102は、視聴コンテンツを視聴者端末TMAの視聴者が視聴するための配信処理を行う。例えば配信処理部102は、通信部196を用いた情報の送信処理を行う。具体的には配信処理部102は、通信部196、ネットワーク510を介して視聴者端末TMAや配信者端末TMPに情報を送信する処理を行う。視聴者端末TMAに送信する情報は、例えば視聴コンテンツの情報などである。また配信者端末TMPに送信する情報は、例えば視聴者端末TMAからのフィードバック情報などである。視聴コンテンツの情報は、例えば後述する
図3の表示部290に表示画像(映像)を表示するための情報や、音出力部292から音声、楽曲又は効果音などの出力音を出力するための情報である。例えば配信処理部102は、視聴コンテンツのストリーミング配信を行う。ストリーミング配信はストリーミング処理による動画配信である。或いは配信処理部102は、視聴コンテンツを視聴者端末TMAにおいて再生するための再生用情報を用いて、視聴コンテンツを視聴者端末TMAに配信してもよい。再生用情報は、例えば配信者が配信者端末TMPを用いて入力した入力情報や、演者である配信者のパフォーマンスを再生するための情報である。また配信処理部102は、通信部196を用いた情報の受信処理を行うこともできる。具体的には配信処理部102は、通信部196、ネットワーク510を介して配信者端末TMPや視聴者端末TMAから情報を受信する処理を行う。配信者端末TMPから受信する情報は、例えば配信者が配信する視聴コンテンツの情報である。視聴者端末TMAから受信する情報は、例えば視聴者が視聴者端末TMAを用いて入力した入力情報であり、例えば視聴コンテンツに対する視聴者の参加行動情報などである。参加行動情報は視聴者の投稿情報とも呼ばれる。
【0038】
また配信処理部102は種々のコンテンツ処理を行ってもよい。例えば配信処理部102は、配信者による配信者端末TMPの操作に基づき進行する視聴コンテンツの情報の生成処理を行ってもよい。即ち、視聴コンテンツを進行させる処理を行って、視聴コンテンツの情報を生成する処理を行う。例えば配信処理部102は、ユーザがゲームをプレイするためのゲーム処理を行って、視聴コンテンツであるゲームコンテンツの情報を生成してもよい。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績等のゲーム結果を演算する処理などである。ブラウザゲームを例にとれば、配信処理部102は、ユーザの各種の情報をユーザごとに管理することで、ユーザごとにゲームの進行を制御する。ユーザの情報はユーザ情報記憶部174に記憶される。例えば、ゲームサービスを提供するウェブサイトを構成するウェブページを、配信者端末TMPや視聴者端末TMAなどの端末装置TMからの要求に応じて、端末装置TMに表示させる。具体的には端末装置TMが備えるウェブブラウザによりウェブページが表示される。表示されたウェブページのハイパーリンクがユーザにより選択されると、ハイパーリンクに対応する新たなHTMLデータが端末装置TMに送信され、端末装置TMでは新たなHTMLデータに基づくウェブページが表示される。このように、ウェブページが、ユーザの操作に応じて端末装置TMに順次に提供されることで、端末装置TMでのユーザの操作に基づきゲームを進行させることが可能になる。この場合に配信処理部102が生成する表示画像情報は例えばHTMLデータなどである。
【0039】
受け付け部104は各種の受け付け処理を行う。例えば受け付け部104は、配信者が配信者端末TMPで入力した情報の受け付け処理を行ったり、視聴者が視聴者端末TMAで入力した情報の受け付け処理を行う。受け付け部104の詳細については後述する。
【0040】
管理部118は、例えばユーザの認証処理を行う。例えば端末装置TMを用いてログインしたユーザの認証処理を行う。この認証処理は、例えばユーザが入力するパスワードやアカウント情報などに基づいて行う。また管理部118は、種々の課金処理を行う。例えば課金の決定処理、課金データの作成処理、保存処理等を行う。また管理部118は、各種の管理処理を行う。例えば各種サービスの管理処理や、各種情報の管理処理を行う。管理部118は例えば管理サーバにより実現できる。
【0041】
例えばユーザは、
図1(A)のサーバシステム500等が提供するサービスを利用するために、所定の手続きを行ってアカウントを取得する。取得したアカウントと対応づけられるパスワードを入力してログインすることで、ユーザは、ライブ配信や、ソーシャルゲームやオンライゲームのプレイや、ライブ配信用サイトやゲーム用サイトでのサービスや、アイテム等のオンライショッピングや、ユーザ間でのメッセージ交換や、フレンドユーザの登録などの各種サービスを利用できるようになる。管理部118は、このようなユーザのアカウント情報の管理処理等も行う。
【0042】
表示処理部120は、配信者端末TMPや視聴者端末TMAである
図3の端末装置TMの表示部290に画像を表示するための処理を行う。例えばHTMLデータ等の表示画像情報(画像生成用データ)を、通信部196、ネットワーク510を介して端末装置TMに送信し、端末装置TMの表示部290に、表示画像情報に対応する画像を表示するための処理を行う。
【0043】
音処理部130は、端末装置TMの音出力部292から音を出力するための処理を行う。例えば、出力音情報(音生成用データ)を、通信部196、ネットワーク510を介して端末装置TMに送信し、端末装置TMの音出力部292から、出力音情報に対応する音(音声、音楽、ゲーム音、効果音)を出力するための処理を行う。
【0044】
記憶部170は、処理部100や通信部196などのワーク領域となるものであり、その機能は、半導体メモリー、HDD、SSD、光ディスク装置などにより実現できる。記憶部170は、コンテンツ情報記憶部172、ユーザ情報記憶部174を含む。コンテンツ情報記憶部172は、コンテンツ配信の対象となる視聴コンテンツの情報を記憶する。視聴コンテンツは、エンターテインメントコンテンツであり、例えばゲームコンテンツ、バーチャルリアルティ(VR)のコンテンツ、或いは動画配信のコンテンツなどである。例えば視聴コンテンツはライブコンテンツである。ライブコンテンツとしては、例えば、配信者のゲームプレイの様子を実況するゲーム実況コンテンツ(ゲーム実演コンテンツ)や、実世界のアイドル、歌手、バンド又は役者等やこれらに対応するVRキャラクタのパフォーマンスを実況するパフォーマンス実況コンテンツなどがある。視聴コンテンツの情報は、視聴コンテンツを視聴者端末TMAにおいて視聴者が視聴するための各種の情報であり、例えば表示画像情報(動画情報)、出力音情報、或いはコンテンツの進行のためのコンテンツシーケンスの情報などである。ユーザ情報記憶部174は、ユーザについての各種の情報を記憶する。例えばユーザ情報記憶部174は、ユーザの個人情報(名前、性別、生年月日、メールアドレス等)をユーザ情報として記憶する。例えば、ユーザのアカウント情報(ユーザID)もユーザ情報として記憶される。例えば課金処理の対象となる課金情報は、各ユーザの各アカウント情報に対応づけられる。
【0045】
通信部196は、外部装置との間で通信を行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。例えば通信インターフェースである通信部196は、ネットワーク510を介して配信者端末TMPや視聴者端末TMAなどの端末装置TMと通信するための各種の通信処理を行う。
【0046】
また
図2のコンテンツ配信システムは、本実施形態のプログラムに基づいて本実施形態の各処理を行う。このプログラムは、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)である。このプログラムは例えば情報記憶媒体に記憶される。即ち本実施形態のコンテンツ配信システムは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。コンピュータにより読み取り可能な媒体である情報記憶媒体は、プログラムやデータなどを格納するものであり、その機能は、光ディスク、HDD、半導体メモリーなどにより実現できる。なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、サーバシステム500(ホスト装置)が有する情報記憶媒体からネットワーク510を介して配信してもよい。このようなサーバシステム500による情報記憶媒体の使用も本実施形態の範囲内に含めることができる。
【0047】
図3に端末装置TMの構成例を示す。端末装置TMは、処理部200、操作部260、インターフェース部262、記憶部270、情報記憶媒体280、表示部290、音出力部292、通信部296を含む。なお端末装置TMの構成は
図3に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0048】
処理部200(プロセッサ)は、操作部260からの操作情報やプログラムなどに基づいて、コンテンツ配信システムにおける端末側の処理を実行する。例えばコンテンツ配信のための処理やゲーム処理などを実行する。処理部200は、前述した
図2の処理部100と同様に、プロセッサ等により実現できる。なお、本実施形態のコンテンツ配信システムの各処理はサーバシステム500と端末装置TMの分散処理により実現してもよい。
【0049】
操作部260は、ユーザが、操作情報等の種々の情報を入力するためのものであり、その機能は、操作ボタン、方向指示キー、アナログスティック、レバー、各種センサ(角速度センサ、加速度センサ等)、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。インターフェース部262は、外部機器とのインターフェース処理を行うものであり、例えば所定のインターフェース規格により外部機器と通信する処理を行う。またインターフェース部262は、ユーザについての各種の情報が保存されるICカード(メモリーカード)、USBメモリー又は磁気カード等の携帯型情報記憶媒体とのインターフェース処理を行う。インターフェース部262の機能は、例えばインターフェース処理用ASIC又はインターフェース処理用プロセッサなどのハードウェアや、インターフェース処理用ファームウェアにより実現できる。
【0050】
記憶部270は、処理部200や通信部296などのワーク領域となるものであり、その機能は、半導体メモリー、HDD、SSD、光ディスク装置などにより実現できる。情報記憶媒体280(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク、HDD、半導体メモリーなどにより実現できる。処理部200は、情報記憶媒体280に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。この情報記憶媒体280に、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)を記憶できる。
【0051】
表示部290は、本実施形態により生成された画像を出力するものであり、その機能は、LCD、有機ELディスプレイ、CRT、或いはHMDなどにより実現できる。音出力部292は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。通信部296(通信インターフェース)は、ネットワーク510を介してサーバシステム500や他の端末装置等の外部装置との間で通信を行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【0052】
そして
図2に示すように、本実施形態のコンテンツ配信システム(サーバシステム)は、配信処理部102と受け付け部104と音処理部130を含む。
【0053】
配信処理部102は、視聴コンテンツを視聴者端末TMAの視聴者が視聴するための配信処理を行う。例えば配信処理部102は、視聴者端末TMAへの視聴コンテンツの情報の送信処理を行う。また配信処理部102は、配信者端末TMPからの視聴コンテンツの情報の受信処理を行ってもよい。
【0054】
受け付け部104は、視聴コンテンツに対する視聴者の参加行動を受け付ける処理を行う。視聴コンテンツに対する視聴者の参加行動は、視聴者が視聴コンテンツを単に視聴するだけではなく、視聴コンテンツに対して視聴者が能動的に行動を行って影響を及ぼすような行動である。視聴者の参加行動によって、例えば視聴コンテンツの画像又は音等のコンテンツ内容が変化したり、コンテンツ進行が変化する。この参加行動は、例えば視聴者が視聴者端末TMAを用いて入力した入力情報に基づいて行われ、受け付け部104は、この参加行動についての視聴者の入力情報の受け付け処理を行う。例えばコンテンツ配信システムにおいては、視聴コンテンツの視聴者が、視聴コンテンツ又は配信者への称讃や、視聴コンテンツを配信する配信者への応援のために、コメントを投稿したり、スタンプ等のアイテムを提供する参加行動を行う。このようなコメントの投稿やアイテムの提供は、ストリートパフォーマーへの観客からの寄附にあやかって「投げ銭」と呼ばれたり、「ギフト」等と呼ばれている。
【0055】
そして本実施形態では、受け付け部104は、視聴コンテンツに対する視聴者の参加行動として、視聴者設定又はシステム設定の音声による参加行動を受け付ける処理を行う。即ち受け付け部104は、スタンプ等のアイテムではなく、視聴者の音声による参加行動を受け付ける。例えば受け付け部104は、視聴者による音声の投げ銭を受け付ける。視聴者設定の音声は、例えば視聴者自身の声をベースにした音声である。この視聴者設定の音声は、視聴者が入力した音声に対して音声合成等の加工処理を施した音声であってもよい。システム設定の音声は、システム(コンテンツ配信システム)が用意した音声(デフォルトの音声)であり、例えばシステムが記憶部170に音声データとして保持している音声である。システム設定の音声は、システムが予め用意した音声に音声合成等の加工処理を施した音声であってもよい。また視聴者の参加行動となる音声は、視聴者設定及びシステム設定の両方の設定による音声であってもよい。
【0056】
そして音処理部130は、参加行動での音声の内容、出力タイミング又は音色の変更処理や、或いは音量の制御処理を行う。例えば音処理部130は、視聴者の参加行動のタイミングにおける視聴コンテンツの状況に基づいて、参加行動での音声の内容の変更処理、音声の出力タイミングの変更処理、音声の音色の変更処理、及び音声の音量の制御処理の少なくとも1つを行う。参加行動のタイミングにおける視聴コンテンツの状況は、参加行動のタイミングを含む所与の期間における視聴コンテンツの状況である。例えば受け付け部104が視聴者の参加行動を受け付けたタイミングが参加行動のタイミングであり、例えば参加行動タイミングの前後の一定期間における視聴コンテンツの状況が判断される。視聴コンテンツの状況は、視聴コンテンツの内容の状況、視聴コンテンツの進行状況、視聴コンテンツに対する視聴者の参加行動についての状況、視聴コンテンツに設定されるデータの状況又は視聴コンテンツの配信機器又は視聴機器の状況等である。視聴コンテンツの内容の状況は、例えば視聴コンテンツを構成する曲又は映像などのコンテンツ内容の状況である。音声の内容は、音声により表されるメッセージの内容又は種類等である。例えば音処理部130は、視聴コンテンツの状況が第1の状況である場合には、参加行動での音声として、第1の内容(第1のメッセージ)の音声を出力し、第2の状況である場合には、第2の内容(第2のメッセージ)の音声を出力する。また音処理部130は、視聴コンテンツの状況が第1の状況である場合には、参加行動での音声を第1の出力タイミングで出力し、第2の状況である場合には、参加行動での音声を第2の出力タイミングで出力する。また音処理部130は、視聴コンテンツの状況が第1の状況である場合には、参加行動での音声として、第1の音色の音声を出力し、第2の状況である場合には、第2の音色の音声を出力する処理を行う。また音処理部130は、視聴コンテンツの状況が第1の状況である場合には、参加行動での音声を、第1の音量で出力し、第2の状況である場合には、第2の音量で出力する処理を行う。
【0057】
また音処理部130は、参加行動での音声を、視聴コンテンツの曲の曲調又はジャンルに応じた内容、音色又は音量の音声に変更する。例えば音処理部130は、視聴コンテンツの曲が第1の曲調又は第1のジャンルである場合には、第1の曲調又は第1のジャンルに対応する内容(フレーズ)の音声を出力し、第2の曲調又は第2のジャンルである場合には、参加行動での音声として、第2の曲調又は第2のジャンルに対応する内容(フレーズ)の音声を出力する。これは例えば視聴コンテンツの曲の曲調又はジャンルに対して、参加行動での音声の内容(フレーズ)の情報を対応づけて記憶部170に記憶しておくことにより実現できる。また音処理部130は、視聴コンテンツの曲が第1の曲調又は第1のジャンルである場合には、参加行動での音声として、第1の音色の音声を出力し、第2の曲調又は第2のジャンルである場合には、第2の音色の音声を出力する処理を行う。これは例えば視聴コンテンツの曲の曲調又はジャンルに対して、参加行動での音声の音色の設定情報を対応づけて記憶部170に記憶しておくことで実現できる。また音処理部130は、視聴コンテンツの曲が第1の曲調又は第1のジャンルである場合には、参加行動での音声を、第1の音量で出力し、第2の曲調又は第2のジャンルである場合には、第2の音量で出力する処理を行う。これは例えば視聴コンテンツの曲の曲調又はジャンルに対して、参加行動での音声の音量の設定情報を対応づけて記憶部170に記憶しておくことで実現できる。例えば音処理部130は、視聴コンテンツの曲が、静かな曲調又は静かなジャンルの曲である場合には、参加行動での音声の音量を小さくし、視聴コンテンツの曲が、ノリが良かったり騒がしい曲調又はジャンルの曲である場合には、参加行動での音声の音量を大きくする処理を行う。
【0058】
また音処理部130は、視聴コンテンツに設定された設定タイミングと、視聴者の参加行動のタイミングとを判断して、音声の出力タイミングを、設定タイミングに近づける変更処理を行う。例えば視聴コンテンツに対しては、予め複数の設定タイミングが設定されている。これらの設定タイミングの情報は例えば視聴コンテンツに関連づけて記憶部170(コンテンツ情報記憶部172)に記憶されている。設定タイミングとしては、例えば視聴コンテンツにおいてコール等の音声が出力されるタイミングとして設定されているコールタイミングなどがある。そして音処理部130は、視聴コンテンツの複数の設定タイミングの各々と、視聴者の参加行動のタイミングを比較し、例えば複数の設定タイミングの中から、参加行動のタイミングに近い設定タイミングを検索する。そして音処理部130は、検索された設定タイミングに、音声の出力タイミングが近づくように、音声の出力タイミングを補正する変更処理を行う。そして音処理部130は、変更処理後の出力タイミングにおいて参加行動での音声が出力されるように制御する。例えば複数の視聴者が参加行動を行う場合に、これらの複数の視聴者の参加行動での音声の出力タイミングが、設定タイミングに集約されるように、複数の視聴者の参加行動での音声の出力タイミングを補正する変更処理を行う。
【0059】
また音処理部130は、視聴者の参加行動のタイミングと、他の視聴者の参加行動のタイミングとを判断して、視聴者の参加行動のタイミングと他の視聴者の参加行動のタイミングとに基づき設定される代表タイミングにおいて、音声が出力されるように、音声の出力タイミングの変更処理を行う。例えば音処理部130は、視聴者の参加行動のタイミングと、1又は複数の他の視聴者の参加行動のタイミングを判断して、これらの参加行動のタイミングから代表タイミングを設定する。代表タイミングは、視聴者と他の視聴者を含む複数の視聴者のいずれかの視聴者の参加行動のタイミングであってもよいし、複数の視聴者の参加行動のタイミングの平均値等に基づき求められるタイミングであってもよい。そして音処理部130は、視聴者の参加行動での音声と、他の視聴者の参加行動での音声が、この代表タイミングにおいて視聴者端末TMA等から出力されるように制御する。
【0060】
また音処理部130は、視聴者の参加行動での音声と、他の視聴者の参加行動での音声が視聴者端末において出力される場合に、視聴者の音声の音量及び他の視聴者の音声の音量の少なくとも一方を変更する音量制御処理を行う。例えば音処理部130は、視聴者の音声の音量及び他の視聴者の音声の音量の一方の音量を大きくしたり、他方の音量を小さくする音量制御処理を行う。例えば視聴者端末においては、視聴者の音声の音量を大きくしたり、他の視聴者の音声の音量を小さくする。一方、他の視聴者の視聴者端末においては、他の視聴者の音声の音量を大きくしたり、視聴者の音声の音量を小さくする。
【0061】
また音処理部130は、視聴コンテンツに設定された設定タイミングと、視聴者の参加行動のタイミングとを判断して、設定タイミングと参加行動のタイミングの合致度合いに応じた、音声の音量制御処理を行う。例えば音処理部130は、視聴コンテンツの設定タイミングと、視聴者の参加行動のタイミングとが、所与の範囲内で合致するかどうかを判断する合致度合いの判断処理を行う。設定タイミングと参加行動のタイミングとが所与の範囲内で合致したかは、例えば設定タイミングを含む所与の期間内(判定期間内)において、視聴者が参加行動を行ったかを検出することなどで判断できる。そして音処理部130は、設定タイミングと参加行動のタイミングとが所与の範囲内で合致した場合には、例えば視聴者の参加行動での音声の音量を大きくする音量制御処理を行う。また音処理部130は、設定タイミングと参加行動のタイミングとが所与の範囲内で合致しない場合には、例えば視聴者の参加行動での音声の音量を小さくする音量制御処理を行う。
【0062】
また音処理部130は、視聴者の参加行動のタイミングに対応するタイミングにおいて参加行動を行った他の視聴者の参加人数に応じた、音声の音量制御処理を行う。視聴者の参加行動のタイミングに対応するタイミングにおいて他の視聴者が参加行動を行ったかは、例えば視聴者の参加行動のタイミングを含む所与の期間内(判定期間内)において他の視聴者が参加行動を行ったかを検出することで判断できる。そして音処理部130は、視聴者の参加行動のタイミングに対応するタイミングにおいて参加行動を行った他の視聴者の参加人数に応じて、音声の音量を大きくしたり、音声の音量を小さくする音量制御処理を行う。例えば、所与の期間での視聴者の参加人数に応じて、音声の音量を大きくしたり、音声の音量を小さくする音量制御処理を行う。例えば音処理部130は、参加人数が少ない場合には、盛り上げ効果を狙って、各視聴者の音声の音量を大きくする。また参加人数が多い場合には、全体の音量が大きくなりすぎないように、各視聴者の音声の音量を小さくする。
【0063】
また受け付け部104は、視聴者により選択又は入力されたフレーズと、システム設定の音色とに基づき生成された音声を、参加行動での音声として受け付ける。例えば受け付け部104は、参加行動での音声のフレーズや音色を設定するための画面を、視聴者端末に表示するための処理を行う。そして受け付け部104は、当該画面に表示されたシステム設定の複数のフレーズの中から視聴者が選択したフレーズを受け付けたり、当該画面において視聴者が入力した視聴者設定のフレーズを受け付ける。また受け付け部104は、当該画面に表示されたシステム設定の音色の中から視聴者が選択した音色を受け付ける。そして受け付け部104は、このようにして視聴者により選択又は入力されたフレーズと、システム設定の音色とに基づき生成された音声を、参加行動での音声として受け付ける。例えば当該フレーズを、システム設定の音色に基づき再生(発話)した音声を、参加行動での音声として受け付ける。
【0064】
また受け付け部104は、視聴者により選択又は入力されたフレーズと、視聴者の入力音声の音色とに基づき生成された音声を、参加行動での音声として受け付ける。例えば受け付け部104は、参加行動での音声のフレーズや音色を設定するための画面を、視聴者端末に表示するための処理を行う。そして受け付け部104は、上記と同様に、当該画面に表示されたシステム設定の複数のフレーズの中から視聴者が選択したフレーズを受け付けたり、当該画面において視聴者が入力した視聴者設定のフレーズを受け付ける。また受け付け部104は、当該画面において、視聴者に自身の音声を、視聴者設定の音声として入力させることで、視聴者の入力音声の音色を取得する。そして受け付け部104は、このようにして視聴者により選択又は入力されたフレーズと、視聴者の入力音声の音色とに基づき生成された音声を、参加行動での音声として受け付ける。例えば当該フレーズを、視聴者の入力音声の音色に基づき再生(発話)した音声を、参加行動での音声として受け付ける。
【0065】
なお、以上に説明した
図2のコンテンツ配信システムや、配信処理、受け付け処理、表示処理、音処理などの本実施形態の各処理は、
図1(A)のサーバシステム500により実現したり、端末装置により実現したり、或いはサーバシステム500と端末装置の分散処理により実現するなどの種々の変形実施が可能である。例えばサーバシステムは、本実施形態の各処理を行うために必要な情報だけを処理したり、当該情報を端末装置に送信するだけの処理を行い、それ以外の処理については端末装置が実行するようにしてもよい。例えば端末装置に、本実施形態の各処理を行うためのプログラムをインストールし、インストールされたプログラムに基づき端末装置が本実施形態の各処理を実行してもよい。またコンテンツ配信システムはサーバシステム500以外の情報処理システムにより実現してもよい。
【0066】
2.本実施形態の手法
次に本実施形態の手法について詳細に説明する。
【0067】
2.1 音声による視聴コンテンツへの参加行動
コンテンツ配信システムでは、課金等により通常よりも豪華な視覚的演出が付加されたコメントやスタンプ等を、他の視聴者も視認できる形で配信中に表示する機能が設けられている。このようなコメントやスタンプは投げ銭と呼ばれており、視聴者は、投げ銭を投げる等の参加行動(投稿)を行って、演者である配信者に対して応援等のリアクションを行うことが可能になっている。そして、これまでの投げ銭等による参加行動は、コメントを投稿したりスタンプ等のアイテムを投入することにより行われていた。これに対して本実施形態では、視聴コンテンツへの参加行動として音声による参加行動が可能になっており、音声による投げ銭が可能になっている。即ち本実施形態では、従来のコンテンツ配信システムの投げ銭機能に、例えばライブのコールのような、エンターテインメントを楽しむユーザの一体感を演出できる聴覚的な投げ銭機能を付加する。これにより、コンテンツ配信システムによるエンターテインメントの興趣を高めることが可能になる。
【0068】
例えば
図4はVRのキャラクタCHによるライブ配信の例である。このライブ配信では、仮想空間の仮想フィールドVFLにおいて、VRのキャラクタCH(モデルオブジェクト)が種々のパフォーマンスを行う。例えばVRのキャラクタCHが、踊りながら、手を振ったり、ジャンプしたり、手拍子を打ったりするなどのパフォーマンスを行う。なお
図4にはVRのキャラクタCHによるライブ配信の例が示されているが、ライブ配信は、実世界のアイドル等によるライブの配信であってもよい。
【0069】
このようなライブ配信において、視聴者は、例えば「イェーイ」、「フッフッー」というような音声VC1、VC2による参加行動を行う。即ち視聴者は、コメントやスタンプによる投げ銭ではなく、視聴者設定又はシステム設定の音声VC1、VC2による投げ銭(広義には参加行動)を行う。これらの音声VC1、VC2は、例えば音声の投げ銭を行った視聴者の視聴者端末において音声出力される。また音声VC1、VC2は、他の視聴者の視聴者端末にも音声出力される。また音声VC1、VC2は配信者端末において音声出力されてもよく、例えばライブ配信の会場において音声出力されてもよい。コメントやスタンプによる投げ銭は、視聴コンテンツに対して視覚的な演出効果を付加するのに対して、本実施形態の音声による投げ銭は、視聴コンテンツに対して聴覚的な演出効果を付加する。例えばライブ配信の曲のコールタイミングにおいて、各視聴者がコールに対応する音声の投げ銭を行ったり、曲のサビ等の盛り上がり時において、各視聴者が歓声に対応する音声の投げ銭を行うことで、視聴者の一体感が高まり、ライブを盛り上げる等の演出効果を実現できる。
【0070】
図5に視聴者の参加行動となる音声の設定手法の例を示す。音声の投げ銭を行う場合に、
図5のような画面が表示され、A1に示すように、システム(コンテンツ配信システム)により用意された「イェーイ」、「フッフッー」、「ありがと~」、「サイコー」などのシステム設定の候補のフレーズが表示される。視聴者は、これらのシステム設定のフレーズの中から、所望の読み上げフレーズを選択する。また
図5の画面では、A2に示すように、システムにより用意された少年ボイスA、少年ボイスB、青年ボイスA、青年ボイスB、淑女ボイスの音色などのシステム設定の候補の音色が表示される。視聴者は、これらのシステム設定の音色の中から、所望の音色を選択する。そして例えばA3に示すように課金額などを設定して、A4に示す操作を行うことで、音声による投げ銭を行う。例えば
図5のA1では「フッフッー」のフレーズが選択され、A2では青年ボイスAの音色が選択されているため、「フッフッー」のフレーズを、青年ボイスAの音色で再生(発話)した音声の投げ銭が行われるようになる。
【0071】
図6、
図7(A)、
図7(B)に視聴者の参加行動となる音声の設定手法の他の例を示す。例えば
図6では、視聴者は、
図5のようにシステム設定のフレーズから選択するのではなく、所望する読み上げフレーズを、視聴者設定のフレーズとして自身で入力する。例えば視聴者は、視聴者端末の操作部等を用いてフレーズの文字を入力する。また
図6では、
図5と同様に、視聴者は、システムが予め用意したシステム設定の候補の音色の中から、所望の音色を選択する。このようにすることで、視聴者が入力した視聴者設定のフレーズを、システム設定の音色で再生した音声の投げ銭が行われるようになる。
【0072】
図7(A)では、
図5と同様に、視聴者は、システム設定の候補のフレーズの中から所望のフレーズを選択する。また視聴者は、自身の音声を録音することにより入力音声の入力を行う。この視聴者の入力音声により、参加行動の音声の音色が設定される。このようにすることで、システム設定のフレーズを、視聴者の入力音声に基づく視聴者設定の音色で再生した音声の投げ銭が行われるようになる。一方、
図7(B)では、視聴者は、視聴者端末の操作部等を用いてフレーズの文字を入力すると共に、自身の音声を録音することにより入力音声の入力を行う。このようにすることで、視聴者設定のフレーズを、視聴者の入力音声に基づく視聴者設定の音色で再生した音声の投げ銭が行われるようになる。
【0073】
以上のように本実施形態では、視聴者により選択又は入力されたフレーズと、システム設定の音色とに基づき生成された音声を、参加行動での音声として受け付ける。例えば
図5では、視聴者により選択されたシステム設定のフレーズと、システム設定の音色とに基づき生成された音声が、参加行動での音声として受け付けられている。また
図6では、視聴者により入力された視聴者設定のフレーズと、システム設定の音色とに基づき生成された音声が、参加行動での音声として受け付けられている。このようにすれば、視聴者が選択又は入力したフレーズを、システム設定の音色で、参加行動での音声として出力することが可能になる。例えばシステム設定の音色を用いることで、参加行動での音声の音色を、システム設定の音色で統一できるようになる。これにより、例えば視聴コンテンツの内容等に適した音色の音声での聴覚的な演出を実現することが可能になる。
【0074】
また本実施形態では、視聴者により選択又は入力されたフレーズと、視聴者の入力音声の音色とに基づき生成された音声を、参加行動での音声として受け付ける。例えば
図7(A)では、視聴者により選択されたシステム設定のフレーズと、視聴者の入力音声に基づく視聴者設定の音色とに基づき生成された音声が、参加行動での音声として受け付けられている。また
図7(B)では、視聴者により入力された視聴者設定のフレーズと、視聴者の入力音声に基づく視聴者設定の音色とに基づき生成された音声が、参加行動での音声として受け付けられている。このようにすれば、視聴者が選択又は入力したフレーズを、視聴者の入力音声に基づく音色で、参加行動での音声として出力することが可能になる。例えば視聴者の入力音声に基づく音色を用いることで、参加行動での音声の音色を、視聴者の音声をベースとした音色にすることが可能になる。従って、視聴者は、あたかも自分の声で応援等を行っているような感覚になり、視聴者の音声を反映させたリアルな音声による視聴コンテンツへの参加行動を実現できるようになる。
【0075】
2.2 本実施形態の処理例
図8は本実施形態の処理を説明するフローチャートである。まずコンテンツ配信システムは、視聴者が視聴コンテンツに対する参加行動として、音声による参加行動(投げ銭)を行ったかを判断し(ステップS1)、このような参加行動が行われた場合には、視聴者による音声での参加行動を受け付ける(ステップS2)。例えば
図5~
図7(B)で示すような画面において、視聴者が、音声のフレーズや音色などを設定して、視聴コンテンツに対する音声による参加行動を行った場合に、この参加行動を受け付ける。この音声は、
図5~
図7(B)で説明したように視聴者設定やシステム設定の音声である。そしてコンテンツ配信システムは、視聴者の参加行動のタイミングにおける視聴コンテンツの状況を取得する(ステップS3)。視聴者の参加行動のタイミングにおける視聴コンテンツの状況は、参加行動のタイミングを含む所与の期間(例えば当該タイミングの前後の一定期間)における視聴コンテンツの状況である。またコンテンツ配信システムは、視聴コンテンツの状況として、視聴コンテンツの内容の状況、進行状況、参加行動の状況、設定データの状況又は配信機器や視聴機器の状況などを取得する。そしてコンテンツ配信システムは、視聴者の参加行動のタイミングにおける視聴コンテンツの状況に基づいて、参加行動での音声の内容の変更処理、音声の出力タイミングの変更処理、音声の音色の変更処理、及び音声の音量の制御処理の少なくとも1つを行う。例えばコンテンツ配信システムは、視聴コンテンツの状況に応じて、視聴コンテンツを構成する曲又は映像などのコンテンツ内容を変化させたり、視聴者端末又は配信者端末での音声の出力タイミングを変化させたり、音声の音色を視聴コンテンツに対応する種々の音色に変化させたり、視聴者端末又は配信者端末での音声の出力の音量を変化させる。
【0076】
このように本実施形態によれば、視聴者が、視聴コンテンツに対して音声による参加行動を行うと、この参加行動が受け付けられる。このような視聴コンテンツに対する音声による参加行動が行われることで、視聴コンテンツに対する聴覚的な演出が可能になる。そして本実施形態では、参加行動のタイミングにおける視聴コンテンツの状況に基づいて、音声の内容、出力タイミング又は音色の変更処理が行われたり、音量の制御処理が行われる。従って、視聴コンテンツの状況に応じた内容、出力タイミング、音色又は音量の音声による視聴者の参加行動が可能な視聴コンテンツの配信を実現することが可能になる
【0077】
図9は、視聴コンテンツの曲の曲調又はジャンルに応じて音声の音量を制御する処理を説明するフローチャートである。まずコンテンツ配信システムは、視聴コンテンツの曲の曲調又はジャンルを取得する(ステップS11)。例えばコンテンツ配信システムは、視聴コンテンツの曲の曲調が、静かな曲調、にぎやかな曲調、明るい曲調、暗い曲調、バラードの曲調、切ない曲調、楽しい曲調、激しい曲調、穏やかな曲調、温かい曲調又は綺麗な曲調等なのかを取得する。またコンテンツ配信システムは、視聴コンテンツのジャンルが、ポップス、ロック、アイドル、パンク、ヒップホップ、クラブ、ハードロック、ラテン、クラッシック、イージーリスニング、又はニューエイジ等なのかを取得する。そしてコンテンツ配信システムは、参加行動での音声を、曲調又はジャンルに応じた内容、音色又は音量の音声に変更する(ステップS12)。
【0078】
このように本実施形態では、参加行動の音声を、視聴コンテンツの曲の曲調又はジャンルに応じた内容、音色又は音量の音声に変更する。このようにすれば、視聴コンテンツの曲の曲調又はジャンルに合う内容、音色又は音量で、参加行動の音声を出力できるようになり、曲調又はジャンルに合わないような内容、音色又は音量で、参加行動の音声が出力されてしまう事態を防止できる。例えばコンテンツ配信システムは、曲が静かな曲調である場合は、静かな曲調に合う内容(フレーズ)又は音色の音声に変更したり、音量を小さくする。曲がにぎやかな曲調である場合は、にぎやかな曲調に合う内容又は音色の音声に変更したり、音量を大きくする。また曲のジャンルがロックである場合には、ロックに合う内容又は音色の音声に変更したり、音量を大きくする。また曲のジャンルがクラッシックである場合には、クラッシックに合う内容又は音色の音声に変更したり、音量を小さくする。なお、視聴コンテンツの曲の情報に対しては、曲調やジャンルを示すメタデータが設定されており、このメタデータに対して音声の内容(フレーズ)、音色又は音量を設定するためのデータが対応づけられて、記憶部170に記憶されている。コンテンツ配信システムは、視聴コンテンツの曲に対応づけられているメタデータと、メタデータに対応づけられている音声の内容、音色又は音量の設定情報に基づいて、参加行動での音声を、曲調又はジャンルに応じた内容、音色又は音量の音声に変更する。また
図5~
図7(B)で説明したように、コンテンツ配信システムは、システム設定のフレーズ又は音色の候補を画面に表示する際には、視聴コンテンツの曲の曲調又はジャンルに対応づけられたフレーズ又は音色を、候補のフレーズ又は音色として表示するようにする。
【0079】
図10は、視聴コンテンツの設定タイミングと視聴者の参加行動タイミングに基づき音声の出力タイミングを制御する処理を説明するフローチャートである。まずコンテンツ配信システムは、視聴コンテンツに設定された複数の設定タイミング(コールタイミング)の中から、視聴者の参加行動(投げ銭)のタイミングに近い設定タイミングを特定する(ステップS21)。例えば視聴コンテンツの設定タイミングの中から、視聴者の参加行動のタイミングに近い設定タイミングを検索する処理を行う。そしてコンテンツ配信システムは、特定された設定タイミングに近づくように参加行動での音声の出力タイミングを変更する(ステップS22)。例えば
図11では、視聴コンテンツに対して設定タイミングTS1、TS2、TS3等が設定されている。
図11においてtの方向が時間軸の方向である。そして、視聴者の参加行動が検知されると、視聴コンテンツの設定タイミングTS1、TS2、TS3等の中から、視聴者の参加行動のタイミングに近い設定タイミングが検索される。
図11では、視聴者の参加行動のタイミングに近い設定タイミングとして、設定タイミングTS2が検索されたため、参加行動での音声の出力タイミングTQが設定タイミングTS2に近づくように変更される。これにより「フッフッー」という音声が、設定タイミングTS2に対応するタイミングで出力されるようになる。設定タイミングTS2に対応するタイミングは、例えば設定タイミングTS2と同一タイミング又は設定タイミングTS2に近いタイミングである。
【0080】
このように本実施形態では、視聴コンテンツに設定された設定タイミングと、視聴者の参加行動のタイミングとを判断して、音声の出力タイミングを、設定タイミングに近づける変更処理を行う。このようにすれば、視聴コンテンツの設定タイミングに対応するタイミングで、参加行動での音声を出力できるようになる。これにより例えば設定タイミングとの無関係のタイミングで、参加行動での音声が出力されてしまうのを防止できる。従って、設定タイミングと無関係のタイミングで参加行動での音声が出力されることで、視聴コンテンツの演出効果や雰囲気が阻害されてしまうなどの事態の発生を防止できるようになる。
【0081】
また本実施形態では、視聴者の参加行動のタイミングと、他の視聴者の参加行動のタイミングとを判断して、視聴者の参加行動のタイミングと他の視聴者の参加行動のタイミングとに基づき設定される代表タイミングにおいて、参加行動での音声が出力されるように、音声の出力タイミングの変更処理を行う。例えば
図12のTA1、TA2、TA3、TA4、TA5、TA6、TA7、TA8、TA9は、各々、視聴者AD1、AD2、AD3、AD4、AD5、AD6、AD7、AD8、AD9の参加行動のタイミングである。この場合に視聴者AD1、AD2、AD3の参加行動タイミングTA1、TA2、TA3の代表タイミングとしてTQ1が設定される。また視聴者AD4、AD5、AD6の参加行動タイミングTA4、TA5、TA6の代表タイミングとしてTQ2が設定され、視聴者AD7、AD8、AD9の参加行動タイミングTA7、TA8、TA9の代表タイミングとしてTQ3が設定される。例えば視聴者AD1~AD3のグループの代表タイミングはTQ1に設定され、視聴者AD4~AD6のグループの代表タイミングはTQ2に設定され、視聴者AD7~AD9のグループの代表タイミングはTQ3に設定される。そして視聴者AD1~AD3の参加行動での音声は、代表タイミングTQ1において出力され、視聴者AD4~AD6の参加行動での音声は、代表タイミングTQ2において出力され、視聴者AD7~AD9の参加行動での音声は、代表タイミングTQ3において出力される。例えば視聴者AD1を、自身の視聴者として、視聴者AD2、AD3を他の視聴者とした場合に、視聴者AD1の参加行動のタイミングと他の視聴者AD2、AD3の参加行動のタイミングとに基づき設定される代表タイミングTQ1において、視聴者AD1の参加行動での音声が出力されることになる。このようにすれば、視聴者AD1の参加行動での音声と他の視聴者AD2、AD3の参加行動での音声が、同じ代表タイミングTQ1において集約されて出力されるようになる。従って、視聴者AD1と他の視聴者AD2、AD3の参加行動での音声がバラバラのタイミングで出力されることで、参加行動の音声の出力に一体感がなくなってしまう事態を防止できるようになる。なお
図11に示すように視聴コンテンツに設定タイミングTS1、TS2、TS3が設定されている場合には、代表タイミングTQ1、TQ2、TQ3を設定タイミングに近づける変更処理を行うようにしてもよい。
【0082】
図13は、視聴者の音声や他の視聴者の音声の音量を変更する処理を説明するフローチャートである。まずコンテンツ配信システムは、他の視聴者の参加行動での音声データを取得する(ステップS31)。そしてコンテンツ配信システムは、例えば視聴者の音声の音量の方が他の視聴者の音声の音量よりも大きくなるように、視聴者の音声と他の視聴者の音声をミキシングする処理を行う(ステップS32)。そしてコンテンツ配信システムは、ミキシングした音声を視聴者端末から出力する処理を行う(ステップS33)。
【0083】
このように本実施形態では、視聴者の参加行動での音声と、他の視聴者の参加行動での音声が視聴者端末において出力される場合に、視聴者の音声の音量及び他の視聴者の音声の音量の少なくとも一方を変更する音量制御処理を行う。例えば視聴者の音声と他の視聴者の音声の出力割合を変更する音量制御処理を行う。例えば
図13のステップS32では、視聴者の音声の音量の方が他の視聴者の音声の音量よりも大きくなるように、視聴者の音声の音量や他の視聴者の音声の音量を変更する。一方、他の視聴者の視聴者端末では、逆に他の視聴者の音声の音量の方が視聴者の音声の音量よりも大きくなるように、他の視聴者の音声の音量や視聴者の音声の音量を変更する。このようにすれば、視聴者の参加行動での音声の音量と他の視聴者の参加行動での音声の音量の割合が適切な出力割合になるように音量制御処理を行って、視聴者の参加行動での音声や他の視聴者の参加行動での音声を視聴者端末に出力できるようになる。従って、例えば他の視聴者の音声が大きくなりすぎて音量バランスが崩れるなどの事態の発生を防止できるようになる。例えば視聴コンテンツを視聴者と他の視聴者を含む複数の視聴者が視聴する場合に、演出効果の向上のために、他の視聴者の音声も視聴者の視聴者端末から出力することが望ましい。しかしながら、例えば多数の他の視聴者の音声が視聴者端末に出力されると、視聴者は、自身の参加行動での音声が聞こえなくなってしまう事態が発生する。この点、例えば視聴者の音声の音量の方が他の視聴者の音声の音量よりも大きくなるように音量制御処理を行えば、このような事態の発生を防止できる。
【0084】
図14は、視聴者の参加行動タイミングと視聴コンテンツの設定タイミングの合致度合いに基づき音声の音量を制御する処理を説明するフローチャートである。まずコンテンツ配信システムは、視聴コンテンツに設定された設定タイミング(コールタイミング)と、視聴者の参加行動(投げ銭)のタイミングを比較する(ステップS41)。即ち
図11に示すような複数の設定タイミングTS1、TS2、TS3等と視聴者の参加行動のタイミングを比較する。そしてコンテンツ配信システムは、設定タイミングと参加行動のタイミングが所与の範囲内で合致しているかを判断する(ステップS42)。例えば設定タイミングを含む所定の判定期間内に参加行動のタイミングが入っているかを判断する。そしてコンテンツ配信システムは、設定タイミングと参加行動のタイミングが所与の範囲内で合致している場合には、視聴者の参加行動での音声の音量を大きくし(ステップS43)、合致していない場合には、視聴者の参加行動での音声の音量を小さくする(ステップS44)。例えば視聴者端末等から出力される視聴者の参加行動での音声の音量を大きくしたり、小さくする。
【0085】
このように本実施形態では、視聴コンテンツに設定された設定タイミングと、視聴者の参加行動のタイミングとを判断して、設定タイミングと参加行動のタイミングの合致度合いに応じた、音声の音量制御処理を行う。例えば合致度合いが高いと判断された場合に、視聴者の参加行動での音声の音量を大きくしたり、或いは、合致度合いが低いと判断された場合に、視聴者の参加行動での音声の音量を小さくする。このようにすれば、視聴コンテンツの設定タイミングと、視聴者の音声による参加行動のタイミングの合致度合いに応じた音声の音量制御を実現できるようになる。例えば視聴コンテンツの設定タイミングと視聴者の音声による参加行動のタイミングの合致度合い高い場合に、音声の音量を大きくすれば、視聴者は、自身の音声の音量が大きくなるように、設定タイミングに合わせたタイミングで音声による参加行動(投げ銭)を行うようになる。従って、視聴コンテンツの配信に、リズムゲーム等の音楽ゲームの要素を付加することができ、視聴者の熱中度や没入度を向上できるようになり、これまでにないタイプのコンテンツ配信システムの実現が可能になる。例えば複数の視聴者が、視聴コンテンツの設定タイミングに合わせて音声での参加行動を行うようになれば、視聴者間の一体感も生まれ、視聴コンテンツのライブ配信を更に盛り上げることが可能になる。
【0086】
図15は、視聴者の参加人数に基づき音声の音量を制御する処理を説明するフローチャートである。まずコンテンツ配信システムは、視聴者の参加行動のタイミングに対応するタイミングで参加行動を行った他の視聴者の参加人数Nを取得する(ステップS51)。即ち視聴者の参加行動のタイミングと同様のタイミングで参加した他の視聴者の参加人数Nを取得する。例えば参加人数Nは、視聴者の参加行動のタイミングを含む判定期間内において参加行動を行った他の視聴者の人数をカウントすることで取得できる。そしてコンテンツ配信システムは、他の視聴者の参加人数NがKよりも小さいか否かを判断し(ステップS52)、N<Kの場合には、音声の音量を大きくする(ステップS53)。例えばK=10であるとすると、参加人数Nが10人より少ないような閑散とした状況の場合には、視聴コンテンツを盛り上げるために、視聴者や他の視聴者の参加行動での音声の音量を大きくする。またコンテンツ配信システムは、N≧Kの場合には、参加人数NがL(L>K)よりも大きいか否かを判断し(ステップS54)、N>Lの場合には、音声の音量を小さくする(ステップS55)。例えばL=100であるとすると、参加人数Nが100人より多いようなにぎやかな状況の場合には、音声の音量が大きくなりすぎないように、視聴者や他の視聴者の参加行動での音声の音量を小さくする。
【0087】
このように本実施形態では、視聴者の参加行動のタイミングに対応するタイミングにおいて参加行動を行った他の視聴者の参加人数に応じた、音声の音量制御処理を行う。このようにすれば、視聴コンテンツに対する音声による参加行動の参加人数に応じた適切な音声の音量制御を実現できるようになる。例えば参加人数が少ない場合には、音声の音量を大きくすることで、視聴者コンテンツに対する声援等が大きくなり、参加人数が少なくても、声援等により視聴コンテンツのライブ配信を盛り上げることが可能になる。一方、参加人数が多い場合には、音声の音量を小さくすることで、視聴者コンテンツに対する声援等が大きくなりすぎることを抑制できるようになり、各視聴者が、参加行動の音声が大きくてうるさいと感じてしまうような事態を防止できる。
【0088】
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(参加行動等)と共に記載された用語(投げ銭等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、配信処理、受け付け処理、音声の内容、出力タイミング、音色の変更処理、音声の音量の制御処理等も、本実施形態で説明したものに限定されず、これらと均等な手法も本開示の範囲に含まれる。
【符号の説明】
【0089】
100…処理部、102…配信処理部、104…受け付け部、118…管理部、120…表示処理部、130…音処理部、170…記憶部、172…コンテンツ情報記憶部、174…ユーザ情報記憶部、196…通信部、200…処理部、260…操作部、262…インターフェース部、270…記憶部、280…情報記憶媒体、290…表示部、292…音出力部、296…通信部、500…サーバシステム、510…ネットワーク、CH…キャラクタ、TA1~TA9…参加行動タイミング、TM、TM1~TMn…端末装置、TMA、TMA1~TMAm…視聴者端末、TMP…配信者端末、TQ…出力タイミング、TQ1~TQ3…代表タイミング、TS1~TS3…設定タイミング、VC1、VC2…音声、VFL…仮想フィールド