(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-02
(45)【発行日】2022-06-10
(54)【発明の名称】コンピュータプログラム、方法及びサーバ装置
(51)【国際特許分類】
H04N 21/242 20110101AFI20220603BHJP
H04L 67/00 20220101ALI20220603BHJP
【FI】
H04N21/242
H04L67/00
(21)【出願番号】P 2020162381
(22)【出願日】2020-09-28
【審査請求日】2020-09-28
【新規性喪失の例外の表示】特許法第30条第2項適用 ウェブサイトの掲載日 2020年6月17日 ウェブサイトのアドレス https://twitter.com/WFLE_REALITY/status/1273147243328090114 公開者 株式会社Wright Flyer Live Entertainment 公開された発明の内容 株式会社Wright Flyer Live Entertainmentが、上記アドレスにより特定されるウェブサイトにおいて、出願に係る発明に関する機能を公開した。
【新規性喪失の例外の表示】特許法第30条第2項適用 ウェブサイトの掲載日 2020年6月17日 ウェブサイトのアドレス https://reality-notice.wrightflyer.net/b73a69d90f65ec277f3f601f955852b313dc6f57.html?t=1592374671 公開者 株式会社Wright Flyer Live Entertainment 公開された発明の内容 株式会社Wright Flyer Live Entertainmentが、上記アドレスにより特定されるウェブサイトにおいて、出願に係る発明に関する機能を公開した。
【新規性喪失の例外の表示】特許法第30条第2項適用 ウェブサイトの掲載日 2020年6月17日 ウェブサイトのアドレスhttps://www.youtube.com/watch?v=Q7N7M9btQ8s&feature=youtu.be 公開者 株式会社Wright Flyer Live Entertainment 公開された発明の内容 株式会社Wright Flyer Live Entertainmentが、上記アドレスにより特定されるウェブサイトにおいて、出願に係る発明に関する機能を公開した。
【新規性喪失の例外の表示】特許法第30条第2項適用 公開の実施日 2020年5月29日 公開の場所 公開は、株式会社Wright Flyer Live Entertainmentが運営するVtuber専用のライブ配信アプリケーション「REALITY」を介した配信において行われた。上記アプリケーション「REALITY」は、下記アドレスにより特定されるウェブサイトにおいてダウンロード可能である。 https://le.wrightflyer.net/reality/ https://itunes.apple.com/us/app/reality/id1404176564?l=ja&ls=
(73)【特許権者】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100146318
【氏名又は名称】岩瀬 吉和
(74)【代理人】
【識別番号】230126125
【氏名又は名称】後藤 未来
(74)【代理人】
【識別番号】100143823
【氏名又は名称】市川 英彦
(74)【代理人】
【識別番号】100160255
【氏名又は名称】市川 祐輔
(74)【代理人】
【識別番号】100202267
【氏名又は名称】森山 正浩
(74)【代理人】
【識別番号】100182132
【氏名又は名称】河野 隆
(72)【発明者】
【氏名】吉田 明史
(72)【発明者】
【氏名】藤井 富雄
(72)【発明者】
【氏名】倉淵 彩
(72)【発明者】
【氏名】森田 智紀
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特許第6691631(JP,B1)
【文献】特開2018-121329(JP,A)
【文献】Yui Asagai,REALITYアプリにおけるYouTube視聴機能の適法性について,[online],2020年06月25日,インターネット <https://note.com/yui_asagai/n/nae9b385d43f9>,[令和3年11月18日検索]
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04L 67/00
(57)【特許請求の範囲】
【請求項1】
配信者の端末装置に搭載される少なくとも1つのプロセッサにより実行されることにより、
第1の動画を生成するために視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、第1のサーバ装置を介して前記視聴者の端末装置に送信し、
前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信して再生し、
前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して前記視聴者の端末装置に送信
し、
前記配信者の端末装置が前記第2の動画の再生を停止したときに、前記第2の動画の再生位置を固定する前記指示データ、又は、前記第2の動画の停止を指示するコマンドを含む前記指示データを送信することにより、前記視聴者の端末装置による前記第2の動画の再生を停止させる、
ように前記少なくとも1つのプロセッサを機能させる、ことを特徴とするコンピュータプログラム。
【請求項2】
前記再生データを固定又は可変の単位時間ごとに前記第1のサーバ装置を介して前記視聴者の端末装置に送信する、ように前記少なくとも1つのプロセッサを機能させる、請求項1に記載のコンピュータプログラム。
【請求項3】
前記配信者の端末装置と前記第1のサーバ装置及び前記第2のサーバ装置とが通信回線を介して接続される、請求項1又は請求項2に記載のコンピュータプログラム。
【請求項4】
前記配信者の端末装置が前記第2の動画の再生を再開したときに、前記第2の動画の再生位置を経時的に変化させる前記指示データ、又は、前記第2の動画の再生を指示するコマンドを含む前記指示データを送信することにより、前記視聴者の端末装置による前記第2の動画の再生を再開させる、ように前記少なくとも1つのプロセッサを機能させる、請求項3に記載のコンピュータプログラム。
【請求項5】
前記第2のサーバ装置から該第2の動画を受信して再生することは、
再生候補である複数の動画に関する再生候補データを前記第2のサーバ装置から受信し、
前記複数の動画のうち前記配信者の端末装置により要求された第2の動画を前記第2のサーバ装置から受信する、
ことを含む、請求項1から請求項4のいずれかに記載のコンピュータプログラム。
【請求項6】
少なくとも前記再生候補データ及び前記第2の動画を、前記第1のサーバ装置を介して前記視聴者の端末装置に送信しない、ように前記少なくとも1つのプロセッサを機能させる、請求項5に記載のコンピュータプログラム。
【請求項7】
前記複数の動画のうち前記配信者の端末装置により選択された第2の動画を識別する前記アクセスデータを前記第2のサーバ装置に送信することにより、前記第2の動画を該第2のサーバ装置から受信する、ように前記少なくとも1つのプロセッサを機能させる、請求項5又は請求項6に記載のコンピュータプログラム。
【請求項8】
当該配信者の端末装置がゲスト配信者の端末装置と協働して第1の動画を配信するホスト配信者の端末装置であり、
当該ホスト配信者の端末装置により生成された音声データ及び動作データを少なくとも含む構成データを、前記第1のサーバ装置を介して前記ゲスト配信者の端末装置に送信し、
前記ゲスト配信者の端末装置により生成された音声データ及び動作データを少なくとも含む構成データを、前記第1のサーバ装置を介して前記ゲスト配信者の端末装置から受信し、
当該ホスト配信者の端末装置の前記構成データ及び前記ゲスト配信者の端末装置の前記構成データを用いて、当該ホスト配信者のアバター及び前記ゲスト配信者のアバターを含む前記第1の動画を生成し、
再生候補である複数の動画に関する前記再生候補データを前記第2のサーバ装置から受信し、
前記複数の動画のうち当該ホスト配信者の端末装置により要求された前記第2の動画を前記第2のサーバ装置から受信する、
ように前記少なくとも1つのプロセッサを機能させる、請求項5から請求項7のいずれかに記載のコンピュータプログラム。
【請求項9】
当該ホスト配信者の端末装置及び前記ゲスト配信者の端末装置の中からランダムに選択された当該ホスト配信者の端末装置が、前記再生候補データを前記第2のサーバ装置から受信する、ように前記少なくとも1つのプロセッサを機能させる、請求項8に記載のコンピュータプログラム。
【請求項10】
当該配信者の端末装置がホスト配信者の端末装置と協働して第1の動画を配信するゲスト配信者の端末装置であり、
当該ゲスト配信者の端末装置により生成された音声データ及び動作データを少なくとも含む構成データを、前記第1のサーバ装置を介して前記ホスト配信者の端末装置に送信し、
前記ホスト配信者の端末装置により生成された音声データ及び動作データを少なくとも含む構成データを、前記第1のサーバ装置を介して前記ホスト配信者の端末装置から受信し、
当該ゲスト配信者の端末装置の前記構成データ及び前記ホスト配信者の端末装置の前記構成データを用いて、当該ゲスト配信者のアバター及び前記ホスト配信者のアバターを含む前記第1の動画を生成し、
再生候補である複数の動画に関する前記再生候補データを前記第2のサーバ装置から受信し、
前記複数の動画のうち当該ゲスト配信者の端末装置により要求された前記第2の動画を前記第2のサーバ装置から受信する、
ように前記少なくとも1つのプロセッサを機能させる、請求項5から請求項7のいずれかに記載のコンピュータプログラム。
【請求項11】
当該ゲスト配信者の端末装置及び前記ホスト配信者の端末装置の中からランダムに選択された当該ゲスト配信者の端末装置が、前記再生候補データを前記第2のサーバ装置から受信する、ように前記少なくとも1つのプロセッサを機能させる、請求項10に記載のコンピュータプログラム。
【請求項12】
前記構成データ、又は、該構成データに基づいて生成された第1の動画を、第1のサーバ装置を介して前記視聴者の端末装置に送信する、ように前記少なくとも1つのプロセッサを機能させる第1のコンピュータプログラムと、
該第1のコンピュータプログラムにより起動され、前記第2のサーバ装置から前記第2の動画を受信して再生する、ように前記少なくとも1つのプロセッサを機能させる第2のコンピュータプログラムと、
を含む、請求項1から請求項7のいずれかに記載のコンピュータプログラム。
【請求項13】
前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項1から請求項12のいずれかに記載のコンピュータプログラム。
【請求項14】
コンピュータにより読み取り可能な命令を実行する配信者の端末装置に搭載される少なくとも1つのプロセッサにより実行される方法であって、
前記少なくとも1つのプロセッサが、前記命令を実行することにより、
第1の動画を生成するために視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、第1のサーバ装置を介して前記視聴者の端末装置に送信し、
前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信して再生し、
前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して前記視聴者の端末装置に送信
し、
前記配信者の端末装置が前記第2の動画の再生を停止したときに、前記第2の動画の再生位置を固定する前記指示データ、又は、前記第2の動画の停止を指示するコマンドを含む前記指示データを送信することにより、前記視聴者の端末装置による前記第2の動画の再生を停止させる、
ことを特徴とする方法。
【請求項15】
前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項14に記載の方法。
【請求項16】
視聴者の端末装置に搭載される少なくとも1つのプロセッサにより実行されることにより、
音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、配信者の端末装置から第1のサーバ装置を介して受信し、
前記構成データを用いて前記第1の動画を生成して再生し、又は、受信した該第1の動画を再生し、
前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信し、
前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して受信し、
前記再生データに従って前記第2の動画を再生
し、
前記配信者の端末装置が前記第2の動画の再生を停止したときに、前記第2の動画の再生位置を固定する前記指示データ、又は、前記第2の動画の停止を指示するコマンドを含む前記指示データを受信することにより、前記第2の動画の再生を停止する、
ように前記少なくとも1つのプロセッサを機能させる、ことを特徴とするコンピュータプログラム。
【請求項17】
受信した前記指示データにより示される前記第2の動画の再生位置に従って、該第2の動画を再生する、ように前記少なくとも1つのプロセッサを機能させる、請求項16に記載のコンピュータプログラム。
【請求項18】
前記視聴者の操作に関する操作データが前記第2の動画の停止を示す場合に、前記第2の動画の再生を停止し、
前記操作データが前記第2の動画の再生の再開を示す場合に、前記指示データにより示される再生位置から前記第2の動画を再生する、
ように前記少なくとも1つのプロセッサを機能させる、請求項16又は請求項17に記載のコンピュータプログラム。
【請求項19】
前記第1の動画に含まれる音声とは独立して、前記第2の動画に含まれる音声のレベルを調節する、ように前記少なくとも1つのプロセッサを機能させる、請求項16から請求項18のいずれかに記載のコンピュータプログラム。
【請求項20】
前記第2の動画に含まれる音声のレベルを調節するための移動可能なオブジェクトを前記第2の動画に関連付けて表示する、ように前記少なくとも1つのプロセッサを機能させる、請求項19に記載のコンピュータプログラム。
【請求項21】
前記第2の動画を表示する領域を、拡大、縮小及び/又は移動させる、ように前記少なくとも1つのプロセッサを機能させる、請求項16から請求項20のいずれかに記載のコンピュータプログラム。
【請求項22】
ホスト配信者の端末装置から音声データ及び動作データを少なくとも含む構成データを前記第1のサーバ装置を介して受信し、
少なくとも1人のゲスト配信者の端末装置から音声データ及び動作データを少なくとも含む構成データを、前記第1のサーバ装置を介して受信し、
前記ホスト配信者の端末装置の前記構成データ及び前記少なくとも1人のゲスト配信者の端末装置の前記構成データを用いて第1の動画を生成し、
当該視聴者の端末装置の表示領域を分割して複数の表示領域を生成し、
該複数の表示領域のうちの1つの表示領域に前記第1の動画を表示し、該複数の表示領域のうちの別の表示領域に前記第2の動画を表示する、
ように前記少なくとも1つのプロセッサを機能させる、請求項16から請求項21のいずれかに記載のコンピュータプログラム。
【請求項23】
前記少なくとも1人のゲスト配信者の端末装置が2人以上のゲスト配信者の端末装置を含み、
前記ホスト配信者のアバター及び前記2人以上のゲスト配信者のアバターが水平方向又は鉛直方向に沿って一列に配置された前記第1の動画を生成する、
ように前記少なくとも1つのプロセッサを機能させる、請求項22に記載のコンピュータプログラム。
【請求項24】
ホスト配信者の端末装置により生成され該ホスト配信者のアバター及び少なくとも1人のゲスト配信者のアバターを含む第1の動画を、該ホスト配信者の端末装置から前記第1のサーバ装置を介して受信し、
当該視聴者の端末装置の表示領域を分割して複数の表示領域を生成し、
該複数の表示領域のうちの1つの表示領域に前記第1の動画を表示し、該複数の表示領域のうちの別の表示領域に前記第2の動画を表示する、
ように前記少なくとも1つのプロセッサを機能させる、請求項16から請求項21のいずれかに記載のコンピュータプログラム。
【請求項25】
前記少なくとも1人のゲスト配信者の端末装置が2人以上のゲスト配信者の端末装置を含み、
前記第1の動画は、水平方向又は鉛直方向に沿って一列に配置された前記ホスト配信者のアバター及び前記2人以上のゲスト配信者のアバターを含む、請求項24に記載のコンピュータプログラム。
【請求項26】
前記複数の表示領域のうちの上部の表示領域又は下部の表示領域に前記第1の動画を表示し、前記複数の表示領域のうちの下部の表示領域又は上部の表示領域に前記第2の動画を表示する、
ように前記少なくとも1つのプロセッサを機能させる、請求項22から請求項25のいずれかに記載のコンピュータプログラム。
【請求項27】
前記第1の動画が表示される前記1つの表示領域が、前記第2の動画を表示せず前記第1の動画のみを表示する場合に該第1の動画が表示される表示領域よりも縮小した大きさを有する、請求項22から請求項26のいずれかに記載のコンピュータプログラム。
【請求項28】
前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項22から請求項27のいずれかに記載のコンピュータプログラム。
【請求項29】
コンピュータにより読み取り可能な命令を実行する視聴者の端末装置に搭載される少なくとも1つのプロセッサにより実行される方法であって、
前記少なくとも1つのプロセッサが、前記命令を実行することにより、
音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、配信者の端末装置から第1のサーバ装置を介して受信し、
前記構成データを用いて第1の動画を生成して再生し、又は、受信した該第1の動画を再生し、
前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信し、
前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して受信し、
前記再生データに従って前記第2の動画を再生
し、
前記配信者の端末装置が前記第2の動画の再生を停止したときに、前記第2の動画の再生位置を固定する前記指示データ、又は、前記第2の動画の停止を指示するコマンドを含む前記指示データを受信することにより、前記第2の動画の再生を停止する、
ことを特徴とする方法。
【請求項30】
前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項29に記載の方法。
【請求項31】
配信者の端末装置及び視聴者の端末装置に第2の動画を配信するサーバ装置とは別に設けられ、少なくとも1つのプロセッサを具備するサーバ装置であって、
該少なくとも1つのプロセッサが、
第1の動画を生成するために前記視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データを配信者の端末装置から受信して前記視聴者の端末装置に送信し、又は、該構成データに基づいて生成された前記第1の動画を前記視聴者の端末装置に配信し、
前記第2の
動画を配信するサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記配信者の端末装置から受信して前記視聴者の端末装置に送信
し、
前記配信者の端末装置が前記第2の動画の再生を停止したときに、前記第2の動画の再生位置を固定する前記指示データ、又は、前記第2の動画の停止を指示するコマンドを含む前記指示データを、前記視聴者の端末装置に送信することにより、該視聴者の端末装置による前記第2の動画の再生を停止させる、
ように構成されることを特徴とするサーバ装置。
【請求項32】
前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項31に記載のサーバ装置。
【請求項33】
配信者の端末装置及び視聴者の端末装置に第2の動画を配信するサーバ装置とは別に設けられるサーバ装置に搭載される、コンピュータにより読み取り可能な命令を実行する少なくとも1つのプロセッサにより実行される方法であって、
前記少なくとも1つのプロセッサが、前記命令を実行することにより、
第1の動画を生成するために前記視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データを、配信者の端末装置から受信して前記視聴者の端末装置に送信し、又は、該構成データに基づいて生成された前記第1の動画を前記視聴者の端末装置に送信し、
前記第2の
動画を配信するサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記配信者の端末装置から受信して前記視聴者の端末装置に送信
し、
前記配信者の端末装置が前記第2の動画の再生を停止したときに、前記第2の動画の再生位置を固定する前記指示データ、又は、前記第2の動画の停止を指示するコマンドを含む前記指示データを、前記視聴者の端末装置に送信することにより、該視聴者の端末装置による前記第2の動画の再生を停止させる、
ことを特徴とする方法。
【請求項34】
前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項33に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本件出願に開示された技術は、配信者のアバターのアニメーションを含む動画を視聴者の端末装置に送信するために用いられる、コンピュータプログラム、方法及びサーバ装置に関する。
【背景技術】
【0002】
配信者のアバターのアニメーションを含む動画を視聴者の端末装置に送信するために用いられる技術が、特開2020-39029号公報(特許文献1)に記載されている。この特許文献に記載された技術では、配信者(演者)のモーションデータに基づいて生成されたこの配信者のアバターのアニメーションを含む動画が、サーバ装置から各視聴者の端末装置に配信される。なお、上記特許文献1は、引用によりその全体が本明細書に組み入れられる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のように配信者のアバターのアニメーションを含む動画が視聴者の端末装置に送信される技術を前提として、配信者及び視聴者が、上記動画とは別に用意された動画を、一緒に視聴して楽しむことを可能にするサービスが、期待されている。
【0005】
そこで、本件出願に開示された技術は、配信者及び視聴者が、配信者のアバターのアニメーションを含む動画とは別に用意された動画を一緒に視聴することを可能にする、コンピュータプログラム、方法及びサーバ装置を提供する。
【課題を解決するための手段】
【0006】
一態様に係るコンピュータプログラムは、「配信者の端末装置に搭載される少なくとも1つのプロセッサにより実行されることにより、第1の動画を生成するために視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、第1のサーバ装置を介して前記視聴者の端末装置に送信し、前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信して再生し、前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して前記視聴者の端末装置に送信する、ように前記少なくとも1つのプロセッサを機能させる」ことができる。
一態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する配信者の端末装置に搭載される少なくとも1つのプロセッサにより実行される方法であって、前記少なくとも1つのプロセッサが、前記命令を実行することにより、第1の動画を生成するために視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、第1のサーバ装置を介して前記視聴者の端末装置に送信し、前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信して再生し、前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して前記視聴者の端末装置に送信する」ことができる。
別の態様に係るコンピュータプログラムは、「視聴者の端末装置に搭載される少なくとも1つのプロセッサにより実行されることにより、音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、配信者の端末装置から第1のサーバ装置を介して受信し、前記構成データを用いて前記第1の動画を生成して再生し、又は、受信した該第1の動画を再生し、前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信し、前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して受信し、前記再生データに従って前記第2の動画を再生する、ように前記少なくとも1つのプロセッサを機能させる」ことができる。
別の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する視聴者の端末装置に搭載される少なくとも1つのプロセッサにより実行される方法であって、前記少なくとも1つのプロセッサが、前記命令を実行することにより、音声データ及び動作データを少なくとも含む構成データ、又は、該構成データに基づいて生成された第1の動画を、配信者の端末装置から第1のサーバ装置を介して受信し、前記構成データを用いて第1の動画を生成して再生し、又は、受信した該第1の動画を再生し、前記配信者の端末装置及び前記視聴者の端末装置に第2の動画を配信する、前記第1のサーバ装置とは異なる第2のサーバ装置から、該第2の動画を受信し、前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記第1のサーバ装置を介して受信し、前記再生データに従って前記第2の動画を再生する」ことができる。
一態様に係るサーバ装置は、「配信者の端末装置及び視聴者の端末装置に第2の動画を配信するサーバ装置とは別に設けられ、少なくとも1つのプロセッサを具備するサーバ装置であって、該少なくとも1つのプロセッサが、第1の動画を生成するために前記視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データを配信者の端末装置から受信して前記視聴者の端末装置に送信し、又は、該構成データに基づいて生成された前記第1の動画を前記視聴者の端末装置に配信し、前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記配信者の端末装置から受信して前記視聴者の端末装置に送信する」ことができる。
さらに別の態様に係る方法は、「配信者の端末装置及び視聴者の端末装置に第2の動画を配信するサーバ装置とは別に設けられるサーバ装置に搭載される、コンピュータにより読み取り可能な命令を実行する少なくとも1つのプロセッサにより実行される方法であって、前記少なくとも1つのプロセッサが、前記命令を実行することにより、第1の動画を生成するために前記視聴者の端末装置により用いられる音声データ及び動作データを少なくとも含む構成データを、配信者の端末装置から受信して前記視聴者の端末装置に送信し、又は、該構成データに基づいて生成された前記第1の動画を前記視聴者の端末装置に送信し、前記第2のサーバ装置に格納され前記配信者の端末装置が再生している前記第2の動画にアクセスするための方法を示すアクセスデータ、及び、前記配信者の端末装置による前記第2の動画の再生に同期し、該第2の動画に対する前記視聴者の端末装置の動作を指示する指示データのうちの少なくとも一方を含む再生データを、前記配信者の端末装置から受信して前記視聴者の端末装置に送信する」ことができる。
【0007】
この[発明の概要]の欄は、選択された様々な概念を簡略化された形式により導入するために記載されており、これらの様々な概念については[発明を実施するための形態]の欄において後述する。本明細書において用いられるすべての商標は、これらの商標の保有者の財産である。この[発明の概要]の欄の記載は、特許請求の範囲に記載された発明の重要な特徴又は不可欠な特徴を特定することを意図するものでもなく、特許請求の範囲に記載された発明の技術的範囲を限定することを意図するものでもない。特許請求の範囲に記載された発明の、上述した又は他の目的、特徴及び効果は、添付図面を参照して以下に示される[発明を実施するための形態]の欄の記載からより明らかとなろう。
【図面の簡単な説明】
【0008】
【
図1】
図1は、一実施形態に係る動画配信システムの構成の一例を示すブロック図である。
【
図2】
図2は、
図1に示した端末装置10(サーバ装置20)のハードウェア構成の一例を模式的に示すブロック図である
【
図3】
図3は、
図1に示した端末装置10が有する機能の一例を模式的に示すブロック図である。
【
図4】
図4は、
図1に示したブロードキャストサーバ装置20Aが有する機能の一例を模式的に示すブロック図である。
【
図5】
図5は、
図1に示した動画配信サーバ装置20Bが有する機能の一例を模式的に示すブロック図である。
【
図6A】
図6Aは、
図1に示した動画配信システム1において行われる動作の一例を示すフロー図である。
【
図6B】
図6Bは、
図1に示した動画配信システム1において行われる動作の一例を示すフロー図である。
【
図7】
図7は、
図1に示した各視聴者の端末装置10により表示される第1の動画の一例を示す模式図である。
【
図8】
図8は、
図1に示した配信者Aの端末装置10Aにより表示されるウェブページの一例を示す模式図である。
【
図9】
図9は、
図1に示した配信者Aの端末装置10Aにより表示されるウェブページの別の例を示す模式図である。
【
図10】
図10は、
図1に示した配信者Aの端末装置10Aにより同時に表示される第1の動画500及び第2の動画530の一例を示す模式図である。
【
図11】
図11は、
図1に示した各視聴者の端末装置10により同時に表示される第1の動画500及び第2の動画530の一例を示す模式図である。
【
図12】
図12は、
図1に示した各視聴者の端末装置10により同時に表示される第1の動画500及び第2の動画530の別の例を示す模式図である。
【
図13】
図13は、
図1に示した各視聴者の端末装置10により同時に表示される第1の動画500及び第2の動画530のさらに別の例を示す模式図である。
【
図14A】
図14Aは、
図1に示した動画配信システム1において行われる動作の別の例を示すフロー図である。
【
図14B】
図14Bは、
図1に示した動画配信システム1において行われる動作の別の例を示すフロー図である。
【
図15】
図15は、
図1に示した動画配信システム1において行われるコラボ配信に関連する動作の一例を説明するフロー図である。
【
図16】
図16は、
図15に示したコラボ配信に関連して用いられる各端末装置10により生成及び表示される第1の動画の一例を示す模式図である。
【
図17】
図17は、
図15に示したコラボ配信に関連して用いられる各端末装置10により生成及び表示される第1の動画及び第2の動画の一例を示す模式図である。
【
図18】
図18は、
図15に示したコラボ配信に関連して用いられる各端末装置10により生成及び表示される第1の動画及び第2の動画の別の例を示す模式図である。
【発明を実施するための形態】
【0009】
本明細書は、いかなる方法によっても限定されることを意図していない、代表的な様々な実施形態という意味により記載される。
本件出願において用いられるように、「1つの」、「前記」、「上記」、「当該」、「該」、「この」、「その」といった単数形は、複数形でないことを明確に示さない限り、複数形を含むことができる。また、「含む」という用語は、「具備する」こと又は「備える」ことを意味し得る。さらに、「結合された」、「結合した」、「結び付けられた」、「結び付けた、「接続された」又は「接続した」という用語は、対象物を相互に結合する、接続する又は結び付ける、機械的、電気的、磁気的及び光学的な方法を他の方法とともに包含し、このように結合された、結合した、結び付けられた、結び付けた、接続された又は接続した対象物の間にある中間要素の存在を排除しない。
【0010】
本明細書において記載される、様々なシステム、方法及び装置は、いかなる方法によっても限定されるものとして解釈されるべきではない。実際には、本開示は、開示された様々な実施形態の各々、これら様々な実施形態を相互に組み合わせたもの、及び、これら様々な実施形態の一部を相互に組み合わせたもの、のうちのあらゆる新規な特徴及び態様に向けられている。本明細書において記載される、様々なシステム、方法及び装置は、特定の態様、特定の特徴、又は、このような特定の態様と特定の特徴とを組み合わせたものに限定されないし、本明細書に記載される物及び方法は、1若しくはそれ以上の特定の効果が存在すること又は課題が解決されることを、要求するものでもない。さらには、本明細書において記載された様々な実施形態のうちの様々な特徴若しくは態様、又は、そのような特徴若しくは態様の一部は、相互に組み合わせて用いられ得る。
【0011】
本明細書において開示された様々な方法のうちの幾つかの方法の動作が、便宜上、特定の順序に沿って記載されているが、このような手法による記載は、特定の順序が以下特定の文章によって要求されていない限り、上記動作の順序を並び替えることを包含する、と理解すべきである。例えば、順番に記載された複数の動作は、幾つかの場合には、並び替えられるか又は同時に実行される。さらには、簡略化を目的として、添付図面は、本明細書に記載された様々な事項及び方法が他の事項及び方法とともに用いられ得るような様々な方法を示していない。加えて、本明細書は、「生成する」、「発生させる」、「表示する」、「受信する」、「評価する」及び「配信する」のような用語を用いることがある。これらの用語は、実行される実際の様々な動作のハイレベルな記載である。これらの用語に対応する実際の様々な動作は、特定の実装に依存して変化し得るし、本明細書の開示の利益を有する当業者によって容易に認識され得る。
【0012】
本開示の装置又は方法に関連して本明細書に提示される、動作理論、科学的原理又は他の理論的な記載は、よりよい理解を目的として提供されており、技術的範囲を限定することを意図していない。添付した特許請求の範囲における装置及び方法は、このような動作理論により記載される方法により動作する装置及び方法に限定されない。
【0013】
本明細書に開示された様々な方法のいずれもが、コンピュータにより読み取り可能な1又はそれ以上の媒体(例えば、1又はそれ以上の光学媒体ディスク、複数の揮発性メモリ部品、又は、複数の不揮発性メモリ部品といったような、非一時的なコンピュータにより読み取り可能な記憶媒体)に記憶された、コンピュータにより実行可能な複数の命令を用いて実装され、さらに、コンピュータにおいて実行され得る。ここで、上記複数の揮発性メモリ部品は、例えばDRAM又はSRAMを含む。また、上記複数の不揮発性メモリ部品は、例えばハードドライブ及びソリッドステートドライブ(SSD)を含む。さらに、上記コンピュータは、例えば、計算を行うハードウェアを有するスマートフォン及び他のモバイル装置を含む、市場において入手可能な任意のコンピュータを含む。
【0014】
本明細書において開示された技術を実装するためのこのようなコンピュータにより実行可能な複数の命令のいずれもが、本明細書において開示された様々な実施形態の実装の間において生成され使用される任意のデータとともに、1又はそれ以上のコンピュータにより読み取り可能な媒体(例えば、非一時的なコンピュータにより読み取り可能な記憶媒体)に記憶され得る。このようなコンピュータにより実行可能な複数の命令は、例えば、個別のソフトウェアアプリケーションの一部であり得るか、又は、ウェブブラウザ若しくは(リモート計算アプリケーションといったような)他のソフトウェアアプリケーションを介してアクセス又はダウンロードされるソフトウェアアプリケーションの一部であり得る。このようなソフトウェアは、例えば、(例えば市場において入手可能な任意の好適なコンピュータにおいて実行されるエージェントとしての)単一のローカルコンピュータにおいて、又は、1又はそれ以上のネットワークコンピュータを用いて、ネットワーク環境(例えば、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、(クラウド計算ネットワークといったような)クライアントサーバネットワーク、又は、他のそのようなネットワーク)において、実行され得る。
【0015】
明確化のために、ソフトウェアをベースとした様々な実装のうちの特定の選択された様々な態様のみが記載される。当該分野において周知である他の詳細な事項は省略される。例えば、本明細書において開示された技術は、特定のコンピュータ言語又はプログラムに限定されない。例えば、本明細書において開示された技術は、C、C++、Java、又は、他の任意の好適なプログラミング言語で記述されたソフトウェアにより実行され得る。同様に、本明細書において開示された技術は、特定のコンピュータ又は特定のタイプのハードウェアに限定されない。好適なコンピュータ及びハードウェアの特定の詳細な事項は、周知であって、本明細書において詳細に説明する必要はない。
【0016】
さらには、このようなソフトウェアをベースとした様々な実施形態(例えば、本明細書において開示される様々な方法のいずれかをコンピュータに実行させるための、コンピュータにより実行可能な複数の命令を含む)のいずれもが、好適な通信手段により、アップロードされ、ダウンロードされ、又は、リモート方式によりアクセスされ得る。このような好適な通信手段は、例えば、インターネット、ワールドワイドウェブ、イントラネット、ソフトウェアアプリケーション、ケーブル(光ファイバケーブルを含む)、磁気通信、電磁気通信(RF通信、マイクロ波通信、赤外線通信を含む)、電子通信、又は、他のそのような通信手段を含む。
【0017】
以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。
【0018】
1.動画配信システムの構成
本件出願において開示される動画配信システムでは、簡潔にいえば、配信者が、その端末装置を用いて、配信者が発した音声に関する音声データ及び配信者の動作に関する動作データを含む構成データを、第1のサーバ装置(例えばブロードキャストサーバ装置)を介して、各視聴者の端末装置に配信することができる。これにより、各視聴者の端末装置は、受信した構成データを用いて第1の動画を生成して表示することができる。ここで、第1の動画は、配信者の演技に同期した配信者のアバターのアニメーションを含む動画であり得る。
【0019】
なお、配信者の端末装置は、構成データに代えて、この構成データに基づいて生成された第1の動画を、第1のサーバ装置を介して、各視聴者の端末装置に送信することも可能である。これにより、各視聴者の端末装置は、受信した第1の動画を表示することができる。
【0020】
さらに、配信者の端末装置及び各視聴者の端末装置は、第1のサーバ装置を経由せずに、直接的に第2のサーバ装置(例えば動画配信サーバ装置)から第2の動画を受信して表示することができる。ここで、第2の動画は、第2のサーバ装置に予め格納された複数の動画のうち、配信者の端末装置により選択された動画であり得る。これにより、配信者の端末装置及び各視聴者の端末装置は、ともに同一の第2の動画を受信して表示することができる。
【0021】
特に、配信者の端末装置は、再生データ(再生情報)を第1のサーバ装置を介して各視聴者の端末装置に送信することができる。再生データは、第2のサーバ装置に格納され配信者の端末装置が再生している第2の動画にアクセスするための方法を示すアクセスデータ(アクセス情報)(URL)、及び/又は、第2の動画に対する各視聴者の端末装置の動作を指示する指示データ(指示情報)を含むことができる。各視聴者の端末装置は、第1のサーバ装置から受信した再生データに従って、第2のサーバ装置から受信した第2の動画を再生することができる。これにより、各視聴者の端末装置は、配信者の端末装置による第2の動画の再生に同期したタイミングにより、第2の動画を再生することができる。
【0022】
図1は、一実施形態に係る動画配信システムの構成の一例を示すブロック図である。
図1に示すように、動画配信システム1は、通信回線(通信網)2に接続され得る複数の端末装置10と、通信回線2に接続され得る複数のサーバ装置20と、を含むことができる。各端末装置10は、通信回線2を介して、複数のサーバ装置20の各々に接続され得る。
【0023】
なお、
図1には、複数の端末装置10として、例えば、端末装置10A~10Dが示されているが、これら以外の1又はそれ以上の端末装置10が同様に用いられ得る。同様に、
図1には、複数のサーバ装置20として、例えば、第1のサーバ装置20A及び第2のサーバ装置20Bが示されているが、これら以外の1又はそれ以上のサーバ装置20が同様に用いられ得る。なお、図示しない通信回線は、携帯電話網、無線ネットワーク(例えば、Bluetooth、(IEEE 802.11a/b/nといったような)WiFi、WiMax、セルラー、衛星、レーザー、赤外線、を介したRF接続)、固定電話網、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、及び/又は、イーサネットネットワークを、これらに限定することなく含むことができる。
【0024】
さらに、一実施形態では、動画配信システム1は、通信回線2に接続される1又はそれ以上のスタジオユニット30を含むこともできる。各スタジオユニット30は、通信回線2を介して、複数のサーバ装置20又は複数の端末装置10に接続され得る。なお、
図1には、1又はそれ以上のスタジオユニット30として、例えば、スタジオユニット30A及び30Bが示されているが、これら以外の1又はそれ以上のスタジオユニット30が同様に用いられ得る。各スタジオユニット30は、後述する端末装置10又はサーバ装置20と同様の機能を有することができる。
【0025】
1-1.端末装置10
複数の端末装置10は、1又はそれ以上の配信者の端末装置10(ここでは端末装置10A)と、1又はそれ以上の視聴者の端末装置10(ここでは端末装置10B~端末装置10D)と、を含むことができる。各端末装置10は、共通した構成を有することにより、動画を配信するための端末装置(配信者の端末装置10)及び動画を視聴するための端末装置(視聴者の端末装置10)のいずれにもなり得る。
【0026】
各端末装置10は、第1の動画を配信するための端末装置(配信者の端末装置)として動作する場合には、インストールされた動画配信用アプリケーション(ミドルウェア、又は、アプリケーションとミドルウェアとの組み合わせであってもよい。以下同様。)を実行することができる。これにより、各端末装置10は、その配信者の動作に関する動作データ及びその配信者の発話した音声に関する音声データを取得し、これら動作データ及び音声データを少なくとも含む構成データを、通信回線2を介して第1のサーバ装置20Aに送信することができる。或いはまた、各端末装置10は、この構成データに基づいて生成された第1の動画を、通信回線2を介して第1のサーバ装置20Aに送信することも可能である。
【0027】
このような構成データ又は第1の動画は、第1のサーバ装置20Aにより通信回線2を介して、各視聴者の端末装置10に配信される。各視聴者の端末装置10は、インストールされた動画視聴用アプリケーション(ミドルウェア、又は、アプリケーションとミドルウェアとの組み合わせであってもよい。以下同様。)を実行することにより、構成データ又は第1の動画を受信することができる。
【0028】
また、各端末装置10は、第1の動画を視聴するための端末装置(視聴者の端末装置)として動作する場合には、インストールされた動画視聴用アプリケーションを実行することにより、配信者の端末装置10により配信された構成データ又は第1の動画を、第1のサーバ装置20Aを介して受信することができる。この場合、動画視聴用アプリケーションを実行する各端末装置10は、構成データを受信したときには、構成データを用いて第1の動画を生成して表示することができる。一方、動画視聴用アプリケーションを実行する各端末装置10は、第1の動画を受信したときには、この第1の動画を表示することができる。
【0029】
一方、各端末装置10は、配信者の端末装置として動作する場合及び視聴者の端末装置として動作する場合には、インストールされた動画受信用アプリケーション(ミドルウェア、又は、アプリケーションとミドルウェアとの組み合わせであってもよい。以下同様。)を実行することができる。各端末装置10は、この動画受信用アプリケーションを実行することにより、第1のサーバ装置20Aを経由せずに、第2のサーバ装置20Bに直接的にアクセスして第2の動画を受信して表示(再生)することができる。
【0030】
なお、第1の動画を配信するための動画配信用アプリケーション及び第1の動画を視聴するための動画視聴用アプリケーションは、統合された1つのアプリケーションとして、又は、それぞれ別々のアプリケーションとして、各端末装置10にインストール及び実行され得る。
【0031】
また、第2のサーバ装置20Bから第2の動画を受信するための動画受信用アプリケーションは、上述した動画を配信するための動画配信用アプリケーション及び第1の動画を視聴するための動画視聴用アプリケーションとは、別のアプリケーションとして、各端末装置10にインストール及び実行され得る。一実施形態では、第2のサーバ装置20Bから第2の動画を受信するための動画受信用アプリケーションは、埋め込みプレーヤー(Embedded Player)であり得る。
【0032】
各端末装置10は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコンピュータ等を、これらに限定することなく含むことができる。
【0033】
1-2.サーバ装置20
図1には、複数のサーバ装置20として、一例として、第1のサーバ装置20A及び第2のサーバ装置20Bが示されている。ここでは、一例として、第1のサーバ装置20Aは、「ブロードキャストサーバ装置」であり、第2のサーバ装置20Bは、「動画配信サーバ装置」である。「ブロードキャストサーバ装置」及び「動画配信サーバ装置」という名称は、単なる例示的な名称に過ぎず、任意の名称であり得る。
【0034】
ブロードキャストサーバ装置(以下「BCサーバ装置」という。)20Aは、配信者の端末装置10から構成データ又は第1の動画を受信して各視聴者の端末装置10に配信することができる。さらに、BCサーバ装置20Aは、配信者の端末装置10から(アクセスデータ及び/又は指示データを含む)再生データを受信して各視聴者の端末装置10に配信することができる。
【0035】
動画配信サーバ装置20Bは、予め複数の動画を格納しておくことができる。この動画配信サーバ装置20Bは、この動画配信サーバ装置20Bにアクセスしてきた配信者の端末装置10及び各視聴者の端末装置10に対して、上記複数の動画のうちのいずれかの動画を第2の動画として配信することができる。
【0036】
1-3.スタジオユニット30
スタジオユニット30は、配信者(演者)が動画を配信する場所であるスタジオ、部屋、ホール等に配置され得る。スタジオユニット30は、上述したように、端末装置10及び/又はサーバ装置20と同様の機能を果たすことができる。
【0037】
2.各装置のハードウェア構成
次に、端末装置10及びサーバ装置20の各々が有するハードウェア構成の一例について説明する。
【0038】
2-1.端末装置10のハードウェア構成
各端末装置10のハードウェア構成例について
図2を参照して説明する。
図2は、
図1に示した端末装置10(サーバ装置20)のハードウェア構成の一例を模式的に示すブロック図である(なお、
図2において、括弧内の参照符号は、後述するようにサーバ装置20に関連して記載されている)。
【0039】
図2に示すように、各端末装置10は、主に、中央処理装置11と、主記憶装置12と、入出力インタフェイス装置13と、入力装置14と、補助記憶装置15と、出力装置16と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
【0040】
中央処理装置11は、「CPU」と称され、主記憶装置12に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置12に記憶させることができる。さらに、中央処理装置11は、入出力インタフェイス装置13を介して、入力装置14、補助記憶装置15及び出力装置16等を制御することができる。端末装置10は、1又はそれ以上のこのような中央処理装置11を含むことが可能である。
【0041】
主記憶装置12は、「メモリ」と称され、入力装置14、補助記憶装置15及び通信回線30(サーバ装置20等)から、入出力インタフェイス装置13を介して受信した命令及びデータ、並びに、中央処理装置11の演算結果を記憶することができる。主記憶装置12は、揮発性メモリ(例えば、レジスタ、キャッシュ、ランダムアクセスメモリ(RAM))、不揮発性メモリ(例えば、リードオンリーメモリ(ROM)、EEPROM、フラッシュメモリ)、及び、ストレージ(例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、磁気テープ、光学媒体)、といったようなコンピュータにより読み取り可能な媒体を、これらに限定することなく含むことができる。容易に理解されるように、「コンピュータにより読み取り可能な記録媒体」という用語は、変調されたデータ信号すなわち一時的な信号といったような送信媒体ではなく、メモリ及びストレージといったようなデータストレージのための媒体を含むことができる。
【0042】
補助記憶装置15は、主記憶装置12よりも大きな容量を有する記憶装置である。上述した特定のアプリケーション(動画配信用アプリケーション、動画視聴用アプリケーション及び動画受信用アプリケーション等)やウェブブラウザアプリケーション等を構成する命令及びデータ(コンピュータプログラム)を記憶することができる。さらに、補助記憶装置15は、中央処理装置11により制御されることにより、これらの命令及びデータ(コンピュータプログラム)を入出力インタフェイス装置13を介して主記憶装置12に送信することができる。補助記憶装置15は、磁気ディスク装置及び/又は光ディスク装置等をこれらに限定することなく含むことができる。
【0043】
入力装置14は、外部からデータを取り込む装置であって、タッチパネル、ボタン、キーボード、マウス及び/又はセンサ等をこれらに限定することなく含むことができる。センサは、後述するように、1若しくはそれ以上のカメラ等及び/又は1若しくはそれ以上のマイク等を含むセンサを、これらに限定することなく含むことができる。
【0044】
出力装置16は、ディスプレイ装置、タッチパネル及び/又はプリンタ装置等をこれらに限定することなく含むことができる。
【0045】
このようなハードウェア構成にあっては、中央処理装置11が、補助記憶装置15に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置12にロードし、ロードした命令及びデータを演算することができる。これにより、中央処理装置11は、入出力インタフェイス装置13を介して出力装置16を制御し、或いはまた、入出力インタフェイス装置13及び通信回線2を介して、他の装置(例えばサーバ装置20及び/又は他の端末装置10)との間で様々なデータの送受信を行うことができる。
【0046】
これにより、端末装置10は、インストールされた特定のアプリケーションを実行することにより、例えば以下に例示する動作(後に詳述する様々な動作を含む)のうちの少なくとも1つの動作を実行することができる。
・構成データ又は第1の動画を生成してBCサーバ装置20Aを介して各視聴者の端末装置10に送信するための適切な動作
・動画配信サーバ装置20Bにアクセスしてこの動画配信サーバ装置20Bから第2の動画を受信するための適切な動作
・第2の動画を再生しているときに再生データをBCサーバ装置20Aを介して各視聴者の端末装置10に送信するための適切な動作
・他の端末装置10により配信された構成データ又は第1の動画を受信するための適切な動作
・他の端末装置10から受信した構成データを用いて第1の動画を生成して表示するための適切な動作
・他の端末装置10から受信した第1の動画を表示するための適切な動作
・動画配信サーバ装置20Bから受信した第2の動画を、BCサーバ装置20Aから受信した再生データに従って表示(再生)するための適切な動作等
【0047】
なお、端末装置10は、中央処理装置11に代えて又は中央処理装置11とともに、1又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含むことも可能である。
【0048】
2-2.サーバ装置20のハードウェア構成
各サーバ装置20のハードウェア構成例について同じく
図2を参照して説明する。各サーバ装置20(BCサーバ装置20A及び動画配信サーバ装置20B)のハードウェア構成としては、例えば、上述した各端末装置10のハードウェア構成と同一の構成を用いることが可能である。したがって、各サーバ装置20が有する構成要素に対する参照符号は、
図2において括弧内に示されている。
【0049】
図2に示すように、各サーバ装置20は、主に、中央処理装置21と、主記憶装置22と、入出力インタフェイス装置23と、入力装置24と、補助記憶装置25と、出力装置26と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
【0050】
中央処理装置21、主記憶装置22、入出力インタフェイス装置23、入力装置24、補助記憶装置25及び出力装置26は、それぞれ、上述した各端末装置10に含まれる、中央処理装置11、主記憶装置12、入出力インタフェイス装置13、入力装置14、補助記憶装置15及び出力装置16と略同一であり得る。
【0051】
このようなハードウェア構成にあっては、中央処理装置21が、補助記憶装置25に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置22にロードし、ロードした命令及びデータを演算することができる。これにより、中央処理装置21は、入出力インタフェイス装置23を介して出力装置26を制御し、或いはまた、入出力インタフェイス装置23及び通信回線2を介して、他の装置(例えば各端末装置10等)との間で様々なデータの送受信を行うことができる。
【0052】
これにより、BCサーバ装置20Aは、例えば以下に例示する動作(後に詳述する様々な動作を含む)のうちの少なくとも1つの動作を実行することができる。
・各配信者の端末装置10により送信された構成データ又は第1の動画を、各視聴者の端末装置10に配信するための適切な動作、
(・各配信者の端末装置10により送信された構成データを用いて第1の動画を生成し、生成した第1の動画を各視聴者の端末装置10に配信するための適切な動作)
・各配信者の端末装置10により送信された再生データを、各視聴者の端末装置10に配信するための適切な動作等
【0053】
同様に、動画配信サーバ装置20Bは、例えば以下に例示する動作(後に詳述する様々な動作を含む)のうちの少なくとも1つの動作を実行することができる。
・複数の動画を格納するための適切な動作、
・格納した複数の動画のうち、各端末装置10により指定された動画を第2の動画としてその端末装置10に配信するための適切な動作等
【0054】
なお、サーバ装置20は、中央処理装置21に代えて又は中央処理装置21とともに、1又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含むことも可能である。
【0055】
2-3.スタジオユニット30のハードウェア構成
スタジオユニット30は、上述したように、端末装置10及び/又はBCサーバ装置20Aと同様の機能を果たすことが可能である。したがって、スタジオユニット30は、上述した端末装置10又はBCサーバ装置20Aと同様のハードウェア構成を有することができる。
【0056】
3-1.端末装置10の機能
端末装置10が有する機能の一例について
図3を参照して説明する。
図3は、
図1に示した端末装置10が有する機能の一例を模式的に示すブロック図である。
【0057】
図3に示すように、端末装置10は、主に、構成データ生成部100と、通信部110と、動画再生部120と、再生データ生成部130と、動画生成部140と、表示部150と、記憶部160と、ユーザインタフェイス部170と、を含むことができる。
【0058】
(1)構成データ生成部100
構成データ生成部100は、当該端末装置10が配信者の端末装置10として動作する場合に、例えば単位時間ごとに、配信者の動作に関する動作データとこの配信者の発した音声に関する音声データとを少なくとも含む構成データを生成することができる。動作データは、配信者の顔等の動作のディジタル表現をタイムスタンプに対応付けて記録したデータであり得る。音声データは、配信者の発した音声のディジタル表現をタイムスタンプに対応付けて記録したデータであり得る。
【0059】
構成データ生成部100は、このような構成データを生成するために、例えば、取得部102と、処理部104と、を含むことができる。
【0060】
取得部102は、配信者の身体に関するデータを取得する1又はそれ以上の第1のセンサ102a(例えばカメラ102c)と、配信者により発せられた発話に関する音声データを取得する1又はそれ以上の第2のセンサ102b(例えばマイク102d)と、を含むことができる。
【0061】
第1のセンサ102aは、例えば、配信者の顔等に向かって赤外線を放射する図示しない放射部、及び、配信者の顔等に反射した赤外線を検出する図示しない赤外線カメラを含むことができる。或いはまた、第1のセンサ102aは、配信者の顔等を撮影する図示しないRGBカメラ、及び、このカメラにより撮影された画像を処理する画像処理部を含むことができる。
【0062】
第2のセンサ102bは、例えば、配信者により発せられた音声を検出して音声信号として出力することができる。
【0063】
処理部104は、第1のセンサ102aにより検出されたデータを用いて、所定の時点(例えば検出を開始した初期時点)からの配信者の表情の変化、及び、配信者の相対位置の変化を検出することができる。これにより、処理部104は、タイムスタンプに対応付けて配信者の顔等の変化を示す動作データ(モーションデータ)を生成することができる。かかる動作データは、例えば、タイムスタンプにより識別される単位時間ごとに、配信者の顔等のいずれの部分がどのように変化したのか、及び、配信者の相対位置がどのように変化したのかを示すデータ等を含み得る。
【0064】
例えば、動作データは、モーションキャプチャシステムを用いて取得され得る。本開示による利益を有する当業者により容易に理解されるように、本件出願において開示される装置及び方法とともに使用され得る幾つかの例の適切なモーションキャプチャシステムは、パッシブマーカ若しくはアクティブマーカを用いた又はマーカを用いない光学式モーションキャプチャシステムと、慣性式及び磁気式の非光学式システムとを含む。モーションデータは、モーションデータを動画又は他のイメージデータに変換するコンピュータに結合された、(CCD(電荷結合デバイス)又はCMOS(相補型金属酸化膜半導体)イメージセンサといったような)イメージキャプチャ装置を用いて取得され得る。
【0065】
さらに、処理部104は、第2のセンサ102bにより検出された音声信号をタイムスタンプに対応付けて記録することにより、音声データを生成することができる。例えば、処理部104は、この音声データをMPEGファイル等の音声ファイルとして生成することができる。
【0066】
このように、処理部104は、音声データ及び動作データを少なくとも含む構成データを生成することができる。
【0067】
また、処理部104は、アバターデータを構成データに含めることもできる。アバターデータは、配信者のアバターを描画するための3次元モデルデータである。アバターデータは、アバター本体を描画するためのデータ、及び、アバター本体に適用されるテクスチャデータ等を含み得る。アバター本体を描画するためのデータには、ポリゴンデータ及びアバターの動作を表現するための骨格(ボーン)データ等が含まれ得る。テクスチャデータには、アバターに対して適用される複数のパーツデータ(例えば、目、眉、鼻、耳及び服等)が含まれ得る。
【0068】
(2)通信部110
通信部110は、動画の配信及び/又は視聴に用いられる様々なデータ、BCサーバ装置20A及び動画配信サーバ装置20Bとの間において通信することができる。
【0069】
例えば、通信部110は、当該端末装置10が配信者の端末装置10として動作する場合には、次のようなデータのうちの少なくとも1つのデータを送信又は受信することができる。
【0070】
(通信部110が送信するデータ)
・構成データ生成部100により生成された構成データ(これは、BCサーバ装置20Aを介して、各視聴者の端末装置10に配信され得る)
・構成データ生成部100により生成された構成データに基づいて動画生成部140により生成された第1の動画(これは、BCサーバ装置20Aを介して、各視聴者の端末装置10に配信され得る)
・再生データ(これは、BCサーバ装置20Aを介して、各視聴者の端末装置10に配信され得る)
【0071】
(通信部110が受信するデータ)
・動画配信サーバ装置20Bからの第2の動画
【0072】
一方、例えば、通信部110は、当該端末装置10が視聴者の端末装置10として動作する場合には、次のようなデータのうちの少なくとも1つのデータを送信又は受信することができる。
【0073】
(通信部110が送信するデータ)
・配信者の端末装置10から受信した再生データに含まれるアクセスデータ(URL)(これは、動画配信サーバ装置20Bに送信され得る)
【0074】
(通信部110が受信するデータ)
・配信者の端末装置10により送信されBCサーバ装置20Aを経由した構成データ(又は第1の動画)及び再生データ
・動画配信サーバ装置20Bからの第2の動画
【0075】
(3)動画再生部120
動画再生部120は、動画配信サーバ装置20Bにより送信され通信部110により受信された第2の動画を再生することができる。
【0076】
特に、当該端末装置10が視聴者の端末装置10として動作する場合には、動画再生部120は、配信者の端末装置10からBCサーバ装置20Aを介して通信部110により受信された再生データに従って、第2の動画を再生することができる。
【0077】
(4)再生データ生成部130
再生データ生成部130は、当該端末装置10が配信者の端末装置10として動作する場合に、各視聴者の端末装置10に送信すべき再生データを生成することができる。再生データは、例えば、以下に示すアクセスデータ及び指示データのうちの少なくとも一方のデータを含むことができる。
【0078】
(i)アクセスデータ
アクセスデータは、動画配信サーバ装置20Bに格納された第2の動画であって当該配信者の端末装置10が現在再生している第2の動画について、この第2の動画にアクセスするための方法を示すアクセスデータであり得る。
【0079】
アクセスデータの一態様は、URL(Uniform Resource Locator)であり得る。アクセスデータの別の態様は、URI(Uniform Resource Identifier)であり得る。各視聴者の端末装置10は、動画受信用アプリケーションにおいてこのURL又はURIを指定することにより、動画配信サーバ装置20Bにアクセスして、この動画配信サーバ装置20Bから、現在配信者の端末装置10が動画配信サーバ装置20Bから受信して再生しているものと同一の第2の動画を受信することができる。
【0080】
(ii)指示データ(指示情報)
指示データは、動画配信サーバ装置20Bに格納された第2の動画であって当該配信者の端末装置10が現在再生している第2の動画について、当該配信者の端末装置10によるこの第2の動画の再生に同期し、この第2の動画に対する各視聴者の端末装置10の動作を指示するデータであり得る。この指示データは、例えば、以下のような指示のうちの少なくとも1つの指示を含むこと、又は、以下のようなコマンド(命令)のうちの少なくとも1つのコマンド(命令)を含むことができる。
・第2の動画の特定の再生位置(タイムスタンプ等)を指示すること(又は、特定の再生位置から第2の動画を再生する旨を指示するコマンド)
これにより、各視聴者の端末装置10は、指示された再生位置にジャンプし、その再生位置から再生することができる)
・第2の動画の固定した再生位置(タイムスタンプ等)を指示すること(又は、第2の動画の再生を一時停止する旨を指示するコマンド)
これにより、各視聴者の端末装置10は、第2の動画の再生を一時停止することができる)
・第2の動画の経時的に変化する再生位置(タイムスタンプ等)を指示すること(又は、一時停止していた第2の動画の再生を再開する旨を指示するコマンド)
これにより、各視聴者の端末装置10は、一時停止していた第2の動画の再生を再開することができる)、
・通常の1/X倍(Xは、正又は負の数)の時間で経時的に変化させた、第2の動画の再生位置(タイムスタンプ等)を指示すること(又は、第2の動画をX倍の再生速度で再生する旨を指示するコマンド)
これにより、各視聴者の端末装置10は、第2の動画の再生速度及び再生方向を変化させることができる)
【0081】
なお、再生データ生成部130は、このようなアクセスデータ及び/又は指示データを含む再生データを、単位時間ごとに生成することができる。単位時間は、固定されていてもよいし、可変であってもよいし、固定と可変との組み合わせであってもよい。単位時間は、例えば、0.01秒~1分の範囲に含まれる時間であり得るし、好ましくは、0.05秒~1秒の範囲に含まれる時間であり得る。
【0082】
(5)動画生成部140
動画生成部140は、当該端末装置10が配信者の端末装置10として動作する場合には、当該端末装置10の構成データ生成部100により生成された構成データを用いて第1の動画を生成することができる。一方、動画生成部140は、当該端末装置10が視聴者の端末装置10として動作する場合には、配信者の端末装置10により送信され、当該端末装置10の通信部110により受信された構成データを用いて第1の動画を生成することができる。
【0083】
具体的には、動画生成部140は、構成データに含まれた配信者のアバターデータに対して、この構成データに含まれた動作データ(モーションデータ)を適用してレンダリングを実行することができる。これにより、動画生成部140は、配信者の動作に同期して動作する配信者のアバターのアニメーションを含む動画(第1の動画)を生成することができる。ここでいうレンダリングは、当業者に周知である任意の技術を含むことができ、例えば、透視投影及び隠面消去(ラスタ化)等を含む描画処理であり得る。かかる描画処理は、また、シェーディング(陰影処理)及び/又はテクスチャマッピング等の処理を含むことができる。
【0084】
さらに、動画生成部140は、このように生成された第1の動画に対して、構成データに含まれた音声データ(例えばMPEGファイル)を組み合わせることができる。具体的には、動画生成部140は、動作データに含まれたタイムスタンプと音声データに含まれたスタンプとが一致(又は略一致)するように、第1の動画に対して音声データを組み込むことができる。これにより、第2の動画において、配信者の動作に従って動作する配信者のアバターのアニメーションと、音声データに基づいて再生される配信者の発話とを、同期又は実質的に同期させることができる。
【0085】
なお、動画生成部140は、配信者の動作に関する動作データに基づいてこの配信者のアバターのアニメーションを含む第1の動画を生成するために、他の任意の周知な技術を利用することも可能である。かかる周知技術には、下記URLにより特定されるウェブサイトに記載された”Blend Shapes”と称する技術が含まれる。
https://developer.apple.com/documentation/arkit/arfaceanchor/2928251-blendshapes
なお、このウェブサイトに記載された内容は、引用よりその全体が本明細書に組み入れられる。
【0086】
動画生成部140は、この技術を用いる場合には、配信者の上半身(顔等)の複数の特徴点のうち、配信者の動作に対応する1以上の特徴点の各々のパラメータを調整することができる。これにより、動画生成部140は、は、配信者の動作に追従したアバターの動画を生成することができる。
【0087】
(6)表示部150
表示部150は、動画の配信及び/又は視聴に用いられる様々なデータを表示することができる。例えば、表示部150は、動画生成部140により生成された第1の動画、及び/又は、動画再生部120により再生された第2の動画を表示することができる。
【0088】
(7)記憶部160
記憶部160は、動画の配信及び/又は視聴に用いられる様々なデータを記憶することができる。
【0089】
(8)ユーザインタフェイス部170
ユーザインタフェイス部170は、動画の配信及び/又は視聴に用いられる様々なデータをユーザの操作を介して入力することができる。
【0090】
3-2.ブロードキャスト(BC)サーバ装置20Aの機能
BCサーバ装置20Aが有する機能の一例について
図4を参照して説明する。
図4は、
図1に示したブロードキャストサーバ装置20Aが有する機能の一例を模式的に示すブロック図である。
図4に示すように、BCサーバ装置20Aは、主に、通信部200と、記憶部210と、を含むことができる。さらに、BCサーバ装置20Aは、オプションとして動画生成部220を含むこともできる。
【0091】
通信部200は、動画の配信に用いられる様々なデータを、配信者の端末装置10及び/又は視聴者の端末装置10との間において通信することができる。例えば、通信部200は、配信者の端末装置10から受信した構成データ又は第1の動画を、各視聴者の端末装置10に配信することができる。また、通信部200は、配信者の端末装置10から受信した再生データを、各視聴者の端末装置10に配信することができる。
【0092】
記憶部210は、動画の配信に用いられ、通信部200から受信した様々なデータを記憶することができる。
【0093】
オプションとしての動画生成部220は、配信者の端末装置10から構成データを受信した場合に、各視聴者の端末装置10の代わりに、この構成データを用いて第1の動画を生成することができる。このように生成された第1の動画は、通信部200により、各視聴者の端末装置10に配信され得る。動画生成部220は、受信した構成データから第1の動画を生成するために、端末装置10の動画生成部140と同様の構成を有することができる。
【0094】
3-3.動画配信サーバ装置20Bの機能
動画配信サーバ装置20Bが有する機能の一例について
図5を参照して説明する。
図5は、
図1に示した動画配信サーバ装置20Bが有する機能の一例を模式的に示すブロック図である。
図5に示すように、動画配信サーバ装置20Bは、主に、通信部300と、記憶部310と、を含むことができる。
【0095】
通信部300は、動画の配信に用いられる様々なデータを、配信者の端末装置10及び/又は視聴者の端末装置10との間において通信することができる。例えば、通信部300は、配信者の端末装置10及び/又は各視聴者の端末装置10からアクセスデータ(URL等)を受信することができる。さらに、通信部300は、記憶部310に予め記憶された複数の動画のうち、配信者の端末装置10(又は各視聴者の端末装置10)から受信したアクセスデータにより識別される動画を、第2の動画として、配信者の端末装置10(又は各視聴者の端末装置10)に配信することができる。
【0096】
記憶部310は、動画の配信に用いられ、通信部300から受信した様々なデータを記憶することができる。特に、記憶部310は、予め複数の動画を通信部300から受信して記憶しておくことができる。
【0097】
3-4.スタジオユニット30の機能
スタジオユニット30は、上述したように、端末装置10及び/又はBCサーバ装置20Aと同様の機能を果たすことが可能である。したがって、スタジオユニット30は、
図3を参照して説明した端末装置10の機能、及び/又は、
図4を参照して説明したBCサーバ装置20Aの機能を有することが可能である。
【0098】
4.動画配信システム1の動作
次に、上記構成を有する動画配信システム1において行われる動作について、
図6A及び
図6Bを参照して説明する。
図6A及び
図6Bは、
図1に示した動画配信システム1において行われる動作の一例を示すフロー図である。
【0099】
まず、ステップ(以下「ST」という。)400において、配信者(例えば配信者A)の端末装置10Aは、動画配信用アプリケーションを起動して実行することができる。
【0100】
ST402において、配信者Aの端末装置10Aは、単位時間ごとに構成データを生成してBCサーバ装置20Aに送信することができる。BCサーバ装置20Aは、配信者Aの端末装置10Aから単位時間ごとに受信する構成データを、動画配信用アプリケーションを実行している各視聴者の端末装置10に配信することができる。なお、配信者Aの端末装置10Aは、生成した構成データを用いて、配信者Aのアバターのアニメーション及び配信者Aの発話に関する音声信号を含む第1の動画を生成して、配信者Aに対して表示してもよい。
【0101】
ST404において、各視聴者の端末装置10は、BCサーバ装置20Aから単位時間ごとに受信する構成データを用いて、配信者Aのアバターのアニメーション及び配信者Aの発話に関する音声信号を含む第1の動画を生成して表示することができる。
図7には、各視聴者の端末装置10に表示される第1の動画の一例が示される。
図7に示すように、第1の動画は、配信者Aのアバター502のアニメーションを含むことができる。
【0102】
このようなST402及びST404における動作は、単位時間ごとに繰り返して実行され得る。このように繰り返されるST402及びST404における動作と並行して、以下に説明するST406~ST434が実行され得る。
【0103】
ST406において、配信者Aの端末装置10Aは、動画配信用アプリケーションを実行した状態において、配信者Aによるユーザインタフェイスを介した操作(例えば、配信者Aが例えば画面の下部に表示された動画受信アイコンをタップする操作等)に従って、動画受信用アプリケーションを起動して実行することができる。なお、一実施形態では、配信者Aの端末装置10Aは、動画受信用アプリケーションを実行して、動画配信サーバ装置20Bから第2の動画530を受信することができる。しかし、別の実施形態では、配信者Aの端末装置10Aは、複数の動画配信サーバ装置のうち選択した動画配信サーバ装置から、第2の動画を受信することもできる。この場合、端末装置10Aは、例えば画面の下部に、複数の動画配信サーバ装置(動画配信サービス)の各々に対応する動画受信アイコンを表示し、配信者Aは、所望の動画配信サービスに対応する動画受信アイコンをタップ等することができる。これにより、端末装置10Aは、このように配信者Aに選択された動画受信アイコンに対応する動画受信用アプリケーションを実行して、対応する動画配信サーバ装置から第2の動画を受信することができる。
【0104】
ST408において、配信者Aの端末装置10Aは、動画受信用アプリケーションにおいて、所定のアクセスデータ(動画配信サーバ装置20Bにより提供される、例えば、動画検索用のウェブページを識別するURL又はURI)を指定することができる。これにより、配信者Aの端末装置10Aは、動画配信サーバ装置20Bから動画検索用のウェブページを受信することができる。
図8には、配信者Aの端末装置10Aに表示される動画検索用のウェブページの一例が示されている。
図8に示すように、配信者Aの端末装置10Aは、第1の動画500が表示される領域とは異なる領域510において、動画配信サーバ装置20Bから受信した動画検索用のウェブページ512を表示することができる。このウェブページ512は、検索キーワードを入力する領域514を含み得る。なお、このようなウェブページ512は、配信者Aの端末装置10Aのみにより受信及び表示されるのであって、各視聴者の端末装置10には受信も表示もされない。各視聴者の端末装置10は、
図7に例示したように、依然として第1の動画500を表示することができる。
【0105】
ST410において、配信者Aの端末装置10Aは、配信者Aによるユーザインタフェイスを介した操作に従って入力された検索キーワードを動画配信サーバ装置20Bに送信することができる。これにより、配信者Aの端末装置10Aは、検索キーワードに関連する複数の候補動画に関するデータ(再生候補データ)を動画配信サーバ装置20Bから受信して表示することができる。
図9に示すように、配信者Aの端末装置10Aは、複数の候補動画に関するデータとして、例えば、第1の候補動画に関するデータ520、第2の候補動画に関するデータ522及び第3の候補動画に関するデータ524を受信して表示することができる。第1の候補動画に関するデータ520は、この第1の候補動画のタイトル「ドラマII最終回」を含むことができる。同様に、第2の候補動画に関するデータ522及び第3の候補動画に関するデータ524もまた、それぞれ、第2の候補動画のタイトル「お料理教室第2回」及び第3の候補動画のタイトル「ニュース21時」を含むことができる。なお、各候補動画に関するデータは、その候補動画のサムネイル、その候補動画の説明、その候補動画が他のユーザ(配信者及び/又は視聴者等)により視聴された回数、及び/又は、その候補動画に対して投稿されたコメント等を含むことも可能である。
【0106】
また、このような複数の候補動画に関するデータ520~524は、配信者Aの端末装置10Aのみにより受信及び表示されるのであって、各視聴者の端末装置10には受信も表示もされない。各視聴者の端末装置10は、
図7に例示したように、依然として第1の動画500を表示することができる。
【0107】
ST412において、配信者Aの端末装置10Aは、配信者Aによるユーザインタフェイスを介した操作に従って入力された選択された動画(第2の動画)を示すデータを動画配信サーバ装置20Bに送信することができる。このデータは、動画配信サーバ装置20Bにより格納された第2の動画であって配信者Aの端末装置10Aが再生している第2の動画にアクセスするための方法を示すアクセスデータ(URL又はURI等)に相当する。これにより、配信者Aの端末装置10Aは、第2の動画を動画配信サーバ装置20Bから受信して表示(再生)することができる。これにより、
図10に示すように、配信者Aの端末装置10Aは、第1の動画500の例えば上方において、第2の動画530を再生して表示することができる。
【0108】
ST414において、配信者Aの端末装置10Aが、上記アクセスデータと、端末装置10Aによる第2の動画に同期し、この第2の動画に対する各視聴者の端末装置10の動作を指示する指示データと、を含む再生データを、動画配信サーバ装置20Bではなく、今度はBCサーバ装置20Aに対して送信することができる。この時点では、配信者Aの端末装置10Aは、指示データにおいて、この端末装置10Aにおける第2の動画の現在の再生位置を指示することができる。
【0109】
ST416において、BCサーバ装置20Aは、配信者Aの端末装置10Aから受信した再生データを各視聴者の端末装置10に送信することができる。
【0110】
ST418において、各視聴者の端末装置10は、動画配信用アプリケーションを実行している状態において、BCサーバ装置20Aから再生データを受信したことをトリガとして、動画受信用アプリケーションを起動して実行することができる。
【0111】
図6Bを参照すると、ST420において、各視聴者の端末装置10は、動画受信用アプリケーションにおいて、(上記ST418において受信した再生データに含まれた)アクセスデータを指定することができる。これにより、各視聴者の端末装置10は、動画配信サーバ装置20Bにアクセスして、この動画配信サーバ装置20Bから第2の動画を受信することができる。
【0112】
ST422において、各視聴者の端末装置10は、動画配信サーバ装置20Bから受信した第2の動画を、(上記ST418において受信した再生データに含まれた)指示データにより指定された再生位置に従って再生して表示することができる。各視聴者の端末装置10は、配信者Aの端末装置10Aと同様に、
図10(配信者Aの端末装置10Aにより表示される第1の動画500及び第2の動画530を示す)に例示されるように、第1の動画500の例えば上方において、第2の動画530を再生して表示することができる。
【0113】
ST424において、第2の動画を再生している配信者Aの端末装置10Aは、単位時間ごとに、再生データを、BCサーバ装置20Aを介して、各視聴者の端末装置10に送信することができる。ここで、再生データに含まれるアクセスデータは、上記ST414において送信したアクセスデータと同一である。このように、配信者Aの端末装置10Aが、単位時間ごとに、再生データを介して同一のアクセスデータを送信する理由は、たとえ途中から配信者Aの第1の動画の視聴を開始した視聴者の端末装置10であっても、確実にアクセスデータを取得して、配信者Aの端末装置10Aが現在再生しているものと同一の第2の動画を受信することができるようにするためである。また、再生データに含まれる指示データは、端末装置10Aにおける第2の動画の現在の再生位置を指示することができる。
【0114】
ST426において、各視聴者の端末装置10は、第2の動画を、(上記ST424において受信した再生データに含まれた)指示データにより指定された再生位置に従って再生して表示することができる。
【0115】
この後、
図6Bにおいては省略されているが、上述したST424及びST426が繰り返し実行される。
【0116】
これにより、各視聴者の端末装置10は、配信者Aの端末装置10Aによる第2の動画の再生と同期した又は実質的に同期したタイミングにおいて、第2の動画を再生し続けることができる。但し、配信者Aの端末装置10Aが、ある単位時間において再生データを送信した時点と、各視聴者の端末装置10が、BCサーバ装置20Aを介してこの再生データを受信した時点と、の間に生ずるタイムラグ等によって、配信者Aの端末装置10Aによる第2の動画の再生位置と、各視聴者の端末装置10による第2の動画の再生位置との間に、タイムラグが生じ得る可能性は考えられる。
【0117】
ST428において、或る視聴者(例えば視聴者B)の端末装置10Bが、配信者Bによるユーザインタフェイスを介した操作に従って、第2の動画の再生を一時停止した事象を考える。このような事象は、配信者Bが所用により第2の動画を一時的に視聴できなくなる場合に起こり得る。この場合、配信者Aの端末装置10A及び他の視聴者の端末装置10は、依然として、上述したように第2の動画の再生を継続することができる。
【0118】
この後、ST430では、上述したST424におけると同様に、第2の動画を再生している配信者Aの端末装置10Aは、単位時間ごとに、再生データを、BCサーバ装置20Aを介して、各視聴者の端末装置10に送信することができる。
【0119】
ST432において、視聴者Bの端末装置10Bが、配信者Bによるユーザインタフェイスを介した操作に従って、第2の動画の再生を再開することができる。端末装置10Bは、上記ST428において一時停止された再生位置ではなく、上記ST430において受信した再生データ(最新の再生データ)に含まれる指示データにより指定される再生位置から、第2の動画の再生を再開することができる。これにより、視聴者Bの端末装置10Bは、配信者Aの端末装置10Aとは異なる(遅れた)タイミングではなく、配信者Aの端末装置10Aにおける第2の動画の再生位置に同期したタイミングにおいて、第2の動画を再生することができる。
【0120】
次に、ST434において、配信者Aの端末装置10A及び各視聴者の端末装置10が第2の動画の再生を終了することができる。この場合、各視聴者の端末装置10は、依然として、配信者Aの端末装置10AからBCサーバ装置20Aを介して送信されてくる構成データを用いて、第1の動画500を生成して表示することができる(配信者Aの端末装置10Aもまた構成データを用いて第1の動画500を生成して表示することができる)。
【0121】
最後に、配信者Aの端末装置10Aが構成データの送信を停止することにより、処理は終了する。
【0122】
5.変形例
上述した様々な実施形態では、各視聴者の端末装置10は、動画配信サーバ装置20Bから第2の動画530を受信して再生することと並行して、BCサーバ装置20Aから受信した構成データを用いて第1の動画500を生成して表示することができる。これは、各視聴者の端末装置10は、第2の動画530に含まれる音声信号、及び、第1の動画500に含まれる音声信号の両方を、図示しないスピーカ等の出力部から出力することを意味する。この場合、第2の動画530に含まれる音声信号に耳を傾けたいと考える視聴者にとっては、第1の動画500に含まれる音声信号は、第2の動画530に含まれる音声信号を聞き難くする可能性がある。同様に、第1の動画500に含まれる音声信号に耳を傾けたいと考える視聴者にとっては、第2の動画530に含まれる音声信号は、第1の動画500に含まれる音声信号を聞き難くする可能性がある。
【0123】
そこで、各視聴者の端末装置10は、第1の動画500に含まれる音声信号とは独立して、第2の動画530に含まれる音声信号のレベルを調節することを可能にする、ミキシング機能を有することができる。このように、入力される複数の音声信号のレベルを相互に独立に調節する機能を、ソフトウェア(又はソフトウェアモジュール)等により実現することは、周知技術である。
【0124】
一実施形態では、入力される複数の音声信号のレベルを相互に独立に調節する機能を、各視聴者によるユーザインタフェイスを介した操作に連動させて実行することができる。例えば、
図11に例示されるように、各視聴者の端末装置10は、第1の動画500に対応付けて、第1の動画500に含まれる音声信号のレベルを調節するスライダ600を表示し、第2の動画530に対応付けて、第2の動画530に含まれる音声信号のレベルを調節するスライダ630を表示することができる。スライダ600及びスライダ630は、ともに、各視聴者によるユーザインタフェイスを介した操作により移動可能なオブジェクトであるといえる。
【0125】
視聴者がユーザインタフェイスを介してスライダ630を上昇又は下降させることにより、視聴者の端末装置10は、第2の動画530に含まれる音声信号のレベルを、第1の動画500に含まれる音声信号とは独立して、増加又は減少させることができる。これに伴い、視聴者の端末装置10は、第2の動画530に含まれる音声信号のレベルを示す数値(ここでは例えば「6」)を、スライダ630の例えば右方に表示してもよい。
【0126】
同様に、視聴者がユーザインタフェイスを介してスライダ600を上昇又は下降させることにより、視聴者の端末装置10は、第1の動画500に含まれる音声信号のレベルを、第2の動画530に含まれる音声信号とは独立して、増加又は減少させることができる。これに伴い、視聴者の端末装置10は、第1の動画500に含まれる音声信号のレベルを示す数値(ここでは例えば「2」)を、スライダ600の例えば右方に表示してもよい。
【0127】
なお、
図11は、各視聴者の端末装置10が、第1の動画500に対応付けて、第1の動画500に含まれる音声信号のレベルを調節するスライダ600、及び、第2の動画530に対応付けて、第2の動画530に含まれる音声信号のレベルを調節するスライダ630の両方を表示する構成を示している。しかし、各視聴者の端末装置10は、第1の動画500に対応付けて、第1の動画500に含まれる音声信号のレベルを調節するスライダ600、及び、第2の動画530に対応付けて、第2の動画530に含まれる音声信号のレベルを調節するスライダ630のうちのいずれか一方のみを表示することも可能である。
【0128】
図12は、
図1に示した各視聴者の端末装置10により同時に表示される第1の動画500及び第2の動画530の別の例を示す模式図である。
図12と
図11との比較により明らかであるように、各視聴者の端末装置10は、第2の動画530を表示する領域を、その視聴者によるユーザインタフェイスを介した操作(例えば、第2の動画530を表示する領域に対するドラッグ操作及びスワイプ操作等)に連動させて、移動させることができる。これに加えて又はこれに代えて、各視聴者の端末装置10は、第1の動画500を表示する領域を、その視聴者によるユーザインタフェイスを介した操作(例えば、第1の動画500を表示する領域に対するドラッグ操作及びスワイプ操作等)に連動させて、移動させることも可能である。
【0129】
図13は、
図1に示した各視聴者の端末装置10により同時に表示される第1の動画500及び第2の動画530のさらに別の例を示す模式図である。
図12と
図13との比較により明らかであるように、各視聴者の端末装置10は、第2の動画530を表示する領域を、その視聴者によるユーザインタフェイスを介した操作(例えば、第2の動画530を表示する領域に対するドラッグ操作及びスワイプ操作等)に連動させて、拡大又は縮小することができる。さらに、各視聴者の端末装置10は、その視聴者によるユーザインタフェイスを介した操作(例えば、第2の動画530を表示する領域に対するドラッグ操作及びスワイプ操作等)に連動させて、この端末装置10の表示領域の全体又は略全体に、第2の動画530を拡大させて表示することができる(この場合、第1の動画500は表示されない)。
これに加えて又はこれに代えて、各視聴者の端末装置10は、第1の動画500を表示する領域を、その視聴者によるユーザインタフェイスを介した操作(例えば、第1の動画500を表示する領域に対するドラッグ操作及びスワイプ操作等)に連動させて、拡大又は縮小することも可能である。さらに、各視聴者の端末装置10は、その視聴者によるユーザインタフェイスを介した操作(例えば、第1の動画500を表示する領域に対するドラッグ操作及びスワイプ操作等)に連動させて、この端末装置10の表示領域の全体又は略全体に、第1の動画500を拡大させて表示することができる(この場合、第2の動画530は表示されない)。なお、
図13には、視聴者がその端末装置10の長手方向を水平方向に沿うようにその端末装置10を傾けた場合に、その端末装置10が、第1の動画500を表示する領域と第2の動画530を表示する領域とを上記長手方向に沿って並べるように配置した例が示されている。
【0130】
上述した様々な実施形態では、配信者の端末装置10が、構成データを、BCサーバ装置20Aを介して各視聴者の端末装置10に配信する場合について説明した。しかし、別の実施形態では、配信者の端末装置10は、構成データではなく、この構成データに基づいて生成された第1の動画を、BCサーバ装置20Aを介して各視聴者の端末装置10に送信することも可能である。この場合、構成データに基づいて第1の動画を生成することは、配信者の端末装置10により実行されてもよいし、又は、配信者の端末装置10から構成データを受信するBCサーバ装置20Aにより実行されてもよい。これにより、各視聴者の端末装置10は、生成された第1の動画を受信することができるので、構成データに基づいて第1の動画を生成する処理を行う必要がない。したがって、各視聴者の端末装置10に用いられる処理能力及び消費電力(例えば中央処理装置11の処理能力及び消費電力)を抑えることができる。
【0131】
また、上述した様々な実施形態では、配信者の端末装置10がアクセスデータ及び指示データの両方を含む再生データを送信する場合について説明した。配信者の端末装置10がアクセスデータを単位時間ごとに送信する理由は、上述したように、配信者が第2の動画の受信を開始した時点において、配信者による第1の動画の配信を受けておらず、途中から配信者による第1の動画の配信を途中から受けた視聴者(以下「遅参視聴者」という。)を配慮したことにある。配信者の端末装置10が単位時間ごとにアクセスデータを送信することにより、このような遅参視聴者の端末装置10は、遅かれ早かれ配信者の端末装置10からアクセスデータを受信することにより、このアクセスデータを用いて動画配信サーバ装置20Bにアクセスすることができる。したがって、遅参視聴者の端末装置10は、確実に動画配信サーバ装置20Bから第2の動画を受信することができる。
【0132】
しかし、別の実施形態では、遅参視聴者を配慮することなく、配信者の端末装置10は、動画配信サーバ装置20Bから第2の動画の受信を開始した時点から所定の時間(例えば1分~10分の範囲にある時間等)を経過するまでは、アクセスデータ及び指示データの両方を含む再生データを送信するが、上記所定の時間を経過した後にあっては、指示データのみを含む再生データを送信するようにしてもよい。
【0133】
さらにまた、別の実施形態では、配信者の端末装置10は、動画配信サーバ装置20Bから、予め記憶された動画ではなく、ライブ配信方式(ストリーミング配信方式)により第2の動画を受信することも可能である。この場合には、配信者の端末装置10及び各視聴者の端末装置10は、動画配信サーバ装置20Bから、第2の動画の全体又は大部分を一度にまとめて受信するのではなく、第2の動画の一部分をリアルタイム方式により順次受信するに過ぎない。これにより、配信者の端末装置10は、基本的に第2の動画の再生位置を変更することが困難であることが多い。したがって、配信者の端末装置10は、動画配信サーバ装置20Bからライブ配信方式(ストリーミング配信方式)により第2の動画を受信する場合には、アクセスデータのみを含む再生データを単位時間ごとに各視聴者の端末装置10に送信することができる。この場合であっても、あるタイミングにおいてアクセスデータを用いて動画配信サーバ装置20Bにアクセスするすべての端末装置10は、第2の動画のうち略同一の部分を動画配信サーバ装置20Bから受信することになる。すなわち、動画配信サーバ装置20Bは、ライブ配信方式(ストリーミング配信方式)に従って第2の動画を各端末装置10に配信する際には、この第2の動画をすべての端末装置10に対して略同一のタイミングで配信し続けることになる。したがって、配信者の端末装置10及び各視聴者の端末装置10は、相互に実質的に同期したタイミングにより、第2の動画を受信することができる。
【0134】
上述した様々な実施形態では、1人の配信者の端末装置10が、単独で第1の動画(この配信者のアバターを含む第1の動画)を配信している状態において、動画受信用アプリケーションを起動及び実行して、動画配信サーバ装置20Bから第2の動画を検索及び受信する場合について説明した。しかし、別の実施形態では、複数の配信者の端末装置10が、協働して第1の動画(これら複数の配信者の各々のアバターを含む第1の動画)を配信している状態において、これら複数の配信者のうち選択されたいずれかの配信者の端末装置10が、動画受信用アプリケーションを起動及び実行して、動画配信サーバ装置20Bから第2の動画を検索及び受信することも可能である。なお、複数の配信者の端末装置10が協働して第1の動画を配信することを「コラボ配信(コラボレーション配信)」ということもある。
【0135】
以下、複数の配信者の端末装置が協働してコラボ配信を行っている状態においていずれかの配信者の端末装置が第2の動画を検索及び受信する具体例について、
図14A及び
図14Bを参照して説明する。
図14A及び
図14Bは、
図1に示した動画配信システム1において行われる動作の別の例を示すフロー図である。なお、
図14A及び
図14Bに示す動作のうち、
図6A及び
図6Bを参照して上述したものと同様の動作については、説明を省略する。
【0136】
図14Aを参照すると、まず、ST400’では、配信者Aの端末装置10Aが
図6Aを参照して上述したST400及びST402におけるものと同様の動作を実行することができる。次に、ST404’では、各視聴者の端末装置10が
図6Aを参照して上述したST404におけるものと同様の動作を実行することができる。
【0137】
次に、ST405では、複数の配信者の端末装置10が第1の動画に関するコラボ配信を実行することができる。このコラボ配信に関連する動作について、
図15を参照して説明する。
図15は、
図1に示した動画配信システム1において行われるコラボ配信に関連する動作の一例を説明するフロー図である。
【0138】
ここでは、第1の動画の配信を既に開始しており、他の配信者と協働してコラボ配信を実行する、配信者(配信者A)を、「ホスト配信者」という。また、ホスト配信者による第1の動画の受信を既に開始しており、ゲストとしてホスト配信者と協働してコラボ配信を実行する視聴者を、「ゲスト配信者」という。コラボ配信を実行するためには、ホスト配信者及び少なくとも1人のゲスト配信者が存在する。ここでは、説明の簡略化のために、少なくとも1人のゲスト参加者が、2人のゲスト参加者(第1ゲスト配信者E及び第2ゲスト配信者F)である場合について説明する。
【0139】
まず、ST41において、第1ゲスト配信者Eの端末装置10Eは、第1ゲスト配信者Eの操作に応じて、BCサーバ装置20Aに対して、参加申請データを送信することができる。なお、参加申請データは、第1ゲスト配信者Eを識別する識別データを含むことができる。同様の手法により、ST42において、第2ゲスト配信者Fの端末装置10Fは、第2ゲスト配信者Fの操作に応じて、BCサーバ装置20Aに対して、参加申請データを送信することができる。
【0140】
ST43において、BCサーバ装置20Aは、参加申請の通知を、参加申請を行った各ゲスト配信者の識別データとともに、ホスト配信者Aの端末装置10Aに送信することができる。端末装置10Aは、参加申請の通知をBCサーバ装置20Aから受信することに応答して、参加申請を承認するための画面を表示して、ホスト配信者Aに対して、参加申請に対する承認又は否認を選択させることができる。ホスト配信者によって承認が選択された場合には、ST44において、端末装置10Aは、参加申請が承認された旨を、承認されたゲスト配信者の識別データとともに、BCサーバ装置20Aに通知することができる。
【0141】
ST45において、BCサーバ装置20Aは、参加申請が承認されたゲスト配信者の識別データを含む参加者リストを、ホスト配信者Aの端末装置10A、並びに、承認されたゲスト配信者Eの端末装置10E及びゲスト配信者Fの端末装置10Fに送信することができる。
【0142】
ST46において、第2ゲスト配信者Fの端末装置10Fは、受信した参加者リストに第2ゲスト配信者Fの識別データが含まれていることを認識することにより、参加申請が承認された旨を認識することができる。これにより、端末装置10Fは、単位時間ごとに構成データを生成してBCサーバ装置20Aに送信することができる。この構成データは、
図6A(ST402)等を参照して上述したように、配信者Aの端末装置10Aにより生成されるものと同様であり得る。
【0143】
ST47において、BCサーバ装置20Aは、端末装置10Fから受信した構成データを、ホスト配信者Aの端末装置10A、第1ゲスト配信者Eの端末装置10E、及び、各視聴者の端末装置(ここでは、例えば、視聴者Bの端末装置10B)に送信することができる。
【0144】
ST48において、ホスト配信者Aの端末装置10Aは、上述したST402におけると同様に、単位時間ごとに構成データを生成してBCサーバ装置20Aに送信することができる。ST49において、BCサーバ装置20Aは、端末装置10Aから受信した構成データを、第1ゲスト配信者Eの端末装置10E、第2ゲスト配信者Fの端末装置10F、及び、各視聴者の端末装置に送信することができる。
【0145】
ST50において、第1ゲスト配信者Eの端末装置10Eは、受信した参加者リストに第1ゲスト配信者Eの識別データが含まれていることを認識することにより、参加申請が承認された旨を認識することができる。これにより、端末装置10Eは、単位時間ごとに構成データを生成してBCサーバ装置20Aに送信することができる。この構成データは、
図6A(ST402)等を参照して上述したように、配信者Aの端末装置10Aにより生成されるものと同様であり得る。
【0146】
ST51において、BCサーバ装置20Aは、端末装置10Eから受信した構成データを、ホスト配信者Aの端末装置10A、第2ゲスト配信者Fの端末装置10F、及び、各視聴者の端末装置送信することができる。
【0147】
なお、端末装置10A、端末装置10E及び端末装置10Fの各々が構成データを他の端末装置10に送信するタイミングは、
図15に例示されたタイミングに限定されず、相互に並行していてもよいし、任意の順序で発生してもよい。
【0148】
ST52において、ホスト配信者Aの端末装置10Aは、該端末装置10Aにより生成された構成データと、BCサーバ装置20Aから受信した第1ゲスト配信者Eの端末装置10Eの構成データと、BCサーバ装置20Aから受信した第2ゲスト配信者Fの端末装置10Fの構成データと、を用いて、第1の動画を生成することができる。端末装置10Aは、
図6A(ST402)等を参照して上述したものと同様の手法により第1の動画を生成することができる。このように生成された第1の動画は、ホスト配信者Aのアバター、第1ゲスト配信者Eのアバター及び第2ゲスト配信者Fのアバターを含むアニメーションであり得る。なお、端末装置10Aは、第1ゲスト配信者Eのアバター(又は第2ゲスト配信者Fのアバター)としては、例えば、第1ゲスト配信者Eの端末装置10E(又は第2ゲスト配信者Fの端末装置10F)からBCサーバ装置20Aを介して受信した構成データに含まれたものを用いることができる。
【0149】
ST53において、第1ゲスト配信者Eの端末装置10Eは、該端末装置10Eにより生成された構成データと、BCサーバ装置20Aから受信したホスト配信者Aの端末装置10Aの構成データと、BCサーバ装置20Aから受信した第2ゲスト配信者Fの端末装置10Fの構成データと、を用いて、第1の動画を生成することができる。端末装置10Eは、
図6A(ST404)等を参照して上述したものと同様の手法により第1の動画を生成することができる。このように生成された第1の動画は、ホスト配信者Aのアバター、第1ゲスト配信者Eのアバター及び第2ゲスト配信者Fのアバターを含むアニメーションであり得る。なお、端末装置10Eは、第2ゲスト配信者Fのアバター(又はホスト配信者Aのアバター)としては、例えば、第2ゲスト配信者Fの端末装置10F(又はホスト配信者Aの端末装置10A)からBCサーバ装置20Aを介して受信した構成データに含まれたものを用いることができる。
【0150】
ST54において、第2ゲスト配信者Fの端末装置10Fは、該端末装置10Fにより生成された構成データと、BCサーバ装置20Aから受信したホスト配信者Aの端末装置10Aの構成データと、BCサーバ装置20Aから受信した第1ゲスト配信者Eの端末装置10Eの構成データと、を用いて、第1の動画を生成することができる。端末装置10Fは、
図6A(ST404)等を参照して上述したものと同様の手法により第1の動画を生成することができる。このように生成された第1の動画は、ホスト配信者Aのアバター、第1ゲスト配信者Eのアバター及び第2ゲスト配信者Fのアバターを含むアニメーションであり得る。なお、端末装置10Fは、第1ゲスト配信者Eのアバター(又はホスト配信者Aのアバター)としては、例えば、第1ゲスト配信者Eの端末装置10E(又はホスト配信者Aの端末装置10A)からBCサーバ装置20Aを介して受信した構成データに含まれたものを用いることができる。
【0151】
ST55において、各視聴者の端末装置10(例えば端末装置10B)は、BCサーバ装置20Aから受信したホスト配信者Aの端末装置10Aの構成データと、BCサーバ装置20Aから受信した第1ゲスト配信者Eの端末装置10Eの構成データと、BCサーバ装置20Aから受信した第2ゲスト配信者Fの端末装置10Fの構成データと、を用いて、第1の動画を生成することができる。各視聴者の端末装置10は、
図6A(ST404)等を参照して上述したものと同様の手法により第1の動画を生成することができる。このように生成された第1の動画は、ホスト配信者Aのアバター、第1ゲスト配信者Eのアバター及び第2ゲスト配信者Fのアバターを含むアニメーションであり得る。なお、各視聴者の端末装置10は、第1ゲスト配信者Eのアバター(又は第2ゲスト配信者Fのアバター)としては、例えば、第1ゲスト配信者Eの端末装置10E(又は第2ゲスト配信者Fの端末装置10F)からBCサーバ装置20Aを介して受信した構成データに含まれたものを用いることができる。同様に、各視聴者の端末装置10は、ホスト配信者Aのアバターとしては、例えば、ホスト配信者Aの端末装置10AからBCサーバ装置20Aを介して受信した構成データに含まれたものを用いることができる。
【0152】
端末装置10A、端末装置10E、端末装置10F及び端末装置10Bの各々により生成及び表示される第1の動画500の一例が、
図16に示されている。
図16は、
図15に示したコラボ配信に関連して用いられる各端末装置10により生成及び表示される第1の動画の一例を示す模式図である。
【0153】
図16に例示されるように、各端末装置10により生成及び表示される第1の動画500は、ホスト配信者Aのアバター502、第1ゲスト配信者Eのアバター504、及び、第2ゲスト配信者Fのアバター506を含むアニメーションであり得る。一実施形態では、各端末装置10は、ホスト配信者Aのアバター502、第1ゲスト配信者Eのアバター504及び第2ゲスト配信者Fのアバター506を、それぞれ、左下の領域、右下の領域及び左上の領域に配置した、第1の動画を生成及び表示することができる。
【0154】
なお、
図15に示した実施形態では、各端末装置10が、ホスト配信者Aの端末装置10Aの構成データ、第1ゲスト配信者Eの端末装置10Eの構成データ及び第2ゲスト配信者Fの端末装置10Fの構成データを用いて、第1の動画を生成する場合について説明した。
【0155】
しかし、別の実施形態では、配信者(ホスト配信者A、第1ゲスト配信者E及び第2ゲスト配信者F)の各々の端末装置10は、上記と同様に、各構成データを用いて第1の動画を生成する一方、各視聴者の端末装置10は、いずれかの配信者の端末装置10により生成された第1の動画を、BCサーバ装置20Aを介して受信し表示することも可能である。この場合、各配信者の端末装置10は、BCサーバ装置20Aを介して、他の配信者の端末装置10には構成データを上記のとおり送信するが、各視聴者の端末装置10に構成データを送信する必要はない。
【0156】
さらに別の実施形態では、ホスト配信者Aの端末装置10A「のみ」が第1の動画を生成し、他の端末装置10は、構成データを用いて第1の動画を生成することなく、単に、端末装置10Aにより生成された第1の動画を、BCサーバ装置20Aを介して受信し表示することもできる。この場合、第1ゲスト配信者E及び第2ゲスト配信者Fの各々の端末装置10は、BCサーバ装置20Aを介して、構成データをホスト配信者Aの端末装置10Aに送信するが、構成データを他のゲスト配信者の端末装置及び各視聴者の端末装置10に送信する必要はない。また、ホスト配信者Aの端末装置10Aは、BCサーバ装置20Aを介して、構成データをいずれの端末装置10に対しても送信する必要がない。
【0157】
また、BCサーバ装置20Aは、一実施形態では、
図15に例示されるように1つのサーバ装置として動作することができる。しかし、別の実施形態では、BCサーバ装置20A(第1のサーバ装置)は、相互に通信するように接続可能な複数のサーバ装置(複数の第1のサーバ装置)を含むことも可能である。この場合、これら複数のサーバ装置のうち、一方のサーバ装置は、
図6A及び
図6Bに例示したように各配信者が単独で第1の動画の配信(便宜上「シングル配信」という)を行う場合に、この配信者の端末装置と各視聴者の端末装置との間のデータの送受信等を、主に担うことができる。これに対して、これら複数のサーバ装置のうち、他方のサーバ装置は、
図15に例示したようにコラボ配信を行う場合に、ホスト配信者の端末装置と各ゲスト配信者の端末装置との間のデータの送受信、ホスト配信者の端末装置及び各ゲスト配信者の端末装置と各視聴者の端末装置との間のデータの送受信等を、主に担うことができる。このように、2種類のサーバ装置の各々に対して、担うべき動作を分担させる(生じる負荷を分散する)ことにより、各サーバ装置は、自身が担う動作に集中することにより、かかる動作をより高速に実行することができる。
【0158】
図15に示した例では、BCサーバ装置20Aのうち、シングル配信を主に担う一方のサーバ装置は、例えば、ST41~ST45に関連する動作を担うことができる。その後、コラボ配信を主に担う他方のサーバ装置が、一方のサーバ装置に替わり、ST46~コラボ配信の終了までに関連する動作を担うことができる。なお、一方のサーバ装置から他方のサーバ装置への切替のタイミングは、任意の時点とすることができる。
【0159】
図15に示すST46~ST55における動作は、単位時間ごとに繰り返し実行され得る。このように繰り返されるST46~ST55における動作と並行して、以下に説明するST406’~ST434’における動作が実行され得る。
【0160】
次に、
図14Aに戻り、ST406’では、複数の配信者(ホスト配信者A、第1ゲスト配信者E及び第2ゲスト配信者F)のうち、いずれかの配信者が、上述したST406におけると同様に、ユーザインタフェイスを介した操作を実行することにより、その端末装置10が動画受信用アプリケーションを起動して実行することができる。ST406’における動作は、複数の配信者のうち、第2の動画の検索及び配信を希望する任意の配信者(の端末装置10)により実行され得る。或いはまた、ST406’における動作は、複数の配信者のうち、BCサーバ装置20Aによりランダムに選択された配信者の端末装置10により実行され得る。以下、複数の配信者のうち、第1ゲスト配信者Eの端末装置10Eが、ST406’における動作を実行したと仮定する。
【0161】
ST408’では、端末装置10Eが、上述したST408における動作を実行することができる。ここで、
図8に例示したウェブページ512は、配信者Eの端末装置10Eのみにより受信及び表示されるのであって、他の配信者の端末装置10及び各視聴者の端末装置10には受信も表示もされない。
【0162】
ST410’では、端末装置10Eが、上述したST410における動作を実行することができる。ここで、候補動画に関するデータ520~524等(
図9参照)もまた、配信者Eの端末装置10Eのみにより受信及び表示されるのであって、他の配信者の端末装置10及び各視聴者の端末装置10には受信も表示もされない。
【0163】
ST412’では、端末装置10Eが、上述したST412における動作を実行することができる。ST414’では、端末装置10Eが、上述したST414における動作を実行することができる。
【0164】
ST416’では、BCサーバ装置20Aは、端末装置10Eから受信した再生データを、各視聴者の端末装置10だけでなく、他の配信者(配信者A及び配信者F)の端末装置10にも送信することができる。
【0165】
ST418’では、各視聴者の端末装置10だけでなく、他の配信者(配信者A及び配信者F)の端末装置10もまた、BCサーバ装置20Aから再生データを受信したことをトリガとして、動画受信用アプリケーションを起動して実行することができる。
【0166】
次に、
図14Bを参照すると、ST420’では、各視聴者の端末装置10だけでなく、他の配信者の端末装置10もまた、上述したST420における動作を実行することができる。これにより、他の配信者の端末装置10も、各視聴者の端末装置10と同様に、動画配信サーバ装置20Bから第2の動画を受信することができる。
【0167】
ST422’では、各視聴者の端末装置10だけでなく、他の配信者の端末装置10もまた、上述したST422における動作を実行することができる。これにより、他の配信者の端末装置10もまた、各視聴者の端末装置10と同様に、動画配信サーバ装置20Bから受信した第2の動画を、(上記ST418’において受信した再生データに含まれた)指示データにより指定された再生位置に従って再生して表示することができる。
【0168】
ST424’では、第2の動画を再生している配信者Eの端末装置10Eは、上述したST424における動作を実行することができる。ここで、端末装置10Eは、再生データを、BCサーバ装置20Aを介して、各視聴者の端末装置10だけでなく、他の配信者(配信者A及び配信者F)の端末装置10にも送信することができる。
【0169】
ST426’では、各視聴者の端末装置10だけでなく、他の配信者の端末装置10もまた、上述したST426における動作を実行することができる。これにより、他の配信者の端末装置10もまた、第2の動画を、上記ST424’において受信した再生データに含まれた指示データにより指定された再生位置に従って再生して表示することができる。
【0170】
ST428’において、或る配信者(例えば第2ゲスト配信者F)の端末装置10Fが、配信者Fによるユーザインタフェイスを介した操作に従って、第2の動画の再生を一時停止することが考えられる。
【0171】
ST430’では、上述したST430におけると同様に、第2の動画を再生している配信者Eの端末装置10Eは、単位時間ごとに、再生データを、BCサーバ装置20Aを介して、各視聴者の端末装置10及び他の配信者(配信者A及び配信者F)の端末装置10に送信することができる。
【0172】
ST432’では、上記ST432において説明したように、配信者Fの端末装置10Fが、配信者Fによるユーザインタフェイスを介した操作に従って、第2の動画の再生を再開することができる。ここで、配信者Fの端末装置10Fは、上記ST428’において一時停止された再生位置ではなく、上記ST430’において受信した再生データ(最新の再生データ)に含まれる指示データにより指定される再生位置から、第2の動画の再生を再開することができる。
【0173】
ST434’では、すべての配信者の端末装置10及び各視聴者の端末装置10が、第2の動画の再生を終了することができる。この場合、上述したST46~ST55が並行して実行されているため、各端末装置10は、依然として第1の動画を表示することができる。
【0174】
次に、このようなコラボ配信が実行される際に、各視聴者の端末装置10及び各配信者の端末装置10のうちの少なくとも1つの端末装置10に適用可能な第1の動画及び第2の動画の表示態様の具体例について、
図17及び
図18を参照して説明する。
図17は、
図15に示したコラボ配信に関連して用いられる各端末装置10により生成及び表示される第1の動画及び第2の動画の一例を示す模式図である。
図18は、
図15に示したコラボ配信に関連して用いられる各端末装置10により生成及び表示される第1の動画及び第2の動画の別の例を示す模式図である。
【0175】
まず、
図17に例示されるように、端末装置10は、第1の動画及び第2の動画を表示するに際して、まず、端末装置10の表示領域を分割して複数の表示領域(例えば上部の表示領域及び下部の表示領域)を生成することができる。さらに、端末装置10は、これら複数の表示領域のうちの1つの表示領域に第1の動画500を表示し、これら複数の表示領域のうちの別の表示領域に第2の動画530を表示することができる。
図17には、端末装置10が、下部の表示領域に第1の動画500を表示し、上部の表示領域に第2の動画530を表示する例が示されているが、端末装置10は、上部の表示領域に第1の動画500を表示し、下部の表示領域に第2の動画530を表示することも可能である。
【0176】
端末装置10は、第1の動画500及び第2の動画530の両方を表示する場合(例えば
図17)には、第2の動画530を表示せず第1の動画500のみを表示する場合(例えば
図16)に比べて、第1の動画500を表示するために利用可能な表示領域を縮小させる必要がある。さらに、コラボ配信の際には、第1の動画500の中に、複数の配信者のアバターを配置する必要がある。
そこで、端末装置10は、コラボ配信が実行されている局面において、各配信者の端末装置10の構成データを用いて第1の動画を生成する場合には、ホスト配信者Aのアバター502、第1ゲスト配信者Eのアバター504及び第2ゲスト配信者Fのアバター506が、
図17に例示されるように、水平方向に沿って一例に配置された第1の動画500を生成することができる。
一方、コラボ配信が実行されている局面において、ホスト配信者Aの端末装置10Aが、各配信者の端末装置10の構成データを用いて第1の動画を生成して各視聴者の端末装置10に送信する場合には、端末装置10Aは、ホスト配信者Aのアバター502、第1ゲスト配信者Eのアバター504及び第2ゲスト配信者Fのアバター506が、
図17に例示されるように、水平方向に沿って一例に配置された第1の動画500を生成し、かかる第1の動画500を、BCサーバ装置20Aを介して各視聴者の端末装置10に送信することができる。
【0177】
他方、
図18に例示される態様に関して、端末装置10は、第1の動画及び第2の動画を表示するに際して、まず、端末装置10の表示領域を分割して複数の表示領域(例えば右部の表示領域及び左部の表示領域)を生成することができる。さらに、端末装置10は、これら複数の表示領域のうちの1つの表示領域に第1の動画500を表示し、これら複数の表示領域のうちの別の表示領域に第2の動画530を表示することができる。
図18には、端末装置10が、左部の表示領域に第1の動画500を表示し、右部の表示領域に第2の動画530を表示する例が示されているが、端末装置10は、右部の表示領域に第1の動画500を表示し、左部の表示領域に第2の動画530を表示することも可能である。
【0178】
上述したように、端末装置10は、第1の動画500及び第2の動画530の両方を表示する場合(例えば
図18)には、第2の動画530を表示せず第1の動画500のみを表示する場合(例えば
図16)に比べて、第1の動画500を表示するために利用可能な表示領域を縮小させる必要がある。さらに、コラボ配信の際には、第1の動画500の中に、複数の配信者のアバターを配置する必要がある。
そこで、端末装置10は、コラボ配信が実行されている局面において、各配信者の端末装置10の構成データを用いて第1の動画を生成する場合には、ホスト配信者Aのアバター502、第1ゲスト配信者Eのアバター504及び第2ゲスト配信者Fのアバター506が、
図18に例示されるように、鉛直方向に沿って一例に配置された第1の動画500を生成することができる。
一方、コラボ配信が実行されている局面において、ホスト配信者Aの端末装置10Aが、各配信者の端末装置10の構成データを用いて第1の動画を生成して各視聴者の端末装置10に送信する場合には、端末装置10Aは、ホスト配信者Aのアバター502、第1ゲスト配信者Eのアバター504及び第2ゲスト配信者Fのアバター506が、
図18に例示されるように、鉛直方向に沿って一例に配置された第1の動画500を生成し、かかる第1の動画500を、BCサーバ装置20Aを介して各視聴者の端末装置10に送信することができる。
【0179】
以上のように、上述した様々な実施形態によれば、配信者のアバターのアニメーションを含む第1の動画を各視聴者の端末装置に配信する第1のサーバ装置と、第1の動画とは別に用意された第2の動画を配信者の端末装置及び各視聴者の端末装置に配信する第2のサーバ装置とが、それぞれ独立して設けられる。これにより、配信者のアバターのアニメーションを含む第1の動画が視聴者の端末装置に送信されるシステムにおいて、配信者及び視聴者が、第1の動画とは別に用意された第2の動画を、一緒に視聴して楽しむことができる。
【0180】
また、配信者の端末装置は、第2のサーバ装置に格納され配信者の端末装置が現在再生している第2の動画にアクセスするための方法を示すアクセスデータ、及び/又は、配信者の端末装置による第2の動画の再生に同期し、第2の動画に対する各視聴者の端末装置の動作を指示する指示データを含む再生データを、第1の動画を配信する第1のサーバ装置を介して各視聴者の端末装置に送信することができる。これにより、各視聴者の端末装置は、第2のサーバ装置にアクセスして第2のサーバ装置から受信する第2の動画を、再生データに従って再生することができる。したがって、各視聴者の端末装置は、配信者の端末装置による第2の動画の再生に実質的に同期したタイミングにおいて、第2の動画を再生することができる。
【0181】
さらに、配信者の端末装置が第2のサーバ装置にアクセスした時点(
図6AのST406)から、配信者の端末装置が第2のサーバ装置から配信者の端末装置により選択された第2の動画の受信を開始する時点(ST412)まで続く検索期間においては、第1のサーバ装置は、配信者の端末装置が第2のサーバ装置から受信したデータ(例えば第2のサーバ装置から受信したウェブページ等)を、各視聴者の端末装置に送信しないようにしている。これにより、配信者の端末装置が第2のサーバ装置にアクセスする際に、この配信者によりユーザインタフェイスを介して入力される個人情報等(第2のサーバ装置にログインするために用いられるユーザID及びパスワード、並びに、配信者がこれまでに第2のサーバ装置から受信した動画の履歴等)が、各視聴者の端末装置に誤って送信されるという事態の発生を抑えることができる。
【0182】
さらにまた、上述した様々な実施形態では、同一のサーバ装置が、構成データ(又は第1の動画)及び第2の動画を各視聴者の端末装置に配信し、第2の動画を配信者の端末装置に配信するような構成を採用していない。実際には、構成データ(又は第1の動画)を各視聴者の端末装置に配信するサーバ装置(第1のサーバ装置)と、第2の動画を各視聴者の端末装置及び配信者の端末装置に配信するサーバ装置(第2のサーバ装置)とは、それぞれ、別個に独立して設けられている。
これにより、第2のサーバ装置は、構成データ(又は第1の動画)を各視聴者の端末装置に配信する必要はなく、基本的に第2の動画を各視聴者の端末装置及び配信者の端末装置に送信するのみである。したがって、構成データ(又は第1の動画)の送信により通信リソース又は帯域幅を奪われることにより、比較的に大容量となり易い第2の動画が各視聴者の端末装置に到達する時点と、当該第2の動画が配信者の端末装置に到達する時点との間に、比較的に大きな遅延が生ずる、という事態の発生を抑えることができる。
一方、第1のサーバ装置は、比較的に大容量となり易い第2の動画を各視聴者の端末装置に配信する必要はなく、基本的に構成データ(又は第1の動画)を各視聴者の端末装置に配信するのみである。したがって、第2の動画の送信により通信リソースを奪われることにより、構成データ(又は第1の動画)が各視聴者の端末装置に到達して、各視聴者の端末装置が第1の動画を表示する時点と、配信者の端末装置が第1の動画を表示する時点との間に、比較的に大きな遅延が生ずる、という事態の発生を抑えることができる。
【0183】
また、上述した様々な実施形態によれば、構成データ(又は第1の動画)を各視聴者の端末装置に配信するサーバ装置(第1のサーバ装置)と、第2の動画を各視聴者の端末装置及び配信者の端末装置に配信するサーバ装置(第2のサーバ装置)とは、それぞれ、別個に独立して設けられている。これにより、第1のサーバ装置は、第2のサーバ装置により記憶又は用意される第2の動画を、各視聴者の端末装置又は配信者の端末装置に配信することはない。すなわち、各端末装置は、第2の動画を第1のサーバ装置からではなくすべて第2のサーバ装置から直接的に受信することができる。したがって、第1のサーバ装置を運営する企業と第2のサーバ装置を運営する企業とが異なる場合、第1のサーバ装置を運営する企業は、第2のサーバ装置を運営する企業が有する第2の動画の著作権を侵害することがない。これにより、第1のサーバ装置を運営する企業は、第2のサーバ装置を運営する企業が有する第2の動画の著作権を侵害することなく、配信者の端末装置及び各視聴者の端末装置に当該第2の動画を提供することができる。
【0184】
上述した様々な実施形態は、矛盾又は不都合が生じない限りにおいて、相互に組み合わせて実施され得る。
【0185】
本明細書に開示された発明の原理が適用され得る多くの可能な実施形態を考慮すれば、例示された様々な実施形態は好ましい様々な例に過ぎず、特許請求の範囲に係る発明の技術的範囲をこれらの好ましい様々な例に限定すると考えるべきではない、と理解されたい。実際には、特許請求の範囲に係る発明の技術的範囲は、添付した特許請求の範囲により定められる。したがって、特許請求の範囲に記載された発明の技術的範囲に属するすべてについて、本発明者らの発明として、特許の付与を請求する。
【符号の説明】
【0186】
1 動画配信システム
2 通信回線(通信網)
10、10A~10D 端末装置
20 サーバ装置
20A 第1のサーバ装置(ブロードキャストサーバ装置)
20B 第2のサーバ装置(動画配信サーバ装置)
30、30A、30B スタジオユニット
100 構成データ生成部
102 取得部
104 処理部
110 通信部
120 動画再生部
130 再生データ生成部
140 動画生成部
150 表示部
160 記憶部
170 ユーザインタフェイス部