ホーム > 特許ランキング > １７ＬＩＶＥ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024047602
(43)【公開日】2024-04-08
(54)【発明の名称】サーバ、端末及びコンピュータプログラム
(51)【国際特許分類】
H04N 21/8547 20110101AFI20240401BHJP
H04N 21/235 20110101ALI20240401BHJP
H04N 5/765 20060101ALI20240401BHJP
H04N 5/92 20060101ALI20240401BHJP
H04L 67/50 20220101ALI20240401BHJP
【ＦＩ】
H04N21/8547
H04N21/235
H04N5/765
H04N5/92 010
H04L67/50
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022153184
(22)【出願日】2022-09-27
(11)【特許番号】
(45)【特許公報発行日】2023-06-13
(71)【出願人】
【識別番号】517287224
【氏名又は名称】１７ＬＩＶＥ株式会社
(74)【代理人】
【識別番号】100199277
【弁理士】
【氏名又は名称】西守 有人
(72)【発明者】
【氏名】李昆擇
(72)【発明者】
【氏名】劉哲▲い▼
(72)【発明者】
【氏名】張育銓
(72)【発明者】
【氏名】劉冠宏
(72)【発明者】
【氏名】陳傑閔
【テーマコード（参考）】
5C053
5C164
【Ｆターム（参考）】
5C053GB06
5C053GB37
5C053JA21
5C053LA04
5C053LA06
5C053LA11
5C053LA14
5C164FA06
5C164MB01S
5C164MC06P
5C164SA25S
5C164SB08P
5C164SB36S
5C164SD12S
(57)【要約】 （修正有）
【課題】没入感を高め、ユーザエクスペリエンスを向上する効率的で正確なアーカイブサービスのためのストリーミングデータを取り扱うサーバ、端末及びコンピュータプログラムを提供する。
【解決手段】アーカイブサービスは、ライブストリーミングのストリーミングデータを取り扱うためのサーバが、当該ライブストリーミングのストリーミングデータを記録する機能と、ストリーミングデータを第１の識別子を有するアーカイブコンテンツとして格納する機能と、ライブストリーミング中にインタラクション情報を受信する機能と、インタラクション情報を、第２の識別子を有するコンテキストとして格納する機能と、第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、第１の識別子及び第２の識別子に基づき、第１のユーザ端末に当該コンテキストを送信する機能と、を備える。
【選択図】図１３
【解決手段】アーカイブサービスは、ライブストリーミングのストリーミングデータを取り扱うためのサーバが、当該ライブストリーミングのストリーミングデータを記録する機能と、ストリーミングデータを第１の識別子を有するアーカイブコンテンツとして格納する機能と、ライブストリーミング中にインタラクション情報を受信する機能と、インタラクション情報を、第２の識別子を有するコンテキストとして格納する機能と、第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、第１の識別子及び第２の識別子に基づき、第１のユーザ端末に当該コンテキストを送信する機能と、を備える。
【選択図】図１３
【特許請求の範囲】
【請求項1】
ライブストリーミングのためのストリーミングデータを取り扱うサーバであって、
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、
を備えたことを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、
を備えたことを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項2】
前記第１の識別子と前記第２の識別子が時間情報を含み、
前記時間情報が、グリニッジ標準時（ＧＭＴ）、協定世界時（ＵＴＣ）等の標準時刻を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記時間情報が、グリニッジ標準時（ＧＭＴ）、協定世界時（ＵＴＣ）等の標準時刻を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項3】
前記第１の識別子が、前記アーカイブコンテンツのフレームのＳＥＩメッセージ内に挿入され、
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項4】
前記アーカイブコンテンツにトランジションセグメントを追加する機能をさらに含み、
前記トランジションセグメントが、前記トランジションセグメントの前、中または後における前記アーカイブコンテンツに関連する情報を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記トランジションセグメントが、前記トランジションセグメントの前、中または後における前記アーカイブコンテンツに関連する情報を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項5】
前記第１のユーザ端末に第１の数のコンテキストを送信する機能をさらに含み、
前記第１の数が、前記第１の識別子に基づいて計算される、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記第１の数が、前記第１の識別子に基づいて計算される、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項6】
前記インタラクション情報が、ストリーマー端末、視聴者端末、または前記サーバから受信される、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項7】
前記インタラクション情報が、メッセージ、コメント、贈り物、フォロー、ゲームまたはＶＩＰオンライン通知などを含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項8】
前記第１のユーザ端末への前記コンテキストの送信が、前記第１のユーザ端末からのクエリに対する応答として行われる、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項9】
端末であって、
第１の識別子を有するアーカイブコンテンツを受信する機能と、
前記第１の識別子に基づいて、サーバから第２の識別子を有するコンテキストをクエリする機能と、
前記第１の識別子及び前記第２の識別子に基づいて、前記コンテキストと前記アーカイブコンテンツをレンダリングする機能と、
を含むことを特徴とする、端末。
第１の識別子を有するアーカイブコンテンツを受信する機能と、
前記第１の識別子に基づいて、サーバから第２の識別子を有するコンテキストをクエリする機能と、
前記第１の識別子及び前記第２の識別子に基づいて、前記コンテキストと前記アーカイブコンテンツをレンダリングする機能と、
を含むことを特徴とする、端末。
【請求項10】
コンピュータプログラムであって、端末に、
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、を実行させる、
ことを特徴とする、コンピュータプログラム。
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、を実行させる、
ことを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報通信技術に関し、特に、ライブストリーミングのためのストリーミングデータを取り扱うサーバ、端末及びコンピュータプログラムに関する。
【背景技術】
【0002】
一部のアプリやプラットフォームは、ストリーマーがライブ配信を記録するためのアーカイブサービスを提供している。ストリーマーは、自分の最高の瞬間を記録して、再生したり、ファンと共有したりして楽しむことができる。また、視聴者は、ライブ配信中に視聴できない場合、ライブ配信を記録して、後からライブ配信を再確認することができる。
【0003】
アーカイブ映像を見ながら、より没入感を得るためには、映像に同期してメッセージなどのインタラクション情報を表示することが推奨される。特許文献１には、ライブブロードキャストを再生する方法及び装置が開示されており、これはライブブロードキャストのタイムラインに基づいてアーカイブ映像にエフェクトメッセージを同期させるものである。
【0004】
しかしながら、現在のアーカイブサービスにはさらなる改善が必要である。そこで、より効率的で正確なアーカイブサービスが必要とされている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】中国特許第１０６７９２２１９号明細書
【発明の概要】
【0006】
本発明のライブストリーミングのストリーミングデータを取り扱うためのサーバは、当該サーバが、ライブストリーミングのストリーミングデータを記録する機能と、当該ストリーミングデータを第１の識別子を有するアーカイブコンテンツとして格納する機能と、当該ライブストリーミング中にインタラクション情報を受信する機能と、当該インタラクション情報を、第２の識別子を有するコンテキストとして格納する機能と、当該第１の識別子を有する当該アーカイブコンテンツを第１のユーザ端末に送信する機能と、当該第１の識別子及び当該第２の識別子に基づき、当該第１のユーザ端末に当該コンテキストを送信する機能とを備える。
【0007】
本発明の端末は、当該端末が、第１の識別子を有するアーカイブコンテンツを受信する機能と、当該第１の識別子に基づき、サーバから第２の識別子を有するコンテキストをクエリする機能と、当該第１の識別子及び当該第２の識別子に基づき、当該コンテキストとアーカイブコンテンツをレンダリングする機能と、を備える。
【0008】
本発明のコンピュータプログラムは、端末に、当該ライブストリーミングの当該ストリーミングデータを記録する機能と、当該ストリーミングデータを第１の識別子を有するアーカイブコンテンツとして格納する機能と、当該ライブストリーミング中にインタラクション情報を受信する機能と、当該インタラクション情報を、第２の識別子を有するコンテキストとして格納する機能と、当該第１の識別子を有する当該アーカイブコンテンツを第１のユーザ端末に送信する機能と、当該第１の識別子及び当該第２の識別子に基づき、当該第１のユーザ端末に当該コンテキストを送信する機能と、を実行させる。
【0009】
本発明は、ライブストリーミングをより効率的かつ正確にアーカイブし、インタラクション情報をより正確に同期して表示することができる。さらに、アーカイブコンテンツの改変をより柔軟に行うことができる。これにより、アーカイブコンテンツの没入感を高め、ユーザエクスペリエンスが向上される可能性がある。
【図面の簡単な説明】
【0010】
【図1】本発明の一部の実施態様に基づくライブストリーミングシステム１の構成を示す概略図である。
【図2】本発明の一部の実施態様に基づくユーザ端末２０のブロック図である。
【図3】本発明の一部の実施態様に基づくサーバ１０のブロック図である。
【図7】本発明の一部の実施態様に基づくアーカイブサービスのブロック図である。
【図8】アーカイブサービスの例示的な機能構成図である。
【図9】アーカイブサービスの例示的な機能構成図である。
【図10】本発明の一部の実施態様に基づくアーカイブコンテンツの例示的画面６００である。
【図11】本発明の一部の実施態様に基づくアーカイブコンテンツの例示的画面６００である。
【図12】本発明の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。
【図13】本発明の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なフローチャートである。
【図14】本発明の一部の実施態様に基づく端末の構成の動作を示す例示的なフローチャートである。
【図15】本発明の一部の実施態様に基づく情報処理装置の例示的なハードウェア構成である。
【発明を実施するための形態】
【0011】
以下、各図面に示す同一または類似の構成要素、部材、手順または信号には、すべての図面において同様の符号を付し、それによって重複する説明は適宜省略される。また、各図面の説明において重要でない一部部材は省略される。
【0012】
本発明の一部の実施態様に基づくライブストリーミングシステム１は、ユーザ間のコミュニケーションと交流を円滑にする強化機能を提供する。より具体的には、技術的な方法で視聴者やストリーマーを楽しませるものである。
【0013】
図１に本発明の一部の実施態様に基づくライブストリーミングシステム１の構成を示す概略図を示す。当該ライブストリーミングシステム１は、ストリーミング配信者（ライブ配信者またはストリーマーとも呼ばれる）ＬＶと視聴者（観衆とも呼ばれる）ＡＵ（ＡＵ１、ＡＵ２...）に、リアルタイムで相互交流するためのライブストリーミングサービスを提供する。図１に示すように、当該ライブストリーミングシステム１は、サーバ１０と、ユーザ端末２０と、ユーザ端末３０（３０ａ、３０ｂ...）を含むことができる。当該ユーザ端末２０はストリーマー、当該ユーザ端末３０は視聴者であってもよい。一部の実施態様において、当該ストリーマーと視聴者はユーザと呼ばれてもよい。当該サーバ１０は、ネットワークＮＷを介して接続された、１または複数の情報処理装置を含むことができる。当該ユーザ端末２０、３０は、例えば、スマートフォン、タブレット、ノートＰＣ、レコーダー、携帯ゲーム機、ウェアラブル端末などの携帯端末や、デスクトップＰＣなどの据置型コンピュータであってもよい。当該サーバ１０、ユーザ端末２０、ユーザ端末３０は、任意の種類の有線または無線ネットワークＮＷにより通信可能に接続されてもよい。
【0014】
当該ライブストリーミングシステム１には、当該ストリーマーＬＶ、当該視聴者ＡＵ、当該サーバ１０を提供するアプリプロバイダー（図示せず）が関与する。当該ストリーマーＬＶは、 自身の歌、トーク、パフォーマンス、ゲームストリーミングなどのコンテンツを自身のユーザ端末２０で収録して当該サーバ１０にアップロードし、リアルタイムでコンテンツを配信する者であってもよい。一部の実施態様において、当該ストリーマーＬＶは、当該ライブストリーミングを介して当該視聴者ＡＵと交流することができる。
【0015】
当該アプリプロバイダーは、当該サーバ１０においてライブストリーミングされるコンテンツのためのプラットフォームを提供することができる。一部の実施態様において、当該アプリプロバイダーは、当該ストリーマーＬＶと当該視聴者ＡＵ間のリアルタイム通信を管理するメディアまたはマネージャであってもよい。当該視聴者ＡＵは、当該ユーザ端末３０により当該プラットフォームにアクセスし、自身が視聴したいコンテンツを選択して視聴することができる。当該視聴者ＡＵは、当該ユーザ端末３０により当該ストリーマーに対してコメントしたり、応援したりする操作を行うことができる。コンテンツを提供する当該ストリーマーは、当該コメントや応援に応答することができる。当該ストリーマーの応答は、映像及び（または）音声などにより当該視聴者ＡＵに送信することができる。従って、当該ストリーマーと視聴者間の相互通信を達成することができる。
【0016】
本明細書でいう「ライブストリーミング」とは、当該ストリーマーＬＶが当該ユーザ端末２０により記録したコンテンツを、当該視聴者ＡＵが当該ユーザ端末３０を介して実質的に再生・視聴することを可能にする、データ伝送を指すことができる。一部の実施態様において、「ライブストリーミング」は、上述のデータ伝送により実現されるストリーミングを指してもよい。当該ライブストリーミングは、ＨＴＴＰライブストリーミング、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）、ＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＲＴＭＰ（Ｒｅａｌ－Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ）、ＭＰＥＧ ＤＡＳＨなど、公知の技術によって実現することができる。当該ライブストリーミングは、さらに、当該ストリーマーがコンテンツを記録している間、当該視聴者ＡＵが特定の遅延をもって当該コンテンツを再生または視聴することができる、実施形態を含んでもよい。当該遅延の程度については、少なくとも当該ストリーマーＬＶと当該視聴者ＡＵがコミュニケーションを行うことができる程度に小さいことが望ましい。ただし、ライブストリーミングは、いわゆるオンデマンド配信とは異なる。より具体的に、当該オンデマンド配信とは、当該コンテンツを記録したすべてのデータをサーバに格納し、ユーザの要求に応じてランダムなタイミングで当該サーバから当該ユーザにデータを提供することを指してもよい。
【0017】
本明細書における「ストリーミングデータ」とは、画像データや音声データを含むデータを指してもよい。より具体的に、当該画像データ（ビデオデータと呼んでもよい）は、当該ユーザ端末２０と３０の画像キャプチャ機能によって生成されてもよい。当該音声データ（オーディオデータと呼んでもよい）は、当該ユーザ端末２０と３０の音声入力機能により生成されてもよい。当該ストリーミングデータを当該ユーザ端末２０、３０で再生し、ユーザに関するコンテンツを視聴できるようにしてもよい。一部の実施態様において、当該ストリーマーの当該ユーザ端末でストリーミングデータが生成されてから、当該視聴者の当該ユーザ端末で再生されるまでの間、圧縮、拡張、エンコード、デコード、トランスコードなど、データの形式、サイズ、規格を変更する処理が想定される。このような処理の前と後、当該コンテンツ（映像や音声）は実質的に変更されず、このため、本発明の現在の実施態様においては、処理される前のストリーミングデータと処理された後のストリーミングデータは同じであると説明される。つまり、当該ストリーマーの当該ユーザ端末により生成された当該ストリーミングデータが、当該サーバ１０を介して当該視聴者の当該ユーザ端末で再生される場合、当該ストリーマーの当該ユーザ端末で生成された当該ストリーミングデータ、当該サーバ１０を通過した当該ストリーミングデータ、そして当該視聴者の当該ユーザ端末が受信して再生する当該ストリーミングデータは、すべて同じストリーミングデータである。
【0018】
図１に示すように、ストリーマーＬＶはライブストリーミングを提供する。当該ストリーマーのユーザ端末２０は、当該ストリーマーの映像及び（または）音声を記録することにより、ストリーミングデータを生成し、ネットワークＮＷを介してサーバ１０に送信する。同時に、当該ユーザ端末２０は映像ＶＤを当該ユーザ端末２０のディスプレイ上に表示し、当該ストリーマーＬＶのストリーミングコンテンツをチェックすることができる。
【0019】
当該ストリーマーのライブストリーミングの提供をプラットフォームに要求するユーザ端末３０ａ、３０ｂの視聴者ＡＵ１、ＡＵ２は、当該ネットワークＮＷを介して当該ライブストリーミングに対応するストリーミングデータを受信し、受信したストリーミングデータを再生してディスプレイ上に映像ＶＤ１、ＶＤ２を表示し、スピーカーなどから音声を出力することができる。当該ユーザ端末３０ａ、３０ｂ上にそれぞれ表示される当該映像ＶＤ１、ＶＤ２は、当該ストリーマーＬＶの当該ユーザ端末により記録された当該映像と実質的に同じであり、当該ユーザ端末３０ａ、３０ｂから出力される当該音声は、当該ストリーマーＬＶの当該ユーザ端末により記録された当該音声と実質的に同じである。
【0020】
当該ストリーマーの当該ユーザ端末２０での記録は、当該視聴者ＡＵ１、ＡＵ２の当該ユーザ端末３０ａ、３０ｂでのストリーミングデータの再生と同時であってもよい。当該視聴者ＡＵ１が当該ストリーマーＬＶのコンテンツに関するコメントを当該ユーザ端末３０ａに入力すると、当該サーバ１０は、当該コメントを当該ストリーマーの当該ユーザ端末２０にリアルタイムで表示するとともに、当該視聴者ＡＵ１、ＡＵ２の当該ユーザ端末３０ａ、３０ｂにもそれぞれ表示する。当該ストリーマーＬＶが当該コメントに応答した場合、当該応答を当該視聴者ＡＵ１、ＡＵ２の当該ユーザ端末３０ａ、３０ｂからテキスト、画像、映像または音声として出力し、当該ストリーマーＬＶと当該視聴者ＡＵ１、ＡＵ２のコミュニケーションを実現することができる。従って、当該ライブストリーミングシステムは、双方向通信のライブストリーミングを実現することができる。
【0021】
図２は、本発明の実施態様に基づく、図１に示すユーザ端末２０の機能と構成を示すブロック図である。当該ユーザ端末３０は、当該ユーザ端末２０と同様の機能と構成を有する。本明細書のブロック図に描かれているブロックは、コンピュータのＣＰＵなどのデバイスや機械部品などのハードウェア、およびこれらの要素の連携によって実施される機能ブロックを表現する、コンピュータプログラムなどのソフトウェアで実施される。したがって、機能ブロックは、ハードウェアとソフトウェアの組み合わせによる多様な態様で実装され得ることが、当業者には理解されよう。
【0022】
当該ストリーマーＬＶと視聴者ＡＵは、ネットワークＮＷを介して、ダウンロードサイトから本発明のライブストリーミングアプリケーション（ライブストリーミングアプリ）を当該ユーザ端末２０と３０にダウンロードしてインストールすることができる。または、当該ライブストリーミングアプリは、当該ユーザ端末２０と３０に予めインストールされていてもよい。当該ユーザ端末２０と３０によるライブストリーミングの実行により、当該ユーザ端末２０と３０は、当該ネットワークＮＷを介して当該サーバ１０と通信し、複数の機能を実現することができる。当該ユーザ端末２０と３０（より具体的に、ＣＰＵなどのプロセッサ）による当該ライブストリーミングアプリの実行により実現される当該機能は、当該ユーザ端末２０と３０の機能として以下で説明される。当該機能は基本的に、当該ライブストリーミングアプリが当該ユーザ端末２０と３０に実現させる機能である。一部の実施態様において、これらの機能は、ネットワークＮＷを介して当該サーバ１０から当該ユーザ端末２０と３０のウェブブラウザに送信し、当該ウェブブラウザのコンピュータプログラムにより実行されることにより実現されてもよい。当該コンピュータプログラムは、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのプログラミング言語で書かれていてもよい。
【0023】
当該ユーザ端末２０は、ストリーミングユニット１００と視聴ユニット２００を含む。一部の実施態様において、当該ストリーミングユニット１００は、ユーザのオーディオ及び（または）ビデオデータを記録し、当該サーバ１０に送信するストリーミングデータを生成するように構成される。当該視聴ユニット２００は、サーバ１０からストリーミングデータを受信し、再生するように構成される。一部の実施態様において、ユーザは、ブロードキャスト時に当該ストリーミングユニット１００を作動させる、またはストリーミングを視聴するときに当該視聴ユニット２００を作動させることができる。一部の実施態様において、当該ストリーミングユニット１００を作動させる当該ユーザ端末は、ストリーマーと呼ぶことができ、またはストリーミングデータを生成する当該ユーザ端末と呼ぶことができる。当該視聴ユニット２００を作動させる当該ユーザ端末は、視聴者と呼ぶことができ、または当該ストリーミングデータを再生する当該ユーザ端末と呼ぶことができる。
【0024】
当該ストリーミングユニット１００は、ビデオコントロールユニット１０２と、オーディオコントロールユニット１０４と、配信ユニット１０６と、ＵＩコントロールユニット１０８を含むことができる。当該ビデオコントロールユニット１０２は、カメラ（図示せず）に接続されてもよく、当該映像は当該カメラにより制御される。当該ビデオコントロールユニット１０２は、当該カメラから当該ビデオデータを取得することができる。当該オーディオコントロールユニット１０４は、マイク（図示せず）に接続されてもよく、音声は当該マイクにより制御される。当該オーディオコントロールユニット１０４は、当該マイクから当該オーディオデータを取得することができる。
【0025】
当該配信ユニット１０６は、当該ビデオコントロールユニット１０２からのビデオデータと、当該オーディオコントロールユニット１０４からのオーディオデータを含むストリーミングデータを受信し、ネットワークＮＷを介して当該サーバ１０に送信する。一部の実施態様において、当該配信ユニット１０６は当該ストリーミングデータをリアルタイムで送信する。つまり、当該ビデオコントロールユニット１０２と当該オーディオコントロールユニット１０４からの当該ストリーミングデータの生成と、当該配信ユニット１０６の配信は同時に実行される。
【0026】
当該ＵＩコントロールユニット１０８は、当該ストリーマーのＵＩを制御する。当該ＵＩコントロールユニット１０８はディスプレイ（図示しない）に接続され、当該配信ユニット１０６が当該ストリーミングデータを送信し、再生して当該ディスプレイ上に表示する相手に対して当該ストリーミングデータを生成するように構成される。当該ＵＩコントロールユニット１０８は、操作するオブジェクトまたは指示を受けるオブジェクトをディスプレイ上に表示し、ストリーマーからのタップ入力を受け付けるように構成される。
【0027】
当該視聴ユニット２００は、ＵＩコントロールユニット２０２と、レンダリングユニット２０４と、入力ユニット２０６を含んでもよい。当該視聴ユニット２００は、ネットワークＮＷを介してサーバ１０からストリーミングデータを受信するように構成される。当該ＵＩコントロールユニット２０２は、当該視聴者のＵＩを制御する。当該ＵＩコントロールユニット２０２は、ディスプレイ（図示せず）及び（または）スピーカー（図示せず）に接続され、当該ストリーミングデータを再生することにより、当該ディスプレイ上に映像を表示し、当該スピーカーから音声を出力するように構成される。一部の実施態様において、当該ディスプレイ上に映像を出力し、当該スピーカーから音声を出力することを「ストリーミングデータを再生する」ことと呼ぶことができる。
【0028】
当該ＵＩコントロールユニット２０２は、タッチパネルやキーボード、ディスプレイなどの入力ユニットに接続され、ユーザからの入力を取得することができる。当該レンダリングユニット２０４は、当該サーバ１０からのストリーミングデータと、フレーム画像とをレンダリングするように構成されてもよい。当該フレーム画像は、ユーザからの入力、視聴者により入力されたコメント、当該サーバ１０から受信したデータを受け付けるためのユーザインターフェイスオブジェクトを含んでもよい。当該入力ユニット２０６は、当該ＵＩコントロールユニット２０２から当該ユーザ入力を受信し、当該ネットワークＮＷを介して当該サーバ１０に送信するように構成される。
【0029】
図３は、本発明の一部の実施態様に基づくサーバ１０のブロック図である。当該サーバ１０は、ストリーミング情報ユニット３０２、中継ユニット３０４、記録ユニット３０６、処理ユニット３０８、コンテキストユニット３１０、ストリームＤＢ３２０、アーカイブＤＢ３２２、コンテキストＤＢ３２４を含んでもよい。
【0030】
当該ストリーミング情報ユニット３０２は、当該ネットワークＮＷを介して当該ストリーマーの当該ユーザ端末２０からライブストリーミングの要求を受信する。要求を受信すると、当該ストリーミング情報ユニット３０２は、当該ライブストリーミングの情報を当該ストリームＤＢ３２０に登録する。一部の実施態様において、当該ライブストリーミングの情報は、当該ライブストリーミングのストリームＩＤ及び（または）当該ライブストリーミングに対応する当該ストリーマーのストリーマーＩＤであってもよい。
【0031】
当該視聴者から当該ネットワークＮＷを介して当該ユーザ端末３０の当該視聴ユニット２００から当該ライブストリーミングの当該情報の提供要求を受信すると、当該ストリーミング情報ユニット３０２は当該ストリームＤＢ３２０を参照し、利用可能なライブストリーミングのリストを生成する。
【0032】
その後、当該ストリーミング情報ユニット３０２は、当該ネットワークＮＷを介して当該ユーザ端末３０に当該リストを送信する。当該ユーザ端末３０の当該ＵＩコントロールユニット２０２は、当該リストに基づいてライブストリーミング選択画面を生成し、当該ユーザ端末３０のディスプレイ上に当該リストを表示する。
【0033】
当該ユーザ端末３０の当該入力ユニット２０６は、当該ライブストリーミング選択画面上での当該視聴者によるライブストリーミングの選択を受信すると、選択された当該ライブストリーミングの当該ストリームＩＤを含む配信要求を生成し、当該ネットワークを介して当該サーバ１０に送信する。当該ストリーミング情報ユニット３０２は、当該配信要求で当該ストリームＩＤにより指定された当該ライブストリーミングの当該ユーザ端末３０に対する提供を開始することができる。当該ストリーミング情報ユニット３０２は、当該ストリームＤＢ３２０を更新し、当該ユーザ端末３０の当該視聴者の視聴者ＩＤを当該ストリームＩＤの当該ストリーマーＩＤに追加することができる。
【0034】
当該中継ユニット３０４は、当該ストリーミング情報ユニット３０２により開始された当該ライブストリーミングにおいて、当該ストリーマーの当該ユーザ端末２０から、当該視聴者の当該ユーザ端末３０へのライブストリーミングの送信を中継することができる。当該中継ユニット３０４は、ストリーミングデータの再生中に、当該視聴者からのユーザ入力を示す信号を当該入力ユニット２０６から受信することができる。当該ユーザ入力を示す当該信号は、当該ユーザ端末３０のディスプレイに表示されるオブジェクトの指定を示すオブジェクト指定信号であってもよい。当該オブジェクト指定信号は、当該視聴者の視聴者ＩＤ、当該視聴者が視聴しているライブストリーミングを配信するストリーマーのストリーマーＩＤ、及び当該オブジェクトにより指定されるオブジェクトＩＤを含んでもよい。当該オブジェクトが贈り物などである場合、当該オブジェクトＩＤは、贈り物ＩＤなどであってもよい。同様に、当該中継ユニット３０４は、ストリーミングデータの再生中に、当該ユーザ端末２０の当該ストリーミングユニット１００から、例えば当該オブジェクト指定信号など、当該ストリーマーのユーザ入力を示す信号を受信することができる。
【0035】
当該記録ユニット３０６は、当該ライブストリーミングを記録するように構成されてもよい。一部の実施態様において、当該記録ユニット３０６は、当該ストリーマーの当該ユーザ端末２０による設定に基づき、自動でまたは手動で当該ライブストリーミングを記録してもよい。例えば、当該ストリーマーは当該ライブストリーミングを開始する前に、当該ライブストリーミングを自動的に記録してアーカイブするために、自動アーカイブ機能をオンにしてもよい。当該記録ユニット３０６は、当該ストリーマーが配信を開始したとき当該ライブストリーミングの記録を開始し、当該ライブストリーミングが終了したら記録を停止してもよい。また一部の実施態様において、当該ストリーマーまたは当該視聴者は、当該ライブストリーミング中、手動で当該ライブストリーミングをクリップしてもよい。
【0036】
一部の実施態様において、当該記録ユニット３０６は、当該アーカイブコンテンツの最大期間、例えば８時間など、当該ライブストリーミングを記録してもよい。例えば、当該記録ユニット３０６は、最大８時間などの期間、当該ライブストリーミングを記録してもよい。当該ライブストリーミングの持続期間が８時間未満の場合、当該記録ユニット３０６は、当該ライブストリーミングを記録してアーカイブしてもよい。しかし、当該ライブストリーミングが８時間より長い場合、当該記録ユニット３０６は当該ライブストリーミングを８時間記録し、さらに次の８時間またはそれ以下の別の記録を開始してもよい。
【0037】
一部の実施態様において、当該ライブストリーミングの当該アーカイブコンテンツは、Ｇｏｏｇｌｅ Ｃｌｏｕｄなどのストレージに格納され、当該アーカイブコンテンツのデータが参照とさらなる処理のために当該アーカイブＤＢ３２２に登録されてもよい。一部の実施態様において、ＨＴＴＰライブストリーミング（ＨＬＳ）などの任意の可能な伝送プロトコルが、当該サーバと当該ユーザ端末との間で適用されてもよい。一部の実施態様において、当該記録ユニット３０６は、ストリーミングソースからライブストリーミングを受信し、当該ライブストリーミングをアーカイブコンテンツとして記録してもよい。
【0038】
ライブストリーミングの通信時には、異なる伝送プロトコルが使用されてもよい。ここでは、ＨＴＴＰライブストリーミング（ＨＬＳ）を例に挙げて説明する。ＨＴＴＰライブストリーミング（ＨＬＳ）は、Ａｐｐｌｅ社が提唱するＨＴＴＰベースのストリーミングメディアネットワーク伝送プロトコルである。ＨＬＳは、Ｍ３Ｕ８セグメントインデックスファイルとトランスポートストリーム（ＴＳ）セグメントとで構成される。
【0039】
Ｍ３Ｕ８ファイルは、ｔｓセグメントのインデックスファイルと呼ばれてもよく、ｔｓセグメントのダウンロードアドレスをサーバに格納するために使用されてもよい。ユーザ端末は、Ｍ３Ｕ８ファイルに基づき、ｔｓセグメントを順番に読み出すことができる。ｔｓセグメントは、ビデオファイル全体やビデオストリームを分割して得られるビデオクリップと呼んでもよい。各ｔｓセグメントは、映像の複数のフレームを含んでもよい。１つのｔｓセグメントは、１～２秒程度などであってもよい。各ｔｓセグメントは、映像の複数のフレームを含む１つ以上のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）構造を含んでもよい。１つのＧＯＰは、Ｉフレーム、Ｐフレーム、Ｂフレームなどの異なるフレームタイプを含んでもよい。ＳＥＩメッセージは、Ｉフレームに挿入して保存することができる。
【0040】
ＨＬＳは、オーディオおよびビデオストリーム全体をダウンロード用にＨＴＴＰベースの小さなファイルに分割し、毎回ファイルの一部のみがダウンロードされてもよい。メディアストリームの再生時、視聴者は、多くの異なる代替ソースから異なるレートで同じリソースをダウンロードすることを選択し、ストリーミングメディアセッションが異なるデータレートに適応するようにしてもよい。
【0041】
異なるストリーミングソースは、ＦＬＶまたはＭ３Ｕ８などのストリーミングデータの異なる形式を提供してもよい。当該記録ユニット３０６は、ストリーミングソースからストリーミングデータを受信し、当該ストリーミングデータの形式を任意の種類の形式に変換して処理してもよい。当該記録ユニット３０６は、当該アーカイブコンテンツを任意の可能な形式のストリーミングデータとして記録し、格納してもよい。ここでは、ｔｓセグメントを用いたＭ３Ｕ８プレイリストを例に挙げて説明する。当該記録ユニット３０６は、当該処理ユニット３０８が確認し、ストレージに格納するために、当該ライブストリーミングのストリーミングデータをｔｓセグメントとして記録してもよい。
【0042】
当該処理ユニット３０８は、当該アーカイブコンテンツを処理するように構成されてもよい。一部の実施態様において、当該処理ユニット３０８は、当該アーカイブコンテンツをチェックし、トランスポートストリーム（ＴＳ）セグメントとして格納してもよい。当該処理ユニット３０８は、当該ＴＳセグメントに対してＭ３Ｕ８再生リストをさらに生成してもよい。一部の実施態様において、当該処理ユニット３０８は、７日、１４日などの特定の期間、ストレージおよびデータベースに当該アーカイブコンテンツを保持してもよい。これにより、メモリが効率的に使用される。
【0043】
当該コンテキストユニット３１０は、インタラクション情報のコンテキストを取り扱うように構成されてもよい。ここで、当該コンテキストとは、レンダリングコンテキストを指してもよい。当該コンテキストは、視聴者からのインタラクション情報を含んでもよい。例えば、視聴者は、ストリーマーにメッセージを送信したり、贈り物を送信したりしてもよく、当該コンテキストは、メッセージ、贈り物メッセージ、アニメーション、贈り物アニメーション等の情報を含んでもよい。当該コンテキストユニット３１０は、視聴者からのインタラクション情報を受信し、当該インタラクション情報を当該コンテキストＤＢ３２４に格納してもよい。一部の実施態様において、当該コンテキストユニット３１０は、異なるユーザからのコンテキストを処理するための複数の作業ユニットを含んでもよい。
【0044】
一部の実施態様において、当該コンテキストユニット３１０は、バックエンドサーバを介して視聴者からインタラクション情報を受信してもよい。一部の実施態様において、当該コンテキストユニット３１０は、バックエンドサーバを介してストリーマー端末からのインタラクション情報を受信してもよい。例えば、ストリーマーは、視聴者にメッセージを送信するなどしてもよい。一部の実施態様において、当該コンテキストユニット３１０は、当該バックエンドサーバからインタラクション情報を直接受信してもよい。例えば、バックエンドサーバは、ＶＩＰユーザがオンラインであり、ライブストリーミングに参加することを通知するメッセージを送信してもよく、コンテキストは、ＶＩＰオンライン通知のインタラクション情報を含んでもよい。一部の実施態様において、当該バックエンドサーバは、ＵＴＣ時刻情報などの識別子を含むインタラクション情報を送信してもよい。一部の実施態様において、当該コンテキストユニット３１０は、ライブストリーミング中に、テキスト、画像、アニメーション、通知などの任意の種類のインタラクション情報を受信してもよい。
【0045】
図４に、図３のストリームＤＢ３２０の例示的データ構造を示す表を示す。当該ストリームＤＢ３２０は、ライブストリーミングを識別するストリームＩＤと、それぞれのライブストリーミングを行うストリーマーを識別するストリーマーＩＤと、それぞれのライブストリーミングを視聴する視聴者を識別する視聴者ＩＤとを関連付けて記憶する。
【0046】
図５に、図３のアーカイブＤＢ３２２の例示的データ構造を示す表を示す。当該アーカイブＤＢ３２２は、アーカイブコンテンツを識別するアーカイブＩＤと、当該アーカイブコンテンツの時刻情報を識別するタイムスタンプと、当該アーカイブコンテンツの持続時間を識別する持続時間と、当該アーカイブコンテンツの場所を識別するアーカイブＵＲＬとを関連付けて記憶する。
【0047】
図６に、図３のコンテキストＤＢ３２４の例示的データ構造を示す。当該コンテキストＤＢ３２４は、コンテキストを識別するコンテキストＩＤと、コンテキストの種類を識別するタイプと、コンテキストの時刻情報を識別するタイムスタンプとを関連付けて格納する。
【0048】
図７は、本発明の一部の実施態様に基づくアーカイブサービスのブロック図である。図７に示すように、当該ストリーマーは、アプリにおいてアーカイブ機能をオンにしてもよい。一部の実施態様において、当該ストリーマーはアーカイブ機能のアイコンを切り替え、ライブストリーミングをアーカイブしたいことを示してもよい。バックエンドは、アーカイブ制御マネージャに、当該ストリーマーのためのアーカイブタスクを登録するように通知してもよい。一部の実施態様において、当該バックエンドは、メッセージングなどによって、アーカイブ機能のセットアップが成功したことを当該ストリーマーにさらに通知してもよい。
【0049】
当該ストリーマーは、ストリーミングデータを当該ストリーミングサーバにプッシュすることにより、ライブストリーミングをさらに開始してもよい。一部の実施態様において、当該ストリーマーは、スマートフォンなどの携帯端末によってライブストリーミングを開始してもよい。一部の実施態様において、当該ストリーマーは、ＯＢＳ（Ｏｐｅｎ Ｂｒｏａｄｃａｓｔｅｒ Ｓｏｆｔｗａｒｅ）等のコンピュータ上のソフトウェアによって当該ライブストリーミングを開始してもよい。当該アーカイブサービスは、当該ストリーマーからの任意の種類のストリーミング方式に適用されてもよい。当該記録ユニット３０６は、記録のために当該ライブストリーミングを引き出してもよい。一部の実施態様において、当該記録ユニット３０６は、ライブストリーミングを記録しながら、アーカイブ映像のフレームに識別子を挿入してもよい。例えば、当該識別子は、当該アーカイブ映像のフレームのＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、補助拡張情報）内にそれぞれ挿入されてもよい。したがって、アーカイブ映像の当該フレームは、識別子情報を含んでもよい。
【0050】
一部の実施態様において、当該ｔｓセグメントの持続時間は１秒であってもよく、当該ｔｓセグメントは１つのＧＯＰ構造を含んでもよい。１つのＧＯＰ構造は、１つのＩフレーム及びいくつかのＰフレームを含んでもよい。Ｉフレームは主フレームであってもよく、Ｐフレームは補助フレームであってもよい。例えば、Ｉフレームは、ライブストリーミングのオリジナルフレームの主フレーム情報を含んでもよく、Ｐフレームは、現在のＩフレームと以前のＩフレームとの差分などのいくつかの補助的な情報を含んでもよい。本実施態様によれば、伝送量を低減することができる。
【0051】
一部の実施態様において、１つのｔｓセグメントは、１つのＩフレームを有する１つのＧＯＰを含んでもよく、これは識別子を有するＳＥＩメッセージを挿入するために使用されてもよい。つまり、１つのｔｓセグメントは、ＵＴＣ時刻情報など１つの識別子を含んでもよい。一部の実施態様において、１つのｔｓセグメントは、記録または接続により、より多くのＩフレームを有するより多くのＧＯＰを含んでもよいため、１つのｔｓセグメントは、複数のＵＴＣ時刻情報などを含んでもよい。
【0052】
ＳＥＩは、オーディオおよび映像のビットストリームに挿入され、追加情報を伝えるためのテキストデータと呼ぶことができる。ＳＥＩは、Ｈ．２６４ビデオコーディングにおける標準的なＮＡＬ（ネットワーク抽象化レイヤ）であり、映像のさまざまな特性を記述するさまざまなタイプのデータを含むことができる。また、ＳＥＩメッセージには、任意のユーザ定義データを含めることができる。さらに、ＳＥＩメッセージは、コアデコーディングプロセスに影響を与えることなく、映像をどのように後処理または表示することが推奨されるかを示すことができる。
【0053】
一部の実施態様において、当該識別子は、当該ＳＥＩメッセージに含まれてもよい。一部の実施態様において、当該識別子は、アーカイブビデオ専用のＵＵＩＤ（Ｕｎｉｖｅｒｓａｌ Ｕｎｉｑｕｅ Ｉｄｅｎｔｉｆｉｅｒ、個体識別番号）を含んでもよい。当該識別子は、当該アーカイブ映像のフレームに保存されてもよい。一部の実施態様において、当該識別子は、一意の一連の数字、文字、テキスト、記号、上記の組み合わせなどであってもよい。一部の実施態様において、当該識別子は、映像のフレームまたは映像のｔｓセグメントを互いに識別してもよい。つまり、当該映像のフレームまたは当該映像の各ｔｓセグメントの識別子は、一意であり、他とは異なっていてもよい。
【0054】
一部の実施態様において、当該識別子は、当該アーカイブ映像のフレームの時間情報であってもよい。一部の実施態様において、当該時間情報は、相対時間であってもよい。例えば、当該時間情報は、当該アーカイブ映像の先頭を基準としたフレームの時間長さ、または当該アーカイブ映像の前のフレームを基準としたフレームの時間長さなどを示していてもよい。
【0055】
一部の実施態様において、当該時間情報は、ライブストリーミングの絶対時間情報であってもよい。例えば、当該記録ユニット３０６は、ライブストリーミングをアーカイブ映像として記録しながら、各フレームの絶対時間を保存してもよい。一部の実施態様において、当該絶対時間は、グリニッジ標準時（ＧＭＴ）、協定世界時（ＵＴＣ）等の標準時刻であってもよい。例えば、ストリーマーが２０２２-０８-０５Ｔ０６：００：００Ｚから２０２２-０８-０５Ｔ０７：００：００Ｚまでのライブストリーミングを開始する場合、当該記録ユニット３０６は、アーカイブ映像のフレームのＳＥＩメッセージにＵＴＣタイムスタンプを書き込み、当該アーカイブ映像の対応するフレームにＳＥＩメッセージを保存してもよい。
【0056】
一部の実施態様において、当該識別子は、記録中に当該記録ユニット３０６によってタグ付けされるタグであってもよい。例えば、当該記録ユニット３０６は、アーカイブ映像のフレームにタグを追加してもよい。当該バックエンドサーバは、さらに、対応するタグを有するコンテキストを当該コンテキストユニット３１０に送信してもよい。したがって、当該コンテキストユニット３１０は、アーカイブ視聴者が当該タグを有するコンテキストをクエリしたとき、対応するタグを有するコンテキストを当該アーカイブ視聴者に送信してもよい。一部の実施態様において、当該識別子は、アーカイブコンテンツのフレームを互いに識別し、フレームを対応するコンテキストとそれぞれ接続する一意のコードであってもよい。一部の実施態様において、当該コードは、サーバ１０または別のサードパーティのサーバ等によって生成されてもよい。
【0057】
一部の実施態様において、当該アーカイブ映像の各フレームにタグを挿入するために、ＡＩタギング技術が適用されてもよい。ここで、ＡＩタギングとは、人工知能を用いてメディアファイルにメタデータのタグ付けを行う処理を指してもよい。例えば、当該記録ユニット３０６が特定の機能を持つタグを自動的に追加し、当該バックエンドサーバが対応するタグを持つコンテキストを生成するようにしてもよい。当該ＡＩタギングは、ストリーマーや視聴者からの音声、映像、テキスト、画像、アニメーションなどを検出し、当該アーカイブ映像の対応するフレームに挿入されるタグを生成してもよい。例えば、ストリーマーが車について話し、その会話中にＡＩタグが挿入されてもよい。当該バックエンドサーバはさらに、「車について会話が進行中」または車の広告映像などの情報を生成し、対応するタグを挿入して、当該コンテキストユニット３１０に送信してもよい。これにより、当該アーカイブ映像は、ストリーマーが話していた話題をより理解することができる。また、視聴者がストリーマーの話の重点を聞き取れなかった場合、当該視聴者は、画面上に表示されたより多くの情報を有するアーカイブ映像にアクセスしてもよい。
【0058】
一部の実施態様において、当該ＡＩタギングは、ストリーマーまたは視聴者の位置情報や時間情報に基づいて、適用されてもよい。例えば、ストリーマーがカフェで放送していた場合、当該記録ユニット３０６は、カフェの場所を示すタグを挿入してもよい。当該アーカイブ視聴者は、アーカイブコンテンツを確認しながら、当該カフェの情報を受信してもよい。さらに、当該記録ユニット３０６は、１時間など定期的にタグを挿入し、アーカイブ視聴者が視聴した時間を示す、またはアーカイブ視聴者に休憩を取るよう通知するために、対応するタグを有するメッセージのコンテキストを生成してもよい。
【0059】
一部の実施態様において、当該視聴者は、ライブストリーミングを視聴するために、ストリーミングサーバからライブストリーミングを引き出してもよい。当該視聴者は、コメント、贈り物などでストリーマーと交流（インタラクション）してもよく、インタラクション情報がバックエンドサーバを介して当該ストリーマーまたは他の視聴者に送信されてもよい。一部の実施態様において、当該バックエンドサーバはさらに当該コンテキストユニット３１０に当該インタラクション情報を送信してもよい。当該コンテキストユニット３１０は、当該インタラクション情報を処理するための１つまたは複数の作業ユニットを含んでもよい。例えば、当該作業ユニットは、当該インタラクション情報を当該コンテキストＤＢ３２４に書き込んでもよい。
【0060】
一部の実施態様において、当該バックエンドサーバが当該インタラクション情報を当該コンテキストユニット３１０に送信するとき、当該インタラクション情報は、識別子も含んでいてもよい。より具体的に、当該識別子は、当該バックエンドサーバが当該インタラクション情報を受信するための当該時間情報であってもよい。一部の実施態様において、当該時間情報は、相対時間あるいは、ＧＭＴ時刻、ＵＴＣ時刻などの絶対時間であってもよい。例えば、視聴者は、当該バックエンドサーバを介してストリーマーにメッセージを送信してもよく、当該バックエンドサーバは、当該時間情報を当該インタラクション情報内の識別子として保存してもよい。一部の実施態様において、当該コンテキストユニット３１０はさらに、識別子を有する当該インタラクション情報を受信し、当該コンテキストＤＢ３２４に書き込んでもよい。
【0061】
一部の実施態様において、別の視聴者のユーザ端末（アーカイブ視聴者と称してもよい）は、当該アーカイブサービスからアーカイブコンテンツを要求してもよい。当該処理ユニット３０８は、当該ｔｓセグメントに対してＭ３Ｕ８再生リストを生成してもよい。当該Ｍ３Ｕ８再生リストは、ｔｓセグメントのリストと、各フレームまたはｔｓセグメントの識別子情報とを含んでもよい。当該識別子情報は、例えば、各フレームまたはｔｓセグメントそれぞれのＵＴＣ情報を含んでもよい。
【0062】
当該アーカイブ視聴者が当該アーカイブコンテンツを再生するとき、当該アーカイブ視聴者のユーザ端末は、当該アーカイブ映像のフレーム内のＳＥＩメッセージを解析し、当該ＵＴＣ情報を含む当該識別子情報を取得してもよい。一部の実施態様において、当該アーカイブ視聴者のユーザ端末は、当該ＵＴＣ情報に基づき、対応するコンテキストについて当該コンテキストユニット３１０にさらにクエリしてもよい。一部の実施態様において、当該アーカイブ視聴者のユーザ端末は、当該アーカイブ視聴者が再生したいと思う時間点に基づき、コンテキストをクエリしてもよい。例えば、当該アーカイブ視聴者は、当該アーカイブ映像の先頭から、または当該アーカイブ映像の特定の時間点から、当該アーカイブ映像を再生してもよい。当該アーカイブ視聴者のユーザ端末は、当該アーカイブ視聴者が再生したい当該アーカイブコンテンツのフレーム内のＳＥＩメッセージを解析し、当該識別子情報を取得してもよい。例えば、当該アーカイブ視聴者が当該アーカイブ映像の先頭から再生し、ＵＴＣ情報が２０２２-０８-０５Ｔ０６：００：００Ｚである場合、当該アーカイブ視聴者のユーザ端末は、当該ＵＴＣ情報のタイムスタンプを有するコンテキストをクエリしてもよい。
【0063】
一部の実施態様において、当該アーカイブ視聴者は、当該ＵＴＣ情報の時間点から特定の数のコンテキストをクエリしてもよい。例えば、当該アーカイブ視聴者のユーザ端末は、当該ＵＴＣ情報の時間点から一度に５０のコンテキストまたは１００のコンテキストをクエリしてもよい。一部の実施態様において、当該アーカイブ視聴者は、当該ＵＴＣ情報の時間点から特定の時間帯のコンテキストをクエリしてもよい。 例えば、当該アーカイブ視聴者のユーザ端末は、当該ＵＴＣ情報の時間点から１０分または３０分のコンテキストを一度にクエリしてもよい。
【0064】
一部の実施態様において、当該レンダリングユニット２０４は、当該識別子情報に基づき、インタラクション情報のコンテキストとアーカイブコンテンツをレンダリングしてもよい。例えば、当該レンダリングユニット２０４は、ＵＴＣ情報に基づいたインタラクション情報のコンテキストで当該アーカイブ映像のフレームをレンダリングしてもよい。したがって、当該アーカイブ視聴者は、すべてのインタラクション情報が含まれたアーカイブ映像を視聴してもよい。一部の実施態様において、当該インタラクション情報は、映像及び音声ストリーミングデータを除いたライブストリーミングルーム内の情報であってもよい。例えば、当該インタラクション情報は、視聴者が「いいね」ボタンをクリックしたことのメッセージであってもよいし、ストリーミングルームのタイトルをストリーマーが変更したことのメッセージであってもよい。当該インタラクション情報は、視聴者がタイトルを取得するアニメーションや、ドラゴンがストリーミングルームを飛び交うアニメーション等であってもよい。
【0065】
本実施形態によれば、当該コンテキストユニット３１０は、任意の形式のインタラクション情報を受信・送信し、ただ当該ＵＴＣ情報に基づいて当該インタラクション情報を視聴者の端末に送信してもよい。したがって、任意の形式のインタラクション情報をアーカイブコンテンツに表示及び同期させることができ、ユーザエクスペリエンスを向上させることができる。
【0066】
一部の実施態様において、当該アーカイブ視聴者が当該アーカイブ映像を早戻しまたは早送りしても、当該アーカイブ視聴者のユーザ端末は、ただ当該識別子情報を解析し、当該ＵＴＣ情報に基づいて、対応するコンテキストについて当該コンテキストユニット３１０にクエリしてもよい。したがって、当該アーカイブサービスは、異なるシナリオに適用することができ、当該アーカイブサービスの柔軟性を向上させることができる。
【0067】
図８と図９は、当該アーカイブサービスの例示的な機能構成図である。図８と図９において、矢印の線は、ストリーマー、視聴者、サーバのタイムラインを示している。矩形バーは、ライブストリーミングやアーカイブ映像などのストリーミングデータを含む部分を指してもよい。矩形バーは、複数のフレーム、またはｔｓセグメントを含んでもよい。視聴者は、メッセージや贈り物を送ることによって、ストリーマーと交流してもよい。また、ストリーマーは、メッセージ送信等によって他の視聴者と交流する視聴者であってもよい。
【0068】
図８に示すように、タイムラインは、ＵＴＣ時刻情報に対応していてもよい。当該ストリーマーは、一定期間、ストリーミングを開始し、ストリーミングを終了してもよい。当該記録ユニット３０６は、当該ライブストリーミングをアーカイブコンテンツとして記録し、当該アーカイブ映像を当該アーカイブＤＢ３２２に格納してもよい。記録中、当該記録ユニット３０６は、ライブストリーミングを複数のｔｓセグメントとして記録し、ＵＴＣタイムスタンプ情報を当該アーカイブ映像の対応するフレームに保存してもよい。例えば、フレームＦ２のＵＴＣタイムスタンプ情報はＴ２、フレームＦ５のＵＴＣタイムスタンプ情報はＴ５などであってもよい。
【0069】
ライブストリーミング中、視聴者は、メッセージ、コメント、贈り物、フォロー、ゲーム等によってストリーマーと交流してもよい。例えば、視聴者は、ストリーマーを応援するために、ストリーマーにメッセージや贈り物を送信してもよい。視聴者は、当該バックエンドサーバを介して当該インタラクション情報を送信してもよく、当該バックエンドサーバは、当該インタラクション情報をストリーマー、他の視聴者、及び当該コンテキストユニット３１０に送信してもよい。当該インタラクション情報は、当該バックエンドサーバが当該インタラクション情報を受信するための当該時間情報を含んでもよい。当該コンテキストユニット３１０はさらに、当該時間情報を含む当該インタラクション情報を当該コンテキストＤＢ３２４に保存してもよい。一部の実施態様において、当該時間情報は、ＵＴＣタイムスタンプ情報などであってもよい。
【0070】
図８に示すように、当該視聴者は、Ｔ２において当該ストリーマーにメッセージを送信し、Ｔ１５において当該ストリーマーに贈り物を送信してもよい。一部の実施態様において、当該サーバは、当該ストリーマーおよび視聴者にいくつかのインタラクション情報を自動的に送信し、ＶＩＰ視聴者がオンラインであるなど、特定の情報を通知してもよい。例えば、当該サーバは、Ｔ８において、通知を送信してもよい。当該コンテキストユニット３１０は、当該時間情報を含む当該インタラクション情報を当該コンテキストＤＢ３２４に書き込んでもよい。
【0071】
当該アーカイブコンテンツが公開された後、アーカイブ視聴者は、例えば、当該ストリーマーのプロフィールページ等で当該アーカイブコンテンツを確認してもよい。当該アーカイブ視聴者のユーザ端末は、当該アーカイブ視聴者が視聴したい当該アーカイブコンテンツをタップすることにより、当該アーカイブコンテンツを要求してもよい。当該処理ユニット３０８は、Ｍ３Ｕ８再生リストを生成し、当該アーカイブ視聴者のユーザ端末に送信してもよい。当該Ｍ３Ｕ８再生リストは、複数のｔｓセグメントと、それに対応するＵＴＣタイムスタンプ情報とを含んでもよい。
【0072】
当該アーカイブ視聴者のユーザ端末は、ＵＴＣタイムスタンプ情報に基づき、当該インタラクション情報のコンテキストについて当該コンテキストユニット３１０にクエリしてもよい。当該アーカイブ視聴者のユーザ端末内の当該レンダリングユニット２０４は、ＵＴＣタイムスタンプ情報に基づき、当該インタラクション情報を有するアーカイブコンテンツをさらにレンダリングしてもよい。例えば、ｔｓセグメントＴＳ２のフレームＦ２は、ＵＴＣタイムスタンプＴ２の情報を含んでもよい。当該アーカイブ視聴者のユーザ端末は、Ｔ２におけるコンテキストについて、当該コンテキストユニット３１０にクエリしてもよい。当該アーカイブ視聴者のユーザ端末はさらに、Ｔ２におけるコンテキストとフレームＦ２をレンダリングしてもよい。したがって、当該アーカイブ視聴者は、より没入的な方法でアーカイブコンテンツを視聴することができる。
【0073】
一部の実施態様において、メッセージ、コメント、贈り物、フォロー、ゲーム、ＶＩＰオンライン通知など、ストリーマー端末、視聴者端末、またはバックエンドサーバからの任意の種類のインタラクション情報が、当該コンテキストユニット３１０からクエリされてもよい。当該アーカイブコンテンツは、フレーム及びコンテキストのレンダリングに影響を与えることなく、早戻しまたは早送りされてもよい。
【0074】
一部の実施態様において、当該処理ユニット３０８は、当該アーカイブコンテンツに対して変更を実行してもよい。例えば、当該処理ユニット３０８は、当該アーカイブコンテンツにおいて、トランジションセグメントを追加してもよい。より具体的に、当該処理ユニット３０８は、当該アーカイブコンテンツにトランジションセグメントを挿入しても、当該アーカイブコンテンツの一部をトランジションセグメントと置き換えてもよい。一部の実施態様において、当該処理ユニット３０８は、当該アーカイブコンテンツの一部を削除してもよい。
【0075】
図９に示すように、当該アーカイブコンテンツにトランジションセグメントが追加される。当該トランジションセグメントは記録完了後に追加されるため、当該トランジションセグメントにＵＴＣタイムスタンプ情報が含まれなくてもよい。また、フレームＦ８とフレームＦ１５との間に当該トランジションセグメントが挿入されるため、フレームＦ１５が後方に移動されてもよい。当該レンダリングユニット２０４は、ＵＴＣタイムスタンプ情報に基づき、当該アーカイブコンテンツのレンダリングを行うため、フレームＦ１５及びＴ１５におけるコンテキストのレンダリングは影響を受けずに済む。したがって、当該アーカイブコンテンツに対する変更の自由度が高く、レンダリング精度を向上させることができる。さらに、当該トランジションセグメントの持続時間は柔軟に決定されてもよい。当該アーカイブスコンテンツの一部が置換または削除されても、当該レンダリングユニット２０４は、当該アーカイブコンテンツをより正確にレンダリングすることができる。
【0076】
一部の実施態様において、当該トランジションセグメントは、テキスト、画像、動画、音声などを含んでもよい。一部の実施態様において、当該トランジションセグメントは、当該トランジションセグメントの前または後に、当該アーカイブコンテンツに関連する情報を含んでいてもよい。例えば、当該ストリーマーが車について話している場合、当該トランジションセグメントはその車の広告などの情報を含んでいてもよい。当該ストリーマーがパフォーマンスを行う場合、当該トランジションセグメントはそのパフォーマンスを紹介する情報を含んでいてもよい。一部の実施態様において、当該トランジションセグメントは、当該トランジションセグメント中に、当該アーカイブコンテンツに関連する情報を含んでいてもよい。より具体的には、当該アーカイブコンテンツの一部分にグループ通話やPKモードなどの複数ユーザの交流が含まれる場合、その複数ユーザの交流の部分をトランジションセグメントに置き換えてもよく、当該トランジションセグメントは、当該部分に関する情報、例えば、「グループ通話またはPKが進行中」などを含んでもよい。一部の実施態様において、当該トランジションセグメントは、当該アーカイブコンテンツが中断していることを視聴者に知らせるための任意の情報を含んでいてもよい。例えば、当該トランジションセグメントは、「しばらくして」、「この部分は省略されています」等の情報を含んでもよい。一部の実施態様において、当該トランジションセグメントは、推奨ストリーマー、広告、販売、ニュース、アンケートなど、その他の情報を含んでいてもよい。一部の実施態様において、当該トランジションセグメントは、当該ストリーマーの紹介、当該ストリーマーのライブ配信スケジュールなど、当該ストリーマーの情報を含んでいてもよい。
【0077】
図１０と図１１は、本発明の一部の実施態様に基づく当該アーカイブコンテンツの例示的画面６００である。図１０はフレームＦ２での当該アーカイブコンテンツを示し、図１１はフレームＦ１５での当該アーカイブコンテンツを示す。当該フレームＦ２は、ＵＴＣタイムスタンプＴ２の情報を含み、当該フレームＦ１５は、ＵＴＣタイムスタンプＴ１５の情報を含んでもよい。当該アーカイブ視聴者のユーザ端末は、当該ＵＴＣ情報に基づき、対応するコンテキストについて当該コンテキストユニット３１０にクエリしてもよい。メッセージなどのインタラクション情報は、ＵＴＣタイムスタンプＴ２で保存され、贈り物などの別のインタラクション情報は、ＵＴＣタイムスタンプＴ１５で保存されてもよい。当該アーカイブ視聴者のユーザ端末は、当該インタラクション情報のコンテキストをクエリしてもよい。図１０に示すように、メッセージ６１２のインタラクション情報は、当該フレームＦ２でレンダリングされ、当該アーカイブ視聴者のユーザ端末に表示されてもよい。さらに、メッセージ６１４とアニメーション６１６を含む贈り物のインタラクション情報は、ｔｓセグメントＴＳ１５でレンダリングされて、当該アーカイブ視聴者のユーザ端末に表示されてもよい。
【0078】
一部の実施態様において、当該インタラクション情報は、情報の種類に基づき異なる情報を含んでもよい。例えば、メッセージのインタラクション情報には、ユーザのアイコンやメッセージの内容などが含まれてもよい。贈り物のインタラクション情報には、当該贈り物のメッセージ６１４、当該贈り物のアニメーション６１６等が含まれてもよい。
【0079】
一部の実施態様において、当該アーカイブ視聴者が当該アーカイブコンテンツを視聴している間に、コメント、贈り物、いいね！などの機能が提供されてもよい。例えば、図１０のアイコン６１８、６２０、６２２のようなコメント、贈り物、いいね！などの機能を提供し、当該アーカイブ視聴者が当該アーカイブコンテンツを介して当該ストリーマーと交流できるようにしてもよい。一部の実施態様において、当該アーカイブコンテンツは、実際の必要性に基づいてその他の機能を含んでもよい。
【0080】
一部の実施態様において、当該インタラクション情報は、当該アーカイブコンテンツ上にレンダリングされてもよい。一部の実施態様において、当該インタラクション情報は、当該アーカイブコンテンツとは別にレンダリングされてもよい。一部の実施態様において、当該インタラクション情報は、一部が当該アーカイブコンテンツ上にレンダリングされ、一部が当該アーカイブコンテンツとは別にレンダリングされてもよい。例えば、メッセージ６１２は、図１０に示すように、当該画面６００上にレンダリングされてもよい。一部の実施態様において、当該画面６００は、アーカイブコンテンツゾーンとメッセージゾーン（図示せず）等を含んでもよい。当該アーカイブコンテンツは、当該アーカイブコンテンツゾーン上に表示されてもよく、当該メッセージ６１２は、当該メッセージゾーンに表示されてもよい。一部の実施態様において、当該贈り物の当該アニメーション６１６が当該アーカイブコンテンツゾーンに表示され、当該贈り物の当該メッセージ６１４が当該メッセージゾーンに表示されてもよい。一部の実施態様において、当該アーカイブコンテンツと当該インタラクション情報のレイアウトは柔軟に決定されてもよい。
【0081】
図１２は、本発明の一部の実施態様に基づくアーカイブサービスの構成の動作を示す例示的なシーケンス図である。一部の実施態様において、ストリーマーは、ストリーミングデータをストリーミングソースにプッシュすることにより、ライブストリーミングを開始してもよい（Ｓ３０２）。視聴者は、視聴者が視聴したいストリーマーをタップすることにより、ストリーミングデータを引き出してもよい（Ｓ３０４）。アーカイブ機能がオンである場合、当該記録ユニット３０６は、ライブストリーミングを記録するためにストリーミングデータを引き出してもよい（Ｓ３０６）。一部の実施態様において、当該記録ユニット３０６は、ライブストリーミングをアーカイブコンテンツとして記録し、当該アーカイブコンテンツをＵＴＣタイムスタンプ情報とともに保存してもよい（Ｓ３０８）。
【0082】
ライブストリーミング中、視聴者は、コメント、贈り物、アニメーションなどのインタラクション情報を送信することにより、ストリーマーと交流してもよい（Ｓ３１０）。当該インタラクション情報は、アプリまたはプラットフォームにおけるバックエンドサーバなどのコンテキストソースを介して、当該ストリーマーまたは他の視聴者に送信されてもよい。一部の実施態様において、当該ストリーミングソースはストリーミングサーバであってもよく、当該コンテキストソースはアプリまたはプラットフォームのプロバイダーのバックエンドサーバであってもよい。当該コンテキストソースは、当該インタラクション情報を当該コンテキストユニット３１０に送信し（Ｓ３１２）、当該コンテキストユニット３１０は、ＵＴＣタイムスタンプ情報とともに当該インタラクション情報を当該コンテキストＤＢ３２４などのデータベースに保存してもよい（Ｓ３１４）。
【0083】
アーカイブコンテンツが記録・公開された後、アーカイブ視聴者は、当該アーカイブコンテンツの視聴要求を行ってもよい（Ｓ３１６）。当該処理ユニット３０８は、ストレージから当該アーカイブコンテンツを取得し（Ｓ３１８）、 ＴＳセグメントとそれに対応するＵＴＣタイムスタンプ情報を含むＭ３Ｕ８再生リストを生成してもよい（Ｓ３２０）。アーカイブ視聴者が当該アーカイブコンテンツを再生する場合、当該アーカイブ視聴者のユーザ端末は、当該コンテキストユニット３１０にインタラクション情報のコンテキストをクエリしてもよい（Ｓ３２２）。当該コンテキストユニット３１０は、ＵＴＣタイムスタンプ情報を有する当該コンテキストを取得し（Ｓ３２４）、当該アーカイブ視聴者のユーザ端末に送信してもよい（Ｓ３２６）。当該アーカイブ視聴者のユーザ端末はさらに、ＵＴＣタイムスタンプ情報に基づき、当該アーカイブコンテンツを有する当該コンテキストをレンダリングしてもよい（Ｓ３２８）。
【0084】
図１３は、 本発明の一部の実施態様に基づくサーバ１０の構成の動作を示す例示的なフローチャートである。図１３に示すように、当該記録ユニット３０６は、ライブストリーミングのストリーミングデータを記録してもよい（Ｓ３５２）。当該処理ユニット３０８は、当該ストリーミングデータを第１の識別子を有するアーカイブコンテンツとして格納してもよい（Ｓ３５４）。一部の実施態様において、当該第１の識別子は、ＵＴＣタイムスタンプなどであってもよい。当該コンテキストユニット３１０は、ライブストリーミング中、インタラクション情報を受信してもよい（Ｓ３５６）。当該コンテキストユニット３１０は、第２の識別子を有するコンテキストとして当該インタラクション情報を格納してもよい（Ｓ３５８）。一部の実施態様において、当該第２の識別子も、ＵＴＣタイムスタンプなどであってもよい。一部の実施態様において、当該処理ユニット３０８は、第１のユーザ端末からの要求に応じて、当該第１の識別子を有する当該アーカイブコンテンツを当該第１のユーザ端末に送信してもよい。当該第１のユーザ端末はさらに、当該第１の識別子に基づいて、当該コンテキストユニット３１０にコンテキストについてクエリしてもよい。当該コンテキストユニット３１０は、当該第１の識別子及び当該第２の識別子に基づき、当該第１のユーザ端末に当該コンテキストを送信してもよい（Ｓ３６０）。本実施形態によれば、当該アーカイブサービスは、より効率的かつ正確である。
【0085】
図１４は、本発明の一部の実施態様に基づくユーザ端末３０の構成の動作を示す例示的なフローチャートである。図１４に示すように、当該レンダリングユニット２０４は、当該第１の識別子を有するアーカイブコンテンツを受信してもよい（Ｓ３７２）。当該レンダリングユニット２０４は、当該第１の識別子に基づいて、第２の識別子を有するコンテキストをクエリしてもよい（Ｓ３７４）。当該レンダリングユニット２０４はさらに、当該第１の識別子及び当該第２の識別子に基づき、当該コンテキストとアーカイブコンテンツをさらにレンダリングしてもよい（Ｓ３７６）。レンダリング後、インタラクション情報を有するアーカイブコンテンツが、アーカイブ視聴者のユーザ端末に表示されてもよい。本実施形態によれば、当該アーカイブ視聴者は、より没入的な方法でアーカイブコンテンツを視聴することができる。
【0086】
当該ライブストリーミングには、メッセージ、贈り物、アニメーションなどのインタラクション情報が表示されており、当該アーカイブサービスでは、当該インタラクション情報をアーカイブコンテンツと同期させてもよい。当該アーカイブサービスでは、アーカイブコンテンツとインタラクション情報は別々に保存かつ格納される。記録中、ＳＥＩメッセージにＵＴＣ時刻情報が挿入される。メッセージや贈り物など当該ユーザ端末から操作があった場合、その操作に応じた当該インタラクション情報も当該ＵＴＣ時刻情報とともに保存・挿入されてもよい。当該アーカイブコンテンツの再生時に、当該ＳＥＩメッセージが解析され、当該ＵＴＣ時刻情報が受信されてもよい。当該インタラクション情報は、当該ＵＴＣ時刻情報に基づいて指定されてもよい。当該アーカイブ視聴者のユーザ端末は、当該インタラクション情報をレンダリングし、画面上に表示してもよい。 したがって、当該アーカイブ視聴者は、ライブストリーミングを視聴している視聴者と同様の感覚を持つことができる。
【0087】
また、広告や幕間アニメーションなどのトランジションセグメントが挿入されても、当該インタラクション情報とアーカイブコンテンツとの同期に影響を与えないようにすることができる。当該インタラクション情報は、例えば、メッセージ、コメント、贈り物、アニメーション、ＶＩＰオンライン通知など、どのような種類の情報であってもよい。一部の実施態様において、当該当該メッセージは、視聴者またはストリーマーからのメッセージであってもよく、また、当該バックエンドサーバからのメッセージであってもよい。
【0088】
図１５は、本発明の一部の実施態様に基づくシステム構成および処理を実行するためのコンピュータハードウェアの概略ブロック図である。図１８に示す当該情報処理装置９００は、例えば、本発明の一部の実施態様に基づく当該サーバ１０と当該ユーザ端末２０、３０及び当該アーカイブサービスをそれぞれ実現するように構成される。
【0089】
当該情報処理装置９００は、ＣＰＵ ９０１と、リードオンリーメモリ（ＲＯＭ）９０３、ランダムアクセスメモリ（ＲＡＭ）９０５を含む。さらに、当該情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェイス９１３、入力ユニット９１５、出力ユニット９１７、ストレージユニット９１９、ドライブ９２１、接続ポート９２５、通信ユニット９２９を含んでもよい。当該情報処理装置９００は、カメラなどの撮像装置（図示せず）を含んでもよい。当該情報処理装置９００は、ＣＰＵ９０１に代えて、または加えて、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）等の処理回路を含んでもよい。
【0090】
当該ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージユニット９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、当該情報処理装置９００の全体動作またはその一部の動作を制御する。例えば、当該ＣＰＵ９０１は、上述した実施態様の当該サーバ１０および当該ユーザ端末２０、３０に含まれる各機能ユニットの動作全般を制御する。当該ＲＯＭ９０３は、当該ＣＰＵ９０１が使用するプログラム、動作パラメータなどを記憶する。当該ＲＡＭ９０５は、当該ＣＰＵ９０１が実行する際に使用するプログラムや、当該プログラムを実行する際に適宜変化するパラメータを過渡的に記憶する。当該ＣＰＵ９０１、当該ＲＯＭ９０３、当該ＲＡＭ９０５は、ＣＰＵバスなどの内部バスから構成されるホストバス９０７を介して互いに接続されている。当該ホストバス９０７は、当該ブリッジ９０９を介してペリフェラルコンポーネントインターコネクト／インターフェイス（ＰＣＩ）バスなどの外部バス９１１に接続される。
【0091】
当該入力ユニット９１５は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバーなど、ユーザによって操作される装置である。当該入力ユニット９１５は、オーディオセンサ（マイクなど）、加速度センサ、傾斜センサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど、物理量を電気信号に変換する装置であってもよい。当該入力ユニット９１５は、例えば、赤外線や別の種類の電波を利用するリモートコントロール装置であってもよい。あるいは、当該入力ユニット９１５は、当該情報処理装置９００の動作に対応する携帯電話などの外部接続端末９２７であってもよい。当該入力ユニット９１５は、ユーザから入力される情報に基づいて入力信号を生成し、生成した入力信号を当該ＣＰＵ９０１に出力する入力制御回路を含む。ユーザは当該入力ユニット９１５を操作することにより、各種データを入力し、当該情報処理装置９００に対する処理動作の指示を行う。
【0092】
当該出力ユニット９１７は、取得した情報をユーザに対して視覚的または聴覚的に報知することができる装置を含む。当該出力ユニット９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＬＥＤなどのディスプレイ装置、スピーカー、ヘッドホンなどの音声出力装置、プリンタなどであってもよい。当該出力ユニット９１７は、当該情報処理装置９００が実行する処理によって得られた結果を、テキスト、画像などの映像、音声などのサウンドの形で出力する。
【0093】
当該ストレージユニット９１９はデータストレージ用装置であり、当該情報処理装置９００のストレージユニットの一例である。当該ストレージユニット９１９は、例えば、ハードディスクドライブ（ＨＤＤ）などの磁気記憶装置、半導体記憶装置、光記憶装置、光磁気記憶装置などを含む。当該ストレージユニット９１９は、当該ＣＰＵ９０１が実行するプログラムや各種データ、及び外部から取得された各種データを格納する。
【0094】
当該ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体９２３のリーダー／ライターであり、当該情報処理装置９００に内蔵または外付けされる。当該ドライブ９２１は、装着された当該リムーバブル記録媒体９２３に記録された情報を読み出し、当該ＲＡＭ９０５に出力する。当該ドライブ９２１は、装着された当該リムーバブル記録媒体９２３に記録を書き込む。
【0095】
当該接続ポート９２５は、当該情報処理装置９００に機器を直接接続するために用いられるポートである。当該接続ポート９２５は、例えば、ＵＳＢ（ユニバーサルシリアルバス）ポート、ＩＥＥＥ１３９４ポート、またはＳＣＳＩ（小型計算機システムインターフェイス）ポートであってもよい。当該接続ポート９２５は、ＲＳ―２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（高精細度マルチメディアインターフェース（登録商標））ポートなどであってもよい。当該接続ポート９２５に外部接続端末９２７が接続されることにより、当該情報処理装置９００と当該外部接続端末９２７間の各種データのやり取りが可能になる。
【0096】
当該通信ユニット９２９は、例えば、通信ネットワークＮＷに接続するための通信装置を含む通信インターフェイスである。当該通信ユニット９２９は、例えば、有線または無線のローカルエリアネットワーク（ＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または、無線ＵＳＢ（ＷＵＳＢ）用の通信カードであってもよい。
【0097】
当該通信ユニット９２９は、例えば、光通信用のルータ、ＡＤＳＬ（非対称デジタル加入者線）用のルータ、または、各種通信用のモデムであってもよい。例えば、当該通信ユニット９２９は、ＴＣＰ／ＩＰ等の所定のプロトコルを用いて、インターネットにおける信号の送受信や、他の通信装置との信号の送受信を行う。当該通信ユニット９２９が接続する当該通信ネットワークＮＷは、有線接続または無線接続により確立されたネットワークである。当該通信ネットワークＮＷは、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、電波通信、または衛星通信である。
【0098】
撮像装置（図示せず）は、例えば、ＣＣＤ（電荷結合デバイス）やＣＭＯＳ（相補型金属酸化膜半導体）などの撮像素子と、当該撮像素子上の被写体像の結像を制御するためのレンズなど各種部材を用いて現実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像しても、動画を撮像してもよい。
【0099】
以上、本発明のライブストリーミングシステム１とアーカイブサービスについて、実施形態を参照しながら説明した。上述の実施態様は、単に説明のために記載されたものである。むしろ、実施態様の上述した構成要素や処理を多様に組み合わせ、さまざまな変更がなされ得ることは、当業者であれば容易に想到し得ることであり、これらも本発明の技術的範囲に包含される。
【0100】
本明細書に記載された工程、特にフローチャートやフローチャートを用いて説明された工程は、工程を構成する工程の一部の省略、工程を構成する工程に明示的に含まれない工程の追加、及び（または）工程順序の並べ替えが可能である。このような省略、追加、並べ替えの対象となった工程も、本発明の要旨を逸脱しない限り、本発明の範囲に含まれる。
【0101】
一部の実施態様において、当該サーバ１０またはアーカイブサービスが実行する機能の少なくとも一部は、当該サーバ１０またはアーカイブサービス以外が実行してもよく、例えば当該ユーザ端末２０または３０が実行するようにしてもよい。一部の実施態様において、当該ユーザ端末２０または３０が実行する機能の少なくとも一部を、当該ユーザ端末２０または３０以外が実行してもよく、例えば、当該サーバ１０またはアーカイブサービスが実行するようにしてもよい。一部の実施態様において、フレーム画像のレンダリングは、視聴者、サーバ、ストリーマー等の当該ユーザ端末が実行するようにしてもよい。
【0102】
さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読ストレージ装置、またはコンピュータプログラム製品などで提供されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされるものとしてもよい。
【0103】
以上、本発明の技術的内容及び特徴を説明したが、本発明の属する技術分野において通常の知識を有する者であれば、本発明の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本発明の範囲は、既に開示された実施態様に限定されず、本発明から逸脱しない別の変形や修正を含む、後付の特許請求の範囲に含まれる範囲である。
【符号の説明】
【0104】
１ ライブストリーミングシステム
１０ サーバ
２０ ユーザ端末
１００ ストリーミングユニット
１０２ ビデオコントロールユニット
１０４ オーディオコントロールユニット
１０６ 配信ユニット
１０８ ＵＩコントロールユニット
２００ 視聴ユニット
２０２ ＵＩコントロールユニット
２０４ レンダリングユニット
２０６ 入力ユニット
３０、３０ａ、３０ｂ ユーザ端末
３０２ ストリーミング情報ユニット
３０４ 中継ユニット
３０６ 記録ユニット
３０８ 処理ユニット
３１０ コンテキストユニット
３２０ ストリームＤＢ
３２２ アーカイブＤＢ
３２４ コンテキストＤＢ
６００ 画面
６１２ メッセージ
６１４ メッセージ
６１６ アニメーション
６１８ アイコン
６２０ アイコン
６２２ アイコン
９００ 情報処理装置
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ ホストバス
９０９ ブリッジ
９１１ 外部バス
９１３ インターフェイス
９１５ 入力ユニット
９１７ 出力ユニット
９１９ ストレージユニット
９２１ ドライブ
９２３ リムーバブル記録媒体
９２５ 接続ポート
９２７ 外部接続端末
９２９ 通信ユニット
ＬＳ ライブストリーミング
ＬＶ ストリーマー
ＮＷ ネットワーク
ＡＵ１、ＡＵ２ 視聴者
Ｓ３０２、Ｓ３０４ … Ｓ３２８ 工程
ＶＤ、ＶＤ１、ＶＤ２ 映像
１０ サーバ
２０ ユーザ端末
１００ ストリーミングユニット
１０２ ビデオコントロールユニット
１０４ オーディオコントロールユニット
１０６ 配信ユニット
１０８ ＵＩコントロールユニット
２００ 視聴ユニット
２０２ ＵＩコントロールユニット
２０４ レンダリングユニット
２０６ 入力ユニット
３０、３０ａ、３０ｂ ユーザ端末
３０２ ストリーミング情報ユニット
３０４ 中継ユニット
３０６ 記録ユニット
３０８ 処理ユニット
３１０ コンテキストユニット
３２０ ストリームＤＢ
３２２ アーカイブＤＢ
３２４ コンテキストＤＢ
６００ 画面
６１２ メッセージ
６１４ メッセージ
６１６ アニメーション
６１８ アイコン
６２０ アイコン
６２２ アイコン
９００ 情報処理装置
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ ホストバス
９０９ ブリッジ
９１１ 外部バス
９１３ インターフェイス
９１５ 入力ユニット
９１７ 出力ユニット
９１９ ストレージユニット
９２１ ドライブ
９２３ リムーバブル記録媒体
９２５ 接続ポート
９２７ 外部接続端末
９２９ 通信ユニット
ＬＳ ライブストリーミング
ＬＶ ストリーマー
ＮＷ ネットワーク
ＡＵ１、ＡＵ２ 視聴者
Ｓ３０２、Ｓ３０４ … Ｓ３２８ 工程
ＶＤ、ＶＤ１、ＶＤ２ 映像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【手続補正書】
【提出日】2023-03-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ライブストリーミングのためのストリーミングデータを取り扱うサーバであって、
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、
を備え、
前記第１の識別子が、前記アーカイブコンテンツのフレームのＳＥＩメッセージ内に挿入され、
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、ことを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、
を備え、
前記第１の識別子が、前記アーカイブコンテンツのフレームのＳＥＩメッセージ内に挿入され、
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、ことを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項2】
前記第１の識別子と前記第２の識別子が時間情報を含み、
前記時間情報が、グリニッジ標準時（ＧＭＴ）、協定世界時（ＵＴＣ）等の標準時刻を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記時間情報が、グリニッジ標準時（ＧＭＴ）、協定世界時（ＵＴＣ）等の標準時刻を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項3】
ライブストリーミングのためのストリーミングデータを取り扱うサーバであって、
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、
を備え、
前記第１のユーザ端末に第１の数のコンテキストを送信する機能をさらに含み、
前記第１の数が、前記第１の識別子に基づいて計算される、ことを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、
を備え、
前記第１のユーザ端末に第１の数のコンテキストを送信する機能をさらに含み、
前記第１の数が、前記第１の識別子に基づいて計算される、ことを特徴とする、ライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項4】
前記アーカイブコンテンツにトランジションセグメントを追加する機能をさらに含み、
前記トランジションセグメントが、前記トランジションセグメントの前、中または後における前記アーカイブコンテンツに関連する情報を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記トランジションセグメントが、前記トランジションセグメントの前、中または後における前記アーカイブコンテンツに関連する情報を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項5】
前記第１のユーザ端末に第１の数のコンテキストを送信する機能をさらに含み、
前記第１の数が、前記第１の識別子に基づいて計算される、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
前記第１の数が、前記第１の識別子に基づいて計算される、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項6】
前記インタラクション情報が、ストリーマー端末、視聴者端末、または前記サーバから受信される、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項7】
前記インタラクション情報が、メッセージ、コメント、贈り物、フォロー、ゲームまたはＶＩＰオンライン通知を含む、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項8】
前記第１のユーザ端末への前記コンテキストの送信が、前記第１のユーザ端末からのクエリに対する応答として行われる、ことを特徴とする、請求項１に記載のライブストリーミングのためのストリーミングデータを取り扱うサーバ。
【請求項9】
端末であって、
第１の識別子を有するアーカイブコンテンツを受信する機能と、
前記第１の識別子に基づいて、サーバから第２の識別子を有するコンテキストをクエリする機能と、
前記第１の識別子及び前記第２の識別子に基づいて、前記コンテキストと前記アーカイブコンテンツをレンダリングする機能と、
を含み、
前記第１の識別子が、前記アーカイブコンテンツのフレームのＳＥＩメッセージ内に挿入され、
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、
ことを特徴とする、端末。
第１の識別子を有するアーカイブコンテンツを受信する機能と、
前記第１の識別子に基づいて、サーバから第２の識別子を有するコンテキストをクエリする機能と、
前記第１の識別子及び前記第２の識別子に基づいて、前記コンテキストと前記アーカイブコンテンツをレンダリングする機能と、
を含み、
前記第１の識別子が、前記アーカイブコンテンツのフレームのＳＥＩメッセージ内に挿入され、
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、
ことを特徴とする、端末。
【請求項10】
コンピュータプログラムであって、端末に、
ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、を実行させ、
前記第１の識別子が、前記アーカイブコンテンツのフレームのＳＥＩメッセージ内に挿入され、
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、
ことを特徴とする、コンピュータプログラム。
ライブストリーミングのストリーミングデータを記録する機能と、
第１の識別子を有するアーカイブコンテンツとして前記ストリーミングデータを格納する機能と、
前記ライブストリーミング中にインタラクション情報を受信する機能と、
第２の識別子を有するコンテキストとして前記インタラクション情報を格納する機能と、
前記第１の識別子を有するアーカイブコンテンツを第１のユーザ端末に送信する機能と、
前記第１の識別子と前記第２の識別子に基づいて、前記第１のユーザ端末に前記コンテキストを送信する機能と、を実行させ、
前記第１の識別子が、前記アーカイブコンテンツのフレームのＳＥＩメッセージ内に挿入され、
前記アーカイブコンテンツの１つのフレーム内の前記第１の識別子が、前記アーカイブコンテンツの別のフレーム内の前記第１の識別子と異なる、
ことを特徴とする、コンピュータプログラム。
【外国語明細書】