特許 7630804 サーバ、方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-07

(45)【発行日】2025-02-18

(54)【発明の名称】サーバ、方法及びコンピュータプログラム

(51)【国際特許分類】

   H04N 21/258 20110101AFI20250210BHJP

   H04L 51/02 20220101ALI20250210BHJP

【ＦＩ】

H04N21/258

H04L51/02

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2023213853

(22)【出願日】2023-12-19

【審査請求日】2024-08-15

(31)【優先権主張番号】P 2023178184

(32)【優先日】2023-10-16

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】517287224

【氏名又は名称】１７ＬＩＶＥ株式会社

(74)【代理人】

【識別番号】100199277

【弁理士】

【氏名又は名称】西守 有人

(72)【発明者】

【氏名】徐永吉

(72)【発明者】

【氏名】林奇▲い▼

(72)【発明者】

【氏名】劉謹▲い▼

(72)【発明者】

【氏名】張家翰

(72)【発明者】

【氏名】蔡幸祐

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特開２０２３－０１０４５７（ＪＰ，Ａ）

【文献】国際公開第２０２１／１９９１９８（ＷＯ，Ａ１）

【文献】特開２０２１－００７００５（ＪＰ，Ａ）

【文献】特開２０１３－０８８８３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｌ ５１／０２

(57)【特許請求の範囲】

【請求項1】

回路を含むサーバであって、前記回路が、
機械学習モデルがチャットボットに含まれるよう前記チャットボットを生成する工程と、
前記チャットボットをライブストリーミングルーム内に設定する工程と、
前記ライブストリーミングルーム内のユーザからコメントを受信する工程と、
前記ユーザに関連付けられたキーワードが前記コメントから検出されたことに応答して、前記キーワードを第１のデータベースに格納する工程と、
前記第１のデータベースの情報を前記機械学習モデルに供給する工程と、
を実行するように構成され、前記キーワードが前記ユーザの情報に関連するものであり、
前記回路がさらに、前記チャットボット上でトピックをさらに設定する工程を実行するように構成され、
前記キーワードがさらに前記チャットボットの前記トピックに関連し、
前記トピックに関連する前記キーワードがさらに前記ユーザに関連付けられた後、前記第１のデータベースに格納される、
ことを特徴とする、サーバ。

【請求項2】

回路を含むサーバであって、前記回路が、
機械学習モデルがチャットボットに含まれるよう前記チャットボットを生成する工程と、
前記チャットボットをライブストリーミングルーム内に設定する工程と、
前記ライブストリーミングルーム内のユーザからコメントを受信する工程と、
前記ユーザに関連付けられたキーワードが前記コメントから検出されたことに応答して、前記キーワードを第１のデータベースに格納する工程と、
前記第１のデータベースの情報を前記機械学習モデルに供給する工程と、
を実行するように構成され、前記キーワードが前記ユーザの情報に関連するものであり、
前記回路が、
前記コメントを第２のデータベースに格納する工程と、
前記第２のデータベースの情報を前記機械学習モデルに供給する工程と、
をさらに実行するように構成され、前記第２のデータベースが、前記ライブストリーミングルーム内における特定の量の最新の会話を格納する、ことを特徴とする、サーバ。

【請求項3】

前記回路が、
前記機械学習モデルを介して前記コメントに対する応答を生成する工程と、
前記応答を前記ライブストリーミングルームに送信する工程と、
をさらに実行するように構成されることを特徴とする、請求項１に記載のサーバ。

【請求項4】

前記回路が、
前記機械学習モデルを介して前記コメントに対する応答を生成する工程と、
前記応答を前記ライブストリーミングルームに送信する工程と、
をさらに実行するように構成されることを特徴とする、請求項２に記載のサーバ。

【請求項5】

回路を含むサーバであって、前記回路が、
機械学習モデルがチャットボットに含まれるよう前記チャットボットを生成する工程と、
前記チャットボットをライブストリーミングルーム内に設定する工程と、
前記ライブストリーミングルーム内のユーザからコメントを受信する工程と、
前記ユーザに関連付けられたキーワードが前記コメントから検出されたことに応答して、前記キーワードを第１のデータベースに格納する工程と、
前記第１のデータベースの情報を前記機械学習モデルに供給する工程と、
を実行するように構成され、前記キーワードが前記ユーザの情報に関連するものであり、
前記回路が、
前記機械学習モデルを介して前記コメントに対する応答を生成する工程と、
前記応答を前記ライブストリーミングルームに送信する工程と、
前記応答における前記チャットボットの動作を決定する工程と、
前記応答の形式を音声データに変換する工程と、
前記音声データが再生されている間に、前記動作をトリガーする工程と、
をさらに実行するように構成される、ことを特徴とする、サーバ。

【請求項6】

回路を含むサーバであって、前記回路が、
機械学習モデルがチャットボットに含まれるよう前記チャットボットを生成する工程と、
前記チャットボットをライブストリーミングルーム内に設定する工程と、
前記ライブストリーミングルーム内のユーザからコメントを受信する工程と、
前記ユーザに関連付けられたキーワードが前記コメントから検出されたことに応答して、前記キーワードを第１のデータベースに格納する工程と、
前記第１のデータベースの情報を前記機械学習モデルに供給する工程と、
を実行するように構成され、前記キーワードが前記ユーザの情報に関連するものであり、
前記回路が、
前記機械学習モデルを介して前記コメントに対する応答を生成する工程と、
前記応答を前記ライブストリーミングルームに送信する工程と、
前記応答における前記チャットボットの動作を決定する工程と、
前記応答が表示されている間に、前記動作をトリガーする工程と、
をさらに実行するように構成される、ことを特徴とする、サーバ。

【請求項7】

前記応答の形式を音声データに変換する工程と、
前記音声データが再生されている間に、前記ライブストリーミングルーム内に字幕として前記応答を表示する工程と、
をさらに含むことを特徴とする、請求項３に記載のサーバ。

【請求項8】

回路を含むサーバであって、前記回路が、
機械学習モデルがチャットボットに含まれるよう前記チャットボットを生成する工程と、
前記チャットボットをライブストリーミングルーム内に設定する工程と、
前記ライブストリーミングルーム内のユーザからコメントを受信する工程と、
前記ユーザに関連付けられたキーワードが前記コメントから検出されたことに応答して、前記キーワードを第１のデータベースに格納する工程と、
前記第１のデータベースの情報を前記機械学習モデルに供給する工程と、
を実行するように構成され、前記キーワードが前記ユーザの情報に関連するものであり、
前記回路が、前記ユーザが前記ライブストリーミングルームに入ったことに応答して、または前記ライブストリーミングルーム内において所定の期間を超えて交流がないことに応答して、応答を生成する工程をさらに実行するように構成される、ことを特徴とする、サーバ。

【請求項9】

ライブストリーミングプラットフォームでライブストリームを提供する方法であって、
機械学習モデルがチャットボットに含まれるよう前記チャットボットを生成する工程と、
前記チャットボットをライブストリーミングルーム内に設定する工程と、
前記ライブストリーミングルーム内のユーザからコメントを受信する工程と、
前記ユーザに関連付けられたキーワードが前記コメントから検出されたことに応答して、前記キーワードを第１のデータベースに格納する工程と、
前記第１のデータベースの情報を前記機械学習モデルに供給する工程と、
を含み、前記キーワードが前記ユーザの情報に関連するものであり、
前記方法がさらに、前記チャットボット上でトピックをさらに設定する工程を含み、
前記キーワードがさらに前記チャットボットの前記トピックに関連し、
前記トピックに関連する前記キーワードがさらに前記ユーザに関連付けられた後、前記第１のデータベースに格納される、ことを特徴とする方法。

【請求項10】

コンピュータプログラムであって、サーバに、
機械学習モデルがチャットボットに含まれるよう前記チャットボットを生成する機能と、
前記チャットボットをライブストリーミングルーム内に設定する機能と、
前記ライブストリーミングルーム内のユーザからコメントを受信する機能と、
前記ユーザに関連付けられたキーワードが前記コメントから検出されたことに応答して、前記キーワードを第１のデータベースに格納する機能と、
前記第１のデータベースの情報を前記機械学習モデルに供給する機能と、
を実行させ、前記キーワードが前記ユーザの情報に関連するものであり、
前記コンピュータプログラムがさらに、前記チャットボット上でトピックをさらに設定する機能を前記サーバに実行させ、
前記キーワードがさらに前記チャットボットの前記トピックに関連し、
前記トピックに関連する前記キーワードがさらに前記ユーザに関連付けられた後、前記第１のデータベースに格納される、ことを特徴とする、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報通信技術に関し、特に、ライブストリーミングにおけるサーバ、方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

アプリやプラットフォームの中には、ライブストリーマーと視聴者が交流できるライブストリーミングサービスを提供しているものがある。ライブストリーマーが視聴者を応援するパフォーマンスをしたり、視聴者がライブストリーマーを支援するために贈り物を寄付または送ったりすることもある。

【0003】

テクノロジーの進歩に伴い、現在ＡＩモデルがライブストリーミングに適用されるようになり、ＡＩ仮想ライブストリーマーが誕生している。特許文献１は、視聴者からのＡＩ仮想ライブストリーマーとの交流を処理する方法を開示している。

【0004】

しかしながら、視聴者は人間のように行動しないＡＩ仮想ライブストリーマーからの交流に魅力を感じない可能性がある。これは、ユーザエクスペリエンスの低下につながる可能性がある。そのため、いかにユーザエクスペリエンスを向上させるかが重要である。

【先行技術文献】

【特許文献】

【0005】

【文献】米国特許出願公開第２０２３００６１７７８号明細書

【発明の概要】

【0006】

本開示の一実施態様によるサーバは、回路を含み、前記回路が、機械学習モデルを介して仮想チャットボットを生成する工程と、当該仮想チャットボットをライブストリーミングルーム内に設定する工程と、当該ライブストリーミングルーム内のユーザからコメントを受信する工程と、当該ユーザに関連付けられたキーワードが当該コメントから検出されたことに応答して、当該キーワードを第１のデータベースに格納する工程と、当該第１のデータベースの情報を当該機械学習モデルに供給する工程と、を実行するように構成され、当該キーワードが当該ユーザに関する情報に関連するものである。

【0007】

本開示の別の実施態様は、ライブストリーミングプラットフォームでライブストリームを提供する方法に関するものであり、当該方法が、機械学習モデルを介して仮想チャットボットを生成する工程と、当該仮想チャットボットをライブストリーミングルーム内に設定する工程と、当該ライブストリーミングルーム内のユーザからコメントを受信する工程と、当該ユーザに関連付けられたキーワードが当該コメントから検出されたことに応答して、当該キーワードを第１のデータベースに格納する工程と、当該第１のデータベースの情報を当該機械学習モデルに供給する工程と、を含み、当該キーワードが当該ユーザに関する情報に関連するものである。

【0008】

本開示のさらに別の実施態様は、コンピュータプログラムに関する者であり、当該コンピュータプログラムがサーバに、機械学習モデルを介して仮想チャットボットを生成する機能と、当該仮想チャットボットをライブストリーミングルーム内に設定する機能と、当該ライブストリーミングルーム内のユーザからコメントを受信する機能と、当該ユーザに関連付けられたキーワードが当該コメントから検出されたことに応答して、当該キーワードを第１のデータベースに格納する機能と、当該第１のデータベースの情報を当該機械学習モデルに供給する機能と、を実行させ、当該キーワードが当該ユーザに関する情報に関連するものである。

【0009】

本開示によれば、視聴者とＡＩバーチャルライバー間のコミュニケーションが改善される可能性がある。さらに、ＡＩバーチャルライバーがいるライブストリーミングプラットフォームの品質も改善される可能性がある。したがって、やはりユーザエクスペリエンスが向上される可能性がある。

【図面の簡単な説明】

【0010】

【図1】本開示の一部の実施態様に基づくライブストリーミングシステム１の構成を示す概略図である。

【図2】本開示の一部の実施態様に基づくユーザ端末２０のブロック図である。

【図3】本開示の一部の実施態様に基づくサーバ１０のブロック図である。

【図4】図３のストリームＤＢ３２０の例示的データ構造を示す表である。

【図5】図３のユーザＤＢ３２２の例示的データ構造を示す表である。

【図6】図３のバーチャルライバーＤＢ３２４の例示的データ構造を示す表である。

【図7】図３の短期記憶ＤＢ３２６の例示的データ構造を示す表である。

【図8】図３の長期記憶ＤＢ３２８の例示的データ構造を示す表である。

【図9】図３の感情分析モデル３３０の例示的データ構造を示す表である。

【図10】図３の動作ルックアップテーブル３３２の例示的データ構造を示す表である。

【図11】本開示の一部の実施態様に基づくライブストリーミングシステム１の例示的な機能的構造である。

【図12】本開示の一部の実施態様に基づくライブストリーミングルーム画面６００の例示的な画面イメージがあるライブストリーミングシステム１の簡素化された機能的構造である。

【図13】本開示の一部の実施態様に基づくライブストリーミングシステム１におけるアプリケーション起動処理の工程を示すフローチャートである。

【図14】本開示の一部の実施態様に基づく情報処理装置の例示的なハードウェア構成である。

【発明を実施するための形態】

【0011】

以下、各図面に示す同一または類似の構成要素、部材、手順または信号には、すべての図面において同様の符号を付し、それによって重複する説明は適宜省略される。また、各図面の説明において重要でない一部部材は省略される。

【0012】

本開示の一部の実施態様に基づくライブストリーミングシステム１は、ユーザ間のコミュニケーションと交流を円滑にする強化機能を提供する。より具体的には、技術的な方法で視聴者やストリーマーを楽しませるものである。

【0013】

図１に本開示の一部の実施態様に基づくライブストリーミングシステム１の構成を示す概略図を示す。当該ライブストリーミングシステム１は、ストリーミングストリーマー（ライブ配信者またはストリーマーとも呼ばれる）ＬＶと視聴者（観衆とも呼ばれる）ＡＵ（ＡＵ１、ＡＵ２...）に、リアルタイムで相互交流するためのライブストリーミングサービスを提供する。図１に示すように、当該ライブストリーミングシステム１は、サーバ１０と、ユーザ端末２０と、ユーザ端末３０（３０ａ、３０ｂ...）を含むことができる。当該ユーザ端末２０はストリーマー、当該ユーザ端末３０は視聴者であってもよい。一部の実施態様において、当該ストリーマーと視聴者はユーザと呼ばれてもよい。当該サーバ１０は、ネットワークＮＷを介して接続された、１または複数の情報処理装置を含むことができる。当該ユーザ端末２０、３０は、例えば、スマートフォン、タブレット、ノートＰＣ、レコーダー、携帯ゲーム機、ウェアラブル端末などの携帯端末や、デスクトップＰＣなどの据置型コンピュータであってもよい。当該サーバ１０、ユーザ端末２０、ユーザ端末３０は、任意の種類の有線または無線ネットワークＮＷにより通信可能に接続されてもよい。

【0014】

当該ライブストリーミングシステム１には、当該ストリーマーＬＶ、当該視聴者ＡＵ、当該サーバ１０を提供するアプリプロバイダー（図示せず）が関与する。当該ストリーマーＬＶは、 自身の歌、トーク、パフォーマンス、ゲームストリーミングなどのコンテンツを自身のユーザ端末２０で収録して当該サーバ１０にアップロードし、リアルタイムでコンテンツを配信する者となることができる。一部の実施態様において、当該ストリーマーＬＶは、当該ライブストリーミングを介して当該視聴者ＡＵと交流することができる。

【0015】

当該アプリプロバイダーは、当該サーバ１０においてライブストリーミングされるコンテンツのためのプラットフォームを提供することができる。一部の実施態様において、当該アプリプロバイダーは、当該ストリーマーＬＶと当該視聴者ＡＵ間のリアルタイム通信を管理するメディアまたはマネージャーであってもよい。当該視聴者ＡＵは、当該ユーザ端末３０により当該プラットフォームにアクセスし、自身が視聴したいコンテンツを選択して視聴することができる。当該視聴者ＡＵは、当該ユーザ端末３０により、当該ストリーマーに対してコメントしたり、応援したりなど、当該ストリーマーと相互作用するための操作を行うことができる。コンテンツを提供する当該ストリーマーは、当該コメントや応援に応答することができる。当該ストリーマーの応答は、映像及び（または）音声などにより当該視聴者ＡＵに送信することができる。従って、当該ストリーマーと視聴者間の相互通信を達成することができる。

【0016】

本明細書でいう「ライブストリーミング」とは、当該ストリーマーＬＶが当該ユーザ端末２０により記録したコンテンツを、当該視聴者ＡＵが当該ユーザ端末３０を介して実質的に再生・視聴することを可能にする、データ伝送を指すことができる。一部の実施態様において、「ライブストリーミング」は、上述のデータ伝送により実現されるストリーミングを指すこともある。当該ライブストリーミングは、ＨＴＴＰライブストリーミング、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）、ＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＲＴＭＰ（Ｒｅａｌ－Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ）、ＭＰＥＧ ＤＡＳＨなど、公知の技術によって実現することができる。当該ライブストリーミングは、さらに、当該ストリーマーがコンテンツを記録している間、当該視聴者ＡＵが特定の遅延をもって当該コンテンツを再生または視聴することができる、実施形態を含むことができる。当該遅延の程度については、少なくとも当該ストリーマーＬＶと当該視聴者ＡＵがコミュニケーションを行うことができる程度に小さいことが望ましい。ただし、ライブストリーミングは、いわゆるオンデマンド配信とは異なる。より具体的に、当該オンデマンド配信とは、当該コンテンツを記録したすべてのデータをサーバに格納し、ユーザの要求に応じてランダムなタイミングで当該サーバから当該ユーザにデータを提供することを指すことができる。

【0017】

本明細書における「ストリーミングデータ」とは、画像データや音声データを含むデータを指すことができる。より具体的に、当該画像データ（ビデオデータと呼んでもよい）は、当該ユーザ端末２０と３０の画像キャプチャ機能によって生成されてもよい。当該音声データ（オーディオデータと呼んでもよい）は、当該ユーザ端末２０と３０の音声入力機能により生成されてもよい。当該ストリーミングデータを当該ユーザ端末２０、３０で再生し、ユーザに関するコンテンツを視聴できるようにしてもよい。一部の実施態様において、当該ストリーマーの当該ユーザ端末でストリーミングデータが生成されてから、当該視聴者の当該ユーザ端末で再生されるまでの間、圧縮、拡張、エンコード、デコード、トランスコードなど、データの形式、サイズ、規格を変更する処理が想定される。このような処理の前と後、当該コンテンツ（映像や音声）は実質的に変更されず、このため、本開示の現在の実施態様においては、処理される前のストリーミングデータと処理された後のストリーミングデータは同じであると説明される。つまり、当該ストリーマーの当該ユーザ端末により生成された当該ストリーミングデータが、当該サーバ１０を介して当該視聴者の当該ユーザ端末で再生される場合、当該ストリーマーの当該ユーザ端末で生成された当該ストリーミングデータ、当該サーバ１０を通過した当該ストリーミングデータ、そして当該視聴者の当該ユーザ端末が受信して再生する当該ストリーミングデータは、すべて同じストリーミングデータである。

【0018】

図１に示すように、ストリーマーＬＶはライブストリーミングを提供する。当該ストリーマーのユーザ端末２０は、当該ストリーマーの映像及び（または）音声を記録することにより、ストリーミングデータを生成し、ネットワークＮＷを介してサーバ１０に送信する。同時に、当該ユーザ端末２０は映像ＶＤを当該ユーザ端末２０のディスプレイ上に表示し、当該ストリーマーＬＶのストリーミングコンテンツをチェックすることができる。

【0019】

当該ストリーマーＬＶは人間またはＡＩモデルであってもよい。当該ストリーマーＬＶの当該ストリーミングデータは、サーバ１０で、またはユーザ端末２０などを介して、生成またはレンダリングされてもよい。当該ストリーマーＬＶと視聴者ＡＵ１、ＡＵ２間のコミュニケーションはネットワークＮＷを介して実現されてもよい。一部の実施態様において、当該ＡＩモデルは、内部でトレーニングされても、Ｇｏｏｇｌｅ ＰａＬＭ、ＣｈａｔＧＰＴ、その他のＬＬＭ（大規模言語モデル）などのサードパーティサービスにより提供されてもよい。

【0020】

当該ストリーマーのライブストリーミングの提供をプラットフォームに要求するユーザ端末３０ａ、３０ｂの視聴者ＡＵ１、ＡＵ２は、当該ネットワークＮＷを介して当該ライブストリーミングに対応するストリーミングデータを受信し、受信したストリーミングデータを再生してディスプレイ上に映像ＶＤ１、ＶＤ２を表示し、スピーカーなどから音声を出力することができる。当該ユーザ端末３０ａ、３０ｂ上にそれぞれ表示される当該映像ＶＤ１、ＶＤ２は、当該ストリーマーＬＶの当該ユーザ端末により記録された当該映像ＶＤと実質的に同じであり、当該ユーザ端末３０ａ、３０ｂから出力される当該音声は、当該ストリーマーＬＶの当該ユーザ端末により記録された当該音声と実質的に同じである。

【0021】

当該ストリーマーの当該ユーザ端末２０での記録は、当該視聴者ＡＵ１、ＡＵ２の当該ユーザ端末３０ａ、３０ｂでのストリーミングデータの再生と同時であってもよい。当該視聴者ＡＵ１が当該ストリーマーＬＶのコンテンツに関するコメントを当該ユーザ端末３０ａに入力すると、当該サーバ１０は、当該コメントを当該ストリーマーの当該ユーザ端末２０にリアルタイムで表示するとともに、当該視聴者ＡＵ１、ＡＵ２の当該ユーザ端末３０ａ、３０ｂにもそれぞれ表示する。当該ストリーマーＬＶが当該コメントに応答した場合、当該応答を当該視聴者ＡＵ１、ＡＵ２の当該ユーザ端末３０ａ、３０ｂからテキスト、画像、映像または音声として出力し、当該ストリーマーＬＶと当該視聴者ＡＵ１、ＡＵ２のコミュニケーションを実現することができる。従って、当該ライブストリーミングシステムは、双方向通信のライブストリーミングを実現することができる。

【0022】

図２は、本開示の実施態様に基づく、図１に示すユーザ端末２０の機能と構成を示すブロック図である。当該ユーザ端末３０は、当該ユーザ端末２０と同様の機能と構成を有する。本明細書のブロック図に描かれているブロックは、コンピュータのＣＰＵなどのデバイスや機械部品などのハードウェア、およびこれらの要素の連携によって実施される機能ブロックを表現する、コンピュータプログラムなどのソフトウェアで実施される。したがって、機能ブロックは、ハードウェアとソフトウェアの組み合わせによる多様な態様で実装され得ることが、当業者には理解されよう。

【0023】

当該ストリーマーＬＶと視聴者ＡＵは、ネットワークＮＷを介して、ダウンロードサイトから本開示のライブストリーミングアプリケーション（ライブストリーミングアプリ）を当該ユーザ端末２０と３０にダウンロードしてインストールすることができる。または、当該ライブストリーミングアプリは、当該ユーザ端末２０と３０に予めインストールされていてもよい。当該ユーザ端末２０と３０によるライブストリーミングの実行により、当該ユーザ端末２０と３０は、当該ネットワークＮＷを介して当該サーバ１０と通信し、複数の機能を実現することができる。当該ユーザ端末２０と３０（より具体的に、ＣＰＵなどのプロセッサ）による当該ライブストリーミングアプリの実行により実現される当該機能は、当該ユーザ端末２０と３０の機能として以下で説明される。当該機能は基本的に、当該ライブストリーミングアプリが当該ユーザ端末２０と３０に実現させる機能である。一部の実施態様において、これらの機能は、ネットワークＮＷを介して当該サーバ１０から当該ユーザ端末２０と３０のウェブブラウザに送信し、当該ウェブブラウザのコンピュータプログラムにより実行されることにより実現されてもよい。当該コンピュータプログラムは、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのプログラミング言語で書かれていてもよい。

【0024】

当該ユーザ端末２０は、ストリーミングユニット１００と視聴ユニット２００を含む。一部の実施態様において、当該ストリーミングユニット１００は、ユーザのオーディオ及び（または）ビデオデータを記録し、当該サーバ１０に送信するストリーミングデータを生成するように構成される。当該視聴ユニット２００は、サーバ１０からストリーミングデータを受信し、再生するように構成される。一部の実施態様において、ユーザは、ブロードキャスト時に当該ストリーミングユニット１００を作動させる、またはストリーミングを視聴するときに当該視聴ユニット２００を作動させることができる。一部の実施態様において、当該ストリーミングユニット１００を作動させる当該ユーザ端末は、ストリーマーと呼ぶことができ、またはストリーミングデータを生成する当該ユーザ端末と呼ぶことができる。当該視聴ユニット２００を作動させる当該ユーザ端末は、視聴者と呼ぶことができ、または当該ストリーミングデータを再生する当該ユーザ端末と呼ぶことができる。

【0025】

当該ストリーミングユニット１００は、ビデオコントロールユニット１０２と、オーディオコントロールユニット１０４と、配信ユニット１０６と、ＵＩコントロールユニット１０８を含むことができる。当該ビデオコントロールユニット１０２は、カメラ（図示せず）に接続されてもよく、当該映像は当該カメラにより制御される。当該ビデオコントロールユニット１０２は、当該カメラから当該ビデオデータを取得することができる。当該オーディオコントロールユニット１０４は、マイク（図示せず）に接続されてもよく、音声は当該マイクにより制御される。当該オーディオコントロールユニット１０４は、当該マイクから当該オーディオデータを取得することができる。

【0026】

当該配信ユニット１０６は、当該ビデオコントロールユニット１０２からのビデオデータと、当該オーディオコントロールユニット１０４からのオーディオデータを含むストリーミングデータを受信し、ネットワークＮＷを介して当該サーバ１０に送信する。一部の実施態様において、当該配信ユニット１０６は当該ストリーミングデータをリアルタイムで送信する。つまり、当該ビデオコントロールユニット１０２と当該オーディオコントロールユニット１０４からの当該ストリーミングデータの生成と、当該配信ユニット１０６の配信は同時に実行される。

【0027】

当該ＵＩコントロールユニット１０８は、当該ストリーマーのＵＩを制御する。当該ＵＩコントロールユニット１０８はディスプレイ（図示しない）に接続され、当該配信ユニット１０６が当該ストリーミングデータを送信し、再生して当該ディスプレイ上に表示する相手に対して当該ストリーミングデータを生成するように構成される。当該ＵＩコントロールユニット１０８は、操作するオブジェクトまたは指示を受けるオブジェクトをディスプレイ上に表示し、ストリーマーからのタップ入力を受け付けるように構成される。

【0028】

当該視聴ユニット２００は、ＵＩコントロールユニット２０２と、レンダリングユニット２０４と、入力送信ユニット２０６と、処理ユニット２０８とを含んでもよい。当該視聴ユニット２００は、ネットワークＮＷを介してサーバ１０からストリーミングデータを受信するように構成される。当該ＵＩコントロールユニット２０２は、当該視聴者のＵＩを制御する。当該ＵＩコントロールユニット２０２は、ディスプレイ（図示せず）及び（または）スピーカー（図示せず）に接続され、当該ストリーミングデータを再生することにより、当該ディスプレイ上に映像を表示し、当該スピーカーから音声を出力するように構成される。一部の実施態様において、当該ディスプレイ上に映像を出力し、当該スピーカーから音声を出力することを「ストリーミングデータを再生する」ことと呼ぶことができる。当該ＵＩコントロールユニット２０２は、タッチパネルやキーボード、ディスプレイなどの入力ユニットに接続され、ユーザからの入力を取得することができる。

【0029】

当該レンダリングユニット２０４は、当該サーバ１０からのストリーミングデータと、フレーム画像とをレンダリングするように構成されてもよい。当該フレーム画像は、ユーザからの入力、視聴者により入力されたコメント、当該サーバ１０から受信したデータを受け付けるためのユーザインターフェイスオブジェクトを含んでもよい。当該入力送信ユニット２０６は、当該ＵＩコントロールユニット２０２から当該ユーザ入力を受信し、当該ネットワークＮＷを介して当該サーバ１０に送信するように構成される。

【0030】

一部の実施態様において、当該ユーザ入力は、ライブ配信の選択、コメントの入力、贈り物の送信、ユーザのフォローまたはフォロー解除、イベントでの投票、ゲームなど、当該ユーザ端末の画面上のオブジェクトをクリックすることであってもよい。例えば、当該入力送信ユニット２０６は、視聴者の当該ユーザ端末がストリーマーに贈り物を送るために画面上の贈り物オブジェクトをクリックした場合に、贈り物情報を生成し、インターネットＮＷを介して当該サーバ１０に送信してもよい。

【0031】

図３は、本開示の一部の実施態様に基づくサーバ１０のブロック図である。当該サーバ１０は、ストリーミング情報ユニット３０２と、中継ユニット３０４と、処理ユニット３０６と、ストリームＤＢ ３２０と、ユーザＤＢ３２２と、バーチャルライバーＤＢ３２４と、短期記憶ＤＢ３２６と、長期記憶ＤＢ３２８と、感情分析モデル３３０と、動作ルックアップテーブル３３２を含んでもよい。

【0032】

当該ストリーミング情報ユニット３０２は、当該ネットワークＮＷを介して当該ストリーマーの当該ユーザ端末２０からライブストリーミングの要求を受信する。要求を受信すると、当該ストリーミング情報ユニット３０２は、当該ライブストリーミングの情報を当該ストリームＤＢ３２０に登録する。一部の実施態様において、当該ライブストリーミングの情報は、当該ライブストリーミングのストリームＩＤ及び（または）当該ライブストリーミングに対応する当該ストリーマーのストリーマーＩＤであってもよい。

【0033】

当該視聴者から当該ネットワークＮＷを介して当該ユーザ端末３０の当該視聴ユニット２００から当該ライブストリーミングの当該情報の提供要求を受信すると、当該ストリーミング情報ユニット３０２は当該ストリームＤＢ３２０を参照し、利用可能なライブストリーミングのリストを生成する。

【0034】

その後当該ストリーミング情報ユニット３０２は、当該ネットワークＮＷを介して当該ユーザ端末３０に当該リストを送信する。当該ユーザ端末３０の当該ＵＩコントロールユニット２０２は、当該リストに基づいてライブストリーミング選択画面を生成し、当該ユーザ端末３０のディスプレイ上に当該リストを表示する。

【0035】

当該ユーザ端末３０の当該入力送信ユニット２０６は、当該ライブストリーミング選択画面上での当該視聴者によるライブストリーミングの選択を受信すると、選択された当該ライブストリーミングの当該ストリームＩＤを含む配信要求を生成し、当該ネットワークを介して当該サーバ１０に送信する。当該ストリーミング情報ユニット３０２は、当該配信要求で当該ストリームＩＤにより指定された当該ライブストリーミングの当該ユーザ端末３０に対する提供を開始することができる。当該ストリーミング情報ユニット３０２は、当該ストリームＤＢ３２０を更新し、当該ユーザ端末３０の当該視聴者の視聴者ＩＤを当該ストリームＩＤの当該ストリーマーＩＤに追加することができる。

【0036】

当該中継ユニット３０４は、当該ストリーミング情報ユニット３０２により開始された当該ライブストリーミングにおいて、当該ストリーマーの当該ユーザ端末２０から、当該視聴者の当該ユーザ端末３０へのライブストリーミングの送信を中継することができる。当該中継ユニット３０４は、ストリーミングデータの再生中に、当該視聴者からのユーザ入力を示す信号を当該入力送信ユニット２０６から受信することができる。当該ユーザ入力を示す当該信号は、当該ユーザ端末３０のディスプレイに表示されるオブジェクトの指定を示すオブジェクト指定信号であってもよい。当該オブジェクト指定信号は、当該視聴者の視聴者ＩＤ、当該視聴者が視聴しているライブストリーミングを配信するストリーマーのストリーマーＩＤ、及び当該オブジェクトにより指定されるオブジェクトＩＤを含んでもよい。当該オブジェクトが贈り物などである場合、当該オブジェクトＩＤは、贈り物ＩＤなどであってもよい。同様に、当該中継ユニット３０４は、ストリーミングデータの再生中に、当該ユーザ端末２０の当該ストリーミングユニット１００から、例えば当該オブジェクト指定信号など、当該ストリーマーのユーザ入力を示す信号を受信することができる。

【0037】

当該処理ユニット３０６は、ライブストリーミングシステム１のさまざまな部分内または間における通信とデータ処理を行うように構成されてもよい。例えば、当該処理ユニット３０６は、短期記憶ＤＢ３２６と長期記憶ＤＢ３２８内の情報を管理したり、感情認識を行って対応する動作をトリガーしたり、テキストデータまたは音声データを相互に変換したりしてもよい。

【0038】

一部の実施態様において、当該処理ユニット３０６は当該ライブストリーミングルーム内の会話を受信した後、当該メッセージを当該短期記憶ＤＢ３２６に格納してもよい。当該処理ユニット３０６は、当該ライブストリーミングルーム内の特定の量の最新メッセージを格納してもよい。一部の実施態様において、当該処理ユニット３０６は、当該短期記憶ＤＢ３２６内の古いメッセージを削除し、最新のメッセージを当該短期記憶ＤＢ３２６内に保持してもよい。例えば、当該短期記憶ＤＢ３２６内には最新の１０件のメッセージが保持され、古いメッセージは定期的に削除されるなどであってもよい。

【0039】

一部の実施態様において、当該処理ユニット３０６はさらに、当該短期記憶ＤＢ３２６内の当該情報をＡＩ Ｖ－Ｌｉｖｅｒの機械学習モデルに供給してもよい。これらの実施態様によれば、当該ＡＩ Ｖ－Ｌｉｖｅｒは当該視聴者との最新の会話に関する情報を有し、ＡＩ Ｖ－Ｌｉｖｅｒと当該視聴者間の会話がより円滑になるようにしてもよい。さらに、古い会話は当該短期記憶ＤＢ３２６に保持されないため、ストレージが解放され、ＡＩ Ｖ－Ｌｉｖｅｒは物事を忘れるなど人間のように行動することができる。したがって、ユーザエクスペリエンスが向上される可能性がある。

【0040】

一部の実施態様において、当該処理ユニット３０６は当該視聴者からのコメントに含まれるキーワードを検出した後、当該視聴者に関連付けられた当該キーワードを当該長期記憶ＤＢ３２８に格納してもよい。当該処理ユニット３０６は、当該視聴者に関連するキーワードを格納してもよい。当該キーワードは、誕生日や星座、ニックネームなど、当該視聴者の情報であってもよい。

【0041】

一部の実施態様において、当該処理ユニット３０６は、当該ＡＩ Ｖ－Ｌｉｖｅｒのトピックに関連するキーワードを検出した後、当該視聴者に関連付け、当該長期記憶ＤＢ３２８に格納してもよい。例えば、当該ＡＩ Ｖ－Ｌｉｖｅｒのトピックが占星術である場合、当該処理ユニット３０６は視聴者のコメントから星座を当該視聴者に関連付けた後、それを当該長期記憶ＤＢ３２８に格納してもよい。一部の実施態様において、当該処理ユニット３０６はさらに、当該長期記憶ＤＢ３２８内の当該情報をＡＩ Ｖ－Ｌｉｖｅｒの機械学習モデルに供給してもよい。

【0042】

これらの実施態様によれば、当該ＡＩ Ｖ－Ｌｉｖｅｒは自身が話をしたことがある当該視聴者に関する情報を有することができ、当該ＡＩ Ｖ－Ｌｉｖｅｒと当該視聴者間の円滑な会話を促進することができる。さらに、当該視聴者に関する当該情報は再び提供される必要がなく、円滑な会話が促進され、当該ＡＩ Ｖ－Ｌｉｖｅｒは物事を覚えているなど人間のように行動することができる。したがって、ユーザエクスペリエンスが向上される可能性がある。

【0043】

一部の実施態様において、当該処理ユニット３０６は、当該ＡＩ Ｖ－Ｌｉｖｅｒの機械学習モデルから生成された応答について感情を判定してもよい。一部の実施態様において、当該処理ユニット３０６は、当該応答を感情認識モデル５５０などの機械学習モデルに供給し、当該応答の感情を判定してもよい。当該処理ユニット３０６は、当該応答の当該感情が、喜び、穏やか、怒りなど、ポジティブまたは中立的、ネガティブであるかを判定してもよい。

【0044】

一部の実施態様において、当該処理ユニット３０６はさらに、当該感情に対応する動作、または動作の組み合わせを決定してもよい。例えば、感情がポジティブ、または「喜び」である場合、笑顔やダンス、または組み合わせの動作が決定されてもよい。一部の実施態様において、当該動作は、ルックアップテーブル、機械学習技術などを介して決定されてもよい。一部の実施態様において、当該処理ユニット３０６はさらに、ＡＰＩなどを介して当該ＡＩ Ｖ－Ｌｉｖｅｒの動作をトリガーしてもよい。例えば、応答の感情がポジティブである場合、Ｌｉｖｅ２ＤなどのＡＩ Ｖ－Ｌｉｖｅｒモデル内の動作のファイルをトリガーし、ＡＩ Ｖ－Ｌｉｖｅｒ上に表示してもよい。

【0045】

これらの実施態様によれば、当該ＡＩ Ｖ－Ｌｉｖｅｒは当該視聴者と交流する間感情と動作を有することができ、当該ＡＩ Ｖ－Ｌｉｖｅｒと当該視聴者間の会話がより円滑になる可能性がある。さらに、当該ＡＩ Ｖ－Ｌｉｖｅｒ上の動作は当該応答の感情に基づいて変えることができるため、円滑な会話が促進され、当該ＡＩ Ｖ－Ｌｉｖｅｒは嬉しそうにふるまったり、怒ったりするなど人間のように行動することができる。したがって、ユーザエクスペリエンスが向上される可能性がある。

【0046】

一部の実施態様において、当該処理ユニット３０６は当該応答をテキストデータから音声データに変換するなどしてもよい。一部の実施態様において、当該処理ユニット３０６は、当該応答をＴＴＳ部５３０などのテキスト音声読み上げユニットに供給し、当該応答を音声ファイルに変換してもよい。当該処理ユニット３０６は、当該応答を．ｗａｖファイルなどのオーディオファイルに変換してもよい。一部の実施態様において、当該処理ユニット３０６はさらに当該音声データ、テキストデータなどをブロードキャスト部５２０に送信してもよい。一部の実施態様において、当該音声データは、当該ＡＩ Ｖ－Ｌｉｖｅｒが対応する動作を実行している間に再生されてもよい。一部の実施態様において、当該テキストデータは、当該ライブストリーミングルーム内に字幕として表示されてもよい。

【0047】

一部の実施態様において、当該応答、当該応答の音声データ、当該応答の感情、および対応する動作は、当該ライブストリーミングルームに送信されてもよい。一部の実施態様において、当該動作は、当該音声データが再生されている間、仮想チャットボット上でトリガーされてもよい。一部の実施態様において、当該動作は、当該応答が表示されている間、当該仮想チャットボット上でトリガーされてもよい。一部の実施態様において、当該応答は、当該音声データが再生されている間、当該ライブストリーミングルーム内に字幕として表示されてもよい。一部の実施態様において、当該ライブストリーミングルーム内における当該ストリーミングデータのレンダリングと生成は、実際のニーズに応じて柔軟に実現されてもよい。

【0048】

一部の実施態様において、例えば、当該視聴者のコメントが音声データである場合などに、音声テキスト変換ユニットが適用されてもよい。一部の実施態様において、当該ＡＩ Ｖ－Ｌｉｖｅｒの声は、任意の利用可能なリソースであっても、機械学習技術を介して訓練されてもよい。一部の実施態様において、当該声は、当該ライブストリーミングプラットフォーム内のユーザ、有名人、特定のパーソナリティ、ジャンルなどを有する人物から機械学習モデルを介して訓練されてもよい。例えば、当該声は、かわいらしい日本人の女の子や屈強なインド人の男性などで訓練されてもよい。

【0049】

これらの実施態様によれば、当該ＡＩ Ｖ－Ｌｉｖｅｒからの当該応答は、当該視聴者と交流する間字幕を有することができ、当該ＡＩ Ｖ－Ｌｉｖｅｒと当該視聴者間の会話がより円滑になる可能性がある。さらに、当該ＡＩ Ｖ－Ｌｉｖｅｒは音声データを介して当該視聴者に応答することができるため、円滑な会話が促進され、当該ＡＩ Ｖ－Ｌｉｖｅｒは話すなど人間のように行動することができる。したがって、ユーザエクスペリエンスが向上される可能性がある。

【0050】

図４に、図３のストリームＤＢ３２０の例示的データ構造を示す表を示す。当該ストリームＤＢ３２０は、現在行われているライブ配信に関する情報を保持する。当該ストリームＤＢ３２０は、当該ライブストリーミングシステム１が提供するライブストリーミングプラットフォーム上のライブ配信を識別するためのストリームＩＤ、当該ライブ配信を提供するストリーマーを識別するためのストリーマーＩＤ、及び当該ライブ配信の視聴者を識別するための視聴者ＩＤを、互いに関連付けて格納する。

【0051】

図５は、図３のユーザＤＢ３２２の例示的データ構造を示す表である。当該ユーザＤＢ３２２は、ユーザに関する情報を保持する。当該ユーザＤＢ３２２は、ユーザを識別するためのユーザＩＤ、当該ユーザが蓄積したポイントを特定するためのポイント、当該ユーザのレベルを識別するためのレベル、当該ユーザのステータスを識別するためのステータスを、相互に関連付けて格納する。当該ポイントは、当該ライブストリーミングプラットフォーム内で流通する電子的な価値である。当該レベルは、当該ライブストリーミングプラットフォームにおける当該ユーザの活動またはエンゲージメントの量の指標であってもよい。当該ステータスは、当該ライブストリーミングプラットフォームにおける当該ユーザのアイデンティティまたはメンバーシップステータスであってもよい。

【0052】

図６に、図３の当該ＡＩバーチャルライバーＤＢ３２４の例示的データ構造を示す。当該ＡＩバーチャルライバーＤＢ３２４は、現在行われているＡＩバーチャルライバーのライブストリームに関する情報を保持する。当該ＡＩバーチャルライバーＤＢ３２４は、ＡＩバーチャルライバーを識別するＡＩバーチャルライバーＩＤと、当該ＡＩバーチャルライバーのトピックを識別するトピックと、当該ＡＩバーチャルライバーの名前を識別する名前と、当該ＡＩバーチャルライバーのモーションを識別するモーションＩＤと、当該モーションの説明を特定するモーション説明と、当該ＡＩバーチャルライバーモデルの場所を特定するＵＲＬとを相互に関連付けて格納する。

【0053】

一部の実施態様において、当該ＡＩバーチャルライバーの当該トピックは、当該ＡＩバーチャルライバーが主に焦点を当てている会話であってもよい。例えば、当該ＡＩバーチャルライバーの設定が占星術師である場合、当該トピックは星占いであってもよく、当該ＡＩバーチャルライバーの設定が政治家である場合、 当該トピックは政治であってもよい。一部の実施態様において、当該ＡＩバーチャルライバーの名前は、図１２のオブジェクト６０２のように、ライブストリーミングルームに表示されてもよい。当該モーションＩＤとモーション説明は、笑顔、踊る、走るなど、当該ＡＩバーチャルライバーの顔の表情、体の動きまたは組み合わせに対応してもよい。当該ＵＲＬは、当該ＡＩバーチャルライバーモデルの場所を示してもよく、当該ＡＩバーチャルライバーモデルは、Ｌｉｖｅ２Ｄモデル、ＶＲＭモデルなど、当該ＡＩバーチャルライバーのファイルを含んでいてもよい。

【0054】

一部の実施態様において、当該ＡＩバーチャルライバーからのライブ配信は、当該ストリームＤＢ３２０または別個のＤＢに格納されてもよい。一部の実施態様において、当該ＡＩバーチャルライバーの情報は、ユーザとして当該ユーザＤＢ３２２に、または別個のＤＢに格納されてもよい。一部の実施態様において、各データベースの詳細は、実際の必要性に応じて柔軟に決定されてもよい。

【0055】

図７は、図３の当該短期記憶ＤＢ３２６の例示的データ構造を示す表である。当該短期記憶ＤＢ３２６は、ライブストリーミングルーム内の会話に関する情報を保持する。当該短期記憶ＤＢ３２６は、当該視聴者とＡＩ Ｖ－Ｌｉｖｅｒ間の会話におけるメッセージを特定するためのメッセージＩＤと、当該会話における当該メッセージの内容を特定する説明を、互いに関連付けて格納する。

【0056】

一部の実施態様において、当該短期記憶ＤＢ３２６は、当該視聴者側、当該ＡＩ Ｖ－Ｌｉｖｅｒ側、または両方からの会話を格納してもよい。一部の実施態様において、当該短期記憶ＤＢ３２６は、例えば、当該ライブストリーミングルーム内における最新の１０件のメッセージなど、特定の量の会話を格納してもよい。一部の実施態様において、当該短期記憶ＤＢ３２６内に格納される情報は、実際のニーズに応じて柔軟に決定されてもよい。

【0057】

図８は、図３の当該長期記憶ＤＢ３２８の例示的データ構造を示す表である。当該長期記憶ＤＢ３２８は、情報をライブストリーミングルーム内の視聴者に関連付けられたキーワードとともに保持する。当該長期記憶ＤＢ３２８は、視聴者に関連付けられた長期記憶を特定する記憶ＩＤと、当該キーワードにより関連付けられた視聴者を特定するユーザＩＤと、当該キーワードのデータタイプを特定するデータタイプと、当該データの情報を特定するデータ情報と、キーワードと当該視聴者の関連性を特定する形式とを、互いに関連付けて格納する。

【0058】

一部の実施態様において、当該長期記憶ＤＢ３２８に格納される当該キーワードは、当該視聴者に関連する情報であってもよい。例えば、当該キーワードは、当該視聴者の誕生日、星座、ニックネームであってもよい。一部の実施態様において、当該キーワードは、当該ＡＩ Ｖ－Ｌｉｖｅｒのトピックに関連する情報であってもよい。例えば、当該 キーワードは、当該ＡＩ Ｖ－Ｌｉｖｅｒの当該トピックが占星術師である場合、当該視聴者の星座などであってもよい。

【0059】

図９は、図３の感情分析モデル３３０の例示的なデータ構造を示す表である。当該感情分析モデル３３０は、Ｇｏｏｇｌｅ、ＯｐｅｎＡＩなどのサードパーティにより提供される内部言語モデル（ｉｎｔｅｒｎａｌ ｌａｎｇｕａｇｅ ｍｏｄｅｌ）または言語モデルであってもよい。例えば、当該感情分析モデル３３０は、ｂｅｒｔ－ｂａｓｅ－ｃｈｉｎｅｓｅ、ＧＰＴなどのＢＥＲＴであってもよい。当該感情分析モデル３３０の訓練データは、サーバ１０内の過去のデータ、またはサードパーティより提供されるデータセットなどであってもよい。例えば、 ＭＰＤＤ（Ｍｕｌｔｉ―Ｐａｒｔｙ Ｄｉａｌｏｇｕｅ Ｄａｔａｓｅｔ）やＣＰＥＤ（Ｃｈｉｎｅｓｅ ｐｅｒｓｏｎａｌｉｚｅｄ ａｎｄ ｅｍｏｔｉｏｎａｌ ｄｉａｌｏｇｕｅ ｄａｔａｓｅｔ）のデータセットが当該感情分析モデル３３０の訓練に使用されてもよい。

【0060】

一部の実施態様において、訓練された当該モデル３３０を使用して当該応答の感情が判定されてもよい。当該ＡＩ Ｖ－Ｌｉｖｅｒからの当該応答は、当該感情分析モデル３３０に供給されてもよい。図９に示すように、当該応答の当該感情は、当該感情分析モデル３３０に基づいて生成されてもよい。例えば、当該視聴者がゴキブリの画像を送信した場合、当該ＡＩ Ｖ－Ｌｉｖｅｒは「ゴキブリは本当に気持ち悪い、あっちへ行け」と応答してもよい。当該応答が当該感情分析モデル３３０に供給され、当該応答から「怒り」の感情が推測されてもよい。

【0061】

図１０は、図３の動作ルックアップテーブル３３２の例示的データ構造を示す表である。当該動作ルックアップテーブル３３２は、感情と対応する動作に関する情報を保持する。当該動作ルックアップテーブル３３２は、当該ＡＩ Ｖ－Ｌｉｖｅｒの感情を特定する感情と、当該感情によりトリガーされる動作を特定する動作ＩＤとを、互いに関連付けて格納する。

【0062】

一部の実施態様において、当該感情は、喜び、穏やか、怒りなど、ポジティブまたは中立的、ネガティブであってもよい。一部の実施態様において、当該動作は、笑顔や手を振るなど顔の表情や体の動作であってもよい。一部の実施態様において、当該感情は１つの感情、または２つ以上の感情の組み合わせであってもよく、当該動作も１つの動作または２つ以上の動作の組み合わせであってもよい。例えば、感情が喜びと興奮である場合、当該ＡＩ Ｖ－Ｌｉｖｅｒは笑い、踊ってもよい。

【0063】

図１１は、本開示の一部の実施態様に基づくライブストリーミングシステム１の機能構成例を示す概略図である。サーバ１０におけるＡＩバーチャルライバーの構成は、会話サーバ部５００、ブロードキャスト部５２０、ＴＴＳ部５３０、情報部５４０、感情認識部５５０、長期記憶部５６０を含んでいてもよい。

【0064】

当該会話サーバ部５００は、当該ＡＩバーチャルライバーと当該視聴者間の会話を生成するように構成される。当該ブロードキャスト部５２０は、当該ＡＩバーチャルライバーのブロードキャストを当該視聴者に対して表示するように構成される。当該ＴＴＳ部５３０は、当該ＡＩバーチャルライバーが話すようにテキストを読み上げるよう構成される。当該情報部５４０は、当該ＡＩバーチャルライバーが当該視聴者と交流するための情報を収集するように構成される。当該感情認識部５５０は、当該ＡＩバーチャルライバーの感情を認識し、対応する動作をトリガーするように構成される。当該長期記憶部５６０は、当該ＡＩバーチャルライバーと視聴者間の会話からキーワードを抽出し、さらなる処理のために当該長期記憶ＤＢ３２８に格納するように構成される。

【0065】

一部の実施態様において、当該会話サーバ部５００は、推論システム５０２を含んでもよい。当該推論システム５０２は、当該視聴者からの交流などの複数のパラメータに基づき、当該視聴者からのコメントに対する応答を推測するように構成される。一部の実施態様において、当該応答は、例えば、視聴者がライブストリーミングルームに入室したとき、当該視聴者が当該ＡＩバーチャルライバーと交流したときなどにトリガーされてもよい。当該視聴者からの交流は、当該視聴者からのコメント、贈り物、スナックなどが含まれていてもよい。一部の実施態様において、当該推論システム５０２は、当該情報部５４０からの入力に基づいて、当該ＡＩバーチャルライバーに設定されるムードや感情を推測してもよい。

【0066】

一部の実施態様において、当該推論システム５０２はまた、モデレーター５０４から入力を受信し、応答などを生成してもよい。ここで、当該「モデレーター」とは、ライブストリーミングルームで、ライブストリーミングとストリーミング内の全体的な交流の管理を担当する管理者を指してもよい。当該モデレーター５０４は、人間であっても、ＡＩバーチャルライバーであってもよい。当該モデレーター５０４は、視聴者の秩序ある交流の確保、不適切な行為への対処、イベントガイドラインの提供などに使用されてもよい。

【0067】

一部の実施態様において、当該推論システム５０２によって収集された情報も、当該視聴者に対する応答を生成するために、ＬＬＭ５０６などの機械学習モデルに供給されてもよい。一部の実施態様において、当該処理ユニット３０６は、ＬＬＭ５０６からの情報を短期記憶ユニット５０８に格納してもよい。例えば、当該短期記憶ユニット５０８は、当該ＡＩバーチャルライバーと視聴者間の最新１０件の会話を保存するように構成されてもよい。

【0068】

応答などの出力は、当該ＡＩバーチャルライバーが視聴者と交流するために、当該ブロードキャスト部５２０に送信されてもよい。一部の実施態様において、当該応答はまた、当該感情認識部５５０を介して当該ブロードキャスト部５２０に送信されてもよい。当該感情認識部５５０は、当該応答の感情を認識し、当該ＡＩバーチャルライバーの１つ以上の対応する動作を決定してもよい。

【0069】

一部の実施態様において、当該応答は、当該ＴＴＳ部５３０を介して当該ブロードキャスト部５２０に送信されてもよい。当該ＴＴＳ部５３０は、当該応答のテキストを読み上げてもよい。一部の実施態様において、テキストデータとオーディオデータ形式での当該応答が、ブロードキャスト部５２０に送信されてもよい。当該テキストデータは、当該ライブストリーミングルームのメッセージゾーン６０６でコメントとして、または字幕ゾーン６１３で字幕として生成されてもよく、当該音声データは、当該ＡＩバーチャルライバーの動作に基づいて再生されてもよい。したがって、当該ＡＩバーチャルライバーは人間のように行動することができ、ユーザエクスペリエンスが向上される可能性がある。

【0070】

一部の実施態様において、当該ブロードキャスト部５２０は、クライアント５２２とカスタムスキン５２４を含んでもよい。当該クライアント５２２は、当該ライブストリーミングルーム内に表示されるＡＩバーチャルライバーのエンティティであってもよい。一部の実施態様において、当該ＡＩバーチャルライバーのストリーミングデータは、クライアント５２２でレンダリングされてもよく、当該視聴者が当該ユーザ端末３０でストリーミングデータを引き出して再生し、当該ライブストリーミングを視聴してもよい。当該カスタムスキン５２４は、当該ＡＩバーチャルライバーの仮想スキンまたは仮想アバターを含んでもよい。当該仮想スキンはサーバ１０内で作成された。またはＬｉｖｅ２Ｄモデル、ＶＲＭモデルなどのサードパーティサービスにより提供された、２Ｄまたは３Ｄのキャラクターモデルであってもよい。

【0071】

当該カスタムスキン５２４はまた、当該ＡＩバーチャルライバーの動作ファイルを含んでもよい。当該動作ファイルは、画像、動画、またはアニメーションであってもよく、当該動作は、笑顔、ジャンプ、手を振る、踊るなど、顔の特徴、体の動きなどであってもよい。各動作が、１つまたは複数の感情に対応してもよく、複数の動作を組み合わせて１つまたは複数の感情を示してもよい。例えば、当該ＡＩバーチャルライバーは、視聴者がライブストリーミングルームに入室したとき、笑顔で手を振ってもよい。

【0072】

一部の実施態様において、当該ＴＴＳ部５３０はテキスト読み上げユニット５３２を含んでもよい。当該テキスト読み上げユニット５３２は、テキスト入力を音声出力に変換するように構成される。一部の実施態様において、当該音声出力は．ｗａｖファイルなどであってもよい。一部の実施態様において、当該ＡＩバーチャルライバーの声を生成するために機械学習技術が適用されてもよい。一部の実施態様において、当該声は、ライブストリーマーなど、当該ライブストリーミングプラットフォーム内のユーザからのものであってもよい。当該声は、かわいい女の子やマッチョな男のように、特定のジャンルで訓練されたものであってもよい。また、一部の実施態様において、当該ＴＴＳ部５３０は、音声のテキスト変換ユニットを含み、テキスト入力を音声出力に変換してもよい。

【0073】

一部の実施態様において、当該情報部５４０は、デイリー情報コレクター５４２を含んでもよい。当該デイリー情報コレクター５４２は、毎日の感情を生成するなどのために、当該ＡＩバーチャルライバーに関する情報を収集するように構成される。当該情報は、例えば、現在の日付、週日、現在時刻、昼または夜、天気、株価、トップニュース、視聴者が興味を持っている話題などであってもよい。また、一部の実施態様において、当該情報を格納するために、情報ストレージ（図示しない）が当該情報部５４０に接続されていてもよい。当該情報部５４０からの当該情報は、毎日の感情、応答などを生成するために、当該推論システム５０２に送信されてもよい。

【0074】

一部の実施態様において、当該ＬＬＭ５０６からの出力はさらに、当該長期記憶部５６０に送信されてもよい。当該長期記憶部５６０は、ＬＬＭ５６２などの機械学習モデルを含んでいてもよい。視聴者からのコメント及び当該ＡＩからの応答は、会話を形成してもよく、当該会話は当該ＬＬＭ５６２に供給されてもよい。当該ＬＬＭ５６２は、当該ユーザに関連付けられたキーワードを当該会話から抽出してもよい。

【0075】

一部の実施態様において、当該キーワードは、当該ＡＩバーチャルライバーのトピックに関連するものであってもよい。例えば、当該ＡＩバーチャルライバーが占星術師である場合、「星占い」が当該ＡＩバーチャルライバーのトピックの１つであってもよい。当該視聴者は、当該ＡＩバーチャルライバーに「今日の私の運勢は」と尋ねてもよい。当該ＡＩバーチャルライバーは「あなたの星座は何ですか」という応答を生成し、占いをするために当該視聴者の星座を尋ねてもよい。当該視聴者はさらに「私は牡牛座です」などと当該ＡＩバーチャルライバーに応答してもよい。当該ＬＬＭ５６２は、当該ＡＩバーチャルライバーと当該視聴者間の当該会話を分析し、当該キーワード「牡牛座」を当該視聴者に関連付けてもよい。

【0076】

当該長期記憶部５６０はさらに、ＤＢ５６４など、当該キーワードと当該視聴者の関連付けを格納するための長期記憶ＤＢを含んでもよい。一部の実施態様において、ＤＢ５６４は、Ｒｅｄｉｓなどのデータベースであってもよい。Ｒｅｄｉｓは、ＮｏＳＱＬ（Ｎｏｔ Ｏｎｌｙ ＳＱＬ）データベースに分類されるオープンソースのインメモリデータベース管理システムである。一部の実施態様において、長期記憶として情報を格納するために、他の適切なデータベースが使用されてもよい。一部の実施態様において、当該キーワードを含む当該会話は、ｊｓｏｎ形式など特定のデータ形式に変換された後、当該ＤＢ５６４に格納されてもよい。

【0077】

当該長期記憶部５６０はさらに、長期記憶ユニット５６６を含んでもよい。当該長期記憶ユニット５６６は、当該ＤＢ５６４から情報を取得し、当該情報を当該推論システム５０２に送信してもよい。例えば、当該長期記憶ユニット５６６は、{「ユーザ名」：「クリス」、「星座」：「牡牛座」}という情報を当該ＤＢ５６４から取得して当該情報を当該推論システム５０２に送信してもよい。従って、当該推論システム５０２は、当該ＤＢ５６４内の当該情報に基づいて、当該コメントへの応答を推論してもよい。

【0078】

例えば、当該視聴者クリスは昨日該ＡＩバーチャルライバーに自分の星座が「牡牛座」であると言い、翌日当該視聴者クリスが当該ライブストリーミングルームに入り、「今日の私の運勢は」と尋ねる。当該ＡＩバーチャルライバーは、{「ユーザ名」：「クリス」、「星座」：「牡牛座」}という情報に基づいて応答してもよく、「こんにちは、クリス。牡牛座の今日の運勢はかなりいいです」と応答してもよい。つまり、当該ＡＩバーチャルライバーは当該視聴者に関連する特定の情報を記憶することができる。したがって、当該ＡＩバーチャルライバーと当該視聴者間の会話が促進され、ユーザエクスペリエンスが向上される可能性がある。

【0079】

一部の実施態様において、当該会話サーバ部５００と当該ブロードキャスト部５２０間のコミュニケーションは、バックエンド５７０を介して実現されてもよい。一部の実施態様において、各部間の当該コミュニケーションは、Ｐｕｂ／Ｓｕｂなどのメッセージコミュニケーションサービス５７２を介して実現されてもよい。ここで、当該Ｐｕｂ／Ｓｕｂとは「パブリッシュ／サブスクライブ」を表し、これは１つのメッセージングコミュニケーションパターンである。コメント、贈り物、チャット履歴、音声データ、字幕などのメッセージは、Ｐｕｂ／Ｓｕｂパターンなどを介して異なる部間でリアルタイムに通信されてもよい。一部の実施態様において、他の適したメッセージングコミュニケーションパターンが柔軟に適用されてもよい。

【0080】

一部の実施態様において、当該ライブストリーミングルーム内のステータスが、当該バックエンド５７０およびメッセージコミュニケーションサービス５７２などを介して当該会話サーバ部５００に供給されてもよい。当該ライブストリーミングルーム内の当該「ステータス」とは、例えば、当該ＡＩバーチャルライバーの受領ポイント、配信時間の長さ、フォロワー数や登録者数などであってもよい。当該ＡＩバーチャルライバーからの応答はさらに、当該ライブストリーミングルーム内の当該「ステータス」に基づいて生成されてもよい。例えば、当該ＡＩバーチャルライバーがイベントに参加しており、受領ポイントが少ない場合、「イベントで勝つために贈り物をください」などの応答が生成されてもよい。

【0081】

一部の実施態様において、チャット履歴データウェアハウス５７４も、当該ライブストリーミングルーム内のＡＩバーチャルライバーと当該視聴者間の会話のチャット履歴を格納するために提供されてもよい。一部の実施態様において、当該チャット履歴データウェアハウス５７４は、社内のデータ管理・分析ウェアハウスであっても、ＢｉｇＱｕｅｒｙなどのサードパーティによって提供されるものであってもよい。一部の実施態様において、当該チャット履歴データウェアハウス５７４内の当該チャット歴はさらに柔軟に使用されてもよい。

【0082】

当該実施態様によれば、当該ＡＩバーチャルライバーは、当該情報部５４０、および当該会話サーバ部５００と長期記憶部５６０によりトレーニングされてもよい。従って、異なる感情プロンプトを有する固有のＡＩバーチャルライバーを得ることができる。当該実施態様によれば、当該ＡＩバーチャルライバーと当該視聴者間の交流は、当該ＡＩバーチャルライバーの感情に基づいて異なってもよい。当該視聴者からの交流が同じであっても、当該ＡＩバーチャルライバーは異なる感情に基づいて異なる応答を生成してもよい。したがって、当該ライブストリーミングルーム内での楽しさが増し、ユーザエクスペリエンスが向上される可能性がある。

【0083】

図１２は、本開示の一部の実施態様に基づく当該ライブストリーミングシステム１におけるライブストリーミングルーム画面６００の例示的画面イメージの簡素化された機能的構成を示す。図１２の当該画面６００に示すように、当該視聴者が当該ライブストリーミングルームを選択して入室すると、当該ＡＩバーチャルライバーのライブストリーミングルーム画面６００がディスプレイ上に表示されてもよい。当該ライブストリーミングルーム画面６００は、ＡＩバーチャルライバー情報オブジェクト６０２、ＡＩバーチャルライバー画像６０４、メッセージゾーン６０６、メッセージ入力ボックス６０８、贈り物オブジェクト６１０、共有オブジェクト６１２などを含んでもよい。

【0084】

一部の実施態様において、当該ＡＩバーチャルライバーは、当該視聴者が当該ライブストリーミングルームに入室すると、挨拶を開始してもよい。例えば、当該ＡＩバーチャルライバーは、当該視聴者が当該ライブストリーミングルームに入室したとき、「私のライブストリーミングルームへようこそ。あなたの星座は何ですか？」と言ってもよい。一部の実施態様において、当該ＡＩバーチャルライバーは、当該視聴者がコメントなどを入力したとき、当該視聴者に応答してもよい。例えば、当該視聴者が「私は牡牛座です」と言った場合、当該ＡＩバーチャルライバーは牡牛座の運勢などに関連する応答を生成してもよい。

【0085】

一部の実施態様において、当該ＡＩバーチャルライバーはまた、特定の期間内に当該ライブストリーミングルームで交流がないことに応答して、自発的に会話またはトピックを生成してもよい。例えば、当該ライブストリーミングルーム内で５分間以上交流がない場合、当該ＡＩバーチャルライバーから自発的に、「私がジョークを言いましょう」、または「今日の牡牛座の運勢をお教えします」などの会話が生成されてもよい。当該実施態様によれば、当該ライブストリーミングルームの人気が強化され、ユーザエクスペリエンスが向上される可能性がある。

【0086】

一部の実施態様において、当該視聴者からのコメント及び（または）当該ＡＩバーチャルライバーからの応答を含む当該会話６１４は、ＡＩブレイン６２０に送信されてもよい。当該ＡＩブレイン６２０は、当該ＡＩバーチャルライバーのブレインを指してもよく、感情の生成や応答の推論を行うように構成される。一部の実施態様において、当該ＡＩブレイン６２０は、図１１における当該会話サーバ部５００を指してもよい。

【0087】

当該ＡＩブレイン６２０は、環境情報、感情アルゴリズムなどの情報６２２を入力として受信してもよい。一部の実施態様において、当該会話は短期記憶部６２４に格納されてもよい。一部の実施態様において、特定の情報が長期記憶部６２６に格納されてもよい。当該ＡＩブレイン６２０は、当該視聴者からのコメントに対する応答を生成し、当該応答をＴＴＳ６２８に送信してもよい。当該ＴＴＳ６２８はさらに、当該応答をテキストデータから音声データに変換し、当該ライブストリーミングルーム内に表示してもよい。

【0088】

次に、上記構成を有するライブストリーミングシステム１の動作について説明する。図１３は、本開示の一部の実施態様に基づく当該ライブストリーミングシステム１におけるアプリケーション有効化プロセスの工程を示すフローチャートである。ユーザがライブストリーミングルームに入室すると、当該ユーザは当該ユーザ端末による操作を実行し、当該ＡＩバーチャルライバーと交流してもよい。一部の実施態様において、当該操作は、メッセージ送信、贈り物送信、フォロー、フォロー解除、投票、ゲームなどを含んでもよい。

【0089】

当該サーバ１０は、ユーザのユーザ端末からコメントを受信してもよい（Ｓ５０２）。当該処理ユニット３０６は、当該メッセージに含まれるキーワードを検出することにより、当該メッセージを監視してもよい。例えば、当該処理ユニット３０６は、当該メッセージをスキャンして、特定のキーワードを含むか否かを検出してもよい。一部の実施態様において、当該キーワードは、誕生日や星座、ニックネームなど、当該視聴者に関連する情報であってもよい。一部の実施態様において、当該キーワードは、当該ＡＩ Ｖ－Ｌｉｖｅｒと当該視聴者に関連する情報であってもよい。例えば、当該ＡＩ Ｖ－Ｌｉｖｅｒのトピックが政治家である場合、当該キーワードは当該視聴者が支持する政党などであってもよい。

【0090】

メッセージに特定のキーワードが含まれる場合（Ｓ５０４で「はい」）、当該処理ユニット３０６は当該キーワードを当該ユーザと関連付けてもよい（Ｓ５０６）。より具体的に、当該処理ユニット３０６は、ユーザＩＤ、データタイプ、データ情報を抽出し、保存のための特定の形式に変換してもよい。例えば、当該 処理ユニット３０６は「クリス」、「星座」、「牡牛座」を抽出した後、．ｊｓｏｎ形式などのｋｅｙ―ｖａｌｕｅ形式に変換し、データベースに保存してもよい。一部の実施態様において、当該形式は、データベースに格納またはデータベースから取得可能な、任意の可能な形式の種類であってもよい。

【0091】

一部の実施態様において、当該キーワードと当該ユーザとの関連付けは機械学習モデルなどにより検出されてもよい。当該機械学習モデルは、当該キーワードが当該視聴者に関連付けられているか否かを判定するために使用されてもよい。例えば、当該視聴者が「私は牡牛座です」または「私の友人は牡牛座です」と発言するとする。両方のメッセージに「牡牛座」というキーワードが含まれるものの、前者は当該視聴者が牡牛座であることを示している可能性があるが、後者は当該ユーザに関連付けられた情報を提供していない可能性がある。当該機械学習モデルはこの違いを区別し、関連があるか否かを判定してもよい。

【0092】

一部の実施態様において、当該処理ユニット３０６はさらに、当該キーワードの情報と当該ユーザを長期記憶データベース３２８に格納してもよい（Ｓ５０８）。一部の実施態様において、当該長期記憶データベース３２８内の当該情報はさらに、当該ＡＩ Ｖ－Ｌｉｖｅｒの機械学習モデルに供給されてもよく、当該長期記憶データベース３２８内の当該情報に基づいて当該応答が生成されてもよい。

【0093】

当該ユーザの当該ユーザ端末からの当該コメントはさらに機械学習モデルに供給され、当該コメントに対する応答が生成されてもよい（Ｓ５１０）。一部の実施態様において、当該応答は、当該ＡＩ Ｖ―Ｌｉｖｅｒの日々の感情や、短期記憶データベース３２６、長期記憶データベース３２８、当該視聴者からのコメント、当該ライブストリーミングルーム内のステータスなど、複数のパラメータに基づいて生成されてもよい。

【0094】

当該処理ユニット３０６はさらに、当該応答に関して動作を決定してもよい。一部の実施態様において、当該応答は、喜び、穏やか、怒りなど、ポジティブまたは中立的、ネガティブな感情を含んでいてもよい。当該ＡＩ Ｖ－Ｌｉｖｅｒの顔の表情や体の動作といった動作は、異なる感情に対応するものであってもよい。一部の実施態様において、当該処理ユニット３０６は当該応答を機械学習モデルに供給し、応答の感情を判定してもよい。当該処理ユニット３０６はさらに、当該応答の感情に基づいて、当該ＡＩ Ｖ－Ｌｉｖｅｒの動作を決定してもよい。

【0095】

当該処理ユニット３０６はさらに、当該ＴＴＳ部５３０を介して当該応答の音声データを生成してもよい（Ｓ５１４）。当該処理ユニット３０６はさらに、当該応答、動作、音声データを当該ライブストリーミングルームに送信してもよい（Ｓ５１６）。一部の実施態様において、当該応答は、当該ライブストリーミングルーム内に字幕として表示されてもよい。当該ライブストリーミングルーム内の当該視聴者との交流を示すため、当該動作は当該ＡＩ Ｖ－Ｌｉｖｅｒのバーチャルスキンを介して表示されてもよく、当該音声データは当該動作と同期して再生されてもよい。

【0096】

図１４は、本開示の一部の実施態様に基づくシステム構成および処理を実行するためのコンピュータハードウェアの概略ブロック図である。図１４に示す当該情報処理装置９００は例えば、本開示の一部の実施態様に基づく当該サーバ１０と当該ユーザ端末２０、３０をそれぞれ実現するように構成される。

【0097】

当該情報処理装置９００は、ＣＰＵ ９０１と、リードオンリーメモリ（ＲＯＭ）９０３、ランダムアクセスメモリ（ＲＡＭ）９０５を含む。さらに、当該情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェイス９１３、入力ユニット９１５、出力ユニット９１７、ストレージユニット９１９、ドライブ９２１、接続ポート９２５、通信ユニット９２９を含んでもよい。当該情報処理装置９００は、カメラなどの撮像装置（図示せず）を含んでもよい。
当該ＣＰＵ９０１は、本明細書で説明する構成要素によって実行されるさまざまな機能を実現するためのハードウェア構成の一例である。本明細書で説明する機能は、本明細書で説明するそれらの機能を実現するようにプログラムされた回路によって実現されてもよい。本明細書で説明するそれらの機能を実現するようにプログラムされた当該回路には、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、汎用プロセッサ、専用プロセッサ、集積回路、特定用途向け集積回路（ＡＳＩＣ）、及び（または）それらの組み合わせを含む。本明細書で説明する、特定の機能を実現するように構成された、ストリーミングユニット１００、視聴ユニット２００、 ビデオコントロールユニット１０２、オーディオコントロールユニット１０４配信ユニット１０６、ＵＩコントロールユニット１０８、ＵＩコントロールユニット２０２、レンダリングユニット２０４、入力送信ユニット２０６、ストリーミング情報ユニット３０２、中継ユニット３０４、処理ユニット３０６、ストリームＤＢ３２０、ユーザＤＢ３２２、ＡＩバーチャルライバーＤＢ３２４と、短期記憶ＤＢ３２６と、長期記憶ＤＢ３２８などを含め、またこれらに限らないさまざまなユニットは、それらの機能を実現するようにプログラムされた回路として具現化されてもよい。

【0098】

当該ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ ９０３、ＲＡＭ９０５、ストレージユニット９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、当該情報処理装置９００の全体動作またはその一部の動作を制御する。例えば、当該ＣＰＵ９０１は、上述した実施態様の当該サーバ１０および当該ユーザ端末２０、３０に含まれる各機能ユニットの動作全般を制御する。当該ＲＯＭ９０３は、当該ＣＰＵ９０１が使用するプログラム、動作パラメータなどを記憶する。当該ＲＡＭ９０５は、当該ＣＰＵ９０１が実行する際に使用するプログラムや、当該プログラムを実行する際に適宜変化するパラメータを過渡的に記憶する。当該ＣＰＵ９０１、当該ＲＯＭ９０３、当該ＲＡＭ９０５は、ＣＰＵバスなどの内部バスから構成されるホストバス９０７を介して互いに接続されている。当該ホストバス９０７は、当該ブリッジ９０９を介してペリフェラルコンポーネントインターコネクト／インターフェイス（ＰＣＩ）バスなどの外部バス９１１に接続される。

【0099】

当該入力ユニット９１５は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバーなど、ユーザによって操作される装置である。当該入力ユニット９１５は、オーディオセンサ（マイクなど）、加速度センサ、傾斜センサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど、物理量を電気信号に変換する装置であってもよい。当該入力ユニット９１５は、例えば、赤外線や別の種類の電波を利用するリモートコントロール装置であってもよい。あるいは、当該入力ユニット９１５は、当該情報処理装置９００の動作に対応する携帯電話などの外部接続端末９２７であってもよい。当該入力ユニット９１５は、ユーザから入力される情報に基づいて入力信号を生成し、生成した入力信号を当該ＣＰＵ９０１に出力する入力制御回路を含む。ユーザは当該入力ユニット９１５を操作することにより、各種データを入力し、当該情報処理装置９００に対する処理動作の指示を行う。

【0100】

当該出力ユニット９１７は、取得した情報をユーザに対して視覚的または聴覚的に報知することができる装置を含む。当該出力ユニット９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＬＥＤなどのディスプレイ装置、スピーカー、ヘッドホンなどの音声出力装置、プリンタなどであってもよい。当該出力ユニット９１７は、当該情報処理装置９００が実行する処理によって得られた結果を、テキスト、画像などの映像、音声などのサウンドの形で出力する。

【0101】

当該ストレージユニット９１９はデータストレージ用装置であり、当該情報処理装置９００のストレージユニットの一例である。当該ストレージユニット９１９は、例えば、ハードディスクドライブ（ＨＤＤ）などの磁気記憶装置、半導体記憶装置、光記憶装置、光磁気記憶装置などを含む。当該ストレージユニット９１９は、当該ＣＰＵ９０１が実行するプログラムや各種データ、及び外部から取得された各種データを格納する。

【0102】

当該ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体９２３のリーダー／ライターであり、当該情報処理装置９００に内蔵または外付けされる。当該ドライブ９２１は、装着された当該リムーバブル記録媒体９２３に記録された情報を読み出し、当該ＲＡＭ９０５に出力する。当該ドライブ９２１は、装着された当該リムーバブル記録媒体９２３に記録を書き込む。

【0103】

当該接続ポート９２５は、当該情報処理装置９００に機器を直接接続するために用いられるポートである。当該接続ポート９２５は、例えば、ＵＳＢ（ユニバーサルシリアルバス）ポート、ＩＥＥＥ１３９４ポート、またはＳＣＳＩ（小型計算機システムインターフェイス）ポートであってもよい。当該接続ポート９２５は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（高精細度マルチメディアインターフェース（登録商標））ポートなどであってもよい。当該接続ポート９２５に外部接続端末９２７が接続されることにより、当該情報処理装置９００と当該外部接続端末９２７間の各種データのやり取りが可能になる。

【0104】

当該通信ユニット９２９は、例えば、通信ネットワークＮＷに接続するための通信装置を含む通信インターフェイスである。当該通信ユニット９２９は、例えば、有線または無線のローカルエリアネットワーク（ＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または、無線ＵＳＢ（ＷＵＳＢ）用の通信カードであってもよい。

【0105】

当該通信ユニット９２９は、例えば、光通信用のルータ、ＡＤＳＬ（非対称デジタル加入者線）用のルータ、または、各種通信用のモデムであってもよい。例えば、当該通信ユニット９２９は、ＴＣＰ／ＩＰ等の所定のプロトコルを用いて、インターネットにおける信号の送受信や、他の通信装置との信号の送受信を行う。当該通信ユニット９２９が接続する当該通信ネットワークＮＷは、有線接続または無線接続により確立されたネットワークである。当該通信ネットワークＮＷは、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、電波通信、または衛星通信である。

【0106】

撮像装置（図示せず）は、例えば、ＣＣＤ（電荷結合デバイス）やＣＭＯＳ（相補型金属酸化膜半導体）などの撮像素子と、当該撮像素子上の被写体像の結像を制御するためのレンズなど各種部材を用いて現実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像しても、動画を撮像してもよい。

【0107】

以上、本開示のライブストリーミングシステム１について、実施形態を参照しながら説明した。上述の実施態様は、単に説明のために記載されたものである。むしろ、実施態様の上述した構成要素や処理を多様に組み合わせ、さまざまな変更がなされ得ることは、当業者であれば容易に想到し得ることであり、これらも本開示の技術的範囲に包含される。

【0108】

本明細書に記載された工程、特にフローチャートやフローチャートを用いて説明された工程は、工程を構成する工程の一部の省略、工程を構成する工程に明示的に含まれない工程の追加、及び（または）工程順序の並べ替えが可能である。このような省略、追加、並べ替えの対象となった工程も、本開示の要旨を逸脱しない限り、本開示の範囲に含まれる。

【0109】

一部の実施態様において、当該サーバ１０が実行する機能の少なくとも一部は、当該サーバ１０以外が実行してもよく、例えば、当該ユーザ端末２０または３０が実行するようにしてもよい。一部の実施態様において、当該ユーザ端末２０または３０が実行する機能の少なくとも一部を、当該ユーザ端末２０または３０以外が実行してもよく、例えば、当該サーバ１０が実行するようにしてもよい。一部の実施態様において、フレーム画像のレンダリングは、視聴者、サーバ、ストリーマー等の当該ユーザ端末が実行するようにしてもよい。

【0110】

さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読ストレージ装置、またはコンピュータプログラム製品などで提供されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされるものとしてもよい。

【0111】

以上、本開示の技術的内容及び特徴を説明したが、本開示の属する技術分野において通常の知識を有する者であれば、本開示の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本開示の範囲は、既に開示された実施態様に限定されず、本開示から逸脱しない別の変形や修正を含む、後付の特許請求の範囲に含まれる範囲である。

【符号の説明】

【0112】

１ ライブストリーミングシステム
１０ サーバ
２０ ユーザ端末
１００ ストリーミングユニット
１０２ ビデオコントロールユニット
１０４ オーディオコントロールユニット
１０６ 配信ユニット
１０８ ＵＩコントロールユニット
２００ 視聴ユニット
２０２ ＵＩコントロールユニット
２０４ レンダリングユニット
２０６ 入力ユニット
３０、３０ａ、３０ｂ ユーザ端末
３０２ ストリーミング情報ユニット
３０４ 中継ユニット
３０６ 処理ユニット
３２０ ストリームＤＢ
３２２ ユーザＤＢ
３２４ バーチャルライバーＤＢ
３２６ 短期記憶ＤＢ
３２８ 長期記憶ＤＢ
３３０ 感情分析モデル
３３２ 動作ルックアップテーブル
５００ 会話サーバ部
５０２ 推論システム
５０４ モデレーター
５０６ ＬＬＭ
５０８ 短期記憶ユニット
５２０ ブロードキャスト部
５２２ クライアント
５２４ カスタムスキン
５３０ ＴＴＳ部
５３２ テキスト読み上げユニット
５４０ 情報部
５４２ デイリー情報コレクター
５５０ 感情認識部
５６０ 長期記憶部
５６２ ＬＬＭ
５６４ ＤＢ
５６６ 長期記憶ユニット
５７０ バックエンド
５７２ メッセージコミュニケーションサービス
５７４ チャット履歴データウェアハウス
６００ 画面
６０２ オブジェクト
６０４ 画像
６０６ メッセージゾーン
６０８ メッセージ入力ボックス
６１０ 贈り物オブジェクト
６１２ 共有オブジェクト
６１３ 字幕ゾーン
６１４ 贈り物リスト
６２０ ＡＩブレイン
６２２ 情報
６２４ 短期記憶部
６２６ 長期記憶部
６２８ ＴＴＳ
９００ 情報処理装置
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ ホストバス
９０９ ブリッジ
９１１ 外部バス
９１３ インターフェイス
９１５ 入力ユニット
９１７ 出力ユニット
９１９ ストレージユニット
９２１ ドライブ
９２３ リムーバブル記録媒体
９２５ 接続ポート
９２７ 外部接続端末
９２９ 通信ユニット
ＬＳ ライブストリーミング
ＬＶ ライブストリーマー
ＮＷ ネットワーク
ＳＰ 特定の部分
ＡＵ１、ＡＵ２ 視聴者
Ｓ５０２～Ｓ５１２ 工程
ＶＤ、ＶＤ１、ＶＤ２ 映像

【要約】      （修正有）

【課題】視聴者とＡＩ仮想ライブストリーマー間のコミュニケーションを改善するサーバ、方法及びコンピュータプログラムを提供する。
【解決手段】リブストリーミングシステムにおいて、サーバによるアプリケーション起動処理は、機械学習モデルを介して仮想チャットボットを生成する工程と、当該仮想チャットボットをライブストリーミングルーム内に設定する工程と、当該ライブストリーミングルーム内のユーザからコメントを受信する工程Ｓ５０２と、当該ユーザに関連付けられたキーワードが当該コメントから検出されたことＳ５０４はいに応答して、当該キーワードを第１のデータベースに格納する工程Ｓ５０８と、当該第１のデータベースの情報を当該機械学習モデルに供給する工程と、を含む。当該キーワードが当該ユーザに関する情報に関連するものである。
【選択図】図１３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】