IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 17LIVE株式会社の特許一覧

特許7560080サーバ、方法及びコンピュータプログラム
<>
  • 特許-サーバ、方法及びコンピュータプログラム 図1
  • 特許-サーバ、方法及びコンピュータプログラム 図2
  • 特許-サーバ、方法及びコンピュータプログラム 図3
  • 特許-サーバ、方法及びコンピュータプログラム 図4
  • 特許-サーバ、方法及びコンピュータプログラム 図5
  • 特許-サーバ、方法及びコンピュータプログラム 図6
  • 特許-サーバ、方法及びコンピュータプログラム 図7
  • 特許-サーバ、方法及びコンピュータプログラム 図8
  • 特許-サーバ、方法及びコンピュータプログラム 図9
  • 特許-サーバ、方法及びコンピュータプログラム 図10
  • 特許-サーバ、方法及びコンピュータプログラム 図11
  • 特許-サーバ、方法及びコンピュータプログラム 図12
  • 特許-サーバ、方法及びコンピュータプログラム 図13
  • 特許-サーバ、方法及びコンピュータプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】サーバ、方法及びコンピュータプログラム
(51)【国際特許分類】
   H04N 21/2187 20110101AFI20240925BHJP
   G06N 20/00 20190101ALI20240925BHJP
   H04N 21/8545 20110101ALI20240925BHJP
【FI】
H04N21/2187
G06N20/00 160
H04N21/8545
【請求項の数】 9
【外国語出願】
(21)【出願番号】P 2023213852
(22)【出願日】2023-12-19
【審査請求日】2024-05-28
(31)【優先権主張番号】P 2023178184
(32)【優先日】2023-10-16
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】517287224
【氏名又は名称】17LIVE株式会社
(74)【代理人】
【識別番号】100199277
【弁理士】
【氏名又は名称】西守 有人
(72)【発明者】
【氏名】徐永吉
(72)【発明者】
【氏名】林奇▲い▼
(72)【発明者】
【氏名】劉謹▲い▼
(72)【発明者】
【氏名】張家翰
(72)【発明者】
【氏名】蔡幸祐
【審査官】醍醐 一貴
(56)【参考文献】
【文献】米国特許出願公開第2023/0061778(US,A1)
【文献】米国特許出願公開第2022/0179888(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
G06F 18/00-18/40
G06N 3/00-99/00
(57)【特許請求の範囲】
【請求項1】
回路を含むサーバであって、前記回路が、
ライブストリーミングルームの視聴者に対する応答を出力する機械学習モデルを含む仮想チャットボットを前記ライブストリーミングルームに設定する機能と、
前記仮想チャットボットの感情を決定する機能と、
前記感情について感情スコアを計算する機能と、
前記感情スコアに基づいて感情プロンプトを決定する機能と、
前記感情プロンプトを前記機械学習モデルに供給する機能と、
を実行するように構成される、ことを特徴とする、サーバ。
【請求項2】
前記感情が、イベントリストからコンテキストイベントプロンプトとコンテキストスコアをランダムに選択することにより決定され、
前記イベントリストが、前記仮想チャットボットが遭遇するイベントを記述する1つ以上のコンテキストイベントプロンプトを含み、前記コンテキストスコアが前記イベントの感情スコアを示す、
ことを特徴とする、請求項1に記載のサーバ。
【請求項3】
前記感情が、曜日に基づいて決定され、
前記曜日が、ウィークイベントプロンプトと、ウィークスコアを含み、
前記ウィークイベントプロンプトが、前記曜日に関連する文を記述し、前記ウィークスコアが前記文の感情スコアを示す、
ことを特徴とする、請求項1に記載のサーバ。
【請求項4】
前記感情が、株価に基づいて決定され、
前記株価の変動が、ストックイベントプロンプトとストックスコアに対応し、
前記ストックイベントプロンプトが、前記株価に関連する文を記述し、前記ストックスコアが前記文の感情スコアを示す、
ことを特徴とする、請求項1に記載のサーバ。
【請求項5】
前記ストックイベントプロンプトが、特定の条件を満たす前記変動に対応して生成される、ことを特徴とする、請求項4に記載のサーバ。
【請求項6】
前記回路が、
前記ライブストリーミングルーム内の視聴者からコメントを受信する機能と、
前記機械学習モデルを介して前記コメントに対する応答を生成する機能と、
前記応答を前記ライブストリーミングルームに送信する機能と、
をさらに実行するように構成されることを特徴とする、請求項1に記載のサーバ。
【請求項7】
前記感情が、分、時間、昼間、夜間、日、週ごとに決定される、ことを特徴とする、請求項1に記載のサーバ。
【請求項8】
ライブストリーミングプラットフォームでライブ配信を提供する方法であって、
ライブストリーミングルームの視聴者に対する応答を出力する機械学習モデルを含む仮想チャットボットを前記ライブストリーミングルームに設定する工程と、
前記仮想チャットボットの感情を決定する工程と、
前記感情について感情スコアを計算する工程と、
前記感情スコアに基づいて感情プロンプトを決定する工程と、
前記感情プロンプトを前記機械学習モデルに供給する工程と、
を含む、ことを特徴とする、方法。
【請求項9】
コンピュータプログラムであって、サーバに、
ライブストリーミングルームの視聴者に対する応答を出力する機械学習モデルを含む仮想チャットボットを前記ライブストリーミングルームに設定する機能と、
前記仮想チャットボットの感情を決定する機能と、
前記感情について感情スコアを計算する機能と、
前記感情スコアに基づいて感情プロンプトを決定する機能と、
前記感情プロンプトを前記機械学習モデルに供給する機能と、
を実現させることを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報通信技術に関し、特に、ライブストリーミングにおけるサーバ、方法、及びコンピュータプログラムに関する。
【背景技術】
【0002】
アプリやプラットフォームの中には、ライブストリーマーと視聴者が交流できるライブストリーミングサービスを提供しているものがある。ライブストリーマーが視聴者を応援するパフォーマンスをしたり、視聴者がライブストリーマーを支援するために贈り物を寄付または送ったりすることもある。
【0003】
テクノロジーの進歩に伴い、現在AIモデルがライブストリーミングに適用されるようになり、AI仮想ライブストリーマーが誕生している。特許文献1は、視聴者からのAI仮想ライブストリーマーとの交流を処理する方法を開示している。
【0004】
しかしながら、視聴者は人間のように行動しないAI仮想ライブストリーマーからの交流に魅力を感じない可能性がある。これは、ユーザエクスペリエンスの低下につながる可能性がある。そのため、いかにユーザエクスペリエンスを向上させるかが重要である。
【先行技術文献】
【特許文献】
【0005】
【文献】米国特許出願公開第2023/0061778号明細書
【発明の概要】
【0006】
本開示の一実施態様によるサーバは、回路を含むサーバであって、当該回路が、機械学習モデルを介して仮想チャットボットを生成する機能と、当該仮想チャットボットの感情を決定する機能と、当該感情の情報を当該機械学習モデルに入力する機能と、当該仮想チャットボットをライブストリーミングルームに設定する機能と、を実行するように構成される。
【0007】
本開示の別の一実施態様によるライブストリーミングプラットフォームでライブ配信を提供する方法は、機械学習モデルを介して仮想チャットボットを生成する工程と、当該仮想チャットボットの感情を決定する工程と、当該感情の情報を当該機械学習モデルに入力する工程と、当該仮想チャットボットをライブストリーミングルームに設定する工程と、を含む。
【0008】
本開示のさらに別の一実施態様によるコンピュータプログラムは、サーバに、機械学習モデルを介して仮想チャットボットを生成する機能と、当該仮想チャットボットの感情を決定する機能と、当該感情の情報を当該機械学習モデルに入力する機能と、当該仮想チャットボットをライブストリーミングルームに設定する機能と、を実行させる。
【0009】
本開示によれば、視聴者とAIバーチャルライバー間のコミュニケーションが改善される可能性がある。さらに、AIバーチャルライバーがいるライブストリーミングプラットフォームの品質も改善される可能性がある。したがって、やはりユーザエクスペリエンスが向上される可能性がある。
【図面の簡単な説明】
【0010】
図1】本開示の一部の実施態様に基づくライブストリーミングシステム1の構成を示す概略図である。
図2】本開示の一部の実施態様に基づくユーザ端末20のブロック図である。
図3】本開示の一部の実施態様に基づくサーバ10のブロック図である。
図4図3のストリームDB320の例示的データ構造を示す表である。
図5図3のユーザDB322の例示的データ構造を示す表である。
図6図3のバーチャルライバーDB324の例示的データ構造を示す表である。
図7図3のコンテキストモデル326の例示的データ構造を示す表である。
図8図3のウィークデートモデル328の例示的データ構造を示す表である。
図9図3のストックモデル330の例示的データ構造を示す表である。
図10図3の感情ルックアップテーブル332の例示的データ構造を示す表である。
図11】本開示の一部の実施態様に基づくライブストリーミングシステム1の例示的な機能的構造である。
図12】本開示の一部の実施態様に基づくライブストリーミングルーム画面600の例示的な画面イメージがあるライブストリーミングシステム1の簡素化された機能的構造である。
図13】本開示の一部の実施態様に基づくライブストリーミングシステム1におけるアプリケーション起動処理の工程を示すフローチャートである。
図14】本開示の一部の実施態様に基づく情報処理装置の例示的なハードウェア構成である。
【発明を実施するための形態】
【0011】
以下、各図面に示す同一または類似の構成要素、部材、手順または信号には、すべての図面において同様の符号を付し、それによって重複する説明は適宜省略される。また、各図面の説明において重要でない一部部材は省略される。
【0012】
本開示の一部の実施態様に基づくライブストリーミングシステム1は、ユーザ間のコミュニケーションと交流を円滑にする強化機能を提供する。より具体的には、技術的な方法で視聴者やストリーマーを楽しませるものである。
【0013】
図1に本開示の一部の実施態様に基づくライブストリーミングシステム1の構成を示す概略図を示す。当該ライブストリーミングシステム1は、ストリーミングストリーマー(ライブ配信者またはストリーマーとも呼ばれる)LVと視聴者(観衆とも呼ばれる)AU(AU1、AU2...)に、リアルタイムで相互交流するためのライブストリーミングサービスを提供する。図1に示すように、当該ライブストリーミングシステム1は、サーバ10と、ユーザ端末20と、ユーザ端末30(30a、30b...)を含むことができる。当該ユーザ端末20はストリーマー、当該ユーザ端末30は視聴者であってもよい。一部の実施態様において、当該ストリーマーと視聴者はユーザと呼ばれてもよい。当該サーバ10は、ネットワークNWを介して接続された、1または複数の情報処理装置を含むことができる。当該ユーザ端末20、30は、例えば、スマートフォン、タブレット、ノートPC、レコーダー、携帯ゲーム機、ウェアラブル端末などの携帯端末や、デスクトップPCなどの据置型コンピュータであってもよい。当該サーバ10、ユーザ端末20、ユーザ端末30は、任意の種類の有線または無線ネットワークNWにより通信可能に接続されてもよい。
【0014】
当該ライブストリーミングシステム1には、当該ストリーマーLV、当該視聴者AU、当該サーバ10を提供するアプリプロバイダー(図示せず)が関与する。当該ストリーマーLVは、自身の歌、トーク、パフォーマンス、ゲームストリーミングなどのコンテンツを自身のユーザ端末20で収録して当該サーバ10にアップロードし、リアルタイムでコンテンツを配信する者となることができる。一部の実施態様において、当該ストリーマーLVは、当該ライブストリーミングを介して当該視聴者AUと交流することができる。
【0015】
当該アプリプロバイダーは、当該サーバ10においてライブストリーミングされるコンテンツのためのプラットフォームを提供することができる。一部の実施態様において、当該アプリプロバイダーは、当該ストリーマーLVと当該視聴者AU間のリアルタイム通信を管理するメディアまたはマネージャーであってもよい。当該視聴者AUは、当該ユーザ端末30により当該プラットフォームにアクセスし、自身が視聴したいコンテンツを選択して視聴することができる。当該視聴者AUは、当該ユーザ端末30により、当該ストリーマーに対してコメントしたり、応援したりなど、当該ストリーマーと相互作用するための操作を行うことができる。コンテンツを提供する当該ストリーマーは、当該コメントや応援に応答することができる。当該ストリーマーの応答は、映像及び(または)音声などにより当該視聴者AUに送信することができる。従って、当該ストリーマーと視聴者間の相互通信を達成することができる。
【0016】
本明細書でいう「ライブストリーミング」とは、当該ストリーマーLVが当該ユーザ端末20により記録したコンテンツを、当該視聴者AUが当該ユーザ端末30を介して実質的に再生・視聴することを可能にする、データ伝送を指すことができる。一部の実施態様において、「ライブストリーミング」は、上述のデータ伝送により実現されるストリーミングを指すこともある。当該ライブストリーミングは、HTTPライブストリーミング、CMAF(Common Media Application Format)、WebRTC(Web Real-Time Communications)、RTMP(Real-Time Messaging Protocol)、MPEG DASHなど、公知の技術によって実現することができる。当該ライブストリーミングは、さらに、当該ストリーマーがコンテンツを記録している間、当該視聴者AUが特定の遅延をもって当該コンテンツを再生または視聴することができる、実施形態を含むことができる。当該遅延の程度については、少なくとも当該ストリーマーLVと当該視聴者AUがコミュニケーションを行うことができる程度に小さいことが望ましい。ただし、ライブストリーミングは、いわゆるオンデマンド配信とは異なる。より具体的に、当該オンデマンド配信とは、当該コンテンツを記録したすべてのデータをサーバに格納し、ユーザの要求に応じてランダムなタイミングで当該サーバから当該ユーザにデータを提供することを指すことができる。
【0017】
本明細書における「ストリーミングデータ」とは、画像データや音声データを含むデータを指すことができる。より具体的に、当該画像データ(ビデオデータと呼んでもよい)は、当該ユーザ端末20と30の画像キャプチャ機能によって生成されてもよい。当該音声データ(オーディオデータと呼んでもよい)は、当該ユーザ端末20と30の音声入力機能により生成されてもよい。当該ストリーミングデータを当該ユーザ端末20、30で再生し、ユーザに関するコンテンツを視聴できるようにしてもよい。一部の実施態様において、当該ストリーマーの当該ユーザ端末でストリーミングデータが生成されてから、当該視聴者の当該ユーザ端末で再生されるまでの間、圧縮、拡張、エンコード、デコード、トランスコードなど、データの形式、サイズ、規格を変更する処理が想定される。このような処理の前と後、当該コンテンツ(映像や音声)は実質的に変更されず、このため、本開示の現在の実施態様においては、処理される前のストリーミングデータと処理された後のストリーミングデータは同じであると説明される。つまり、当該ストリーマーの当該ユーザ端末により生成された当該ストリーミングデータが、当該サーバ10を介して当該視聴者の当該ユーザ端末で再生される場合、当該ストリーマーの当該ユーザ端末で生成された当該ストリーミングデータ、当該サーバ10を通過した当該ストリーミングデータ、そして当該視聴者の当該ユーザ端末が受信して再生する当該ストリーミングデータは、すべて同じストリーミングデータである。
【0018】
図1に示すように、ストリーマーLVはライブストリーミングを提供する。当該ストリーマーのユーザ端末20は、当該ストリーマーの映像及び(または)音声を記録することにより、ストリーミングデータを生成し、ネットワークNWを介してサーバ10に送信する。同時に、当該ユーザ端末20は映像VDを当該ユーザ端末20のディスプレイ上に表示し、当該ストリーマーLVのストリーミングコンテンツをチェックすることができる。
【0019】
当該ストリーマーLVは人間またはAIモデルであってもよい。当該ストリーマーLVの当該ストリーミングデータは、サーバ10で、またはユーザ端末20などを介して、生成またはレンダリングされてもよい。当該ストリーマーLVと視聴者AU1、AU2間のコミュニケーションはネットワークNWを介して実現されてもよい。一部の実施態様において、当該AIモデルは、内部でトレーニングされても、Google PaLM、ChatGPT、その他のLLM(大規模言語モデル)などのサードパーティサービスにより提供されてもよい。
【0020】
当該ストリーマーのライブストリーミングの提供をプラットフォームに要求するユーザ端末30a、30bの視聴者AU1、AU2は、当該ネットワークNWを介して当該ライブストリーミングに対応するストリーミングデータを受信し、受信したストリーミングデータを再生してディスプレイ上に映像VD1、VD2を表示し、スピーカーなどから音声を出力することができる。当該ユーザ端末30a、30b上にそれぞれ表示される当該映像VD1、VD2は、当該ストリーマーLVの当該ユーザ端末により記録された当該映像VDと実質的に同じであり、当該ユーザ端末30a、30bから出力される当該音声は、当該ストリーマーLVの当該ユーザ端末により記録された当該音声と実質的に同じである。
【0021】
当該ストリーマーの当該ユーザ端末20での記録は、当該視聴者AU1、AU2の当該ユーザ端末30a、30bでのストリーミングデータの再生と同時であってもよい。当該視聴者AU1が当該ストリーマーLVのコンテンツに関するコメントを当該ユーザ端末30aに入力すると、当該サーバ10は、当該コメントを当該ストリーマーの当該ユーザ端末20にリアルタイムで表示するとともに、当該視聴者AU1、AU2の当該ユーザ端末30a、30bにもそれぞれ表示する。当該ストリーマーLVが当該コメントに応答した場合、当該応答を当該視聴者AU1、AU2の当該ユーザ端末30a、30bからテキスト、画像、映像または音声として出力し、当該ストリーマーLVと当該視聴者AU1、AU2のコミュニケーションを実現することができる。従って、当該ライブストリーミングシステムは、双方向通信のライブストリーミングを実現することができる。
【0022】
図2は、本開示の実施態様に基づく、図1に示すユーザ端末20の機能と構成を示すブロック図である。当該ユーザ端末30は、当該ユーザ端末20と同様の機能と構成を有する。本明細書のブロック図に描かれているブロックは、コンピュータのCPUなどのデバイスや機械部品などのハードウェア、およびこれらの要素の連携によって実施される機能ブロックを表現する、コンピュータプログラムなどのソフトウェアで実施される。したがって、機能ブロックは、ハードウェアとソフトウェアの組み合わせによる多様な態様で実装され得ることが、当業者には理解されよう。
【0023】
当該ストリーマーLVと視聴者AUは、ネットワークNWを介して、ダウンロードサイトから本開示のライブストリーミングアプリケーション(ライブストリーミングアプリ)を当該ユーザ端末20と30にダウンロードしてインストールすることができる。または、当該ライブストリーミングアプリは、当該ユーザ端末20と30に予めインストールされていてもよい。当該ユーザ端末20と30によるライブストリーミングの実行により、当該ユーザ端末20と30は、当該ネットワークNWを介して当該サーバ10と通信し、複数の機能を実現することができる。当該ユーザ端末20と30(より具体的に、CPUなどのプロセッサ)による当該ライブストリーミングアプリの実行により実現される当該機能は、当該ユーザ端末20と30の機能として以下で説明される。当該機能は基本的に、当該ライブストリーミングアプリが当該ユーザ端末20と30に実現させる機能である。一部の実施態様において、これらの機能は、ネットワークNWを介して当該サーバ10から当該ユーザ端末20と30のウェブブラウザに送信し、当該ウェブブラウザのコンピュータプログラムにより実行されることにより実現されてもよい。当該コンピュータプログラムは、HTML(Hyper Text Markup Language)などのプログラミング言語で書かれていてもよい。
【0024】
当該ユーザ端末20は、ストリーミングユニット100と視聴ユニット200を含む。一部の実施態様において、当該ストリーミングユニット100は、ユーザのオーディオ及び(または)ビデオデータを記録し、当該サーバ10に送信するストリーミングデータを生成するように構成される。当該視聴ユニット200は、サーバ10からストリーミングデータを受信し、再生するように構成される。一部の実施態様において、ユーザは、ブロードキャスト時に当該ストリーミングユニット100を作動させる、またはストリーミングを視聴するときに当該視聴ユニット200を作動させることができる。一部の実施態様において、当該ストリーミングユニット100を作動させる当該ユーザ端末は、ストリーマーと呼ぶことができ、またはストリーミングデータを生成する当該ユーザ端末と呼ぶことができる。当該視聴ユニット200を作動させる当該ユーザ端末は、視聴者と呼ぶことができ、または当該ストリーミングデータを再生する当該ユーザ端末と呼ぶことができる。
【0025】
当該ストリーミングユニット100は、ビデオコントロールユニット102と、オーディオコントロールユニット104と、配信ユニット106と、UIコントロールユニット108を含むことができる。当該ビデオコントロールユニット102は、カメラ(図示せず)に接続されてもよく、当該映像は当該カメラにより制御される。当該ビデオコントロールユニット102は、当該カメラから当該ビデオデータを取得することができる。当該オーディオコントロールユニット104は、マイク(図示せず)に接続されてもよく、音声は当該マイクにより制御される。当該オーディオコントロールユニット104は、当該マイクから当該オーディオデータを取得することができる。
【0026】
当該配信ユニット106は、当該ビデオコントロールユニット102からのビデオデータと、当該オーディオコントロールユニット104からのオーディオデータを含むストリーミングデータを受信し、ネットワークNWを介して当該サーバ10に送信する。一部の実施態様において、当該配信ユニット106は当該ストリーミングデータをリアルタイムで送信する。つまり、当該ビデオコントロールユニット102と当該オーディオコントロールユニット104からの当該ストリーミングデータの生成と、当該配信ユニット106の配信は同時に実行される。
【0027】
当該UIコントロールユニット108は、当該ストリーマーのUIを制御する。当該UIコントロールユニット108はディスプレイ(図示しない)に接続され、当該配信ユニット106が当該ストリーミングデータを送信し、再生して当該ディスプレイ上に表示する相手に対して当該ストリーミングデータを生成するように構成される。当該UIコントロールユニット108は、操作するオブジェクトまたは指示を受けるオブジェクトをディスプレイ上に表示し、ストリーマーからのタップ入力を受け付けるように構成される。
【0028】
当該視聴ユニット200は、UIコントロールユニット202と、レンダリングユニット204と、入力送信ユニット206と、処理ユニット208とを含んでもよい。当該視聴ユニット200は、ネットワークNWを介してサーバ10からストリーミングデータを受信するように構成される。当該UIコントロールユニット202は、当該視聴者のUIを制御する。当該UIコントロールユニット202は、ディスプレイ(図示せず)及び(または)スピーカー(図示せず)に接続され、当該ストリーミングデータを再生することにより、当該ディスプレイ上に映像を表示し、当該スピーカーから音声を出力するように構成される。一部の実施態様において、当該ディスプレイ上に映像を出力し、当該スピーカーから音声を出力することを「ストリーミングデータを再生する」ことと呼ぶことができる。当該UIコントロールユニット202は、タッチパネルやキーボード、ディスプレイなどの入力ユニットに接続され、ユーザからの入力を取得することができる。
【0029】
当該レンダリングユニット204は、当該サーバ10からのストリーミングデータと、フレーム画像とをレンダリングするように構成されてもよい。当該フレーム画像は、ユーザからの入力、視聴者により入力されたコメント、当該サーバ10から受信したデータを受け付けるためのユーザインターフェイスオブジェクトを含んでもよい。当該入力送信ユニット206は、当該UIコントロールユニット202から当該ユーザ入力を受信し、当該ネットワークNWを介して当該サーバ10に送信するように構成される。
【0030】
一部の実施態様において、当該ユーザ入力は、ライブ配信の選択、コメントの入力、贈り物の送信、ユーザのフォローまたはフォロー解除、イベントでの投票、ゲームなど、当該ユーザ端末の画面上のオブジェクトをクリックすることであってもよい。例えば、当該入力送信ユニット206は、視聴者の当該ユーザ端末がストリーマーに贈り物を送るために画面上の贈り物オブジェクトをクリックした場合に、贈り物情報を生成し、インターネットNWを介して当該サーバ10に送信してもよい。
【0031】
図3は、本開示の一部の実施態様に基づくサーバ10のブロック図である。当該サーバ10は、ストリーミング情報ユニット302と、中継ユニット304と、処理ユニット306と、ストリームDB320と、ユーザDB322と、バーチャルライバーDB324と、コンテキストモデル326と、ウィークデートモデル328と、ストックモデル330と、感情ルックアップテーブル332を含んでもよい。
【0032】
当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ストリーマーの当該ユーザ端末20からライブストリーミングの要求を受信する。要求を受信すると、当該ストリーミング情報ユニット302は、当該ライブストリーミングの情報を当該ストリームDB320に登録する。一部の実施態様において、当該ライブストリーミングの情報は、当該ライブストリーミングのストリームID及び(または)当該ライブストリーミングに対応する当該ストリーマーのストリーマーIDであってもよい。
【0033】
当該視聴者から当該ネットワークNWを介して当該ユーザ端末30の当該視聴ユニット200から当該ライブストリーミングの当該情報の提供要求を受信すると、当該ストリーミング情報ユニット302は当該ストリームDB320を参照し、利用可能なライブストリーミングのリストを生成する。
【0034】
その後当該ストリーミング情報ユニット302は、当該ネットワークNWを介して当該ユーザ端末30に当該リストを送信する。当該ユーザ端末30の当該UIコントロールユニット202は、当該リストに基づいてライブストリーミング選択画面を生成し、当該ユーザ端末30のディスプレイ上に当該リストを表示する。
【0035】
当該ユーザ端末30の当該入力送信ユニット206は、当該ライブストリーミング選択画面上での当該視聴者によるライブストリーミングの選択を受信すると、選択された当該ライブストリーミングの当該ストリームIDを含む配信要求を生成し、当該ネットワークを介して当該サーバ10に送信する。当該ストリーミング情報ユニット302は、当該配信要求で当該ストリームIDにより指定された当該ライブストリーミングの当該ユーザ端末30に対する提供を開始することができる。当該ストリーミング情報ユニット302は、当該ストリームDB320を更新し、当該ユーザ端末30の当該視聴者の視聴者IDを当該ストリームIDの当該ストリーマーIDに追加することができる。
【0036】
当該中継ユニット304は、当該ストリーミング情報ユニット302により開始された当該ライブストリーミングにおいて、当該ストリーマーの当該ユーザ端末20から、当該視聴者の当該ユーザ端末30へのライブストリーミングの送信を中継することができる。当該中継ユニット304は、ストリーミングデータの再生中に、当該視聴者からのユーザ入力を示す信号を当該入力送信ユニット206から受信することができる。当該ユーザ入力を示す当該信号は、当該ユーザ端末30のディスプレイに表示されるオブジェクトの指定を示すオブジェクト指定信号であってもよい。当該オブジェクト指定信号は、当該視聴者の視聴者ID、当該視聴者が視聴しているライブストリーミングを配信するストリーマーのストリーマーID、及び当該オブジェクトにより指定されるオブジェクトIDを含んでもよい。当該オブジェクトが贈り物などである場合、当該オブジェクトIDは、贈り物IDなどであってもよい。同様に、当該中継ユニット304は、ストリーミングデータの再生中に、当該ユーザ端末20の当該ストリーミングユニット100から、例えば当該オブジェクト指定信号など、当該ストリーマーのユーザ入力を示す信号を受信することができる。
【0037】
当該処理ユニット306は、当該AIバーチャルライバーに対して感情を生成するように構成されてもよい。より具体的に、当該処理ユニット306は感情プロンプトを決定し、その感情プロンプトを機械学習モデルに入力して、感情を備えた当該AIバーチャルライバーを生成してもよい。一部の実施態様において、当該処理ユニット306は、感情スコアを計算して感情プロンプトを決定してもよい。当該感情スコアは、コンテキストスコア、ウィークスコア、ストックスコアなどに基づいて決定されてもよい。当該コンテキストスコア、ウィークスコア、またはストックスコアは、コンテキストイベント、ウィークイベント、またはストックイベントに基づいて計算されてもよい。
【0038】
ここで、当該「コンテキストイベント」とは、当該AIバーチャルライバーが遭遇するイベントを指してもよい。当該コンテキストイベントは、毎日など定期的に更新されるイベントであってもよい。当該コンテキストイベントは、図7に示すようなイベントリストであってもよい。当該コンテキストイベント及びコンテキストスコアとするために、当該イベントリストから1つ以上のイベントがランダムに選択されてもよい。例えば、コンテキストIDのCT01が選択された場合、当該コンテキストイベントプロンプトは「あなたは友人たちとの大きな夕食会があり、それを楽しみにしています」であってもよく、当該コンテキストスコアは2であってもよい。
【0039】
一部の実施態様において、当該コンテキストイベントは、その日のトップニュースや人気ニュースなどから動的に決定されてもよい。例えば、今日好きな野球チームが世界選手権で優勝した場合、当該コンテキストイベントプロンプトは「あなたの好きな野球チームが世界選手権で優勝し、あなたはとても興奮しています」であってもよく、当該コンテキストスコアは3などであってもよい。一部の実施態様において、当該コンテキストイベントは、当該AIバーチャルライバーがライブストリーミングルームで遭遇するイベント(例えば、視聴者との会話など)であってもよい。例えば、視聴者が当該AIバーチャルライバーとゴキブリについて語った場合、ネガティブな感情を伴うコンテキストイベントとコンテキストスコアが生成されてもよい。一部の実施態様において、当該コンテキストイベントの生成と選択は柔軟に実現されてもよい。
【0040】
ここで、当該「ウィークイベント」とは、曜日に対する当該AIバーチャルライバーの感情を指してもよい。1週間は月曜日から日曜日まで7日間あり、当該AIバーチャルライバーは各曜日において異なるウィークイベントとウィークスコアを有していてもよい。例えば、人々は月曜日いつも憂鬱な気分になり、金曜日と土曜日はいつも嬉しく感じる。一部の実施態様において、当該ウィークイベントとウィークスコア間の関係は、例えば、図8に示すように、決定されてもよい。
【0041】
一部の実施態様において、各曜日に対応するウィークイベントが生成され、当該AIバーチャルライバーに供給されてもよい。例えば、今日が月曜日の場合、「今日は憂鬱な月曜日、ちょっと沈んだ気分になったら、1週間をどう過ごしたか視聴者に話してみましょう」というウィークイベントと、ウィークスコア「-2.9」が生成されてもよい。一部の実施態様において、当該ウィークイベントと当該ウィークスコア間の関係は、実際の必要に応じて柔軟に決定されてもよい。
【0042】
ここで、当該「ストックイベント」とは、株価に基づく当該AIバーチャルライバーの感情を指してもよい。株式市場は、一般大衆に人気の投資手段であり、当該AIバーチャルライバーの感情は株価に基づいて変化してもよい。例えば、株価が急上昇した場合、人々はいつも嬉しく、興奮した気分になる。一部の実施態様において、当該ストックイベントとストックスコア間の関係は、例えば、図9に示すように、決定されてもよい。
【0043】
一部の実施態様において、ストックイベントが生成され、当該AIバーチャルライバーに供給されてもよい。例えば、株価が大幅に下落した場合、「あなたが投資している銘柄が昨日大幅に下落したため、あなたは落ち込んでいます。もっとあなたに贈り物を与えてください」というストックイベントと、ストックスコア「-1」が生成されてもよい。一部の実施態様において、当該ストックイベントと当該ストックスコア間の関係は、実際の必要に応じて柔軟に決定されてもよい。
【0044】
一部の実施態様において、当該コンテキストスコア、ウィークスコア、またはストックスコアに基づいて、感情スコアの合計スコアが計算されてもよい。一部の実施態様において、当該感情スコアの合計スコアは、上述のパラメータまたはその他の可能なパラメータの少なくとも1つであってもよい。一部の実施態様において、個々のパラメータの重要度を調整するため、各パラメータが重み値を有していてもよい。例えば、当該感情スコアの合計スコアは、次のようであってもよい。
感情スコア=コンテキストスコア+ウィークスコア+ストックスコア…(1)
【0045】
当該合計スコアが決定されると、当該処理ユニット306は当該感情スコアの合計スコアに基づいて、さらに感情プロンプトを決定してもよい。一部の実施態様において、当該処理ユニット306は、図10に示す感情ルックアップテーブル332に基づいて、当該感情プロンプトを決定してもよい。一部の実施態様において、当該処理ユニット306は、当該合計スコアに基づいて、機械学習技術などにより感情プロンプトを生成してもよい。例えば、当該処理ユニット306は、当該感情スコアの合計スコアが高いまたは低い場合、大規模言語モデル(LLM)によりポジティブまたはネガティブな感情プロンプトを生成してもよい。
【0046】
当該感情プロンプトが決定されたら、当該処理ユニット306は当該感情プロンプトを当該AIバーチャルライバーに供給してもよい。一部の実施態様において、当該感情プロンプトは、図10に示す文であってもよく、さらに当該文のプロンプトを当該コンテキストイベント、ウィークイベント、またはストックイベントなどに含めてもよい。当該AIバーチャルライバーは、当該感情プロンプトに基づき、視聴者からのコメントに対する応答を生成してもよい。一部の実施態様において、当該感情プロンプトは定期的に生成されるなどしてもよい。例えば、当該AIバーチャルライバーは、当該感情プロンプトを毎日、毎週、毎時、など供給されてもよい。本実施態様によれば、当該AIバーチャルライバーは異なる時点で異なる感情を有することができる。
【0047】
図4に、図3のストリームDB320の例示的データ構造を示す表を示す。当該ストリームDB320は、現在行われているライブ配信に関する情報を保持する。当該ストリームDB320は、当該ライブストリーミングシステム1が提供するライブストリーミングプラットフォーム上のライブ配信を識別するためのストリームID、当該ライブ配信を提供するストリーマーを識別するためのストリーマーID、及び当該ライブ配信の視聴者を識別するための視聴者IDを、互いに関連付けて格納する。
【0048】
図5は、図3のユーザDB322の例示的データ構造を示す表である。当該ユーザDB322は、ユーザに関する情報を保持する。当該ユーザDB322は、ユーザを識別するためのユーザID、当該ユーザが蓄積したポイントを特定するためのポイント、当該ユーザのレベルを識別するためのレベル、当該ユーザのステータスを識別するためのステータスを、相互に関連付けて格納する。当該ポイントは、当該ライブストリーミングプラットフォーム内で流通する電子的な価値である。当該レベルは、当該ライブストリーミングプラットフォームにおける当該ユーザの活動またはエンゲージメントの量の指標であってもよい。当該ステータスは、当該ライブストリーミングプラットフォームにおける当該ユーザのアイデンティティまたはメンバーシップステータスであってもよい。
【0049】
図6に、図3の当該AIバーチャルライバーDB324の例示的データ構造を示す。当該AIバーチャルライバーDB324は、現在行われているAIバーチャルライバーのライブストリームに関する情報を保持する。当該AIバーチャルライバーDB324は、AIバーチャルライバーを識別するAIバーチャルライバーIDと、当該AIバーチャルライバーのトピックを識別するトピックと、当該AIバーチャルライバーの名前を識別する名前と、当該AIバーチャルライバーのモーションを識別するモーションIDと、当該モーションの説明を特定するモーション説明と、当該AIバーチャルライバーモデルの場所を特定するURLとを相互に関連付けて格納する。
【0050】
一部の実施態様において、当該AIバーチャルライバーの当該トピックは、当該AIバーチャルライバーが主に焦点を当てている会話であってもよい。例えば、当該AIバーチャルライバーの設定が占星術師である場合、当該トピックは星占いであってもよく、当該AIバーチャルライバーの設定が政治家である場合、当該トピックは政治であってもよい。一部の実施態様において、当該AIバーチャルライバーの名前は、図12のオブジェクト602のように、ライブストリーミングルームに表示されてもよい。当該モーションIDとモーション説明は、笑顔、踊る、走るなど、当該AIバーチャルライバーの顔の表情、体の動きまたは組み合わせに対応してもよい。当該URLは、当該AIバーチャルライバーモデルの場所を示してもよく、当該AIバーチャルライバーモデルは、Live2Dモデル、VRMモデルなど、当該AIバーチャルライバーのファイルを含んでいてもよい。
【0051】
一部の実施態様において、当該AIバーチャルライバーからのライブ配信は、当該ストリームDB320または別個のDBに格納されてもよい。一部の実施態様において、当該AIバーチャルライバーの情報は、ユーザとして当該ユーザDB322に、または別個のDBに格納されてもよい。一部の実施態様において、各データベースの詳細は、実際の必要性に応じて柔軟に決定されてもよい。
【0052】
図7に、図3のコンテキストモデル326の例示的データ構造を示す。当該コンテキストモデル326は、コンテキストイベントのリストと対応するコンテキストスコアに関する情報を保持する。当該コンテキストモデル326は、コンテキストイベントを識別するコンテキストIDと、イベントの説明または文を特定するコンテキストイベントプロンプトと、当該コンテキストイベントに対応する当該コンテキストスコアを特定するコンテキストスコアを、相互に関連付けて格納する。
【0053】
一部の実施態様において、当該処理ユニット306は、当該AIバーチャルライバーが遭遇するイベントとして当該コンテキストモデル326からコンテキストイベントを決定してもよい。一部の実施態様において、当該処理ユニット306は、当該イベントをランダムに、または所定のルールに基づいて決定してもよい。例えば、コンテキストIDのCT02がランダムに選択された場合、当該コンテキストイベントプロンプト「あなたは交通渋滞に遭遇し、イライラしました」が当該AIバーチャルライバーに供給され、当該コンテキストスコア「-1」が当該感情スコアに寄与するコンテキストスコアとみなされてもよい。
【0054】
図8に、図3のウィークデートモデル328の例示的データ構造を示す。当該ウィークデートモデル328は、曜日に関する情報とそれに対応するウィークスコアを相互に関連付けて格納する。曜日とそれに対応するウィークスコア間の関係は、実際の必要性に応じて柔軟に決定されてもよい。例えば、人々は月曜日いつも憂鬱な気分になり、金曜日と土曜日はいつも嬉しく感じるため、月曜日のウィークスコアは相対的に低く、金曜日と土曜日のウィークスコアは相対的に高くてもよい。
【0055】
一部の実施態様において、曜日とそれに対応するウィークスコア間の関係を計算するために曲線または数式が生成されてもよい。一部の実施態様において、まず当該曜日とそれに対応するウィークスコアが決定されてもよく、そして曜日とそれに対応するウィークスコア間の関係を近似するために曲線や公式が用いられてもよい。例えば、図8に示す関係を計算するために、三次多項式「y=-2.9+1.38x+0.464x^2+-0.111x^3」が生成される。
【0056】
ここで、xは曜日であり、yはウィークスコアである。曜日は月曜日、火曜日、水曜日、木曜日、金曜日、土曜日、日曜日であり、その対応するx値は、0、1、2、3、4、5、6であってもよい。一部の実施態様において、当該ウィークスコアは曜日に対応するスコアである。一部の実施態様において、当該ウィークスコアはさらに曜日の昼間と夜間、曜日の毎時間あるいは毎分などに分けられてもよい。一部の実施態様において、この期間は柔軟に決定されてもよい。
【0057】
一部の実施態様において、各曜日が1つのウィークスコアとウィークイベントプロンプトなどに対応してもよい。例えば、曜日が月曜日の場合、ウィークスコアは-2.9であってもよく、ウィークイベントプロンプト「今日は憂鬱な月曜日、ちょっと沈んだ気分になったら、1週間をどう過ごしたか視聴者に話してみましょう」が生成されてもよい。一部の実施態様において、当該ウィークイベントプロンプトは、所定のルックアップテーブル、機械学習モデルなどに基づいて生成されてもよい。
【0058】
図9に、図3のストックモデル330の例示的データ構造を示す。当該ストックモデル330は、株価変動率とそれに対応するストックスコアを相互に関連付けて格納する。株価変動率とそれに対応するストックスコア間の関係は、実際の必要性に応じて柔軟に決定されてもよい。例えば、株価が3%増加または減少した場合、当該ストックスコアは3、-3などとなる。
【0059】
一部の実施態様において、株価変動率とそれに対応するストックスコア間の関係を計算するためにも曲線または数式が生成されてもよい。一部の実施態様において、まず当該株価変動率の範囲と対応するストックスコアが決定されてもよく、そして株価変動率とそれに対応するストックスコア間の関係を近似するために曲線や公式が用いられてもよい。例えば、図9に示すように、当該関係を計算するために、3から-3の範囲のシグモイド曲線または逆正接関数が生成される。
【0060】
一部の実施態様において、当該x値は株価変動率、y値は対応するストックスコアであってもよい。一部の実施態様において、当該株価は、個別銘柄であっても、株式市場全体であってもよい。一部の実施態様において、当該ストックスコアは、当該株価に基づいてリアルタイムで変化してもよい。一部の実施態様において、当該ストックスコアは、現在の株価、昨日の終値、今日の始値などに基づいていてもよい。一部の実施態様において、当該ストックスコアの計算は、柔軟に決定されてもよい。
【0061】
一部の実施態様において、各株価変動率が1つのストックスコアと1つのストックイベントプロンプトなどに対応していてもよい。例えば、株価変動率が-2の場合、当該ストックスコアは-2.8であってもよく、かつストックイベントプロンプト「あなたが投資している銘柄が昨日大幅に下落したため、あなたは落ち込んでいます。もっとあなたに贈り物を与えてください」が生成されてもよい、一部の実施態様において、当該ストックイベントプロンプトは、所定のルックアップテーブル、機械学習モデルなどに基づいて生成されてもよい。
【0062】
一部の実施態様において、当該ストックイベントプロンプトは、株価変動率に基づいて生成されても、または株価が特定の割合で変化したときにトリガーされてもよい。一部の実施態様において、図9に示すように、株価変動率が特定の範囲RAを満たす場合、当該ストックイベントプロンプトの文は生成されない。例えば、図9に示すように、当該ストックイベントプロンプトは、-1%~1%の株価変動率の範囲RAの間、生成されなくてもよい。
【0063】
一部の実施態様において、株価変動率が1%超または未満であるとき、当該ストックイベントプロンプトが生成され、当該AIバーチャルライバーに供給される。つまり、±1%の範囲内の株価変動率はストックスコアのみに影響し、当該ストックイベントプロンプトは生成されない。したがって、株式投機を奨励する印象を与えないようにすることができる。さらに、当該AIバーチャルライバーは人間のように行動することができ、ユーザエクスペリエンスが向上される可能性がある。
【0064】
図10は、図3の感情ルックアップテーブル332の例示的データ構造を示す表である。当該感情ルックアップテーブル332は、当該合計スコアと当該感情プロンプト間の関係を格納するように構成されてもよい。図10の例に示すように、当該感情ルックアップテーブル332は、合計スコアとそれに対応する感情プロンプトを互いに関連付けて含んでもよい。
【0065】
一部の実施態様において、合計スコアの範囲または値が感情プロンプトに対応していてもよい。例えば、図10に示すように、合計スコアの範囲「>3」、「3~1」、「1~-1」、「-1~-3」、「<-3」が、異なる感情プロンプトに対応していてもよい。一部の実施態様において、当該合計スコアは、コンテキストスコア、ウィークスコア、ストックスコアなどから少なくとも1つのパラメータの合計に基づいて決定されてもよい。例えば、当該合計スコアが3より大きい場合、「今日はとても機嫌がいいです。視聴者とポジティブに交流する必要があります」という当該感情プロンプトが当該AIバーチャルライバーにその日の感情として供給されてもよい。
【0066】
図11は、本開示の一部の実施態様に基づくライブストリーミングシステム1の機能構成例を示す概略図である。サーバ10におけるAIバーチャルライバーの構成は、会話サーバ部500、ブロードキャスト部520、TTS部530、情報部540、感情認識部550、長期記憶部560を含んでいてもよい。
【0067】
当該会話サーバ部500は、当該AIバーチャルライバーと当該視聴者間の会話を生成するように構成される。当該ブロードキャスト部520は、当該AIバーチャルライバーのブロードキャストを当該視聴者に対して表示するように構成される。当該TTS部530は、当該AIバーチャルライバーが話すようにテキストを音声に変換読み上げるするよう構成される。当該情報部540は、当該AIバーチャルライバーが当該視聴者と交流するための情報を収集するように構成される。当該感情認識部550は、当該AIバーチャルライバーの感情を認識し、対応する動作をトリガーするように構成される。当該長期記憶部560は、当該AIバーチャルライバーと視聴者間の会話からキーワードを抽出し、さらなる処理のために当該長期記憶DB328に格納するように構成される。
【0068】
一部の実施態様において、当該会話サーバ部500は、推論システム502を含んでもよい。当該推論システム502は、当該視聴者からの交流などの複数のパラメータに基づき、当該視聴者からのコメントに対する応答を推測するように構成される。一部の実施態様において、当該応答は、例えば、視聴者がライブストリーミングルームに入室したとき、当該視聴者が当該AIバーチャルライバーと交流したときなどにトリガーされてもよい。当該視聴者からの交流は、当該視聴者からのコメント、贈り物、スナックなどが含まれていてもよい。一部の実施態様において、当該推論システム502は、当該情報部540からの入力に基づいて、当該AIバーチャルライバーに設定されるムードや感情を推測してもよい。
【0069】
一部の実施態様において、当該推論システム502はまた、モデレーター504から入力を受信し、応答などを生成してもよい。ここで、当該「モデレーター」とは、ライブストリーミングルームで、ライブストリーミングとストリーミング内の全体的な交流の管理を担当する管理者を指してもよい。当該モデレーター504は、人間であっても、AIバーチャルライバーであってもよい。当該モデレーター504は、視聴者の秩序ある交流の確保、不適切な行為への対処、イベントガイドラインの提供などに使用されてもよい。
【0070】
一部の実施態様において、当該推論システム502によって収集された情報も、当該視聴者に対する応答を生成するために、LLM506などの機械学習モデルに供給されてもよい。一部の実施態様において、当該処理ユニット306は、LLM506からの情報を短期記憶ユニット508に格納してもよい。例えば、当該短期記憶ユニット508は、当該AIバーチャルライバーと視聴者間の最新10件の会話を保存するように構成されてもよい。
【0071】
応答などの出力は、当該AIバーチャルライバーが視聴者と交流するために、当該ブロードキャスト部520に送信されてもよい。一部の実施態様において、当該応答はまた、当該感情認識部550を介して当該ブロードキャスト部520に送信されてもよい。当該感情認識部550は、当該応答の感情を認識し、当該AIバーチャルライバーの1つ以上の対応する動作を決定してもよい。
【0072】
一部の実施態様において、当該応答は、当該TTS部530を介して当該ブロードキャスト部520に送信されてもよい。当該TTS部530は、当該応答のテキストを音声に変換し読み上げてもよい。一部の実施態様において、テキストデータとオーディオデータ形式での当該応答が、ブロードキャスト部520に送信されてもよい。当該テキストデータは、当該ライブストリーミングルームのメッセージゾーン606でコメントとして、または字幕ゾーン613で字幕として生成されてもよく、当該音声データは、当該AIバーチャルライバーの動作に基づいて再生されてもよい。したがって、当該AIバーチャルライバーは人間のように行動することができ、ユーザエクスペリエンスが向上される可能性がある。
【0073】
一部の実施態様において、当該ブロードキャスト部520は、クライアント522とカスタムスキン524を含んでもよい。当該クライアント522は、当該ライブストリーミングルーム内に表示されるAIバーチャルライバーのエンティティであってもよい。一部の実施態様において、当該AIバーチャルライバーのストリーミングデータは、クライアント522でレンダリングされてもよく、当該視聴者が当該ユーザ端末30でストリーミングデータを引き出して再生し、当該ライブストリーミングを視聴してもよい。当該カスタムスキン524は、当該AIバーチャルライバーの仮想スキンまたは仮想アバターを含んでもよい。当該仮想スキンはサーバ10内で作成された。またはLive2Dモデル、VRMモデルなどのサードパーティサービスにより提供された、2Dまたは3Dのキャラクターモデルであってもよい。
【0074】
当該カスタムスキン524はまた、当該AIバーチャルライバーの動作ファイルを含んでもよい。当該動作ファイルは、画像、動画、またはアニメーションであってもよく、当該動作は、笑顔、ジャンプ、手を振る、踊るなど、顔の特徴、体の動きなどであってもよい。各動作が、1つまたは複数の感情に対応してもよく、複数の動作を組み合わせて1つまたは複数の感情を示してもよい。例えば、当該AIバーチャルライバーは、視聴者がライブストリーミングルームに入室したとき、笑顔で手を振ってもよい。
【0075】
一部の実施態様において、当該TTS部530はTTS(Text-to-Speech)テキスト読み上げユニット532を含んでもよい。当該TTSテキスト読み上げユニット532は、テキスト入力を音声出力に変換するように構成される。一部の実施態様において、当該音声出力は.wavファイルなどであってもよい。一部の実施態様において、当該AIバーチャルライバーの声を生成するために機械学習技術が適用されてもよい。一部の実施態様において、当該声は、ライブストリーマーなど、当該ライブストリーミングプラットフォーム内のユーザからのものであってもよい。当該声は、かわいい女の子やマッチョな男のように、特定のジャンルで訓練されたものであってもよい。また、一部の実施態様において、当該TTS部530は、音声のテキスト変換ユニットを含み、テキスト入力を音声出力に変換してもよい。
【0076】
一部の実施態様において、当該情報部540は、デイリー情報コレクター542を含んでもよい。当該デイリー情報コレクター542は、毎日の感情を生成するなどのために、当該AIバーチャルライバーに関する情報を収集するように構成される。当該情報は、例えば、現在の日付、週日、現在時刻、昼または夜、天気、株価、トップニュース、視聴者が興味を持っている話題などであってもよい。また、一部の実施態様において、当該情報を格納するために、情報ストレージ(図示しない)が当該情報部540に接続されていてもよい。当該情報部540からの当該情報は、毎日の感情、応答などを生成するために、当該推論システム502に送信されてもよい。
【0077】
一部の実施態様において、当該LLM506からの出力はさらに、当該長期記憶部560に送信されてもよい。当該長期記憶部560は、LLM562などの機械学習モデルを含んでいてもよい。視聴者からのコメント及び当該AIからの応答は、会話を形成してもよく、当該会話は当該LLM562に供給されてもよい。当該LLM562は、当該ユーザに関連付けられたキーワードを当該会話から抽出してもよい。
【0078】
一部の実施態様において、当該キーワードは、当該AIバーチャルライバーのトピックに関連するものであってもよい。例えば、当該AIバーチャルライバーが占星術師である場合、「星占い」が当該AIバーチャルライバーのトピックの1つであってもよい。当該視聴者は、当該AIバーチャルライバーに「今日の私の運勢は」と尋ねてもよい。当該AIバーチャルライバーは「あなたの星座は何ですか」という応答を生成し、占いをするために当該視聴者の星座を尋ねてもよい。当該視聴者はさらに「私は牡牛座です」などと当該AIバーチャルライバーに応答してもよい。当該LLM562は、当該AIバーチャルライバーと当該視聴者間の当該会話を分析し、当該キーワード「牡牛座」を当該視聴者に関連付けてもよい。
【0079】
当該長期記憶部560はさらに、DB564など、当該キーワードと当該視聴者の関連付けを格納するための長期記憶DBを含んでもよい。一部の実施態様において、DB564は、Redisなどのデータベースであってもよい。Redisは、NoSQL(Not Only SQL)データベースに分類されるオープンソースのインメモリデータベース管理システムである。一部の実施態様において、長期記憶として情報を格納するために、他の適切なデータベースが使用されてもよい。一部の実施態様において、当該キーワードを含む当該会話は、json形式など特定のデータ形式に変換された後、当該DB564に格納されてもよい。
【0080】
当該長期記憶部560はさらに、長期記憶ユニット566を含んでもよい。当該長期記憶ユニット566は、当該DB564から情報を取得し、当該情報を当該推論システム502に送信してもよい。例えば、当該長期記憶ユニット566は、{「ユーザ名」:「クリス」、「星座」:「牡牛座」}という情報を当該DB564から取得して当該情報を当該推論システム502に送信してもよい。従って、当該推論システム502は、当該DB564内の当該情報に基づいて、当該コメントへの応答を推論してもよい。
【0081】
例えば、当該視聴者クリスは昨日該AIバーチャルライバーに自分の星座が「牡牛座」であると言い、翌日当該視聴者クリスが当該ライブストリーミングルームに入り、「今日の私の運勢は」と尋ねる。当該AIバーチャルライバーは、{「ユーザ名」:「クリス」、「星座」:「牡牛座」}という情報に基づいて応答してもよく、「こんにちは、クリス。牡牛座の今日の運勢はかなりいいです」と応答してもよい。つまり、当該AIバーチャルライバーは当該視聴者に関連する特定の情報を記憶することができる。したがって、当該AIバーチャルライバーと当該視聴者間の会話が促進され、ユーザエクスペリエンスが向上される可能性がある。
【0082】
一部の実施態様において、当該会話サーバ部500と当該ブロードキャスト部520間のコミュニケーションは、バックエンド570を介して実現されてもよい。一部の実施態様において、各部間の当該コミュニケーションは、Pub/Subなどのメッセージコミュニケーションサービス572を介して実現されてもよい。ここで、当該Pub/Subとは「パブリッシュ/サブスクライブ」を表し、これは1つのメッセージングコミュニケーションパターンである。コメント、贈り物、チャット履歴、音声データ、字幕などのメッセージは、Pub/Subパターンなどを介して異なる部間でリアルタイムに通信されてもよい。一部の実施態様において、他の適したメッセージングコミュニケーションパターンが柔軟に適用されてもよい。
【0083】
一部の実施態様において、当該ライブストリーミングルーム内のステータスが、当該バックエンド570およびメッセージコミュニケーションサービス572などを介して当該会話サーバ部500に供給されてもよい。当該ライブストリーミングルーム内の当該「ステータス」とは、例えば、当該AIバーチャルライバーの受領ポイント、配信時間の長さ、フォロワー数や登録者数などであってもよい。当該AIバーチャルライバーからの応答はさらに、当該ライブストリーミングルーム内の当該「ステータス」に基づいて生成されてもよい。例えば、当該AIバーチャルライバーがイベントに参加しており、受領ポイントが少ない場合、「イベントで勝つために贈り物をください」などの応答が生成されてもよい。
【0084】
一部の実施態様において、チャット履歴データウェアハウス574も、当該ライブストリーミングルーム内のAIバーチャルライバーと当該視聴者間の会話のチャット履歴を格納するために提供されてもよい。一部の実施態様において、当該チャット履歴データウェアハウス574は、社内のデータ管理・分析ウェアハウスであっても、BigQueryなどのサードパーティによって提供されるものであってもよい。一部の実施態様において、当該チャット履歴データウェアハウス574内の当該チャット歴はさらに柔軟に使用されてもよい。
【0085】
当該実施態様によれば、当該AIバーチャルライバーは、当該情報部540、および当該会話サーバ部500と長期記憶部560によりトレーニングされてもよい。従って、異なる感情プロンプトを有する固有のAIバーチャルライバーを得ることができる。当該実施態様によれば、当該AIバーチャルライバーと当該視聴者間の交流は、当該AIバーチャルライバーの感情に基づいて異なってもよい。当該視聴者からの交流が同じであっても、当該AIバーチャルライバーは異なる感情に基づいて異なる応答を生成してもよい。したがって、当該ライブストリーミングルーム内での楽しさが増し、ユーザエクスペリエンスが向上される可能性がある。
【0086】
図12は、本開示の一部の実施態様に基づく当該ライブストリーミングシステム1におけるライブストリーミングルーム画面600の例示的画面イメージの簡素化された機能的構成を示す。図12の当該画面600に示すように、当該視聴者が当該ライブストリーミングルームを選択して入室すると、当該AIバーチャルライバーのライブストリーミングルーム画面600がディスプレイ上に表示されてもよい。当該ライブストリーミングルーム画面600は、AIバーチャルライバー情報オブジェクト602、AIバーチャルライバー画像604、メッセージゾーン606、メッセージ入力ボックス608、贈り物オブジェクト610、共有オブジェクト612などを含んでもよい。
【0087】
一部の実施態様において、当該AIバーチャルライバーは、当該視聴者が当該ライブストリーミングルームに入室すると、挨拶を開始してもよい。例えば、当該AIバーチャルライバーは、当該視聴者が当該ライブストリーミングルームに入室したとき、「私のライブストリーミングルームへようこそ。あなたの星座は何ですか?」と言ってもよい。一部の実施態様において、当該AIバーチャルライバーは、当該視聴者がコメントなどを入力したとき、当該視聴者に応答してもよい。例えば、当該視聴者が「私は牡牛座です」と言った場合、当該AIバーチャルライバーは牡牛座の運勢などに関連する応答を生成してもよい。
【0088】
一部の実施態様において、当該AIバーチャルライバーはまた、特定の期間内に当該ライブストリーミングルームで交流がないことに応答して、自発的に会話またはトピックを生成してもよい。例えば、当該ライブストリーミングルーム内で5分間以上交流がない場合、当該AIバーチャルライバーから自発的に、「私がジョークを言いましょう」、または「今日の牡牛座の運勢をお教えします」などの会話が生成されてもよい。当該実施態様によれば、当該ライブストリーミングルームの人気が強化され、ユーザエクスペリエンスが向上される可能性がある。
【0089】
一部の実施態様において、当該視聴者からのコメント及び(または)当該AIバーチャルライバーからの応答を含む当該会話614は、AIブレイン620に送信されてもよい。当該AIブレイン620は、当該AIバーチャルライバーのブレインを指してもよく、感情の生成や応答の推論を行うように構成される。一部の実施態様において、当該AIブレイン620は、図11における当該会話サーバ部500を指してもよい。
【0090】
当該AIブレイン620は、環境情報、感情アルゴリズムなどの情報622を入力として受信してもよい。一部の実施態様において、当該会話は短期記憶部624に格納されてもよい。一部の実施態様において、特定の情報が長期記憶部626に格納されてもよい。当該AIブレイン620は、当該視聴者からのコメントに対する応答を生成し、当該応答をTTS628に送信してもよい。当該TTS628はさらに、当該応答をテキストデータから音声データに変換し、当該ライブストリーミングルーム内に表示してもよい。
【0091】
次に、上記構成を有するライブストリーミングシステム1の動作について説明する。図13は、本開示の一部の実施態様に基づく当該ライブストリーミングシステム1におけるアプリケーション有効化プロセスの工程を示すフローチャートである。ユーザがライブストリーミングルームに入室すると、当該ユーザは当該ユーザ端末による操作を実行し、当該AIバーチャルライバーと交流してもよい。一部の実施態様において、当該操作は、メッセージ送信、贈り物送信、フォロー、フォロー解除、投票、ゲームなどを含んでもよい。
【0092】
図13に示すように、当該処理ユニット306は、コンテキストスコア、ウィークスコア、ストックスコアなど、各パラメータのスコアを決定してもよい(S502、S504、S506)。一部の実施態様において、当該処理ユニット306は、並行して、または同時にスコアを決定してもよい。一部の実施態様において、当該処理ユニット306は、上記スコアのうち少なくとも1つを決定してもよい。また一部の実施態様において、当該処理ユニット306は、各スコアなどの重み付けを決定してもよい。
【0093】
当該処理ユニット306はさらに、当該コンテキストスコア、ウィークスコア、ストックスコアなどに基づいて、当該感情スコアを決定してもよい(S508)。一部の実施態様において、当該処理ユニット306は、当該コンテキストスコア、ウィークスコア、ストックスコアの合計を計算し、当該感情スコアの合計スコアを決定してもよい。一部の実施態様において、当該処理ユニット306は、各パラメータの重み付けを決定し、加重合計を計算して当該合計スコアを導き出してもよい。一部の実施態様において、当該パラメータ、重み付けなどの選択は、実際の必要性に応じて柔軟に決定されてもよい。
【0094】
当該処理ユニット306はさらに、当該感情スコアなどに基づいて、当該感情プロンプトを決定してもよい(S510)。一部の実施態様において、当該感情プロンプトは、当該感情スコアに基づいて、ルックアップテーブルなどから取得されてもよい。また、一部の実施態様において、当該感情プロンプトは、当該感情スコアに基づいて、機械学習技術などにより、生成されてもよい。例えば、当該感情スコアは高い場合、機械学習モデルによってポジティブな感情の感情プロンプトが生成されてもよい。
【0095】
当該処理ユニット306はさらに、当該感情プロンプトを当該AIバーチャルライバーデータベースに供給し、当該AIバーチャルライバーの感情を生成してもよい(S512)。例えば、当該感情プロンプトは、特定の感情の指示を含む文または段落であってもよく、特定の感情、性格、アクセントなどを有するAIバーチャルライバーを生成するために、当該推論システム502またはAIブレイン620に供給されてもよい。
【0096】
一部の実施態様において、当該感情は、当該会話サーバ部500により生成される当該応答に反映されてもよい。例えば、当該AIバーチャルライバーの感情がネガティブである場合、当該視聴者に占いを頼まれたとき、当該応答は「今日は占いはしたくないです」であってもよい。一部の実施態様において、当該感情は、毎日曜日に基づいて決定され、当該AIバーチャルライバーに供給されてもよい。また、当該感情は、例えば、毎日の昼間または夜間、毎時、毎分などに決定されてもよい。
【0097】
図14は、本開示の一部の実施態様に基づくシステム構成および処理を実行するためのコンピュータハードウェアの概略ブロック図である。図14に示す当該情報処理装置900は例えば、本開示の一部の実施態様に基づく当該サーバ10と当該ユーザ端末20、30をそれぞれ実現するように構成される。
【0098】
当該情報処理装置900は、CPU901と、リードオンリーメモリ(ROM)903、ランダムアクセスメモリ(RAM)905を含む。さらに、当該情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェイス913、入力ユニット915、出力ユニット917、ストレージユニット919、ドライブ921、接続ポート925、通信ユニット929を含んでもよい。当該情報処理装置900は、カメラなどの撮像装置(図示せず)を含んでもよい。CPU901は、本明細書中に記載されている構成要素により実現される機能を実現するためのハードウェア構成の例である。本明細書に記載されている機能は、当該記載された機能を実現するようにプログラムされた回路(circuitry)により実現されてもよい。本明細書に記載されている機能を実現するようにプログラムされた回路(circuitry)は、CPU(a Central Processing Unit)、DSP(Digital Signal Processor)、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs(Application Specific Integrated Circuits)、および/又はこれらの組合せを含む。本明細書において特定の機能を実現するユニット、は、当該機能を実現するようにプログラムされた回路として実現されてもよい。このユニットには、ストリーミングユニット100、視聴ユニット200、ビデオコントロールユニット102、オーディオコントロールユニット104、配信ユニット106、UIコントロールユニット108、UIコントロールユニット202、レンダリングユニット204、入力送信ユニット206、ストリーミング情報ユニット302、中継ユニット304、処理ユニット306、ストリームDB320、ユーザDB322、AIバーチャルライバーDB324を含むが、これらには限られない。
【0099】
当該CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージユニット919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、当該情報処理装置900の全体動作またはその一部の動作を制御する。例えば、当該CPU901は、上述した実施態様の当該サーバ10および当該ユーザ端末20、30に含まれる各機能ユニットの動作全般を制御する。当該ROM903は、当該CPU901が使用するプログラム、動作パラメータなどを記憶する。当該RAM905は、当該CPU901が実行する際に使用するプログラムや、当該プログラムを実行する際に適宜変化するパラメータを過渡的に記憶する。当該CPU901、当該ROM903、当該RAM905は、CPUバスなどの内部バスから構成されるホストバス907を介して互いに接続されている。当該ホストバス907は、当該ブリッジ909を介してペリフェラルコンポーネントインターコネクト/インターフェイス(PCI)バスなどの外部バス911に接続される。
【0100】
当該入力ユニット915は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバーなど、ユーザによって操作される装置である。当該入力ユニット915は、オーディオセンサ(マイクなど)、加速度センサ、傾斜センサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど、物理量を電気信号に変換する装置であってもよい。当該入力ユニット915は、例えば、赤外線や別の種類の電波を利用するリモートコントロール装置であってもよい。あるいは、当該入力ユニット915は、当該情報処理装置900の動作に対応する携帯電話などの外部接続端末927であってもよい。当該入力ユニット915は、ユーザから入力される情報に基づいて入力信号を生成し、生成した入力信号を当該CPU901に出力する入力制御回路を含む。ユーザは当該入力ユニット915を操作することにより、各種データを入力し、当該情報処理装置900に対する処理動作の指示を行う。
【0101】
当該出力ユニット917は、取得した情報をユーザに対して視覚的または聴覚的に報知することができる装置を含む。当該出力ユニット917は、例えば、LCD、PDP、OLEDなどのディスプレイ装置、スピーカー、ヘッドホンなどの音声出力装置、プリンタなどであってもよい。当該出力ユニット917は、当該情報処理装置900が実行する処理によって得られた結果を、テキスト、画像などの映像、音声などのサウンドの形で出力する。
【0102】
当該ストレージユニット919はデータストレージ用装置であり、当該情報処理装置900のストレージユニットの一例である。当該ストレージユニット919は、例えば、ハードディスクドライブ(HDD)などの磁気記憶装置、半導体記憶装置、光記憶装置、光磁気記憶装置などを含む。当該ストレージユニット919は、当該CPU901が実行するプログラムや各種データ、及び外部から取得された各種データを格納する。
【0103】
当該ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体923のリーダー/ライターであり、当該情報処理装置900に内蔵または外付けされる。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録された情報を読み出し、当該RAM905に出力する。当該ドライブ921は、装着された当該リムーバブル記録媒体923に記録を書き込む。
【0104】
当該接続ポート925は、当該情報処理装置900に機器を直接接続するために用いられるポートである。当該接続ポート925は、例えば、USB(ユニバーサルシリアルバス)ポート、IEEE1394ポート、またはSCSI(小型計算機システムインターフェイス)ポートであってもよい。当該接続ポート925は、RS-232Cポート、光オーディオ端子、HDMI(高精細度マルチメディアインターフェース(登録商標))ポートなどであってもよい。当該接続ポート925に外部接続端末927が接続されることにより、当該情報処理装置900と当該外部接続端末927間の各種データのやり取りが可能になる。
【0105】
当該通信ユニット929は、例えば、通信ネットワークNWに接続するための通信装置を含む通信インターフェイスである。当該通信ユニット929は、例えば、有線または無線のローカルエリアネットワーク(LAN)、Bluetooth(登録商標)、または、無線USB(WUSB)用の通信カードであってもよい。
【0106】
当該通信ユニット929は、例えば、光通信用のルータ、ADSL(非対称デジタル加入者線)用のルータ、または、各種通信用のモデムであってもよい。例えば、当該通信ユニット929は、TCP/IP等の所定のプロトコルを用いて、インターネットにおける信号の送受信や、他の通信装置との信号の送受信を行う。当該通信ユニット929が接続する当該通信ネットワークNWは、有線接続または無線接続により確立されたネットワークである。当該通信ネットワークNWは、例えば、インターネット、家庭内LAN、赤外線通信、電波通信、または衛星通信である。
【0107】
撮像装置(図示せず)は、例えば、CCD(電荷結合デバイス)やCMOS(相補型金属酸化膜半導体)などの撮像素子と、当該撮像素子上の被写体像の結像を制御するためのレンズなど各種部材を用いて現実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像しても、動画を撮像してもよい。
【0108】
以上、本開示のライブストリーミングシステム1について、実施形態を参照しながら説明した。上述の実施態様は、単に説明のために記載されたものである。むしろ、実施態様の上述した構成要素や処理を多様に組み合わせ、さまざまな変更がなされ得ることは、当業者であれば容易に想到し得ることであり、これらも本開示の技術的範囲に包含される。
【0109】
本明細書に記載された工程、特にフローチャートやフローチャートを用いて説明された工程は、工程を構成する工程の一部の省略、工程を構成する工程に明示的に含まれない工程の追加、及び(または)工程順序の並べ替えが可能である。このような省略、追加、並べ替えの対象となった工程も、本開示の要旨を逸脱しない限り、本開示の範囲に含まれる。
【0110】
一部の実施態様において、当該サーバ10が実行する機能の少なくとも一部は、当該サーバ10以外が実行してもよく、例えば、当該ユーザ端末20または30が実行するようにしてもよい。一部の実施態様において、当該ユーザ端末20または30が実行する機能の少なくとも一部を、当該ユーザ端末20または30以外が実行してもよく、例えば、当該サーバ10が実行するようにしてもよい。一部の実施態様において、フレーム画像のレンダリングは、視聴者、サーバ、ストリーマー等の当該ユーザ端末が実行するようにしてもよい。
【0111】
さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読ストレージ装置、またはコンピュータプログラム製品などで提供されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされるものとしてもよい。
【0112】
以上、本開示の技術的内容及び特徴を説明したが、本開示の属する技術分野において通常の知識を有する者であれば、本開示の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本開示の範囲は、既に開示された実施態様に限定されず、本開示から逸脱しない別の変形や修正を含む、後付の特許請求の範囲に含まれる範囲である。
【符号の説明】
【0113】
1 ライブストリーミングシステム
10 サーバ
20 ユーザ端末
100 ストリーミングユニット
102 ビデオコントロールユニット
104 オーディオコントロールユニット
106 配信ユニット
108 UIコントロールユニット
200 視聴ユニット
202 UIコントロールユニット
204 レンダリングユニット
206 入力ユニット
30、30a、30b ユーザ端末
302 ストリーミング情報ユニット
304 中継ユニット
306 処理ユニット
320 ストリームDB
322 ユーザDB
324 バーチャルライバーDB
326 コンテキストモデル
328 ウィークデートモデル
330 ストックモデル
332 感情ルックアップテーブル
500 会話サーバ部
502 推論システム
504 モデレーター
506 LLM
508 短期記憶ユニット
520 ブロードキャスト部
522 クライアント
524 カスタムスキン
530 TTS部
532 TTSテキスト読み上げユニット
540 情報部
542 デイリー情報コレクター
550 感情認識部
560 長期記憶部
562 LLM
564 DB
566 長期記憶ユニット
570 バックエンド
572 メッセージコミュニケーションサービス
574 チャット履歴データウェアハウス
600 画面
602 オブジェクト
604 画像
606 メッセージゾーン
608 メッセージ入力ボックス
610 贈り物オブジェクト
612 共有オブジェクト
613 字幕ゾーン
614 贈り物リスト
620 AIブレイン
622 情報
624 短期記憶部
626 長期記憶部
628 TTS
900 情報処理装置
901 CPU
903 ROM
905 RAM
907 ホストバス
909 ブリッジ
911 外部バス
913 インターフェイス
915 入力ユニット
917 出力ユニット
919 ストレージユニット
921 ドライブ
923 リムーバブル記録媒体
925 接続ポート
927 外部接続端末
929 通信ユニット
LS ライブストリーミング
LV ライブストリーマー
NW ネットワーク
SP 特定の部分
AU1、AU2 視聴者
S502~S512 工程
VD、VD1、VD2 映像
【要約】      (修正有)
【解決手段】ライブストリーミングシステムにおいて、サーバは、回路を含むサーバであって、当該回路が、機械学習モデルを介して仮想チャットボットを生成する機能と、当該仮想チャットボットの感情を決定する機能と、当該感情の情報を当該機械学習モデルに入力する機能と、当該仮想チャットボットをライブストリーミングルームに設定する機能と、を実行する。
【効果】本開示によれば、視聴者とAIバーチャルライバー間のコミュニケーションが改善され、さらに、AIバーチャルライバーがいるライブストリーミングプラットフォームの品質も改善され、ユーザエクスペリエンスが向上する。
【選択図】図13
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14