特許 7217905 ライブストリーミングデータを分類するためのシステム、方法、及びコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-01-27

(45)【発行日】2023-02-06

(54)【発明の名称】ライブストリーミングデータを分類するためのシステム、方法、及びコンピュータ可読媒体

(51)【国際特許分類】

   G06F 16/45 20190101AFI20230130BHJP

   G06F 16/65 20190101ALI20230130BHJP

   G06F 16/75 20190101ALI20230130BHJP

【ＦＩ】

G06F16/45

G06F16/65

G06F16/75

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2022034882

(22)【出願日】2022-03-08

【審査請求日】2022-05-23

【早期審査対象出願】

(73)【特許権者】

【識別番号】517287224

【氏名又は名称】１７ＬＩＶＥ株式会社

(74)【代理人】

【識別番号】100199277

【弁理士】

【氏名又は名称】西守 有人

(72)【発明者】

【氏名】アジャル ヘマンス クマー

(72)【発明者】

【氏名】ヤダフ シッツ

(72)【発明者】

【氏名】クマー ドゥルゲッシュ

(72)【発明者】

【氏名】タネージャ ハーディック

(72)【発明者】

【氏名】リン シー ボ

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】中国特許出願公開第１０１９３７４４５（ＣＮ，Ａ）

【文献】特開２００４－３６２５８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

サーバにおけるライブストリーミング番組にタグ付けするための方法であって、
前記サーバが、前記ライブストリーミング番組に対して第１の中間タグを生成する工程と、
前記サーバが、前記ライブストリーミング番組に対して第２の中間タグを生成する工程と、
前記サーバが、前記第１の中間タグと前記第２の中間タグに基づき、前記ライブストリーミング番組に対して最終タグを決定する工程と、
前記サーバが、前記第１の中間タグの生成と前記第２の中間タグの生成が、前記最終タグを決定するための所定の基準を満たしたことを判定する工程と、を含むことを特徴とする、ライブストリーミング番組にタグ付けするための方法。

【請求項2】

サーバにおけるライブストリーミング番組にタグ付けするための方法であって、
前記サーバが、前記ライブストリーミング番組に対して第１の中間タグを生成する工程と、
前記サーバが、前記ライブストリーミング番組に対して第２の中間タグを生成する工程と、
前記サーバが、前記第１の中間タグと前記第２の中間タグに基づき、前記ライブストリーミング番組に対して最終タグを決定する工程と、
前記サーバが、前記第１の中間タグが、連続して第１の所定回数にわたり生成されたことを判定する工程と、
前記サーバが、前記第２の中間タグが、連続して第２の所定回数にわたり生成されたことを判定する工程と、
を含み、
前記第１の所定回数にわたる前記第１の中間タグの連続生成と、前記第２の所定回数にわたる前記第２の中間タグの連続生成が、前記最終タグに対応する、ことを特徴とする、ライブストリーミング番組にタグ付けするための方法。

【請求項3】

前記所定の基準が、所定の期間内における、前記第１の中間タグと前記第２の中間タグの所定の配列を要求することを特徴とする、請求項１に記載のライブストリーミング番組にタグ付けするための方法。

【請求項4】

前記第１の中間タグの生成が、前記ライブストリーミング番組のデータを第１の機械学習モデルに入力し、前記第１の機械学習モデルからの出力として、前記第１の中間タグを取得することを含み、
前記第２の中間タグの生成が、前記ライブストリーミング番組のデータを第２の機械学習モデルに入力し、前記第２の機械学習モデルからの出力として、前記第２の中間タグを取得することを含み、
前記第１の中間タグと前記第２の中間タグの生成が、ユーザに対する前記ライブストリーミング番組の提供と同時に実行される、ことを特徴とする、請求項１に記載のライブストリーミング番組にタグ付けするための方法。

【請求項5】

サーバにおけるライブストリーミング番組にタグ付けするための方法であって、
前記サーバが、前記ライブストリーミング番組に対して第１の中間タグを生成する工程と、
前記サーバが、前記ライブストリーミング番組に対して第２の中間タグを生成する工程と、
前記サーバが、前記第１の中間タグと前記第２の中間タグに基づき、前記ライブストリーミング番組に対して最終タグを決定する工程と、
前記サーバが、前記最終タグに関して、前記第１の中間タグに対して第１の貢献度スコアを定義する工程と、
前記サーバが、前記最終タグに関して、前記第２の中間タグに対して第２の貢献度スコアを定義する工程と、
を含み、
前記最終タグの決定が、前記第１の貢献度スコアと前記第２の貢献度スコアの加重合計を算出することを含む、ことを特徴とする、ライブストリーミング番組にタグ付けするための方法。

【請求項6】

前記第１の中間タグが、より頻繁に生成されるに伴い、前記第１の貢献度スコアが増加する、ことを特徴とする、請求項５に記載のライブストリーミング番組にタグ付けするための方法。

【請求項7】

サーバにおけるライブストリーミング番組にタグ付けするための方法であって、
前記サーバが、前記ライブストリーミング番組に対して第１の中間タグを生成する工程と、
前記サーバが、前記ライブストリーミング番組に対して第２の中間タグを生成する工程と、
前記サーバが、前記第１の中間タグと前記第２の中間タグに基づき、前記ライブストリーミング番組に対して最終タグを決定する工程と、
前記サーバが、前記ライブストリーミング番組に対して複数の中間タグを生成する工程と、
前記サーバが、複数の候補タグのそれぞれに関して、各中間タグの貢献度スコアを定義する工程と、
前記サーバが、各候補タグに関する各中間タグの前記貢献度スコアに基づき、各候補タグに対して最終スコアを算出する工程と、
前記サーバが、前記最終スコアが最高の前記候補タグを前記最終タグとすることを決定する工程と、
を含むことを特徴とする、ライブストリーミング番組にタグ付けするための方法。

【請求項8】

前記第１の中間タグの生成が、物体認識プロセス、音楽認識プロセス、活動認識プロセス、モーション認識プロセス、背景認識プロセス、またはトピック認識プロセスを含むことを特徴とする、請求項１に記載のライブストリーミング番組にタグ付けするための方法。

【請求項9】

ライブストリーミング番組にタグ付けするためのシステムであって、１以上のプロセッサを含み、前記１以上のプロセッサは機械可読命令を実行することにより、
前記ライブストリーミング番組に対して第１の中間タグを生成することと、
前記ライブストリーミング番組に対して第２の中間タグを生成することと、
前記第１の中間タグと前記第２の中間タグに基づき、前記ライブストリーミング番組に対して最終タグを決定することと、
前記第１の中間タグの生成と前記第２の中間タグの生成が、前記最終タグを決定するための所定の基準を満たしたことを判定することと、
を行うことを特徴とする、ライブストリーミング番組にタグ付けするためのシステム。

【請求項10】

ライブストリーミング番組にタグ付けするためのプログラムを含む非一時的なコンピュータ可読媒体であって、前記プログラムは、１以上のコンピュータに、
前記ライブストリーミング番組に対して第１の中間タグを生成することと、
前記ライブストリーミング番組に対して第２の中間タグを生成することと、
前記第１の中間タグと前記第２の中間タグに基づき、前記ライブストリーミング番組に対して最終タグを決定することと、
前記第１の中間タグの生成と前記第２の中間タグの生成が、前記最終タグを決定するための所定の基準を満たしたことを判定することと、
を実行させることを特徴とする、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストリーミングデータの分類に関し、特に、ライブストリーミングデータの分類に関する。

【背景技術】

【0002】

ライブストリーミング番組に代表されるように、インターネット上におけるリアルタイムデータが日常生活に浸透している。さまざまなプラットフォームやプロバイダーがリアルタイムにデータにアクセスするサービスを提供しており、競争も激しい。そのため、コンテンツプロバイダーは、ユーザや視聴者に対して、視聴者ができるだけ長くそのプラットフォームに留まることができるように、望ましいコンテンツを効率的かつ的確に、生き生きと推薦することが重要である。レコメンデーションシステムにおいて重要な機能の１つに、コンテンツの分類がある。これは、特定の視聴者に適切なコンテンツをレコメンドする精度や効率を決定するものである。

【発明の概要】

【0003】

本発明の一実施態様による方法は、１または複数のコンピュータによって実行される、ライブストリーミング番組にタグ付けするための方法であって、当該ライブストリーミング番組に対する第１の中間タグを生成する工程と、当該ライブストリーミング番組に対する第２の中間タグを生成する工程と、当該第１の中間タグおよび当該第２の中間タグに従い、当該ライブストリーミング番組に対する最終タグを決定する工程と、を含む。

【0004】

本発明の一実施態様によるシステムは、ライブストリーミング番組にタグ付けするためのシステムであって、１以上のコンピュータプロセッサを含み、当該１以上のコンピュータプロセッサは、機械可読命令を実行して、当該ライブストリーミング番組に対する第１の中間タグを生成する工程と、当該ライブストリーミング番組に対する第２の中間タグを生成する工程と、当該第１の中間タグおよび当該第２の中間タグに従い、当該ライブストリーミング番組に対する最終タグを決定する工程と、を実行する。

【0005】

本発明の一実施態様によるコンピュータ可読媒体は、ライブストリーミング番組にタグ付けするためのプログラムを含む非一時的なコンピュータ可読媒体であって、当該プログラムが、１以上のコンピュータに、当該ライブストリーミング番組に対する第１の中間タグを生成する工程と、当該ライブストリーミング番組に対する第２の中間タグを生成する工程と、当該第１の中間タグおよび当該第２の中間タグに従い、当該ライブストリーミング番組に対する最終タグを決定する工程と、を実行させる。

【図面の簡単な説明】

【0006】

【図1】本発明の一部の実施態様に基づく通信システムの構成を示す概略図である。

【図2A】本発明の一部の実施態様に基づくサーバの例示的なブロック図である。

【図2B】図２Ａの生成された中間タグテーブル２０６の例示的データ構造を示す表である。

【図2C】図２Ａの基準データベース２０８の例示的データ構造を示す表である。

【図2D】図２Ａのストリームデータベース２０７の例示的データ構造を示す表である。

【図3】本発明の一部の実施態様に基づく分類方法を示す例示的なフローチャートである。

【図4】本発明の一部の実施態様に基づくライブストリーミングデータのタグ付けの例を示す概略図である。

【図5】本発明の一部の実施態様に基づくサーバの例示的なブロック図である。

【図6】図５の貢献度スコアテーブル２１０の例示的データ構造を示す表である。

【図7】本発明の一部の実施態様に基づく最終タグの決定の例を示す概略図である。

【発明を実施するための形態】

【0007】

インターネット上のライブデータを分類またはタグ付けするための従来の方法またはシステムは、機械学習モデルに依存してライブデータの種類の検出または分類を行っている。例えば、ライブデータを機械学習モデルに連続的に入力し、機械学習モデルがライブデータのカテゴリを出力として提供する。しかし、機械学習モデルの出力をそのままカテゴリ分類の結果とすることには対応が必要な課題があることがある。

【0008】

機械学習モデルのアルゴリズムは、機械がデジタルコンテンツを消化し、認識するように設計されているため、機械学習モデルの直接出力は、機械が理解しやすく、人間が理解しにくいものになる傾向がある。さらに、機械によって処理されるアルゴリズムの構築に関わる内在的な制限のため、機械学習モデルの出力は粒度が低くなる傾向があり、さまざまな目的のためにライブコンテンツにタグ付けするのには精度が十分ではない可能性がある。

【0009】

そのため、人間が理解しやすい形でライブデータを分類することが望まれている。ライブデータの分類処理の結果（ライブストリーミング番組のタグなど）は、その後のユーザ（ライブストリーミング番組の視聴者など）とのマッチング処理に利用される。例えば、ライブストリーミング番組のタグや視聴者のタグは、各ライブストリーミング番組と各ユーザ間の相関性、好感度、類似性を実現するために利用される。ユーザのタグは通常、例えば、ライブストリーミングサービス体験の開始時などに、ユーザが自分の属性を入力／伝達しやすいように、人間が理解できるタグが用いられる。したがって、ライブストリーミング番組のタグは、視聴者と正確かつ効率的にマッチングし、その視聴者に正確かつ効率的にレコメンドするために、人間が理解できることが望ましい。

【0010】

図１に本発明の一部の実施態様に基づく通信システムの構成を示す概略図を示す。

【0011】

通信システム１は、コンテンツを介したインタラクションを伴うライブストリーミングサービスを提供することができる。ここで言う「コンテンツ」とは、コンピュータ装置で再生可能なデジタルコンテンツを指す。つまり、通信システム１は、ユーザがオンラインで他のユーザとのリアルタイムのインタラクションに参加することを可能にする。通信システム１は、複数のユーザ端末１０と、バックエンドサーバ３０と、ストリーミングサーバ４０とを含む。ユーザ端末１０、バックエンドサーバ３０、及びストリーミングサーバ４０は、ネットワーク９０（例えばインターネットとしてもよい）を介して接続される。バックエンドサーバ３０は、ユーザ端末及び（または）ストリーミングサーバ４０との間のインタラクションを同期させるサーバとすることができる。一部の実施態様において、バックエンドサーバ３０は、アプリケーション（ＡＰＰ）プロバイダーのサーバとしてもよい。ストリーミングサーバ４０は、ストリーミングデータまたはビデオデータを取り扱う、または提供するためのサーバである。一部の実施態様において、バックエンドサーバ３０とストリーミングサーバ４０は、独立したサーバとしてもよい。一部の実施態様において、バックエンドサーバ３０とストリーミングサーバ４０は、１つのサーバに統合してもよい。一部の実施態様において、当該ユーザ端末１０は、ライブストリーミングサービスのためのクライアント装置である。一部の実施態様において、ユーザ端末１０は、視聴者、ストリーマー、アンカー、ポッドキャスター、オーディエンス、リスナーなどと呼ばれることがある。ユーザ端末１０、バックエンドサーバ３０、及びストリーミングサーバ４０はそれぞれ情報処理装置の一例である。一部の実施態様において、ストリーミングは、ライブストリーミングまたはビデオ再生とすることができる。一部の実施態様において、ストリーミングは、オーディオストリーミング及び（または）ビデオストリーミングとすることができる。一部の実施態様において、ストリーミングは、オンラインショッピング、トークショー、タレントショー、娯楽イベント、スポーツイベント、音楽ビデオ、映画、コメディ、コンサートなどのコンテンツを含むことができる。

【0012】

図２Ａに、本発明の一部の実施態様に基づくサーバの例示的なブロック図を示す。当該サーバ２０は、中間タグ生成ユニット２００と、最終タグ決定ユニット２０２と、モデルデータベース２０４と、生成された中間タグテーブル２０６と、ストリームデータベース２０７と、基準データベース２０８を含む。一部の実施態様において、当該サーバ２０は、図９の当該バックエンドサーバ３０または当該ストリーミングサーバ４０の一部、または、当該バックエンドサーバ３０または当該ストリーミングサーバ４０であってもよい。一部の実施態様において、当該中間タグ生成ユニット２００、当該最終タグ決定ユニット２０２、当該モデルデータベース２０４、当該生成された中間タグテーブル２０６、及び（または）当該基準データベース２０８のいずれも、バックエンドサーバ、ストリーミングサーバ、またはユーザ端末で実装することができる。

【0013】

図２Ｂに、図２Ａの生成された中間タグテーブル２０６の例示的データ構造を示す表を示す。当該タグテーブル２０６は、機械学習モデルの識別情報（例：モデルＩＤ）と、当該機械学習モデルに映像・音声データが入力されているライブストリーミングを識別するストリームＩＤと、当該機械学習モデルから出力される一連の生成された中間タグとを関連付けて格納する。当該中間タグには、その中間タグがいつ生成されたかを示すタイムスタンプが関連付けられている。

【0014】

図２Ｃに、図２Ａの基準データベース２０８の例示的データ構造を示す表を示す。当該基準データベース２０８は、最終タグを決定するための基準を格納するように構成される。各基準は、中間タグの配列または組み合わせの具体的な制限を含み、最終タグに対応する。

【0015】

図２Ｄに、図２Ａのストリームデータベース２０７の例示的データ構造を示す表を示す。当該ストリームデータベース２０７は、ライブストリーミングプラットフォーム上で視聴可能なライブストリーミングを識別するストリームＩＤ、当該ライブストリーミングを提供するストリーマーを識別するストリーマーＩＤ、当該ライブストリーミングを視聴している視聴者を識別する視聴者ＩＤ、当該最終タグ決定ユニット２０２により決定された当該ライブストリーミングの最終タグを関連付けて格納する。

【0016】

再び図２Ａに示すように、一部の実施態様において、当該中間タグ生成ユニット２００は、ライブストリーミング番組に対する中間タグを生成するように構成される。例えば、当該中間タグ生成ユニット２００は、当該モデルデータベース２０４に保存された機械学習モデルを利用して、当該ライブストリーミング番組に対する中間タグを生成してもよい。一部の実施態様において、中間タグは、機械学習モデルからの直接出力である。生成された中間タグは、当該生成された中間タグテーブル２０６に格納される。一部の実施態様において、当該中間タグ生成ユニット２００は、複数の機械学習モデルを利用して、ストリーミング番組に対する中間タグを並列的に生成してもよい。

【0017】

一部の実施態様において、当該最終タグ決定ユニット２０２は、当該ライブストリーミング番組に対する最終タグを決定するように構成される。例えば、当該最終タグ決定ユニット２０２は、当該生成された中間タグテーブル２０６と当該基準データベース２０８を参照し、生成された中間タグのいずれかの結果が当該基準データベース２０８のいずれかの基準を満たすか否かを判定してもよい。

【0018】

図２Ａに示す実施態様において、当該モデルデータベース２０４は、少なくとも、物体認識モデルＭＤ１、音楽認識モデルＭＤ２、活動認識モデルＭＤ３を含む。当該物体認識モデルＭＤ１は、一連のタグ［ドリンク、ギター、ギター、ギター...］を順に生成する。当該音楽認識モデルＭＤ２は、一連のタグ［カラオケ、トーク、カラオケ、カラオケ］を順に生成する。

【0019】

当該基準Ｃ１は、タグ「ギター」の生成回数が３回、タグ「カラオケ」の生成回数が２回であることを示す［ギター×３、カラオケ×２］という制限を含む。当該基準Ｃ１は、最終タグ「ギター 歌唱」に対応する。したがって、生成された中間タグテーブル２０６において、［ギター×３、カラオケ×２］の組み合わせが見つかった場合、当該最終タグ決定ユニット２０２は、最終タグを「ギター 歌唱」に決定する。

【0020】

基準はさらに、期間制限など他の制限を含んでもよい。例えば、当該基準Ｃ１は、３つの「ギター」タグまたは２つの「カラオケ」タグが連続して生成されなければならないことをさらに要求してもよい。例えば、基準Ｃ１は、３つの「ギター」タグまたは２つの「カラオケ」タグが特定の期間内に生成されなければならないことをさらに要求してもよい。

【0021】

図３に、本発明の一部の実施態様に基づく分類方法を示す例示的なフローチャートを示す。

【0022】

工程Ｓ３００において、当該中間タグ生成ユニット２００は、当該モデルデータベース２０４に格納されたモデルＭＤ１により、ライブストリーミング番組ＬＳ１に対する中間タグを生成する。生成された中間タグは、当該生成された中間タグテーブル２０６に記録される。

【0023】

工程Ｓ３０２において、当該中間タグ生成ユニット２００は、当該モデルデータベース２０４に格納されたモデルＭＤ２により、当該ライブストリーミング番組ＬＳ１に対する中間タグを生成する。生成された中間タグは、当該生成された中間タグテーブル２０６に記録される。

【0024】

工程３０４において、当該最終タグ決定ユニット２０２は、中間タグ（当該モデルＭＤ１から生成された中間タグと、当該モデルＭＤ２から生成された中間タグ）の配列（ａｒｒａｎｇｅｍｅｎｔ）が、最終タグ基準を満たすか否かを判定する。当該最終タグ決定ユニット２０２は、当該生成された中間タグテーブル２０６と当該基準データベース２０８を参照し、当該基準データベース２０８中のいずれかの基準が、当該生成された中間タグテーブル２０６に記録された当該中間タグの配列によって満たされているか否かを判定する。「はい」の場合、フローは工程Ｓ３０６に進む。「いいえ」の場合、フローは工程Ｓ３００と工程Ｓ３０２に戻り、中間タグの生成が継続される。

【0025】

例えば、当該基準データベース２０８中の基準Ｃ１（最終タグ「ギター 歌唱」に対応）は、モデルＭＤ１からの中間タグ（「ギター」）が３回連続で生成され、モデルＭＤ２からの中間タグ（「カラオケ」）が２回連続で生成されることを要求してもよい。その基準が満たされるためには、当該最終タグ決定ユニット２０２が、モデルＭＤ１からの中間タグ（「ギター」）が３回連続で生成されたと判定し、かつモデルＭＤ２からの中間タグ（「カラオケ」）が２回連続で生成されたと判定する。

【0026】

工程Ｓ３０６において、当該最終タグ決定ユニット２０２は、工程Ｓ３０４で満たされた当該基準に基づき、当該最終タグを決定する。当該最終タグは、当該基準データベース２０８中の満たされた当該基準に対応する。当該最終タグ決定ユニット２０２は、決定された当該最終タグを当該ストリームデータベース２０７に格納する。その後、フローは工程Ｓ３００と工程Ｓ３０２に戻り、中間タグの生成が継続される。

【0027】

図４に、本発明の一部の実施態様に基づくライブストリーミングデータのタグ付けの例を示す概略図を示す。図４に示すライブストリーミングデータのタグ付けプロセスは、視聴者に対する当該ライブストリーミングの提供と並行して実行される。つまり、当該タグ付けプロセスは、リアルタイムで実行される。ストリーマーが当該ライブストリーミングを生成し、視聴者が当該ライブストリーミングを視聴している間、モデルは連続的に当該ライブストリーミングを入力として取り込み、当該中間タグを出力する。

【0028】

図４に示すように、当該ライブストリーミングデータは、映像コンテンツと音声コンテンツを含む。当該ライブストリーミングデータは、物体モデル（物体認識モデル）と音楽モデル（音楽認識モデル）に入力される。本実施態様において、物体モデルは映像コンテンツを入力とし、音楽モデルは音声コンテンツを入力とする。３０秒ごとに、物体モデルは中間タグ（物体タグシーケンスに対応）を生成し、音楽モデルは中間タグ（音楽タグシーケンスに対応）を生成する。それらの中間タグは、図２Ａに示す当該生成された中間タグテーブル２０６に記録されてもよい。

【0029】

その後、当該最終タグ決定ユニット２０２は、生成された当該中間タグを監視し、当該基準データベース２０８に格納された最終タグの基準と比較する。図４に示すように、物体モデルにより連続して生成された３つの「ギター」タグと、音楽モデルにより連続して生成された２つの「カラオケ」タグが検出されたため、最終タグは（図２Ａに示す基準データベース２０８中の基準Ｃ１に対応する）「ギター 歌唱」と決定される。

【0030】

一部の実施態様において、異なるモデルから生成される中間タグは、時間順で生成されても、並行して生成されてもよい。

【0031】

一部の実施態様において、２つを超えるモデルから生成された中間タグが、最終タグの決定に使用されてもよい。その場合、最終タグの基準は、２つを超えるモデルからの中間タグの配列を必要とすることができる。例えば、最終タグを「ギター 歌唱」に決定するために、３つのモデルが関与する基準は、物体モデルが３つの「ギター」中間タグを生成し、音楽モデルが２つの「カラオケ」中間タグを生成し、活動モデルが２つの「ギター 演奏」中間タグを生成することを要求してもよい。物体モデルと音楽モデルのみが関与する上述の基準と比較して、３つのモデルが関与する基準では、背景にギターが吊り下げられている状態（演奏しない）でストリーマーが歌うシナリオは除外される可能性がある。３つのモデルが関与する基準では、最終タグ「ギター 歌唱」に対応する、ギターを再生しながらストリーマーが歌唱するコンテンツをより正確に選ぶことができる。したがって、最終タグの決定に多くのモデルを関与させることで、分類プロセスにおいて、よりきめ細かく、より正確な結果を提供することができる。

【0032】

最終タグと中間タグを対応させる基準は、実務、目的、用途に応じて定義することができる。ＡIまたは機械学習モデル（強化学習モデルなど）を利用して、基準において必要な中間タグの配列や組み合わせを定義してもよい。例えば、既知のストリーミングコンテンツと決定された最終タグを用いて機械学習モデルを訓練することにより、モデルは、最終タグの基準におけるパラメーターを調整または最適化することを学習してもよい。パラメーターには、関与するモデル、中間タグの数、または中間タグの配列が含まれてもよい。

【0033】

一部の実施態様において、利用可能なライブストリーミング番組に対して決定された当該最終タグは、ユーザへのライブストリーミング番組のレコメンドに使用される。例えば、レコメンデーションユニット（バックエンドサーバやストリーミングサーバに実装可能）は、当該ストリームデータベース２０７中の最終タグとユーザデータベース中のユーザタグ（バックエンドサーバに実装可能）を利用して、各ライブストリーミング番組と各ユーザの間の記類似度係数を判定または計算することができる。当該記類似度係数は、特定のユーザに対してライブストリーミング番組をレコメンドする際の優先順位を決定するために使用することができる。

【0034】

図５に本発明の一部の実施態様に基づくサーバの例示的なブロック図を示す。図２に示す当該サーバ２０と比較して、図５に示す当該サーバ２２はさらに、貢献度スコアテーブル２１０を含む。一部の実施態様において、当該サーバ２２は、図１の当該バックエンドサーバ３０または当該ストリーミングサーバ４０の一部、または、当該バックエンドサーバ３０または当該ストリーミングサーバ４０であってもよい。

【0035】

一部の実施態様において、当該貢献度スコアテーブルは、候補タグ（または最終タグ候補）に対して、機械学習モデルから生成された中間タグの貢献度スコアを判定または定義するように構成される。例えば、当該物体モデルから生成された「ギター」という中間タグは、候補タグ「ギターと歌唱」に対して、貢献度スコア５が付与される。

【0036】

図６に、図５の貢献度スコアテーブル２１０の例示的データ構造を示す表を示す。図７に、本発明の一部の実施態様に基づく最終タグの決定の例を示す概略図を示す。

【0037】

図６と７に示すように、標的のライブストリーミングデータは、ストリーマーが歌唱し、ギターを演奏するコンテンツを有する。当該ライブストリーミングデータは、物体モデル、音楽モデル、活動モデルに入力され、中間タグが生成される。このプロセスは、例えば、当該中間タグ生成ユニット２００により実行されてもよい。当該物体モデルは、「ギター、マイク、...」という中間タグシーケンスを生成する。当該音楽モデルは、「ギターサウンド、カラオケ、...」という中間タグシーケンスを生成する。当該活動モデルは、「ギター演奏、...」という中間タグシーケンスを生成する。

【0038】

これらモデルにより生成された中間タグと、当該貢献度スコアテーブル２１０に基づいて、各候補タグの最終スコアが算出される。このプロセスは、例えば、当該最終タグ決定ユニット２０２により実行されてもよい。異なる実施態様では、中間タグから最終スコアを算出する異なる方法を実施してもよい。例えば、一部の実施態様において、各候補タグに関する中間タグの貢献度スコアの加重合計が、当該候補タグの最終スコアを提供するために計算される。一部の実施態様において、最も高い最終スコアを有する当該候補タグが、最終タグになることが決定される。このプロセスは、例えば、当該最終タグ決定ユニット２０２により実行されてもよい。一部の実施態様において、当該最終スコアの算出には、特定の（または所定の）期間内に生成された中間タグが関与してもよい。

【0039】

図６と７に示す実施態様において、当該中間タグの貢献度スコアの均等加重合計が、当該候補タグの最終スコアの算出に利用される。当該候補タグ「ギターと歌唱」は、最終スコアが２２であり、これは、５（物体モデルの中間タグ「ギター」から）＋４（物体モデルの中間タグ「マイク」から）＋５（音楽モデルの中間タグ「ギターサウンド」から）＋４（音楽モデルの中間タグ「カラオケ」から）＋４（活動モデルの中間タグ「ギター演奏」から）で算出（または貢献）されたものである。同様の計算論理で、候補タグ「ダンスと歌唱」の最終スコアは１１、候補タグ「純粋なおしゃべり」の最終スコアは７となる。

【0040】

この実施態様において、最終スコアが最も高い（２２）候補タグ（「ギターと歌唱」）が、当該ライブストリーミングデータの最終タグに決定される。このプロセスは、最終タグ決定ユニット２０２により実行されてもよい。

【0041】

一部の実施態様において、候補タグの最終スコアを算出する際に、中間タグの出現頻度が考慮されてもよい。例えば、（特定のモデルから生成された、特定の候補タグに対する）特定の中間タグの貢献度スコアは、当該中間タグがより頻繁に生成されるに伴い増加するように定義されてもよい。例えば、より頻繁に生成される中間タグに対して、より高い重みが付与されてもよい。これにより、紹介文やノイズの要因を防ぎ、より正確な、あるいはより公平な最終スコア結果が得られる可能性がある。

【0042】

ある候補タグに対する中間タグの貢献度スコアは、実際の運用、目的、あるいは用途に応じて定義されてもよい。中間タグの貢献度スコアからある候補タグの最終スコアを算出する方法は、実際の運用、目的、または用途に応じて決定されてもよい。ＡIまたは機械学習モデル（強化学習モデルなど）を利用して、当該貢献度スコアまたは当該最終スコアの算出方法を定義してもよい。例えば、既知のストリーミングコンテンツと決定された最終タグを用いて機械学習モデルを訓練することにより、モデルは、貢献度スコアまたは最終スコアの算出方法の定義を最適化することを学習してもよい。

【0043】

一部の実施態様において、当該中間タグの生成に使用される当該モデルは、物体認識モデル、音楽認識モデル、活動認識モデル、モーション認識モデル、背景認識モデル及び（または）トピック認識モデルを含んでもよい。中間タグの生成は、物体認識プロセス、音楽認識プロセス、活動認識プロセス、モーション認識プロセス、背景認識プロセス及び（または）トピック認識プロセスが関与してもよい。一部の実施態様において、物体モデルは、ライブストリーミングデータに含まれる髪や顔などの人体部位も認識する。

【0044】

一部の実施態様において、モデルは、ライブストリーミングデータの一部のみを入力としてもよい。例えば、物体認識モデルは、ライブストリーミングデータからの画像データを入力としてもよい。音楽認識モデルは、ライブストリーミングデータからの音声データを入力としてもよい。トピック認識モデルは、ライブストリーミングデータからのテキストまたは音声データを入力としてもよい。一部の実施態様において、それにより、ライブストリーミングデータを分類する際のリソースを節約し、効率を向上させることができる。

【0045】

本発明は、複数のモデルを用いてライブストリーミング番組を分類するための方法およびシステムを開示するものである。したがって、よりきめ細かい、正確な、人間が理解しやすい結果を達成することができ、その後のレコメンデーション結果をさらに改善することができる。

【0046】

本発明で説明した処理及び手順は、明示的に説明したものに加えて、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせにより実現することができる。例えば、本明細書で説明した処理および手順は、その処理および手順に対応するロジックを集積回路、揮発性メモリ、不揮発性メモリ、非一時的なコンピュータ可読媒体、磁気ディスクなどの媒体に実装することにより実現することができる。さらに、本明細書に記載された処理および手順は、その処理および手順に対応するコンピュータプログラムとして実現することができ、各種のコンピュータにより実行することができる。

【0047】

さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読媒体に格納されたプログラムに統合されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされ、プロセッサにより実行されるものとしてもよい。

【0048】

以上、本発明の技術的内容及び特徴を説明したが、本発明の属する技術分野において通常の知識を有する者であれば、本発明の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本発明の範囲は、既に開示された実施態様に限定されず、本発明から逸脱しない別の変形や修正を含み、特許請求の範囲に含まれる範囲である。

【符号の説明】

【0049】

１ 通信システム
１０ ユーザ端末
３０ バックエンドサーバ
４０ ストリーミングサーバ
９０ ネットワーク
２０ サーバ
２２ サーバ
２００ 中間タグ生成ユニット
２０２ 最終タグ決定ユニット
２０４ モデルデータベース
２０６ 生成された中間タグテーブル
２０７ ストリームデータベース
２０８ 基準データベース
２１０ 貢献度スコアテーブル
ＭＤ１、ＭＤ２、ＭＤ３ 機械学習モデル
Ｃ１、Ｃ２、Ｃ３基準
Ｓ３００、Ｓ３０２、Ｓ３０４、Ｓ３０６ 工程
ＬＳ１ ストリームＩＤ

【要約】      （修正有）

【課題】よりきめ細かく正確にコンテンツを分類する方法、ライブストリーミングデータにタグ付けするシステム及びコンピュータ可読媒体を提供する。
【解決手段】方法は、ライブストリーミング番組に対して第１の中間タグを生成する工程と、ライブストリーミング番組に対して第２の中間タグを生成する工程と、第１の中間タグ及び第２の中間タグに従い、ライブストリーミング番組に対する最終タグを決定する工程と、を含む。
【選択図】図１

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】