特許 7469491 ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラム

(51)【国際特許分類】

   H04N 21/2668 20110101AFI20240409BHJP

   H04N 21/258 20110101ALI20240409BHJP

【ＦＩ】

H04N21/2668

H04N21/258

【請求項の数】 13

(21)【出願番号】P 2022551416

(86)(22)【出願日】2020-09-24

(65)【公表番号】

(43)【公表日】2023-04-12

(86)【国際出願番号】 CN2020117391

(87)【国際公開番号】W WO2022000826

(87)【国際公開日】2022-01-06

【審査請求日】2022-08-25

(31)【優先権主張番号】202010600691.4

(32)【優先日】2020-06-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(72)【発明者】

【氏名】史 南勝

(72)【発明者】

【氏名】謝 馬林

(72)【発明者】

【氏名】曹 ▲ジャオ▼

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２００３－１７９９０８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０４４６０５６（ＣＮ，Ａ）

【文献】特開２０１４－０７５７４３（ＪＰ，Ａ）

【文献】特開２０１３－１４１０５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

一つのライブイベントに対するマルチチャンネルビデオストリームを取得することと、
前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することと、
クライアントからのビデオ要求メッセージに応答して、前記クライアントの特徴情報を決定することと、
前記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ前記クライアントの特徴情報とマッチングすることにより、前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度を取得することと、
前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に基づいて、前記マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して前記クライアントにプッシュすることと、を含み、
前記クライアントの特徴情報を決定することは、
複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることを含み、
前記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ前記クライアントの特徴情報とマッチングすることは、
前記ラベル関連ライブラリに基づいて、前記各チャンネルのビデオストリームの各ビデオラベルと前記クライアントの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定し、かつ前記関連重みに基づいて前記各ビデオラベルの総合重みを決定することと、
前記各ビデオラベルのプリセット評価を取得することと、
前記各ビデオラベルの総合重みをそれぞれ利用し、前記各チャンネルのビデオストリームのビデオラベルのプリセット評価に加重加算を行うことにより、前記各チャンネルのビデオストリームの前記クライアントに関するマッチング程度を取得することと、を含む
ビデオストリーム処理方法。

【請求項2】

前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、
前記マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得することと、
前記撮像カメラ位置情報に基づいて、前記各チャンネルのビデオストリームの第一ビデオラベルを決定することと、を含む
請求項１に記載の方法。

【請求項3】

前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、
前記各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出することと、
前記少なくとも一つのフレームの画像に基づいて、前記ビデオストリームの内容情報を決定することと、
前記内容情報に基づいて、前記各チャンネルのビデオストリームの第二ビデオラベルを決定することと、をさらに含む
請求項２に記載の方法。

【請求項4】

前記内容情報に基づいて、前記各チャンネルのビデオストリームの第二ビデオラベルを決定することは、
前記内容情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第一類似度を計算することと、
前記第一類似度に基づいて前記複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、前記各チャンネルのビデオストリームの第二ビデオラベルとすることと、を含む
請求項３に記載の方法。

【請求項5】

前記クライアントの特徴情報を決定することは、
前記クライアントからのカスタマイズ配置情報を受信することと、
前記カスタマイズ配置情報に基づいて、前記クライアントの少なくとも一つの配置ラベルを決定し、前記クライアントの特徴情報とすることと、を含む
請求項２又は３に記載の方法。

【請求項6】

前記カスタマイズ配置情報に基づいて、前記クライアントの少なくとも一つの配置ラベルを決定することは、
前記カスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算することと、
前記第二類似度に基づいて前記複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、前記クライアントの少なくとも一つの配置ラベルとすることと、を含む
請求項５に記載の方法。

【請求項7】

前記クライアントの特徴情報を決定することは、
前記クライアントのユーザ属性データ及びユーザ行動データを取得することと、
前記ユーザ属性データ及び前記ユーザ行動データに基づいて、前記クライアントが属するユーザカテゴリを決定することと、
前記ユーザカテゴリに基づいて、前記クライアントの少なくとも一つのユーザラベルを決定することと、をさらに含む
請求項２又は３に記載の方法。

【請求項8】

複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることをさらに含み、
前記ユーザカテゴリに基づいて、前記クライアントの少なくとも一つのユーザラベルを決定することは、前記ユーザラベルライブラリから前記ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、前記少なくとも一つのユーザラベルとすることを含む
請求項７に記載の方法。

【請求項9】

前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に基づいて、前記マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して前記クライアントにプッシュすることは、
前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、前記マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを前記クライアントにプッシュすることを含む
請求項１に記載の方法。

【請求項10】

一つのライブイベントに対するマルチチャンネルビデオストリームを取得するための取得モジュールと、
前記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するための第一決定モジュールと、
クライアントからのビデオ要求メッセージに応答して、前記クライアントの特徴情報を決定するための第二決定モジュールと、
前記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ前記クライアントの特徴情報とマッチングすることにより、前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度を取得するためのマッチングモジュールと、
前記マルチチャンネルビデオストリームのそれぞれの前記クライアントに関するマッチング程度に基づいて、前記マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して前記クライアントにプッシュするためのプッシュモジュールと、を含み、
前記第二決定モジュールが前記クライアントの特徴情報を決定することは、
複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることを含み、
前記マッチングモジュールが前記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ前記クライアントの特徴情報とマッチングすることは、
前記ラベル関連ライブラリに基づいて、前記各チャンネルのビデオストリームの各ビデオラベルと前記クライアントの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定し、かつ前記関連重みに基づいて前記各ビデオラベルの総合重みを決定することと、
前記各ビデオラベルのプリセット評価を取得することと、
前記各ビデオラベルの総合重みをそれぞれ利用し、前記各チャンネルのビデオストリームのビデオラベルのプリセット評価に加重加算を行うことにより、前記各チャンネルのビデオストリームの前記クライアントに関するマッチング程度を取得することと、を含む
ビデオストリーム処理装置。

【請求項11】

コンピュータ命令が記憶されるメモリと、
少なくとも一つのプロセッサと、を含み、
前記プロセッサが前記コンピュータ命令を実行する場合に請求項１～９のいずれか一項に記載の方法を実現する
コンピュータ機器。

【請求項12】

プロセッサにより実行される時に請求項１～９のいずれか一項に記載の方法を実現するコンピュータ命令が記憶される
コンピュータ可読記憶媒体。

【請求項13】

コンピュータ実行可能な命令を含み、前記命令が実行される時に請求項１～９のいずれか一項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、出願日が２０２０年６月２８日であり、出願番号がＣＮ２０２０１０６００６９１.４である中国特許出願の優先権を請求し、その内容を併せてここに参考とする。

【0002】

本開示は、クラウドプラットフォーム分野に関し、より具体的には、ビデオストリーム処理方法、装置、コンピュータ機器、媒体およびプログラムに関する。

【背景技術】

【0003】

インターネット技術及びスマート移動端末機器の発展に伴い、様々なインターネット製品は、人々の仕事、生活に多くの便利及び面白さをもたらす。近年、様々なビデオライブのためのライブプラットフォームが次々と現れ、ビデオライブは人々に、よりリアルタイムで、興趣性を有する視聴体験及びソーシャル体験をもたらすことができる。ライブ需要の多様性に鑑み、複数のカメラ位置かつ多角度のライブはライブ内容を豊富にし、ライブシーンの雰囲気を盛り上げることができる。一般的に、同一のライブイベントに対して、マルチチャンネルビデオストリーム、例えば異なる撮像カメラ位置から撮像されたマルチチャンネルビデオストリーム、ライブシーンにおける異なるターゲットを撮像して得られたマルチチャンネルビデオストリーム等が存在することができる。マルチチャンネルビデオストリームの放送制御は、ユーザのライブ視聴体験に直接的に影響を与える。

【発明の概要】

【0004】

これに鑑みて、本開示は、ビデオストリーム処理方法、装置、コンピュータ機器及び媒体を提供する。

【0005】

本開示の一態様は、ビデオストリーム処理方法を提供し、一つのライブイベントに対するマルチチャンネルビデオストリームを取得することと、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することと、を含む。クライアントからのビデオ要求メッセージに応答して、該クライアントの特徴情報を決定する；マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得する；かつ、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。

【0006】

本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は、少なくとも一つのビデオラベルを含み、上記少なくとも一つのビデオラベルは第一ビデオラベルを含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得することと、各チャンネルのビデオストリームの撮像カメラ位置情報に基づいて、各チャンネルのビデオストリームの第一ビデオラベルを決定することと、を含む。

【0007】

本開示の実施例によれば、上記少なくとも一つのビデオラベルはさらに第二ビデオラベルを含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報を決定することは、各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出することと、各チャンネルのビデオストリームの少なくとも一つのフレームの画像に基づいて、各チャンネルのビデオストリームの内容情報を決定することと、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することと、さらに含む。

【0008】

本開示の実施例によれば、上記方法は、複数の候補ビデオラベルを含むビデオラベルベースをプリセットすることをさらに含む。上記各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することは、各チャンネルのビデオストリームに対して、該ビデオストリームの内容情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第一類似度を計算することと、第一類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該ビデオストリームの第二ビデオラベルとすることと、を含む。

【0009】

本開示の実施例によれば、上記クライアントの特徴情報を決定することは、該クライアントからのカスタマイズ配置情報を受信することと、カスタマイズ配置情報に基づいて、該クライアントの少なくとも一つの配置ラベルを決定し、該クライアントの特徴情報とすることと、を含む。

【0010】

本開示の実施例によれば、上記方法は、複数の候補ビデオラベルを含むビデオラベルベースをプリセットすることをさらに含む。上記カスタマイズ配置情報に基づいて、クライアントの少なくとも一つの配置ラベルを決定することは、カスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算することと、第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該クライアントの少なくとも一つの配置ラベルとすることと、を含む。

【0011】

本開示の実施例によれば、上記クライアントの特徴情報を決定することは、該クライアントのユーザ属性データ及びユーザ行動データを取得することと、ユーザ属性データ及びユーザ行動データに基づいて、該クライアントが属するユーザカテゴリを決定することと、該クライアントが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定することとを含む。

【0012】

本開示の実施例によれば、上記方法は、複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることをさらに含む。上記クライアントが属するユーザカテゴリに基づいて、クライアントの少なくとも一つのユーザラベルを決定することは、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとすることを含む。

【0013】

本開示の実施例によれば、上記方法は、複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることをさらに含む。上記マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントの特徴情報とマッチングすることは、各チャンネルのビデオストリームに対して、ラベル関連付けライブラリに基づいて、該ビデオストリームの少なくとも一つのビデオラベルの各ビデオラベルと該クライアントの少なくとも一つのユーザラベルの各ユーザラベルとの間の関連重みを決定し、かつ該関連重みに基づいて各ビデオラベルの総合重みを決定することと、前記少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得することと、それぞれ該ビデオストリームの少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリームの少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリームの該クライアントに関するマッチング程度を取得することと、を含む。

【0014】

本開示の実施例によれば、上記マルチチャンネルビデオストリームのそれぞれのクライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュすることは、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを該クライアントにプッシュすることを含む。

【0015】

本開示の他の態様は、ビデオストリーム処理装置を提供し、取得モジュール、第一決定モジュール、第二決定モジュール、マッチングモジュール及びプッシュモジュールを含む。取得モジュールは、一つのライブイベントに対するマルチチャンネルビデオストリームを取得するために用いられる。第一決定モジュールは、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するために用いられる。第二決定モジュールは、クライアントからのビデオ要求メッセージに応答し、該クライアントの特徴情報を決定するために用いられる。マッチングモジュールは、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得するために用いられる。プッシュモジュールは、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュするために用いられる。

【0016】

本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は少なくとも一つのビデオラベルを含み、上記少なくとも一つのビデオラベルは第一ビデオラベルを含む。第一決定モジュールは、マルチチャンネルビデオストリームのうちの各チャンネルのビデオストリームの撮像カメラ位置情報を取得する；かつ、各チャンネルのビデオストリームの撮像カメラ位置情報に基づいて、各チャンネルのビデオストリームの第一ビデオラベルを決定するために用いられる第一配置サブモジュールを含む。

【0017】

本開示の実施例によれば、上記少なくとも一つのビデオラベルはさらに第二ビデオラベルを含む。第一決定モジュールは、さらに、各チャンネルのビデオストリームから少なくとも一つのフレームの画像を抽出する；各チャンネルのビデオストリームの少なくとも一つのフレームの画像に基づいて、各チャンネルのビデオストリームの内容情報を決定する；かつ、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定するために用いられる第一分析サブモジュールを含む。

【0018】

本開示の実施例によれば、上記装置は、複数の候補ビデオラベルを含むビデオラベルライブラリをプリセットするプリセットモジュールをさらに含む。上記第一分析サブモジュールは、各チャンネルのビデオストリームの内容情報に基づいて、各チャンネルのビデオストリームの第二ビデオラベルを決定することは、第一計算ユニットが各チャンネルのビデオストリームに対して、該ビデオストリームの内容情報と複数の候補ビデオラベルの各候補ビデオラベルとの間の第一類似度を計算するために用いられることと、第一選択ユニットが第一類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該ビデオストリームの第二ビデオラベルとするために用いられることと、を含む。

【0019】

本開示の実施例によれば、第二決定モジュールは、該クライアントからのカスタマイズ配置情報を受信する；かつ、カスタマイズ配置情報に基づいて、該クライアントの少なくとも一つの配置ラベルを決定し、該クライアントの特徴情報とする第二配置サブモジュールを含む。

【0020】

本開示の実施例によれば、上記装置は、複数の候補ビデオラベルを含むビデオラベルライブラリをプリセットするプリセットモジュールをさらに含む。上記第二配置サブモジュールがカスタマイズ配置情報に基づいて、クライアントの少なくとも一つの配置ラベルを決定することは、第二計算ユニットがカスタマイズ配置情報と複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算するために用いられることと；第二選択ユニットが第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、該クライアントの少なくとも一つの配置ラベルとするために用いられることと、を含む。

【0021】

本開示の実施例によれば、第二決定モジュールは、第二分析サブモジュールを含み、該クライアントのユーザ属性データ及びユーザ行動データを取得するために用いられる；ユーザ属性データ及びユーザ行動データに基づいて、該クライアントが属するユーザカテゴリを決定する；かつ、該クライアントが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定するために用いられる。

【0022】

本開示の実施例によれば、上記装置はさらにプリセットモジュールを含み、複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むユーザラベルライブラリをプリセットすることに用いられる。第二分析サブモジュールがクライアントが属するユーザカテゴリに基づいて、クライアントの少なくとも一つのユーザラベルを決定することは、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとするために用いられる照会ユニットを含む。

【0023】

本開示の実施例によれば、上記装置はさらにプリセットモジュールを含み、複数のビデオラベルのうちのいずれも一つのビデオラベルと複数のユーザラベルのうちのいずれも一つのユーザラベルとの間の関連重みを含むラベル関連ライブラリをプリセットすることに用いられる。マッチングモジュールは、各チャンネルのビデオストリームに対して、ラベル関連ライブラリに基づいて、該ビデオストリームの少なくとも一つのビデオラベルの各ビデオラベルと該クライアントの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定し、かつ該関連重みに基づいて各ビデオラベルの総合重みを決定するために用いられる決定サブモジュールと、前記少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得するために用いられる取得サブモジュールと、それぞれ該ビデオストリームの少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリームの少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリームの該クライアントに関するマッチング程度を取得するために用いられるマッチングサブモジュールと、を含む。

【0024】

本開示の実施例によれば、プッシュモジュールは具体的にはマルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームのうちの最も高いマッチング程度を有するビデオストリームを該クライアントにプッシュするために用いられる。

【0025】

本開示の他の態様はコンピュータ機器を提供し、メモリ、プロセッサ及びメモリに記憶されかつプロセッサに実行可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行する時に上記のような方法を実現する。

【0026】

本開示の他の態様はコンピュータ可読記憶媒体を提供し、コンピュータ実行可能な命令を記憶し、前記命令が実行される時に上記のような方法を実現する。

【0027】

本開示の他の態様はコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ実行可能な命令を含み、前記命令が実行される時に上記のような方法を実現する。

【0028】

本開示の実施例に係るビデオストリーム処理方法は同じライブイベントにマルチチャンネルビデオストリームが存在するシーンで、複数のクライアントの各クライアントに対して、それぞれ各チャンネルのビデオストリームと該クライアントの特徴情報をマッチングすることにより、マルチチャンネルビデオストリームのそれぞれと該クライアントとの間の適合程度を決定する。それによりマルチチャンネルビデオストリームから該クライアントに最も適合するビデオストリームを選択して該クライアントにプッシュすることができる。本開示の実施例の解決手段によれば、異なるクライアントに対するカスタマイズビデオストリームプッシュを実現することができ、異なるクライアントがユーザの異なり、端末装置の異なり等の差異による同一ライブイベントに対する異なる再生需要を満たす。

【図面の簡単な説明】

【0029】

以下の図面を参照して本開示の実施例に対する説明により、本開示の上記及び他の目的、特徴及び利点はより明らかになる。

【0030】

【図1】本開示の実施例に係るビデオストリーム処理方法及び装置を応用する例示的なシステムアーキテクチャを概略的に示す。

【図2】本開示の実施例に係るビデオストリーム処理方法のフローチャートを概略的に示す。

【図3A】本開示の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示す。

【図3B】本開示の実施例に係るビデオラベルライブラリの例示的な概略図を概略的に示す。

【図3C】本開示の他の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示す。

【図4】本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示す。

【図5】本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示す。

【図6】本開示の実施例に係るビデオストリーム処理装置のブロック図を概略的に示す。

【図7】本発明の実施例に係るコンピュータ機器のブロック図を概略的に示す。

【発明を実施するための形態】

【0031】

以下、図面を参照して本開示の実施例を説明する。しかし、理解すべきものとして、これらの説明は例示的なものだけであり、本開示の範囲を限定するものではない。以下の詳細な説明において、説明を容易にするために、多くの具体的な詳細を説明して本開示の実施例に対する全面的な理解を提供する。しかしながら、明らかに、一つ又は複数の実施例は、これらの具体的な詳細がない場合に実施されてもよい。また、以下の説明において、公知の構造及び技術の説明を省略することにより、本開示の概念を不必要に混同することを回避する。

【0032】

ここで使用される用語は、具体的な実施例を説明するためだけであり、本開示を限定することを意図するものではない。ここで使用される用語「含む」、「包含」等は、前記特徴、ステップ、操作及び／又は部品の存在を示すが、一つ又は複数の他の特徴、ステップ、操作又は部品の存在又は追加を排除するものではない。

【0033】

ここで使用される全ての用語（技術及び科学的用語を含む）は、当業者が一般的に理解する意味を有し、特に定義されない限りである。注意すべきものとして、ここで使用される用語は、本明細書の文脈と一致する意味を有すると解釈すべきであり、理想化又は厳格な方式で解釈されるべきではない。

【0034】

「Ａ、Ｂ及びＣなどのうちの少なくとも一つ」と類似するという表現を用いる場合、一般的には当業者が一般的に該表現の意味を理解して解釈すべきである（例えば、「Ａ、Ｂ及びＣのうちの少なくとも一つを有するシステム」は、Ａを単独で有し、Ｂを単独で有し、Ｃを単独で有し、ＡとＢを有し、ＡとＣを有し、ＢとＣを有し、及び／又はＡ、Ｂ、Ｃを有するシステムなどを含むが、これらに限定されない）。「Ａ、Ｂ又はＣなどのうちの少なくとも一つ」と類似するという表現を用いる場合、一般的には当業者が一般的に該表現の意味を理解して解釈すべきである（例えば、「Ａ、Ｂ又はＣのうちの少なくとも一つを有するシステム」は、Ａを単独で有し、Ｂを単独で有し、Ｃを単独で有し、ＡとＢを有し、ＡとＣを有し、ＢとＣを有し、及び／又はＡ、Ｂ、Ｃを有するシステムなどを含むが、これらに限定されない）。

【0035】

本開示の実施例は、ビデオストリーム処理方法、装置、コンピュータ機器及び媒体を提供する。該ビデオストリーム処理方法は、取得過程、第一決定過程、第二決定過程、マッチング過程及びプッシュ過程を含むことができる。取得過程において、一つのライブイベントに対するマルチチャンネルビデオストリームを取得する。第一決定過程において、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定する。クライアントからのビデオ要求メッセージに応答し、第二決定過程を行い、該クライアントの特徴情報を決定する。その後に、マッチング過程においてマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに対するマッチング程度を取得する。マルチチャンネルビデオストリームのそれぞれの該クライアントに対するマッチング程度に基づいて、プッシュ過程を行うことができ、それによりマルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。

【0036】

インターネット技術及びスマートモバイル端末装置の発展に伴い、様々なインターネット製品は人々の仕事、生活に多くの便利及び面白さをもたらす。近年、様々なビデオライブのためのライブプラットフォームが次々と現れ、ビデオライブは人々に、よりリアルタイムで興趣性を有する視聴体験及びソーシャル体験をもたらすことができる。ライブ需要の多様性に鑑み、複数のカメラ位置かつ多角度のライブはライブ内容を豊富にし、ライブシーンの雰囲気を盛り上げることができる。一般的に、同一のライブイベントに対して、マルチチャンネルビデオストリーム、例えば異なる撮像カメラ位置から撮像されたマルチチャンネルビデオストリーム、ライブシーンにおける異なるターゲットを撮像して得られたマルチチャンネルビデオストリーム等が存在することができる。

【0037】

図１は、本開示の実施例に係るビデオストリームの処理方法及び装置を適用可能な例示的なシステムアーキテクチャ１００を概略的に示す。注意すべきものとして、図１に示すのは、本開示の実施例のシステムアーキテクチャを適用可能な例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は他の装置、システム、環境又はシーンに用いることができないことを意味するものではない。

【0038】

図１に示すように、該実施例に係るシステムアーキテクチャ１００は、複数の端末装置１１０、ネットワーク１２０及び放送サーバ１３０を含むことができる。ここで、端末装置１１０は、例えばデスクトップコンピュータ、携帯式コンピュータ、スマートフォン、タブレットコンピュータ等の様々な端末装置であってもよく、ここで制限しない。端末装置１１０にライブクライアント又はライブアプレットがインストールされてもよい。放送サーバ１３０は、一定の計算能力を有する様々な電子機器であってもよく、ここで制限しない。放送サーバ１３０は、同じライブイベントに対する、ビデオストリーム１～ビデオストリームＮというマルチチャンネルビデオストリームを取得することに用いられ、該マルチチャンネルビデオストリームに基づいて端末装置１１０に対してビデオストリームのプッシュ制御を行うことにより、端末装置１１０は、ライブクライアント又はライブアプレットによりライブ画面を再生する。本例においてＮは２より大きい整数である。

【0039】

一つの処理方式では、放送サーバ１３０は、複数の端末装置１１０に対して統一的なプッシュ制御ポリシーを採用する。例えば、ライブ開始時刻から、t＝０～t＝５ｍｉｎの時間区間において、複数の端末装置１１０にいずれもビデオストリーム３をプッシュする。t＝６ｍｉｎの時に、放送切替を行い、t＝６ｍｉｎ～t＝１５ｍｉｎの時間区間において、複数の端末装置１１０にいずれもビデオストリーム７をプッシュする。このような処理方式に基づいて、放送サーバ１３０は、複数の端末装置１１０に対して統一的なプッシュ及び切替を行うことにより、複数の端末装置１１０は、同一時間で再生されたライブ画面が同じである。しかしながら、異なるクライアントは、ユーザの異なり、端末装置の異なり等の差異により、同じライブイベントに対して異なる再生需要を有し、上記処理方式は、異なる端末装置に対してカスタマイズビデオストリームプッシュを行うことができず、異なるクライアントのカスタマイズライブの需要に合致しない。

【0040】

本開示の実施例によれば、ビデオストリーム処理方法を提供する。以下、図例により該方法を例示的に説明する。注意すべきものとして、以下の方法における各操作の番号は、該操作の表示のみとして説明され、該各操作の実行順序を示すものと見なされるべきではない。明確に指摘しない限り、該方法は、示された順序に応じて実行する必要がない。

【0041】

図２は、本開示の実施例に係るビデオストリーム処理方法のフローチャートを模式的に示し、該ビデオストリーム処理方法は、例えば図１に示された放送サーバ側で実行することができる。

【0042】

図２に示すように、該方法は操作Ｓ２１０～操作Ｓ２５０を含むことができる。
操作Ｓ２１０において、一つのライブイベントに対するマルチチャンネルビデオストリームを取得する。

【0043】

例示的には、例えば試合のライブ、ゲームのライブ、グルメのライブなどのいずれかの具体的なライブイベントにおいて、マルチチャンネルビデオストリームは、異なる撮像カメラ位置から該ライブイベントにおける同一の目標対象を撮像して取得することができ、異なる撮像カメラ位置から該ライブイベントにおける異なる目標対象を撮像して取得することもできる。例えば、マルチチャンネルビデオストリームは、同一の目標対象に対する遠距離撮像ビデオストリームおよび近距離撮像ビデオストリームを含むことができ、マルチチャンネルビデオストリームは、第一撮像カメラ位置を利用して第一目標対象を撮像するビデオストリームと第二撮像カメラ位置を利用して第二目標対象を撮像するビデオストリームなどを含むことができる。

【0044】

操作Ｓ２２０において、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定する。

【0045】

例示的には、本操作Ｓ２２０は、所定の一種又は複数種の方式により一つ又は複数の次元での各チャンネルのビデオストリームの特徴情報を取得することができる。例えば、物理的視角次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば物理的視角次元での異なる特徴値によりパノラマ、近距離、遠距離などの情報を表示することができる；目標位置次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば目標位置次元での異なる特徴値により、顔、手、脚部などの情報を表示することができる；目標内容次元での各チャンネルのビデオストリームの特徴情報を取得することができ、例えば目標内容次元での異なる特徴値により、服装、グルメ、女性、男性などの情報を表示することができる。実際の需要に応じてビデオストリームの特徴情報の特徴次元を設定することができ、かついずれか一つの特徴次元でさらに複数のサブ次元に分割することができ、それにより小さい粒度からビデオストリームの特徴情報を説明する。

【0046】

操作Ｓ２３０において、クライアントからのビデオ要求メッセージに応答して、該クライアントの特徴情報を決定する。

【0047】

例示的には、クライアントは、ビデオライブ機能を有する様々なアプリケーションクライアント又は軽量アプリケーションクライアントであってもよい。軽量アプリケーションクライアントは、アプレットを例とし、複数のアプレットを一つのアプリケーションに統合して様々なサービスを実現することができる。ビデオライブの流行に伴い、アプレットライブも大量に出現する。本開示の実施例に係るビデオストリーム処理は、アプレットライブシーンに適用することができる。放送サーバは、クライアントからのビデオ要求メッセージを受信した後に該クライアントに対するビデオストリームプッシュ処理操作を開始する。この時に一つ又は複数の次元での該クライアントの特徴情報を決定する必要があり、該一つ又は複数の次元の特徴情報は例えば該クライアントのユーザの属性情報、ユーザの行動特徴情報、ユーザの好み情報、該クライアントの所在する端末装置の属性情報、端末装置の配置情報、端末装置の性能情報などを示すことができ、後続の各ビデオストリームの特徴情報とマッチングするために用いられる。

【0048】

操作Ｓ２４０において、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得する。

【0049】

例示的には、ビデオストリーム１～ビデオストリームＮを取得した場合、クライアントＡからのビデオ要求メッセージを受信した後に、ビデオストリーム１の特徴情報をクライアントＡの特徴情報とマッチングすることにより、ビデオストリーム１のクライアントＡに関するマッチング程度Ｍ（１、Ａ）を取得する；ビデオストリーム２の特徴情報をクライアントＡの特徴情報とマッチングすることにより、ビデオストリーム２のクライアントＡに関するマッチング程度Ｍ（２、Ａ）を取得する；このように類推して、マルチチャンネルビデオストリームのそれぞれの該クライアントＡに関するマッチング程度{Ｍ（１、Ａ）、Ｍ（２、Ａ）、…、Ｍ（Ｎ、Ａ）}を取得することができる。ここで、いずれかの一つのチャンネルのビデオストリームのクライアントＡに対するマッチング程度は、該チャンネルのビデオストリームとクライアントＡの特徴情報との間の適合程度を示すために用いられ、マッチング程度が高いほどビデオストリームとクライアントとが適合になる。

【0050】

操作Ｓ２５０において、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュする。

【0051】

例示的には、クライアントＡに対して、所定の閾値をプリセットすることができ、マルチチャンネルビデオストリームのそれぞれの該クライアントＡに関するマッチング程度に、所定の閾値より高いマッチング程度が存在する場合、マルチチャンネルビデオストリームから、最も高いマッチング程度を有するビデオストリームを該クライアントＡに最も適合するビデオストリームとして選択し、該ビデオストリームを該クライアントＡにプッシュする。又は、マルチチャンネルビデオストリームから、最も高いマッチング程度を有するビデオストリームを該クライアントＡに最も適合するビデオストリームとして選択し、該ビデオストリームを該クライアントＡにプッシュすることもできる。同様に、他の各クライアントに対して、同様に上記操作Ｓ２３０～操作Ｓ２５０を実行することにより、各クライアントと単相に適合するビデオストリームをそれぞれ決定することができる。

【0052】

当業者であれば理解されるように、本開示の実施例に係るビデオストリーム処理方法は、同じライブイベントにマルチチャンネルビデオストリームが存在するシーンで、複数のクライアントのうちの各クライアントに対して、それぞれ各チャンネルのビデオストリームと該クライアントの特徴情報をマッチングすることにより、マルチチャンネルビデオストリームのそれぞれと該クライアントとの間の適合程度を決定する。それによりマルチチャンネルビデオストリームから該クライアントに最も適合するビデオストリームを選択して該クライアントにプッシュすることができる。本開示の実施例の解決手段によれば、異なるクライアントに対するカスタマイズビデオストリームプッシュを実現することができ、異なるクライアントがユーザの異なり、端末装置の異なり等による同一ライブイベントに対する異なる再生需要を満たす。

【0053】

本開示の実施例によれば、マルチチャンネルビデオストリームのそれぞれの特徴情報は少なくとも一つのビデオラベルを含む。以下、図３Ａ、図３Ｂ及び図３Ｃを参照してビデオストリームの特徴情報の取得過程を例示的に説明する。

【0054】

図３Ａは、本開示の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示し、上記操作Ｓ２２０の一実施形態を例示的に説明するために用いられる。

【0055】

図３Ａに示すように、放送サーバ３３０は、Ｎ個の撮像装置３４０からのビデオストリーム１～ビデオストリームＮというＮ個のチャンネルのビデオストリーム３４１を受信し、該Ｎ個のチャンネルのビデオストリームは、同じライブイベントに対して撮像して得られ、Ｎは２より大きい整数である。Ｎ個の撮像装置３４０のうちの各撮像装置３４０に対して、１番目の撮像装置３４０を例にして、自身が撮像して得られたビデオストリーム１を放送サーバ３３０にアップロードする場合、さらにビデオストリーム１の撮像カメラ位置情報３４２を一括して放送サーバにアップロードする。本開示の実施例によれば、放送サーバ３３０は上記ビデオストリーム１及びビデオストリーム１の撮像カメラ位置情報３４２を取得した後、ビデオストリーム１の撮像カメラ位置情報３４２に基づいて、ビデオストリーム１の第一ビデオラベルを決定し、該第一ビデオラベルはビデオストリーム１を撮像する物理的視角を示すために用いられる。第一ビデオラベルは、キー値ペア（ｋｅｙ－ｖａｌｕｅ）の形式で表すことができ、例えば、ビデオストリーム１の第一ビデオラベルは、ｘ＝１０１として表すことができ、ここで、「ｘ」は、第一ビデオラベルの唯一識別子（ＩＤ）とし、数値「１０１」はビデオストリーム１の撮像カメラ位置情報が「近距離」であることを示す。同様に、他の各チャンネルのビデオストリームに対していずれも上記した第一ビデオラベルを決定する過程を実行することができる。

【0056】

例示的には、撮像装置３４０によりアップロードされた撮像カメラ位置情報３４２のデータフォーマットがビデオラベルを満たす場合に、撮像カメラ位置情報３４２を対応的なビデオストリームの第一ビデオラベルとすることができる。撮像装置３４０によりアップロードされた撮像カメラ位置情報３４２のデータフォーマットがビデオラベルフォーマットを満たさない場合に、例えば以下の方式で第一ビデオラベルを決定することができる。放送サーバ側ではビデオラベルライブラリ３３１をプリセットすることができ、ビデオラベルライブラリ３３１に大量のプリセットされた候補ビデオラベルを含むことができ、実際の需要に応じて、候補ビデオラベルは様々な粒度に応じて設定することができる。

【0057】

図３Ｂは、本開示の実施例に係るビデオラベルライブラリの概略図を概略的に示す。図３Ｂに示す例において、ビデオラベルライブラリ３３１は、「パノラマ」、「近距離」、「遠距離」等という候補ビデオラベルを含むことができる。ビデオストリーム１を例として、ビデオストリーム１の撮像カメラ位置情報３４２とビデオラベルライブラリ３３１における各候補ビデオラベルとの間の類似度を計算し、類似度が第一閾値を超える候補ビデオラベルをビデオストリーム１の第一ビデオラベルとして選択することができる。

【0058】

図３Ａに示す実施例によれば、各チャンネルのビデオストリームの少なくとも一つのビデオラベルにビデオストリームの撮像カメラ位置情報を示すための第一ビデオラベルを含むことができ、それにより後続にクライアントとのマッチング過程を行う時、クライアントの視聴視角に対する異なる好みを考慮することができる。例えばいくつかのクライアントのユーザが遠隔視聴画角に好み、他のクライアントのユーザが近距離視聴画角等に好み、それによりこれらの異なる好みを有するクライアントに対して異なる第一ビデオラベル付きのビデオストリームを選択することができる。

【0059】

図３Ｃは、本開示の他の実施例に係るビデオストリーム処理過程の例示的な概略図を概略的に示し、上記操作Ｓ２２０の他の実施形態を例示的に説明するために用いられる。

【0060】

図３Ｃに示すように、ビデオストリーム１を例として、以下の方式で該ビデオストリームの特徴情報を決定することができる。例示的には、該ビデオストリーム１から少なくとも一つのフレームの画像３４１１を抽出することができ、例えばプリセットされた頻度に応じて抽出することができる。次に、抽出された少なくとも一つのフレームの画像３４１１に基づいて、該ビデオストリーム１の内容情報３４１２を決定する。次に、該ビデオストリーム１の内容情報３４１２に基づいて、ビデオストリーム１の第二ビデオラベルを決定し、該第二ビデオラベルは該ビデオストリーム１の撮像内容を示すために用いられ、例えば撮像目標の位置、撮像目標の内容等を含む。第二ビデオラベルは、キー値ペアの形式で表すことができる。同様に、他の各チャンネルのビデオストリームに対していずれも上記した第二ビデオラベルを決定する過程を実行することができる。

【0061】

例示的には、以下の方式で第二ビデオラベルを決定することができる。ビデオストリームから少なくとも一つのフレームの画像を抽出した後、例えば目標検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）アルゴリズム（例えばＦａｓｔｅｒ Ｒ－ＣＮＮアルゴリズムなど）を利用して該少なくとも一つのフレームの画像を検出することにより、その中に含まれる目標対象の数、種類及び位置などの情報を決定し、ビデオストリームの内容情報とする。図３Ｂに示す例において、ビデオラベルライブラリ３３１はさらに「女性」、「男性」、「猫」等という候補ビデオラベルを含むことができる。ビデオストリーム１を例として、ビデオストリーム１の内容情報３４１２とビデオラベルライブラリ３３１における各候補ビデオラベルとの間の第一類似度を計算し、第一類似度が第二閾値を超える候補ビデオラベルをビデオストリーム１の第二ビデオラベルとして選択することができる。

【0062】

図３Ｃに示す実施例によれば、各チャンネルのビデオストリームの少なくとも一つのビデオラベルにビデオストリームの撮像カメラ位置情報を示すための第二ビデオラベルを含むことができ、それにより後続にクライアントとのマッチングを行う過程において、クライアントの視聴内容に対する異なる好みを考慮することができる。例えばいくつかのクライアントのユーザが女性を見ることに好み、他のクライアントのユーザが男士等を見ることに好み、それによりこれらの異なる好みを有するクライアントに対して異なる第二ビデオラベルを有するビデオストリームを選択することができる。該過程はビデオラベルの次元を増加させるだけでなく、図３Ａに示す撮像カメラ位置情報に基づいてビデオラベルに存在する可能性のある誤差を決定することに較正することができる。

【0063】

図４は、本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示し、操作Ｓ２３０によりクライアントの特徴情報を決定する実施形態を例示的に説明するために用いられる。

【0064】

図４に示すように、クライアントＡを例として、操作Ｓ２３０でクライアントＡの特徴情報を決定する過程は操作Ｓ２３１～操作Ｓ２３７を含むことができる。

【0065】

操作Ｓ２３１において、クライアントＡからのカスタマイズ配置情報を受信する。

【0066】

例示的には、カスタマイズ配置情報は、ユーザの選択又は入力操作に基づいて生成することができる。例えば、ライブイベントにおいて、放送サーバはクライアントＡからのビデオ要求メッセージを受信した後、クライアントＡに複数の選択肢を表示するように指示することができ、複数の選択肢は、複数の撮像カメラ位置情報、複数の目標内容情報、複数の目標部位情報等を含み、それによりユーザは自身の現在のライブイベントに対する視聴要求に基づいて選択することができる。クライアントＡは、ユーザの複数の選択肢に対する単一選択又は複数選択に応答し、カスタマイズ配置情報を生成しかつ放送サーバにアップロードする。又は、放送サーバは、クライアントＡに提示情報を表示するように指示することができ、該提示情報は、ユーザに現在のライブイベントに対する視聴嗜好を主動的に入力するように提示することに用いられる。クライアントＡは、ユーザの入力内容に基づいてカスタマイズ配置情報を生成しかつ放送サーバにアップロードする。

【0067】

操作Ｓ２３２において、上記カスタマイズ配置情報を成功に受信したか否かを決定する。そうであれば、操作Ｓ２３３を実行する。そうでなければ、操作Ｓ２３５を実行する。

【0068】

例示的には、上記カスタマイズ配置情報を成功に受信したか否かを決定する過程は、例えば、所定の期間内にカスタマイズ配置情報を受信したか否かを決定することを含むことができる。

【0069】

操作Ｓ２３３において、カスタマイズ配置情報に基づいて、クライアントＡに配置ラベルが存在するか否かを決定する。そうであれば、操作Ｓ２３４を実行する。そうでなければ、操作Ｓ２３５を実行する。

【0070】

本開示の実施例によれば、図３Ａに示すようなプリセットビデオラベルライブラリを利用してクライアントＡに配置ラベルが存在するか否かを決定することができる。例えば、カスタマイズ配置情報を取得した後、該カスタマイズ配置情報とプリセットビデオラベルライブラリのうちの複数の候補ビデオラベルのうちの各候補ビデオラベルとの間の第二類似度を計算する。第三閾値より大きい第二類似度が存在すれば、カスタマイズ配置情報とプリセットビデオラベルライブラリとのマッチングが成功したことを確定し、クライアントＡに配置ラベルが存在することを示す。そうでなければカスタマイズ配置情報とプリセットビデオラベルライブラリとのマッチングが失敗したことを確定し、クライアントＡに配置ラベルが存在しないことを示す。

【0071】

操作Ｓ２３４において、上記第二類似度に基づいて複数の候補ビデオラベルから少なくとも一つの候補ビデオラベルを選択し、クライアントＡの少なくとも一つの配置ラベルとする。このときクライアントＡの少なくとも一つの配置ラベルをクライアントＡの特徴情報とする。

【0072】

操作Ｓ２３５において、クライアントＡのユーザ属性データ及びユーザ行動データを取得する。

【0073】

例示的には、ユーザ属性データは例えばユーザ性別、ユーザ年齢等を含み、ユーザ行動データは例えばユーザ履歴視聴ライブの行動データ、ユーザがライブイベントに対していいね、プレゼント、お気に入り、コイン等の行動を行うデータ等を含むことができる。

【0074】

操作Ｓ２３６において、ユーザ属性データ及びユーザ行動データに基づいて、クライアントＡが属するユーザカテゴリを決定する。

【0075】

例示的には、ユーザ属性データ及びユーザ行動データに基づいてユーザ画像を構築することができ、それによりユーザが属するユーザカテゴリを決定する。ユーザカテゴリは、一つ又は複数の次元で区画されてもよく、例えば年代分割、地域分割、垂直業界領域分割、視角選択分割などを含む。理解できるように、同じユーザカテゴリに属するユーザは一般的に同じ又は類似のライブ視聴嗜好を有する。

【0076】

操作Ｓ２３７において、クライアントＡが属するユーザカテゴリに基づいて、該クライアントの少なくとも一つのユーザラベルを決定する。このときクライアントＡの少なくとも一つのユーザラベルをクライアントＡの特徴情報とする。

【0077】

本開示の実施例によれば、図３Ａに示すように、放送サーバ３３０は、さらに、ユーザラベルライブラリ３３２をプリセットすることができ、ユーザラベルライブラリ３３２は上記複数のユーザカテゴリのうちの各ユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを含むことができる。例えば、第一ユーザカテゴリは少なくとも一つの候補ユーザラベルを含み、第二ユーザカテゴリは少なくとも一つの候補ユーザラベルを含み、このように類推する。上記クライアントＡが属するユーザカテゴリに基づいて、クライアントＡの少なくとも一つのユーザラベルを決定する過程は、ユーザラベルライブラリから該クライアントが属するユーザカテゴリに関連する少なくとも一つの候補ユーザラベルを照会し、該クライアントの少なくとも一つのユーザラベルとすることを含むことができる。

【0078】

理解できるように、上記操作Ｓ２３１～操作Ｓ２３４に従って、優先的にユーザが自主的に設定したカスタマイズ配置情報に基づいてクライアントの特徴情報を決定し、クライアントのユーザのライブ視聴嗜好を直接、正確に決定することができる。カスタマイズ配置情報を受信しないか又はカスタマイズ配置情報がマッチングに成功できない場合、上記操作Ｓ２３５～操作Ｓ２３７によれば、履歴累積のユーザ属性データ及びユーザ行動データに基づいてユーザ画像を行うことができ、それによりユーザ画像に関連するユーザラベルを決定し、クライアントの特徴情報とする。他の例において、以上の二種類のユーザラベルの取得方式を同時に実行し、取得されたユーザラベルを利用してクライアントの特徴情報を共同で示すこともできる。

【0079】

図５は、本開示の他の実施例に係るビデオストリーム処理方法の例示的なフローチャートを概略的に示し、操作Ｓ２４０においてマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントの特徴情報とマッチングする実施形態を例示的に説明するために用いられる。

【0080】

図５に示すように、クライアントＡとビデオストリーム１を例として、操作Ｓ２４０でマルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれクライアントＡの特徴情報とマッチングする過程は、操作Ｓ２４１～操作Ｓ２４４を含むことができる。

【0081】

操作Ｓ２４１において、ビデオストリーム１の少なくとも一つのビデオラベルのうちの各ビデオラベルと該クライアントＡの少なくとも一つのユーザラベルのうちの各ユーザラベルとの間の関連重みを決定する。

【0082】

本開示の実施例によれば、図３Ａに示すように、放送サーバ３３０はさらにラベル関連ライブラリ３３３をプリセットすることができる。ラベル関連ライブラリ３３３は、複数のビデオラベルのうちのいずれか一つのビデオラベルと複数のユーザラベルのうちのいずれか一つのユーザラベルとの間の関連重みを含むことができる。本操作Ｓ２４１は、ラベル関連ライブラリに基づいて、上記各ビデオラベルとクライアントＡの各ユーザラベルとの間の関連重みを取得することができる。

【0083】

例えば、一つのチャンネルのビデオストリームは、ビデオラベル「火鍋」を含み、該ビデオラベルは以下のように表示することができる:ｚ１＝１０００１、ここで「ｚ１」はビデオカテゴリ「グルメ」の唯一の識別子とし、数値「１０００１」は該ビデオストリームの撮像対象内容が「火鍋」であることを示す。クライアントＡはユーザラベル「女性」及び「四川」を含み、それぞれ以下のように表示することができる:ｚ２＝００１及びｚ３＝０１０１であり、ここで「ｚ２」は「性別」の唯一の識別子とし、「ｚ３」は「地域」の唯一の識別子とし、数値「００１」は該クライアントのユーザが「女性」であることを示し、数値「０１０１」は該クライアントのユーザ地域が「四川」であることを示す。本開示の実施例によれば、ラベル関連ライブラリに複数のビデオカテゴリ（例えばゲーム、グルメ、アニメなど）が含まれ、各ビデオカテゴリは複数のビデオラベル（例えばグルメのカテゴリでビデオラベル「火鍋」を含む）を含み、各ビデオラベルはそれぞれ複数のユーザラベルのそれぞれに相応的な関連重みを有する。ビデオラベル「火鍋」を例とし、それとユーザラベル「女性」との間の関連重みはａであり、ユーザラベル「四川」との間の関連重みはｂである。ビデオラベル「火鍋」とユーザラベル「女性」との間の関連重みは、統計的な意味で女性ユーザの火鍋ライブに対する好み程度を示すために用いられ、ビデオラベル「火鍋」とユーザラベル「四川」との間の関連重みは統計的意味で四川ユーザの火鍋ライブに対する好み程度を示すために用いられる。

【0084】

操作Ｓ２４２において、上記関連重みに基づいて各ビデオラベルの総合重みを決定する。

【0085】

本開示の実施例によれば、クライアントＡの各ユーザラベルはユーザ重みを有することができ、該ユーザラベルと該クライアントＡとの関連程度を示す。例えばユーザラベル「女性」のユーザ重みはαであり、ユーザラベル「四川」のユーザ重みはβである。αとβによって上記関連重みａと関連重みｂを利用して加重加算を行うことにより、ビデオラベル「火鍋」の総合重みを得ることができる。

【0086】

操作Ｓ２４３において、ビデオストリーム１の少なくとも一つのビデオラベルのそれぞれのプリセット評価を取得する。

【0087】

例えば、ビデオストリーム１のビデオラベル「火鍋」のプリセット評価はγであり、ビデオラベル「火鍋」とビデオストリーム１との間の関連程度を示すために用いられる。
操作Ｓ４４４において、それぞれビデオストリーム１の少なくとも一つのビデオラベルのそれぞれの総合重みを利用し、該ビデオストリーム１の少なくとも一つのビデオラベルのそれぞれのプリセット評価に加重加算を行うことにより、該ビデオストリーム１のクライアントＡに関するマッチング程度を取得する。

【0088】

同様に、上記実施形態によれば他の各チャンネルのビデオストリームのクライアントＡに関するマッチング程度を得ることができ、それにより該マッチング程度に基づいてＮチャンネルのビデオストリームからクライアントＡに最も適合するビデオストリームを決定することができる。他のクライアントのビデオストリーム処理過程について同様に、ここでは説明を省略する。上記マッチング過程は、ビデオストリームの各ビデオラベル及びクライアントの各ユーザラベルの各特徴次元での関連関係を十分に融合し、それにより計算されたマッチング程度はクライアントとビデオストリームとの間の適合程度を正確、全面的に、総合的に反映することができる。クライアントに、より適合的なビデオストリームを選択してプッシュすることができる。図３Ａに示す例において、本開示の実施例に係るビデオストリーム処理方法によれば、放送クライアント３３０はビデオストリーム１～ビデオストリームＮからビデオストリームｉを選択して第一クライアント３１１にプッシュし、放送クライアント３３０はビデオストリーム１～ビデオストリームＮからビデオストリームｊを選択して第二クライアント３１２にプッシュし、それにより異なるクライアントに対するカスタマイズビデオストリームのプッシュを実現し、ｉ及びｊはいずれも１以上Ｎ以下の整数であり、ｉとｊは同じであってもよく異なってもよい。上記過程は半教師線形機械学習方法を採用してビデオストリームの特徴重みの加重計算を行い、それによりビデオストリームとクライアントとの間のマッチング程度を決定する。理解できるように、他の方式の機械学習アルゴリズムもマッチング程度の計算を行うことができ、ここで制限しない。

【0089】

さらに、クライアントのライブ需要が時間に伴って変化する可能性があることを考慮し、例えばユーザが一つのチャンネルのビデオストリームに対して視覚疲労を生成し、ユーザがゲームライブ中に視角を変換して全体のゲーム進度を見る必要があるなどの状況を考慮し、本開示の実施例はさらにビデオストリームのプッシュを切り替える処理過程を提供する。一つの場合、各チャンネルのビデオストリームのビデオラベルに有効時長を設定することができ、さらに各クライアントのユーザラベルに有効時長を設定することができる。クライアントＡを例として、一つのチャンネルのビデオストリーム１をクライアントＡにプッシュした後、ビデオストリームのビデオラベルの有効時長に達する時、又はクライアントＡのユーザラベルの有効時長に達する時、各ビデオストリームのビデオラベルとクライアントＡのユーザラベルを改めて決定し、かつマッチング選択の過程を改めて行う必要がある。ビデオラベルを取得する過程、ユーザラベルを取得する過程及びマッチング選択の過程はいずれも前文に詳細に説明され、ここでは説明を省略する。別の場合に、切替時間を直接設定することができ、切替時間に達すると、上記ビデオストリーム処理過程を改めて実行する必要がある。さらに一つの場合に、クライアントの所定のインタフェースによりユーザが所定のトリガ操作を実行するか否かを監視し、そうであれば、ユーザがビデオストリームを切り替えることを望むと決定し、前記実施例に基づいてビデオストリーム処理過程を改めて実行することができる。

【0090】

図６は、本開示の実施例に係るビデオストリーム処理装置のブロック図である。

【0091】

図６に示すように、ビデオストリーム処理装置６００は、取得モジュール６１０、第一決定モジュール６２０、第二決定モジュール６３０、マッチングモジュール６４０及びプッシュモジュール６５０を含むことができる。

【0092】

取得モジュール６１０は、ライブイベントに対するマルチチャンネルビデオストリームを取得するために用いられる。

【0093】

第一決定モジュール６２０は、マルチチャンネルビデオストリームのそれぞれの特徴情報を決定するために用いられる。

【0094】

第二決定モジュール６３０は、クライアントからのビデオ要求メッセージに応答し、該クライアントの特徴情報を決定するために用いられる。

【0095】

マッチングモジュール６４０は、マルチチャンネルビデオストリームのそれぞれの特徴情報をそれぞれ該クライアントの特徴情報とマッチングすることにより、マルチチャンネルビデオストリームのそれぞれの該クライアントに関するマッチング程度を取得するために用いられる。

【0096】

プッシュモジュール６５０は、マルチチャンネルビデオストリームのそれぞれの該クライアントのマッチング程度に基づいて、マルチチャンネルビデオストリームから一つのチャンネルのビデオストリームを選択して該クライアントにプッシュするために用いられる。

【0097】

説明すべきものとして、装置部分実施例における各モジュール／ユニット／サブユニットなどの実施形態、解決しようとする技術課題、実現した機能、及び達成した技術的効果はそれぞれ方法部分実施例における各対応ステップの実施形態、解決しようとする技術課題、実現した機能、及び達成した技術的効果と同じであるか又は類似し、ここでは説明を省略する。

【0098】

本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちの任意の複数、又はそのうちの任意の複数の少なくとも一部の機能は一つのモジュールにおいて実現することができる。本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか一つ又は複数を複数のモジュールに分割して実現することができる。本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか一つ又は複数は少なくとも部分的にハードウェア回路、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）、オンチップシステム、基板上のシステム、パッケージ上のシステム、専用集積回路（ＡＳＩＣ）に実現されてもよく、又は回路に集積又はパッケージングされた任意の他の合理的な方式のハードウェア又はファームウェアで実現されてもよく、又はソフトウェア、ハードウェア及びファームウェアの三つの実現方式のうちのいずれか一種又はそのうちの任意のいくつかの適切な組み合わせで実現されてもよい。又は、本開示の実施例に係るモジュール、サブモジュール、ユニット、サブユニットのうちの一つ又は複数は少なくとも部分的にコンピュータプログラムモジュールとして実現され、該コンピュータプログラムモジュールが実行される場合、相応的な機能を実行することができる。

【0099】

例えば、取得モジュール６１０、第一決定モジュール６２０、第二決定モジュール６３０、マッチングモジュール６４０及びプッシュモジュール６５０のうちの任意の複数は一つのモジュールに統合して実現されてもよく、又はそのうちのいずれか一つのモジュールは複数のモジュールに分割されてもよい。又は、これらのモジュールのうちの一つ又は複数のモジュールの少なくとも一部の機能は他のモジュールの少なくとも一部の機能と結合されてもよく、かつ一つのモジュールにおいて実現されてもよい。本開示の実施例によれば、取得モジュール６１０、第一決定モジュール６２０、第二決定モジュール６３０、マッチングモジュール６４０及びプッシュモジュール６５０のうちの少なくとも一つは少なくとも部分的にハードウェア回路、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）、オンチップシステム、基板上のシステム、パッケージ上のシステム、専用集積回路（ＡＳＩＣ）として実現されてもよく、又は回路に集積又はパッケージングされた任意の他の合理的な方式等のハードウェア又はファームウェアで実現されてもよく、又はソフトウェア、ハードウェア及びファームウェアの三つの実現方式のうちのいずれか一種又はそのうちの任意のいくつかの適切な組み合わせで実現されてもよい。又は、取得モジュール６１０、第一決定モジュール６２０、第二決定モジュール６３０、マッチングモジュール６４０及びプッシュモジュール６５０のうちの少なくとも一つは少なくとも部分的にコンピュータプログラムモジュールとして実現されてもよく、該コンピュータプログラムモジュールが実行される場合、相応的な機能を実行することができる。

【0100】

図７は、本開示の実施例に係る上記方法を実現することに適するコンピュータ機器のブロック図を概略的に示す。図７に示すコンピュータ機器は、一例に過ぎず、本開示の実施例の機能及び使用範囲にいかなる制限を与えない。

【0101】

図７に示すように、本開示の実施例に係るコンピュータ機器７００は、プロセッサ７０１を含み、それはリードオンリメモリ（ＲＯＭ）７０２に記憶されたプログラム又は記憶部分７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムに基づいて様々な適切な動作及び処理を実行することができる。プロセッサ７０１は例えば汎用マイクロプロセッサ（例えばＣＰＵ）、命令セットプロセッサ及び／又は関連チップセット及び／又は専用マイクロプロセッサ（例えば、専用集積回路（ＡＳＩＣ））などを含むことができる。プロセッサ７０１はさらに用途をキャッシュするためのボードメモリを含むことができる。プロセッサ７０１は、本開示の実施例に係る方法の流れに応じて異なる動作を実行する単一処理ユニットであってもよいし、複数の処理ユニットであってもよい。

【0102】

ＲＡＭ ７０３には、機器７００の操作に必要な様々なプログラム及びデータが記憶される。プロセッサ７０１、ＲＯＭ ７０２、およびＲＡＭ ７０３は、バス７０４により相互に接続されている。プロセッサ７０１は、ＲＯＭ ７０２および／またはＲＡＭ ７０３におけるプログラムを実行することにより、本開示の実施例に係る方法の流れに係る各種の操作を実行する。なお、前記プログラムはＲＯＭ ７０２及びＲＡＭ ７０３以外の一つ又は複数のメモリに記憶されてもよい。プロセッサ７０１は、前記一つ又は複数のメモリに記憶されたプログラムを実行することにより、本開示の実施例に係る方法の流れに従った各種の操作を実行してもよい。

【0103】

本開示の実施例によれば、機器７００はさらに入力／出力（Ｉ／Ｏ）インタフェース７０５を含み、入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。機器７００はさらに、キーボード、マウス等を含む入力部分７０６と、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等及びスピーカ等を含む出力部分７０７と、ハードディスク等を含む記憶部分７０８と、LＡＮカード、モデム等のネットワークインタフェースカードを含む通信部分７０９と、というＩ／Ｏインタフェース７０５に接続された部品のうちの一つ又は複数を含むことができる。通信部分７０９は、インターネットなどのネットワークを介して通信処理を行う。ドライバ７１０は、必要に応じてＩ／Ｏインタフェース７０５にも接続されている。リムーバブル媒体７１１は、例えば磁気ディスク、光学ディスク、光磁気ディスク、半導体メモリ等であり、必要に応じてドライブ７１０にインストールされ、それによりそれから読み出されたコンピュータプログラムが必要に応じて記憶部分７０８にインストールされる。

【0104】

本開示の実施例によれば、本開示の実施例に係る方法フローがコンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それはコンピュータ可読記憶媒体に載置されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信部分７０９を介してネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体７１１からインストールされる。該コンピュータプログラムがプロセッサ７０１により実行される時、本開示の実施例のシステムに限定された上記機能を実行する。本開示の実施例によれば、上記システム、機器、装置、モジュール、ユニットなどはコンピュータプログラムモジュールにより実現することができる。

【0105】

本開示はさらにコンピュータ可読記憶媒体を提供し、該コンピュータ可読記憶媒体は上記実施例に記載の機器／装置／システムに含まれるものであってもよい；単独で存在し、該機器／装置／システムに組み込まれていなくてもよい。上記コンピュータ可読記憶媒体は一つ又は複数のプログラムを担持し、上記一つ又は複数のプログラムが実行される時、本開示の実施例に係る方法を実現する。

【0106】

本開示の実施例によれば、コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよく、例えば、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型コンパクト磁気ディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気メモリデバイス、又は上記任意の適切な組み合わせを含むがそれらに限定されない。本開示において、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形の媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスの使用又はそれと組み合わせて使用されてもよい。例えば、本開示の実施例によれば、コンピュータ可読記憶媒体は上記ＲＯＭ ７０２及び／又はＲＡＭ ７０３及び／又はＲＯＭ ７０２及びＲＡＭ ７０３以外の一つ又は複数のメモリを含むことができる。

【0107】

図面のフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点において、フローチャート又はブロック図における各ブロックは一つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、上記モジュール、プログラムセグメント、又はコードの一部は一つ又は複数の所定の論理機能を実現するための実行可能な命令を含む。注意すべきものとして、いくつかの代替の実現において、ブロックにマークされた機能は図面にマークされたことと異なる順序で発生することができる。例えば、二つの連続的に示されるブロックは、実際に基本的に並行して実行されてもよく、それらは逆の順序で実行されてもよく、これは係る機能に依存する。注意すべきこととして、ブロック図又はフローチャートにおける各ブロック、及びブロック図又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現されてもよく、又は専用ハードウェアとコンピュータ指令の組み合わせで実現されてもよい。

【0108】

当業者であれば理解されるように、本開示の各実施例及び／又は請求項に記載の特徴は様々な組み合わせ及び／又は結合を行うことができ、このような組み合わせ又は結合が本開示に明確に記載されていなくてもよい。特に、本開示の精神及び教示から逸脱することなく、本開示の各実施例及び／又は請求項に記載の特徴は様々な組み合わせ及び／又は結合を行うことができる。これらの組み合わせ及び／又は結合は、全て本開示の範囲に属するものとする。

【0109】

以上、本開示の実施の形態について説明した。しかし、これらの実施例は説明の目的のためだけであり、本開示の範囲を限定するものではない。以上に各実施例をそれぞれ説明したが、各実施例における措置を有利に組み合わせて使用することができないことを意味するものではない。本開示の範囲は、添付の特許請求の範囲およびその均等物によって限定される。本開示の範囲から逸脱することなく、当業者は様々な代替及び修正を行うことができ、これらの代替及び修正はいずれも本開示の範囲内にあるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】