特許 7341189 生放送の特殊効果処理方法、装置及びサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-31

(45)【発行日】2023-09-08

(54)【発明の名称】生放送の特殊効果処理方法、装置及びサーバ

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230901BHJP

   G06T 7/00 20170101ALI20230901BHJP

   H04N 21/854 20110101ALI20230901BHJP

   H04N 21/234 20110101ALI20230901BHJP

【ＦＩ】

G06T19/00 600

G06T7/00 660Z

H04N21/854

H04N21/234

【請求項の数】 15

(21)【出願番号】P 2021104852

(22)【出願日】2021-06-24

(65)【公開番号】P2021157835

(43)【公開日】2021-10-07

【審査請求日】2021-06-24

(31)【優先権主張番号】202010594821.8

(32)【優先日】2020-06-28

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】リー ビンユァン

【審査官】松永 隆志

(56)【参考文献】

【文献】特許第６６８３８６４（ＪＰ，Ｂ１）

【文献】特開２０２０－０４２５９３（ＪＰ，Ａ）

【文献】特許第６６０９０７８（ＪＰ，Ｂ１）

【文献】特開２０１８－１９１１８６（ＪＰ，Ａ）

【文献】特開２０１８－１４２０９０（ＪＰ，Ａ）

【文献】特開２０１８－１１６５３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２１／８５４

Ｈ０４Ｎ ２１／２３４

(57)【特許請求の範囲】

【請求項1】

生放送の特殊効果処理方法であって、
生放送クライアントが生放送を行うときに収集したビデオストリームを取得するステップと、
前記生放送クライアントが前記ビデオストリームにおける各フレームの画像に対して人体認識を行うことにより得られる各フレームの画像での人体キーポイント位置を取得するステップと、
各フレームの画像での前記人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得るステップであって、前記仮想オブジェクトテンプレートとは、予め設定された仮想オブジェクトであるステップと、
各フレームの画像に対応する前記ターゲット仮想オブジェクトを前記ビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得るステップであって、前記ターゲットビデオストリームの各フレームの画像でのターゲット仮想オブジェクトのキーポイント位置と前記ターゲットビデオストリームの同じフレームの画像での生放送主の人体キーポイント位置との間にマッピング関係が存在するステップと、
前記生放送クライアント、及び生放送を見るユーザクライアントに前記ターゲットビデオストリームを送信して表示するステップと、を含み、
各フレームの画像に対応する前記ターゲット仮想オブジェクトを前記ビデオストリーム内の対応する各フレームの画像に融合するステップの前に、
前記生放送クライアントが各フレームの画像を認識して得られた人体中心位置を取得するステップと、
前記各フレームの画像の人体中心位置に基づいて、前記ターゲット仮想オブジェクトの各フレームの画像での融合位置を決定するステップと、をさらに含む、
生放送の特殊効果処理方法。

【請求項2】

各フレームの画像での前記人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得るステップは、
各フレームの画像に対して、前記人体キーポイント位置に基づいて、キーポイント位置のマッピング関係をクエリすることにより、ターゲット位置を得るステップと、
前記仮想オブジェクトテンプレートにおけるターゲットキーポイントを前記ターゲット位置まで調整することにより、前記ターゲット仮想オブジェクトを得るステップと、を含む、
ことを特徴とする請求項１に記載の特殊効果処理方法。

【請求項3】

前記仮想オブジェクトテンプレートにおけるターゲットキーポイントを前記ターゲット位置まで調整するステップの前に、
ユーザ画像を取得するステップと、
前記ユーザ画像と、ターゲットキーポイント位置がマーキングされた基準テンプレートとを融合することにより、前記仮想オブジェクトテンプレートを得るステップと、をさらに含む、
ことを特徴とする請求項２に記載の特殊効果処理方法。

【請求項4】

各フレームの画像での前記人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得るステップの前に、
前記生放送クライアントにおいて実行されるユーザ操作に応答して生成される制御命令を前記生放送クライアントから取得するステップと、
前記制御命令に基づいて、前記基準テンプレートを決定するステップと、をさらに含む、
ことを特徴とする請求項３に記載の特殊効果処理方法。

【請求項5】

ユーザ画像を取得するステップは、
前記ユーザクライアント及び／または前記生放送クライアントから前記ユーザ画像を取得するステップを含む、
ことを特徴とする請求項３に記載の特殊効果処理方法。

【請求項6】

各フレームの画像に対応する前記ターゲット仮想オブジェクトを前記ビデオストリーム内の対応する各フレームの画像に融合するステップの前に、
前記生放送クライアントが各フレームの画像を認識して得られた人体のサイズを取得するステップと、
前記人体のサイズに基づいて、前記ターゲット仮想オブジェクトのサイズを調整するステップと、をさらに含む、
ことを特徴とする請求項１～５のいずれか一項に記載の特殊効果処理方法。

【請求項7】

生放送の特殊効果処理装置であって、
生放送クライアントが生放送を行うときに収集したビデオストリームを取得するための第１の取得モジュールと、
前記生放送クライアントが前記ビデオストリームにおける各フレームの画像に対して人体認識を行うことにより得られる各フレームの画像での人体キーポイント位置を取得するための第２の取得モジュールと、
各フレームの画像での前記人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得るための調整モジュールであって、前記仮想オブジェクトテンプレートとは、予め設定された仮想オブジェクトである調整モジュールと、
各フレームの画像に対応する前記ターゲット仮想オブジェクトを前記ビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得るための融合モジュールであって、前記ターゲットビデオストリームの各フレームの画像でのターゲット仮想オブジェクトのキーポイント位置と前記ターゲットビデオストリームの同じフレームの画像での生放送主の人体キーポイント位置との間にマッピング関係が存在する融合モジュールと、
前記生放送クライアント、及び生放送を見るユーザクライアントに前記ターゲットビデオストリームを送信して表示するための送信モジュールと、を備え、
前記生放送の特殊効果処理装置は、
前記生放送クライアントが各フレームの画像を認識して得られた人体中心位置を取得するための第４取得モジュールと、
前記各フレームの画像の人体中心位置に基づいて、前記ターゲット仮想オブジェクトの各フレームの画像での融合位置を決定するための第２の決定モジュールと、をさらに備える、
生放送の特殊効果処理装置。

【請求項8】

前記調整モジュールは、
各フレームの画像に対して、前記人体キーポイント位置に基づいて、キーポイント位置のマッピング関係をクエリすることにより、ターゲット位置を得るためのクエリユニットと、
前記仮想オブジェクトテンプレートにおけるターゲットキーポイントを前記ターゲット位置まで調整することにより、前記ターゲット仮想オブジェクトを得るための調整ユニットと、を備える、
ことを特徴とする請求項７に記載の特殊効果処理装置。

【請求項9】

前記調整モジュールは、
ユーザ画像を取得するための取得ユニットと、
前記ユーザ画像と、ターゲットキーポイント位置がマーキングされた基準テンプレートとを融合することにより、前記仮想オブジェクトテンプレートを得るための融合ユニットと、をさらに備える、
ことを特徴とする請求項８に記載の特殊効果処理装置。

【請求項10】

前記生放送クライアントにおいて実行されるユーザ操作に応答して生成される制御命令を前記生放送クライアントから取得するための第３取得モジュールと、
前記制御命令に基づいて、前記基準テンプレートを決定するための第１の決定モジュールと、をさらに備える、
ことを特徴とする請求項９に記載の特殊効果処理装置。

【請求項11】

前記取得ユニットは、さらに、
前記ユーザクライアント及び／または前記生放送クライアントから前記ユーザ画像を取得するために用いられる、
ことを特徴とする請求項９に記載の特殊効果処理装置。

【請求項12】

前記生放送クライアントが各フレームの画像を認識して得られた人体のサイズを取得するための第４取得モジュールと、
前記人体のサイズに基づいて、前記ターゲット仮想オブジェクトのサイズを調整するためのサイズ調整モジュールと、をさらに備える、
ことを特徴とする請求項７～１１のいずれかに記載の特殊効果処理装置。

【請求項13】

サーバであって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが請求項１～６のいずれかに記載の生放送の特殊効果処理方法を実行させる、
サーバ。

【請求項14】

コンピュータプログラムが記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、コンピュータに請求項１～６のいずれかに記載の生放送の特殊効果処理方法を実行させるために用いられる、
非一時的コンピュータ読み取り可能な記憶媒体。

【請求項15】

コンピュータ上で動作しているときに、請求項１～６のいずれかに記載の生放送の特殊効果処理方法を前記コンピュータに実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は画像処理技術分野に関し、具体的には、情報ストリーム、クラウドコンピューティング、画像認識技術分野に関し、特に生放送の特殊効果処理方法、装置、サーバ及び記憶媒体に関する。

【背景技術】

【0002】

近年、ストリーミングメディア技術の進歩、及びネットワーク回線容量の高速な増加に伴い、生放送サービスは、ますます人気が高まり、様々な生放送プログラム、ビデオ類のエンターテインメントプロジェクトが録画放送から生放送に変わる。生放送のタイプも多様であり、歌や踊り類、ゲーム類、教育類、生放送販売などがある。

【0003】

しかし、生放送タイプの多様性に比べて、従来の生放送モードは、すべて、生放送主がデバイスに面して生放送することであり、生放送形態が単一であり、生放送主と観衆との間のインタラクティビティが低いなどの欠点が存在する。

【発明の概要】

【課題を解決するための手段】

【0004】

本出願は、生放送の特殊効果処理方法、装置、サーバ及び記憶媒体を提供する。

【0005】

本出願の第１の態様の実施例は、
生放送クライアントが生放送を行うときに収集したビデオストリームを取得するステップと、
前記生放送クライアントが前記ビデオストリームにおける各フレームの画像に対して人体認識を行うことにより得られる各フレームの画像での人体キーポイント位置を取得するステップと、
各フレームの画像での前記人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得るステップと、
各フレームの画像に対応する前記ターゲット仮想オブジェクトを前記ビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得るステップと、
前記生放送クライアント、及び生放送を見るユーザクライアントに前記ターゲットビデオストリームを送信して、表示するステップと、を含む生放送の特殊効果処理方法を提供する。

【0006】

本出願の第２の形態の実施例は、
生放送クライアントが生放送を行うときに収集したビデオストリームを取得するための第１の取得モジュールと、
前記生放送クライアントが前記ビデオストリームにおける各フレームの画像に対して人体認識を行うことにより得られる各フレームの画像での人体キーポイント位置を取得するための第２の取得モジュールと、
各フレームの画像での前記人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得るための調整モジュールと、
各フレームの画像に対応する前記ターゲット仮想オブジェクトを前記ビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得るための融合モジュールと、
前記生放送クライアント、及び生放送を見るユーザクライアントに前記ターゲットビデオストリームを送信して、表示するための送信モジュールと、を備える生放送の特殊効果処理装置を提供する。

【0007】

本出願の第３の態様の実施例はサーバを提供し、前記サーバは、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、 前記命令は、前記少なくとも１つのプロセッサが第１の態様の実施例に記載の生放送の特殊効果処理方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0008】

本出願の第４態様の実施例は、コンピュータ命令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに第１の態様の実施例に記載の生放送の特殊効果処理方法を実行させるために用いられる、非一時的コンピュータ読み取り可能な記憶媒体を提供する。

【0009】

本出願の第５態様の実施例は、コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ上で動作するときに、前記コンピュータに第１の態様の実施例に記載の生放送の特殊効果処理方法を実行させるために用いられる、コンピュータプログラムを提供する。

【発明の効果】

【0010】

上記出願の一実施例は、以下の利点または有益な効果を有する。生放送クライアントが生放送するときに収集したビデオストリームにおける各フレームの画像に対応するターゲット仮想オブジェクトを対応する各フレームの画像に融合し、特殊効果処理済みのターゲットビデオストリームを得、ターゲットビデオストリームを生放送クライアント及びユーザクライアントに送信して表示する。従来の生放送表示効果が単一であるという問題に比べて、本出願では、特殊効果処理済みのターゲットビデオストリームを生放送クライアント及びユーザクライアントに表示することで、生放送の形態を豊かにし、生放送主と観衆とのインタラクティビティを向上させることに有利である。

【0011】

本部分で説明される内容は、本出願の実施例のキーポイントまたは重要な特徴を特定するためのものではなく、本出願の範囲を制限するためのものではないことを理解されたい。本出願の他の特徴は、以下の明細書を通して、容易に理解するようになる。

【図面の簡単な説明】

【0012】

図面は、本技術案がよりよく理解されるためのものであり、本出願を限定するものではない。

【図1】本出願の実施例１に係る生放送の特殊効果処理方法の概略フローチャートである。

【図2】本出願の実施例２に係る生放送の特殊効果処理方法の概略フローチャートである。

【図3】本出願の実施例３に係る仮想オブジェクトテンプレートを生成するための概略フローチャートである。

【図4】本出願の実施例４に係る生放送の特殊効果処理方法の概略フローチャートである。

【図5】本出願の実施例５に係る生放送の特殊効果処理方法の概略フローチャートである。

【図6】本出願の実施例６に係る生放送の特殊効果処理装置の概略構成図である。

【図7】本出願の実施例での生放送の特殊効果処理方法を実現するためのサーバのブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細が含まれており、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び趣旨から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔にするためにて、下の説明では、周知の機能及び構成の説明を省略する。

【0014】

以下、図面を参照しながら、本出願の実施例での生放送の特殊効果処理方法、装置、サーバ及び記憶媒体について説明する。

【0015】

図１は、本出願の実施例１に係る生放送の特殊効果処理方法の概略フローチャートである。

【0016】

本出願の実施例では、該生放送の特殊効果処理方法をサーバ側において実行することができ、それにより、サーバ側が生放送の特殊効果処理を完了した後、生放送クライアント、及び生放送を見るユーザクライアントを介して生放送の特殊効果を表示することができる。

【0017】

サーバは、クラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストコンピュータとも呼ばれ、クラウドコンピューティングサービス系のうちの１項のホストコンピュータ製品であり、管理難度が高く、サービス拡張性が弱いという従来の物理ホストコンピュータ及びＶＰＳサービスに存在する欠陥を解決する。

【0018】

図１に示すように、該生放送の特殊効果処理方法は、サーバ側により実行され、ステップ１０１～ステップ１０５を含んでもよい。

【0019】

ステップ１０１、生放送クライアントが生放送を行うときに収集したビデオストリームを取得する。

【0020】

生放送クライアントとは、生放送主の生放送用の機器を意味し、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣと略称する）であってもよく、モバイルデバイスであってもよく、モバイルデバイスは、たとえば、携帯電話、タブレットコンピュータ、ウェアラブルデバイスなどであってもよい。

【0021】

なお、生放送クライアントは、撮像、録音、表示などの複数の機能を一体にする機器であってもよく、たとえば、ＰＣ、携帯電話などであってもよく、ビデオカメラ、録音機、ディスプレイスクリーンなどの複数の機器を組み合わせて構成される生放送機器であってもよく、ここで限定されない。

【0022】

任意選択的に、本出願での生放送クライアントは、さらに、生放送主の生放送過程においての生放送動作を収集するための動作収集デバイスを有してもよい。

【0023】

本出願の実施例では、生放送主が生放送クライアントを用いて生放送を行う過程において、生放送クライアントが生放送するときに生じたビデオストリームをリアルタイムに収集し、収集して得られたビデオストリームをビデオ転送プロトコルでサーバにアップロードすることができ、それにより、サーバは、生放送クライアントが生放送するときに収集して得られたビデオストリームを取得する。ビデオストリームとは、ビデオデータの転送のことを指す。

【0024】

１つの例としては、生放送クライアントに設けられる録音録画用のモジュール（たとえばＭｅｄｉａ Ｒｅｃｏｒｄｅｒ）によって、生放送時にビデオストリームを収集してもよく、ビデオストリームをＨ２６４フォーマットで符号化し、高信頼性転送プロトコル（Ｒｅｌｉａｂｌｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ、ＲＴＰ）を介してサーバに送信し、それにより、サーバは、生放送クライアントが生放送するときに収集したビデオストリームを取得する。

【0025】

ステップ１０２、生放送クライアントがビデオストリームにおける各フレームの画像に対して人体認識を行うことにより得られる各フレームの画像での人体キーポイント位置を取得する。

【0026】

人体キーポイントは、人体の五官、関節点などの部位に対応するキーポイントであってもよく、例えば、手首、首、腕、肩部、膝、足首などの部位に対応するキーポイントであってもよい。

【0027】

任意選択的に、人体キーポイント位置は、生放送時に、生放送主及び彼のアシスタントの人体キーポイント位置であってもよい。

【0028】

本出願の実施例では、生放送クライアントは、生放送主が生放送を行うときにビデオストリームを収集して得た後、ビデオストリームにおける各フレームの画像に対して人体認識を行い、各フレームの画像での人体キーポイント位置を得た後、生放送クライアントが各フレームの画像での人体キーポイント位置をサーバに送信し、それにより、サーバが各フレームの画像での人体キーポイント位置を取得する。

【0029】

なお、生放送クライアントがビデオストリームにおける各フレームの画像に対して人体認識を行うこととは、各フレームの画像に対して人体姿勢認識を行うことにより、各フレームの画像での人体キーポイント位置を得ることである。

【0030】

可能な一実現形態として、ビデオストリームにおける各フレームの画像に対して特徴抽出を行うことにより、各フレームの画像に対応する特徴図を得、さらに各フレームの画像に対応する特徴図を訓練済みの人体キーポイント検出モデルに入力し、人体キーポイント検出モデルの出力に基づいて、各フレームの画像での人体キーポイント位置を決定することができる。

【0031】

別の可能な実現形態として、さらに上から下への人体キーポイント検出アルゴリズムを用いて、ビデオストリームにおける各フレームの画像での人体キーポイントを検出してもよい。任意選択的に、畳み込みポーズマシン学習アルゴリズム（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｐｏｓｅ Ｍａｃｈｉｎｅｓ、ＣＰＭ）を用いて認識してビデオストリームにおける各フレームの画像の人体領域を得てもよく、さらにビデオストリームにおける各フレームの画像に対して特徴抽出を行い、抽出された各フレームの画像の特徴図及び各フレームの画像に対応する人体領域をＣＰＭの入力として、抽出して各フレームの画像での人体キーポイントを得、それにより、各フレームの画像での人体キーポイントの位置を決定することができる。

【0032】

別の可能な実現形態として、さらに下から上への人体キーポイント検出アルゴリズムを用いて、ビデオストリームにおける各フレームの画像での人体キーポイントを検出してもよい。任意選択的に、下から上への人体キーポイント検出アルゴリズムを用いて人体キーポイントを検出することは、人体キーポイントの検出及び人体キーポイントのクラスタリングを含む。つまり、キーポイント検出には、画像でのすべてのタイプのすべてのキーポイントを全部検出し、次にこれらのキーポイントに対してクラスタリング処理を行い、異なる人の異なるキーポイントを接続し、それにより、クラスタリングして異なるオブジェクトに対応する人体キーポイントを生成し、さらに各フレームの画像での人体キーポイント位置を決定する必要がある。

【0033】

なお、上記各フレームの画像での人体キーポイント位置の決定方法は、例示的に説明するためのものに過ぎず、他の形態で各フレームの画像での人体キーポイント位置を決定してもよい。ここで１つずつ説明しない。

【0034】

ステップ１０３、各フレームの画像での前記人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得る。

【0035】

仮想オブジェクトテンプレートとは、予め設定された仮想オブジェクトである。仮想オブジェクトは、仮想キャラクタ、及び仮想物であってもよく、たとえば、仮想アニメーオブジェクト、仮想アニメーキャラクタなどであってもよく、ここで限定されない。

【0036】

本出願の実施例では、サーバは、各フレームの画像での人体キーポイント位置を取得した後、各フレームの画像での人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことができ、それにより、調整後の各フレームの画像での仮想オブジェクトテンプレートを各フレームの画像に対応するターゲット仮想オブジェクトとする。

【0037】

仮想オブジェクトテンプレートを選択した後、実際な生放送シーンに応じて、各フレームの画像での人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行い、さらに各フレームの画像に対応するターゲット仮想オブジェクトを得ることができることを理解されたい。

【0038】

１つの可能な場合、ビデオストリームにおける各フレームの画像での生放送主の人体キーポイント位置に基づいて、各フレームの画像に対応するターゲット仮想オブジェクトの位置、大きさまたは仮想オブジェクトの動作幅を決定し、さらに仮想テンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得てもよい。

【0039】

他の可能な場合、ビデオストリームにおける各フレームの画像での生放送主の人体キーポイント位置に対応する可視領域の大きさに基づいて、各フレームの画像に対応するターゲット仮想オブジェクトの位置、大きさまたは仮想オブジェクト動作幅を決定して、さらに仮想テンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得てもよい。

【0040】

１つの可能なシーンで、生放送主が生放送で踊ると仮定すると、ターゲット仮想オブジェクトが仮想ダンスパートナーであってもよく、生放送クライアントは、生放送主が生放送するときのビデオストリームをリアルタイムに収集し、ビデオストリームにおける各フレームの画像での人体キーポイント位置を認識して得ることができ、生放送過程において、様々な画像での人体キーポイント位置は、生放送主が踊るとともに変わり、このとき、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応する仮想ダンスパートナーを得ることができる。

【0041】

他の可能なシーンで、生放送主が生放送で販売すると仮定すると、生放送主がオーブンを選択して表示する場合、特定の位置に仮想オーブンを生成し、特定の手振りに対応するキーポイント位置によって、仮想オーブンにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応する仮想オーブンを得ることができ、それにより、特定の手振りとともに、仮想オーブンを回転したり、拡大縮小したり、開閉したりなどすることを実現する。

【0042】

ステップ１０４、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得る。

【0043】

ターゲットビデオストリームとは、生放送クライアントが生放送するときに収集したビデオストリームに仮想オブジェクトを追加して得られたビデオストリームである。

【0044】

本出願の実施例では、各フレームの画像に対応するターゲット仮想オブジェクトを決定した後、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合し、さらに特殊効果処理済みのターゲットビデオストリームを得ることができる。

【0045】

可能な一実現形態として、各フレームの画像を背景とし、各フレームの画像に対応するターゲット仮想オブジェクトを前景とし、ターゲット仮想オブジェクトの各フレームの画像での位置に基づいて融合することにより、融合後の特殊効果処理済みのターゲットビデオストリームに対応する各フレームの画像を得ることができる。

【0046】

別の可能な実現形態として、各フレームの画像に対応するターゲット仮想オブジェクトを取得した後、各フレームの画像に対応するターゲット仮想オブジェクトに対して特徴抽出を行うことにより、各フレームの画像に対応する仮想オブジェクト、及び対応する各フレームの画像に対して特徴レベルの融合を行うことができる。

【0047】

なお、他の可能な融合モードを用い、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合してもよく、ここで１つずつ説明しない。

【0048】

ステップ１０５、生放送クライアント、及び生放送を見るユーザクライアントにターゲットビデオストリームを送信して、表示する。

【0049】

本出願の実施例では、サーバは、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合し、特殊効果処理済みのターゲットビデオストリームを得た後、ターゲットビデオストリームを生放送クライアント、及び生放送を見るユーザクライアントに送信して、生放送クライアント及びユーザクライアントに表示する。

【0050】

本出願の実施例での生放送の特殊効果処理方法は、取得された生放送クライアントが生放送するときに収集したビデオストリームにおける各フレームの画像に対して、サーバを介して人体認識を行い、各フレームの画像での人体キーポイント位置を得た後、各フレームの画像での人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得、さらにターゲットビデオストリームを生放送クライアント、及び生放送を見るユーザクライアントに送信して表示する。これによって、生放送時に、各フレームの画像に対応するターゲット仮想オブジェクトを対応する各フレームの画像に融合することで、特殊効果処理済みのターゲットビデオストリームを得る。従来の生放送表示効果が単一である状況に比べて、本出願では、特殊効果処理済みのターゲットビデオストリームを生放送クライアント及びユーザクライアントに表示し、生放送の形態を豊かにし、生放送主と観衆とのインタラクティビティを向上させることに有利である。

【0051】

１つの可能なシーンで、生放送主が生放送クライアントを用いて生放送で踊ることができ、しかし、生放送主が一人しかいない場合、二人ダンスの生放送を行うことができず、このとき、仮想キャラクタを生成し、生放送主が生成される仮想キャラクタと二人ダンスの生放送を行う必要がある。以下、図２を参照しながら、詳細に説明し、図２は、本出願の実施例２に係る生放送の特殊効果処理方法の概略フローチャートである。

【0052】

図２に示すように、該生放送の特殊効果処理方法は、ステップ２０１～２０６を含んでもよい。

【0053】

ステップ２０１、生放送クライアントが生放送を行うときに収集したビデオストリームを取得する。

【0054】

ステップ２０２、生放送クライアントがビデオストリームにおける各フレームの画像に対して人体認識を行うことにより得られる各フレームの画像での人体キーポイント位置を取得する。

【0055】

本出願の実施例では、ステップ２０１及びステップ２０２の実現プロセスについては、上記実施例のステップ１０１及びステップ１０２の実現プロセスを参照することができ、ここで説明を省略する。

【0056】

ステップ２０３、各フレームの画像に対して、人体キーポイント位置に基づいて、キーポイント位置のマッピング関係をクエリすることにより、ターゲット位置を得る。

【0057】

ここで、ターゲット位置とは、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対応する位置である。

【0058】

本出願の実施例では、生放送クライアントが生放送を行うときに収集したビデオストリームにおける各フレームの画像に対して人体認識を行い、各フレームの画像での人体キーポイント位置を得た後、各フレームの画像に対して、人体キーポイント位置に基づいて、キーポイント位置のマッピング関係をクエリすることにより、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対応するターゲット位置を得ることができる。

【0059】

１つの例としては、生放送主が仮想ダンスパートナーと二人ダンスを踊ると仮定し、ダンスが予め創作されたものであり、生放送主のダンスステップが仮想ダンスパートナーのダンスステップと対応し、従って、生放送主の人体キーポイント位置と仮想ダンスパートナーのキーポイント位置との間にマッピング関係が存在する。これから分かるように、本出願では、各フレームの画像での生放送主の人体キーポイント位置を決定した後、人体キーポイント位置と仮想ダンスパートナーのキーポイント位置との間のマッピング関係をクエリすることにより、仮想ダンスパートナーのターゲットキーポイントに対応するターゲット位置を決定することができる。

【0060】

ステップ２０４、仮想オブジェクトテンプレートにおけるターゲットキーポイントをターゲット位置まで調整することにより、ターゲット仮想オブジェクトを得る。

【0061】

本出願の実施例では、ビデオストリームにおける各フレームの画像に対して、人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントを調整する必要があるターゲット位置を決定した後、仮想オブジェクトテンプレートにおけるターゲットキーポイントをターゲット位置まで調整することにより、ターゲット仮想オブジェクトを得ることができる。

【0062】

任意選択的に、各フレームの画像での生放送主の人体キーポイント位置に基づいて、仮想オブジェクトに対応するターゲット位置を判断することができ、つまり、生放送主のダンス動作に基づいて、仮想オブジェクトがどのリズムで踊るかを判断し、次に該リズムのダンス動作を表示することができる。

【0063】

１つの例としては、あるフレーム画像で、生放送主の人体キーポイント位置が仮想オブジェクトテンプレートの方向へ移動すると仮定すると、仮想オブジェクトテンプレートにおけるターゲットキーポイントが後に移動することができ、それにより、仮想オブジェクトテンプレートにおけるターゲットキーポイントのターゲット位置を決定し、さらに仮想オブジェクトテンプレートにおけるターゲットキーポイントをターゲット位置まで調整することにより、ターゲット仮想オブジェクトを得る。

【0064】

ステップ２０５、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得る。

【0065】

ステップ２０６、生放送クライアント、及び生放送を見るユーザクライアントにターゲットビデオストリームを送信して、表示する。

【0066】

本出願の実施例では、ステップ２０５及びステップ２０６の実現プロセスについては、上記実施例でのステップ１０４及びステップ１０５の実現プロセスを参照することができ、ここで説明を省略する。

【0067】

本出願の実施例での生放送の特殊効果処理方法は、生放送クライアントが生放送を行うときに収集したビデオストリームにおける各フレームの画像に対して、人体キーポイント位置に基づいて、キーポイント位置のマッピング関係をクエリすることにより、ターゲット位置を得、仮想オブジェクトテンプレートにおけるターゲットキーポイントをターゲット位置まで調整することにより、ターゲット仮想オブジェクトを得、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合し、特殊効果処理済みのターゲットビデオストリームを得、さらに生放送クライアント及びユーザクライアントにターゲットビデオストリームを送信して表示する。これによって、ビデオストリームにおける各フレームの画像にターゲット仮想オブジェクトを融合することにより、生放送中に、観衆と生放送主とのインタラクションを増加させる。

【0068】

１つの可能な場合、仮想オブジェクトが仮想キャラクタである場合、仮想キャラクタのアバターが生放送を見るユーザのアバターであってもよく、それにより、観衆と生放送主とのインタラクションを増加させる。以下、図３を参照しながら、詳細に説明し、図３は、本出願の実施例３に係る仮想オブジェクトテンプレートを生成する概略フローチャートである。

【0069】

図３に示すように、該仮想オブジェクトテンプレートの生成方法は、ステップ３０１～３０４を含んでもよい。
ステップ３０１、生放送クライアントから制御命令を取得する。

【0070】

ここで、制御命令は、生放送クライアントにおいて実行されるユーザ操作に応答して生成されるものである。

【0071】

生放送主が生放送クライアントを用いて生放送を行う過程において、仮想オブジェクトを追加する必要があるとき、生放送主は、生放送クライアントにおいて仮想オブジェクトを追加するユーザ操作を実行することができ、それにより、生放送クライアントが生放送クライアントにおいて実行されるユーザ操作に応答して制御命令を生成することを理解されたい。

【0072】

さらに、生放送クライアントが生成される制御命令をサーバに送信することにより、サーバが生放送クライアントから制御命令を取得する。

【0073】

ステップ３０２、制御命令に基づいて、基準テンプレートを決定する。

【0074】

本出願の実施例では、サーバが制御命令を取得した後、ユーザにより選択される標準モジュールを制御命令に基づいて決定することができる。

【0075】

基準テンプレートが仮想キャラクタテンプレートである場合、生放送過程において異なるユーザにより選択される仮想キャラクタテンプレートが同じではない可能性があることを理解されたい。たとえば、生放送主が生放送中に販売し、異なる身長、体格の仮想キャラクタが服を試着する必要があると仮定すると、異なる基準テンプレートを選択する可能性がある。これによって、ユーザの操作に基づいて、ユーザニーズを満たす基準テンプレートを決定することを実現する。

【0076】

ステップ３０３、ユーザ画像を取得する。

【0077】

ここで、ユーザ画像は、生放送を見る観衆に対応する顔画像であってもよく、生放送主の顔画像であってもよい。

【0078】

任意選択的に、観衆の認可を取得する場合、ユーザクライアントは、ユーザ画像を収集して得、ユーザ画像をサーバにアップロードすることができ、サーバは、ユーザ画像と、ターゲットキーポイント位置がマーキングされた基準テンプレートとを融合することにより、仮想オブジェクトテンプレートを得る。

【0079】

１つの可能な場合、ユーザクライアントは、生放送を見る観衆のユーザ画像を収集して得た後、ユーザ画像をサーバにアップロードすることができ、それにより、サーバがユーザクライアントからユーザ画像を取得する。

【0080】

他の可能な場合、生放送クライアントは、生放送主のユーザ画像を収集して得た後、ユーザ画像をサーバにアップロードすることができ、それにより、サーバは、生放送クライアントから生放送主のユーザ画像を取得することができる。

【0081】

別の可能な場合、ユーザクライアントが生放送を見る観衆のユーザ画像を収集して得、生放送クライアントが生放送主のユーザ画像を収集して得た後、サーバは、ユーザクライアント及び生放送クライアントの両方から観衆のユーザ画像及び生放送主のユーザ画像を取得することができる。

【0082】

これによって、サーバ側は、生放送主及び観衆のユーザ画像を取得することができ、それにより、生放送の表示効果を豊かにし、生放送主と観衆とのインタラクティビティを向上させる。

【0083】

ステップ３０４、ユーザ画像と、ターゲットキーポイント位置がマーキングされた基準テンプレートとを融合することにより、仮想オブジェクトテンプレートを得る。

【0084】

本出願の実施例では、サーバは、ユーザ画像を取得した後、ユーザ画像と、ターゲットキーポイント位置がマーキングされた基準テンプレートとを融合することにより、仮想オブジェクトテンプレートを得ることができる。

【0085】

可能な一実現形態として、ユーザ画像を前景とし、ターゲットキーポイント位置がマーキングされた基準テンプレートを背景とすることにより、ユーザ画像と基準テンプレートとを融合し、仮想オブジェクトテンプレートを得ることができる。

【0086】

本出願の実施例では、仮想オブジェクトテンプレートに生放送を見るユーザのアバターが含まれてもよく、ユーザアバターを含む仮想オブジェクトを用いて、生放送主とゲームをやったり、ダンスを踊ったりなどすることができ、それにより、生放送主と観衆とのインタラクションを増加させる。

【0087】

これによって、ユーザ画像と基準テンプレートとを融合して得られた仮想オブジェクトテンプレートにユーザ画像が含まれ、生放送過程において生放送主と観衆とのインタラクションを増加させる。

【0088】

１つの可能な場合、各フレームの画像に対応するターゲット仮想オブジェクトを得た後、さらにターゲット仮想オブジェクトの各フレームの画像での融合位置を決定する必要があり、ターゲット仮想オブジェクトの各フレームの画像での融合位置に基づいて、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合する。１つの可能なシーンで、生放送主が生放送クライアントにおいて生放送で踊ると仮定し、ターゲット仮想オブジェクトの各フレームの画像での位置が、生放送主の各フレームの画像での位置に関連する。以下、図４を参照しながら、詳細に説明し、図４は、本出願の実施例４に係る生放送の特殊効果処理方法の概略フローチャートである。

【0089】

図４に示すように、上記ステップ１０４またはステップ２０５の前に、該生放送の特殊効果処理方法は、さらに、以下のステップを含んでもよい。

【0090】

ステップ４０１、生放送クライアントが各フレームの画像を認識して得られた人体中心位置を取得する。

【0091】

ここで、人体中心位置とは、生放送クライアントが生放送するとき、各フレームの画像での生放送主に対応する中心位置である。

【0092】

本出願の実施例では、生放送クライアントは、生放送するときに収集したビデオストリームにおける各フレームの画像を認識して、各フレームの画像での人体中心位置を決定し、さらに、各フレームの画像を認識し得られた人体中心位置をサーバに送信し、それにより、サーバは、生放送クライアントが各フレームの画像を認識して得られた人体中心位置を取得する。

【0093】

可能な一実現形態として、各フレームの画像に対して画像認識を行うことで、各フレームの画像での人体領域を得、さらに人体領域に対して人体キーポイントの抽出を行って、抽出して各フレームの画像での人体キーポイントを得、人体キーポイント位置を決定してもよい。さらに、人体キーポイント位置に基づいて人体中心位置を決定する。

【0094】

１つの例としては、各フレームの画像での人体キーポイント位置の中心キーポイントに対応する位置を、各フレームの画像での人体中心位置として決定してもよい。

【0095】

ステップ４０２、各フレームの画像の人体中心位置に基づいて、ターゲット仮想オブジェクトの各フレームの画像での融合位置を決定する。

【0096】

１つの可能なシーンで、生放送クライアントは、生放送で踊るとき、１つまたは複数の仮想ダンスパートナーを生成することができ、このシーンで、各フレームの画像での生放送主の人体中心位置に基づいて、仮想ダンスパートナーの各フレームの画像での融合位置を決定することができ、仮想ダンスパートナーの各フレームの画像での融合位置に基づいて、各フレームの画像に対応するターゲット仮想ダンスパートナーをビデオストリーム内の対応する各フレームの画像に融合する。

【0097】

生放送クライアントにおいて生放送で踊るとき、生放送主がダンスにおけるあるキャラクタの代わりに、他の仮想ダンスパートナーと踊ることができ、仮想ダンスパートナーの各フレームの画像での位置は、生放送主の位置に基づいて決定することができることを理解されたい。

【0098】

本出願の実施例では、生放送クライアントが各フレームの画像を認識して得られた人体中心位置を取得することにより、各フレームの画像の人体中心位置に基づいて、ターゲット仮想オブジェクトの各フレームの画像での融合位置を決定し、さらに融合位置に基づいて、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合する。これによって、ビデオストリームにおける各フレームの画像の人体中心位置によって、ターゲット仮想オブジェクトの各フレームの画像での融合位置を決定することにより、生放送中に、ターゲット仮想オブジェクトを融合した後に趣味性を向上させ、生放送の形態を豊かにする。

【0099】

１つの可能なシーンで、生放送主が生放送クライアントにおいて生放送でダンスしたり、または、生放送で服を試着したりすると仮定し、様々な身長、体重の表示効果を実現するために、ターゲット仮想オブジェクトのサイズを調整することにより、サイズを調整した後の各フレームの画像に対応するターゲット仮想オブジェクトを対応する各フレームの画像に融合することができる。以下、図５を参照しながら、詳細に説明し、図５は、本出願の実施例５に係る生放送の特殊効果処理方法の概略フローチャートである。

【0100】

図５に示すように、上記ステップ１０４またはステップ２０５の前、該生放送の特殊効果処理方法は、さらに、ステップ５０１及びステップ５０２を含んでもよい。

【0101】

ステップ５０１、生放送クライアントが各フレームの画像を認識して得られた人体のサイズを取得する。

【0102】

各フレームの画像での人体のサイズとは、生放送主の身長、体格などであることを理解されたい。

【0103】

本出願の実施例では、生放送クライアントが生放送するときに収集したビデオストリームにおける各フレームの画像を認識して、各フレームの画像での人体のサイズを決定し、さらに生放送クライアントが認識し得られた人体のサイズをサーバにアップロードし、それにより、サーバは生放送クライアントが各フレームの画像を認識して得られた人体のサイズを取得する。

【0104】

ステップ５０２、人体のサイズに基づいてターゲット仮想オブジェクトのサイズを調整する。

【0105】

１つの可能なシーンで、生放送主が生放送クライアントにおいて生放送で親子服を販売するとき、生放送効果を向上させるように、複数の人が協力して服を展示する必要があるとともに、複数の体型の人が服を展示する必要がある。この場合、生放送クライアントが各フレームの画像を認識して得られた人体のサイズに基づいてターゲット仮想オブジェクトのサイズを調整して、ターゲット仮想オブジェクトのサイズが人体のサイズと異なるようにし、服に対して多重効果の展示を行うことができる。

【0106】

他の可能なシーンで、生放送主が生放送クライアントにおいて生放送で踊るとき、生放送主のうち、男性ダンスパートナーがいないと、各フレームの画像を認識して得られた人体のサイズに基づいて、ターゲット仮想オブジェクトのサイズを調整することにより、人体のサイズに合う男性ダンスパートナーに対応するターゲット仮想オブジェクトのサイズを得ることができる。

【0107】

これによって、サーバは、生放送クライアントが各フレームの画像を認識して得られた人体のサイズを取得した後、人体のサイズに基づいてターゲット仮想オブジェクトのサイズを調整し、複数のタイプのターゲット仮想オブジェクトを得ることができ、それにより、生放送の形態を豊かにし、従来技術で生放送が単一であるという問題を解決する。

【0108】

上記実施例を実現するために、本出願は、生放送の特殊効果処理装置を提供する。

【0109】

図６は、本出願の実施例６に係る生放送の特殊効果処理装置の概略構成図である。

【0110】

図６に示すように、該生放送の特殊効果処理装置６００は、第１の取得モジュール６１０と、第２の取得モジュール６２０と、調整モジュール６３０と、融合モジュール６４０と、送信モジュール６５０とを備えてもよい。

【0111】

第１の取得モジュール６１０は、生放送クライアントが生放送を行うときに収集したビデオストリームを取得するために用いられる。

【0112】

第２の取得モジュール６２０は、生放送クライアントがビデオストリームにおける各フレームの画像に対して人体認識を行うことにより得られる各フレームの画像での人体キーポイント位置を取得するために用いられる。

【0113】

調整モジュール６３０は、各フレームの画像での人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得るために用いられる。

【0114】

融合モジュール６４０は、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得るために用いられる。

【0115】

送信モジュール６５０は、生放送クライアント、及び生放送を見るユーザクライアントにターゲットビデオストリームを送信して、表示するために用いられる。

【0116】

１つの可能な場合、調整モジュール６３０は、
各フレームの画像に対して、人体キーポイント位置に基づいて、キーポイント位置のマッピング関係をクエリすることにより、ターゲット位置を得るためのクエリユニットと、
仮想オブジェクトテンプレートにおけるターゲットキーポイントをターゲット位置まで調整することにより、ターゲット仮想オブジェクトを得るための調整ユニットと、を備えてもよい。

【0117】

他の可能な場合、調整モジュール６３０は、
ユーザ画像を取得するための取得ユニットと、
ユーザ画像と、ターゲットキーポイント位置がマーキングされた基準テンプレートとを融合することにより、仮想オブジェクトテンプレートを得るための融合ユニットとをさらに備えてもよい。

【0118】

他の可能な場合、該生放送の特殊効果処理装置６００は、
生放送クライアントにおいて実行されるユーザ操作に応答して生成される生放送クライアントから制御命令を取得するための第３取得モジュールと、
制御命令に基づいて、基準テンプレートを決定するための第１の決定モジュールと、をさらに備えてもよい。

【0119】

他の可能な場合、取得ユニットは、さらに、
ユーザクライアント及び／または生放送クライアントユーザ画像を取得するために用いられる。

【0120】

他の可能な場合、該生放送の特殊効果処理装置６００は、
生放送クライアントが各フレームの画像を認識して得られた人体中心位置を取得するための第４取得モジュールと、
各フレームの画像の人体中心位置に基づいて、ターゲット仮想オブジェクトの各フレームの画像での融合位置を決定するための第２の決定モジュールと、をさらに備えてもよい。

【0121】

他の可能な場合、該生放送の特殊効果処理装置６００は、
生放送クライアントが各フレームの画像を認識して得られた人体のサイズを取得するための第４取得モジュールと、
人体のサイズに基づいてターゲット仮想オブジェクトのサイズを調整するためのサイズ調整モジュールと、をさらに備えてもよい。

【0122】

なお、前述した生放送の特殊効果処理方法の実施例についての説明が該実施例の生放送の特殊効果処理装置にも適用することができ、ここで詳しく説明しない。

【0123】

本出願の実施例での生放送の特殊効果処理装置は、取得された生放送クライアントが生放送するときに収集したビデオストリームにおける各フレームの画像に対して、サーバを介して人体認識を行い、各フレームの画像での人体キーポイント位置を得た後、各フレームの画像での人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得、さらにターゲットビデオストリームを生放送クライアント、及び生放送を見るユーザクライアントに送信して表示する。これによって、生放送時に、各フレームの画像に対応するターゲット仮想オブジェクトを対応する各フレームの画像に融合することで、特殊効果処理済みのターゲットビデオストリームを得る。従来の生放送表示効果が単一である状況に比べて、本出願では、特殊効果処理済みのターゲットビデオストリームを生放送クライアント及びユーザクライアントに表示することで、生放送の形態を豊かにし、生放送主と観衆とのインタラクティビティを向上させることに有利である。

【0124】

上記実施例を実現するために、本出願は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備えるサーバを提供し、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、 前記命令は、前記少なくとも１つのプロセッサが上記実施例の生放送の特殊効果処理方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0125】

上記実施例を実現するために、本出願は、コンピュータ命令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに上記実施例の生放送の特殊効果処理方法を実行させるために用いられる、非一時的コンピュータ読み取り可能な記憶媒体を提供する。

【0126】

本出願の実施例によれば、本出願は、サーバ及び読み取り可能な記憶媒体をさらに提供する。

【0127】

図７に示すように、本出願の実施例による生放送の特効処理方法のサーバのブロック図である。サーバは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。サーバは、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／または要求される本出願の実現を制限することを意図したものではない。

【0128】

図７に示すように、該サーバは、１つのまたは複数のプロセッサ７０１と、メモリ７０２と、高速インターフェースと低速インターフェースを含む、各コンポーネントを接続するためのインターフェースと、を備える。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、または必要に応じて他の方式で取り付けることができる。プロセッサは、メモリ内またはメモリ上において外部入力／出力装置（例えば、インターフェースにカップリングされた表示機器）にグラフィック情報を表示する命令を含む、サーバ内で実行される命令を処理する。他の実施形態では、必要であれば、複数のプロセッサ及び／または複数のバスを、複数のメモリとともに使用することができる。同様に、複数の機器を接続することができ、各サーバは、一部の必要な操作を（例えばサーババンク、１群のブレードサーバ、またはマルチプロセッサシステムとして）提供することができる。図７では、１つのプロセッサ７０１を例とする。

【0129】

メモリ７０２は、本出願に係る非一時的コンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも１つのプロセッサが本出願に係る生放送の特効処理方法を実行できるように、少なくとも１つのプロセッサによって実行できる命令が記憶されている。本出願の非一時的コンピュータ読み取り可能な記憶媒体には、コンピュータに本出願に係る生放送の特効処理方法を実行させるためのコンピュータ命令が記憶されている。

【0130】

メモリ７０２は、非一時的コンピュータ読み取り可能な記憶媒体として、本出願の実施例に係る生放送の特効処理方法に対応するプログラム命令／モジュール（たとえば、図６に示す第１の取得モジュール６１０、第２の取得モジュール６２０、調整モジュール６３０、融合モジュール６４０及び送信モジュール６５０）などの、非一時的なソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュールを記憶するように構成される。プロセッサ７０１は、メモリ７０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法実施例の生放送の特効処理方法を実現する。

【0131】

メモリ７０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、サーバの使用によって作成されたデータなどを記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを含んでもよく、非一時的なメモリをさらに含んでもよく、例えば、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス、または他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔に設けられたメモリを選択的に含んでもよく、これらの遠隔メモリは、本実施例の生放送の特効処理方法を実現するためのサーバにネットワークを介して接続されてもよい。上記ネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

【0132】

サーバは、さらに、入力装置７０３及び出力装置７０４を備えてもよい。プロセッサ７０１、メモリ７０２、入力装置７０３及び出力装置７０４は、バスまたは他の方式を介して接続することができ、図７では、バスを介して接続することを例とする。

【0133】

入力装置７０３は、入力された数字またはキャラクタ情報を受信し、サーバのユーザ設定及び機能制御に関連するキー信号入力を生成してもよく、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、１つのまたは複数のマウスキー、トラックボール、ジョイスティックなどの入力装置である。出力装置７０４は、表示機器、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えばバイブラモータ）などを含んでもよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含んでもよいがこれらに限られない。いくつかの実施形態では、表示機器は、タッチスクリーンであり得る。

【0134】

ここで説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組合せで実現することができる。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムで実施されること、を含むことができ、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／または解釈でき、該プログラマブルプロセッサは、特定用途向けまたは汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、該ストレージシステム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができる。

【0135】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも称される）は、プログラマブルプロセッサに対するマシン命令を含み、高レベル手続き型及び／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／マシン言語で実装することができる。本明細書で使用されるように、「マシン読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、マシン命令及び／またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／または装置で（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））であり、マシン読み取り可能な信号であるマシン命令を受信する機器読み取り可能な媒体を含む。「マシン読み取り可能な信号」という用語は、マシン命令及び／またはデータをプログラマブルプロセッサに提供するための任意の信号である。

【0136】

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、該コンピュータは、ユーザに情報を表示するための表示機器（例えば、ＣＲＴ（陰極線管またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを有し、ユーザは、該キーボード及び該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、（音響入力と、音声入力と、触覚入力と、を含む）任意の形態でユーザからの入力を受信することができる。

【0137】

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ、ユーザは、該グラフィカルユーザインタフェースまたは該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、及びフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されてもよい。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮと、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、を含む。

【0138】

コンピュータシステムは、クライアント側とサーバと、を含むことができる。クライアント側とサーバは、一般的に、互いに離れており、通常は通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係が生成される。サーバは、クラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホスティングとも呼ばれ、クラウドコンピューティングサービス系のうちの１項のホストコンピュータ製品であり、従来の物理ホストコンピュータ及びＶＰＳサービスに存在する、管理難度が高く、サービス拡張性が弱いという欠陥を解決する。

【0139】

本出願の実施例による技術の解決手段は、取得された生放送クライアントが生放送するときに収集したビデオストリームにおける各フレームの画像に対して、サーバを介して人体認識を行い、各フレームの画像での人体キーポイント位置を得た後、各フレームの画像での人体キーポイント位置に基づいて、仮想オブジェクトテンプレートにおけるターゲットキーポイントに対して位置調整を行うことにより、各フレームの画像に対応するターゲット仮想オブジェクトを得、各フレームの画像に対応するターゲット仮想オブジェクトをビデオストリーム内の対応する各フレームの画像に融合することにより、特殊効果処理済みのターゲットビデオストリームを得、さらにターゲットビデオストリームを生放送クライアント、及び生放送を見るユーザクライアントに送信して表示する。これによって、生放送時に、各フレームの画像に対応するターゲット仮想オブジェクトを対応する各フレームの画像に融合することで、特殊効果処理済みのターゲットビデオストリームを得る。従来の生放送表示効果が単一である状況に比べて、本出願では、特殊効果処理済みのターゲットビデオストリームを生放送クライアント及びユーザクライアントに表示することで、生放送の形態を豊かにし、生放送主と観衆とのインタラクティビティを向上させることに有利である。

【0140】

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、または削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

【0141】

上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び置換を行うことができる。本出願の要旨と原則内で行われる任意の修正、同等の置換や改良などは、いずれも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】