知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
特許7668834バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-17
(45)【発行日】2025-04-25
(54)【発明の名称】バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
H04N 21/2668 20110101AFI20250418BHJP
H04N 21/258 20110101ALI20250418BHJP
H04N 7/15 20060101ALI20250418BHJP
【ＦＩ】
H04N21/2668
H04N21/258
H04N7/15 170
【請求項の数】
17
(21)【出願番号】P 2023055900
(22)【出願日】2023-03-30
(65)【公開番号】P2023082119
(43)【公開日】2023-06-13
【審査請求日】2023-03-30
(31)【優先権主張番号】202210352747.8
(32)【優先日】2022-03-31
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100189555
【弁理士】
【氏名又は名称】徳山 英浩
(72)【発明者】
【氏名】舒 志強
(72)【発明者】
【氏名】李 明路
(72)【発明者】
【氏名】孫 健
【審査官】川中 龍太
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０３００３８７（ＵＳ，Ａ１）
【文献】特開２００６－０２５２８１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／０３４９９５２（ＵＳ，Ａ１）
【文献】特表２０１３－５４１０７５（ＪＰ，Ａ）
【文献】特表２０１１－５２０１７３（ＪＰ，Ａ）
【文献】米国特許出願公開第２００９／０１０６６７１（ＵＳ，Ａ１）
【文献】特開２０００－０４００８８（ＪＰ，Ａ）
【文献】特表２０２０－５２５９４６（ＪＰ，Ａ）
【文献】特開２０１９－１３９６７２（ＪＰ，Ａ）
【文献】特開２０１８－１４２１１９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／０１８５１０５（ＵＳ，Ａ１）
【文献】国際公開第２０１８／０９９９９０（ＷＯ，Ａ１）
【文献】特開２０１６－１８７０６３（ＪＰ，Ａ）
【文献】特開２０２０－１０１９５０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｈ０４Ｎ ７／１４ － ７／１５
(57)【特許請求の範囲】
【請求項1】
第１の対象に対するバーチャルシーンアクセス要求命令を応答して、前記第１の対象の基礎データを取得することと、前記基礎データに基づいて、バーチャルシーンにおいて前記第１の対象のバーチャルキャラクターを作成し、前記第１の対象に対応するターゲット関与対象を取得することと、
前記第１の対象からのターゲット内容放送命令を応答して、前記バーチャルシーンにおいてターゲット内容を放送することと、を含む
バーチャルシーン情報インタラクション方法であって、
前記バーチャルシーンは、バーチャル放送機器データを含むバーチャルシーンデータに基づいて生成され、
前記バーチャルシーンは、少なくとも１つの関与対象を含み、
前記基礎データは、位置データをさらに含み、
前記バーチャルシーン情報インタラクション方法は、
前記位置データに基づいて、前記関与対象の前記バーチャルシーンにおける位置座標を特定することと、
前記バーチャルシーンデータ、及び前記関与対象の前記バーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定することと、
前記バーチャルシーンマップデータを前記関与対象に送信することと、
前記第１の対象に対する位置調整命令を応答して、前記第１の対象の位置調整データに基づいて、前記ターゲット関与対象の前記位置座標を調整し、前記ターゲット関与対象の調整された位置座標を取得することと、
位置更新頻度及び前記調整された位置座標のうちの少ない１つに基づいて、前記バーチャルシーンマップデータを更新することとをさらに含む
バーチャルシーン情報インタラクション方法。
【請求項2】
請求項１に記載の方法であって、前記第１の対象からのターゲット内容放送命令を応答して、前記バーチャルシーンにおいてターゲット内容を放送することは、
前記第１の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得することと、
前記バーチャル放送機器データに基づいて生成されるバーチャル放送機器により、前記ターゲット内容データに基づいて生成される前記ターゲット内容を放送することと、を含むバーチャルシーン情報インタラクション方法。
【請求項3】
請求項１に記載の方法であって、前記関与対象は、前記ターゲット関与対象と、少なくとも１つの参照関与対象とを含み、
前記バーチャルシーン情報インタラクション方法は、
音声インタラクション範囲閾値、及び前記関与対象の前記位置座標に基づいて、前記ターゲット関与対象の音声インタラクション関与対象を特定することと、
前記音声インタラクション関与対象の音声ストリームを前記ターゲット関与対象へ購読することと、をさらに含むバーチャルシーン情報インタラクション方法。
【請求項4】
請求項３に記載の方法であって、前記音声インタラクション関与対象の前記位置座標が前記音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定することと、
前記無効音声インタラクション関与対象の音声ストリームの購読を、前記ターゲット関与対象へキャンセルすることとをさらに含むバーチャルシーン情報インタラクション方法。
【請求項5】
請求項３に記載の方法であって、前記ターゲット関与対象の位置座標、及び前記音声インタラクション関与対象の位置座標に基づいて、前記ターゲット関与対象に対する前記音声インタラクション関与対象の相対位置データを特定することと、
前記相対位置データに基づいて、前記音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び２チャネル処理のうちの少なくとも１つを行い、前記音声インタラクション関与対象のターゲット音声ストリームを取得することと、をさらに含むバーチャルシーン情報インタラクション方法。
【請求項6】
請求項１に記載の方法であって、前記第１の対象に対するキャラクター調整操作命令を応答して、前記第１の対象のバーチャルキャラクターを調整することをさらに含み、
前記キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも１つを含むバーチャルシーン情報インタラクション方法。
【請求項7】
請求項２に記載の方法であって、前記バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも１つを含み、
前記ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも１つを含むバーチャルシーン情報インタラクション方法。
【請求項8】
第１の対象に対するバーチャルシーンアクセス要求命令を応答して、前記第１の対象の基礎データを取得する基礎データ取得モジュールと、前記基礎データに基づいて、バーチャルシーンにおいて前記第１の対象のバーチャルキャラクターを作成し、前記第１の対象に対応するターゲット関与対象を取得するターゲット関与対象特定モジュールと、
前記第１の対象からのターゲット内容放送命令を応答して、前記バーチャルシーンにおいてターゲット内容を放送するターゲット内容放送モジュールと、を含む
バーチャルシーン情報インタラクション装置であって、
前記バーチャルシーンは、バーチャル放送機器データを含むバーチャルシーンデータに基づいて生成され、
前記バーチャルシーンは、少なくとも１つの関与対象を含み、
前記基礎データは、位置データをさらに含み、
前記バーチャルシーン情報インタラクション装置は、
前記位置データに基づいて、前記関与対象の前記バーチャルシーンにおける位置座標を特定する位置座標特定モジュールと、
前記バーチャルシーンデータ、及び前記関与対象の前記バーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定するバーチャルシーンマップデータ特定モジュールと、
前記バーチャルシーンマップデータを前記関与対象に送信するバーチャルシーンマップデータ送信モジュールと、
前記第１の対象に対する位置調整命令を応答して、前記第１の対象の位置調整データに基づいて、前記ターゲット関与対象の前記位置座標を調整し、前記ターゲット関与対象の調整された位置座標を取得する調整位置座標特定モジュールと、
位置更新頻度及び前記調整された位置座標のうちの少ない１つに基づいて、前記バーチャルシーンマップデータを更新するバーチャルシーンマップデータ更新モジュールと、
をさらに含むバーチャルシーン情報インタラクション装置。
【請求項9】
請求項８に記載の装置であって、前記ターゲット内容放送モジュールは、
前記第１の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得するターゲット内容取得サブモジュールと、
前記バーチャル放送機器データに基づいて生成されたバーチャル放送機器により、前記ターゲット内容データに基づいて生成された前記ターゲット内容を放送するターゲット内容放送サブモジュールとを含むバーチャルシーン情報インタラクション装置。
【請求項10】
請求項９に記載の装置であって、前記関与対象は、前記ターゲット関与対象と、少なくとも１つの参照関与対象とを含み、
前記バーチャルシーン情報インタラクション装置は、
音声インタラクション範囲閾値、及び前記関与対象の前記位置座標に基づいて、前記ターゲット関与対象の音声インタラクション関与対象を特定する音声インタラクション関与対象特定モジュールと、
前記音声インタラクション関与対象の音声ストリームを前記ターゲット関与対象へ購読する音声ストリーム購読モジュールと、をさらに含むバーチャルシーン情報インタラクション装置。
【請求項11】
請求項１０に記載の装置であって、前記音声インタラクション関与対象の前記位置座標が前記音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定する無効音声インタラクション関与対象特定モジュールと、
前記無効音声インタラクション関与対象の音声ストリームの購読を、前記ターゲット関与対象へキャンセルする音声ストリーム購読キャンセルモジュールと、をさらに含むバーチャルシーン情報インタラクション装置。
【請求項12】
請求項１０に記載の装置であって、前記ターゲット関与対象の位置座標、及び前記音声インタラクション関与対象の位置座標に基づいて、前記ターゲット関与対象に対する前記音声インタラクション関与対象の相対位置データを特定する相対位置データ特定モジュールと、
前記相対位置データに基づいて、前記音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び２チャネル処理の少なくとも１つを行い、前記音声インタラクション関与対象のターゲット音声ストリームを取得するターゲット音声ストリーム特定モジュールと、をさらに含むバーチャルシーン情報インタラクション装置。
【請求項13】
請求項８～１２のいずれか１項に記載の装置であって、前記第１の対象に対するキャラクター調整操作命令を応答して、前記第１の対象のバーチャルキャラクターを調整するバーチャルキャラクター調整モジュールをさらに含み、
前記キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも１つを含むバーチャルシーン情報インタラクション装置。
【請求項14】
請求項９に記載の装置であって、前記バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも１つを含み、
前記ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも１つを含むバーチャルシーン情報インタラクション装置。
【請求項15】
少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれか１項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器。
【請求項16】
コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～７のいずれか１項に記載の方法を実行させる記憶媒体。
【請求項17】
プロセッサにより実行される場合に、請求項１～７のいずれか１項に記載の方法を実現するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能技術分野に関し、特に、コンピュータビジョン、音声認識、バーチャル現実の技術分野に関し、クラウドコンピューティング、メタバース及びメディアクラウドのシーンに適用される。具体的に、バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関する。
【背景技術】
【0002】
コンピュータ技術及びインターネット技術の発展に伴い、数多くのスマート製品は、ユーザの使用体験を向上させるように、バーチャル環境によりデータインタラクションを行う機能を提供する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
【課題を解決するための手段】
【0004】
本開示の一態様によれば、バーチャルシーン情報インタラクション方法を提供し、該バーチャルシーン情報インタラクション方法は、第１の対象に対するバーチャルシーンアクセス要求命令を応答して、第１の対象の基礎データを取得することと、基礎データに基づいて、バーチャルシーンにおいて第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得することと、第１の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送することとを含む。
【0005】
本開示の別の一態様によれば、バーチャルシーン情報インタラクション装置を提供し、該バーチャルシーン情報インタラクション装置は、第１の対象に対するバーチャルシーンアクセス要求命令を応答して、第１の対象の基礎データを取得する基礎データ取得モジュールと、基礎データに基づいて、バーチャルシーンにおいて第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得するターゲット関与対象特定モジュールと、第１の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送するターゲット内容放送モジュールとを含む。
【0006】
本開示の別の一態様によれば、電子機器を提供し、該電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されたメモリと備え、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが本開示の実施例の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される。
【0007】
本開示の別の一態様によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令が前記コンピュータに本開示の実施例の方法を実行させる。
【0008】
本開示の別の一態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサにより実行される時に本開示の実施例の方法を実現する。
【0009】
本開示のバーチャルシーン情報インタラクション方法は、少なくとも以下の技術効果の１つを実現できる。
【0010】
１）バーチャルシーンにおいて第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得することによって、バーチャルキャラクターを第１の対象のバーチャル環境における存在形態とすることができ、ユーザのバーチャル環境に対する関与の体験を向上させ、ユーザはバーチャル環境により没入型のデータインタラクションを行うことができる。
【0011】
２）バーチャルシーンにおいてターゲット内容を放送することによって、バーチャルシーンにおいてターゲット内容を放送してデータインタラクションを行う需要を満たし、バーチャルシーンに基づくデータインタラクションの適用カバー範囲を拡張し、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させることができ、情報インタラクションの効率がより高いである。
【0012】
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
【図面の簡単な説明】
【0013】
ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。
【0014】
【発明を実施するための形態】
【0015】
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
【0016】
ここで使用される用語は、具体的な実施例を説明するためだけであり、本開示を限定することを意図するものではない。ここで使用される「含む」、「包含」等の用語は、前記特徴、操作、操作及び／又は部品の存在を示しているが、１つ又は複数の他の特徴、操作、操作又は部品が存在するか又は追加されることを排除するものではない。
【0017】
ここで使用される全ての用語（技術的及び科学的用語を含む）は、特に定義されない限り、当業者に通常理解される意味を有する。注意されるべきこととして、ここで使用される用語は、理想的又は硬すぎる方式で解釈されるべきではなく、本明細書のコンテキストと一致する意味を有すると解釈されるべきである。
【0018】
「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」という表現と類似する表現が用いられる場合、一般的に、当業者の通常の該表現の意味に対する理解に従い解釈されるべきである（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、Ａを単独で有し、Ｂを単独で有し、Ｃを単独で有し、ＡとＢを有し、ＡとＣを有し、ＢとＣを有し、及び／又はＡ、Ｂ、Ｃを有するシステムなどを含むべきであり、それらに限らない）。
【0019】
コンピュータ技術及びインターネット技術の発展に伴い、数多くのスマート製品は、ユーザの使用体験を向上させるように、バーチャル環境によりデータインタラクションを行う機能を提供する。
【0020】
理解されるべきこととして、バーチャル環境に基づいてデータインタラクションを行うことは、物理空間の制限を突破でき、ユーザが物理空間に制限されてもデータインタラクションの需要を有する場合に適用される。
【0021】
例えば、バーチャル会議アプリケーションによりデータインタラクションを行ってもよく、幾つかの実施例において、バーチャル会議アプリケーションは、音声インタラクション及びビデオインタラクションをサポートする。
【0022】
図１Ａは、本開示の一実施例に係るバーチャルシーン情報インタラクション方法及び装置のシステムアーキテクチャを模式的に示している。図１Ｂは、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法及び装置のシステムアーキテクチャを模式的に示している。留意されるべきこととして、図１Ａ及び図１Ｂに示すのは、本開示の実施例のシステムアーキテクチャを適用できる例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は、別の装置、システム、環境又はシーンに適用できないことを意味するものではない。
【0023】
図１Ａに示すように、該実施例に係るシステムアーキテクチャ１００Ａは、クライアント側１０１Ａ、１０２Ａ、１０３Ａと、ネットワーク１０４Ａと、サーバ１０５Ａとを含んでもよい。ネットワーク１０４Ａは、クライアント側１０１Ａ、１０２Ａ、１０３Ａとサーバ１０５Ａとの間に通信リンクの媒体を提供する。ネットワーク１０４Ａは、例えば、有線、無線通信リンク又は光ファイバケーブルなどの様々な接続タイプを含んでもよい。
【0024】
ユーザは、クライアント側１０１Ａ、１０２Ａ、１０３Ａを使用して、ネットワーク１０４Ａを介してサーバ１０５Ａとインタラクションすることにより、メッセージ等を受信又は送信してもよい。クライアント側１０１Ａ、１０２Ａ、１０３Ａには、例えば、バーチャル環境に基づくデータインタラクションのアプリケーション、ショーピング系アプリケーション、ウェブブラウザーアプリケーション、検索系アプリケーション、リアルタイム通信ツール、メールボックスクライアント、ソーシャルプラットフォームソフトウェア（例に過ぎない）などの各種の通信クライアント側アプリケーションが実装されてもよい。
【0025】
クライアント側１０１Ａ、１０２Ａ、１０３Ａは、表示スクリーンを備え、ウェブブラウシングをサポートする様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、それらに限定されない。本開示の実施例のクライアント側１０１Ａ、１０２Ａ、１０３Ａは、例えば、アプリケーションプログラムを実行してもよい。
【0026】
サーバ１０５Ａは、様々なサービスを提供する様々なタイプのサーバであってもよく、例えば、ユーザがクライアント側１０１Ａ、１０２Ａ、１０３Ａを用いてブラウシングされたサイトをサポートするバックグラウンド管理サーバ（例に過ぎない）である。バックグラウンド管理サーバは、受信されたユーザ要求等のデータを解析する等の処理を行い、処理結果（例えば、ユーザの要求に応じて取得又は生成されたウェブページ、情報、又はデータ等）をクライアント側にフィードバックしてもよい。また、サーバ１０５Ａは、クラウドサーバであってよく、即ち、サーバ１０５Ａは、クラウドコンピューティング機能を有するものである。
【0027】
説明すべきこととして、本開示の実施例が提供するバーチャルシーン情報インタラクション方法は、サーバ１０５Ａにより実行されてもよい。それに対して、本開示の実施例が提供するバーチャルシーン情報インタラクション装置は、サーバ１０５Ａに設置されてもよい。本開示の実施例が提供するバーチャルシーン情報インタラクション方法は、サーバ１０５Ａと異なり、クライアント側１０１Ａ、１０２Ａ、１０３Ａ及び／又はサーバ１０５Ａと通信可能なサーバ又はサーバクラスタにより実行されてもよい。それに対して、本開示の実施例が提供するバーチャルシーン情報インタラクション装置は、サーバ１０５Ａと異なり、クライアント側１０１Ａ、１０２Ａ、１０３Ａ及び／又はサーバ１０５Ａと通信可能なサーバ又はサーバクラスタに設置されてもよい。
【0028】
一例において、サーバ１０５Ａは、ネットワーク１０４Ａを介して、クライアント側１０１Ａ、１０２Ａ、１０３Ａからのバーチャルシーンアクセス要求命令、ターゲット内容放送命令、位置調整命令、キャラクター調整操作命令のうちの少なくとも１つを取得する。
【0029】
図１Ｂに示すように、本開示の別の一実施例に係るシステムアーキテクチャ１００Ｂは、クライアント側１０１Ｂ、１０２Ｂ、１０３Ｂと、ネットワーク１０４Ｂと、シグナリングサーバ１０５Ｂと、第１のメディアサーバ１０６Ｂと、第２のメディアサーバ１０７Ｂと、ユーザ管理サーバ１０８Ｂとを含んでもよい。
【0030】
システムアーキテクチャ１００Ａと異なり、本開示の実施例のシステムアーキテクチャ１００Ｂは、シグナリングサーバ１０５Ｂが各クライアント側の間の通信を調和し、第１のメディアサーバ１０６Ｂが各クライアント側のユーザのメディアストリームを処理し、第２のメディアサーバ１０７Ｂが放送のためのメディアファイルを記憶及び処理してもよく、ユーザ管理サーバ１０８Ｂが各クライアント側のユーザデータを管理する。
【0031】
【0032】
留意されるべきこととして、本開示の発明において、係るユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び開示等の処理は、いずれも関連する法律・法規の規定に適合し、かつ公序良俗に反するものではない。
【0033】
本開示の発明において、ユーザの個人情報を取得又は採集する前に、いずれもユーザの授権や同意を得ている。
【0034】
本開示の実施例は、バーチャルシーン情報インタラクション方法を提供する。以下、図１Ａ及び図１Ｂのシステムアーキテクチャと組み合わせ、図２～図６を参照して本開示の例示的な実施例のバーチャルシーン情報インタラクション方法を説明する。本開示の実施例のバーチャルシーン情報インタラクション方法は、例えば、図１Ａに示すサーバ１０５Ａにより実行される。
【0035】
図２は、本開示の一実施例に係るバーチャルシーン情報インタラクション方法を模式的に示すフローチャートである。
【0036】
図２に示すように、本開示の実施例のバーチャルシーン情報インタラクション方法２００は、例えば、操作Ｓ２１０～Ｓ２３０を含む。
【0037】
操作Ｓ２１０において、第１の対象に対するバーチャルシーンアクセス要求命令を応答して、第１の対象の基礎データを取得する。
【0038】
バーチャルシーンは、あるシーンのバーチャル現実に理解されてもよい。バーチャル現実、即ちコンピュータを用いるシミュレーションバーチャルシーンの生成は、ユーザにシーンの没入感を与えることができる。
【0039】
基礎データは、バーチャルシーンにアクセスするのに必要のデータと、バーチャルシーンの機能に関連する他のデータとを含んでもよい。例えば、バーチャルシーンにアクセスするのに必要のデータは、バーチャルシーンの標識データと、第１の対象の標識データとを含んでもよい。バーチャルシーンがバーチャルキャラクターを表示する機能を有する場合、基礎データは、バーチャルキャラクターデータを含んでもよく、バーチャルキャラクターデータは、バーチャルシーンにおいてバーチャルキャラクターを作成してもよい。
【0040】
操作Ｓ２２０において、基礎データに基づいて、バーチャルシーンにおいて第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得する。
【0041】
ターゲット関与対象は、バーチャル環境に関与する、バーチャルキャラクターでマッピングする第１の対象に理解されてもよい。
【0042】
操作Ｓ２３０において、第１の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送する。
【0043】
バーチャルシーンに基づいてデータインタラクションを行う時に、ある幾つかのターゲット内容にさらに係わるというような場合が存在する。例えば、バーチャルシーンは、バーチャル会議のシーンであり、あるバーチャル会議の目的は、ある製品を該バーチャル会議に関与する関与対象へ展示することであり、具体的な展示形態は、該製品の宣伝ビデオを放送することであり、ここでの宣伝ビデオは、ターゲット内容である。
【0044】
本開示の実施例のバーチャルシーン情報インタラクション方法は、バーチャルシーンにおいて第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得することによって、バーチャルキャラクターを第１の対象のバーチャル環境における存在形態とすることができ、ユーザのバーチャル環境に対する関与の体験を向上させ、ユーザはバーチャル環境により没入型のデータインタラクションを行うことができる。本開示の実施例のバーチャルシーン情報インタラクション方法は、バーチャルシーンにおいてターゲット内容を放送することによって、バーチャルシーンにおいてターゲット内容を放送してデータインタラクションを行う需要を満たし、バーチャルシーンに基づくデータインタラクションの適用カバー範囲を拡張し、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させることができ、情報インタラクションの効率がより高いである。
【0045】
図３は、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法３００を模式的に示す模式図である。
【0046】
図３に示すように、本開示の実施例に係るバーチャルシーン情報インタラクション方法３００は、操作Ｓ３１０～操作Ｓ３３０を含んでもよい。
【0047】
操作Ｓ３１０において、第１の対象に対するバーチャルシーンアクセス要求命令を応答して、第１の対象の基礎データを取得する。例えば、クライアント側Ｃ３では、第１の対象のバーチャルシーンアクセス要求命令を生成してもよい。
【0048】
操作Ｓ３２０において、基礎データに基づいて、バーチャルシーンにおいて第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得する。
【0049】
操作Ｓ３３０において、第１の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送する。例えば、クライアント側Ｃ３では、第１の対象のターゲット内容放送命令を生成してもよい。
【0050】
図３は、操作Ｓ３１０～操作Ｓ３３０の実行主体がサーバ側Ｓ３であることを模式的に示す例である。
【0051】
図４は、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法におけるバーチャルシーンにおいてターゲット内容を放送することを模式的に示す模式図である。
【0052】
本開示の別の一実施例によれば、以下の実施例を用いてバーチャルシーン情報インタラクション方法における第１の対象からのターゲット内容放送命令を応答してバーチャルシーンにおいてターゲット内容を放送する具体的な例を実現することができる。バーチャルシーンはバーチャルシーンデータに応じて生成されてもよい。バーチャルシーンデータはバーチャル放送機器データを含んでもよい。
【0053】
図４に示すように、操作Ｓ４３１において、第１の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得する。例えば、クライアント側Ｃ４では、第１の対象のターゲット内容放送命令を生成してもよい。
【0054】
ターゲット内容データは、サーバ側Ｓ４２に位置されてもよく、サーバ側Ｓ４２は、例えば、上記の第２のメディアサーバ１０７Ｂを含んでもよい。
【0055】
図４に示すように、第１の対象からのターゲット内容放送命令を応答して、ターゲット内容を取得する前に、サーバ側Ｓ４２では、ターゲット内容データを特定してもよい。
【0056】
操作Ｓ４３２において、バーチャル放送機器によりターゲット内容を放送する。
【0057】
バーチャル放送機器は、バーチャル放送機器データに基づいて生成され、ターゲット内容は、ターゲット内容データに基づいて生成される。
【0058】
例示的に、バーチャル放送機器は、ビデオ放送機器、音声放送機器、テキスト放送機器の少なくとも１つを含んでもよい。例えば、バーチャル放送機器は、バーチャル投影機器、バーチャル表示スクリーンなどであってもよい。
【0059】
本開示の実施例のバーチャルシーン情報インタラクション方法はによれば、ターゲット内容データを取得し、バーチャル放送機器を用いてターゲット内容を放送することによって、実際のシーンにおいて放送機器を用いてターゲット内容を放送することをシミュレーションすることができ、バーチャルシーンにおいてターゲット内容を放送してデータインタラクションを行う需要を満たし、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させ、情報インタラクションの効率を向上させる。例えば、ターゲット内容は、ある製品の発表会ライブ中継ビデオを含んでもよく、バーチャル会議をアクセスし、バーチャル会議においてバーチャル表示スクリーンを用いて発表会ライブ中継ビデオを放送することによって、バーチャル会議の関与対象が集結し、発表会ライブ中継ビデオを同期に見ることが可能であり、例えば、発表会ライブ中継ビデオについて検討し、会議の効率を向上させる。
【0060】
例示的に、本開示の別の一実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。また、バーチャルシーンは、少なくとも１つの関与対象を含んでもよく、基礎データは、位置データをさらに含んでもよい。
【0061】
位置データに基づいて、関与対象がバーチャルシーンにおける位置座標を特定する。
【0062】
バーチャルシーンデータ、及び関与対象のバーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定する。
【0063】
バーチャルシーンマップデータを関与対象に送信する。
【0064】
本開示の実施例のバーチャルシーン情報インタラクション方法はによれば、関与対象のバーチャルシーンにおける位置座標により、バーチャルシーンマップデータを特定することができ、関与対象はバーチャル環境において自身の位置を位置づけることができ、さらに、バーチャルシーンマップデータにより他の関与対象の位置を特定するこもでき、使用体験を向上させる。
【0065】
図５は、本開示の一実施例に係るデータインタラクションを模式的に示す模式図である。
【0066】
図５は、６つの関与対象を模式的に示しており、関与対象Ｕｓｅｒ_Ａ、関与対象Ｕｓｅｒ_Ｂ、関与対象Ｕｓｅｒ_Ｃ、関与対象Ｕｓｅｒ_Ｄ、関与対象Ｕｓｅｒ_Ｅ、及び関与対象Ｕｓｅｒ_Ｆを含む。ここで、関与対象Ｕｓｅｒ_Ａの位置座標Ｐｏｓ（Ｘa,Ｙa,Ｚa）、関与対象Ｕｓｅｒ_Ｂの位置座標Ｐｏｓ（Ｘb,Ｙb,Ｚb）、関与対象Ｕｓｅｒ_Ｃの位置座標Ｐｏｓ（Ｘc,Ｙc,Ｚc）、関与対象Ｕｓｅｒ_Ｄの位置座標Ｐｏｓ（Ｘd,Ｙd,Ｚd）、関与対象Ｕｓｅｒ_Ｅの位置座標Ｐｏｓ（Ｘe,Ｙe,Ｚe）、関与対象Ｕｓｅｒ_Ｆの位置座標Ｐｏｓ（Ｘf,Ｙf,Ｚf）である。
【0067】
図５は、さらに、バーチャル放送機器Ｂ、会議テーブルＤ、及びバーチャルシーンマップＭaを模式的に示している。
【0068】
図５の例において、ライブ中継ストリームメディアサービスのインタフェイスを呼び出してよく、バーチャル放送機器Ｂによりライブ中継ビデオを放送し、この時、ターゲット内容はライブ中継ビデオである。ライブ中継ストリームメディアサービスは、例えば、上記の第２のメディアサーバ１０７Ｂにより提供されてもよい。
【0069】
図５の例において、例えば、関与対象Ｕｓｅｒ_Ｆをターゲット関与対象とすることを例とし、ターゲット関与対象は、リアルタイムストリームメディアサービスにより音声ストリームを配信してもよく、リアルタイムストリームメディアサービスにより音声インタラクション対象の音声ストリームを購読してもよい。リアルタイムストリームメディアサービスは、例えば、上記の第１のメディアサーバ１０６Ｂにより提供されてもよい。
【0070】
図５の例において、リアルタイム通信シグナリングサービスにより関与対象間の通信をサポートしてもよい。リアルタイム通信シグナリングサービスは、例えば、上記のシグナリングサーバ１０５Ｂにより提供されてもよい。
【0071】
例示的に、本開示の別の一実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。
【0072】
第１の対象に対する位置調整命令を応答して、第１の対象の位置調整データに基づいて、ターゲット関与対象の位置座標を調整し、ターゲット関与対象の調整された位置座標を取得する。
【0073】
例示的に、クライアント側の表示スクリーンにおいて位置調整トリガーウィンドウを設置してもよく、例えば、クリックトリガーにより第１の対象に対する位置調整命令を生成してもよい。
【0074】
位置調整データは、調整方向と調整方向に基づく調整ユニットの数とを含んでもよい。
【0075】
位置更新頻度及び調整された位置座標のうちの少ない１つに基づいて、バーチャルシーンマップデータを更新する。
【0076】
位置更新頻度は、予め設定された、位置座標を更新する頻度に理解されてもよく、位置更新頻度は、感度に対するバーチャルシーンの要求に応じて特定されてもよい。例えば、感度に対するバーチャルシーンの要求が高い場合に、位置更新頻度は、０.２秒/回であってもよく、感度に対するバーチャルシーンの要求が低い場合に、位置更新頻度は、１秒/回であってもよい。
【0077】
調整された位置座標に基づいてバーチャルシーンマップデータを更新することは、ターゲット関与対象の位置が調整された後、バーチャルシーンマップデータにおけるターゲット関与対象の位置座標を、調整された位置座標に調整することに理解されてもよい。
【0078】
本開示の実施例のバーチャルシーン情報インタラクション方法によれば、ターゲット関与対象の位置座標の調整をサポートし、さらに、バーチャルシーンマップデータを更新することにより、バーチャルシーンマップデータがターゲット関与対象の位置調整に適することができる。ターゲット関与対象は、自身の位置及び他の関与対象との相対位置を精確に特定することができ、使用体験を向上させる。
【0079】
例示的に、本開示の別の一実施例によれば、関与対象は、ターゲット関与対象と、少なくとも１つの参照関与対象とを含んでもよい。バーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。
【0080】
音声インタラクション範囲閾値、及び関与対象の位置座標に基づいて、ターゲット関与対象の音声インタラクション関与対象を特定する。
【0081】
例示的に、ターゲット関与対象について、関与対象の位置座標が音声インタラクション範囲閾値以内にある場合に、該関与対象がターゲット関与対象の１つの音声インタラクション関与対象であることを特定してもよい。
【0082】
音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読する。
【0083】
ターゲット関与対象は、音声インタラクション関与対象の音声ストリームを購読した後、ターゲット関与対象は、音声インタラクション関与対象が発する音声ストリームを受信してもよい。
【0084】
理解されるように、実際のシーンにおいて、実際のシーンに関与する複数の関与対象間の距離がある一定の範囲閾値にあれば、関与対象は、お互いに相手の音声を受信することができる。
【0085】
本開示の実施例のデータインタラクション方法は、音声インタラクション範囲閾値及び関与対象の位置座標により、ターゲット関与対象の音声インタラクション関与対象を特定し、音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読することができ、実際のシーンにおける音声効果をシミュレーションすることができ、ユーザのバーチャルシーンに基づく没入感を向上させる。
【0086】
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作を含んでもよい。
【0087】
音声インタラクション関与対象の位置座標が音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定する。
【0088】
無効音声インタラクション関与対象の音声ストリームの購読を、ターゲット関与対象へキャンセルする。
【0089】
音声インタラクション関与対象は、位置座標が音声インタラクション範囲閾値以内にある関与対象であり、例えば、関与対象は、位置座標が調整され、調整された位置座標が音声インタラクション範囲閾値を超えて、その時、音声インタラクション関与対象は、ターゲット関与対象がその音声ストリームを購読する条件を満たしてなく、該音声インタラクション関与対象は、無効音声インタラクション関与対象となる。これによって、無効音声インタラクション関与対象の音声ストリームの購読をターゲット関与対象へキャンセルすることができる。ターゲット関与対象は、無効音声インタラクション関与対象の音声ストリームの購読をキャンセルした後、ターゲット関与対象は、無効音声インタラクション関与対象からの音声ストリームを受信しなくなる。
【0090】
本開示の実施例のデータインタラクション方法は、音声インタラクション範囲閾値及び音声関与対象の位置座標により、ターゲット関与対象の無効音声インタラクション関与対象を動的に特定し、その音声ストリームの購読を適応的にキャンセルし、実際のシーンにおける音声効果をシミュレーションすることができ、ユーザのバーチャルシーンに基づく没入感を向上させる。
【0091】
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。
【0092】
ターゲット関与対象の位置座標、及び音声インタラクション関与対象の位置座標に基づいて、ターゲット関与対象に対する音声インタラクション関与対象の相対位置データを特定する。
【0093】
相対位置データに基づいて、音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び２チャネル処理のうちの少なくとも１つを行い、音声インタラクション関与対象のターゲット音声ストリームを取得する。
【0094】
ミキシング処理は、マルチチャネルのオーディオを１つチャネルのオーディオに整合してもよい。例えば、バーチャル環境は、ターゲット関与対象と、複数の音声インタラクション関与対象とを含み、ターゲット関与対象に対して、同じタイミングで各音声インタラクション関与対象の音声ストリームを受信する。また、各音声インタラクション関与対象とターゲット関与対象との間の相対位置も、ターゲット関与対象が音声インタラクション関与対象の音声ストリームを受信する差分を招く。例えば、ターゲット関与対象と音声インタラクション関与対象Ｕｓｅｒ_Ｇとの相対位置が近く、ターゲット関与対象と音声インタラクション関与対象Ｕｓｅｒ_Ｈとの相対位置が遠い場合、ターゲット関与対象の受信した音声インタラクション関与対象Ｕｓｅｒ_Ｇの音声ストリームは、減衰が小さく、ターゲット関与対象の受信した音声インタラクション関与対象Ｕｓｅｒ_Ｈの音声ストリームは、減衰が大きい。
【0095】
本開示の実施例のバーチャルシーン情報インタラクション方法は、音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び２チャネル処理のうちの少なくとも１つを行うことにより、音声インタラクション関与対象の音声ストリームをより立体的にさせることができ、音声インタラクション関与対象の音声ストリームの音声効果を向上させ、ユーザのバーチャルシーンの没入感の体験感覚を向上させる。
【0096】
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、第１の対象に対するキャラクター調整操作命令を応答して、第１の対象のバーチャルキャラクターを調整することをさらに含んでもよい。ここで、キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも１つを含む。
【0097】
例示的に、クライアント側の表示スクリーンにおいてキャラクター調整トリガーウィンドウを設置してもよく、例えば、クリックトリガーにより第１の対象に対するキャラクター調整操作命令を生成してもよい。
【0098】
本開示の実施例のバーチャルシーン情報インタラクション方法によれば、キャラクター調整の需要を満たすように、第１の対象に対するバーチャルキャラクターを調整することができ、珍しく、面白い使用体験を提供できる。
【0099】
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも１つを含んでもよい。ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも１つを含んでもよい。
【0100】
例示的に、バーチャル会議シーンデータに基づいて、バーチャル会議シーンを生成してもよく、バーチャル会議シーンは、例えば、会議テーブル等を含んでもよい。バーチャルショールームシーンデータに基づいて、バーチャルショールームシーンを生成してもよく、バーチャルショールームシーンは、例えば、ショープラットフォームを含んでもよい。バーチャル会館シーンデータに基づいてバーチャル会館シーンを生成してもよく、バーチャル会館シーンは、例えば、会館の会場などを含んでもよい。
【0101】
本開示の実施例のバーチャルシーン情報インタラクション方法は、該当する種別のバーチャルシーンデータにより、該当する種別のバーチャルシーンを生成し、それにより、各種別のバーチャルシーンをカバーできる。さらに、該当する類別のターゲット内容データにより、各種種別のターゲット内容を放送する需要をカバーでき、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させる。
【0102】
図６は、本開示の実施例に係るバーチャルシーン情報インタラクション方法をバーチャル会議シーンに適用する時に対応するシステムアーキテクチャを示す模式図である。以下、図６を参照しながら、システムアーキテクチャの層から本開示の実施例に係るバーチャルシーン情報インタラクション方法を説明する。
【0103】
図６に示すように、本開示の実施例に係るバーチャルシーン情報インタラクション方法のシステムアーキテクチャは、バーチャル会議シーン業務ロジック層Ｌ１と、バーチャルエンジン層Ｌ２とを含む。
【0104】
バーチャルエンジン層Ｌ２は、基礎枠組みＦｒと、バーチャルコアＣoと、リアルタイム音声通信モジュールＭ１と、メディア放送モジュールＭ２とを含んでもよい。
【0105】
バーチャルコアは、バーチャルキャラクター作成、バーチャルシーン生成、バーチャルキャラクター表情管理、及びバーチャルキャラクター胴体動作管理などの機能を提供してもよい。バーチャルコアは、特効モジュール、レンダリングモジュール、図形モジュール、入力システム、管理システム、及びオーディオシステムなどを含んでもよい。
【0106】
例えば、バーチャルコアは、バーチャルキャラクター作成の機能を提供することにより、バーチャルシーンにおいて、第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得してもよい。さらに、バーチャルコアは、バーチャルキャラクター表情管理の機能、及びバーチャルキャラクター胴体動作管理の機能を提供することにより、第１の対象のバーチャルキャラクターを調整してもよい。
【0107】
リアルタイム音声通信モジュールは、多人の音声通話及び空間音声効果の機能を提供してもよい。リアルタイム音声通信モジュールは、会話管理ユニット、音声採集ユニット、パルスコーディング変調ユニット、音声伝送ユニット、及び空間オーディオミキシングユニットなどを含んでもよい。
【0108】
例えば、リアルタイム音声通信モジュールは、音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読してもよく、無効音声インタラクション関与対象の音声ストリームの購読をターゲット関与対象へキャンセルしてもよい。
【0109】
メディア放送モジュールは、バーチャルシーンにおいて、マルチメディアがメディアストリームをライブ中継及びリクエストするプルーストリーム放送機能を提供してもよい。
【0110】
例えば、メディア放送モジュールは、バーチャルシーンにおいて、ターゲット内容を放送してもよい。
【0111】
基礎枠組みは、バーチャルエンジン層の業務層開発インタフェイスを提供してもよい。基礎枠組み層は、バーチャルコア、リアルタイム音声通信モジュール、メディア放送インタフェイスをパッケージングし、バーチャルシーンの開発された幾つかの基礎機能を提供する。基礎機能は、例えば、リソース管理機能、メッセージ管理機能、ユーザインタフェイス枠組み、ネットワーク枠組み、及びホットアップデート機能などを含む。
【0112】
図６の例において、バーチャルシーンは、バーチャル会議シーンであり、システムアーキテクチャの業務ロジック層は、バーチャルエンジンインタフェイスに基づく実現されたバーチャル会議機能の実現であり、主に、シーンマップ機能ユニットＵ１と、バーチャル人物キャラクター機能ユニットＵ２と、バーチャル会議シーン機能ユニットＵ３と、会議制御機能ユニットＵ４と、メディア放送機能ユニットＵ５とを含む。
【0113】
シーンマップ機能ユニットは、バーチャル会議シーンモデル及び関与対象位置に基づいてサムネイルを生成する機能を提供し、関与対象は、例えば、シーンマップにより、所定の会議会館又は他の関与対象を探し出してもよい。
【0114】
バーチャル人物キャラクター機能ユニットは、バーチャルエンジンに基づいてバーチャルキャラクターを実現する機能を提供し、例えば、髪形、服装、性別、スタイルなどをカスタマイズしてもよい。
【0115】
バーチャル会議シーン機能ユニットは、バーチャルエンジンに基づいてバーチャル会議シーンを生成する機能を提供する。バーチャル会議シーンは、例えば、円卓会議及び茶席を含んでもよく、マルチメディア会議室を生成してもよい。
【0116】
会議制御機能ユニットは、会議の制御及び管理ユニットである。会議の制御ユニットは、例えば、ルームの設定、関与対象の出入り管理、メディアの発布/購読、メディア購読のライフ中継/リクエスト、ルームのキャンセルなどの正常な会議通信及び管理機能を提供してもよい。
【0117】
メディア放送機能ユニットは、マルチメディア会場のストリームメディアのライフ中継・リクエストの放送機能を提供してもよく、会議制御機能ユニットの呼び出しを受信してもよい。
【0118】
図７は、本開示の一実施例に係るバーチャルシーン情報インタラクション装置を模式的に示すブロック図である。
【0119】
図７に示すように、本開示の実施例のバーチャルシーン情報インタラクション装置７００は、例えば、基礎データ取得モジュール７１０と、ターゲット関与対象特定モジュール７２０と、ターゲット内容放送モジュール７３０とを含む。
【0120】
基礎データ取得モジュール７１０は、第１の対象に対するバーチャルシーンアクセス要求命令を応答して、第１の対象の基礎データを取得する。
【0121】
ターゲット関与対象特定モジュール７２０は、基礎データに基づいて、バーチャルシーンにおいて第１の対象のバーチャルキャラクターを作成し、第１の対象に対応するターゲット関与対象を取得する。
【0122】
ターゲット内容放送モジュール７３０は、第１の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送する。
【0123】
本開示の実施例に係わるバーチャルシーン情報インタラクション装置によれば、そのうち、バーチャルシーンは、バーチャルシーンデータに基づいて生成され、バーチャルシーンデータは、バーチャル放送機器データを含み、ターゲット内容放送モジュールは、ターゲット内容取得サブモジュールと、ターゲット内容放送サブモジュールとを含んでもよい。
【0124】
ターゲット内容取得サブモジュールは、第１の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得してもよい。
【0125】
ターゲット内容放送サブモジュールは、バーチャル放送機器データに基づいて生成されたバーチャル放送機器により、前記ターゲット内容データに基づいて生成された前記ターゲット内容を放送する。
【0126】
本開示の実施例によれば、バーチャルシーンは、少なくとも１つの関与対象を含み、基礎データは、位置データをさらに含み、バーチャルシーン情報インタラクション装置は、位置座標特定モジュールと、バーチャルシーンマップデータ特定モジュールと、バーチャルシーンマップデータ送信モジュールとをさらに含んでもよい。
【0127】
位置座標特定モジュールは、位置データに基づいて、関与対象のバーチャルシーンにおける位置座標を特定してもよい。
【0128】
バーチャルシーンマップデータ特定モジュールは、バーチャルシーンデータ、及び関与対象のバーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定してもよい。
【0129】
バーチャルシーンマップデータ送信モジュールは、バーチャルシーンマップデータを関与対象に送信してもよい。
【0130】
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、調整位置座標特定モジュールと、バーチャルシーンマップデータ更新モジュールとをさらに含んでもよい。
【0131】
調整位置座標特定モジュールは、第１の対象に対する位置調整命令を応答して、第１の対象の位置調整データに基づいて、ターゲット関与対象の位置座標を調整し、ターゲット関与対象の調整された位置座標を取得してもよい。
【0132】
バーチャルシーンマップデータ更新モジュールは、位置更新頻度及び調整された位置座標のうちの少ない１つに基づいて、バーチャルシーンマップデータを更新してもよい。
【0133】
本開示の実施例によれば、関与対象は、ターゲット関与対象と、少なくとも１つの参照関与対象とを含んでもよく、バーチャルシーン情報インタラクション装置は、音声インタラクション関与対象特定モジュールと、音声ストリーム購読モジュールとをさらに含んでもよい。
【0134】
音声インタラクション関与対象特定モジュールは、音声インタラクション範囲閾値、及び関与対象の位置座標に基づいて、ターゲット関与対象の音声インタラクション関与対象を特定してもよい。
【0135】
音声ストリーム購読モジュールは、音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読してもよい。
【0136】
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、無効音声インタラクション関与対象特定モジュールと、音声ストリーム購読キャンセルモジュールとをさらに含んでもよい。
【0137】
無効音声インタラクション関与対象特定モジュールは、音声インタラクション関与対象の位置座標が音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定してもよい。
【0138】
音声ストリーム購読キャンセルモジュールは、無効音声インタラクション関与対象の音声ストリームの購読を、ターゲット関与対象へキャンセルしてもよい。
【0139】
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、相対位置データ特定モジュールと、ターゲット音声ストリーム特定モジュールとをさらに含んでもよい。
【0140】
相対位置データ特定モジュールは、ターゲット関与対象の位置座標、及び音声インタラクション関与対象の位置座標に基づいて、ターゲット関与対象に対する音声インタラクション関与対象の相対位置データを特定してもよい。
【0141】
ターゲット音声ストリーム特定モジュールは、相対位置データに基づいて、音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び２チャネル処理の少なくとも１つを行って音声インタラクション関与対象のターゲット音声ストリームを取得してもよい。
【0142】
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、第１の対象に対するキャラクター調整操作命令を応答して、第１の対象のバーチャルキャラクターを調整するバーチャルキャラクター調整モジュールをさらに含んでもよく、ここで、キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも１つを含む。
【0143】
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも１つを含み、ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも１つを含む。
【0144】
理解されるべきこととして、本開示の装置の一部の実施例は、本開示の方法の一部の実施例と対応的に同じ又は類似しており、解決する技術課題及び実現する技術効果も対応的に同じ又は類似しており、ここで贅言されない。
【0145】
本開示の実施例によれば、電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供する。
【0146】
図８は、本開示の実施例を実施できる例示的な電子機器８００を模式的に示すブロック図である。電子機器は、様々な形態のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータである。電子機器は、さらに様々な形態の移動装置を示してもよく、例えば、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。
【0147】
図８に示すように、電子機器８００は、演算ユニット８０１を含み、演算ユニット８０１は、リードオンリーメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ８０３には、さらに電子機器８００の操作に必要な様々なプログラム及びデータを記憶してもよい。演算ユニット８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４を介して相互に接続される。入出力インタフェース８０５も、バス８０４に接続される。
【0148】
電子機器８００における複数の部品は、Ｉ／Ｏインタフェース８０５に接続され、例えばキーボード、マウス等の入力ユニット８０６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット８０７と、例えば磁気ディスク、光ディスク等の記憶ユニット８０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット８０９とを含む。通信ユニット８０９は、電子機器８００がインターネット等のコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他の機器と情報／データをやり取りすることを可能にする。
【0149】
演算ユニット８０１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。演算ユニット８０１の幾つかの例としては、中央処理装置（ＣＰＵ）、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）、各種専用の人工知能（ＡＩ）演算チップ、各種動作機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（ＤＩＧＩＴＡＬ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＯＲ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、それらに限定されない。演算ユニット８０１は、例えばバーチャルシーン情報インタラクション方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、バーチャルシーン情報インタラクション方法は、例えば記憶ユニット８０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ８０２及び／又は通信ユニット８０９を介して電子機器８００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ８０３にロードされて演算ユニット８０１により実行される場合、上記に記載のバーチャルシーン情報インタラクション方法の１つ又は複数の操作を実行してもよい。代替的に、他の実施例において、演算ユニット８０１は、他の任意の適切な方式（例えば、ファームウェアを介する）によりバーチャルシーン情報インタラクション方法を実行するように構成されてもよい。
【0150】
本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。
【0151】
本開示の方法を実施するためのプログラムコードは、１つ又は複数の言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラムマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能／操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
【0152】
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んでか又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んででもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
【0153】
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形態（声入力、音声入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。
【0154】
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。
【0155】
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。
【0156】
理解されるべきこととして、以上に示した様々な形態のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本発明に記載の各操作は、並列的に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
【0157】
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解されるべきである。本開示の精神と原則内で行われた任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】