特表 2024-532244 データ処理方法、装置、電子機器、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-05

(54)【発明の名称】データ処理方法、装置、電子機器、及びコンピュータプログラム

(51)【国際特許分類】

   G06T 19/20 20110101AFI20240829BHJP

   G06F 3/01 20060101ALI20240829BHJP

【ＦＩ】

G06T19/20

G06F3/01 510

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024510713

(86)(22)【出願日】2022-07-26

(85)【翻訳文提出日】2024-02-21

(86)【国際出願番号】 CN2022107964

(87)【国際公開番号】W WO2023130715

(87)【国際公開日】2023-07-13

(31)【優先権主張番号】202210009571.6

(32)【優先日】2022-01-05

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】202210086698.8

(32)【優先日】2022-01-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ

【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】▲孫▼ 雨▲ティン▼

(72)【発明者】

【氏名】莫 ▲チェン▼

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050BA12

5B050CA07

5B050DA07

5B050FA05

5B050FA10

5E555AA12

5E555AA27

5E555BA38

5E555BA73

5E555BA87

5E555BB38

5E555BC17

5E555BE17

5E555DA08

5E555DB32

5E555FA00

(57)【要約】

本願は、データ処理方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム製品を開示し、該方法は、マルチビュービデオに対するトリガー操作に応答して、前記マルチビュービデオに対応する仮想ビデオ空間シーンを表示するステップと、前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップであって、前記第１オブジェクトとは、前記マルチビュービデオに対するトリガー操作を開始するオブジェクトを指す、ステップと、仮想表示インターフェースにおいて前記マルチビュービデオに関連付けられた制作ビデオを再生するステップであって、前記制作ビデオは、前記オブジェクトデータに基づいて、前記仮想ビデオ空間シーンに対して編集処理を行って得られたものである、ステップと、を含む。

【特許請求の範囲】

【請求項1】

コンピュータ機器によって実行される、データ処理方法であって、前記方法は、
マルチビュービデオに対するトリガー操作に応答して、前記マルチビュービデオに対応する仮想ビデオ空間シーンを表示するステップと、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップであって、前記第１オブジェクトとは、前記マルチビュービデオに対するトリガー操作を開始するオブジェクトを指す、ステップと、
仮想表示インターフェースにおいて前記マルチビュービデオに関連付けられた制作ビデオを再生するステップであって、前記制作ビデオは、前記オブジェクトデータに基づいて、前記仮想ビデオ空間シーンに対して編集処理を行って得られたものである、ステップと、を含む、データ処理方法。

【請求項2】

前記シーン編集操作は、前記仮想表示インターフェースにおける音入れコントロールに対するトリガー操作を含み、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得する前記ステップは、
前記マルチビュービデオを再生するステップと、
前記仮想表示インターフェースにおける前記音入れコントロールに対するトリガー操作に応答して、前記仮想ビデオ空間シーンにおいて第１オブジェクトの音声データを取得して、前記第１オブジェクトの音声データを前記マルチビュービデオに応用されるオブジェクトデータとして決定するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記第１オブジェクトの音声データは、オブジェクト音声データ、及び背景音声データの少なくとも１つを含み、
前記仮想ビデオ空間シーンにおいて第１オブジェクトの音声データを取得して、前記第１オブジェクトの音声データを前記オブジェクトデータとして決定する前記ステップは、
音入れモードリストを表示するステップであって、前記音入れモードリストは、オブジェクト音入れコントロールと、背景音入れコントロールと、を含む、ステップと、
前記オブジェクト音入れコントロールに対する選択操作に応答して、音入れ可能なビデオオブジェクトを表示するステップと、
前記音入れ可能なビデオオブジェクトに対する選択操作に応答して、選択された音入れ可能なビデオオブジェクトを音入れ対象のオブジェクトとするステップであって、前記音入れ可能なビデオオブジェクトは、前記マルチビュービデオにおいて表示されるビデオオブジェクトに属する、ステップと、
前記マルチビュービデオを再生する過程において、前記音入れ対象のオブジェクトに基づいて前記第１オブジェクトのオブジェクト音声データを取得して、前記オブジェクト音声データを前記オブジェクトデータとして決定するステップと、
前記背景音入れコントロールに対する選択操作に応答して、前記マルチビュービデオを再生する過程において、前記第１オブジェクトの背景音声データを取得して、前記背景音声データを前記オブジェクトデータとして決定するステップと、を含む、請求項２に記載の方法。

【請求項4】

前記音入れ対象のオブジェクトに基づいて前記第１オブジェクトのオブジェクト音声データを取得して、前記オブジェクト音声データを前記オブジェクトデータとして決定する前記ステップは、
前記音入れ対象のオブジェクトに対応するビデオ音声データに対して消音処理を行うステップと、
前記音入れ対象のオブジェクトが発話状態にあるときに、前記ビデオ音声データに対応するテキスト情報、及びサウンドトラック情報を表示して、前記第１オブジェクトのオブジェクト音声データを取得するステップと、
前記オブジェクト音声データを前記オブジェクトデータとして決定するステップと、を含む、請求項３に記載の方法。

【請求項5】

前記方法は、
前記オブジェクトデータが前記オブジェクト音声データであるときに、前記オブジェクト音声データを利用して前記マルチビュービデオにおける前記音入れ対象のオブジェクトに対応するビデオ音声データに対して置換処理を行い、制作ビデオを得るステップと、
前記オブジェクトデータが前記背景音声データであるときに、前記背景音声データを前記マルチビュービデオに重ね合せて、制作ビデオを得るステップと、をさらに含む、請求項３に記載の方法。

【請求項6】

前記シーン編集操作は、仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作を含み、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得する前記ステップは、
前記マルチビュービデオを再生するステップと、
前記仮想表示インターフェースにおける前記パフォーマンスコントロールに対するトリガー操作に応答して、前記仮想ビデオ空間シーンにおいて前記第１オブジェクトの姿勢データ、及びイメージデータを取得し、前記姿勢データ、及び前記イメージデータを前記マルチビュービデオに応用されるオブジェクトデータとして決定するステップであって、前記制作ビデオは、前記第１オブジェクトに関連付けられたパフォーマンスオブジェクトを含み、前記制作ビデオにおける前記パフォーマンスオブジェクトは、前記姿勢データ、及び前記イメージデータに基づいて表示される、ステップと、を含む、請求項１に記載の方法。

【請求項7】

前記仮想ビデオ空間シーンにおいて前記第１オブジェクトの姿勢データ、及びイメージデータを取得し、前記姿勢データ、及び前記イメージデータをオブジェクトデータとして決定する前記ステップは、
パフォーマンスモードリストを表示するステップであって、前記パフォーマンスモードリストは、キャラクター置換コントロールと、キャラクターセットアップコントロールと、を含む、ステップと、
前記キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、前記置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとするステップであって、前記置換可能なビデオオブジェクトは、前記マルチビュービデオにおいて表示されるビデオオブジェクトに属し、前記マルチビュービデオを再生する過程において、前記キャラクター置換オブジェクトに基づいて前記第１オブジェクトの姿勢データ、及びイメージデータを取得して、前記姿勢データ、及び前記イメージデータを前記オブジェクトデータとして決定する、ステップと、
前記キャラクターセットアップコントロールに対するトリガー操作に応答して、前記マルチビュービデオを再生する過程において、前記第１オブジェクトの姿勢データ、及びイメージデータを取得して、前記姿勢データ、及び前記イメージデータを前記オブジェクトデータとして決定するステップと、を含む、請求項６に記載の方法。

【請求項8】

前記方法は、
前記オブジェクトデータが前記キャラクター置換コントロールをトリガーすることにより取得されたときに、パフォーマンスビュービデオにおける前記キャラクター置換オブジェクトに対して表示解除を行い、パフォーマンスオブジェクトデータに合致するパフォーマンスオブジェクトを前記パフォーマンスビュービデオに融合させ、制作ビデオを得るステップであって、前記パフォーマンスビュービデオは、前記パフォーマンスコントロールをトリガーした後の前記マルチビュービデオを再生する過程において、パフォーマンスビューにより前記仮想ビデオ空間シーンを撮影して得られたものであり、前記パフォーマンスオブジェクトデータとは、前記オブジェクトデータが前記パフォーマンスビューにおいて表示するデータを指す、ステップと、
前記オブジェクトデータが前記キャラクターセットアップコントロールをトリガーすることにより取得されたときに、前記パフォーマンスオブジェクトデータに合致する前記パフォーマンスオブジェクトを前記パフォーマンスビュービデオに融合させ、制作ビデオを得るステップと、をさらに含む、請求項７に記載の方法。

【請求項9】

前記キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、前記置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする前記ステップは、
前記キャラクター置換コントロールに対するトリガー操作に応答して、オブジェクト仮想ビデオ画面において現在表示されているビデオオブジェクトを置換可能なビデオオブジェクトとして決定するステップと、
前記置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示するステップであって、前記第１表示方式は、前記置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、マーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとし、前記オブジェクト仮想ビデオ画面は、前記第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる、ステップと、を含む、請求項７に記載の方法。

【請求項10】

前記キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、前記置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする前記ステップは、
前記キャラクター置換コントロールに対するトリガー操作に応答して、前記マルチビュービデオに対応する少なくとも１つのビデオクリップを表示するステップと、
前記少なくとも１つのビデオクリップに対する選択操作に応答して、選択されたビデオクリップに含まれるビデオオブジェクトを表示して、選択されたビデオクリップに含まれるビデオオブジェクトを置換可能なビデオオブジェクトとして決定するステップと、
前記置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示するステップであって、前記第１表示方式は、前記置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、マーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする、ステップと、を含む、請求項７に記載の方法。

【請求項11】

前記方法は、
前記第１オブジェクトの姿勢データ、及びイメージデータを取得する過程において、前記仮想表示インターフェースにおいて鏡像プレビューコントロールを表示するステップと、
前記鏡像プレビューコントロールに対するトリガー操作に応答して、前記仮想表示インターフェースにおけるパフォーマンスプレビュー領域においてパフォーマンス仮想ビデオ画面を表示するステップであって、前記パフォーマンス仮想ビデオ画面は、前記仮想ビデオ空間シーンに融合された前記パフォーマンスオブジェクトを含む、ステップと、をさらに含む、請求項６に記載の方法。

【請求項12】

前記方法は、
前記仮想表示インターフェースにおいてイメージカスタマイズリストを表示するステップと、
前記イメージカスタマイズリストに対する構成操作の完了に応答して、構成されたイメージデータに応じて前記イメージデータを更新し、構成イメージデータを得るステップであって、前記構成イメージデータは、服飾データ、体型データ、声データ、及び容貌データを含む、ステップと、
前記制作ビデオにおいてパフォーマンス動作、及びパフォーマンスイメージにより前記パフォーマンスオブジェクトを表示するステップであって、前記パフォーマンス動作は、前記第１オブジェクトの姿勢データに基づいて決定され、前記パフォーマンスイメージは、前記服飾データ、前記体型データ、前記声データ、及び前記容貌データのうちの少なくとも１つに基づいて決定される、ステップと、をさらに含む、請求項６に記載の方法。

【請求項13】

前記方法は、
前記仮想表示インターフェースにおいて前記キャラクター置換オブジェクトに対する置換透明度入力コントロールを表示するステップと、
前記置換透明度入力コントロールに対する入力操作に応答して、入力されたキャラクター置換オブジェクトに対する透明度情報を取得するステップと、
前記透明度情報に従って前記仮想表示インターフェースにおいて前記キャラクター置換オブジェクトに対して透明度の更新表示を行い、透明度更新後のキャラクター置換オブジェクトの前記仮想ビデオ空間シーンにおける位置カーソルを表示するステップと、をさらに含む、請求項７に記載の方法。

【請求項14】

前記方法は、
前記仮想表示インターフェースにおいてオブジェクト招待コントロールを表示するステップと、
前記オブジェクト招待コントロールに対するトリガー操作に応答して、オブジェクトリストを表示するステップであって、前記オブジェクトリストは、前記第１オブジェクトと関連付け関係を有するオブジェクトを含む、ステップと、
前記オブジェクトリストに対する選択操作に応答して、第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信することにより、前記第２オブジェクトと関連付けられたターゲット仮想現実機器に前記仮想ビデオ空間シーンを表示させるステップと、をさらに含む、請求項１に記載の方法。

【請求項15】

前記オブジェクトリストに対する選択操作に応答して、前記第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信することにより、前記第２オブジェクトと関連付けられたターゲット仮想現実機器に前記仮想ビデオ空間シーンを表示させる前記ステップは、
サーバへ前記第２オブジェクトに対する招待要求を開始することにより、前記サーバが前記第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信するステップ、を含み、
前記ターゲット仮想現実機器が前記招待要求を受け付けるときに、前記ターゲット仮想現実機器に前記仮想ビデオ空間シーンを表示し、
前記方法は、
前記ターゲット仮想現実機器が前記招待要求を受け付けて前記仮想ビデオ空間シーンを表示するときに、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトを表示するステップであって、前記第２オブジェクトは、前記ターゲット仮想オブジェクトによって前記仮想ビデオ空間シーンに入り、前記ターゲット仮想オブジェクトは、前記第２オブジェクトのイメージデータに関連付けられ、前記オブジェクト仮想ビデオ画面は、前記第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる、ステップをさらに含む、請求項１４に記載の方法。

【請求項16】

前記シーン編集操作は、前記第１オブジェクトによる前記仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作を含み、
前記第２オブジェクトが既に前記パフォーマンスコントロールをトリガーしたときに、前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得する前記ステップは、
前記第１オブジェクトによる前記仮想表示インターフェースにおける前記パフォーマンスコントロールに対するトリガー操作に応答して、前記オブジェクト仮想ビデオ画面において前記ターゲット仮想オブジェクトに対応するターゲットオブジェクトデータを表示して、前記第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップであって、前記制作ビデオにおいて、前記第１オブジェクトに関連付けられたパフォーマンスオブジェクト、及び前記ターゲット仮想オブジェクトが含まれ、前記制作ビデオにおける前記パフォーマンスオブジェクトは、前記オブジェクトデータに基づいて表示され、前記制作ビデオにおける前記ターゲット仮想オブジェクトは、前記ターゲットオブジェクトデータに基づいて表示される、ステップを含む、請求項１５に記載の方法。

【請求項17】

前記方法は、
前記仮想表示インターフェースにおいてショッピングコントロールを表示するステップと、
前記ショッピングコントロールに対するトリガー操作に応答して、第２表示方式に従って購入可能な仮想物品を表示するステップであって、前記第２表示方式は、前記ショッピングコントロールをトリガーする前の購入可能な仮想物品の表示方式とは異なっており、前記購入可能な仮想物品は、前記仮想ビデオ空間シーンにおいて表示されている物品に属する、ステップと、
前記購入可能な仮想物品に対する選択操作に応答して、選択された購入可能な仮想物品を購入物品とし、前記仮想表示インターフェースにおいて前記購入物品に対応する購入情報を表示するステップと、をさらに含む、請求項１に記載の方法。

【請求項18】

前記方法は、
前記仮想表示インターフェースにおいてメインレンズ仮想ビデオ画面を表示するステップであって、前記メインレンズ仮想ビデオ画面は、メインレンズビューにおける仮想ビデオ空間シーンを表示することに用いられる、ステップと、
前記仮想表示インターフェースにおいて移動ビュー切り替えコントロールを表示するステップと、
前記移動ビュー切り替えコントロールに対するトリガー操作に応答して、移動後の前記第１オブジェクトの前記仮想ビデオ空間シーンに対するビューを取得して移動ビューとするステップと、
前記メインレンズ仮想ビデオ画面を、前記仮想ビデオ空間シーンの前記移動ビューにおける移動仮想ビデオ画面に切り替えて表示するステップと、をさらに含む、請求項１に記載の方法。

【請求項19】

前記仮想表示インターフェースにおいて前記仮想ビデオ空間シーンのメインレンズビューにおけるメインレンズ仮想ビデオ画面を表示するステップと、
前記仮想表示インターフェースにおいてポインティングビュー切り替えコントロールを表示するステップと、
前記ポインティングビュー切り替えコントロールに対するトリガー操作に応答して、前記仮想表示インターフェースにおいてポインティングカーソルを表示するステップと、
前記ポインティングカーソルに対する移動操作に応答して、移動後のポインティングカーソルの前記仮想ビデオ空間シーンに対するビューを取得してポインティングビューとするステップと、
前記メインレンズ仮想ビデオ画面を、前記仮想ビデオ空間シーンの前記ポインティングビューにおけるポインティング仮想ビデオ画面に切り替えて表示するステップと、をさらに含む、請求項１に記載の方法。

【請求項20】

データ処理装置であって、前記装置は、
マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示するように構成された第１応答モジュールと、
仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得するように構成された第２応答モジュールであって、第１オブジェクトとは、マルチビュービデオに対するトリガー操作を開始するオブジェクトを指す、第２応答モジュールと、
仮想表示インターフェースにおいてマルチビュービデオに関連付けられた制作ビデオを再生するように構成されたビデオ再生モジュールであって、前記制作ビデオは、前記オブジェクトデータに基づいて、前記仮想ビデオ空間シーンに対して編集処理を行って得られたものである、ビデオ再生モジュールと、を含む、データ処理装置。

【請求項21】

コンピュータ機器であって、プロセッサと、メモリと、ネットワークインタフェースと、を含み、
前記プロセッサは、前記メモリ、及び前記ネットワークインタフェースに接続され、前記ネットワークインタフェースは、データ通信機能を提供することに用いられ、前記メモリは、プログラムコードを記憶することに用いられ、前記プロセッサは、前記プログラムコードを呼び出すことにより、請求項１～１９のいずれか１項に記載のデータ処理方法を実行することに用いられる、コンピュータ機器。

【請求項22】

コンピュータプログラム製品であって、コンピュータプログラム、又は命令を含み、前記コンピュータプログラム、又は命令は、プロセッサによって実行されるときに、請求項１～１９のいずれか１項に記載のデータ処理方法を実現する、コンピュータプログラム製品。

【請求項23】

コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体においてコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサによってロードされ、請求項１～１９のいずれか１項に記載のデータ処理方法を実行するのに適している、コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、コンピュータの技術分野に関し、特に、データ処理方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム製品に関する。

【0002】

本願の実施例は、出願番号が第２０２２１０００９５７１．６号であり、出願日が２０２２年１月５日である中国特許出願、及び出願番号が第２０２２１００８６６９８．８号であり、出願日が２０２２年１月２５日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張しており、該中国特許出願の全部の内容は、ここで参照として本願の実施例に組み込まれている。

【背景技術】

【0003】

映画やテレビ番組は、コピー、磁気テープ、フィルム、及びメモリなどを担体として、スクリーン、及びディスプレイで放映することを目的として、視覚と聴覚とを総合して観賞することを実現する芸術形式であり、現代芸術の総合的な形態であり、映画、テレビドラマ、番組、及びアニメーションなどの内容を含んでいる。

【0004】

仮想現実技術に基づいて作成されるビデオを例とすると、現実生活におけるデータを使い、コンピュータ技術で生成された電子信号を通じて、様々な出力機器と結合して人々が感じることができる現象に変換し、ユーザが視聴過程において没入型体験を有することをサポートする。

【0005】

しかし、伝統的なビデオ再生の場面においては、ビデオの表示内容は固定的であり、単調過ぎるが、関連技術においては、単調化されたビデオに対して二次編集を効率的に行うことによってユーザのニーズに合わせてパーソナライズされたビデオを形成する解決手段に欠けている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本願の実施例は、データ処理方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム製品を提供し、比較的少ないデータ処理リソースにより視聴者をビデオの内容に軽量化された方法で融合させ、マンマシンインタラクション効率を向上させ、且つビデオの表示方式、及びインタラクション方式を豊富にすることができる。

【課題を解決するための手段】

【0007】

本願の実施例は、データ処理方法を提供し、前記方法は、コンピュータ機器によって実行され、
マルチビュービデオに対するトリガー操作に応答して、前記マルチビュービデオに対応する仮想ビデオ空間シーンを表示するステップと、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップであって、前記第１オブジェクトとは、前記マルチビュービデオに対するトリガー操作を開始するオブジェクトを指す、ステップと、
仮想表示インターフェースにおいて前記マルチビュービデオに関連付けられた制作ビデオを再生するステップであって、前記制作ビデオは、前記オブジェクトデータに基づいて、前記仮想ビデオ空間シーンに対して編集処理を行って得られたものである、ステップと、を含む。

【0008】

本願の実施例は、データ処理装置を提供し、
マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示するように構成された第１応答モジュールと、
仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得するように構成された第２応答モジュールであって、第１オブジェクトとは、マルチビュービデオに対するトリガー操作を開始するオブジェクトを指す、第２応答モジュールと、
仮想表示インターフェースにおいてマルチビュービデオに関連付けられた制作ビデオを再生するように構成されたビデオ再生モジュールであって、前記制作ビデオは、前記オブジェクトデータに基づいて、前記仮想ビデオ空間シーンに対して編集処理を行って得られたものである、ビデオ再生モジュールと、を含む。

【0009】

本願の実施例は、コンピュータ機器を提供し、プロセッサと、メモリと、ネットワークインタフェースと、を含み、
前記プロセッサは、前記メモリ、及び前記ネットワークインタフェースに接続され、前記ネットワークインタフェースは、データ通信ネットワーク要素を提供することに用いられ、前記メモリは、コンピュータプログラムを記憶することに用いられ、前記プロセッサは、前記コンピュータプログラムを呼び出し、それにより、本願の実施例における方法を実行することに用いられる。

【0010】

本願の実施例は、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体においてコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサによってロードされ、本願の実施例における方法を実行するのに適している。

【0011】

本願の実施例は、コンピュータプログラム製品、又はコンピュータプログラムを提供し、該コンピュータプログラム製品、又はコンピュータプログラムは、コンピュータ命令を含み、該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶されており、コンピュータ機器のプロセッサは、コンピュータ読み取り可能な記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行し、該コンピュータ機器に本願の実施例における方法を実行させる。

【発明の効果】

【0012】

本願の実施例により、第１オブジェクトは、仮想ビデオ空間シーンにおいて任意のビューから仮想ビデオ空間シーンを視聴することができる。第１オブジェクトは、仮想ビデオ空間シーンにおいて自分の制作アイディアに応じてマルチビュービデオに対する二次制作を行い、制作ビデオを得ることができ、ビデオの表示方式、及びインタラクション方式を豊富にすることができ、且つ二次撮影を必要とせずに第１オブジェクトが関与する制作ビデオを得ることができる。そのため、比較的少ないデータ処理リソースにより視聴者をビデオの内容に軽量化された方法で融合させ、データ処理リソースを節約する前提において、マンマシンインタラクション効率を向上させ、且つビデオの表示方式、及びインタラクション方式を豊富にする。

【0013】

本願の実施例、又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例、又は従来技術の記述において使用する必要がある図面について簡単に紹介する。明らかなように、以下の記述における図面は、単に本願のいくつかの実施例であり、当業者にとっては、創造的な労働を必要としない前提において、さらにこれらの図面に応じて他の図面を獲得することができる。

【図面の簡単な説明】

【0014】

【図1】本願の実施例で提供されるシステムアーキテクチャの模式図である。

【図2a】本願の実施例で提供される仮想現実に基づくシーン制作のシーンの模式図である。

【図2b】本願の実施例で提供されるビデオの対比模式図である。

【図3】本願の実施例で提供されるデータ処理方法のフローチャートである。

【図4】本願の実施例で提供される仮想現実に基づいて音入れを行うデータ処理方法のフローチャートである。

【図5a】本願の実施例で提供される音入れモードリストを表示するシーンの模式図である。

【図5b】本願の実施例で提供される音入れ可能なビデオオブジェクトを表示するシーンの模式図である。

【図5c】本願の実施例で提供されるオブジェクト音入れのシーンの模式図である。

【図6】本願の実施例で提供される仮想現実に基づいてパフォーマンスを行うデータ処理方法のフローチャートである。

【図7a】本願の実施例で提供されるパフォーマンスモードリストを表示するシーンの模式図である。

【図7b】本願の実施例で提供される置換可能なビデオオブジェクトを選択するシーンの模式図である。

【図7c】本願の実施例で提供される置換可能なビデオオブジェクトを選択する別のシーンの模式図である。

【図7d】本願の実施例で提供される仮想現実に基づくオブジェクトパフォーマンスのシーンの模式図である。

【図7e】本願の実施例で提供される仮想現実に基づくオブジェクトの透明表示のシーンの模式図である。

【図7f】本願の実施例で提供される仮想現実に基づく鏡像プレビューのシーンの模式図である。

【図7g】本願の実施例で提供される第１イメージカスタマイズリストの模式図である。

【図7h】本願の実施例で提供される第２イメージカスタマイズリストの模式図である。

【図7i】本願の実施例で提供される購入可能な仮想物品を表示するシーンの模式図である。

【図8】本願の実施例で提供される仮想現実に基づいてマルチオブジェクトビデオ制作を行うデータ処理方法のフローチャートである。

【図9a】本願の実施例で提供される仮想現実に基づくオブジェクト招待のシーンの模式図である。

【図9b】本願の実施例で提供される仮想現実に基づく第２オブジェクト表示のシーンの模式図である。

【図10】本願の実施例で提供される仮想現実に基づいてビデオ録画を行うデータ処理方法のフローチャートである。

【図11a】本願の実施例で提供される仮想現実に基づく移動ビュー切り替えのシーンの模式図である。

【図11b】本願の実施例で提供される仮想現実に基づくポインティングビュー切り替えのシーンの模式図である。

【図11c】本願の実施例で提供される仮想現実に基づくビデオ撮影のシーンの模式図である。

【図12】本願の実施例で提供されるデータ処理装置の構造模式図である。

【図13】本願の実施例で提供されるコンピュータ機器の構造模式図である。

【発明を実施するための形態】

【0015】

以下、本願の実施例における図面と併せて、本願の実施例における技術的解決手段を明確で、完整に記述するが、明らかなように、記述される実施例は、単に本願の一部の実施例であり、全部の実施例ではない。本願における実施例に基づいて、当業者が創造的な労働を行わない前提において獲得したすべての他の実施例は、いずれも本願の保護範囲に属する。

【0016】

人工知能（ＡＩ、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、デジタルコンピュータ、又はデジタルコンピュータが制御するマシンを利用して、人の知能をシミュレートし、延伸させ、また拡張し、環境を感知し、知識を取得し、そして、知識を使用して最適な結果を獲得する理論、方法、技術であり、アプリケーションシステムである。言い換えれば、人工知能は、コンピュータ科学の１つの総合的な技術であり、それは、知能の本質を理解して、人間の知能に似た方式で反応することができる新しい知能マシンを製造することを意図している。つまり、人工知能は、様々な知能マシンの設計原理、及び実現方法を研究して、マシンに感知、推理、及び意思決定の機能を有させるものである。

【0017】

人工知能技術は、１つの総合的な学科であり、関連する分野が広く、ハードウェアレベルの技術もあり、ソフトウェアレベルの技術もある。人工知能の基礎技術は、一般的に、例えばセンサ、専用人工知能チップ、クラウドコンピューティング、分散式記憶、ビッグデータ処理技術、オペレーティング／インタラクションシステム、及びメカトロニクスなどの技術を含む。人工知能ソフトウェア技術は、主に、コンピュータ視覚技術、音声処理技術、自然言語処理技術、及び機械学習／深層学習などの複数の主要な方向を含む。

【0018】

コンピュータ視覚技術（ＣＶ、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）は、如何にマシンに「見させる」かを研究する１つの科学であり、更に言えば、人間の目の代わりにビデオカメラ、及びコンピュータを用いてターゲットに対して認識、及び計測などを行うマシン視覚を指す。そして、更にグラフィックス処理を行って、人間の目による観察、又は器具へ伝送して検出するためにより適した画像となるように、コンピュータに処理させる。１つの科学分野として、コンピュータ視覚は、関連する理論、及び技術を研究し、画像、又は多次元データから情報を取得することができる人工知能システムを確立しようとする。コンピュータ視覚技術は、通常、画像処理、画像認識、画像意味理解、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味理解、ビデオ内容認識、３次元物体再構築、３Ｄ技術、仮想現実、拡張現実、同期測位、及び地図構築などの技術を含む。

【0019】

仮想現実（ＶＲ、Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術は、コンピュータ、電子情報、及びシミュレーション技術を一体としており、その基本的な実現方式は、コンピュータが仮想環境をシミュレートし、それによって人に環境没入感を与えるという方法である。いわゆる仮想現実は、名称の通り、仮想と現実とを互いに結合したものである。理論的には、仮想現実技術は、仮想世界をセットアップして体験することができるコンピュータシミュレーションシステムであり、それは、コンピュータを利用して模擬環境を生成し、ユーザが該環境に没入するようにする。仮想現実技術は、現実生活におけるデータを利用して、コンピュータ技術で生成された電子信号により、それを様々な出力機器と結合して、人々が感じることができる現象に変換する。これらの現象は、我々が直接見ることができるものではなく、コンピュータ技術によりシミュレートされた現実における世界であるため、仮想現実と呼ばれる。仮想現実技術は、シミュレーション技術と、コンピュータグラフィックス学、マンマシンインタフェース技術、マルチメディア技術、センシング技術、及びネットワーク技術などの複数の技術とを集合したものであり、チャレンジングな学際的なテクノロジーフロンティア分野であり、研究分野である。仮想現実技術は、主に、模擬環境、動作、感知、及びセンシング機器などの面を含む。模擬環境は、コンピュータによって生成された、リアルタイムで動的な３次元立体パノラマ画像、及び音を含む。

【0020】

本願の実施例で提供される解決手段は、人工知能のコンピュータ視覚技術における仮想現実の技術分野に関し、具体的に下記実施例により説明する。

【0021】

図１は、本願の実施例で提供されるシステムアーキテクチャ図である。図１に示すように、該システムアーキテクチャは、データ処理機器１００、仮想表示機器２００、及びコントローラ（図１は、コントローラ３００ａ、及びコントローラ３００ｂを例としており、無論、コントローラの数は、１個、又は１個よりも多くしてもよい。すなわち、コントローラは、コントローラ３００ａ、及び／又はコントローラ３００ｂを含んでもよい）を含んでもよい。コントローラ、及び仮想表示機器２００は、いずれもデータ処理機器１００と通信接続可能である。通信接続は、接続方式を限定せず、有線通信方式により直接、又は間接的に接続されてもよいし、無線通信方式により直接、又は間接的に接続されてもよく、さらに、他の方式によるものであってもよく、本願の実施例は、ここで制限しない。また、データ処理機器１００が仮想表示機器２００に集積されるときには、コントローラ３００ａ、及びコントローラ３００ｂは、さらに、データ処理能力を有する仮想表示機器２００に直接有線、又は無線接続されてもよい。ここで、仮想表示機器２００は、ＶＲ機器であってもよいし、拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）機能を有するコンピュータ機器であってもよいし、複合現実（ＭＲ、Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）機能を有するコンピュータ機器であってもよい。

【0022】

図１に示すように、コントローラ（すなわち、コントローラ３００ａ、及び／又はコントローラ３００ｂ）は、制御命令をデータ処理機器１００に送信することができる。データ処理機器１００は、制御命令に応じて関連するアニメーションデータを生成し、そして、アニメーションデータを仮想表示機器２００に送信して表示することができる。仮想表示機器２００は、例えば、仮想現実ヘルメットのように、ユーザの頭部に装着され、そして、ユーザに仮想世界（仮想世界とは、コンピュータ技術、インターネット技術、衛星技術、及び人間の意識の潜在能力を活用して開発、又は形成された、現実世界から独立した、現実世界と関係がある、人々が仮想現実機器により意識の形で入り込む、地球、又は宇宙と類似する世界を指してもよい）を表示することに用いられてもよい。コントローラは、仮想現実システムにおけるハンドルであってもよく、さらにユーザの身体に装着された体性感覚機器であってもよく、又はスマートウェアラブル機器（例えば、スマートブレスレット）であってもよい。データ処理機器１００は、データ処理能力を備えるサーバ、又は端末であってもよい。ここで、サーバは、独立した物理サーバであってもよいし、複数の物理サーバで構成されるサーバクラスタ、又は分散式システムであってもよく、さらに、クラウドデータベース、クラウドサービス、クラウドコンピューティング、クラウド関数、クラウド記憶、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、ＣＤＮ、及びビッグデータや人工知能プラットフォームなどの基礎的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。ここで、端末は、データ演算能力を備えるスマートフォン、タブレットパソコン、ノートパソコン、デスクトップコンピュータ、パームトップパソコン、及び移動インターネット機器（ＭＩＤ、ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ）などの知能端末であってもよい。

【0023】

仮想表示機器２００、及びデータ処理機器１００は、それぞれ独立した機器であってもよいし、一体化されたものであってもよい（すなわち、データ処理機器１００を仮想表示機器２００に集積する）。本願の実施例で提供されるデータ処理方法をよりよく理解するために、制御機器が本願で提供されるデータ処理方法を実現することを例にして、その後の実施例について詳細に説明する。制御機器は、仮想現実機器とも呼ばれてもよく、仮想現実機器とは、仮想表示機器２００とデータ処理機器１００とを一体化した後に得られた機器を指し、仮想現実機器は、コントローラと接続されてデータの処理を行うことができ、仮想表示インターフェースを提供してデータに対応するビデオ画面を表示することもできる。

【0024】

本願の実施例は、データ処理方法を提供し、第１オブジェクトによるマルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対する選択を実現することができる。仮想現実機器は、第１オブジェクトによるマルチビュービデオに対するトリガー操作に応答して、マルチビュービデオと対応する仮想ビデオ空間シーンを表示することができる。仮想ビデオ空間シーンは、仮想現実機器が生成する一種の模擬環境であり、第１オブジェクトに視覚、聴覚、及び触覚などの感官についての模擬感覚を提供し、第１オブジェクトがその場に身を置くような没入感を有するようにすることができる。仮想現実機器を装着している第１オブジェクトは、自身が仮想ビデオ空間シーンに入ったことを実感することができる。第１オブジェクトの感知において、該仮想ビデオ空間シーンは、１つの３次元立体の空間シーンであり、仮想現実機器は、第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを第１オブジェクトに表示することができる。第１オブジェクトが歩くときに、第１オブジェクトが位置するビューもそれにつれて変化することが可能であり、仮想現実機器は、第１オブジェクトがリアルタイムに位置するビューを取得して、第１オブジェクトがリアルタイムに位置するビューにおける仮想ビデオ空間シーンを第１オブジェクトに表示することができることによって、第１オブジェクトは、自分が仮想ビデオ空間シーンにおいて歩くことを感知する。また第１オブジェクトは、仮想現実機器と仮想ビデオ空間シーンに対するインタラクションを行うことができる。

【0025】

図２ａ～図２ｂに併せて参照されるように、図２ａは、本願の実施例で提供される仮想現実に基づくシーン制作のシーンの模式図である。該応用処理のシーンの実現過程は、仮想現実機器に基づいて実現できる。図２ａに示すように、第１オブジェクト（例えば、オブジェクトＡ）が仮想現実機器２１（すなわち、上記の図１に記載の仮想表示機器２００とデータ処理機器１００とを一体化した後の機器）、及び仮想現実ハンドル２２（すなわち、上記の図１に記載のコントローラ）を着用していると仮定する。仮想現実機器２１は、オブジェクトＡによるマルチビュービデオに対するトリガー操作に応答した後に、マルチビュービデオに対応する仮想ビデオ空間シーン２０００に入ることができる。マルチビュービデオとは、６自由度（６ＤＯＦ、Ｓｉｘ ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ ｔｒａｃｋｉｎｇ）のブラウズ方式を備えるビデオを指してもよく、マルチビュービデオは、異なるビューにおける複数の仮想ビデオ画面からなるものであってもよく、例えばマルチビュービデオは、ターゲットビューにおけるターゲット仮想ビデオ画面を含んでもよい。ターゲット仮想ビデオ画面は、画像取得機器（例えば、カメラ）によってターゲットビューにおいて実空間シーンについて取得して得られてもよい。仮想現実機器は、仮想表示インターフェース２３において３次元（３Ｄ、ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）表示技術により該ターゲット仮想ビデオ画面を出力し、それによって、ターゲットビューにおける実空間シーンをシミュレートすることができ、シミュレートしたターゲットビューにおける実空間シーンは、すなわち、ターゲットビューにおける仮想ビデオ空間シーンである。図２ａに示すように、仮想現実機器２１は、仮想表示インターフェース２３に仮想ビデオ画面２０１を表示することができる。該仮想ビデオ画面２０１において、キャラクター甲に対応するビデオオブジェクトＢと、キャラクター乙に対応するビデオオブジェクトＣとは、話している。仮想ビデオ画面２０１は、仮想ビデオ空間シーン２０００のデフォルトビューにおいて対応するビデオ画面であってもよい。デフォルトビューは、メインレンズビュー、すなわち、ディレクタにとって理想的なレンズビューであってもよい。仮想現実機器２１は、３Ｄ表示技術によりオブジェクトＡのために仮想ビデオ画面２０１を表示することができ、オブジェクトＡは、その場に身を置くように、ビデオオブジェクトＢとビデオオブジェクトＣとが自分のすぐ前に立って話していると思うことができる。オブジェクトＡは、デフォルトビューにおける仮想ビデオ空間シーン２０００を見ており、オブジェクトＡの感知においては、仮想ビデオ空間シーン２０００が１つの３次元の実空間シーンであり、自分が仮想ビデオ空間シーン２０００において意のままに歩くことができると思うことができる。したがって、オブジェクトＡの仮想ビデオ空間シーン２０００に対する視聴ビューは、オブジェクトＡが歩くにつれて変化することができる。オブジェクトＡを仮想ビデオ空間シーン２０００に没入させるために、仮想現実機器２１は、オブジェクトＡが仮想ビデオ空間シーン２０００にいる位置を取得することができ、オブジェクトＡが位置するビューを決定する。続いて、仮想ビデオ空間シーン２０００のオブジェクトＡが位置するビューにおける仮想ビデオ画面を取得し、引き続き仮想表示インターフェースにより表示することにより、オブジェクトＡは、位置するビューにおける仮想ビデオ空間シーン２０００を見ることができることにより、オブジェクトＡに没入感を与える。すなわち、オブジェクトＡに自分がこの時点に仮想ビデオ空間シーン２０００に位置することを感知させ、かつ意のままに歩いて異なるビューにおける仮想ビデオ空間シーン２０００を視聴することができる。なお、仮想現実機器２１は、３Ｄ表示技術によりオブジェクトＡの視覚についてのシミュレーションを実現することに加えて、さらに、コンピュータ技術により電子信号を生成し、それを様々な出力機器と結合して、オブジェクトＡの他の感知のシミュレーションを実現することができる。例えば、仮想現実機器２１は、サラウンドサウンド技術、すなわち、異なるチャンネルの音量などのパラメータを調整することを利用して音の方向感覚をシミュレートし、それによって、オブジェクトＡに実の聴覚体験をもたらすなどを可能とすることができるが、本願の実施例は、ここではそれについて制限しない。

【0026】

仮想現実機器２１により、オブジェクトＡは、第１ビューでマルチビュービデオに対応する仮想ビデオ空間シーンに没入するように位置して、マルチビュービデオのシナリオを感じることができる。オブジェクトＡがマルチビュービデオのシナリオに対して別の制作アイディアを有するときには、オブジェクトＡは、仮想現実機器２１により、マルチビュービデオに対応する仮想ビデオ空間シーン２０００においてシーン制作、例えば音入れ、及びパフォーマンスなどを行うことができる。オブジェクトＡは、さらに、自分の友達を招待して一緒にマルチビュービデオに対するシーン制作を行うことができる。仮想現実機器２１は、さらに、仮想表示インターフェース２３においてシーン制作バー２４を独立して表示することができる。図２ａに示すように、オブジェクトＡは、該シーン制作バー２４が前方にフローティングして表示されていることを見ることができる。シーン制作バー２４は、音入れコントロール２４１、パフォーマンスコントロール２４２、及びオブジェクト招待コントロール２４３を含んでもよい。仮想現実ハンドル２２により、オブジェクトＡは、仮想ビデオ空間シーン２０００に対するシーン編集操作、すなわち、シーン制作バー２４におけるあるコントロールに対するトリガー操作をトリガーすることができる。続いて、オブジェクトＡは、自分の制作アイディアに応じて、マルチビュービデオのシナリオを変更し、仮想現実機器２１により、マルチビュービデオに対してシナリオ変更を行った後に生成された制作ビデオを得ることができる。例えば、オブジェクトＡは、音入れコントロール２４１をトリガーすることにより、マルチビュービデオにナレーションを添加し、又はあるキャラクターの台詞表現を変更することができる。又は、オブジェクトＡは、パフォーマンスコントロール２４２をトリガーすることによりマルチビュービデオにおいて新しいキャラクターを追加し、又はビデオオブジェクトにおいてあるキャラクターを置換し、それにより制作パフォーマンスを行うことができる。又は、オブジェクトＡは、オブジェクト招待コントロール２４３をトリガーすることにより友達を招待して一緒にマルチビュービデオに対してシナリオ制作を行うことができる。仮想現実機器２１は、オブジェクトＡによる仮想ビデオ空間シーン２０００に対するシーン編集操作（すなわち、上記したシーン制作バー２４におけるあるコントロールをトリガーする操作）に応答した後に、オブジェクトＡは、仮想ビデオ空間シーン２０００で相応なシーン制作、例えば、音入れ、及びパフォーマンスなどを行うことができ、仮想現実機器２１は、オブジェクトＡが仮想ビデオ空間シーン２０００にいるオブジェクトデータを取得することができる。続いて、仮想現実機器２１は、取得したオブジェクトデータと仮想ビデオ空間シーン２０００とを融合して、制作ビデオを得ることができる。オブジェクトデータの取得、及びオブジェクトデータの融合の実現過程は、その後の実施例の具体的な記述を参照することができる。

【0027】

図２ｂに併せて参照されるように、図２ｂは、本願の実施例で提供されるビデオの対比模式図である。図２ｂに示すように、マルチビュービデオにおける時刻Ａでの仮想ビデオ画面２０２において、キャラクター甲に対応するビデオオブジェクトＢと、キャラクター乙に対応するビデオオブジェクトＣとは、このとき話している。オブジェクトＡがビデオオブジェクトＢのことが非常に好きであり、このときにビデオオブジェクトＢと話しているのが自分であることを望むと仮定すると、この場合にオブジェクトＡは、ビデオオブジェクトＣを置換し、続いて、自分がキャラクター乙を演じることができる。オブジェクトＡは、上記の図２ａに示すシーンにおいて、パフォーマンスコントロール２４２をトリガーし、続いて、仮想ビデオ空間シーン２０００において自分のパフォーマンスを行う、すなわち、仮想ビデオ空間シーン２０００においてビデオオブジェクトＢと話すことを行うことができる。仮想現実機器２１は、オブジェクトＡが仮想現実オブジェクトＢと話しているときのオブジェクトデータを取得することができ、オブジェクトデータは、オブジェクトＡの骨格、動作、表情、イメージ、及び仮想ビデオ空間シーンにおける位置などのデータであってもよい。仮想現実機器２１は、オブジェクトデータを有するビデオオブジェクトＡをセットアップし、続いて、マルチビュービデオにおいてビデオオブジェクトＣの表示を解除し、引き続きビデオオブジェクトＡを、ビデオオブジェクトＣがフィルタリングされたマルチビュービデオに融合して制作ビデオを得ることができる。以上より分かるように、オブジェクトＡによる仮想ビデオ空間シーン２０００における制作を経て、オブジェクトＡは、キャラクター乙の演者となる。

【0028】

理解できるように、本願の具体的な実施形態において、関連するオブジェクトデータは、本願の以上の実施例が具体的な製品、又は技術に活用されるときに、ユーザの許可、又は同意を獲得する必要があり、かつ関連するデータの収集、使用、及び処理は、関連する国や地域の関連する法律法規、及び標準に準拠する必要がある。

【0029】

本願の実施例において、オブジェクトＡが仮想現実機器により仮想ビデオ空間シーンに入った後に、仮想現実機器は、マルチビュービデオに対応する仮想ビデオ空間シーンを表示して、オブジェクトＡを仮想ビデオ空間シーンに没入させる。またオブジェクトＡによる仮想ビデオ空間シーンに対する制作操作に応答して、オブジェクトＡが仮想ビデオ空間シーンにおいて行う音入れ、及びパフォーマンスなどのオブジェクトデータを取得し、引き続きオブジェクトデータを仮想ビデオ空間シーンと融合して制作ビデオを得ることができるため、オブジェクトＡによるマルチビュービデオに対する二次制作を効率的に実現し、マルチビュービデオの表示方式、及びインタラクション方式を豊富にすることができる。

【0030】

図３に参照されるように、図３は、本願の実施例で提供されるデータ処理方法のフローチャートである。該データ処理方法は、仮想現実機器によって実行されてもよい。理解を容易にするために、本願の実施例は、該方法が仮想現実機器によって実行されることを例にして説明する。該データ処理方法は、少なくとも以下のステップＳ１０１～ステップＳ１０３を含んでもよい。

【0031】

ステップＳ１０１：マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示する。

【0032】

マルチビュービデオは、６ＤＯＦのブラウズ方式を備える映画、テレビドラマ、及びミュージカルドラマなどの制作ビデオであってもよい。マルチビュービデオにおいて、実空間シーンの少なくとも１つの特定のビューにおける仮想ビデオ画面が含まれてもよい。仮想現実機器は、仮想表示インターフェースにおいて、ターゲットビューにおけるターゲット仮想ビデオ画面を３Ｄの形式で表示する。ターゲットビューは、第１オブジェクトのリアルタイム位置、及びリアルタイムなポーズに応じて得られたビューであり、例えば、現在、第１オブジェクトが南向きに立ち、且つ第１オブジェクトが上を見る状態にある場合には、第１オブジェクトが南向きに立ち、且つ第１オブジェクトが上を見る状態にあるときに指すビューがすなわちターゲットビューである。ターゲットビューは、さらに、第１オブジェクトのビュー選択操作に応答して得られたものであってもよく、仮想現実機器を装着した第１オブジェクトは、ターゲットビューにおける仮想ビデオ空間シーンを見ることができる。仮想現実機器が仮想表示インターフェースにより、異なるビューにおける仮想ビデオ画面を切り替えて表示するときに、第１オブジェクトは、異なるビューにおける仮想ビデオ空間シーンを見ることができる。該仮想ビデオ空間シーンは、実に存在する空間シーンではなく、実空間シーンをシミュレートしたものであり、仮想ビデオ空間シーンにおけるオブジェクト、環境、及び音声などは、すべて仮想現実機器によって生成されたものであってもよいし、仮想と現実を結合したものであってもよい。すなわち、オブジェクト、環境、及び音声などの一部は、仮想現実機器によって生成されるか、オブジェクト、環境、及び音声などの一部は、第１オブジェクトが位置する実空間シーンにおいて実に存在するものである。第１オブジェクトが仮想現実機器を装着したときに、仮想現実機器は、コンピュータ技術で生成された電子信号により、それを様々な出力機器と結合し、マルチビュービデオに対応した仮想ビデオ空間シーンに入る。第１オブジェクトは、位置するビューにおける仮想ビデオ空間シーンを見ることができる。第１オブジェクトの感知において、該仮想ビデオ空間シーンは、実空間シーンと同じであり、すなわち、第１オブジェクトは、自分が実空間シーンにいるように思うことができる。例えば、上記の図２ａに示す仮想ビデオ空間シーン２０００では、オブジェクトＡの感知において、オブジェクトＡは、仮想ビデオ空間シーン２０００に位置しており、オブジェクトＡは、第１ビューでマルチビュービデオのシナリオの発展を体験することができる。説明する必要がある点として、第１オブジェクトは、自分が仮想ビデオ空間シーンにいると感知しているが、第１オブジェクトが「見る」のは、自分が位置するビューにおける仮想ビデオ空間シーンであり、実際には、第１オブジェクトが見ることは、仮想現実機器の仮想表示インターフェースにおける仮想ビデオ画面に由来するものである。

【0033】

マルチビュービデオの一種の実施可能な撮影・作成の過程は、以下の通りであってもよい。パノラマカメラによりマルチビュービデオに対応する実環境（すなわち、実空間シーン）を撮影し、完全なシーンの点群データを獲得して、引き続き点群データを利用したフィッティングモデリングを行い、フィッティングモデリング結果に基づいて、マルチシーンモデルの融合最適化を行う。それと同時に、特製のスタジオにおいて俳優に対して完全な人物走査モデリングを行い、仮想オブジェクト（すなわち、俳優に対応するビデオオブジェクト）の作成を完了する。なお、マルチビュービデオを撮影する過程において、俳優は緑色の服を着て、体にマークやキャプチャポイントを付け、マルチビュービデオに対応する実環境においてパフォーマンスを行う必要がある。続いて、映画ディレクタのメインカメラ、及び複数のカメラを含めるカメラ群によって、俳優に対して完全な記録キャプチャを行い、キャプチャした多角度データを合わせると、各俳優のリアルタイムな動作データ、及び表情データを得ることができる。作成されたビデオオブジェクトを最適化されたマルチシーンのモデルに置き、引き続きリアルタイムな動作データ、及び表情データによってビデオオブジェクトの身体の骨格、及び表情を駆動し、モデル化された実環境においてライトや影の効果を追加して、最後のマルチビュービデオを得る。説明する必要がある点として、俳優に対して完全な人物走査、及び完全な記録キャプチャを行う前に、俳優本人の許可を獲得する必要があり、かつ取得した動作データ、及び表情データは、マルチビュービデオの作成にのみ用いられ、データ分析などの他の用途に用いられない。

【0034】

ステップＳ１０２：仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得する。

【0035】

第１オブジェクトとは、マルチビュービデオに対するトリガー操作を開始するオブジェクトを指し、マルチビュービデオを再生する過程において、第１オブジェクトは、仮想ビデオ空間シーンに対するシーン編集操作をトリガーすることができる。仮想現実機器は、該シーン編集操作に応答した後に、第１オブジェクトが仮想ビデオ空間シーンにおいてシーン制作・パフォーマンスを行うときのオブジェクトデータを取得することができる。シーン制作は、音入れ、パフォーマンス、及びオブジェクト招待などを含んでもよい。オブジェクトデータは、音声データ、姿勢データ、イメージデータ、及び位置データなどのデータを含んでもよい。音声データは、第１オブジェクトの音声に対応し、姿勢データは、第１オブジェクトの動作形態に対応し、イメージデータは、第１オブジェクトの外貌イメージに対応し、位置データは、第１オブジェクトの仮想ビデオ空間シーンにおける位置に対応する。仮想現実機器がオブジェクトデータを取得する一種の実施可能な実施形態は、以下の通りである。仮想現実機器は、複数のリアルタイムキャプチャカメラ、及び録音コントロールを含んでもよく、カメラは、異なるビューから第１オブジェクトをリアルタイムで撮影し、異なるビューにおける撮影画面を得ることができる。仮想現実機器は、複数の画面を融合し、続いて、第１オブジェクトの姿勢データ、及びイメージデータを含む、第１オブジェクトのリアルタイムなオブジェクトデータを算出することができる。姿勢データは、第１オブジェクトの肢体骨格データ、及び表情データも含んでもよい。仮想現実機器は、イメージデータに応じて第１オブジェクトに関連付けられたパフォーマンスオブジェクトのイメージを決定し、肢体骨格データによりパフォーマンスオブジェクトのリアルタイムな動作を決定し、表情データによりパフォーマンスオブジェクトのリアルタイムな表情を決定することができる。録音コントロールは、第１オブジェクトの音声データをリアルタイムで取得することができる。仮想現実機器は、第１オブジェクトのオブジェクトデータを取得するときに、第１オブジェクトによる行うための認可を獲得する必要があり、かつ取得したオブジェクトデータは、制作ビデオの作成にのみ用いられる。例えば、オブジェクトデータのうちの音声データは、制作ビデオにおいて第１オブジェクトの音声を表示することにのみ用いられ、姿勢データは、制作ビデオにおいて第１オブジェクトに対応するビデオオブジェクトの動作、及び表情を表示することにのみ用いられ、イメージデータは、制作ビデオにおいて第１オブジェクトに対応するビデオオブジェクトのイメージ、及び服飾を表示することにのみ用いられる。これらのデータは、データ分析などの他の用途に用いられず、本願のその後の実施例において取得されたオブジェクトデータも同様であり、再度詳細に説明しない。

【0036】

第１オブジェクトの感知において、第１オブジェクトは、仮想ビデオ空間シーンに位置している。第１オブジェクトは、仮想ビデオ空間シーンにおいて歩き、喋り、笑い、及び泣きなどの動作を行うことができる。したがって、第１オブジェクトは、仮想ビデオ空間シーンにおいてマルチビュービデオのシナリオに対するシーン制作パフォーマンスを体験することができる。シーン制作パフォーマンスとは、第１オブジェクトが好きなキャラクターに対してパフォーマンス・表示を行うことができる、すなわち、仮想ビデオ空間シーンにおいて該キャラクターに対応するビデオオブジェクトを置換して、台詞、動作、及び表情のパフォーマンスを行い、仮想ビデオ空間シーンにおける他のビデオオブジェクトと一緒にシナリオを推進し、又は興味のある他のビデオオブジェクトとシナリオにおいて共演してインタラクティブすることを指す。第１オブジェクトは、さらに、新しく追加されたキャラクターとして仮想ビデオ空間シーンにおいてパフォーマンスしてもよく、第１オブジェクトは、さらに、第２オブジェクトを招待して一緒に仮想ビデオ空間シーンにおいてパフォーマンスしてもよい。

【0037】

仮想現実機器は、音入れに対するシーン編集操作に応答して、第１オブジェクトの音声データをオブジェクトデータとして取得する。例えば上記の図２ａに示すシーンにおいて、オブジェクトＡ（第１オブジェクト）が音入れコントロール２７１をトリガーした後に、仮想現実機器２１は、オブジェクトＡが仮想ビデオ空間シーン２０００において発する音声に対応する音声データを取得することができる。仮想現実機器は、パフォーマンスに対するシーン編集操作に応答して、第１オブジェクトの姿勢データ、及びイメージデータをオブジェクトデータとして取得することができる。例えば上記の図２ａに示すシーンにおいて、オブジェクトＡがパフォーマンスコントロール２７２をトリガーした後に、仮想現実機器２１は、オブジェクトＡの仮想ビデオ空間シーン２０００における動作形態に対応する姿勢データ、及びオブジェクトＡのオブジェクトイメージに対応したイメージデータを取得することができる。仮想現実機器は、オブジェクト招待に対するシーン編集操作に応答して、マルチビュービデオに対する二次制作が一人の制作から複数人の共同制作に変わってもよい。換言すれば、第１オブジェクト、及び第１オブジェクトが招待する第２オブジェクトは、同一のマルチビュービデオに対応する仮想ビデオ空間シーンに入ることができる。このとき、仮想現実機器は、第１オブジェクトが仮想ビデオ空間シーンにおいてシーン制作パフォーマンスを行うときのオブジェクトデータを取得することができ、さらに、第２オブジェクトが仮想ビデオ空間シーンにおいてシーン制作パフォーマンスを行うときのターゲットオブジェクトデータを取得することができる。第１オブジェクトは、音入れ、及びパフォーマンスのシーン制作を同時に行うことができ、このとき、仮想現実機器は、第１オブジェクトの音声データ、姿勢データ、及びイメージデータをオブジェクトデータとして同時に取得することができる。

【0038】

仮想現実機器が、仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得する一種の実施可能な実施過程は、以下の通りであってもよい。仮想現実機器は、第１オブジェクトによる仮想ビデオ空間シーンに対するシーン編集操作に応答し、続いて仮想表示インターフェースにおいて仮想ビデオ空間シーンに対するビデオクリップ入力コントロールを表示する。仮想現実機器は、ビデオクリップ入力コントロールに対する入力操作に応答して、入力されたマルチビュービデオに対するクリッププログレス情報を取得し、クリッププログレス情報で指示されたビデオクリップを制作対象のビデオクリップとするようにしてもよい。仮想現実機器は、制作対象のビデオクリップを再生する過程において、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得することができる。本願の実施例により、制作対象のビデオクリップを直接取得することができることにより、その後に制作対象のビデオクリップを直接制作することを容易にし、第１オブジェクトが制作対象のビデオクリップの再生まで待つ待ち時間を節約することができ、それによって、マンマシンインタラクション効率を向上させる。

【0039】

第１オブジェクトは、マルチビュービデオからビデオクリップを選択して制作対象のビデオクリップとすることができ、これに続いて制作対象のビデオクリップのみに対してパフォーマンスを行えばよい。例えば、マルチビュービデオの再生期間は、２時間であり、第１オブジェクトが置換しようとするキャラクターは、マルチビュービデオの５０分目から５５分目にのみ登場する。もし仮想現実機器がマルチビュービデオを再生すれば、第１オブジェクトは、パフォーマンスするために５０分間待つ必要がある。したがって、第１オブジェクトは、５０分目から５５分目までのビデオクリップを選択して制作対象のビデオクリップとしてもよい。このとき、仮想現実機器は、制作対象のビデオクリップを直接再生し、第１オブジェクトは、仮想ビデオ空間シーンにおいて置換しようとするキャラクターのパフォーマンスを行うことができ、仮想現実機器は、第１オブジェクトがパフォーマンスするときのオブジェクトデータを取得することができる。マルチビュービデオの異なる再生時刻に対応する実空間シーンは、異なってもよい。例えば、マルチビュービデオの再生時刻が１０分目であるときに、対応する実空間シーンは、オブジェクトＤが寝ているシーンであり、マルチビュービデオの再生時刻が２０分目であるときに、対応する実空間シーンは、オブジェクトＤが歌を歌っているシーンである。第１オブジェクトが感知する仮想ビデオ空間シーンは、マルチビュービデオの再生時刻に対応する実空間シーンに基づいて変化することができ、したがって、マルチビュービデオの再生時刻が１０分目であるときに、オブジェクトＡが感知する仮想ビデオ空間シーンにおけるビデオオブジェクトＤ（ビデオオブジェクトＤは、オブジェクトＤに基づいて生成される）は寝ており、マルチビュービデオの再生時刻が２０分目であるときに、オブジェクトＡが感知する仮想ビデオ空間シーンにおけるビデオオブジェクトＤは歌を歌っている。

【0040】

仮想現実機器は、制作対象のビデオクリップを再生する過程において、仮想表示インターフェースにおいて再生プログレス制御バーを表示してもよい。再生プログレス制御バーは、一時停止コントロール、起動コントロール、及び倍数コントロールを含んでもよい。一時停止コントロールに対するトリガー操作に応答して、仮想現実機器は、制作対象のビデオクリップの再生を一時停止することができ、起動コントロールに対するトリガー操作に応答して、仮想現実機器は、制作対象のビデオクリップを再生し続けることができ、倍数コントロールに対する選択操作に応答して、仮想現実機器は、選択された再生倍数に応じて制作対象のビデオクリップの再生速度を調整することができる。本願の実施例により、制作対象のビデオクリップに対して一時停止、再生継続、及び変速再生の処理を行うことができ、制作対象のビデオクリップを柔軟に調節することができることによって、第１オブジェクトのパフォーマンスニーズにリアルタイムで合致することができる。

【0041】

ステップＳ１０３：仮想表示インターフェースにおいてマルチビュービデオに関連付けられた制作ビデオを再生する。

【0042】

制作ビデオは、オブジェクトデータに基づいて、仮想ビデオ空間シーンに対して編集処理を行って得られたものである。

【0043】

オブジェクトデータの取得が終わるときに、仮想現実機器は、オブジェクトデータと仮想ビデオ空間シーンとを融合して、制作ビデオを得ることができる。オブジェクトデータは、仮想現実機器が音入れに対するシーン編集操作に応答して取得した音声データであるときに、仮想現実機器は、第１オブジェクトのシーン編集操作に基づいて、音声データを使用して、仮想ビデオ空間シーンにおけるあるビデオオブジェクトのビデオ音声データを置換し、又は音声データを仮想ビデオ空間シーンに重ね合せることができる。オブジェクトデータが、仮想現実機器がパフォーマンスに対するシーン編集操作に応答して取得した姿勢データ、及びイメージデータであるときに、仮想現実機器は、姿勢データ、及びイメージデータを有するパフォーマンスオブジェクトを生成し、パフォーマンスオブジェクトを使用して、仮想ビデオ空間シーンにおけるあるビデオオブジェクトを置換し、又はパフォーマンスオブジェクトを仮想ビデオ空間シーンに直接追加することができる。オブジェクトデータは、仮想現実機器がオブジェクト招待に対するシーン編集操作に応答するときに取得したオブジェクトデータであり、かつ仮想現実機器が第１オブジェクトが招待した第２オブジェクトのターゲットオブジェクトデータを取得したときに、仮想現実機器は、オブジェクトデータとターゲットオブジェクトデータとを一緒に仮想ビデオ空間シーンに融合することができる。

【0044】

制作ビデオは、２つのデータ形態に対応することができ、１つのデータ形態は、ビデオモード、例えば、動画専門家グループ（ＭＰ４、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）ファイルである。このとき、制作ビデオは、仮想現実機器において再生できるだけではなく、さらにビデオ再生機能を有する他の端末機器で再生できる。別のデータ形態は、仮想ビデオ空間シーンに対する記録ファイルであり、記録ファイルは、１つの特定フォーマットのファイルであり、内部には今回録画したすべてのデータが含まれている。第１オブジェクトは、エディタを用いてこの特定フォーマットのファイルを開くことができる。すなわち、コンピュータ側でデジタルシーン（デジタルシーンは、第１オブジェクトが保留することを望む仮想ビデオ空間シーンと、オブジェクトデータを有するパフォーマンスオブジェクトと、を含んでいる）をブラウズして編集することができる。コンピュータ側でのデジタルシーンに対するブラウズ編集は、１つのゲームエンジンのリアルタイムな編集操作と類似している。エディタにおいて、ユーザは、全体の内容に対して、速度、音、ライト、画面、フィルタ、及び特殊スタイル化などの処理プロセスを行うことができ、キャラクターに対応するビデオオブジェクト、又はパフォーマンスオブジェクトに対して美化、及び音色処理を行うこともでき、パフォーマンスに対しては、さらに、いくつかの予め設定されたエフェクト、及び道具を追加することもできる。最終的に、１つの新しい制作ビデオを生成して得ることができる。第１オブジェクトは、制作ビデオをマシンのローカル／クラウド側の空間に保存してもよく、ＶＲソーシャルアプリケーション、非ＶＲソーシャルアプリケーション、及びソーシャルショートビデオアプリケーションなどにより他のオブジェクトに送信してもよい。

【0045】

本願の実施例において、第１オブジェクトは、仮想現実機器により、自分がマルチビュービデオに対応する仮想ビデオ空間シーンに位置することを感知することができる。仮想ビデオ空間シーンは、マルチビュービデオに対応する実空間シーンをシミュレートするものであり、第１オブジェクトは、マルチビュービデオに対応する仮想ビデオ空間シーンに位置して、第１ビューでマルチビュービデオにおけるキャラクターの感情表現を感じ、シナリオを深く体験することができる。第１オブジェクトは、さらに、仮想ビデオ空間シーンにおいてシーン制作を行うことができ、仮想現実機器は、第１オブジェクトがシーン制作を行うときのオブジェクトデータを取得し、これに続いて、オブジェクトデータと仮想ビデオ空間シーンとを融合し、制作ビデオを得ることができる。以上より分かるように、第１オブジェクトは、物理的制限を突破することができるため、時間や費用をかけてマルチビュービデオに対応する実空間シーンをアレンジする必要がなく、実空間シーンに対応する仮想ビデオ空間シーンにおいてマルチビュービデオに対する二次制作を行うことができ、マルチビュービデオの表示方式、及びインタラクション方式を豊富にすることができる。同時に、時間や費用をかけてマルチビュービデオに対応する実空間シーンをアレンジすることを回避し、制作コストを節約することができる。

【0046】

上記の図３の、仮想現実機器が音入れに対するシーン編集操作に応答するときに第１オブジェクトの音声データをオブジェクトデータとして取得してオブジェクトデータに応じて制作ビデオを得る過程をよりよく理解するために、図４を参照されたい。図４は、本願の実施例で提供される仮想現実に基づいて音入れを行うデータ処理方法のフローチャートである。該データ処理方法は、仮想現実機器によって実行されてもよい。理解を容易にするために、本願の実施例は、該方法が仮想現実機器によって実行されることを例にして説明する。該データ処理方法は、少なくとも以下のステップＳ２０１～ステップＳ２０３を含んでもよい。

【0047】

ステップＳ２０１：マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示する。

【0048】

ステップＳ２０１の実現については、上記の図３に対応した実施例におけるステップＳ１０１を参照することができる。

【0049】

いくつかの実施例において、シーン編集操作は、仮想表示インターフェースにおける音入れコントロールに対するトリガー操作を含み、ステップ１０２では、仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得することは、以下の技術的解決手段により実現されてもよい。マルチビュービデオを再生し、仮想表示インターフェースにおける音入れコントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンにおいて第１オブジェクトの音声データを取得して、第１オブジェクトの音声データを、マルチビュービデオに応用されるオブジェクトデータとして決定する。本願の実施例は、音入れコントロールをトリガーすることにより、第１オブジェクトの音声データを取得してオブジェクトデータとすることができ、それによって、オブジェクトデータを効率的に獲得し、マンマシンインタラクション効率を向上させることができる。

【0050】

第１オブジェクトの音声データは、オブジェクト音声データ、及び背景音声データの少なくとも１つを含む。仮想表示インターフェースにおける音入れコントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンにおいて第１オブジェクトの音声データを取得して、第１オブジェクトの音声データを、マルチビュービデオに応用されるオブジェクトデータとして決定する上記ステップは、以下のステップＳ２０２～ステップＳ２０４、及びステップ２０６により実現されてもよい。

【0051】

ステップＳ２０２：仮想表示インターフェースにおける音入れコントロールに対するトリガー操作に応答して、音入れモードリストを表示する。

【0052】

音入れモードリストは、オブジェクト音入れコントロールと、背景音入れコントロールと、を含む。

【0053】

仮想現実機器は、仮想表示インターフェースにおいて音入れコントロール、例えば上記の図２ａに表示された音入れコントロール２４１を独立して表示していてもよい。このとき、音入れに対するシーン編集操作は、音入れコントロール２４１に対するトリガー操作であってもよい。

【0054】

オブジェクト音入れコントロール、及び背景音入れコントロールは、２種類の音入れモードにそれぞれ対応する。オブジェクト音入れコントロールは、オブジェクト音入れモードに対応し、このとき、第１オブジェクトは、マルチビュービデオの少なくとも１人の音入れ可能なビデオオブジェクトに対して音入れを行うことができ、すなわち、第１オブジェクトの音声は、音入れ可能なビデオオブジェクトの原音を置換することができる。背景音入れコントロールは、背景音入れモードに対応し、第１オブジェクトは、マルチビュービデオ全体に対して音入れを行うことができる。すなわち、マルチビュービデオにおいて本来のキャラクターの音、及び背景音が同時に存在する状況において、仮想現実機器は、第１オブジェクトの追加的な音を録音し、録音して得られた第１オブジェクトの追加的な音をナレーション、及び効果音などとして用いることができる。

【0055】

図５ａに併せて参照されるように、図５ａは、本願の実施例で提供される音入れモードリストを表示するシーンの模式図である。上記の図２ａに示すシーンを前提とし、オブジェクトＡが仮想現実ハンドル２２により音入れコントロール２４１を選択するトリガー操作に応答して、仮想現実機器２１は、音入れコントロール２４１に対するトリガー操作に応答して、仮想表示インターフェース２３において音入れモードリスト５１を表示することができる。該音入れモードリスト５１は、オブジェクト音入れコントロール５１１、及び背景音入れコントロール５１２を含んでもよく、音入れモードリスト５１は、仮想ビデオ画面５００の上に独立して表示されてもよい。仮想ビデオ画面５００は、オブジェクトＡが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる。

【0056】

ステップＳ２０３：オブジェクト音入れコントロールに対する選択操作に応答して、音入れ可能なビデオオブジェクトを表示し、音入れ可能なビデオオブジェクトに対する選択操作に応答して、選択された音入れ可能なビデオオブジェクトを音入れ対象のオブジェクトとする。

【0057】

音入れ可能なビデオオブジェクトは、マルチビュービデオにおいて表示されるビデオオブジェクトに属する。

【0058】

仮想現実機器は、仮想表示インターフェースにおいて現在表示されているビデオオブジェクトのみを音入れ可能なビデオオブジェクトとしてもよく、マルチビュービデオにおいて表示されているすべてのビデオオブジェクトをいずれも音入れ可能なビデオオブジェクトとしてもよい。第１オブジェクトは、音入れ可能なビデオオブジェクトのうちから１人、又は複数人のビデオオブジェクトを選択し、音入れ対象のオブジェクトとして音入れを行うことができ、仮想現実機器は、音入れ対象のオブジェクトを強調表示してもよい。

【0059】

仮想現実機器が、仮想表示インターフェースにおいて現在表示されているビデオオブジェクトを音入れ可能なビデオオブジェクトとすることを例にして説明する。図５ｂに参照されるように、図５ｂは、本願の実施例で提供される音入れ可能なビデオオブジェクトを表示するシーンの模式図である。上記の図５ａに示すシーンを前提とし、仮想現実機器２１は、オブジェクトＡによるオブジェクト音入れコントロール５１１に対するトリガー操作に応答した後に、仮想表示インターフェース２３において現在表示されているビデオオブジェクトＢ、及びビデオオブジェクトＣを音入れ可能なビデオオブジェクトとし、そして音入れ可能なビデオオブジェクトを強調表示することができる。図５ｂに示すように、仮想現実機器２１は、仮想表示インターフェース２３において、破線ボックス５２１によりビデオオブジェクトＢを強調表示し、破線ボックス５２２によりビデオオブジェクトＣを強調表示するようにしてもよい。このとき、オブジェクトＡは、ビデオオブジェクトＢ、及びビデオオブジェクトＣが音入れ可能なビデオオブジェクトであることを知ることができ、続いて仮想現実ハンドル２２により音入れ対象のオブジェクトを決定する。

【0060】

ステップＳ２０４：マルチビュービデオを再生する過程において、音入れ対象のオブジェクトに基づいて第１オブジェクトのオブジェクト音声データを取得する。

【0061】

上記のステップＳ２０２～ステップＳ２０４により、オブジェクト音声データを柔軟に取得し、ユーザニーズに従ってオブジェクト音声データをオブジェクトデータとして決定することができることによって、音声次元でマンマシンインタラクション効率を向上させることができる。

【0062】

マルチビュービデオを再生する過程において、音入れ対象のオブジェクトに基づいて第１オブジェクトのオブジェクト音声データを取得する過程は、以下の通りであってもよい。仮想現実機器は、マルチビュービデオを再生する過程において、音入れ対象のオブジェクトに対応するビデオ音声データに対して消音処理を行う。音入れ対象のオブジェクトが発話状態にあるときに、仮想現実機器は、ビデオ音声データに対応するテキスト情報、及びサウンドトラック情報を表示し、そして第１オブジェクトのオブジェクト音声データを取得し、続いてオブジェクト音声データをオブジェクトデータとして決定する。テキスト情報、及びサウンドトラック情報は、音入れ対象のオブジェクトの原音に対応する台詞、及び音の強さを第１オブジェクトに通知することに用いることができる。発話状態とは、マルチビュービデオにおいて音入れ対象のオブジェクトが話すときに属する状態を指す。本願の実施例により、テキスト情報、及びサウンドトラック情報により、ユーザによる音入れを支援することができ、また音入れ対象のオブジェクトが発話状態にあるため、音声データが画面と一致することを確実にして、音入れの成功率を向上させることができる。それによって、オブジェクト音声データの繰り返し取得を回避して、リソースの利用率、及びマンマシンインタラクション効率を向上させることができる。

【0063】

図５ｃに併せて参照されるように、図５ｃは、本願の実施例で提供されるオブジェクト音入れのシーンの模式図である。上記の図５ｂに示すシーンを前提として、オブジェクトＡは、仮想現実ハンドル２２により音入れ可能なビデオオブジェクトを選択することができる。オブジェクトＡがビデオオブジェクトＣを音入れ対象のオブジェクトとして選択したと仮定すると、仮想現実機器は、マルチビュービデオを再生する過程において、破線ボックス５２２により音入れ対象のオブジェクト、つまり、ビデオオブジェクトＣを強調表示し続け、そして、ビデオオブジェクトＣに対応するビデオ音声データに対して消音処理を行うことができる。このように、ビデオオブジェクトＣが発話状態にあるときに、オブジェクトＡは、ビデオオブジェクトＣの原音が聞こえない。仮想現実機器２１は、ビデオオブジェクトＣが発話状態にあるときに、さらに、ビデオオブジェクトＣのビデオ音声データに対応する通知情報５３を表示してもよく、通知情報５３は、テキスト情報、及びサウンドトラック情報を含む。オブジェクトＡは、表示されている通知情報５３に応じて、このときにビデオオブジェクトＣに対して音入れを行うべきであることを知ることができる。仮想現実機器は、通知情報５３を表示するときに、オブジェクトＡに対して音声収集を行うことができ、オブジェクトＡのオブジェクト音声データを得ることができる。

【0064】

ステップＳ２０５：マルチビュービデオにおいて、オブジェクト音声データを利用して、マルチビュービデオにおける音入れ対象のオブジェクトに対応するビデオ音声データに対して置換処理を行い、制作ビデオを得る。

【0065】

仮想現実機器は、マルチビュービデオにおいて第１オブジェクトのオブジェクト音声データを用いて音入れ対象のオブジェクトのビデオ音声データを置換した後に、第１オブジェクトがマルチビュービデオに対して音入れを行った後の制作ビデオを得ることができ、制作ビデオにおいて、音入れ対象のビデオオブジェクトが発話状態にあるときに、第１オブジェクトのオブジェクト音声データに対応する音声を再生することができる。

【0066】

ステップＳ２０６：背景音入れコントロールに対する選択操作に応答して、マルチビュービデオを再生する過程において、第１オブジェクトの背景音声データを取得して、背景音声データをオブジェクトデータとして決定する。
上記のステップＳ２０６により、背景音声データを柔軟に取得して、ユーザニーズに従って背景音声データをオブジェクトデータとして決定することができる。それによって、音声次元でマンマシンインタラクション効率を向上させることができる。

【0067】

具体的には、上記の図５ａを例とすると、オブジェクトＡが背景音入れを行おうとするときに、オブジェクトＡは、背景音入れコントロール５１２をトリガーすることができる。その後、仮想現実機器２１は、マルチビュービデオを再生する過程において、オブジェクトＡの音声に対応する背景音声データを取得することができる。

【0068】

ステップＳ２０７：マルチビュービデオにおいて、背景音声データをマルチビュービデオに重ね合せて、制作ビデオを得る。

【0069】

仮想現実機器は、背景音声データに基づいて、オブジェクトＡの音声をマルチビュービデオに追加してもよく、それにより制作ビデオを得ることができる。

【0070】

本願の実施例で提供されるデータ処理方法を採用することで、第１オブジェクトは、マルチビュービデオに対応する仮想ビデオ空間シーンにおいてマルチビュービデオにおけるキャラクターに対して音入れを行う、又は背景音やナレーションを追加して制作ビデオを得ることができ、比較的少ないデータ処理リソースにより視聴者をビデオ内容に軽量化された方法で融合させ、マンマシンインタラクション効率を向上させ、且つビデオの表示方式、及びインタラクション方式を豊富にする。

【0071】

上記の図３の、仮想現実機器がパフォーマンスに対するシーン編集操作に応答して第１オブジェクトの姿勢データ、及びイメージデータをオブジェクトデータとして取得し、続いてオブジェクトデータに応じて制作ビデオを得る過程をよりよく理解するために、図６を参照されたい。図６は、本願の実施例で提供される仮想現実に基づいてパフォーマンスを行うデータ処理方法のフローチャートである。該データ処理方法は、仮想現実機器によって実行されてもよい。理解を容易にするために、本願の実施例は、該方法が仮想現実機器によって実行されることを例にして説明する。該データ処理方法は、少なくとも以下のステップＳ３０１～ステップＳ３０３を含んでもよい。

【0072】

ステップＳ３０１：マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示する。

【0073】

具体的には、ステップＳ３０１の実現は、上記の図３に対応した実施例におけるステップＳ１０１を参照することができる。

【0074】

いくつかの実施例において、シーン編集操作は、仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作を含み、ステップ１０２において、仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得することは、以下の技術的解決手段により実現されてもよい。マルチビュービデオを再生し、仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンにおいて第１オブジェクトの姿勢データ、及びイメージデータを取得し、姿勢データ、及びイメージデータを、マルチビュービデオに応用されるオブジェクトデータとして決定する。制作ビデオにおいて、第１オブジェクトに関連付けられたパフォーマンスオブジェクトが含まれ、制作ビデオにおけるパフォーマンスオブジェクトは、姿勢データ、及びイメージデータに基づいて表示されるものである。本願の実施例は、パフォーマンスコントロールをトリガーすることにより、第１オブジェクトの音声データを取得してオブジェクトデータとすることができることにより、オブジェクトデータを効率的に獲得し、マンマシンインタラクション効率を向上させることができる。

【0075】

仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンにおいて第１オブジェクトの姿勢データ、及びイメージデータを取得し、姿勢データ、及びイメージデータをオブジェクトデータとして決定する上記ステップは、以下のステップＳ３０２～ステップＳ３０４、及びステップ３０６により実現されてもよい。

【0076】

ステップＳ３０２：仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作に応答して、パフォーマンスモードリストを表示する。

【0077】

パフォーマンスモードリストは、キャラクター置換コントロール、及びキャラクターセットアップコントロールを含む。

【0078】

マルチビュービデオに表示されるシナリオに対しては、第１オブジェクトは、自分の制作アイディアに応じて、マルチビュービデオに対応する仮想ビデオ空間シーンにおいてパフォーマンスを行って自分がマルチビュービデオのシナリオに参加した後の制作ビデオを得ることができる。仮想現実機器は、仮想表示インターフェースにおいてパフォーマンスコントロール、例えば上記の図２ｂに表示されるパフォーマンスコントロール２４２を独立して表示してもよい。このとき、パフォーマンスに対するシーン編集操作は、仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作であってもよい。

【0079】

キャラクター置換コントロール、及びキャラクターセットアップコントロールは、２種類のパフォーマンスモードにそれぞれ対応する。キャラクター置換コントロールは、キャラクター置換モードに対応し、このとき、第１オブジェクトは、マルチビュービデオにおける任意のキャラクターに対応するビデオオブジェクトを選択して置換してキャラクターパフォーマンスを行うことができる。キャラクターセットアップコントロールは、キャラクター制作モードに対応し、このとき、第１オブジェクトは、マルチビュービデオのターゲット時刻に対応する仮想ビデオ空間シーンにおいて、１つのキャラクターを新しく追加してパフォーマンスを行うことができる。該キャラクターは、マルチビュービデオの他の時刻に対応する仮想ビデオ空間シーンにおいて出現したことがあるキャラクターであってもよく、第１オブジェクトがカスタムした全く新しいキャラクターであってもよい。

【0080】

図７ａに併せて参照されるように、図７ａは、本願の実施例で提供されるパフォーマンスモードリストを表示するシーンの模式図である。上記の図２ａに示すシーンを前提として、オブジェクトＡが仮想現実ハンドル２２によりパフォーマンスコントロール２４２を選択したと仮定すると、仮想現実機器２１は、パフォーマンスコントロール２４２に対するトリガー操作に応答して、仮想表示インターフェース２３においてパフォーマンスモードリスト７１を表示することができる。該パフォーマンスモードリスト７１は、キャラクター置換コントロール７１１、及びキャラクターセットアップコントロール７１２を含んでもよく、音入れモードリスト５１は、仮想ビデオ画面７００の上に独立して表示されてもよい。仮想ビデオ画面７００は、オブジェクトＡが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる。

【0081】

ステップＳ３０３：キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする。

【0082】

置換可能なビデオオブジェクトは、マルチビュービデオにおいて表示されるビデオオブジェクトに属する。

【0083】

キャラクター置換コントロールに対するトリガー操作に応答して、仮想現実機器が置換可能なビデオオブジェクトを表示し、置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする１つの実施可能な実施過程は、以下の通りであってもよい。キャラクター置換コントロールに対するトリガー操作に応答して、仮想現実機器は、オブジェクト仮想ビデオ画面において現在表示されているビデオオブジェクトを置換可能なビデオオブジェクトとして決定し、置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示する。ここで、第１表示方式は、置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、第１表示方式は、強調表示方式であってもよく、例えばマーキングされた置換可能なビデオオブジェクトにフィルタなどを追加し、そしてマーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする。オブジェクト仮想ビデオ画面は、現在のビューにおける仮想ビデオ空間シーンを表示することに用いられる。本願の実施例により、マーキングされた置換可能なビデオオブジェクトを強調表示することができ、それによって、ユーザのパフォーマンス過程において通知作用を果たし、マンマシンインタラクション効率を向上させる。

【0084】

図７ｂに併せて参照されるように、図７ｂは、本願の実施例で提供される置換可能なビデオオブジェクトを選択するシーンの模式図である。上記の図７ａに示すシーンを前提として、オブジェクトＡが仮想現実ハンドル２２によりキャラクター置換コントロール７１１をトリガーすると仮定すると、仮想現実機器２１は、仮想ビデオ画面７００（すなわち、上記のオブジェクト仮想ビデオ画面）において現在表示されているビデオオブジェクトを置換可能なビデオオブジェクトとすることができる。図７ｂに示すように、ビデオオブジェクトＢ、及びビデオオブジェクトＣは、置換可能なビデオオブジェクトとすることができる。仮想現実機器２１は、置換可能なビデオオブジェクトを強調表示することができ、例えば、仮想現実機器２１は、仮想表示インターフェース２３において破線ボックス７２１によりビデオオブジェクトＢを強調表示し、破線ボックス７２２によりビデオオブジェクトＣを強調表示するようにしてもよい。このとき、オブジェクトＡは、ビデオオブジェクトＢ、及びビデオオブジェクトＣが置換可能なビデオオブジェクトであることを知ることができる。オブジェクトＡは、仮想現実ハンドル２２により置換可能なビデオオブジェクトをマーキングすることができる。オブジェクトＡがビデオオブジェクトＣをマーキングしたと仮定すると、仮想現実機器２１は、マーキングされたビデオオブジェクトＣを新しく強調表示することができる。例えば、実線ボックス７２３により破線ボックス７２２を置換してビデオオブジェクトＣを強調表示し、続いて仮想現実機器２１は、ビデオオブジェクトＣをキャラクター置換オブジェクトとすることができる。その後、仮想現実機器２１は、強調表示を停止し、続いて仮想表示インターフェース２３においてビデオオブジェクトＣの表示を解除することができる。図７ｂに示すうように、仮想現実機器２１は、ビデオオブジェクトＣを含む仮想ビデオ画面７００を、ビデオオブジェクトＣを含まない仮想ビデオ画面７０１に切り替えて表示することができる。

【0085】

キャラクター置換コントロールに対するトリガー操作に応答して、仮想現実機器が置換可能なビデオオブジェクトを表示し、置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする１つの実施可能な実施過程は、以下の通りであってもよい。キャラクター置換コントロールに対するトリガー操作に応答して、仮想現実機器は、マルチビュービデオに対応する少なくとも１つのビデオクリップを表示し、少なくとも１つのビデオクリップに対する選択操作に応答して、選択されたビデオクリップに含まれるビデオオブジェクトを表示し、選択されたビデオクリップに含まれるビデオオブジェクトを置換可能なビデオオブジェクトとして決定し、置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示する。ここで、第１表示方式は、置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、第１表示方式は、強調表示方式であってもよい。例えばマーキングされた置換可能なビデオオブジェクトにフィルタなどを追加し、そしてマーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする。本願の実施例により、マーキングされた置換可能なビデオオブジェクトを強調表示することができ、それによって、ユーザのパフォーマンス過程において通知作用を果たし、マンマシンインタラクション効率を向上させることができる。

【0086】

図７ｃに併せて参照されるように、図７ｃは、本願の実施例で提供される置換可能なビデオオブジェクトを選択する別のシーンの模式図である。上記の図７ａに示すシーンを前提として、オブジェクトＡが仮想現実ハンドル２２によりキャラクター置換コントロール７１１をトリガーすると仮定すると、仮想現実機器は、マルチビュービデオに対応する少なくとも１つのビデオクリップを表示してもよい。図７ｃに示すように、仮想現実機器２１は、キャラクター置換コントロール７１１に対するトリガー操作に応答した後に、ビデオクリップ７３１、ビデオクリップ７３２、及びビデオクリップ７３３を表示しており、ビデオクリップ７３１、ビデオクリップ７３２、及びビデオクリップ７３３は、いずれもマルチビュービデオに属する。ビデオクリップ７３１においてビデオオブジェクトＢ、及びビデオオブジェクトＣが含まれており、ビデオクリップ７３２においてビデオオブジェクトＤが含まれており、ビデオクリップ７３３においてビデオオブジェクトＥが含まれている。仮想現実機器２１は、黒枠により、選択されたビデオクリップを強調表示してもよい。図７ｃから分かるように、オブジェクトＡは、ビデオクリップ７３１、及びビデオクリップ７３２を選択する。オブジェクトＡによる選択が終わった後に、仮想現実機器２１は、ビデオオブジェクトＢ、ビデオオブジェクトＣ、及びビデオオブジェクトＤを置換可能なビデオオブジェクトとし、続いて置換可能なビデオオブジェクトを表示することができる。オブジェクトＡは、置換可能なビデオオブジェクトから少なくとも１つの置換可能なビデオオブジェクトをキャラクター置換オブジェクトとして選択してもよい。図７ｃに示すように、オブジェクトＡは、仮想現実ハンドル２２により置換可能なビデオオブジェクトをマーキングしてもよい。オブジェクトＡがビデオオブジェクトＢをマーキングしたと仮定すると、仮想現実機器２１は、マーキングされたビデオオブジェクトＢを強調表示することができ、例えば、実線ボックス７２４によりビデオオブジェクトＢを囲むことができる。オブジェクトＡがマーキングの終了を確認すると、仮想現実機器２１は、ビデオオブジェクトＢをキャラクター置換オブジェクトとすることができる。その後、仮想現実機器２１は、強調表示を停止し、続いて仮想表示インターフェース２３においてビデオオブジェクトＢの表示を解除することができる。図７ｃに示すように、仮想現実機器２１は、仮想ビデオ画面７００を、ビデオオブジェクトＢを含まない仮想ビデオ画面７０２に切り替えて表示することができる。

【0087】

ステップＳ３０４：マルチビュービデオを再生する過程において、キャラクター置換オブジェクトに基づいて第１オブジェクトの姿勢データ、及びイメージデータを取得し、姿勢データ、及びイメージデータをオブジェクトデータとして決定する。

【0088】

第１オブジェクトがキャラクター置換オブジェクトを決定した後に、仮想現実機器は、キャラクター置換オブジェクトの表示を解除することができる。したがって、第１オブジェクトが感知した仮想ビデオ空間シーンにおいて、キャラクター置換オブジェクトが出現することはないが、他の空間シーン、すなわち、他のビデオオブジェクト、道具、及び背景などが依然として存在する。以上より分かるように、もし第１オブジェクトがキャラクター置換オブジェクトに対応するキャラクターのパフォーマンスを行おうとするならば、マルチビュービデオに対応する実空間シーンを本格的にアレンジする必要がなく、第１オブジェクトは、感知した仮想ビデオ空間シーンにおいてパフォーマンスを行うことができ、仮想現実機器は、第１オブジェクトのポーズデータ、及びイメージデータをキャプチャすることができる。

【0089】

図７ｄに併せて参照されるように、図７ｄは、本願の実施例で提供される仮想現実に基づくオブジェクトパフォーマンスのシーンの模式図である。上記の図７ｂに示すシーンを前提とし、仮想現実機器２１は、仮想表示インターフェースにおいてビデオオブジェクトＣを含まない仮想ビデオ画面７０１を表示している。この時刻にオブジェクトＡが感知した仮想ビデオ空間シーンは、図７ｄに示されており、オブジェクトＡは、自分が仮想ビデオ空間シーン７０００に位置すると思うことができる。以上より分かるように、オブジェクトＡの認知において仮想ビデオ空間シーン７０００は、１つの３次元立体の空間シーンであるが、オブジェクトＡは、このとき仮想ビデオ画面７０１に対応するビューにおける仮想ビデオ空間シーン７０００のみを見ることができる。ビデオオブジェクトＢを例とすると、仮想ビデオ画面７０１において、ビデオオブジェクトＢの正面のみが表示されており、オブジェクトＡもビデオオブジェクトＢの正面のみを見ることができ、オブジェクトＡは、ビデオオブジェクトＢが自分の前方に立ち、かつ自分の方を向いていると思うことができる。オブジェクトＡが歩くときに、仮想現実機器２１は、常にオブジェクトＡが位置するビューにおける仮想ビデオ画面を取得することができ、そして仮想表示インターフェースに表示されるため、オブジェクトＡは常に位置するビューにおける仮想ビデオ空間シーン７０００を見ることができる。したがって、オブジェクトＡの感知において、自分は、仮想ビデオ空間シーン７０００において意のままに歩くことができ、勿論、仮想ビデオ空間シーン７０００において相応なパフォーマンスを行うこともできる。オブジェクトＡがパフォーマンスするときに、オブジェクトＡの姿勢データ、及びイメージデータは、いずれも仮想現実機器２１に取得される。

【0090】

第１オブジェクトの姿勢データ、及びイメージデータを取得する過程において、仮想現実機器は、仮想表示インターフェースにおいてキャラクター置換オブジェクトに対する置換透明度入力コントロールを表示することができる。続いて、仮想現実機器は、透明度入力コントロールに対する入力操作に応答して、入力されたキャラクター置換オブジェクトに対する透明度情報を取得し、透明度情報に従って仮想表示インターフェースにおいてキャラクター置換オブジェクトに対して透明度の更新表示を行い、且つ透明度更新後のキャラクター置換オブジェクトの仮想ビデオ空間シーンにおける位置カーソルを表示することができる。

【0091】

上記の図７ｄに示す仮想ビデオ空間シーン７０００において、オブジェクトＡは、ビデオオブジェクトＣを見ることができない。オブジェクトＡは、自由に発揮することができるが、もしオブジェクトＡがビデオオブジェクトＣの動作形態を模倣することを望むならば、オブジェクトＡは、置換透明度入力コントロール７４１により、キャラクター置換オブジェクトに対する透明度情報、例えば、６０％透明度を入力することができる。このとき、仮想現実機器２１は、仮想表示インターフェース２３において、６０％透明度でビデオオブジェクトＣを改めて表示し、そして仮想表示インターフェースにおいて位置カーソルを表示することができる。該位置カーソルは、ビデオオブジェクトＣの仮想ビデオ空間シーン７０００における位置をオブジェクトＡに通知することに用いられる。理解を容易にするために、図７ｅに併せて参照されるように、図７ｅは、本願の実施例で提供される仮想現実に基づくオブジェクトの透明表示のシーンの模式図である。図７ｅに示すように、仮想現実機器２１は、置換透明度入力コントロール７４１に対する入力操作に応答して透明度情報を取得した後に、仮想表示インターフェース２３において、ビデオオブジェクトＣを含まない仮想ビデオ画面７０１を、透明度が６０％のビデオオブジェクトＣを含む仮想ビデオ画面７０３に切り替えて表示することができ、かつ仮想ビデオ画面７０３において、位置カーソル７４が表示されている。このとき、オブジェクトＡは、感知した仮想ビデオ空間シーン７０００において、前方に透明度が６０％のビデオオブジェクトＣが出現することを見ることができ、透明度が６０％のビデオオブジェクトＣの足元には位置カーソル７４２が表示されている。オブジェクトＡは、位置カーソル７４２により、ビデオオブジェクトＣに対応するキャラクター乙の仮想ビデオ空間シーン７０００における立ち位置を決定することができる。同時に、オブジェクトＡは、透明度が６０％のビデオオブジェクトＣに応じて、ビデオオブジェクトＣの肢体形体、動作、及びパフォーマンスリズムなどを学習してキャラクター乙のパフォーマンスを行うことができる。説明する必要がある点として、透明度が６０％のビデオオブジェクトＣは、制作ビデオにおいて出現することができない。

【0092】

上記のステップＳ３０２～ステップＳ３０４により、キャラクター置換オブジェクトに応用される姿勢データ、及びイメージデータを柔軟に取得することができ、それによって、画像次元でマンマシンインタラクション効率を向上させることができる。

【0093】

ステップＳ３０５：パフォーマンスビュービデオにおけるキャラクター置換オブジェクトに対して表示解除を行い、パフォーマンスオブジェクトデータに合致するパフォーマンスオブジェクトをパフォーマンスビュービデオに融合させ、制作ビデオを得る。

【0094】

パフォーマンスビュービデオは、パフォーマンスコントロールをトリガーした後のマルチビュービデオを再生する過程において、パフォーマンスビューにより仮想ビデオ空間シーンを撮影して得られたものであり、パフォーマンスオブジェクトデータとは、オブジェクトデータがパフォーマンスビューにおいて表示するデータを指す。

【0095】

制作ビデオにおいて、第１オブジェクトには関連付けられたパフォーマンスオブジェクトが含まれ、制作ビデオにおけるパフォーマンスオブジェクトは、オブジェクトデータにおける姿勢データ、及びイメージデータに基づいて表示されるものである。

【0096】

仮想現実機器によりマルチビュービデオを再生するときに、異なるビューによりマルチビュービデオに対応する仮想ビデオ空間シーンを視聴することができ、かつ第１オブジェクトは、自分の好みに応じて、仮想ビデオ空間シーンにおいて意のままに歩いて仮想ビデオ空間シーンの視聴ビューを調整することができる。しかし、単一ビュービデオ再生機能のみを有する端末機器（例えば、携帯電話、タブレット、及びコンピュータなど）にとって、あるビデオを再生するときに、いずれかの時刻に、対応する実空間シーンのあるビューにおけるビデオ画面のみを表示することができる。したがって、端末機器によりマルチビュービデオを再生するときには、端末機器も、ターゲットマルチビューに対応する実空間シーンのメインレンズビューにおけるビデオ画面のみを表示することができる。メインレンズビューは、ディレクタビュー、すなわち、ディレクタの本来の映画フォーカスレンズとも呼ばれてもよい。第１オブジェクトが仮想ビデオ空間シーンにおいてマルチビュービデオに対するシーン制作を行うときに、制作ビデオが端末機器で再生されるときの単一ビュー、すなわち、パフォーマンスビューを設定することもできる。第１オブジェクトがパフォーマンスコントロールをトリガーした後にマルチビュービデオを再生していないときには、仮想現実機器は、仮想表示インターフェースに仮想カメラコントロールを表示することができる。仮想現実機器は、第１オブジェクトによる仮想カメラコントロールに対するセットアップ操作に応答して、仮想ビデオ空間シーンのパフォーマンスビューにおいて仮想カメラをセットアップすることができる。仮想カメラは、仮想ビデオ空間シーンのパフォーマンスビューにおける対応するビデオ画面を出力することに用いることができる。パフォーマンスコントロールをトリガーした後のマルチビュービデオを再生する過程において、仮想現実機器は、仮想カメラにより仮想ビデオ空間シーンに対して撮影録画を行うことができ、仮想ビデオ空間シーンのパフォーマンスビューにおける対応するパフォーマンスビュービデオを得ることができる。続いて、仮想現実機器は、パフォーマンスビュービデオにおいてキャラクター置換オブジェクトの表示を解除することができる。同時に、仮想現実機器は、オブジェクトデータがパフォーマンスビューにおいて表示するデータ、すなわち、パフォーマンスオブジェクトデータを取得することができる。パフォーマンスデータは、パフォーマンスビューにおいて第１オブジェクトに関連付けられたパフォーマンスオブジェクトを表示することに用いられる。マルチビュービデオを再生する過程において、仮想カメラは、移動可能なものであり、すなわち、パフォーマンスビューは、変化可能なものであり、すなわち、時刻Ａの仮想カメラが出力するビデオ画面に対応するパフォーマンスビューは、Ｂ時刻の仮想カメラが出力するビデオ画面に対応するパフォーマンスビューと異なってもよい。仮想現実機器は、仮想ビデオ空間シーンに少なくとも１つの仮想カメラをセットアップすることができ、各仮想カメラの同一時刻における対応するパフォーマンスビューは、異なってもよい。各仮想カメラは、いずれも１つのパフォーマンスビュービデオを撮影録画して得ることができ、換言すれば、仮想現実機器は、同時に少なくとも１つのパフォーマンスビュービデオを得ることができる。各パフォーマンスビュービデオに対応するパフォーマンスビューは、異なってもよい。仮想現実機器が仮想カメラにより仮想ビデオ空間シーンに対して撮影を行うシーンは、その後の図１１ｃに示すシーンの模式図を参照することができる。

【0097】

仮想カメラの仮想ビデオ空間シーンにおける位置は、パフォーマンスビューを决定し、仮想カメラの位置の選択方法は、レンズ追従、現場撮影、及び自由移動を含んでもよい。ここで、レンズ追従とは、仮想カメラのビューがディレクタの本来の映画フォーカスレンズビューに追従するようになることを指し、したがって、仮想カメラの仮想ビデオ空間シーンにおける位置は、ディレクタレンズの実空間シーンにおける位置に追従するようになる。現場撮影とは、マルチビュービデオを再生する過程において、仮想カメラが仮想ビデオ空間シーンにおける固定位置で撮影録画を行うことができ、かつ仮想カメラの位置が変わることはないことを指し、該固定位置は、第１オブジェクトによって選択されてもよい。自由移動とは、マルチビュービデオを再生する過程において、第１オブジェクトがいつでも仮想カメラの位置を調整し、それによって撮影ビューを変えることができることを指す。

【0098】

ステップＳ３０６：キャラクターセットアップコントロールに対するトリガー操作に応答して、マルチビュービデオを再生する過程において、第１オブジェクトの姿勢データ、及びイメージデータを取得し、姿勢データ、及びイメージデータをオブジェクトデータとして決定する。

【0099】

仮想現実機器は、キャラクターセットアップコントロールに応答した後に、マルチビュービデオに対応する仮想ビデオ空間シーンにおけるビデオオブジェクトに対して他の処理を行う必要がなく、マルチビュービデオを再生する過程において、第１オブジェクトのポーズデータ、及びイメージデータを直接取得してオブジェクトデータとすればよい。

【0100】

ステップＳ３０７：パフォーマンスオブジェクトデータに合致するパフォーマンスオブジェクトをパフォーマンスビュービデオに融合させ、制作ビデオを得る。

【0101】

パフォーマンスビュービデオは、すなわち、上記のステップＳ３０５における仮想カメラにより仮想ビデオ空間シーンを撮影して得られたビデオである。仮想現実機器は、パフォーマンスビュービデオにおける他のビデオオブジェクトを処理する必要がなく、パフォーマンスオブジェクトデータを有するパフォーマンスオブジェクトをパフォーマンスビュービデオに融合させればよい。

【0102】

一例として、第１オブジェクトの姿勢データ、及びイメージデータを取得する過程において、仮想現実機器は、仮想表示インターフェースにおいて鏡像プレビューコントロールを表示することができる。仮想現実機器は、鏡像プレビューコントロールに対するトリガー操作に応答して、仮想表示インターフェースにおけるパフォーマンスプレビュー領域においてパフォーマンス仮想ビデオ画面を表示することができる。パフォーマンス仮想ビデオ画面は、仮想ビデオ空間シーンに融合されたパフォーマンスオブジェクトを含む。本願の実施例により、第１オブジェクトは、パフォーマンス仮想ビデオ画面を視聴することにより自分のパフォーマンスを調整することができ、第１オブジェクトがパフォーマンスのミスで複数回変更することを回避して、マンマシンインタラクション効率を向上させる。

【0103】

図７ｆに併せて参照されるように、図７ｆは、本願の実施例で提供される仮想現実に基づく鏡像プレビューのシーンの模式図である。上記の図７ｄに示す仮想現実に基づくシーンを前提として、オブジェクトＡは、ビデオオブジェクトＣを含まない仮想ビデオ空間シーン７０００において、ビデオオブジェクトＣに対応するキャラクターを演じてパフォーマンスを行うことができる。オブジェクトＡが以前のビデオオブジェクトＣの仮想ビデオ空間シーン７０００における位置、すなわちビデオオブジェクトＢの傍に歩くと仮定すると、オブジェクトＡが位置するビューにおける仮想ビデオ空間シーン７０００は、仮想表示インターフェースにおいて表示されている仮想ビデオ画面７０４により表示される。図７ｆに示すように、このとき、オブジェクトＡは、前方に向かい、ビデオオブジェクトＢを見ることができない。オブジェクトＡは、自分の仮想ビデオ空間シーン２０００におけるパフォーマンスを見ることもできず、生成された制作ビデオが自分の期待した効果を達成することができるか否かが分からない。したがって、オブジェクトＡの姿勢データ、及びイメージデータを取得する過程において、仮想現実機器２１は、仮想表示インターフェース２３において鏡像プレビューコントロール７５を表示していてもよく、オブジェクトＡが仮想現実ハンドル２２により鏡像プレビューコントロール７５をトリガーするときに、仮想現実機器２１は、仮想表示インターフェース２３におけるパフォーマンスプレビュー領域７６においてパフォーマンス仮想ビデオ画面７０５を表示することができる。ここで、パフォーマンス仮想ビデオ画面７０５は、ビデオオブジェクトＣを含まない仮想ビデオ空間シーン７０００、及びオブジェクトＡの、オブジェクトＡが位置するビューにおける鏡像画面であり、パフォーマンスオブジェクトＡは、オブジェクトＡのポーズデータ、及びイメージデータに基づいて生成されたものである。一例として、仮想現実機器は、さらに、対比領域７７においてパフォーマンス仮想ビデオ画面７０６を表示してもよく、パフォーマンス仮想ビデオ画面７０６は、ビデオオブジェクトＣを含む仮想ビデオ空間シーン７０００のオブジェクトＡが位置するビューにおける鏡像画面である。オブジェクトＡは、パフォーマンス仮想ビデオ画面７０５、及びパフォーマンス仮想ビデオ画面７０６を視聴することにより自分のパフォーマンスを調整することができる。

【0104】

一例として、仮想現実機器は、仮想表示インターフェースにおいてイメージカスタマイズリストを表示し、イメージカスタマイズリストに対する構成操作の完了に応答して、構成されたイメージデータに応じてイメージデータを更新し、構成イメージデータを得るようにしてもよい。構成イメージデータは、服飾データ、体型データ、声データ、及び容貌データを含む。続いて、仮想現実機器は、制作ビデオにおいてパフォーマンス動作、及びパフォーマンスイメージによりパフォーマンスオブジェクトを表示してもよい。ここで、パフォーマンス動作は、第１オブジェクトの姿勢データに基づいて決定され、パフォーマンスイメージは、服飾データ、体型データ、声データ、及び容貌データのうちの少なくとも１つに基づいて決定される。本願の実施例により、第１オブジェクトがマルチビュービデオにおけるターゲットパフォーマンスキャラクターに対応するパフォーマンスオブジェクトに対してイメージをカスタマイズすることを実現できることにより、パフォーマンスオブジェクトのシミュレーションの度合を向上させ、制作の成功率を効率的に向上させることができ、それによってマンマシンインタラクション効率を向上させる。

【0105】

服飾データは、パフォーマンスオブジェクトの身なりを表示することに用いられ、例えば、服飾データに応じて表示されたパフォーマンスオブジェクトは、半袖、シャツ、ズボン、又はワンピースなどを着ることができる。体型データは、パフォーマンスオブジェクトの体型を表示することに用いられ、例えば、体型データに応じて表示されたパフォーマンスオブジェクトは、頭が大きくて体が小さい、頭が小さくて体が大きい、背が高くて痩せている、背が低くて太っているなどとしてもよい。声データは、パフォーマンスオブジェクトの声を表示することに用いられ、例えば、声データに応じて表示されたパフォーマンスオブジェクトは、子供の声、及び若者の声などであってもよい。容貌データは、パフォーマンスオブジェクトの容貌を表示することに用いられる。第１オブジェクトは、自分に関連付けられたパフォーマンスオブジェクトの制作ビデオにおけるパフォーマンスイメージをカスタム化することができる。

【0106】

イメージカスタマイズリストは、第１イメージカスタマイズリストと、第２イメージカスタマイズリストと、を含む。第１イメージカスタマイズリストにおいて、キャラクターイメージ、オブジェクトイメージ、及びカスタムイメージが含まれてもよい。キャラクターイメージは、すなわちキャラクターに対応するビデオオブジェクトのイメージであり、オブジェクトイメージは、すなわち第１オブジェクトのイメージであり、カスタムイメージは、すなわち仮想現実機器が提供するいくつかの汎用イメージである。第２イメージカスタマイズリストにおいて、オブジェクトイメージ、及びカスタムイメージが含まれてもよい。第１オブジェクトがマルチビュービデオにおいて出現したターゲットパフォーマンスキャラクターとしてパフォーマンスを行うときに、第１オブジェクトは、第１イメージカスタマイズリストに応じて、該ターゲットパフォーマンスキャラクターに対応するビデオオブジェクトのイメージを完全に、又は部分的に置換したものを選択して、パフォーマンスオブジェクトのパフォーマンスイメージとすることができ、例えば身なり、体型、容貌、及び声がある。ここで、ターゲットパフォーマンスキャラクターは、第１オブジェクトがマルチビュービデオのターゲット再生時刻に対応する仮想ビデオ空間シーンにおいてパフォーマンスするときに、第１オブジェクトが置換しようとするマルチビュービデオにおけるターゲット再生時刻に登場したキャラクター、又は第１オブジェクトがセットアップしようとするマルチビュービデオにおけるターゲット再生時刻に登場していないキャラクターであってもよい。第１オブジェクトが新しく追加されたキャラクター、すなわち、マルチビュービデオにおいて出現したことがないキャラクターとしてパフォーマンスを行うときに、第１オブジェクトは、イメージカスタマイズリストにより、新しく追加されたキャラクターに対応するパフォーマンスオブジェクトの身なり、体型、容貌、及び声をカスタマイズすることもできるが、キャラクターイメージの選択肢はない。

【0107】

第１オブジェクトがマルチビュービデオにおけるターゲットパフォーマンスキャラクターに対応するパフォーマンスオブジェクトに対してイメージをカスタマイズする過程の理解を容易にするために、ターゲットパフォーマンスキャラクターがキャラクター乙であることを例にして説明する。図７ｇに併せて参照されるように、図７ｇは、本願の実施例で提供される第１イメージカスタマイズリストの模式図である。上記の図７ｂに示す置換可能なビデオオブジェクトを選択するシーンにおいて、仮想現実機器２１は、キャラクター乙に対応するビデオオブジェクトＣがキャラクター置換オブジェクトであると決定した後であって、かつ仮想現実機器２１がビデオオブジェクトＣを含む仮想ビデオ画面７００をビデオオブジェクトＣを含まない仮想ビデオ画面７０１に切り替えて表示する前に、仮想現実機器２１は、まず、仮想ビデオ画面７００を、キャラクター乙に対するイメージカスタマイズインターフェース７０７に切り替えて表示することができる。図７ｇに示すように、イメージカスタマイズインターフェース７０７において、第１イメージカスタマイズリスト７８、及びイメージプレビュー領域７９が含まれている。ここで、イメージプレビュー領域７９にプレビューパフォーマンスオブジェクト７１０が表示されており、プレビューパフォーマンスオブジェクト７１０の初期イメージは、ビデオオブジェクトＣのイメージと一致してもよく、オブジェクトＡのイメージと一致してもよい。その後、オブジェクトＡは、第１イメージカスタマイズリスト７８に基づいてプレビューパフォーマンスオブジェクト７１０のイメージを調整することができる。オブジェクトＡが第１イメージカスタマイズリスト７８に対する構成操作を完了するときに、該プレビューパフォーマンスオブジェクト７１０のイメージは、制作ビデオにおけるキャラクター乙に対応するパフォーマンスオブジェクトのパフォーマンスイメージとされる。図７ｇに示すように、第１イメージカスタマイズリスト７８は、身なりコントロール７８１、体型コントロール７８２、容貌コントロール７８３、及び声コントロール７８４を含む。オブジェクトＡは、仮想現実ハンドル２２により、身なりコントロール７８１をトリガーした後に、オブジェクトＡは、「キャラクター服装」を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の服装は、キャラクター乙に対応するビデオオブジェクトＣの服装として表示され、オブジェクトＡは、「実際の人間の服装」を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の服装は、オブジェクトＡ本人の着装として表示される。オブジェクトＡは、さらに、「カスタム」を選択し、予め設定された各種の服装を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の服装は、オブジェクトＡが選択した予め設定された服装として表示される。オブジェクトＡは、自由に組み合わせてもよく、すなわち、一部の服装が「キャラクター服装」を選択し、一部の服装が「実際の人間の服装」を選択し、一部の服装が「カスタム」を選択してもよい。オブジェクトＡは、仮想現実ハンドル２２により身なりコントロール７８２をトリガーした後に、オブジェクトＡは、「キャラクター体型」を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の体型は、ビデオオブジェクトＣの体型として表示され、オブジェクトＡは、「実際の人間の体型」を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の体型は、オブジェクトＡ本人の体型として表示される。オブジェクトＡは、さらに、「カスタム」を選択し、予め設定された各種の体型を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の体型は、オブジェクトＡが選択した予め設定された体型として表示される。オブジェクトＡは、選択した体型に対して、局所的、又は全体的な変形、及び身長の調整を行うことができ、仮想現実機器２１は、さらに、キャラクター乙に適した推薦体型を与えてもよい。オブジェクトＡは、仮想現実ハンドル２２により容貌コントロール７８３をトリガーした後に、オブジェクトＡは、「キャラクター容貌」を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の容貌は、ビデオオブジェクトＣの顔特徴として表示される。オブジェクトＡは、「実際の人間の容貌」を選択してもよく、このとき、プレビューパフォーマンスオブジェクト７１０の容貌は、オブジェクトＡ本人の顔特徴を維持するように表示される。オブジェクトＡは、さらに、「カスタム」を選択し、予め設定された各種の「顔の形、目、鼻、口、及び耳など」の特徴を選択して組み合わせてもよい。このとき、プレビューパフォーマンスオブジェクト７１０の容貌は、オブジェクトＡが選択した組み合わせ顔特徴として表示される。「実際の人間の容貌」、及び「カスタム」として選択された容貌に対して、オブジェクトＡは、さらに局所的な変形、色、光沢、及び化粧などの調整を行うことができる。オブジェクトＡは、仮想現実ハンドル２２により声コントロール７８４をトリガーした後に、オブジェクトＡは、「キャラクター声」を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の声の特徴は、ビデオオブジェクトＣの声の特徴と同じであり、オブジェクトＡは、「実際の人間の声」を選択してもよい。このとき、プレビューパフォーマンスオブジェクト７１０の声の特徴は、オブジェクトＡ本人の声の特徴と同じである。オブジェクトＡは、さらに、「音声変換」を選択し、予め設定された各種の音声変換タイプを選択して音声変換を行ってもよく、プレビューパフォーマンスオブジェクト７１０の声の特徴は、選択された声の特徴に変わる。

【0108】

第１オブジェクトがマルチビュービデオにおける新しく追加されたキャラクターに対応するパフォーマンスオブジェクトに対してイメージをカスタマイズする過程の理解を容易にするために、新しく追加されたキャラクターが丁であることを例にして説明する。図７ｈに併せて参照されるように、図７ｈは、本願の実施例で提供される第２イメージカスタマイズリストの模式図である。上記の図７ａに示すシーンを前提として、オブジェクトＡは、マルチビュービデオにおいてキャラクター丁を新しく追加しようとしている。仮想現実機器２１が、オブジェクトＡによるキャラクターセットアップコントロール７１２に対するトリガー操作に応答した後に、図７ｈに示すように、仮想現実機器２１は、仮想表示インターフェースにおいてキャラクター丁に対するイメージカスタマイズインターフェース７０８を表示することができる。図７ｇに示すように、イメージカスタマイズインターフェース７０８において、第２イメージカスタマイズリスト７１１、及びイメージプレビュー領域７１２が含まれている。ここで、イメージプレビュー領域７１２にプレビューパフォーマンスオブジェクト７１３が表示されており、プレビューパフォーマンスオブジェクト７１３の初期イメージは、オブジェクトＡのイメージと一致してもよい。その後、オブジェクトＡは、第２イメージカスタマイズリスト７１１に基づいてプレビューパフォーマンスオブジェクト７１３のイメージを調整することができる。図７ｈに示すように、第２イメージカスタマイズリスト７１１は、身なりコントロール７１１１、体型コントロール７１１２、容貌コントロール７１１３、及び声コントロール７１１４を含む。第２イメージカスタマイズリスト７１１と第１イメージカスタマイズリスト７８との相違点は、各コントロールに対応する選択肢において、キャラクターイメージに関する選択肢を含まないことであり、残りの選択肢の構成は、第１イメージカスタマイズリスト７８と同じであり、ここでは再度詳細に説明しない。

【0109】

一例として、仮想現実機器は、仮想表示インターフェースにおいてショッピングコントロールを表示し、ショッピングコントロールに対するトリガー操作に応答して、第２表示方式に従って購入可能な仮想物品を表示するようにしてもよい。ここで、第２表示方式は、ショッピングコントロールをトリガーする前の購入可能な仮想物品の表示方式とは異なっている。購入可能な仮想物品は、仮想ビデオ空間シーンにおいて表示されている物品に属する。続いて、仮想現実機器は、購入可能な仮想物品に対する選択操作に応答して、選択された購入可能な仮想物品を購入物品とし、仮想表示インターフェースにおいて購入物品に対応する購入情報を表示することができる。本願の実施例により、購入可能な仮想物品を強調表示することができ、それによって、購入過程において通知作用を果たし、マンマシンインタラクション効率を向上させる。

【0110】

図７ｉに併せて参照されるように、図７ｉは、本願の実施例で提供される購入可能な仮想物品を表示するシーンの模式図である。図７ｉに示すように、上記の図２ａに示すシーンを前提として、仮想現実機器２１は、さらに、仮想表示インターフェース２３においてショッピングコントロール７１４を独立して表示してもよい。オブジェクトＡが仮想現実ハンドル２２によりショッピングコントロール７１４をトリガーするときに、仮想現実機器２１は、購入可能な仮想物品を強調表示することができ（例えば、破線ボックスを使用してそれを囲む）、図７ｉに示すように、購入可能な仮想物品は、仮想帽子７１５などを含む。オブジェクトＡは、理解しようとする購入可能な仮想物品を選択することができる。オブジェクトＡが仮想帽子７１５を選択したと仮定すると、仮想現実機器２１は、購入情報７１６を表示し、仮想帽子７１５に対応する本物の帽子の価格、及び購入方式などをオブジェクトＡに知らせることができる。

【0111】

本願の実施例で提供される方法を採用して、第１オブジェクトは、マルチビュービデオに対応する仮想ビデオ空間シーンにおいてマルチビュービデオにおけるキャラクターを演じて、又は新しいキャラクターを追加して、制作ビデオを得ることができ、マルチビュービデオの表示方式を豊富にすることができる。

【0112】

上記の図３に記載の、仮想現実機器がオブジェクト招待に対するシーン編集操作に応答するときに、仮想現実機器が第１オブジェクトの仮想ビデオ空間シーンにおけるオブジェクトデータを取得し、そして第２オブジェクトのオブジェクトデータを取得し、その後第１オブジェクトのオブジェクトデータ、及び第２オブジェクトのオブジェクトデータに応じて制作ビデオを得る過程をよりよく理解するために、図８を参照されたい。図８は、本願の実施例で提供される仮想現実に基づいてマルチオブジェクトビデオ制作を行うデータ処理方法のフローチャートである。該データ処理方法は、仮想現実機器によって実行されてもよい。理解を容易にするために、本願の実施例は、該方法が仮想現実機器によって実行されることを例にして説明する。該データ処理方法は、少なくとも以下のステップＳ４０１～ステップＳ４０３を含んでもよい。

【0113】

ステップＳ４０１：マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示する。

【0114】

ステップＳ４０１の実現は、上記の図３に対応した実施例におけるステップＳ１０１を参照することができる。

【0115】

ステップＳ４０２：仮想表示インターフェースにおいてオブジェクト招待コントロールを表示し、オブジェクト招待コントロールに対するトリガー操作に応答して、オブジェクトリストを表示し、オブジェクトリストに対する選択操作に応答して、第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信し、それにより、第２オブジェクトと関連付けられたターゲット仮想現実機器に仮想ビデオ空間シーンを表示させる。オブジェクトリストは、第１オブジェクトと関連付け関係を有するオブジェクトを含む。本願の実施例により、第２オブジェクトが仮想ビデオ空間シーンに入るように招待することができ、それによって、インタラクティブ効率を向上させることができる。

【0116】

第１オブジェクトは、少なくとも１つの第２オブジェクトを招待して一緒にマルチビュービデオに対するシーン制作を行うことを選択することができる。このとき、第１オブジェクト、及び第２オブジェクトの各々の仮想現実機器の間に、低遅延の常時接続ネットワークが確立される。

【0117】

仮想現実機器が上記オブジェクトリストに対する選択操作に応答し、上記第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信することによりし、上記第２オブジェクトと関連付けられたターゲット仮想現実機器に上記仮想ビデオ空間シーンを表示させる１つの実施可能な実施過程は、以下の通りであってもよい。オブジェクトリストに対する選択操作に応答して、サーバへ第２オブジェクトに対する招待要求を開始し、それにより、サーバが第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信するようにする。ここで、ターゲット仮想現実機器が招待要求を受け付けるときに、ターゲット仮想現実機器に仮想ビデオ空間シーンを表示する。ターゲット仮想現実機器が招待要求を受け付けて仮想ビデオ空間シーンを表示するときに、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトを表示する。ここで、第２オブジェクトは、ターゲット仮想オブジェクトによって仮想ビデオ空間シーンに入り、ターゲット仮想オブジェクトは、第２オブジェクトのイメージデータに関連付けられ、オブジェクト仮想ビデオ画面は、第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる。

【0118】

図９ａに併せて参照されるように、図９ａは、本願の実施例で提供される仮想現実に基づくオブジェクト招待のシーンの模式図である。上記の図２ａに示すシーンを前提として、オブジェクトＡが仮想現実ハンドル２２によりオブジェクト招待コントロール２４３を選択したと仮定すると、仮想現実機器２１は、オブジェクト招待コントロール２４３に対するトリガー操作に応答して、仮想表示インターフェース２３においてオブジェクトリスト９１を表示することができる。オブジェクトリスト９１において、オブジェクトＡと友達関係を有するオブジェクト、例えばオブジェクトａａａ、及びオブジェクトａａｂなどが含まれており、オブジェクトＡは、仮想現実ハンドル２２により、招待しようとする第２オブジェクト、例えば、オブジェクトａａａを選択することができる。仮想現実機器２１は、オブジェクトａａａに対する選択操作に応答して、サーバへオブジェクトａａａに対する招待要求を開始することができる。

【0119】

図９ｂに参照されるように、図９ｂは、本願の実施例で提供される仮想現実に基づく第２オブジェクト表示のシーンの模式図である。図９ｂに示すように、オブジェクトａａａは、ターゲット仮想現実機器、及びターゲット仮想現実ハンドルを着用してもよく、オブジェクトａａａは、ターゲット仮想現実ハンドルによりオブジェクトＡの招待要求を受け付けることができる。ターゲット仮想現実機器は、オブジェクトａａａによる招待要求に対する受け付け操作に応答して、オブジェクトａａａのイメージデータを取得し、続いてマルチビュービデオに対応する仮想ビデオ空間シーン２０００に入ることができ、ターゲット仮想現実機器においてマルチビュービデオに対応する仮想ビデオ空間シーン２０００を表示することに相当する。ターゲット仮想現実機器は、オブジェクトａａａのイメージデータを仮想現実機器２１に共有することができる。したがって、仮想現実機器２１は、オブジェクトａａａのイメージデータに応じて、オブジェクトａａａのイメージと同じターゲット仮想オブジェクト９２を生成することができる。続いて、仮想現実機器２１は、仮想ビデオ画面２０１においてオブジェクトＡが位置するビューにおけるターゲット仮想オブジェクト９２を表示することができる。また、ターゲット仮想現実機器は、さらに、オブジェクトａａａの動作、表情、及び音声を表示することに用いる、オブジェクトａａａの姿勢データ、及び音声データなどをリアルタイムで取得して、ターゲットオブジェクトデータとする。そして、取得したターゲットオブジェクトデータを仮想現実機器２１にリアルタイムで共有することができる。仮想現実機器２１は、ターゲットオブジェクトデータに応じて、ターゲット仮想オブジェクト９２によりオブジェクトａａａの動作、表情、及び音声をリアルタイムでシミュレートして表示することができる。理解すべきこととして、仮想現実機器２１も、オブジェクトＡのオブジェクトデータを取得し、ターゲット仮想現実機器に共有することができることにより、ターゲット仮想現実機器は、仮想表示インターフェースにおいてオブジェクトＡに関連付けられた仮想現実オブジェクトを表示し、そしてオブジェクトＡに関連付けられた仮想現実オブジェクトによりオブジェクトＡの動作、表情、及び音声をシミュレートして表示する。

【0120】

一例として、第１オブジェクトと第２オブジェクトとは、仮想ビデオ空間シーンにおいて各々に関連付けられた仮想現実オブジェクトにより、音声、及び文字などの方式でインスタントセッションを行うことができる。第２オブジェクトが話すときに、第２オブジェクトとバインディング関係を有する仮想現実機器は、第２オブジェクトのインスタント音声データを取得し、これに続いて、仮想現実機器に共有することができる。続いて、仮想現実機器は、第２オブジェクトのインスタント音声データに応じて第２オブジェクトの音声を再生することができる。また、仮想現実機器は、さらに、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトに対応するセッションメッセージを表示することができる。ここで、セッションメッセージは、第２オブジェクトのインスタント音声データに基づいて生成されるものである。

【0121】

ステップＳ４０３：第２オブジェクトが既にパフォーマンスコントロールをトリガーしたときに、第１オブジェクトによる仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作に応答して、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトに対応するターゲットオブジェクトデータを表示し、同時に、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得する。

【0122】

ターゲット仮想オブジェクトは、第２オブジェクトのイメージデータに関連付けられる。

【0123】

マルチビュービデオに対応する仮想ビデオ空間シーンにおいて、第１オブジェクトと第２オブジェクトとは、同時にパフォーマンスを行うことができる。仮想現実機器は、第１オブジェクトのオブジェクトデータを取得することができ、第２オブジェクトとバインディング関係を有する仮想現実機器は、第２オブジェクトのターゲットオブジェクトデータを取得することができ、第２オブジェクトとバインディング関係を有する仮想現実機器は、ターゲットオブジェクトデータを仮想現実機器に共有し得る。オブジェクトデータ、及びターゲットオブジェクトデータの取得は、上記の図４、及び図６に対応した実施例における記述を参考することができ、ここでは再度詳細に説明しない。

【0124】

ステップＳ４０４：仮想表示インターフェースにおいてマルチビュービデオに関連付けられた制作ビデオを再生する。制作ビデオにおいて、第１オブジェクトに関連付けられたパフォーマンスオブジェクト、及びターゲット仮想オブジェクトが含まれる。制作ビデオにおけるパフォーマンスオブジェクトは、オブジェクトデータに基づいて表示され、制作ビデオにおけるターゲット仮想オブジェクトは、ターゲットオブジェクトデータに基づいて表示される。

【0125】

第１オブジェクトとバインディング関係を有する仮想現実機器は、オブジェクトデータ、ターゲットオブジェクトデータ、及び仮想ビデオ空間シーンを互いに融合すると、マルチオブジェクトが協力して得た制作ビデオを得ることができる。第１オブジェクトとバインディング関係を有する仮想現実機器は、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得する過程において、協力パフォーマンスビューにより仮想ビデオ空間シーンを撮影し、協力パフォーマンスビデオを得る。続いて、パフォーマンスオブジェクトデータを有するパフォーマンスオブジェクトと、協力パフォーマンスオブジェクトデータを有するターゲット仮想オブジェクトとを協力パフォーマンスビデオに融合させて、制作ビデオを得ることができる。ここで、パフォーマンスオブジェクトデータとは、オブジェクトデータが協力パフォーマンスビューにおいて表示するデータを指し、協力パフォーマンスオブジェクトデータとは、ターゲットオブジェクトデータがパフォーマンスビューにおいて表示するデータを指す。

【0126】

本願の実施例で提供される方法を採用して、第１オブジェクトが、第２オブジェクトを招待して、同一の仮想ビデオ空間シーンにおいてシーン制作を行うことができ、マルチビュービデオの表示方式、及びインタラクション方式を更に豊富にする。

【0127】

図１０に参照されるように、図１０は、本願の実施例で提供される仮想現実に基づいてビデオ録画を行うデータ処理方法のフローチャートである。該データ処理方法は、仮想現実機器によって実行されてもよい。理解を容易にするために、本願の実施例は、該方法が仮想現実機器によって実行されることを例にして説明する。該データ処理方法は、少なくとも以下のステップＳ５０１～ステップＳ５０３を含んでもよい。

【0128】

ステップＳ５０１：マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示する。

【0129】

仮想現実機器がマルチビュービデオに対応する仮想ビデオ空間シーンを表示するときに、仮想現実機器は、仮想表示インターフェースにおいてデフォルトでメインレンズ仮想ビデオ画面にすることができる。このとき、仮想現実機器を着用している第１オブジェクトは、マルチビュービデオに対応する仮想ビデオ空間シーンを感知し、メインレンズビューにおける仮想ビデオ空間シーンを見る。仮想現実機器は、このときに第１オブジェクトが位置するビューをメインレンズビューとすることができる。第１オブジェクトは、仮想現実機器によりビューの切り替えをいつでも行って、異なるビューから仮想ビデオ空間シーンを視聴する。

【0130】

一例として、仮想現実機器は、仮想表示インターフェースにおいて移動ビュー切り替えコントロールを表示してもよい。続いて、仮想現実機器は、移動ビュー切り替えコントロールに対するトリガー操作に応答して、移動後の第１オブジェクトの仮想ビデオ空間シーンに対するビューを取得して移動ビューとし、続いて、メインレンズ仮想ビデオ画面を、仮想ビデオ空間シーンの移動ビューにおける移動仮想ビデオ画面に切り替えて表示することができる。つまり、第１オブジェクトが移動ビュー切り替えコントロールをトリガーした後に、第１オブジェクトは、感知した仮想ビデオ空間シーンにおいて意のままに歩き、マルチビュービデオに対応する仮想ビデオ空間シーンを３６０度で視聴することができる。理解を容易にするために、図１１ａに併せて参照されるように、図１１ａは、本願の実施例で提供される仮想現実に基づく移動ビュー切り替えのシーンの模式図である。図１１ａに示すように、オブジェクトＡが仮想現実機器１１０１により仮想ビデオ空間シーン１１００を感知したと仮定すると、該仮想ビデオ空間シーン１１００においては、ビデオオブジェクトＧが含まれている。このとき、仮想現実機器１１０１は、仮想表示インターフェース１１０３において仮想ビデオ画面１１０４を表示して、オブジェクトＡが位置するビューにおける仮想ビデオ空間シーン１１００を表示することに用いることができ、例えば、オブジェクトＡは、ビデオオブジェクトＧの正面を見ることができる。仮想現実機器１１０１は、仮想表示インターフェース１１０３において移動ビュー切り替えコントロール１１０５を表示してもよい。オブジェクトＡが歩くことにより仮想ビデオ空間シーン１１０３に対する視聴ビューを変えようとするときに、オブジェクトＡは、仮想現実ハンドル１１０２により移動ビュー切り替えコントロール１１０５をトリガーすることができ、これに続いて、オブジェクトＡが歩くことができる。仮想現実機器２１は、移動後の第１オブジェクトの仮想ビデオ空間シーン１１００に対するビューを取得して移動ビューとし、続いて、移動ビューにおける仮想ビデオ空間シーン１１００を表示することに用いられる仮想ビデオ画面を取得することができる。例えば、オブジェクトＡは、仮想ビデオ空間シーン１１００において、ビデオオブジェクトＧの前方からビデオオブジェクトＧの後方に歩く。図１１ａに示すように、このとき、仮想現実機器１１０１は、仮想表示インターフェース１１０３において仮想ビデオ画面１１０６を表示することができる。これから分かるように、このとき、オブジェクトＡは、ビデオオブジェクトＧの背面のみを見ることができる。

【0131】

一例として、仮想現実機器は、仮想表示インターフェースにおいてポインティングビュー切り替えコントロールを表示してもよい。仮想現実機器は、ポインティングビュー切り替えコントロールに対するトリガー操作に応答して、仮想表示インターフェースにおいてポインティングカーソルを表示してもよい。仮想現実機器は、ポインティングカーソルに対する移動操作に応答して、移動後のポインティングカーソルの仮想ビデオ空間シーンに対するビューを取得してポインティングビューとし、続いて、メインレンズ仮想ビデオ画面を、仮想ビデオ空間シーンのポインティングビューにおけるポインティング仮想ビデオ画面に切り替えて表示することができる。つまり、第１オブジェクトは、歩くことなく、ポインティングカーソルにより仮想ビデオ空間シーンに対する視聴ビューを調整してもよい。理解を容易にするために、図１１ｂに併せて参照されるように、図１１ｂは、本願の実施例で提供される仮想現実に基づくポインティングビュー切り替えのシーンの模式図である。上記の図１１ａのシーンにおいて、仮想現実機器１１０１は、さらに、仮想表示インターフェース１１０３においてポインティングビュー切り替えコントロール１１０７を表示してもよい。仮想現実機器１１０１がポインティングビュー切り替えコントロール１１０７に対するトリガー操作に応答した後に、オブジェクトＡは、仮想ビデオ空間シーンにおいてポインティングカーソル１１０８を見ることができる。オブジェクトＡが仮想現実ハンドル１１０２によりポインティングカーソル１１０８をビデオオブジェクトＧの後ろに移動したと仮定すると、仮想現実機器１１０１は、ポインティングカーソル１１０８の仮想ビデオ空間シーンに対するビューを取得してポインティングビューとし、これに続いて、ポインティングビューにおける仮想ビデオ空間シーン１１００を表示することに用いられる仮想ビデオ画面１１０９を取得することができる。図１１ｂに示すように、オブジェクトＡの位置が変わらないが、オブジェクトＡが感知した仮想ビデオ空間シーンの位置が変化して、オブジェクトＡはポインティングビューにおける仮想ビデオ空間シーン１１００を見る。

【0132】

ステップＳ５０２：仮想表示インターフェースにおいて撮影録画コントロールを表示し、撮影録画コントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンに対して撮影録画を行い、録画ビデオを得る。

【0133】

仮想現実機器が撮影録画コントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンに対して撮影録画を行い、録画ビデオを得る１つの実施可能な実施過程は、以下の通りであってもよい。仮想現実機器は、撮影録画コントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンに対する撮影ビューを取得する。続いて、仮想現実機器は、仮想表示インターフェースにおいて仮想ビデオ空間シーンの撮影ビューにおける撮影仮想ビデオ画面を表示する。そして、撮影仮想ビデオ画面において録画画面枠を表示し、撮影仮想ビデオ画面の録画画面枠におけるビデオ画面を録画し、録画ビデオを得ることができる。ここで、撮影ビューの決定は、上記のパフォーマンスビューの決定と同じであり、３種類の決定方式、すなわち、レンズ追従、現場撮影、及び自由移動に対応する。理解を容易にするために、図１１ｃに併せて参照されるように、図１１ｃは、本願の実施例で提供される仮想現実に基づくビデオ撮影のシーンの模式図である。仮想現実機器１１０１は、仮想ビデオ空間シーン１１００に対して画面撮影、又はクリップ録画を行うことができる。図１１ｃに示すように、仮想現実機器１１０１は、仮想表示インターフェース１１０３において撮影録画コントロール１１１０を表示してもよい。仮想現実機器１１０１が撮影録画コントロール１１１０に対するトリガー操作に応答した後に、仮想ビデオ空間シーン１１１０の撮影ビューにおける撮影仮想ビデオ画面１１１１を表示し、且つ録画画面枠１１１２を表示することができる。理解できるように、録画画面枠１１１２における画面のみが記録され、オブジェクトＡは、録画画面枠１１１２のサイズ、及び位置を調整することができる。オブジェクトＡは、撮影コントロール１１１３をトリガーすることにより画面撮影を行うことができ、録画コントロール１１１４をトリガーすることによりクリップ録画を行うことができる。なお、オブジェクトＡは、経路選択コントロール１１１５をトリガーすることができる。仮想現実機器は、経路選択コントロール１１１５に対するトリガー操作に応答した後に、経路選択リスト１１１５を表示することができ、ここで、経路選択リスト１１１５は、レンズ追従、現場撮影、及び自由移動の３種類の撮影経路方式を含む。一例として、第１オブジェクトは、複数のレンズ、及び撮影経路を追加して画面を記録してもよく、互いに干渉することはない。

【0134】

本願の実施例で提供される方法を採用して、第１オブジェクトは、撮影ビューを選択して仮想ビデオ空間シーンに対して撮影録画を行い、メインレンズビューが撮影ビューである制作ビデオを得ることによって、マルチビュービデオの表示方式、及びインタラクション方式を豊富にする。

【0135】

図１２に参照されるように、図１２は、本願の実施例で提供されるデータ処理装置の構造模式図である。該データ処理装置は、コンピュータ機器に動作される１つのコンピュータプログラム（プログラムコードを含む）であってもよい。例えば該データ処理装置は、１つのアプリケーションソフトウェアであり、該装置は、本願の実施例で提供されるデータ処理方法における相応なステップを実行することに用いることができる。図１２に示すように、該データ処理装置１は、第１応答モジュール１０１、第２応答モジュール１０２、及びビデオ再生モジュール１０３を含んでもよい。第１応答モジュール１０１は、マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示するように構成され、第２応答モジュール１０２は、仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得するように構成される。ここで、第１オブジェクトとは、マルチビュービデオに対するトリガー操作を開始するオブジェクトを指し、ビデオ再生モジュール１０３は、仮想表示インターフェースにおいてマルチビュービデオに関連付けられた制作ビデオを再生するように構成される。ここで、制作ビデオは、オブジェクトデータに基づいて仮想ビデオ空間シーンに対して編集処理を行って得られたものである。

【0136】

第１応答モジュール１０１、第２応答モジュール１０２、及びビデオ再生モジュール１０３の具体的な実現方式は、上記の図３に対応した実施例におけるステップＳ１０１～ステップＳ１０３に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0137】

いくつかの実施例において、シーン編集操作は、仮想表示インターフェースにおける音入れコントロールに対するトリガー操作を含む。図１２に再度参照されるように、第２応答モジュール１０２は、第１応答ユニット１０２１を含む。第１応答ユニット１０２１は、マルチビュービデオを再生し、仮想表示インターフェースにおける音入れコントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンにおいて第１オブジェクトの音声データを取得して、第１オブジェクトの音声データを、マルチビュービデオに応用されるオブジェクトデータとして決定するように構成される。

【0138】

第１応答ユニット１０２１の具体的な実現方式は、上記の図３に対応した実施例におけるステップＳ１０２に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0139】

いくつかの実施例において、第１オブジェクトの音声データは、オブジェクト音声データ、又は背景音声データを含む。図１２に再度参照されるように、第１応答ユニット１０２１は、第１応答サブユニット１０２１１、第１選択サブユニット１０２１２、第１決定サブユニット１０２１３、及び第２決定サブユニット１０２１４を含む。第１応答サブユニット１０２１１は、音入れモードリストを表示するように構成されており、ここで、音入れモードリストは、オブジェクト音入れコントロールと、背景音入れコントロールと、を含む。第１選択サブユニット１０２１２は、オブジェクト音入れコントロールに対する選択操作に応答して、音入れ可能なビデオオブジェクトを表示し、音入れ可能なビデオオブジェクトに対する選択操作に応答して、選択された音入れ可能なビデオオブジェクトを音入れ対象のオブジェクトとするように構成される。ここで、音入れ可能なビデオオブジェクトは、マルチビュービデオにおいて表示されるビデオオブジェクトに属する。第１決定サブユニット１０２１３は、マルチビュービデオを再生する過程において、音入れ対象のオブジェクトに基づいて第１オブジェクトのオブジェクト音声データを取得して、オブジェクト音声データをオブジェクトデータとして決定するように構成され、第２決定サブユニット１０２１４は、背景音入れコントロールに対する選択操作に応答して、マルチビュービデオを再生する過程において、第１オブジェクトの背景音声データを取得して、背景音声データをオブジェクトデータとして決定するように構成される。

【0140】

第１応答サブユニット１０２１１、第１選択サブユニット１０２１２、第１決定サブユニット１０２１３、及び第２決定サブユニット１０２１４の具体的な実現方式は、上記の図４に対応した実施例におけるステップＳ２０１～ステップＳ２０７に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0141】

いくつかの実施例において、第１決定サブユニット１０２１３は、さらに、音入れ対象のオブジェクトに対応するビデオ音声データに対して消音処理を行う。音入れ対象のオブジェクトが発話状態にあるときに、ビデオ音声データに対応するテキスト情報、及びサウンドトラック情報を表示し、そして、第１オブジェクトのオブジェクト音声データを取得し、オブジェクト音声データをオブジェクトデータとして決定するように構成される。

【0142】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、音声置換モジュール１０４、及び音声重ね合せモジュール１０５をさらに含む。音声置換モジュール１０４は、オブジェクトデータがオブジェクト音声データであるときに、オブジェクト音声データを利用して、マルチビュービデオにおける音入れ対象のオブジェクトに対応するビデオ音声データに対して置換処理を行い、制作ビデオを得るように構成される。音声重ね合せモジュール１０５は、オブジェクトデータが背景音声データであるときに、背景音声データをマルチビュービデオに重ね合せて、制作ビデオを得るように構成される。

【0143】

音声置換モジュール１０４、及び音声重ね合せモジュール１０５の具体的な実現方式は、上記の図４に対応した実施例におけるＳ２０１～ステップＳ２０７に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0144】

いくつかの実施例において、シーン編集操作は、仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作を含む。図１２に再度参照されるように、第２応答モジュール１０２は、第２応答ユニット１０２２を含む。第２応答ユニット１０２２は、マルチビュービデオを再生し、仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンにおいて第１オブジェクトの姿勢データ、及びイメージデータを取得し、姿勢データ、及びイメージデータを、マルチビュービデオに応用されるオブジェクトデータとして決定するように構成される。ここで、制作ビデオにおいては、第１オブジェクトに関連付けられたパフォーマンスオブジェクトが含まれ、制作ビデオにおけるパフォーマンスオブジェクトは、姿勢データ、及びイメージデータに基づいて表示されるものである。

【0145】

第２応答ユニット１０２２の具体的な実現方式は、上記の図３に対応した実施例におけるステップＳ１０２に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0146】

いくつかの実施例において、図１２に再度参照されるように、第２応答ユニット１０２２は、第２応答サブユニット１０２２１、第２選択サブユニット１０２２２、第３決定サブユニット１０２２３、及び第４決定サブユニット１０２２４を含む。第２応答サブユニット１０２２１は、パフォーマンスモードリストを表示するように構成される。ここで、パフォーマンスモードリストは、キャラクター置換コントロールと、キャラクターセットアップコントロールと、を含み、第２選択サブユニット１０２２２は、キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとするように構成される。ここで、置換可能なビデオオブジェクトは、マルチビュービデオにおいて表示されるビデオオブジェクトに属する。第３決定サブユニット１０２２３は、マルチビュービデオを再生する過程において、キャラクター置換オブジェクトに基づいて第１オブジェクトの姿勢データ、及びイメージデータを取得して、姿勢データ、及びイメージデータをオブジェクトデータとして決定するように構成される。第４決定サブユニット１０２２４は、キャラクターセットアップコントロールに対するトリガー操作に応答して、マルチビュービデオを再生する過程において、第１オブジェクトの姿勢データ、及びイメージデータを取得して、姿勢データ、及びイメージデータをオブジェクトデータとして決定するように構成される。

【0147】

第２応答サブユニット１０２２１、第２選択サブユニット１０２２２、第３決定サブユニット１０２２３、及び第４決定サブユニット１０２２４の具体的な実現方式は、上記の図６に対応した実施例におけるステップＳ３０１～ステップＳ３０７に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0148】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、パフォーマンス置換モジュール１０６と、パフォーマンス融合モジュール１０７と、をさらに含む。パフォーマンス置換モジュール１０６は、オブジェクトデータがキャラクター置換コントロールをトリガーすることにより取得されたときに、パフォーマンスビュービデオにおけるキャラクター置換オブジェクトに対して表示解除を行い、そして、パフォーマンスオブジェクトデータに合致するパフォーマンスオブジェクトをパフォーマンスビュービデオに融合させ、制作ビデオを得るように構成される。ここで、パフォーマンスビュービデオは、パフォーマンスコントロールをトリガーした後のマルチビュービデオを再生する過程において、パフォーマンスビューにより仮想ビデオ空間シーンを撮影して得られたものである。パフォーマンスオブジェクトデータとは、オブジェクトデータがパフォーマンスビューにおいて表示するデータを指す。パフォーマンス融合モジュール１０７は、オブジェクトデータがキャラクターセットアップコントロールをトリガーすることにより取得されたときに、パフォーマンスオブジェクトデータに合致するパフォーマンスオブジェクトをパフォーマンスビュービデオに融合させ、制作ビデオを得るように構成される。

【0149】

パフォーマンス置換モジュール１０６、及びパフォーマンス融合モジュール１０７の具体的な実現方式は、上記の図６に対応した実施例におけるステップＳ３０１～ステップＳ３０７に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0150】

いくつかの実施例において、第２選択サブユニット１０２２２は、さらに、キャラクター置換コントロールに対するトリガー操作に応答して、オブジェクト仮想ビデオ画面において現在表示されているビデオオブジェクトを置換可能なビデオオブジェクトとして決定し、置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示するように構成される。ここで、第１表示方式は、置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、マーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする。ここで、オブジェクト仮想ビデオ画面は、第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる。

【0151】

いくつかの実施例において、第２選択サブユニット１０２２２は、さらに、キャラクター置換コントロールに対するトリガー操作に応答して、マルチビュービデオに対応する少なくとも１つのビデオクリップを表示し、少なくとも１つのビデオクリップに対する選択操作に応答して、選択されたビデオクリップに含まれるビデオオブジェクトを表示し、そして、選択されたビデオクリップに含まれるビデオオブジェクトを置換可能なビデオオブジェクトとして決定し、置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示するように構成される。ここで、第１表示方式は、置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、マーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする。

【0152】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、鏡像表示モジュール１０８をさらに含む。鏡像表示モジュール１０８は、第１オブジェクトの姿勢データ、及びイメージデータを取得する過程において、仮想表示インターフェースにおいて鏡像プレビューコントロールを表示することに用いられる。鏡像表示モジュール１０８は、さらに、鏡像プレビューコントロールに対するトリガー操作に応答して、仮想表示インターフェースにおけるパフォーマンスプレビュー領域においてパフォーマンス仮想ビデオ画面を表示するように構成される。ここで、パフォーマンス仮想ビデオ画面は、仮想ビデオ空間シーンに融合されたパフォーマンスオブジェクトを含む。

【0153】

鏡像表示モジュール１０８の具体的な実現方式は、上記の図６に対応した実施例における選択可能な実施例に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0154】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、イメージカスタマイズモジュール１０９をさらに含む。イメージカスタマイズモジュール１０９は、仮想表示インターフェースにおいてイメージカスタマイズリストを表示するように構成される。イメージカスタマイズモジュール１０９は、さらに、イメージカスタマイズリストに対する構成操作の完了に応答して、構成されたイメージデータに応じてイメージデータを更新し、構成イメージデータを得るように構成される。ここで、構成イメージデータは、服飾データ、体型データ、及び容貌データを含む。イメージカスタマイズモジュール１０９は、さらに、制作ビデオにおいてパフォーマンス動作、及びパフォーマンスイメージによりパフォーマンスオブジェクトを表示するように構成される。ここで、パフォーマンス動作は、第１オブジェクトの姿勢データに基づいて決定され、パフォーマンスイメージは、服飾データ、体型データ、声データ、及び容貌データのうちの少なくとも１つに基づいて決定される。

【0155】

イメージカスタマイズモジュール１０９の具体的な実現方式は、上記の図６に対応した実施例における選択可能な実施例に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0156】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、透明表示モジュール１１０をさらに含む。透明表示モジュール１１０は、仮想表示インターフェースにおいてキャラクター置換オブジェクトに対する置換透明度入力コントロールを表示するように構成される。透明表示モジュール１１０は、さらに、透明度入力コントロールに対する入力操作に応答して、入力されたキャラクター置換オブジェクトに対する透明度情報を取得し、透明度情報に従って仮想表示インターフェースにおいてキャラクター置換オブジェクトに対して透明度の更新表示を行い、そして、透明度更新後のキャラクター置換オブジェクトの仮想ビデオ空間シーンにおける位置カーソルを表示するように構成される。

【0157】

透明表示モジュール１１０の具体的な実現方式は、上記の図６に対応した実施例におけるステップＳ３０４の選択可能な実施例に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0158】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、オブジェクト招待モジュール１１１、及び第３応答モジュール１１２をさらに含む。オブジェクト招待モジュール１１１は、仮想表示インターフェースにおいてオブジェクト招待コントロールを表示し、オブジェクト招待コントロールに対するトリガー操作に応答して、オブジェクトリストを表示するように構成される。ここで、オブジェクトリストは、第１オブジェクトと関連付け関係を有するオブジェクトを含み、第３応答モジュール１１２は、オブジェクトリストに対する選択操作に応答して、第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信し、それにより、第２オブジェクトと関連付けられたターゲット仮想現実機器に仮想ビデオ空間シーンを表示させるように構成される。

【0159】

オブジェクト招待モジュール１１１、及び第３応答モジュール１１２の具体的な実現方式は、上記の図８に対応した実施例におけるステップＳ４０２に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0160】

いくつかの実施例において、図１２に再度参照されるように、第３応答モジュール１１２は、招待ユニット１１２１と、表示ユニット１１２２と、を含む。招待ユニット１１２１は、サーバへ第２オブジェクトに対する招待要求を開始し、それにより、サーバが第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信するように構成され、ここで、ターゲット仮想現実機器が招待要求を受け付けるときに、ターゲット仮想現実機器に仮想ビデオ空間シーンを表示する。表示ユニット１１２２は、ターゲット仮想現実機器が招待要求を受け付けて仮想ビデオ空間シーンを表示するときに、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトを表示するように構成され、ここで、第２オブジェクトは、ターゲット仮想オブジェクトによって仮想ビデオ空間シーンに入る。ターゲット仮想オブジェクトは、第２オブジェクトのイメージデータに関連付けられ、オブジェクト仮想ビデオ画面は、第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる。

【0161】

招待ユニット１１２１、及び表示ユニット１１２２の具体的な実現方式は、上記の図８に対応した実施例におけるステップＳ３０２に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0162】

いくつかの実施例において、第２オブジェクトが既にパフォーマンスコントロールをトリガーしたときに、シーン編集操作は、第１オブジェクトによる仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作を含む。図１２に再度参照されるように、第２応答モジュール１０２は、決定ユニット１０２３を含む。決定ユニット１０２３は、第１オブジェクトによる仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作に応答して、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトに対応するターゲットオブジェクトデータを表示し、そして、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得するように構成される。ここで、制作ビデオにおいては、第１オブジェクトに関連付けられたパフォーマンスオブジェクト、及びターゲット仮想オブジェクトが含まれる。制作ビデオにおけるパフォーマンスオブジェクトは、オブジェクトデータに基づいて表示され、制作ビデオにおけるターゲット仮想オブジェクトは、ターゲットオブジェクトデータに基づいて表示される。

【0163】

決定ユニット１０２３の具体的な実現方式は、上記の図８に対応した実施例におけるステップＳ４０３に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0164】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、撮影モジュール１１３と、融合モジュール１１４と、をさらに含む。撮影モジュール１１３は、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得する過程において、協力パフォーマンスビューにより仮想ビデオ空間シーンを撮影し、協力パフォーマンスビデオを得るように構成される。融合モジュール１１４は、パフォーマンスオブジェクトデータを有するパフォーマンスオブジェクトと、協力パフォーマンスオブジェクトデータを有するターゲット仮想オブジェクトとを協力パフォーマンスビデオに融合させ、制作ビデオを得るように構成される。ここで、パフォーマンスオブジェクトデータとは、オブジェクトデータが協力パフォーマンスビューにおいて表示するデータを指し、協力パフォーマンスオブジェクトデータとは、ターゲットオブジェクトデータがパフォーマンスビューにおいて表示するデータを指す。

【0165】

撮影モジュール１１３、及び融合モジュール１１４の具体的な実現方式は、上記の図８に対応した実施例におけるステップＳ４０３に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0166】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、セッション表示モジュール１１５をさらに含む。セッション表示モジュール１１５は、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトに対応するセッションメッセージを表示するように構成される。ここで、セッションメッセージは、第２オブジェクトのインスタント音声データに基づいて生成されるものである。

【0167】

ここで、セッション表示モジュール１１５の具体的な実現方式は、上記の図８に対応した実施例におけるステップＳ４０３の選択可能な実施例に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0168】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、ショッピングモジュール１１６をさらに含む。ショッピングモジュール１１６は、仮想表示インターフェースにおいてショッピングコントロールを表示し、ショッピングコントロールに対するトリガー操作に応答して、第２表示方式に従って購入可能な仮想物品を表示するように構成される。ここで、第２表示方式は、ショッピングコントロールをトリガーする前の購入可能な仮想物品の表示方式とは異なっており、購入可能な仮想物品は、仮想ビデオ空間シーンにおいて表示されている物品に属する。ショッピングモジュール１１６は、購入可能な仮想物品に対する選択操作に応答して、選択された購入可能な仮想物品を購入物品とし、仮想表示インターフェースにおいて購入物品に対応する購入情報を表示するように構成される。

【0169】

ショッピングモジュール１１６の具体的な実現方式は、上記の図６に対応した実施例における選択可能な実施例に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0170】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、第１画面表示モジュール１１７と、第１ビュー切り替えモジュール１１８と、をさらに含む。第１画面表示モジュール１１７は、仮想表示インターフェースにおいて仮想ビデオ空間シーンのメインレンズビューにおけるメインレンズ仮想ビデオ画面を表示するように構成される。第１ビュー切り替えモジュール１１８は、仮想表示インターフェースにおいて移動ビュー切り替えコントロールを表示するように構成される。第１ビュー切り替えモジュール１１８は、さらに、移動ビュー切り替えコントロールに対するトリガー操作に応答して、移動後の第１オブジェクトの仮想ビデオ空間シーンに対するビューを取得して移動ビューとするように構成される。第１ビュー切り替えモジュール１１８は、さらに、メインレンズ仮想ビデオ画面を、仮想ビデオ空間シーンの移動ビューにおける移動仮想ビデオ画面に切り替えて表示することに用いられる。

【0171】

第１画面表示モジュール１１７、及び第１ビュー切り替えモジュール１１８の具体的な実現方式は、上記の図１０に対応した実施例におけるステップＳ５０１に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0172】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、第２画面表示モジュール１１９と、第２ビュー切り替えモジュール１２０と、をさらに含む。第２画面表示モジュール１１９は、仮想表示インターフェースにおいて仮想ビデオ空間シーンのメインレンズビューにおけるメインレンズ仮想ビデオ画面を表示するように構成される。第２ビュー切り替えモジュール１２０は、仮想表示インターフェースにおいてポインティングビュー切り替えコントロールを表示するように構成される。第２ビュー切り替えモジュール１２０は、さらに、ポインティングビュー切り替えコントロールに対するトリガー操作に応答して、仮想表示インターフェースにおいてポインティングカーソルを表示するように構成される。第２ビュー切り替えモジュール１２０は、さらに、ポインティングカーソルに対する移動操作に応答して、移動後のポインティングカーソルの仮想ビデオ空間シーンに対するビューを取得してポインティングビューとするように構成される。第２ビュー切り替えモジュール１２０は、さらに、メインレンズ仮想ビデオ画面を、仮想ビデオ空間シーンのポインティングビューにおけるポインティング仮想ビデオ画面に切り替えて表示するように構成される。

【0173】

第２画面表示モジュール１１９、及び第２ビュー切り替えモジュール１２０の具体的な実現方式は、上記の図１０に対応した実施例におけるステップＳ５０１に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0174】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、第１表示モジュール１２１と、第４応答モジュール１２２と、をさらに含む。第１表示モジュール１２１は、仮想表示インターフェースにおいて撮影録画コントロールを表示するように構成される。第４応答モジュール１２２は、撮影録画コントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンに対して撮影録画を行い、録画ビデオを得るように構成される。

【0175】

第１表示モジュール１２１、及び第４応答モジュール１２２の具体的な実現方式は、上記の図１０に対応した実施例におけるステップＳ５０２に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0176】

いくつかの実施例において、図１２に再度参照されるように、第４応答モジュール１２２は、ビュー取得ユニット１２２１、第１表示ユニット１２２２、第２表示ユニット１２２３、及び録画ユニット１２２４を含む。ビュー取得ユニット１２２１は、撮影録画コントロールに対するトリガー操作に応答して、仮想ビデオ空間シーンに対する撮影ビューを取得するように構成される。第１表示ユニット１２２２は、仮想表示インターフェースにおいて仮想ビデオ空間シーンの撮影ビューにおける撮影仮想ビデオ画面を表示するように構成される。第２表示ユニット１２２３は、撮影仮想ビデオ画面において録画画面枠を表示するように構成される。録画ユニット１２２４は、撮影仮想ビデオ画面の録画画面枠におけるビデオ画面を録画し、録画ビデオを得るように構成される。

【0177】

ビュー取得ユニット１２２１、第１表示ユニット１２２２、第２表示ユニット１２２３、及び録画ユニット１２２４の具体的な実現方式は、上記の図１０に対応した実施例におけるステップＳ５０２に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0178】

いくつかの実施例において、図１２に再度参照されるように、第２応答モジュール１０２は、クリップ入力ユニット１０２４、クリップ取得ユニット１０２５、及び取得ユニット１０２６を含む。クリップ入力ユニット１０２４は、第１オブジェクトによる仮想ビデオ空間シーンに対するシーン編集操作に応答して、仮想表示インターフェースにおいて仮想ビデオ空間シーンに対するビデオクリップ入力コントロールを表示するように構成される。クリップ取得ユニット１０２５は、ビデオクリップ入力コントロールに対する入力操作に応答して、入力されたマルチビュービデオに対するクリッププログレス情報を取得し、クリッププログレス情報で指示されたビデオクリップを制作対象のビデオクリップとするように構成される。取得ユニット１０２６は、制作対象のビデオクリップを再生する過程において、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得するように構成される。

【0179】

クリップ入力ユニット１０２４、クリップ取得ユニット１０２５、及び取得ユニット１０２６の具体的な実現方式は、上記の図３に対応した実施例におけるステップＳ１０３に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0180】

いくつかの実施例において、図１２に再度参照されるように、上記のデータ処理装置１は、第２表示モジュール１２３と、第５応答モジュールと、をさらに含む。第２表示モジュール１２３は、制作対象のビデオクリップを再生する過程において、仮想表示インターフェースにおいて再生プログレス制御バーを表示するように構成される。再生プログレス制御バーは、一時停止コントロール、起動コントロール、及び倍数コントロールを含む。第５応答モジュール１２４は、一時停止コントロールに対するトリガー操作に応答して、制作対象のビデオクリップの再生を一時停止するように構成される。第５応答モジュールは、さらに、起動コントロールに対するトリガー操作に応答して、制作対象のビデオクリップを再生し続けるように構成される。第５応答モジュールは、さらに、倍数コントロールに対する選択操作に応答して、選択された再生倍数に応じて、制作対象のビデオクリップの再生速度を調整するように構成される。

【0181】

第２表示モジュール１２３、及び第５応答モジュールの具体的な実現方式は、上記の図３に対応した実施例におけるステップＳ１０３に対する記述を参照することができ、ここでは再度詳細に説明しない。

【0182】

図１３に参照されるように、本願の実施例で提供されるコンピュータ機器の構造模式図である。図１３に示すように、該コンピュータ機器１０００は、プロセッサ１００１、ネットワークインタフェース１００４、及びメモリ１００５を含んでもよく、また、上記のコンピュータ機器１０００は、ユーザインタフェース１００３、及び少なくとも１つの通信バス１００２をさらに含んでもよい。ここで、通信バス１００２は、これらの構成要素の間の接続通信を実現することに用いられる。ここで、ユーザインタフェース１００３は、ディスプレイ（Ｄｉｓｐｌａｙ）、及びキーボード（Ｋｅｙｂｏａｒｄ）を含んでもよく、選択可能なユーザインタフェース１００３は、標準的な有線インタフェース、及び無線インタフェースをさらに含んでもよい。ネットワークインタフェース１００４は、一例として、標準的な有線インタフェース、及び無線インタフェース（例えば、ＷＩ－ＦＩインタフェース）を含んでもよい。メモリ１００５は、高速ＲＡＭメモリであってもよく、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも１つの磁気ディスクメモリであってもよい。メモリ１００５は、一例として、さらに、前述プロセッサ１００１から離れたところに位置する少なくとも１つの記憶装置であってもよい。図１３に示すように、コンピュータ読み取り可能な記憶媒体であるメモリ１００５において、オペレーティングシステム、ネットワーク通信モジュール、ユーザインタフェースモジュール、及び機器制御アプリケーションプログラムが含まれてもよい。

【0183】

図１３に示すコンピュータ機器１０００において、ネットワークインタフェース１００４は、ネットワーク通信ネットワーク要素を提供することができる。ユーザインタフェース１００３は、主に、ユーザに入力用のインタフェースを提供することに用いられる。プロセッサ１００１は、メモリ１００５に記憶された機器制御アプリケーションプログラムを呼び出し、それにより以下のステップを実現することに用いることができる。マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示し、そして、仮想ビデオ空間シーンにおいてマルチビュービデオを再生し、仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得する。ここで、第１オブジェクトとは、マルチビュービデオに対するトリガー操作を開始するオブジェクトを指し、仮想表示インターフェースにおいてマルチビュービデオに関連付けられた制作ビデオを再生する。ここで、制作ビデオは、オブジェクトデータに基づいて仮想ビデオ空間シーンに対して編集処理を行って得られたものである。

【0184】

理解すべきであるように、本願の実施例において記述されたコンピュータ機器１０００は、前述のいずれかの対応した実施例における該データ処理方法に対する記述を実行することができ、ここで再度詳細に説明しない。なお、同じ方法を採用することによる有益な効果の記述についても、再度詳細に説明しない。

【0185】

また、ここで指摘する必要がある点として、本願の実施例は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、かつ上記のコンピュータ読み取り可能な記憶媒体において、前述したデータ処理装置１で実行されるコンピュータプログラムが記憶されている。また、上記のコンピュータプログラムは、プログラム命令を含む。上記のプロセッサは、上記のプログラム命令を実行するときに、前述したいずれかの対応した実施例における上記のデータ処理方法に対する記述を実行することができ、したがって、ここでは再度詳細に説明しない。なお、同じ方法を採用することによる有益な効果の記述についても、再度詳細に説明しない。本願に係るコンピュータ読み取り可能な記憶媒体の実施例において開示されていない技術的詳細については、本願の方法実施例の記述を参照する。

【0186】

上記のコンピュータ読み取り可能な記憶媒体は、前述のいずれかの実施例で提供されるデータ処理装置、又は上記のコンピュータ機器の内部記憶ユニット、例えばコンピュータ機器のハードディスク、又は内部メモリであってもよい。該コンピュータ読み取り可能な記憶媒体は、該コンピュータ機器の外部記憶機器、例えば該コンピュータ機器に装備されたプラグインハードディスク、スマートメディアカード（ｓｍａｒｔ ｍｅｄｉａ ｃａｒｄ、ＳＭＣ）、セキュリティデジタル（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ、ＳＤ）カード、及びフラッシュカード（ｆｌａｓｈ ｃａｒｄ）などであってもよい。該コンピュータ読み取り可能な記憶媒体は、該コンピュータ機器の内部記憶ユニットを含むだけでなく、外部記憶機器を含んでもよい。該コンピュータ読み取り可能な記憶媒体は、該コンピュータプログラム、及び該コンピュータ機器に必要な他のプログラムやデータを記憶することに用いられる。該コンピュータ読み取り可能な記憶媒体は、さらに、既に出力した、又は出力しようとするデータを一時的に記憶することに用いることができる。

【0187】

また、ここで指摘する必要がある点として、本願の実施例は、さらに、コンピュータプログラム製品、又はコンピュータプログラムを提供する。該コンピュータプログラム製品、又はコンピュータプログラムは、コンピュータ命令を含み、該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶されている。コンピュータ機器のプロセッサは、コンピュータ読み取り可能な記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行し、該コンピュータ機器に、前述したいずれかの対応した実施例で提供される方法を実行させる。

【0188】

本願の実施例の明細書、特許請求の範囲、及び図面における「第１」、及び「第２」などの用語は、異なるオブジェクトを区分することに用いられるものであり、特定の順序を記述することに用いられるものではない。また、用語「含む」、及びそれらの任意の変形は、非排他的な包含をカバーすることを意図している。例えば、一連のステップ、又はユニットを含む過程、方法、装置、製品、又は機器は、リストアップされたステップ、又はモジュールに限定されず、リストアップされていないステップ、又はモジュールをさらに選択可能に含むか、又はこれらの過程、方法、装置、製品、又は機器に対して固有の他のステップユニットをさらに選択可能に含む。

【0189】

当業者が認識できるように、本明細書で開示された実施例と併せて記述された各例のユニット、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の結合で実現することができる。ハードウェアとソフトウェアとの互換可能性を明確に説明するために、上記の説明においては、ネットワーク要素に従って各例の構成、及びステップを一般的に記述している。これらのネットワーク要素がハードウェアで実行されるか、ソフトウェア方式で実行されるかは、技術的解決手段の特定の応用、及び設計の約束条件により決まる。当業者であれば、各特定の応用に対して、異なる方法を使用して記述されたネットワーク要素を実現することができるが、このような実現は、本願の範囲を超えると見なされるべきではない。

【0190】

以上に開示されているものは、本願の好適な実施例に過ぎず、無論、それにより本願の権利範囲を限定することができるものではない。したがって、本願の請求項に準じて行われた均等物への変更は、依然として本願がカバーする範囲に属する。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図6】

【図7a】

【図7b】

【図7c】

【図7d】

【図7e】

【図7f】

【図7g】

【図7h】

【図7i】

【図8】

【図9a】

【図9b】

【図10】

【図11a】

【図11b】

【図11c】

【図12】

【図13】

【手続補正書】

【提出日】2024-02-21

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータ機器によって実行される、データ処理方法であって、前記方法は、
マルチビュービデオに対するトリガー操作に応答して、前記マルチビュービデオに対応する仮想ビデオ空間シーンを表示するステップと、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップであって、前記第１オブジェクトとは、前記マルチビュービデオに対するトリガー操作を開始するオブジェクトを指す、ステップと、
仮想表示インターフェースにおいて前記マルチビュービデオに関連付けられた制作ビデオを再生するステップであって、前記制作ビデオは、前記オブジェクトデータに基づいて、前記仮想ビデオ空間シーンに対して編集処理を行って得られたものである、ステップと、を含む、データ処理方法。

【請求項2】

前記シーン編集操作は、前記仮想表示インターフェースにおける音入れコントロールに対するトリガー操作を含み、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップは、
前記マルチビュービデオを再生するステップと、
前記仮想表示インターフェースにおける前記音入れコントロールに対するトリガー操作に応答して、前記仮想ビデオ空間シーンにおいて第１オブジェクトの音声データを取得して、前記第１オブジェクトの音声データを前記マルチビュービデオに応用されるオブジェクトデータとして決定するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記第１オブジェクトの音声データは、オブジェクト音声データ、及び背景音声データの少なくとも１つを含み、
前記仮想表示インターフェースにおける前記音入れコントロールに対するトリガー操作に応答して、前記仮想ビデオ空間シーンにおいて第１オブジェクトの音声データを取得して、前記第１オブジェクトの音声データを前記マルチビュービデオに応用されるオブジェクトデータとして決定するステップは、
音入れモードリストを表示するステップであって、前記音入れモードリストは、オブジェクト音入れコントロールと、背景音入れコントロールと、を含む、ステップと、
前記オブジェクト音入れコントロールに対する選択操作に応答して、音入れ可能なビデオオブジェクトを表示するステップと、
前記音入れ可能なビデオオブジェクトに対する選択操作に応答して、選択された音入れ可能なビデオオブジェクトを音入れ対象のオブジェクトとするステップであって、前記音入れ可能なビデオオブジェクトは、前記マルチビュービデオにおいて表示されるビデオオブジェクトに属する、ステップと、
前記マルチビュービデオを再生する過程において、前記音入れ対象のオブジェクトに基づいて前記第１オブジェクトのオブジェクト音声データを取得して、前記オブジェクト音声データを前記オブジェクトデータとして決定するステップと、
前記背景音入れコントロールに対する選択操作に応答して、前記マルチビュービデオを再生する過程において、前記第１オブジェクトの背景音声データを取得して、前記背景音声データを前記オブジェクトデータとして決定するステップと、を含む、請求項２に記載の方法。

【請求項4】

前記マルチビュービデオを再生する過程において、前記音入れ対象のオブジェクトに基づいて前記第１オブジェクトのオブジェクト音声データを取得して、前記オブジェクト音声データを前記オブジェクトデータとして決定するステップは、
前記音入れ対象のオブジェクトに対応するビデオ音声データに対して消音処理を行うステップと、
前記音入れ対象のオブジェクトが発話状態にあるときに、前記ビデオ音声データに対応するテキスト情報、及びサウンドトラック情報を表示して、前記第１オブジェクトのオブジェクト音声データを取得するステップと、
前記オブジェクト音声データを前記オブジェクトデータとして決定するステップと、を含む、請求項３に記載の方法。

【請求項5】

前記方法は、
前記オブジェクトデータが前記オブジェクト音声データであるときに、前記オブジェクト音声データを利用して前記マルチビュービデオにおける前記音入れ対象のオブジェクトに対応するビデオ音声データに対して置換処理を行い、制作ビデオを得るステップと、
前記オブジェクトデータが前記背景音声データであるときに、前記背景音声データを前記マルチビュービデオに重ね合せて、制作ビデオを得るステップと、をさらに含む、請求項３に記載の方法。

【請求項6】

前記シーン編集操作は、仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作を含み、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップは、
前記マルチビュービデオを再生するステップと、
前記仮想表示インターフェースにおける前記パフォーマンスコントロールに対するトリガー操作に応答して、前記仮想ビデオ空間シーンにおいて前記第１オブジェクトの姿勢データ、及びイメージデータを取得し、前記姿勢データ、及び前記イメージデータを前記マルチビュービデオに応用されるオブジェクトデータとして決定するステップであって、前記制作ビデオは、前記第１オブジェクトに関連付けられたパフォーマンスオブジェクトを含み、前記制作ビデオにおける前記パフォーマンスオブジェクトは、前記姿勢データ、及び前記イメージデータに基づいて表示される、ステップと、を含む、請求項１に記載の方法。

【請求項7】

前記仮想ビデオ空間シーンにおいて前記第１オブジェクトの姿勢データ、及びイメージデータを取得し、前記姿勢データ、及び前記イメージデータを前記マルチビュービデオに応用されるオブジェクトデータとして決定するステップは、
パフォーマンスモードリストを表示するステップであって、前記パフォーマンスモードリストは、キャラクター置換コントロールと、キャラクターセットアップコントロールと、を含む、ステップと、
前記キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、前記置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとするステップであって、前記置換可能なビデオオブジェクトは、前記マルチビュービデオにおいて表示されるビデオオブジェクトに属し、前記マルチビュービデオを再生する過程において、前記キャラクター置換オブジェクトに基づいて前記第１オブジェクトの姿勢データ、及びイメージデータを取得して、前記姿勢データ、及び前記イメージデータを前記オブジェクトデータとして決定する、ステップと、
前記キャラクターセットアップコントロールに対するトリガー操作に応答して、前記マルチビュービデオを再生する過程において、前記第１オブジェクトの姿勢データ、及びイメージデータを取得して、前記姿勢データ、及び前記イメージデータを前記オブジェクトデータとして決定するステップと、を含む、請求項６に記載の方法。

【請求項8】

前記方法は、
前記オブジェクトデータが前記キャラクター置換コントロールをトリガーすることにより取得されたときに、パフォーマンスビュービデオにおける前記キャラクター置換オブジェクトに対して表示解除を行い、パフォーマンスオブジェクトデータに合致するパフォーマンスオブジェクトを前記パフォーマンスビュービデオに融合させ、制作ビデオを得るステップであって、前記パフォーマンスビュービデオは、前記パフォーマンスコントロールをトリガーした後の前記マルチビュービデオを再生する過程において、パフォーマンスビューにより前記仮想ビデオ空間シーンを撮影して得られたものであり、前記パフォーマンスオブジェクトデータとは、前記オブジェクトデータが前記パフォーマンスビューにおいて表示するデータを指す、ステップと、
前記オブジェクトデータが前記キャラクターセットアップコントロールをトリガーすることにより取得されたときに、前記パフォーマンスオブジェクトデータに合致する前記パフォーマンスオブジェクトを前記パフォーマンスビュービデオに融合させ、制作ビデオを得るステップと、をさらに含む、請求項７に記載の方法。

【請求項9】

前記キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、前記置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとするステップは、
前記キャラクター置換コントロールに対するトリガー操作に応答して、オブジェクト仮想ビデオ画面において現在表示されているビデオオブジェクトを置換可能なビデオオブジェクトとして決定するステップと、
前記置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示するステップであって、前記第１表示方式は、前記置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、マーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとし、前記オブジェクト仮想ビデオ画面は、前記第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる、ステップと、を含む、請求項７に記載の方法。

【請求項10】

前記キャラクター置換コントロールに対するトリガー操作に応答して、置換可能なビデオオブジェクトを表示し、前記置換可能なビデオオブジェクトに対する選択操作に応答して、選択された置換可能なビデオオブジェクトをキャラクター置換オブジェクトとするステップは、
前記キャラクター置換コントロールに対するトリガー操作に応答して、前記マルチビュービデオに対応する少なくとも１つのビデオクリップを表示するステップと、
前記少なくとも１つのビデオクリップに対する選択操作に応答して、選択されたビデオクリップに含まれるビデオオブジェクトを表示して、選択されたビデオクリップに含まれるビデオオブジェクトを置換可能なビデオオブジェクトとして決定するステップと、
前記置換可能なビデオオブジェクトに対するマーキング操作に応答して、第１表示方式に従って、マーキングされた置換可能なビデオオブジェクトを表示するステップであって、前記第１表示方式は、前記置換可能なビデオオブジェクト以外の他のビデオオブジェクトの表示方式とは異なっており、マーキングされた置換可能なビデオオブジェクトをキャラクター置換オブジェクトとする、ステップと、を含む、請求項７に記載の方法。

【請求項11】

前記方法は、
前記第１オブジェクトの姿勢データ、及びイメージデータを取得する過程において、前記仮想表示インターフェースにおいて鏡像プレビューコントロールを表示するステップと、
前記鏡像プレビューコントロールに対するトリガー操作に応答して、前記仮想表示インターフェースにおけるパフォーマンスプレビュー領域においてパフォーマンス仮想ビデオ画面を表示するステップであって、前記パフォーマンス仮想ビデオ画面は、前記仮想ビデオ空間シーンに融合された前記パフォーマンスオブジェクトを含む、ステップと、をさらに含む、請求項６に記載の方法。

【請求項12】

前記方法は、
前記仮想表示インターフェースにおいてイメージカスタマイズリストを表示するステップと、
前記イメージカスタマイズリストに対する構成操作の完了に応答して、構成されたイメージデータに応じて前記イメージデータを更新し、構成イメージデータを得るステップであって、前記構成イメージデータは、服飾データ、体型データ、声データ、及び容貌データを含む、ステップと、
前記制作ビデオにおいてパフォーマンス動作、及びパフォーマンスイメージにより前記パフォーマンスオブジェクトを表示するステップであって、前記パフォーマンス動作は、前記第１オブジェクトの姿勢データに基づいて決定され、前記パフォーマンスイメージは、前記服飾データ、前記体型データ、前記声データ、及び前記容貌データのうちの少なくとも１つに基づいて決定される、ステップと、をさらに含む、請求項６に記載の方法。

【請求項13】

前記方法は、
前記仮想表示インターフェースにおいて前記キャラクター置換オブジェクトに対する置換透明度入力コントロールを表示するステップと、
前記置換透明度入力コントロールに対する入力操作に応答して、入力されたキャラクター置換オブジェクトに対する透明度情報を取得するステップと、
前記透明度情報に従って前記仮想表示インターフェースにおいて前記キャラクター置換オブジェクトに対して透明度の更新表示を行い、透明度更新後のキャラクター置換オブジェクトの前記仮想ビデオ空間シーンにおける位置カーソルを表示するステップと、をさらに含む、請求項７に記載の方法。

【請求項14】

前記方法は、
前記仮想表示インターフェースにおいてオブジェクト招待コントロールを表示するステップと、
前記オブジェクト招待コントロールに対するトリガー操作に応答して、オブジェクトリストを表示するステップであって、前記オブジェクトリストは、前記第１オブジェクトと関連付け関係を有するオブジェクトを含む、ステップと、
前記オブジェクトリストに対する選択操作に応答して、第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信することにより、前記第２オブジェクトと関連付けられたターゲット仮想現実機器に前記仮想ビデオ空間シーンを表示させるステップと、をさらに含む、請求項１に記載の方法。

【請求項15】

前記オブジェクトリストに対する選択操作に応答して、前記第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信することにより、前記第２オブジェクトと関連付けられたターゲット仮想現実機器に前記仮想ビデオ空間シーンを表示させるステップは、
サーバへ前記第２オブジェクトに対する招待要求を開始することにより、前記サーバが前記第２オブジェクトと関連付けられたターゲット仮想現実機器に招待要求を送信するステップ、を含み、
前記ターゲット仮想現実機器が前記招待要求を受け付けるときに、前記ターゲット仮想現実機器に前記仮想ビデオ空間シーンを表示し、
前記方法は、
前記ターゲット仮想現実機器が前記招待要求を受け付けて前記仮想ビデオ空間シーンを表示するときに、オブジェクト仮想ビデオ画面においてターゲット仮想オブジェクトを表示するステップであって、前記第２オブジェクトは、前記ターゲット仮想オブジェクトによって前記仮想ビデオ空間シーンに入り、前記ターゲット仮想オブジェクトは、前記第２オブジェクトのイメージデータに関連付けられ、前記オブジェクト仮想ビデオ画面は、前記第１オブジェクトが位置するビューにおける仮想ビデオ空間シーンを表示することに用いられる、ステップをさらに含む、請求項１４に記載の方法。

【請求項16】

前記シーン編集操作は、前記第１オブジェクトによる前記仮想表示インターフェースにおけるパフォーマンスコントロールに対するトリガー操作を含み、
前記第２オブジェクトが既に前記パフォーマンスコントロールをトリガーしたときに、
前記仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップは、
前記第１オブジェクトによる前記仮想表示インターフェースにおける前記パフォーマンスコントロールに対するトリガー操作に応答して、前記オブジェクト仮想ビデオ画面において前記ターゲット仮想オブジェクトに対応するターゲットオブジェクトデータを表示して、前記第１オブジェクトが前記仮想ビデオ空間シーンにいるオブジェクトデータを取得するステップであって、前記制作ビデオにおいて、前記第１オブジェクトに関連付けられたパフォーマンスオブジェクト、及び前記ターゲット仮想オブジェクトが含まれ、前記制作ビデオにおける前記パフォーマンスオブジェクトは、前記オブジェクトデータに基づいて表示され、前記制作ビデオにおける前記ターゲット仮想オブジェクトは、前記ターゲットオブジェクトデータに基づいて表示される、ステップを含む、請求項１５に記載の方法。

【請求項17】

前記方法は、
前記仮想表示インターフェースにおいてショッピングコントロールを表示するステップと、
前記ショッピングコントロールに対するトリガー操作に応答して、第２表示方式に従って購入可能な仮想物品を表示するステップであって、前記第２表示方式は、前記ショッピングコントロールをトリガーする前の購入可能な仮想物品の表示方式とは異なっており、前記購入可能な仮想物品は、前記仮想ビデオ空間シーンにおいて表示されている物品に属する、ステップと、
前記購入可能な仮想物品に対する選択操作に応答して、選択された購入可能な仮想物品を購入物品とし、前記仮想表示インターフェースにおいて前記購入物品に対応する購入情報を表示するステップと、をさらに含む、請求項１に記載の方法。

【請求項18】

前記方法は、
前記仮想表示インターフェースにおいてメインレンズ仮想ビデオ画面を表示するステップであって、前記メインレンズ仮想ビデオ画面は、メインレンズビューにおける仮想ビデオ空間シーンを表示することに用いられる、ステップと、
前記仮想表示インターフェースにおいて移動ビュー切り替えコントロールを表示するステップと、
前記移動ビュー切り替えコントロールに対するトリガー操作に応答して、移動後の前記第１オブジェクトの前記仮想ビデオ空間シーンに対するビューを取得して移動ビューとするステップと、
前記メインレンズ仮想ビデオ画面を、前記仮想ビデオ空間シーンの前記移動ビューにおける移動仮想ビデオ画面に切り替えて表示するステップと、をさらに含む、請求項１に記載の方法。

【請求項19】

前記仮想表示インターフェースにおいて前記仮想ビデオ空間シーンのメインレンズビューにおけるメインレンズ仮想ビデオ画面を表示するステップと、
前記仮想表示インターフェースにおいてポインティングビュー切り替えコントロールを表示するステップと、
前記ポインティングビュー切り替えコントロールに対するトリガー操作に応答して、前記仮想表示インターフェースにおいてポインティングカーソルを表示するステップと、
前記ポインティングカーソルに対する移動操作に応答して、移動後のポインティングカーソルの前記仮想ビデオ空間シーンに対するビューを取得してポインティングビューとするステップと、
前記メインレンズ仮想ビデオ画面を、前記仮想ビデオ空間シーンの前記ポインティングビューにおけるポインティング仮想ビデオ画面に切り替えて表示するステップと、をさらに含む、請求項１に記載の方法。

【請求項20】

データ処理装置であって、前記装置は、
マルチビュービデオに対するトリガー操作に応答して、マルチビュービデオに対応する仮想ビデオ空間シーンを表示するように構成された第１応答モジュールと、
仮想ビデオ空間シーンに対するシーン編集操作に応答して、第１オブジェクトが仮想ビデオ空間シーンにいるオブジェクトデータを取得するように構成された第２応答モジュールであって、第１オブジェクトとは、マルチビュービデオに対するトリガー操作を開始するオブジェクトを指す、第２応答モジュールと、
仮想表示インターフェースにおいてマルチビュービデオに関連付けられた制作ビデオを再生するように構成されたビデオ再生モジュールであって、前記制作ビデオは、前記オブジェクトデータに基づいて、前記仮想ビデオ空間シーンに対して編集処理を行って得られたものである、ビデオ再生モジュールと、を含む、データ処理装置。

【請求項21】

コンピュータ機器であって、プロセッサと、メモリと、ネットワークインタフェースと、を含み、
前記プロセッサは、前記メモリ、及び前記ネットワークインタフェースに接続され、前記ネットワークインタフェースは、データ通信機能を提供することに用いられ、前記メモリは、プログラムコードを記憶することに用いられ、前記プロセッサは、前記プログラムコードを呼び出すことにより、請求項１～１９のいずれか１項に記載のデータ処理方法を実行することに用いられる、コンピュータ機器。

【請求項22】

コンピュータプログラムであって、プロセッサによって実行されるときに、請求項１～１９のいずれか１項に記載のデータ処理方法を実現する、コンピュータプログラム。

【国際調査報告】