特開 2024-28167 仮想コンテンツの生成方法、コンピュータプログラム及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024028167

(43)【公開日】2024-03-01

(54)【発明の名称】仮想コンテンツの生成方法、コンピュータプログラム及び情報処理システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240222BHJP

   H04N 21/4402 20110101ALI20240222BHJP

   H04N 21/442 20110101ALI20240222BHJP

【ＦＩ】

G06T19/00 600

H04N21/4402

H04N21/442

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023129351

(22)【出願日】2023-08-08

(31)【優先権主張番号】10-2022-0103488

(32)【優先日】2022-08-18

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】516014409

【氏名又は名称】ライン プラス コーポレーション

【氏名又は名称原語表記】ＬＩＮＥ Ｐｌｕｓ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】チャン ヒョクジェ

(72)【発明者】

【氏名】チョ ホヨン

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050AA08

5B050BA08

5B050CA08

5B050EA24

5C164PA39

5C164UB02P

5C164UB41P

5C164UB88S

5C164YA21

(57)【要約】

【課題】少なくとも一つのプロセッサにより遂行される、仮想コンテンツの生成方法を提供する。
【解決手段】本開示は、ビデオコンテンツを受信するステップと、ビデオコンテンツに含まれる第１のオブジェクトの第１の動作データを抽出するステップと、抽出された第１のオブジェクトの第１の動作データに基づいて、ビデオコンテンツを第１の仮想環境に適合するように変換することで、第１の仮想環境における仮想コンテンツを生成するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサにより遂行される、仮想コンテンツの生成方法において、
ビデオコンテンツを受信するステップと、
前記ビデオコンテンツに含まれる第１のオブジェクトの第１の動作データを抽出するステップと、
前記抽出された第１のオブジェクトの第１の動作データに基づいて、ビデオコンテンツを第１の仮想環境に適合するように変換することで、第１の仮想環境における仮想コンテンツを生成するステップと、を含む、仮想コンテンツの生成方法。

【請求項2】

前記第１の動作データは、前記第１のオブジェクトの位置情報、ポーズ情報又は動き情報の少なくとも一つを含む、請求項１に記載の仮想コンテンツの生成方法。

【請求項3】

前記第１の動作データを抽出するステップは、
前記第１の仮想環境のグラフィックスタイルに基づいて、第１の抽出レベルを決定するステップと、
前記決定された第１の抽出レベルに基づいて、前記第１のオブジェクトの前記第１の動作データを抽出するステップと、を含む、請求項１に記載の仮想コンテンツの生成方法。

【請求項4】

前記抽出された第１のオブジェクトの第１の動作データを、前記第１の仮想環境における表現可能な範囲に基づいて修正するステップをさらに含む、請求項３に記載の仮想コンテンツの生成方法。

【請求項5】

前記第１の仮想環境における仮想コンテンツを生成するステップは、前記第１の動作データに基づいて、前記第１の仮想環境における第２の動作データを生成するステップを含む、請求項１に記載の仮想コンテンツの生成方法。

【請求項6】

前記第１の仮想環境における第２の動作データは、前記第１の動作データを第１の機械学習モデルに入力して生成される、請求項５に記載の仮想コンテンツの生成方法。

【請求項7】

前記第１の機械学習モデルは、第１の学習データ及び第２の学習データを利用して、前記第１の仮想環境における動作データを生成するように学習される機械学習モデルであり、
前記第１の学習データは、学習用ビデオコンテンツから抽出される学習用動作データを含み、
前記第２の学習データは、前記第１の仮想環境における学習用動作データを含む、請求項６に記載の仮想コンテンツの生成方法。

【請求項8】

前記第１の仮想環境における仮想コンテンツを生成するステップは、
前記第１の仮想環境のグラフィックスタイルに基づいて、前記第１のオブジェクトに対応する前記第１の仮想環境における第２のオブジェクトを生成するステップと、
前記第２のオブジェクトに前記第２の動作データを適用するステップと、をさらに含み、
前記第２のオブジェクトは、前記第１の仮想環境の前記グラフィックスタイルのオブジェクトである、請求項５に記載の仮想コンテンツの生成方法。

【請求項9】

前記第１の仮想環境における第２のオブジェクトを生成するステップは、前記第１のオブジェクトと関連したデータを第２の機械学習モデルに入力するステップを含み、
前記第２の機械学習モデルは、実写イメージに含まれるオブジェクトを前記第１の仮想環境のグラフィックスタイルに変換して、３Ｄオブジェクトを生成する生成ネットワークと、前記生成ネットワークにより生成された３Ｄオブジェクトが、前記第１の仮想環境のグラフィックスタイルであるか否かを判別する判別ネットワークとを含む、請求項８に記載の仮想コンテンツの生成方法。

【請求項10】

前記ビデオコンテンツに含まれる第１のオブジェクトの第３の動作データを抽出するステップと、
前記抽出された第３の動作データに基づいて、ビデオコンテンツを第２の仮想環境に適合するように変換することで、第２の仮想環境における仮想コンテンツを生成するステップと、をさらに含む、請求項１に記載の仮想コンテンツの生成方法。

【請求項11】

前記第１の仮想環境のグラフィックスタイル及び前記第２の仮想環境のグラフィックスタイルは、互いに異なり、
前記第１の動作データ及び前記第３の動作データは、互いに異なる、請求項１０に記載の仮想コンテンツの生成方法。

【請求項12】

前記第３の動作データを抽出するステップは、
前記第２の仮想環境のグラフィックスタイルに基づいて、第２の抽出レベルを決定するステップと、
前記決定された第２の抽出レベルに基づいて、前記第１のオブジェクトの前記第３の動作データを抽出するステップと、を含む、請求項１０に記載の仮想コンテンツの生成方法。

【請求項13】

前記第２の仮想環境における仮想コンテンツを生成するステップは、前記第３の動作データに基づいて、前記第２の仮想環境における第４の動作データを生成するステップを含む、請求項１０に記載の仮想コンテンツの生成方法。

【請求項14】

前記第２の仮想環境における仮想コンテンツを生成するステップは、
前記第２の仮想環境のグラフィックスタイルに基づいて、前記第１のオブジェクトに対応する前記第２の仮想環境における第３のオブジェクトを生成するステップと、
前記第３のオブジェクトに前記第４の動作データを適用するステップと、をさらに含み、
前記第３のオブジェクトは、前記第２の仮想環境のグラフィックスタイルのオブジェクトである、請求項１３に記載の仮想コンテンツの生成方法。

【請求項15】

前記ビデオコンテンツに含まれる第１の背景データを抽出するステップと、
前記第１の背景データに基づいて、前記第１の仮想環境における第２の背景データを生成するステップと、をさらに含み、
前記第１の仮想環境における仮想コンテンツを生成するステップは、前記抽出された第１のオブジェクトの第１の動作データ及び前記第２の背景データに基づいて、前記第１の仮想環境における仮想コンテンツを生成するステップを含み、
前記第２の背景データは、前記第１の仮想環境のグラフィックスタイルの３Ｄ背景データである、請求項１に記載の仮想コンテンツの生成方法。

【請求項16】

前記第１の背景データを抽出するステップは、
前記第１の仮想環境のグラフィックスタイルに基づいて、第３の抽出レベルを決定するステップと、
前記決定された第３の抽出レベルに基づいて、前記ビデオコンテンツから前記第１の背景データを抽出するステップと、を含む、請求項１５に記載の仮想コンテンツの生成方法。

【請求項17】

前記ビデオコンテンツに含まれる第３の背景データを抽出するステップと、
前記第３の背景データに基づいて、前記第２の仮想環境における第４の背景データを生成するステップと、をさらに含み、
前記第２の仮想環境における仮想コンテンツを生成するステップは、前記抽出された第１のオブジェクトの第３の動作データ及び前記第４の背景データに基づいて、前記第２の仮想環境における仮想コンテンツを生成するステップを含み、
前記第４の背景データは、前記第２の仮想環境のグラフィックスタイルの３Ｄ背景データである、請求項１０に記載の仮想コンテンツの生成方法。

【請求項18】

前記第３の背景データを抽出するステップは、
前記第２の仮想環境のグラフィックスタイルに基づいて、第４の抽出レベルを決定するステップと、
前記決定された第４の抽出レベルに基づいて、前記ビデオコンテンツから前記第３の背景データを抽出するステップと、を含む、請求項１７に記載の仮想コンテンツの生成方法。

【請求項19】

請求項１乃至１８のいずれか一項に係る方法をコンピュータで実行するためのコンピュータ読取り可能なコンピュータプログラム。

【請求項20】

情報処理システムであって、
通信モジュールと、
メモリと、
前記メモリと連結され、前記メモリに含まれるコンピュータ読取り可能な少なくとも一つのプログラムを実行するように構成される少なくとも一つのプロセッサと、を含み、
前記少なくとも一つのプログラムは、
ビデオコンテンツを受信し、
前記ビデオコンテンツに含まれる第１のオブジェクトの動作データを抽出し、
前記抽出された第１のオブジェクトの第１の動作データに基づいて、ビデオコンテンツを第１の仮想環境に適合するように変換することで、第１の仮想環境における仮想コンテンツを生成するための命令語を含む、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想コンテンツの生成方法及びシステムに関し、具体的には、ビデオコンテンツに基づいて、一つ以上の仮想環境の各々に適合するように変換することで、一つ以上の仮想環境の各々における仮想コンテンツを生成できる方法及びシステムに関する。

【背景技術】

【0002】

人工知能、モノのインターネット（internet of things）、ブロックチェーンなどのような新規のＩＴ技術が登場し、感染病の拡散などにより、日常の大部分が非対面環境に転換されている等、サービス環境が急速に変化している。特に、最近は、現実世界において行われる社会、文化、経済の活動を、オンラインの仮想環境において体験できる、メタバース（metaverse）技術が注目されている。ユーザは、メタバースサービス内の仮想環境において、会議したりミニゲームしたりする等、現実世界のような文化、経済、社会の活動がメタバース上において可能となる。また、メタバースサービスの提供者は、メタバースサービス内の仮想環境を利用して、多様なコンテンツを提供できる。

【0003】

ユーザのニーズ（needs）や好みにより、メタバースサービス内の仮想環境を利用して、多様なコンテンツを提供する必要性が高くなっている。しかしながら、メタバースサービスの仮想環境は、３Ｄコンピュータグラフィックで具現化される。３Ｄコンピュータグラフィックで具現化される仮想環境の生成には、多くの費用及び努力が要求されるので、ユーザのニーズや好みによる多様なグラフィックスタイルの仮想環境を提供し難くなるという問題がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】韓国公開特許公報第１０－２０１０－００２５８６２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、前記のような問題点を解決するための仮想コンテンツの生成方法及び装置（システム）を提供する。

【課題を解決するための手段】

【0006】

本開示は、方法、装置（システム）又はコンピュータプログラムを含む多様な方式により具現化できる。

【0007】

本開示の一実施例によれば、仮想コンテンツの生成方法は、ビデオコンテンツを受信するステップと、ビデオコンテンツに含まれる第１のオブジェクトの第１の動作データを抽出するステップと、抽出された第１のオブジェクトの第１の動作データに基づいて、ビデオコンテンツを第１の仮想環境に適合するように変換することで、第１の仮想環境における仮想コンテンツを生成するステップと、を含むことができる。

【0008】

本開示の一実施例によれば、仮想コンテンツの生成方法をコンピュータで実行するためのコンピュータプログラムを提供できる。

【0009】

本開示の一実施例によれば、仮想コンテンツの生成システムが提供される。仮想コンテンツの生成システムは、通信モジュールと、メモリと、メモリと連結され、メモリに含まれるコンピュータ読取り可能な少なくとも一つのプログラムを実行するように構成される少なくとも一つのプロセッサと、を含み、少なくとも一つのプログラムは、ビデオコンテンツを受信し、ビデオコンテンツに含まれる第１のオブジェクトの動作データを抽出し、抽出された第１のオブジェクトの第１の動作データに基づいて、ビデオコンテンツを第１の仮想環境に適合するように変換することで、第１の仮想環境における仮想コンテンツを生成するための命令語を含むことができる。

【発明の効果】

【0010】

本開示の多様な実施例によれば、実写イメージ又は実写映像に基づいて、グラフィックスタイルによって互いに異なる表現方式の仮想コンテンツを提供することで、多様なコンテンツを効率よく製作できる。

【0011】

本開示の多様な実施例によれば、実写イメージ又は実写映像に基づいて、複数の仮想環境におけるグラフィックスタイルに変換して仮想コンテンツを生成できるので、３Ｄ空間を生成する費用及び努力を低減できる。

【0012】

本開示の効果は、これに制限されず、言及されない他の効果等は、請求範囲の記載から本開示が属する技術分野における通常の知識を有する者（“当業者”という）に明確に理解されるべきである。

【図面の簡単な説明】

【0013】

本開示の実施例等は、以下の添付図面に基づいて説明される。ここで、類似の参照符号は類似の要素を示すが、これに限定されるものではない。

【図1】本開示の一実施例に係る情報処理システムが、ビデオコンテンツに基づいて、仮想環境における仮想コンテンツを生成する方法の例を示す図である。

【図2】本開示の一実施例に係る仮想コンテンツの生成サービスを提供するために、情報処理システムが複数のユーザ端末と通信可能であるように連結された構成を示す概要図である。

【図3】本開示の一実施例に係るユーザ端末及び情報処理システムの内部構成を示すブロック図である。

【図4】本開示の一実施例に係る互いに異なる仮想環境におけるグラフィックスタイルの例を示す図である。

【図5】本開示の一実施例に係る情報処理システムの内部構成を示すブロック図である。

【図6】本開示の一実施例に係るビデオコンテンツ及び第１の仮想環境のグラフィックスタイルに基づいて、仮想コンテンツを生成する方法の例を示す図である。

【図7】本開示の一実施例に係るビデオコンテンツ及び第１の仮想環境のグラフィックスタイルに基づいて、第２の動作データが適用される第２のオブジェクトを生成する方法の例を示す図である。

【図8】本開示の一実施例に係るビデオコンテンツ及び第１の仮想環境のグラフィックスタイルに基づいて、第２の背景データを生成する方法の例を示す図である。

【図9】本開示の一実施例に係る２Ｄビデオコンテンツに基づいて、互いに異なる仮想環境における仮想コンテンツの例を示す図である。

【図10】本開示の一実施例に係る仮想コンテンツの生成方法の例を示すフローチャートである。

【発明を実施するための形態】

【0014】

＜発明の概要＞
本開示の一実施例によれば、第１の動作データは、第１のオブジェクトの位置情報、ポーズ情報又は動き情報の少なくとも一つを含むことができる。

【0015】

本開示の一実施例によれば、第１の動作データを抽出するステップは、第１の仮想環境のグラフィックスタイルに基づいて、第１の抽出レベルを決定するステップと、決定された第１の抽出レベルに基づいて、第１のオブジェクトの第１の動作データを抽出するステップと、を含むことができる。

【0016】

本開示の一実施例によれば、第１の動作データを抽出するステップは、抽出された第１のオブジェクトの第１の動作データを、第１の仮想環境における表現可能な範囲に基づいて修正するステップをさらに含むことができる。

【0017】

本開示の一実施例によれば、第１の仮想環境における仮想コンテンツを生成するステップは、第１の動作データに基づいて、第１の仮想環境における第２の動作データを生成するステップを含むことができる。

【0018】

本開示の一実施例によれば、第１の仮想環境における第２の動作データは、第１の動作データを第１の機械学習モデルに入力して生成されることができる。

【0019】

本開示の一実施例によれば、第１の機械学習モデルは、第１の学習データ及び第２の学習データを利用して、第１の仮想環境における動作データを生成するように学習される機械学習モデルであり、第１の学習データは、学習用ビデオコンテンツから抽出される学習用動作データを含み、第２の学習データは、第１の仮想環境における学習用動作データを含むことができる。

【0020】

本開示の一実施例によれば、第１の仮想環境における仮想コンテンツを生成するステップは、第１の仮想環境のグラフィックスタイルに基づいて、第１のオブジェクトに対応する第１の仮想環境における第２のオブジェクトを生成するステップと、第２のオブジェクトに第２の動作データを適用するステップと、をさらに含み、第２のオブジェクトは、第１の仮想環境のグラフィックスタイルのオブジェクトであり得る。

【0021】

本開示の一実施例によれば、第１の仮想環境における第２のオブジェクトを生成するステップは、第１のオブジェクトと関連したデータを第２の機械学習モデルに入力するステップを含み、第２の機械学習モデルは、実写イメージに含まれるオブジェクトを第１の仮想環境のグラフィックスタイルに変換して、３Ｄオブジェクトを生成する生成ネットワーク（generator）と、生成ネットワークにより生成された３Ｄオブジェクトが、第１の仮想環境のグラフィックスタイルであるか否かを判別する判別ネットワーク（discriminator）とを含むことができる。

【0022】

本開示の一実施例によれば、仮想コンテンツの生成方法は、ビデオコンテンツに含まれる第１のオブジェクトの第３の動作データを抽出するステップと、抽出された第３の動作データに基づいて、ビデオコンテンツを第２の仮想環境に適合するように変換することで、第２の仮想環境における仮想コンテンツを生成するステップと、をさらに含むことができる。

【0023】

本開示の一実施例によれば、第１の仮想環境のグラフィックスタイル及び第２の仮想環境のグラフィックスタイルは、互いに異なり、第１の動作データ及び第３の動作データは、互いに異なることができる。

【0024】

本開示の一実施例によれば、第３の動作データを抽出するステップは、第２の仮想環境のグラフィックスタイルに基づいて、第２の抽出レベルを決定するステップと、決定された第２の抽出レベルに基づいて、第１のオブジェクトの第３の動作データを抽出するステップと、を含むことができる。

【0025】

本開示の一実施例によれば、第２の仮想環境における仮想コンテンツを生成するステップは、第３の動作データに基づいて、第２の仮想環境における第４の動作データを生成するステップを含むことができる。

【0026】

本開示の一実施例によれば、第２の仮想環境における仮想コンテンツを生成するステップは、第２の仮想環境のグラフィックスタイルに基づいて、第１のオブジェクトに対応する第２の仮想環境における第３のオブジェクトを生成するステップと、第３のオブジェクトに第４の動作データを適用するステップと、をさらに含み、第３のオブジェクトは、第２の仮想環境のグラフィックスタイルのオブジェクトであり得る。

【0027】

本開示の一実施例によれば、仮想コンテンツの生成方法は、ビデオコンテンツに含まれる第１の背景データを抽出するステップと、第１の背景データに基づいて、第１の仮想環境における第２の背景データを生成するステップと、をさらに含み、第１の仮想環境における仮想コンテンツを生成するステップは、抽出された第１のオブジェクトの第１の動作データ及び第２の背景データに基づいて、第１の仮想環境における仮想コンテンツを生成するステップを含み、第２の背景データは、第１の仮想環境のグラフィックスタイルの３Ｄ背景データであり得る。

【0028】

本開示の一実施例によれば、第１の背景データを抽出するステップは、第１の仮想環境のグラフィックスタイルに基づいて、第３の抽出レベルを決定するステップと、決定された第３の抽出レベルに基づいて、ビデオコンテンツから第１の背景データを抽出するステップと、を含むことができる。

【0029】

本開示の一実施例によれば、仮想コンテンツの生成方法は、ビデオコンテンツに含まれる第３の背景データを抽出するステップと、第３の背景データに基づいて、第２の仮想環境における第４の背景データを生成するステップと、をさらに含み、第２の仮想環境における仮想コンテンツを生成するステップは、抽出された第１のオブジェクトの第３の動作データ及び第４の背景データに基づいて、第２の仮想環境における仮想コンテンツを生成するステップを含み、第４の背景データは、第２の仮想環境のグラフィックスタイルの３Ｄ背景データであり得る。

【0030】

本開示の一実施例によれば、第３の背景データを抽出するステップは、第２の仮想環境のグラフィックスタイルに基づいて、第４の抽出レベルを決定するステップと、決定された第４の抽出レベルに基づいて、ビデオコンテンツから第３の背景データを抽出するステップと、を含むことができる。

【0031】

＜発明の詳細な説明＞
以下、本開示の実施のための具体的な内容を添付図面に基づいて詳細に説明する。ただし、以下の説明では、本開示の要旨を不要に不明瞭にする恐れがある場合、公知の機能や構成に関する具体的な説明は省略する。

【0032】

添付図面において、同一又は対応する構成要素には同一の参照符号が付与される。また、以下の実施例の説明において、同一又は対応する構成要素について重複する記述は省略され得る。しかしながら、構成要素に関する記述が省略されても、そのような構成要素が、ある実施例に含まれないものと意図してはならない。

【0033】

開示の実施例の利点及び特徴、そしてそれらを達成する方法は、添付図面に基づいて後述する実施例を参照すれば明確になる。しかしながら、本開示は、以下で開示される実施例に限定されず、互いに異なる多様な形態で具現化され得る。但し、本実施例は、本開示が完全になるようにし、本開示が通常の技術者に発明のカテゴリを正確に認識させるために提供されるだけである。

【0034】

本開示で使用される用語について簡略に説明し、開示の実施例について具体的に説明する。本明細書で使用される用語は、本開示での機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは関連分野に従事する技術者の意図又は判例、新技術の出現などにより変化し得る。また、特定の場合は出願人が任意で選定した用語もあり得るが、これらの意味は当該発明の説明の部分において詳細に記載する。よって、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。

【0035】

本開示において、文脈上において明確に特定しない限り、単数の表現は複数の表現を含み、複数の表現は単数の表現を含むことができる。明細書の全般に渡り、ある部分がある構成要素を「含む」とすれば、これは特に反対の記載がない限り、他の構成要素を排除するものではなく、他の構成要素をさらに含むこともできることを意味する。

【0036】

また、明細書で使用される「モジュール」又は「部」という用語は、ソフトウェアやハードウェア構成要素を意味し、「モジュール」又は「部」はある役割を遂行する。しかしながら、「モジュール」又は「部」はソフトウェアやハードウェアに限定される意味ではない。「モジュール」又は「部」は、アドレッシング可能な保存媒体にあるように構成してもよく、一つ又はそれ以上のプロセッサを再生させるように構成してもよい。したがって、一例として、「モジュール」又は「部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、タスク構成要素のような構成要素、並びに、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ又は変数のうちで少なくとも一つを含むことができる。構成要素と「モジュール」又は「部」は、内部で提供される機能はさらに小さい数の構成要素及び「モジュール」又は「部」で結合されたり、追加的な構成要素と「モジュール」又は「部」にさらに分離されたりできる。

【0037】

本開示の一実施例によれば、「モジュール」又は「部」はプロセッサ及びメモリで具現化され得る。「プロセッサ」は汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境では、「プロセッサ」は特定用途向け半導体（ＡＳＩＣ）、プログラム可能なロジックデバイス（ＰＬＤ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）等を称することもできる。「プロセッサ」は、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサの組合せ、ＤＳＰコアと結合した一つ以上のマイクロプロセッサの組合せ、若しくは、任意の他のそのような構成等の組合せのような処理デバイスの組合せを称することもできる。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）、ＰＲＯＭ（Programmable Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Reda-Only Memory）、フラッシュメモリ、磁気又は光学データ保存装置、レジスタなどのようなプロセッサ－読取り可能な媒体の多様な類型を称することもできる。プロセッサがメモリから情報を読取り／読取ったりメモリに情報を記録できる場合、メモリはプロセッサと電子通信状態にあると言われる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。

【0038】

本開示において、「システム」は、サーバー装置及びクラウド装置の少なくとも一つを含むことのできるが、これに限定されるものではない。例えば、システムは、一つ以上のサーバー装置からなることができる。他の例として、システムは、一つ以上のクラウド装置からなることができる。また他の例として、システムは、サーバー装置及びクラウド装置の全部からなって動作されることもできる。

【0039】

本明細書において、「複数のＡの各々」又は「複数のＡ各々」は、複数のＡに含まれた全ての構成要素の各々を称したり、複数のＡに含まれた一部の構成要素の各々を称したりできる。

【0040】

本開示において、「仮想環境」は、３Ｄグラフィックで具現化される仮想の空間であって、一つ以上のユーザ（又はユーザアカウント）が参加できる仮想の空間を称することができる。ユーザは、ユーザのアバターを仮想空間内において移動するように制御でき、他のユーザとチャット、通話、ビデオ通話などを介してコミュニケーションできる。ユーザは、仮想の空間内において提供されるコンテンツを視聴できる。

【0041】

図１は、本開示の一実施例に係る情報処理システム１１０が、ビデオコンテンツ１２０に基づいて、仮想環境における仮想コンテンツ１３０、１４０を生成する方法の例を示す図である。一実施例によれば、情報処理システム１１０は、ビデオコンテンツ１２０を利用して、複数の仮想環境における仮想コンテンツ１３０、１４０を生成するサービスを提供するシステムであり得る。例えば、情報処理システム１１０は、ビデオコンテンツ１２０を受信し、受信したビデオコンテンツ１２０を複数の仮想環境の各々に適合するように変換することで、複数の仮想環境における仮想コンテンツ１３０、１４０を生成できる。

【0042】

図１は、複数の仮想環境における仮想コンテンツ１３０、１４０の例示として、第１の仮想環境における仮想コンテンツ１３０と、第２の仮想環境における仮想コンテンツ１４０とを示しているが、これに限定されず、情報処理システム１１０は、一つのビデオコンテンツ１２０に基づいて、多種の互いに異なる仮想環境における仮想コンテンツを生成できる。例えば、第１の仮想環境はカートーンスタイルの仮想環境、第２の仮想環境はファンタジースタイルの仮想環境、第３の仮想環境はブロックのおもちゃスタイルの仮想環境であり得る。

【0043】

一実施例によれば、情報処理システム１１０は、ビデオコンテンツ１２０を受信できる。ここで、ビデオコンテンツ１２０は、２Ｄ形式や３Ｄ形式の実写映像又は実写イメージのコンテンツを含むことができる。例えば、ビデオコンテンツ１２０は、現実世界（real world）の一つ以上のオブジェクトを含む実写映像又は実写イメージのコンテンツとして、映画、ミュージックビデオ、スポーツ競技のコンテンツを含むことのできるが、これに限定されるものではない。他の例において、ビデオコンテンツ１２０は、現実世界（real world）を撮影して、リアルタイムで送出されるストリーミングコンテンツを含むことができる。例えば、リアルタイムスポーツ競技中継コンテンツ、ライブコンサートコンテンツ、生放送コンテンツなどを含むことができる。ビデオコンテンツ１２０の種類は多様であり得るが、ビデオコンテンツ１２０の種類及び内容は、前述した例示に限定されるものではない。

【0044】

一実施例によれば、情報処理システム１１０は、ビデオコンテンツ１２０に基づいて、複数の仮想環境における仮想コンテンツ１３０、１４０を生成できる。ここで、複数の仮想環境における仮想コンテンツ１３０、１４０は、各々互いに異なるグラフィックスタイルで具現化される仮想環境であり得る。例えば、複数の仮想環境のうち、第１の仮想環境における仮想コンテンツ１３０は、オブジェクトの形態、大きさ、比率、質感などを変形歪曲により表現したカートーンスタイル（cartoon style）のグラフィックスタイルで具現化できる。また、複数の仮想環境のうち、第２の仮想環境における仮想コンテンツ１４０は、オブジェクトの形態、大きさ、比率、質感などを事実的に表現したリアリスティックスタイル（realistic style）のグラフィックスタイルで具現化できる。互いに異なる複数の仮想環境の各々に対するグラフィックスタイルは、前述した例示に限定されず、互いに異なる複数の仮想環境は、オブジェクトの形態、大きさ、比率、質感などの変形程度に応じて、多様なグラフィックスタイルで具現化できる。また、複数の仮想環境における仮想コンテンツ１３０、１４０は、２Ｄ形式や３Ｄ形式の映像コンテンツ又はイメージコンテンツを含むことのできるが、これに限定されず、複数の仮想環境における仮想コンテンツ１３０、１４０は、４Ｄ形式の映像コンテンツ又はイメージコンテンツを含むこともできる。例えば、情報処理システム１１０は、２Ｄビデオコンテンツに基づいて、複数の仮想環境における互いに異なるグラフィックスタイルで具現化された２Ｄ仮想コンテンツを生成できる。他の例において、情報処理システム１１０は、２Ｄビデオコンテンツに基づいて、複数の仮想環境における互いに異なるグラフィックスタイルで具現化された３Ｄ仮想コンテンツ（又は、４Ｄ仮想コンテンツ）を生成できる。また他の例において、情報処理システム１１０は、３Ｄビデオコンテンツに基づいて、複数の仮想環境における互いに異なるグラフィックスタイルで具現化された３Ｄ仮想コンテンツ（又は、４Ｄ仮想コンテンツ）を生成できる。かかる構成により、仮想環境サービスの提供者は、ユーザの好みに応じて、多様なグラフィックスタイルで具現化された仮想環境を生成するための費用及び努力を低減できる。

【0045】

図２は、本開示の一実施例に係る仮想コンテンツの生成サービスを提供するために、情報処理システム２３０が複数のユーザ端末２１０＿１、２１０＿２、２１０＿３と通信可能であるように連結された構成を示す概要図である。図に示すように、複数のユーザ端末２１０＿１、２０１＿２、２１０＿３は、ネットワーク２２０を介して、仮想コンテンツを生成／提供できる情報処理システム２３０と連結され得る。ここで、複数のユーザ端末２１０＿１、２１０＿２、２１０＿３は、仮想コンテンツが提供されるユーザの端末を含むことができる。

【0046】

一実施例において、情報処理システム２３０は、仮想コンテンツの生成／提供サービス等と関連したコンピュータ実行可能なプログラム（例えば、ダウンロード可能なアプリケーション）や、データを保存、提供及び実行できる一つ以上のサーバー装置及び／又はデータベースや、クラウドコンピューティング（cloud computing）サービス基盤の一つ以上の分散コンピューティング装置及び／又は分散データベースを含むことができる。情報処理システム２３０により提供される仮想コンテンツの生成／提供サービスは、複数のユーザ端末２１０＿１、２０１＿２、２１０＿３の各々に設置された仮想環境アプリケーションなどを介して、ユーザに提供され得る。

【0047】

複数のユーザ端末２１０＿１、２１０＿２、２１０＿３は、ネットワーク２２０を介して情報処理システム２３０と通信できる。ネットワーク２２０は、複数のユーザ端末２１０＿１、２１０＿２、２１０＿３及び情報処理システム２３０間の通信が可能であるように構成できる。ネットワーク２２０は、設置環境に応じて、例えば、イーサネット（Ethernet）、ＰＬＣ（Power Line Communication）、電話線通信装置及びＲＳ－ｓｅｒｉａｌ通信などのような有線ネットワーク、移動通信網、ＷＬＡＮ（Wireless LAN）、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ及びＺｉｇＢｅｅなどのような無線ネットワーク又はその組合せからなることができる。通信方式は制限されず、ネットワーク２２０を含むことができる通信網（例えば、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を活用する通信方式だけでなく、ユーザ端末２１０＿１、２１０＿２、２１０＿３間の近距離無線通信も含まれる。

【0048】

図２では、携帯電話端末２１０＿１、タブレット端末２１０＿２及びラップトップコンピュータ端末２１０＿３をユーザ端末の例として示したが、これに限定されず、ユーザ端末２１０＿１、２１０＿２、２１０＿３は、有線及び／又は無線通信が可能であり、仮想環境アプリケーション又はウェブブラウザ等が設置されて実行できる任意のコンピューティング装置であり得る。例えば、ユーザ端末は、ＡＩスピーカー、スマートフォン、携帯電話、ナビゲーション、デスクトップコンピュータ、ラップトップコンピュータ、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、タブレットＰＣ、ゲームコンソール（game console）、ウェアラブルデバイス（wearable device）、ＩｏＴ（internet of things）デバイス、ＶＲ（virtual reality）デバイス、ＡＲ（augmented reality）デバイス、セットトップボックスなどを含むことができる。また、図２では、３つのユーザ端末２１０＿１、２１０＿２、２１０＿３がネットワーク２２０を介して情報処理システム２３０と通信するものと示したが、これに限定されず、異なる数のユーザ端末がネットワーク２２０を介して情報処理システム２３０と通信するように構成されることもできる。

【0049】

図３は、本開示の一実施例に係るユーザ端末２１０及び情報処理システム２３０の内部構成を示すブロック図である。ユーザ端末２１０は、アプリケーションやウェブブラウザなどが実行可能であり、有／無線通信が可能な任意のコンピューティング装置を称することができ、例えば、図２の携帯電話端末２１０＿１、タブレット端末２１０＿２及びラップトップコンピュータ端末２１０＿３などを含むことができる。図に示すように、ユーザ端末２１０は、メモリ３１２、プロセッサ３１４、通信モジュール３１６及び入出力インタフェース３１８を含むことができる。これと同様に、情報処理システム２３０は、メモリ３３２、プロセッサ３３４、通信モジュール３３６及び入出力インタフェース３３８を含むことができる。図３に示すように、ユーザ端末２１０及び情報処理システム２３０は、各々の通信モジュール３１６、３３６を用いて、ネットワーク２２０を介して情報及び／又はデータが通信できるように構成できる。また、入出力装置３２０は、入出力インタフェース３１８を介して、ユーザ端末２１０に情報及び／又はデータを入力したり、ユーザ端末２１０から生成された情報及び／又はデータを出力したりするように構成できる。

【0050】

メモリ３１２、３３２は、非一時的な任意のコンピュータ読取り可能な記録媒体を含むことができる。一実施例によれば、メモリ３１２、３３２は、ＲＯＭ（read only memory）、ディスクドライブ、ＳＳＤ（solid state drive）及びフラッシュメモリ（flash memory）などのような永久的な大容量保存装置（permanent mass storage device）を含むことができる。他の例として、ＲＯＭ、ＳＳＤ、フラッシュメモリ及びディスクドライブなどのような永久的な大容量保存装置は、メモリとは区分される別の永久保存装置としてユーザ端末２１０及び／又は情報処理システム２３０に含まれることができる。また、メモリ３１２、３３２には、運営体制と少なくとも一つのプログラムコードが保存され得る。

【0051】

このようなソフトウェア構成要素は、メモリ３１２、３３２とは別のコンピュータ読取り可能な記録媒体からローディングできる。このような別のコンピュータ読取り可能な記録媒体は、このようなユーザ端末２１０及び情報処理システム２３０に直接連結可能な記録媒体を含むことのできるが、例えば、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ及びメモリカードなどのようなコンピュータ読取り可能な記録媒体を含むことができる。他の例として、ソフトウェア構成要素等は、コンピュータ読取り可能な記録媒体でなく、通信モジュールを介してメモリ３１２、３３２にローディングされることもできる。例えば、少なくとも一つのプログラムは、開発者又はアプリケーションの設置ファイルを配信するファイル配信システムが、ネットワーク２２０を介して提供するファイルにより設置されるコンピュータプログラムに基づいてメモリ３１２、３３２にローディングされることができる。

【0052】

プロセッサ３１４、３３４は、基本的な算術、ロジック及び入出力演算を遂行することで、コンピュータプログラムの命令を処理するように構成できる。命令は、メモリ３１２、３３２及び／又は通信モジュール３１６、３３６により、プロセッサ３１４、３３４に提供され得る。例えば、プロセッサ３１４、３３４は、メモリ３１２、３３２のような記録装置に保存されたプログラムコードによって受信される命令を実行するように構成できる。

【0053】

通信モジュール３１６、３３６は、ネットワーク２２０を介して、ユーザ端末２１０と情報処理システム２３０とが互いに通信するための構成や機能が提供でき、ユーザ端末２１０及び／又は情報処理システム２３０が、他のユーザ端末又は他のシステム（例えば、別のクラウドシステムなど）と通信するための構成や機能が提供できる。一例として、ユーザ端末２１０のプロセッサ３１４がメモリ３１２などのような記録装置に保存されたプログラムコードによって生成した要請又はデータ（例えば、仮想コンテンツ生成要請など）は、通信モジュール３１６の制御により、ネットワーク２２０を介して情報処理システム２３０に伝達され得る。反対に、情報処理システム２３０のプロセッサ３３４の制御により提供される制御信号や命令が、通信モジュール３３６及びネットワーク２２０を経て、ユーザ端末２１０の通信モジュール３１６を介してユーザ端末２１０に受信され得る。例えば、ユーザ端末２１０は、情報処理システム２３０から仮想環境における仮想コンテンツなどを受信できる。

【0054】

入出力インタフェース３１８は、入出力装置３２０とのインタフェースのための手段であり得る。一例として、入力装置はオーディオセンサー及び／又はイメージセンサーを含むカメラ、キーボード、マイクロホン、マウスなどのような装置を含み、出力装置はディスプレイ装置、スピーカー、ハプティック（触覚）フィードバックデバイス（haptic feedback device）などのような装置を含むことができる。他の例として、入出力インタフェース３１８は、タッチスクリーンなどのように入力及び出力を遂行するための構成又は機能が一つで統合された装置とのインタフェースのための手段であり得る。図３では、入出力装置３２０がユーザ端末２１０に含まれないように示したが、これに限定されず、ユーザ端末２１０と一体に構成することもできる。また、情報処理システム２３０の入出力インタフェース３３８は、情報処理システム２３０と連結するか、又は、情報処理システム２３０が含むことのできる入力や出力のための装置（図示せず）とのインタフェースのための手段であり得る。図３では、入出力インタフェース３１８、３３８がプロセッサ３１４、３３４と別に構成される要素として示したが、これに限定されず、入出力インタフェース３１８、３３８がプロセッサ３１４、３３４に含まれるように構成することもできる。

【0055】

ユーザ端末２１０及び情報処理システム２３０は、図３に示す構成要素よりも多くの構成要素を含むことができる。しかしながら、大部分の従来技術的構成要素を明確に示す必要はない。一実施例によれば、ユーザ端末２１０は、前述した入出力装置３２０の少なくとも一部を含むように具現化できる。また、ユーザ端末２１０は、トランシーバー（transceiver）、ＧＰＳ（Global Positioning system）モジュール、カメラ、各種センサー及びデータベースなどのような他の構成要素をさらに含むことができる。例えば、ユーザ端末２１０がスマートフォンである場合、一般にスマートフォンが有する構成要素を含むことができ、例えば、加速度センサー、ジャイロセンサー、マイクモジュール、カメラモジュール、各種物理的なボタン、タッチパネルを用いたボタン、入出力ポート及び振動のための振動器などのような多様な構成要素がユーザ端末２１０にさらに含まれるように具現化できる。

【0056】

図４は、本開示の一実施例に係る互いに異なる仮想環境におけるグラフィックスタイル４１０、４２０、４３０の例を示す図である。一実施例によれば、情報処理システムの少なくとも一つのプロセッサ（例：図３の３３４）は、ビデオコンテンツに基づいて、特定のグラフィックスタイルの仮想環境における仮想コンテンツを生成できる。ここで、仮想環境における仮想コンテンツに描写されるオブジェクト（ら）は、ビデオコンテンツに描写されるオブジェクト（ら）と対応できる。また、特定のグラフィックスタイルの仮想環境における仮想コンテンツに描写されるオブジェクト（ら）は、ビデオコンテンツに描写されるオブジェクト（ら）が、特定のグラフィックスタイルで具現化されるオブジェクト（ら）であり得る。

【0057】

グラフィックスタイル４１０、４２０、４３０は、ビデオコンテンツに描写されるオブジェクト（ら）の形態、大きさ、比率、質感などが変形され、仮想コンテンツに適用される表現方式を示すことができる。例えば、第１のグラフィックスタイル４１０は、ビデオコンテンツに描写されるオブジェクト（ら）の形態、大きさ、比率、質感が単純にボックススタイルに変形され、仮想環境に適用される表現方式であり得る。また、第２のグラフィックスタイル４２０は、ビデオコンテンツに描写されるオブジェクト（ら）の形態、大きさ、比率、質感がブロックのおもちゃのように変形され、仮想コンテンツに適用される表現方式であり得る。さらに、第３のグラフィックスタイル４３０は、ビデオコンテンツに描写されるオブジェクト（ら）の形態、大きさ、比率、質感がカートーン形式に変形され、仮想コンテンツに適用される表現方式であり得る。グラフィックスタイル４１０、４２０、４３０は、前述した例示に限定されず、多様な方式により仮想環境に表現できる。図４では、人物のオブジェクトが、互いに異なる仮想環境において互いに異なるスタイルで表現される例を示しているが、これに限定されず、人物のオブジェクトだけでなく、自動車のオブジェクト、動物のオブジェクト、建物のオブジェクト、背景のオブジェクトなどのような多様なオブジェクトが、各仮想環境において互いに異なるスタイルで表現できる。

【0058】

図５は、本開示の一実施例に係る情報処理システムの内部構成を示すブロック図である。図に示すように、情報処理システムのプロセッサ３３４は、オブジェクト変換部５１０、背景変換部５２０、仮想コンテンツ生成部５３０及び学習部５４０を含むことができる。ここで、オブジェクト変換部５１０は、抽出部５１２、調整部５１４及び変換部５１６を含むことができる。また、背景変換部５２０は、抽出部５２２及び変換部５２４を含むことができる。

【0059】

一実施例によれば、オブジェクト変換部５１０は、ビデオコンテンツから抽出されるオブジェクトの動作データに基づいて、仮想コンテンツの生成に必要な特定の仮想環境における動作データを生成できる。また、オブジェクト変換部５１０は、ビデオコンテンツに含まれるオブジェクトに対応する特定の仮想環境におけるオブジェクトを生成できる。

【0060】

具体的に、オブジェクト変換部５１０の抽出部５１２は、ビデオコンテンツを獲得できる。例えば、オブジェクト変換部５１０の抽出部５１２は、外部装置からビデオコンテンツを受信できる。他の例において、オブジェクト変換部５１０の抽出部５１２は、外部装置からビデオコンテンツを受信する別のモジュールを介して、ビデオコンテンツを受信できる。ここで、ビデオコンテンツは、一つ以上のオブジェクトが含まれる実写映像又は実写イメージのコンテンツを含むことができる。代替的に、ビデオコンテンツは、現実世界を撮影したストリーミングコンテンツであって、一つ以上のオブジェクトを含むことができる。

【0061】

ビデオコンテンツを受信した後、オブジェクト変換部５１０の抽出部５１２は、ビデオコンテンツに含まれるオブジェクトの動作データを抽出できる。ここで、動作データは、オブジェクトの位置情報、ポーズ情報又は動き情報の少なくとも一つを含むことができる。ここで、オブジェクトは、人物のオブジェクトや事物のオブジェクトなどを含むことができ、特定の形態、模様及び色彩を持つ対象を含むことができる。オブジェクト変換部５１０の抽出部５１２は、特定の仮想環境のグラフィックスタイルにより、オブジェクトの動作データに対する抽出範囲及び抽出程度を決定し、これに基づいてオブジェクトの動作データを抽出できる。具体的に、オブジェクト変換部５１０の抽出部５１２は、特定の仮想環境のグラフィックスタイルに基づいて抽出レベルを決定できる。その後、オブジェクト変換部５１０の抽出部５１２は、決定される抽出レベルに基づいてオブジェクトの動作データを抽出できる。

【0062】

オブジェクト変換部５１０の調整部５１４は、抽出されたオブジェクトの動作データを、特定の仮想環境における表現可能な範囲に基づいて修正できる。換言すれば、オブジェクト変換部５１０の調整部５１４は、抽出されたオブジェクトの動作データ、すなわちオブジェクトの位置、ポーズ又は動きを、特定の仮想環境のグラフィックスタイルから表現可能な範囲内に調整できる。例えば、特定の仮想環境において表現可能な範囲から逸脱した動作データは、削除されたり、表現可能な範囲内の他の動作に変更されたりできる。

【0063】

オブジェクト変換部５１０の変換部５１６は、ビデオコンテンツから抽出されるオブジェクトの動作データ（例：第１の動作データ）に基づいて、特定の仮想環境における動作データ（例：第２の動作データ）を生成できる。ここで、ビデオコンテンツは、２Ｄ形式のイメージ／ビデオコンテンツを含むことのできるが、これに限定されず、ビデオコンテンツは、３Ｄ形式（又は、４Ｄ形式）のイメージ／ビデオコンテンツを含むこともできる。また、ビデオコンテンツから抽出されるオブジェクトの動作データは、ビデオコンテンツに描写されるオブジェクトの位置情報、ポーズ情報又は動き情報を含むことができる。また、特定の仮想環境における動作データは、特定の仮想環境におけるオブジェクトの位置情報、ポーズ情報又は動き情報を含むことができる。ここで、特定の仮想環境は、３次元に基づいた特定の仮想環境を示すことのできるが、これに限定されず、２次元又は４次元に基づいた特定の仮想環境を示すこともできる。一実施例において、オブジェクト変換部５１０の変換部５１６は、機械学習モデル（例：第１の機械学習モデル）を利用して、特定の仮想環境における動作データを生成できる。例えば、ビデオコンテンツから抽出されるオブジェクトの動作データを機械学習モデルに入力して、特定の仮想環境における動作データを生成できる。

【0064】

その後、オブジェクト変換部５１０の変換部５１６は、特定の仮想環境における動作データを、特定の仮想環境におけるオブジェクトに適用できる。具体的に、変換部５１６は、特定の仮想環境のグラフィックスタイルに基づいて、ビデオコンテンツに含まれるオブジェクトに対応する特定の仮想環境におけるオブジェクトを生成できる。その後、変換部５１６は、特定の仮想環境における動作データを、生成された特定の仮想環境におけるオブジェクトに適用できる。これにより、ビデオコンテンツに含まれるオブジェクト（例：２Ｄオブジェクトである第１のオブジェクト）の動きと同様の動きを示すオブジェクト（例：３Ｄオブジェクトである第２のオブジェクト）が、特定の仮想環境のグラフィックスタイルで特定の仮想環境により表現され得る。

【0065】

背景変換部５２０は、ビデオコンテンツから抽出される背景データに基づいて、仮想コンテンツの生成に必要な特定の仮想環境における背景データを生成できる。

【0066】

一実施例において、背景変換部５２０の抽出部５２２は、ビデオコンテンツを獲得できる。例えば、背景変換部５２０の抽出部５２２は、外部装置からビデオコンテンツを受信できる。他の例において、背景変換部５２０の抽出部５２２は、外部装置からビデオコンテンツを受信する別のモジュールを介して、ビデオコンテンツを受信できる。ここで、ビデオコンテンツは、一つ以上のオブジェクトが含まれる２Ｄ形式や３Ｄ形式の実写映像又は実写イメージのコンテンツを含むことができる。或いは、ビデオコンテンツは、現実世界を撮影したストリーミングコンテンツであって、一つ以上のオブジェクトを含むことができる。

【0067】

背景変換部５２０の抽出部５２２は、ビデオコンテンツに含まれる背景データを抽出できる。ここで、背景変換部５２０の抽出部５２２は、特定の仮想環境のグラフィックスタイルにより、背景データに対する抽出範囲及び抽出程度を決定し、これに基づいて背景データを抽出できる。具体的に、背景変換部５２０の抽出部５２２は、特定の仮想環境のグラフィックスタイルに基づいて抽出レベルを決定できる。その後、背景変換部５２０の抽出部５２２は、決定された抽出レベルに基づいて背景データを抽出できる。

【0068】

背景変換部５２０の変換部５２４は、ビデオコンテンツから抽出される背景データ（例：第１の背景データ）に基づいて、特定の仮想環境における背景データ（例：第２の背景データ）を生成できる。ここで、ビデオコンテンツから抽出される背景データは、ビデオコンテンツに描写される背景の位置情報や形態情報などを含むことのできるが、これに限定されるものではない。また、特定の仮想環境における背景データは、３次元に基づいた特定の仮想環境における背景の位置情報や形態情報などを含むことのできるが、これに限定されるものではない。

【0069】

一実施例において、背景変換部５２０の変換部５２４は、機械学習モデル（例：第１の機械学習モデル）を利用して、特定の仮想環境における背景データを生成できる。例えば、ビデオコンテンツから抽出される背景データを機械学習モデルに入力して、特定の仮想環境における背景データを生成できる。

【0070】

仮想コンテンツ生成部５３０は、特定の仮想環境における動作データが適用されるオブジェクト、及び特定の仮想環境における背景データを併合して、特定の仮想環境における仮想コンテンツを生成できる。

【0071】

学習部５４０は、学習データを利用して、機械学習モデルを学習できる。図５では、便宜のために、一つの学習部５４０を示しているが、これに限定されず、一つ以上の機械学習モデルの各々と対応する一つ以上の学習部を含むことができる。一実施例によれば、学習部５４０は、ビデオコンテンツに含まれるオブジェクトの動作データに基づいて、特定の仮想環境におけるオブジェクトの動作データを生成する機械学習モデル（例：第１の機械学習モデル）を学習及びアップデートできる。例えば、第１の機械学習モデルは、第１の学習データ及び第２の学習データを利用して、特定の仮想環境におけるオブジェクトの動作データを生成するように学習できる。ここで、第１の学習データは、学習用ビデオコンテンツから抽出される学習用動作データを含むことができる。また、第２の学習データは、第１の仮想環境における学習用動作データを含むことができる。

【0072】

他の実施例によれば、学習部５４０は、ビデオコンテンツに含まれるオブジェクトと関連したデータに基づいて、特定の仮想環境のグラフィックスタイルに変換して、２Ｄ又は３Ｄのオブジェクトを生成する機械学習モデル（例：第２の機械学習モデル）を学習できる。ここで、第２の機械学習モデルは、実写イメージに含まれるオブジェクトを特定の仮想環境のグラフィックスタイルに変換して、３Ｄオブジェクトを生成する生成ネットワーク（generator）と、生成ネットワークにより生成される３Ｄオブジェクトが、特定の仮想環境のグラフィックスタイルであるか否かを判別する判別ネットワーク（discriminator）とを含むことができる。例えば、学習部５４０は、特定の仮想環境と関連したデータを利用して、判別ネットワークを学習できる。また、学習部５４０は、実写イメージ及び特定の仮想環境のグラフィックスタイルモデルを入力して、生成ネットワークを学習できる。

【0073】

以上、説明の便宜のために、プロセッサが、ビデオコンテンツに基づいて、特定の仮想環境のグラフィックスタイルの仮想コンテンツを生成する方法の例を記述している。しかしながら、仮想コンテンツは、特定の仮想環境のグラフィックスタイルに限定されず、プロセッサは、ビデオコンテンツに基づいて、互いに異なるグラフィックスタイルを持つ複数の仮想環境の仮想コンテンツを生成できる。

【0074】

図５に示すプロセッサ３３４の内部構成は例示に過ぎず、一部の実施例では、示している内部構成の以外に他の構成をさらに含んだり、一部の構成を省略したり、一部の過程を他の構成又は外部システムにより遂行したりできる。また、図５では、プロセッサ３３４の内部構成を機能別に区分して説明しているが、これは、内部構成等が必ず物理的に区分されることを意味していない。

【0075】

図６は、本開示の一実施例に係るビデオコンテンツ６１０及び第１の仮想環境のグラフィックスタイル６２０に基づいて、仮想コンテンツ６５０を生成する方法の例を示す図である。一実施例によれば、情報処理システムの少なくとも一つのプロセッサは、ビデオコンテンツ６１０及び第１の仮想環境のグラフィックスタイル６２０に基づいて、第１の仮想環境における仮想コンテンツ６５０を生成できる。ここで、ビデオコンテンツは、一つ以上のオブジェクトが含まれる２Ｄ形式や３Ｄ形式の実写映像又は実写イメージのコンテンツを含むことができる。或いは、ビデオコンテンツは、現実世界を撮影したストリーミングコンテンツであって、一つ以上のオブジェクトを含むことができる。ここで、第１の仮想環境のグラフィックスタイル６２０は、複数の仮想環境のうち、特定の仮想環境のグラフィックスタイルとして、ビデオコンテンツ６１０に描写される一つ以上のオブジェクトの形態、大きさ、比率、質感などが変形され、第１の仮想環境における仮想コンテンツに適用される表現方式を示すことができる。また、第１の仮想環境における仮想コンテンツ６５０は、２Ｄ形式や３Ｄ形式の映像コンテンツ又はイメージコンテンツを含むことのできるが、これに限定されず、４Ｄ形式の映像コンテンツ又はイメージコンテンツを含むこともできる。

【0076】

一実施例によれば、プロセッサは、オブジェクト変換部５１０を利用して、ビデオコンテンツ６１０及び第１の仮想環境のグラフィックスタイル６２０に基づいて、第２の動作データが適用される第２のオブジェクト６３０を生成できる。ここで、第２のオブジェクトは、ビデオコンテンツ６１０に含まれるオブジェクト（例：第１のオブジェクト）に対応する第１の仮想環境におけるオブジェクトを示すことができる。第２のオブジェクトは、第１の仮想環境のグラフィックスタイル６２０の２Ｄオブジェクト又は３Ｄオブジェクトであり得る。また、第２の動作データは、ビデオコンテンツ６１０に含まれるオブジェクトの動作データ（例：第１の動作データ）に対応する第１の仮想環境における第２のオブジェクトの動作データを示すことができる。オブジェクト変換部５１０を利用して、第２の動作データが適用される第２のオブジェクト６３０を生成する具体例は、図７を参照して詳細に後述する。

【0077】

一実施例によれば、プロセッサは、背景変換部５２０を利用して、ビデオコンテンツ６１０及び第１の仮想環境のグラフィックスタイル６２０に基づいて、第２の背景データ６４０を生成できる。ここで、第２の背景データは、ビデオコンテンツ６１０に含まれる背景データ（例：第１の背景データ）に対応する第１の仮想環境における背景データを示すことができる。第２の背景データは、第１の仮想環境のグラフィックスタイル６２０の３Ｄ背景データ（例えば、時系列的な３Ｄ背景データ）であり得る。背景変換部５２０を利用して、第２の背景データ６４０を生成する具体例は、図８を参照して詳細に後述する。

【0078】

一実施例によれば、プロセッサは、第２の動作データが適用される第２のオブジェクト６３０及び第２の背景データ６４０に基づいて、仮想コンテンツ生成部５３０を利用して、第１の仮想環境における仮想コンテンツ６５０を生成できる。

【0079】

以上、説明の便宜のために、プロセッサが、ビデオコンテンツ６１０に基づいて、第１の仮想環境のグラフィックスタイルの仮想コンテンツ６５０を生成する方法の例を記述しているが、これに限定されず、プロセッサは、ビデオコンテンツ６１０に基づいて、互いに異なるグラフィックスタイルを持つ複数の仮想環境の仮想コンテンツを生成できる。例えば、プロセッサは、第１の仮想環境のグラフィックスタイル６２０だけでなく、第２の仮想環境のグラフィックスタイル及び第３の仮想環境のグラフィックスタイルを利用して、第２の仮想環境のグラフィックスタイルを持つ第２の仮想環境の仮想コンテンツと、第３の仮想環境のグラフィックスタイルを持つ第３の仮想環境の仮想コンテンツとを生成できる。

【0080】

図６では、オブジェクト変換部５１０及び背景変換部５２０が各々別に構成される例を示しているが、プロセッサは、オブジェクト変換部５１０のみを利用して、仮想環境における仮想コンテンツ６５０を生成できる。例えば、オブジェクト変換部５１０により生成されるオブジェクトは、人物のオブジェクト、事物のオブジェクト及び背景のオブジェクトを含むことができ、動きのない背景のオブジェクトは、オブジェクトの動き情報のデータ値が、「ｎｕｌｌ」又は「０」に設定できる。

【0081】

図７は、本開示の一実施例に係るビデオコンテンツ７１０及び第１の仮想環境のグラフィックスタイル７２０に基づいて、第２の動作データが適用される第２のオブジェクト７８２を生成する方法の例を示す図である。情報処理システムの少なくとも一つのプロセッサは、オブジェクト変換部５１０を利用して、ビデオコンテンツ７１０及び第１の仮想環境のグラフィックスタイル７２０に基づいて、第２の動作データが適用される第２のオブジェクト７８２を生成できる。図に示すように、オブジェクト変換部５１０は、抽出部５１２、調整部５１４及び変換部５１６を含むことができる。

【0082】

一実施例によれば、抽出部５１２は、ビデオコンテンツ７１０及び第１の仮想環境のグラフィックスタイル７２０に基づいて、第１のオブジェクトの第１の動作データ７４２を抽出できる。ここで、第１の動作データ７４２は、第１のオブジェクトの位置情報、ポーズ情報又は動き情報の少なくとも一つを含むことができる。具体的に、抽出部５１２は、抽出レベル決定モジュール７３０を利用して、第１の仮想環境のグラフィックスタイル７２０に基づいて、第１の抽出レベル７３２を決定できる。例えば、抽出部５１２は、特定の仮想環境のグラフィックスタイルにより、オブジェクトの動作データに対する抽出範囲及び抽出程度を決定できる。その後、抽出部５１２は、動作データ抽出モジュール７４０を利用して、第１の抽出レベルに基づいて、第１のオブジェクトの第１の動作データ７４２を抽出できる。例えば、第１の仮想環境のグラフィックスタイル７２０がブロックのおもちゃスタイルの場合、単純な腕の回転、首の回転、足の前後動きのような簡単な動作データのみが抽出されるのに対し、第１の仮想環境のグラフィックスタイル７２０が実写と類似しているスタイルの場合、細密な手指の動き、手首の動き、腕の動き、首の動き、太ももの動き、ふくらはぎの動きなど、各関節の動きのように細密な動作データを抽出できる。

【0083】

一実施例によれば、調整部５１４は、抽出された第１のオブジェクトの第１の動作データ７４２を、第１の仮想環境における表現可能な範囲に基づいて修正できる。具体的に、調整部５１４は、表現可能範囲修正モジュール７５０を利用して、第１のオブジェクトの第１の動作データ７４２を、第１の仮想環境における表現可能な範囲に基づいて修正することで、第１のオブジェクトの修正された第１の動作データ７５２を生成できる。例えば、ビデオコンテンツ７１０から抽出される第１のオブジェクトの第１の動作データ７４２に腕の３６０度回転の動きが含まれたが、第１の仮想環境のグラフィックスタイルが腕の１８０度の動きまでだけ許容すれば、調整部５１４は、腕の１８０度以上の動きと関連した動作データを削除したり、表現可能な範囲内の他の動作に変更したりすることで、第１のオブジェクトの修正された第１の動作データ７５２を生成できる。特定の実施例において、調整部５１４が第１の動作データ７４２を修正するステップを省略することもできる。

【0084】

一実施例によれば、変換部５１６は、変換モジュール７６０を利用して、修正された第１の動作データ７５２（又は、第１の動作データ７４２）に基づいて、第１の仮想環境における第２の動作データを生成できる。ここで、第１の仮想環境における第２の動作データは、ビデオコンテンツ７１０に含まれる第１のオブジェクトの第１の動作データに対応する第１の仮想環境における動作データ（例：時系列的な２Ｄ又は３Ｄの動作データ)を示すことができる。

【0085】

一実施例において、変換部５１６は、第１の動作データを第１の機械学習モデルに入力して、第１の仮想環境における第２の動作データを生成できる。例えば、変換部５１６は、第１の学習データ及び第２の学習データを利用して、第１の仮想環境における動作データを生成するように、第１の機械学習モデルを学習できる。ここで、第１の学習データは、実写イメージが含まれる学習用ビデオコンテンツから抽出される学習用動作データを含むことができ、第２の学習データは、第１の仮想環境における学習用動作データを含むことができる。一実施例において、第１の機械学習モデルは、敵対的生成ネットワーク（Generative Adversarial Network、GAN）であり得る。すなわち、第１の仮想環境における動作データ（又は、動作規則）を生成する生成ネットワークと、生成ネットワークに生成された第１の仮想環境における動作データが、表現可能な範囲内の動作であるか否かを判別する判別ネットワークとを含むことができる。第１の機械学習モデルの学習方法は、前述した例示に限定されず、多様な方式の機械学習モデルに対する学習方法を利用できる。例えば、他の教師あり学習方式又は教師なし学習方式によっても、機械学習モデルを生成できる。

【0086】

一実施例によれば、変換部５１６は、第１のオブジェクトに対応する第１の仮想環境における第２のオブジェクト７７２に第２の動作データ７６２を適用して、第２の動作データが適用された第２のオブジェクト７８２を生成できる。具体的に、オブジェクト生成モジュール７７０は、ビデオコンテンツ７１０及び第１の仮想環境のグラフィックスタイル７２０に基づいて、第１の仮想環境における第２のオブジェクト７７２を生成できる。ここで、第２のオブジェクト７７２は、ビデオコンテンツ７１０に含まれる第１のオブジェクトと対応するオブジェクトであって、第１の仮想環境のグラフィックスタイルのオブジェクトを示すことができる。ここで、第２のオブジェクト７７２は、第１の仮想環境の表現方式により、２Ｄオブジェクト又は３Ｄオブジェクトであり得る。その後、変換部５１６は、適用モジュール７８０を利用して、第２のオブジェクト７７２に第２の動作データ７６２を適用することで、第２の動作データが適用された第２のオブジェクト７８２を生成できる。図７では、オブジェクト生成モジュール７７０が変換部５１６と別の構成で示されているが、変換部５１６がオブジェクト生成モジュール７７０を含むこともできる。

【0087】

一実施例において、オブジェクト生成モジュール７７０は、第１のオブジェクトと関連したデータを第２の機械学習モデルに入力して、第１の仮想環境における第２のオブジェクトを生成できる。例えば、第２の機械学習モデルは、敵対的生成ネットワーク（ＧＡＮ）であり得る。すなわち、第２の機械学習モデルは、実写イメージに含まれるオブジェクトを第１の仮想環境のグラフィックスタイルに変換して、３Ｄオブジェクトを生成する生成ネットワークと、生成ネットワークにより生成された３Ｄオブジェクトが、第１の仮想環境のグラフィックスタイルであるか否かを判別する判別ネットワークとを含むことができる。第２の機械学習モデルの学習方法は、前述した例示に限定されず、多様な方式の機械学習モデルに対する学習方法が用いられる。

【0088】

以上、説明の便宜のために、プロセッサが、ビデオコンテンツ７１０に基づいて、第１の仮想環境における第２の動作データが適用される第２のオブジェクト７８２を生成する方法の例示を記述しているが、これに限定されず、プロセッサは、ビデオコンテンツ７１０に基づいて、互いに異なるグラフィックスタイルを持つ複数の仮想環境における動作データが適用されるオブジェクトを生成できる。

【0089】

図８は、本開示の一実施例に係るビデオコンテンツ８１０及び第１の仮想環境のグラフィックスタイル８２０に基づいて、第２の背景データ８５２を生成する方法の例を示す図である。図に示すように、情報処理システムの少なくとも一つのプロセッサは、背景変換部５２０を利用して、ビデオコンテンツ８１０及び第１の仮想環境のグラフィックスタイル８２０に基づいて、第２の背景データ８５２を生成できる。図に示すように、背景変換部５２０は、抽出部５２２及び変換部５２４を含むことができる。

【0090】

一実施例によれば、抽出部５２２は、ビデオコンテンツ８１０及び第１の仮想環境のグラフィックスタイル８２０に基づいて、第１の背景データ８４２を抽出できる。ここで、第１の背景データは、ビデオコンテンツに含まれる視覚的表現対象データのうち、オブジェクトの動作データを除いた背景データを示すことができる。具体的に、抽出部５２２は、抽出レベル決定モジュール８３０を利用して、第１の仮想環境のグラフィックスタイル８２０に基づいて、第３の抽出レベル８３２を決定できる。例えば、抽出部５２２は、特定の仮想環境のグラフィックスタイルにより、背景データに対する抽出範囲及び抽出程度を決定できる。その後、抽出部５２２は、背景データ抽出モジュール８４０を利用して、第３の抽出レベルに基づいて、第１の背景データ８４２を抽出できる。

【0091】

一実施例によれば、変換部５２４は、変換モジュール８５０を利用して、第１の背景データ８４２に基づいて、第１の仮想環境における第２の背景データ８５２を生成できる。ここで、第１の仮想環境における第２の背景データ８５２は、ビデオコンテンツ８１０に含まれる第１の背景データに対応する第１の仮想環境における背景データ（例：時系列的な２Ｄ又は３Ｄのグラフィックデータ）を示すことができる。一実施例において、変換部５２４は、機械学習モデルを利用して、第１の仮想環境における第２の背景データ８５２を生成できる。例えば、変換部５２４は、ビデオコンテンツ８１０及び第１の仮想環境のグラフィックスタイル８２０を機械学習モデル（例：前述した第２の機械学習モデル）に入力して、第１の仮想環境における第２の背景データ８５２を生成できる。

【0092】

以上、説明の便宜のために、プロセッサが、ビデオコンテンツ８１０に基づいて、第１の仮想環境における第２の背景データ８５２を生成する方法の例を記述しているが、これに限定されず、プロセッサは、ビデオコンテンツ８１０に基づいて、互いに異なるグラフィックスタイルを持つ複数の仮想環境における背景データを生成できる。

【0093】

図９は、本開示の一実施例に係る２Ｄビデオコンテンツ９１０に基づいて、互いに異なる仮想環境における仮想コンテンツ９２０、９３０、９４０の例を示す図である。一実施例によれば、情報処理システムの少なくとも一つのプロセッサは、２Ｄビデオコンテンツ９１０を利用して、互いに異なる３Ｄグラフィックスタイルを持つ複数の仮想環境に対する仮想コンテンツ９２０、９３０、９４０を生成できる。例えば、２Ｄビデオコンテンツ９１０の現実世界の７人の人物のオブジェクトのダンス場面が撮影された実写映像であり得る。プロセッサは、２Ｄビデオコンテンツ９１０に描写されるオブジェクトと対応する動きを有するオブジェクトを含む複数の仮想環境に対する仮想コンテンツ９２０、９３０、９４０を生成できる。ここで、複数の仮想環境に対する仮想コンテンツ９２０、９３０、９４０の各々は、互いに異なる３Ｄグラフィックスタイルと関連することができる。

【0094】

互いに異なる３Ｄグラフィックスタイルを持つ複数の仮想環境に対する仮想コンテンツは、実写映像内に描写されるオブジェクトの形態、大きさ、比率、質感などを、互いに異なる表現方式で表現したビデオコンテンツであり得る。例えば、図に示すように、第１の仮想コンテンツ９２０は、オブジェクトの点、線、面を強調する表現方式であるドットデザイン形式の３Ｄグラフィックスタイルを持つ仮想環境に対する仮想コンテンツであり得る。また、第２の仮想コンテンツ９３０は、オブジェクトをブロックのおもちゃ形態で表現する方式の３Ｄグラフィックスタイルを持つ仮想環境に対する仮想コンテンツであり得る。また、第３の仮想コンテンツ９４０は、カートーンスタイルで表現する方式の３Ｄグラフィックスタイルを持つ仮想環境に対する仮想コンテンツであり得る。かかる構成により、プロセッサは、一つの実写イメージ又は実写映像に基づいて、多様な３Ｄグラフィックスタイルを持つ仮想環境に対する仮想コンテンツを少ない費用及び努力で生成できる。

【0095】

図９は、３つの３Ｄグラフィックスタイルを持つ仮想環境に対する仮想コンテンツを示しているが、これに限定されず、一つの２Ｄビデオコンテンツ９１０に基づいて、３つ以上の３Ｄグラフィックスタイルを持つ仮想環境に対する仮想コンテンツを生成できる。また、図９は、２Ｄビデオコンテンツ９１０に基づいて、３Ｄグラフィックスタイルを持つ仮想環境に対する互いに異なる仮想コンテンツを生成する例を示しているが、これに限定されず、２Ｄビデオコンテンツ９１０に基づいて、２Ｄグラフィックスタイルを持つ仮想環境に対する互いに異なる仮想コンテンツを生成したり、３Ｄビデオコンテンツに基づいて、３Ｄグラフィックスタイル又は２Ｄグラフィックスタイルを持つ仮想環境に対する互いに異なる仮想コンテンツを生成したりできる。

【0096】

図１０は、本開示の一実施例に係る仮想コンテンツの生成方法１０００の例を示すフローチャートである。一実施例において、仮想コンテンツの生成方法１０００は、プロセッサ（例えば、情報処理システムの少なくとも一つのプロセッサ）により遂行できる。図に示すように、仮想コンテンツの生成方法１０００は、プロセッサがビデオコンテンツを受信することにより開始することができる（Ｓ１０１０）。

【0097】

一実施例によれば、プロセッサは、ビデオコンテンツに含まれる第１のオブジェクトの第１の動作データを抽出できる（Ｓ１０２０）。ここで、第１の動作データは、第１のオブジェクトの位置情報、ポーズ情報又は動き情報の少なくとも一つを含むことができる。具体的に、プロセッサは、第１の仮想環境のグラフィックスタイルに基づいて、第１の抽出レベルを決定できる。その後、プロセッサは、決定された第１の抽出レベルに基づいて、第１のオブジェクトの第１の動作データを抽出できる。さらに、プロセッサは、抽出された第１のオブジェクトの第１の動作データを、第１の仮想環境における表現可能な範囲に基づいて修正できる。

【0098】

続いて、プロセッサは、抽出された第１のオブジェクトの第１の動作データに基づいて、ビデオコンテンツを第１の仮想環境に適合するように変換することで、第１の仮想環境における仮想コンテンツを生成できる（Ｓ１０３０）。一実施例において、プロセッサは、第１の動作データに基づいて、第１の仮想環境における第２の動作データを生成できる。例えば、第１の仮想環境における第２の動作データは、第１の動作データを第１の機械学習モデルに入力して生成できる。ここで、第１の機械学習モデルは、第１の学習データ及び第２の学習データを利用して、第１の仮想環境における動作データを生成するように学習される機械学習モデルであり、第１の学習データは、学習用ビデオコンテンツから抽出される学習用動作データを含み、第２の学習データは、第１の仮想環境における学習用動作データを含むことができる。

【0099】

一実施例において、プロセッサは、第１の仮想環境のグラフィックスタイルに基づいて、第１のオブジェクトに対応する第１の仮想環境における第２のオブジェクトを生成できる。その後、プロセッサは、第２のオブジェクトに第２の動作データを適用できる。ここで、第２のオブジェクトは、第１の仮想環境のグラフィックスタイルのオブジェクトであり得る。例えば、プロセッサは、第１のオブジェクトと関連したデータを第２の機械学習モデルに入力できる。ここで、第２の機械学習モデルは、実写イメージに含まれるオブジェクトを第１の仮想環境のグラフィックスタイルに変換して、３Ｄオブジェクトを生成する生成ネットワークと、生成ネットワークにより生成された３Ｄオブジェクトが、第１の仮想環境のグラフィックスタイルであるか否かを判別する判別ネットワークとを含むことができる。

【0100】

一実施例において、プロセッサは、ビデオコンテンツに含まれる第１のオブジェクトの第３の動作データを抽出できる（Ｓ１０４０）。続いて、プロセッサは、抽出された第１のオブジェクトの第３の動作データに基づいて、ビデオコンテンツを第２の仮想環境に適合するように変換することで、第２の仮想環境における仮想コンテンツを生成できる（Ｓ１０５０）。ここで、第１の仮想環境のグラフィックスタイル及び第２の仮想環境のグラフィックスタイルは、互いに異なることができる。一実施例において、ビデオコンテンツから抽出される第１の動作データ及び第３の動作データは、同一又は互いに異なることができる。具体的に、プロセッサは、第２の仮想環境のグラフィックスタイルに基づいて、第２の抽出レベルを決定し、決定された第２の抽出レベルに基づいて、第１のオブジェクトの第３の動作データを抽出できる。その後、プロセッサは、第３の動作データに基づいて、第２の仮想環境における第４の動作データを生成できる。また、プロセッサは、第２の仮想環境のグラフィックスタイルに基づいて、第１のオブジェクトに対応する第２の仮想環境における第３のオブジェクトを生成できる。その後、プロセッサは、第３のオブジェクトに第４の動作データを適用できる。ここで、第３のオブジェクトは、第２の仮想環境のグラフィックスタイルのオブジェクトであり得る。

【0101】

一実施例において、プロセッサは、ビデオコンテンツに基づいて、第１の仮想環境における背景データを生成できる。一実施例において、プロセッサは、ビデオコンテンツに含まれる第１の背景データを抽出できる。例えば、プロセッサは、第１の仮想環境のグラフィックスタイルに基づいて、第３の抽出レベルを決定できる。その後、プロセッサは、決定された第３の抽出レベルに基づいて、ビデオコンテンツから第１の背景データを抽出できる。そして、プロセッサは、第１の背景データに基づいて、第１の仮想環境における第２の背景データを生成できる。ここで、第２の背景データは、第１の仮想環境のグラフィックスタイルの３Ｄ背景データであり得る。その後、プロセッサは、抽出された第１のオブジェクトの第１の動作データ及び第２の背景データに基づいて、第１の仮想環境における仮想コンテンツを生成できる。

【0102】

一実施例において、プロセッサは、ビデオコンテンツに含まれる第３の背景データを抽出できる。具体的に、プロセッサは、第２の仮想環境のグラフィックスタイルに基づいて、第４の抽出レベルを決定できる。プロセッサは、決定された第４の抽出レベルに基づいて、ビデオコンテンツから第３の背景データを抽出できる。その後、プロセッサは、第３の背景データに基づいて、第２の仮想環境における第４の背景データを生成できる。ここで、第４の背景データは、第２の仮想環境のグラフィックスタイルの３Ｄ背景データであり得る。その後、プロセッサは、抽出された第１のオブジェクトの第１の動作データ及び第２の背景データに基づいて、第１の仮想環境における仮想コンテンツを生成できる。

【0103】

図１０のフローチャート及び前述した説明は、一例に過ぎず、他の実施例では多様な方式で具現化され得る。例えば、各ステップの順序が変更されたり、一つ以上のステップが追加されたり、一つ以上のステップが省略されたりできる。他の例として、一つ以上のステップが他の構成により遂行されることもできる。

【0104】

前述した方法は、コンピュータで実行するために、コンピュータ読取り可能な記録媒体に保存されたコンピュータプログラムとして提供され得る。媒体は、コンピュータで実行可能なプログラムを継続的に保存し、または、実行又はダウンロードのために一時保存するものであり得る。また、媒体は、単一又は多数のハードウェアが結合された形態の多様な記録手段又は保存手段であり得るが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散して存在するものであり得る。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクや磁気テープのような磁気媒体、ＣＤ－ＲＯＭやＤＶＤのような光記録媒体、フロプティカルディスク（floptical disk）のような磁気－光媒体（magneto-optical medium）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものが挙げられる。また、他の媒体の例としては、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給乃至流通するサイト、サーバーなどで管理する記録媒体乃至保存媒体も挙げられる。

【0105】

本開示の方法、動作、又は技法は、多様な手段により具現化できる。例えば、このような技法は、ハードウェア、ファームウェア、ソフトウェア、若しくは、これらの組合せで具現化できる。本願の開示により説明された多様な例示的な論理的ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、若しくは、両方の組合せで具現化できることを、当業者であれば理解できるはずである。ハードウェア及びソフトウェアのこのような相互の代替を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、及びステップが、それらの機能的観点から一般的に前述された。そのような機能が、ハードウェアとして具現化されるか、若しくは、ソフトウェアとして具現化されるかは、特定アプリケーション及び全体システムに付加される設計要求事項によって変化する。当業者は、各々の特定アプリケーションのために多様な方式により説明された機能を具現化することもできるが、そのような具現化は、本開示の範囲から逸脱するものと解釈してはならない。

【0106】

ハードウェアの具現化において、技法の遂行に利用されるプロセッシングユニットは、一つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（digital signal processing devices DSPD）、プログラム可能な論理デバイス（programmable logic devices PLD）、フィールドプログラム可能なゲートアレイ（field programmable gate arrays FPGA）、プロセッサ、制御器、マイクロ制御器、マイクロプロセッサ、電子デバイス、本開示に説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、若しくは、これらの組合せにおいても具現化され得る。

【0107】

したがって、本開示により説明された多様な例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡや他のプログラム可能な論理デバイス、離散ゲートやトランジスタロジック、離散ハードウェアコンポーネント、若しくは、本願に説明された機能を遂行するように設計されたもの等の任意の組合せで、具現化又は遂行されることもできる。汎用プロセッサは、マイクロプロセッサであり得るが、代替的に、プロセッサは、任意の従来のプロセッサ、制御器、マイクロ制御器、若しくは、状態マシンであり得る。プロセッサは、また、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連した一つ以上のマイクロプロセッサ、若しくは、任意の他の構成の組合せで具現化されることもできる。

【0108】

ファームウェア及び／又はソフトウェアの具現化において、技法は、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、ＮＶＲＡＭ（non-volatile random access memory）、ＰＲＯＭ（programmable read-only memory）、ＥＰＲＯＭ（erasable programmable read-only memory）、ＥＥＰＲＯＭ（electrically erasable PROM）、フラッシュメモリ、ＣＤ（compact disc）、磁気又は光学データストレージデバイスなどのようなコンピュータ読取り可能な媒体上に保存された命令で具現化できる。命令は、一つ以上のプロセッサによって実行可能であり、プロセッサ等が、本開示に説明された機能の特定態様を遂行するようにできる。

【0109】

ソフトウェアとして具現化される場合、前記技法は、一つ以上の命令又はコードとしてコンピュータ読取り可能な媒体上に保存されたり、コンピュータ読取り可能な媒体を介して転送されたりできる。コンピュータ読取り可能な媒体は、ある場所から他の場所にコンピュータプログラムの転送を容易にする任意の媒体を含み、コンピュータ保存媒体及び通信媒体の両方を含む。保存媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であり得る。非制限的な例として、このようなコンピュータ読取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭや他の光学ディスクストレージ、磁気ディスクストレージや他の磁気ストレージデバイス、若しくは、所望のプログラムコードを命令又はデータ構造の形態で移送又は保存するために使用されることができ、コンピュータによってアクセスできる任意の他の媒体を含むことができる。また、任意の接続がコンピュータ読取り可能な媒体として適切に称することができる。

【0110】

例えば、ソフトウェアが同軸ケーブル、光ファイバーケーブル、鉛線、デジタル加入者回線（ＤＳＬ）、又は、赤外線、無線及びマイクロ波のような無線技術を用いて、ウェブサイト、サーバー又は他の遠隔ソースから転送される場合、同軸ケーブル、光ファイバーケーブル、鉛線、デジタル加入者回線、又は、赤外線、無線及びマイクロ波などのような無線技術は、媒体の定義内に含まれる。本願で使用されるディスク（disk）及びディスク（disc）は、ＣＤ、レーザーディスク、光ディスク、ＤＶＤ（digital versatile disc）、フロッピーディスク及びブルーレイディスクを含み、ここで、通常、ディスク（disk）は磁気的にデータを再生するのに対し、ディスク（disc）はレーザーを用いて光学的にデータを再生する。前記組合せ等も、コンピュータ読取り可能な媒体等の範囲内に含まれなければならない。

【0111】

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、移動式ディスク、ＣＤ－ＲＯＭ、又は、公知された任意の異なる形態の保存媒体内に常駐することもできる。例示的な保存媒体は、プロセッサが保存媒体から情報を読取るように、或いは、保存媒体に情報を書込むように、プロセッサに連結することができる。代替的に、保存媒体はプロセッサに統合されることもできる。プロセッサ及び保存媒体はＡＳＩＣ内に存在することもできる。ＡＳＩＣはユーザ端末内に存在することもできる。代替的に、プロセッサ及び保存媒体は、ユーザ端末で個別構成要素として存在することもできる。

【0112】

前述した実施例は、一つ以上の独立型コンピュータシステムで現在開示された主題の態様を活用するものとして記述しているが、本開示は、これに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境によって具現化できる。さらには、本開示における主題の態様は、複数のプロセッシングチップや装置で具現化することもでき、ストレージは、複数の装置にわたって類似に影響を受けることもできる。このような装置は、ＰＣ、ネットワークサーバー及び携帯用装置を含むこともできる。

【0113】

本明細書では、本開示が一部の実施例によって説明されてきたが、本開示の発明が属する技術分野における当業者が理解し得る本開示から逸脱しない範囲内で、多様な変形や変更が可能である。また、そのような変形や変更は、本明細書に添付された特許請求の範囲内に属するものと理解されるべきである。

【符号の説明】

【0114】

１１０ 情報処理システム
１２０ ビデオコンテンツ
１３０ 第１の仮想環境における仮想コンテンツ
１４０ 第２の仮想環境における仮想コンテンツ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】