2022-554232 没入型コンテンツから２Ｄ映画を作成するシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-28

(54)【発明の名称】没入型コンテンツから２Ｄ映画を作成するシステムおよび方法

(51)【国際特許分類】

   G06T 13/20 20110101AFI20221221BHJP

   G06F 3/0481 20220101ALI20221221BHJP

   H04N 21/44 20110101ALI20221221BHJP

   H04N 21/442 20110101ALI20221221BHJP

   G06T 19/00 20110101ALI20221221BHJP

【ＦＩ】

G06T13/20

G06F3/0481

H04N21/44

H04N21/442

G06T19/00 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022524585

(86)(22)【出願日】2020-10-23

(85)【翻訳文提出日】2022-06-22

(86)【国際出願番号】 US2020057158

(87)【国際公開番号】W WO2021081398

(87)【国際公開日】2021-04-29

(31)【優先権主張番号】62/925,710

(32)【優先日】2019-10-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/078,062

(32)【優先日】2020-10-22

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/078,071

(32)【優先日】2020-10-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522166323

【氏名又は名称】バオバブ スタジオズ インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ソロヴィク、ミカイル スタニスラヴォビッチ

(72)【発明者】

【氏名】ワン、ウェイ

(72)【発明者】

【氏名】ダークセン、ナサニエル クリストファー

(72)【発明者】

【氏名】カトラー、ロウレンス デイビッド

(72)【発明者】

【氏名】レリオス、アポストロス

【テーマコード（参考）】

5B050

5C164

5E555

【Ｆターム（参考）】

5B050AA09

5B050BA08

5B050BA09

5B050BA11

5B050CA07

5B050EA17

5B050EA24

5B050EA26

5C164UB01P

5C164UB41P

5C164YA10

5C164YA11

5C164YA21

5E555AA76

5E555BA02

5E555BA73

5E555BB02

5E555BC18

5E555BE17

5E555DD06

5E555EA14

5E555FA00

(57)【要約】

システム、方法、および非一時的コンピュータ可読媒体は、コンピュータベースの体験に関連付けられたデータを取得することができる。コンピュータベースの体験は、インタラクティブリアルタイム技術に基づくことができる。少なくとも１つの仮想カメラは、リアルタイムエンジンにおけるコンピュータベースの体験内に構成されることができる。コンピュータベースの体験の編集カットに関連付けられたデータは、少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて取得されることができる。２次元コンテンツに対応する複数のショットは、リアルタイムエンジンにおけるコンピュータベースの体験の編集カットから生成できる。コンピュータベースの体験の２次元バージョンに関連付けられたデータは、複数のショットに基づいて、リアルタイムエンジンを用いて生成できる。２次元バージョンは、生成されたデータに基づいてレンダリングされることができる。

【特許請求の範囲】

【請求項1】

コンピューティングシステムが、コンピュータベースの体験に関連付けられたデータを取得する段階であって、前記コンピュータベースの体験は、インタラクティブリアルタイム技術に基づいている、段階と；
前記コンピューティングシステムが、リアルタイムエンジンにおける前記コンピュータベースの体験内に少なくとも１つの仮想カメラを構成する段階と；
前記コンピューティングシステムが、前記少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて、前記コンピュータベースの体験の編集カットに関連付けられたデータを取得する段階と；
前記コンピューティングシステムが、前記リアルタイムエンジンにおける前記コンピュータベースの体験の前記編集カットから、２次元コンテンツに対応する複数のショットを生成する段階と；
前記コンピューティングシステムが、前記リアルタイムエンジンを用いて、前記コンピュータベースの体験の２次元バージョンに関連付けられたデータを生成する段階であって、前記２次元バージョンは、前記生成されたデータに基づいてレンダリングされることができる、段階と
を備える、コンピュータ実装方法。

【請求項2】

前記コンピュータベースの体験は、没入型リアルタイム技術に基づいている、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記２次元バージョンに関連付けられた前記データは、インタラクティブ２Ｄコンテンツである、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

前記編集カットに関連付けられた前記データを取得する段階はさらに、
前記コンピューティングシステムが、非線形ビデオ編集ソフトウェアから前記リアルタイムエンジンへの前記編集カットにおいて反映された編集のセットを説明しているデータをインポートする段階を含む、請求項１から３のいずれか一項に記載のコンピュータ実装方法。

【請求項5】

前記２次元コンテンツに対応する前記複数のショットを生成する段階はさらに、
前記コンピューティングシステムが、前記リアルタイムエンジンを用いて、前記複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに追加のセットドレッシングとレイアウトデータとを適用する段階と；
前記コンピューティングシステムが、前記１または複数のフレームに照明と１または複数のメディア効果とを適用する段階であって、前記照明と前記１または複数のメディア効果とは、前記リアルタイムエンジンにおける前記コンピュータベースの体験に適用された前記照明と前記１または複数のメディア効果との上部に追加される、段階と
を備える、請求項１から４のいずれか一項に記載のコンピュータ実装方法。

【請求項6】

前記コンピュータベースの体験の前記２次元バージョンに関連付けられたデータを前記リアルタイムエンジンから生成する段階はさらに、
前記コンピューティングシステムが、アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つの新しいショットを生成する段階、または
前記コンピューティングシステムが、前記アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する段階
を含む、請求項１から５のいずれか一項に記載のコンピュータ実装方法。

【請求項7】

前記コンピューティングシステムが、前記１または複数のアニメーション修正の適用の前に前記少なくとも１つのショットのコピーを作成する段階であって、前記１または複数のアニメーション修正は前記コピーに適用される、段階
をさらに備える、請求項６に記載のコンピュータ実装方法。

【請求項8】

前記リアルタイムエンジンにおける前記コンピュータベースの体験内に少なくとも１つの仮想カメラを構成する段階はさらに、
前記コンピューティングシステムが、前記インタラクティブリアルタイム技術がそれを介して提示される視聴媒体の少なくとも１つの実世界構成から、前記少なくとも１つの仮想カメラの構成を導出する段階を含む、請求項１から７のいずれか一項に記載のコンピュータ実装方法。

【請求項9】

前記レンダリングは、前記リアルタイムエンジンを介してエディタ内で実行される、請求項８に記載のコンピュータ実装方法。

【請求項10】

前記コンピューティングシステムが、前記２次元バージョンに関連付けられたタイムラインを決定する段階と；
前記コンピューティングシステムが、前記タイムラインにおいてレンダリングされるようにマーク付けされた領域を決定する段階と；
前記コンピューティングシステムが、前記リアルタイムエンジンを用いて、前記領域に対応する前記２次元バージョンの一部をレンダリングする段階と
をさらに備える、請求項８に記載のコンピュータ実装方法。

【請求項11】

システムであって、
少なくとも１つのプロセッサと；
命令を記憶するメモリであって、前記少なくとも１つのプロセッサによって実行される場合、前記システムに：
コンピュータベースの体験に関連付けられたデータを取得する段階であって、前記コンピュータベースの体験は、インタラクティブリアルタイム技術に基づいている、段階と；
リアルタイムエンジンにおける前記コンピュータベースの体験内に少なくとも１つの仮想カメラを構成する段階と；
前記少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて、前記コンピュータベースの体験の編集カットに関連付けられたデータを取得する段階と；
前記リアルタイムエンジンにおける前記コンピュータベースの体験の前記編集カットから、２次元コンテンツに対応する複数のショットを生成する段階と；
前記リアルタイムエンジンを用いて、前記コンピュータベースの体験の２次元バージョンに関連付けられたデータを生成する段階であって、前記２次元バージョンは、前記生成されたデータに基づいてレンダリングされることができる、段階と
を含む方法を実行させる、命令を記憶するメモリと
を備える、システム。

【請求項12】

前記コンピュータベースの体験は、没入型リアルタイム技術に基づいており、前記２次元バージョンに関連付けられた前記データは、インタラクティブ２Ｄコンテンツである、請求項１１に記載のシステム。

【請求項13】

前記編集カットに関連付けられた前記データを取得する段階はさらに、
非線形ビデオ編集ソフトウェアから前記リアルタイムエンジンへの前記編集カットにおいて反映された編集のセットを説明しているデータをインポートする段階を含む、請求項１１または１２に記載のシステム。

【請求項14】

前記２次元コンテンツに対応する前記複数のショットを生成する段階はさらに、
前記リアルタイムエンジンを用いて、前記複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに追加のセットドレッシングとレイアウトデータとを適用する段階と；
前記１または複数のフレームに照明と１または複数のメディア効果とを適用する段階であって、前記照明と前記１または複数のメディア効果とは、前記リアルタイムエンジンにおける前記コンピュータベースの体験に適用された前記照明と前記１または複数のメディア効果との上部に追加される、段階と
を備える、請求項１１から１３のいずれか一項に記載のシステム。

【請求項15】

前記コンピュータベースの体験の前記２次元バージョンに関連付けられたデータを前記リアルタイムエンジンから生成する段階はさらに、
アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つの新しいショットを生成する段階、または
前記アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する段階
を含む、請求項１１から１４のいずれか一項に記載のシステム。

【請求項16】

コンピュータプログラムであって、コンピューティングシステムの少なくとも１つのプロセッサによって実行される場合、前記コンピューティングシステムに、
コンピュータベースの体験に関連付けられたデータを取得する手順であって、前記コンピュータベースの体験は、インタラクティブリアルタイム技術に基づいている、手順と；
リアルタイムエンジンにおける前記コンピュータベースの体験内に少なくとも１つの仮想カメラを構成する手順と；
前記少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて、前記コンピュータベースの体験の編集カットに関連付けられたデータを取得する手順と；
前記リアルタイムエンジンにおける前記コンピュータベースの体験の前記編集カットから、２次元コンテンツに対応する複数のショットを生成する手順と；
前記リアルタイムエンジンを用いて、前記コンピュータベースの体験の２次元バージョンに関連付けられたデータを生成する手順であって、前記２次元バージョンは、前記生成されたデータに基づいてレンダリングされることができる、手順と
を含む方法を実行させる命令を有する、コンピュータプログラム。

【請求項17】

前記コンピュータベースの体験は、没入型リアルタイム技術に基づいており、前記２次元バージョンに関連付けられた前記データは、インタラクティブ２Ｄコンテンツである、請求項１６に記載のコンピュータプログラム。

【請求項18】

前記編集カットに関連付けられた前記データを取得する手順はさらに、
非線形ビデオ編集ソフトウェアから前記リアルタイムエンジンへの前記編集カットにおいて反映された編集のセットを説明しているデータをインポートする手順を含む、請求項１６または１７に記載のコンピュータプログラム。

【請求項19】

前記２次元コンテンツに対応する前記複数のショットを生成する手順はさらに、
前記リアルタイムエンジンを用いて、前記複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに追加のセットドレッシングとレイアウトデータとを適用する手順と；
前記１または複数のフレームに照明と１または複数のメディア効果とを適用する手順であって、前記照明と前記１または複数のメディア効果とは、前記リアルタイムエンジンにおける前記コンピュータベースの体験に適用された前記照明と前記１または複数のメディア効果との上部に追加される、手順と
を備える、請求項１６から１８のいずれか一項に記載のコンピュータプログラム。

【請求項20】

前記コンピュータベースの体験の前記２次元バージョンに関連付けられたデータを前記リアルタイムエンジンから生成する手順はさらに、
アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つの新しいショットを生成する手順、または
前記アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する手順
を含む、請求項１６から１９のいずれか一項に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、デジタルアニメーションの分野に関連する。より具体的には、本技術は、ＡＲ／ＶＲコンテンツから２Ｄコンテンツを生成する技術に関連する。

【背景技術】

【0002】

仮想現実（ＶＲ）および拡張現実（ＡＲ）は、コンテンツ制作者が他の媒体においては不可能な方式で視聴者を没入させることを可能にする、エンターテインメントおよびストーリーテリングのための新しい媒体である。ＶＲおよびＡＲは、オーディエンスが相互作用および感情移入できるキャラクタを用いて魅力のあるストーリを伝える強力な没入型プラットフォームである。ユーザ（例えば、視聴者）は、自身の周りの世界に直感的に接続されている。ユーザは、没入することができ、主体性を持つことができ、どこでも見ることができる。また、ユーザは、果たす役割を持つことができ、行動するように刺激されることができる。キャラクタは、それらの世界に存在するユーザを認知することができ、リアルタイムのユーザ行動に応答することができる。対照的に、２Ｄコンテンツ（例えば、動画、映画、テレビショー）は、キャラクタへの感情移入を誘導できるが、当然ながら相互作用はない、受動的および映画的媒体である。

【発明の概要】

【0003】

本技術の様々な実施形態は、コンピュータベースの体験に関連付けられたデータを取得するように構成されたシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。コンピュータベースの体験は、インタラクティブリアルタイム技術に基づくことができる。少なくとも１つの仮想カメラは、リアルタイムエンジンにおけるコンピュータベースの体験内に構成されることができる。コンピュータベースの体験の編集カットに関連付けられたデータは、少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて取得されることができる。２次元コンテンツに対応する複数のショットは、リアルタイムエンジンにおけるコンピュータベースの体験の編集カットから生成できる。コンピュータベースの体験の２次元バージョンに関連付けられたデータは、複数のショットに基づいて、リアルタイムエンジンを用いて生成できる。２次元バージョンは、生成されたデータに基づいてレンダリングされることができる。

【0004】

実施形態において、コンピュータベースの体験は、没入型リアルタイム技術に基づいている。

【0005】

実施形態において、２次元バージョンに関連付けられたデータは、インタラクティブ２Ｄコンテンツである。

【0006】

実施形態において、前記編集カットに関連付けられた前記データを取得する段階はさらに、非線形ビデオ編集ソフトウェアから前記リアルタイムエンジンへの前記編集カットにおいて反映された編集のセットを説明しているデータをインポートする段階を含む。

【0007】

実施形態において、前記２次元コンテンツに対応する前記複数のショットを生成する段階はさらに、前記リアルタイムエンジンを用いて、前記複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに追加のセットドレッシングとレイアウトデータとを適用する段階と；前記１または複数のフレームに照明と１または複数のメディア効果とを適用する段階であって、前記照明と前記１または複数のメディア効果とは、前記リアルタイムエンジンにおける前記コンピュータベースの体験に適用された前記照明と前記１または複数のメディア効果との上部に追加される、段階とを備える。

【0008】

実施形態において、前記コンピュータベースの体験の前記２次元バージョンに関連付けられたデータを前記リアルタイムエンジンから生成する段階はさらに、アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つの新しいショットを生成する段階、または前記アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する段階を含む。

【0009】

実施形態において、システム、方法、および非一時的コンピュータ可読媒体は、１または複数のアニメーション修正の適用の前に少なくとも１つのショットのコピーを作成するように構成されており、１または複数のアニメーション修正がコピーに適用される。

【0010】

実施形態において、２次元バージョンに関連付けられたデータを生成する段階はさらに、リアルタイムエンジンを用いて２次元バージョンをレンダリングする段階を含む。

【0011】

実施形態において、レンダリングする段階は、リアルタイムエンジンを介してエディタ内で実行される。

【0012】

実施形態において、システム、方法、および非一時的コンピュータ可読媒体は、２次元バージョンに関連付けられたタイムラインを決定することと；タイムラインにおいてレンダリングされるようにマーク付けされた領域を決定することと；リアルタイムエンジンを用いて、領域に対応する２次元バージョンの一部をレンダリングすることとを行うように構成されている。

【0013】

本技術の様々な実施形態は、コンピュータベースの体験に関連付けられたデータを取得するように構成されたシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。コンピュータベースの体験は、インタラクティブリアルタイム技術に基づくことができる。少なくとも１つの仮想カメラは、アニメーション作成アプリケーションにおけるコンピュータベースの体験内に構成されることができる。２次元コンテンツに対応する複数のショットは、アニメーション作成アプリケーションにおいて少なくとも１つの仮想カメラによってキャプチャされたコンテンツの編集カットから生成できる。コンピュータベースの体験の２次元バージョンに関連付けられたデータは、複数のショットに基づいて、リアルタイムエンジンにおいて生成できる。２次元バージョンは、生成されたデータに基づいてレンダリングされることができる。

【0014】

実施形態において、システム、方法、および非一時的コンピュータ可読媒体は、リアルタイムエンジンにおいて２次元バージョンをレンダリングするように構成されている。

【0015】

実施形態において、２次元コンテンツに対応する複数のショットを生成する段階はさらに、非線形ビデオ編集ソフトウェアからコンピュータベースの体験の編集カットに関連付けられたデータを取得する段階を含む。

【0016】

実施形態において、２次元コンテンツに対応する複数のショットを生成する段階はさらに、アニメーション作成アプリケーションにおいて生成された複数のショットに関連付けられたデータをリアルタイムエンジンにインポートする段階を含む。

【0017】

実施形態において、システム、方法、および非一時的コンピュータ可読媒体は、コンピュータベースの体験に関連付けられた第２のアニメーション層とは別個の２次元バージョンに関連付けられた第１のアニメーション層を作成するように構成されており、複数のショット内のショットに行われた調整は第１のアニメーション層に適用される。

【0018】

実施形態において、システム、方法、および非一時的コンピュータ可読媒体は、コンピュータベースの体験に関連付けられた第２のアニメーション層とは別個の２次元バージョンに対応するタイムラインに関連付けられた第１のアニメーション層を作成するように構成されており、２次元バージョンに対応するタイムラインに行われた調整は第１のアニメーション層に適用される。

【0019】

実施形態において、２次元コンテンツに対応する複数のショットを生成する段階はさらに、アニメーション作成アプリケーションにおいて２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する段階を含む。

【0020】

実施形態において、アニメーション作成アプリケーションにおいて２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する段階はさらに、１または複数のアニメーション修正の適用の前に少なくとも１つのショットのコピーを作成する段階であって、１または複数のアニメーション修正がコピーに適用される、段階を含む。

【0021】

実施形態において、システム、方法、および非一時的コンピュータ可読媒体は、リアルタイムエンジンにおいてコンピュータベースの体験に関連付けられたフレームに、照明と１または複数のメディア効果とを適用することと；リアルタイムエンジンにおいて２次元バージョンに関連付けられたフレームに、照明と１または複数のメディア効果とを適用することであって、２次元バージョンに関連付けられたフレームへの照明と１または複数のメディア効果とは、コンピュータベースの体験に適用された照明と１または複数のメディア効果との上部に追加されることとを行うように構成されている。

【0022】

実施形態において、システム、方法、および非一時的コンピュータ可読媒体は、リアルタイムエンジンにおいて複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに、追加のセットドレッシングとレイアウトデータとを適用するように構成されている。

【図面の簡単な説明】

【0023】

【図1A】ＡＲ／ＶＲコンテンツおよび２Ｄコンテンツを生成する従来のワークフローを示す。

【図1B】ＡＲ／ＶＲコンテンツおよび２Ｄコンテンツを生成する従来のワークフローを示す。

【0024】

【図2】本技術の実施形態に係る、２Ｄコンテンツを生成する例示的なシステムを示す。

【0025】

【図3A】本技術の実施形態に係る、例示的な方法を示す。

【図3B】本技術の実施形態に係る、例示的な方法を示す。

【0026】

【図4】本技術の実施形態に係る、２Ｄコンテンツを生成する別の例示的なシステムを示す。

【0027】

【図5A】本技術の実施形態に係る、例示的な方法を示す。

【図5B】本技術の実施形態に係る、例示的な方法を示す。

【0028】

【図6】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図7】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図8】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図9】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図10】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図11】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図12】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図13】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図14】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図15】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図16】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【図17】本技術の実施形態に係る様々なインタフェースおよび関連する出力を示す。

【0029】

【図18】本技術の実施形態に係るＡＲ／ＶＲコンテンツから導出された２Ｄコンテンツへの様々な改良を示す。

【図19】本技術の実施形態に係るＡＲ／ＶＲコンテンツから導出された２Ｄコンテンツへの様々な改良を示す。

【図20】本技術の実施形態に係るＡＲ／ＶＲコンテンツから導出された２Ｄコンテンツへの様々な改良を示す。

【図21】本技術の実施形態に係るＡＲ／ＶＲコンテンツから導出された２Ｄコンテンツへの様々な改良を示す。

【図22】本技術の実施形態に係るＡＲ／ＶＲコンテンツから導出された２Ｄコンテンツへの様々な改良を示す。

【図23】本技術の実施形態に係るＡＲ／ＶＲコンテンツから導出された２Ｄコンテンツへの様々な改良を示す。

【図24】本技術の実施形態に係るＡＲ／ＶＲコンテンツから導出された２Ｄコンテンツへの様々な改良を示す。

【0030】

【図25】本技術の実施形態に係る、様々なシナリオにおいて利用できるコンピュータシステムまたはコンピューティングデバイスの例を示す。

【0031】

これらの図は、例示の目的のためだけに、開示された技術の様々な実施形態を図示しており、これらの図では、同じ参照番号を使用して同じ要素を識別している。当業者であれば、本明細書に説明されている開示された技術の原理から逸脱することなくこれらの図に示された構造および方法の代替的な実施形態が利用できるということを、以下の説明から容易に認識するであろう。

【発明を実施するための形態】

【0032】

没入型コンテンツから２Ｄ映画を作成する

【0033】

仮想現実（ＶＲ）および拡張現実（ＡＲ）は、コンテンツ制作者が他の媒体においては不可能な方式で視聴者を没入させることを可能にする、エンターテインメントおよびストーリーテリングのための新しい媒体である。ＶＲおよびＡＲは、オーディエンスが相互作用および感情移入できるキャラクタを用いて魅力のあるストーリを伝える強力なリアルタイム没入型プラットフォームである。ユーザ（例えば、視聴者）は、自身の周りの世界に直感的に接続されている。ユーザは、没入することができ、自ら行動する力を持つことができ、どこでも見ることができる。また、ユーザは、果たす役割を持つことができ、行動するように刺激されることができる。キャラクタは、それらの世界に存在するユーザを認知することができ、リアルタイムのユーザ行動に応答することができる。対照的に、２Ｄコンテンツ（例えば、動画、映画、テレビショー）は、キャラクタへの感情移入を誘導できるが、典型的には相互作用はない、受動的および映画的媒体である。より最近は、インタラクティブ２Ｄコンテンツ（例えば、インタラクティブテレビショー）は、ユーザがストーリにおける特定の時刻に選択を行い、次にストーリは、ナラティブの分岐ごとに、交互の２Ｄストーリーラインと交互の２Ｄコンテンツとに分岐することを可能にする。

【0034】

ストーリーテリングプロジェクトは、従来のコンピュータアニメーション化動画パイプライン（またはプロセス）に依存して、動画またはテレビなどの非インタラクティブ媒体用の２Ｄコンテンツを制作し得る。さらに、ストーリーテリングプロジェクトは、インタラクティブリアルタイムパイプライン（またはプロセス）に依存して、ＶＲまたはＡＲ技術に基づくコンピュータアニメーション化リアルタイム体験などの、インタラクティブ媒体用のＡＲ／ＶＲコンテンツを制作し得る。ストーリーテリングプロジェクトは、インタラクティブリアルタイムパイプライン（またはプロセス）に依存して、モバイル、コンソールまたはＰＣ技術に基づくコンピュータアニメーション化リアルタイム体験などの、インタラクティブゲームコンテンツを制作し得る。場合により、ストーリーテリングプロジェクトでは、インタラクティブ媒体と非インタラクティブ媒体との両方のためにコンテンツが制作される必要があり得る。例えば、ストーリーテリングプロジェクトは、ＶＲまたはＡＲ技術に基づく没入型体験を好む視聴者のためのストーリのインタラクティブバージョンと、従来の２Ｄ動画体験を好む視聴者のためのストーリの非インタラクティブバージョンとを必要とし得る。図１Ａおよび図１Ｂに関連して説明されているように、従来のアプローチ下で、ＡＲ／ＶＲバージョンは、インタラクティブリアルタイムプロセスに基づいて作成され、２Ｄバージョンは、従来のコンピュータアニメーション化動画プロセスに基づいて別途作成される。

【0035】

図１Ａは、ストーリ用のＡＲ／ＶＲコンテンツを作成するための例示的な従来のインタラクティブリアルタイムパイプライン１００を示す。示されたように、インタラクティブリアルタイムパイプライン１００は、様々な２次元（２Ｄ）ツール１０２を使用してコンセプト展開を開始する。最初は、ブロック１０４において、ストーリおよびスクリプトが、インタラクティブストーリまたはゲームなどのインタラクティブコンテンツのために作成され得る。ストーリおよびスクリプトは、ユーザ（または視聴者）の役割、インタラクティブ機構、および非線形性を検討し得る。例えば、ユーザ選択に基づく交互のダイアログの台詞が存在し得る。ブロック１０６において、ストーリが洗練されると、コンセプトアートワークが作成できる。環境コンセプトアートおよびキャラクタのデザインが作成され、ストーリの世界およびキャラクタを探索することができる。ブロック１０８において、ユーザがキャラクタ、ストーリ、および環境と相互作用する方式が設計され得る。例えば、これは、コア機構、インタラクティブ要素、および非線形ストーリフローを設計することを含むことができる。ブロック１１０において、スクリプトは２Ｄストーリーボード図面に変換されて、シーンを視覚的に生き生きとさせることができる。２Ｄストーリーボードはまずディレクタに投げられ、反復され、次にビデオストーリーリールに編集される。２Ｄストーリーボードは、高価な制作作業をこれ以上行わずに全体の映画を見るための、迅速かつ安価な方式を提供する。ブロック１１４において、リアルタイムエンジン１１２は、２Ｄツール１０２によって生成された２Ｄストーリーボードに基づいて、３Ｄストーリーボードを制作する。ストーリーボードは３Ｄで作成されることができるので、３次元環境において配置され視聴されることができる。３Ｄストーリーボードは、３Ｄ空間において移動する、または、リアルタイムエンジン１１２、他の３Ｄ作画／ストーリボーディングツールもしくはＶＲ作画／ストーリボーディングツールにおいて直接３Ｄで描かれている、２Ｄスプライトとして作成されることができる。次に、ブロック１１６において、プリビズがリアルタイムエンジン１１２において行われ、アニメーション制作に入る前のシーンを視覚化することができる。ブロック１１８において、エディトリアルは、ダイアログ、音楽、オーディオを追加して、タイミングのためにショットシーケンスを編集する。いくつかの場合において、動画編集は、コンテンツがユーザ入力に基づいて変化するので、生成されない場合がある。ブロック１２０において、セットドレッシング、最終環境モデル、および最終キャラクタが、シーンに組み込まれ得る。ブロック１２４において、アニメーション作成ツール１２２を使用して、全てのキャラクタおよび環境アセットを作成する。ブロック１２６において、シーンおよびショットがアニメーション化され得る。インタラクティブゲームおよびＡＲ／ＶＲコンテンツにおいて、１つのショットは、典型的には１つのキャラクタの行動（アニメーションサイクルまたはサイクルアニメーションと呼ばれる）を表す。ブロック１２８において、リアルタイムエンジン１１２は、非線形アニメーションフレームワーク、ＡＩシステム、および他の手順の方法を介して、アニメーションを組み合わせるおよび／または手順通りに生成することができる。ブロック１３０において、リアルタイムエンジン１１２は、ＦＸおよびシミュレーション要素を作成できる。ブロック１３２において、リアルタイムエンジン１１２は、リアルタイムのアニメーションに対して照明効果を適用できる。これは多くの場合、シーン内の静的要素（すなわち、環境の動いていない部分）に対して計算されたプリベークされた（ｐｒｅ－ｂａｋｅｄ）大域照明と組み合わせて、シーンの動的である且つ静的でない要素（すなわち、キャラクタ）のためにリアルタイムで計算されたいくつかの動的な光を介して実現される。ブロック１３４において、リアルタイムエンジン１１２は、インタラクティブアプリケーションを出力する。インタラクティブアプリケーションは、ＶＲまたはＡＲ技術に基づくコンピュータアニメーション化リアルタイム体験、または、インタラクティブゲームであり得る。

【0036】

図１Ｂは、非インタラクティブ２Ｄコンテンツ（例えば、２Ｄコンピュータアニメーション化動画）を作成するための例示的な従来のコンピュータアニメーション化動画パイプライン１５０を示す。示されたように、コンピュータアニメーション化動画パイプライン１５０は、様々な２次元（２Ｄ）ツール１５２を使用してコンセプト展開を開始する。ブロック１５４において、２Ｄコンピュータアニメーション化動画のためにストーリが作成され得る。ストーリは、映画脚本またはスクリプトを作成するのに使用され得る。ブロック１５６において、ストーリが洗練され、動画の外見を定義するためにコンセプトアートワークが作成され得る。環境コンセプトアートおよびキャラクタのデザインが作成され、ストーリの世界およびキャラクタを探索することができる。ブロック１５８において、スクリプトは２Ｄストーリーボード図面に変換されて、シーンを視覚的に生き生きとさせることができる。２Ｄストーリーボードはまずディレクタに投げられ、反復され、次にビデオストーリーリールに編集される。２Ｄストーリーボードは、高価な制作作業をこれ以上行わずに全体の映画を見るための、迅速かつ安価な方式を提供する。ブロック１６０において、プリビズアーティストは、ストーリーボードリールをシーケンスの３Ｄプリビジュアライゼーションに変換する。プリビズアーティストは、環境モデルおよびキャラクタモデルの模型を作成する。次にアーティストは、シーンに仮想カメラを配置して、映画撮影を確立するとともにエディトリアル映像を提供して、ショットを共にカットできる。ブロック１６２において、エディタは、カメラショットを単一シーケンス動画に組み合わせる非線形ビデオ編集ソフトウェアにおいて編集カットを作成し得る。この編集カットはディレクタによってレビューされ得、これは多くの場合、既存のカメラを調整することおよび／またはプリビズアーティストによって追加のカメラが作成されることを必要とする。ブロック１６４において、キャラクタおよび環境は、テクスチャを有する最終３Ｄモデルに変換され得る。キャラクタアセットはデジタルパペットとしてリギングされ、それによりアニメータは、信頼できる方式でこれらのキャラクタを移動させ感情を表現させることができる。ブロック１６６において、最終ショットが作成され、カメラ映画撮影が洗練され、セットドレッシングがショット単位で調整される。ブロック１６８において、アニメーションが一連のショットまたはシーンに分割され得る。所与のショットの場合、アニメータが手でアニメーション化してもまたは継時的にキャラクタをキーフレームしてもよく、またはアニメーションが俳優のライブパフォーマンスからキャプチャされた動きであり得る。ブロック１７０において、ＦＸ要素（例えば、水、火、霧など）がショットに追加され得る。さらに、衣類、毛、および他の動的なコンポーネントがシミュレートされる。これらの要素がリアルタイムに適用されることはめったにない。ブロック１７２において、照明アーティストは、ショットに仮想光を適用して、動画の最終画像を作成し得る。多くの場合、マスター照明が最初に行われ、全体のシーンおよび／またはより少ない数のキーショットの外観を確立する。ショット照明が次に適用され、キャラクタおよび環境に対する照明をショット単位で微調整し得る。ブロック１７４において、シーンデータが、オフラインのリアルタイムでないレンダラを用いてレンダリングされ得る。レンダリングは、アーティストのデスクにおいてまたはレンダリングファームマシンにおいて、オンプレミスまたはクラウドのいずれかで発生し得る。レンダリングは、多くの場合、合成パッケージのフレーム単位で複数のレンダリング層パス（ｐａｓｓ）（例えば、深さパス、マットパスなど）を生成する。ブロック１７６において、最終組み合わせレンダリングフレームが合成ソフトウェアを使用して生成され、非インタラクティブ２Ｄコンテンツを制作することができる。

【0037】

したがって、従来のアプローチ下で、エンティティは、図１Ａに示されているプロセスなどのインタラクティブリアルタイムプロセスを使用して、ストーリのＡＲ／ＶＲバージョンを作成する必要があるであろう。さらに、従来のアプローチ下で、エンティティは、図１Ｂに示されているプロセスなどの別個のコンピュータアニメーション化動画プロセスを使用して、ストーリの２Ｄバージョンを作成する必要がある。同じストーリのインタラクティブバージョンおよび非インタラクティブバージョンを生成するために異なるプロセスが必要となることは、重複した作業、コストの増加、制作複雑性の増加につながり得る。

【0038】

コンピュータ技術に根差している改良されたアプローチが、コンピュータ技術の分野において特に発生している従来のアプローチに関連付けられた前述および他の欠点を克服する。本技術は、単一のプロセス（またはパイプライン）に基づいてストーリのインタラクティブバージョンおよび非インタラクティブバージョンを作成する能力を提供する。本技術は、ストーリの非インタラクティブ２Ｄコンテンツがストーリの既存のインタラクティブＡＲ／ＶＲバージョンから生成されることを可能にする。例えば、本技術は、２Ｄコンピュータアニメーション化動画が、ＶＲまたはＡＲ技術に基づいて、既存のコンピュータアニメーション化リアルタイム体験から生成されることを可能にする。結果として、本技術は、従来のプロセスで利用可能な特徴を損なうことなく、映画制作者が２Ｄコンピュータアニメーション化動画を注意深く作り出すことを可能にし得る、包括的なツールセットを提供する。また、本技術は、ＡＲ／ＶＲベースのプロジェクトに対する変化が２Ｄベースのプロジェクトに伝搬でき、且つ逆も同様である、２ＤベースおよびＡＲ／ＶＲベースのプロジェクトの両方の同時発達を可能にする。また、本技術は、映画撮影を展開するためのコンテンツ作成媒体としてＡＲ／ＶＲを利用して、２Ｄプロジェクトを探すことができる。また、本技術は、異なるパイプラインアーキテクチャを処理することができる。以下に、本技術に関連するより詳細な内容を提供する。

【0039】

図２は、本技術の実施形態に係る、例示的なシステム２００を示す。例示的なシステム２００は、アニメーション作成モジュール２０２、リアルタイムエンジンモジュール（またはリアルタイムエンジン）２１２、および２Ｄエディトリアルモジュール２３２を含み得る。例示的なシステム２００は、ＡＲ／ＶＲコンテンツから非インタラクティブ２Ｄコンテンツを生成するために実装され得る。例示的なシステム２００は、モバイル、コンソール、およびＰＣ技術のために展開されたインタラクティブゲームコンテンツから非インタラクティブ２Ｄコンテンツを生成するために実装され得る。例えば、例示的なシステム２００は、ＶＲまたはＡＲ技術に基づくインタラクティブコンピュータアニメーション化リアルタイム体験から、非インタラクティブ２Ｄコンピュータアニメーション化映画またはテレビショーを生成し得る。別の例において、例示的なシステム２００は、ＶＲまたはＡＲ技術に基づくキャラクタベースのコンピュータアニメーション化リアルタイム体験から、一人称２Ｄコンピュータアニメーション化映画またはテレビショーを生成し得る。キャラクタベースのコンピュータアニメーション化リアルタイム体験は、視聴者がキャラクタとしてストーリに関与できる没入型体験を含み得る。別の例において、例示的なシステム２００は、ＶＲまたはＡＲ技術に基づくキャラクタベースのコンピュータアニメーション化リアルタイム体験から、インタラクティブ２Ｄコンピュータアニメーション化映画またはテレビショーを生成し得る。例示的なシステム２００は、ストーリの異なる分岐を表す２Ｄコンテンツパスのセットを生成するであろう。多くの変形例が可能である。本明細書でより詳細に説明される図４の例示的なシステム４００とは対照的に、例示的なシステム２００は、アニメーション作成モジュール２０２の代わりに、リアルタイムエンジンモジュール２１２に関連して、カメラの配置およびショットの作成が発生することを可能にする。例示的なシステム２００は、アニメーション作成モジュール２０２に基づいて作成されたアニメーションクリップのセットから最終リアルタイムコンテンツが手順通りに生成される、インタラクティブＡＲ／ＶＲコンテンツによく適し得る。アニメーション作成モジュール２０２、リアルタイムエンジンモジュール２１２、および２Ｄエディトリアルモジュール２３２は、１または複数のコンピューティングデバイス上で実行される１または複数のソフトウェアアプリケーションにおいて実装され得る。本明細書のこの図および全ての図において示されているコンポーネント（例えば、モジュール、要素など）は例示的なものに過ぎず、他の実装は、追加の、より少ない、統合された、または異なるコンポーネントを含み得る。いくつかのコンポーネントは、関連する詳細を不明瞭にしないように、図示されなくてもよい。様々な実施形態において、アニメーション作成モジュール２０２、リアルタイムエンジンモジュール２１２、および２Ｄエディトリアルモジュール２３２に関連して説明されている機能のうち１または複数は、任意の適切なシーケンスおよび組み合わせにおいて実装され得る。

【0040】

いくつかの実施形態において、本明細書に説明されている様々なモジュールおよび／またはアプリケーションは、部分的にまたは全体的に、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせとして実装され得る。一般的には、モジュールおよび／またはアプリケーションは、本明細書で説明されるように、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせに関連付けられ得る。いくつかの実装において、モジュールおよび／またはアプリケーションの１または複数の機能、タスク、および／または動作は、ソフトウェアルーチン、ソフトウェアプロセス、ハードウェア、および／またはそれらの任意の組み合わせによって遂行または実行され得る。いくつかの場合において、本明細書に説明されている様々なモジュールおよび／またはアプリケーションは、部分的にまたは全体的に、ユーザコンピューティングデバイスもしくはクライアントコンピューティングデバイス、またはサーバのような、１または複数のコンピューティングデバイスまたはシステム上で実行されるソフトウェアとして実装され得る。例えば、本明細書に説明されている１または複数のモジュールおよび／またはアプリケーション、またはそれらの少なくとも一部は、ユーザコンピューティングデバイスまたはクライアントコンピューティングシステム上で実行されている、アプリケーション（例えば、ａｐｐ）、プログラム、またはアプレットなどとしてまたはその内部において実装され得る。別の例において、１または複数のモジュールおよび／またはアプリケーション、またはそれらの少なくとも一部は、ネットワークサーバまたはクラウドサーバなどの１または複数のサーバを含む１または複数のコンピューティングデバイスまたはシステムを使用して実装され得る。多くの変形例または他の可能性があり得ることを理解されたい。例示的な実施形態において、アニメーション作成モジュール２０２は、Ａｕｔｏｄｅｓｋ（コピーライト）Ｍａｙａなどのアニメーション作成ソフトウェアにおいてまたはそれを用いて実装され得、リアルタイムエンジンモジュール２１２は、Ｕｎｉｔｙゲームエンジンなどのリアルタイムエンジンにおいてまたはそれを用いて実装され得る。

【0041】

アニメーション作成モジュール２０２は、ＶＲアニメーションモジュール２０４およびショット修正モジュール２０６を含み得る。

【0042】

ＶＲアニメーションモジュール２０４は、ストーリのインタラクティブバージョンをアニメーション化するように構成され得る。例えば、ストーリのインタラクティブバージョンは、ＶＲまたはＡＲ技術に基づくコンピュータアニメーション化リアルタイム体験であり得る。ストーリのインタラクティブバージョンは、ショットのシーケンスで構成され得る。ショットは、三次元空間におけるコンピュータアニメーション化リアルタイム体験内に位置付けられた仮想カメラによってキャプチャされた多数のフレームを表すことができる。いくつかの実施形態において、ショットは、アニメーションサイクルまたはサイクルアニメーションなどの単一のキャラクタの行動で表すことができる。さらに、ショットのシーケンスは、多数の関連するショットに対応し得る。例えば、シーケンスは、コンピュータアニメーション化リアルタイム体験内の特定の位置においてキャプチャされたショットを含み得る。ＶＲアニメーションモジュール２０４は、データストア２０８におけるストーリのインタラクティブバージョンに関連付けられたデータ（例えば、ショット、ショットのシーケンスなど）を格納し得る。１つの実施形態において、データストア２０８はリモートサーバ上に存在する。別の実施形態において、ウェブベースのアプリケーションは、アニメーション作成モジュール２０２、リアルタイムエンジンモジュール２１２、および２Ｄエディトリアルモジュール２３２における様々なモジュールとインタフェースして、データストア２０８内のデータを同期させる。

【0043】

ショット修正モジュール２０６は、ストーリのインタラクティブバージョンから生成されたストーリの非インタラクティブ２Ｄバージョンに関連付けられたショットに様々な修正を適用するように構成され得る。例えば、ショット修正モジュール２０６は、リアルタイムエンジンモジュール２１２によってストーリの非インタラクティブ２Ｄバージョンのために生成されたショットに対して修正を適用し得る。一般的には、ストーリの非インタラクティブ２Ｄバージョンに関連付けられたショットは、ストーリのインタラクティブバージョンに関連付けられたショットから導出され得る。結果として、ストーリのインタラクティブバージョンに関連付けられたショットに対する更新は、ストーリの非インタラクティブ２Ｄバージョンに関連付けられた対応するショットに伝搬され得る。いくつかの例において、ストーリの非インタラクティブ２Ｄバージョンに関連付けられたショットにのみ適用される特定の調整が必要となる場合がある。例えば、ショットに表されたキャラクタのアイラインは、ストーリのインタラクティブバージョンにおいては正確であり得るが、ストーリの非インタラクティブ２Ｄバージョンに関連付けられたショットにおいては間違った方向を見ているように見える場合がある。そのような例において、ショット修正モジュール２０６は、ストーリの非インタラクティブ２Ｄバージョンに対して特定の調整を必要とするショットを二分化するように構成され得る。ショットが二分化された場合、ショットの別個のコピーは、インタラクティブバージョンおよび非インタラクティブ２Ｄバージョンのために維持される。結果として、ショットに対する調整は、ストーリのインタラクティブバージョンに影響することなく、ストーリの非インタラクティブ２Ｄバージョンに対して行われ得る。前述の例において、調整は、ストーリのインタラクティブバージョンに関連付けられた対応するショットにおけるキャラクタのアイラインに影響することなく、ストーリの非インタラクティブ２Ｄバージョンに関連付けられたショットにおけるキャラクタのアイラインに行われ得る。いくつかの例において、ストーリの非インタラクティブバージョンは新しいショットが作成されることを必要とする場合がある。１つの例において、ストーリのインタラクティブバージョンにおける１つのショットは、異なるカメラアングルに対応する非インタラクティブ２Ｄバージョンにおいて、より小さく潜在的に重なり合う多数のショットに分割されるであろう（例えば、クローズアップ、ミディアムショット、およびエスタブリッシングショットに）。これらの新しいショットは、非インタラクティブ２Ｄバージョン専用に作成されたコンピュータアニメーションに対応し得る。例えば、キャラクタに関連付けられた視覚的品質は、ストーリの非インタラクティブ２Ｄバージョンに関連付けられたショットにおいて許容できない場合がある。別の例において、ストーリのインタラクティブバージョンに関連付けられたショットは、視聴者によるいくつかの相互作用を含み得る。そのような相互作用がストーリのインタラクティブバージョンにおいて許容可能であるが、その一方、当該相互作用は、ストーリの非インタラクティブ２Ｄバージョンにおける複製には適切でない。そのような例において、ショット修正モジュール２０６は、ストーリのインタラクティブバージョンに関連付けられた既存のショットを訂正または置換する、ストーリの非インタラクティブ２Ｄバージョンのための新しいショットの作成を許容し得る。ショット修正モジュール２０６は、データストア２０８におけるストーリの非インタラクティブ２Ｄバージョンに関連して修正または追加されたショットに関連付けられたデータを格納し得る。

【0044】

リアルタイムエンジンモジュール２１２は、ＶＲ相互作用性モジュール２１４、ＶＲ照明＆ＦＸモジュール２１６、２Ｄプリビズモジュール２１８、２Ｄショット作成モジュール２２０、２Ｄレイアウトモジュール２２２、および２Ｄ照明＆ＦＸモジュール２２４を含み得る。

【0045】

ＶＲ相互作用性モジュール２１４は、非線形アニメーションフレームワーク、人工知能（ＡＩ）システム、および他の一般的に既知である手順の方法を使用して、アニメーションを組み合わせるおよび／または手順通りに生成するように構成され得る。

【0046】

ＶＲ照明およびＦＸモジュール２１６は、ストーリのインタラクティブバージョンにおいて使用される照明およびメディア効果（ＦＸ）要素を適用するように構成され得る。照明およびＦＸ要素は、一般的に既知である技術を使用して作成され得る。

【0047】

２Ｄプリビズモジュール２１８は、ＶＲアニメーションモジュール２０４によってアニメーション化されたストーリのインタラクティブバージョンに仮想カメラのセットを位置付けるように構成され得る。例えば、アーティストは、２Ｄ映画スクリプト２１０に基づいてストーリのインタラクティブバージョンに仮想カメラのセットを位置付けるように、２Ｄプリビズモジュール２１８に命令し得る。例えば、２Ｄ映画スクリプト２１０は、ストーリのインタラクティブバージョンに関連付けられたスクリプトに基づいて書き込まれ得る。仮想カメラのセットは、様々な異なるカメラアングルからアニメーション映像をキャプチャするべく、ストーリのインタラクティブバージョン内に配置され得る。いくつかの実施形態において、仮想カメラのセットとそれらの関連付けられたパラメータとは、ＡＲ／ＶＲ技術を使用して作成され得る。例えば、アーティストは、ＶＲにおいて自分の手で６ＤＯＦハンドコントローラを移動させることによって、仮想カメラを配置し操作できる。アーティストは次に、ＶＲにおいてこの仮想カメラを用いて元のＶＲ／ＡＲ体験から映像を記録し得る。これは、ハンドヘルドカメラ効果を作成するのに使用され得る。１つの実施形態において、複数のアーティストが、ＶＲ／ＡＲ技術を使用して異なる仮想カメラを配置および記録し、したがって、カメラデータの別個のセットを作成し得る。また、２Ｄプリビズモジュール２１８は、仮想カメラごとに、２Ｄ「プレイブラスト」フィード（または動画）をエクスポートするように構成され得る。いくつかの実施形態において、２Ｄプリビズモジュール２１８は、例示的な図６に示されるように、エクスポートされた２Ｄ「プレイブラスト」フィードの各フレームにレチクルおよびスレート情報を挿入し得る。レチクルおよびスレート情報は、フレームオーバーレイとして提供され得る。いくつかの実施形態において、レチクルおよびスレート情報は、レチクルデータ（例えば、カメラ境界）、シーケンスデータ、ファイル名、カメラレンズ、カメラ／ショット名、タイムスタンプ、テイク数または反復数、およびアニメーションフレーム数を含み得る。

【0048】

２Ｄショット作成モジュール２２０は、新しいショットを作成し、既存のショットを更新するように構成され得る。一般的には、２Ｄショット作成モジュール２２０は、編集カットからショットを作成し得る。編集カットは、以下で説明されるように、２Ｄエディトリアルモジュール２３２によって制作され得る。１つの実施形態において、すべての仮想カメラは単一のショットを表す。別の実施形態において、複数のショットが単一の仮想カメラから構築され得る。２Ｄショット作成モジュール２２０は、データストア２０８において、各ショットとその関連するメタデータ情報とを格納できる。仮想（またはアニメーション）カメラに関連付けられたショットメタデータ情報の例が、図７に示されている。例えば、ショットメタデータ情報は、ショット名、長さ、アニメーションファイル、フレーム範囲、ショットに含まれるキャラクタ、および公開バージョンを含み得る。多くの変形例が可能である。１つの実施形態において、２Ｄショット作成モジュール２２０は、ショットデータを格納する共有ファイルを更新し得る。１つの実施形態において、２Ｄショット作成モジュール２２０は、データストア２０８を更新する。別の実施形態において、２Ｄショット作成モジュール２２０は、ウェブアプリケーションＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を介してデータストア２０８を更新する。

【0049】

２Ｄレイアウトモジュール２２２は、２Ｄショット作成モジュール２２０によって作成されたショットを強化するように構成され得る。例えば、２Ｄレイアウトモジュール２２２は、一般的に既知であるアプローチを使用して、ショット単位で追加のセットドレッシングおよびレイアウトを適用し得る。

【0050】

２Ｄ照明＆ＦＸモジュール２２４は、ショットに特徴を適用するための様々なオプションを提供するように構成され得る。例えば、２Ｄ照明＆ＦＸモジュール２２４は、光、影、接触影、ＦＸ要素、および、被写体ぶれならびに被写界深度などの後処理効果を適用し得る。これらの特徴は、例えば、照明およびＦＸアーティストからの命令に基づいて適用され得る。そのような特徴を適用することは、各ショットの外観を拡張し得る。

【0051】

２Ｄ合成装置２４２は、一般的に既知であるアプローチに基づいて、最終レンダリングフレームを生成し得る。例えば、２Ｄ合成装置２４２は、リアルタイムエンジンモジュール２１２によってレンダリングされた最終フレームおよび層パスに基づいて、最終レンダリングフレームを生成し得る。また、２Ｄ合成装置２４２は、最終レンダリングフレームに基づいて、２Ｄコンピュータアニメーション化動画２４４などの、ストーリの非インタラクティブ２Ｄバージョンを生成し得る。

【0052】

２Ｄエディトリアルモジュール２３２は、様々なカメラショットを単一シーケンス動画に組み合わせる編集カットを説明する情報を提供し得る。編集カットは、非線形ビデオ編集ソフトウェアを使用して制作され得る。編集カットおよび関連するエディトリアルタイミングを説明する情報と、トラック情報とは、リアルタイムエンジンモジュール２１２にインポートされ得る。リアルタイムエンジンモジュール２１２は、必要に応じて、既存の仮想カメラへのさらなる調整と、新しい仮想カメラの追加とを許容して、編集カットを洗練させる。いくつかの実施形態において、２Ｄエディトリアルモジュール２３２は、編集カットに関連して非線形ビデオ編集ソフトウェアによって作成された編集選択肢を読み取ることができる。２Ｄエディトリアルモジュール２３２は、リアルタイムエンジンモジュール２１２における編集選択肢を再作成（または提供）することができる。実施形態において、２Ｄエディトリアルモジュール２３２は、非線形編集ソフトウェアプロジェクトから、ソースビデオおよびオーディオクリップの位置；ビデオおよびオーディオトラックからのクリップのタイムコード；および、ビデオならびにオーディオクリップに適用され得るクロスフェードならびにオーディオレベル曲線などの効果といったデータを読み取ることができる。実施形態において、２Ｄエディトリアルモジュール２３２は、そのようなデータを使用して、非線形ビデオ編集ソフトウェアにおいて編集されたビデオおよびオーディオクリップに対応する、リアルタイムエンジンモジュール２１２内のアセットを識別し得る。実施形態において、２Ｄエディトリアルモジュール２３２は、そのようなデータを使用して、リアルタイムエンジンモジュール２１２内の識別されたアセットを有するアニメーショントラックおよびオーディオトラックを作成し得る。実施形態において、２Ｄエディトリアルモジュール２３２は、そのようなデータを使用して、リアルタイムエンジンモジュール２１２内のこれらのアセットに対して、編集決定を適用し得る。実施形態において、２Ｄエディトリアルモジュール２３２は、全てのショットを表す単一タイムラインを作成し得るので、ユーザは、リアルタイムエンジンモジュール２１２におけるショット間で前後にスクラブし得る。単一タイムラインは、周囲のショットのコンテキストでリアルタイム編集を容易にすることを支援し得る。さらに、２Ｄエディトリアルモジュール２３２は、リアルタイムエンジンモジュール２１２に既に存在する既存のカメラおよびショット情報を更新することをサポートする。１つの実施形態において、非線形ビデオ編集ソフトウェアからのカメラ／ショットトラックは、命名規則によってリアルタイムエンジンモジュール２１２内のトラックに関連付けられる。別の実施形態において、トラックは、非線形ビデオ編集ソフトウェアに渡され、次に、リアルタイムエンジンモジュール２１２に往復して戻る、メタデータ情報によって相関され得る。別の実施形態において、トラックは、ＯｐｅｎＴｉｍｅｌｉｎｅなどのオープンソースファイル形式を使用することによって関連付けられ得る。さらに別の実施形態において、トラックは、データ比較ヒューリスティックを使用して相関され得る。多くの変形例が可能である。

【0053】

図３Ａは、本技術の実施形態に係る、例示的な方法３００を示す。いくつかの実施形態において、方法３００は、図２のシステム２００によって実行され得る。ブロック３０２において、シーケンスおよびショットは、ＶＲアニメーションモジュール２０４を参照して上記で説明されたように、ＡＲ／ＶＲアニメーションまたは体験のためにアニメーション化され得る。ブロック３０４において、アニメーションは、ＶＲ相互作用性モジュール２１４を参照して上記で説明されたように、非線形アニメーションフレームワークを介して組み合わされるおよび／または手順通りに生成されることができる。ブロック３０６において、照明およびＦＸ要素は、ＶＲ照明＆ＦＸモジュール２１６を参照して上記で説明されたように、ＡＲ／ＶＲアニメーションまたは体験のために作成され得る。ブロック３０８において、仮想カメラは、２Ｄプリビズモジュール２１８を参照して上記で説明されたように、リアルタイムエンジンに配置され得る。ブロック３１０において、編集カットは、２Ｄエディトリアルモジュール２３２を参照して上記で説明されたように、非線形ビデオ編集ソフトウェアにおいて制作され得る。ブロック３１２において、一旦編集カットが承認されると、２Ｄショット作成モジュール２２０を参照して上記で説明されたように、２Ｄショットがカメラおよびタイミングメタデータから作成される。ブロック３１４において、２Ｄレイアウトモジュール２２２を参照して上記で説明されたように、セットドレッシングおよびレイアウトがショットに適用され得る。ブロック３１６において、２Ｄ照明＆ＦＸモジュール２２４を参照して上記で説明されたように、追加の光、影、接触影、ＦＸ要素、および後処理効果が適用され得る。ブロック３１８において、ショット修正モジュール２０６を参照して上記で説明されたように、２Ｄショットに修正が適用され得、追加の２Ｄショットが作成され得る。

【0054】

例示的な方法に対する多くの変形例が可能である。別様で記載しない限り、本明細書で説明される様々な実施形態の範囲内で、同様もしくは代替的な順序で、または並行して実行される追加の段階、より少ない段階、または代替的な段階があってもよいことを理解されたい。

【0055】

図３Ｂは、本技術の実施形態に係る、例示的な方法３５０を示す。例えば、方法３５０は、図２のシステム２００によって実行され得る。ブロック３５２において、コンピュータベースの体験に関連付けられたデータが取得され得る。コンピュータベースの体験は、インタラクティブリアルタイム技術に基づいてよい。例えば、インタラクティブリアルタイム技術は、拡張現実（ＡＲ）および／または仮想現実（ＶＲ）に適用され、インタラクティブコンテンツを提供し得る。ブロック３５４において、少なくとも１つの仮想カメラは、リアルタイムエンジンにおけるコンピュータベースの体験内に構成されることができる。ブロック３５６において、コンピュータベースの体験の編集カットに関連付けられたデータは、少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて取得されることができる。ブロック３５８において、２次元コンテンツに対応する複数のショットは、リアルタイムエンジンにおけるコンピュータベースの体験の編集カットから生成できる。ブロック３６０において、コンピュータベースの体験の２次元バージョンに関連付けられたデータは、複数のショットに基づいて、リアルタイムエンジンを用いて生成できる。２次元バージョンは、生成されたデータに基づいてレンダリングされることができる。

【0056】

例示的な方法に対する多くの変形例が可能である。別様で記載しない限り、本明細書で説明される様々な実施形態の範囲内で、同様もしくは代替的な順序で、または並行して実行される追加の段階、より少ない段階、または代替的な段階があってもよいことを理解されたい。

【0057】

図４は、本技術の実施形態に係る、例示的なシステム４００を示す。例示的なシステム４００は、アニメーション作成モジュール４０２、およびリアルタイムエンジンモジュール（またはリアルタイムエンジン）４２２を含み得る。例示的なシステム４００は、ストーリのインタラクティブバージョンから、ストーリの非インタラクティブ２Ｄバージョンを生成するべく、実装され得る。例えば、例示的なシステム４００は、ＶＲまたはＡＲ技術に基づくインタラクティブコンピュータアニメーション化リアルタイム体験から、非インタラクティブ２Ｄコンピュータアニメーション化映画を生成し得る。別の例において、例示的なシステム４００は、ＶＲまたはＡＲ技術に基づくキャラクタベースのコンピュータアニメーション化リアルタイム体験から、一人称２Ｄコンピュータアニメーション化映画を生成し得る。キャラクタベースのコンピュータアニメーション化リアルタイム体験は、視聴者がキャラクタとしてストーリに関与できる没入型体験を含み得る。多くの変形例が可能である。図２の例示的なシステム２００とは対照的に、例示的なシステム４００は、リアルタイムエンジンモジュール４２２の代わりに、アニメーション作成モジュール４０２に関連して、カメラの配置およびショットの作成が発生することを可能にする。このように、例示的なシステム４００は、本質的に主に線形であるコンテンツによく適し得、ここで、アニメーション作成モジュール４０２内のストレートアヘッドアニメーションは、リアルタイムエンジンモジュール４２２内のアニメーションと一致する。アニメーション作成モジュール４０２、およびリアルタイムエンジンモジュール４２２は、１または複数のコンピューティングデバイス上で実行される１または複数のソフトウェアアプリケーションにおいて実装され得る。本明細書のこの図および全ての図において示されているコンポーネント（例えば、モジュール、要素など）は例示的なものに過ぎず、他の実装は、追加の、より少ない、統合された、または異なるコンポーネントを含み得る。いくつかのコンポーネントは、関連する詳細を不明瞭にしないように、図示されなくてもよい。様々な実施形態において、アニメーション作成モジュール４０２およびリアルタイムエンジンモジュール４２２に関連して説明されている機能のうち１または複数は、任意の適切なシーケンスおよび組み合わせにおいて実装され得る。

【0058】

いくつかの実施形態において、本明細書に説明されている様々なモジュールおよび／またはアプリケーションは、部分的にまたは全体的に、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせとして実装され得る。一般的には、モジュールおよび／またはアプリケーションは、本明細書で説明されるように、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせに関連付けられ得る。いくつかの実装において、モジュールおよび／またはアプリケーションの１または複数の機能、タスク、および／または動作は、ソフトウェアルーチン、ソフトウェアプロセス、ハードウェア、および／またはそれらの任意の組み合わせによって遂行または実行され得る。いくつかの場合において、本明細書に説明されている様々なモジュールおよび／またはアプリケーションは、部分的にまたは全体的に、ユーザコンピューティングデバイスもしくはクライアントコンピューティングデバイス、またはサーバのような、１または複数のコンピューティングデバイスまたはシステム上で実行されるソフトウェアとして実装され得る。例えば、本明細書に説明されている１または複数のモジュールおよび／またはアプリケーション、またはそれらの少なくとも一部は、ユーザコンピューティングデバイスまたはクライアントコンピューティングシステム上で実行されている、アプリケーション（例えば、ａｐｐ）、プログラム、またはアプレットなどとしてまたはその内部において実装され得る。別の例において、１または複数のモジュールおよび／またはアプリケーション、またはそれらの少なくとも一部は、ネットワークサーバまたはクラウドサーバなどの１または複数のサーバを含む１または複数のコンピューティングデバイスまたはシステムを使用して実装され得る。多くの変形例または他の可能性があり得ることを理解されたい。例示的な実施形態において、アニメーション作成モジュール４０２は、ＡｕｔｏｄｅｓｋのＭａｙａなどのアニメーション作成ソフトウェアにおいてまたはそれを用いて実装され得、リアルタイムエンジンモジュール４２２は、Ｕｎｉｔｙゲームエンジンなどのリアルタイムエンジンにおいてまたはそれを用いて実装され得る。

【0059】

アニメーション作成モジュール４０２は、ＶＲアニメーションモジュール４０４、２Ｄプリビズモジュール４０６、２Ｄショット作成モジュール４０８、およびショット修正モジュール４１０を含み得る。

【0060】

ＶＲアニメーションモジュール４０４は、ストーリのインタラクティブバージョンをアニメーション化するように構成され得る。例えば、ストーリのインタラクティブバージョンは、ＶＲまたはＡＲ技術に基づくコンピュータアニメーション化リアルタイム体験であり得る。ストーリのインタラクティブバージョンは、ショットのシーケンスで構成され得る。ショットは、三次元空間におけるコンピュータアニメーション化リアルタイム体験内に位置付けられた仮想カメラによってキャプチャされた多数のフレームを表すことができる。いくつかの実施形態において、ショットは、アニメーションサイクルまたはサイクルアニメーションなどの単一のキャラクタの行動で表すことができる。さらに、ショットのシーケンスは、多数の関連するショットに対応し得る。例えば、シーケンスは、コンピュータアニメーション化リアルタイム体験内の特定の位置においてキャプチャされたショットを含み得る。

【0061】

２Ｄプリビズモジュール４０６は、ＶＲアニメーションモジュール４０４によってアニメーション化されたストーリのインタラクティブバージョンに仮想カメラのセットを位置付けるように構成され得る。例えば、アーティストは、２Ｄ映画スクリプト４１２に基づいてストーリのインタラクティブバージョンに仮想カメラのセットを位置付けるように、２Ｄプリビズモジュール４０６に命令し得る。例えば、２Ｄ映画スクリプト４１２は、ストーリのインタラクティブバージョンに関連付けられたスクリプトに基づいて書き込まれ得る。仮想カメラのセットは、様々な異なるカメラアングルからアニメーション映像をキャプチャするべく、ストーリのインタラクティブバージョン内に配置され得る。また、２Ｄプリビズモジュール４０６は、仮想カメラごとに、２Ｄ「プレイブラスト」フィード（または動画）をエクスポートするように構成され得る。例えば、２Ｄプリビズモジュール４０６は、各カメラによってキャプチャされたデータを記録するためのオプションを提供するカメラ記録インタフェースを提供し得る。いくつかの実施形態において、２Ｄプリビズモジュール４０６は、例示的な図６に示されるように、エクスポートされた２Ｄ「プレイブラスト」フィードの各フレームにレチクルおよびスレート情報を挿入し得る。レチクルおよびスレート情報は、フレームオーバーレイとして提供され得る。いくつかの実施形態において、レチクルおよびスレート情報は、レチクルデータ（カメラ境界）、シーケンスデータ、ファイル名、カメラレンズ、カメラ／ショット名、タイムスタンプ、テイク数または反復数、およびアニメーションフレーム数を含み得る。２Ｄプリビズモジュール４０６は、２Ｄエディトリアルプロセス４１４と相互作用し得る。例えば、２Ｄエディトリアルプロセス４１４は、エクスポートされた「プレイブラスト」フィードからの様々なカメラショットを単一シーケンス動画に組み合わせる編集カットを提供し得る。編集カットは、非線形ビデオ編集ソフトウェアを使用して制作され得る。編集カットはレビューされ得、必要であれば、新しい仮想カメラが導入され得、および／または、既存の仮想カメラにさらなる調整が行われ得る。１つの実施形態において、すべてのカメラは単一のショットを表す。別の実施形態において、複数のショットが単一のカメラから構築され得る。

【0062】

２Ｄショット作成モジュール４０８は、新しいショットを作成し、既存のショットを更新するように構成され得る。一般的に、２Ｄショット作成モジュール４０８は、２Ｄエディトリアルプロセス４１４によって提供された編集カットからショットを作成し得る。２Ｄショット作成モジュール４０８は、データストア４１６において、各ショットとその関連するメタデータ情報とを格納できる。仮想（またはアニメーション）カメラに関連付けられたショットメタデータ情報の例が、例示的な図７に示されている。例えば、ショットメタデータ情報は、開始フレーム、終了フレーム、プロダクション名、シーケンス、バージョン、およびレンディションを含み得る。多くの変形例が可能である。１つの実施形態において、２Ｄショット作成モジュール４０８は、ショットデータを格納する共有ファイルを更新し得る。例えば、２Ｄショット作成モジュール４０８は、１または複数の識別された仮想カメラに関連付けられたショットデータを、データストア４１６などの指定された出力位置にエクスポートし得る。１つの実施形態において、データストア４１６はリモートサーバ上に存在する。別の実施形態において、ウェブベースのアプリケーションは、アニメーション作成モジュール４０２、リアルタイムエンジンモジュール４２２、および２Ｄエディトリアルモジュール４１４における様々なモジュールとインタフェースして、データストア４１６内のデータを同期させる。図８は、ショットデータをエクスポートするための例示的なエクスポートインタフェースを示す。別の実施形態において、２Ｄショット作成モジュール４０８は、データストア４１６を介してアクセス可能なショーデータベースを更新し得る。また、２Ｄショット作成モジュール４０８は、例えばファイルシステムまたはクラウドベースのストレージシステムに、仮想カメラ情報をエクスポートし得る。

【0063】

ショット修正モジュール４１０は、ストーリのインタラクティブバージョンから生成されたストーリの非インタラクティブバージョンに関連付けられたショットに様々な修正を適用するように構成され得る。例えば、ショット修正モジュール４１０は、リアルタイムエンジンモジュール４２２によってストーリの非インタラクティブバージョンのために生成されたショットに対して修正を適用し得る。一般的には、ストーリの非インタラクティブバージョンに関連付けられたショットは、ストーリのインタラクティブバージョンに関連付けられたショットから導出され得る。結果として、ストーリのインタラクティブバージョンに関連付けられたショットに対する更新は、ストーリの非インタラクティブバージョンに関連付けられた対応するショットに伝搬され得る。いくつかの例において、ストーリの非インタラクティブバージョンに関連付けられたショットにのみ適用される特定の調整が必要となる場合がある。例えば、ショットに表されたキャラクタのアイラインは、ストーリのインタラクティブバージョンにおいては正確であり得るが、ストーリの非インタラクティブバージョンに関連付けられたショットにおいては間違った方向を見ているように見える場合がある。そのような例において、ショット修正モジュール４１０は、ストーリの非インタラクティブバージョンに対して特定の調整を必要とするショットを二分化するように構成され得る。ショットが二分化された場合、ショットの別個のコピーは、ストーリのインタラクティブバージョンおよび非インタラクティブバージョンのために維持される。ショットに対する調整は、ストーリのインタラクティブバージョンに影響することなく、ストーリの非インタラクティブバージョンに対して行われ得る。前述の例において、調整は、ストーリのインタラクティブバージョンに関連付けられた対応するショットにおけるキャラクタのアイラインに影響することなく、ストーリの非インタラクティブバージョンに関連付けられたショットにおけるキャラクタのアイラインに行われ得る。いくつかの例において、ストーリの非インタラクティブバージョンは新しいショットが作成されることを必要とする場合がある。１つの例において、ストーリのインタラクティブバージョンにおける１つのショットは、異なるカメラアングルに対応する非インタラクティブ２Ｄバージョンにおいて、より小さく潜在的に重なり合う多数のショットに分割されるであろう（例えば、クローズアップ、ミディアムショット、およびエスタブリッシングショットに）。これらの新しいショットは、非インタラクティブバージョン専用に作成されたコンピュータアニメーションに対応し得る。例えば、ストーリのインタラクティブバージョンのためのキャラクタに関連付けられた視覚的品質は、ストーリの非インタラクティブバージョンに関連付けられたショットにおいて許容できない場合がある。別の例において、ストーリのインタラクティブバージョンに関連付けられたショットは、視聴者によるいくつかの相互作用を含み得る。そのような相互作用がストーリのインタラクティブバージョンにおいて許容可能であるが、その一方、当該相互作用は、ストーリの非インタラクティブバージョンにおける複製には適切でない。そのような例において、ショット修正モジュール４１０は、ストーリのインタラクティブバージョンに関連付けられた既存のショットを訂正または置換する、ストーリの非インタラクティブバージョンのための新しいショットの作成を許容し得る。ショット修正モジュール４１０は、データストア４１６におけるストーリの非インタラクティブバージョンに関連して修正または追加されたショットに関連付けられたデータを格納し得る。

【0064】

リアルタイムエンジンモジュール４２２は、ＶＲ照明＆ＦＸモジュール４２４、２Ｄショットインポートモジュール４２６、２Ｄレイアウトモジュール４２８、および２Ｄ照明＆ＦＸモジュール４３０を含み得る。

【0065】

ＶＲ照明＆ＦＸモジュール４２４は、ストーリのインタラクティブバージョンに照明およびメディア効果（ＦＸ）要素を適用するように構成され得る。照明およびＦＸ要素は、一般的に既知である技術を使用して作成され得る。

【0066】

２Ｄショットインポートモジュール４２６は、ショットデータをリアルタイムエンジンモジュール４２２にインポートするように構成され得る。例えば、ショットおよびカメラが一旦データストア４１６（例えば、ショーデータベース）に追加されると、２Ｄショットインポートモジュール４２６は、図９の例において示されるように、仮想カメラフィードと２Ｄショットデータとをリアルタイムエンジンモジュール４２２にインポートするオプションを提供するインタフェースを提供し得る。カメラデータがインポートされる２Ｄショットごとに、新しいショットタイムラインがセットアップされ得る。例えば、２Ｄショットデータ（例えば、仮想カメラフィード）を格納するディレクトリは、インタフェースを介して識別され得る。また、インタフェースは、所与のショットのショット情報（例えば、フレーム範囲、パスなど）を視聴して、ショットを再インポートして、ショットを削除するためのオプションを提供し得る。ショットをインポートする場合、２Ｄショットインポートモジュール４２６は、ショットごとに追加の２Ｄデータを作成し得る。追加の２Ｄデータは、既存のＡＲ／ＶＲコンテンツの上部に層として重なり得る。これは、基礎として既存のＡＲ／ＶＲコンテンツを使用しながらショット単位の調整を付加的に行うことを可能にする。１つの実施形態において、２Ｄデータは、部門単位で調整でき且つＡＲ／ＶＲコンテンツタイムラインの上部に適用できる追加のタイムラインを表し得る。

【0067】

２Ｄレイアウトモジュール４２８は、ショットを強化するように構成され得る。例えば、２Ｄレイアウトモジュール２２２は、ショット単位で追加のセットドレッシングおよびレイアウトを適用し得る。

【0068】

２Ｄ照明＆ＦＸモジュール４３０は、ショットに追加の特徴を追加するためのオプションを提供するように構成され得る。例えば、２Ｄ照明＆ＦＸモジュール４３０は、光、影、接触影、ＦＸ要素、および、被写体ぶれならびに被写界深度などの後処理効果を適用し得る。追加の特徴は、例えば、照明およびＦＸアーティストによって命令されたように適用され得る。追加の特徴を適用することは、各ショットの外観を拡張し得る。１つの実施形態において、２Ｄ照明＆ＦＸモジュール４３０は、キャラクタアニメーション、照明、およびＦＸ要素を表すマスタータイムラインのセットとして、ＶＲコンテンツを表す。この実施形態において、コンテンツは主に線形方式で実行される。別の実施形態において、コンテンツは非線形であり、タイムラインに加えて、有限ステートマシン、混合ツリ、およびカスタムＡＩシステムなどの追加のシステムを使用する。

【0069】

２Ｄ合成装置４３２は、一般的に既知であるアプローチに基づいて、最終レンダリングフレームを生成し得る。例えば、２Ｄ合成装置４３２は、リアルタイムエンジンモジュール４２２によってレンダリングされた最終フレームおよび層パスに基づいて、最終レンダリングフレームを生成し得る。また、２Ｄ合成装置４３２は、最終レンダリングフレームに基づいて、コンピュータアニメーション化動画４３４などの、ストーリの非インタラクティブ２Ｄバージョンを生成し得る。

【0070】

図５Ａは、本技術の実施形態に係る、例示的な方法５００を示す。例えば、方法５００は、図４のシステム４００によって実行され得る。ブロック５０２において、シーケンスおよびショットは、ＶＲアニメーションモジュール４０４を参照して上記で説明されたように、アニメーション作成ツールにおいてＡＲ／ＶＲアニメーションまたは体験のためにアニメーション化され得る。ブロック５０４において、仮想カメラは、２Ｄプリビズモジュール４０６を参照して上記で説明されたように、アニメーション作成ツールに配置され得る。ブロック５０６において、編集カットは、２Ｄエディトリアルプロセス４１４を参照して上記で説明されたように、非線形ビデオ編集ソフトウェアにおいて制作され得る。ブロック５０８において、一旦編集カットが承認されると、２Ｄショット作成モジュール４０８を参照して上記で説明されたように、２Ｄショットがカメラおよびタイミングメタデータから作成される。ブロック５１０において、ショット修正モジュール４１０を参照して上記で説明されたように、２Ｄショットに修正が適用され得、追加の２Ｄショットが作成され得る。
ブロック５１２において、照明およびＦＸ要素は、ＶＲ照明＆ＦＸモジュール４２４を参照して上記で説明されたように、ＡＲ／ＶＲアニメーションまたは体験のために作成され得る。ブロック５１４において、２Ｄショットデータは、２Ｄショットインポートモジュール４２６を参照して上記で説明されたように、リアルタイムエンジンにインポートされ得る。ブロック５１６において、２Ｄレイアウトモジュール４２８を参照して上記で説明されたように、セットドレッシングおよびレイアウトがショットに適用され得る。ブロック５１８において、２Ｄ照明＆ＦＸモジュール４３０を参照して上記で説明されたように、追加の光、影、接触影、ＦＸ要素、および後処理効果が適用され得る。

【0071】

例示的な方法に対する多くの変形例が可能である。別様で記載しない限り、本明細書で説明される様々な実施形態の範囲内で、同様もしくは代替的な順序で、または並行して実行される追加の段階、より少ない段階、または代替的な段階があってもよいことを理解されたい。

【0072】

図５Ｂは、本技術の実施形態に係る、例示的な方法５５０を示す。例えば、方法５５０は、図４のシステム４００によって実行され得る。ブロック５５２において、コンピュータベースの体験に関連付けられたデータが取得され得る。コンピュータベースの体験は、インタラクティブリアルタイム技術に基づいてよい。例えば、インタラクティブリアルタイム技術は、拡張現実（ＡＲ）および／または仮想現実（ＶＲ）技術に適用され、インタラクティブコンテンツを提供し得る。ブロック５５４において、少なくとも１つの仮想カメラは、アニメーション作成アプリケーションにおけるコンピュータベースの体験内に構成されることができる。ブロック５５６において、２次元コンテンツに対応する複数のショットは、アニメーション作成アプリケーションにおいて少なくとも１つの仮想カメラによってキャプチャされたコンテンツの編集カットから生成できる。ブロック５５８において、コンピュータベースの体験の２次元バージョンに関連付けられたデータは、複数のショットに基づいて、リアルタイムエンジンにおいて生成できる。２次元バージョンは、生成されたデータに基づいてレンダリングされることができる。

【0073】

例示的な方法に対する多くの変形例が可能である。別様で記載しない限り、本明細書で説明される様々な実施形態の範囲内で、同様もしくは代替的な順序で、または並行して実行される追加の段階、より少ない段階、または代替的な段階があってもよいことを理解されたい。

【0074】

図１０は、本技術の実施形態に係る、リアルタイムエンジン（例えば、リアルタイムエンジンモジュール２１２、リアルタイムエンジンモジュール４２２）内でショットを選択するのに使用できる例示的なショットピッカーインタフェースを示す。ショットピッカーインタフェースは、２Ｄショット作成モジュール２２０または２Ｄショット作成モジュール４０８によって提供され得る。インタフェースは、所与のシーンのために利用可能な全てのショットのリストを提供することができる。ショットの選択において、シーンは、対応するショットタイムラインを使用するように構成され得る。結果として、アーティストは、リアルタイムエンジンのタイムラインウィンドウにおいてショットをスクラブすることができる。加えて、ショットピッカーインタフェースは、ショット単位でジオメトリを非表示にするコンポーネント、および付加的な２Ｄの光が存在するゲームオブジェクトなどの、有用なワークフローオブジェクトにアクセスするためのオプションを提供し得る。２Ｄショットにおける照明に対して行われた調整は、ＡＲ／ＶＲ照明の上部に対して付加的なものであり得る。さらに、ＡＲ／ＶＲ照明に対する任意の変化は、対応する２Ｄショットに伝搬するであろう。いくつかの実施形態において、照明マネージャインタフェースは、アーティストがＡＲ／ＶＲシーンと２Ｄショットとの間のリンクを切断することを可能にするオプションを提供し得る。一旦リンクが切断されると、ＡＲ／ＶＲ照明に対する変化は、対応する２Ｄショットに伝搬されないであろう。

【0075】

図１１は、本技術の実施形態に係る、仮想カメラによってキャプチャされたショットを記録するためのオプションを提供できる例示的なカメラ記録インタフェースを示す。例えば、カメラ記録インタフェースは、２Ｄショット作成モジュール２２０または２Ｄショット作成モジュール４０８によって提供され得る。カメラ記録インタフェースは、単一バッチにおいて異なる構成を有する様々なコンテンツを記録するようにカスタマイズされ得る。さらに、レチクルおよびスレート情報が、上記で説明されたようにフレームに適用され得る。１つの実施形態において、レチクル（カメラ境界）、シーケンス、ファイル名、カメラレンズ、カメラ／ショット名、日、およびアニメーションフレーム数といった情報が含まれる。

【0076】

図１２は、本技術の実施形態に係る、リアルタイムショットレンダラインタフェースを示す。例えば、リアルタイムショットレンダラインタフェースは、リアルタイムエンジンモジュール２１２またはリアルタイムエンジンモジュール４２２によって提供され得る。リアルタイムショットレンダラインタフェースは、リアルタイムエンジンモジュール２１２およびリアルタイムエンジンモジュール４２２を使用して最終フレームをレンダリングするためのオプションを提供し得る。例えば、リアルタイムショットレンダラインタフェースは、プリビズまたは中間フレームをレンダリングするためのオプションを提供し得る。いくつかの実施形態において、リアルタイムショットレンダラインタフェースは、カメラ記録インタフェースと併せて使用され得る。そのような実施形態において、カメラ記録インタフェースは、フレームに含まれる仮想カメラおよびスレート情報を識別するのに使用され得、リアルタイムショットレンダラインタフェースは、スレート情報を有するフレームをレンダリングするのに使用され得る。リアルタイムショットレンダラインタフェースは、レンダリングする異なる解像度を選択するためのオプションを提供し得る。また、リアルタイムショットレンダラインタフェースは、２Ｄ合成装置に対して、ＥＸＲを作成し且つ複数のレンダリング層パス（例えば、深度、マット、および美しさ）を制作するためのオプションを提供し得る。様々な実施形態において、フレームは、リアルタイムエンジンモジュール２１２またはリアルタイムエンジンモジュール４２２を使用してレンダリングされ得る。１つの実施形態において、レンダリングソフトウェアは、選択されたショットをアクティブ化し、それらを一度に１つレンダリングし得る。１つの実施形態において、レンダリングソフトウェアは、１または複数のリモートマシン上で並行してショットをレンダリングし得る。レンダリングはエディタ内で行われ得る。すなわち、ビルドからショットをレンダリングする代わりに、レンダリングソフトウェアは、リアルタイムエンジンモジュール２１２またはリアルタイムエンジンモジュール４２２を「再生モード」に置いて、次に、ショットカメラからフレーム単位でショットカメラのレンダーテクスチャをスクレイピングすることに進む。実施形態において、レンダリングソフトウェアは、リアルタイムエンジンモジュール２１２またはリアルタイムエンジンモジュール４２２に構築された記録システムと併せて動作し得る。レンダリングは、エディタ内で実行され得る。この実施形態において、ユーザは、レンダリングの領域を定義する、タイムライン上のレコーダクリップを指定し得る。また、これらのクリップは、どの任意の出力変数（Ａｒｂｉｔｒａｒｙ Ｏｕｔｐｕｔ Ｖａｒｉａｂｌｅｓ，ＡＯＶ）がレンダリングされるかを定義する。ＡＯＶまたはレンダリングパスは、あらゆる任意のシェーディングネットワークコンポーネントを異なる画像にレンダリングする方式を提供する。例えば、アーティストは、別個の深度、マット、および美しさのパスをレンダリングして、その後、合成プロセスにおいてそれらを再度組み合わせ得る。選択されたＡＯＶは、前方レンダリングパイプラインへの追加のレンダリングパスとして機能する。特に、これらのパスは、カメラのレンダーテクスチャの代わりに、ユーザ定義レンダーテクスチャにレンダリングされる。これらのパス用のレコーダは、次に、これらのユーザ定義レンダーテクスチャをディスクに書き込む。合成プロセスを容易にすべく、単一フレームのためのＡＯＶパスが、例えばＳｉｍｐｌｅＩｍａｇｅＩＯライブラリを使用して、１つのＥＸＲファイルに書き込まれる。

【0077】

図１３は、例示的なレンダリングフレームを示す。フレームは、リアルタイムエンジンモジュール２１２またはリアルタイムエンジンモジュール４２２によってレンダリングされ得る。フレームは、アニメーション名、シーケンス、ファイル名、タイムスタンプ、アニメーション作成アプリケーションにおけるフレームに関連付けられた識別番号、およびリアルタイムエンジンにおけるフレームに関連付けられた識別番号などの、メタデータ情報を含み得る。

【0078】

図１４は、ＶＲマスタータイムラインの上部に層として重なる付加的な２Ｄショットタイムラインを作成するのに使用され得るタイムラインインタフェースを示す。例えば、タイムラインインタフェースは、２Ｄショットインポートモジュール４２６によって提供され得る。

【0079】

図１５は、照明アーティストが、基礎となるＶＲ照明を修正する必要なく、ショット固有の付加的な改良を行うことを可能にする別のタイムラインインタフェースを示す。いくつかの実施形態において、これらの付加的な変化を行うことは、高価な大域照明の計算を再ベークすることを必要としない。

【0080】

図１６は、上記で説明されている照明インタフェースを組み込む、結合された照明インタフェースを示す。結合された照明インタフェースは、リアルタイムエンジンモジュール２１２またはリアルタイムエンジンモジュール４２２によって提供され得る。

【0081】

図１７は、本技術に基づいて生成され得る例示的なコンタクトシートを示す。コンタクトシートは、１または複数のショットに関連付けられたフレームを含み得る。

【0082】

図１８から図２４は、本技術に基づいて行われ得る様々な改良を示す。例えば、本技術は、２Ｄコンテンツにおけるショット照明を改良し得る。一般的には、インタラクティブおよびＶＲプロジェクトの照明は、多くの場合正確に見えるが、この照明は、特定の撮影角度のために構成された場合、意図された効果をもたらさない場合がある。例えば、図１８は、ＡＲ／ＶＲバージョンからの照明を有する２Ｄコンテンツを示す。この例において、烏キャラクタ１８０２が焦点となるように意図される。しかしながら、ＡＲ／ＶＲバージョンからの照明は、焦点としての烏キャラクタ１８０２を示さない。上記に説明されているように、本技術は、図１９の例において示されるように、アーティストが、２Ｄコンテンツ内のショット照明に層として重なり、烏キャラクタ１８０２を焦点として強調することを可能にする。本技術は、図２０の例に示されるように、アーティストが亀キャラクタ２００２に接触影を追加することを可能にする。さらに、本技術は、図２１の例に示されるように、アーティストが、後処理を（例えば、被写界深度）適用して、視聴者の関心を集中させ、ショットを映画的にすることを可能にする。また、本技術は、アーティストが、ＡＲ／ＶＲコンテンツに適切でないであろう追加のＦＸ要素を２Ｄコンテンツに追加することを可能にする。例えば、図２２は、ＡＲ／ＶＲコンテンツからの元のショット２２０２を示す。また、図２２は、元のショット２２０２から導出された改良された２Ｄショット２２１２を示す。改良された２Ｄショット２２１２において、雪の足跡に対応するＦＸ要素が追加され、環境内の亀キャラクタが地面に置かれる。また、本技術は、アーティストがアニメーション修正を適用して２Ｄコンテンツを改良することを可能にする。例えば、図２３は、ＡＲ／ＶＲコンテンツから、コンピュータアニメーション化リアルタイム体験においてキャラクタを再生している視聴者をキャラクタが見ているフレームを示す。図２３において、キャラクタは、コンピュータアニメーション化リアルタイム体験においてキャラクタを再生している視聴者に関連付けられた仮想カメラを見ている。コンピュータアニメーション化リアルタイム体験において許容できる一方、図２３に反映されているキャラクタの挙動は、キャラクタが間違った方向を見ているので、２Ｄコンテンツに変換されないであろう。これに対処すべく、本技術は、２Ｄコンテンツとして作成および使用される新しいアニメーションを可能する。例えば、図２４は、蟻キャラクタ２４０４のアニメーションが図２３における前のショットとスムーズにフックアップされている間、烏キャラクタ２４０２が蟻キャラクタ２４０４を見ている新しいアニメーションを示す。図２４に反映されている新しいアニメーションは、図２３におけるＡＲ／ＶＲコンテンツに対応するアニメーションよりも、２Ｄコンテンツとして視聴することに良く適合していてよい。多くの変形例が可能である。
ハードウェア実装

【0083】

前述のプロセスおよび特徴は、多種多様なマシンおよびコンピュータシステムアーキテクチャと、多種多様なネットワークおよびコンピューティング環境とによって実装され得る。図２５は、本技術の実施形態に従って、例示的なマシン２５００を示しており、その内では、本明細書に説明されている１または複数の実施形態をマシンに実行させるための命令のセットが実行され得る。実施形態は、１または複数のシステム、方法、またはコンピュータ可読媒体に関連し得る。マシンは、他の機械に接続され（例えば、ネットワーク化され）得る。ネットワーク化されたデプロイにおいて、マシンは、サーバまたはクライアント‐サーバネットワーク環境内のクライアントマシンの容量において、または、ピアツーピア（または分散型）ネットワーク環境内のピアマシンとして、動作し得る。

【0084】

コンピュータシステム２５００は、バス２５０８を介して互いに通信している、プロセッサ２５０２（例えば、中央演算処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）またはその両方）、メインメモリ２５０４、および不揮発性メモリ２５０６（例えば、揮発性ＲＡＭおよび不揮発性ＲＡＭのそれぞれ）を含む。プロセッサ２５０２は、並行処理システムなどの任意の適切な形態で実装され得る。いくつかの場合において、例示的なマシン２５００は、コンピューティングデバイスまたはシステムに対応すること、それらを含むこと、またはその内に含まれることができる。例えば、いくつかの実施形態において、マシン２５００は、デスクトップコンピュータ、ラップトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、電化製品、ウェアラブルデバイス、カメラ、タブレット、または携帯電話などであり得る。また、１つの実施形態において、コンピュータシステム２５００は、ビデオディスプレイ２５１０、英数字入力デバイス２５１２（例えば、キーボード）、カーソル制御デバイス２５１４（例えば、マウス）、ドライブユニット２５１６、信号生成デバイス２５１８（例えば、スピーカ）、およびネットワークインタフェースデバイス２５２０を含む。

【0085】

１つの実施形態において、ビデオディスプレイ２５１０は、ユーザ入力のためのタッチセンサスクリーンを含む。１つの実施形態において、タッチセンサスクリーンは、キーボードおよびマウスの代わりに使用される。ディスクドライブユニット２５１６は機械可読媒体２５２２を含み、その上で、本明細書に説明されている方法論または機能のうち任意の１または複数を具現化する１または複数の命令２５２４（例えば、ソフトウェア）のセットが格納されている。また、命令２５２４は、それらのコンピュータシステム２５００による実行中に、完全にまたは少なくとも部分的に、メインメモリ２５０４内および／またはプロセッサ２５０２内に存在し得る。命令２５２４はさらに、ネットワークインタフェースデバイス２５２０を介してネットワーク２５４０を通して送信または受信され得る。いくつかの実施形態において、機械可読媒体２５２２は、データベース２５２５も含む。

【0086】

揮発性ＲＡＭはダイナミックＲＡＭ（ＤＲＡＭ）として実装され得、メモリ内のデータをリフレッシュまたは維持するべく、継続的に電力を必要とする。不揮発性メモリは、典型的には、磁気ハードドライブ、磁気光ドライブ、光ドライブ（例えば、ＤＶＤ ＲＡＭ）、または、システムから電力が除去された後でもデータを維持する他のタイプのメモリシステムである。不揮発性メモリ２５０６は、ランダムアクセスメモリであってもよい。不揮発性メモリ２５０６は、コンピュータシステム２５００内の残りのコンポーネントに直接結合されているローカルデバイスであり得る。システムから離れている不揮発性メモリ、例えばモデムまたはイーサネット（登録商標）インタフェースなどのネットワークインタフェースを介した本明細書に説明されているコンピュータシステムのいずれかに結合されたネットワーク記憶装置などが、使用されてもよい。

【0087】

機械可読媒体２５２２が例示的な実施形態において単一の媒体であるように示されているが、その一方、用語「機械可読媒体」は、命令の１または複数のセットを格納する単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および／または関連付けられたキャッシュならびにサーバ）を含むものと解釈されるべきである。また、用語「機械可読媒体」は、マシンによる実行のための命令のセットを格納、エンコーディングまたは保持可能な、且つ、本技術の方法論のうち任意の１または複数をマシンに実行させる、任意の媒体を含むものとも解釈されるものとする。したがって、用語「機械可読媒体」は、限定されないが、ソリッドステートメモリ、光学媒体ならびに磁気媒体、および搬送波信号を含むものと解釈されるものとする。本明細書で使用される用語「ストレージモジュール」は、機械可読媒体を使用して実装され得る。

【0088】

一般的には、本発明の実施形態を実装するために実行されるルーチンは、動作システムもしくは特定のアプリケーションの一部、コンポーネント、プログラム、オブジェクト、モジュール、または、「プログラム」もしくは「アプリケーション」と称される命令のシーケンスとして実装され得る。例えば、１または複数のプログラムもしくはアプリケーションは、本明細書に説明されている機能、技術、およびプロセスのいずれかまたは全てを実行するために使用され得る。プログラムまたはアプリケーションは、典型的には、マシン内の様々なメモリおよびストレージデバイスにおいて様々な時間にセットされた１または複数の命令を備えており、１または複数のプロセッサによって読み取られ実行された場合、本明細書に説明されている実施形態の様々な態様を含む要素を実行するための動作をコンピューティングシステム２５００に実行させる。

【0089】

実行可能なルーチンおよびデータは、例えば、ＲＯＭ、揮発性ＲＡＭ、不揮発性メモリ、および／またはキャッシュメモリを含む様々な箇所に格納され得る。これらのルーチンおよび／またはデータの一部は、これらのストレージデバイスのうち任意の１つに格納され得る。さらに、ルーチンおよびデータは、集中型サーバまたはピアツーピアネットワークから取得され得る。ルーチンおよびデータの異なる部分は、異なる時間に異なる通信セッションにおいて、または、同じ通信セッションにおいて、異なる集中型サーバおよび／またはピアツーピアネットワークから取得され得る。ルーチンおよびデータは、アプリケーションの実行の前に全体が取得され得る。代替的に、ルーチンおよびデータの一部は、実行に必要な場合はちょうど間に合うように動的に取得され得る。したがって、ルーチンおよびデータは、時間の特定のインスタンスにおいて、全体が機械可読媒体上にある必要はない。

【0090】

実施形態がコンピューティングシステムの文脈で完全に説明されている一方、当業者であれば、様々な実施形態が、様々な形態のプログラム製品として分散されることが可能であることと、本明細書に説明されている実施形態が、実際に分散を実施するのに使用される特定のタイプのマシン可読媒体またはコンピュータ可読媒体に関わらず等しく適用されることとを理解するであろう。機械可読媒体の例は、限定されないが、とりわけ、揮発性および不揮発性メモリデバイスなどの記録可能型媒体、フロッピーディスクおよび他の取り外し可能なディスク、ハードディスクドライブ、光ディスク（例えば、コンパクトディスクリードオンリメモリ（ＣＤ ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）など）、および、デジタルならびにアナログの通信リンクなどの送信型媒体を含む。

【0091】

代替的に、または組み合わせて、本明細書に説明されている実施形態は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用するようなソフトウェア命令の有無にかかわらず、専用回路を使用して実装され得る。実施形態は、ソフトウェア命令なしでハードワイヤード回路を使用して、またはソフトウェア命令と組み合わせて実装され得る。
したがって、技術は、ハードウェア回路およびソフトウェアのいかなる特定の組み合わせに対しても、データ処理システムによって実行される命令のためのいかなる特定のソースに対しても、限定されない。

【0092】

説明の目的のために、説明の完全な理解を提供すべく、多くの具体的な詳細が記載される。しかしながら、当業者には、本開示の実施形態はこれらの具体的な詳細なしで実施できることが明らかであろう。いくつかの例において、モジュール、構造、プロセス、特徴、およびデバイスは、本明細書で議論された説明を不明瞭にすることを回避するべく、ブロック図形式において示されている。他の例においては、機能ブロック図およびフロー図が、データおよび論理フローを表すために示されている。ブロック図およびフロー図のコンポーネント（例えば、モジュール、エンジン、ブロック、構造、デバイス、特徴など）は、本明細書において明示的に説明され示されたもの以外の方式で、様々に組み合わされ、分離され、除去され、リオーダされ、および置換され得る。

【0093】

この明細書における「１つの実施形態」、「実施形態」、「他の実施形態」、「別の実施形態」、または「様々な実施形態において」等の言及は、実施形態に関連して説明された特定の特徴、設計、構造、または特性が、本開示の少なくとも１つの実施形態に含まれていることを意味する。例えば、本明細書の様々な箇所における「実施形態に係る」、「１つの実施形態において」、「実施形態において」、「様々な実施形態において」、または「別の実施形態において」といった表現の出現は、必ずしも全てが同じ実施形態を参照しているわけでもなく、他の実施形態と相互に排他的な別個のまたは代替的な実施形態でもない。さらに、「実施形態」等への明示的な参照があるか否かにかかわらず、様々な特徴が説明されており、これらは、いくつかの実施形態において様々に組み合わされて含まれるが、他の実施形態において様々に省略される場合もある。同様に、いくつかの実施形態には優先事項または要件であるが、他の実施形態では優先または要求されない場合がある、様々な特徴が説明されている。

【0094】

実施形態は特定の例示的な実施形態を参照して説明されているが、これらの実施形態に対して様々な変更および変化が行われ得ることは明らかであろう。したがって、明細書および図面は、限定的な意味ではなく、例示的な意味で考慮される。前述の明細書は、特定の例示的な実施形態を参照して説明を提供する。以下の特許請求の範囲に記載されているようなより広い主旨および範囲から逸脱することなく、様々な変更が行われ得ることが明らかであろう。明細書および図面は、したがって、限定的な意味ではなく、例示的な意味で考慮される。

【0095】

図面のうちいくつかは多数の動作または方法の段階を特定の順序で示しているが、順序に依存しない段階はリオーダされ得、他のステップは組み合されまたは省略され得る。いくつかのリオーダまたは他のグループ化が具体的に言及されている一方、その他は当業者にとって明らかであるので、代替物の網羅的なリストは提示されない。さらに、ステージは、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせにおいて実装され得ることが認識されるべきである。

【0096】

本発明の要点から逸脱することなく、様々な変化が行われ得ることも理解するべきである。そのような変更はまた、本説明に暗黙的に含まれている。それらはさらに本発明の範囲に含まれる。本開示は、独立的に且つ全体的なシステムとして、方法および装置モードの両方において、本発明の多くの態様を網羅する特許をもたらすことを意図していることを理解されたい。

【0097】

さらに、本発明および特許請求の範囲の様々な要素の各々はまた、様々な方式で実現され得る。本開示は、任意の装置の実施形態、方法またはプロセスの実施形態、またはさらにはこれらの任意の要素の単なる変形のうちの実施形態の変形などの、各々のそのような変形を包含することを理解されたい。

【0098】

さらに、移行表現「備える（ｃｏｍｐｒｉｓｉｎｇ）」の使用は、従来の請求項の解釈に従って、本明細書の「オープンエンド」請求項を維持するために使用されている。したがって、文脈で別様に必要とされない限り、用語「備える（ｃｏｍｐｒｉｓｅ）」、または「備える（ｃｏｍｐｒｉｓｅｓ）」もしくは「備える（ｃｏｍｐｒｉｓｉｎｇ）」などの変形は、記載された要素もしくは段階、または要素もしくは段階のグループの包含を示唆することを意図しているが、任意の他の要素もしくは段階、または要素もしくは段階のグループの排除は意図していないことを理解されたい。そのような用語は、それらの最も広範な形態で解釈されることにより、以下の特許請求の範囲に従って法的に許容可能な最も広い網羅範囲を出願人に提供するべきである。

【0099】

本明細書に使用されている言語は主に可読性および教示的な目的のために選択されており、発明の主題を詳述または制限するために選択されなくてもよい。したがって、本発明の範囲は、この詳細な説明によってではなく、むしろ本明細書に基づく出願に対して発行される任意の請求項によって限定されることを意図している。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載されている本発明の範囲を例示することを意図しているが、それを限定するものではない。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【国際調査報告】