特表 2022-554415 バックプレートのレンダリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-28

(54)【発明の名称】バックプレートのレンダリング

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221221BHJP

   H04N 5/232 20060101ALI20221221BHJP

【ＦＩ】

G06T19/00 A

H04N5/232 290

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022526792

(86)(22)【出願日】2020-12-10

(85)【翻訳文提出日】2022-05-10

(86)【国際出願番号】 US2020064239

(87)【国際公開番号】W WO2021119272

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】62/947,687

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/990,304

(32)【優先日】2020-08-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】サウアーマン フィリックス

(72)【発明者】

【氏名】パターソン ジョニー

【テーマコード（参考）】

5B050

5C122

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA09

5B050CA01

5B050EA26

5C122EA42

5C122EA55

5C122FB03

5C122GA34

5C122HA75

5C122HB01

(57)【要約】

ビデオレンダリングは、複数のフレームを有するショットを形成するビデオシーケンス中の少なくとも１つのカメラの空間座標を追跡するステップであって、前記少なくとも１つのカメラの各々がレンズを有する、ステップと、前記ショット中の前記少なくとも１つのカメラの前記レンズに対応するレンズデータを格納するレンズプロファイルを作成するステップと、前記レンズデータをエンコードするステップと、前記レンズデータをレンダエンジンに送信するステップと、前記ショット中の前記少なくとも１つのカメラの移動を再トレースするステップと、前記ショット中の前記レンズ及び前記レンズの１又は２以上の特性を再作成するステップと、前記再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内に前記ショットを複製するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオレンダリングのための方法であって、
複数のフレームを有するショットを形成するビデオシーケンス中の少なくとも１つのカメラの空間座標を追跡するステップであって、前記少なくとも１つのカメラの各々がレンズを有する、ステップと、
前記ショット中の前記少なくとも１つのカメラの前記レンズに対応するレンズデータを格納するレンズプロファイルを作成するステップと、
前記レンズデータをエンコードするステップと、
前記レンズデータをレンダエンジンに送信するステップと、
前記ショット中の前記少なくとも１つのカメラの移動を再トレースするステップと、
前記ショット中の前記レンズ及び前記レンズの１又は２以上の特性を再作成するステップと、
前記再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内に前記ショットを複製するステップと、
を含むことを特徴とする方法。

【請求項2】

前記少なくとも１つのカメラの各々の前記空間座標は、各カメラの位置を含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記少なくとも１つのカメラの各々の前記空間座標は、各カメラの向きを含むことを特徴とする、請求項１に記載の方法。

【請求項4】

各カメラの前記向きは、各カメラのローカル回転を追跡するために使用されるピッチ、ヨー、ロール軸を含むことを特徴とする、請求項３に記載の方法。

【請求項5】

前記レンズプロファイルは、前記レンズ内で全ての光ビームが交差する点であり、イメージプレーン上に投影されるノーダルポイントを含むことを特徴とする、請求項１に記載の方法。

【請求項6】

前記レンズプロファイルは、前記ノーダルポイントまでの前記イメージプレーンの距離、各カメラの焦点距離、レンズ歪みプロファイル、画像中心のずれ、レンズ絞り、フォーカス距離、及び口径食又はレンズシェーディング、のうちの少なくとも１つを含むことを特徴とする、請求項５に記載の方法。

【請求項7】

前記レンズデータを前記ショットのそれぞれのフレームに同期させるステップ、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項8】

前記ショットを複製するステップは、フレームごとに前記レンズ及び前記レンズ特性を模倣して、前記ショットを仮想的に複製するステップを含むことを特徴とする、請求項１に記載の方法。

【請求項9】

ビデオレンダリングのためのシステムであって、前記システムは、
背景シーンの画像を取り込み、前記取り込まれた画像をカメラデータとして出力するための少なくとも１つのカメラであって、前記少なくとも１つのカメラの各々がレンズを有する、少なくとも１つのカメラと、
複数のフレームを有するショットを形成するビデオシーケンス中の前記少なくとも１つのカメラの空間座標を追跡して、前記追跡された空間座標をセンサデータとして出力するための少なくとも１つのセンサと、
前記少なくとも１つのカメラ及び前記少なくとも１つのセンサに結合されて、前記ショット中の前記少なくとも１つのカメラの前記レンズに対応するレンズデータを格納するレンズプロファイルを生成するためのプロセッサと、
を含み、
前記プロセッサは、前記カメラデータ、前記センサデータ、及び前記レンズデータを処理して、前記ショットを複製する、
ことを特徴とするシステム。

【請求項10】

前記レンズデータを前記ショットのそれぞれのフレームに同期させることを特徴とする、請求項９に記載のビデオレンダリングシステム。

【請求項11】

前記レンズデータをタイムコードに同期させることを特徴とする、請求項９に記載のビデオレンダリングシステム。

【請求項12】

前記複製されたショットをレンダリングするためのレンダラを更に含むことを特徴とする、請求項９に記載のビデオレンダリングシステム。

【請求項13】

前記プロセッサは、前記レンズデータをエンコードし、前記ショット中の前記少なくとも１つのカメラの移動を再トレースし、前記レンズ及び前記レンズの１又は２以上の特性を再作成し、仮想環境内に前記ショットを複製することを特徴とする、請求項９に記載のビデオレンダリングシステム。

【請求項14】

前記少なくとも１つのカメラの移動を再トレースして、フレームごとに前記レンズ及びその特性を模倣して、前記ショットを仮想的に複製するためのレンダエンジン、
を更に含むことを特徴とする、請求項９に記載のビデオレンダリングシステム。

【請求項15】

ビデオをレンダリングするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
複数のフレームを有するショットを形成するビデオシーケンス中の少なくとも１つのカメラの空間座標を追跡することであって、前記少なくとも１つのカメラの各々がレンズを有する、ことと、
前記ショット中の前記少なくとも１つのカメラの前記レンズに対応するレンズデータを格納するレンズプロファイルを生成することと、
前記レンズデータをエンコードすることと、
前記レンズデータをレンダエンジンに送信することと、
前記ショット中の前記少なくとも１つのカメラの移動を再トレースすることと、
前記ショット中の前記レンズ及び前記レンズの１又は２以上の特性を再作成することと、
前記再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内に前記ショットを複製することと、
を行わせる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項16】

前記少なくとも１つのカメラの各々の前記空間座標は、各カメラの位置を含むことを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記レンズプロファイルは、前記レンズ内で全ての光ビームが交差する点であり、イメージプレーン上に投影されるノーダルポイントを含むことを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

前記レンズプロファイルは、前記ノーダルポイントまでの前記イメージプレーンの距離、各カメラの焦点距離、レンズ歪みプロファイル、画像中心のずれ、レンズ絞り、フォーカス距離、及び口径食又はレンズシェーディング、のうちの少なくとも１つを含むことを特徴とする、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記レンズデータを前記ショットのそれぞれのフレームに同期させること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記コンピュータに、前記ショットを複製することを行わせる前記実行可能命令は、
フレームごとに前記レンズ及び前記レンズ特性を模倣して、前記ショットを仮想的に複製すること、
を前記コンピュータに行わせる実行可能命令を含む、
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、ビデオのレンダリングに関し、具体的には、バックプレートのレンダリングに関する。

【背景技術】

【0002】

[0002] ビデオ制作のための従来のシステムでは、背景「プレート」（「バックプレート」と呼ばれる場合もある）のレンダリングは、被写体のない背景シーンの撮影を含む。しかしながら、バックプレートの使用は、プロセスが大量の手作業を必要とするので、費用がかかり面倒である可能性があるという不利益がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

[0003] 本開示は、ビデオデータの処理及びレンダリングを提供する。

【課題を解決するための手段】

【0004】

[0004] １つの実装では、ビデオレンダリングのための方法を開示する。前記方法は、複数のフレームを有するショットを形成するビデオシーケンス中の少なくとも１つのカメラの空間座標を追跡するステップであって、前記少なくとも１つのカメラの各々がレンズを有する、ステップと、前記ショット中の前記少なくとも１つのカメラの前記レンズに対応するレンズデータを格納するレンズプロファイルを作成するステップと、前記レンズデータをエンコードするステップと、前記レンズデータをレンダエンジンに送信するステップと、前記ショット中の前記少なくとも１つのカメラの移動を再トレースするステップと、前記ショット中の前記レンズ及び前記レンズの１又は２以上の特性を再作成するステップと、前記再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内に前記ショットを複製するステップと、を含む。

【0005】

[0005] １つの実装では、前記少なくとも１つのカメラの各々の前記空間座標は、各カメラの位置を含む。１つの実装では、前記少なくとも１つのカメラの各々の前記空間座標は、各カメラの向きを含む。１つの実装では、各カメラの前記向きは、各カメラのローカル回転を追跡するために使用されるピッチ、ヨー、ロール軸を含む。１つの実装では、前記レンズプロファイルは、前記レンズ内で全ての光ビームが交差する点であり、イメージプレーン上に投影されるノーダルポイントを含む。１つの実装では、前記レンズプロファイルは、前記ノーダルポイントまでのイメージプレーン距離、各カメラの焦点距離、レンズ歪みプロファイル、画像中心のずれ、レンズ絞り、及びフォーカス距離、のうちの少なくとも１つを含む。１つの実装では、前記方法は、前記レンズデータを前記ショットのそれぞれのフレームに同期させるステップを更に含む。１つの実装では、前記ショットを複製するステップは、フレームごとに前記レンズ及び前記レンズ特性を模倣して、前記ショットを仮想的に複製するステップを含む。

【0006】

[0006] 別の実装では、ビデオレンダリングのためのシステムを開示する。前記システムは、背景シーンの画像を取り込み、前記取り込まれた画像をカメラデータとして出力するための少なくとも１つのカメラであって、前記少なくとも１つのカメラの各々がレンズを有する、少なくとも１つのカメラと、複数のフレームを有するショットを形成するビデオシーケンス中の前記少なくとも１つのカメラの空間座標を追跡して、前記追跡された空間座標をセンサデータとして出力するための少なくとも１つのセンサと、前記少なくとも１つのカメラ及び前記少なくとも１つのセンサに結合されて、前記ショット中の前記少なくとも１つのカメラの前記レンズに対応するレンズデータを格納するレンズプロファイルを生成するためのプロセッサと、を含み、前記プロセッサは、前記カメラデータ、前記センサデータ、及び前記レンズデータを処理して、前記ショットを複製する。

【0007】

[0007] １つの実装では、前記レンズデータを前記ショットのそれぞれのフレームに同期させる。１つの実装では、前記レンズデータをタイムコードに同期させる。１つの実装では、前記システムは、前記複製されたショットをレンダリングするためのレンダラを更に含む。１つの実装では、前記プロセッサは、前記レンズデータをエンコードし、前記ショット中の前記少なくとも１つのカメラの移動を再トレースし、前記レンズ及び前記レンズの１又は２以上の特性を再作成し、仮想環境内に前記ショットを複製する。１つの実装では、前記システムは、前記少なくとも１つのカメラの移動を再トレースして、フレームごとに前記レンズ及びその特性を模倣して、前記ショットを仮想的に複製するためのレンダエンジン、を更に含む。

【0008】

[0008] 別の実装では、ビデオをレンダリングするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、複数のフレームを有するショットを形成するビデオシーケンス中の少なくとも１つのカメラの空間座標を追跡することであって、前記少なくとも１つのカメラの各々がレンズを有する、ことと、前記ショット中の前記少なくとも１つのカメラの前記レンズに対応するレンズデータを格納するレンズプロファイルを生成することと、前記レンズデータをエンコードすることと、前記レンズデータをレンダエンジンに送信することと、前記ショット中の前記少なくとも１つのカメラの移動を再トレースすることと、前記ショット中の前記レンズ及び前記レンズの１又は２以上の特性を再作成することと、前記再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内に前記ショットを複製することと、を行わせる。

【0009】

[0009] １つの実装では、前記少なくとも１つのカメラの各々の前記空間座標は、各カメラの位置を含む。１つの実装では、前記レンズプロファイルは、前記レンズ内で全ての光ビームが交差する点であり、イメージプレーン上に投影されるノーダルポイント（光軸上に位置する）を含む。１つの実装では、前記レンズプロファイルは、前記ノーダルポイントまでのイメージプレーン距離、各カメラの焦点距離、レンズ歪みプロファイル、画像中心のずれ、レンズ絞り、及びフォーカス距離、のうちの少なくとも１つを含む。１つの実装では、前記コンピュータプログラムは、前記レンズデータを前記ショットのそれぞれのフレームに同期させること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記コンピュータに、前記ショットを複製することを行わせる前記実行可能命令は、フレームごとに前記レンズ及び前記レンズ特性を模倣して、前記ショットを仮想的に複製すること、を前記コンピュータに行わせる実行可能命令を含む。

【0010】

[0010] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0011】

[0011] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0012】

【図1】本開示の１つの実装によるビデオレンダリングのための方法のフロー図である。

【図2A】本開示の１つの実装によるビデオレンダリングシステムのブロック図である。

【図2B】本開示の別の実装によるビデオレンダリングシステムのブロック図である。

【図3A】本開示の実装による、コンピュータシステム及びユーザの図である。

【図3B】本開示の実装による、ビデオレンダリングアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0013】

[0017] 上記のように、ビデオ制作における背景のレンダリングにおけるバックプレートの使用は、プロセスが大量の手作業を必要とするという不利益がある。したがって、プロセスは、費用がかかり面倒である可能性がある。

【0014】

[0018] 本開示の特定の実装は、ビデオデータを処理及びレンダリングするための技術を実装するための方法及びシステムを提供する。１つの実装では、ビデオシステムは、映画、ＴＶ及びコマーシャルで使用されるように、視覚効果（ＶＦＸ）のために正確で高忠実度のバックプレートをレンダリングする。この方法は、８Ｋを超える解像度のアセット又は他の任意のアセットから引き出すことができて、ユーザが配信のための解像度を自由に定めることができるようにする。

【0015】

[0019] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0016】

[0020] 以下の実装で提供する特徴は、以下の項目のうちの１又は２以上を含むことができるが、これらに限定されない。例えば、１つの実装では、ビデオ制作中に、カメラの遠隔測定データとともに、レンズの歪み、イメージャの次元、レンズのノーダルポイント、焦点距離、フォーカス距離、及び絞りを記録する。また、テイクごとに（又は記録の間中）タイムコード及び／又はフレーム番号を記録する。別の実装では、ツール又はスクリプトを使用して、アセット（すなわち、プレートのための背景アセット）を含むレンダエンジンに、記録されたデータを送る。次に、個々のフレームを所望の画像品質でレンダリングする。個々のフレームを結合してビデオファイルにまとめることも可能である。

【0017】

[0021] 図１は、本開示の１つの実装によるビデオレンダリングのための方法１００のフロー図である。図１に示す実装では、ステップ１１０において、複数のフレームを有するショットを形成するビデオシーケンス中のカメラの空間座標を追跡する。１つの実装では、カメラの空間座標は、カメラの位置を含む。別の実装では、カメラの空間座標は、カメラの向きを含む。

【0018】

[0022] 動作の一例では、環境内のメインキャプチャカメラの位置をリアルタイムで追跡する。１つの実装では、６自由度の追跡システムを使用する。例えば、Ｘ，Ｙ，Ｚ座標を使用して、仮想カメラの原点からの平行移動を追跡し、ピッチ、ヨー、ロール軸を使用して、カメラのローカル回転を追跡する。１つの実装では、仮想カメラの原点（すなわち０，０，０）は、物理的レンズのノーダルポイントである。

【0019】

[0023] １つの実装では、カメラはレンズを含む。ステップ１２０において、ショット中のカメラのレンズに対応するレンズデータを格納するレンズプロファイルを生成する。１つの実装では、レンズプロファイルは、以下のパラメータ、すなわち、（１）アクティブセンサの次元／フィルムプレーン／イメージャの測定、（２）ノーダルポイントまでのイメージプレーン距離、（３）ズーム及びレンズブリージングを考慮するカメラの焦点距離、（４）レンズ歪みプロファイル、（５）画像中心のずれ、（６）レンズ絞り、（７）フォーカス距離、及び（８）レンズの口径食又はシェーディング、を含む。

【0020】

[0024] １つの実装では、レンズデータをショットのそれぞれのフレームに同期させる。ステップ１３０において、レンズデータをエンコードして、ステップ１４０において、レンズデータをレンダエンジンに送信する。１つの実装では、ツール、スクリプト又はプラグイン（例えばＵｎｒｅａｌ Ｅｎｇｉｎｅ ４又はＵｎｉｔｙ）を使用して、レンズデータをレンダエンジンにフィードバックする。次に、ステップ１５０において、ショット中のカメラの移動を再トレースする。ステップ１６０において、ショット中のレンズ及びレンズの１又は２以上の特性を再作成して、ステップ１７０において、再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内にショットを複製する。

【0021】

[0025] １つの実装では、レンダエンジンは、メインキャプチャカメラの移動を再トレースして、フレームごとにレンズ及びその特性を模倣して、ショットを仮想的に複製する。これにより、オペレータは、全ての画像レンダ品質設定をフルに利用しながら、プレートのための解像度を自由に定めることができる。これは、アセットの品質によっては、デジタル画像内にノイズがない又はノイズがほとんどないことも意味する。これは、アセットの解像度品質及び取り込み方法に依存する。高品質のアセットでは、８Ｋを超える解像度のバックプレートを抽出することが可能である。

【0022】

[0026] 図２Ａは、本開示の１つの実装によるビデオレンダリングシステム２００のブロック図である。図２Ａに示す実装では、ビデオレンダリングシステム２００は、ビデオ制作又はスタジオ環境で使用される。システム２００は、背景シーン２１０の画像取り込みのための１又は２以上のカメラ２２０、２２２と、カメラの空間座標（例えば、位置及び向き）を追跡するための１又は２以上のセンサ／トラッカ２３０と、カメラデータ及びセンサデータを処理して、ビデオのフレームをレンダリングするためのレンダエンジン２４２を提供するための１又は２以上のプロセッサ２４０と、レンダラ２４４とを含む。１つの実装では、システム２００は、８Ｋを超える解像度の光検出及び測距（ライダー）スキャンされたアセットからのフレームをレンダリングする。しかしながら、一般に、任意の品質のアセットを使用することが可能であるが、ただし、アセット品質が最終の達成可能な解像度を制限する場合がある。

【0023】

[0027] 図２Ａに示す実装では、トラッカ２３０は、複数のフレームを有するショットを形成するビデオシーケンス中の１又は２以上のカメラ２２０、２２２の空間座標を追跡する。いくつかの実装では、トラッカ２３０は、単一のカメラ２２０の空間座標を追跡することができ、この場合、カメラ２２２の追跡は任意選択である（点線）。１つの実装では、カメラの空間座標は、カメラの位置を含む。別の実装では、カメラの空間座標は、カメラの向きを含む。

【0024】

[0028] 動作の一例では、環境内のカメラ２２０、２２２の位置をリアルタイムで追跡する。１つの実装では、６自由度の追跡システムを使用する。例えば、Ｘ，Ｙ，Ｚ座標を使用して、仮想カメラの原点からの平行移動を追跡し、ピッチ、ヨー、ロール軸を使用して、カメラのローカル回転を追跡する。１つの実装では、仮想カメラの原点（すなわち０，０，０）は、物理的レンズのノーダルポイントである。

【0025】

[0029] 図２Ａに示す実装では、プロセッサ２４０は、カメラ２２０、２２２に結合される。１つの実装では、プロセッサ２４０は、ショット中の各カメラ２２０又は２２２のレンズに対応するレンズデータを格納するレンズプロファイルを生成する。１つの実装では、レンズデータをショットのそれぞれのフレームに同期させる。別の実装では、レンズデータをタイムコードに同期させる。１つの実装では、プロセッサ２４０は、レンズデータをエンコードして、エンコードされたレンズデータをレンダエンジン２４２に送信する。次に、プロセッサ２４０は、ショット中のカメラの移動を再トレースする。プロセッサ２４０は、また、レンズ及びレンズの１又は２以上の特性を再作成して、再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内にショットを複製する。次に、プロセッサ２４０は、複製されたショットをレンダラ２４４に送信して、ショットをレンダリングする。

【0026】

[0030] １つの実装では、プロセッサ２４０は、制作中にリアルタイムで、レンズプロファイルを生成して、レンズデータをエンコードする。１つの実装では、レンズプロファイルは、以下のパラメータ、すなわち、（１）アクティブセンサの次元／フィルムプレーン／イメージャの測定、（２）ノーダルポイントまでのイメージプレーン距離、（３）ズーム及びレンズブリージングを考慮するカメラの焦点距離、（４）レンズ歪みプロファイル、（５）画像中心のずれ、（６）レンズ絞り、及び（７）フォーカス距離、を含む。別の実装では、レンズプロファイルは、減光情報（すなわち口径食）を含む。

【0027】

[0031] １つの実装では、プロセッサ２４０のレンダエンジン２４２は、カメラ２２０、２２２の移動を再トレースして、フレームごとにレンズ及びその特性を模倣して、ショットを仮想的に複製する。これにより、オペレータは、全ての画像レンダ品質設定をフルに利用しながら、プレートのための解像度を自由に定めることができる。これは、アセットの品質によっては、デジタル画像内にノイズがない又はノイズがほとんどないことも意味する。これは、アセットの解像度品質及び取り込み方法に依存する。高品質のアセットでは、８Ｋを超える解像度のバックプレートを抽出することが可能である。

【0028】

[0032] 図２Ｂは、本開示の別の実装によるビデオレンダリングシステム２５０のブロック図である。図２Ｂに示す実装では、ビデオレンダリングシステム２５０は、ビデオ制作又はスタジオ環境で使用される。システム２５０は、背景シーン２１０の画像取り込みのための１又は２以上のカメラ２２０、２２２と、カメラ２２０、２２２の空間座標（例えば、位置及び向き）を追跡するためのトラッカ２３０と、レンズプロファイラ２６０と、レンズエンコーダ２６２と、プロセッサ２７０と、レンダラ２８０とを含む。レンズプロファイラ２６０、レンズエンコーダ２６２、及びプロセッサ２７０は結合して、カメラデータ及びセンサデータを処理して、レンダラ２８０によってビデオのフレームをレンダリングするためのレンダエンジン２７２を提供する。１つの実装では、システム２５０は、８Ｋを超える解像度の光検出及び測距（ライダー）スキャンされたアセットからのフレームをレンダリングする。しかしながら、一般に、任意の品質のアセットを使用することが可能であるが、ただし、アセット品質が最終の達成可能な解像度を制限する場合がある。

【0029】

[0033] 図２Ｂに示す実装では、レンズプロファイラ２６０は、カメラ２２０、２２２に結合される。１つの実装では、レンズプロファイラ２６０は、ショット中の各カメラ２２０又は２２２のレンズに対応するレンズデータを格納するレンズプロファイルを生成する。１つの実装では、レンズデータをショットのそれぞれのフレームに同期させる。別の実装では、レンズデータをタイムコードに同期させる。次に、レンズプロファイラ２６０は、レンズデータをレンズエンコーダ２６２に送信する。１つの実装では、レンズエンコーダ２６２は、レンズデータをエンコードして、エンコードされたレンズデータをプロセッサ２７０のレンダエンジン２７２に送信し、次に、プロセッサ２７０は、ショット中のカメラの移動を再トレースする。プロセッサ２７０は、また、レンズ及びレンズの１又は２以上の特性を再作成して、トラッカ２３０からの再トレースされたカメラの移動と、レンズエンコーダ２６２からの再作成されたレンズ特性とを使用して、仮想環境内にショットを複製する。次に、プロセッサ２７０は、複製されたショットをレンダラ２８０に送信して、ショットをレンダリングする。

【0030】

[0034] １つの実装では、レンズプロファイラ２６０及びレンズエンコーダ２６２は、制作中にリアルタイムで、レンズプロファイルを生成して、レンズデータをエンコードする。１つの実装では、レンズプロファイルは、以下のパラメータ、すなわち、（１）アクティブセンサの次元／フィルムプレーン／イメージャの測定、（２）ノーダルポイントまでのイメージプレーン距離、（３）ズーム及びレンズブリージングを考慮するカメラの焦点距離、（４）レンズ歪みプロファイル、（５）画像中心のずれ、（６）レンズ絞り、（７）フォーカス距離、及び（８）口径食又はシェーディング、を含む。

【0031】

[0035] １つの実装では、プロセッサ２７０のレンダエンジン２７２は、カメラ２２０、２２２の移動を再トレースして、フレームごとにレンズ及びその特性を模倣して、ショットを仮想的に複製する。これにより、オペレータは、全ての画像レンダ品質設定をフルに利用しながら、プレートのための解像度を自由に定めることができる。これは、アセットの品質によっては、デジタル画像内にノイズがない又はノイズがほとんどないことも意味する。これは、アセットの解像度品質及び取り込み方法に依存する。高品質のアセットでは、８Ｋを超える解像度のバックプレートを抽出することが可能である。

【0032】

[0036] システムの変更も可能である。例えば、任意の種類及び解像度のアセットは、このワークフローと互換性がある。レンダリングされたプレートの品質は、アセット、例えば３次元の８Ｋを超える解像度のアセットの品質に依存する。この方法をより低解像度のアセットや、２次元アセットにも適用することが可能である。

【0033】

[0037] 図３Ａは、本開示の実装による、コンピュータシステム３００及びユーザ３０２の図である。ユーザ３０２は、コンピュータシステム３００を使用して、図１の方法１００及び図２Ａ及び図２Ｂのシステム２００、２５０に関して図示及び説明されるようなビデオレンダリングのためのアプリケーション３９０を実装する。

【0034】

[0038] コンピュータシステム３００は、図３Ｂのビデオレンダリングアプリケーション３９０を記憶して実行する。更に、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することができる。ソフトウェアプログラム３０４は、ビデオレンダリングアプリケーション３９０のためのソフトウェアコードを含むことができる。ソフトウェアプログラム３０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0035】

[0039] 更に、コンピュータシステム３００は、ネットワーク３８０に接続することができる。ネットワーク３８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク３８０は、ビデオレンダリングアプリケーション３９０内で使用されるエンジン及びデータを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0036】

[0040] 図３Ｂは、本開示の実装による、ビデオレンダリングアプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御して、例えば、データ処理を提供してカメラの移動データを取り込む。その実行において、コントローラ３１０は、ビデオレンダリングアプリケーション３９０にソフトウェアシステムを提供して、例えば、バックプレートをレンダリングする。代替的に、このサービスは、コントローラ３１０又はコンピュータシステム３００において別個のハードウェアコンポーネントとして実装することができる。

【0037】

[0041] メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用するためにデータを一時的に記憶する。１つの実装では、メモリ３２０はＲＡＭとして実装される。別の実装では、メモリ３２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0038】

[0042] ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ３３０は、ビデオレンダリングアプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０は、ハードディスクドライブである。

【0039】

[0043] メディアデバイス３４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。１つの実装では、例えば、メディアデバイス３４０は、光ディスクドライブである。

【0040】

[0044] ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからユーザ入力を受け取ってユーザ３０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用して、コンピュータシステム３００の動作を調整する。

【0041】

[0045] Ｉ／Ｏインターフェイス３６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0042】

[0046] ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0043】

[0047] コンピュータシステム３００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図３Ｂに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0044】

[0048] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。

【0045】

[0049] 更なる変形及び実装も可能である。例えば、映画又はテレビジョンのためのビデオ制作に加えて、コマーシャル、ウェブベース又はインターネットのコンテンツ、バーチャルプロダクション（例えば仮想現実環境）、及び視覚効果などの他の用途に、本システム及び方法の実装を適用して適合させることができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0046】

[0050] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0047】

１００ ビデオレンダリングのための方法
１１０ 複数のフレームを有するショットを形成するビデオシーケンス中のカメラの空間座標を追跡
１２０ ショット中のカメラのレンズに対応するレンズデータを格納するレンズプロファイルを生成
１３０ レンズデータをエンコード
１４０ レンズデータをレンダエンジンに送信
１５０ ショット中のカメラの移動を再トレース
１６０ ショット中のレンズ及び１又は２以上のレンズ特性を再作成
１７０ 再トレースされたカメラの移動及び再作成されたレンズ特性を使用して、仮想環境内にショットを複製
２００ ビデオレンダリングシステム
２１０ 背景シーン
２２０，２２２ カメラ
２３０ センサ／トラッカ
２４０ プロセッサ
２４２ レンダエンジン
２４４ レンダラ
２５０ ビデオレンダリングシステム
２６０ レンズプロファイラ
２６２ レンズエンコーダ
２７０ プロセッサ
２７２ レンダエンジン
２８０ レンダラ
３００ コンピュータシステム
３０２ ユーザ
３０４ ソフトウェアプログラム
３１０ コントローラ
３２０ メモリ
３３０ ストレージ
３４０ メディアデバイス
３５０ ユーザインターフェイス
３６０ Ｉ／Ｏインターフェイス
３７０ ネットワークインターフェイス
３８０ ネットワーク
３８５ サーバ
３９０ ビデオレンダリングアプリケーション

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【国際調査報告】