知財求人 - 知財ポータルサイト「IP Force」
▶ ナントストゥディオス、リミテッド、ライアビリティー、カンパニーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-06
(54)【発明の名称】動的透視を介したカメラ追跡
(51)【国際特許分類】
G06T 7/80 20170101AFI20241029BHJP
【ＦＩ】
G06T7/80
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024523146
(86)(22)【出願日】2022-10-18
(85)【翻訳文提出日】2024-04-16
(86)【国際出願番号】 US2022047002
(87)【国際公開番号】W WO2023069422
(87)【国際公開日】2023-04-27
(31)【優先権主張番号】63/257,930
(32)【優先日】2021-10-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
２．ＳＷＩＦＴ
３．ＰＹＴＨＯＮ
４．ＪＡＶＡ
(71)【出願人】
【識別番号】524143674
【氏名又は名称】ナントストゥディオス、リミテッド、ライアビリティー、カンパニー
【氏名又は名称原語表記】ＮａｎｔＳｔｕｄｉｏｓ， ＬＬＣ
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100124372
【弁理士】
【氏名又は名称】山ノ井 傑
(72)【発明者】
【氏名】マシーン、シディキ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096DA02
5L096EA39
5L096FA32
5L096FA66
5L096FA67
5L096FA69
5L096GA55
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
コンピュータシステムは第１の期間に対応する物理的カメラの第１の位置を識別し得る。コンピュータシステムは第１の期間の第１のバーチャルシーンを描画し得る。本システムは第１の期間の第１の描画された画像を判断するために第１のシーンを表示面上へ投影し得る。コンピュータシステムは第１の期間中にカメラから表示面の第１のカメラ画像を受信し得る。本システムは第１の描画された画像と第１のカメラ画像とを比較することによりカメラの第１の補正位置を判断し得る。本システムは第２の期間に対応するカメラの第２の位置を予測し得る。コンピュータシステムは第２の期間の第２のバーチャルシーンを描画し得る。本システムは第２の期間の第２の描画された画像を判断するために第２のバーチャルシーンを表示面上へ投影し得る。
【特許請求の範囲】
【請求項1】
バーチャル製作環境内のカメラ追跡を実施する方法であって、前記方法は可動である物理的カメラと通信可能に結合されたコンピュータシステムにより、以下のこと：第１の期間に対応する前記物理的カメラの第１の位置を識別すること；
前記第１の期間の第１のバーチャルシーンをアニメーションエンジンを使用することにより描画すること；
前記第１の期間の前記第１の描画された画像を判断するために前記第１のバーチャルシーンを表示面上へ投影することであって前記第１のバーチャルシーンの前記投影は前記物理的カメラの前記第１の位置に一致する、投影すること；
前記表示面上に表示するための前記第１の描画された画像をフレームバッファ内に格納すること；
前記表示面の第１のカメラ画像を受信することであって、前記第１のカメラ画像は前記第１の期間中に前記物理的カメラを使用することにより取得される、受信すること；
前記第１の描画された画像と前記第１のカメラ画像とを比較することにより前記物理的カメラの第１の補正位置を判断すること；
第２の描画された画像が表示面上に表示される第２の期間に対応する前記物理的カメラの第２の位置を前記第１の補正位置を使用することにより予測すること；
前記第２の期間の第２のバーチャルシーンをアニメーションエンジンを使用することにより描画すること；及び、
前記第２の期間の第２の描画された画像を判断するために前記第２のバーチャルシーンを前記表示面上へ投影することであって、前記第２のバーチャルシーンの前記投影は前記物理的カメラの前記第２の位置に一致する、投影すること
を行うことを含む方法。
【請求項2】
前記第１の描画された画像と前記第１のカメラ画像とを比較することは：前記第１の描画された画像内の物体の第１のピクセル位置と前記第１のカメラ画像内の前記物体の第２のピクセル位置とを識別すること；
前記第１のピクセル位置と前記第２のピクセル位置との差を判断すること；及び
前記第１の補正位置を取得するために前記差を前記第１の位置へ適用することを含む、請求項１に記載の方法。
【請求項3】
前記第２の位置を予測することは取得される最終映像のための所定振り付けファイルからの情報を使用する、請求項１に記載の方法。
【請求項4】
前記物理的カメラの前記第１の位置は前記表示画面の前記物理的カメラからの初期画像を使用することにより識別される、請求項１に記載の方法。
【請求項5】
前記物理的カメラの前記第１の位置を識別することは：画像を物理的位置へマッピングするモデルを格納すること；及び
前記初期画像を前記モデルへ入力することを含む、請求項４に記載の方法。
【請求項6】
前記物理的カメラの前記第２の位置を予測することは物理的カメラの位置の履歴からの情報を使用する、請求項１に記載の方法。
【請求項7】
前記物理的カメラの前記第２の位置を予測することは：現在位置から将来位置を予測するトレーニング済みモデルを格納すること；及び
前記第１の位置を前記モデルへ入力することを含む、請求項１に記載の方法。
【請求項8】
前記第１の位置を前記モデルへ入力することは前記第１の位置における前記物理的カメラの一組の運動データを入力することを含む、請求項７に記載の方法。
【請求項9】
前記一組の運動データは速度、加速、ジャーク、スナップ、クラックル及びポップの少なくとも１つを含む、請求項８に記載の方法。
【請求項10】
実行されるとコンピュータシステムに以下のこと：第１の期間に対応する物理的カメラの第１の位置を識別すること；
前記第１の期間の第１のバーチャルシーンをアニメーションエンジンを使用することにより描画すること；
前記第１の期間の前記第１の描画された画像を判断するために前記第１のバーチャルシーンを表示面上へ投影することであって前記第１のバーチャルシーンの前記投影は前記物理的カメラの前記第１の位置に一致する、投影すること；
前記表示面上に表示するための前記第１の描画された画像をフレームバッファ内に格納すること；
前記表示面の第１のカメラ画像を受信することであって、前記第１のカメラ画像は前記第１の期間中に前記物理的カメラを使用することにより取得された、受信すること；
前記第１の描画された画像と前記第１のカメラ画像とを比較することにより前記物理的カメラの第１の補正位置を判断すること；
第２の描画された画像が表示面上に表示される第２の期間に対応する前記物理的カメラの第２の位置を前記第１の補正位置を使用することにより予測すること；
前記第２の期間の第２のバーチャルシーンをアニメーションエンジンを使用することにより描画すること；及び
前記第２の期間の前記第２の描画された画像を判断するために前記第２のバーチャルシーンを前記表示面上へ投影することであって、前記第２のバーチャルシーンの前記投影は前記物理的カメラの前記第２の位置に一致する、投影すること
を行うように制御する複数の指令を格納する非一時的コンピュータ可読媒体を含むコンピュータ製品。
【請求項11】
前記第１の描画された画像と前記第１のカメラ画像とを比較することは：前記第１の描画された画像内の物体の第１のピクセル位置と前記第１のカメラ画像内の前記物体の第２のピクセル位置とを識別すること；
前記第１のピクセル位置と前記第２のピクセル位置との差を判断すること；及び
前記第１の補正位置を取得するために前記差を前記第１の位置へ適用することを含む、請求項１０に記載のコンピュータ製品。
【請求項12】
前記第２の位置を予測することは取得される最終映像の所定振り付けファイルからの情報を使用する、請求項１０に記載のコンピュータ製品。
【請求項13】
前記物理的カメラの前記第１の位置は前記表示画面の前記物理的カメラからの初期画像を使用することにより識別される、請求項１０に記載のコンピュータ製品。
【請求項14】
前記物理的カメラの前記第１の位置を識別することは：画像を物理的位置へマッピングするモデルを格納すること；及び
前記初期画像を前記モデルへ入力することを含む、請求項１３に記載のコンピュータ製品。
【請求項15】
前記物理的カメラの前記第２の位置を予測することは物理的カメラの位置の履歴からの情報を使用する、請求項１０に記載のコンピュータ製品。
【請求項16】
物理的カメラ；非一時的コンピュータ可読媒体；及び
前記非一時的コンピュータ可読媒体と通信可能に結合された１つ又は複数のプロセッサを含むシステムであって、前記１つ又は複数のプロセッサは以下のこと：
第１の期間に対応する前記物理的カメラの第１の位置を識別すること；
前記第１の期間の第１のバーチャルシーンをアニメーションエンジンを使用することにより描画すること；
前記第１の期間の前記第１の描画された画像を判断するために前記第１のバーチャルシーンを表示面上へ投影することであって前記第１のバーチャルシーンの前記投影は前記物理的カメラの前記第１の位置に一致する、投影すること；
前記表示面上に表示するための前記第１の描画された画像をフレームバッファ内に格納すること；
前記表示面の第１のカメラ画像を受信することであって、前記第１のカメラ画像は前記第１の期間中に前記物理的カメラを使用することにより取得される、受信すること；
前記第１の描画された画像と前記第１のカメラ画像とを比較することにより前記物理的カメラの第１の補正位置を判断すること；
第２の描画された画像が表示面上に表示される第２の期間に対応する前記物理的カメラの第２の位置を前記第１の補正位置を使用することにより予測すること；
前記第２の期間の第２のバーチャルシーンをアニメーションエンジンを使用することにより描画すること；及び
前記第２の期間の前記第２の描画された画像を判断するために前記第２のバーチャルシーンを前記表示面上へ投影することであって、前記第２のバーチャルシーンの前記投影は前記物理的カメラの前記第２の位置に一致する、投影すること
を行うように構成される、システム。
【請求項17】
前記物理的カメラの前記第２の位置を予測することは物理的カメラの位置の履歴からの情報を使用する、請求項１６に記載のシステム。
【請求項18】
前記物理的カメラの前記第２の位置を予測することは：現在位置から将来位置を予測するトレーニング済みモデルを格納すること；及び
前記第１の位置を前記モデルへ入力することを含む、請求項１６に記載のシステム。
【請求項19】
前記第１の位置を前記モデルへ入力することは前記第１の位置における前記物理的カメラの一組の運動データを入力することを含む、請求項１８に記載のシステム。
【請求項20】
前記一組の運動データは速度、加速、ジャーク、スナップ、クラックル及びポップの少なくとも１つを含む、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、すべての目的のために参照によりその全体を本明細書に援用する２０２１年１０月２０日申請の米国仮特許出願第６３／２５７，９３０号明細書：題名“ＣＡＭＥＲＡ ＴＲＡＣＫＩＮＧ ＶＩＡ ＤＹＮＡＭＩＣ ＰＥＲＳＰＥＣＴＩＶＥＳ”の利益を主張する。
本出願は、すべての目的のために参照によりその全体を本明細書に援用する２０２１年１０月２０日申請の米国仮特許出願第６３／２５７，９３０号明細書：題名“ＣＡＭＥＲＡ ＴＲＡＣＫＩＮＧ ＶＩＡ ＤＹＮＡＭＩＣ ＰＥＲＳＰＥＣＴＩＶＥＳ”の利益を主張する。
【背景技術】
【0002】
一生産技術では、撮影される物理的シーンの背景幕としてディジタルスクリーンが使用され得る。大きなディジタルスクリーンは、任意の背景及び文字がライブアクション俳優により挿入されることを可能にする。スクリーン上に表示される特定画像は、時間と共にそして物理的生成カメラと同期して変化し得る。画像は、判断された位置に基づきスクリーン上に表示される（例えば物理的プロダクションカメラ上のマーカと、マーカを使用することにより物理的プロダクションカメラの位置を判断する別個のデバイスとにより）。このような追跡は混み合ったステージ上で問題となり得、そしてエラーを有し得る。
【発明の概要】
【課題を解決するための手段】
【0003】
いくつかの実施形態は、物理的カメラの場所を判断するために表示パネルの捕捉画像を使用し得る。表示パネルは、物理的カメラの予測場所に基づき描画される画像を表示し得る。表示パネル幾何学的形状及び描画された画像が知られていれば、物理的カメラの位置は、描画された画像と物理的カメラにより捕捉された画像との比較を介し判断され得る。物理的カメラが予測場所に在れば、捕捉された画像は描画された画像を反映するべきであり、そして２つの画像間の差は物理的カメラの実際の場所を計算するために使用され得る。
【0004】
いくつかの実施形態では、バーチャル生産環境内のカメラ追跡を実施するための技術は、第１の期間又は時点に対応する物理的カメラの第１の位置を識別することを含み得る。本技術は第１の期間の第１のバーチャルシーンを描画することを含み得る。本技術は、第１の期間の第１の描画された画像を判断するために第１のバーチャルシーンを表示面上へ投影することを含み得る。第１のバーチャルシーンの投影は物理的カメラの第１の位置に一致する。本技術は表示面の第１のカメラ画像を受信することを含み得る。第１の画像は第１の期間中に物理的カメラを使用することにより取得される。本技術は第１の描画された画像と第１のカメラ画像とを比較することにより物理的カメラの第１の補正位置を判断することを含み得る。本技術は、第２の期間に対応する物理的カメラの第２の位置を第１の補正位置を使用することにより予測することを含み得る。本技術は第２の期間の第２のバーチャルシーンを描画することを含み得る。本技術は、第２の期間の第２の描画された画像を判断するために第２のバーチャルシーンを表示面上へ投影することを含む。第２のバーチャルシーンの投影は仮想カメラの第２の位置に一致する。
【0005】
いくつかの実施形態では、第２の位置を予測することは取得される最終映像の所定振り付けファイルからの情報を使用する。
【0006】
いくつかの実施形態では、物理的カメラの第１の位置は表示画面の物理的カメラからの初期画像を使用することにより識別される。
【0007】
いくつかの実施形態では、物理的カメラの第１の位置を識別することは画像を物理的位置へマッピングするモデルを格納することと初期画像をモデルへ入力することとを含む。
【0008】
本開示のこれら及び他の実施形態は以下に詳細に説明される。例えば、他の実施形態は本明細書において説明される方法に関連するシステム、デバイス及びコンピュータ可読媒体に向けられる。
【0009】
本開示のいくつかの実施形態の性質及び利点のより良い理解は以下の詳細説明と添付図面とを参照して得られ得る。
【図面の簡単な説明】
【0010】
【図1】少なくとも１つの実施形態によるバーチャル製作スタジオのオーバーヘッド透視図を示す。
【図2】少なくとも１つの実施形態による表示面上へ描画されたバーチャルシーンのオーバーヘッド透視図を示す。
【図4】少なくとも１つの実施形態による登録誤差（ｒｅｇｉｓｔｒａｔｉｏｎ ｅｒｒｏｒ）を有するバーチャル製作スタジオのオーバーヘッド透視図を示す。
【図5A】少なくとも１つの実施形態による見通線に沿った登録誤差を有するカメラのオーバーヘッド透視図を示す。
【図5B】少なくとも１つの実施形態による見通線に直交する登録誤差を有するカメラのオーバーヘッド透視図を示す。
【図6】少なくとも１つの実施形態による、予想カメラ位置と実際カメラ位置とが連設されるがカメラは様々な方位を有するバーチャル製作スタジオのオーバーヘッド透視図を示す。
【図7】少なくとも１つの実施形態による登録誤差を有するバーチャル製作スタジオのオーバーヘッド透視図を示す。
【図8】少なくとも１つの実施形態による以前のカメラ位置に基づき新しいカメラ位置を予測する方法のフローチャートを示す。
【図9】少なくとも１つの実施形態によるカメラ追跡をバーチャル生産環境内で実施するための技術のフローチャートを示す。
【図10】少なくとも１つの実施形態による本開示の一実施形態による例示的コンピュータシステムの線図を示す。
【発明を実施するための形態】
【0011】
バーチャル製作は、ライブアクションシーケンスがコンピュータ生成環境の前の物理的カメラにより撮影されることを可能にする視覚的効果技術である。バーチャル製作中の撮影は、高精細表示パネルのアレイから構成される表示面により（例えば１８０度、２７０度、４πラジアンなどで）囲まれた中央ステージを有する大きなスタジオ内で発生する。俳優及び物理的小道具は、バーチャルシーン（例えばコンピュータ生成背景幕）が境界表示面上に表示される間に中央ステージ内で撮影される。表示面のパネルは、中央ステージ内の俳優及び物体の現実的照明及び反射を可能にする。例えば、鏡内のバーチャルシーンの反射はバーチャル製作スタジオ内の撮影中に捕捉され得る一方で、伝統的撮影技術による同様な効果は後製作（ｐｏｓｔ－ｐｒｏｄｕｃｔｉｏｎ）において反射を加えることを必要とし得る。
【0012】
カメラの位置（角度及び距離）は移動し得るので、描画された画像はこのような動きに基づき更新される必要がある。いくつかの実施形態は、カメラの現在位置の適正画像を描画するようにカメラの位置を判断し得る。いくつかの実施形態は、カメラの動きを追跡する別個のシステムを必要することなく位置を判断し得る（例えばカメラへ取り付けられたマーカを使用することにより）。その代りに、いくつかの実施形態は、カメラにより測定された画像と予測位置からの予測画像とを比較し得る。比較から判断された誤差（例えば特定時刻における予測位置からの誤差）はカメラが在る場所に関する情報を提供する。
【0013】
このようにして、カメラは、画像間の最大差を生じる最も大きな視覚的歪み誤差が最も高い精度で測定されるので、より少ない機器により追跡され得、そして外部追跡システムよりより精確であり得る。このような誤差は、画像間の誤差に一致するやり方で推定位置が更新されるので視覚的オドメトリを使用する実施形態では存続しないだろう。
【0014】
Ｉ．バーチャル製作
バーチャル製作は、後製作においてコンピュータ生成画像を加える必要無しに撮影中にライブアクションシーンとコンピュータ生成画像とを合成する映画製作技術である。バーチャル製作中、コンピュータ生成３次元環境が生成され、コンピュータ生成３次元環境はバーチャルシーンを中央ステージと境界を接する表示画面上に描画しそして示すために使用される。バーチャルシーンは、表示画面上の２次元画像が意図された視点から見られた場合に３次元であるように見えるように、（恐らくカメラ視点又は俳優視点に対して）意図された視点に基づき描画される。
バーチャル製作は、後製作においてコンピュータ生成画像を加える必要無しに撮影中にライブアクションシーンとコンピュータ生成画像とを合成する映画製作技術である。バーチャル製作中、コンピュータ生成３次元環境が生成され、コンピュータ生成３次元環境はバーチャルシーンを中央ステージと境界を接する表示画面上に描画しそして示すために使用される。バーチャルシーンは、表示画面上の２次元画像が意図された視点から見られた場合に３次元であるように見えるように、（恐らくカメラ視点又は俳優視点に対して）意図された視点に基づき描画される。
【0015】
スタジオ又はステージと境界を接する模擬環境を精確に伝えるために、バーチャルシーンは単一視点に関し描画され得る。バーチャルシーンが３次元環境を模擬するので単一視点が選択されるが、バーチャルシーンは２次元表示画面上で描写される。２次元スクリーン上の説得力のある３次元環境を描写するために、３次元空間内の物体は視点（例えば３次元（３Ｄ）投影、カメラの視点など）により判断されたそれらの相対的サイズ及び場所により描画される。バーチャルシーンは、表示される画像を判断するために、画面に対応する２次元面上へ投影され得る。表示される正確な画像はカメラの位置に依存し得る。バーチャルシーンは、ゲームエンジン（例えばＵｎｒｅａｌ Ｅｎｇｉｎｅ、ＵｎＲｅａｌなど）を使用することにより生成されたコンピュータ生成３次元環境であり得る。投影は、３Ｄバーチャルシーンを、表示面の位置に対応する２次元面へマッピング（例えば幾何学的投影）する操作である。一般的に、物体は視点からの距離が増加するにつれてより小さく見える。バーチャルシーンが、意図せぬ視点から見られれば、描画された物体は、物体のサイズ、プロポーション及び位置が、どのように物体が意図せぬ視点から見えるかに一致しないので、歪んだように見え得る。
【0016】
加えて、カメラ運動は、環境が設定視点から３次元的に見える間は、表示面上に描画された２次元画像の視差（例えば変化する視点から見た物体の変位）は無いので、画像歪を引き起こし得る。視差の欠如を補正するために、模擬視差が、物理的カメラの場所及び方位に基づきコンピュータ生成画像を更新することにより、深度を伝える。視差を正しく模擬するために、物理的カメラは表示面に対するその方位を判断するために追跡される。
【0017】
図解例では、物理的セットがバーチャル製作スタジオ内の中央ステージ内に構築される。コンピュータ生成画像は、発光ダイオード（ＬＥＤ）パネルのアレイを含む表示面へ接続されるスタジオ内の描画システムへ提供される。既存実装形態では、スタジオはまた、物理的カメラの初期場所を提供するカメラ追跡システム（例えばＯｐｔｉｔｒａｃｋ）を含み得る。カメラ追跡システムにより判断された場所は表示面上に示される第１のバーチャルシーンを描画するために使用される。監督は、描画されたシーンを見た後、環境内の建物の照明及び位置に対し調節を行い得る。監督がシーンを承認すると、俳優がステージ内に配置されそしてこのシーンが撮影される。カメラ操作者が撮影中にカメラを移動するにつれ、カメラの場所は、捕捉された画像とカメラの推定位置に関して描画されたバーチャルシーンとを比較することにより視覚的オドメトリを介し追跡され得る（例えば環境のマップが前もって知られている場合に視覚的同時定位及びマッピング（ｖＳＬＡＭ：ｖｉｓｕａｌ ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）又は技術を使用することにより）。同時定位及びマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）はエリア内のエンティティの場所を追跡しながらエリアをマッピングし得る。いくつかの実装形態では、環境のマップは前もって判断され得、そして新しい測定結果が既存３Ｄマップと比較され得る。後で説明されるように、このような実施形態は、物理的環境内でトレーニングされた機械学習モデルを使用することとスクリーン（このようなコンテンツは動的であり得る）上に表示された同じコンテンツを使用することとを含み得る。
【0018】
視覚的オドメトリは連続カメラフレーム（ｓｕｃｃｅｓｓｉｖｅ ｃａｍｅｒａ ｆｒａｍｅ）を介し特徴を追跡し得る。連続フレーム間の特徴の比較は、３次元環境内の特徴の場所を三角測量するために使用され得る。連続カメラフレームはまた、３次元環境内のカメラの姿勢を推定するために使用され得る。近似解法が、使用され得、そして粒子フィルタ、拡張カルマンフィルタ、共分散交差法及びＧｒａｐｈＳＬＡＭを含み得る。
【0019】
図１は少なくとも１つの実施形態によるバーチャル製作スタジオ１００のオーバーヘッド透視図を示す。物理的カメラ１０２が湾曲表示面１０４の前に在る。いくつかの実装形態では、表示面１０４は中央ステージ１０６と境界を接し得、そして表示面１０４は表示パネル（例えば発光ダイオード（ＬＥＤ：ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）パネル、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）パネル、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）パネルなど）のアレイを含み得る。表示パネルの様々な幾何学的形状が企図され、そして、いくつかの実施形態では、表示面１０４は、中央ステージ１０６と境界を接する表面の小部分を占め得る。例えば、表示面１０４は壁上の模擬窓であり得る。他の実装形態では、表示面１０４は、中央ステージ１０６と境界を接する表面の最大ですべてを占め得る。例えば、表示面１０４は、中央ステージ１０６（例えばＭｅｇａＰｉｘｅｌ）と境界を接する壁上、天井上、及び床上にパネルを含み得る。いくつかの実施形態では、表示面１０４は天井又は床上にパネルを含み得る。物理的カメラ１０２は中央ステージ１０６及び表示面１０４の両方を撮影し得る。セット、俳優、及び実際的効果が中央ステージ１０６内に配置されそして撮影され得る。
【0020】
物理的カメラ１０２などの１つ又は複数の物理的カメラは、カメラの視野１０８により画定された表示面１０４の一部分を撮影し得る。描画システム１１０は、ゲームエンジン（例えばＵｎｒｅａｌ Ｅｎｇｉｎｅ、ＵｎＲｅａｌなど）を使用することによりバーチャルシーンを生成するコンピュータシステムであり得、そしてバーチャルシーンは表示面１０４上に示される。描画システム１１０は物理的接続１１２により表示面１０４へ接続されてもよいし無線で表示面１０４へ接続されてもよい。バーチャルシーンは静止画像又は景観に対向する動的可変３次元環境であり得、そして環境を描画することは、物理的カメラの現在位置から可視である当該環境の一部分を生成することを含み得る。
【0021】
後でより詳細に説明されるように、物理的カメラ１０２は描画システム１１０と通信可能に結合され得る。このようにして、描画システム１１０は、表示面１０４上に表示される画像を判断するために次に使用され得るその現在位置を判断するように物理的カメラ１０２からの画像を分析し得る。
【0022】
図２は少なくとも１つの実施形態によるバーチャル製作スタジオ２００のオーバーヘッド透視図を示す。仮想点２０２はステージエリア２０６と境界を接する湾曲表示面２０４上に描画される。いくつかの実装形態では、表示面２０４は表示パネルのアレイ又はアンサンブルを含み得、このアレイはバーチャル製作スタジオ又はステージの天井又は床上に表示パネルを含み得る。仮想点２０２は、表示面２０４上に見掛け仮想点２０８を生成することによりバーチャルシーンの一部として描画され得る。見掛け仮想点２０８は、表示面２０４が推定カメラ位置２１０から見られると、見掛け仮想点２０８が、仮想点２０２を含むバーチャルシーンとして知覚され得るように、生成され得る。仮想点２０２を含むバーチャルシーンは、文字及び景色を含み得る仮想環境を形成し得る。いくつかの実装形態では、バーチャルシーンは表示面全体又は表示面の一部分上に描画され得る。投影のさらなる図解が次に提供される。
【0023】
図３は少なくとも１つの実施形態による２次元面（例えば画面）上への３次元物体の投影の簡略図３００を示す。３次元物体３０２（立方体）は、バーチャルシーン内の仮想点（上に述べた仮想点２０２のような）から構成し得る。３次元物体は２次元物体３０６として２次元観測面３０４上へ投影され得る。２次元観測面３０４は、上に説明された表示面１０４のようなバーチャル製作スタジオ内の表示面であり得る。２次元観測面３０４に対する２次元物体３０６の方位に依存して、２次元観測面３０４から見られ得る３次元物体３０２の一部分は２次元物体３０６として表わされる。２次元物体３０６は見掛け仮想点の集合として表わされ得る。
【0024】
図２に戻って参照すると、推定カメラ位置２１０は本明細書において説明されるような様々なやり方で推定され得る。例えば、各時刻におけるカメラの位置は、特定場所に在るように又は特定運動（振り付け）を有するように規定され得る。このような予想位置は、予想位置からのオフセット（誤差又は差とも呼ばれる）を判断するために予測画像と実画像との差と併せて使用され得る。別の例では、機械学習モデル（例えばニューラルネットワークなど）は、特定時刻における所与の表示画像のために様々な位置で撮影された画像を使用することによりトレーニングされ得る。このようにして、機械学習モデルは特定時刻に撮影された画像を或る位置へマッピングし得る。カメラの軌道もまた、判断され得、これにより時間ステップとしての次の位置の予測を可能にする。
【0025】
ＩＩ．バーチャル製作におけるカメラ追跡の問題
バーチャル製作スタジオの表示面上に示された画像は、推定カメラ位置（例えば意図された視点）から見られない限り歪められ得る。推定カメラ位置はバーチャル製作スタジオ内の予測物理的カメラ位置であり得る。登録誤差は推定カメラ位置と物理的カメラの実際位置との相違であり、そして登録誤差は、画像が物理的カメラの実際位置から見られる場合は歪んだ表示パネル画像を生じ得る。
バーチャル製作スタジオの表示面上に示された画像は、推定カメラ位置（例えば意図された視点）から見られない限り歪められ得る。推定カメラ位置はバーチャル製作スタジオ内の予測物理的カメラ位置であり得る。登録誤差は推定カメラ位置と物理的カメラの実際位置との相違であり、そして登録誤差は、画像が物理的カメラの実際位置から見られる場合は歪んだ表示パネル画像を生じ得る。
【0026】
図４は、少なくとも１つの実施形態による実際の見通線と適正見通線との相違により引き起こされる登録誤差を有するバーチャル製作スタジオ４００を示す。バーチャル製作スタジオ４００は、上に述べた表示面１０４及び中央ステージエリア１０６と同様に中央ステージエリア４０４と境界を接する表示面４０２を含む。バーチャルシーンの一部を形成する仮想点４０６は見掛け仮想点４０８として描画される。仮想点４０６は、カメラの予測位置４１０において、意図された視点により描画される。
【0027】
見掛け仮想点４０８は、予測位置４１０と仮想点４０６との間の見通線４１２に沿った表示面４０２上に示される。しかし、物理的カメラ４１４は予測位置４１０に配置されていない。実際の見通線４１６は物理的カメラ４１４から見掛け仮想点４０８へ伸びる。適正見通線４１８は物理的カメラから仮想点４０６へ伸びる。見掛け仮想点４０８は物理的カメラ４１４の視点から仮想点４０６を精確に示すために適正仮想点４２０として描画されるべきだった。見掛け仮想点４０８と適正仮想点４２０との差が登録誤差である。
【0028】
現実環境を模擬するために、物理的カメラがバーチャル製作スタジオを進むにつれ、表示パネル上に表示されるコンピュータ生成環境内の物体は、物理的カメラに対する物体の仮想位置に基づき様々な速度で移動するべきである。例えば、物理的カメラがカメラの見通線に直交する軸に沿って横断すると、前景画像内の近い物体は遠い背景画像と比較してより速い速度（すなわち視差）で移動するべきである。加えて、物理的カメラがその見通線に沿って移動する場合、前景画像と背景画像との相対的サイズは、背景画像よりより速い速度で成長する前景画像と共に変化するべきである。
【0029】
推定カメラ位置及び実際カメラ位置の両方は６つの自由度を有する３次元位置であり得、そして、登録誤差が、物理的カメラの見通線に沿った又は見通線に対し直交する軸上の予想位置と実際位置との相違のために発生し得る。いくつかの実装形態では、表示面はカメラの視野より大きく、そして物理的カメラは表示画面を撮影する間に回転することができる。推定カメラ位置と実際カメラ位置とが投影中心を共有する場合、推定カメラ位置と実際カメラ位置との間の回転相違は、推定カメラ位置と実際カメラ位置とが連設されるので登録誤差を引き起こさない。
【0030】
登録誤差の大きさは、仮想点（例えばコンピュータ生成環境内の点）と見掛け仮想点（例えば仮想点を描写する表示パネルアレイ上の点）との距離に依存する。見掛け仮想点と連接される仮想点は、仮想点の見掛け位置と実際位置とが運動にかかわらず同一であるために視差が無いので登録誤差にかかわらず歪んで見えることはない。しかし、上に論述されたように、仮想点と見掛け仮想点との間の距離は、仮想点の見掛け位置が視点に依存して変動し得るので登録誤差を生じ得る。
【0031】
登録誤差の方位もまた、見通線に沿った登録誤差より大きな歪みを引き起こす見通線に直交する誤差を有する画像歪に寄与し得る。外部カメラ追跡技術は、このようなシステムがカメラ位置を判断するために天井取り付け型追跡カメラ又は標準マーカをしばしば含むので直交登録誤差を起こし易い。物理的カメラ上の外部マーカは、モーションキャプチャ技術を使用することによりカメラ位置を判断するために追跡カメラにより使用される。一般的に、外部カメラ追跡における誤差は、カメラ追跡システムにより使用されるピクチャが追跡カメラに対する物理的カメラの深度を容易に判断し得ないので追跡カメラと物理的カメラとの間の軸に沿って発生する。
【0032】
図５Ａは、少なくとも１つの実施形態による物理的カメラの見通線に沿った物理的カメラの予想位置と実際位置との間の相違を有するバーチャル製作スタジオ５００を示す。表示面５０２は中央ステージエリア５０４を囲み、そして図５Ａに関連して説明される特徴は上述の関連特徴に似ている。見掛け仮想点５０６は、予想位置５１０と仮想点５１２とから伸びる見通線５０８に沿って描画された。物理的カメラ５１４は、予想位置５１０に配置されていなく、そしてその代りに見通線５０８に沿った見掛け仮想点５０６のより近くに配置されている。
【0033】
この場合、見通線５０８と適正見通線とは同じであり、そして見掛け仮想点５０６と適正仮想点５１６とは近接して配置されているが、適正仮想点５１６により表わされる物体は見掛け仮想点５０６により表わされる物体より大きい。登録誤差は、見掛け仮想点５０６により構築された物体の対応画素と適正仮想点５１６により構築された物体の対応画素との間の距離であり、そして登録誤差は小さい可能性がある。登録誤差は、画素で、仮想環境内の仮想距離で、現実世界スタジオセット内の現実世界距離で、又は利害関係者又は内在ゲームエンジンに好都合であり得るような他の単位で測定され得る。
【0034】
図５Ｂは少なくとも１つの実施形態による見通線に直交する軸に沿った物理的カメラの場所と予想位置との相違を有するバーチャル製作スタジオ５０１を示す。図５Ｂに関連して説明された特徴は上述の関連特徴に似ている。表示面５０３は中央ステージエリア５０５を囲み、そして見掛け仮想点５０７は、予想位置５１１から仮想点５１３へ伸びる見通線５０９に沿った表示面５０３上に表示される。物理的カメラ５１５は見通線５０９に直交する軸５１７に沿って配置される。物理的カメラ５１５の適正軸５１９は適正仮想点５２１を通り仮想点５１３へ伸び、そして登録誤差は適正仮想点５２１と見掛け仮想点５０７との差により引き起こされる。
【0035】
図６は少なくとも１つの実施形態によるバーチャル製作スタジオ６００のオーバーヘッド透視図を示し、ここでは、物理的カメラは、床から、予想位置に対する物理的カメラまで伸びる軸を中心に回転され、回転誤差を引き起こす。表示面６０２は中央ステージエリア６０４を囲み、そして見掛け仮想点６０６は、仮想点６０８と予想位置６１０との間の軸６１２に沿った表示面６０２上に示される。物理的カメラ６１４は予想位置６１０と同じ位置に配置されるが、物理的カメラ６１４の方位は予想カメラ位置に対し回転される。いくつかの実装形態では、バーチャルシーンは物理的カメラ６１４の視野より大きい表示面の一部分上に描画される。これらの実装形態では、物理的カメラ６１４は、投影の中心が予想位置６１２及び物理的カメラ６１４に関し同じならば見掛け仮想点６０６及び適正仮想点が連設され得るので登録誤差無しに回転し得る。
【0036】
このような誤差は視覚的オドメトリを使用することにより対処され得る。具体的には、物理的カメラにより撮影された捕捉画像は、物理的カメラが予測位置に在れば予測画像と比較され得る。画像間の誤差は、予測位置に対する位置のオフセットを提供し、これにより実際位置又は補正位置の測度を提供する。この補正位置は次の時間ステップで位置を予測するために使用され得る。
【0037】
ＩＩＩ．オドメトリを使用することによる位置の判断
視覚的オドメトリは連続画像からカメラの場所及び方位を判断するプロセスである。視覚的オドメトリは環境（例えばＥｇｏｍｏｔｉｏｎ）内のカメラの３方向運動を判断するために使用され得る。環境内の物理的カメラの位置は、２次元画像内の要素を３次元環境内の場所へマッピングすることにより判断され得る。
視覚的オドメトリは連続画像からカメラの場所及び方位を判断するプロセスである。視覚的オドメトリは環境（例えばＥｇｏｍｏｔｉｏｎ）内のカメラの３方向運動を判断するために使用され得る。環境内の物理的カメラの位置は、２次元画像内の要素を３次元環境内の場所へマッピングすることにより判断され得る。
【0038】
Ａ．視覚的オドメトリ
視覚的オドメトリは、カメラにより捕捉された画像内の変化を追跡することにより３次元環境内のカメラの位置を判断するために使用され得る。特徴（画像のコンテンツに関する情報）は連続カメラ画像内で検出され得、そして連続画像からの特徴はカメラの運動を判断するために比較され得る。
視覚的オドメトリは、カメラにより捕捉された画像内の変化を追跡することにより３次元環境内のカメラの位置を判断するために使用され得る。特徴（画像のコンテンツに関する情報）は連続カメラ画像内で検出され得、そして連続画像からの特徴はカメラの運動を判断するために比較され得る。
【0039】
特徴は、画像内の端、角又は質感などの当然存在する特性を含み得る。追跡は、追跡を支援するためにシーンへ加えられる容易に識別可能な特徴（基準（ｆｉｄｕｃｉａｌ）と呼ばれる）により容易にされ得る。ランドマーク又はマーカとしても知られた基準は、明確な円形背景上の４－５画素幅点で一般的に構成される点基準を含む。代替的に、平坦な基準はしばしば白黒グリッドから成る。基準は、背景と高コントラストをなすために識別するのが容易であり得るので特徴検出のために有用である。特徴認識は、その全体を参照により本明細書に援用する米国特許出願公開第２０２１／００２７０８４号明細書、同第２０１９／０３１８１９５号明細書又は同第２０１９／０２７２６４６号明細書に開示された技術などの物体認識技術を介し発生し得る。
【0040】
連続画像内の特徴の運動は、画像間で特徴を整合することによりオプティカルフロー（例えばカメラの運動により引き起こされる連続画像内の物体、表面及び端の見掛け運動のパターン）を生成するために使用され得る。オプティカルフロー（例えばＬｕｃａｓ－Ｋａｎａｄｅ方法を使用することにより生成されるオプティカルフロー）は、状態推定分布維持のためにカルマンフィルタを使用することによりカメラ運動を推定するために使用され得る。カメラ運動はまた、２つの隣接画像間の重投影（ｒｅ－ｐｒｏｊｅｃｔｉｏｎ）誤差に基づき費用関数を最小限にする特徴の幾何学的特性を発見することにより（例えば数学的最小化又はランダムサンプリングにより）推定され得る。
【0041】
一例として、物体のサイズの変化（すなわち、より小さくなる又はより大きくなる）は、同じ形状に留まる一般的形状と共にスクリーンに向かう方向の又はスクリーンから離れる方向の運動を指示し得る。左側への（例えばスクリーンに垂直な方向から離れる）見掛け運動は、スクリーンの左側の物体の幅がより大きくなる一方で物体の幅がより小さくなることにより判断され得る。同様な変化は右側への運動に関して検出され得る。
【0042】
Ｂ．様々な位置への画像のマッピング
視覚的オドメトリは、カメラにより捕捉された画像と模擬画像とを（カメラが表示面に対する予測位置に在れば見られるべきものに基づき）比較することによりバーチャル製作カメラを追跡するために使用され得る。本システムは、バーチャルシーンをスクリーン上へ投影する（すなわち３Ｄモデル内で）ために予測位置を使用することにより模擬（予想）画像を判断し得る。表示画面上の描画画像を判断するために使用される同じ予測位置は、表示画面の予測画像を判断するために使用され得る。画像の比較の一部として、対応バーチャルシーンが、判断され得、そして予想位置からのオフセット又は或る位置へのマッピングを判断するために比較され得る。
視覚的オドメトリは、カメラにより捕捉された画像と模擬画像とを（カメラが表示面に対する予測位置に在れば見られるべきものに基づき）比較することによりバーチャル製作カメラを追跡するために使用され得る。本システムは、バーチャルシーンをスクリーン上へ投影する（すなわち３Ｄモデル内で）ために予測位置を使用することにより模擬（予想）画像を判断し得る。表示画面上の描画画像を判断するために使用される同じ予測位置は、表示画面の予測画像を判断するために使用され得る。画像の比較の一部として、対応バーチャルシーンが、判断され得、そして予想位置からのオフセット又は或る位置へのマッピングを判断するために比較され得る。
【0043】
１．２Ｄ－３Ｄ追跡
伝統的特徴視覚的オドメトリ技術は、カメラの２次元画像から３次元空間内の場所を判断するために使用され得る。視点（例えば姿勢）は、下記式により仮想環境内の３次元点及び２次元観測面（例えばカメラ画像）上の点を使用することにより判断され得る：
伝統的特徴視覚的オドメトリ技術は、カメラの２次元画像から３次元空間内の場所を判断するために使用され得る。視点（例えば姿勢）は、下記式により仮想環境内の３次元点及び２次元観測面（例えばカメラ画像）上の点を使用することにより判断され得る：
【数1】
【0044】
投影点
は観測面上の理想的な一組の２次元特徴点を表す。仮想点Ｘｉ（例えば仮想点２０２）は３次元空間（例えばバーチャルシーン）内の一組の３次元点を表す。変数ｐｏｓｅｔは時刻ｔにおけるカメラの理想位置を表わす。２次元特徴点
及び３次元仮想点Ｘｉが知られていれば、カメラの場所（例えば視点）ｐｏｓｅｔは、理想２次元特徴点
（例えばＸｉ及び
を通過する行が交差する点）の３次元仮想点Ｘｉへの投影のためのｐｏｓｅｔの最小値を発見することにより判断され得る。
【数2】
【数3】
【数4】
【数5】
【0045】
観察された２次元特徴点
は物理的カメラにより捕捉された画像から判断され得る。次に、仮想点Ｘｉからスクリーン上の対応物体（すなわち
）への線が視点ｐｏｓｅｔにおいて交差する。代替的に、費用関数が最小にされ得る。費用関数は理想投影点
と観察点
との差を含み得る。例えば、差の２乗の和が費用関数として使用され得る。いくつかの例として、実際姿勢は、費用関数を最適化するために力ずくの方法を使用することにより、最急降下手法の方法を使用することにより、又は他の勾配法を使用することにより判断され得る。
【数6】
【数7】
【数8】
【数9】
【0046】
式（１）はまた、３次元仮想点Ｘｉを２次元点
として２次元表面（例えば画像バッファ内の）上へ投影するために使用され得る。３次元点Ｘｉが知られておりそして視点ｐｏｓｅｔが知られていれば、理想２次元点
は式（１）から判断され得る。
【数10】
【数11】
【0047】
バーチャル製作スタジオ内のカメラの場所を判断するために、バーチャルシーンからの３次元点（例えば仮想点Ｘｉ）が２次元見掛け仮想点
として表示パネル上へ投影され得る。これは式（２）において説明されるプロセスを使用することにより行われ得る。「各パネル上の見掛け仮想点
はバーチャルシーンに対する２次元位置を有するが、見掛け仮想点がパネル上へ描画されると、これらの点はバーチャル製作スタジオ内の３次元位置を有する」ということを覚えておくべきである。見掛け仮想点
が、画像を捕捉することにより観察されると（
として）、バーチャル製作スタジオ内のカメラの実際場所は、カメラにより画像を捕捉することによりそして上述のように費用関数を最小限にすることにより、バーチャル製作スタジオ内の３次元場所の見掛け仮想点から判断され得る。
【数12】
【数13】
【数14】
【数15】
【0048】
見掛け３次元点は下記式を使用することにより表示面（例えば表示面１０４）上へ投影され得る：
【数16】
【0049】
既知の仮想点Ｘｉ（例えば仮想点４０６）及び推定位置（ｒｅｎｄｅｒｅｄ＿ｐｏｓｅｔ）は、表示面（例えば表示面４０２）上の見掛け仮想点
（例えば見掛け仮想点４０８）の場所を計算するために使用され得る。推定位置及び仮想点Ｘｉは両方とも画像を表示面へ提供するために使用されるが、２次元表示面上の見掛け仮想点
の場所は未知である。表示面上の見掛け仮想点の場所は、推定位置（ｒｅｎｄｅｒｅｄ＿ｐｏｓｅｔ）と仮想点Ｘｉとの間の線がパネルアレイと交差する点を追跡することにより費用関数の最小値
を発見することにより計算され得る。
【数17】
【数18】
【数19】
【0050】
２．３Ｄ－２Ｄ追跡
バーチャル製作スタジオ内の３次元位置における見掛け仮想点
が知られていれば、物理的カメラの場所は、観測面内の２次元点
（例えばカメラにより捕捉された点）と以下の式とを使用することにより判断され得る：
バーチャル製作スタジオ内の３次元位置における見掛け仮想点
【数20】
【数21】
【数22】
【0051】
【数23】
【数24】
【数25】
【数26】
【数27】
【0052】
観察される２次元点
と３次元点
との対応は、カメラが表示面に対し予測位置に在れば見られるべきものに基づき観察画像と模擬画像とを比較することにより判断され得る。模擬画像を計算する際、各画素の３Ｄ点は保持され得る。この３Ｄ情報は、仮想物体の幾何学的形状ではなくパネルの幾何学的形状（例えば、点４０８）に対応し得る。特徴
は、多くの特徴整合方法（例えばＳＩＦＴ）を使用することによりそしてこれにより３Ｄ点
を関連付けることにより模擬画像内の対応特徴と整合され得る。
【数28】
【数29】
【数30】
【数31】
【0053】
観測された２次元点
と３次元点
との対応もまた、特定３次元点
を追跡するために、観測された２次元特徴点
の場所を画像から画像へと追跡することにより維持され得る。この対応はまた、物体検出アルゴリズム（例えばスケール不変特徴変換（ＳＩＦＴ：ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ））を使用することにより２次元特徴と３次元点とを整合することにより判断され得る。画像を位置へマッピングすることに関するさらなる詳細はＨａｒｔｌｅｙ，Ｒｉｃｈａｒｄ．，Ｚｉｓｓｅｒｍａｎ，Ａｎｄｒｅｗ，Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ．Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ：Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，２００３に見出され得る。
【数32】
【数33】
【数34】
【数35】
【0054】
上記追跡方法は特徴整合の文脈で説明されたが、上記追跡方法はまた、画像登録又は全体画像アラインメントを介し説明され得る。この場合、我々は、模擬画像と観察画像との平均差が最小限にされるように模擬画像を繰り返し描画しそしてカメラの姿勢を調節することによりカメラ姿勢を探索する。
【0055】
３．未知のシーン幾何学的形状
いくつかの実装形態では、カメラ追跡システムは仮想幾何学的形状（例えば点４０６）へも描画姿勢（例えば、描画姿勢４１０）へも容易に直接アクセスできないかもしれなく、従って追跡アルゴリズムは描画システムから完全に分離され得る。例えば、追跡アルゴリズムは描画されたコンテンツが保護される必要があれば描画システムから分離され得る。カメラ追跡システムは、カメラ追跡システム自体が、分離された製品でありそして通信プロトコルを確立することが可能でなければ描画システムにアクセスしなくてもよい。追跡アルゴリズムと描画システムとを分離することはまた、システム間の通信待ち時間を低減するために望ましいかもしれない。例えば、待ち時間は推定アルゴリズムがプロダクションカメラへ組み込まれれば低減され得る。
いくつかの実装形態では、カメラ追跡システムは仮想幾何学的形状（例えば点４０６）へも描画姿勢（例えば、描画姿勢４１０）へも容易に直接アクセスできないかもしれなく、従って追跡アルゴリズムは描画システムから完全に分離され得る。例えば、追跡アルゴリズムは描画されたコンテンツが保護される必要があれば描画システムから分離され得る。カメラ追跡システムは、カメラ追跡システム自体が、分離された製品でありそして通信プロトコルを確立することが可能でなければ描画システムにアクセスしなくてもよい。追跡アルゴリズムと描画システムとを分離することはまた、システム間の通信待ち時間を低減するために望ましいかもしれない。例えば、待ち時間は推定アルゴリズムがプロダクションカメラへ組み込まれれば低減され得る。
【0056】
描画システムへアクセスしない追跡システムは、バーチャル製作環境に合わせて調整された完全同時定位及びマッピング（ＳＬＡＭ）戦略を使用することにより観察画像からカメラ姿勢を推定し得る。ここで我々は、次の形式の非線形最適化を使用することによりカメラ姿勢ａｃｔｕａｌ＿ｐｏｓｅｔだけでなくまた仮想点Ｘｉ及びｒｅｎｄｅｒｅｄ＿ｐｏｓｅｔも最適化し得る：
ここで：
Ｓｍｏｏｔｈｎｅｓｓ＿ｐｅｎａｌｔｙは時間の経過に伴うカメラ運動の平滑化の測度（加速、ジャーク、スナップなど）であり得る（章Ｖを参照）。
【数36】
【数37】
【0057】
式（５）を使用する最適化は、カメラ観測面（画像バッファ）内へ投影される中間見掛け仮想点を計算するために表示面のモデルを使用しているという点で式（３）及び式（４）に似ている。しかし、いくつかの状況では、我々は全システム状態について同時に解決し得る。システムを安定化することを助けるために、我々はｓｍｏｏｔｈｎｅｓｓ＿ｐｅｎａｌｉｔｙを使用することによりカメラ運動（推定運動及び実際運動の両方）を制約し得る。
【0058】
他のＳＬＡＭ方法のように、カメラ状態は時間の経過と共に式（５）へ加えられ得、追跡される特徴から仮想点（Ｘｉ）のマップを漸増的に構築する。仮想構造（Ｘｉ）及びカメラ運動についての初期不確実性は、大きくなり得るが、時間の経過と共に改善し得る。我々は、個々のカメラ姿勢及び仮想点の不確実性推定を維持し得、姿勢及び仮想点を制約しそしてそれらの不確実性が閾値を下回るとさらなる最適化からそれらの不確実性を除去し得る。我々はまた、冗長な仮想構造の生成を防ぐと共にドリフトを低減するためにループ閉鎖（ｌｏｏｐ ｃｌｏｓｕｒｅ）戦略を使用し得る。
【0059】
ＩＶ．次のシーンの投影を判断するためのオドメトリの使用
視覚的オドメトリは、シーンが描画されそして表示面上に表示された後にカメラの現在位置を判断し得る。カメラの推定位置と実際位置との差により引き起こされる誤差を最小限にするために、カメラの将来位置をカメラの現在位置に基づき予測するための技術が提供される。予測位置は表示面上に表示されるシーンを描画するために使用され得る。
視覚的オドメトリは、シーンが描画されそして表示面上に表示された後にカメラの現在位置を判断し得る。カメラの推定位置と実際位置との差により引き起こされる誤差を最小限にするために、カメラの将来位置をカメラの現在位置に基づき予測するための技術が提供される。予測位置は表示面上に表示されるシーンを描画するために使用され得る。
【0060】
Ａ．予想位置と実際位置との誤差の判断
図７は、少なくとも１つの実施形態による、推定カメラ位置と実際カメラ位置との相違により引き起こされる登録誤差を有するバーチャル製作スタジオ７００のオーバーヘッド透視図を示す。中央ステージ７０４と境界を接する表示面７０２はバーチャルシーンの３次元透視投影を示す。推定カメラ位置７０６から見ると、表示パネルアレイ７０２上の２次元画像は３次元コンピュータ生成環境の一部であるように見える。
図７は、少なくとも１つの実施形態による、推定カメラ位置と実際カメラ位置との相違により引き起こされる登録誤差を有するバーチャル製作スタジオ７００のオーバーヘッド透視図を示す。中央ステージ７０４と境界を接する表示面７０２はバーチャルシーンの３次元透視投影を示す。推定カメラ位置７０６から見ると、表示パネルアレイ７０２上の２次元画像は３次元コンピュータ生成環境の一部であるように見える。
【0061】
深度を伝えるために、環境は、バーチャルシーンから推定カメラ位置７０６へ進む光線を画像が模擬するように描画される。見掛け仮想点７０８は推定カメラ位置７０６から見ると仮想点７１０と判別不能である。仮想点７１０から光の経路を推定カメラ位置７０６へ精確に伝えるために、見掛け仮想点７０８により形成される画像は、２次元表示面７０２が深度を示すように見えるように物体を歪ます（例えば、短縮遠近法）。しかし、見掛け仮想点が実際カメラ位置７１２から見られると、画像歪は、模擬光線が実際カメラ位置７１２に収束しないので、明白である。
【0062】
式（２）及び（３）を含む章ＩＩＩにおいて説明された式は実際カメラ位置７１２を判断するために使用され得る。表示面７０８上の見掛け仮想点（例えば
）の場所は、仮想点７１０（例えばＸｉ）及び推定カメラ位置７０６を式（２）中へ入れることにより判断され得る。見掛け仮想点７０８、及び実際カメラ位置７１２において捕捉されたカメラ画像からの２次元点（例えば
）は、実際カメラ位置（例えばａｃｔｕａｌ＿ｐｏｓｅｔ）を判断するために式（３）中へ入れられ得る。
【数38】
【数39】
【0063】
Ｂ．次のシーンを投影すること
視覚的オドメトリを介し判断された実際カメラ位置は次の期間における次のシーンの推定位置を識別するために使用され得る。意図された視点として推定位置を有するシーンが生成され得、そしてこのシーンは次の期間にパネルアレイへ投影され得る。
視覚的オドメトリを介し判断された実際カメラ位置は次の期間における次のシーンの推定位置を識別するために使用され得る。意図された視点として推定位置を有するシーンが生成され得、そしてこのシーンは次の期間にパネルアレイへ投影され得る。
【0064】
図８は、少なくとも１つの実施形態による実際カメラ位置から将来カメラ位置を予測する方法８００を示す。将来カメラ姿勢の予測は登録誤差を低減するために最適化され得る。登録誤差は予測画像内の画素と実画像内の画素との差であり得る。予測関数のパラメータは、例えば収束判断基準が満たされるまで（１つの画素の誤差内になるまでなど）、又は画素の差が画素の閾値数より小さければ、トレーニングサンプルを使用することにより最適化され得る、又は現在セッション中にさらに更新され得る。画素の閾値数は表示面と物理的カメラとの距離に依存し得る。画素の閾値数は、物理的カメラと表示面との距離が増加すると増加し得る。いくつかの実装形態では、画素の差が閾値を越えればアラームがトリガされ得る。アラームは再同期などの較正工程を引き起こし得る。
【0065】
予測関数の生成物は、２進数としてコンピュータシステムにより格納される浮動小数点数であり得る。２進数は、無限に可能な浮動小数点整数が存在し得るが所与数のビットで格納され得る固定量の２進数が存在し得るので、浮動小数点数の近似であり得る。例えば、１／３の値は２進数で精確に格納され得ない。浮動小数点数を２進数として精確に格納され得ない場合、浮動小数点数は２進法近似へ丸められ得る。浮動小数点数と２進法近似との差は丸め誤差である。いくつかの実装形態では、登録誤差の大きさが丸め誤差の大きさより小さければ、誤差はアラームをトリガしない又は再同期などの較正工程を引き起こさない。
【0066】
ブロック８１０では、仮想点Ｘｉ及び推定カメラ位置ｒｅｎｄｅｒｅｄ＿ｐｏｓｅｔは第１の期間の表示パネル面上の見掛け仮想点
を計算するために使用される。見掛け仮想点
は、仮想点Ｘｉ及び推定カメラ位置ｒｅｎｄｅｒｅｄ＿ｐｏｓｅｔを式（２）へ入力することにより計算され得る。いくつかの実施形態では、第１の期間と第２の期間との間の時間の長さは物理的カメラのその後のフレーム間の時間の長さであり得る。
【数40】
【数41】
【0067】
ブロック８２０では、見掛け仮想点
及び特徴点
が第１の期間中の実際カメラ位置ａｃｔｕａｌ＿ｐｏｓｅｔを計算するために使用される。実際カメラ位置ａｃｔｕａｌ＿ｐｏｓｅｔは仮想点
及び特徴点
を使用することにより章ＩＩＩ．Ｂにおいて開示される方法により判断され得る。
【数42】
【数43】
【数44】
【数45】
【0068】
ブロック８３０において、いくつかの実装形態では一組の対応仮想点及び特徴点は上記章ＩＩＩ．Ｂ．２において説明される方法を介し確立され得る。次に、特徴追跡器は対応組の仮想点Ｘｉ及び特徴点
を維持し得る。特徴追跡器はブロック８２０において説明されるように実際カメラ位置を判断するのを助けるために使用され得る。特徴追跡器は画像特徴追跡器（例えばオプティカルフロー）への２次元画像であり得る。特徴追跡器は時間の経過と共に２次元／３次元対応関係を維持し得る。この対応関係は初期組の対応関係として特徴追跡器へ提供され得る。特徴追跡器は、２次元／３次元対応関係が物体検出アルゴリズム（例えばスケール不変特徴変換（ＳＩＦＴ））により検出されると２次元／３次元対応関係を格納し得る。
【数46】
【0069】
いくつかの実装形態では、特徴追跡器データは、シーンが描画されそして表示面へ送信された後であるが撮影が発生する前に発生し得る初期設定手順により取得され得る。初期化プロセスは、バーチャルシーンがパネルアレイ上に表示されている間にバーチャル製作スタジオ内の位置ｐｏｓｅｔのいくつか又はすべてを循環するロボットアーム上に取り付けられるカメラを含む可能性がある。物理的カメラにより捕捉された特徴点
の対応場所は、カメラが特徴点
を既に取得しそし初期設定中に物理的カメラの位置を計算したので知られるだろう。初期化後、物理的カメラの場所は特徴追跡器内に維持される表内の特徴点
を見つけ出すことにより取得され得る。
【数47】
【数48】
【数49】
【0070】
いくつかの実装形態では、実際カメラ姿勢は観察画像をカメラ姿勢へ直接マッピングすることにより学習され得る。これは、カメラをロボットアームへ取り付けることによりそしてディスプレイ上の可能な位置及びコンテンツのいくつか又はすべてを循環することにより達成され得る。ロボットアーム上に取り付けられたカメラの位置は精確に知られているので、深層ニューラルネットワークなどのリグレッサ（ｒｅｇｒｅｓｓｏｒ）が捕捉画像とカメラ姿勢との直接マッピングを学習し得る。
【0071】
ブロック８４０では、実際カメラ位置は次の描画時刻に将来カメラ位置を予測するために使用される。将来カメラ位置は、バーチャル製作カメラ又は外部センサにより提供されるセンサデータを使用することにより予測され得る。例えば、カメラが既知速度により直線で進んでいれば、将来カメラ位置は実際位置と描写時刻間の差とから計算され得る。いくつかの実装形態では、位置の高次偏差がセンサデータから次の期間にカメラ位置を予測するために使用され得る。
【0072】
ブロック８５０において、いくつかの実装形態ではブロック８４０において将来カメラ位置を予測することはカメラ姿勢の履歴に基づき予測することを含み得る。位置を予測することは、カメラ姿勢の履歴に基づき得、機械学習モデルにより達成され得、そして章Ｖ．Ｃ．において以下にさらに詳細に論述される。
【0073】
Ｖ．位置を予測すること
カメラの実際位置ではなくむしろ予測位置に基づきシーンを描画することはカメラ運動により引き起こされる登録誤差を低減し得る。シーンを描画することは瞬間的ではなく、従ってカメラが移動している場合、カメラの現在位置に基づき描画されたシーンはシーンがパネルアレイへ送信される時までに時代遅れになる。物理的カメラの位置を予測するための様々な技術が、物理的カメラの運動により引き起こされた登録誤差を低減するために使用され得る。
カメラの実際位置ではなくむしろ予測位置に基づきシーンを描画することはカメラ運動により引き起こされる登録誤差を低減し得る。シーンを描画することは瞬間的ではなく、従ってカメラが移動している場合、カメラの現在位置に基づき描画されたシーンはシーンがパネルアレイへ送信される時までに時代遅れになる。物理的カメラの位置を予測するための様々な技術が、物理的カメラの運動により引き起こされた登録誤差を低減するために使用され得る。
【0074】
Ａ．運動データにより位置を予測すること
次の期間中の物理的カメラの推定位置は、前の期間中の物理的カメラの位置ではなくむしろ物理的カメラの運動から予測され得る。いくつかの実装形態では、物理的カメラの運動は加速度計などのセンサにより判断され得、カメラの運動はまた、外部追跡システム（例えばＯｐｔｉｔｒａｃｋ）により、又は本明細書において説明される視覚的オドメトリ技術を介し、判断され得る。センサデータは、物理的カメラの場所を予測するために物理的カメラの運動及び視覚的オドメトリの履歴と組み合わされ得る。次の期間中の物理的カメラの将来位置は、物理的カメラの現在位置、速度及び加速から推定することにより判断され得る。位置は次の式により計算され得る：
次の期間中の物理的カメラの推定位置は、前の期間中の物理的カメラの位置ではなくむしろ物理的カメラの運動から予測され得る。いくつかの実装形態では、物理的カメラの運動は加速度計などのセンサにより判断され得、カメラの運動はまた、外部追跡システム（例えばＯｐｔｉｔｒａｃｋ）により、又は本明細書において説明される視覚的オドメトリ技術を介し、判断され得る。センサデータは、物理的カメラの場所を予測するために物理的カメラの運動及び視覚的オドメトリの履歴と組み合わされ得る。次の期間中の物理的カメラの将来位置は、物理的カメラの現在位置、速度及び加速から推定することにより判断され得る。位置は次の式により計算され得る：
【数50】
【0075】
【数51】
【数52】
【数53】
【数54】
【0076】
加えて、ジャーク（３次微分）、スナップ（４次微分）、クラックル（５次微分）、及びポップ（６次微分）などの位置の他の高次微分もまた、物理的カメラの将来の場所に関する精密な予測を行うために使用され得る。位置の第１次微分～第６次微分から位置を判断するための式が次のように示される：
【数55】
【0077】
上に論述された初期位置、最終位置、初速及び初期加速度に加えて、上記式は運動の高次微分のベクトルを含む。初期ジャークが
として示される一方で初期スナップは
として示される。初期クラックはベクトル
として示され、そして６次微分（ポップ）は定数
として示される。任意の実用的数の微分が使用され得る。
【数56】
【数57】
【数58】
【数59】
【0078】
上に論述されたような運動の式は通常、３次元空間に関して６つの自由度を仮定する。空中に浮かぶカメラは初期出発点から多くの方向に移動し得る。しかし、カメラはリグへ取り付けられる可能性があり、そして物理的カメラの運動の予測はどのようにカメラリグが物理的カメラ運動を制限するかを考慮し得る。カメラの可能な動作を制限することにより、カメラの位置に関する予測は、可能性のある動作だけが位置を推定する際に考慮されるのでより迅速且つより精確に行われ得る。例えば、カメラの可能な位置は、カメラが到達するのが困難になる場所にカメラはない可能性があるのでカメラリグの最大高さにより制限され得る。
【0079】
いくつかの実装形態では、カメラリグは、カメラの運動を予測するのがより容易になるようにリグの動作を標準化することにより予測の精度を改善するのを助けるために自由度を制限するように設計され得る。カメラリグはまた、登録誤差を引き起こす運動パターンを無くすためにカメラの運動を制約し得る。例えば、カメラリグは方向の突然の変化を制約し得る。
【0080】
振り付けにより位置を予測すること
物理的カメラの位置はまた、演出振り付けを使用することにより判断され得る。台本に基づく撮影では、バーチャル製作スタジオ内の物理的カメラの位置が、撮影することに先立って知られ得る。振り付けは、カメラの動作をロボットリグを介し制御するためにそして運動予測を通知するために使用されるゲームエンジンにより恐らく生成された振り付けファイルとして格納され得る。いくつかの実装形態では、シーンは待ち時間を最小限にするために撮影に先立って予め描画され得、予め描画されたシーンは、撮影中にバーチャルシーンを描画する必要性無しに振り付けにより時に決められるパネルアレイへ送信される。
物理的カメラの位置はまた、演出振り付けを使用することにより判断され得る。台本に基づく撮影では、バーチャル製作スタジオ内の物理的カメラの位置が、撮影することに先立って知られ得る。振り付けは、カメラの動作をロボットリグを介し制御するためにそして運動予測を通知するために使用されるゲームエンジンにより恐らく生成された振り付けファイルとして格納され得る。いくつかの実装形態では、シーンは待ち時間を最小限にするために撮影に先立って予め描画され得、予め描画されたシーンは、撮影中にバーチャルシーンを描画する必要性無しに振り付けにより時に決められるパネルアレイへ送信される。
【0081】
いくつかの実装形態では、振り付けファイルは開始点、終了点及び従うべき所望経路を含む可能性がある。経路は所望経路に沿った１つ又は複数の位置を含み得る。いくつかの実装形態では、開始点、終了点、及び所望経路に沿った位置のタイムスタンプが存在し得る。これらの位置は、曲線（例えば時間微分）により、又は座標系（例えばｘ，ｙ，ｚデカルト座標）内の位置により規定され得る。いくつかの実装形態では、所望経路は、経路に沿った所望カメラ方位（例えば回転）のための指令を含み得る。いくつかの実装形態では、振り付けファイルは拡張可能マークアップ言語（ＸＭＬ：ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）ファイルとして又はＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）ファイルとして２進で格納され得る。
【0082】
いくつかの実装形態では、予測カメラ位置は振り付けファイル内で決められた位置と比較され得る。予測カメラ位置と振り付けファイルにより指示された位置との差がカメラ操作者へ伝えられ得る。予測位置と振り付けファイル内で指示された位置との差は、カメラ操作者のメトリックを生成するために使用され得る。例えば、カメラ操作者のスコアは、予測位置と振り付けファイル内で決められた位置との間の距離が閾値を越える回数を指示し得る。
【0083】
物理的カメラは、ロボットアーム上に取り付けられ得、そして人間操作者により制御されるのではなくむしろカメラ制御システムにより制御され得る。振り付けファイルは人間カメラ操作者を使用することにより生成される可能性がある。人間操作者は、外部追跡システムにより又は視覚的オドメトリを介し追跡される物理的カメラを制御する可能性がある。人間操作者がカメラを移動すると、それらの位置が記録されそして振り付けファイルへ追加され得る。振り付けファイルが用意されると、振り付けファイルはコンピュータ制御リグへ提供され得、そしてカメラの経路がカメラ制御システムにより複製され得る。
【0084】
ロボット的に制御される動作は精確に繰り返され得るので、ロボット的に制御される物理的カメラは登録誤差を最小限にするために撮影に先立って最適化され得る。較正シーケンスが、振り付けファイルにより制御された物理的カメラ運動により撮影され得る。較正シーケンス中に撮影された映画フィルムは、いかなる登録誤差も判断するために、描画された画像と比較され得る。いくつかの状況では、シーンは較正シーケンス中に観測されたいかなる登録誤差も最小限にするために再描画され得る。
【0085】
描画システム及びカメラ制御システムはまた、登録誤差を最小限にするために通信し得る。較正シーケンス中に描画システムが、登録誤差はシーンを再描画することにより低減され得ないということを判断すれば、描画システムは、所定振り付けファイルが登録誤差を引き起こしているということをカメラ制御システムに通知し得る。描画システムはまた、登録誤差が発生している所定振り付けファイル内の期間を指示し得る。それに応答して、カメラ制御システムは、映画製作者が是正処置を取り得るように「指示された期間において所定振り付けファイルが登録誤差を引き起こしている」ということを映画製作者に通知し得る。いくつかの実装形態では、カメラ制御システムは登録誤差を低減するために是正処置を取り得る（例えば、カメラ制御システムは方向の突然の変化を滑らかな旋回に転換し得る）。
【0086】
Ｂ．機械学習モデルにより位置を予測すること
機械学習モデルは、カメラの現在状態情報に基づき次の期間にカメラの位置を判断するようにトレーニングされ得る。機械学習モデルをトレーニングすることは入力データ（例えば状態情報）を分類するようにアルゴリズムをトレーニングすることを含み得る。この場合、入力データを分類することは、起点がカメラの初期場所である２次元又は３次元座標系内のカメラの最終位置を提供することを意味し得る。トレーニング中、トレーニングデータ（例えば知られた分類を有するデータなど）がアルゴリズムへ入力され得る。アルゴリズムからの出力は監視され得、そしてデータが適切に分類されなければ、アルゴリズムの重み付けは出力の分類がトレーニングデータのラベルに整合するまで変えられ得る。アルゴリズムがトレーニングされると、未知の分類を有するデータを分類するためにモデルが使用され得る。
機械学習モデルは、カメラの現在状態情報に基づき次の期間にカメラの位置を判断するようにトレーニングされ得る。機械学習モデルをトレーニングすることは入力データ（例えば状態情報）を分類するようにアルゴリズムをトレーニングすることを含み得る。この場合、入力データを分類することは、起点がカメラの初期場所である２次元又は３次元座標系内のカメラの最終位置を提供することを意味し得る。トレーニング中、トレーニングデータ（例えば知られた分類を有するデータなど）がアルゴリズムへ入力され得る。アルゴリズムからの出力は監視され得、そしてデータが適切に分類されなければ、アルゴリズムの重み付けは出力の分類がトレーニングデータのラベルに整合するまで変えられ得る。アルゴリズムがトレーニングされると、未知の分類を有するデータを分類するためにモデルが使用され得る。
【0087】
一実装形態では、モデルは、開始位置、開始速度及び開始加速などの現在状態情報を含むトレーニングデータに関しトレーニングされ得る。トレーニングデータは特徴ベクトルと呼ばれるｎ次元ベクトル（入力データを記述する）として表わされ得る。モデルへの入力はまた、初期状態と最終状態との間の期間を入力として含み得、そしてトレーニングデータは開始位置に対する最終位置によりラベル付けされ得る。トレーニング後、モデルは入力として状態情報を受信することができるべきであり、そしてモデルは出力として開始位置に対する最終位置を提供するべきである。
【0088】
いくつかの実装形態では、入力データはまた、バーチャル製作カメラを制御するカメラ操作者のラベルを含む可能性がある。モデルは、カメラ操作者の特異性に基づき個々のカメラ操作者の予測推定位置を提供するようにトレーニングされる可能性がある。加えて、カメラ操作者のパフォーマンスが撮影中に評価され得る。例えば、カメラ操作者は、カメラを制御している間にどれだけ多くの登録誤差が発生したかのスコアを与られ得る。
【0089】
いくつかの実装形態では、所定振り付けファイルは、上述の技術に従って機械学習モデルを生成するためにアルゴリズムをトレーニングするための入力として使用され得る。トレーニング済みモデルは、登録誤差を生成する可能性がある所定振り付けファイル内の動作を識別するために使用される可能性がある。アルゴリズムをトレーニングするために使用されるトレーニングデータは、いくつかの推定位置に分割された振り付けを有する過去の所定振り付けファイルを含み得る。トレーニングデータはまた、登録誤差が観測されたかどうかを指示する推定位置のラベルを含み得る。ラベル無し振り付けファイルは、登録誤差を生じる可能性がある振り付けされた動きを識別するためにトレーニング済みモデルへ入力される。撮影することに先立って振り付けが調節され得るようにフラグが推定位置上に揚げられ得る。
【0090】
ＶＩ．シミュレーションをトレーニングするための視覚的オドメトリ
本明細書において説明される技術は映画製作アプリケーションに限定されない。視覚的オドメトリカメラ追跡技術は没入型トレーニングシミュレーションを含む様々なアプリケーションにおいて使用され得る。
本明細書において説明される技術は映画製作アプリケーションに限定されない。視覚的オドメトリカメラ追跡技術は没入型トレーニングシミュレーションを含む様々なアプリケーションにおいて使用され得る。
【0091】
いくつかの実装形態では、本開示内の技術はシミュレーションをトレーニングするために使用され得る。例えば、飛行機フライトシミュレータでは、表示面は、飛行機の窓を模擬する表示パネルを含み得る。ヘルメット又は眼鏡上に取り付けられたカメラが、視覚的オドメトリを介し描画姿勢（被訓練者の視点）を判断するために使用され得る。表示パネル上に示されるバーチャルシーンは被訓練者の位置と共に変化するので、トレーニングは、静的スクリーンでは困難な没入型動作（例えば、車両内の盲点をチェックするために身を乗り出すこと）を可能にする。
【0092】
２人以上の被訓練者は、視覚的オドメトリのために使用される物理的カメラが偏極眼鏡（様々な偏極を有する個々の被訓練者の眼鏡）内に取り付けられれば対処される可能性がある。被訓練者が被訓練者の視点に基づき描画されたバーチャルシーンを偏極眼鏡を介し見得るように様々な極性を有するいくつかのバーチャルシーンが表示面上に同時に示される可能性がある。
【0093】
ＶＩＩ．フローチャート
図９は少なくとも１つの実施形態によるカメラ追跡をバーチャル製作環境内に実装するための例示的プロセス９００のフローチャートである。本方法は、可動である物理的カメラと通信可能に結合されたコンピュータシステムにより行われ得る。
図９は少なくとも１つの実施形態によるカメラ追跡をバーチャル製作環境内に実装するための例示的プロセス９００のフローチャートである。本方法は、可動である物理的カメラと通信可能に結合されたコンピュータシステムにより行われ得る。
【0094】
ブロック９１０では、第１の期間に対応する物理的カメラの第１の位置が識別される。物理的カメラの第１の位置は、表示画面の物理的カメラからの初期画像を使用することにより識別され得る。いくつかの実装形態では、第１の位置は外部追跡システムを使用することにより判断され得る。他の実装形態では、物理的カメラの第１の位置は所定振り付けファイルから識別され得る。いくつかの実装形態では、表示画面は、第１の位置を判断するのを支援するために第１の期間に先立って一組の基準を提示し得る。この期間は物理的カメラにより撮影されるその後のフレーム間の長さであり得る。
【0095】
いくつかの実施形態では、第１の位置は、追跡システムによる又は視覚的オドメトリを介した特殊測定を介し識別される可能性がある。他の例では、第１の位置は（例えば機械学習モデルを使用することにより）予測することにより識別される可能性がある、又は第１の位置は第１の位置の場所が規定されるので識別される可能性がある。例えば、第１の位置は所定振り付けファイル内に規定される可能性がある。
【0096】
ブロック９２０では、第１の期間のバーチャルシーンがアニメーションエンジンを使用することにより描画される。バーチャルシーンは空っぽのシーンなどの静止画像又は歩行者により混み合った交差点などの動画像であり得る。第１の期間はカメラのフレーム率に関係し得、そして、いくつかの状況では、カメラのフレーム率は撮影中に捕捉されたアーチファクトを補正するために増減され得る。アニメーションエンジンはビデオゲームの開発のための設計されたゲームエンジン（Ｕｎｒｅａｌ Ｅｎｇｉｎｅ、Ｕｎｉｔｙ又は他のゲームエンジンなど）であり得る。
【0097】
ブロック９３０では、バーチャルシーンは、第１の期間の第１の描画された画像を判断するために表示面上へ投影される。投影されたバーチャルシーンは物理的カメラの第１の位置に一致し得る。表示面は、発光ダイオード（ＬＥＤ）パネル、有機発光ダイオード（ＯＬＥＤ）パネル、液晶ディスプレイ（ＬＣＤ）パネルなどを含む表示パネルのアレイであり得る。
【0098】
ブロック９４０では、第１の描画された画像は表示面上に表示するためにフレームバッファ内に格納される。フレームバッファは、物理的ストレージ媒体内の固定記憶場所又はソフトウェアで実装された仮想データバッファであり得る。描画された画像はバーチャル製作スタジオ内の表示面上に表示され得、そしていくつかの実装形態では、描画された画像は表示面の一部又は全体上に表示され得る。
【0099】
ブロック９５０では、表示面の第１のカメラ画像が受信される。第１のカメラ画像は第１の期間中に物理的カメラを使用することにより取得された。いくつかの実装形態では、物理的カメラは１つ又は複数のカメラを含み得る。例えば、物理的カメラはシーンを記録するためのフィルムカメラ及び第１のカメラ画像を捕捉するための位置カメラを含み得る。いくつかの実装形態では、位置カメラは３６０度カメラ又はカメラのアレイであり得る。物理的カメラが複数のカメラを含む実装形態では、描画されたシーンは、フィルムカメラの視野の外側で描画された基準及び位置カメラの視野内で描画された基準を含み得る。例えば、バーチャルシーンはフィルムカメラの意図した視野と境界を接する表示面の半分上に描画される可能性がある一方で基準は表示面の他の半分上に描画される可能性がある。
【0100】
ブロック９６０では、物理的カメラの第１の補正位置が、第１の描画された画像と第１のカメラ画像とを比較することにより判断される。第１の描画された画像及び第１のカメラ画像は、両画像内の特徴を識別することによりそして２つの画像が共通に有する任意の特徴を判断することにより比較され得る。特徴の相対運動は、どのようにカメラの方位及び位置が表示面に対して変化したかを判断するために使用され得る。
【0101】
ブロック９７０では、第２の期間に対応する物理的カメラの第２の位置は第１の補正位置を使用することにより予測される。第２の期間中、第２の描画された画像が表示面上に表示されることになる。様々な実施形態では、所定振り付けファイルは第２の位置を予測するために使用され得る。いくつかの実装形態では、第２の位置はトレーニングされた機械学習モデルを使用することにより予測され得、ここで、カメラ操作者、振り付け、カメラ位置の履歴及びセンサデータは機械学習モデルへの入力であり得る。
【0102】
ブロック９８０では、第２の期間の第２のバーチャルシーンが描画される。第２のバーチャルシーンはアニメーションエンジンを使用することにより描画され得る。第２の描画されたシーンの意図された視点が物理的カメラの第２の位置である第２のバーチャルシーンが描画され得る。いくつかの実装形態では、２つ以上の別個の物理的カメラが同じシーンを撮影するために使用され得る。例えば、カメラは、互いに直交する２台のカメラの見通線を有するシーンを撮影するために配置され得る。振り付けファイルは、２つ以上の物理的カメラのうちのどの物理的カメラが所定期間のために使用されるかを決定し得る。物理的カメラの場所は、カメラが使用されていない場合ですら追跡され得、そしてシーンは必要に応じ様々なカメラのために描画され得る。
【0103】
ブロック９９０では、第２のバーチャルシーンは、第２の期間の第２の描画された画像を判断するために表示面上へ投影される。第２のバーチャルシーンの投影は仮想カメラの第２の位置に一致する。
【0104】
プロセス９００は、以下に説明される実装形態及び／又は本明細書のどこかで説明された１つ又は複数の他のプロセスに関連して説明された実装形態の任意の単一実装形態又は任意の組み合わせなどの追加実装形態を含み得る。
【0105】
いくつかの実装形態では、プロセス９００は画像を物理的位置へマッピングするモデルを格納することによりそして初期画像をこのモデルへ入力することにより物理的カメラの第１の位置を識別することを含む。
【0106】
図９はプロセス９００の例示的ブロックを示すが、いくつかの実装形態では、プロセス９００は、図９に描写されたものの追化ブロック、それより少ないブロック、それとは異なるブロック、又はそれとは異なるやり方で配置されたブロックを含み得る。追加的に又は代替的に、プロセス９００のブロックのうちの２つ以上は並列で行われ得る。
【0107】
ＶＩＩＩ．コンピュータシステム
本明細書において述べられたコンピュータシステムのうちの任意のものは任意の好適な数のサブシステムを利用し得る。このようなサブシステムの例が図１０のコンピュータシステム１０１０に示される。いくつかの実施形態では、コンピュータシステムは単一コンピュータ装置を含み、ここではサブシステムはコンピュータ装置の部品であり得る。他の実施形態では、コンピュータシステムは内部部品を有する複数のコンピュータ装置（各々はサブシステムである）を含み得る。コンピュータシステムはデスクトップコンピュータ及びラップトップコンピュータ、タブレット、携帯電話並びに他のモバイルデバイスを含み得る。
本明細書において述べられたコンピュータシステムのうちの任意のものは任意の好適な数のサブシステムを利用し得る。このようなサブシステムの例が図１０のコンピュータシステム１０１０に示される。いくつかの実施形態では、コンピュータシステムは単一コンピュータ装置を含み、ここではサブシステムはコンピュータ装置の部品であり得る。他の実施形態では、コンピュータシステムは内部部品を有する複数のコンピュータ装置（各々はサブシステムである）を含み得る。コンピュータシステムはデスクトップコンピュータ及びラップトップコンピュータ、タブレット、携帯電話並びに他のモバイルデバイスを含み得る。
【0108】
図１０に示すサブシステムはシステムバス１０７５を介し相互接続される。ディスプレイアダプタ１０８２へ結合されるプリンタ１０７４、キーボード１０７８、ストレージデバイス１０７９、モニタ１０７６（例えばＬＥＤなどの表示画面）、及び他のデバイスなどの追加サブシステムが示される。周辺装置及び入出力（Ｉ／Ｏ）デバイス（Ｉ／Ｏコントローラ１０７１へ結合する）は、入出力（Ｉ／Ｏ）ポート１０７７など当該技術領域において知られている任意数の手段（例えばＵＳＢ、ＦｉｒｅＷｉｒｅ（登録商標））によりコンピュータシステムへ接続され得る。例えば、Ｉ／Ｏポート１０７７又は外部インターフェース１０８１（例えばＥｔｈｅｒｎｅｔ、Ｗｉ－Ｆｉなど）は、コンピュータシステム１０１０をインターネットなどの広域ネットワーク、マウス入力デバイス、又はスキャナへ接続するために使用され得る。システムバス１０７５を介する相互接続は、中央処理装置１０７３が、各サブシステムと通信することと、システムメモリ１０７２又はストレージデバイス１０７９（例えばハードドライブなどの固定ディスク又は光ディスク）からの複数の指令の実行だけでなくサブシステム間の情報の交換も制御することとを可能にする。システムメモリ１０７２及び／又はストレージデバイス１０７９はコンピュータ可読媒体を具現化し得る。別のサブシステムは、カメラ、マイクロホン、加速度計等々のデータ収集デバイス１０８５である。本明細書において述べられたデータの任意のものは１つの部品から別の部品へ出力され得、そしてユーザへ出力され得る。
【0109】
コンピュータシステムは、例えば外部インターフェース１０８１により、内部インターフェースにより、又は１つの部品から別の部品へ接続されそして除去され得るリムーバブルストレージデバイスを介し一緒に接続された複数の同じ部品又はサブシステムを含み得る。いくつかの実施形態では、コンピュータシステム、サブシステム又は装置はネットワーク上で通信し得る。このような事例では、１つのコンピュータはクライアントと見做され得、そして別のコンピュータはサーバと見做され得、各々は同じコンピュータシステムの一部であり得る。クライアント及びサーバは各々複数のシステム、サブシステム又は部品を含み得る。
【0110】
いくつか実施形態のいくつかの態様は、ハードウェア回路（例えば特定用途向集積回路又はフィールドプログラマブルゲートアレイ）を使用することにより及び／又はモジュラ的やり方又は一体化されたやり方で一般的プログラム可能プロセッサによりメモリ内に格納されたコンピュータソフトウェアを使用することにより制御論理の形式で実装され得、従って、プロセッサはソフトウェア指令を格納するメモリ（ハードウェア回路を構成するだけでなく構成指令を有するＦＰＧＡ又はＡＳＩＣも構成する）を含み得る。本明細書で使用されるように、プロセッサは、シングルコアプロセッサ、同一集積化チップ上のマルチコアプロセッサ、又は単一回路基板上の又はネットワーク化されるだけでなく専用化されたハードウェア上の複数の処理ユニットを含み得る。本明細書において提供される開示及び教示に基づき、当業者は、ハードウェア及びハードウェアとソフトウェアとの組み合わせを使用することにより本開示のいくつかの実施形態を実装するために他のやり方及び／又は方法を知りそして認識することになる。
【0111】
本出願において述べられたソフトウェア部品又は機能の任意のものは、例えば従来技術又はオブジェクト指向技術を使用することにより、例えばＪａｖａ、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｓｗｉｆｔなどの任意の好適なコンピュータ言語、又はＰｅｒｌ又はＰｙｔｈｏｎなどのスクリプト言語を使用することによりプロセッサにより実行されるソフトウェアコードとして実装され得る。ソフトウェアコードは、格納及び／又は送信のためにコンピュータ可読媒体上に一連の指令又は命令として格納され得る。好適な非一時的コンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードドライブ若しくはフロッピーディスクなどの磁気媒体、又はコンパクトディスク（ＣＤ）若しくはＤＶＤ（ディジタルバーサタイルディスク）若しくはブルーレイディスクなどの光媒体、フラッシュメモリ等々を含み得る。コンピュータ可読媒体はこのようなデバイスの任意の組み合わせであり得る。加えて、操作の順番は再配置され得る。プロセスは、その動作が完了されると終了され得るが、図に含まれない追加工程を有する可能性がある。プロセスは方法、機能、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが機能に対応する場合、その終端は、呼出機能又はｍａｉｎ関数への機能の戻りに対応し得る。
【0112】
このようなプログラムはまた、インターネットを含む多種多様なプロトコルに準拠する有線、光、及び／又は無線ネットワークを介し送信に適合された搬送波信号を使用することにより符号化され送信され得る。従って、コンピュータ可読媒体はこのようなプログラムにより符号化されたデータ信号を使用することにより生成され得る。プログラムコードにより符号化されたコンピュータ可読媒体は互換デバイスと共にパッケージ化されてもよいし他のデバイスとは別個に提供されてもよい（例えばインターネットダウンロードを介し）。任意のこのようなコンピュータ可読媒体は、単一コンピュータ製品（例えばハードドライブ、ＣＤ又は全コンピュータシステム）上に又はその中に常在し得、そして、システム又はネットワーク内の様々なコンピュータ製品上に又はその中に存在し得る。コンピュータシステムは、本明細書において述べられた結果のうちの任意のものをユーザへ提供するためのモニタ、プリンタ又は他の好適なディスプレイを含み得る。
【0113】
本明細書において説明された方法のうちの任意のものは、いくつかの工程を行うように構成され得る１つ又は複数のプロセッサを含むコンピュータシステムと共に全面的に又は部分的に行われ得る。従って、いくつかの実施形態は、本明細書において説明される方法のうちの任意の方法の工程を（恐らくそれぞれの工程又はそれぞれの工程のグループを行う様々な部品により）行うように構成されたコンピュータシステムに向けられ得る。番号付けられた工程として提示されたが、本明細書における方法の工程は、同時に、又は様々な時に、又は異なる順序で行われ得る。加えて、これらの工程の一部は他の方法からの他の工程の一部と共に使用され得る。また、１工程のすべての部分又は一部分は任意選択的であり得る。加えて、本方法の任意の方法の工程の任意の工程はこれらの工程を行うためのシステムのモジュール、ユニット、回路又は他の手段により行われ得る。
【0114】
特定実施形態の特定詳細は、本開示の実施形態の精神及び範囲から逸脱すること無く任意の好適なやり方で組み合わせられ得る。しかし、本開示の他の実施形態は、各個々の態様に関係する特定実施形態に、又はこれらの個々の態様の特定組み合わせに向けられ得る。
【0115】
本開示のいくつかの例示的実施形態の上記説明は図解と説明のために提示された。本開示のいくつかの例示的実施形態の上記説明は網羅的であるように又は本開示を上述の精確な形式に制限するように意図されていなく、従って多くの修正形態及び変形形態が上記教示に照らして可能である。
【0116】
冠詞又は不定冠詞（ａ、ａｎ、又はｔｈｅ）の列挙は別途特に指示されない限り「１つ又は複数」を意味するように意図されている。「又は（ｏｒ）」、「若しくは（ｏｒ）」の使用は別途指示されない限り「排他的論理和」ではなく「包括的論理和」を意味するように意図されている。「第１の」部品への参照は、第２の部品が提供されるということを必ずしも必要としない。さらに、「第１の」部品又は「第２の」部品への参照は、別途述べない限り、参照された部品を特定場所に制限しない。用語「に基づく」は「に少なくとも部分的に基づく」を意味するように意図されている。
【0117】
本明細書において述べられたすべての特許、特許出願、出版物及び説明はすべての目的のためにその全体を参照により援用される。いずれも従来技術であると認められない。本明細書において提供されるインスタントアプリケーションと参照アプリケーションとの間に競合が存在する場合、インスタントアプリケーションが優位であるべきである。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】