特表 2022-554408 カメラ追跡におけるソースのフィルタリング及び平滑化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-28

(54)【発明の名称】カメラ追跡におけるソースのフィルタリング及び平滑化

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221221BHJP

【ＦＩ】

G06T7/70 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022526779

(86)(22)【出願日】2020-12-10

(85)【翻訳文提出日】2022-05-10

(86)【国際出願番号】 US2020064248

(87)【国際公開番号】W WO2021119274

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】62/947,702

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/990,274

(32)【優先日】2020-08-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】サウアーマン フィリックス

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA04

5L096EA06

5L096FA67

5L096FA69

5L096HA05

(57)【要約】

ビデオ処理は、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成するステップであって、第１の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む、ステップと、ビデオシーケンス中に移動するカメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成するステップであって、第２の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む、ステップと、追跡ツールによって、第１の追跡情報のための第１のトラックと第２の追跡情報のための第２のトラックとを含むタイムラインを生成するステップであって、追跡ツールは、第１の追跡システム及び第２の追跡システムに結合されて、第１の追跡情報及び第２の追跡情報を受け取る、ステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオ処理のための方法であって、
複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成するステップであって、
前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、
前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成するステップであって、
前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、
追跡ツールによって、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成するステップであって、
前記追跡ツールは、前記第１の追跡システム及び前記第２の追跡システムに結合されて、前記第１の追跡情報及び前記第２の追跡情報を受け取る、ステップと、
を含むことを特徴とする方法。

【請求項2】

前記第１の追跡システムは、光学追跡システムであることを特徴とする、請求項１に記載の方法。

【請求項3】

前記第２の追跡システムは、ハードウェアエンコードヘッドであることを特徴とする、請求項１に記載の方法。

【請求項4】

前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするステップ、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項5】

前記追跡ツールによって、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるステップ、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項6】

前記追跡ツールによって、前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するステップ、
を更に含むことを特徴とする、請求項５に記載の方法。

【請求項7】

前記調整された追跡情報を生成するステップは、
キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するステップ、
を含むことを特徴とする、請求項６に記載の方法。

【請求項8】

前記調整されたタイムラインを生成するステップは、前記タイムラインをリアルタイムで調整するステップを含むことを特徴とする、請求項７に記載の方法。

【請求項9】

前記調整されたタイムラインを生成するステップは、前記タイムラインをポストプロダクションで調整するステップを含むことを特徴とする、請求項７に記載の方法。

【請求項10】

ビデオ処理のためのシステムであって、
カメラと、
前記カメラに接続される第１の追跡システムであって、前記第１の追跡システムは、前記カメラが複数のフレームを含むショットを形成するビデオシーケンス中に移動している時に、前記カメラについての第１の追跡情報を生成し、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第１の追跡システムと、
第２の追跡システムであって、前記第２の追跡システムは、前記カメラが前記ビデオシーケンス中に移動している時に、前記カメラについての第２の追跡情報を生成し、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第２の追跡システムと、
前記第１の追跡システム及び前記第２の追跡システムに接続されて、前記第１の追跡情報及び前記第２の追跡情報を受け取り、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを作成する追跡ツールと、
を含むことを特徴とするシステム。

【請求項11】

前記第１の追跡システムは、光学追跡システムであることを特徴とする、請求項１０に記載のシステム。

【請求項12】

前記第２の追跡システムは、ハードウェアエンコードヘッドであることを特徴とする、請求項１０に記載のシステム。

【請求項13】

前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるための同期化ツール、
を更に含むことを特徴とする、請求項１０に記載のシステム。

【請求項14】

前記同期化ツールから受け取られる、前記同期された第１の追跡情報及び前記同期された第２の追跡情報を使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するためのトラックマネージャ、
を更に含むことを特徴とする、請求項１０に記載のシステム。

【請求項15】

キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するためのバイアス適用部、
を更に含むことを特徴とする、請求項１４に記載のシステム。

【請求項16】

前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするためのミキサ、
を更に含むことを特徴とする、請求項１０に記載のシステム。

【請求項17】

ビデオを取り込むためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムから受け取られる追跡データから、第１の追跡情報を生成することであって、
前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、
前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムから受け取られる追跡データから、第２の追跡情報を生成することであって、
前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、
前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成することと、
を行わせる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項18】

前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化すること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにすること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、ビデオデータの処理に関し、具体的には、カメラ追跡におけるソースのフィルタリング及び平滑化に関する。

【背景技術】

【0002】

[0002] ビデオ制作のための従来のシステムでは、単一のカメラ追跡システムを使用してカメラの空間座標を追跡すると、追跡データが欠落するか又は追跡データに異常が生じた時に、ビデオレンダリング動作の失敗を引き起こす可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

[0003] 本開示は、ビデオデータの処理を提供する。

【課題を解決するための手段】

【0004】

[0004] １つの実装では、ビデオ処理のための方法を開示する。前記方法は、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成するステップであって、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成するステップであって、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、追跡ツールによって、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成するステップであって、前記追跡ツールは、前記第１の追跡システム及び前記第２の追跡システムに結合されて、前記第１の追跡情報及び前記第２の追跡情報を受け取る、ステップと、を含む。

【0005】

[0005] １つの実装では、前記第１の追跡システムは、光学追跡システムである。１つの実装では、前記第２の追跡システムは、ハードウェアエンコードヘッドである。１つの実装では、前記方法は、前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするステップ、を更に含む。１つの実装では、前記方法は、前記追跡ツールによって、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるステップ、を更に含む。１つの実装では、前記方法は、前記追跡ツールによって、前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するステップ、を更に含む。１つの実装では、前記調整された追跡情報を生成するステップは、キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するステップ、を含む。１つの実装では、前記調整されたタイムラインを生成するステップは、前記タイムラインをリアルタイムで調整するステップを含む。１つの実装では、前記調整されたタイムラインを生成するステップは、前記タイムラインをポストプロダクションで調整するステップを含む。

【0006】

[0006] 別の実装では、ビデオ処理のためのシステムを開示する。前記システムは、カメラと、前記カメラに接続される第１の追跡システムであって、前記第１の追跡システムは、前記カメラが複数のフレームを含むショットを形成するビデオシーケンス中に移動している時に、前記カメラについての第１の追跡情報を生成し、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第１の追跡システムと、第２の追跡システムであって、前記第２の追跡システムは、前記カメラが前記ビデオシーケンス中に移動している時に、前記カメラについての第２の追跡情報を生成し、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第２の追跡システムと、前記第１の追跡システム及び前記第２の追跡システムに接続されて、前記第１の追跡情報及び前記第２の追跡情報を受け取り、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを作成する追跡ツールと、を含む。

【0007】

[0007] １つの実装では、前記第１の追跡システムは、光学追跡システムである。１つの実装では、前記第２の追跡システムは、ハードウェアエンコードヘッドである。１つの実装では、前記システムは、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるための同期化ツール、を更に含む。１つの実装では、前記システムは、前記同期化ツールから受け取られる、前記同期された第１の追跡情報及び前記同期された第２の追跡情報を使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するためのトラックマネージャ、を更に含む。１つの実装では、前記システムは、キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するためのバイアス適用部、を更に含む。１つの実装では、前記システムは、前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするためのミキサ、を更に含む。

【0008】

[0008] 別の実装では、ビデオを取り込むためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムから受け取られる追跡データから、第１の追跡情報を生成することであって、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムから受け取られる追跡データから、第２の追跡情報を生成することであって、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成することと、を行わせる。

【0009】

[0009] １つの実装では、前記プログラムは、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記プログラムは、前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化すること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記プログラムは、前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにすること、を前記コンピュータに行わせる実行可能命令を更に含む。

【0010】

[0010] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0011】

[0011] 添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0012】

【図1】本開示の１つの実装によるビデオレンダリングのための方法のフロー図である。

【図2A】本開示の１つの実装によるビデオシステムのブロック図である。

【図2B】本開示の１つの実装による追跡ツールの詳細なブロック図である。

【図2C】本開示の１つの実装による４つのトラックの位置追跡データのタイムライン図である。

【図3A】本開示の実装による、コンピュータシステム及びユーザの図である。

【図3B】本開示の実装による、ビデオ処理アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0013】

[0018] 上記のように、（ビデオ制作のための従来のシステムにおいて）単一のカメラ追跡システムを使用してカメラの空間座標を追跡すると、追跡データが欠落するか又は追跡データに異常が生じた時に、ビデオレンダリング動作の失敗を引き起こす可能性がある。

【0014】

[0019] 本開示の特定の実装は、ビデオデータを処理するための新しい技術を実装するための方法及びシステムを提供する。１つの実装では、複数のカメラ追跡システム及びエンコーダを使用して、カメラの空間座標を追跡する。したがって、複数のカメラ追跡システム及び／又はエンコーダを使用することは、追跡精度及び品質を精細化するのを助けることができ、また、万一カメラのうちの１又は２以上が失敗した場合には、冗長性を作成する。

【0015】

[0020] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0016】

[0021] 以下の実装で提供する特徴は、以下の項目のうちの１又は２以上を含むことができるが、これらに限定されない。例えば、１つの実装では、複数の追跡データ及び／又はエンコーダセットをツールにして、ツールは、全てのデータストリームを結合して同期させる。ツールは、タイムライン上のそれぞれのサブトラックを含むトラックとして、データセットを提示する。次に、オペレータは、誤ったデータの場合、データのどの部分又はトラックを使用すべきか又は平滑化すべきかを選択することができる。したがって、ツールは、データセットからマスタトラックを作成して、処理されたデータを（例えばｆｉｌｍｂｏｘ（ＦＢＸ）フォーマットで）エクスポートする能力を、オペレータに提供する。

【0017】

[0022] 図１は、本開示の１つの実装によるビデオレンダリングのための方法１００のフロー図である。図１に示す実装では、ステップ１１０において、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムによって、第１の追跡情報を生成する。１つの実装では、第１の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む。

【0018】

[0023] 次に、ステップ１２０において、ビデオシーケンス中に移動するカメラに結合される第２の追跡システムによって、第２の追跡情報を生成する。１つの実装では、第２の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む。ステップ１３０において、第１の追跡情報及び第２の追跡情報を受け取り、次に、ステップ１４０において、追跡ツールによって、第１の追跡情報のための第１のトラックと第２の追跡情報のための第２のトラックとを含むタイムラインを作成する。

【0019】

[0024] １つの実装では、カメラは、第１の追跡システム（例えば光学追跡システム）と、第２の追跡システム（例えばハードウェアエンコードヘッド）とを備える。更に、第１の追跡システムは、カメラについての第１の追跡情報を出力し、一方、第２の追跡システムは、カメラについての第２の追跡情報を出力する。１つの実装では、第１の追跡システム及び第２の追跡システムの各々は、カメラの６自由度及びワールドオフセットについての情報を配信する。

【0020】

[0025] 第１の追跡システム及び第２の追跡システムからの追跡されたデータは、一般に良好であるが、システムのうちの１又は２以上からの入力データは、間欠的に欠落するか又はずれる場合がある。したがって、欠落／ずれは、ビデオシステムが単一の追跡システム又はヘッドからのデータにのみ依拠する場合、別の問題を引き起こす場合がある。したがって、ビデオシステムは、複数の追跡システムを含み、冗長性を提供する。ビデオシステムは、また、追跡ツール（又はソフトウェア）を含み、複数の追跡システムからの複数のデータセットを収集して、カメラデータの複数のトラックを含むタイムラインを生成することを可能にする。

【0021】

[0026] １つの実装では、カメラトラックデータのトラックの全てが受け取られると、追跡ツールは、各トラックのカメラトラックデータをタイムコード（又はフレーム毎秒）に同期させる。ここで、ステップ１５０において、他のトラックからのカメラトラックデータを用いて、受け取られたデータの異常を認識、平滑化、及び補償するか、又は完全に消去することができる。ソフトウェアソリューションを介して、全てのトラック及びサブトラックを自由に混合して、新たなマスタトラックにすることもできる。これにより、キーフレーム又は他の同様の技術を使用して、トラックのいずれか１つにバイアスを適用することもできる。更に、１つの実装では、上記の技術は、ライブ（すなわちリアルタイム）及びポストプロダクションの両方に使用可能である。別の実装では、組み合わせて使用される追跡システムの数に制限がない。代替の実装では、様々な種類の追跡システム又は機構を使用することができる。キャプチャカメラの位置及び回転についての情報をユーザに与える任意のシステムを使用して、追加の追跡情報を提供することができる。

【0022】

[0027] 図２Ａは、本開示の１つの実装によるビデオシステム２００のブロック図である。図２Ａに示す実装では、ビデオシステム２００は、ビデオ制作又はスタジオ環境で使用される。システム２００は、被写体及び／又はシーン２１０の画像取り込みのための１又は２以上のカメラ２２０、２２４と、カメラの空間座標（例えば、位置及び向き）を追跡するための１又は２以上のセンサ／トラッカ２３０、２３２と、カメラデータ及びセンサデータを処理するためのプロセッサ２４０とを含む。したがって、１つの実装では、システム２００は、２つのカメラトラッカ２３０、２３２を使用して、各カメラに対して２つのデータセット、合計で４つのトラックデータセットを作成する。

【0023】

[0028] 図２Ａに示す実装では、トラッカ２３０、２３２の各々は、複数のフレームを有するショットを形成するビデオシーケンス中のカメラ２２０、２２４の空間座標を追跡する。１つの実装では、カメラの空間座標は、カメラの位置を含む。別の実装では、カメラの空間座標は、カメラの向きを含む。

【0024】

[0029] １つの実装では、カメラ２２０、２２４の各々は、光学追跡システム及び／又はハードウェアエンコードヘッドを備える。例えば、カメラ２２０は、光学追跡システム２２２及び／又はヘッド２２３を含み、カメラ２２４は、光学追跡システム２２６及び／又はヘッド２２７を含む。１つの実装では、ヘッド２２３、２２７は、エンコードヘッド、リモートヘッド、又はクレーンを含む運動制御システムとすることができる。更に、追跡システム２２２、２２６及び／又はヘッド２２３、２２７は、カメラ２２０、２２４の６自由度及びワールドオフセットについての情報を配信する。１つの実装では、システム２２２、２２３、２２６、２２７からの追跡されたデータは、トラッカ２３０、２３２によって取り込まれる及び／又は検知される。

【0025】

[0030] システム２２２、２２３、２２６、２２７からの追跡されたデータは、一般に良好であるが、システム２２２、２２３、２２６、２２７のうちの１つ（例えばシステム２２２）からの入力データは、間欠的に欠落するか又はずれる場合がある。したがって、欠落／ずれは、ビデオシステム２００が単一の追跡システム又はヘッドからのデータにのみ依拠する場合、別の問題を引き起こす場合がある。したがって、ビデオシステム２００は、複数の追跡システム２２２、２２３、２２６、２２７及び複数のトラッカ２３０、２３２を含み、冗長性を提供する。ビデオシステム２００は、また、プロセッサ２４０に結合される又はプロセッサ２４０内にある追跡ツール２４２（又はソフトウェア）を含み、トラッカ２３０、２３２からの複数のデータセットを収集して、カメラデータの複数のトラック及びそれぞれのサブトラックを含むタイムラインにすることを可能にする。

【0026】

[0031] １つの実装では、（サブトラックを有する）各トラックは、以下のカメラデータを含む。例えば、第１のトラックデータは、光学追跡システム２２２からのデータを使用してトラッカ２３０によって追跡されるカメラ２２０の空間座標を含む。したがって、第１のトラックデータは、仮想カメラのワールドオフセットからの平行移動を追跡するために使用されるＸ，Ｙ，Ｚ座標を含む第１のサブトラックと、仮想カメラのローカル回転を追跡するために使用されるピッチ、ヨー及びロール軸を含む第２のサブトラックとを含む。１つの実装では、仮想カメラの原点（すなわち０，０，０）は、物理的レンズのノーダルポイント、又はフィルムプレーンの中心である。別の例では、第２のトラックデータは、光学追跡システム２２６からのデータを使用してトラッカ２３０によって追跡されるカメラ２２４の空間座標を含む。したがって、第２のトラックデータは、仮想カメラのワールドオフセットからの平行移動を追跡するために使用されるＸ，Ｙ，Ｚ座標を含む第１のサブトラックと、仮想カメラのローカル回転を追跡するために使用されるピッチ、ヨー及びロール軸を含む第２のサブトラックとを含む。以上の説明と同様に、追加のトラックデータを形成することができる。

【0027】

[0032] １つの実装では、カメラトラックデータのトラックの全てが受け取られると、追跡ツール２４２は、各トラックのカメラトラックデータをタイムコード（又はフレーム毎秒）に同期させる。ここで、他のトラックのデータを用いて、誤ったデータを認識、平滑化、及び補償するか、又は完全に消去することができる。ソフトウェアソリューションを介して、全てのトラック及びサブトラックを自由に混合して、新たなマスタトラックにすることもできる。これにより、キーフレーム又は他の同様の技術を使用して、トラックのいずれか１つにバイアスを適用することもできる。更に、１つの実装では、上記の技術は、ライブ（すなわちリアルタイム）及びポストプロダクションの両方に使用可能である。別の実装では、組み合わせて使用されるシステムの数に制限がない。代替の実装では、様々な種類の追跡システム又は機構を使用することができる。キャプチャカメラの位置及び回転についての情報をユーザに与える任意のシステムを使用して、追加の追跡情報を提供することができる。

【0028】

[0033] 図２Ａに示す実装では、プロセッサ２４０は、カメラ２２０、２２４に結合される。１つの実装では、プロセッサ２４０は、ショット中の各カメラ２２０又は２２４のレンズに対応するレンズデータを格納するレンズプロファイルを生成する。１つの実装では、レンズデータをショットのそれぞれのフレームに同期させる。別の実装では、レンズデータをタイムコードに同期させる。

【0029】

[0034] １つの実装では、プロセッサ２４０は、制作中にリアルタイムで、レンズプロファイルを生成して、レンズデータの複数のトラックを取り込む。レンズデータは、（１）アクティブセンサの次元／フィルムプレーン／イメージャの測定、（２）ノーダルポイントまでのイメージプレーン距離、（３）ズーム及びレンズブリージングを考慮するカメラの焦点距離、（４）レンズ歪みプロファイル、（５）画像中心のずれ、（６）レンズ絞り、及び（７）フォーカス距離を含む。

【0030】

[0035] １つの実装では、プロセッサ２４０は、また、カメラキャプチャデータの選択された（単複の）トラックからのカメラ２２０、２２４の移動を再トレースして、フレームごとにレンズ及びその特性を模倣して、レンダラ２４６を通じて被写体及び／又はシーン２１０のショットを仮想的に複製するためのレンダエンジン２４４を含む。

【0031】

[0036] 図２Ｂは、本開示の１つの実装による追跡ツール２４２の詳細なブロック図である。図２Ｂに示す実装では、追跡ツール２４２は、トラックマネージャ２４２ａと、同期化ツール２４２ｂと、バイアス適用部２４２ｃと、ミキサ２４２ｄとを含む。１つの実装では、同期化ツール２４２ｂは、第１の追跡情報及び第２の追跡情報をタイムコードに同期させる。１つの実装では、トラックマネージャ２４２ａは、同期化ツールから受け取られる、同期された第１の追跡情報及び同期された第２の追跡情報を使用して、調整された追跡情報を生成して、第１の追跡情報内の異常データを平滑化する。１つの実装では、バイアス適用部２４２ｃは、キーフレームを使用して、第１のトラックの同期された第１の追跡情報又は第２のトラックの同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成する。１つの実装では、ミキサ２４２ｄは、第１のトラックの第１の追跡情報と、第２のトラックの第２の追跡情報とを混合して、新たなマスタトラックにする。

【0032】

[0037] 図２Ｃは、本開示の１つの実装による４つのトラックの位置追跡データのタイムライン図２５０である。

【0033】

[0038] 図２Ｃに示す実装では、タイムライン図２５０は、例えば、４つの異なる追跡システムからの位置追跡データ２６０、２７０、２８０、２９０を示す。第１の図は、第１の追跡システム（例えば、カメラ２２０上に配置される光学追跡システム２２２）からの第１のトラック位置データ２６０を示す。第２の図は、第２の追跡システム（例えば、カメラ２２４上に配置される光学追跡システム２２６）からの第２のトラック位置データ２７０を示す。第３の図は、第３の追跡システム（例えば、カメラ２２０上に配置されるヘッド２２３）からの第３のトラック位置データ２８０を示す。第４の図は、第４の追跡システム（例えば、カメラ２２４上に配置されるヘッド２２７）からの第４のトラック位置データ２９０を示す。

【0034】

[0039] 図２Ｃに示す実装では、第１の位置追跡データ２６０は、データ欠落２６２を含む。したがって、追跡ツール２４２は、他のトラックからの位置追跡データ２７０、２８０、２９０をレビューして、データ欠落２６２を、第３又は第４のトラックからの位置追跡データ２８０、２９０に置き換えることを決定する。というのは、第２の追跡データ２７０は、第３又は第４のトラックのデータからずれているからである。

【0035】

[0040] 図２Ｃに示す実装では、第２の位置追跡データ２７０は、データ欠落２７２を含む。したがって、追跡ツール２４２は、他のトラックからの位置追跡データ２６０、２８０、２９０をレビューして、データ欠落２７２を、第１、第３又は第４のトラックからの位置追跡データ２６０、２８０、２９０に置き換えることを決定する。というのは、第１、第３及び第４のトラックからのデータは、一致しているからである。

【0036】

[0041] 図２Ｃに示す実装では、第３の位置追跡データ２８０は、（第１、第２及び第４のトラック上の追跡データからずれる）データずれ２８２を含む。したがって、追跡ツール２４２は、他のトラックからの位置追跡データ２６０、２７０、２９０をレビューして、データずれ２８２を、第１、第２又は第４のトラックからの位置追跡データ２６０、２８０又は２９０に置き換えることを決定する。というのは、第１、第２及び第４のトラックからのデータは、一致しているからである。

【0037】

[0042] 図３Ａは、本開示の実装による、コンピュータシステム３００及びユーザ３０２の図である。ユーザ３０２は、コンピュータシステム３００を使用して、図１の方法１００及び図２Ａのシステム２００に関して図示及び説明されるようなカメラ追跡データの処理及びフィルタリングのためのアプリケーション３９０を実装する。

【0038】

[0043] コンピュータシステム３００は、図３Ｂのビデオ処理アプリケーション３９０を記憶して実行する。更に、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することができる。ソフトウェアプログラム３０４は、ビデオ処理アプリケーション３９０のためのソフトウェアコードを含むことができる。ソフトウェアプログラム３０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0039】

[0044] 更に、コンピュータシステム３００は、ネットワーク３８０に接続することができる。ネットワーク３８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク３８０は、ビデオ処理アプリケーション３９０内で使用されるエンジン及びデータを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0040】

[0045] 図３Ｂは、本開示の実装による、ビデオ処理アプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御して、例えば、カメラ追跡データの処理及びフィルタリングを提供する。その実行において、コントローラ３１０は、ビデオ処理アプリケーション３９０にソフトウェアシステムを提供して、例えば、追跡データの複数のトラックを収集して使用する。代替的に、このサービスは、コントローラ３１０又はコンピュータシステム３００において別個のハードウェアコンポーネントとして実装することができる。

【0041】

[0046] メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用するためにデータを一時的に記憶する。１つの実装では、メモリ３２０はＲＡＭとして実装される。別の実装では、メモリ３２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0042】

[0047] ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ３３０は、ビデオ処理アプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０は、ハードディスクドライブである。

【0043】

[0048] メディアデバイス３４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。１つの実装では、例えば、メディアデバイス３４０は、光ディスクドライブである。

【0044】

[0049] ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからユーザ入力を受け取ってユーザ３０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用して、コンピュータシステム３００の動作を調整する。

【0045】

[0050] Ｉ／Ｏインターフェイス３６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0046】

[0051] ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0047】

[0052] コンピュータシステム３００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図３Ｂに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0048】

[0053] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。

【0049】

[0054] 更なる変形及び実装も可能である。例えば、バーチャルプロダクション（例えば仮想現実環境）のためのビデオ制作に加えて、他の視覚効果（ＶＦＸ）制作又はビデオ制作が、複数の追跡システムを使用することもできる（例えばビデオゲーム開発）。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0050】

[0055] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0051】

１００ ビデオレンダリングのための方法
１１０ ビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成
１２０ カメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成
１３０ 第１の追跡情報及び第２の追跡情報を受け取る
１４０ 追跡ツールを使用して、第１の追跡情報のための第１のトラックと第２の追跡情報のための第２のトラックとを含むタイムラインを生成
１５０ 複数の追跡システムから追跡情報を受け取り処理して、追跡情報の異常を認識、平滑化、及び補償
２００ ビデオシステム
２１０ 被写体及び／又はシーン
２２０ カメラ
２２２ 光学追跡システム
２２３ ヘッド
２２４ カメラ
２２６ 光学追跡システム
２２７ ヘッド
２３０ センサ／トラッカ
２３２ センサ／トラッカ
２４０ プロセッサ
２４２ 追跡ツール
２４２ａ トラックマネージャ
２４２ｂ 同期化ツール
２４２ｃ バイアス適用部
２４２ｄ ミキサ
２４４ レンダエンジン
２４６ レンダラ
２５０ タイムライン図
２６０，２７０，２８０，２９０ 位置追跡データ
２６２ データ欠落
２７２ データ欠落
２８２ データずれ
３００ コンピュータシステム
３０２ ユーザ
３０４ ソフトウェアプログラム
３１０ コントローラ
３２０ メモリ
３３０ ストレージ
３４０ メディアデバイス
３５０ ユーザインターフェイス
３６０ Ｉ／Ｏインターフェイス
３７０ ネットワークインターフェイス
３８０ ネットワーク
３８５ サーバ
３９０ ビデオ処理アプリケーション

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【国際調査報告】