特表2024-521377三次元ボリュメトリックシーンを表現するデータを処理するための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-31
(54)【発明の名称】三次元ボリュメトリックシーンを表現するデータを処理するための方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240524BHJP
G06T 17/20 20060101ALI20240524BHJP
【ＦＩ】
G06T19/00 A
G06T17/20
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2023574775
(86)(22)【出願日】2022-06-16
(85)【翻訳文提出日】2023-12-05
(86)【国際出願番号】 FR2022051173
(87)【国際公開番号】W WO2022263781
(87)【国際公開日】2022-12-22
(31)【優先権主張番号】2106478
(32)【優先日】2021-06-18
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】520330548
【氏名又は名称】４ディ・ビュー・ソリューションズ
【氏名又は名称原語表記】４Ｄ ＶＩＥＷ ＳＯＬＵＴＩＯＮＳ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】カンタン ペローソン
(72)【発明者】
【氏名】ヴァランタン ボノーム
(72)【発明者】
【氏名】オディロン ヴァトンヌ
(72)【発明者】
【氏名】クレマン メニエール
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050BA12
5B050CA07
5B050DA01
5B050EA07
5B050EA12
5B050EA18
5B050FA10
5B050GA08
(57)【要約】
三次元ボリュメトリックシーンを表現するデータをデジタル処理するための方法であって、本方法は、コンピュータによって実施され、シーンを表現する当該データにアクセスするステップと、第１のメッシュ（Ｍ０）に関連付けられた第１のフレームを指定するステップと、第１のメッシュ内の第１の位置（Ｐ）を指定するステップと、第１の位置が位置する第１のメッシュの第１のファセット（Ｔ）を判定するステップと、第１のファセット（Ｔ）の頂点（Ｖ０、Ｖ１、Ｖ２）の元の位置と、第２のフレームの第２のメッシュ（Ｍ１）に固有であり、第１のメッシュ（Ｍ０）とは異なるトポロジを有する基準フレームにおいて表されるそれぞれの関連付けられた位置（ＰＶ０’、ＰＶ１’、ＰＶ２’）との間の事前に確立された関連付けであって、これらの関連付けは、経時的なシーンの進化を表現する、関連付けのリストにアクセスするステップと、それぞれの関連付けられた位置に基づいて、第１のメッシュにおいて指定された位置に関連付けられている、第２のメッシュ（Ｍ１）内に位置する位置（Ｐ’）を判定するステップと、を含む、方法。
【特許請求の範囲】
【請求項1】
ファセットからなり、所与の瞬間における三次元シーンのボリュメトリックデータを表現するそれぞれのメッシュに各々関連付けられたフレーム（Ｆ０、Ｆ１、Ｆ２）を有する３Ｄビデオシーケンスを含む三次元ボリュメトリックシーンを表現するデータをデジタル処理するための方法（５００）であって、前記方法は、コンピュータによって実施され、－データ記憶及び処理システム（１４０）において、三次元ボリュメトリックシーン（１２５）を表現する前記データにアクセスするステップ（５１０）と、
－前記フレームのシーケンスにおいて、前記それぞれのメッシュの第１のメッシュ（Ｍ０）に関連付けられた第１のフレームを指定するステップ（５２０）と、
－前記第１のメッシュ（Ｍ０）内の第１の位置（Ｐ）を指定するステップ（５３０）と、を含み、
前記方法は、
－前記第１の位置が位置する前記第１のメッシュ（Ｍ０）の第１のファセット（Ｔ）を判定するステップ（５４０）と、
－前記システム（１４０）において、前記第１のファセット（Ｔ）の頂点（Ｖ０、Ｖ１、Ｖ２）の元の位置と、前記フレームのシーケンスの第２のフレームの第２のメッシュ（Ｍ１）に固有の基準フレームにおいて表されたそれぞれの関連付けられた位置（ＰＶ０’、ＰＶ１’、ＰＶ２’）との間の事前に確立された関連付け（フィックス）のリストにアクセスするステップ（５５０）であって、これらの関連付けは、経時的な前記シーンの進化を表現し、前記第１のメッシュ（Ｍ０）及び前記第２のメッシュ（Ｍ１）は、異なるトポロジを有する、アクセスするステップ（５５０）と、
－前記それぞれの関連付けられた位置から、前記第１のメッシュ内の指定された前記位置に関連付けられた前記第２のメッシュ（Ｍ１）内に位置する位置（Ｐ’）を判定するステップ（５６０）と、を更に含むことを特徴とする、方法。
【請求項2】
前記それぞれの関連付けられた位置の各々は、それが位置する前記第２のメッシュの所属ファセットと、この所属ファセットに関連付けられた重心座標とによって定義される、請求項１に記載の方法。
【請求項3】
前記第１のフレーム及び前記第２のフレームは、２つの連続するフレームである、請求項１又は２に記載の方法。
【請求項4】
前記第２のメッシュ内に位置する前記位置に音源の位置を関連付けるステップ（５７０）を更に含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記フレーム（Ｆ０、Ｆ１、Ｆ２）は、異なるトポロジを有するフレーム（Ｆ）の少なくとも２つのブロック（ＢＬ０、ＢＬ１）に属し、前記リストは、各フレームの各頂点の位置と隣接フレーム内の位置との間の事前に確立された関連付けを含み、これらの関連付けは、経時的な前記シーンの要素の空間における進化を表現し、考慮される２つのフレーム（Ｆ１、Ｆ２）がフレームの同じブロック（ＢＬ１）に属するとき、前記事前に確立された関連付けは、恒等演算子（デルタ）によって定義される、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記第１のファセット（Ｔ）の前記頂点（Ｖ０、Ｖ１、Ｖ２）の前記元の位置と、第２のメッシュに固有の前記基準フレームにおいて表された前記それぞれの関連付けられた位置（ＰＶ０’、ＰＶ１’、ＰＶ２’）との間の前記事前に確立された関連付け（フィックス）のリストを生成する予備ステップを更に含み、前記予備ステップは、－前記第１のメッシュ（Ｍ０）の現在の頂点（Ｖｉ）を指定するステップ（２１０）と、
－前記第２のメッシュ（Ｍ１）を近似するように前記第１のメッシュ（Ｍ０）を変形させるステップ（２２０）と、
－前記現在の頂点（Ｖｉ）に対応する、変形された前記第１のメッシュの位置（ＰＶｉｄｅｆ）について、前記第２のメッシュのファセット（Ｔｊ）に最も近い近似位置（ＰＶｉ’）を計算するステップ（２３０）と、
－前記近似位置（ＰＶｉ’）が位置する前記ファセットを識別するステップ（２４０）と、
－前記第２のメッシュ（Ｍ１）に固有の前記基準フレーム内の前記近似位置（ＰＶｉ’）を定義する前記重心座標（Ｃ０、Ｃ１、Ｃ２）を計算するステップ（２５０）と、を含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
請求項１～６のいずれか一項に記載の方法のステップを実施するための手段を備えるデータ処理システム。
【請求項8】
命令を含むコンピュータプログラムであって、前記命令は、前記プログラムがコンピュータによって実行されると、前記コンピュータが請求項１～６のいずれか一項に記載の方法のステップを実施することを可能にする、コンピュータプログラム。
【請求項9】
命令を含むコンピュータ可読媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータが請求項１～６のいずれか一項に記載の方法のステップを実施することを可能にする、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元ボリュメトリックシーンを表現するデータ、すなわち、空間の３つの方向に延びるオブジェクトを含むデータを処理するための方法に関する。
【背景技術】
【0002】
本発明は、ボリュメトリックデータの連続フレーム間の連続リンクを確立するため、すなわち、三次元ボリュメトリックシーンを表現するための方法、及びこれらのボリュメトリックデータの連続フレームのデジタル処理へのこの方法の適用に関する。
【0003】
本発明者らの知る限り、この主題は、これまで、三次元インフォグラフィックスの分野において開発されておらず、特にトポロジの大きな変化を伴うシーケンスの場合に、技術的に満足のいく解決策は知られていない。
【0004】
二次元ビデオシーケンス又は２Ｄビデオシーケンスの場合、フレームの連続画像のピクセルに基づく既知の計算によって、ビデオシーケンスを形成する連続フレームにエフェクト又はフィルタを適用することが可能である。
【0005】
この種の適用は、例えば、デジタルビデオシーケンスの１つのフレームから次のフレームへのピクセルのアイデンティティに基づいて、「オプティカルフロー」技術によって実行され、アイデンティティは、連続するフレーム内のオブジェクトの動きを追跡し、したがってその追跡を実行し、所望であれば、オブジェクトの追跡のおかげでこれらのフレームのそれぞれに処理を自動的に適用することを可能にする。
【0006】
三次元ボリュメトリックビデオシーケンス又は３Ｄビデオシーケンスの場合、ボリュメトリックデータはピクセルに対応しないが、各フレームに固有のファセットからなるメッシュを定義する。
【0007】
したがって、２Ｄビデオシーケンスに適用可能な方法は、３Ｄビデオシーケンスには適用可能ではない。
【0008】
したがって、音源を三次元シーン内で動く人物の口に関連付けるには、口の動きを手動で監視する必要があり、これは、前のものとは異なるトポロジによって定義されたシーンの各フレームについて口の位置を手動で識別することを含む面倒で時間のかかる方法であり、定性的にあまり満足できる結果とは言えない。
【0009】
各フレームにおける顔検出によるアプローチも存在するが、これは、シーン内にいくつかの顔が存在する場合には満足できるものではない。
【0010】
更に、これらのアプローチは顔に対してのみ機能し、より全般的な場合に拡張することができない。
【0011】
Ｓｏｔｉｒｉｓ Ｍａｌａｓｓｉｏｔｉｓ及びＭｉｃｈａｅｌ Ｇ．Ｓｔｒｉｎｔｚｉｓによる論文「Ｔｒａｃｋｉｎｇ Ｔｅｘｔｕｒｅｄ Ｄｅｆｏｒｍａｂｌｅ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ ａ Ｆｉｎｉｔｅ－Ｅｌｅｍｅｎｔ Ｍｅｓｈ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ、第８巻、第６番（１９９８年１０月）は、非剛体変形を受けるオブジェクトの動きを推定するためのアルゴリズムに関する。
【0012】
Ｐｅｔｅｒ Ｅｉｓｅｒｔ及びＡｎｎａ Ｈｉｌｓｍａｎｎによる論文「Ｈｙｂｒｉｄ Ｈｕｍａｎ Ｍｏｄｅｌｉｎｇ：Ｍａｋｉｎｇ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｄｅｏ Ａｎｉｍａｔａｂｌｅ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ－ＥＣＣＶ ２０２０：１６ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ、Ｇｌａｓｇｏｗ、英国、Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇは、人体及び顔のハイブリッドビデオ／アニメーション表現を作成するための方法に関する。
【0013】
Ｆａｒｒｅｒらによる米国特許第９，２２４，２４５（Ｂ２）号は、三次元シーケンスを形成するために奥行きマップと二次元画像とを組み合わせるアニメーション方法に関する。
【0014】
Ａｎｄｒｅａｓ Ｓｃｈｏｏｂらによる論文「Ｓｔｅｒｅｏ ｖｉｓｉｏｎ－ｂａｓｅｄ ｔｒａｃｋｉｎｇ ｏｆ ｓｏｆｔ ｔｉｓｓｕｅ ｍｏｔｉｏｎ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｏｎｌｉｎｅ ａｂｌａｔｉｏｎ ｃｏｎｔｒｏｌ ｌａｓｅｒ ｍｉｃｒｏｓｕｒｇｅｒｙ」、Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ４０（２０１７）、第８０－９５頁、Ｅｌｓｅｖｉｅｒは、画像によるレーザ顕微手術の分野において、ステレオ撮像による非剛体追跡の方法及びレーザによる外科的アブレーションへのその適用に関する。
【0015】
Ｄｅｒｅｋ Ｂｒａｄｌｅｙらによる論文「Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｐａｓｓｉｖｅ Ｆａｃｉａｌ Ｐｅｒｆｏｒｍａｎｃｅ Ｃａｐｔｕｒｅ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、第２９巻、第４番、第４１項（２０１０年）は、人間の顔の表情のビデオキャプチャのための方法に関する。
【0016】
この論文によれば、ビデオシーケンス中に顔のジオメトリ及びテクスチャの一様な追跡を進めるために、単一の基準メッシュが使用され、同じトポロジの、すなわち対応する頂点及びこれらの頂点間の同じ接続性を有するメッシュのセットを生成する働きをする。
【0017】
このようにして、アーティストによって最初のフレームのジオメトリ及びテクスチャに対して行われた修正を、１つのメッシュから別のメッシュへ、シーケンス全体について１つのフレームから別のフレームへ伝搬することが可能である。
【0018】
しかしながら、この方法は、同じトポロジを有するメッシュによって記述されるビデオシーケンスに限定され、例えば、基準メッシュ内で見えないオブジェクトがシーン内に出現する間など、メッシュのトポロジの変化を伴うシーンに適用することができない。
【0019】
したがって、３Ｄビデオシーケンスのデジタル処理、より具体的には、メッシュのトポロジの変化を伴うそのようなシーケンスの連続フレームのデジタル処理に対する満たされていない要求がある。
【発明の開示】
【0020】
本発明は、点の位置の時間追跡を実施する三次元ボリュメトリックシーンのデジタル処理方法を提供することを目的とする。
【0021】
より具体的には、本発明は、ファセットからなり、所与の瞬間におけるシーンのボリュメトリックデータを表現するそれぞれのメッシュに各々関連付けられたフレームを有する３Ｄビデオシーケンスを含む三次元ボリュメトリックシーンを表現するデータをデジタル処理するための方法であって、本方法は、コンピュータによって実施され、データ記憶及び処理システムにおいて、三次元ボリュメトリックシーンを表現する当該データにアクセスするステップと、フレームのシーケンスにおいて、当該それぞれのメッシュの第１のメッシュに関連付けられた第１のフレームを指定するステップと、第１のメッシュにおける第１の位置を指定するステップと、を含み、本方法は、第１の位置が位置する第１のメッシュの第１のファセットを判定するステップと、システムにおいて、第１のファセットの頂点の元の位置と、フレームのシーケンスの第２のフレームの第２のメッシュに固有の基準フレームにおいて表されたそれぞれの関連付けられた位置との間の事前に確立された関連付けのリストにアクセスするステップであって、これらの関連付けは、経時的なシーンの展開を表現し、第１のメッシュ及び第２のメッシュは異なるトポロジを有する、アクセスするステップと、それぞれの関連付けられた位置から、第１のメッシュにおいて指定された位置に関連付けられた第２のメッシュ内に位置する位置を判定するステップと、を更に含む、方法に関する。
【0022】
上記の方法は、フレームの各々にそれぞれ関連付けられたメッシュを有する一連のフレームによってモデル化された三次元ボリュメトリックシーンの点の空間及び時間における追跡を自動化することを可能にする。
【0023】
加えて、この追跡は全般的であり、すなわち、フレーム間の強いトポロジカル変動の場合を含む任意のタイプのビジュアルコンテンツに適用可能であり、計算能力の要求が低く、リアルタイム追跡を実行し、この一連のフレームにデジタル処理を適用することを可能にする。
【0024】
本発明によるボリュメトリックビデオストリームを処理する方法は、
－それぞれの関連付けられた位置の各々は、それが位置する第２のメッシュの所属ファセットと、この所属ファセットに関連付けられた重心座標とによって定義することができるという特徴と、
－第１のフレーム及び第２のフレームは、２つの連続するフレームであってもよいという特徴と、
－本方法は、音源の位置を第２のメッシュ内に位置する位置に関連付けるステップを更に含んでもよいという特徴と、
－フレームは、異なるトポロジを有するフレームの少なくとも２つのブロックに属してもよく、リストは、各フレームの各頂点の位置と隣接フレーム内の位置との間の事前に確立された関連付けを含み、これらの関連付けは、経時的なシーンの要素の空間における進化を表現し、２つの考慮されるフレームが同じフレームブロックに属するとき、事前に確立された関連付けは、恒等演算子によって定義されるという特徴と、
－本方法は、第１のファセットの頂点の元の位置と、第２のメッシュに固有の基準フレームにおいて表されるそれぞれの関連付けられた位置との間の事前に確立された関連付けのリストを生成する予備ステップを更に含むことができ、予備ステップは、第１のメッシュの現在の頂点を指定するステップと、第２のメッシュに近似するように第１のメッシュを変形させるステップと、現在の頂点に対応する、変形された第１のメッシュの位置について、第２のメッシュのファセットに最も近い近似位置を計算するステップと、第２のメッシュの位置が位置するファセットを識別するステップと、第２のメッシュに固有の基準フレーム内の近似位置を定義する重心座標を計算するステップとを含み得るという特徴と、を有し得る。
－それぞれの関連付けられた位置の各々は、それが位置する第２のメッシュの所属ファセットと、この所属ファセットに関連付けられた重心座標とによって定義することができるという特徴と、
－第１のフレーム及び第２のフレームは、２つの連続するフレームであってもよいという特徴と、
－本方法は、音源の位置を第２のメッシュ内に位置する位置に関連付けるステップを更に含んでもよいという特徴と、
－フレームは、異なるトポロジを有するフレームの少なくとも２つのブロックに属してもよく、リストは、各フレームの各頂点の位置と隣接フレーム内の位置との間の事前に確立された関連付けを含み、これらの関連付けは、経時的なシーンの要素の空間における進化を表現し、２つの考慮されるフレームが同じフレームブロックに属するとき、事前に確立された関連付けは、恒等演算子によって定義されるという特徴と、
－本方法は、第１のファセットの頂点の元の位置と、第２のメッシュに固有の基準フレームにおいて表されるそれぞれの関連付けられた位置との間の事前に確立された関連付けのリストを生成する予備ステップを更に含むことができ、予備ステップは、第１のメッシュの現在の頂点を指定するステップと、第２のメッシュに近似するように第１のメッシュを変形させるステップと、現在の頂点に対応する、変形された第１のメッシュの位置について、第２のメッシュのファセットに最も近い近似位置を計算するステップと、第２のメッシュの位置が位置するファセットを識別するステップと、第２のメッシュに固有の基準フレーム内の近似位置を定義する重心座標を計算するステップとを含み得るという特徴と、を有し得る。
【0025】
本発明は、
－方法のステップを実行するための手段を含むデータ処理システムと、
－命令を含むコンピュータプログラムであって、命令は、プログラムがコンピュータによって実行されると、方法のステップを実施する、コンピュータプログラムと、
－命令を含むコンピュータ可読媒体であって、命令は、コンピュータによって実行されると、方法のステップを実施する、コンピュータ可読媒体とに拡張することができる。
－方法のステップを実行するための手段を含むデータ処理システムと、
－命令を含むコンピュータプログラムであって、命令は、プログラムがコンピュータによって実行されると、方法のステップを実施する、コンピュータプログラムと、
－命令を含むコンピュータ可読媒体であって、命令は、コンピュータによって実行されると、方法のステップを実施する、コンピュータ可読媒体とに拡張することができる。
【図面の簡単な説明】
【0026】
本発明は、非限定的な例として添付の図面によって示される実施形態の詳細な説明を読むことによって、より良く理解され、他の利点が明らかになるであろう。
【図1A】ビデオグラメトリスタジオを示す。
【図1B】メッシュによるシーンのモデル化を示す。
【図1C】一連のフレームを示す。
【図1D】ソースフレームのメッシュの変形による対象フレームのメッシュの近似を示す。
【図2A】本発明による一連のフレーム及びブリッジを示す。
【図4B】ブリッジを作成する方法を示す。
【図5】連続フレーム内の点を追跡するための適用を示す。
【発明を実施するための形態】
【0027】
本発明による方法の対象であるボリュメトリックデータは、例えば、図１Ａに示されるような三次元シーン１２５のビデオグラメトリによるキャプチャから、すなわち、空間的に分散され、ビデオグラメトリスタジオ１００において俳優１０５によって演じられたシーン１２５の画像を一般に毎秒３０～６０画像程度の頻度でキャプチャするカメラ１３０のセットによって推定することができる。
【0028】
カメラ１３０は、データ記憶及び処理システム１４０に、並びにカメラ及び１つ以上のハードディスクを装備したコンピュータなどのシステムを制御することを可能にするユーザインターフェース１５０に機能的に接続される。
【0029】
当該画像は、キャプチャの各瞬間について点群を計算することによってシーンのアクションを再生成するために使用される。
【0030】
次いで、各点群は、互いに連続的に接続され、それらの頂点である特定の点によって定義されるファセットのメッシュＭによってモデル化される。
【0031】
これらのファセットは、人間の頭部をモデル化するメッシュＭを表現する、図１Ｂに示すような、三角形であることが多い。
【0032】
以下では、この実施形態は、三角形からなるメッシュによって示されるが、他のタイプのファセットを使用することもできる。
【0033】
メッシュは、カメラによって見られる、シーンの要素の表面を表現している。
【0034】
各三角形は、それを定義する３つの頂点Ｖ、すなわちトリプレット｛Ｖ０，Ｖ１，Ｖ２｝の形式においてそれぞれＶ０、Ｖ１及びＶ２によって識別され、各頂点の位置は、シーンに関連付けられた三次元基準フレームにおいて知られている。
【0035】
シーンのキャプチャの各瞬間は、このフレームに関連付けられたメッシュからなるボリュメトリックデータセットに関連付けられたフレームに対応する。
【0036】
処理の前に、使用される三角形の数及びそれらの接続性は、概して、フレームごとに異なる。
【0037】
従来、処理されるべきデータの量を制限するために、メッシュの幾何学的追跡が経時的に実行され、これは、「キーフレーム」と呼ばれる基準フレームに属する基準メッシュの変形によって特定のフレームのメッシュを近似することからなり、後続のフレームのメッシュは、この基準メッシュと同じ接続性の同じ三角形からなり、これらのフレームは、フレームのブロックを構成することになる。
【0038】
したがって、フレームの同じブロックのメッシュは、構成によって、同じトポロジを有する、すなわち、同じ接続性を有する同じ三角形からなる。
【0039】
基準フレームのメッシュを変形することによってメッシュを許容可能に近似することができない場合、新しい基準メッシュが新しい基準フレームを用いて定義され、全てのフレームのメッシュが処理されるまで操作を繰り返し、したがって、フレームの全ブロックを定義する。
【0040】
フレームの２つの連続したブロック、実際には２つの別個のブロックのメッシュは、構成によって異なるトポロジを与えており、すなわち、それらは、異なる接続性を有する異なる三角形からなる。
【0041】
そのメッシュがキーフレームのメッシュに基づいて本明細書で上述のように定義され、２つの連続するキーフレーム間に位置するフレームは、「インターフレーム」と呼ばれる。
【0042】
図１Ｃは、フレームＦのブロックＦＢのセットを示し、フレームの各ブロックは、単一のキーフレームＫＦとインターフレームＩＦとからなる。
【0043】
文献「Ｈｉｇｈ－ｑｕａｌｉｔｙ ｓｔｒｅａｍａｂｌｅ ｆｒｅｅ－ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ」、ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈｉｃｓ（ＳＩＧＧＲＡＰＨ）、３４（４）（２０１５年）は、上述した周知の方法の概要を与える。
【0044】
ボリュメトリックデータは、２Ｄビデオの場合のようにピクセルに対応しないが、表面からなるメッシュによって定義され、表面自体は、頂点が座標系において既知の位置決めを有する三角形によって定義されることが分かる。
【0045】
本実施形態は、いわゆる「ブリッジ」要素の使用に基づいており、「ブリッジ」要素は、「ソースフレーム」と呼ばれる第１のフレームのメッシュの各頂点について、「対象フレーム」と呼ばれる第２のフレームのメッシュの表面上の近似位置を定義し、この近似位置は、対象フレームのメッシュに固有の基準フレームで表される。
【0046】
これらのブリッジは、メッシュを定義する点の時間追跡を実行し、３Ｄビデオシーケンスにフィルタを適用することを可能にする。
【0047】
所与のメッシュに固有の基準フレームは、構成要素の頂点の識別及び互いに対するそれらの頂点のそれぞれの接続性によって定義される。
【0048】
この定義の直接的な結果は、メッシュに特有の基準フレームが、このメッシュの表面の任意の点をその頂点の座標に容易に接続することを可能にすることである。特に、この固有の基準フレームによって定義された位置点がメッシュのファセット上に位置することを容易に保証することができる。
【0049】
そのような基準フレームを使用する例は、メッシュの点の位置を、この点が位置するファセットと、このファセットを定義する頂点に関連付けられた重心座標とによって定義することにあり、これらの重心座標は、ファセット上の点の位置を定義する。
【0050】
本発明で説明されるような各メッシュに固有の基準フレームの使用は、ビデオシーケンス内のこれらのメッシュによって定義された位置の追跡を、計算リソースの単純かつ効率的な使用で可能にする。
【0051】
ユークリッド基準フレーム（三次元空間を定義する３つの軸に沿った３つの座標によって位置を定義する）は、ビデオシーケンスのフレームのメッシュに固有の基準フレームとはみなされないことに留意されたい。ユークリッド基準フレームを定義する点は、フレームのメッシュによって定義されず、ユークリッド基準フレームは、全てのフレームについて同じであり、したがって、計算リソースの効率的な使用において、フレーム中にメッシュによって定義された位置を追跡することができない。
【0052】
完全な３Ｄビデオシーケンスでは、第１のフレーム、最後のフレーム、及びこれらの２つのフレームの間に含まれる中間フレームを用いて、図２Ａに示すように、３つのタイプのブリッジ、すなわち、空ブリッジ、デルタブリッジ、及びフィックスブリッジが定義される。
【0053】
図２Ａは、開始フレームＢＦで始まり、終了フレームＥＦで終わるフレームＦの完全なシーケンスを示し、フレームは、少なくとも１つのブロックＢＬ０と、上記で定義されたブロックＢＬ１とにグループ化され、ブロックＢＬ１は、ビデオシーケンスの方向においてブロックＢＬ０の直後にあり、ＢＬ０からＢＬ１への変化は、ブロック変化線ＢＣによって視覚化される。
【0054】
（ＢＬ０からＢＬ１への）ビデオストリームの方向において、ブロックＢＬ０の最後のフレームはフレームＦ０であり、ブロックＢＬ１の第１のフレームはフレームＦ１であり、フレームＦ１の直後のブロックＢＬ１の第２のフレームはフレームＦ２である。
【0055】
空ブリッジ
シーケンスの第１のフレーム及び最後のフレーム、それぞれＢＦ及びＥＦは、図２Ａに示されるように、それぞれ左フレーム及び右フレーム、すなわちシーケンスの外側に向かうフレームを有していない。
シーケンスの第１のフレーム及び最後のフレーム、それぞれＢＦ及びＥＦは、図２Ａに示されるように、それぞれ左フレーム及び右フレーム、すなわちシーケンスの外側に向かうフレームを有していない。
【0056】
これらの特定の場合において、本発明者らは、いわゆる空ブリッジを定義し、これは、図２Ａにおいて「空」によって識別される、フレームの不在による頂点の対応の不在を任意に示す。
【0057】
全般的な場合
図の他の場合について、予備的方法２００は、図２Ｂの（ａ）に示されるように、ソースフレームのメッシュの頂点の元の位置と、対象フレームのメッシュに固有の基準フレームにおいて表されたそれぞれの関連付けられた位置との間の関連付けのリストを定義するために実施され、ソースフレーム及び対象フレームを指定するステップ２０５によって開始し、ソースフレーム及び対象フレームが同じフレームブロック（Ｙ）に属するか、又は２つの別個のフレームブロック（Ｎ）に属するかを判定するテストステップＴが続く。
図の他の場合について、予備的方法２００は、図２Ｂの（ａ）に示されるように、ソースフレームのメッシュの頂点の元の位置と、対象フレームのメッシュに固有の基準フレームにおいて表されたそれぞれの関連付けられた位置との間の関連付けのリストを定義するために実施され、ソースフレーム及び対象フレームを指定するステップ２０５によって開始し、ソースフレーム及び対象フレームが同じフレームブロック（Ｙ）に属するか、又は２つの別個のフレームブロック（Ｎ）に属するかを判定するテストステップＴが続く。
【0058】
２つのフレームが同じフレームブロックに属する場合、これらの２つのフレームに関連付けられたブリッジは、ステップ２０５Ｄによって判定されたデルタブリッジであり、一方、ソースフレーム及び対象フレームが２つの異なるブロック（Ｎ）に属し、したがって、２つの異なるメッシュトポロジ及び２つの異なる固有の基準フレームに関連付けられる場合、これらの２つのフレームに関連付けられたブリッジは、ステップ２０５Ｆで判定されたフィックスブリッジである。
【0059】
デルタブリッジ
図２ＡのブロックＢＬ１のような所与のブロック内では、各フレームのメッシュは同じトポロジを有する、すなわち、同じ三角形から形成される。
図２ＡのブロックＢＬ１のような所与のブロック内では、各フレームのメッシュは同じトポロジを有する、すなわち、同じ三角形から形成される。
【0060】
したがって、図２Ａにおいて「デルタ」によって識別されたデルタブリッジによって、対象フレームの頂点がソースフレームの対応する頂点と同じ識別子を有することを示すだけで十分であるので、１つのフレームから別のフレームへの頂点の追跡は極めて単純である。
【0061】
この操作は、図２Ａに示される例におけるフレームＦ１とＦ２との間のように、フレームの所与の頂点と直接隣接するフレーム内の同じ頂点との間の同一性の表現に対応し、これはフレームの頂点の各々についてである。
【0062】
したがって、フレームＦ２内のフレームＦ１の頂点を追跡するブリッジＢＲ１２及びフレームＦ１内のフレームＦ２の頂点を追跡するブリッジＢＲ２１は、それぞれ｛Ｉｄ｝と書くことができ、ここで、Ｉｄは、頂点のそれぞれの識別子が２つのフレームＦ１及びＦ２について同一であることを示す恒等演算子を識別する。
【0063】
フィックスブリッジ
最も複雑な場合は、ソースフレームのメッシュと対象フレームのメッシュが異なるトポロジを有する場合、すなわち、それらが異なる数の三角形を含み、その接続も異なる場合である。
最も複雑な場合は、ソースフレームのメッシュと対象フレームのメッシュが異なるトポロジを有する場合、すなわち、それらが異なる数の三角形を含み、その接続も異なる場合である。
【0064】
この状況は、図２ＡのフレームＦ０からフレームＦ１への変化のような１つのブロックから他のブロックへの変化に対応する。
【0065】
これらの２つのフレーム間の位置の追跡は、図２Ａにおいて「フィックス」によって識別され、ステップ２０５Ｆのサブステップとみなすことができる方法２００のステップ２１０～２５０に従って計算されるフィックスブリッジによって保証される。
【0066】
実際に、フィックスブリッジは、ソースフレームのメッシュに固有の基準フレーム内の定義された位置から、対象フレームに固有の基準フレーム内の対応する位置に変更することを可能にする関連付けを定義し、したがって、シーンを表現するメッシュ内のトポロジが変更された場合であっても、時間内にシーンの点を追跡することを可能にする。
【0067】
ステップ２１０では、フレームＦ０の現在の頂点Ｖｉがソースフレームとして指定され、フレームＦ１が対象フレームとして指定され、これらのフレームは、それぞれのメッシュによって定義された図１Ｄのシルエット（ａ）及び（ｅ）によってそれぞれ例示され、（ｃ）は、これらのメッシュの重ね合わせを示す。
【0068】
対象フレームＦ１に固有の基準フレームにおいて、ソースフレームＦ０のメッシュの頂点Ｖｉが、例えば、シーンの人物の動き及び／又はその動きに対応する、示されるシーンの全体的な動きに従うように変形された場合に有するであろう位置ＰＶｉ’を表すことが求められる。
【0069】
ステップ２２０では、フレームＦ０の変形されたメッシュをフレームＦ１のメッシュに重ね合わせて作成する傾向があることによって、ソースフレームのメッシュを対象フレームのメッシュに近似するように変形する。
【0070】
図１Ｄは、（ｂ）において、対象フレーム（ｅ）のメッシュのものに近似するように変形されたソースフレーム（ａ）のメッシュを示す。
【0071】
加えて、図１Ｄは、（ｄ）において、（ｂ）のメッシュで変形された（ａ）のメッシュの重ね合わせを示す。
【0072】
メッシュの変形は、そのトポロジ、すなわちメッシュを構成する三角形の数及びそれらの接続性を保持するが、これらの三角形の頂点の空間における位置を修正する。
【0073】
このステップは、手動で実行することもできるが、Ｌｉｕらによる文献「Ａ ｌｏｃａｌ／ｇｌｏｂａｌ ａｐｐｒｏａｃｈ ｔｏ ｍｅｓｈ ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ」、Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｇｅｏｍｅｔｒｙ Ｐｒｏｃｅｓｓｉｎｇ ２００８、第２７巻（２００８年）、第５番に記載されているように、ＡＲＡＰ（Ａｓ Ｒｉｇｉｄ Ａｓ Ｐｏｓｓｉｂｌｅ）法、ＡＳＡＰ（Ａｓ Ｓｉｍｉｌａｒ Ａｓ Ｐｏｓｓｉｂｌｅ）、ＬＡＢＦ（Ｌｉｎｅａｒ Ａｎｇｌｅ Ｂａｓｅｄ Ｆｌａｔｔｅｎｉｎｇ）法、ＩＣ（Ｉｎｖｅｒｓｅ Ｃｕｒｖａｔｕｒｅ）法、又はＣＰ（Ｃｕｒｖａｔｕｒｅ Ｐｒｅｓｃｒｉｐｔｉｏｎ）法などの従来のマッチングアルゴリズムを適用することによって実行することが好ましい。
【0074】
ステップ２２０の終わりに、２つのメッシュは空間的に互いに非常に近接しているが、異なるトポロジ及び頂点を有する。
【0075】
フレームＦ０のメッシュの頂点Ｖｉと、フレームＦ１のメッシュを近似するためにフレームＦ０のメッシュの変形によって移動された頂点Ｖｉに対応する、変形されたメッシュの位置ＰＶｉｄｅｆとを考える。
【0076】
Ｖｉｄｅｆ位置は、概して、フレームＦ１のメッシュのファセット上に位置していない。
【0077】
ステップ２３０では、位置ＰＶｉｄｅｆについて、対象フレームのメッシュのファセット上の最も近い位置ＰＶｉ’が、従来の計算方法によって計算される。
【0078】
ステップ２４０では、位置ＰＶｉ’が位置するファセット、ここでは三角形Ｔｊは、図２Ｂの（ｂ）に示すように、従来の方法によって識別される。
【0079】
三角形Ｔｊは、フレームＦ１のメッシュの３つの頂点Ｖ０（Ｆ１）、Ｖ１（Ｆ１）、及びＶ２（Ｆ１）によって定義される。
【0080】
ステップ２５０では、三角形Ｔｊ内の位置ＰＶｉ’を表す重心座標Ｃ０、Ｃ１及びＣ２が従来の方法で計算され、これらの座標はそれぞれ頂点Ｖ０（Ｆ１）、Ｖ１（Ｆ１）及びＶ２（Ｆ１）に関連付けられる。
【0081】
そうすることで、位置ＰＶ’は、ソースフレームＦ０の頂点Ｖｉに関連付けられ、この位置は、対象フレームＦ１に固有の基準フレームで表され、この位置ＰＶｉ’は、フレームＦ０及びＦ１のメッシュによって定義されたボリュームの時間的移動を反映する。
【0082】
ソースフレームＦ０のメッシュの頂点の各々に対してステップ２１０～２５０を適用することによって、ブリッジＢＲ０１は、対象フレームＦ１のメッシュの三角形Ｔに対するソースフレームＦ０のメッシュの頂点Ｖの全てのそれぞれの関連付け、並びにこれらの三角形内の位置を特定する重心座標Ｃ０、Ｃ１、及びＣ２を集めて定義され、このブリッジは、頂点Ｖの位置の、フレームＦ０からフレームＦ１への経時的な進化を表現する。
【0083】
ブリッジＢＲ０１にリストされた関連付けの各々は、｛Ｔ，Ｃ０，Ｃ１，Ｃ２｝によって表すことができ、ブリッジは、例えば、これらの関連付けの各々を収集するテーブルの形態をとる。
【0084】
正規化された重心座標が使用され、その和が１である場合、ブリッジＢＲ０１の表現は、｛Ｔｊ，Ｃ０，Ｃ１｝に簡略化することができ、Ｃ２は、Ｃ０及びＣ１から推定される。
【0085】
また、両方の時間方向に追跡を行うためには、ブリッジＢＲ０１だけでなく、今度はフレームＦ１をソースフレーム、フレームＦ０を対象フレームとして割り当てることによって、ブリッジＢＲ１０を計算する必要がある。
【0086】
ブリッジＢＲ１０の計算は、ブリッジＢＲ０１を計算するステップ中に以前に計算された対象フレームＦ１に向かうソースフレームＦ０の変形を使用し、フレームＦ１のメッシュの頂点の各々について、フレームＦ０のメッシュのファセット上の最も近い位置ＰＶｉ’を定義することによって最適化することが可能である。
【0087】
しかしながら、本発明者らの経験では、結果は、ソースフレームＦ１の対象フレームＦ０への変形を通過し、ブリッジＢＲ０１を得るために上述の全ての計算モードを繰り返すことよりも満足できるものではない。
【0088】
上記で詳述したように各フレームに対して、デルタブリッジ、空ブリッジ又はフィックスブリッジを定義することによって、各フレームの各頂点の位置と隣接フレーム内の位置との間の関連付けが確立され、これらの関連付けは、経時的なシーンの要素の空間における進化を表現している。
【0089】
これらの関連付けに基づいて、３Ｄビデオシーケンス全体にわたるコンピューティングリソースの観点から、シーンの要素の点を単純かつ非常に効率的に追跡することが可能である。
【0090】
ブリッジの直接適用（ＶＴｒａｎｓｆｅｒ及びＰＴｒａｎｓｆｅｒ関数、組み合わせブリッジ）
３Ｄビデオシーケンスの各フレームについて上記で定義されたブリッジは、メッシュによってモデル化された１つ又は複数の要素の動きを追跡するように、シーケンス内の前又は後ろのソースフレームと呼ばれる第１のフレームのメッシュの表面上の任意の点の位置を追跡することを可能にする。
３Ｄビデオシーケンスの各フレームについて上記で定義されたブリッジは、メッシュによってモデル化された１つ又は複数の要素の動きを追跡するように、シーケンス内の前又は後ろのソースフレームと呼ばれる第１のフレームのメッシュの表面上の任意の点の位置を追跡することを可能にする。
【0091】
ソースフレームの位置を対象フレームの位置に関連付けることについて述べている。
【0092】
ＶＴｒａｎｓｆｅｒ
ブリッジの単純な適用は、位置ＰＶｉｎｔ’におけるソースフレームの関心のある頂点Ｖｉｎｔを対象フレームのメッシュの表面と関連付けることにある。
ブリッジの単純な適用は、位置ＰＶｉｎｔ’におけるソースフレームの関心のある頂点Ｖｉｎｔを対象フレームのメッシュの表面と関連付けることにある。
【0093】
ＰＶｉｎｔ’位置をＰＶｉｎｔ’＝ＶＴｒａｎｓｆｅｒ（Ｖｉｎｔ，ＢＲ）によって表すことが可能であり、ここで、ＶＴｒａｎｓｆｅｒは、上記で定義されたようなブリッジＢＲを使用することによって、ソースフレームの頂点Ｖｉｎｔにおける対象フレームのメッシュの表面上の位置を関連付ける関数である。
【0094】
２つのフレームが１つの同じブロックに属する場合、ＶＴｒａｎｓｆｅｒは、デルタブリッジによって、位置ＰＶｉｎｔ’を、Ｖｉｎｔと同じ識別子を有する対象フレームの先頭の位置として定義する。
【0095】
２つのフレームが２つの別個のブロックに属する場合、ＶＴｒａｎｓｆｅｒは、フィックスブリッジによって、対象フレームのメッシュの三角形Ｔ’上の位置ＰＶｉｎｔ’を（Ｖ０’＊Ｃ０＋Ｖ１’＊Ｃ１＋Ｖ２’＊Ｃ２）によって定義し、ここで、Ｖ０’、Ｖ１’及びＶ２’は、Ｖｉｎｔに対するフィックスブリッジによって示された三角形Ｔ’の頂点に対応し、Ｃ０、Ｃ１及びＣ２は、図３Ａに示されるように、このブリッジによって示される正規化された重心座標である。
【0096】
上記の表記において、Ｖｊ＊Ｃｊは、シーンに関連付けられた基準フレーム内の頂点Ｖｊの座標の各々に重心係数Ｃｊを乗算することに対応し、位置Ｖｉｎｔ’の座標の各々をもたらす。
【0097】
関数ＶＴｒａｎｓｆｅｒは、ソースフレームのメッシュを対象フレーム、実際には３Ｄビデオシーケンス内の２つの連続フレームに変換した後に、頂点に関連付けられた位置を判定することを可能にする。
【0098】
ＰＴｒａｎｓｆｅｒ
ＶＴｒａｎｓｆｅｒ関数によって定義されるようなブリッジのより全般的な適用は、図３Ｂの（ａ）に示されるように、対象フレームＦ１のメッシュＭ１によって定義された表面の三角形Ｔ’上に位置する位置Ｐ’における、ソースフレームＦ０のメッシュＭ０によって定義された表面に属する関心のある位置Ｐの関連付けである。
ＶＴｒａｎｓｆｅｒ関数によって定義されるようなブリッジのより全般的な適用は、図３Ｂの（ａ）に示されるように、対象フレームＦ１のメッシュＭ１によって定義された表面の三角形Ｔ’上に位置する位置Ｐ’における、ソースフレームＦ０のメッシュＭ０によって定義された表面に属する関心のある位置Ｐの関連付けである。
【0099】
ＶＴｒａｎｓｆｅｒとは異なり、Ｐｔｒａｎｓｆｅｒは、位置Ｐがメッシュの頂点の位置であることを必要としない。
【0100】
図３Ｂ及び図４Ａに示される方法４００によって、位置Ｐ’は、Ｐ’＝ＰＴｒａｎｓｆｅｒ（Ｐ ＢＲ０１）によって表され、ここで、ＰＴｒａｎｓｆｅｒは、上記で定義されたように、フレームＦ０とＦ１との間の追跡のためにブリッジＢＲ０１を適用することによって、ソースフレームのメッシュ表面の任意の位置Ｐにおける対象フレームのメッシュの表面上の位置を関連付ける関数である。
【0101】
方法４００のステップ４１０において、関心のある位置Ｐは、ソースフレームのメッシュ内にそれを含む三角形Ｔの重心座標Ｃ０、Ｃ１及びＣ２で表され、この三角形は、その３つの頂点Ｖ０、Ｖ１及びＶ２によって定義される。
【0102】
ステップ４２０において、対象フレームの位置ＰＶ０’、ＰＶ１’及びＰＶ２’が計算され、それぞれソースフレームの３つの頂点Ｖ０、Ｖ１及びＶ２に関連付けられ、上記で定義されたＶＴｒａｎｓｆｅｒ関数によって計算される：
ＰＶ０’＝ＶＴｒａｎｓｆｅｒ（Ｖ０，ＢＲ０１）
ＰＶ１’＝ＶＴｒａｎｓｆｅｒ（Ｖ１，ＢＲ０１）
ＰＶ２’＝ＶＴｒａｎｓｆｅｒ（Ｖ２，ＢＲ０１）。
ＰＶ０’＝ＶＴｒａｎｓｆｅｒ（Ｖ０，ＢＲ０１）
ＰＶ１’＝ＶＴｒａｎｓｆｅｒ（Ｖ１，ＢＲ０１）
ＰＶ２’＝ＶＴｒａｎｓｆｅｒ（Ｖ２，ＢＲ０１）。
【0103】
ステップ４３０では、頂点が３つの位置ＰＶ０’、ＰＶ１’、及びＰＶ２’によって位置する三角形内の位置Ｑの重心座標が、これらの３つの位置に、対象フレームＦ１内のＰに対応する位置Ｑを定義する位置Ｐの重心座標Ｃ０、Ｃ１、及びＣ２を適用することによって計算される：ＰＶ０’＊Ｃ０＋ＰＶ１’＊Ｃ１＋ＰＶ２’＊Ｃ２、図３Ｂの（ｂ）に示され、上で使用されたものと同じ表記を有する。
【0104】
位置Ｑは、概して、対象フレームＦ１のメッシュＭ１の表面上に位置しない。
【0105】
ステップ４４０では、方法２００のステップ２３０と同様に、図３Ｂの（ｃ）に示されるように、対象フレームＦ１のメッシュの表面上のＱに最も近く、所望の位置Ｐ’である位置が、位置ＰＶ１’、ＰＶ２’及びＰＶ３’によって定義された平面内に位置する点から見て判定される。
【0106】
ステップ４５０では、方法２００のステップ２４０と同様に、重心座標Ｃ０’、Ｃ１’及びＣ２’が計算され、それが位置するフレームＭ１の三角形Ｔ’内の位置Ｐ’を表している。
【0107】
そうすることで、ソースフレームＦ０の位置Ｐに関連付けられた位置Ｐ’は、対象フレームＦ１に固有の基準フレームにおいて表され、この位置は、メッシュによって定義されたボリューム全体の経時的な変位を考慮に入れる。
【0108】
ＰＴｒａｎｓｆｅｒ関数の適用は、フレームごとに繰り返されることができ、３Ｄビデオシーケンス全体におけるシーンの点又は要素の位置の追跡を可能にする。
【0109】
組み合わせブリッジ
所与の３Ｄビデオシーケンスでは、上で詳細に説明したように、２つの直接連続するフレームＦｐ及びＦｑ上で追跡を実行することが可能であるが、Ｆｐ及びＦｒなどの２つの非連続フレーム間でも追跡を実行することが可能であり、フレームＦｑはこれらの２つのフレーム間に挿入される。
所与の３Ｄビデオシーケンスでは、上で詳細に説明したように、２つの直接連続するフレームＦｐ及びＦｑ上で追跡を実行することが可能であるが、Ｆｐ及びＦｒなどの２つの非連続フレーム間でも追跡を実行することが可能であり、フレームＦｑはこれらの２つのフレーム間に挿入される。
【0110】
フレームＦｐとＦｑとの間、及びフレームＦｑとＦｒとの間の追跡をそれぞれ明確にするブリッジＢｐｑ及びＢｑｒが存在する場合、非連続フレームＦｐとＦｒとの間の追跡を可能にするブリッジＢｐｒを得るために、以下に述べる規則に従ってこれらのブリッジ間の組み合わせを実施することが可能である。
【0111】
空ブリッジを任意のデルタブリッジ又はフィックスブリッジと組み合わせると、空ブリッジが得られる。
【0112】
デルタブリッジをデルタブリッジと組み合わせると、デルタブリッジが得られる。
【0113】
デルタブリッジをフィックスブリッジと組み合わせると、この同じフィックスブリッジが得られる。
【0114】
上述の３つの組み合わせ規則は、代数的な意味で可換であり、すなわち、この順序でのブリッジＢａとブリッジＢｂとの組み合わせは、この順序でのブリッジＢｂとブリッジＢａとの組み合わせと厳密に等価である。
【0115】
２つのブリッジがフィックスブリッジである場合に上記で定義されたようなブリッジＢＲｐｑ及びＢＲｑｒのこの順序での組み合わせ、すなわちＢＲｐｑ＊ＢＲｑｒは、以下で計算されるようなブリッジＢｐｒを与え、この規則は可換ではない。
【0116】
対象フレームＦｒに固有の基準フレームにおいて、ソースフレームＦｐのメッシュの頂点Ｖが、フレームのメッシュセルによって表現されたシーンの全体的な動きに追従するように移動された場合に有するであろう位置を表すことが求められる。
【0117】
この目的のために、上述の関数ＶＴｒａｎｓｆｅｒ（Ｖ，ＢＲｐｑ）は、フレームＦｑのメッシュの表面上の位置Ｖ’を得るために、フレームＦｐのメッシュのこの頂点Ｖに適用され、次いで、上述の関数ＰＴｒａｎｓｆｅｒ（Ｖ’，ＢＲｑｒ）は、図４Ｂに示されるように、表面上の位置Ｖ’‘を得るために、この位置Ｖ’に適用される。
【0118】
この操作をフレームＦｐのメッシュの各頂点で繰り返すことにより、ブリッジＢＲｐｒをブリッジＢＲｐｑ及びＢＲｑｒの一部として構成することができる。
【0119】
ブリッジの組み合わせのある適用は、毎秒６０フレームのシーケンスを毎秒３０フレーム（又はｆｐｓ）に変更することであり、これは、１つおきのフレームが除去される操作である。
【0120】
この場合、３０ｆｐｓでのシーケンスのためのブリッジの新しいセットの計算は、６０ｆｐｓシーケンスのために既に計算されたブリッジから容易に行われる：３つの連続するフレーム（ＢＲｐｑ及びＢＲｑｒ）にわたる追跡のために計算された２つのブリッジから、単一のブリッジ（ＢＲｐｒ）が、第１のフレームと第３のフレームとの間の追跡のために計算され、中間のフレームは、上で説明された組み合わせ手順に正確に従って除去される。
【0121】
上述のブリッジ組み合わせ演算子は結果として新しいブリッジを与え、この演算子は連想的であるので、例えば、並列加算又は別の同様のアプローチなどの事前計算に基づく既知のアプローチのおかげで、シーケンス全体にわたる１つ又はいくつかの点の追跡を最適化することが可能である。
【0122】
また、必要なブリッジが計算されると、上述したような最適化アプローチに従うことによって、必要な計算のほとんどが既に実行されている点をリアルタイムで追跡することが可能であることも理解される。
【0123】
固有の適用
概して、３Ｄビデオシーケンス内のメッシュの表面上の点の位置の追跡を必要とする任意のアプリケーションは、上記で詳述したブリッジ及び関数から利益を得ることができる。
概して、３Ｄビデオシーケンス内のメッシュの表面上の点の位置の追跡を必要とする任意のアプリケーションは、上記で詳述したブリッジ及び関数から利益を得ることができる。
【0124】
これは、例えば、このシーケンスの他のフレームに適用されるように意図されたシーケンスのフレームの任意のグラフィック処理の場合である。
【0125】
追跡アプリケーションの第１の例は、オーディオ追跡の例であり、ここでは、シーン内で動いている間に話をしている俳優の場合のように、３Ｄビデオシーンにおけるオーディオソースの３Ｄ位置を経時的に関連付けることが求められる。
【0126】
仮想現実アプリケーションのコンテキストでは、このオーディオソースがコヒーレントに空間に配置され、俳優の動きに追従することが重要である。
【0127】
この例では、オペレータがフレームを選択し、その中でオーディオソースの位置を俳優の口で、手動で定義し、次いで、この手動で定義された位置からフレームごとにＰＴｒａｎｓｆｅｒ関数を再帰的に適用することによって、この位置の経時的な追跡が自動的に実行される。
【0128】
より具体的には、所与の瞬間におけるシーンを表現するそれぞれのメッシュにそれぞれ関連付けられた連続フレームのシーケンスを含む、３Ｄビデオシーン（又は三次元ボリュメトリックシーン）を表現するデータが、データ記憶及び処理システム１４０に記憶される。
【0129】
図５の略図５００に示される追跡方法は、データ記憶及び処理システム１４０によって実施され、データ記憶システム（１４０）内のデータにアクセスするステップ５１０と、人間オペレータによって、連続フレームのシーケンスにおいて、第１のメッシュに関連付けられた第１のフレームを指定するステップ５２０とを含む。
【0130】
この第１のフレームにおいて、人間のオペレータは、第１のメッシュにおいて、指定するステップ５３０の間に、シーンの俳優の口に対応する第１の位置を指定する。
【0131】
ステップ５４０では、システム１４０は、次の操作の計算も実行するデータ記憶及び処理システム１４０によって実行された従来の計算手段によって、第１の位置が位置する第１のメッシュの第１のファセットを判定する。
【0132】
第１の位置は、第１のファセットの頂点によって形成された基準フレーム内の重心座標で表すことができる。
【0133】
追跡方法の開始に先立って、各フレームの各頂点の位置と隣接フレーム内の位置との間の関連付けのリストが定義され、これらの関連付けは、経時的なシーンの要素の空間における進化を表現し、これらの関連付けは、上記で定義されたブリッジによって形成することができ、データ記憶及び処理システム１４０内に記憶される。
【0134】
ステップ５５０では、特に、第１のファセットの頂点の位置と、シーケンスの第２のフレームの第２のメッシュに固有の基準フレームにおいて表されるそれぞれの関連付けられた位置との間の関連付けを示す、事前に確立された関連付けのこのリストがアクセスされる。
【0135】
それぞれの関連付けられた位置から、ステップ５６０では、第２のメッシュ内に位置する位置が判定され、これは、第１のメッシュにおいて指定された位置に関連付けられ、それが属する第２のメッシュのファセットの重心座標によって表すことができる。
【0136】
オーディオ追跡の特定の場合では、音源は、ステップ５７０において、第１のメッシュの位置に関連付けられた第２のメッシュにおける位置に更に関連付けられる。
【0137】
２つのステップ５５０及び５６０は、例えば、上で定義されたＰｔｒａｎｓｆｅｒ関数によって実施され得る。
【0138】
第１の位置の代わりに前の反復のステップ５６０で判定された位置から各反復について開始して、ステップ５４０～５７０をフレームごとに繰り返すことによって、人間オペレータによって手動で定義された位置を自動的に追跡し、それを音源の３Ｄ位置に関連付けるステップ５８０を実行することができる。
【0139】
第１のフレームは、ビデオシーケンスの始め、間、又は終わりに任意に選択することができ、第２のフレームは、第１のフレームの前又は後の時間に位置することができ、事前に確立された関連付けは、考慮されるフレームの順序とは無関係に位置を関連付けることを可能にすることに留意されたい。
【0140】
更に、第１のフレーム及び第２のフレームは、連続的か又は不連続的であってもよく、すなわち、１つ以上の他のフレームによって分離されていてもよく、各フレームの各頂点の位置と隣接フレーム内の位置との間の関連付けにより、例えば、上述したブリッジの組み合わせによって、不連続フレーム間の関連付けを確立することが可能になる。
【0141】
第２の適用例は、幾何学的防振フィルタであり、シーンの点の位置が、上述したような所与のシーケンスで追従され、次いで比較され、フレームのメッシュが、この点からの振動を除去又は低減するように平均化された位置の周りで調整される。
【0142】
第１の例とは異なり、画像内の点を指定するステップ５３０は自動化され、例えば、所与のフレームのメッシュの頂点のセットを連続的に指定するように構成することができるデータ記憶及び処理システム１４０によってサポートされる。
【0143】
もちろん、本明細書で開示される実施形態の適用は、上記で引用された例に限定されず、当業者は、空間内及び経時的なシーンの点の追跡を伴う３Ｄビデオシーケンスの任意の処理が、本発明から利益を得ることができることを直ちに理解するであろう。
【0144】
本発明による方法の説明を簡潔にするために、使用される例は、フレームＦ０、Ｆ１、及びＦ２などの連続フレームのシーケンスを処理するが、本発明は、特にブリッジの定義中に、連続フレームに限定されず、ビデオシーケンス内の１つ以上の他のフレームの２つの別個のフレーム間のブリッジの定義に及ぶ。
【0145】
本発明は、上記に開示された実施形態に制限されず、本発明の範囲から逸脱することなく修正され得ることは言うまでもない。
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【手続補正書】
【提出日】2023-12-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
三次元ボリュメトリックシーンを表現し、三次元シーン（１２５）のビデオグラメトリキャプチャから導出されたものであり、かつファセットからなり、特定の時間における前記三次元シーンのボリュメトリックデータを表現するそれぞれのメッシュに各々関連付けられているフレーム（Ｆ０、Ｆ１、Ｆ２）を有する３Ｄビデオシーケンスを含むデータをデジタル処理するための方法（５００）であって、前記方法は、コンピュータによって実施され、－データ記憶及び処理システム（１４０）において、三次元ボリュメトリックシーン（１２５）を表現する前記データにアクセスするステップ（５１０）と、
－前記フレームのシーケンスにおいて、前記それぞれのメッシュの第１のメッシュ（Ｍ０）に関連付けられた第１のフレームを指定するステップ（５２０）と、
－前記第１のメッシュ（Ｍ０）内の第１の位置（Ｐ）を指定するステップ（５３０）と、を含み、
前記方法は、
－前記第１の位置が位置する前記第１のメッシュ（Ｍ０）の第１のファセット（Ｔ）を判定するステップ（５４０）と、
－前記システム（１４０）において、前記第１のファセット（Ｔ）の頂点（Ｖ０、Ｖ１、Ｖ２）の元の位置と、前記フレームのシーケンスの第２のフレームの第２のメッシュ（Ｍ１）に固有の基準フレームにおいて表されたそれぞれの関連付けられた位置（ＰＶ０’、ＰＶ１’、ＰＶ２’）との間の事前に確立された関連付け（フィックス）のリストにアクセスするステップ（５５０）であって、これらの関連付けは、経時的な前記三次元ボリュメトリックシーンの進化を表現し、前記第１のメッシュ（Ｍ０）及び前記第２のメッシュ（Ｍ１）は、異なるトポロジを有する、アクセスするステップ（５５０）と、
－前記それぞれの関連付けられた位置から、前記第１のメッシュ内の指定された前記位置に関連付けられた前記第２のメッシュ（Ｍ１）内に位置する位置（Ｐ’）を判定するステップ（５６０）と、を更に含むことを特徴とする、方法。
【請求項2】
前記それぞれの関連付けられた位置の各々は、それが位置する前記第２のメッシュの所属ファセットと、この所属ファセットに関連付けられた重心座標とによって定義される、請求項１に記載の方法。
【請求項3】
前記第１のフレーム及び前記第２のフレームは、２つの連続するフレームである、請求項１に記載の方法。
【請求項4】
前記第２のメッシュ内に位置する前記位置に音源の位置を関連付けるステップ（５７０）を更に含む、請求項１に記載の方法。
【請求項5】
前記フレーム（Ｆ０、Ｆ１、Ｆ２）は、異なるトポロジを有するフレーム（Ｆ）の少なくとも２つのブロック（ＢＬ０、ＢＬ１）に属し、前記リストは、各フレームの各頂点の位置と隣接フレーム内の位置との間の事前に確立された関連付けを含み、これらの関連付けは、経時的な前記三次元ボリュメトリックシーンの要素の空間における進化を表現し、考慮される２つのフレーム（Ｆ１、Ｆ２）がフレームの同じブロック（ＢＬ１）に属するとき、前記事前に確立された関連付けは、恒等演算子（デルタ）によって定義される、請求項１に記載の方法。
【請求項6】
前記第１のファセット（Ｔ）の前記頂点（Ｖ０、Ｖ１、Ｖ２）の前記元の位置と、第２のメッシュに固有の前記基準フレームにおいて表された前記それぞれの関連付けられた位置（ＰＶ０’、ＰＶ１’、ＰＶ２’）との間の前記事前に確立された関連付け（フィックス）のリストを生成する予備ステップを更に含み、前記予備ステップは、－前記第１のメッシュ（Ｍ０）の現在の頂点（Ｖｉ）を指定するステップ（２１０）と、
－前記第２のメッシュ（Ｍ１）を近似するように前記第１のメッシュ（Ｍ０）を変形させるステップ（２２０）と、
－前記現在の頂点（Ｖｉ）に対応する、変形された前記第１のメッシュの位置（ＰＶｉｄｅｆ）について、前記第２のメッシュのファセット（Ｔｊ）に最も近い近似位置（ＰＶｉ’）を計算するステップ（２３０）と、
－前記近似位置（ＰＶｉ’）が位置する前記ファセットを識別するステップ（２４０）と、
－前記第２のメッシュ（Ｍ１）に固有の前記基準フレーム内の前記近似位置（ＰＶｉ’）を定義する重心座標（Ｃ０、Ｃ１、Ｃ２）を計算するステップ（２５０）と、を含む、請求項１に記載の方法。
【請求項7】
請求項１～６のいずれか一項に記載の方法のステップを実施するための手段を備えるデータ処理システム。
【請求項8】
命令を含むコンピュータプログラムであって、前記命令は、前記プログラムがコンピュータによって実行されると、前記コンピュータが請求項１～６のいずれか一項に記載の方法のステップを実施することを可能にする、コンピュータプログラム。
【請求項9】
命令を含むコンピュータ可読媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータが請求項１～６のいずれか一項に記載の方法のステップを実施することを可能にする、コンピュータ可読媒体。
【国際調査報告】