特表 2023-538998 ボリューメトリック・ビデオ内においてメッシュ・シーケンスを融合する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-13

(54)【発明の名称】ボリューメトリック・ビデオ内においてメッシュ・シーケンスを融合する方法

(51)【国際特許分類】

   G06T 13/20 20110101AFI20230906BHJP

   G06T 7/38 20170101ALI20230906BHJP

【ＦＩ】

G06T13/20

G06T7/38

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022580822

(86)(22)【出願日】2021-12-14

(85)【翻訳文提出日】2023-02-10

(86)【国際出願番号】 IL2021051486

(87)【国際公開番号】W WO2022130379

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/125,416

(32)【優先日】2020-12-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522382624

【氏名又は名称】ユーム．コム リミテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(72)【発明者】

【氏名】カガルリツキー，セフィ

(72)【発明者】

【氏名】ケイナン，シャーリー

(72)【発明者】

【氏名】グリーン，アミール

(72)【発明者】

【氏名】バルーク，ヤイル

(72)【発明者】

【氏名】レブ，ロイ

(72)【発明者】

【氏名】バーンボイム，マイケル

(72)【発明者】

【氏名】タミール，マイケル

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA09

5B050EA26

5B050FA05

5L096AA09

5L096CA04

5L096DA05

5L096EA35

5L096JA03

(57)【要約】

連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにするコンピュータ実装方法は、（ａ）融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップと、（b）融合して間に入れる候補となるメッシュ・フレームｇｎおよびｇｍを選択するステップと、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する候補フレームｇｎおよびｇｍの幾何学的剛体および／または非剛体変換を計算するステップと、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する候補フレームｇｎおよびｇｍに、計算した幾何学的剛体および／または非剛体変換を適用するステップと、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇｎおよびｇｍのテクスチャ変換を計算するステップと、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇｎおよびｇｍに、計算したテクスチャ変換を適用するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにするコンピュータ実装方法であって、
a．融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップであって、前記第１メッシュ・シーケンスが、前記融合シーケンス内において、前記第２メッシュ・シーケンスの前に位置する、ステップと、
b．融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記第１メッシュ・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記第２メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、
ｃ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、
ｄ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算した幾何学的剛体および／または非剛体変換を適用するステップと、
ｅ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、
ｆ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算したテクスチャ変換を適用するステップと、
を含む、方法。

【請求項2】

請求項１記載の方法において、候補メッシュ・フレームｇ_ｎおよびｇ_ｍを選択する前記ステップが、それぞれ、前記メッシュ・フレームｇ_ｎおよびｇ_ｍを包囲するメッシュ・フレームｇ_ｎ±ｉまたはｇ_ｍ±ｊによって形成されたグループ｛Ｎｇ_ｎ｝および｛Ｎｇ_ｍ｝を選択するサブステップを含み、ｍおよびｎが画像フレームの数であり、ｉおよびｊが０でない整数である、方法。

【請求項3】

請求項２記載の方法において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、前記グループ｛Ｎｇ_ｎ｝または｛Ｎｇ_ｍ｝間に最小距離を与える剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するサブステップを含む、方法。

【請求項4】

請求項３記載の方法において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、更に、非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するステップを含む、方法。

【請求項5】

請求項３または４記載の方法において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、計算した前記剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および前記非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、前記第１および／または第２メッシュ・シーケンス｛１｝および｛２｝に属する１組の連続フレーム間で分割するサブステップを含む、方法。

【請求項6】

請求項１記載の方法において、幾何学的剛体および／または非剛体変換を候補フレームｇ_ｎおよびｇ_ｍに適用する前記ステップが、分割したｒｔ（ｇ_ｎｍ，ｇ_ｍｍ） および ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を対応するフレームに適用するステップを含む、方法。

【請求項7】

請求項１記載の方法において、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を適用するステップが、フレームｇ_ｎ～ｇ_ｎ＋ｋおよび／または ｇ_ｍ～ｇ_ｍ＋ｋのテクスチャを、非剛体変換 ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）によって変換されたテクスチャとアルファ・ブレンドし、重みが範囲［０，ｋ］の範囲であるパラメータｐに依存する、ステップを含む、方法。

【請求項8】

請求項１記載の方法において、前記第１および第２メッシュ・シーケンスの内少なくとも１つが、キャプチャしたビデオをリギングするステップによって得られる、方法。

【請求項9】

請求項８記載の方法において、前記非剛体変換を計算する前記ステップが、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づく、方法。

【請求項10】

請求項８記載の方法において、前記非剛体変換を計算する前記ステップが、更に、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づいて初期推定を計算し、前記初期推定に基づいて、最終的な非剛体変換を計算するステップを含む、方法。

【請求項11】

請求項１記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが、完全に１回のテークに属するクリップにおける異なる時点から取り込まれる、方法。

【請求項12】

請求項１記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが同一であり、前記第１および第２メッシュ・フレーム・シーケンスが互いに繋がれてループ状になるように、前記第２メッシュ・フレーム・シーケンスの終了部分が、前記第１メッシュ・フレーム・シーケンスの開始部分と融合される、方法。

【請求項13】

請求項１記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが異なるテークに属する、方法。

【請求項14】

連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにするコンピュータ実装システムであって、
a ．プロセッサと、
b ．命令を格納したメモリと、
を備え、前記命令が前記プロセッサによって実行されると、前記プロセッサに、
ｉ．融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップであって、前記第１メッシュ・シーケンスが、前記融合シーケンス内において、前記第２メッシュ・シーケンスの前に位置する、ステップと、
ｉｉ．融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記第１メッシュ・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記第２メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、
ｉｉｉ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、
ｉｖ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算した幾何学的剛体および／または非剛体変換を適用するステップと、
ｖ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、
ｖｉ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算したテクスチャ変換を適用するステップと、
を実行するように指令する、コンピュータ実装システム。

【請求項15】

請求項１３記載のシステムにおいて、候補メッシュ・フレームｇ_ｎおよびｇ_ｍを選択する前記ステップが、それぞれ、前記メッシュ・フレームｇ_ｎおよびｇ_ｍを包囲するメッシュ・フレームｇ_ｎ±ｉまたはｇ_ｍ±ｊによって形成されたグループ｛Ｎｇ_ｎ｝および｛Ｎｇ_ｍ｝を選択するサブステップを含み、ｍおよびｎが画像フレームの数であり、ｉおよびｊが０でない整数である、システム。

【請求項16】

請求項１４記載のシステムにおいて、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、前記グループ｛Ｎｇ_ｎ｝または｛Ｎｇ_ｍ｝間に最小距離を与える剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するサブステップを含む、システム。

【請求項17】

請求項１５記載のシステムにおいて、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、更に、非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するステップを含む、システム。

【請求項18】

請求項１５または１６記載のシステムにおいて、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、計算した前記剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および前記非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、前記第１および／または第２メッシュ・シーケンス｛１｝および｛２｝に属する１組の連続フレーム間で分割するサブステップを含む、システム。

【請求項19】

請求項１３記載のシステムにおいて、幾何学的剛体および／または非剛体変換を候補フレームｇ_ｎおよびｇ_ｍに適用する前記ステップが、分割したｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を対応するフレームに適用するステップを含む、システム。

【請求項20】

請求項１４記載のシステムにおいて、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を適用するステップが、フレームｇ_ｎ～ｇ_ｎ＋ｋおよび／またはｇ_ｍ～ｇ_ｍ＋ｋのテクスチャを、非剛体変換 ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）によって変換されたテクスチャとアルファ・ブレンドし、重みが範囲［０，ｋ］の範囲であるパラメータｐに依存する、ステップを含む、システム。

【請求項21】

請求項１４記載のシステムにおいて、前記第１および第２メッシュ・シーケンスの内少なくとも１つが、キャプチャしたビデオをリギングするステップによって得られる、システム。

【請求項22】

請求項２１記載のシステムにおいて、前記非剛体変換を計算する前記ステップが、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づく、システム。

【請求項23】

請求項２１記載のシステムにおいて、前記非剛体変換を計算する前記ステップが、更に、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づいて初期推定を計算し、最終的な非剛体変換を計算するステップを含む、システム。

【請求項24】

請求項１４記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが、完全に１回のテークに属するクリップにおける異なる時点から取り込まれる、方法。

【請求項25】

請求項１４記載のシステムにおいて、前記第１および第２メッシュ・フレーム・シーケンスが同一であり、前記第１および第２メッシュ・フレーム・シーケンスが互いに繋がれてループ状になるように、前記第２メッシュ・フレーム・シーケンスの終了部分が、前記第１メッシュ・フレーム・シーケンスの開始部分と融合される、システム。

【請求項26】

請求項１４記載のシステムにおいて、前記第１および第２メッシュ・フレーム・シーケンスが異なるテークに属する、システム。

【請求項27】

連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにする方法を実行するための、プロセッサへの命令を備える非一時的コンピュータ読み取り可能媒体であって、前記命令が、
ａ．融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップであって、前記第１メッシュ・シーケンスが、前記融合シーケンス内において、前記第２メッシュ・シーケンスの前に位置する、ステップと、
ｂ．融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記第１メッシュ・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記第２メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、
ｃ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、
ｄ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、幾何学的剛体および／または非剛体変換を適用するステップと、
ｅ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、
ｆ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、テクスチャ変換を適用するステップと、
を含む、非一時的コンピュータ読み取り可能媒体。

【請求項28】

請求項２７記載の非一時的コンピュータ読み取り可能媒体において、候補メッシュ・フレームｇ_ｎおよびｇ_ｍを選択する前記ステップが、それぞれ、前記メッシュ・フレームｇ_ｎおよびｇ_ｍを包囲するメッシュ・フレームｇ_ｎ±ｉまたはｇ_ｍ±ｊによって形成されたグループ｛Ｎｇ_ｎ｝および｛Ｎｇ_ｍ｝を選択するサブステップを含み、ｍおよびｎが画像フレームの数であり、ｉおよびｊが０でない整数である、非一時的コンピュータ読み取り可能媒体。

【請求項29】

請求項２８記載の非一時的コンピュータ読み取り可能媒体において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、前記グループ｛Ｎｇ_ｎ｝または｛Ｎｇ_ｍ｝間に最小距離を与える剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するサブステップを含む、非一時的コンピュータ読み取り可能媒体。

【請求項30】

請求項２９記載の非一時的コンピュータ読み取り可能媒体において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、更に、非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、前記第１および／または第２メッシュ・シーケンス｛１｝および｛２｝に属する１組の連続フレーム間で、計算するステップを含む、非一時的コンピュータ読み取り可能媒体。

【請求項31】

請求項２９または３０記載の非一時的コンピュータ読み取り可能媒体において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、計算した前記剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および前記非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、分割するサブステップを含む、非一時的コンピュータ読み取り可能媒体。

【請求項32】

請求項２７記載の非一時的コンピュータ読み取り可能媒体において、幾何学的剛体および／または非剛体変換を候補フレームｇ_ｎおよびｇ_ｍに適用する前記ステップが、分割したｒｔ（ｇ_ｎｍ，ｇ_ｍｍ） および ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を対応するフレームに適用するステップを含む、非一時的コンピュータ読み取り可能媒体。

【請求項33】

請求項２７記載の非一時的コンピュータ読み取り可能媒体において、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を適用するステップが、フレームｇ_ｎ～ｇ_ｎ＋ｋおよび／または ｇ_ｍ～ｇ_ｍ＋ｋのテクスチャを、非剛体変換 ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）によって変換されたテクスチャとアルファ・ブレンドし、重みが範囲［０，ｋ］の範囲であるパラメータｐに依存する、ステップを含む、非一時的コンピュータ読み取り可能媒体。

【請求項34】

請求項２７記載の非一時的コンピュータ読み取り可能媒体において、前記第１および第２メッシュ・シーケンスの内少なくとも１つが、キャプチャしたビデオをリギングするステップによって得られる、非一時的コンピュータ読み取り可能媒体。

【請求項35】

請求項３４記載の非一時的コンピュータ読み取り可能媒体において、前記非剛体変換を計算する前記ステップが、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づく、非一時的コンピュータ読み取り可能媒体。

【請求項36】

請求項３４記載の非一時的コンピュータ読み取り可能媒体において、前記非剛体変換を計算する前記ステップが、更に、前記キャプチャしたビデオに基づいて初期推定を計算し、前記初期推定に基づいて、最終的な非剛体変換を計算するステップを含む、非一時的コンピュータ読み取り可能媒体。

【請求項37】

請求項２７記載の非一時的コンピュータ読み取り可能媒体において、前記第１および第２メッシュ・フレーム・シーケンスが、完全に１回のテークに属するクリップにおける異なる時点から取り込まれる、非一時的コンピュータ読み取り可能媒体。

【請求項38】

請求項２７記載の非一時的コンピュータ読み取り可能媒体において、前記第１および第２メッシュ・フレーム・シーケンスが同一であり、前記第１および第２メッシュ・フレーム・シーケンスが互いに繋がれてループ状になるように、前記第２メッシュ・フレーム・シーケンスの終了部分が、前記第１メッシュ・フレーム・シーケンスの開始部分と融合される、非一時的コンピュータ読み取り可能媒体。

【請求項39】

請求項２７記載の非一時的コンピュータ読み取り可能媒体において、前記第１および第２メッシュ・フレーム・シーケンスが異なるテークに属する、非一時的コンピュータ読み取り可能媒体。

【請求項40】

切断されたメッシュ・フレーム・シーケンスを連続的にレンダリングするときに、前記シーケンス間の遷移を滑らかにするコンピュータ実装方法であって、
ａ．繋げてループ状にしようとするメッシュ・シーケンスを供給するステップと、
ｂ．融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記メッシュ・シーケンスの終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、
ｃ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、
ｄ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、幾何学的剛体および／または非剛体変換を適用するステップと、
ｅ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、
ｆ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、テクスチャ変換を適用するステップと、
を含む、コンピュータ実装方法。

【請求項41】

請求項４０記載の方法において、候補メッシュ・フレームｇ_ｎおよびｇ_ｍを選択する前記ステップが、それぞれ、前記メッシュ・フレームｇ_ｎおよびｇ_ｍを包囲するメッシュ・フレームｇ_ｎ±ｉまたはｇ_ｍ±ｊによって形成されたグループ｛Ｎｇ_ｎ｝および｛Ｎｇ_ｍ｝を選択するサブステップを含み、ｍおよびｎが画像フレームの数であり、ｉおよびｊが０でない整数である、方法。

【請求項42】

請求項４１記載の方法において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、前記グループ｛Ｎｇ_ｎ｝または｛Ｎｇ_ｍ｝間に最小距離を与える剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するサブステップを含む、方法。

【請求項43】

請求項４２記載の方法において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、更に、非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、前記第１および／または第２メッシュ・シーケンス｛１｝および｛２｝に属する１組の連続フレーム間で計算するステップを含む、方法。

【請求項44】

請求項４２または４３記載の方法において、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算する前記ステップが、計算した前記剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および前記非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、分割するサブステップを含む、方法。

【請求項45】

請求項４０記載の方法において、幾何学的剛体および／または非剛体変換を候補フレームｇ_ｎおよびｇ_ｍに適用する前記ステップが、分割したｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を対応するフレームに適用するステップを含む、方法。

【請求項46】

請求項４５記載の方法において、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を適用するステップが、フレームｇ_ｎ～ｇ_ｎ＋ｋおよび／または ｇ_ｍ～ｇ_ｍ＋ｋのテクスチャを、非剛体変換 ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）によって変換されたテクスチャとアルファ・ブレンドし、重みが範囲［０，ｋ］の範囲であるパラメータｐに依存する、ステップを含む、方法。

【請求項47】

請求項４０記載の方法において、前記第１および第２メッシュ・シーケンスの内少なくとも１つが、キャプチャしたビデオをリギングするステップによって得られる、方法。

【請求項48】

請求項４７記載の方法において、前記非剛体変換を計算する前記ステップが、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づく、方法。

【請求項49】

請求項４７記載の方法において、前記非剛体変換を計算する前記ステップが、更に、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づいて初期推定を計算し、前記初期推定に基づいて、最終的な非剛体変換を計算するステップを含む、方法。

【請求項50】

請求項４０記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが、完全に１回のテークに属するクリップにおける異なる時点から取り込まれる、方法。

【請求項51】

請求項４０記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが同一であり、前記第１および第２メッシュ・フレーム・シーケンスが互いに繋がれてループ状になるように、前記第２メッシュ・フレーム・シーケンスの終了部分が、前記第１メッシュ・フレーム・シーケンスの開始部分と融合される、方法。

【請求項52】

請求項４０記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが異なるテークに属する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ボリューメトリック・ビデオの処理に関し、更に特定すれば、ボリューメトリック・クリップの融合(fusing)に関する。

【従来技術】

【0002】

スキャンしたポイント・クラウドからの変形オブジェクトの空間－時間形状再現は、コンピュータ・グラフィクスおよびジオメトリ処理において近年熱心に研究されている問題である。必須の、そして特に意欲をそそる副問題は、キャプチャされた形状の全ての時間フレームにわたる時間－空間位置合わせである。

【0003】

米国特許第８，３８４，７１４号は、フィギュア(figure)をこのフィギュアの画像と相関付けた立体空間(volumetric)表現について開示する。このフィギュアの２つの時間的に異なる(distinct)画像の各々に共通な基準点を発見する。基準点は、２つの画像間におけるフィギュアの移動を表す。基準点およびフィギュアの立体空間表現の相関の関数として、立体空間変形(volumetric deformation)をフィギュアのデジタル表現に適用する。粗雑／立体空間変形の関数として、精細変形を適応する。適用した変形に応答して、フィギュアの更新デジタル表現を生成する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

２つのメッシュ・シーケンスを融合するとき、直前のメッシュ・フレーム・シーケンスの最後のビデオ・フレームに属するメッシュ・フレームを、次に続くメッシュ・フレーム・シーケンスの最初のメッシュ・フレームに属するメッシュ・フレームに変換し(transform)なければならない。したがって、融合しようとするメッシュ・フレーム・シーケンス間の遷移を和らげる(soften)ことを対象とする、メッシュ・シーケンス融合方法を提供することは、長い間求められて(long-felt)いたが満たされていない要望である。

【課題を解決するための手段】

【0005】

したがって、本発明の目的の１つは、連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにするコンピュータ実装方法を開示することである。前述の方法は、（ａ）融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップであって、前記第１メッシュ・シーケンスが、前記融合シーケンス内において、前記第２メッシュ・シーケンスの前に位置する、ステップと、（ｂ）融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記第１メッシュ・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記第２メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、（ｃ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、（ｄ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算した幾何学的剛体および／または非剛体変換を適用するステップと、（ｅ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、（ｆ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算したテクスチャ変換を適用するステップとを含む。

【0006】

本発明の他の目的は、候補メッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記メッシュ・フレームｇ_ｎおよびｇ_ｍを包囲するメッシュ・フレームｇ_ｎ±ｉまたはｇ_ｍ±ｊによって、それぞれ、形成されたグループ｛Ｎｇ_ｎ｝および｛Ｎｇ_ｍ｝を選択するサブステップを含む、ステップを提供することであり、ｍおよびｎが画像フレームの数であり、ｉおよびｊが０でない整数である。

【0007】

本発明の更に他の目的は、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップであって、前記グループ｛Ｎｇ_ｎ｝または｛Ｎｇ_ｍ｝間に最小距離を与える剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するサブステップを含む、ステップを提供することである。

【0008】

本発明の更に他の目的は、更に、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップであって、非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するサブステップを含む、ステップを提供することである。

【0009】

本発明の更に他の目的は、候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップであって、計算した前記剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および前記非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、前記第１および／または第２メッシュ・シーケンス｛１｝および｛２｝に属する１組の連続フレーム間で分割するサブステップを含む、ステップを提供することである。

【0010】

本発明の更に他の目的は、幾何学的剛体および／または非剛体変換を候補フレームｇ_ｎおよびｇ_ｍに適用するステップであって、分割したｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）およびｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を対応するフレームに適用するサブステップを含む、ステップを提供することである。

【0011】

本発明の更に他の目的は、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を適用するステップであって、フレームｇ_ｎ～ｇ_ｎ＋ｋおよび／または ｇ_ｍ～ｇｇ_ｍ＋ｋのテクスチャを、非剛体変換 ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）によって変換されたテクスチャとアルファ・ブレンドするサブステップを含み、重みが範囲［０，ｋ］の範囲であるパラメータｐに依存する、ステップを提供することである。

【0012】

本発明の更に他の目的は、キャプチャしたビデオをリギングするステップによって得られる前記第１および第２メッシュ・シーケンスの内少なくとも１つを提供することである。

【0013】

本発明の更に他の目的は、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づいて非剛体変換を計算するステップを提供することである。

【0014】

本発明の他の目的は、更に、前記非剛体変換を計算するステップであって、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づいて初期推定を計算し、前記初期推定に基づいて、最終的な非剛体変換を計算するサブステップを含む、ステップを提供することである。

【0015】

本発明の他の目的は、完全に１回のテークに属するクリップにおける異なる時点から取り込まれる第１および第２メッシュ・フレーム・シーケンスを提供することである。

【0016】

本発明の他の目的は、同一である前記第１および第２メッシュ・フレーム・シーケンスを提供することである。前記第１および第２メッシュ・フレーム・シーケンスが互いに繋がれてループ状になるように、前記第２メッシュ・フレーム・シーケンスの終了部分を、前記第１メッシュ・フレーム・シーケンスの開始部分と融合する。

【0017】

本発明の他の目的は、異なるテークに属する第１および第２メッシュ・フレーム・シーケンスを提供することである。

【0018】

本発明の更に他の目的は、連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにするコンピュータ実装システムを提供することである。前述のコンピュータ実装システムは、（ａ）プロセッサと、（ｂ）命令を格納したメモリとを備え、命令が前記プロセッサによって実行されると、（ｉ）融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップであって、前記第１メッシュ・シーケンスが、前記融合シーケンス内において、前記第２メッシュ・シーケンスの前に位置する、ステップと、（ｉｉ）融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記第１メッシュ・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記第２メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、（ｉｉｉ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、（ｉｖ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算した幾何学的剛体および／または非剛体変換を適用するステップと、（ｖ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、ｖｉ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算したテクスチャ変換を適用するステップとを、前記プロセッサに実行するように指令する。

【0019】

本発明の更に他の目的は、連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにする方法を実行するための、プロセッサへの命令を備える非一時的コンピュータ読み取り可能媒体を提供することであり、前記命令が、（ａ）融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップであって、前記第１メッシュ・シーケンスが、前記融合シーケンス内において、前記第２メッシュ・シーケンスの前に位置する、ステップと、（ｂ）融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記第１メッシュ・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記第２メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、（ｃ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、（ｄ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、幾何学的剛体および／または非剛体変換を適用するステップと、（ｅ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、（ｆ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、テクスチャ変換を適用するステップとを含む。

【0020】

本発明の更に他の目的は、切断されたメッシュ・フレーム・シーケンス(cut mesh frame sequences)を連続的にレンダリングするときに、シーケンス間の遷移を滑らかにするコンピュータ実装方法を提供することであり、前記方法が、（ａ）繋げてループ状にしようとするメッシュ・シーケンスを供給するステップと、（ｂ）融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記メッシュ・シーケンスの終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、候補ｇ_ｍが、前記メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、（ｃ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍの幾何学的剛体および／または非剛体変換を計算するステップと、（ｄ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、幾何学的剛体および／または非剛体変換を適用するステップと、（ｅ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、（ｆ）前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、テクスチャ変換を適用するステップとを含む。

【0021】

本発明を理解し、どのようにそれを実際に実施できるか確かめるために、これより添付図面を参照して、非限定的な例のみとして説明するための、複数の実施形態を構成する。

【図面の簡単な説明】

【0022】

【図1】ボリューメトリック・ビデオ内でメッシュ・シーケンスを融合する方法のフローチャートである。

【図2a】メッシュ・フレーム・シーケンスの一部を切除し、２つのメッシュ・フレーム・シーケンスを融合する過程を示す模式図である。

【図2b】メッシュ・フレーム・シーケンスの一部を切除し、２つのメッシュ・フレーム・シーケンスを融合する過程を示す模式図である。

【図3】メッシュ・シーケンスを融合する方法のマッチング・フェーズのフローチャートである。

【図4】ボリューメトリック・ビデオ内でメッシュ・シーケンスを融合する方法の幾何学的融合フェーズ(geometric fusing phase)のフローチャートである。

【発明を実施するための形態】

【0023】

以下の説明を行うのは、当業者であれば誰でも前記発明を利用することを可能にするためであり、本発明を実施する発明者によって考えられる最良の態様を明記する。しかしながら、本発明の包括的な原理は、具体的に、メッシュ・シーケンスを融合するコンピュータ実装方法、前述の方法を実施するためのコンピュータ実装システム、およびプロセッサが前述の方法を実行するための命令を含む非一時的コンピュータ読み取り可能媒体を提供するために定められているので、当業者には明白であり続けるように、種々の変更がなされる。

【0024】

本発明の目的は、キャラクタの動きの連続性が保持されるように、２つのメッシュ・フレーム・シーケンスを融合して、ループ状の１つのメッシュ・フレーム・シーケンスにする方法を提供することである。

【0025】

「フレーム」(frame)という用語は、以後、１本の(strip)フィルム上の個々の写真を指す。

【0026】

「シーン」(scene)という用語は、以後、１つ以上のショット(shot)から成り、ほぼ連続的な時間および空間において行われる劇的行動(dramatic action)を指す。

【0027】

「シーケンス」(sequence)という用語は、以後、共通の考えまたは画像によって一緒にリンクされたショットまたはシーンを含む劇的ユニット(dramatic unit)を指す。シーケンスは、その劇的エレメントおよび構造が統一されている限り、異なる時間または場所に及ぶことができる。

【0028】

「テーク」(take)という用語は、以後、所与のショットの多くの記録の内の１つを指す。大抵の場合、フィルムにおける各ショットは何度も撮影される。各ショットの最良のバージョン（またはテーク）が、最終的なフィルムのために選択される。

【0029】

メッシュ・シーケンスは、ボリューメトリック・ビデオをキャプチャし、キャプチャされたキャラクタの動きをリギングし(rigging)、ユーザのコマンドにしたがって、リギングされたメッシュを動かす（例えば、コンピュータ・ゲームにおいて）というような方法で得ることができる。

【0030】

本発明によって解決しようとする代表的な技術的問題は、少なくとも２つのカメラによって立体空間的にキャプチャされたビデオにおいて、キャラクタの動きの連続性を維持することである。ボリューメトリック・キャプチャ・シーケンスから得られたコンピュータ・ゲーム・キャラクタを、ユーザによって制御されるゲーム・プレーと融合することができる。メッシュ・シーケンスのルーピング(looping)（即ち、際限なく歩く人を作成する）も、本発明の範囲に該当する。達成される結果には、ビューア（ユーザ）が遷移の時点で全く気付かないような円滑な遷移が含まれる。これは、２つの幾何学的に同様の先頭および最終フレームを発見し、これらのジオメトリ(geometry)およびテクスチャを一緒に融合することによって達成される。

【0031】

撮影技術は、場合によっては、フィルム・エピソード(film episode)を全体として連続的にキャプチャすることができないこともある。撮影の連続性は、プレーが進むに連れて、カメラ、シーン位置を変化させることによって、途切れる可能性がある。したがって、異なるカメラによって異なる位置でキャプチャされたクリップ（メッシュ・フレーム・シーケンス）は、連続的にレンダリング可能なメッシュ・フレーム・シーケンスに融合される。ポストプロダクションにおいて、シーン全体を作るために、これらのシーケンスを一緒に併合する(merge)。

【0032】

ボリューメトリック・ビデオ（劇場におけるような）では、カメラ位置を変えることは不可能である。何故なら、ビューアが視点を決定するからであり、したがって異なるテークを併合して完全なシーケンスにするためには、融合技法(fusing technique)が必要となる。

【0033】

カメラ位置を変える遷移は不可能なので、メッシュ・フレーム・シーケンス間のカットは、２ｄビデオ間のカットよりも複雑である。

【0034】

ある場合には、撮影しようとする連続アクション（疾走のような）をボリューメトリック・キャプチャ・スタジオにおいて撮影するのは、技術的に非常に難しい（キャプチャ・エリアが限られているため）。走っている人の無限ループを作成することによって、連続的にレンダリング可能なメッシュ・フレーム・シーケンスを得ることができる。ボリューメトリック・スタジオにおいてキャプチャされた２つの同じメッシュ・フレーム・シーケンスを互いに融合する。

【0035】

メッシュ・フレーム・シーケンスは、リギングされると、仮想関節によって定められる所定の自由度で移動することができる。

【0036】

ある実施形態では、走る人のシーケンスをリギングし、立体空間的に跳躍する人と融合したい場合、リギングの自由度は、非剛体変換によって実現される。最初のフレームにおいて跳躍する人のフレームと一致させるように、最後のフレームにおいて走る人の脚部を動かすことができる。

【0037】

他の実施形態では、骨格の動きは非剛体変換の一部に過ぎない。キャラクタが着ている衣服の詳細な動きは、骨格の動きに加えて、もっと高い自由度を有することができる。

【0038】

これより、図１を参照して、メッシュ・シーケンスを融合する方法１００のフローチャートを示す。マッチング・フェーズであるステップ１１０において、先頭フレーム、終端フレーム、および隣接フレームに属するメッシュが、互いに最少距離だけ離間されるように、先頭フレームおよび終端フレームとなる候補毎に、最良の剛体変換を発見する。非限定的な一実施形態では、前述の候補の妥当性を評価するために、５つのフレームを使用する。

【0039】

幾何学的融合（ステップ１２０）は、ステップ１１０において選択した最良の候補と完全に一致させるために計算および使用される非剛体変換を含む。テクスチャ融合（ステップ１３０）は、第２シーケンスに属する４つのフレーム（最終フレーム）を当てはめるために、第１シーケンスに属するメッシュ・フレーム（先頭フレーム）の非剛体変換を行い、色調の滑らかな変化が達成されるように、漸次アルファ・ブレンドによって、先頭フレームのテクスチャを最終フレームの各々に変換するステップと、を含む。

【0040】

これより、本発明を示す図２ａおよび図２ｂを参照する。図２ａは、メッシュ・フレーム・シーケンス｛０｝の切断を示す。具体的には、メッシュ・フレーム・シーケンス｛０｝の中央部分を切除する。残ったメッシュ・フレームｇ_ｎおよびｇ_ｍは、メッシュ・フレーム・シーケンス｛１｝および｛２｝を形成する。

【0041】

これより、図２を参照して、メッシュ・フレーム・シーケンス｛１｝および｛２｝を融合する手順を示す。尚、図２ｂに示す手順は、任意の１対のメッシュ・フレーム・シーケンスに適用可能であり、提示する実施形態に限定されるのではないことは、強調してしかるべきである。｛Ｇ_１｝は、前記第１メッシュ・フレーム・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループである。｛Ｇ_２｝は、前記第２メッシュ・フレーム・シーケンス｛２｝の開始部分に位置する第２メッシュ・フレーム・グループである。ｇ_ｎおよびｇ_ｍは、融合する候補となるメッシュ・フレームを示す。｛Ｎｇ_ｎ｝は、フレームｇ_ｎを包囲するフレームｇ_ｎ±ｉによって形成されるサブグループである。｛Ｎｇ_ｍ｝は、フレームｇ_ｍを包囲するフレームｇ_ｍ±ｊによって形成されるサブグループであり、ここで、ｉおよびｊは、ゼロでない整数である。｛Ｎｇ_ｎ｝に属するｇ_ｎｍおよび｛Ｎｇ_ｍ｝に属するｇ_ｍmは、剛体変換によって変換されると、その間に最小の距離を有すると定められる。

【0042】

これより、図３を参照して、ボリューメトリック・ビデオ内でメッシュ・シーケンスを融合する方法のマッチング・フェーズ１１０のフローチャートを示す。ステップ２１０ａおよび２１０ｂは、それぞれ、メッシュ・フレーム・シーケンス｛１｝の終了部分に位置するフレームｇ_ｎのグループ｛Ｇ_１｝、およびメッシュ・フレーム・シーケンス｛２｝の開始部分に位置するフレームｇ_ｍのグループ｛Ｇ_２｝を選択する処理に向けられる。次いで、ステップ２２０ａおよび２２０ｂでは、グループ｛Ｇ_１｝および｛Ｇ_２｝において、フレームｇ_ｎ±ｉのサブグループ｛Ｎｇ_ｎ｝およびフレームｇ_ｍ±ｊのサブグループ｛Ｎｇ_ｍ｝を選択する。フレームｇ_ｎ±ｉおよびｇ_ｍ±ｊは、それぞれ、フレームｇ_ｎおよびｇ_ｍを包囲する。マッチング・フェーズ１１０は、更に、前記ｇ_ｎおよびｇ_ｍ、ならびに前記ｇ_ｎ±ｉまたはｇ_ｍ±ｊ間の最小距離がそれぞれ得られるように、剛体変換ｒｔ（ｇ_ｎ、ｇ_ｍ）を計算するステップ２３０を含む。得られた剛体変換ｒｔ（ｇ_ｎ、ｇ_ｍ）を前述のフレームに適用したのち、間の距離が最小であるフレームｇ_ｎｍおよびｇ_ｍmを決定する。

【0043】

これより、図４を参照して、幾何学的融合フェーズ１２０のフローチャートを示す。幾何学的融合フェーズ１２０は、ステップ３１０において、フレームｇ_ｎｍおよびｇ_ｍm間の非剛体変換ｎｒｔ（ｇ_ｎ、ｇ_ｍ）の計算を含む。次いで、ステップ３２０において、グループ｛Ｇ_２｝に属するすべてのフレームｇ_ｍ間で、計算した非剛体変換ｎｒｔ（ｇ_ｎ、ｇ_ｍ）を分割する。加えて、ステップ３３０において、グループ｛Ｇ_１｝に属する複数の終端フレームｇ_ｎ、またはグループ｛Ｇ_２｝に属する最初のフレームｇ_ｍ間で、計算した剛体変換ｒｔ（ｇ_ｎ、ｇ_ｍ）を分割する。ステップ３４０において、分割したｒｔ（ｇ_ｎ、ｇ_ｍ）およびｎｒｔ（ｇ_ｎ、ｇ_ｍ）を対応するフレームｇ_ｎおよびｇ_ｍに適用する。

【0044】

テクスチャ融合フェーズ１３０は、フレームｇ_ｍからｇ_ｍ＋kまでのテクスチャと、フレームｇ_ｎからの非剛体変換ｎｒｔ（ｇ_ｎ、ｇ_ｍ）によって変換されたテクスチャとの段階的アルファ・ブレンディングを含み、重みは［０，ｋ］の範囲にあるパラメータｐに依存する。

【0045】

リギングが施されたメッシュ・シーケンスの場合、リグを制御するモーション・パラメータを変化させることによって、非剛体変換を行うことができる。

【0046】

本発明は、メッシュ・フレーム・シーケンスを切断（編集）し、非剛体変換のためにリギングを使用し、非剛体変換の他の方法に対する初期推定としてリギングを使用し、リギングしたシーケンスにボリューメトリック・ビデオを融合するときに適用することができる。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【手続補正書】

【提出日】2023-02-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

連続的にレンダリングする２つのメッシュ・シーケンス間の遷移を滑らかにするコンピュータ実装方法であって、
a．融合シーケンスに融合しようとするメッシュ・フレームが形成された第１および第２メッシュ・シーケンス｛１｝および｛２｝をそれぞれ供給するステップであって、前記第１メッシュ・シーケンスが、前記融合シーケンス内において、前記第２メッシュ・シーケンスの前に位置する、ステップと、
b．融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記第１メッシュ・シーケンス｛１｝の終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、前記候補ｇ_ｍが、前記第２メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、
ｃ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍについて幾何学的剛体および／または非剛体変換を計算するステップと、
ｄ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算した幾何学的剛体および／または非剛体変換を適用するステップと、
ｅ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、
ｆ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、計算したテクスチャ変換を適用するステップと、
を含む、方法。

【請求項2】

切断されたメッシュ・フレーム・シーケンスを連続的にレンダリングするときに、前記メッシュ・フレーム・シーケンス間の遷移を滑らかにするコンピュータ実装方法であって、
ａ．繋げてループ状にしようとするメッシュ・シーケンスを供給するステップと、
ｂ．融合して間に入れる候補となるメッシュ・フレームｇ_ｎおよびｇ_ｍを選択するステップであって、前記候補ｇ_ｎが、前記メッシュ・シーケンスの終了部分に位置する第１メッシュ・フレーム・グループ｛Ｇ_１｝内で選択され、前記候補ｇ_ｍが、前記メッシュ・シーケンスの開始部分に位置する第２メッシュ・グループ｛Ｇ_２｝内で選択される、ステップと、
ｃ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍについて幾何学的剛体および／または非剛体変換を計算するステップと、
ｄ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、幾何学的剛体および／または非剛体変換を適用するステップと、
ｅ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を計算するステップと、
ｆ．前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍに、テクスチャ変換を適用するステップと、
を含む、コンピュータ実装方法。

【請求項3】

請求項１または２記載の方法において、候補メッシュ・フレームｇ_ｎおよびｇ_ｍを選択する前記ステップが、それぞれ、前記メッシュ・フレームｇ_ｎおよびｇ_ｍを包囲するメッシュ・フレームｇ_ｎ±ｉまたはｇ_ｍ±ｊによって形成されたグループ｛Ｎｇ_ｎ｝および｛Ｎｇ_ｍ｝を選択するサブステップを含み、ここでは、ｍおよびｎが画像フレームの数であり、ｉおよびｊが０でない整数である、方法。

【請求項4】

請求項３記載の方法において、候補フレームｇ_ｎおよびｇ_ｍについて幾何学的剛体および／または非剛体変換を計算する前記ステップが、前記グループ｛Ｎｇ_ｎ｝または｛Ｎｇ_ｍ｝間に最小距離を与える剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を計算するサブステップを含む、方法。

【請求項5】

請求項４記載の方法において、候補フレームｇ_ｎおよびｇ_ｍについて幾何学的剛体および／または非剛体変換を計算する前記ステップが、更に、非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、前記第１および／または第２メッシュ・シーケンス｛１｝および／または｛２｝に属する１組の連続フレーム間で計算するステップを含む、方法。

【請求項6】

請求項４または５記載の方法において、候補フレームｇ_ｎおよびｇ_ｍについて幾何学的剛体および／または非剛体変換を計算する前記ステップが、計算した前記剛体変換ｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）および前記非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を、前記第１および／または第２メッシュ・シーケンス｛１｝および／または｛２｝に属する１組の連続フレーム間で分割するサブステップを含む、方法。

【請求項7】

請求項１または２記載の方法において、幾何学的剛体および／または非剛体変換を候補フレームｇ_ｎおよびｇ_ｍに適用する前記ステップが、分割したｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）およびｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）を対応するフレームに適用するステップを含む、方法。

【請求項8】

請求項１または２記載の方法において、前記第１および第２メッシュ・シーケンス｛１｝および｛２｝に属する前記候補フレームｇ_ｎおよびｇ_ｍのテクスチャ変換を適用する前記ステップが、フレームｇ_ｎ～ｇ_ｎ＋ｋおよび／またはｇ_ｍ～ｇ_ｍ＋ｋのテクスチャを、非剛体変換ｎｒｔ（ｇ_ｎｍ，ｇ_ｍｍ）によって変換されたテクスチャとアルファ・ブレンドし、重みが範囲［０，ｋ］の範囲であるパラメータｐに依存する、ステップを含む、方法。

【請求項9】

請求項１または２記載の方法において、前記第１および第２メッシュ・シーケンスの内少なくとも１つが、キャプチャしたビデオをリギングするステップによって得られる、方法。

【請求項10】

請求項９記載の方法において、前記非剛体変換を計算する前記ステップが、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づく、方法。

【請求項11】

請求項９記載の方法において、前記非剛体変換を計算する前記ステップが、更に、前記キャプチャしたビデオからリギングしたメッシュ・フレーム・シーケンスに基づいて初期推定を計算し、前記初期推定に基づいて、最終的な非剛体変換を計算するステップを含む、方法。

【請求項12】

請求項１または２記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが、完全に１回のテークに属するクリップにおける異なる時点から取り込まれる、方法。

【請求項13】

請求項１または２記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが同一であり、前記第１および第２メッシュ・フレーム・シーケンスが互いに繋がれてループ状になるように、前記第２メッシュ・フレーム・シーケンスの終了部分が、前記第１メッシュ・フレーム・シーケンスの開始部分と融合される、方法。

【請求項14】

請求項１または２記載の方法において、前記第１および第２メッシュ・フレーム・シーケンスが異なるテークに属する、方法。

【請求項15】

コンピュータ実装システムであって、
ａ．プロセッサと、
ｂ．命令を格納したメモリと、
を備え、前記命令が前記プロセッサによって実行されると、前記プロセッサに、請求項１～１４の何れか一項記載の方法を実行するように指令する、コンピュータ実装システム。

【請求項16】

請求項１～１４の何れか一項記載の方法を実行するための、プロセッサへの命令を記録した非一時的コンピュータ読み取り可能媒体。

【国際調査報告】