特表2024-503787ボリュメトリック３次元シーンを表すデータをオンライン視聴のためにリアルタイム解凍するためのビューを用いて圧縮する方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-29
(54)【発明の名称】ボリュメトリック３次元シーンを表すデータをオンライン視聴のためにリアルタイム解凍するためのビューを用いて圧縮する方法及び装置
(51)【国際特許分類】
H04N 19/597 20140101AFI20240122BHJP
H04N 19/176 20140101ALI20240122BHJP
H04N 19/172 20140101ALI20240122BHJP
【ＦＩ】
H04N19/597
H04N19/176
H04N19/172
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2023537222
(86)(22)【出願日】2021-12-09
(85)【翻訳文提出日】2023-06-16
(86)【国際出願番号】 FR2021052252
(87)【国際公開番号】W WO2022129737
(87)【国際公開日】2022-06-23
(31)【優先権主張番号】2013513
(32)【優先日】2020-12-17
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】520330548
【氏名又は名称】４ディ・ビュー・ソリューションズ
【氏名又は名称原語表記】４Ｄ ＶＩＥＷ ＳＯＬＵＴＩＯＮＳ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ミカエル アダム
(72)【発明者】
【氏名】クレマン メニエール
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA00
5C159MA01
5C159MD02
5C159ME01
5C159TB04
5C159TB08
5C159TC31
5C159TD13
5C159UA02
5C159UA05
(57)【要約】
複数のフレームを含むボリュメトリックビデオストリーム（１７２）を圧縮する方法（３００）であって、フレームのグループが定義され、各フレームがキーフレームと、対応するキーフレームのメッシュに対して定義されたメッシュを有するインターフレームとを含み、テクスチャを表す情報を圧縮するステップであって、各フレームグループについて、フレームの各々のテクスチャを表す情報をブロック圧縮し（３０２）、それによって画素のブロックを定義するステップを含む、ステップと、キーフレームの合成テクスチャを形成することができる第１のブロックと、近似インターフレームテクスチャを形成するように反復置換を通してこの合成テクスチャを修正することができる第２のブロックとを決定するステップ（３０４）と、キーフレームの合成テクスチャと第２のブロックとに基づいてインターフレームテクスチャを符号化するステップ（３１０）と、を含む。
【特許請求の範囲】
【請求項1】
複数のフレーム（Ｆ）によって表される３次元アクションシーン（１２５）のボリュメトリックビデオストリーム（１７２）を圧縮する方法（３００）であって、前記方法はコンピュータによって実施され、それに従って、前記シーン（１２５）の各フレームについてメッシュ（Ｍ）及びテクスチャ（Ｔ）が生成され、フレームのグループ（ＦＧｒ１、ＦＧｒ２、ＦＧｒ３）が各々キーフレーム（ＫＦ）及びインターフレーム（ＩＦ）を含み、その前記メッシュは前記対応するキーフレームの前記メッシュに対して定義され、前記方法は、前記テクスチャを表す前記情報を圧縮するステップを含み、前記テクスチャ圧縮ステップは、各フレームグループについて、ＤＸＴ、ＡＳＴＣ又はＰＶＲＴＣなどの標準アルゴリズムに従って従来のグラフィックス処理ユニットによって直接使用可能なブロックを形成することができるブロック圧縮方法に従って、前記グループの前記フレームの各々の前記テクスチャを表す前記情報を圧縮し（３０２）、従って、従来のグラフィックス処理ユニットによって直接使用可能な画素のブロック（Ｂ１、Ｂ２、Ｂ３、ＢＮｆ）を定義し、前記キーフレームに関連付けられたブロックと、前記インターフレームの各々にそれぞれ関連付けられたブロックとを含むステップと、
前記キーフレームに関連付けられた前記ブロック及び前記インターフレームに関連付けられた前記ブロックから、一方では、前記キーフレームの合成テクスチャを形成することができる第１のブロック（２１０）を、他方では、ブロックの反復置換によって、前記インターフレームの近似テクスチャを形成するように前記キーフレームの前記合成テクスチャを修正することができる第２のブロック（２２０）を、決定するステップ（３０４）と、
前記キーフレームに関連付けられた第１のブロック及び前記インターフレームに関連付けられた第１のブロックから、前記フレームのグループの前記キーフレームの合成テクスチャを形成し、前記合成テクスチャを符号化するステップ（３０８）と、
前記キーフレーム及び前記第２のブロックの前記合成テクスチャに基づいて、前記インターフレームの前記テクスチャを符号化するステップ（３１０）と、を含むことを特徴とする、方法。
【請求項2】
前記キーフレームの前記合成テクスチャ及び前記インターフレームの前記テクスチャを符号化する前記ステップは、エントロピー符号化による圧縮を含む、請求項１に記載の方法。
【請求項3】
前記第１のブロック及び前記第２のブロックを決定する前記ステップは、互いに対して所与の位置のフレームのグループの前記ブロックの量子化されたグラフィック差分を評価するステップ（３０４－１、３０４－２）を含み、評価する前記ステップは、２つの考慮されるブロック間のＰＳＮＲ（ピーク信号対雑音比）計算などの計算に依存し、前記２つの考慮されるブロック間の前記グラフィック変動を各々表す数をもたらす、請求項１又は２に記載の方法。
【請求項4】
前記フレームのグループの前記ブロックの各々について、前記グラフィック差分は、前記フレームのグループの他のブロックの全てに対して評価される、請求項３に記載の方法。
【請求項5】
前記第１のブロック及び前記第２のブロックを決定する前記ステップは、－行及び列に沿って相互接続されたノードを含むグラフ（４５０）を構築し、前記量子化されたグラフィック差分は、２つのノード間の行に沿った変位コスト（ＥｒｒＶａｌ）に割り当てられ、コスト（Ｃｃａｌｃ）は、列に沿った前記変位に割り当てられるステップと、
－このグラフにおいて最低コスト経路（Ｐｏｐｔ）を決定するステップであって、各経路は、前記第１のブロック（Ｂ２）のうちの１つに関連付けられた列において開始し、各変位は、前記第２のブロック（Ｂ４）のうちの１つに関連付けられた列に従い、前記最低コストは、同じ行上の２つのノード間の各変位のコスト（ＥｒｒＶａｌ）と、１つの同じ列上の２つのノード間の各変位のコスト（Ｃｃａｌｃ）との和に等しく、前記経路は、同じ行上の２つのノード間の各変位と、同じ列上の２つのノード間の各変位とから構成される、ステップと、を更に含む、請求項３又は４に記載の方法。
【請求項6】
経路を決定する前記ステップは、ダイクストラアルゴリズムを実施する、請求項５に記載の方法。
【請求項7】
前記メッシュを表す前記情報を圧縮するステップであって、－前記メッシュを表す前記情報を量子化によって圧縮するステップ（３５０）と、
－前記量子化されたメッシュを表す前記情報を、圧縮方法に従って圧縮するステップ（３５４）であって、
－前記Ｅｄｇｅｂｒｅａｋｅｒアルゴリズムに従って、前記キーフレームの前記メッシュの三角形を表す前記情報を圧縮するステップ（３５４－１）と、
－予測アルゴリズムに従って、前記キーフレームの前記メッシュの点を表す情報を圧縮するステップ（３５４－２）と、
－線形選択予測アルゴリズムに従って、前記キーフレームのテクスチャ座標を表す情報を圧縮するステップ（３５４－３）と、
－差分符号化によって前記インターフレームメッシュの前記メッシュの点を表す情報を圧縮するステップ（３５６）と、
エントロピー計算アルゴリズムによって、前記キーフレームの前記メッシュの前記点、前記三角形、及び前記テクスチャ座標を表す前記圧縮された情報、並びに前記インターフレームの前記メッシュの前記点を表す前記情報を圧縮するステップ（３５８）と、を含む、ステップと、を含む、ステップを更に含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
請求項１から７のいずれか一項に記載の方法のステップを実行する手段を備えるデータ処理システム。
【請求項9】
命令を含むコンピュータプログラムであって、前記命令は、前記プログラムがコンピュータによって実行されると、前記コンピュータに、請求項１から７のいずれか一項に記載の方法のステップを実施させる、コンピュータプログラム。
【請求項10】
命令を含むコンピュータ可読媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータに、請求項１から７のいずれか一項に記載の方法のステップを実施させる、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エンドユーザによるボリュメトリックビデオのオンライン視聴のためのリアルタイム復号のために、ボリュメトリック３次元シーンを表すデータを圧縮する方法及び装置に関する。
【背景技術】
【0002】
本発明の目的は、エンドユーザが「オンライン」で見るために、３次元シーンを表すボリュメトリックデータを圧縮することである。
【0003】
この目的に向けられた方法は、論文「Ｈｉｇｈ－ｑｕａｌｉｔｙ ｓｔｒｅａｍａｂｌｅ ｆｒｅｅ－ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ」ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈｉｃｓ（ＳＩＧＧＲＡＰＨ），３４ （４），２０１５に記載されている。
【0004】
当該方法によれば、ボリュメトリックデータは、写真測量による３次元シーンのキャプチャから、すなわち、この場合は１０６台のカメラからなるカメラのセットを用いて取得され、各カメラは、毎秒３０～６０画像程度の頻度で特定の角度からシーンの画像をキャプチャする。
【0005】
当該画像は、シーン又はフレームのキャプチャの各瞬間についてポイントクラウドを計算することによってシーンのアクションを再生成するために使用される。
【0006】
当該ポイントクラウドは、カメラによって見られる、シーンの要素の表面を表し、互いに連続的に接続された三角形のメッシュによるシーンのモデリングの基礎として機能し、その上に、テクスチャが、第１のステップにおいて各フレームについて独立して適用される。
【0007】
このステップでは、使用される三角形の数及びその接続性は、フレームごとに異なる。
【0008】
第２のステップでは、結果として得られるデータの圧縮に有利に働くように、メッシュの幾何学的追跡が経時的に実行され、これは、「キーフレーム」と呼ばれるフレームに属する基準メッシュの変形によってフレームを構成するメッシュを収束させることからなり、その結果、後続のフレームのメッシュは、当該基準メッシュと同じ数の三角形及び同じ接続を有する。
【0009】
基準フレームのメッシュの変形によってメッシュを許容可能に近似することができない場合、新しい基準フレームに対して新しいメッシュを定義し、全てのフレームのメッシュが処理されるまで動作を繰り返す。
【0010】
そのメッシュがキーフレームのメッシュに基づいて定義され、２つのキーフレーム間に位置するフレームは、「インターフレーム」と呼ばれる。
【0011】
メッシュに関連するデータの圧縮は、メッシュが同じキーフレームのメッシュに基づく隣接フレーム間の時間的冗長性から利益を得る。
【0012】
キーフレームのメッシュは完全に符号化されるが、メッシュ変動のみがインターフレームに対して符号化され、これは、結果として生じるデータの量及びそれらの復号のための計算量並びに各フレームのメッシュの完全な符号化及び復号に関してより経済的である。
【0013】
しかしながら、メッシュデータの符号化も改善され得る。
【0014】
メッシュ上に圧縮されたテクスチャに関しては、テクスチャの完全なアトラスが各フレームに対応し、当該アトラスは、ＭＰＥＧ及びＨ．２６４圧縮規格の原理に従って、それぞれ圧縮及び解凍中に完全に符号化され、次いで復号されなければならない。
【0015】
当該テクスチャアトラスのデータの処理及び送信は、低減することが望ましい計算コスト及び高帯域幅を表す。
【0016】
更に、使用される方法は、元々、フィルムの画像などの「従来の」画像を用いてビデオを作成する目的で開発されたものであり、無地の背景上のパッチから構成される画像であるテクスチャを用いてビデオを作成する目的で開発されたものではない。
【0017】
テクスチャアトラスを圧縮するためのより適切な方法が必要とされる。
【0018】
オーディオ／ビデオ圧縮の分野では、以下の文献が知られている：
－”［Ｖ－ＰＣＣ］［ＥＥ２．６－ｒｅｌａｔｅｄ］Ｐｒｏｐｏｓｉｔｉｏｎ ｏｆ ａｎ ａｎｃｈｏｒ ａｎｄ ａ ｔｅｓｔ ｍｏｄｅｌ ｆｏｒ ｃｏｄｉｎｇ ａｎｉｍａｔｅｄ ｍｅｓｈｅｓ”ｂｙ Ｊｅａｎ－Ｅｕｄｅｓ Ｍａｒｖｉｅ ｅｔ ａｌ．，１３２．ＭＰＥＧ会議、２０２０１０１２－２０２０１０１６オンライン；（ＭＯＴＩＯＮ ＰＩＣＴＵＲＥ ＥＸＰＥＲＴ ＧＲＯＵＰ又はＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）、ｎｏ．ｍ５５３２７、２０２０年１０月５日（２０２０－１０－０５）、ＸＰ０３０２９２８３６；
Ｆａｒａｍａｒｚｉ Ｅｓｍａｅｉｌらによる「Ｍｅｓｈ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ ｔｏ ＭＰＥＧ－Ｉ Ｖ－ＰＣＣ」、２０２０ ＩＥＥＥ ２２ ＮＤ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＷＯＲＫＳＨＯＰ ＯＮ ＭＵＬＴＩＭＥＤＩＡ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ（ＭＭＳＰ）、［Ｏｎｌｉｎｅ］、２０２０年９月２１日（２０２０－０９－２１）、１～５ページ、ＸＰ０５５８３７１８５、及び
－Ｔａｎｇ Ｄａｎｈａｎｇらによる「Ｒｅａｌ－ｔｉｍｅ ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ ｓｔｒｅａｍｉｎｇ ｏｆ ４Ｄ ｐｅｒｆｏｒｍａｎｃｅｓ」、ＡＣＭ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＧＲＡＰＨＩＣＳ，ＡＣＭ，ＮＹ，ＵＳ，ｖｏｌ．３７，ｎｏ．６，４ Ｄｅｃｅｍｂｅｒ ２０１８（２０１８－１２－０４），ｐａｇｅｓ １－１１，ＸＰ０５８４６４８０２。
－”［Ｖ－ＰＣＣ］［ＥＥ２．６－ｒｅｌａｔｅｄ］Ｐｒｏｐｏｓｉｔｉｏｎ ｏｆ ａｎ ａｎｃｈｏｒ ａｎｄ ａ ｔｅｓｔ ｍｏｄｅｌ ｆｏｒ ｃｏｄｉｎｇ ａｎｉｍａｔｅｄ ｍｅｓｈｅｓ”ｂｙ Ｊｅａｎ－Ｅｕｄｅｓ Ｍａｒｖｉｅ ｅｔ ａｌ．，１３２．ＭＰＥＧ会議、２０２０１０１２－２０２０１０１６オンライン；（ＭＯＴＩＯＮ ＰＩＣＴＵＲＥ ＥＸＰＥＲＴ ＧＲＯＵＰ又はＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）、ｎｏ．ｍ５５３２７、２０２０年１０月５日（２０２０－１０－０５）、ＸＰ０３０２９２８３６；
Ｆａｒａｍａｒｚｉ Ｅｓｍａｅｉｌらによる「Ｍｅｓｈ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ ｔｏ ＭＰＥＧ－Ｉ Ｖ－ＰＣＣ」、２０２０ ＩＥＥＥ ２２ ＮＤ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＷＯＲＫＳＨＯＰ ＯＮ ＭＵＬＴＩＭＥＤＩＡ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ（ＭＭＳＰ）、［Ｏｎｌｉｎｅ］、２０２０年９月２１日（２０２０－０９－２１）、１～５ページ、ＸＰ０５５８３７１８５、及び
－Ｔａｎｇ Ｄａｎｈａｎｇらによる「Ｒｅａｌ－ｔｉｍｅ ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ ｓｔｒｅａｍｉｎｇ ｏｆ ４Ｄ ｐｅｒｆｏｒｍａｎｃｅｓ」、ＡＣＭ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＧＲＡＰＨＩＣＳ，ＡＣＭ，ＮＹ，ＵＳ，ｖｏｌ．３７，ｎｏ．６，４ Ｄｅｃｅｍｂｅｒ ２０１８（２０１８－１２－０４），ｐａｇｅｓ １－１１，ＸＰ０５８４６４８０２。
【0019】
これらの文書は、典型的にはＭＰＥＧ、ＪＰＥＧ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、又はｈ．２６４などのＡＶＣタイプ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の方法である圧縮方法を処理する。
【0020】
このタイプの方法の時間的ビデオ圧縮は、順に、画像を切断することによるブロックの定義、２つの隣接するフレームのブロック間の比較、次いで２つのブロック間の差分の符号化／圧縮に依存し、復号の間、この差は各画素に個別に適用される。
【0021】
このタイプの方法の目的は、これらの画像データストリームを処理するコンピュータのプロセッサとグラフィックスカードとの間の画像の転送、又はグラフィックスカードのメモリの利用を考慮することなく、コンピュータネットワーク上で可能な限り低い伝送速度を提供することである。
【0022】
従って、このタイプの方法は、本特許出願によって対処される問題に応答しない。
【発明の概要】
【0023】
本発明の目的は、第１に、ボリュメトリックビデオストリームのフレームのメッシュに関する情報の圧縮を改善し、第２に、当該同じフレームに関連付けられたテクスチャに関する情報の圧縮を改善することである。
【0024】
本発明は、より詳細には、複数のフレームによって表される３次元アクションシーンのボリュメトリックビデオストリームを圧縮する方法であって、コンピュータによって実施され、シーンの各フレームに対してメッシュ及びテクスチャが生成され、各々がキーフレーム及びインターフレームを含むフレームのグループが定義され、そのメッシュは対応するキーフレームのメッシュに対して定義され、方法は、テクスチャを表す情報を圧縮するステップを含み、テクスチャ圧縮ステップは、フレームの各グループに対して、ＤＸＴ、ＡＴＴＣ、又はＰＶＲＴＣなどの標準アルゴリズムに従って従来のグラフィックス処理ユニットによって直接使用可能なブロックを形成することができるブロック圧縮方法に従って、グループの各フレームのテクスチャを表す情報を圧縮し、従って、従来のグラフィックス処理ユニットによって直接使用可能な画素のブロックを定義し、キーフレームに関連付けられたブロックとインターフレームのそれぞれに関連付けられたブロックとを含むステップと、キーフレームに関連付けられたブロック及びインターフレームに関連付けられたブロックから、一方では、キーフレームの合成テクスチャを形成することができる第１のブロックを決定し、他方では、インターフレームの近似テクスチャを形成するように、ブロックの反復置換によってキーフレームの合成テクスチャを修正することができる第２のブロックを決定するステップと、キーフレームに関連付けられた第１のブロック及びインターフレームに関連付けられた第１のブロックから、フレームのグループのキーフレームの合成テクスチャを形成し、合成テクスチャを符号化するステップと、キーフレーム及び第２のブロックの当該合成テクスチャに基づいて、インターフレームのテクスチャを符号化するステップと、を含む方法に関する。
【0025】
本発明によるテクスチャを表す情報の圧縮は、特に、ボリュメトリックビデオストリームを形成する連続フレームのテクスチャ間に存在する時間的対応を利用して、冗長情報の符号化、伝送、次いで復号を回避する。
【0026】
本発明による圧縮方法による符号化されたビデオストリームの解凍は、低い計算コストを有し、圧縮レベルは、単純なパラメータによって容易に選択されることができ、圧縮レベルと解凍の容易さとの間の妥協をユーザの要求に適合させることを可能にし、従って、リアルタイムで読み取るのに特に適したボリュメトリックビデオストリームを得ることを可能にする。
【0027】
本発明によるボリュメトリックビデオストリームの圧縮方法は、以下の特徴：
－キーフレームの合成テクスチャ及びインターフレームのテクスチャを符号化するステップは、エントロピー符号化による圧縮を含んでもよい、
－第１のブロック及び第２のブロックを決定するステップは、互いに対して所与の位置のフレームのグループのブロックの量子化されたグラフィック差分を評価するステップを含むことができ、評価する当該ステップは、２つの考慮されるブロック間のＰＳＮＲ（ピーク信号対雑音比）計算などの計算に依存し、当該２つの考慮されるブロック間のグラフィック変動を各々表す数をもたらすことができる、
フレームのグループのブロックの各々について、グラフィック差分が、フレームのグループの他のブロックの全てに対して評価される、
－第１のブロック及び第２のブロックを決定するステップは、行及び列に沿って相互接続されたノードを含むグラフを構築するステップを更に含むことができ、量子化されたグラフィック差分は、２つのノード間の行に沿った変位コストに割り当てられ、コストは、列に沿った変位に割り当てられるステップと、最低コスト経路を当該グラフにおいて決定するステップであって、各経路は、第１のブロックのうちの１つに関連付けられた列において開始し、各変位は、第２のブロックのうちの１つに関連付けられた列に従い、最低コストは、同じ行の２つのノード間の変位のコストと、１つの同じ列の２つのノード間の変位のコストとの和であり、経路は、同じ行の２つのノード間の変位と、同じ列の２つのノード間の変位とから構成される、ステップと、
－経路を決定するステップは、ダイクストラアルゴリズムを実施してもよい、
－方法は更に、メッシュを表す情報を圧縮するステップであって、メッシュを表す情報を量子化によって圧縮するステップと、量子化されたメッシュを表す情報を、圧縮方法に従って圧縮するステップであって、Ｅｄｇｅｂｒｅａｋｅｒアルゴリズムに従って、キーフレームのメッシュの三角形を表す情報を圧縮するステップと、予測アルゴリズムに従ってキーフレームのメッシュの点を表す情報を圧縮するステップと、線形選択予測アルゴリズムに従って、キーフレームのテクスチャ座標を表す情報を圧縮するステップと、差分符号化によってインターフレームメッシュのメッシュの点を表す情報を圧縮するステップと、エントロピー計算アルゴリズムによって、キーフレームのメッシュの当該点、当該三角形、及び当該テクスチャ座標を表す圧縮された情報、並びにインターフレームのメッシュの点を表す情報を圧縮するステップと、を含む、ステップを更に含んでもよい。
－キーフレームの合成テクスチャ及びインターフレームのテクスチャを符号化するステップは、エントロピー符号化による圧縮を含んでもよい、
－第１のブロック及び第２のブロックを決定するステップは、互いに対して所与の位置のフレームのグループのブロックの量子化されたグラフィック差分を評価するステップを含むことができ、評価する当該ステップは、２つの考慮されるブロック間のＰＳＮＲ（ピーク信号対雑音比）計算などの計算に依存し、当該２つの考慮されるブロック間のグラフィック変動を各々表す数をもたらすことができる、
フレームのグループのブロックの各々について、グラフィック差分が、フレームのグループの他のブロックの全てに対して評価される、
－第１のブロック及び第２のブロックを決定するステップは、行及び列に沿って相互接続されたノードを含むグラフを構築するステップを更に含むことができ、量子化されたグラフィック差分は、２つのノード間の行に沿った変位コストに割り当てられ、コストは、列に沿った変位に割り当てられるステップと、最低コスト経路を当該グラフにおいて決定するステップであって、各経路は、第１のブロックのうちの１つに関連付けられた列において開始し、各変位は、第２のブロックのうちの１つに関連付けられた列に従い、最低コストは、同じ行の２つのノード間の変位のコストと、１つの同じ列の２つのノード間の変位のコストとの和であり、経路は、同じ行の２つのノード間の変位と、同じ列の２つのノード間の変位とから構成される、ステップと、
－経路を決定するステップは、ダイクストラアルゴリズムを実施してもよい、
－方法は更に、メッシュを表す情報を圧縮するステップであって、メッシュを表す情報を量子化によって圧縮するステップと、量子化されたメッシュを表す情報を、圧縮方法に従って圧縮するステップであって、Ｅｄｇｅｂｒｅａｋｅｒアルゴリズムに従って、キーフレームのメッシュの三角形を表す情報を圧縮するステップと、予測アルゴリズムに従ってキーフレームのメッシュの点を表す情報を圧縮するステップと、線形選択予測アルゴリズムに従って、キーフレームのテクスチャ座標を表す情報を圧縮するステップと、差分符号化によってインターフレームメッシュのメッシュの点を表す情報を圧縮するステップと、エントロピー計算アルゴリズムによって、キーフレームのメッシュの当該点、当該三角形、及び当該テクスチャ座標を表す圧縮された情報、並びにインターフレームのメッシュの点を表す情報を圧縮するステップと、を含む、ステップを更に含んでもよい。
【0028】
本発明は次のように拡張することができる：
－方法のステップを実行するための手段を含むデータ処理システムと、
命令を含むコンピュータプログラムであって、命令は、プログラムがコンピュータによって実行されると、コンピュータに、方法のステップを実施させる、コンピュータプログラムと、
命令を含むコンピュータ可読媒体であって、命令は、コンピュータによって実行されると、コンピュータに、方法のステップを実施させる、コンピュータ可読媒体。
－方法のステップを実行するための手段を含むデータ処理システムと、
命令を含むコンピュータプログラムであって、命令は、プログラムがコンピュータによって実行されると、コンピュータに、方法のステップを実施させる、コンピュータプログラムと、
命令を含むコンピュータ可読媒体であって、命令は、コンピュータによって実行されると、コンピュータに、方法のステップを実施させる、コンピュータ可読媒体。
【図面の簡単な説明】
【0029】
本発明は、添付の図面から非限定的な例として採用され、添付の図面によって示される実施形態の詳細な説明を読むと、よりよく理解され、他の利点が明らかになるであろう。
【0030】
【図1A】カメラを含むビデオグラメトリスタジオを示す図である。
【図1C】シーンのボリュメトリックビデオを生成する方法の図である。
【図2A】一連のフレームを示す。
【図2C】テクスチャを示す図である。
【図2D】本発明によるキーフレームの完全なテクスチャ（ａ）及びインターフレームの部分的なテクスチャ（ｂ）を示す図である。
【図3A】本発明による方法の図である。
【図3B】本発明による方法の特定のステップの図である。
【図4A】エラー値の表である。
【図5C】一連のフレームの非圧縮テクスチャ及び圧縮テクスチャを示す図である。
【図6】本発明による圧縮されたボリュメトリックビデオデータストリームの解凍を示す図である。
【発明を実施するための形態】
【0031】
ボリュメトリックアクションシーン、すなわち、時間とともに空間の３つの方向において行われるシーンを再構成するために、シーンは、緑の背景を有するビデオグラメトリスタジオ１００において俳優１０５によって再生される。
【0032】
このようなスタジオは、ステージ１２０を取り囲む構造体１１０から構成され、この構造体は、様々な視点に従ってシーン１２５を観察する１組のカメラ１３０を支持する機能を有する。
【0033】
カメラ１３０は、データ記憶及び処理システム１４０、並びにユーザインタフェース１５０に接続される。
【0034】
【0035】
ステップ１６０において、カメラは、同期された方法で、例えば、各々がそれ自体の視点から毎秒３０～６０画像の頻度でシーンをキャプチャし、シーン全体を再構成することを可能にする。
【0036】
ステップ１６２において、カメラによってキャプチャされた画像は、従来の方法に従って、較正のため、バイアス又は他の誤差を補正するため、及びそこから背景を減算するために、随意に処理される。
【0037】
ステップ１６４において、これらの再処理された画像は、異なる視野角で異なるカメラによってキャプチャされた同じ物理的表面の画像の比較によって、立体撮影原理に従って当該物体の可視表面の深度マップを確立することによって、シーンを構成する物体を表す、図１Ｄによって示されるようなポイントクラウドＣを生成するように、データ処理システム１４０によって実装される、当業者に知られているアルゴリズムを供給する。
【0038】
ステップ１６６において、メッシュＭは、図１Ｅによって示されるように、得られたポイントクラウドから生成され、テクスチャは、従来の方法に従って、例えば、ポアソン表面の再構成及びＵＶＡｔｌａｓソースコード、ｃｏｐｙｒｉｇｈｔ（登録商標）Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ、の使用によって、各フレームに対してそれぞれ、フレームごとに独立して、それに適用されることが意図される。
【0039】
この段階で、シーンは一連のフレームＦによって表され、各フレームは、一方ではそれぞれのテクスチャＴを表す情報に関連付けられ、他方ではそれぞれのメッシュＭを表す情報に、フレームごとに独立して関連付けられる。
【0040】
従って、図２Ａは、５つのフレームＦ１～Ｆ５を連続して示しており、各フレームはそれぞれメッシュＭ１～Ｍ５及びテクスチャＴ１～Ｔ５に関連付けられている。
【0041】
各メッシュは、シーンの物体の表面を再現する三角形によって相互接続された点のセットからなり、各三角形は、テクスチャを三角形に正しく適用することができるように、テクスチャ座標テーブルによってテクスチャ座標に関連付けられている。
【0042】
三角形は、カメラによって見られるような物体の表面を構成する基本表面として使用される。
【0043】
別のタイプの基本表面を使用することもできるが、説明を明確にするために、三角形に基づく本発明の例示的な実装形態を引き続き使用する。
【0044】
幾何学的及び測光的追跡ステップ１６８は、フレームＦを、各々がキーフレームＫＦ及び複数のインターフレームＩＦを含むフレームＦＧｒのグループに分配するために実施される。
【0045】
従って、図２Ｂは、フレームＦＧｒ１～ＦＧｒ３の３つのグループに分散された１８個のフレームＦ１～Ｆ１８を示しており、各グループは、キーフレームＫＦと、グループに応じた可変数のインターフレームとを含み、フレームは、出力ステップ１７０においてストリーム１７２で取得される。
【0046】
基準メッシュは各キーフレームに関連付けられ、インターフレームのメッシュは、基準メッシュの変形によって、すなわち対応するキーフレームに関連付けられたメッシュの変形を表す情報によって定義され、テクスチャは各フレームに関連付けられる。
【0047】
各テクスチャは、図２Ｃに示すように、均一な背景上にパッチを含む画像によって表されてもよい。
【0048】
メッシュを表す情報は、キーフレームの場合には、メッシュの点を表す情報、すなわち３次元空間において当該点を位置付けるためのデータ、メッシュの三角形を表す情報、すなわち、各々がメッシュの３つの点の間に含まれる表面のデータ、メッシュのそれぞれの三角形に関連付けられたテクスチャを表す情報、すなわち、テクスチャ座標データからなる。
【0049】
上記のステップは当業者に知られており、例えば、文献「Ｈｉｇｈ－ｑｕａｌｉｔｙ ｓｔｒｅａｍａｂｌｅ ｆｒｅｅ－ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ」ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈｉｃｓ（ＳＩＧＧＲＡＰＨ），３４（４），２０１５に説明されている。
【0050】
以下のステップは、一方ではテクスチャを表す情報の圧縮に関して、他方ではメッシュを表す情報の圧縮に関して、従来のボリュメトリックビデオ圧縮方法に対して改善をもたらし、図３Ａ及び図３Ｂのダイアグラム３００及び３０４をそれぞれ使用して以下に詳述されるように、後続の解凍ステップが考慮される。
テクスチャの圧縮
テクスチャの圧縮
【0051】
先行するステップの終わりに、各フレームは、テクスチャデータＴ及びメッシュデータＭを含むビデオデータのストリーム１７２内のそれに特有のテクスチャに関連付けられ、各テクスチャはデジタル画像である。
【0052】
テストステップ３０１において、入力データがメッシュデータＭであるかテクスチャデータＴであるかが判定される。
【0053】
ステップ３０２において、ブロック圧縮が、フレームのストリームのフレームに関連付けられた各テクスチャに適用され、テクスチャは、各フレームのテクスチャがブロックのセットに関連付けられるように、テクスチャデータＴにおいて検索される。
【0054】
ブロック圧縮は、色データを記憶するために必要なメモリの量を低減することを可能にする従来の圧縮方法であり、画素のブロック（４画素×４画素又は８画素×８画素の正方形など）は、ＤＸＴ、ＡＳＴＣ、又はＰＶＲＴＣなどの標準アルゴリズムに従って、１つの同じブロック内の変動が非常に低いことを考慮して圧縮される。
【0055】
本明細書では、「ブロック」という用語は、前の段落で述べたタイプのアルゴリズムによって得られ、従来のグラフィックス処理ユニット又はＧＰＵによって直接使用可能な、すなわち、解凍又は別の処理動作を必要としないブロックを指す。
【0056】
従って、本発明による方法で考慮される「ブロック」は、「従来技術」の項で上述したＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）であるＪＰＥＧ及びＭＰＥＧ符号化の圧縮方法などの圧縮方法で使用される「ブロック」とは異なる。
【0057】
実際に、ＡＶＣタイプの方法で使用されるブロックは、画像の切断から直接生じ、従って、各々が画素のグループである。
【0058】
従って、それらの性質は、当該画素に適用される圧縮動作の結果である本発明による方法のブロックの性質とは異なり、従って、それらの性質は、圧縮動作に使用される圧縮の原理に依存するが、画素のグループの圧縮の原理ではない。
【0059】
ＡＶＣタイプの方法のブロックの１つの特徴は、本発明による方法のブロックとは異なり、通常、グラフィックス処理ユニットによって直接使用できるとみなされないことである。
【0060】
実際に、本発明によるブロック圧縮は、従来のグラフィックス処理ユニットによって直接復号することができるデータをもたらす。
【0061】
従って、復号中に、データ処理ユニットの中央演算ユニット、すなわちＣＰＵは、ブロックによって圧縮されたテクスチャを、グラフィックス処理ユニット、すなわちＧＰＵに送信する前に解凍する必要がなく、これにより、ＣＰＵ上で実行される計算を制限し、ＧＰＵに送信されるデータ量を大幅に削減することが可能になる。
【0062】
ボリュメトリックビデオストリームのリアルタイム読み出しのコンテキストにおいて、この特徴は、転送されるべきデータの量及び転送されたデータの解凍の計算コストを低減することによる決定的な利点を表す。
【0063】
従って、従来の方法と比較した本発明による方法の強力な利点は、得られたビデオストリームの処理を容易にするために、ＧＰＵの能力を利用してブロックに対して解凍動作を実行することである。
【0064】
更に、本発明の意味におけるブロック圧縮は、テクスチャ、特にアトラスタイプのテクスチャの圧縮に特に適しており、ＪＰＥＧ及びＭＰＥＧ符号化で使用されるような画像圧縮よりもはるかに適している。
【0065】
しかしながら、本発明において考慮されるようなＧＰＵによって直接解釈可能なブロックは、差分によってブロックを修正することが不可能であるという事実のために圧縮することが困難である。
【0066】
従って、差分による圧縮に依存する従来の技術は適用できない。
【0067】
フレームの各グループに対して、テクスチャを低減する方法が、部分的テクスチャによる低減と呼ばれる以下の原法に従って、ステップ３０４の間に適用される。
【0068】
このステップでは、キーフレームに関連付けられたブロック及びフレームのグループのインターフレームに関連付けられたブロックの中から、キーフレームの合成テクスチャを形成することができる第１のブロックの第１のセット（２１０）と、インターフレームの近似テクスチャを形成するようにキーフレームの合成テクスチャを修正することができる第２のブロックの第２のセット（２２０）とがある。
【0069】
従って、フレームに関連付けられた各テクスチャのブロックの全てを完全に符号化する代わりに、各キーフレームの再構成されたテクスチャのブロックのみが完全に符号化されるが、インターフレームに関しては、著しく新しい情報を提供するのは符号化されたブロックのみである。
【0070】
この特徴により、圧縮中に符号化され、次いでビデオのオンライン視聴時に伝送及び復号されるテクスチャデータの量を大幅に削減することができる。
【0071】
インターフレームに対して符号化されたブロックは、許容可能な視覚品質を維持する必要がある場合に、各新しいフレームに対する反復によってキーフレームの合成テクスチャを修正するために使用される。
【0072】
図２Ｄは、この状況を示し、キーフレームの完全なテクスチャ、２５６個のブロックのセット２１０によって形成される完全なテクスチャ、及び当該キーフレームに対応するインターフレームの部分的なテクスチャを形成する９２個のブロックのセット２２０を有し、欠落ブロックは、再び符号化される必要がないようにキーフレームの欠落ブロックに十分に近いと考えられる。
【0073】
符号化されていないブロックの代わりに、視覚的品質に関する劣化が許容可能なままである限り、当該符号化されていないブロックにグラフィカルに近い既に符号化されたブロックが使用される。
【0074】
既に符号化されたブロックは、キーフレームのブロック、又はキーフレームのブロックの置換として既に存在する部分的テクスチャのブロックのいずれかであり、その結果、インターフレームのテクスチャに近いテクスチャが、連続する反復によってキーフレームのテクスチャを修正することによって得られる。
【0075】
【0076】
フレームのストリームからのデータは、フレームのグループからなり、各グループは、キーフレームと、それに続くインターフレームとを時間的に連続して含む。
【0077】
同じグループのフレームに関連付けられたテクスチャは、幾何学的追跡及び測光的追跡によるグループの定義自体の結果として自然に現れ、従って、複数回再符号化する必要がない共通の多数のブロックを有し、キーフレームの再構成されたテクスチャ及びインターフレームのために選択された特定のブロックの初期符号化で十分である。
【0078】
部分的テクスチャ低減の問題は、どのブロックがキーフレームのテクスチャのために使用されるべきか、及びどのブロックがフレームの各グループ内で更新を必要とするかを決定して、符号化されるべきブロックの数を最小化すると同時に、最終ビデオの許容可能な視覚品質を維持することである。
【0079】
所与のブロック位置について、以下で説明するように、ブロックごとに直接、又はブロックからブロックに対応する非圧縮テクスチャのいずれかで、各フレームのブロックの互いに対するグラフィック差分が、サブステップ３０４－１の間に評価される。
【0080】
Ｎｆ個のフレームのグループが考慮される場合、テクスチャ画像内の各画素ブロック位置について潜在的にＮｆ個の可能な変形が存在する。
【0081】
実際には、Ｎｆ個の異なるブロックＢ１～ＢＮｆが、フレームＦ１～ＦＮｆの間にそれぞれ同じ位置で互いに続き、考慮されるＮｆ個のフレームＦ１～ＦＮｆの間の所与のブロックの時間的変形として考慮され得る。
【0082】
説明のために、各々が非圧縮テクスチャＴｎｃ及び圧縮テクスチャＴｃに関連付けられたＮｆ個のフレームのシーケンスのグループを表す図５Ｃを参照し、ブロック１３１～ＢＮｆは、それぞれの圧縮テクスチャＴｃ内の当該同じ位置Ｐｏｓに対応し、画像（又は画素のセット）Ｉ１～ＩＮｆは、それぞれの非圧縮テクスチャＴｎｃ内の同じ位置に対応する。
【0083】
ブロックＢ１～ＢｎＦ及び画像Ｉ１～ＩＮｆは、同じ位置、同じ幾何学的形状及び同じ寸法の画素のセットからなる。
【0084】
ブロック間のグラフィカルな変動を評価するために、ピーク信号対ノイズ比（Peak Signal to Noise Ratio）を表すＰＳＮＲが、元の画像に対する圧縮された画像の再構成の品質を評価するためにデジタル撮像において一般に使用される。
【0085】
ブロックのグラフィカルな変動を評価する他の方法を使用することもでき、ＰＳＮＲは１つの可能性のみを表す。
【0086】
圧縮テクスチャＴｃの所与のブロック位置について、ＰＳＮＲは、それぞれのフレームＦ１～ＦＮｆのブロックＢ１～ＢＮｆと、同じグループの対応するフレームの非圧縮テクスチャの同じ位置の画像Ｉ１～ＩＮＦとの間で計算され、これは、実行されるべきＮｆｘＮｆ ＰＳＮＲ計算を与える。
【0087】
このようにして、考慮されるフレームのグループのブロックの各々に対して、グラフィック差分が、フレームのグループの他のブロックの全てに対して評価され、この場合、考慮されるブロックの非圧縮画像に対して評価される。
【0088】
ここでは、元の画像に対する符号化されたビデオの忠実度を保証するために非圧縮テクスチャを参照するが、所与のフレームの各ブロックと他のフレームの圧縮テクスチャの対応するブロックとの間のＰＳＮＲを計算することも可能である。
【0089】
ＰＳＮＲは、２つの画像、ここでは、ブロック圧縮ステップ中に定義されたブロックの画像である第１の画像と、非圧縮画像内のブロックに対応する画素のグループによって形成される画像である第２の画像との間の類似性のインジケーションを構成する。
【0090】
更に、ＰＳＮＲは対数目盛で表され、ＰＳＮＲの大きな値は、２つの画像間の著しい類似性を示す。
【0091】
あるフレームから別のフレームへのブロック間の差の振幅を、従って時間とともに、線形スケールで数値的に表すために、ステップ３０４－１において計算されたＮｆｘＮｆ ＰＳＮＲの各々について、ステップ３０４－２においてエラー値ＥｒｒＶａｌが計算される。
【0092】
ステップ３０４－３は、Ｎｆ個のフレームのグループ内の各ブロック位置について、それぞれがステップ３０４－２で計算されたエラー値ＥｒｒＶａｌのうちの１つからなるＮｆｘＮｆエントリを含む正方形の表４００を構築することにある。
【0093】
表４００の各行は、Ｎｆ個のフレームＦ１～ＦＮｆにわたる所与の位置ブロックの時間的変動の評価専用であり、ここでは、対応する非圧縮テクスチャ内のブロックに対応する画像Ｉ１～ＩｎＦを参照する。
【0094】
表４００の各列は、フレーム専用であり、フレームは、ボリュメトリックビデオストリームにおける出現順に分類され、Ｆ１～ＦＮと識別される。
【0095】
表のエントリは、以下のようにステップ３０４－２で計算されたエラー値ＥｒｒＶａｌをその中に挿入することによって埋められる。
【0096】
表４００の第ｐの行及び第ｑの列の座標（ｐ；ｑ）のエントリは、第ｐのフレームの圧縮されたテクスチャの所与の位置における第ｐのブロックと、第ｑのフレームＦｑに圧縮されていないテクスチャの当該所与の位置における画素のセットの画像Ｉｑとの間で計算されたエラー値ＥｒｒＶａｌ（Ｂｐ／Ｉｑ）に対応し、当該第ｐのブロックと当該画素のセットとの間のグラフィック差分の振幅を変換する。
【0097】
例えば、表の第１の行の第２のエントリは、第１のフレームＦ１に対する第１のブロックＢ１と、ブロックによる圧縮前の第２のフレームＦ２における非圧縮テクスチャ内の当該ブロックに対応する画素１２のセットとの間で計算されたエラー値ＥｒｒＶａｌ（Ｂ１／Ｉ２）に対応し、当該第１のブロックＢ１と対応する画素１２の当該セットとの間のグラフィック差分の振幅を変換する。
【0098】
表の対角線のエントリ（Ｂ１；Ｆ１）～（ＢＮｆ／ＦＮｆ）は、ブロックと、１つの同じフレームの非圧縮テクスチャの対応する画素グループとの間のグラフィック差分の振幅を変換し、ブロック圧縮ステップによって導入されたビデオ画質の劣化を示す。
【0099】
ビデオストリームを読み取る際に符号化され、次いで復号されるデータの量を最小限に抑えるために本発明者らによって定義された可能な手法は、フレーム内だけでなく、ブロックの所与の位置について同じグループのフレーム間でも、ステップ３０２のブロック圧縮によって導入されるエラーを示す表４００によってブロックの中から選択を行うことによって、符号化されるブロックの数を最小限に抑えることにある。
【0100】
この選択は、各水平変位に対するコスト、各垂直変位に対するコストを導入することによって、及び追跡される経路によって引き起こされる全体的なコストを最小化しようとすることによって、表内で、考慮されるグループの最初のフレームに対応する表の左への第１の列の任意のエントリから、考慮されるグループの最後のフレームに対応する右への最後の列の任意のエントリへ移動し、右に向かって又は垂直に（上方又は下方に）移動するための可能な限り低いコストを有する経路を決定することに相当する。
【0101】
水平変位中に、以前のフレームと呼ばれる対応するフレームへの変位の開始点に位置するブロックが符号化ブロックとして選択され、当該ブロックは、生成されるビデオストリーム内の中間ブロックを符号化することなく、個々の水平変位の連続後に後続のフレームと呼ばれる変位宛先に保持される。
【0102】
連続する画像を符号化するためにブロックが使用される場合、符号化された画像の視覚的品質は、当該ブロックを生成するために使用された画像から時間的に離れるにつれて劣化する傾向がある。
【0103】
従って、エラー値ＥｒｒＶａｌは、水平変位の長さとともに増加する傾向がある。
【0104】
従って、新しいフレームの画像を符号化するのにより適した新しいブロックの符号化に対応して、垂直変位を課すことによって水平変位の振幅を制限する必要があり、これは、視覚品質の観点からは好ましいが、ビデオストリームの視覚化中のデータ圧縮比、その伝送、及びその解凍の観点からは好ましくない。
【0105】
経路を最適化する１つの方法は、いくつかのフレームの画像を符号化するために同じブロックを再使用することによって引き起こされる視覚品質の劣化に第１のコストを割り当て、符号化されるデータ量の増加に対応する計算強度に第２のコストを割り当て、次に最小化経路を決定することであり、全体コストは第１のコストと第２のコストの合計を表す。
【0106】
最適経路は、従来のグラフ理論方法によって、例えば、表４００からプロットされた図４Ｂのグラフ４５０によって決定することができ、当該グラフは、ノード及び当該ノード間の可能な変位からなり、それらの目的及び優先順位に従って実行者によって定義されたパラメータ、ここでは上述のコストの関数として経路を決定することによって決定される。
【0107】
グラフ４５０の中心ノードは、Ｕｐ，ｑによって識別され、表４００の第ｐの列及び第ｑの行のエントリに対応する。
【0108】
グラフのノードＵｐ，ｑは、第ｑのフレームのテクスチャを符号化するために、第ｐのフレームのテクスチャにおいて考慮されるブロック位置からのブロックの使用に対応する。
【0109】
ノードは、表のエントリと同様に、Ｎｆ行及びＮｆ列に配置され、ダミー開始ノードＵｄは、表の第１の列のエントリＥｒｒＶａｌ（Ｂｌ／ＩＩ）からＥｒｒＶａｌ（ＢＦｎ／ＩＩ）に対応するノードの各々に行に沿って接続され、この例では、フレーム数Ｎｆは４に等しい。
【0110】
グラフ４５０において、各楕円はノードを表し、各矢印は２つのノード間の可能な変位を表す。
【0111】
グラフ内の可能な変位は、同じ行内では水平であり、同じ列内では垂直である。
【0112】
考えられる水平変位は、グラフ４００の実線矢印によって表されるように、考慮される変位のエンドノードに対応する表エントリの値ＥｒｒＶａｌに対応すると考えられる視覚劣化のコストに対して、所与のノードからその右にすぐ隣接するノードに実行される。
【0113】
可能な垂直変位は、ユーザによって定義された計算コストＣｃａｌｃに対して、点線の矢印によって表されるように、上下に、直接隣接しているか又は隣接していない２つのノード間で行われる。
【0114】
ここで、例えば、ノードＵ１，３からノードＵ１，４へ向かうコストはＥｒｒＶａｌ（Ｂ１／Ｉ４）であり、ノードＵ１，３からノードＵ３，３又はＵｎｏｄｅ３，４へ向かうコストはＣｃａｌｃである。
【0115】
グラフの形状及びその中の変位規則が定義され、探索される最適経路は、他の従来の方法の中でも、複数の相互接続されたノードからなるグラフの２点間の最短経路を決定するために一般に使用されるダイクストラアルゴリズムの実施によって決定することができ、これはグラフ４５０の場合である。
【0116】
全体のコストが最も低い最適経路は、許容可能なビデオ品質に適合して符号化されるデータ量の最小化を可能にする経路であると考えられる。
【0117】
ビデオ品質は、優先順位に依存する基準に従ってＣｃａｌｃコストを選択することによって実行者によって決定され、高いＣｃａｌｃコストは高い圧縮比を促進し、低いＣｃａｌｃコストは高い視覚品質をもたらし、中間のＣｃａｌｃコストは圧縮比と視覚品質との間の妥協をもたらす。
【0118】
従来の圧縮動作では、Ｃｃａｌｃコストは、好ましくは０．０００１程度、例えば０．００００１と０．００１の間であるか、又は例えばエラー値ＥｒｒＶａｌの平均値で初期化することができる。
【0119】
例えば、図５Ａは、ノードＵ２，１、Ｕ２，３、Ｕ４，３、及びＵ４，５を通過する最適経路Ｐｏｐｔを有し、従ってノードＵ２，３とＵ４，３との間の行の変化を含む、所与のブロック位置に対する５つのフレームのグループの特定の場合へのグラフ４５０の適用を示す。
【0120】
所与のブロック位置について、第２のフレームのブロックＢ２が符号化され、ビデオの符号化中に第１及び第２のフレームＦ１及びＦ２のために、すなわち、キーフレーム及び第１のインターフレームの合成テクスチャのために使用される。
【0121】
このブロックＢ２は、第１のフレームに対して既に符号化されているので、第２のフレームに対して再符号化する必要はない。
【0122】
第４のフレームのブロックＢ４は符号化され、フレーム３及び後続のフレームＦ３、Ｆ４及びＦ５のブロックＢ２を置き換える。
【0123】
ブロックＢ４は１回だけ符号化されるが、３個のフレームに対して使用される。
【0124】
実際的な観点から、実行者は、数十フレームまでを含むフレームのグループを処理することを期待することができる。
【0125】
上述のステップ３０４は、各フレームグループのインターフレームのテクスチャ内の所与のブロック位置のみに適用される。
【0126】
従って、当該ステップ３０４は、図３００のループＬによって示されるように、テクスチャ全体を符号化するために使用されるブロックを決定するために、各ブロック位置に適用されるように繰り返される。
【0127】
テストステップ３０６において、フレームがキーフレームＫＦであるかインターフレームＩＦであるかが決定される。
【0128】
ステップ３０８において、キーフレームに関連付けられた完全なテクスチャを符号化するために必要であり、各ブロック位置についてステップ３０４において決定されたブロックのセットが復元され、その結果、合成テクスチャが当該キーフレームについて形成され、エントロピー圧縮方法などの従来の圧縮方法が当該合成テクスチャに適用される。例えば、ハフマン符号化による。
【0129】
従って、各キーフレームに対して、完全な合成テクスチャは、上述したように、考慮されるキーフレームのフレームのグループの各フレームに関連付けられた異なるテクスチャのブロックを使用することによって符号化される。
【0130】
この点は、キーフレームに関連付けられたテクスチャが、隣接するフレームのテクスチャとは独立して、ブロックごとのその圧縮から生じるブロックと排他的に符号化される、従来のテクスチャの符号化に関する第１の相違点を表す。
【0131】
ステップ３１０では、ステップ３０４で決定された各インターフレームに対して新たに符号化されたブロックが、当該インターフレームに対して復元される。
【0132】
従って、各インターフレームに対して、当該フレームに対して符号化されるブロックからなる部分的なテクスチャのみが符号化され、任意選択で、後続のフレームに対しても符号化される。
【0133】
このようにして、キーフレームに関する完全なテクスチャの代わりに、このインターフレームのテクスチャのブロックの一部のみが符号化される。
【0134】
ブロックを送信する前に、場合によってはビデオストリーム内でストリーミングする前に、従来のエントロピー符号化方法によってブロックを圧縮することも有利である。
【0135】
従って、上で説明され、図２Ｄによって示されるように、各キーフレームの再構成されたテクスチャのブロックのみが完全に符号化されるが、インターフレームに関しては、符号化されるブロックのみが著しく新しい情報を提供するブロックである。
【0136】
これらの特徴は、より少ないブロックがビデオストリームの読み出し中に符号化され、次いで送信され、復号されなければならないので、圧縮比のかなりの改善及びビデオの読み出し中の計算の節約をもたらす。
メッシュの圧縮
メッシュの圧縮
【0137】
先行するステップの終わりに、各フレームは、メッシュデータＴ及びメッシュデータＭを含むボリュメトリックビデオデータのストリーム１７２内のそれに固有のメッシュに関連付けられ、基準メッシュは、各キーフレームに関連付けられ、情報は、所与のフレームグループ内の各インターフレームについての基準メッシュの修正に関する。
【0138】
テストのステップ３０１において、入力データがメッシュデータＭであるかテクスチャデータＴであるかが決定される。
【0139】
ステップ３５０において、従来の圧縮方法が、メッシュデータＭにおいて検索された各メッシュに適用され、占有メモリの削減のために、メッシュを定義する点の座標と、値のサブセットに関連付けられたテクスチャの座標とを離散化することからなる。
【0140】
テストステップ３５２において、所与のメッシュがキーフレーム又はインターフレームに関連付けられているかどうかが判定される。
【0141】
ステップ３５４において、キーフレームのメッシュを表す情報に圧縮方法が適用され、サブステップ３５４－１、３５４－２、及び３５４－３を含み、各々は、全体としてキーフレームのメッシュを定義する特定のタイプのデータに適合される。
【0142】
ステップ３５４－１において、キーフレームの三角形を表す情報は、例えばＪ．Ｒｏｓｓｉｇｎａｃ，「Ｅｄｇｅｂｒｅａｋｅｒ；Ｃｏｎｎｅｃｔｉｖｉｔｙ ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ ｔｒｉａｎｇｌｅ ｍｅｓｈｅｓ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，Ｖｏｌ．５，Ｎｏ．１，ｐｐ．４７－６１．から知られている”Ｅｄｇｅｂｒｅａｋｅｒ”アルゴリズムを用いて圧縮される。
【0143】
ステップ３５４－２において、キーフレームの点又は頂点を表す情報は、例えば参考文献Ｃ．Ｔｏｕｍａ ａｎｄ Ｃ．Ｇｏｔｓｍａｎ，Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｃｏｍｐｒｅｓｓｉｏｎ，Ｐｒｏｃｅｅｄｉｎｇｓ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｆａｃｅ ９８，ｐｐ．２６－３４，１９９８に説明されているように、既知の方法に従って予測アルゴリズムを適用することによって圧縮される。
【0144】
ステップ３５４－３において、キーフレームの三角形のテクスチャ座標を表す情報は、線形選択予測アルゴリズムによって圧縮され、これは、例えば、Ｉｓｅｎｂｕｒｇ，Ｍ及びＳｎｏｙｅｉｎｋ，Ｊ．による「Ｃｏｍｐｒｅｓｓｉｎｇ ｔｅｘｔｕｒｅ ｃｏｏｒｄｉｎａｔｅｓ ｗｉｔｈ ｓｅｌｅｃｔｉｖｅ ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ ２００３に記載されている。
【0145】
当該「線形選択予測」アルゴリズムは、テクスチャ座標を点（頂点）ごとに符号化するのに対して、テクスチャ座標は通常三角形ごとに符号化され、これにより数が減少し、より良好な圧縮並びに復号中の計算の最適化が可能になる。
【0146】
ステップ３５６において、圧縮方法は、差分符号化によって、インターフレームの点又は頂点を表す情報に適用される。
【0147】
フレームのグループ内で、インターフレームの三角形及びテクスチャの座標は、対応するキーフレームのものと同じであり、従って、それらの差は、フレームの各グループ内で０であり、当該情報は再符号化される必要がない。
【0148】
差分符号化の原理に従って、フレームごとに変動し得る点の位置に関する情報のみが符号化される必要があり、フレーム間の変化のみが符号化される。
【0149】
差分符号化は、デルタ又はデルタ符号化とも呼ばれ、一連の連続するデータ差によってデータを変換することからなる可逆データ圧縮技術である。この場合、特に効果的な技術である。
【0150】
ステップ３５８において、ステップ３５４－１～３５４－３及び３５６の間に圧縮された情報は、今度はエントロピー計算アルゴリズムによって再び圧縮される。
【0151】
特に、ＦＳＥ（Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｅｎｔｒｏｐｙ）等の算術圧縮によりエントロピー計算を行うことが好ましく、処理するデータの種類に対して優れた圧縮率を得ることができる。
【0152】
ステップ３５４－１～３５４－３、３５６及び３５８が、個別に行われ、当業者に既に知られている場合であっても、本明細書で説明するそれらの組合せは新規であり、オンラインで見ることができる圧縮ビデオストリームを取得する光学の分野における従来の方法の知られている組合せよりも優れた結果をもたらすことに留意されたい。
【0153】
実際、メッシュに関連するビデオデータは、本発明に従って圧縮された場合、従来の計算システムによってリアルタイムで容易に復号することができる。
【0154】
ステップ３６０において、ステップ３０８、３１０及び３５８から得られたデータストリームは、コンピュータネットワークを介して視聴するためにストリーミングモードで復号することができるビデオファイルに結合される。
復号
復号
【0155】
ステップ３６０のビデオファイルの形で記憶されたビデオのストリーミング中、フレームを表す情報は、図６の図に従って、圧縮データストリーム６０２の形でユーザのコンピュータシステムに到着するときに、コンピュータネットワークを介して送信され、順次復号される。
【0156】
各フレームを表すデータは、ビデオストリーム内のそれぞれのフレームの順序に従って順次到着し、この順序で復号され、テクスチャデータＴ及びメッシュデータＭが分離される。
【0157】
フレームは、図においてそれぞれＫＦ及びＩＦとして識別されるキーフレーム及びインターフレームを含み、それぞれメッシュ及びテクスチャを表す情報に対する復号されるべき情報項目Ｍ及びＴを表す。
【0158】
テストステップ６０４の間、メッシュ及びテクスチャを表すデータがそれぞれ識別され、続いて別々に復号される。
【0159】
ステップ６１０において、テクスチャＴを表すデータがエントロピー復号される。
【0160】
テストステップ６１２の間、キーフレームＫＦ及びインターフレームＩＦにそれぞれ対応する、ステップ６１０の復号データが識別される。
【0161】
キーフレームＫＦのテクスチャを表すデータは、常に圧縮フォーマットであるので、追加の処理を必要とせず、ステップ３０２のブロック圧縮であり、従来のグラフィックス処理ユニットによって直接その生成物を処理することが可能である。
【0162】
しかしながら、ステップ６１４の間、他のフレームのデータに依存するインターフレームＩＦのテクスチャを表すデータは、先行するフレームのデータを再び取得し、ステップ３１０に続いて新しいブロックが符号化されたブロックからのデータを対応する新しいブロックで置き換えることによってそれらを修正するように処理される。
【0163】
これは、簡単で非常に高速な動作の計算上の観点である。
【0164】
ステップ６２０において、メッシュＭを表すデータは、まず、非常に高速な実行のために従来のアルゴリズムに従って実行されるＦＳＥによるエントロピー符号化の復号を受ける。
【0165】
テストステップ６２２において、キーフレームＫＦ及びインターフレームＩＦにそれぞれ対応するデータが識別される。
【0166】
ステップ６２４の間、ステップ３５４－１、３５４－２及び３５４－３に続いて得られたキーフレームＫＦのメッシュを表すデータＭは、当該データに対して使用される圧縮のタイプ（予測又はＥｄｇｅｂｒｅａｋｅｒ）に関して迅速に、従来の方法に従って他のフレームのデータとは独立して復号される。
【0167】
ステップ６２６の間、ステップ３５４の後に取得され、それぞれが依存するキーフレームＫＦの以前に復号されたデータに依存する、インターフレームＩＦのメッシュＭを表すデータは、頂点の位置に対するデルタ圧縮のみであるため、従来の非常に迅速な方法に従って復号される。
【0168】
ステップ６２８において、ステップ６２４及び６２６からのメッシュデータの逆量子化が、従来の方法に従って実行される。
【0169】
最後に、動作６１０、６１４及び６２８に続いて得られたデータは、ビデオの表示６３０を進めるために、従来の方法でデータ処理ユニット及び／又はグラフィックス処理ユニットによって処理される。
【0170】
ビデオデータを符号化するために使用される特定の方法によって、データの重み及び復号速度が実質的に改善され、復号は従来の計算ユニットによって実施することができる。
【0171】
本発明は、上記に開示された実施形態に限定されず、本発明の範囲から逸脱することなく修正を受けることができ、組み合わせることができることは言うまでもない。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図6】
【手続補正書】
【提出日】2022-12-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のフレーム（Ｆ）によって表される３次元アクションシーン（１２５）のボリュメトリックビデオストリーム（１７２）を圧縮する方法（３００）であって、前記方法はコンピュータによって実施され、それに従って、前記シーン（１２５）の各フレームについてメッシュ（Ｍ）及びテクスチャ（Ｔ）が生成され、キーフレーム（ＫＦ）及びインターフレーム（ＩＦ）からなるフレームのグループ（ＦＧｒ１、ＦＧｒ２、ＦＧｒ３）各々が定義され、その前記メッシュは、対応する前記キーフレームの前記メッシュに対して定義され、前記方法は、前記テクスチャを表す情報を圧縮するステップを含み、前記テクスチャ圧縮ステップは、各フレームグループについて、－同じサイズのピクセルのブロックによって前記テクスチャの符号化を生成し、各符号化されたブロックは他のブロックから独立しており、前記圧縮方法はＤＸＴ、ＡＳＴＣ又はＰＶＲＴＣなどの標準アルゴリズムに従って従来のグラフィックス処理ユニットによって直接使用可能なブロックを形成することができるブロック圧縮方法に従って、前記グループの前記フレームの各々の前記テクスチャを表す前記情報を圧縮し（３０２）、従って、従来のグラフィックス処理ユニットによって直接使用可能な画素のブロック（Ｂ１、Ｂ２、Ｂ３、ＢＮｆ）を定義し、前記キーフレームに関連付けられたブロックと、前記インターフレームの各々にそれぞれ関連付けられたブロックとを含むステップと、
－前記キーフレームに関連付けられた前記ブロック及び前記インターフレームに関連付けられたブロックから、一方では、前記キーフレームの合成テクスチャを形成することができる第１のブロック（２１０）を、他方では、ブロックの反復置換によって、前記インターフレームの近似テクスチャを形成するように第２のブロック（２２０）を前記合成テクスチャにコピーすることにより前記キーフレームの前記合成テクスチャを修正することができる第２のブロック（２２０）を、決定するステップ（３０４）と、
－前記キーフレームに関連付けられた第１のブロック及び前記インターフレームに関連付けられた第１のブロックから、前記フレームのグループの前記キーフレームの合成テクスチャを形成し、前記合成テクスチャを符号化するステップ（３０８）と、
前記キーフレーム及び前記第２のブロックの前記合成テクスチャに基づいて、前記インターフレームの前記テクスチャを符号化するステップ（３１０）と、を含むことを特徴とする、方法。
【請求項2】
前記キーフレームの前記合成テクスチャ及び前記インターフレームの前記テクスチャを符号化する前記ステップは、エントロピー符号化による圧縮を含む、請求項１に記載の方法。
【請求項3】
前記第１のブロック及び前記第２のブロックを決定する前記ステップは、互いに対して所与の位置のフレームのグループの前記ブロックの輝度又はクロミナンスの差分に基づいて量子化されたグラフィック差分（ＥｒｒＶａｌ（Ｂ１／Ｉ１）ｔｏ ＥｒｒＶａｌ（ＢＮｆ／ＩＮｆ））を評価するステップ（３０４－１、３０４－２）を含み、評価する前記ステップは、前記フレームのグループの２つの考慮されるブロック間のＰＳＮＲ（ピーク信号対ノイズ比）の計算などの計算に基づき、前記ブロックの各々はそれぞれのフレームに属し、前記フレームのグループの前記ブロックの各々について、前記フレームのグループの他のブロックに対してこの計算を繰り返すことによって、考慮される前記２つのブロック間のグラフィック変動を各々表す番号が得られる、請求項１又は２に記載の方法。
【請求項4】
前記フレームのグループの前記ブロックの各々について、前記グラフィック差分は、前記フレームのグループの他のブロックの全てに対して評価される、請求項３に記載の方法。
【請求項5】
前記第１のブロック及び前記第２のブロックを決定する前記ステップは、第ｐ及び第ｑの列に従ってＵｐ、ｑ（Ｕ１、１からＵ４、４）によって識別される相互接続されたノードを含むグラフ（４５０）を構築するステップであって、各行は、前記フレームのグループの前記フレーム内の所与の位置のブロック間の輝度又はクロミナンスの差分に基づいて量子化された前記グラフィック差分の振幅の評価に専用であり、従って、経時的に、各列は、前記フレームのグループのフレームに専用であり、前記フレームは、前記ボリュメトリックビデオストリームにおけるそれらの出現順序で分類され、各ノードは、前記第ｑのフレームの前記テクスチャを符号化するための前記第ｐのフレームの前記テクスチャ内の前記考慮されるブロックの前記位置のブロックの前記使用に対応し、前記量子化されたグラフィック差分は、２つのノード（Ｕ１、１、Ｕ１、２）間の線に沿った単位変位のコスト（ＥｒｒＶａｌ（Ｂ１／Ｉ２））であって、前記変位コストは、所与の位置のフレームのグループの２つのブロック間の前記量子化されたグラフィック変動を表す、単位変位のコスト（ＥｒｒＶａｌ（Ｂ１／Ｉ２））と、計算コスト（Ｃｃａｌｃ）であって、ユーザによって定義され、列（Ｕ１、３、Ｕ２、３、Ｕ３、３、Ｕ４、３、Ｕ５、３）に従って前記変位に割り当てられる方法の圧縮比を決定する、計算コスト（Ｃｃａｌｃ）と、に割り当てられる、ステップと、
－このグラフにおいて最低コスト経路（Ｐｏｐｔ）を決定するステップであって、各経路は、前記第１のブロック（Ｂ２）のうちの１つに関連付けられた列において開始し、各変位は、前記第２のブロック（Ｂ４）のうちの１つに関連付けられた列に従い、前記最低コストは、同じ行上の２つのノード間の各変位のコスト（ＥｒｒＶａｌ（Ｂ１／Ｉ２））と、１つの同じ列上の２つのノード間の各変位のコスト（Ｃｃａｌｃ）との和に等しく、前記経路は、同じ行上の２つのノード間の各前記変位と、同じ列上の２つのノード間の各前記変位とから構成される、ステップと、を更に含む、請求項３又は４に記載の方法。
【請求項6】
経路を決定する前記ステップは、ダイクストラアルゴリズムを実施する、請求項５に記載の方法。
【請求項7】
前記メッシュを表す前記情報を圧縮するステップであって、－前記メッシュを表す前記情報を量子化によって圧縮するステップ（３５０）と、
－前記量子化されたメッシュを表す前記情報を、圧縮方法に従って圧縮するステップ（３５４）であって、
－Ｅｄｇｅｂｒｅａｋｅｒアルゴリズムに従って、前記キーフレームの前記メッシュの三角形を表す前記情報を圧縮するステップ（３５４－１）と、
－予測アルゴリズムに従って、前記キーフレームの前記メッシュの点を表す情報を圧縮するステップ（３５４－２）と、
－線形選択予測アルゴリズムに従って、前記キーフレームのテクスチャ座標を表す情報を圧縮するステップ（３５４－３）と、
－差分符号化によってインターフレームメッシュの点を表す情報を圧縮するステップ（３５６）と、
エントロピー計算アルゴリズムによって、前記キーフレームの前記メッシュの前記点、前記三角形、及び前記テクスチャ座標を表す前記圧縮された情報、並びに前記インターフレームの前記メッシュの前記点を表す前記情報を圧縮するステップ（３５８）と、を含む、ステップと、を含む、ステップを更に含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
請求項１から７のいずれか一項に記載の方法のステップを実行する手段を備えるデータ処理システム。
【請求項9】
命令を含むコンピュータプログラムであって、前記命令は、前記プログラムがコンピュータによって実行されると、前記コンピュータに、請求項１から７のいずれか一項に記載の方法のステップを実施させる、コンピュータプログラム。
【請求項10】
命令を含むコンピュータ可読媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータに、請求項１から７のいずれか一項に記載の方法のステップを実施させる、コンピュータ可読媒体。
【国際調査報告】