2025-510260 パッチメッシュ接続コーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-04-14

(54)【発明の名称】パッチメッシュ接続コーディング

(51)【国際特許分類】

   H04N 19/463 20140101AFI20250404BHJP

   H04N 19/20 20140101ALI20250404BHJP

【ＦＩ】

H04N19/463

H04N19/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024556764

(86)(22)【出願日】2023-03-06

(85)【翻訳文提出日】2024-09-25

(86)【国際出願番号】 IB2023052103

(87)【国際公開番号】W WO2023180840

(87)【国際公開日】2023-09-28

(31)【優先権主張番号】63/269,905

(32)【優先日】2022-03-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/987,833

(32)【優先日】2022-11-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】504257564

【氏名又は名称】ソニー コーポレイション オブ アメリカ

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】グラツィオージ ダニーロ

(72)【発明者】

【氏名】ザゲットー アレクサンドレ

(72)【発明者】

【氏名】タバタバイ アリ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA00

5C159MB18

5C159PP12

5C159RC12

5C159RC40

5C159UA02

5C159UA05

(57)【要約】

メッシュ表面パッチの接続情報及びマッピング情報は、２Ｄへの投影後に符号化することができる。接続情報に関しては、投影動作によって頂点間の接続が変更されることはないため、接続された頂点の同じリストをアトラスデータで搬送することができる。同様に、マッピング情報は投影後に変更されず、アトラスデータで搬送することができる。接続情報及びマッピング情報を符号化するための２つの方法を開示する。接続情報の場合、ビデオベースの方法は、隣接するカラーコーディングを使用する。マッピング座標の場合、方法は投影された頂点の位置を使用する。接続及びマッピングは、外部メッシュエンコーダによって処理することもできる。新しく提案されたマッピング情報を利用して、時間的圧縮を実行することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

接続情報及びマッピング情報を符号化する方法であって、
ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化するステップと、
頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化するステップと、
を含むことを特徴とする方法。

【請求項2】

前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するステップを更に含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記頂点マッピング情報を符号化するステップ及び前記パッチ接続情報を符号化するステップは、外部エンコーダによって実行されることを特徴とする、請求項１に記載の方法。

【請求項4】

前記パッチ接続情報を符号化するステップは、占有マップでカラーコーディング（ｃｏｌｏｒ ｃｏｄｉｎｇ）を使用することを含むことを特徴とする、請求項１に記載の方法。

【請求項5】

前記占有マップでカラーコーディングを使用することは、最大４色に制限されることを特徴とする、請求項４に記載の方法。

【請求項6】

前記頂点マッピング情報を符号化するステップは、レート歪み面送信（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ ｆａｃｅ ｔｒａｎｓｍｉｓｓｉｏｎ）を使用することを更に含むことを特徴とする、請求項１に記載の方法。

【請求項7】

メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含むことを特徴とする、請求項１に記載の方法。

【請求項8】

前記内部頂点は、前のフレームからの以前の内部頂点のセットに基づいて決定されることを特徴とする、請求項７に記載の方法。

【請求項9】

装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化することと、
頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化することと、
を行うためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。

【請求項10】

前記アプリケーションは、前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するように更に構成されることを特徴とする、請求項９に記載の装置。

【請求項11】

前記頂点マッピング情報を符号化すること及び前記パッチ接続情報を符号化することは、外部エンコーダによって実行されることを特徴とする、請求項９に記載の装置。

【請求項12】

前記パッチ接続情報を符号化することは、占有マップでカラーコーディングを使用することを含むことを特徴とする、請求項９に記載の装置。

【請求項13】

前記占有マップでカラーコーディングを使用することは、最大４色に制限されることを特徴とする、請求項１２に記載の装置。

【請求項14】

前記頂点マッピング情報を符号化することは、レート歪み面送信を使用することを更に含むことを特徴とする、請求項９に記載の装置。

【請求項15】

メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含むことを特徴とする、請求項９に記載の装置。

【請求項16】

前記内部頂点は、前のフレームからの以前の内部頂点のセットに基づいて決定されることを特徴とする、請求項１５に記載の装置。

【請求項17】

システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
前記３次元コンテンツを符号化するためのエンコーダであって、前記符号化は、
ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化することと、
頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化することと、
を含む、エンコーダと、
前記符号化された３次元コンテンツを復号するためのデコーダであって、前記復号は、
前記デルタ情報を使用してメッシュを調整することと、
前のフレームの以前の内部頂点から前記パッチ接続情報の内部頂点を決定することと、
を含む、デコーダと、
を含むことを特徴とするシステム。

【請求項18】

前記エンコーダは、前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するように更に構成されることを特徴とする、請求項１７に記載のシステム。

【請求項19】

前記頂点マッピング情報を符号化すること及び前記パッチ接続情報を符号化することは、外部エンコーダによって実行されることを特徴とする、請求項１７に記載のシステム。

【請求項20】

前記パッチ接続情報を符号化することは、占有マップでカラーコーディングを使用することを含むことを特徴とする、請求項１７に記載のシステム。

【請求項21】

前記占有マップでカラーコーディングを使用することは、最大４色に制限されることを特徴とする、請求項２０に記載のシステム。

【請求項22】

前記頂点マッピング情報を符号化することは、レート歪み面送信を使用することを更に含むことを特徴とする、請求項１７に記載のシステム。

【請求項23】

メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含むことを特徴とする、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
本出願は、２０２２年３月２５日に出願された「パッチメッシュ接続コーディング（ＰＡＴＣＨ ＭＥＳＨ ＣＯＮＮＥＣＴＩＶＩＴＹ ＣＯＤＩＮＧ）」という名称の米国仮特許出願第６３／２６９，９０５号の米国特許法第１１９条に基づく優先権を主張するものであり、この出願は、全ての目的に対してその全体が引用により本明細書に組み込まれる。

【0002】

本発明は、３次元グラフィックスに関する。より具体的には、本発明は、３次元グラフィックスのコーディングに関する。

【背景技術】

【0003】

近年、３Ｄから２Ｄへの投影に基づいて、ポイントクラウドなどのボリュームコンテンツを圧縮する新しい方法が標準化されつつある。Ｖ３Ｃ（視覚ボリュームビデオベースの圧縮）としても知られるこの方法は、３Ｄボリュームデータをいくつかの２Ｄパッチにマッピングし、更にパッチをアトラス画像に配置し、その後、ビデオエンコーダで符号化する。アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びポイントクラウド再構築のためにどの位置を考慮すべきかを示す占有マップに対応する。

【0004】

２０１７年、ＭＰＥＧは、ポイントクラウドの圧縮のための提案募集（ＣｆＰ）を実施した。いくつかの提案の評価の後、現在、ＭＰＥＧは、ポイントクラウド圧縮のための２つの異なる技術、すなわち、３Ｄネイティブコーディング技術（オクツリー及び同様のコーディング方法に基づく）、又は３Ｄから２Ｄへの投影後に従来のビデオコーディングを行うことを検討している。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄから２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダによる２Ｄ画像のコーディングに基づいて、テストモデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブ３Ｄコーディングよりも効率的であることが判明しており、許容できる品質で競争力のあるビットレートを実現することができる。

【0005】

投影ベースの方法（ビデオベースの方法、又はＶ－ＰＣＣとしても知られる）による３Ｄポイントクラウドのコーディングが成功したため、この標準の将来のバージョンでは、３Ｄメッシュなどの更なる３Ｄデータを含むことが予想される。しかしながら、この標準の現在のバージョンは、接続されていないポイントのセットの送信にのみ適しているため、３Ｄメッシュ圧縮で必要とされるようなポイントの接続を送信する機構がない。

【0006】

Ｖ－ＰＣＣの機能をメッシュに拡張するための方法も提案されている。１つの可能な方法は、Ｖ－ＰＣＣを使用して頂点を符号化し、次に、ＴＦＡＮ又はＥｄｇｅｂｒｅａｋｅｒなどのメッシュ圧縮方法を使用して接続を符号化することである。この方法の制限は、頂点から生成されるポイントクラウドがまばらではなく、投影後に効率的に符号化することができるように、元のメッシュが高密度である必要があることである。更に、頂点の順序は接続のコーディングに影響を及ぼすため、メッシュの接続を再編成するための異なる方法が提案されている。まばらなメッシュを符号化するための代替の方法は、ＲＡＷパッチデータを使用して、３Ｄにおける頂点位置を符号化することである。ＲＡＷパッチは（ｘ，ｙ，ｚ）を直接符号化するので、この方法では、全ての頂点はＲＡＷデータとして符号化され、一方、接続は、前述のように、同様のメッシュ圧縮方法によって符号化される。ＲＡＷパッチにおいて、頂点は任意の好ましい順序で送信することができるため、接続符号化から生成される順序を使用することができることに留意されたい。この方法は、まばらなポイントクラウドを符号化することができるが、ＲＡＷパッチは、３Ｄデータを符号化するのに効率的ではなく、この方法から、三角形の面の属性などの更なるデータが欠落している場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

メッシュ表面パッチの接続情報及びマッピング情報は、２Ｄへの投影後に符号化することができる。接続情報に関しては、投影動作によって頂点間の接続が変更されることはないため、接続された頂点の同じリストをアトラスデータで搬送することができる。同様に、マッピング情報は投影後に変更されず、アトラスデータで搬送することができる。接続情報及びマッピング情報を符号化するための２つの方法を開示する。接続情報の場合、ビデオベースの方法は、隣接するカラーコーディングを使用する。マッピング座標の場合、方法は投影された頂点の位置を使用する。接続及びマッピングは、外部メッシュエンコーダによって処理することもできる。新しく提案されたマッピング情報を利用して、時間的圧縮を実行することができる。

【課題を解決するための手段】

【0008】

１つの態様では、接続情報及びマッピング情報を符号化する方法は、ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化するステップと、頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化するステップと、を含む。前記方法は、前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するステップを更に含む。前記頂点マッピング情報を符号化するステップ及び前記パッチ接続情報を符号化するステップは、外部エンコーダによって実行される。前記パッチ接続情報を符号化するステップは、占有マップでカラーコーディング（ｃｏｌｏｒ ｃｏｄｉｎｇ）を使用することを含む。前記占有マップでカラーコーディングを使用することは、最大４色に制限される。前記頂点マッピング情報を符号化するステップは、レート歪み面送信（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ ｆａｃｅ ｔｒａｎｓｍｉｓｓｉｏｎ）を使用することを更に含む。メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含む。前記内部頂点は、前のフレームからの以前の内部頂点のセットに基づいて決定される。

【0009】

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化することと、頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化することと、を行うためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記アプリケーションは、前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するように更に構成される。前記頂点マッピング情報を符号化すること及び前記パッチ接続情報を符号化することは、外部エンコーダによって実行される。前記パッチ接続情報を符号化することは、占有マップでカラーコーディングを使用することを含む。前記占有マップでカラーコーディングを使用することは、最大４色に制限される。前記頂点マッピング情報を符号化することは、レート歪み面送信を使用することを更に含む。メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含む。前記内部頂点は、前のフレームからの以前の内部頂点のセットに基づいて決定される。

【0010】

別の態様では、システムは、３次元コンテンツを取得するための１又は２以上のカメラと、前記３次元コンテンツを符号化するためのエンコーダであって、前記符号化は、ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化することと、頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化することと、を含む、エンコーダと、前記符号化された３次元コンテンツを復号するためのデコーダであって、前記復号は、前記デルタ情報を使用してメッシュを調整することと、前のフレームの以前の内部頂点から前記パッチ接続情報の内部頂点を決定することと、を含む、デコーダと、を含む。前記エンコーダは、前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するように更に構成される。前記頂点マッピング情報を符号化すること及び前記パッチ接続情報を符号化することは、外部エンコーダによって実行される。前記パッチ接続情報を符号化することは、占有マップでカラーコーディングを使用することを含む。前記占有マップでカラーコーディングを使用することは、最大４色に制限される。前記頂点マッピング情報を符号化することは、レート歪み面送信を使用することを更に含む。メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含む。

【図面の簡単な説明】

【0011】

【図1】いくつかの実施形態によるバイナリ符号化の図である。

【図2】いくつかの実施形態による占有マップを使用するカラーコーディングの図である。

【図3】いくつかの実施形態によるＲＤ面送信の図である。

【図4】いくつかの実施形態によるメッシュ接続の時間的安定性の図である。

【図5】いくつかの実施形態によるパッチメッシュ接続コーディングの方法のフローチャートである。

【図6】いくつかの実施形態によるパッチメッシュ接続コーディング方法を実装するように構成される例示的なコンピュータ装置のブロック図である。

【発明を実施するための形態】

【0012】

メッシュ表面パッチの接続情報及びマッピング情報は、２Ｄへの投影後に符号化することができる。接続情報に関しては、投影動作によって頂点間の接続が変更されることはないため、接続された頂点の同じリストをアトラスデータで搬送することができる。同様に、マッピング情報は投影後に変更されず、アトラスデータで搬送することができる。接続情報及びマッピング情報を符号化するための２つの方法を開示する。接続情報の場合、ビデオベースの方法は、隣接するカラーコーディングを使用する。マッピング座標の場合、方法は投影された頂点の位置を使用する。接続及びマッピングは、外部メッシュエンコーダによって処理することもできる。新しく提案されたマッピング情報を利用して、時間的圧縮を実行することができる。

【0013】

接続情報は、どのピクセルが接続されているかを示す。三角形には情報セットがある。情報セットの１つは、テクスチャマップ上の三角形の位置である。テクスチャマップ上の各三角形には、１）３Ｄで頂点がどのように接続されているか（例えば、接続リスト）、及び２）頂点マッピング情報という２つの情報セットがある。

【0014】

頂点マッピング情報を符号化する方法には、暗黙的、明示的、バイナリの３つがある。暗黙的実装の場合、２Ｄ表面に投影すると、投影はマッピングと同じになる。例えば、投影表面に投影する時にヒットする場所は、ＵＶ座標である。明示的実装の場合、投影が実行されても、テクスチャには異なる座標が送信される。バイナリ実装の場合、明示的情報は外部エンコーダ（例えば、Ｄｒａｃｏ又はＡＦＸ）で符号化される。

【0015】

明示的実装の更新された構文を示す。
AtlasPatch2dPosX = mpdu_vertex_pos_x[tileID][patchIdx][I]
AtlasPatch2dPosY = mpdu_vertex_pos_y[tileID][patchIdx][I]
if (asps_mesh_uv_coordinates_present_flag)
mappingU = (mpdu_vertex_u_coord[tileID][patchIdx][i]) / 2^{asps_mesh_coordinates_bit_depth_minus1+1}-1
mappingV = (mpdu_vertex_v_coord[tileID][patchIdx][i]) / 2^{asps_mesh_coordinates_bit_depth_minus1+1}-1
else
mappingU = AtlasPatch2dPosX
mappingV = AtlasPatch2dPosY
頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信することができる。情報が明示的に送信される場合、値はビット深度によってスケーリングされる。

【0016】

バイナリコーディングが実装されている場合、外部メッシュエンコーダを使用して、パッチメッシュ情報を符号化することができる。Ｕ及びＶはプライ（ｐｌｙ）に追加され、頂点マッピング情報はプライと共に符号化される。いくつかの実施形態では、ｚ座標のデルタ情報が追加される。デルタ情報は、ジオメトリ補正に使用することができる。

【0017】

パッチ接続情報を符号化する方法は多数ある。明示的実装では、どのピクセルが接続されているかが構文で示されるため、ピクセル接続のリストがパッチで送信される。バイナリ実装では、外部エンコーダを利用することができる。別の実装では、頂点の位置を時間にわたって固定することによって、メッシュの簡略化を実行することができる。カラーコーディング実装では、占有マップを使用するカラーコーディングが実装される。三角形は、４色のみを使用してマッピングすることができる。別の実装では、レート歪み（ＲＤ）面送信が利用される。

【0018】

図１に、いくつかの実施形態によるバイナリ符号化の図を示す。ジオメトリ画像を使用して、マップ１００を生成する。ビデオ符号化によって修正することができる情報がまだいくつか存在する。デルタ情報を外部エンコーダに明示的に送信することによって、ビデオ送信からのエラーを修正しながらバイナリ画像を生成することができる。ビデオ圧縮に役立つＵＶ座標も送信される。いくつかの実施形態では、外部メッシュエンコーダを使用して、パッチメッシュ情報を符号化する。

【0019】

図２に、いくつかの実施形態による占有マップを使用するカラーコーディングの図を示す。三角形のインデックスのマッピングは、４色のみを使用することができる。図はグレースケールであるため、一部の色、エッジ、及び頂点を区別するのが難しい場合があるが、使用されているのは４色のみであり、１つの色の三角形は、同じ色の三角形とエッジを共有しない。占有マップには、輝度チャネルのみを使用して接続情報が追加される（４色－＞（０，０，０）、（６４，０，０）、（１２８，０，０）、（２５５，０，０））。カラーコーディング及びメッシュ圧縮に関する更なる詳細は、２０２１年５月１７日に出願された「ビデオベースのメッシュ圧縮（ＶＩＤＥＯ ＢＡＳＥＤ ＭＥＳＨ ＣＯＭＰＲＥＳＳＩＯＮ）」という名称の米国特許出願第１７／３２２，６６２号、２０２０年１０月７日に出願された「ビデオベースのメッシュ圧縮」という名称の米国仮特許出願第６３／０８８，７０５号、及び２０２０年１０月６日に出願された「ビデオベースのメッシュ圧縮」という名称の米国仮特許出願第６３／０８７，９５８号に見出すことができ、いずれも全ての目的に対してその全体が引用により本明細書に組み込まれる。３Ｄメッシュ又は２Ｄパッチメッシュの接続は、占有マップを使用し、ビデオベースのメッシュ圧縮を利用して時間的相関関係を利用して符号化することができる。更に、頂点はカラーマップ２００を使用して検出することができ、三角形の交差は色に基づいて検出することができる。

【0020】

図３に、いくつかの実施形態によるＲＤ面送信の図を示す。メッシュが受信／取得される（３００）。メッシュ接続ポイントは、エンコーダによって符号化される（３０２）。デコーダ側では、メッシュが再構築される（３０４）が、ポイントの位置は元のメッシュとは若干異なる場合がある。補正情報（例えば、デルタ情報）がデコーダに送信されるため、デコーダはメッシュを調整して（３０６）、元のメッシュと比較してより正確になるようにすることができる。

【0021】

入力メッシュの頂点は、Ｖ－ＰＣＣで符号化され、ローカルに復号される。エンコーダは、復号されたポイントクラウドからメッシュを生成する。エンコーダは、生成された面／接続情報を元の情報と比較する。エンコーダは、レート／歪みのトレードオフを組み込んだ一致しない面を通知する。デコーダは、Ｖ－ＰＣＣを使用してメッシュの頂点を復号し、復号された頂点からメッシュを生成する。デコーダは、通知された一致しない面を使用してメッシュを修正する。いくつかの実施形態では、３Ｄの代わりに、２Ｄ三角測量法を使用してＵＶ座標及びその接続をコード化する同様の手法を適用することもできる。

【0022】

図４に、いくつかの実施形態によるメッシュ接続の時間的安定性の図を示す。パッチが送信されると、境界頂点のみが送信される。内部頂点は送信されない。デコーダは、（例えば、前のフレーム又は後続のフレームに基づいて）内部頂点を決定する。例えば、フレーム１のパッチ４００の内部頂点は、フレーム２のパッチ４０２の内部頂点として使用される。いくつかの実施形態では、（例えば、フレーム０又はフレーム１に対して）第１の内部頂点のセットが送信され、将来のフレームは前のフレームの内部頂点を使用するようになる。デコーダは、境界頂点及び内部頂点から三角形を再生成することができる。パッチがフレームごとに回転している場合でも、同じ内部ポイントを使用することができる。回転により内部三角形がわずかに異なる場合もあるが、これは許容範囲である。内部頂点を送信しないことによって、送信されるビット数が少なくなる。

【0023】

図５に、いくつかの実施形態によるパッチメッシュ接続コーディングの方法のフローチャートを示す。ステップ５００において、頂点マッピング情報が符号化される。ジオメトリ補正のために、頂点マッピング情報にデルタ情報を含めることができる。頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信することができる。いくつかの実施形態では、頂点マッピング情報の符号化は、ＲＤ面送信を使用する。ステップ５０２において、パッチ接続情報が符号化される。パッチ接続情報の符号化は、頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む。いくつかの実施形態では、メッシュの簡略化は、境界頂点のみを送信し、内部頂点を送信しないことを含む。パッチ接続情報は、占有マップにカラーコーディングを含めることができる。カラーコーディングは、最大４色に制限される。いくつかの実施形態では、頂点情報及びパッチ接続情報は、外部エンコーダによって実行される。いくつかの実施形態では、ステップの順序が変更される。いくつかの実施形態では、より少ないステップ又は追加のステップが実装される。例えば、符号化された情報は、デルタ情報を使用してメッシュを調整することができる。別の例では、パッチ接続の内部頂点は、前のフレームの以前の内部頂点から決定することができる。

【0024】

図６に、いくつかの実施形態によるパッチメッシュ接続コーディング方法を実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置６００を使用して、３Ｄコンテンツを含む画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置６００は、符号化／復号化の態様のいずれかを実装することができる。一般に、コンピュータ装置６００を実装するのに適したハードウェア構造は、ネットワークインターフェイス６０２、メモリ６０４、プロセッサ６０６、（単複の）Ｉ／Ｏ装置６０８、バス６１０及び記憶装置６１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサが選択される限り重要ではない。メモリ６０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置６１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置６００は、１又は２以上のネットワークインターフェイス６０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置６０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置６１２及びメモリ６０４には、パッチメッシュ接続コーディングの実装を実行するために使用される（単複の）パッチメッシュ接続コーディングアプリケーション６３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置６００には、図６に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、パッチメッシュ接続コーディングハードウェア６２０が含まれる。図６のコンピュータ装置６００は、パッチメッシュ接続コーディングの実装のためのアプリケーション６３０及びハードウェア６２０を含むが、パッチメッシュ接続コーディング方法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのいずれかの組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、パッチメッシュ接続コーディングアプリケーション６３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、パッチメッシュ接続コーディングハードウェア６２０は、パッチメッシュ接続コーディング方法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

【0025】

いくつかの実施形態では、（単複の）パッチメッシュ接続コーディングアプリケーション６３０は、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは１又は２以上のサブモジュールも含む。いくつかの実施形態では、これよりも少ない又は更なるモジュールを含めることもできる。

【0026】

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（例えば、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤ）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、車両（例えば、自動走行車両）、又はその他のいずれかの好適なコンピュータ装置が挙げられる。

【0027】

パッチメッシュ接続コーディング方法を利用するには、装置が３Ｄコンテンツ（例えば、ポイントクラウドコンテンツ）を取得又は受信する。パッチメッシュ接続コーディング方法は、ユーザの支援を伴って、又はユーザの関与を伴わずに自動的に実装することができる。

【0028】

動作時、パッチメッシュ接続コーディング方法は、従来の実装と比較して、より効率的かつ正確な３Ｄコンテンツ符号化を可能にする。

【0029】

パッチメッシュ接続コーディングのいくつかの実施形態
１．接続情報及びマッピング情報を符号化する方法であって、
ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化するステップと、
頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化するステップと、
を含む方法。

【0030】

２．前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するステップを更に含む、第１項に記載の方法。

【0031】

３．前記頂点マッピング情報を符号化するステップ及び前記パッチ接続情報を符号化するステップは、外部エンコーダによって実行される、第１項に記載の方法。

【0032】

４．前記パッチ接続情報を符号化するステップは、占有マップでカラーコーディングを使用することを含む、第１項に記載の方法。

【0033】

５．前記占有マップでカラーコーディングを使用することは、最大４色に制限される、第４項に記載の方法。

【0034】

６．前記頂点マッピング情報を符号化するステップは、レート歪み面送信を使用することを更に含む、第１項に記載の方法。

【0035】

７．メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含む、第１項に記載の方法。

【0036】

８．前記内部頂点は、前のフレームからの以前の内部頂点のセットに基づいて決定される、第７項に記載の方法。

【0037】

９．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化することと、
頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化することと、
を行うためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

【0038】

１０．前記アプリケーションは、前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するように更に構成される、第９項に記載の装置。

【0039】

１１．前記頂点マッピング情報を符号化すること及び前記パッチ接続情報を符号化することは、外部エンコーダによって実行される、第９項に記載の装置。

【0040】

１２．前記パッチ接続情報を符号化することは、占有マップでカラーコーディングを使用することを含む、第９項に記載の装置。

【0041】

１３．前記占有マップでカラーコーディングを使用することは、最大４色に制限される、第１２項に記載の装置。

【0042】

１４．前記頂点マッピング情報を符号化することは、レート歪み面送信を使用することを更に含む、第９項に記載の装置。

【0043】

１５．メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含む、第９項に記載の装置。

【0044】

１６．前記内部頂点は、前のフレームからの以前の内部頂点のセットに基づいて決定される、第１５項に記載の装置。

【0045】

１７．システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
前記３次元コンテンツを符号化するためのエンコーダであって、前記符号化は、
ジオメトリ補正のためのデルタ情報を含む頂点マッピング情報を符号化することと、
頂点の位置を時間的に固定することによってメッシュの簡略化を実装することを含む、パッチ接続情報を符号化することと、
を含む、エンコーダと、
前記符号化された３次元コンテンツを復号するためのデコーダであって、前記復号は、
前記デルタ情報を使用してメッシュを調整することと、
前のフレームの以前の内部頂点から前記パッチ接続情報の内部頂点を決定することと、
を含む、デコーダと、
を含むシステム。

【0046】

１８．前記エンコーダは、前記頂点マッピング情報が暗黙的に送信されるか明示的に送信されるかを示すフラグを送信するように更に構成される、第１７項に記載のシステム。

【0047】

１９．前記頂点マッピング情報を符号化すること及び前記パッチ接続情報を符号化することは、外部エンコーダによって実行される、第１７項に記載のシステム。

【0048】

２０．前記パッチ接続情報を符号化することは、占有マップでカラーコーディングを使用することを含む、第１７項に記載のシステム。

【0049】

２１．前記占有マップでカラーコーディングを使用することは、最大４色に制限される、第２０項に記載のシステム。

【0050】

２２．前記頂点マッピング情報を符号化することは、レート歪み面送信を使用することを更に含む、第１７項に記載のシステム。

【0051】

２３．メッシュの簡略化を実装することは、境界頂点のみを送信し、内部頂点を送信しないことを含む、第１７項に記載のシステム。

【0052】

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明してきた。本明細書におけるこのような特定の実施形態及びその詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図するものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

【符号の説明】

【0053】

１００ マップ
２００ カラーマップ
３００ メッシュを受信／取得
３０２ メッシュ接続ポイントを符号化
３０４ メッシュを再構築
３０６ メッシュを調整
４００ パッチ
４０２ パッチ
５００ 頂点マッピング情報を符号化
５０２ パッチ接続情報を符号化
６００ コンピュータ装置
６０２ ネットワークインターフェイス
６０４ メモリ
６０６ プロセッサ
６０８ Ｉ／Ｏ装置
６１０ バス
６１２ 記憶装置
６２０ パッチメッシュ接続コーディングハードウェア
６３０ パッチメッシュ接続コーディングアプリケーション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】