特表 2025-532376 効率的なマッピング座標の作成及び送信

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-09-29

(54)【発明の名称】効率的なマッピング座標の作成及び送信

(51)【国際特許分類】

   H04N 19/597 20140101AFI20250919BHJP

   G06T 9/00 20060101ALI20250919BHJP

   H04N 19/70 20140101ALI20250919BHJP

【ＦＩ】

H04N19/597

G06T9/00 100

H04N19/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2025519788

(86)(22)【出願日】2023-09-29

(85)【翻訳文提出日】2025-04-04

(86)【国際出願番号】 IB2023059794

(87)【国際公開番号】W WO2024074962

(87)【国際公開日】2024-04-11

(31)【優先権主張番号】63/378,547

(32)【優先日】2022-10-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/114,910

(32)【優先日】2023-02-27

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】504257564

【氏名又は名称】ソニー コーポレイション オブ アメリカ

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】グラジオッシ ダニーロ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159PP03

5C159PP13

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

アトラスビットストリームを介して送信される正投影関数のパラメータを使用して、デコーダ側で（ｕ，ｖ）座標を生成する方法を開示する。正投影のパラメータを使用すると、デコーダは（ｕ，ｖ）座標を効率的に生成し、コストのかかるコーディングを回避することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

デバイスの非一時的メモリにプログラムされた方法であって、
パッチ識別情報及びマッピング関数パラメータを受け取るステップと、
前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成するステップと、
を含むことを特徴とする方法。

【請求項2】

３Ｄメッシュを符号化して、前記パッチ識別情報及び前記マッピング関数パラメータを生成するステップを更に含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記マッピング関数パラメータは、アトラスサブビットストリームに符号化されることを特徴とする、請求項２に記載の方法。

【請求項4】

前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含むことを特徴とする、請求項２に記載の方法。

【請求項5】

前記３Ｄメッシュを符号化することは、
動的メッシュ情報からパッチを生成することと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、
を含むことを特徴とする、請求項２に記載の方法。

【請求項6】

前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成するステップは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応することを特徴とする、請求項１に記載の方法。

【請求項7】

前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成されることを特徴とする、請求項１に記載の方法。

【請求項8】

前記（ｕ，ｖ）座標に基づいて３Ｄメッシュを再構築するステップを更に含むことを特徴とする、請求項１に記載の方法。

【請求項9】

装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
パッチ識別情報及びマッピング関数パラメータを受け取り、
前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成する、
ためのものである、非一時的メモリと、
前記メモリに結合されて、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。

【請求項10】

前記アプリケーションは、３Ｄメッシュを符号化して、前記パッチ識別情報及び前記マッピング関数パラメータを生成するように構成されることを特徴とする、請求項９に記載の装置。

【請求項11】

前記マッピング関数パラメータは、アトラスサブビットストリームに符号化されることを特徴とする、請求項１０に記載の装置。

【請求項12】

前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含むことを特徴とする、請求項１０に記載の装置。

【請求項13】

前記３Ｄメッシュを符号化することは、
動的メッシュ情報からパッチを生成することと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、
を含むことを特徴とする、請求項１０に記載の装置。

【請求項14】

前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成することは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応することを特徴とする、請求項９に記載の装置。

【請求項15】

前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成されることを特徴とする、請求項９に記載の装置。

【請求項16】

前記アプリケーションは、前記（ｕ，ｖ）座標に基づいて３Ｄメッシュを再構築するように構成されることを特徴とする、請求項９に記載の装置。

【請求項17】

システムであって、
３Ｄメッシュを符号化して、パッチ識別情報及びマッピング関数パラメータを生成するように構成されるエンコーダと、
前記パッチ識別情報及び前記マッピング関数パラメータを受け取り、
前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成する、
ように構成されるデコーダと、
を含むことを特徴とするシステム。

【請求項18】

前記マッピング関数パラメータは、アトラスサブビットストリームに符号化されることを特徴とする、請求項１７に記載のシステム。

【請求項19】

前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含むことを特徴とする、請求項１７に記載のシステム。

【請求項20】

前記３Ｄメッシュを符号化することは、
動的メッシュ情報からパッチを生成することと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、
を含むことを特徴とする、請求項１７に記載のシステム。

【請求項21】

前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成することは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応することを特徴とする、請求項１７に記載のシステム。

【請求項22】

前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成されることを特徴とする、請求項１７に記載のシステム。

【請求項23】

前記デコーダは、前記（ｕ，ｖ）座標に基づいて前記３Ｄメッシュを再構築するように構成されることを特徴とする、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
本出願は、２０２２年１０月６日に出願された「効率的なマッピング座標の作成及び送信（ＥＦＦＩＣＩＥＮＴ ＭＡＰＰＩＮＧ ＣＯＯＲＤＩＮＡＴＥ ＣＲＥＡＴＩＯＮ ＡＮＤ ＴＲＡＮＳＭＩＳＳＩＯＮ）」という名称の米国仮特許出願第６３／３７８，５４７号の米国特許法第１１９条に基づく優先権を主張するものであり、この出願は、全ての目的に対してその全体が引用により本明細書に組み込まれる。

【0002】

本発明は、３次元グラフィックスに関する。より具体的には、本発明は、マッピング座標に関する。

【背景技術】

【0003】

近年、３Ｄから２Ｄへの投影に基づいて、ポイントクラウドなどのボリュームコンテンツを圧縮する新しい方法が標準化されつつある。Ｖ３Ｃ（視覚ボリュームビデオベースの圧縮）としても知られるこの方法は、３Ｄボリュームデータをいくつかの２Ｄパッチにマッピングし、更にパッチをアトラス画像に配置し、その後、ビデオエンコーダで符号化する。アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びポイントクラウド再構築のためにどの位置を考慮すべきかを示す占有マップに対応する。

【0004】

２０１７年、ＭＰＥＧは、ポイントクラウドの圧縮のための提案募集（ＣｆＰ）を実施した。いくつかの提案の評価の後、現在、ＭＰＥＧは、ポイントクラウド圧縮のための２つの異なる技術、すなわち、３Ｄネイティブコーディング技術（オクツリー及び同様のコーディング方法に基づく）、又は３Ｄから２Ｄへの投影後に従来のビデオコーディングを行うことを検討している。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄから２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダによる２Ｄ画像のコーディングに基づいて、テストモデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブ３Ｄコーディングよりも効率的であることが判明しており、許容できる品質で競争力のあるビットレートを実現することができる。

【0005】

投影ベースの方法（ビデオベースの方法、又はＶ－ＰＣＣとしても知られる）による３Ｄポイントクラウドのコーディングが成功したため、この標準の将来のバージョンでは、３Ｄメッシュなどの更なる３Ｄデータを含むことが予想される。しかしながら、この標準の現在のバージョンは、接続されていないポイントのセットの送信にのみ適しているため、３Ｄメッシュ圧縮で必要とされるようなポイントの接続性を送信する機構がない。

【0006】

Ｖ－ＰＣＣの機能をメッシュに拡張するための方法も提案されている。１つの可能な方法は、Ｖ－ＰＣＣを使用して頂点を符号化し、次に、ＴＦＡＮ又はＥｄｇｅｂｒｅａｋｅｒなどのメッシュ圧縮方法を使用して接続性を符号化することである。この方法の制限は、頂点から生成されるポイントクラウドがまばらではなく、投影後に効率的に符号化することができるように、元のメッシュが密でなければならないことである。更に、頂点の順序は接続性のコーディングに影響を及ぼすため、メッシュの接続性を再編成するための異なる方法が提案されている。まばらなメッシュを符号化するための代替の方法は、ＲＡＷパッチデータを使用して、３Ｄの頂点の位置を符号化することである。ＲＡＷパッチは（ｘ，ｙ，ｚ）を直接符号化するので、この方法では、全ての頂点がＲＡＷデータとして符号化され、一方、接続性は、前述のような同様のメッシュ圧縮方法によって符号化される。ＲＡＷパッチにおいて、頂点は任意の好ましい順序で送信することができるため、接続性符号化から生成される順序を使用することができることに留意されたい。この方法は、まばらなポイントクラウドを符号化することができるが、ＲＡＷパッチは、３Ｄデータを符号化するのに効率的ではなく、この方法から、三角形の面の属性などの更なるデータが欠落している場合がある。

【0007】

ＭｉｃｒｏｓｏｆｔのＵＶＡｔｌａｓは、最先端の自動テクスチャマップ生成であるが、かなりの時間がかかり、ローカルフレームに対してのみ最適化を行う。Ｖ－ＰＣＣは、正投影を使用してパッチを生成するが、ポイントクラウドのみを対象としているため、メッシュのパッチ生成には対応していない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

アトラスビットストリームを介して送信される正投影関数のパラメータを使用して、デコーダ側で（ｕ，ｖ）座標を生成する方法を開示する。正投影のパラメータを使用すると、デコーダは（ｕ，ｖ）座標を効率的に生成し、コストのかかるコーディングを回避することができる。

【課題を解決するための手段】

【0009】

一態様では、デバイスの非一時的メモリにプログラムされた方法は、パッチ識別情報及びマッピング関数パラメータを受け取るステップと、前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成するステップと、を含む。前記方法は、３Ｄメッシュを符号化して、前記パッチ識別情報及び前記マッピング関数パラメータを生成するステップを更に含む。前記マッピング関数パラメータは、アトラスサブビットストリームに符号化される。前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含む。前記３Ｄメッシュを符号化することは、動的メッシュ情報からパッチを生成することと、正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、を含む。前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成するステップは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応する。前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成される。前記方法は、前記（ｕ，ｖ）座標に基づいて３Ｄメッシュを再構築するステップを更に含む。

【0010】

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、パッチ識別情報及びマッピング関数パラメータを受け取り、前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成する、ためのものである、非一時的メモリと、前記メモリに結合されて、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記アプリケーションは、３Ｄメッシュを符号化して、前記パッチ識別情報及び前記マッピング関数パラメータを生成するように構成される。前記マッピング関数パラメータは、アトラスサブビットストリームに符号化される。前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含む。前記３Ｄメッシュを符号化することは、動的メッシュ情報からパッチを生成することと、正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、を含む。前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成することは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応する。前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成される。前記アプリケーションは、前記（ｕ，ｖ）座標に基づいて３Ｄメッシュを再構築するように構成される。

【0011】

別の態様では、システムは、３Ｄメッシュを符号化して、パッチ識別情報及びマッピング関数パラメータを生成するように構成されるエンコーダと、前記パッチ識別情報及び前記マッピング関数パラメータを受け取り、前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成する、ように構成されるデコーダと、を含む。前記マッピング関数パラメータは、アトラスサブビットストリームに符号化される。前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含む。前記３Ｄメッシュを符号化することは、動的メッシュ情報からパッチを生成することと、正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、を含む。前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成することは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応する。前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成される。前記デコーダは、前記（ｕ，ｖ）座標に基づいて前記３Ｄメッシュを再構築するように構成される。

【図面の簡単な説明】

【0012】

【図1】いくつかの実施形態によるテクスチャマッピングの図である。

【図2】いくつかの実施形態による復号実装の図である。

【図3】いくつかの実施形態による効率的なマッピング座標生成及び送信方法を実装するように構成される例示的なコンピュータ装置のブロック図である。

【発明を実施するための形態】

【0013】

メッシュは、通常、ボリュームの表面を表すポリゴンのセットで構成されている。メッシュの表面特性（例えば、色特性）を表す効率的な方法は、３Ｄ表面の特性を２Ｄ表面にマッピングするテクスチャアトラスを生成することである。マッピング関数の結果は（ｕ，ｖ）座標に記憶され、メッシュデータに追加され、その後メッシュ圧縮方法で更に符号化される。しかしながら、（ｕ，ｖ）座標が存在すると、圧縮メッシュのサイズが大幅に増加する可能性がある。

【0014】

最新の国際ポイントクラウド圧縮規格では、正投影を使用してポイントクラウドの深度マップ画像が生成されている。投影のパラメータは、アトラスビットストリームとして知られるメタデータビットストリームに符号化されるため、デコーダはそれらのパラメータのみを受け取り、深度マップの各（ｕ，ｖ）座標にマッピング関数を適用して、３Ｄ情報を再構築する。

【0015】

Ｖ－ＰＣＣ標準で使用されるものと同様の、正投影を使用してメッシュのマッピング座標を生成するためのパラメータを送信する方法を開示する。これらのパラメータを使用して、デコーダは（ｕ，ｖ）座標を生成し、更に圧縮メッシュのサイズを縮小することができる。

【0016】

図１に、いくつかの実施形態によるテクスチャマッピングの図を示す。ステップ１００において、パッチ生成が実行される。位置情報及び接続性情報が受け取られ、パッチの生成に使用される。パッチ生成は、位置情報（ｘ，ｙ，ｚ）及び符号化パラメータ（Ｃ）を有するｆ関数を含む。

【0017】

ステップ１０２において、パッチパッキングが実装される。パッチパッキングは、ｆ関数及び符号化パラメータＰに基づくｇ関数を含む。マッピング（ｆ関数及びｇ関数）は、正投影を使用してエンコーダ側で決定される。パッチ生成及びパッチパッキングについては、「ＯＲＴＨＯＡＴＬＡＳ：正投影を使用した動的メッシュのテクスチャマップ生成（ＯＲＴＨＯＡＴＬＡＳ： ＴＥＸＴＵＲＥ ＭＡＰ ＧＥＮＥＲＡＴＩＯＮ ＦＯＲ ＤＹＮＡＭＩＣ ＭＥＳＨＥＳ ＵＳＩＮＧ ＯＲＴＨＯＧＲＡＰＨＩＣ ＰＲＯＪＥＣＴＩＯＮＳ）」という名称の米国特許出願番号＊＊＊代理人整理番号Ｓｏｎｙ－７６０００＊＊＊に記載されており、この出願は、全ての目的に対してその全体が引用により組み込まれる。

【0018】

ステップ１０４において、３Ｄ→２Ｄマッピング関数パラメータ（Ｃ₁及びＰ₁…Ｃ_N及びＰ_N）が、アトラスサブビットストリームで（例えば、デコーダに）送信される。

【0019】

ステップ１０６において、ｕ、ｖ座標を送信する代わりに、ｐａｔｃｈＩｄが送信される。例えば、ｐａｔｃｈＩＤ（ｐｉｄ）がＤｒａｃｏに送信され、ＤｒａｃｏはパッチＩＤを符号化及び復号する。ｐａｔｃｈＩＤ（ｐｉｄ）は、パッチに使用されるパラメータを示す。例えば、ｐｉｄ １は符号化パラメータＣ₁及びＰ₁に対応し、ｐｉｄ ２は符号化パラメータＣ₂及びＰ₂に対応する。適切なパラメータを使用すると、２Ｄ投影を復元することができる。３Ｄ空間の三角形は分かっているので、符号化パラメータ（例えば、Ｃ₁及びＰ₁）を使用して、２Ｄ表面上のどこにテクスチャ座標があるかを特定することができる。

【0020】

いくつかの実施形態では、より少ないステップ又は追加のステップが実装される。いくつかの実施形態では、ステップの順序が変更される。

【0021】

図２に、いくつかの実施形態による復号実装の図を示す。Ｖ３Ｃサブビットストリームが受け取られる。例えば、ベースメッシュサブビットストリーム２００、アトラスサブビットストリーム２０２、変位サブビットストリーム２０４、及び属性サブビットストリーム２０６が受け取られる。サブビットストリームは、メッシュコーデック２１０、第１のビデオコーデック２１２、又は第２のビデオコーデック２１４によって復号される。例えば、ベースメッシュサブビットストリーム２００は、メッシュコーデック２１０によって復号され、変位サブビットストリーム２０４は、第１のビデオコーデック２１２によって復号され、属性サブビットストリーム２０６は、第２のビデオコーデック２１４によって復号される。変位サブビットストリーム２０４は、ビデオコーデック２１２及び変位デコーダ２２２によって復号される。

【0022】

メッシュコーデック２１０は、ベースメッシュサブビットストリーム２００を復号し、パッチＩＤを含む復号されたベースメッシュ２２０を出力する。

【0023】

アトラスマッピング処理２３０は、追加の実装である。アトラスマッピング処理２３０は、復号されたベースメッシュに基づいて、（ｐａｔｃｈＩＤ，０）情報を受け取る。アトラスマッピング処理２３０は、パッチの形式でアトラスサブビットストリーム２０２からパラメータ（例えば、Ｃ、Ｐ）も受け取り、ｕ、ｖ座標を再生成する。

【0024】

生成されたｕ、ｖ座標は、接続性処理２３２及び頂点処理２３４で使用される。オブジェクト／メッシュ２３６は、処理に基づいて再構築される。更に、テクスチャマップ２３８は、復号された属性サブビットストリーム２０６に基づいて再構築される。

【0025】

テクスチャマップの座標は、次の変換を適用することによって導出することができる。

ここで、

ここで、

全ての操作は、同次座標を使用して単一の４ｘ４ホモグラフィ変換行列に組み合わせることができる。

【0026】

変換はデコーダで使用され、境界ボックスのサイズ、投影、占有解像度、スケーリング及び／又はその他の情報／パラメータに基づいて、ｕ、ｖ座標を生成する。

【0027】

例示的な構文は次の通りである。
シーケンスヘッダ
const uint8_t bitField =
static_cast<int>(params.encodeDisplacementsVideo)
| (static_cast<int>(params.encodeTextureVideo) << 1)
| (static_cast<int>(params.bDeriveTextCoordFromPos << 2);
.
.
.

if (params.bDeriveTextCoordFromPos) {
uint32_t gutterBuf;
memcpy(&gutterBuf, &params.gutter, sizeof(float));
const uint16_t occupancyResolution = uint32_t(params.occupancyResolution);
bitstream.write(gutterBuf);
bitstream.write(occupancyResolution);
}

フレームヘッダ
const auto ccSizeMinusOne = uint16_t(connectedComponents.size() - 1);
bitstream.write(ccSizeMinusOne);
for (int i = 0; i < connectedComponents.size();i++) {
auto& cc = connectedComponents[i];
bitstream.write(uint8_t(cc.getProjection()));
bitstream.write(uint8_t(cc.getOrientation()));
bitstream.write(uint16_t(cc.getU0()));
bitstream.write(uint16_t(cc.getV0()));
bitstream.write(uint16_t(cc.getSizeU()));
bitstream.write(uint16_t(cc.getSizeV()));
uint64_t scaleBuf;
double scale = cc.getScale();
memcpy(&scaleBuf, &scale, sizeof(double));
bitstream.write(scaleBuf);
}

【0028】

例えば、構文では、シーケンスヘッダで、テクスチャ座標が３Ｄ位置から導出されることを示すフラグを送信することができる。更に、ガター（ｇｕｔｔｅｒ）のサイズ及び占有解像度を送信することができる。フレームヘッダでは、パッチの数が送信される。更に、各パッチについて、２Ｄ空間での投影、向き、位置及びサイズ、及びスケールがビットストリームで送信される。

【0029】

図３に、いくつかの実施形態による効率的なマッピング座標生成及び送信方法を実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置３００を使用して、３Ｄコンテンツを含む画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置３００は、符号化／復号の態様のいずれかを実装することができる。一般に、コンピュータ装置３００を実装するのに適したハードウェア構造は、ネットワークインターフェイス３０２、メモリ３０４、プロセッサ３０６、（単複の）Ｉ／Ｏデバイス３０８、バス３１０、及び記憶装置３１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ３０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置３１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置３００は、１又は２以上のネットワークインターフェイス３０２を含むことができる。ネットワークインターフェイスの一例は、イーサネット又は他のタイプのＬＡＮに接続されるネットワークカードを含む。（単複の）Ｉ／Ｏデバイス３０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの１又は２以上を含むことができる。効率的なマッピング座標生成及び送信実装を実装するために使用される（単複の）効率的なマッピング座標生成及び送信アプリケーション３３０は、記憶装置３１２及びメモリ３０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置３００は、図３に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、効率的なマッピング座標生成及び送信ハードウェア３２０が含まれる。図３のコンピュータ装置３００は、効率的なマッピング座標生成及び送信実装のためのアプリケーション３３０及びハードウェア３２０を含むが、効率的なマッピング座標生成及び送信方法は、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、効率的なマッピング座標生成及び送信アプリケーション３３０は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態において、効率的なマッピング座標生成及び送信ハードウェア３２０は、効率的なマッピング座標生成及び送信方法を実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

【0030】

いくつかの実施形態では、（単複の）効率的なマッピング座標生成及び送信アプリケーション３３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

【0031】

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、モバイルデバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

【0032】

効率的なマッピング座標生成及び送信方法を利用するために、デバイスは、３Ｄコンテンツ（例えば、ポイントクラウドコンテンツ）を取得又は受信する。効率的なマッピング座標生成及び送信方法は、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

【0033】

動作時、ｏｒｔｈｏＡｔｌａｓ（ｕ，ｖ）生成関数パラメータが、デコーダに送信される。すなわち、正投影を使用してデコーダ側で導出されるテクスチャマップ生成である。３Ｄ頂点座標（ｘ，ｙ，ｚ）とアトラス内の２Ｄ位置（ｕ，ｖ）との間のマッピングを一緒に生成する要素が定義される。マッピング関数を生成するためのパラメータは、アトラスビットストリームを使用して効率的に符号化される。その結果、より効率的な実装が実現し、送信されるデータが少なくなる。

【0034】

説明したように、（ｕ，ｖ）座標の送信は、圧縮メッシュ表現において、かなりの量の空間を占有する。現在、テクスチャマップ生成は、マッピングの歪み及びテクスチャの継ぎ目を減らすために複雑な最適化に依拠しており、その結果、（ｕ，ｖ座標）は、メッシュ表現の一部として符号化される。しかしながら、これらの座標は、対応する（ｘ，ｙ，ｚ）値及び三角形構造を効率的に使用する方法であっても、符号化にかなりのビット数を必要とする。効率的なマッピング座標生成及び送信方法により、アトラスビットストリームを介して送信される正投影関数のパラメータを使用して、デコーダ側で（ｕ，ｖ）座標を生成することができる。正投影のパラメータを使用すると、デコーダは（ｕ，ｖ）座標を効率的に生成し、コストのかかる符号化を回避することができる。

【0035】

効率的なマッピング座標の作成及び送信のいくつかの実施形態
１．デバイスの非一時的メモリにプログラムされた方法であって、
パッチ識別情報及びマッピング関数パラメータを受け取るステップと、
前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成するステップと、
を含む方法。

【0036】

２．３Ｄメッシュを符号化して、前記パッチ識別情報及び前記マッピング関数パラメータを生成するステップを更に含む、第１項に記載の方法。

【0037】

３．前記マッピング関数パラメータは、アトラスサブビットストリームに符号化される、第２項に記載の方法。

【0038】

４．前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含む、第２項に記載の方法。

【0039】

５．前記３Ｄメッシュを符号化することは、
動的メッシュ情報からパッチを生成することと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、
を含む、第２項に記載の方法。

【0040】

６．前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成するステップは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応する、第１項に記載の方法。

【0041】

７．前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成される、第１項に記載の方法。

【0042】

８．前記（ｕ，ｖ）座標に基づいて３Ｄメッシュを再構築するステップを更に含む、第１項に記載の方法。

【0043】

９．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
パッチ識別情報及びマッピング関数パラメータを受け取り、
前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成する、
ためのものである、非一時的メモリと、
前記メモリに結合されて、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

【0044】

１０．前記アプリケーションは、３Ｄメッシュを符号化して、前記パッチ識別情報及び前記マッピング関数パラメータを生成するように構成される、第９項に記載の装置。

【0045】

１１．前記マッピング関数パラメータは、アトラスサブビットストリームに符号化される、第１０項に記載の装置。

【0046】

１２．前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含む、第１０項に記載の装置。

【0047】

１３．前記３Ｄメッシュを符号化することは、
動的メッシュ情報からパッチを生成することと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、
を含む、第１０項に記載の装置。

【0048】

１４．前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成することは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応する、第９項に記載の装置。

【0049】

１５．前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成される、第９項に記載の装置。

【0050】

１６．前記アプリケーションは、前記（ｕ，ｖ）座標に基づいて３Ｄメッシュを再構築するように構成される、第９項に記載の装置。

【0051】

１７．システムであって、
３Ｄメッシュを符号化して、パッチ識別情報及びマッピング関数パラメータを生成するように構成されるエンコーダと、
前記パッチ識別情報及び前記マッピング関数パラメータを受け取り、
前記パッチ識別情報及び前記マッピング関数パラメータに基づいて、（ｕ，ｖ）座標を生成する、
ように構成されるデコーダと、
を含むシステム。

【0052】

１８．前記マッピング関数パラメータは、アトラスサブビットストリームに符号化される、第１７項に記載のシステム。

【0053】

１９．前記マッピング関数パラメータは、３Ｄから２Ｄへのマッピング関数パラメータを含む、第１７項に記載のシステム。

【0054】

２０．前記３Ｄメッシュを符号化することは、
動的メッシュ情報からパッチを生成することと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングすることと、
を含む、第１７項に記載のシステム。

【0055】

２１．前記パッチ識別情報及び前記マッピング関数パラメータに基づいて（ｕ，ｖ）座標を生成することは、関数を利用して前記パッチ識別情報及び前記マッピング関数パラメータから前記（ｕ，ｖ）座標を生成することを含み、前記マッピング関数パラメータは、前記パッチ識別情報に対応する、第１７項に記載のシステム。

【0056】

２２．前記（ｕ，ｖ）座標は、境界ボックスのサイズ、占有解像度、及びスケーリング情報を使用した変換に基づいて生成される、第１７項に記載のシステム。

【0057】

２３．前記デコーダは、前記（ｕ，ｖ）座標に基づいて前記３Ｄメッシュを再構築するように構成される、第１７項に記載のシステム。

【0058】

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

【符号の説明】

【0059】

１００ パッチ生成
１０２ パッチパッキング
１０４ ３Ｄ→２Ｄマッピング関数パラメータ（Ｃ₁Ｐ₁～Ｃ_NＰ_N）
１０６ ｐａｔｃｈＩｄ送信
２００ ベースメッシュサブビットストリーム
２０２ アトラスサブビットストリーム
２０４ 変位サブビットストリーム
２０６ 属性サブビットストリーム
２１０ メッシュコーデック
２１２ 第１のビデオコーデック
２１４ 第２のビデオコーデック
２２０ 復号されたベースメッシュ
２２２ 変位デコーダ
２３０ アトラスマッピング処理
２３２ 接続性処理
２３４ 頂点処理
２３６ オブジェクト／メッシュ
２３８ テクスチャマップ
３００ コンピュータ装置
３０２ ネットワークインターフェイス
３０４ メモリ
３０６ プロセッサ
３０８ Ｉ／Ｏデバイス
３１０ バス
３１２ 記憶装置
３２０ 効率的なマッピング座標生成及び送信ハードウェア
３３０ 効率的なマッピング座標生成及び送信アプリケーション

【図1】

【図2】

【図3】

【国際調査報告】