特開 2023-157502 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023157502

(43)【公開日】2023-10-26

(54)【発明の名称】メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/597 20140101AFI20231019BHJP

   G06T 17/20 20060101ALI20231019BHJP

   G06T 9/00 20060101ALI20231019BHJP

【ＦＩ】

H04N19/597

G06T17/20 500

G06T9/00 100

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022067446

(22)【出願日】2022-04-15

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】徐 建鋒

(72)【発明者】

【氏名】小森田 賢史

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5B080

5C159

【Ｆターム（参考）】

5B080AA13

5B080AA19

5B080CA05

5B080DA06

5B080FA02

5B080FA09

5B080GA22

5C159PP03

(57)【要約】

【課題】Ｃｏｎｎｅｃｔｉｖｉｔｙの符号化効率を向上させること。
【解決手段】本発明に係るメッシュ復号装置２００は、符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部２０１と、復号された統計データにより、復号された点群をメッシュに変換するように構成されているメッシュ変換部２０２とを備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、
復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを備えることを特徴とするメッシュ復号装置。

【請求項2】

前記統計データは、ポリゴン数及び前記ポリゴンの頂点数の少なくとも一方を含むことを特徴とする請求項１に記載のメッシュ復号装置。

【請求項3】

前記点群復号部は、前記ビットストリーム内のＲＡＷパッチからメッシュ全体又はパッチ毎で前記統計データを復号するように構成されている請求項１に記載のメッシュ復号装置。

【請求項4】

前記メッシュ変換部は、前記点群から法線を算出し、前記法線によりポリゴンを生成し、前記メッシュ全体又は一部のポリゴン数まで前記メッシュを簡略化し、テキスチャー画像及びＵＶ座標を生成するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項5】

前記メッシュ変換部は、前記メッシュ内のポリゴンのエッジのコストを算出し、前記コストが最も小さいエッジから前記ポリゴンを簡略化する操作を繰り返すように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項6】

前記メッシュ変換部は、目標のポリゴン数までｅｄｇｅ ｃｏｌｌａｐｓｅを繰り返して、前記ポリゴンを簡略化するように構成されていることを特徴とする請求項５に記載のメッシュ復号装置。

【請求項7】

前記メッシュ変換部では、パッチの境界で前記エッジが不足している前記ポリゴンに対して新しいエッジを作るように構成されていることを特徴とする請求項６に記載のメッシュ復号装置。

【請求項8】

前記メッシュ変換部では、前記パッチの境界でｚｉｐｐｅｒｉｎｇ ａｌｇｏｒｉｔｈｍを用いてギャップが生じる頂点のペアを見つけて、前記ペア同士の頂点を平均してマージすることで前記ギャップを埋めるように構成されていることを特徴とする請求項７に記載のメッシュ復号装置。

【請求項9】

メッシュ符号化装置であって、
点群のパッチを符号化するパッチ順でポリゴン数を符号化し、前記ポリゴン数を送らないパッチにおいて前記ポリゴン数を０にした上で符号化するように構成されていることを特徴とするメッシュ符号化装置。

【請求項10】

メッシュ復号方法であって、
符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号する工程と、
復号された前記統計データにより、復号された前記点群を前記メッシュに変換する工程とを有することを特徴とするメッシュ復号方法。

【請求項11】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、
符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、
復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを具備することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、ビデオベースの点群を符号化するという非特許文献２の技術を拡張し、非特許文献３で定義したＤｙｎａｍｉｃ ｍｅｓｈを符号化する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Graziosi, Danillo Bracco. "Video-Based Dynamic Mesh Coding." 2021 IEEE International Conference on Image Processing (ICIP). IEEE, 2021.

【非特許文献2】ISO/IEC FDIS 23090-5:2020, Information technology -Coded representation of immersive media - Part 5: Visual Volumetric Video-based Coding (V3C) and Video-based Point Cloud Compression (V-PCC).

【非特許文献3】CfP for Dynamic Mesh Coding，ISO/IEC JTC1/SC29/WG7 N00231, MPEG136 - OnLine.

【非特許文献4】ISO/IEC 23008-2:2020, Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding.

【非特許文献5】Preliminary metrics for Mesh Coding, ISO/IEC JTC1/SC29/WG7 N00113, MPEG133 - OnLine.

【非特許文献6】Sun, Yiyong, et al. "Triangle mesh-based edge detection and its application to surface segmentation and adaptive surface smoothing." Proceedings. International Conference on Image Processing. Vol. 3. IEEE, 2002.

【非特許文献7】[V-PCC] Generation of mesh connectivity for point clouds, ISO/IEC JTC1/SC29/WG11 MPEG2020/m53533, MPEG130 - Alpbach.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１に開示されているビデオベースのメッシュ符号化技術では、メッシュのポリゴン数が単一であるので、低ビットレートから高ビットレートまで幅広いビットレート範囲に最適化が困難であるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第１の特徴は、メッシュ復号装置であって、符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを備えることを要旨とする。

【0006】

本発明の第２の特徴は、メッシュ符号化装置であって、点群のパッチを符号化するパッチ順でポリゴン数を符号化し、前記ポリゴン数を送らないパッチにおいて前記ポリゴン数を０にした上で符号化するように構成されていることを要旨とする。

【0007】

本発明の第３の特徴は、メッシュ復号方法であって、符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号する工程と、復号された前記統計データにより、復号された前記点群を前記メッシュに変換する工程とを有することを要旨とする。

【0008】

本発明の第４の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを具備することを要旨とする。

【発明の効果】

【0009】

本発明によれば、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、一実施形態に係るメッシュ符号化装置１００の機能ブロックの一例を示す図である。

【図2】図２Ａは、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によってポリゴンＡが分割される様子の一例を示す図である。図２Ｂは、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によってポリゴンＡが分割される様子の一例を示す図である。

【図3】図３は、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によってテキスチャー特徴を考慮して点群の点が生成される様子の一例を示す図である。

【図4】図４は、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によって点ｐの色Ｃ（ｐ）について算出される様子の一例を示す図である。

【図5】図５は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図6】図６は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってＳｃｒｅｅｎｅｄ Ｐｏｉｓｓｏｎ法によりポリゴンが生成される様子の一例を示す図である。

【図7】図７は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によって指示関数からポリゴンが生成される様子の一例を示す図である。

【図8】図８は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってメッシュが簡略化されテキスチャー画像及びＵＶ座標が修正される様子の一例を示す図である。

【図9】図９は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってｅｄｇｅ ｃｏｌｌａｐｓｅ用いてエッジが削減される様子の一例を示す図である。

【図10】図１０は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によって隣接するパッチ間におけるエッジ不足の問題が解決される様子の一例を示す図である。

【図11】図１１は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってｚｉｐｐｅｒｉｎｇ ａｌｇｏｒｉｔｈｍを用いて境界Ｌ１におけるギャップが埋められる様子の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0012】

＜第１実施形態＞
以下、図１～図１１を参照して、本実施形態に係るメッシュ符号化装置１００及びメッシュ復号装置２００について説明する。図１は、本実施形態に係るメッシュ符号化装置１００の機能ブロックの一例について示す図であり、図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例について示す図である。

【0013】

図１に示すように、メッシュ符号化装置１００は、点群変換部１０１と、点群符号化部１０２とを有する。

【0014】

点群変換部１０１は、メッシュのテキスチャー特徴又は幾何学的な特徴を考慮して、メッシュを、色情報を含む点群（Ｐｏｉｎｔ ｃｌｏｕｄ）に変換するように構成されている。

【0015】

ここで、メッシュのテキスチャー特徴は、非特許文献３に規定されている「Ｔｅｘｔｕｒｅ ｍａｐ ＰＮＧ」に対応し、メッシュの幾何学的な特徴は、非特許文献３に規定されている「Ｍｅｓｈ ＯＢＪ」に対応する。

【0016】

なお、「Ｔｅｘｔｕｒｅ ｍａｐ ＰＮＧ」は、非特許文献３に規定されている「Ａｔｔｒｉｂｕｔｅ ｍａｐｓ」を含み、「Ｍｅｓｈ ＯＢＪ」は、非特許文献３に規定されている「Ｃｏｎｎｅｃｔｉｖｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ」、「Ｇｅｏｍｅｔｒｙ Ｉｎｆｏｒｍａｔｉｏｎ」及び「Ｍａｐｐｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ」を含む。

【0017】

具体的には、ステップ１として、点群変換部１０１は、メッシュの幾何学的な特徴（「Ｇｅｏｍｅｔｒｙ Ｉｎｆｏｒｍａｔｉｏｎ」）に基づいて、ポリゴンの頂点自身を点群の点として利用するように構成されている。ただし、隣のポリゴンで共通の頂点は、点群の中に重複しないように削除する。

【0018】

ステップ２として、点群変換部１０１は、メッシュの幾何学的な特徴（「Ｇｅｏｍｅｔｒｙ Ｉｎｆｏｒｍａｔｉｏｎ」）に基づいて、ポリゴンの内部における点群の点を生成するように構成されている。

【0019】

例えば、点群変換部１０１は、図２Ａに示すように、Ｓｕｂｄｉｖｉｓｉｏｎを用いてポリゴンＡを分割し、その後、図２Ｂに示すように、Ｓｕｂｄｉｖｉｓｉｏｎを用いてポリゴンＡを再度分割するように構成されている。

【0020】

ここで、点群変換部１０１は、Ｓｕｂｄｉｖｉｓｉｏｎを用いて分割された各ポリゴンで最短エッジの長さが閾値より長いと、かかるポリゴンをＳｕｂｄｉｖｉｓｉｏｎで再度分割するように構成されていてもよい。

【0021】

点群変換部１０１は、最短エッジの長さが閾値より長いポリゴンがなくなるまで、ステップ２における処理を繰り返すように構成されていてもよい。

【0022】

そして、点群変換部１０１は、このように分割したポリゴンの全ての頂点を点群の点として利用するように構成されている。ただし、上述と同様に、隣のポリゴンのエッジで共通の頂点は、点群の中に重複しないように削除する。

【0023】

なお、このようにして生成されたポリゴンＡの内部における点群の点（例えば、図２Ｂにおける点Ｘ）は、ポリゴンＡと同じ平面内に存在する。

【0024】

ここで、点群変換部１０１は、非特許文献６を用いて、よりスムーズに変化できるように、点群の点の位置座標を微調整するように構成されていてもよい。

【0025】

なお、上述の閾値は、事前に設定されるものであり、メッシュ全体ではなく領域毎に設定されてもよい。かかる閾値の大きさは、点群の点の数に影響を及ぼし、更に符号化効率に影響を及ぼす。

【0026】

また、点群変換部１０１は、非特許文献５に記載されているｇｒｉｄ ｓａｍｐｌｉｎｇやｆａｃｅ ｓａｍｐｌｉｎｇ等を使って、ポリゴンの内部における点群の点を生成するように構成されていてもよい。

【0027】

また、点群変換部１０１は、上述の幾何的な特徴を考慮して、上述の閾値を調整するように構成されていてもよい。

【0028】

例えば、点群変換部１０１は、非特許文献６を用いて、メッシュから幾何的なエッジを検出し、かかるエッジと繋がるポリゴンに対して、上述の閾値を低くし（例えば、半分にし）、ポリゴンの内部における点群の点を、より多く生成するように構成されていてもよい。

【0029】

ステップ３として、点群変換部１０１は、テキスチャー特徴を考慮して、点群の点を生成するように構成されている。

【0030】

例えば、図３に示すように、点群変換部１０１は、１つのポリゴンＡをテキスチャー画像Ｔにマッピングすると、ポリゴンＡの中に、テキスチャー画像Ｔのエッジがある時に、かかるエッジに沿って一定距離ずつに点Ｂを生成するように構成されている。

【0031】

点群変換部１０１は、このようにして生成した点Ｂを、元のポリゴンＡに逆マッピングし、３次元座標を求めて、点群の点として利用するように構成されている。ただし、上述のステップ１及びステップ２で生成した点と共通する点は、点群の中に重複しないように削除する。

【0032】

また、上述のようにして生成された点群の各点は、色情報を持っていないため、点群変換部１０１は、点群の各点に対して色情報を付与するように構成されている。

【0033】

具体的には、点群変換部１０１は、ポリゴンの頂点の色は、ＵＶマッピングの座標で取ったテキスチャー画像のピクセルのＲＢＧ値とするように構成されている。

【0034】

例えば、点群変換部１０１は、ポリゴン内部の点に対して、以下の手順で色を付ける。

【0035】

図４に示すように、テキスチャー画像にマッピングした点は、点pであり、かかる点ｐの周りのピクセルは、ａ、ｂ、ｃ、ｄである。

【0036】

かかる場合、点群変換部１０１は、点ｐの色Ｃ（ｐ）について、以下の式（１）～（５）によって算出するように構成されている。

【0037】

【数1】

【0038】

【数2】

【0039】

【数3】

【0040】

【数4】

【0041】

【数5】

すなわち、点群変換部１０１は、テキスチャー画像において点群の点の周りのピクセルのＲＧＢ値を重み付け平均することによって、かかる点の色を算出するように構成されている。

【0042】

点群変換部１０１は、点群の各点に対して、テキスチャー情報によって、このようにして算出した色情報を付与するように構成されている。

【0043】

点群符号化部１０２は、例えば、非特許文献２に規定されている技術と同様に、点群変換部１０１によって変換された点群を符号化すると共に、メッシュの統計データを符号化するように構成されている。

【0044】

ここで、非特許文献２に規定されているＶ-ＰＣＣとの違いは、メッシュの統計データを符号化する点である。

【0045】

なお、統計データは、例えば、ポリゴン数を含んでもよいし、頂点数やエッジ数を含んでもよい。点群符号化部１０２は、ポリゴン数Ｆが存在しない場合、頂点数Ｖやエッジ数Ｅに基づいて、以下の式で、ポリゴン数Ｆを算出するように構成されていてもよい。

【0046】

Ｆ＝２Ｖ
Ｆ＝２Ｅ/３
非特許文献２は、点群を複数のパッチにセグメンテーションし、それぞれを適当な平面に射影し、点群の色及び位置座標を２次元のテキスチャーパッチ及びデプスパッチの集合に変換するように規定されている。

【0047】

点群符号化部１０２は、これらのパッチを１枚の大きなテキスチャー画像及びデプス画像に統合して、非特許文献４に示すような通常の動画像符号化方式によって符号化するように構成されていてもよい。

【0048】

なお、非特許文献２に規定されているＶ-ＰＣＣとの違いは、点群符号化部１０２がパッチ毎又はメッシュ全体でメッシュの統計データを符号化する点にある。

【0049】

点群符号化部１０２は、符号化した統計データについてＲＡＷパッチとしてビットストリームに入れるように構成されている。

【0050】

点群符号化部１０２は、パッチ毎でポリゴン数を符号化する場合、パッチを符号化する順でポリゴン数を符号化し、ポリゴン数を送らないパッチにおいてポリゴン数を０にした上で符号化するように構成されている。

【0051】

ここで、点群符号化部１０２は、ポリゴン数の符号化において、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを用いるように構成されていてもよい。
Predictive codingを使う。

【0052】

図５に示すように、メッシュ復号装置２００は、点群復号部２０１と、メッシュ変換部２０２とを有する。

【0053】

点群復号部２０１は、非特許文献２を用いて、メッシュ符号化装置１００から受信したビットストリームからテキスチャー情報を含む点群を復号すると共に、メッシュの統計データを復号するように構成されている。

【0054】

具体的には、点群復号部２０１は、非特許文献２に規定されている技術と同様に、ビットストリームから各パッチの２次元のテキスチャーパッチ及びデプスパッチを復号し、３次元の点群を再建し、後処理を行って最終的な点群を出力するように構成されていてもよい。

【0055】

また、点群復号部２０１は、ビットストリーム内のＲＡＷパッチからメッシュ全体又は各パッチでメッシュのポリゴン数を復号するように構成されていてもよい。

【0056】

ここで、点群復号部２０１は、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇで符号化されたメッシュ全体及びパッチ毎のポリゴン数を点群のパッチ順で復号し、各パッチに対応する点のインデックスを記録するように構成されていてもよい。

【0057】

メッシュ変換部２０２は、点群復号部２０１によって復号された統計データにより、点群復号部２０１によって復号された点群をメッシュに変換するように構成されている。

【0058】

具体的には、メッシュ変換部２０２は、パッチ毎又はメッシュ全体で復号された統計データにより、非特許文献７を用いて、点群復号部２０１によって復号された点群をメッシュ（テキスチャー情報を含む）に変換するように構成されていてもよい。

【0059】

例えば、メッシュ変換部２０２は、以下の手順で、点群をメッシュに変換するように構成されていてもよい。ここで、統計データに含まれるポリゴン数がパッチ毎に指定されていてもメッシュ全体に指定されていても、以下の手順が変わらない。

【0060】

ステップ１として、メッシュ変換部２０２は、点群で各点の法線を算出するように構成されている。

【0061】

ここで、メッシュ変換部２０２は、ある点ｐ_ｉに対してｍ個の近傍点（点ｐ_ｉを含む）を見つけて、以下の式（６）によって、重心ｃを算出するように構成されている。

【0062】

【数6】

メッシュ変換部２０２は、算出した重心ｃ及びｍ個の近傍点から、以下の式（７）によって、共分散行列（ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）を算出し、固有値分解で共分散行列から算出した最小固有値に対応する固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒ）を、各点の法線とするように構成されている。

【0063】

【数7】

ステップ２として、メッシュ変換部２０２は、図６に示すように、Ｓｃｒｅｅｎｅｄ Ｐｏｉｓｓｏｎ法により、各点の法線を用いてポリゴンを生成し、テキスチャー画像及びＵＶ座標を生成するように構成されている。

【0064】

具体的には、メッシュ変換部２０２は、生成したポリゴンをモニターに描画する際に、ポリゴンの２次元画像をテキスチャー画像に埋め、各ポリゴンのテキスチャー画像を組み合わせ、一枚の大きいテキスチャー画像を生成する。

【0065】

ここで、かかる大きいテキスチャー画像が、上述の「テキスチャー画像」である。また、かかる大きいテキスチャー画像の中の各ポリゴンのテキスチャー画像の位置が、ＵＶ座標である。

【0066】

ここで、図６（ａ）～図６（ｄ）は、それぞれ、上述の点群及び法線から算出されたベクトル場（Ｖｅｃｔｏｒ Ｆｉｅｌｄ）、指示関数の勾配（Ｉｎｄｉｃａｔｏｒ ｇｒａｄｉｅｎｔ）、指示関数（Ｉｎｄｉｃａｔｏｒ ｆｕｎｃｔｉｏｎ）及びＳｕｒｆａｃｅである。ここで、Ｓｕｒｆａｃｅは、既に、ポリゴンである。

【0067】

具体的には、メッシュ変換部２０２は、図７に示すように、指示関数から、ポリゴン（Ｓｕｒｆａｃｅ）を生成するように構成されていてもよい。

【0068】

例えば、図７に示すように、メッシュ変換部２０２は、指示関数によって離散化した３次元空間を、ポリゴンＧの内部ＧＩと外部ＧＯとに分割することができる。ここで、図７に示すように、メッシュ変換部２０２は、ポリゴンＧの内部ＧＩと外部ＧＯとの境界ＢにおいてポリゴンＧを作るように構成されていてもよい。

【0069】

すなわち、メッシュ変換部２０２は、Ｓｕｒｆａｃｅから離散化したＶｏｘｅｌ（図７のＶ）でメッシュ（図７のＭ）を生成するように構成されていてもよい。

【0070】

ステップ３として、メッシュ変換部２０２は、指定されたポリゴン数までメッシュを簡略化し、テキスチャー画像及びＵＶ座標を修正するように構成されている。

【0071】

ただし、ここで指定されたポリゴン数が、ステップ２で生成したポリゴン数より多い場合は、メッシュ変換部２０２は、ステップ３をスキップするように構成されている。ステップ３の具体的なプロセスは、以下の通りである。

【0072】

第１に、メッシュ変換部２０２は、メッシュから、削除すべきエッジを選定するように構成されている。

【0073】

図８に示すように、メッシュ変換部２０２は、あるエッジｕｖ（三角形の一辺）のコストを算出し、対象エッジの中からコストが最も小さいエッジを選定するように構成されている。

【0074】

ここで、コストの定義は、エッジを削除した場合の視覚的な変化の大きさである。つまり、平坦な領域のポリゴンのエッジ又は短くて細かいエッジのコストが低い。

【0075】

具体的に、メッシュ変換部２０２は、式（８）で、エッジのコストを算出するように構成されている。

【0076】

【数8】

ここで、Ｔ_ｕは、頂点ｕを含むポリゴンの集合であり、Ｔ_ｕｖは、頂点ｕ及び頂点ｖを含むポリゴンの集合であり、||ｕ－ｖ||は、頂点ｕと頂点ｖとの間の距離（エッジｕｖの長さ）である。

【0077】

第２に、メッシュ変換部２０２は、図９に示すように、ｅｄｇｅ ｃｏｌｌａｐｓｅという操作を用いて、選定したエッジを削減することで、メッシュ（ポリゴン）の簡略化を行うように構成されている。

【0078】

ここで、ｅｄｇｅ ｃｏｌｌａｐｓｅは、図９（ａ）における頂点Ｖ_ｔと頂点Ｖ_ｓとの間のエッジを消去の対象とし、図９（ｂ）に示すように、頂点Ｖ_ｔと頂点Ｖ_ｓとを結合する（頂点Ｖ_ｔを削除する）操作である。このように、ｅｄｇｅ ｃｏｌｌａｐｓｅを１回実施すると、ポリゴン数が２つ減ることになる。

【0079】

なお、図９（ｂ）の状態を図９（ａ）の状態に変更することでメッシュ（ポリゴン）詳細化する操作を、ｖｅｔｒｅｘ ｓｐｌｉｔと呼ぶ。

【0080】

メッシュ変換部２０２は、指定されたポリゴン数になるまで、図８及び図９に示す操作を繰り返して行うように構成されていてもよい。

【0081】

上述の操作が、メッシュ全体で実施された場合は、後処理が不要であるが、上述の操作が、パッチ毎で実施された場合、メッシュ変換部２０２は、隣接するパッチのメッシュに対して後処理を実施するように構成されていてもよい。

【0082】

例えば、メッシュ変換部２０２は、以下のステップを実施するように構成されていてもよい。

【0083】

第１に、パッチの境界のポリゴンは、エッジ不足が発生するため、メッシュ変換部２０２は、境界のエッジ毎で、以下のような処理を実施するように構成されている。

【0084】

図１０に示すパッチＰ１の境界であるＬ１が、処理対象のエッジであるものとする。ここで、実際には、パッチＰ１とパッチＰ２/Ｐ３とは接しているものとする。

【0085】

ここで、メッシュ変換部２０２は、境界Ｌ１から隣のパッチＰ２/Ｐ３のポリゴンの頂点Ｖ１～Ｖ３と最も近い頂点Ｄ１～Ｄ３を見つけるように構成されている。

【0086】

次に、メッシュ変換部２０２は、頂点Ｄ１～Ｄ３と最も近い頂点Ｖ１～Ｖ３の距離が閾値以内であれば、点線Ｌ１１～Ｌ１３を新しいエッジとして追加するように構成されている。

【0087】

なお、メッシュ変換部２０２は、全ての境界のエッジに対する本操作が終わったら、隣接するパッチ間におけるエッジ不足の問題を解決することできる。

【0088】

ここで、Ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎのため、図１０に示すように、パッチＰ１とパッチＰ２/Ｐ３との境界Ｌ１でギャップ発生している場合、メッシュ変換部２０２は、非特許文献１に規定されている技術と同様に、ｚｉｐｐｅｒｉｎｇ ａｌｇｏｒｉｔｈｍを用いて、かかるギャップを埋めるように構成されていてもよい。

【0089】

かかる場合、メッシュ変換部２０２は、図１１に示すように、ギャップが生じる頂点のペア（図１１の例では、頂点Ｖ１と頂点Ｄ１とのペア、頂点Ｖ２と頂点Ｄ２とのペア及び頂点Ｖ３と頂点Ｄ３とのペア）を見つけて、かかるペア同士の頂点を平均してマージするように構成されていてもよい。

【0090】

本発明によれば、映像符号化チップや点群符号化チップの再利用ができるようになり、メッシュの符号化効率を向上できる。

【0091】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0092】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0093】

１００…メッシュ符号化装置
１０１…点群変換部
１０２…点群符号化部
２００…メッシュ復号装置
２０１…点群復号部
２０２…メッシュ変換部
Ａ…ポリゴン
Ｔ…テキスチャー画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】