特許 7351858 点群の点のテクスチャを符号化／復号する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-19

(45)【発行日】2023-09-27

(54)【発明の名称】点群の点のテクスチャを符号化／復号する方法

(51)【国際特許分類】

   G06T 9/00 20060101AFI20230920BHJP

   H04N 19/597 20140101ALI20230920BHJP

   H04N 19/70 20140101ALI20230920BHJP

   H04N 19/85 20140101ALI20230920BHJP

   G06T 19/20 20110101ALI20230920BHJP

【ＦＩ】

G06T9/00

H04N19/597

H04N19/70

H04N19/85

G06T19/20

【請求項の数】 14

(21)【出願番号】P 2020566243

(86)(22)【出願日】2019-07-11

(65)【公表番号】

(43)【公表日】2021-11-18

(86)【国際出願番号】 US2019041281

(87)【国際公開番号】W WO2020014408

(87)【国際公開日】2020-01-16

【審査請求日】2022-07-06

(31)【優先権主張番号】18305936.9

(32)【優先日】2018-07-11

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】リカード，ジュリアン

(72)【発明者】

【氏名】グーデ，セリーヌ

(72)【発明者】

【氏名】ラック，ジョアン

【審査官】三沢 岳志

(56)【参考文献】

【文献】国際公開第２０１９／１４２６６６（ＷＯ，Ａ１）

【文献】Abdelhafiz, A.; Riedel, B.; Niemeier，Towards a 3D true colored space by the fusion of laser scanner point cloud and digital photos.，ISPRS Working Group V/4 Workshop 3D-ARCH 2005, Mestre-Venice, Italy，2005年08月24日，https://www.academia.edu/62817286/Towards_a_3D_true_colored_space_by_the_fusion_of_laser_scanner_point_cloud_and_digital_photos

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００

Ｈ０４Ｎ １９／５９７

Ｈ０４Ｎ １９／７０

Ｈ０４Ｎ １９／８５

Ｇ０６Ｔ １９／２０

(57)【特許請求の範囲】

【請求項1】

ビットストリーム内の点群を符号化することを含む方法であって、前記点群を符号化することが、
前記点群の少なくとも１つの点が色付けされる第１のテクスチャ画像を表す色情報データを符号化することと、
テクスチャ補間コード化モードを表す情報を符号化することであって、前記テクスチャ補間コード化モードは、前記ビットストリームが前記第１のテクスチャ画像を表す色情報データを含み、テクスチャ補間が、前記色情報から色付けされていない前記点群の少なくとも１つの他の点で行われる必要があることを示す、符号化することと、を含む、方法。

【請求項2】

ビットストリーム内の点群を符号化するように構成された１つ以上のプロセッサを含む装置であって、前記点群を符号化することが、
前記点群の少なくとも１つの点が色付けされる第１のテクスチャ画像を表す色情報データを符号化することと、
テクスチャ補間コード化モードを表す情報を符号化することであって、前記テクスチャ補間コード化モードは、前記ビットストリームが前記第１のテクスチャ画像を表す色情報データを含み、テクスチャ補間が、前記色情報から色付けされていない前記点群の少なくとも１つの他の点で行われる必要があることを示す、符号化することと、を含む、装置。

【請求項3】

ビットストリームから点群を再構築することを含む方法であって、前記点群を再構築することが、
テクスチャ補間コード化モードを表す情報を前記ビットストリームから復号化することであって、前記テクスチャ補間コード化モードは、前記ビットストリームが第１のテクスチャ画像を表す色情報データを含み、テクスチャ補間が、前記色情報から色付けされていない前記点群の少なくとも１つの点に対して行われる必要があることを示す、復号化することと、
前記色情報データから前記第１のテクスチャ画像を再構築することと、
前記色情報データから色付けされていない、前記再構築された点群の少なくとも１つの点に色を割り当てることと、を含む、方法。

【請求項4】

ビットストリームから点群を再構築するように構成された１つ以上のプロセッサを含む装置であって、前記点群を再構築することが、
テクスチャ補間コード化モードを表す情報を前記ビットストリームから復号化することであって、前記テクスチャ補間コード化モードは、前記ビットストリームが第１のテクスチャ画像を表す色情報データを含み、テクスチャ補間が、前記色情報から色付けされていない前記点群の少なくとも１つの点に対して行われる必要があることを示す、復号化することと、
前記色情報データから前記第１のテクスチャ画像を再構築することと、
前記色情報データから色付けされていない、前記再構築された点群の少なくとも１つの点に色を割り当てることと、を含む、装置。

【請求項5】

前記方法は、前記１つ以上のプロセッサが、前記第１のテクスチャ画像から前記点群の少なくとも１つの点を色付けするようにさらに構成されている、請求項４に記載の装置をさらに含む、請求項３に記載の方法。

【請求項6】

前記補間テクスチャコード化モードが、どのテクスチャ補間が使用されるかを示す、請求項１、３、もしくは５のいずれか一項に記載の方法、または請求項２、４、もしくは５のいずれか一項に記載の装置。

【請求項7】

前記補間テクスチャコード化モードは、第２のテクスチャ画像を再構築するために補間テクスチャプロセスが行われる必要があることを示す、請求項１、３、もしくは５～６のいずれか一項に記載の方法、または請求項２、４、もしくは５～６のいずれか一項に記載の装置。

【請求項8】

前記色情報データから色付けされていない、前記再構築された点群の少なくとも１つの点に色を割り当てることが、前記点群の前記点のすでに色付けされた隣接点の関数である、請求項１、３、もしくは５～７のいずれか一項に記載の方法または請求項２、４、もしくは５～７のいずれか一項に記載の装置。

【請求項9】

前記補間テクスチャコード化モードが、画像またはメタデータとして送信される、請求項１、３、もしくは５～８のいずれか一項に記載の方法、または請求項２、４、もしくは５～８のいずれか一項に記載の装置。

【請求項10】

コンピュータプログラム製品であって、前記プログラムが１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに請求項１、３、または５～９のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム製品。

【請求項11】

１つ以上のプロセッサに、請求項１、３、または５～９のいずれか一項に記載の方法を実行させる命令を含む、非一時的コンピュータ可読媒体。

【請求項12】

点群の少なくとも１つの点が色付けされる第１のテクスチャ画像を表す色情報を含むビットストリームと、補間テクスチャコード化モードとを含むデータにアクセスするように構成されたアクセスユニットであって、前記補間テクスチャコード化モードは、前記ビットストリームが、点群の少なくとも１つの点が色付けされる前記第１のテクスチャ画像を表す色情報を含み、テクスチャ補間が、前記色情報から色付けされていない前記点群の少なくとも１つの他の点で行われる必要があることを示す、アクセスユニットと、
前記ビットストリームを含む前記データを送信するように構成された送信機と、を含む、デバイス。

【請求項13】

点群の少なくとも１つの点が色付けされる第１のテクスチャ画像を表す色情報を含むビットストリームと、補間テクスチャコード化モードとを含むデータにアクセスすることであって、前記補間テクスチャコード化モードは、前記ビットストリームが、点群の少なくとも１つの点が色付けされる前記第１のテクスチャ画像を表す色情報を含み、テクスチャ補間が、前記色情報から色付けされていない前記点群の少なくとも１つの他の点で行われる必要があることを示す、アクセスすることと、
前記ビットストリームを含むデータを送信することと、を含む、方法。

【請求項14】

非一時的コンピュータ可読媒体であって、１つ以上のプロセッサに、
点群の少なくとも１つの点が色付けされる第１のテクスチャ画像を表す色情報を含むビットストリームと、補間テクスチャコード化モードとを含むデータにアクセスすることであって、前記補間テクスチャコード化モードは、前記ビットストリームが、点群の少なくとも１つの点が色付けされる前記第１のテクスチャ画像を表す色情報を含み、テクスチャ補間が、前記色情報から色付けされていない前記点群の少なくとも１つの他の点で行われる必要があることを示す、アクセスすることと、
前記ビットストリームを含むデータを送信することと、を実行させる命令を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、概して、点群のジオメトリおよび色を表す３Ｄ画像データのコード化および復号に関する。

【背景技術】

【0002】

本節は、技術分野の様々な態様を読者に紹介することを意図しており、これらは以下に説明および／または特許請求する本実施形態の様々な態様に関連し得る。この考察は、本実施形態の様々な態様のより良い理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであり、先行技術を容認したものとして読み取られるべきではないということを理解されたい。

【0003】

点群は、何らかの座標系のデータ点のセットである。３次元座標系（３Ｄ空間）では、これらの点は通常、３Ｄオブジェクトの外部表面を表すことが意図されている。点群の各点は、その位置（３Ｄ空間でのＸ、Ｙ、Ｚ座標）によって、場合によっては、例えば、ＲＧＢまたはＹＵＶ色空間で表される色、透明度、反射率、２成分法線ベクトルなどの他の関連付けられる属性によって定義されることが多い。

【0004】

以下では、色付きの点群は、つまり６成分点（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）または同等の（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）の集合とみなされ、ここで、（Ｘ、Ｙ、Ｚ）は３Ｄ空間の色付き点の座標を定義し、（Ｒ、Ｇ、Ｂ）または（Ｙ、ｕ、Ｖ）はこの色付き点の色を定義する。

【0005】

色付きの点群は、群が時間に対して進展するかどうかに応じて、静的または動的になり得る。動的な点群の場合、点の数は一定ではなく、むしろ、概して時間とともに進展する。したがって、動的な点群は、点のセットの時間順のリストである。

【0006】

実際には、色付きの点群は、文化遺産／建築物における彫像または建物のようなオブジェクトを３Ｄでスキャンして、送信したり、訪問したりすることなく、オブジェクトの空間構成を共有するなど、様々な目的のために使用することができる。また、万一オブジェクトが破壊される、例えば、地震によって寺院が破壊される場合に備えて、オブジェクトの知識を確実に保存する方法である。このような点群は通常、静的で、色付きで、巨大である。

【0007】

別の使用例は、地形学および地図作成におけるものであり、３Ｄ表現を使用することで、地図が平面に限定されず、起伏を含むことができる。現在、Ｇｏｏｇｌｅマップは、３Ｄマップの良い例だが、点群ではなくメッシュを使用している。それでも、点群は３Ｄマップに適したデータ形式である場合があり、そのような点群は通常、静的で、色付きで、巨大である。

【0008】

自動車産業および自動運転車も、点群が使用され得る領域である。自動運転車は、そのすぐ近くにある現実に基づいて適切な運転判断を行うために、その環境を「探る」ことができて当然である。ＬＩＤＡＲのような典型的なセンサは、意思決定エンジンで使用される動的な点群を生成する。これらの点群は人間が見ることを意図しておらず、典型的には小さく、必ずしも色付けされておらず、高頻度でキャプチャされるため動的である。これらは、Ｌｉｄａｒによって提供される反射率のような他の属性を持っていてもよく、この属性は検知されたオブジェクトの材料についての優れた情報であるため、意思決定に役立つ場合がある。

【0009】

バーチャルリアリティと没入型の世界は最近話題となっており、２Ｄフラットビデオの未来として多くの人が予測している。基本的な考え方は、標準的なテレビに対して、視聴者をその人の周りの全ての環境に没入させることであり、視聴者は自分の前の仮想世界のみを見ることができる。環境における視聴者の自由度に応じて、没入感にはいくつかの段階がある。色付きの点群は、バーチャルリアリティ（またはＶＲ）の世界を配信するのに良好な形式の候補である。それらは静的または動的であり、通常は平均サイズであり、一度に数百万点以下であると言える。

【0010】

許容できる（または好ましくは非常に良い）体験品質を維持しながら、ビットレートを適度に消費して、動的な色付きの点群をエンドユーザに配信することができることが非常に重要である。これらの動的な色付きの点群を効率的に圧縮することが、没入型世界の配信チェーンを実用化するために重要な点となる。

【0011】

以下では、画像には、画像（またはビデオ）のピクセル値に関連する全ての情報、ならびに、例えば、画像（またはビデオ）を視覚化および／または復号するために、ディスプレイおよび／または他の任意のデバイスによって使用され得る全ての情報を指定する特定の画像／ビデオ形式のサンプル（ピクセル値）の１つまたはいくつかの配列が含まれる。画像は、第１のサンプル配列の形状の少なくとも１つの成分、通常はルーマ（または輝度）成分と、場合によっては、少なくとも１つの他のサンプル配列の形状の少なくとも１つの他の成分、通常は色成分とを含む。あるいは、同等に、同じ情報は、従来の３色ＲＧＢ表現などの１組の色サンプル配列によっても表され得る。

【0012】

画像ベースの点群圧縮技術は、圧縮効率と低複雑性の組み合わせにより、ますます人気が高まっている。これらは２つの主要なステップで進行する。すなわち、まず、点群、つまり３Ｄ点を２Ｄ画像に投影（直交投影）する。例えば、少なくとも１つの深度画像は点群のジオメトリ、つまり３Ｄ空間内の３Ｄ点の空間位置（座標）を表し、少なくとも１つのテクスチャ画像は点群の３Ｄ点に関連する属性、例えば、これらの３Ｄ点に関連するテクスチャ／色情報を表している。次に、これらの技術は、従来のビデオエンコーダを使用して、そのような深度画像とテクスチャ画像を符号化する。ＨＥＶＣ（「ＩＴＵ－Ｔ Ｈ．２６５ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｓｅｃｔｏｒ ｏｆ ＩＴＵ（１０／２０１４）、ｓｅｒｉｅｓ Ｈ：視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ、すなわち、動画のコード化、高効率のビデオコード化、勧告ＩＴＵ－Ｔ Ｈ．２６５」）のような２Ｄビデオエンコーダの性能を活用して、優れた圧縮性能を達成すると同時に、単純な投影スキームを使用して複雑さを低く抑えている。

【0013】

画像ベースの点群圧縮技術の課題の１つは、特に点分布が多くの折り目（衣服におけるような凹領域／凸領域）を有する表面に従うとき、または点分布が（毛皮や髪のような）表面にまったく従わないときに、点群が画像への投影に適していない場合があるということである。これらの状況では、画像ベースの点群圧縮技術は、低い圧縮効率（多くの小さな投影が必要であり、２Ｄビデオ圧縮の効率を低下させる）または低品質（点群を表面に投影することが困難なため）に悩まされる。

【0014】

この問題を緩和するために最新技術で使用されるアプローチの１つは、複数のジオメトリおよびテクスチャ情報を画像の同じ空間位置（ピクセル）に投影することである。つまり、点群の３Ｄ点ごとにいくつかの深度および／またはテクスチャ画像が生成される。

【0015】

これは、例えば、２０１７年１０月、中国のマカオにおいて、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１７２４８、で定義されている点群エンコーダ（ＴＭＣ２）の場合であり、２つの深度画像（点群のジオメトリを表す）と２つのテクスチャ画像（点群の色／テクスチャを表す）が符号化される。

【0016】

点群の点を投影面に投影して得られたテクスチャ画像を効率的に圧縮することが課題である。

【発明の概要】

【0017】

以下では、本実施形態のいくつかの態様を基本的に理解してもらうために、本実施形態の簡略化した概要を提示する。この概要は、本実施形態の広範な大要ではない。本実施形態の主要または重要な要素を特定することは意図していない。以下の概要は、以下に提供されるより詳細な説明の前置きとして、本実施形態のいくつかの態様を単純化した形で提示しているにすぎない。

【0018】

本実施形態は、補間テクスチャコード化モードをビットストリームに生成および符号化する方法に関し、補間テクスチャコード化モードは、ビットストリームが、テクスチャ画像を表す色情報データを含み、テクスチャ補間が、当該色情報データから色付けされていない再構築された点群の点で行われる必要があることを示す。

【0019】

本実施形態はまた、ビットストリームが補間テクスチャコード化モードを含むかどうかを確認することであって、補間テクスチャコード化モードは、ビットストリームが、テクスチャ画像を表す色情報データを含み、テクスチャ補間が、当該色情報データから色付けされていない再構築された点群の点で行われる必要があることを示す、確認することと、当該色情報データから第１のテクスチャ画像を再構築することと、当該色情報データから色付けされていない再構築された点群の点に色を割り当てることと、を含む方法に関する。

【0020】

本実施形態の特定の性質、ならびに本実施形態の他の目的、利点、特徴、および使用は、添付の図面と併せて以下の例の説明から明らかになるであろう。

【図面の簡単な説明】

【0021】

図面には、本実施形態の例が示されている。図は以下の通りである。

【図1】ＴＭＣ２エンコーダの概要を示す。

【図2】点群の点に関連する深度値を示す。

【図3】ＴＭＣ２デコーダの概要を示す。

【図4】復号されたテクスチャ画像の例を示す。

【図5】２つのテクスチャ画像の違いを示す。

【図6】テクスチャを生成するための経路で提案されたテクスチャ符号化の例を示す。

【図7】点群のテクスチャを再構築／復号するための経路で提案されたテクスチャ復号の例を示す。

【図8】様々な態様および実施形態が実施されるシステムの例のブロック図を示す。

【発明を実施するための形態】

【0022】

同様または同一の要素は、同じ参照番号で参照される。

【0023】

本実施形態を、本実施形態の例が示されている、添付の図を参照して、以下に詳述する。しかしながら、本実施形態は、多くの代替形態で具体化されてもよく、本明細書に記載される例に限定されると解釈されるべきではない。したがって、本実施形態は、様々な修正および代替形態を受け入れやすいが、それらの特定の例は、図面に例示として示されており、本明細書で詳細に記載される。しかしながら、本実施形態を開示された特定の形態に限定する意図はなく、むしろ、本開示は、特許請求の範囲によって定義されるように、本実施形態の精神および範囲内に含まれる全ての修正物、等価物、および代替物を網羅することを理解されたい。

【0024】

本明細書で使用される用語は、特定の例を説明することのみを目的とし、本実施形態を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、特に文脈が明示しない限り、複数形も含むことが意図される。本明細書で使用される場合、「備える」、「備えている」、「含む」、および／または「含んでいる」という用語は、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。さらに、要素が別の要素に「応答する」または「接続される」と言及される場合、それは他の要素に直接応答するか、もしくは接続され得るか、または介在する要素が存在してもよい。対照的に、要素が他の要素に「直接応答する」または「直接接続される」と言及される場合、介在する要素は存在しない。本明細書で使用する場合、「および／または」という用語は、関連する列挙された項目のうちの１つ以上のありとあらゆる組合せを含み、「／」と略記することができる。

【0025】

本明細書では、第１、第２などの用語を使用して様々な要素を説明する場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本実施形態の教示から逸脱することなく、第１の要素を第２の要素と呼ぶことができ、同様に、第２の要素を第１の要素と呼ぶことができる。

【0026】

一部の図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生することがあることを理解されたい。

【0027】

一部の例は、ブロック図および動作フローチャートに関して説明されており、各ブロックは、指定された論理機能（複数可）を実装するための１つ以上の実行可能な命令を含む回路要素、モジュール、またはコードの一部を表す。他の実装態様では、ブロックに記載されている機能（複数可）が記載されている順序とは異なる順序で発生し得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際、実質的に同時に実行されることがあるか、またはブロックは、伴う機能に応じて、時には逆の順序で実行されることがある。

【0028】

本明細書における「一例による」または「一例における」という言及は、例に関して説明された特定の特徴、構造、または特性が、本実施形態の少なくとも１つの実装態様に含まれ得ることを意味する。本明細書の様々な場所での一例による」または「一例における」という語句の出現は、必ずしも全て同じ例を指しているわけではなく、別個または代替の例が他の例を必ずしも相互に排除しているわけでもない。

【0029】

請求項に現れる参照番号は、例示としてのみであり、請求項の範囲に限定的な影響を与えないものとする。

【0030】

明示的には説明されていないが、本例および変形例は、任意の組み合わせまたは部分的な組み合わせで使用されてもよい。

【0031】

ピクセル値は、Ｃ値のベクトルで表され、ここで、Ｃは成分の数である。ベクトルの各値は、ピクセル値の最大ダイナミックレンジを規定するビット数で表される。

【0032】

画像のブロックは、この画像に属するピクセルのセットを意味し、ブロックのピクセル値は、このブロックに属するピクセルの値を意味する。

【0033】

点群を符号化するために最先端技術で使用されているアプローチの１つ（カテゴリ２のＭＰＥＧ ３ＤＧ／ＰＣＣのテストモデルはＴＭＣ２と呼ばれる）は、２Ｄ画像の同じ位置（ピクセル）に複数のジオメトリおよびテクスチャ情報を投影することである。これは、入力点群ごとにいくつかの２Ｄジオメトリおよび／または２Ｄテクスチャ画像が生成されることを意味する。ＴＭＣ２（点群圧縮に関するＭＰＥＧ ３ＤＧアドホックのカテゴリ２テストモデル）の場合、入力点群ごとに深度（ジオメトリ用）およびカラー（テクスチャ用）の２つの画像が符号化される。

【0034】

図１は、ＴＭＣ２点群エンコーダの概要を示す。上の行（ジオメトリ圧縮）は、深度画像を使用して、点群のジオメトリ情報を符号化する。中央の行（メタデータ圧縮）は、深度画像から元の点群のジオメトリを再構築するために必要なメタデータを符号化する。下の行（テクスチャ圧縮）は、カラー画像を使用して、再構築されたジオメトリの色情報を符号化する。

【0035】

図１に示すように、ＴＭＣ２テストモデルは、投影面の座標ごとに２つの値、すなわち、最小（ｄｅｐｔｈ０）と最大（ｄｅｐｔｈ１）の深度を保持する。これを行うことにより、図２に示すように、符号化される投影データの量が増える代わりに、３Ｄ空間内の点の分布をより適切にキャプチャする。

【0036】

テクスチャ圧縮に関しては、２つのテクスチャ画像が生成される。２つのジオメトリ画像から、エンコーダは３Ｄ空間で点群を再構築できる。次に、ソース点群を使用して、３Ｄ色転送プロセスが行われる。「色の近似」と題する次の節で説明するアルゴリズムに従って、再構築された各点に色が割り当られる。

【0037】

デコーダ側では、図３に示すように、ＴＭＣ２は深度ビデオストリームとカラービデオストリームを復号し、メタデータを使用して点群を再構築する。
占有マップとパッチインデックスへのボック
パッチメタデータ：ｘ_０、ｙ_０、ｚ_０座標、投影軸、バウンディングボックス

【0038】

テクスチャの復号に関しては、２つのテクスチャ画像がソース点群から生成される。Ｔ０は、色転送プロセス中にＤｅｐｔｈ０の再構築された点群に対応付けられたソース点の色を含むテクスチャ画像である。Ｔ１は、Ｄｅｐｔｈ１の場合のテクスチャ画像である。

【0039】

図４の例は、復号されたテクスチャ画像Ｔ０およびＴ１を示す。

【0040】

観察されるように、Ｔ０とＴ１が互いにそれほど違わない。２つの画像の違いを図５に示す。

【0041】

これらの画像がそれほど違っていないという事実をビデオエンコーダが利用したとしても、ビットレートと処理時間の点でコストがかかる。

【0042】

本実施形態は、従来技術のように当該Ｔ１テクスチャ画像を送信するのではなく、Ｔ０テクスチャ画像からＴ１テクスチャ画像を補間する方法に関する。

【0043】

これにより、テクスチャＴ１が送信されないため、ビットレートの点で、また符号化と復号の両方の計算の複雑さの点で利益がある。

【0044】

本実施形態によれば、カラービデオビットストリームがテクスチャ補間を適用しなければならないことを示し、その場合、カラービデオビットストリームはまた、どのモードを適用しなければならないかを示す場合にのみ、Ｔ０からＴ１を補間する。

【0045】

エンコーダ側では、少なくとも１つの補間テクスチャコード化モードが生成される。補間テクスチャコード化モードは、カラービデオビットストリームが、第１のテクスチャ画像を表す色情報データを含み、テクスチャ補間が、当該色情報データから色付けされていない再構築された点群の点で行われる必要があることを示す。当該色情報データから点にまだ色が割り当てられていない場合、その点は色付けされていないと見なされる。

【0046】

変形例では、当該補間テクスチャコード化モードは、どの補間プロセスを使用するかを示すこともできる。

【0047】

図６は、テクスチャを生成するための経路で提案されたテクスチャ符号化の例を示す。

【0048】

デコーダ側では、カラービデオビットストリームが第１のテクスチャ画像を表す色情報データを含み、当該色情報データから色付けされていない再構築された点群の点にテクスチャ補間が行われる必要があることを示す補間テクスチャコード化モードをカラービデオストリームが含む場合、図７に示すように、第１のテクスチャ画像は、当該色情報データから再構築され、色は、当該色情報データから色付けされていない再構築された点群の点に割り当てられる。

【0049】

変形例では、当該補間テクスチャコード化モードは、どの補間プロセスを使用するかを示すこともできる。

【0050】

第１の実施形態によれば、当該補間テクスチャコード化モードは、補間プロセスがＴＭＣ２の色転送アルゴリズムを使用することを示す（９．１を参照）。

【0051】

第１の実施形態によれば、当該補間テクスチャコード化モードは、補間プロセスが以下のとおりであることを示している。

○（復号されたＴ０を用いて

【数1】

をテクスチャ再構築後に再構築された点群とする
○ｐ_ｉを色が割り当てられていない

【数2】

の点とする
○ｔ０_ｉを再構築されたテクスチャ画像Ｔ０によって色が割り当てられた

【数3】

の点とする。

【0052】

各点ｐ_ｉについて、Ｎ個の最も近い隣接点ｔ０_ｉ（Ｎの典型値は５である）を取り、各隣接点に適用する。
（Ｄｉｓｔ（ｐ_ｉ）－Ｄｉｓｔ（ｔ０_ｉ））＜閾値の場合、Ｃｏｌｏｒ（ｐ_ｉ）＝Ｃｏｌｏｒ（ｔ０_ｉ）
それ以外の場合、

【数4】

閾値の典型値は０．００１である。

【0053】

カラービデオビットストリームのメタデータは、テクスチャ画像を再構築するために補間テクスチャプロセスを実行する必要があるかどうかを示し、すなわち、カラービデオビットストリームが、第１のテクスチャ画像を表す色情報データを含み、テクスチャ補間が、当該色情報データから色付けされていない再構築された点群の点で行われる必要があることを示す。

【0054】

変形例では、当該補間テクスチャコード化モードは、どの補間プロセスを使用するかを示すこともできる。

【0055】

ｉｔｃｍを、適用する補間プロセスを示す補間テクスチャモードとする。

【0056】

これらの値は、エンコーダによって行われた決定プロセスに従って、画像、フレーム、またはフレームのグループによって符号化できる。

【0057】

ｉｔｃｍモードのメタデータの例
最初の例の１つは、補間テクスチャコード化モードをフラグ（オン／オフ）として符号化して、テクスチャ補間プロセスをアクティブ化および非アクティブ化することであり得る。
－オフ：フレームごとに２つのテクスチャ画像、テクスチャ補間なし
－オン：フレームごとに１つのテクスチャ画像、テクスチャ補間あり

【0058】

別の例として、補間テクスチャコード化モードを整数として符号化し、いくつかの補間プロセスを定義することができる。

【表1-1】

【表1-2】

【0059】

図１～図７では、モジュールは機能ユニットであり、それらは、区別可能な物理ユニットに関連していてもよく、関連していなくてもよい。例えば、これらのモジュールもしくはそれらの一部は、一意の構成要素もしくは回路にまとめられるか、またはソフトウェアの機能に貢献することができる。反対に、一部のモジュールは個別の物理エンティティで潜在的に構成されてもよい。本実施形態に適合する装置は、純粋なハードウェアを用いて、例えば、ＡＳＩＣ、もしくはＦＰＧＡ、もしくはＶＬＳＩ（それぞれ、≪特定用途向け集積回路≫、≪フィールドプログラマブルゲートアレイ≫、≪超大規模集積回路≫）などの専用ハードウェアを用いて実装されるか、または、デバイスに組み込まれたいくつかの集積電子部品もしくはハードウェアとソフトウェアの混合部品を用いて実装されている。

【0060】

図８は、様々な態様および実施形態が実施されるシステムの例のブロック図を示す。システム８０００は、以下で説明される様々な構成要素を含むデバイスとして具体化することができ、本出願で説明される態様の１つ以上を実行するように構成される。このようなデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなどの様々な電子デバイスが含まれるが、これらに限定されない。システム８０００の要素は、単独でも組み合わせでも、１つの集積回路、複数のＩＣ、および／またはディスクリート部品に具体化され得る。例えば、少なくとも１つの実施形態において、システム８０００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／またはディスクリート部品にわたって分散している。様々な実施形態において、システム８０００は、他の同様のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通して、通信可能に結合される。様々な実施形態において、システム８０００は、本文書に記載の態様のうちの１つ以上を実施するように構成される。

【0061】

システム８０００は、例えば、本文書に記載の様々な態様を実施する際に、読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ８０１０を含む。プロセッサ８０１０は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム８０００は、少なくとも１つのメモリ８０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム８０００は、ストレージデバイス８０４０を含み、これには、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブが含まれるがこれらに限定されない、不揮発性メモリおよび／または揮発性メモリが含まれ得る。ストレージデバイス８０４０は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および／またはネットワークアクセス可能なストレージデバイスを含み得る。

【0062】

システム８０００は、例えば、符号化されたビデオまたは復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール８０３０を含み、エンコーダ／デコーダモジュール８０３０は、独自のプロセッサおよびメモリを含み得る。エンコーダ／デコーダモジュール８０３０は、符号化機能および／または復号機能を実行するデバイスに含まれ得るモジュール（複数可）を表す。周知であるように、デバイスは、符号化および復号モジュールの一方または両方を含み得る。さらに、エンコーダ／デコーダモジュール８０３０は、システム８０００の別個の要素として実装されてもよく、または、当業者には周知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ８０１０内に組み込まれてもよい。

【0063】

本文書に記載の様々な態様を実行するようにプロセッサ８０１０またはエンコーダ／デコーダ８０３０に読み込まれるプログラムコードは、ストレージデバイス８０４０に格納され、続いて、プロセッサ８０１０による実行のためにメモリ８０２０に読み込まれ得る。様々な実施形態によれば、プロセッサ８０１０、メモリ８０２０、ストレージデバイス８０４０、およびエンコーダ／デコーダモジュール８０３０のうちの１つ以上は、本文書に記載のプロセスの実行中、様々な項目のうちの１つ以上を格納することができる。このような格納項目は、入力ビデオ、復号ビデオ、点群または復号ビデオの一部、ビットストリーム、再構築された点群、行列、変数、および方程式、数式、演算、および演算ロジックの処理からの中間結果または最終結果を含むことができるが、これらに限定されない。

【0064】

いくつかの実施形態において、プロセッサ８０１０および／またはエンコーダ／デコーダモジュール８０３０の内部のメモリを使用して、命令を格納し、符号化または復号中に必要とされる処理のために、ワーキングメモリを提供する。

【0065】

しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ８０１０またはエンコーダ／デコーダモジュール８０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ８０２０および／またはストレージデバイス８０４０であり得、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、テレビのオペレーティングシステムを格納するのに外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態において、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２、ＨＥＶＣ、ＶＶＣ（バーサタイルビデオコード化）またはＴＭＣ２など、ビデオコード化および復号作業に、ワーキングメモリとして使用される。

【0066】

システム８０００の要素への入力は、ブロック８１３０に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、ブロードキャスタによって無線通信経由で、送信されたＲＦ信号を受信するＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ（登録商標）入力端子が含まれるが、これらに限定されない。

【0067】

様々な実施形態において、ブロック８１３０の入力デバイスは、当技術分野で周知であるような関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも言う）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと呼ばれ得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調する、（ｖ）誤り訂正を実行する、（ｖｉ）逆多重化して、所望のデータパケットストリームを選択するのに、必要な要素に関連付けられ得る。様々な実施形態のＲＦ部には、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサの機能を実行する１つ以上の要素が含まれる。ＲＦ部には、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行する波長調整器が含まれ得る。

【0068】

１つのセットトップボックスの実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、所望の周波数帯域に再びフィルタ処理することによって、周波数選択を実行する。

【0069】

様々な実施形態では、上記（および他の）要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様または異なる機能を実行する他の要素が加えられる。

【0070】

要素を加えることには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ－デジタル変換器を挿入することなどが含まれ得る。様々な実施形態において、ＲＦ部には、アンテナが含まれる。

【0071】

また、ＵＳＢおよび／またはＨＤＭＩ（登録商標）端子は、ＵＳＢおよび／またはＨＤＭＩ（登録商標）接続にわたる他の電子デバイスにシステム８０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えばリード・ソロモン誤り訂正が、例えば、必要に応じて、別個の入力処理ＩＣ内またはプロセッサ８０１０内で実施され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩ（登録商標）インターフェース処理の態様が、必要に応じて、別個のインターフェースＩＣ内またはプロセッサ８０１０内で実施され得る。例えば、出力デバイス上の表示の必要に応じて、データストリームを処理するように、メモリおよび記憶要素と組んで動作するプロセッサ８０１０、およびエンコーダ／デコーダ８０３０を含む、様々な処理要素に、復調され、誤り訂正され、逆多重化されたストリームが提供される。

【0072】

システム８０００の様々な要素は、一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素を相互接続し、適切な接続構成、例えば、Ｉ２Ｃバス、配線、およびプリント回路基板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを送信することができる。

【0073】

システム８０００は、通信チャネル８０６０を介して他のデバイスとの通信を可能にする通信インターフェース８０５０を含む。通信インターフェース８０５０には、通信チャネル８０６０経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されない。通信インターフェース８０５０には、モデムまたはネットワークカードが含まれ得るが、これらに限定されず、通信チャネル８０６０は、例えば、有線および／または無線媒体内に実装され得る。

【0074】

様々な実施形態において、データは、ＩＥＥＥ８０２．１１などのＷｉ－Ｆｉネットワークを使用して、システム８０００にストリーミングされる。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル８０６０および通信インターフェース８０５０経由で受信される。これらの実施形態の通信チャネル８０６０は、通常、アクセスポイントまたはルータに接続され、アクセスポイントまたはルータは、アプリケーションをストリーミングすることおよび他のオーバー・ザ・トップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供する。

【0075】

他の実施形態は、入力ブロック８１３０のＨＤＭＩ（登録商標）接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム８０００に提供する。

【0076】

さらに他の実施形態は、入力ブロック８１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム８０００に提供する。

【0077】

システム８０００は、ディスプレイ８１００、スピーカー８１１０、および他の周辺デバイス８１２０を含む、様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス８１２０は、実施形態の様々な例において、スタンドアロンＤＶＲ、ディスクプレーヤー、ステレオシステム、照明システム、およびシステム８０００の出力に基づいて機能を提供する他のデバイスのうちの１つ以上を含む。
様々な実施形態では、制御信号は、システム８０００とディスプレイ８１００との間、スピーカー８１１０間、または、ＡＶ．Ｌｉｎｋ、ＣＥＣ、もしくはユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用する他の周辺デバイス８１２０間で通信される。
出力デバイスは、それぞれのインターフェース８０７０、８０８０、および８０９０を介した専用接続を介してシステム８０００に通信可能に結合することができる。
あるいは、出力デバイスは、通信インターフェース８０５０を介して通信チャネル８０６０を使用してシステム８０００に接続することができる。ディスプレイ８１００およびスピーカー８１１０は、例えば、テレビなどの電子デバイス内のシステム８０００の他の構成要素と、単一のユニットに統合することができる。
様々な実施形態では、ディスプレイインターフェース８０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。
あるいは、ディスプレイ８１００およびスピーカー８１１０は、例えば、入力８１３０のＲＦ部分が別個のセットトップボックスの一部である場合、他の構成要素うちの１つ以上から分離することができる。ディスプレイ８１００およびスピーカー８１１０が外部構成要素である様々な実施形態では、出力信号は、例えば、ＨＤＭＩ（登録商標）ポート、ＵＳＢポート、またはＣＯＭＰ出力を含む専用の出力接続を介して提供することができる。
本明細書で説明される様々なプロセスおよび機能の実装形態は、様々な異なる機器またはアプリケーションで具体化され得る。そのような機器の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、および画像またはビデオまたはその他の通信デバイスを処理するためのその他のデバイスが含まれる。明らかである必要があるが、機器は、可搬式とすることができ、移動車両にさえ搭載することができる。

【0078】

加えて、方法は、プロセッサによって実行される命令によって実装されてもよく、そのような命令（および／または実装態様によって生成されるデータ値）は、コンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体は、１つ以上のコンピュータ可読媒体で具体化され、かつコンピュータで実行可能なコンピュータ可読プログラムコードがその上で具体化されるコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、そこに情報を記憶する固有の能力、ならびにそこから情報の検索を提供する固有の能力が与えられた非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の適切な組み合わせとすることができるが、これらに限定されない。以下は、本実施形態を適用することができるコンピュータ可読記憶媒体のより具体的な例を提供するが、当業者によって容易に理解されるように、ポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または前述のいずれかの適切な組み合わせは、単に例示的であり、網羅的なリストではないことを理解されたい。

【0079】

命令は、プロセッサ可読媒体に有形に具体化されるアプリケーションプログラムを形成することができる。

【0080】

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせに存在することができる。命令は、例えば、オペレーティングシステム、個別アプリケーション、または２つの組み合わせに見出すことができる。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイス、およびプロセスを実行する命令を有するプロセッサ可読媒体（ストレージデバイスなど）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令の他に、または命令の代わりに、実装態様により生成されるデータ値を格納することができる。

【0081】

当業者には明らかであるように、実装態様は、情報を伝達するようにフォーマットされる多種多様な信号を生成することができ、この情報は、例えば、格納または送信することができる。情報は、例えば、方法を実行する命令、または説明される実装態様のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明した本実施形態の例の構文を書き込むか、もしくは読み出すルールをデータとして伝達するように、または説明した本実施形態の例により書き込まれた実際の構文値をデータとして伝達するようにフォーマットすることができる。このような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号は、既知の如く、多種多様な異なる有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に格納することができる。

【0082】

多数の実装態様が説明されてきた。それにもかかわらず、様々な変更を行うことができることが理解されよう。例えば、異なる実装態様の要素は、他の実装態様を生成するために組み合わせる、補足する、変更する、または削除することができる。また、当業者であれば、他の構造およびプロセスを、開示される構造およびプロセスに替えて用いることができ、結果として得られる実装態様が、少なくとも実質的に同じ機能（複数可）を、少なくとも実質的に同じ方法（複数可）で実行して、開示される実装態様と少なくとも実質的に同じ結果（複数可）を達成することを理解するであろう。したがって、これらの実装態様および他の実装態様は、本出願により想到される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】