ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ソニー株式会社の特許一覧 ▶ ソニー コーポレイション オブ アメリカの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-29
(54)【発明の名称】ポイントクラウド圧縮のための適応モード選択
(51)【国際特許分類】
G06T 9/00 20060101AFI20241022BHJP
H04N 19/597 20140101ALI20241022BHJP
【ＦＩ】
G06T9/00
H04N19/597
G06T9/00 200
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024521058
(86)(22)【出願日】2022-09-22
(85)【翻訳文提出日】2024-04-05
(86)【国際出願番号】 IB2022058973
(87)【国際公開番号】W WO2023057848
(87)【国際公開日】2023-04-13
(31)【優先権主張番号】63/262,135
(32)【優先日】2021-10-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/739,484
(32)【優先日】2022-05-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＢＬＵＥＴＯＯＴＨ
３．ＷＣＤＭＡ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】504257564
【氏名又は名称】ソニー コーポレイション オブ アメリカ
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(74)【代理人】
【識別番号】100151987
【弁理士】
【氏名又は名称】谷口 信行
(72)【発明者】
【氏名】ザゲットー アレクサンドレ
(72)【発明者】
【氏名】タバタバイ アリ
(72)【発明者】
【氏名】グラジオッシ ダニーロ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159PP03
(57)【要約】
ポイントクラウド圧縮のための適応モード選択のための電子デバイス及び方法を提供する。電子デバイスは、３Ｄポイントクラウドジオメトリを受け取り、３Ｄポイントクラウドジオメトリを３Ｄブロックのセットに分割する。３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定する。モード決定情報は、３Ｄポイントクラウドジオメトリのクラス情報、３Ｄポイントクラウドジオメトリの符号化段階と関連付けられる動作条件、又は３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報を含む。モード決定情報に基づいて、複数のモードから３Ｄブロックに対する１又は２以上のモードを選択する。各モードは、３Ｄブロックを符号化するために使用される関数に対応する。１又は２以上のモードに基づいて、３Ｄブロックを符号化する。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
電子デバイスであって、３次元（３Ｄ）ポイントクラウドジオメトリを受け取ることと、
前記３Ｄポイントクラウドジオメトリを３Ｄブロックのセットに分割することと、
前記３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定することであって、前記モード決定情報は、
前記３Ｄポイントクラウドジオメトリと関連付けられるクラス情報、
前記３Ｄポイントクラウドジオメトリの符号化段階と関連付けられる１又は２以上の動作条件（ｏｐｅｒａｔｉｏｎａｌ ｃｏｎｄｉｔｉｏｎｓ）、又は
前記３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、
のうちの少なくとも１つを含む、ことと、
前記モード決定情報に基づいて、複数のモードから前記３Ｄブロックに対する１又は２以上のモードを選択することであって、
前記複数のモードのうちの各モードは、前記３Ｄブロックを符号化するために使用される関数に対応する、ことと、
前記選択された１又は２以上のモードに基づいて、前記３Ｄブロックを符号化することと、
を行うように構成される回路、
を含むことを特徴とする電子デバイス。
【請求項2】
前記３Ｄポイントクラウドジオメトリと関連付けられる前記クラス情報は、前記３Ｄポイントクラウドジオメトリと関連付けられるジオメトリビット深度、密度、又はポイント分布のうちの少なくとも１つを含むことを特徴とする、請求項１に記載の電子デバイス。
【請求項3】
前記３Ｄポイントクラウドジオメトリの前記符号化段階と関連付けられる前記１又は２以上の動作条件は、前記３Ｄポイントクラウドジオメトリと関連付けられる目標レート歪みコストを含むことを特徴とする、請求項１に記載の電子デバイス。
【請求項4】
前記回路は、前記複数のモードをクラス及び動作条件にマッピングするテーブルをロードし、
前記クラス情報及び前記１又は２以上の動作条件を使用して前記テーブルを探索して、前記１又は２以上のモードを選択する、
ように更に構成される、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項5】
前記回路は、較正ポイントクラウドを複数の３Ｄブロックに分割し、
前記複数のモードの各々に基づいて前記複数の３Ｄブロックを符号化して、複数の符号化された３Ｄブロックを生成し、
前記生成された複数の符号化された３Ｄブロックの各々と関連付けられるレート歪みコストを決定し、
前記複数のモードのうちの各モードについて、前記複数のモードに対して前記レート歪みコストが最小である前記複数の符号化された３Ｄブロックの割合（ｆｒａｃｔｉｏｎ）を示す統計情報を決定し、
前記決定された統計情報に基づいて、前記生成された複数の符号化された３Ｄブロックから、前記複数の符号化された３Ｄブロックの前記割合が閾値を超える符号化された３Ｄブロックのサブセットを決定し、
前記複数のモードから、前記符号化された３Ｄブロックのサブセットの生成に使用されるモードのサブセットを決定し、
前記決定されたモードのサブセット、前記クラス、及び前記動作条件に基づいて、前記テーブルを生成する、
ように更に構成される、
ことを特徴とする、請求項４に記載の電子デバイス。
【請求項6】
前記回路は、前記選択された１又は２以上のモードの各々に基づいて、前記３Ｄブロックを符号化して、１又は２以上の符号化された３Ｄブロックを決定し、
前記決定された１又は２以上の符号化された３Ｄブロックと関連付けられるレート歪みコストを決定し、
前記モードと関連付けられるレート歪みコストが前記決定されたレート歪みコストの最小値に対応するという決定に基づいて、前記符号化段階のための最適なモードとして、前記選択された１又は２以上のモードのうちのモードを決定し、
前記決定されたモードに基づいて前記３Ｄブロックを符号化して、符号化された３Ｄブロックを生成する、
ように更に構成される、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項7】
前記関数は、前記３Ｄポイントクラウドジオメトリの前記３Ｄブロックを符号化して、符号化された３Ｄブロックを生成するようにトレーニングされるディープニューラルネットワーク（ＤＮＮ）モデルに対応することを特徴とする、請求項１に記載の電子デバイス。
【請求項8】
前記複数のモードのうちの各モードは、前記ＤＮＮモデルのトレーニング段階で使用されるフォーカルロス関数（ｆｏｃａｌ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）のアルファパラメータに対応し、前記フォーカルロス関数は、前記３Ｄポイントクラウドジオメトリの前記３Ｄブロックからの非空ボクセルの除去にペナルティを科す（ｐｅｎａｌｉｚｅ）ように構成される、
ことを特徴とする、請求項７に記載の電子デバイス。
【請求項9】
前記回路は、定められたスキャン順序での前記３Ｄブロックのセットのスキャンに基づいて、前記３Ｄブロックのセットのサブセットを決定し、
前記複数のモードに基づいて、前記決定されたサブセットのうちの第１のサブセットのうちの各３Ｄブロックを符号化して、複数の符号化された３Ｄブロックを生成し、
前記複数の符号化された３Ｄブロックのうちの各符号化された３Ｄブロックと関連付けられるレート歪みコストを決定し、
前記複数の符号化された３Ｄブロックのうちの各符号化された３Ｄブロックと関連付けられる前記決定されたレート歪みコストに基づいて、前記第１のサブセットと関連付けられるモード使用統計を決定する、
ように更に構成され、
前記モード関連情報は、前記第１のサブセットと関連付けられる前記決定されたモード使用統計を含む、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項10】
前記回路は、前記３Ｄブロックを含む第２のサブセットに対する前記１又は２以上のモードを選択するように更に構成され、前記第２のサブセットは、前記決定されたサブセットに含まれ、
前記第２のサブセットは、前記スキャン順序に従って前記第１のサブセットに続く、
ことを特徴とする、請求項９に記載の電子デバイス。
【請求項11】
前記回路は、前記３Ｄポイントクラウドジオメトリにおける前記３Ｄブロックのセットの空間配置に基づいて、前記３Ｄブロックのセットから、前記３Ｄブロックの近隣に存在する３Ｄブロックのサブセットを決定するように更に構成され、前記１又は２以上のモードの選択は、前記３Ｄブロックのサブセットのうちの各３Ｄブロックをそれぞれの符号化された３Ｄブロックに符号化するための前記１又は２以上のモードの使用に基づく、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項12】
前記回路は、前記３Ｄブロックと関連付けられる前記クラス情報を含むポイントクラウドメトリックを決定するように更に構成され、前記１又は２以上のモードは、前記ポイントクラウドメトリックへの分類器モデルの適用に更に基づいて選択され、
前記分類器モデルは、モード予測のタスクでトレーニングされる機械学習モデルである、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項13】
前記回路は、前記３Ｄブロック及び前記３Ｄポイントクラウドジオメトリの前記３Ｄブロックの近隣の３Ｄブロックのサブセットと関連付けられる前記クラス情報を含むポイントクラウドメトリックを決定するように更に構成され、前記１又は２以上のモードは、前記ポイントクラウドメトリックへの分類器モデルの適用に更に基づいて選択され、
前記分類器モデルは、モード予測のタスクでトレーニングされる機械学習モデルである、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項14】
前記回路は、前記３Ｄブロックに畳み込みニューラルネットワークを適用して、前記３Ｄブロックに対するモード予測を生成するように更に構成され、前記モード予測は、前記モード決定情報に含まれ、前記１又は２以上のモードは、前記モード予測に基づいて選択される、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項15】
前記回路は、前記３Ｄブロック及び前記３Ｄポイントクラウドジオメトリの前記３Ｄブロックの近隣の３Ｄブロックのサブセットに畳み込みニューラルネットワークを適用して、前記３Ｄブロックに対するモード予測を生成するように更に構成され、前記モード予測は、前記モード決定情報に含まれ、前記１又は２以上のモードは、前記モード予測に基づいて選択される、
ことを特徴とする、請求項１に記載の電子デバイス。
【請求項16】
方法であって、電子デバイスにおいて、
３次元（３Ｄ）ポイントクラウドジオメトリを受け取るステップと、
前記３Ｄポイントクラウドジオメトリを３Ｄブロックのセットに分割するステップと、
前記３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定するステップであって、前記モード決定情報は、
前記３Ｄポイントクラウドジオメトリと関連付けられるクラス情報、
前記３Ｄポイントクラウドジオメトリの符号化段階と関連付けられる１又は２以上の動作条件、又は
前記３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、
のうちの少なくとも１つを含む、ステップと、
前記モード決定情報に基づいて、複数のモードから前記３Ｄブロックに対する１又は２以上のモードを選択するステップであって、
前記複数のモードのうちの各モードは、前記３Ｄブロックを符号化するために使用される関数に対応する、ステップと、
前記選択された１又は２以上のモードに基づいて、前記３Ｄブロックを符号化するステップと、
を含むことを特徴とする方法。
【請求項17】
前記複数のモードをクラス及び動作条件にマッピングするテーブルをロードするステップと、前記クラス情報及び前記１又は２以上の動作条件を使用して前記テーブルを探索して、前記１又は２以上のモードを選択するステップと、
を更に含むことを特徴とする、請求項１６に記載の方法。
【請求項18】
前記関数は、前記３Ｄポイントクラウドジオメトリの前記３Ｄブロックを符号化して、符号化された３Ｄブロックを生成するようにトレーニングされるディープニューラルネットワーク（ＤＮＮ）モデルに対応することを特徴とする、請求項１６に記載の方法。
【請求項19】
前記複数のモードのうちの各モードは、前記ＤＮＮモデルのトレーニング段階で使用されるフォーカルロス関数のアルファパラメータに対応し、前記フォーカルロス関数は、前記３Ｄポイントクラウドジオメトリの前記３Ｄブロックからの非空ボクセルの除去にペナルティを科すように構成される、
ことを特徴とする、請求項１８に記載の方法。
【請求項20】
電子デバイスによって実行された時に、前記電子デバイスに動作を実行させるコンピュータ実行可能命令が記憶された非一時的コンピュータ可読媒体であって、前記動作は、３次元（３Ｄ）ポイントクラウドジオメトリを受け取ることと、
前記３Ｄポイントクラウドジオメトリを３Ｄブロックのセットに分割することと、
前記３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定することであって、前記モード決定情報は、
前記３Ｄポイントクラウドジオメトリと関連付けられるクラス情報、
前記３Ｄポイントクラウドジオメトリの符号化段階と関連付けられる１又は２以上の動作条件、又は
前記３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、
のうちの少なくとも１つを含む、ことと、
前記モード決定情報に基づいて、複数のモードから前記３Ｄブロックに対する１又は２以上のモードを選択することであって、
前記複数のモードのうちの各モードは、前記３Ｄブロックを符号化するために使用される関数に対応する、ことと、
前記選択された１又は２以上のモードに基づいて、前記３Ｄブロックを符号化することと、
を含む、
ことを特徴とする非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願への相互参照／引用による組み込み〕
[0001] 本出願は、２０２１年５月９日に米国特許商標庁に出願された米国特許出願第１７／７３９，４８４号の優先権の利益を主張するものであり、この出願は、２０２１年１０月５日出願の米国仮特許出願番号第６３／２６２，１３５号の優先権を主張するものであり、その内容全体が引用により本明細書に組み入れられる。
[0001] 本出願は、２０２１年５月９日に米国特許商標庁に出願された米国特許出願第１７／７３９，４８４号の優先権の利益を主張するものであり、この出願は、２０２１年１０月５日出願の米国仮特許出願番号第６３／２６２，１３５号の優先権を主張するものであり、その内容全体が引用により本明細書に組み入れられる。
【0002】
[0002] 本開示の様々な実施形態は、３次元（３Ｄ）ポイントクラウド圧縮（ＰＣＣ）に関する。より具体的には、本開示の様々な実施形態は、ポイントクラウド圧縮のための適応モード選択に関する。
【背景技術】
【0003】
[0003] ３次元（３Ｄ）スキャンの分野の進歩は、３Ｄオブジェクトの３Ｄ幾何学表現を作成する能力をもたらした。３Ｄポイントクラウドは３Ｄ幾何学表現の一例であり、これらは、スポーツ又はライブイベントの中継放送の自由視点表示、地理情報システム、文化遺産の再現、又は車両の自律航法などの異なる用途に採用されている。通常、３Ｄポイントクラウドは、多数の非構造化３Ｄポイント（例えば、各ポイントは、Ｘ、Ｙ及びＺ座標を有する）と、関連する属性（例えば、色又は反射率を含むテクスチャ）とを含む。３Ｄポイントクラウドによって表されるオブジェクトの３Ｄ画像は、非常に多くの生データを含む場合があり、これにより、あらゆる実用的応用のためのデータの記憶、処理及び伝送が困難な作業になっている。したがって、効率的なポイントクラウド圧縮（ＰＣＣ）手法を有することが望ましい場合がある。いくつかの従来のＰＣＣ手法は、３Ｄポイントクラウドの一部であっても圧縮するために、複数の符号化及び復号化動作を必要とする。このような手法は、計算コストがかかる可能性があり、計算のために利用可能なメモリリソースを制約する可能性がある。
【0004】
[0004] 当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法の更なる制限及び不利点が明らかになるであろう。
【発明の概要】
【発明が解決しようとする課題】
【0005】
[0005] 少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲に更に完全に示す、ポイントクラウド圧縮のための適応モード選択のための電子デバイス及び方法を提供する。
【0006】
[0006] 全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【0007】
【図1】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な環境を示すブロック図である。
【図3】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的なエンコーダ及び例示的なデコーダのブロック図である。
【図4】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図5】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図6】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図7】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図8A】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図8B】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図9A】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図9B】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。
【図10】本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な動作を示すフローチャートである。
【発明を実施するための形態】
【0008】
[0019] 以下で説明する実装は、ポイントクラウド圧縮のための適応モード選択のための開示される電子デバイス及び方法に見出すことができる。電子デバイスの例示的な態様は、３Ｄ空間内の少なくとも１つのオブジェクトと関連付けられる３Ｄポイントクラウドの３次元（３Ｄ）ポイントクラウドジオメトリを受け取るように構成することができる回路を含むことができる。電子デバイスは、３Ｄポイントクラウドジオメトリを３Ｄブロックのセットに分割し、３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定するように構成することができる。モード決定情報は、例えば、３Ｄポイントクラウドジオメトリと関連付けられるクラス情報、３Ｄポイントクラウドジオメトリの符号化段階と関連付けられる１又は２以上の動作条件（ｏｐｅｒａｔｉｏｎａｌ ｃｏｎｄｉｔｉｏｎｓ）、又は３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報を含むことができる。電子デバイスは、モード決定情報に基づいて、複数のモードから３Ｄブロックに対する１又は２以上のモードを選択するように更に構成することができる。複数のモードのうちの各モードは、３Ｄブロックを符号化するために使用することができる関数に対応することができる。例えば、関数は、３Ｄポイントクラウドジオメトリの３Ｄブロックを符号化して、符号化された３Ｄブロックを生成するようにトレーニングすることができるディープニューラルネットワーク（ＤＮＮ）モデルに対応することができる。複数のモードのうちの各モードは、例えば、ＤＮＮモデルのトレーニング段階で使用されるフォーカルロス関数（ｆｏｃａｌ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）のアルファパラメータに対応することができる。フォーカルロス関数は、３Ｄポイントクラウドジオメトリの３Ｄブロックからの非空ボクセルの除去にペナルティを科す（ｐｅｎａｌｉｚｅ）ように構成することができる。電子デバイスは、選択された１又は２以上のモードに基づいて、３Ｄブロックを符号化するように更に構成することができる。
【0009】
[0020] いくつかの従来のポイントクラウド圧縮（ＰＣＣ）技術は、３Ｄポイントクラウドジオメトリの各３Ｄブロックを符号化するための最適モードを探索するために、フルモードサーチ動作を必要とする。フルモードサーチ動作では、各可能なモードに基づいて、３Ｄブロックを符号化することができ、符号化された３Ｄブロックを再構成（すなわち復号）して、全ての可能なモードに対するレート歪みコストを決定することができる。３Ｄブロックと関連付けられる最適モードとして、最も低いレート歪みコストに対応するモードを選択することができる。最後に、選択された最適モードに基づいて、３Ｄブロックを符号化することができる。レート歪みコストの決定は、ブロック毎に複数の符号化及び復号化動作を必要とする場合があるので、従来のＰＣＣ技術は、計算コストがかかる場合があり、ポイントクラウドジオメトリの符号化段階においてメモリ使用量が高い場合がある。
【0010】
[0021] これに対して、ポイントクラウド圧縮のための開示する技術は、３Ｄポイントクラウドジオメトリの各３Ｄブロックを符号化するための最適モードを決定するために、フルモードサーチ動作を必要としない。全ての可能なモードを使用して各３Ｄブロックを符号化すること（すなわち、フルモードサーチ）の代わりに、開示する技術は、モード決定情報を使用して１又は２以上のモードを選択し、選択された１又は２以上のモードから最適モードを探索する。各３Ｄブロックを符号化するための最終モードを決定するために必要な符号化及び復号化動作の数は、３Ｄブロック毎のフルモードサーチと比較して、著しく低減することができる。したがって、ポイントクラウド圧縮のための開示する技術は、従来のＰＣＣ技術よりも計算集約的ではなく、必要なメモリリソースを少なくすることができる。
【0011】
[0022] 図１は、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、電子デバイス１０２、サーバ１０４、スキャニングセットアップ（ｓｃａｎｎｉｎｇ ｓｅｔｕｐ）１０６、及び複数の外部デバイス１０８Ａ．．．１０８Ｎを含むことができる。スキャニングセットアップ１０６は、１又は２以上の画像センサ（図示せず）と、１又は２以上の画像センサと関連付けられる１又は２以上の深度センサ（図示せず）とを含むことができる。電子デバイス１０２は、通信ネットワーク１１０を介して、サーバ１０４、スキャニングセットアップ１０６、及び複数の外部デバイス１０８Ａ．．．１０８Ｎに通信可能に結合することができる。３Ｄ空間内の少なくとも１つのオブジェクト（例えば人物）と関連付けられる３Ｄポイントクラウドの３次元（３Ｄ）ポイントクラウドジオメトリ１１２が更に示されている。
【0012】
[0023] 電子デバイス１０２は、３Ｄポイントクラウドジオメトリ（例えば、３Ｄポイントクラウドジオメトリ１１２）を符号化及び／又は復号するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。３Ｄポイントクラウドは、３Ｄ空間内のオブジェクトを一緒に表現する複数のポイントを含むことができる。一例として、各ポイントを（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ，α）として表すことができ、ここで、（ｘ，ｙ，ｚ）は、オブジェクト上のポイントの３Ｄ座標を表し、（ｒ，ｇ，及びｂ）は、ポイントの赤、緑及び青の値を表し、（α）は、ポイントの透明度値を表す。いくつかの実施形態では、電子デバイス１０２は、１つのオブジェクト又は複数のオブジェクトの３Ｄポイントクラウド（例えば、前景及び背景にオブジェクトを含む３Ｄシーン）を生成するように構成することができる。電子デバイス１０２は、３Ｄポイントクラウドから、１つのオブジェクト（又は複数のオブジェクト）の３Ｄポイントクラウドジオメトリ１１２を取得することができる。電子デバイス１０２の例としては、以下に限定されるわけではないが、コンピュータデバイス、ビデオ会議システム、拡張現実（ＡＲ）デバイス、仮想現実（ＶＲ）デバイス、複合現実（ＭＲ）デバイス、ゲームコンソール、スマートウェアラブルデバイス、メインフレームマシン、サーバ、コンピュータワークステーション、及び／又は民生用電子（ＣＥ）デバイスを挙げることができる。
【0013】
[0024] サーバ１０４は、オブジェクトの３Ｄポイントクラウドを生成し、３Ｄポイントクラウドに関連する３Ｄポイントクラウドジオメトリ１１２及び情報を記憶するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。サーバ１０４の例としては、以下に限定されるわけではないが、アプリケーションサーバ、クラウドサーバ、ウェブサーバ、データベースサーバ、ファイルサーバ、ゲームサーバ、メインフレームサーバ、又はこれらの組み合わせを挙げることができる。
【0014】
[0025] スキャニングセットアップ１０６は、オブジェクトを含む３Ｄ環境をスキャンして、生の（ｒａｗ）３Ｄスキャン（生の３Ｄポイントクラウドとも呼ばれる）を生成するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。ある実施形態によれば、スキャニングセットアップ１０６は、単一の画像キャプチャデバイス又は複数の画像キャプチャデバイス（複数の視点に配置される）を含み、複数の色画像を取り込むことができる。特定の例では、スキャニングセットアップ１０６に追加の深度センサを含めて、オブジェクトの深度情報を取り込むことができる。複数の色画像及びオブジェクトの深度情報は、異なる視点から取り込むことができる。このような場合、取り込まれた複数の色画像及びオブジェクトの対応する深度情報に基づいて、３Ｄポイントクラウドを生成することができる。
【0015】
[0026] ある実施形態によれば、スキャニングセットアップ１０６は、３Ｄ空間内のオブジェクトの３Ｄスキャンを実行し、異なる時間ステップにおいて異なる属性及び３Ｄポイントのジオメトリの変化を取り込むことができる動的３Ｄポイントクラウド（すなわち、ポイントクラウドシーケンス）を生成するように構成することができる。スキャニングセットアップ１０６は、通信ネットワーク１１０を介して、電子デバイス１０２に、生成された３Ｄポイントクラウド、複数の色画像、及び／又は対応する深度情報を通信するように構成することができる。
【0016】
[0027] ある実施形態によれば、スキャニングセットアップ１０６は、深度センサと色センサ（赤－緑－青（ＲＧＢ）センサなど）の組み合わせ、及び／又は赤外線（ＩＲ）プロジェクタとＩＲセンサの組み合わせなどの複数のセンサを含むことができる。例えば、深度センサは、ポイントクラウドジオメトリと関連付けられる情報（ポイントの３Ｄ位置）を取り込むことができ、ＲＧＢセンサ及びＩＲセンサは、ポイントクラウド属性と関連付けられる情報（例えば、色及び温度）を取り込むことができる。ある実施形態では、ＩＲプロジェクタ及びＩＲセンサを使用して、深度情報を推定することができる。深度センサ、ＲＧＢセンサ、及びＩＲセンサの組み合わせを使用して、関連するジオメトリ及び属性と共に、ポイントクラウドフレーム（単一の静的ポイントクラウド）又は複数のポイントクラウドフレーム（３Ｄビデオ）を取り込むことができる。
【0017】
[0028] ある実施形態によれば、スキャニングセットアップ１０６は、放射線又は光に依拠して、３Ｄ空間内のオブジェクトの３Ｄ構造を取り込むアクティブ３Ｄスキャナを含むことができる。また、スキャニングセットアップ１０６は、オブジェクトと関連付けられる色情報を取り込むことができる画像センサを含むことができる。例えば、アクティブ３Ｄスキャナは、飛行時間（ＴＯＦ）ベースの３Ｄレーザスキャナ、レーザレンジファインダ、ＴＯＦカメラ、ハンドヘルドレーザスキャナ、構造化光３Ｄスキャナ、変調光３Ｄスキャナ、ポイントクラウドデータを出力するＣＴスキャナ、空中光検知及び測距（ＬｉＤＡＲ）スキャナ、３Ｄ ＬｉＤＡＲ、３Ｄモーションセンサなどとすることができる。
【0018】
[0029] 図１では、スキャニングセットアップ１０６は、電子デバイス１０２とは別個のものとして示されている。しかしながら、本開示はこのように限定的なものではなく、いくつかの実施形態では、スキャニングセットアップ１０６は、電子デバイス１０２に統合することができる。代替的に、本開示の範囲から逸脱することなく、スキャニングセットアップ１０６の機能全体を電子デバイス１０２に組み込むことができる。スキャニングセットアップ１０６の例としては、以下に限定されるわけではないが、深度センサ、ＲＧＢセンサ、ＩＲセンサ、画像センサ、及び／又はモーション検出器デバイスを挙げることができる。
【0019】
[0030] 複数の外部デバイス１０８Ａ．．．１０８Ｎの各々は、通信ネットワーク１１０を介して、電子デバイス１０２と通信するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。ある実施形態によれば、複数の外部デバイス１０８Ａ．．．１０８Ｎの各々は、通信ネットワーク１１０を介して、電子デバイス１０２から、（マルチメディアコンテンツとして）符号化された３Ｄポイントクラウドジオメトリを受け取るように構成することができる。複数の外部デバイス１０８Ａ．．．１０８Ｎは、符号化された３Ｄポイントクラウドジオメトリを復号して、オブジェクトの３Ｄモデルをレンダリングするように構成することができる。複数の外部デバイス１０８Ａ．．．１０８Ｎの例としては、以下に限定されるわけではないが、ディスプレイシステム、コンピュータデバイス、ゲームデバイス、移動電話、テレビジョン、又はマルチメディアコンテンツを記憶又はレンダリングする能力を有する電子デバイスを挙げることができる。
【0020】
[0031] 通信ネットワーク１１０は、通信媒体を含むことができ、通信媒体を通じて、電子デバイス１０２は、サーバ１０４、スキャニングセットアップ１０６、及び複数の外部デバイス１０８Ａ．．．１０８Ｎに通信可能に結合することができる。通信ネットワーク１１０の例としては、以下に限定されるわけではないが、インターネット、クラウドネットワーク、セルラー又はワイヤレスモバイルネットワーク（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ及び５Ｇ Ｎｅｗ Ｒａｄｉｏなど）、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００における様々なデバイスは、様々な有線及び無線通信プロトコルに従って、通信ネットワーク１１０に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定されるわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを含むことができる。
【0021】
[0032] 動作時、電子デバイス１０２は、３Ｄ空間内の少なくとも１つのオブジェクトと関連付けられる３Ｄポイントクラウドジオメトリ１１２を受け取るように構成することができる。例えば、ジオメトリ及び属性を含む３Ｄポイントクラウド（又は３Ｄスキャン）から、３Ｄポイントクラウドデータを取得することができる。ある実施形態では、３Ｄポイントクラウドは、静的ポイントクラウドとすることができる。別の実施形態では、３Ｄポイントクラウドは、動的３Ｄポイントクラウド（すなわち、ポイントクラウドシーケンス）のフレームとすることができる。一般に、３Ｄポイントクラウドは、３Ｄ空間内のオブジェクトの幾何学情報（例えば、ポイントの３Ｄ座標）及び属性情報の表現である。属性情報は、以下に限定されるわけではないが、３Ｄ空間内のオブジェクトと関連付けられる、色情報、反射率情報、不透明度情報、法線ベクトル情報、マテリアル識別子（ｍａｔｅｒｉａｌ ｉｄｅｎｔｉｆｉｅｒ）情報、又はテクスチャ情報を含むことができる。テクスチャ情報は、オブジェクトの複数の色画像における色又は強度の空間配置を表すことができる。反射率情報は、３Ｄポイントクラウドの特徴点のローカル照明の経験的モデル（例えば、フォンシェーディングモデル又はグーローシェーディングモデル）と関連付けられる情報を表すことができる。ローカル照明の経験的モデルは、オブジェクトの表面の反射率（ざらざらした又は光沢のある表面部分）に対応することができる。不透明度情報は、ポイントの透明度を表すことができる。法線ベクトル情報は、ポイントにおける接平面に垂直な方向を表すことができる。マテリアル識別子情報は、利用可能なマテリアルのセットからマテリアルを示す識別子を表すことができる。
【0022】
[0033] 電子デバイス１０２は、３Ｄポイントクラウドジオメトリ１１２から複数のボクセルを生成するように更に構成することができる。ボクセルの生成は、３Ｄポイントクラウドジオメトリ１１２のボクセル化と呼ぶことができる。３Ｄポイントクラウドをボクセル化するための従来の技術は、当業者に周知であり得る。したがって、ボクセル化の詳細については、簡潔さのために本開示からは省略する。
【0023】
[0034] ３Ｄポイントクラウドジオメトリ１１２は、多数の（例えば、１０4以上のオーダーの）データポイントを含む可能性があるので、データポイントの送信／受信は、高いネットワーク帯域幅を消費する可能性がある。同様に、データポイントは、非圧縮状態では、必要以上のストレージを消費する可能性がある。３Ｄポイントクラウドジオメトリ１１２は、符号化されたポイントクラウドデータが送信／受信のためのネットワーク帯域幅及び必要な記憶スペースをより少なく使用するように、符号化する必要がある場合がある。３Ｄポイントクラウドジオメトリ１１２の符号化プロセスについて、本明細書で説明する。
【0024】
[0035] 電子デバイス１０２は、３Ｄポイントクラウドジオメトリ１１２を３Ｄブロックのセットに分割するように構成することができる。電子デバイス１０２は、３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定するように構成することができる。モード決定情報は、例えば、３Ｄポイントクラウドジオメトリ１１２と関連付けられるクラス情報、３Ｄポイントクラウドジオメトリ１１２の符号化段階と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報を含むことができる。例えば、３Ｄポイントクラウドジオメトリと関連付けられるクラス情報は、３Ｄポイントクラウドジオメトリ１１２と関連付けられるジオメトリビット深度、密度、又はポイント分布を含むことができる。同様に、３Ｄポイントクラウドジオメトリ１１２の符号化段階と関連付けられる１又は２以上の動作条件は、３Ｄポイントクラウドジオメトリ１１２と関連付けられる目標レート歪みコストを含むことができる。
【0025】
[0036] 電子デバイス１０２は、モード決定情報に基づいて、複数のモードから３Ｄブロックに対する１又は２以上のモードを選択するように更に構成することができる。各モードは、３Ｄブロックを符号化することができる関数に対応することができる。例えば、関数は、３Ｄポイントクラウドジオメトリ１１２の３Ｄブロックを符号化して、符号化された３Ｄブロックを生成するようにトレーニングすることができるディープニューラルネットワーク（ＤＮＮ）モデルに対応することができる。ある実施形態によれば、各モードは、ＤＮＮモデルのトレーニング段階で使用されるフォーカルロス関数のアルファパラメータに対応することができる。フォーカルロス関数は、３Ｄポイントクラウドジオメトリ１１２の３Ｄブロックからの非空ボクセルの除去にペナルティを科すように構成することができる。電子デバイス１０２は、複数のＤＮＮモデルを含むことができ、複数のＤＮＮモデルの各々は、複数のモードのうちの特定のモードのために構成することができる。例えば、複数のＤＮＮモデルのうちの第１のＤＮＮモデルは、アルファパラメータの第１の値と関連付けられる第１のモードに対応することができる。同様に、複数のＤＮＮモデルのうちの第２のＤＮＮモデルは、アルファパラメータの第２の値と関連付けられる第２のモードに対応することができるなどである。１又は２以上のモードの選択については、例えば図４、図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂで更に説明する。
【0026】
[0037] 電子デバイス１０２は、選択された１又は２以上のモードに基づいて、３Ｄブロックを符号化するように更に構成することができる。ある実施形態では、電子デバイス１０２は、選択された１又は２以上のモードから、３Ｄブロックを符号化するための最適なモードを決定することができる。特定のシナリオでは、選択された１又は２以上のモードは、単一のモードを含むことができる。このようなシナリオでは、最適モードは、選択されたモードと同じとすることができる。最適モードの決定については、例えば図４、図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂで更に説明する。
【0027】
[0038] 電子デバイス１０２は、３Ｄポイントクラウドジオメトリ１１２の全ての残りのブロックに対して（単複の）モードを決定することもでき、３Ｄポイントクラウドジオメトリ１１２の残りのブロックを符号化して、符号化された３Ｄポイントクラウドジオメトリ（符号化された３Ｄブロックを含むことができる）を生成することができる。
【0028】
[0039] ある実施形態では、電子デバイス１０２は、符号化された３Ｄポイントクラウドジオメトリと関連付けられる補足情報を生成することができる。補足情報の例としては、以下に限定されるわけではないが、コーディングテーブル、モード決定情報、重み情報、幾何学情報のためのインデックス値、及び量子化パラメータを挙げることができる。電子デバイス１０２は、複数の外部デバイス１０８Ａ．．．１０８Ｎのうちの少なくとも１つに、符号化された３Ｄポイントクラウドジオメトリを送信するように更に構成することができる。補足情報は、符号化された３Ｄポイントクラウドジオメトリと一緒に送信することができる。
【0029】
[0040] 従来のポイントクラウド圧縮（ＰＣＣ）技術は、３Ｄポイントクラウドジオメトリ１１２の各３Ｄブロックを符号化するための最適モードを探索するために、モードサーチ動作を必要とする。モードサーチ動作では、全ての可能なモードに基づいて、各３Ｄブロックを符号化することができ、符号化された３Ｄブロックを再構成（すなわち復号）して、可能なモードの各々に対するレート歪みコストを決定することができる。３Ｄブロックと関連付けられる最適モードとして、最も低いレート歪みコストに対応するモードを選択することができる。選択された最適モードに基づいて、３Ｄブロックを符号化することができる。レート歪みコストの決定は、３Ｄポイントクラウドジオメトリ１１２の３Ｄブロック毎に複数の符号化及び復号化動作を必要とする場合があるので、従来のＰＣＣ技術は、計算コストがかかる場合があり、所望の使用量と比較してメモリ使用量が高い場合がある。これに対して、開示する電子デバイス１０２は、複数の可能なモード（すなわち、複数のモード）から１又は２以上のモードを選択して、３Ｄポイントクラウドジオメトリ１１２の３Ｄブロックを符号化することができる。複数の可能なモードの全てが、３Ｄブロックの符号化のレート歪み性能に顕著な効果を与えるわけではないので、（全ての可能なモードの代わりに）選択された１又は２以上のモードを使用して３Ｄブロックを符号化することは、３Ｄポイントクラウドジオメトリ１１２の圧縮品質を低下させない。更に、より少ない数のモードに対して３Ｄブロックのレート歪みコストを決定する必要がある場合があるので、レート歪みコストの決定と関連付けられる符号化及び復号化動作の数が減少することができる。したがって、３Ｄブロックの圧縮と関連付けられる計算及びメモリ要件を低減することができ、それによって、３Ｄポイントクラウドジオメトリ１１２の圧縮と関連付けられる効率を向上させることができる。
【0030】
[0041] 図２は、本開示の実施形態による、図１の例示的な電子デバイスを示すブロック図である。図２の説明は、図１の要素に関連して行う。図２を参照すると、電子デバイス１０２のブロック図２００が示されている。電子デバイス１０２は、回路２０２を含むことができる。回路は、プロセッサ２０４及びエンコーダ２０６を含むことができる。いくつかの実施形態では、回路２０２は、デコーダ２０８を含むこともできる。電子デバイス１０２は、メモリ２１０、入力／出力（Ｉ／Ｏ）デバイス２１２、及びネットワークインターフェイス２１４を更に含むことができる。Ｉ／Ｏデバイス２１２は、ディスプレイデバイス２１２Ａを含むことができ、ディスプレイデバイス２１２Ａを利用して、３Ｄポイントクラウド又は３Ｄポイントクラウドからレンダリングされる３Ｄグラフィックモデルなどのマルチメディアコンテンツをレンダリングすることができる。回路２０２は、メモリ２１０、Ｉ／Ｏデバイス２１２、及びネットワークインターフェイス２１４に通信可能に結合することができる。回路２０２は、ネットワークインターフェイス２１４を使用して、サーバ１０４、スキャニングセットアップ１０６、及び複数の外部デバイス１０８Ａ．．．１０８Ｎと通信するように構成することができる。
【0031】
[0042] プロセッサ２０４は、オブジェクトの３Ｄポイントクラウドの符号化と関連付けられる命令を実行するように構成できる好適なロジック、回路、及び／又はインターフェイスを含むことができる。また、プロセッサ２０４は、３Ｄ空間内のオブジェクトの３Ｄポイントクラウドの生成及び／又は複数の色画像及び対応する深度情報の受信と関連付けられる命令を実行するように構成することができる。プロセッサ２０４は、複数の外部デバイス１０８Ａ．．．１０８Ｎのうちの少なくとも１つに対する（マルチメディアコンテンツとしての）３Ｄポイントクラウドの送信及び／又は受信に関連する様々な動作を実行するように更に構成することができる。プロセッサ２０４の例は、グラフィック処理ユニット（ＧＰＵ）、中央処理装置（ＣＰＵ）、テンソル処理ユニット（ＴＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、コプロセッサ、その他のプロセッサ、及び／又はこれらの組み合わせとすることができる。ある実施形態によれば、プロセッサ２０４は、エンコーダ２０６が３Ｄポイントクラウドを符号化し、デコーダ２０８が符号化された３Ｄポイントクラウド及び電子デバイス１０２の他の機能を復号するのを支援するように構成することができる。
【0032】
[0043] エンコーダ２０６は、３Ｄ空間内のオブジェクトに対応する３Ｄポイントクラウドジオメトリを符号化するように構成できる好適なロジック、回路、及び／又はインターフェイスを含むことができる。ある実施形態では、エンコーダ２０６は、３Ｄポイントクラウドジオメトリと関連付けられる各３Ｄブロックを符号化することによって、３Ｄポイントクラウドを符号化することができる。ある実施形態では、エンコーダ２０６は、符号化された３Ｄポイントクラウドジオメトリと関連付けられる補足情報を生成することができる。
【0033】
[0044] 特定の実施形態では、エンコーダ２０６は、通信ネットワーク１１０を介して、メモリ２１０への符号化された３Ｄポイントクラウドジオメトリの記憶及び／又は他のメディアデバイス（例えば、ポータブルメディアプレーヤ）への符号化された３Ｄポイントクラウドジオメトリの転送を管理するように構成される。
【0034】
[0045] いくつかの実施形態では、エンコーダ２０６は、ＧＰＵ、ＣＰＵ、ＴＰＵ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサ、コプロセッサ、その他のプロセッサ、及び／又はこれらの組み合わせ上で（コンピュータ実行可能コードの形態で）ディープニューラルネットワークとして実装することができる。いくつかの他の実施形態では、エンコーダ２０６は、電子デバイス１０２の他の計算回路とインターフェイスされる専用ハードウェア上でディープニューラルネットワークとして実装することができる。このような実装では、エンコーダ２０６は、特定の計算回路上の特定のフォームファクタと関連付けられることができる。特定の計算回路の例としては、以下に限定されるわけではないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、ＡＳＩＣ、プログラマブルＡＳＩＣ（ＰＬ－ＡＳＩＣ）、特定用途向け集積部品（ＡＳＳＰ）、及び標準的なマイクロプロセッサ（ＭＰＵ）又はデジタルシグナルプロセッサ（ＤＳＰ）に基づくシステムオンチップ（ＳＯＣ）を挙げることができる。ある実施形態によれば、エンコーダ２０６は、ＧＰＵとインターフェイスされて、エンコーダ２０６の動作を並列化することもできる。別の実施形態によれば、エンコーダ２０６は、メモリ２１０に記憶されるプログラム可能命令と電子デバイス１０２のハードウェア回路上の論理装置（又はプログラマブルロジックユニット）との組み合わせとして実装することができる。
【0035】
[0046] デコーダ２０８は、オブジェクトの幾何学情報を表すことができる符号化された情報を復号するように構成できる好適なロジック、回路、及び／又はインターフェイスを含むことができる。符号化された情報は、補足情報、例えば、コーディングテーブル、重み情報、モード情報、幾何学情報のためのインデックス値、及び量子化パラメータを含み、デコーダ２０８を支援することもできる。一例として、符号化された情報は、符号化された３Ｄポイントクラウドジオメトリを含むことができる。デコーダ２０８は、符号化された３Ｄポイントクラウドジオメトリを復号することによって、３Ｄポイントクラウドジオメトリを再構成するように構成することができる。ある実施形態によれば、デコーダ２０８は、複数の外部デバイス１０８Ａ．．．１０８Ｎのうちの少なくとも１つに存在することができる。
【0036】
[0047] メモリ２１０は、回路２０２が実行できる命令を記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２１０は、オペレーティングシステム及び関連するアプリケーションを記憶するように構成することができる。メモリ２１０は、オブジェクトに対応する３Ｄポイントクラウド（３Ｄポイントクラウドジオメトリ１１２を含む）を記憶するように更に構成することができる。ある実施形態によれば、メモリ２１０は、複数のモードに関連する情報と、複数のモードをクラス及び動作条件にマッピングするテーブルとを記憶するように構成することができる。メモリ２１０の実装の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【0037】
[0048] Ｉ／Ｏデバイス２１２は、ユーザ入力を受け取るように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。Ｉ／Ｏデバイス２１２は、ユーザ入力に応答して出力を提供するように更に構成することができる。Ｉ／Ｏデバイス２１２は、様々な入力及び出力デバイスを含むことができ、これらは、回路２０２と通信するように構成することができる。入力デバイスの例としては、以下に限定されるわけではないが、タッチスクリーン、キーボード、マウス、ジョイスティック、及び／又はマイクロフォンを挙げることができる。出力デバイスの例としては、以下に限定されるわけではないが、ディスプレイデバイス２１２Ａ及び／又はスピーカを挙げることができる。
【0038】
[0049] ディスプレイデバイス２１２Ａは、ディスプレイデバイス２１２Ａのディスプレイ画面上に３Ｄポイントクラウドをレンダリングするように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。ある実施形態によれば、ディスプレイデバイス２１２Ａは、タッチスクリーンを含み、ユーザ入力を受け取ることができる。ディスプレイデバイス２１２Ａは、以下に限定されるわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術などのいくつかの公知技術、及び／又はその他のディスプレイ技術を通じて実現することができる。ある実施形態によれば、ディスプレイデバイス２１２Ａは、スマートグラスデバイス、３Ｄディスプレイ、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ、及び／又は透明ディスプレイのディスプレイ画面を意味することができる。
【0039】
[0050] ネットワークインターフェイス２１４は、通信ネットワーク１１０を介して、電子デバイス１０２、サーバ１０４、スキャニングセットアップ１０６、及び複数の外部デバイス１０８Ａ．．．１０８Ｎの間の通信を確立するように構成できる好適なロジック、回路、インターフェイス、及び／又はコードを含むことができる。ネットワークインターフェイス２１４は、電子デバイス１０２と通信ネットワーク１１０との有線又は無線通信をサポートする様々な公知技術を用いて実装することができる。ネットワークインターフェイス２１４は、以下に限定されるわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。
【0040】
[0051] ネットワークインターフェイス２１４は、インターネット、イントラネット、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、第５世代（５Ｇ）Ｎｅｗ Ｒａｄｉｏ（ＮＲ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ及び／又はＩＥＥＥ ８０２．１１ｎなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、Ｗｉ－ＭＡＸ、電子メール用プロトコル、インスタントメッセージング、及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信規格、プロトコル及び技術のうちのいずれかを使用することができる。回路２０２の動作については、例えば図３、図４、図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ、図９Ｂ及び図１０で詳細に説明する。
【0041】
[0052] 図３は、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的なエンコーダ及び例示的なデコーダのブロック図である。図３の説明は、図１及び図２の要素に関連して行う。図３を参照すると、エンコーダ３０２Ａ及びデコーダ３０２Ｂを含むブロック図３００が示されている。エンコーダ３０２Ａは、図２のエンコーダ２０６の例示的な実装とすることができ、デコーダ３０２Ｂは、図２のデコーダ２０８の例示的な実装とすることができる。
【0042】
[0053] ある実施形態では、エンコーダ３０２Ａ及びデコーダ３０２Ｂは、別個の電子デバイス上に実装することができる。別の実施形態では、エンコーダ３０２Ａ及びデコーダ３０２Ｂの両方は、電子デバイス１０２上に実装することができる。デコーダ３０２Ｂは、１又は２以上の外部デバイス１０８Ａ．．．１０８Ｎの各々に実装することもできる。
【0043】
[0054] エンコーダ３０２Ａは、第１のエンコーダ（例えば、エンコーダ－１ ３０４Ａ）、．．．及び第Ｎのエンコーダ（例えば、エンコーダ－Ｎ ３０４Ｎ）などのエンコーダのセットを含むことができる。エンコーダ３０２Ａのエンコーダのセットのうちの各エンコーダは、関連するニューラルネットワークモデルを含むことができる。例えば、エンコーダ－１ ３０４Ａは、ＤＮＮモデル－１ ３０６Ａなどの第１のディープニューラルネットワーク（ＤＮＮ）モデルを含むことができる。更に、エンコーダ－Ｎ ３０４Ｎは、ＤＮＮモデル－Ｎ ３０６Ｎなどの第ＮのＤＮＮモデルを含むことができる。エンコーダ３０２Ａは、モードセレクタ３０８を更に含むことができ、モードセレクタ３０８は、エンコーダ－１ ３０４Ａ、．．．及びエンコーダ－Ｎ ３０４Ｎの各々に通信可能に結合することができる。
【0044】
[0055] 各ディープニューラルネットワークモデル（例えば、ＤＮＮモデル－１ ３０６Ａ）は、ノードとして複数の層に配置される人工ニューロンの計算ネットワーク又はシステムを含むニューラルネットワークモデルとすることができる。ニューラルネットワークモデルの複数の層は、入力層と、１又は２以上の隠れ層と、出力層とを含むことができる。複数の層のうちの各層は、１又は２以上のノード（又は例えば、円によって表される人工ニューロン）を含むことができる。入力層における全てのノードの出力は、（単複の）隠れ層の少なくとも１つのノードに結合することができる。同様に、各隠れ層の入力は、ニューラルネットワークモデルの他の層における少なくとも１つのノードの出力に結合することができる。各隠れ層の出力は、ニューラルネットワークモデルの他の層における少なくとも１つのノードの入力に結合することができる。最終層における（単複の）ノードは、少なくとも１つの隠れ層から入力を受け取り、結果を出力することができる。層の数及び各層内のノードの数は、ニューラルネットワークモデルのハイパーパラメータから決定することができる。このようなハイパーパラメータは、トレーニングデータセットでニューラルネットワークモデルをトレーニングする前に又はその後に設定することができる。
【0045】
[0056] ニューラルネットワークモデルの各ノードは、ネットワークのトレーニング中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット）に対応することができる。パラメータセットは、例えば、重みパラメータ、正則化パラメータなどを含むことができる。各ノードは、数学関数を使用して、ニューラルネットワークモデルの（単複の）他の層（例えば、（単複の）前の層）内のノードからの１又は２以上の入力に基づいて出力を計算することができる。ニューラルネットワークモデルのノードの全て又はそのうちのいくつかは、同じ又は異なる数学関数に対応することができる。
【0046】
[0057] ニューラルネットワークモデルのトレーニングでは、（トレーニングデータセットからの）所与の入力に対する最終層の出力が、ニューラルネットワークモデルに対する損失関数に基づく正しい結果と一致するかどうかに基づいて、ニューラルネットワークの各ノードの１又は２以上のパラメータを更新することができる。損失関数の最小値に達することができ、トレーニングエラーを最小にすることができるまで、同じ又は異なる入力に対して上記のプロセスを繰り返すことができる。いくつかのトレーニング方法は、当技術分野で公知であり、例えば、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法、メタヒューリスティクスなどである。
【0047】
[0058] ニューラルネットワークモデルは、例えば、電子デバイス（例えば、電子デバイス１０２）上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装することができる電子データを含むことができる。ニューラルネットワークモデルは、回路２０２などの処理デバイスが実行するライブラリ、外部スクリプト、又はその他のロジック／命令に依拠することができる。ニューラルネットワークモデルは、回路２０２などのコンピュータデバイスが３Ｄポイントクラウドジオメトリと関連付けられる３Ｄブロックを符号化又は復号するための１又は２以上の動作を実行できるようにするように構成されるコード及びルーチンを含むことができる。加えて、又は代替的に、ニューラルネットワークモデルは、プロセッサ、マイクロプロセッサ（例えば、１又は２以上の動作の実行又は実行の制御を行う）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。代替的に、いくつかの実施形態では、ニューラルネットワークモデルは、ハードウェア及びソフトウェアの組み合わせを使用して実装することができる。
【0048】
[0059] デコーダ３０２Ｂは、第１のデコーダ（例えば、デコーダ－１ ３１０Ａ）、．．．及び第Ｎのデコーダ（例えば、デコーダ－Ｎ ３１０Ｎ）などのデコーダのセットを含むことができる。デコーダのセットのうちの各デコーダは、関連するニューラルネットワークモデルを含むことができる。例えば、デコーダ－１ ３１０Ａは、ＤＮＮモデル－１ ３０６Ａなどの第１のＤＮＮモデルを含むことができる。更に、デコーダ－Ｎ ３１０Ｎは、ＤＮＮモデル－Ｎ ３０６Ｎなどの第ＮのＤＮＮモデルを含むことができる。図３には、エンコーダ３０２Ａと関連付けられるブロック分割部３１２Ａと、デコーダ３０２Ｂと関連付けられる２値化部及びマージ部３１２Ｂとが示されている。また、符号化されたビットストリーム及び補足情報３１４Ａと、シグナリングビットストリーム３１４Ｂと、入力ポイントクラウド３１６Ａと、再構成されたポイントクラウド３１６Ｎと、３Ｄブロックのセット３１８とが示されている。
【0049】
[0060] 動作時、圧縮のために、３Ｄポイントクラウドジオメトリ１１２を含む入力ポイントクラウド３１６Ａを受け取ることができる。ブロック分割部３１２Ａは、入力ポイントクラウド３１６Ａを受け取り、入力ポイントクラウド３１６Ａを３Ｄブロックのセット３１８に分割することができる。エンコーダ３０２Ａは、ブロック分割部３１２Ａから３Ｄブロックのセット３１８を受け取ることができる。３Ｄブロックのセット３１８からの各３Ｄブロックを、モードセレクタ３０８及びエンコーダ－１ ３０４Ａ、．．．及びエンコーダ－Ｎ ３０４Ｎの各々に入力することができる。エンコーダ－１ ３０４Ａは、エンコーダ回路及び／又はソフトウェア（エンコーダ２０６など）を含み、３ＤブロックへのＤＮＮモデル－１ ３０６Ａの適用に基づいて、第１の符号化されたブロックの決定のために３Ｄブロックを符号化することができる。ＤＮＮモデル－１ ３０６Ａに基づく３Ｄブロックの符号化は、複数のモードからの第１のモードの使用による符号化に対応することができる。例えば、第１のモードは、ＤＮＮモデル－１ ３０６Ａをトレーニングするために使用することができるフォーカルロス関数のアルファパラメータの第１の値（例えば、０．５）に対応することができる。ここでは、フォーカルロス関数は、３Ｄポイントクラウドジオメトリ１１２の３Ｄブロックからの非空ボクセルの除去にペナルティを科すように構成することができる。同様に、エンコーダ－Ｎ ３０４Ｎは、エンコーダ回路及び／又はソフトウェア（エンコーダ２０６など）を含み、３ＤブロックへのＤＮＮモデル－Ｎ ３０６Ｎの適用に基づいて、第Ｎの符号化されたブロックの決定のために３Ｄブロックを符号化することができる。ＤＮＮモデル－Ｎ ３０６Ｎに基づく３Ｄブロックの符号化は、複数のモードからの第Ｎのモードの使用による符号化に対応することができる。
【0050】
[0061] エンコーダ－１ ３０４Ａは、デコーダ回路及び／又はソフトウェア（デコーダ２０８など）を更に含み、第１の符号化されたブロックへのＤＮＮモデル－１ ３０６Ａの適用に基づいて、第１の復号されたブロックの決定のために第１の符号化されたブロックを復号することができる。ＤＮＮモデル－１ ３０６Ａに基づく第１の符号化されたブロックの復号化は、第１のモードの使用による復号化に対応することができる。同様に、エンコーダ－Ｎ ３０４Ｎは、回路及び／又はソフトウェア（デコーダ２０８など）を含み、第Ｎの符号化されたブロックへのＤＮＮモデル－Ｎ ３０６Ｎの適用に基づいて、第Ｎの復号されたブロックの決定のために第Ｎの符号化されたブロックを復号することができる。ＤＮＮモデル－Ｎ ３０６Ｎに基づく第Ｎの符号化されたブロックの復号化は、第Ｎのモードの使用による復号化に対応することができる。
【0051】
[0062] モードセレクタ３０８は、３Ｄブロックを受け取ることができ、エンコーダ－１ ３０４Ａから第１の復号されたブロックを更に受け取ることができ、…エンコーダ－Ｎ ３０４Ｎから第Ｎの復号されたブロック受け取ることができる。モードセレクタ３０８は、３Ｄブロックと第１の復号されたブロックとを比較して、第１のモードの使用による３Ｄブロックの符号化と関連付けられる第１のレート歪みコストを決定することができる。同様に、モードセレクタ３０８は、３Ｄブロックと第Ｎの復号されたブロックとを比較して、第Ｎのモードの使用による３Ｄブロックの符号化と関連付けられる第Ｎのレート歪みコストを決定することができる。次に、モードセレクタ３０８は、第１のレート歪みコスト、…及び第Ｎのレート歪みコストを互いに比較することができる。レート歪みコスト間の比較に基づいて、モードセレクタ３０８は、最も小さいレート歪みコストに対応するモードを決定することができる。モードセレクタ３０８は、３Ｄブロックの符号化のために選択されるモードとして、決定されたモードを選択することができる。
【0052】
[0063] エンコーダ３０２Ａは、モードセレクタ３０８によって選択されるモードに基づいて、３Ｄブロックを符号化するように構成することができる。３Ｄポイントクラウドジオメトリ１１２に含まれる３Ｄブロックの符号化は、３Ｄポイントクラウドジオメトリ１１２を、圧縮されたポイントクラウドデータのビットストリーム（すなわち、符号化されたビットストリーム）に変換することができる。エンコーダ３０２Ａは、圧縮されたポイントクラウドデータのビットストリームを、３Ｄポイントクラウドジオメトリ１１２と関連付けられる補足情報と一緒に、符号化されたビットストリーム及び補足情報３１４Ａとして送信することができる。補足情報の例としては、以下に限定されるわけではないが、モード決定情報、コーディングテーブル、重み情報、幾何学情報のためのインデックス値、及び量子化パラメータを挙げることができる。エンコーダ３０２Ａ及びブロック分割部３１２Ａは一緒に、シグナリングビットストリーム３１４Ｂをデコーダ３０２Ｂに送信することができる。シグナリングビットストリーム３１４Ｂは、以下に限定されるわけではないが、３Ｄポイントクラウドジオメトリ１１２を３Ｄブロックのセット３１８に分割することと関連付けられる情報、及びモード決定情報（例えば、３Ｄブロックを符号化するためにモードセレクタ３０８によって選択されるモード）を含むことができる。
【0053】
[0064] デコーダ３０２Ｂは、エンコーダ３０２Ａから、符号化されたビットストリーム及び補足情報３１４Ａとシグナリングビットストリーム３１４Ｂとを受け取るように構成することができる。ある実施形態では、デコーダ３０２Ｂは、シグナリングビットストリーム３１４Ｂにおけるモード決定情報に基づいて、符号化されたビットストリームを復号するためのモードを決定することができる。一例では、デコーダ３０２Ｂは、符号化されたビットストリームを復号するために第１のモードを使用することができると決定することができる。デコーダ－１ ３１０Ａは、デコーダ回路及び／又はソフトウェア（デコーダ２０８など）を含み、第１の符号化されたブロックへのＤＮＮモデル－１ ３０６Ａの適用に基づいて、第１の復号されたブロックの決定のために（符号化されたビットストリームからの）第１の符号化されたブロックを復号することができる。ＤＮＮモデル－１ ３０６Ａに基づく第１の符号化されたブロックの復号化は、第１のモードの使用による第１の符号化されたブロックの復号化に対応することができる。同様に、デコーダ－Ｎ ３１０Ｎは、回路及び／又はソフトウェア（デコーダ２０８など）を含み、第Ｎの符号化されたブロックへのＤＮＮモデル－Ｎ ３０６Ｎの適用に基づいて、第Ｎの復号されたブロックの決定のために（符号化されたビットストリームからの）第Ｎの符号化されたブロックを復号することができる。ＤＮＮモデル－Ｎ ３０６Ｎに基づく第Ｎの符号化されたブロックの復号化は、第Ｎのモードの使用による第Ｎの符号化されたブロックの復号化に対応することができる。
【0054】
[0065] デコーダ３０２Ｂは、符号化されたブロックと関連付けられる（シグナリングビットストリーム３１４Ｂにおける）モード決定情報に基づいて、（符号化されたビットストリーム及び補足情報３１４Ａにおける）受け取った符号化されたビットストリームからの特定の符号化されたブロックを復号するためのモードを選択するように構成することができる。符号化されたブロックのために選択されるモードに基づいて、デコーダ３０２Ｂは、符号化されたブロックを復号して、復号されたブロックを決定することができる。例えば、符号化されたブロックを復号するために第１のモードが選択された場合、デコーダ３０２Ｂは、第１のモードに基づいて、符号化されたブロックを復号することができる。このような場合、デコーダ３０２Ｂは、（ＤＮＮモデル－１ ３０６Ａと関連付けられることができる）デコーダ－１ ３１０Ａを選択して、符号化されたブロックを復号することができる。デコーダ３０２Ｂは、符号化されたビットストリームにおける各符号化されたブロックの復号化に基づいて、復号されたブロックのセット３１８Ｂを決定するように構成することができる。
【0055】
[0066] ２値化部及びマージ部３１２Ｂは、デコーダ３０２Ｂから、復号されたブロックのセット３１８Ｂを受け取ることができる。更に、２値化部及びマージ部３１２Ｂは、エンコーダ３０２Ａからシグナリングビットストリーム３１４Ｂを受け取ることができる。受け取ったシグナリングビットストリーム３１４Ｂに基づいて、２値化部及びマージ部３１２Ｂは、受け取った復号されたブロックのセット３１８Ｂを２値化及びマージして、再構成されたポイントクラウド３１６Ｎを得ることができる。一例では、２値化部及びマージ部３１２Ｂは、シグナリングビットストリーム３１４Ｂにおける３Ｄポイントクラウドジオメトリ１１２の分割と関連付けられる情報を使用して、復号されたブロックのセット３１８Ｂを２値化及びマージすることができる。
【0056】
[0067] 図４は、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図４の説明は、図１、図２及び図３の要素に関連して行う。図４を参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン４００が示されている。処理パイプライン４００には、４０２から開始して４１４で終了することができる動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0057】
[0068] ４０２において、データ取得動作を実行することができる。データ取得動作において、プロセッサ２０４は、３Ｄ空間内の１又は２以上のオブジェクト（人物など）に対応することができる３Ｄポイントクラウド４０２Ａを取得するように構成することができる。３Ｄポイントクラウド４０２Ａは、３Ｄ空間内の１又は２以上のオブジェクトの幾何学情報及び属性情報の表現とすることができる。幾何学情報は、３Ｄポイントクラウド４０２Ａの個々の特徴点の３Ｄ座標（ＸＹＺ座標など）を示すことができる。属性情報がない場合、３Ｄポイントクラウド４０２Ａは、１又は２以上のオブジェクトと関連付けられる３Ｄポイントクラウドジオメトリ（例えば、３Ｄポイントクラウドジオメトリ１１２）として表現することができる。属性情報は、例えば、１又は２以上のオブジェクトの色情報、反射率情報、不透明度情報、法線ベクトル情報、マテリアル識別子情報及びテクスチャ情報を含むことができる。ある実施形態によれば、３Ｄポイントクラウド４０２Ａは、通信ネットワーク１１０を介してスキャニングセットアップ１０６から受け取られるか、又はスキャニングセットアップ１０６と同じ機能を有することができる内蔵スキャナから直接取得されることができる。
【0058】
[0069] ３Ｄポイントクラウド４０２Ａにおける各特徴点は、（ｘ，ｙ，ｚ，Ｙ，Ｃｂ，Ｃｒ，α，ａ1，．．．ａn）として表すことができ、ここで、（ｘ，ｙ，ｚ）は、幾何学情報を表すことができる３Ｄ座標とすることができ、（Ｙ，Ｃｂ，Ｃｒ）は、特徴点の（ＹＣｂＣｒ又はＹＵＶ色空間内の）輝度、彩度－青色差、及び彩度－赤色差成分（ｌｕｍａ， ｃｈｒｏｍａ－ｂｌｕｅ ｄｉｆｆｅｒｅｎｃｅ， ａｎｄ ｃｈｒｏｍａ－ｒｅｄ ｄｉｆｆｅｒｅｎｃｅ ｃｏｍｐｏｎｅｎｔｓ）とすることができ、αは、特徴点の透明度値とすることができ、ａ1～ａnは、マテリアル識別子及び法線ベクトルのような１次元又は多次元属性を表す。Ｙ，Ｃｂ，Ｃｒ，α及びａ1～ａnは共同で、３Ｄポイントクラウド４０２Ａの各特徴点の属性情報を表すことができる。
【0059】
[0070] ４０４において、事前符号化段階動作を実行することができる。事前符号化段階動作は、本明細書で説明するように、プロセッサ２０４によって実行することができる動作４０６及び４０８などの動作を含むことができる。
【0060】
[0071] ４０６において、３Ｄポイントクラウド４０２Ａに対してボクセル化動作を実行することができる。ボクセル化動作において、プロセッサ２０４は、３Ｄポイントクラウド４０２Ａから複数のボクセル４０６Ａを生成するように構成することができる。各生成されたボクセルは、３Ｄ空間内の１又は２以上のオブジェクトの体積要素を表現することができる。体積要素は、３Ｄポイントクラウド４０２Ａの特徴点のグループに対応する属性情報及び幾何学情報を示すことができる。
【0061】
[0072] 本明細書に、３Ｄポイントクラウド４０２Ａのためのボクセル化のプロセスの例を提示する。３Ｄポイントクラウド４０２Ａに対応する３Ｄ空間は、複数のサブ立方体（オクタントなど）に再帰的に分割することができる立方体として考えることができる。各サブ立方体のサイズは、３Ｄポイントクラウド４０２Ａにおける複数の特徴点の密度に基づくことができる。３Ｄポイントクラウド４０２Ａの複数の特徴点は、異なるサブ立方体を占有することができる。各サブ立方体は、ボクセルに対応することができ、対応するサブ立方体の特定の体積内に、３Ｄポイントクラウド４０２Ａの特徴点のセットを含むことができる。プロセッサ２０４は、対応するボクセルの特徴点のセットと関連付けられる属性情報の平均を計算するように構成することができる。また、プロセッサ２０４は、対応するボクセル内の対応する特徴点のセットと関連付けられる幾何学情報に基づいて、複数のボクセル４０６Ａのうちの各ボクセルについて中心座標を計算するように構成することができる。生成された複数のボクセル４０６Ａのうちの各ボクセルは、対応する特徴点のセットと関連付けられる属性情報の中心座標及び平均によって表現することができる。
【0062】
[0073] ある実施形態によれば、３Ｄポイントクラウド４０２Ａのボクセル化のプロセスは、当業者に周知であり得る従来の技術を使用して行うことができる。したがって、従来の技術の詳細については、簡潔さのために本開示からは省略する。複数のボクセル４０６Ａは、３Ｄ空間内の１又は２以上のオブジェクトの幾何学情報及び属性情報を表現することができる。複数のボクセル４０６Ａは、占有されたボクセルと、占有されていないボクセルとを含むことができる。占有されていないボクセルは、３Ｄ空間内の１又は２以上のオブジェクトの幾何学情報及び属性情報を表現することができない。占有されたボクセルのみが、１又は２以上のオブジェクトの幾何学情報及び属性情報（色情報など）を表現することができる。ある実施形態によれば、プロセッサ２０４は、複数のボクセル４０６Ａから占有されたボクセルを識別するように構成することができる。
【0063】
[0074] ４０８において、複数のボクセル４０６Ａに対してブロック分割動作を実行することができる。ブロック分割動作において、プロセッサ２０４は、３Ｄポイントクラウドジオメトリ１１２の複数のボクセル４０６Ａを３Ｄブロックのセット（例えば、３Ｄブロックのセット４０８Ａ）に分割するように構成することができる。例えば、プロセッサ２０４は、３Ｄポイントクラウドジオメトリ１１２を３Ｄブロックに分割することができ、３Ｄブロックの各々は、６４ｘ６４ｘ６４などの所定のサイズを有することができる。ある実施形態では、３Ｄポイントクラウドジオメトリ１１２を、同じサイズの３Ｄブロックに分割することができる。別の実施形態では、３Ｄポイントクラウドジオメトリ１１２を、異なるサイズの３Ｄブロックに分割することができる。例えば、複数のボクセル４０６Ａは、密に占有されることができるボクセルの第１のセットと、疎らに占有されることができるボクセルの第２のセットとを含むことができる。密に占有されたボクセルを含む３Ｄポイントクラウドジオメトリ１１２の部分は、３２ｘ３２ｘ３２のサイズの３Ｄブロックの第１のセットに分割することができ、一方、疎らに占有されたボクセルを含む３Ｄポイントクラウドジオメトリ１１２の別の部分は、６４ｘ６４ｘ６４のサイズの３Ｄブロックの第２のセットに分割することができる。ある実施形態によれば、プロセッサ２０４は、分割動作と関連付けられる計算コストと、分割された３Ｄブロックの占有密度との間のトレードオフに基づいて、３Ｄポイントクラウドジオメトリ１１２の異なる部分を分割するために、ブロックサイズを選択することができる。
【0064】
[0075] ４１０において、符号化段階動作を実行することができる。符号化段階動作は、本明細書で説明するように、エンコーダ２０６によって実行することができる４１２～４１４の動作を含むことができる。
【0065】
[0076] ４１２において、モード選択動作を実行することができる。モード選択動作において、プロセッサ２０４は、３Ｄブロックのセット４０８Ａのうちの３Ｄブロック４１６に対して、モード決定情報を決定するように構成することができる。代替の実施形態では、モード選択動作は、エンコーダ２０６によって実行することができる。モード決定情報４１２Ａは、例えば、３Ｄポイントクラウドジオメトリ１１２と関連付けられるクラス情報、３Ｄポイントクラウドジオメトリ１１２の符号化段階（例えば、符号化段階４１０）と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセット４０８Ａのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報を含むことができる。更に、プロセッサ２０４は、モード決定情報に基づいて、複数のモードから３Ｄブロック４１６に対する１又は２以上のモード（例えば、選択された１又は２以上のモード４１８）を選択するように構成することができる。
【0066】
[0077] ある実施形態では、モードをクラス及び動作条件にマッピングすることができるテーブルからの探索に基づいて、１又は２以上のモードを選択することができる。別の実施形態では、第２の数（例えば「Ｍ」）の前の３Ｄブロックを符号化するために使用されるモードに基づいて、第１の数（例えば「Ｎ」）の現在の３Ｄブロックに対して、１又は２以上のモードを選択することができる。第２の数の前の３Ｄブロックは、定められたスキャン順序（Ｚスキャン順序など）での３Ｄブロックのセット４０８Ａのスキャンに基づいて、第１の数の現在の３Ｄブロックに先行することができる。別の実施形態では、３Ｄポイントクラウドジオメトリ１１２における３Ｄブロックのセット４０８Ａの空間配置において、現在の３Ｄブロックに隣接する３Ｄブロックによって使用されるモードに基づいて、１又は２以上のモードを選択することができる。別の実施形態では、現在の３Ｄブロック（及び／又は現在の３Ｄブロックの近隣の３Ｄブロック）及び現在の３Ｄブロック（及び／又は現在の３Ｄブロックの近隣の３Ｄブロック）と関連付けられるポイントクラウドメトリックへの分類器の適用に基づいて、１又は２以上のモードを選択することができる。別の実施形態では、現在の３Ｄブロック（及び／又は現在の３Ｄブロックの近隣の３Ｄブロック）に畳み込みニューラルネットワークを直接適用することに基づいて、１又は２以上のモードを選択することができる。
【0067】
[0078] モード決定情報に応じて、１又は２以上のモードを選択することができる。１又は２以上のモードが１よりも多くのモードを含む場合、プロセッサ２０４は、選択された１又は２以上のモードの各々と関連付けられるレート歪みコストを決定し、決定されたレート歪みコストを互いに比較することができる。決定されたレート歪みコストの比較に基づいて、プロセッサ２０４は、選択された１又は２以上のモードから、最適モードとして、最も小さいレート歪みコストを有するモードを選択して、現在の３Ｄブロックを符号化することができる。別のシナリオでは、１又は２以上のモードが単一のモードを含む場合、モードのレート歪みコストを決定することができない。代わりに、単一のモードは、それ自体が最適モードとすることができ、これを使用して、現在の３Ｄブロックを符号化することができる。モード決定情報の決定及び１又は２以上のモードの選択については、例えば図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂで更に説明する。
【0068】
[0079] ４１４において、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモード４１８に基づいて、３Ｄブロック４１６を符号化するように構成することができる。例えば、エンコーダ２０６は、選択された１又は２以上のモード４１８に基づいて、３Ｄブロック４１６を符号化して、符号化された３Ｄブロック４２０を得ることができる。３Ｄブロックの符号化については、例えば図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂで更に説明する。
【0069】
[0080] 図５は、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図５の説明は、図１、図２、図３及び図４の要素に関連して行う。図５を参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン５００が示されている。処理パイプライン５００には、５０２から開始して５１０で終了することができる動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0070】
[0081] ５０２において、ブロック分割動作を実行することができる。ブロック分割動作において、プロセッサ２０４は、入力ポイントクラウドジオメトリ（３Ｄポイントクラウドジオメトリ５１２など）を３Ｄブロックのセット（３Ｄブロックのセット４０８Ａなど）に分割するように構成することができる。３Ｄブロックのセット４０８Ａは、３Ｄブロック５０２Ａを含むことができる。ブロック分割動作については、例えば図４で（４０８において）更に説明されている。本開示の実施形態による、３Ｄブロック５０２Ａの符号化については、本明細書で次に説明する。
【0071】
[0082] ５０４において、クラス識別動作を実行することができる。クラス識別動作において、プロセッサ２０４は、３Ｄポイントクラウドジオメトリ５１２と関連付けられる先験的な特性５１４に基づいて、３Ｄポイントクラウドジオメトリ５１２と関連付けられるクラス情報を決定するように構成することができる。例えば、先験的な特性５１４は、３Ｄポイントクラウドジオメトリ５１２と関連付けられるジオメトリビット深度を含むことができる。先験的な特性５１４に基づいて、プロセッサ２０４は、クラス情報（例えば、ポイントクラウドクラス５１６）を決定することができる。限定ではなく一例として、クラス情報は、３Ｄポイントクラウドジオメトリ５１２と関連付けられるジオメトリビット深度、密度、又はポイント分布のうちの少なくとも１つを含むことができる。また、プロセッサ２０４は、動作条件５１８などの１又は２以上の動作条件を受け取ることができる。ある実施形態では、電子デバイス１０２と関連付けられるユーザからのユーザ入力を介して、１又は２以上の動作条件を受け取ることができる。代替的に、１又は２以上の動作条件は、予め決定されてメモリ２１０に記憶されることができる。このような場合、プロセッサ２０４は、メモリ２１０から１又は２以上の動作条件を取り出すことができる。１又は２以上の動作条件は、３Ｄポイントクラウドジオメトリ５１２の符号化段階と関連付けられることができ、３Ｄポイントクラウドジオメトリ５１２と関連付けられる目標レート歪みコストを含むことができる。レート歪みコストは、元のポイントクラウドブロックと再構成されたポイントクラウドブロックとの間の歪みに対応することができる。レート歪みコストは、元のポイントクラウドブロック及び再構成されたポイントクラウドブロックにおける対応するポイント間のポイント間距離又は平面間距離（又は他の任意の客観的又は主観的歪みメトリック）と、対応するブロックを符号化するのに必要な推定ビット数とに基づいて決定することができる。
【0072】
[0083] プロセッサ２０４は、クラス情報及び１又は２以上の動作条件に基づいて、モード決定情報４１２Ａを決定するように構成することができる。例えば、プロセッサ２０４は、複数のモードをクラス及び動作条件にマッピングすることができるテーブル（例えば、テーブル５２０）をロードすることができる。プロセッサ２０４は、クラス情報及び１又は２以上の動作条件を使用してテーブル５２０を探索して、１又は２以上のモードを選択することができる。ここでは、複数のモードのうちの各モードは、３Ｄブロック５０２Ａなどの３Ｄブロックを符号化するために使用することができる関数に対応することができる。３Ｄブロック５０２Ａの符号化の前に、テーブル５２０を生成及びロードすることができる。テーブル５２０の生成については、５０６において更に説明する。テーブル５２０を探索して１又は２以上のモードを選択することについては、５０８において更に説明する。
【0073】
[0084] ５０６において、モード探索動作を実行することができる。３Ｄポイントクラウドジオメトリ５１２の３Ｄブロックの符号化の前に、モード探索動作を使用して、テーブル５２０を生成することができる。モード探索動作では、プロセッサ２０４は、エンコーダ２０６及びデコーダ２０８を使用して、複数のモードから最適なモードを決定して、較正ポイントクラウドの３Ｄブロックを符号化することができる。較正ポイントクラウドは、クラス及び動作条件を知ることができるポイントクラウドとすることができる。プロセッサ２０４は、較正ポイントクラウドを複数の３Ｄブロックに分割するように構成することができる。較正ポイントクラウドの分割は、例えば５０２において更に説明するように、３Ｄポイントクラウドジオメトリ５１２の分割と同様とすることができる。
【0074】
[0085] エンコーダ２０６は、複数のモードに基づいて複数の３Ｄブロックのうちの各３Ｄブロックを符号化して、各３Ｄブロックに対応する複数の符号化された３Ｄブロックを生成するように更に構成することができる。ここでは、各モードは、３Ｄブロックを符号化するために使用することができる関数に対応することができる。モード（例えば、第１のモード）と関連付けられることができる関数は、３Ｄブロックを符号化して、符号化された３Ｄブロックを生成するようにトレーニングすることができるディープニューラルネットワーク（ＤＮＮ）モデル（例えば、図３のエンコーダ－１ ３０４ＡのＤＮＮモデル－１ ３０６Ａ）とすることができる。ある実施形態では、複数のモードのうちの各モードは、ＤＮＮモデルのトレーニング段階で使用されるフォーカルロス関数のアルファパラメータに対応することができる。ここでは、フォーカルロス関数は、３Ｄブロックからの非空ボクセルの除去にペナルティを科すように構成することができる。限定ではなく一例として、フォーカルロス関数は、次の式（１）で表すことができる。
上式において、
ＦＬ（）は、フォーカルロス関数を表すことができ、
ｐtは、占有されているボクセルのＤＮＮモデルの推定した確率を表すことができ、
は、調整可能なフォーカスパラメータ（ｆｏｃｕｓｉｎｇ ｐａｒａｍｅｔｅｒ）を表すことができ（ここで、
である）、
は、フォーカルロス関数のためのバランス係数（ｂａｌａｎｃｉｎｇ ｆａｃｔｏｒ）とすることができるアルファパラメータを表すことができる（ここで、
である）。
ＦＬ（）は、フォーカルロス関数を表すことができ、
ｐtは、占有されているボクセルのＤＮＮモデルの推定した確率を表すことができ、
【0075】
[0086] ある実施形態では、各モードと関連付けられるＤＮＮモデルは、入力ポイントクラウド、例えば、３Ｄポイントクラウドジオメトリ５１２の３Ｄブロックの属性及びジオメトリ特性（密度など）に基づいてトレーニングすることができる。このような場合、各ＤＮＮモデル（特定のモードと関連付けられることができる）は、異なるレベルの密度に対応する３Ｄブロックを使用してトレーニングすることができる。したがって、異なるモードを表す異なるＤＮＮは、異なるトレーニングセットから導出することができ、異なるトレーニングセットの各々は、異なる密度レベルに対応することができる。例えば、異なる密度レベルは、以下に限定されるわけではないが、ベタ（ｓｏｌｉｄ）レベル、密（ｄｅｎｓｅ）レベル、疎ら（ｓｐａｒｓｅ）レベル、少ない（ｓｃａｎｔ）レベル、及び不十分（ｉｎｓｕｆｆｉｃｉｅｎｔ）レベルを含むことができる。密度レベルの各々は、３Ｄブロックにおける各３Ｄポイントと関連付けられるローカル密度の分布の中央値に対応することができる。ローカル密度は、例えば、各ポイントの周囲の球体積内のいくつかの近隣ポイントとすることができる。
【0076】
[0087] 一例として、複数のモードは、第１のモード（例えば、モード「０」）、第２のモード（例えば、モード「１」）、第３のモード（例えば、モード「２」）、第４のモード（例えば、モード「３」）、及び第５のモード（例えば、モード「４」）などの５つのモードを含むことができる。各モードは、アルファパラメータの特定の値に対応することができる。一例として、第１のモード（すなわち、モード「０」）は、アルファパラメータの「０．５」の値に対応することができる。同様に、第２のモード（すなわち、モード「１」）は、アルファパラメータの「０．６」の値に対応することができる。更に、各モードは、３Ｄポイントクラウドジオメトリ５１２の特定の密度レベルに対応することができる。一例として、第１のモード（すなわち、モード「０」）は、密度レベル「ベタ（ｓｏｌｉｄ）」に対応することができる。同様に、第２のモード（すなわち、モード「１」）は、密度レベル「密（ｄｅｎｓｅ）」に対応することができる。以下のように、表１に、複数のモードの各々に対するアルファパラメータの例示的な値を示し、表２に、複数のモードの各々に対する密度レベルの例示的な値を示す。
各モードに対するアルファパラメータの例示的な値
各モードに対する密度レベルの例示的な値
各モードに対するアルファパラメータの例示的な値
【表1】
各モードに対する密度レベルの例示的な値
【表2】
【0077】
[0088] 表１及び表２を参照して、エンコーダ２０６は、５つのモードの各々に基づいて、較正ポイントクラウドの複数の３Ｄブロックを符号化することができる。各３Ｄブロックを符号化して、５つの符号化された３Ｄブロックを生成することができる。５つの符号化された３Ｄブロックは、第１の符号化された３Ｄブロック（第１のモードに基づいて符号化することができる）と、第２の符号化された３Ｄブロック（第２のモードに基づいて符号化することができる）と、…、第５の符号化された３Ｄブロック（第５のモードに基づいて符号化することができる）とを含むことができる。較正ポイントクラウドの各３Ｄブロックを５回（すなわち、モード毎に１回）符号化して、符号化された３Ｄブロックの５つのバージョン（すなわち、モード毎に１つの符号化されたブロックバージョン）を生成することができる。表１及び表２に示すデータは単なる実験データとして挙げることができ、本開示を限定するものと解釈すべきではないことに留意されたい。
【0078】
[0089] エンコーダ２０６は、生成された複数の符号化された３Ｄブロックの各々と関連付けられるレート歪みコストを決定するように構成することができる。レート歪みコストは、元のポイントクラウドブロックと再構成されたポイントクラウドブロックとの間の歪みに対応することができる。レート歪みコストは、元のポイントクラウド及び再構成されたポイントクラウドにおける対応するポイント間のポイント間距離又は平面間距離（又は他の任意の客観的又は主観的歪みメトリック）と、対応するブロックを符号化するのに必要な推定ビット数とに基づいて決定することができる。
【0079】
[0090] エンコーダ２０６は、複数のモードのうちの各モードについて、レート歪みコストが最小であることができる生成された複数の符号化された３Ｄブロックの割合（ｆｒａｃｔｉｏｎ）を示すことができる統計情報を決定することができる。例えば、複数のモードは、モード「０」、モード「１」、モード「２」、モード「３」、及びモード「４」を含むことができる。全ての利用可能なモード（すなわち、モード「０」、「１」、「２」、「３」、及び「４」）の中から、エンコーダ２０６は、較正ポイントクラウドの符号化された３Ｄブロックの９０％に対する最も低いレート歪みコストが、モード「０」と関連付けられると決定することができる。同様に、較正ポイントクラウドの符号化された３Ｄブロックの５％に対する最も低いレート歪みコストが、モード「１」と関連付けられることができると決定することができる。各モードについて、統計情報は、レート歪みコストが最小であることができる生成された複数の符号化された３Ｄブロックのこのような割合を含むことができる。以下のように、表３に、複数のモードに対する例示的な統計情報を示す。
各モードに対する例示的な統計情報
表３に示すデータは単なる実験データとして挙げるべきであり、本開示を限定するものと解釈すべきではない。
各モードに対する例示的な統計情報
【表3】
表３に示すデータは単なる実験データとして挙げるべきであり、本開示を限定するものと解釈すべきではない。
【0080】
[0091] エンコーダ２０６は、決定された統計情報に基づいて、複数の符号化された３Ｄブロックから、複数の符号化された３Ｄブロックの割合が閾値を超える符号化された３Ｄブロックのサブセットを決定することができる。例えば、表３を参照すると、較正ポイントクラウドの複数の３Ｄブロックの９０％に対して、モード「０」は最適モードとすることができる。更に、複数の３Ｄブロックの５％に対して、モード「１」は最適モードとすることができる。このような場合、閾値が９４％である場合、符号化された３Ｄブロックのサブセットは、モード「０」及びモード「１」として決定することができる。というのは、モード「０」及び「１」が最適モードである符号化された３Ｄブロックの合計パーセンテージは、９５％である（閾値よりも大きい）からである。
【0081】
[0092] エンコーダ２０６は、複数のモードから、符号化された３Ｄブロックのサブセットの生成に使用することができるモードのサブセットを更に決定することができる。モードのサブセットは、３Ｄブロックを符号化するために使用される時に、複数のモードのうちの他のモードに対応する歪みコストと比較して、比較的小さい歪みコストをもたらすことができる。更に、モードのサブセットは、最適モードとして、較正ポイントクラウドの複数の３Ｄブロックの統計的に有意又は大部分（例えば９５％）を符号化することができる。したがって、モードのサブセットは、複数のモードのうちの他のモードよりも最適なモードとして、較正ポイントクラウドの３Ｄブロックを符号化することができる。モードのサブセットは、較正ポイントクラウドと関連付けられるクラス及び動作条件に対応するモードとして選択することができる。選択されたモードは、較正ポイントクラウドと関連付けられるクラス及び動作条件に対応するレコードとして、タブレットに挿入することができる。
【0082】
[0093] エンコーダ２０６は、決定されたモードのサブセット、クラス（例えば、較正ポイントクラウドのクラスを含む）、及び動作条件に基づいて、テーブル（例えば、テーブル５２０）を生成することができる。例えば、エンコーダ２０６は、異なる動作条件（すなわち、目標レート歪みコスト）を選択し、上記で説明したように、特定のクラスの較正ポイントクラウドに対して各動作条件に対するモードのサブセットを決定することができる。エンコーダ２０６は、様々な動作条件の下での異なるクラスの較正ポイントクラウドのセットに対するモードのサブセットの決定のプロセスを繰り返すことができる。エンコーダ２０６は、異なるポイントクラウドクラス及び異なる動作条件に対するモード使用と関連付けられる統計情報を決定することができる。統計情報は、モードのサブセットを用いて符号化することができる３Ｄブロックのサブセットと関連付けられる統計を示すことができる。エンコーダ２０６は、統計情報に基づいて、テーブル５２０内のクラス及び動作条件に対応するエントリとして、モードのサブセットを決定することができる。一例では、統計情報が、３Ｄブロックのサブセットが複数の３Ｄブロックからの９０％以上の３Ｄブロックを含むことを示す場合、エンコーダ２０６は、較正ポイントクラウドの特定のクラス及び動作条件に対応するエントリとして、モードのサブセット（３Ｄブロックのサブセットと関連付けられることができる）を決定することができる。モードのサブセットは、複数の３Ｄブロックからの９０％以上の３Ｄブロックと関連付けられることができるので、エンコーダ２０６は、モードのサブセットのみをチェックして、同じクラスを有しかつ同じ動作条件下の３Ｄポイントクラウドジオメトリの任意の３Ｄブロックを符号化すればよい。したがって、３Ｄポイントクラウドジオメトリの３Ｄブロックを符号化するのに適したモードを決定するために、フルサーチ（複数のモードの各々に基づく３Ｄブロックの符号化を必要とする場合がある）を実行する必要がない場合があり、それによって、時間及び計算を節約することができる。エンコーダ２０６は、３Ｄポイントクラウドジオメトリ５１２のクラス情報及び動作条件を使用してテーブル５２０を探索して、１又は２以上のモードを選択することができる。
【0083】
[0094] 図５に示すように、テーブル５２０は、異なるポイントクラウドクラス及び異なる動作条件に対応するモードのサブセットのエントリを含むことができる。例えば、様々なポイントクラウドクラスは、クラス「ｂ１」（１０ビットの深度など）及びクラス「ｂ２」（１１ビットの深度など）を含むことができる。更に、動作条件は、目標レート歪みコストに対応することができ、「ａ１」、「ａ２」、「ａ３」、「ａ４」、及び「ａ５」などの５つの動作条件を含むことができる。一例として、動作条件「ａ３」及びポイントクラウドクラス「ｂ２」に対応するモードの第１のサブセット５２０Ａは、モード「２」及びモード「３」を含むことができる。テーブル５２０に示すデータは単なる実験データとして挙げることができ、本開示を限定するものと解釈すべきではないことに留意されたい。
【0084】
[0095] ５０８において、モード選択動作を実行することができる。モード選択動作において、エンコーダ２０６は、モード決定情報に基づいて、複数のモードから３Ｄブロック５０２Ａに対する１又は２以上のモードを選択するように構成することができる。ここでは、モード決定情報は、クラス情報（すなわち、ポイントクラウドクラス５１６）と、３Ｄポイントクラウドジオメトリと関連付けられる動作条件５１８とを含むことができる。エンコーダ２０６は、本明細書で説明するように、ポイントクラウドクラス５１６及び動作条件５１８に基づいてテーブル５２０を探索して、１又は２以上のモードを選択することができる。テーブル５２０を参照して、エンコーダ２０６は、１又は２以上のモードとして、モードの第１のサブセット５２０Ａ（すなわち、モード「２」及びモード「３」）を選択して、動作条件５１８が「ａ３」であり、かつポイントクラウドクラス５１６が「ｂ２」である場合において、３Ｄブロック５０２Ａを符号化することができる。
【0085】
[0096] ５１０において、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモードに基づいて、３Ｄブロック５０２Ａを符号化して、符号化された３Ｄブロック５２２を生成することができる。選択された１又は２以上のモードが、単一のモード（例えば、動作条件「ａ５」及びポイントクラウドクラス「ｂ２」に対するモード「４」）を含む場合、単一のモード自体が、最適モードに対応することができ、これを使用して、３Ｄブロック５０２Ａを符号化することができる。別のシナリオでは、選択された１又は２以上のモードが複数のモードを含む場合、エンコーダ２０６は、１又は２以上の選択されたモードの各々に基づいて３Ｄブロックを符号化して、１又は２以上の符号化された３Ｄブロックを決定することができる。例えば、１又は２以上のモードが３つのモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化して、３つの符号化された３Ｄブロックバージョン（各モードに対して１つ）を生成することができる。エンコーダ２０６は、選択された１又は２以上のモードの各々と関連付けられるレート歪みコストを決定することができる。エンコーダ２０６は、モードと関連付けられるレート歪みコストが決定されたレート歪みコストの最小値に対応するという決定に基づいて、符号化段階のための最適なモードとして、選択された１又は２以上のモードのうちのモードを決定することができる。換言すれば、エンコーダ２０６は、決定されたレート歪みコストを比較して、最適モードとして、最も小さいレート歪みコストを有するモードを選択することができ、これを使用して、３Ｄブロック５０２Ａを符号化することができる。
【0086】
[0097] 例えば、選択された１又は２以上のモードが、モードの第１のサブセット５２０Ａである場合、エンコーダ２０６は、モード「２」に基づいて及びモード「３」に基づいて、３Ｄブロック５０２Ａを符号化して、それぞれ、第１の符号化された３Ｄブロック及び第２の符号化された３Ｄブロックを決定することができる。エンコーダ２０６は、第１の符号化された３Ｄブロックに対する第１のレート歪みコストと、第２の符号化された３Ｄブロックに対する第２のレート歪みコストとを決定することができる。ある実施形態では、エンコーダ２０６は、第１のレート歪みコストと第２のレート歪みコストとを比較して、２つのレート歪みコストのうちの低い方に対応するモードを最適なモードとして決定することができる。例えば、（モード「２」を使用して符号化される）第１の符号化された３Ｄブロックと関連付けられる第１のレート歪みコストが、（モード「３」を使用して符号化される）第２の符号化された３Ｄブロックと関連付けられる第２のレート歪みコストよりも小さい場合、エンコーダ２０６は、最適なモードをモード「２」として決定することができる。換言すれば、エンコーダ２０６は、特定のモード（すなわち、モード「２」）を使用して符号化される時に、３Ｄブロックと関連付けられるレート歪みコストを最小にするもの（例えば、モード「２」）として、選択された１又は２以上のモード（モード「２」及び「３」など）から最適なモードを決定することができる。
【0087】
[0098] 最適なモードが決定されると、エンコーダ２０６は、決定された最適なモードに基づいて、３Ｄブロック５０２Ａを符号化して、符号化された３Ｄブロック５２２を生成することができる。ある実施形態では、エンコーダ２０６は、決定された最適なモードに対応するＤＮＮモデルを使用して、３Ｄブロック５０２Ａを符号化することができる。例えば、モード「２」が最適なモードとして決定された場合、エンコーダ２０６は、モード「２」に対応するＤＮＮモデル（例えば、ＤＮＮモデル－Ｎ ３０６Ｎ）を使用して、３Ｄブロック５０２Ａを符号化することができる。ここでは、ＤＮＮモデル－Ｎ ３０６Ｎは、０．７のアルファパラメータ値を有するフォーカルロス関数に基づいてトレーニングすることができるＤＮＮモデルとすることができる。というのは、モード「２」に対応するアルファパラメータ値は、０．７とすることができるからである。別の例では、ＤＮＮモデル－Ｎ ３０６Ｎは、「疎ら（ｓｐａｒｓｅ）」密度レベルを有するポイントクラウドの３Ｄブロックを含むトレーニングセットで訓練することができるＤＮＮモデルとすることができる。選択された１又は２以上のモードが２つのモード（例えば、モード「２」及びモード「３」）を含み、複数のモードが５つの異なるモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化するために、２つの符号化動作及び２つの復号化動作を実行する必要がある場合がある。フルモードサーチを実装する従来の解決策では、エンコーダは、各３Ｄブロックを符号化するために、５つの符号化動作及び５つの復号化動作を実行する必要がある場合がある。テーブル５２０を使用して、開示する電子デバイス１０２は、従来の解決策によって提供されるものよりも２．５倍（すなわち、（５＋５）／（２＋２））の符号化効率利得を達成することができる。
【0088】
[0099] 図６は、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図６の説明は、図１、図２、図３、図４及び図５の要素に関連して行う。図６を参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン６００が示されている。処理パイプライン６００には、６０２から開始して６０８で終了することができる動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0089】
[0100] ６０２において、ブロック分割動作を実行することができる。ブロック分割動作において、エンコーダ２０６は、入力ポイントクラウドジオメトリ（３Ｄポイントクラウドジオメトリ６１０など）を３Ｄブロックのセット（３Ｄブロックのセット４０８Ａなど）に分割するように構成することができる。３Ｄブロックのセット４０８Ａは、３Ｄブロック４１６を含むことができる。ブロック分割動作については、例えば図４で（４０８において）更に説明されている。
【0090】
[0101] ある実施形態では、エンコーダ２０６は、定められたスキャン順序での３Ｄブロックのセット４０８Ａのスキャンに基づいて、３Ｄブロックのセット４０８Ａのサブセットを決定するように構成することができる。例えば、３Ｄブロックのセット４０８Ａは、モートンオーダー（又はＺオーダー）に従ってスキャンすることができる。３Ｄブロックのセット４０８Ａのためのモートンオーダーは、３Ｄブロックのセット４０８Ａにおいて複数のボクセル４０６Ａの各々の局所性を保存しながら、多次元座標値を１Ｄにマッピングすることができる。３Ｄ空間内のモートンオーダーは、複数のボクセル４０６Ａの幾何学情報（すなわち、３Ｄ座標）のバイナリ表現をインターリーブすることによって生成することができる。ある実施形態では、３Ｄブロックのセット４０８Ａにおける複数のボクセル４０６Ａの各々の原点の座標は、符号化段階４１０のためのモートンオーダーに基づいてソートすることができる。更に、復号化段階中に、デコーダにおいて、３Ｄブロックのセット４０８Ａにおける複数のボクセル４０６Ａを再ソートして、再構成されたポイントクラウドを得ることができる。
【0091】
[0102] 定められたスキャン順序に基づいて、エンコーダ２０６は、３Ｄブロックのセット４０８Ａのサブセットから、３Ｄブロックの第１のサブセット６０２Ａと、３Ｄブロックの第２のサブセット６０２Ｂとを決定することができる。すなわち、３Ｄブロックのセット４０８Ａは、３Ｄブロックの第１のサブセット６０２Ａと、３Ｄブロックの第２のサブセット６０２Ｂとを含むことができる。ここでは、３Ｄブロックの第２のサブセット６０２Ｂは、スキャン順序に従って、３Ｄブロックの第１のサブセット６０２Ａに続くことができる。例えば、３Ｄブロックの第１のサブセット６０２Ａは、スキャン順序における「Ｎ」個の連続する３Ｄブロックのサブセットとすることができる。更に、３Ｄブロックの第２のサブセット６０２Ｂは、スキャン順序における「Ｍ」個の連続する３Ｄブロックのサブセットとすることができる。
【0092】
[0103] 「Ｍ」及び「Ｎ」の値は、符号化動作のローカル特性に基づいて、３Ｄブロックのセット４０８Ａの符号化中に変化することができる。ローカル特性は、例えば、特定の閾値を超える再構成歪みの増加を含むことができる。ある実施形態では、３Ｄブロックの第２のサブセット６０２Ｂは、３Ｄブロック４１６を含むことができる。３Ｄブロック４１６の符号化について、本明細書で説明する。
【0093】
[0104] ６０４において、モード探索動作を実行することができる。モード探索動作において、エンコーダ２０６は、複数のモードの各々に基づいて、決定されたサブセットのうちの第１のサブセット（すなわち、３Ｄブロックの第１のサブセット６０２Ａ）のうちの各３Ｄブロックを符号化して、複数の符号化された３Ｄブロックを生成するように構成することができる。例えば、表１を参照して、エンコーダ２０６は、５つのモード（モード「０」、モード「１」、モード「２」、モード「３」、及びモード「４」など）に基づいて、３Ｄブロックの第１のサブセット６０２Ａのうちの各３Ｄブロックを符号化して、５つの対応する符号化された３Ｄブロックを生成することができる。エンコーダ２０６は、複数の符号化された３Ｄブロックのうちの各符号化された３Ｄブロックと関連付けられるレート歪みコストを決定するように更に構成することができる。エンコーダ２０６は、複数の符号化された３Ｄブロックのうちの各符号化された３Ｄブロックと関連付けられる決定されたレート歪みコストに基づいて、第１のサブセット（すなわち、３Ｄブロックの第１のサブセット６０２Ａ）と関連付けられるモード使用統計（例えば、モード使用統計６１２）を決定するように更に構成することができる。モード使用統計６１２は、３Ｄブロックの第１のサブセット６０２Ａのために選択される最適なモードと関連付けられる情報を含むことができる。例えば、モード使用統計６１２は、モード「２」及びモード「３」が３Ｄブロックの第１のサブセット６０２Ａにおける３Ｄブロックの特定のパーセンテージに対して最適なモードとすることができることを示すことができる。ここでは、モード関連情報は、３Ｄブロックの第１のサブセット６０２Ａと関連付けられる決定されたモード使用統計６１２を含むことができる。
【0094】
[0105] ６０６において、モード選択動作を実行することができる。モード選択動作において、エンコーダ２０６は、３Ｄブロック４１６を含むことができる３Ｄブロックの第２のサブセット６０２Ｂに対する１又は２以上のモードを選択するように構成することができる。１又は２以上のモードの選択は、モード使用統計６１２の形態でモード関連情報を含むモード決定情報に基づくことができる。例えば、モード使用統計が、モード「２」及びモード「３」が３Ｄブロックの第１のサブセット６０２Ａからの３Ｄブロックの９０％以上に対して最適なモードであることを示す場合、エンコーダ２０６は、３Ｄブロックの第２のサブセット６０２Ｂに対する１又は２以上のモードとして、モード「２」及びモード「３」を選択することができる。
【0095】
[0106] ６０８において、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモードに基づいて、３Ｄブロック４１６を符号化して、符号化された３Ｄブロック６１４を生成することができる。ある実施形態では、エンコーダ２０６は、１又は２以上の選択されたモードの各々に基づいて３Ｄブロック４１６を符号化して、１又は２以上の符号化された３Ｄブロックを決定することができる。その後、エンコーダ２０６は、決定された１又は２以上の符号化された３Ｄブロックの各々と関連付けられるレート歪みコストを決定するように構成することができる。エンコーダ２０６は、決定されたモードと関連付けられるレート歪みコストが閾値を下回るという決定に基づいて、符号化段階のための最適なモードとして、選択された１又は２以上のモードのうちのモードを決定することができる。モードベースの符号化動作については、例えば図５で（５１０において）更に説明されている。
【0096】
[0107] 選択された１又は２以上のモードが２つのモード（例えば、モード「２」及びモード「３」）を含み、複数のモードが５つのモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化するために、２＊Ｍの符号化動作及び２＊Ｍの復号化動作のみを実行すればよい。この場合、テーブル５２０を生成する必要がない。従来のシステムでは、Ｍ＋Ｎの３Ｄブロックの各々が、５つのモードの全てで符号化及び復号化される場合があるので、合計５＊（Ｍ＋Ｎ）の符号化及び復号化動作が必要である場合がある。本開示の現在の実施形態の場合、較正プロセスにおいてＮ個のブロックを符号化するために、５＊Ｎの符号化及び復号化動作が必要である場合があり、（較正プロセスで使用することができる）Ｎ個のブロックに続くＭ個のブロックを符号化するために、２＊Ｍの符号化及び復号化動作が必要である場合がある。符号化効率利得は、５＊（Ｍ＋Ｎ）／（２＊Ｍ＋５＊Ｎ）として決定することができる。例えば、Ｍ及びＮが同じ値を有する場合（すなわち、Ｍ＝Ｎ）、例えば、符号化効率利得は、５＊２ ／７（すなわち、１０／７～１．４３）とすることができる。このような場合、２つの候補モードのみを選択することができ、Ｍ＝Ｎである。
【0097】
[0108] 図７は、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図７の説明は、図１、図２、図３、図４、図５及び図６の要素に関連して行う。図７を参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン７００が示されている。処理パイプライン７００には、７０２から開始して７０６で終了することができる動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0098】
[0109] ７０２において、ブロック分割動作を実行することができる。ブロック分割動作において、プロセッサ２０４は、入力ポイントクラウドジオメトリ（３Ｄポイントクラウドジオメトリ７０８など）を３Ｄブロックのセット（３Ｄブロックのセット４０８Ａなど）に分割するように構成することができる。３Ｄブロックのセット４０８Ａは、３Ｄブロック７１０（例えば、図７に示すように、ブロック「Ｃ」）を含むことができる。ブロック分割動作については、例えば図４で（４０８において）更に説明されている。
【0099】
[0110] プロセッサ２０４は、３Ｄポイントクラウドジオメトリ７０８における３Ｄブロックのセット４０８Ａの空間配置に基づいて、３Ｄブロックのセット４０８Ａから、３Ｄブロック７１０の近隣に存在する３Ｄブロックのサブセットを決定するように更に構成することができる。例えば、４つの３Ｄブロックのサブセットが、３Ｄブロック７１０（すなわち、ブロック「Ｃ」）の３Ｄ近隣に存在することができる。図７に示すように、４つの３Ｄブロックのサブセットは、第１の３Ｄブロック７１２Ａ（例えば、ブロック「Ａ１」）と、第２の３Ｄブロック７１２Ｂ（例えば、ブロック「Ａ２」）と、第３の３Ｄブロック７１４Ａ（例えば、ブロック「Ｂ１」）と、第４の３Ｄブロック７１４Ｂ（例えば、ブロック「Ｂ２」）とを含むことができる。３Ｄブロック７１０の符号化について、本明細書で説明する。
【0100】
[0111] ７０４において、モード選択動作を実行することができる。モード選択動作において、プロセッサ２０４は、３Ｄブロックのサブセットのうちの各３Ｄブロックを符号化してそれぞれの符号化された３Ｄブロックを生成するための１又は２以上のモードの使用を決定するように構成することができる。ある実施形態では、３Ｄブロックのサブセットのうちの各３Ｄブロックを符号化するための１又は２以上のモードの使用は、３Ｄブロック７１０の前の３Ｄブロックのサブセットの符号化に基づいて、予め決定することができる。一例として、第１の３Ｄブロック７１２Ａ及び第２の３Ｄブロック７１２Ｂの両方を符号化するために使用される１又は２以上のモードは、モード「２」及びモード「３」とすることができる。更に、第３の３Ｄブロック７１４Ａ及び第４の３Ｄブロック７１４Ｂの両方を符号化するために使用される１又は２以上のモードは、モード「３」及びモード「４」とすることができる。
【0101】
[0112] プロセッサ２０４は、サブセットのうちの各３Ｄブロックに対して近隣分析動作を実行するように構成することができる。近隣分析動作は、３Ｄブロック７１０の近隣のサブセットのうちの各３Ｄブロックの相対位置の決定を含むことができる。図示のように、例えば、近隣分析動作に基づいて、プロセッサ２０４は、第１の３Ｄブロック７１２Ａ及び第２の３Ｄブロック７１２Ｂの両方のエッジが、３Ｄブロック７１０のエッジに直接隣接することができると決定することができる。更に、プロセッサ２０４は、第３の３Ｄブロック７１４Ａ及び第４の３Ｄブロック７１４Ｂの両方の面が、３Ｄブロック７１０の面に直接隣接することができると決定することができる。近隣分析動作に基づいて、第３の３Ｄブロック７１４Ａ及び第４の３Ｄブロック７１４Ｂの両方が、第１の３Ｄブロック７１２Ａ又は第２の３Ｄブロック７１２Ｂのいずれかと比較して、３Ｄブロック７１０に近いと決定することができる。
【0102】
[0113] 限定ではなく一例として、近隣分析動作に基づいて、プロセッサ２０４は、３Ｄブロック７１０の近隣の３Ｄブロック（第１の３Ｄブロック７１２Ａ、第２の３Ｄブロック７１２Ｂ、第３の３Ｄブロック７１４Ａ、及び第４の３Ｄブロック７１４Ｂなど）の中から、頻繁に使用されるモードを選択して、３Ｄブロック７１０を符号化することができる。最も頻繁なモードが存在しない場合、最も近い３Ｄブロック（例えば、第３の３Ｄブロック７１４Ａ）と関連付けられるデフォルトモードを選択して、３Ｄブロック７１０を符号化することができる。別の例では、プロセッサ２０４は、３Ｄブロック７１０の近隣において最も近い３Ｄブロック（例えば、第３の３Ｄブロック７１４Ａ）のモードを選択して、３Ｄブロック７１０を符号化することができる。３Ｄブロック７１０の近隣において２又は３以上の最も近い３Ｄブロック（第３の３Ｄブロック７１４Ａ及び第４の３Ｄブロック７１４Ｂなど）が存在する場合、このような最も近い３Ｄブロックのうちの１つのモードをランダムに選択して、３Ｄブロック７１０を符号化することができる。別の例では、プロセッサ２０４は、モード探索動作（図５の５０６及び図６の６０４と同様）を実行して、他のモードに対して最小のレート歪みコストに対応する全ての近隣３Ｄブロック（又は近隣の最も近い３Ｄブロック）のモードからモードを選択することができる。選択されたモード（すなわち、最小のレート歪みコスト特性を有するモード）を使用して、３Ｄブロック７１０を符号化することができる。
【0103】
[0114] プロセッサ２０４は、３Ｄブロックのサブセットのうちの各３Ｄブロックを符号化してそれぞれの符号化された３Ｄブロックを生成するためのモードの使用に基づいて、３Ｄブロック７１０のための最適モードを選択することができる。例えば、第３の３Ｄブロック７１４Ａ及び第４の３Ｄブロック７１４Ｂは、３Ｄブロック７１０により近いとすることができるので、エンコーダ２０６は、第３の３Ｄブロック７１４Ａ及び第４の３Ｄブロック７１４Ｂの各々を符号化するために使用されるモードとして、３Ｄブロック７１０を符号化するために使用されるべき最適モードを選択することができる。具体的には、モード「４」に基づいて、第３の３Ｄブロック７１４Ａ及び第４の３Ｄブロック７１４Ｂの両方を符号化することができる。
【0104】
[0115] ７０６において、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモードに基づいて、３Ｄブロック７１０を符号化して、符号化された３Ｄブロック７１６を生成することができる。ある実施形態では、選択された１又は２以上のモードは、１つのモードのみを含むことができる。このような場合、レート歪みベースの最適化が必要ない場合があり、エンコーダ２０６は、単一の選択されたモードに基づいて、３Ｄブロック７１０を直接符号化することができる。一例として、選択された１又は２以上のモードが単一のモード（例えば、モード「４」）を含み、複数のモードが５つのモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化するために、１つの符号化動作のみを実行すればよい。更に、ここでは、テーブル５２０を生成する必要がない場合がある。しかしながら、従来のシステムでは、複数のモードが５つのモードを含むので、エンコーダは、各３Ｄブロックを符号化するために、５つの符号化動作及び５つの復号化動作を実行する必要がある場合がある。したがって、開示する電子デバイス１０２によって、従来のシステムと比較して、１０倍（すなわち、（５＋５）／１）の符号化効率利得を達成することができる。
【0105】
[0116] 図８Ａは、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図８Ａの説明は、図１、図２、図３、図４、図５、図６及び図７の要素に関連して行う。図８Ａを参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン８００Ａが示されている。処理パイプライン８００Ａには、８０２Ａ、８０４Ａ、及び８０６Ａを含む動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0106】
[0117] ８０２Ａにおいて、ブロック分割動作を実行することができる。ブロック分割動作において、プロセッサ２０４は、入力ポイントクラウドジオメトリ（３Ｄポイントクラウドジオメトリ８０８など）を３Ｄブロックのセット（３Ｄブロックのセット４０８Ａなど）に分割するように構成することができる。３Ｄポイントクラウドジオメトリ８０８は、３Ｄポイントクラウドジオメトリ１１２と関連付けられる情報を含むことができる。３Ｄブロックのセット４０８Ａは、３Ｄブロック８１０を含むことができる。ブロック分割動作については、例えば図４で（４０８において）更に説明されている。
【0107】
[0118] プロセッサ２０４は、３Ｄブロック８１０と関連付けられるクラス情報を含むポイントクラウドメトリック（例えば、ポイントクラウドメトリック８１２Ａ）を決定するように更に構成することができる。いくつかの場合では、ポイントクラウドメトリック８１２Ａは、例えば、３Ｄブロック８１０と関連付けられる密度又はポイント分布を含むことができる。３Ｄブロック８１０の符号化について、本明細書で説明する。
【0108】
[0119] ８０４Ａにおいて、モード選択動作を実行することができる。モード選択動作において、プロセッサ２０４は、ポイントクラウドメトリック８１２Ａへの分類器モデルの適用に基づいて、３Ｄブロック８１０に対する１又は２以上のモード（例えば、予測されたモード８１４Ａ）を選択するように構成することができる。ある実施形態によれば、分類器モデルは、モード予測のタスクでトレーニングすることができる機械学習モデルとすることができる。モード予測タスクのためのトレーニングデータセットは、ポイントクラウドの３Ｄブロックと関連付けられるポイントクラウドメトリックと、対応する３Ｄブロックを符号化するために使用することができる１又は２以上のモードとを含むことができる。ある実施形態では、分類器モデルは、メモリ２１０に記憶され、プロセッサ２０４によって使用されて、３Ｄブロック８１０に対する１又は２以上のモードを選択することができる。別の実施形態によれば、分類器モデルは、ニューラルネットワークモデルとすることができる。ニューラルネットワークモデルは、例えば図３で更に説明したＤＮＮモデルと同様とすることができる。
【0109】
[0120] ８０６Ａにおいて、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモード（例えば、予測されたモード８１４Ａ）に基づいて、３Ｄブロック８１０を符号化して、符号化された３Ｄブロック８１６Ａを生成することができる。ある実施形態では、選択された１又は２以上のモードは、１つのモードのみを含むことができる。このような場合、レート歪みベースの最適化が必要ない場合があり、エンコーダ２０６は、単一の選択されたモードに基づいて、３Ｄブロック８１０を直接符号化することができる。一例として、選択された１又は２以上のモードが単一のモード（例えば、モード「４」）を含み、複数のモードが５つのモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化するために、１つの符号化動作のみを実行すればよい。この場合、テーブル５２０を生成する必要がない場合がある。全てのモード（例えば、５つのモード）に対するフルモードサーチを実装する従来の解決策では、エンコーダは、各３Ｄブロックを符号化するために、５つの符号化動作及び５つの復号化動作を実行する場合がある。したがって、開示する電子デバイス１０２は、符号化及び復号化の複雑さが異なる場合、従来の解決策によって提供されるものを超える５（すなわち、（５＊Ｅ＋５＊Ｄ）／Ｅ又は５＋５＊（Ｄ／Ｅ））よりも大きい符号化効率利得を達成することができる。一方、符号化及び復号化の複雑さが等しい場合、開示する電子デバイス１０２は、従来の解決策によって提供されるものを超える１０の符号化効率利得を達成することができる。Ｅ及びＤは、それぞれ、符号化の複雑さ及び復号化の複雑さを表す。
【0110】
[0121] 図８Ｂは、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図８Ｂの説明は、図１、図２、図３、図４、図５、図６、図７及び図８Ａの要素に関連して行う。図８Ｂを参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン８００Ｂが示されている。処理パイプライン８００Ｂには、８０２Ｂ、８０４Ｂ、及び８０６Ｂを含む動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0111】
[0122] ８０２Ｂにおいて、ブロック分割動作を実行することができる。ブロック分割動作において、プロセッサ２０４は、入力ポイントクラウドジオメトリ（３Ｄポイントクラウドジオメトリ８０８など）を３Ｄブロックのセット（３Ｄブロックのセット４０８Ａなど）に分割するように構成することができる。３Ｄブロックのセット４０８Ａは、３Ｄブロック８１０を含むことができる。ブロック分割動作については、例えば図４で（４０８において）更に説明されている。
【0112】
[0123] プロセッサ２０４は、３Ｄブロック８１０の近隣の３Ｄブロックのサブセット（例えば、３Ｄブロックのサブセット８１８）を決定するように更に構成することができる。エンコーダ２０６は、３Ｄブロック８１０及び３Ｄポイントクラウドジオメトリ８０８の３Ｄブロック８１０の近隣の３Ｄブロックのサブセット８１８と関連付けられるクラス情報を含むポイントクラウドメトリック（例えば、ポイントクラウドメトリック８１２Ｂ）を決定するように更に構成することができる。例えば、ポイントクラウドメトリック８１２Ｂは、以下に限定されるわけではないが、３Ｄブロック８１０及び３Ｄブロックのサブセット８１８と関連付けられる密度又はポイント分布を含むことができる。本開示の実施形態による、３Ｄブロック８１０の符号化については、本明細書で次に説明する。
【0113】
[0124] ８０４Ｂにおいて、モード選択動作を実行することができる。モード選択動作において、プロセッサ２０４は、ポイントクラウドメトリック８１２Ｂへの分類器モデルの適用に基づいて、３Ｄブロック８１０に対する１又は２以上のモード（例えば、予測されたモード８１４Ｂ）を選択するように構成することができる。ある実施形態では、分類器モデルは、モード予測のタスクでトレーニングすることができる機械学習モデルとすることができる。一例では、分類器モデルは、ニューラルネットワークモデルとすることができる。モード予測タスクのためのトレーニングデータセットは、ポイントクラウドの３Ｄブロックと関連付けられるポイントクラウドメトリックと、対応する３Ｄブロックを符号化することができる１又は２以上のモードとに関連付けられる情報を含むことができる。ある実施形態では、分類器モデルは、メモリ２１０に記憶され、エンコーダ２０６によって使用されて、３Ｄブロック８１０に対する１又は２以上のモードを選択することができる。分類器モデルに関する詳細については、例えば図８Ａで更に説明されている。
【0114】
[0125] ８０６Ｂにおいて、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモード（例えば、予測されたモード８１４Ｂ）に基づいて、３Ｄブロック８１０を符号化して、符号化された３Ｄブロック８１６Ｂを生成することができる。ある実施形態では、選択された１又は２以上のモードは、１つのモードのみを含むことができる。このような場合、レート歪みベースの最適化が必要ない場合があり、エンコーダ２０６は、単一の選択されたモードに基づいて、３Ｄブロック８１０を直接符号化することができる。一例として、選択された１又は２以上のモードが単一のモード（例えば、モード「４」）を含み、複数のモードが５つのモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化するために、１つの符号化動作のみを実行すればよい。更に、ここでは、テーブル５２０を生成する必要がない場合がある。しかしながら、従来のシステムでは、複数のモードが５つのモードを含むので、エンコーダは、各３Ｄブロックを符号化するために、５つの符号化動作及び５つの復号化動作を実行する必要がある場合がある。したがって、開示する電子デバイス１０２は、符号化及び復号化の複雑さが異なる場合、従来の解決策によって提供されるものを超える５（すなわち、（５＊Ｅ＋５＊Ｄ）／Ｅ又は５＋５＊（Ｄ／Ｅ））よりも大きい符号化効率利得を達成することができる。一方、符号化及び復号化の複雑さが等しい場合、開示する電子デバイス１０２は、従来の解決策によって提供されるものを超える１０の符号化効率利得を達成することができる。Ｅ及びＤは、それぞれ、符号化の複雑さ及び復号化の複雑さを表す。
【0115】
[0126] 図９Ａは、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図９Ａの説明は、図１、図２、図３、図４、図５、図６、図７、図８Ａ及び図８Ｂの要素に関連して行う。図９Ａを参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン９００Ａが示されている。処理パイプライン９００Ａには、９０２Ａ、９０４Ａ、及び９０６Ａを含む動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0116】
[0127] ９０２Ａにおいて、ブロック分割動作を実行することができる。ブロック分割動作において、プロセッサ２０４は、入力ポイントクラウドジオメトリ（３Ｄポイントクラウドジオメトリ９０８など）を３Ｄブロックのセット（３Ｄブロックのセット４０８Ａなど）に分割するように構成することができる。３Ｄブロックのセット４０８Ａは、３Ｄブロック９１０（例えば、現在の３Ｄブロック「Ｃ」）を含むことができる。ブロック分割動作については、例えば図４で（４０８において）更に説明されている。本開示の実施形態による、３Ｄブロック９１０の符号化については、本明細書で次に説明する。
【0117】
[0128] ９０４Ａにおいて、モード選択動作を実行することができる。モード選択動作において、プロセッサ２０４は、３Ｄブロック９１０に畳み込みニューラルネットワーク（ＣＮＮ）を適用して、３Ｄブロック９１０に対するモード予測（例えば、予測されたモード９１２Ａ）を生成するように構成することができる。畳み込みニューラルネットワークは、モード予測のタスクでトレーニングすることができる。モード予測タスクのためのトレーニングデータセットは、サンプルポイントクラウドの３Ｄブロックと、対応する３Ｄブロックを符号化するために使用することができる１又は２以上のモードとを含むことができる。ある実施形態では、畳み込みニューラルネットワーク（ＣＮＮ）は、メモリ２１０に記憶され、使用されて、３Ｄブロック９１０に対する１又は２以上のモードを選択することができる。モード予測は、モード決定情報に含まれる（すなわち、（単複の）モードが選択される前に決定される）ことができ、１又は２以上のモードは、モード予測に基づいて選択することができる。ＣＮＮは、例えば図３で更に説明したＤＮＮモデルと同様とすることができる。
【0118】
[0129] ９０６Ａにおいて、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモードに基づいて、３Ｄブロック９１０を符号化して、符号化された３Ｄブロック９１４Ａを生成することができる。ある実施形態では、選択された１又は２以上のモードは、１つのモードのみを含むことができる。このような場合、レート歪みベースの最適化が必要ない場合があり、エンコーダ２０６は、単一の選択されたモードに基づいて、３Ｄブロック９１０を直接符号化することができる。一例として、選択された１又は２以上のモードが単一のモード（例えば、モード「４」）を含み、複数のモードが５つのモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化するために、１つの符号化動作のみを実行すればよい。この場合、テーブル５２０が必要ない場合がある。複数のモード（例えば、５つのモード）を実装する従来の解決策では、エンコーダは、各３Ｄブロックを符号化するために、少なくとも５つの符号化動作及び５つの復号化動作を実行する必要がある。したがって、ＣＮＮを使用して、開示する電子デバイス１０２は、符号化及び復号化の複雑さが異なる場合、従来の解決策によって提供されるものを超える５（すなわち、（５＊Ｅ＋５＊Ｄ）／Ｅ又は５＋５＊（Ｄ／Ｅ））よりも大きい符号化効率利得を達成することができる。一方、符号化及び復号化の複雑さが等しい場合、開示する電子デバイス１０２は、従来の解決策によって提供されるものを超える１０の符号化効率利得を達成することができる。Ｅ及びＤは、それぞれ、符号化の複雑さ及び復号化の複雑さを表す。
【0119】
[0130] 図９Ｂは、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な処理パイプラインを示す図である。図９Ｂの説明は、図１、図２、図３、図４、図５、図６、図７、図８Ａ、図８Ｂ及び図９Ａの要素に関連して行う。図９Ｂを参照すると、ポイントクラウド圧縮のための適応モード選択のための処理パイプライン９００Ｂが示されている。処理パイプライン９００Ｂには、９０２Ｂ、９０４Ｂ、及び９０６Ｂを含む動作のシーケンスが示されている。動作のシーケンスは、電子デバイス１０２の回路２０２によって実行することができる。動作の個々の段階で得られる出力も示されている。
【0120】
[0131] ９０２Ｂにおいて、ブロック分割動作を実行することができる。ブロック分割動作において、プロセッサ２０４は、入力ポイントクラウドジオメトリ（３Ｄポイントクラウドジオメトリ９０８など）を３Ｄブロックのセット（３Ｄブロックのセット４０８Ａなど）に分割するように構成することができる。３Ｄブロックのセット４０８Ａは、３Ｄブロック９１０を含むことができる。ブロック分割動作については、例えば図４で（４０８において）更に説明されている。プロセッサ２０４は、３Ｄブロック９１０の近隣の３Ｄブロックのサブセット（例えば、３Ｄブロックのサブセット９１６）を決定するように更に構成することができる。本開示の実施形態による、３Ｄブロック９１０の符号化については、本明細書で次に説明する。
【0121】
[0132] ９０４Ｂにおいて、モード選択動作を実行することができる。モード選択動作において、プロセッサ２０４は、３Ｄブロック９１０及び３Ｄポイントクラウドジオメトリ９０８の３Ｄブロック９１０の近隣の３Ｄブロックのサブセット９１６に畳み込みニューラルネットワーク（ＣＮＮ）を適用するように構成することができる。畳み込みニューラルネットワークの適用に基づいて、エンコーダ２０６は、３Ｄブロック９１０に対するモード予測（例えば、予測されたモード９１２Ｂ）を生成することができる。畳み込みニューラルネットワークは、モード予測のタスクでトレーニングすることができる。モード予測タスクのためのトレーニングデータセットは、サンプルポイントクラウドの３Ｄブロックと、対応する３Ｄブロックを符号化するために使用することができる１又は２以上のモードとを含むことができる。ある実施形態では、畳み込みニューラルネットワーク（ＣＮＮ）は、メモリ２１０に記憶され、使用されて、３Ｄブロック９１０に対する１又は２以上のモードを選択することができる。モード予測は、モード決定情報に含まれる（すなわち、（単複の）モードが選択される前に決定される）ことができ、１又は２以上のモードは、モード予測に基づいて選択することができる。現在の場合、１又は２以上のモードは、モード決定情報に含まれるモード予測に基づいて選択することができ、単一のモードとすることができる。モード決定情報においてモード予測によって示される単一のモードに基づいて、３Ｄブロック９１０を符号化することができる。畳み込みニューラルネットワークモデルに関する詳細については、例えば図９Ａで更に説明されている。
【0122】
[0133] ９０６Ｂにおいて、モードベースの符号化動作を実行することができる。モードベースの符号化動作において、エンコーダ２０６は、選択された１又は２以上のモードに基づいて、３Ｄブロック９１０を符号化して、符号化された３Ｄブロック９１４Ｂを生成することができる。ある実施形態では、選択された１又は２以上のモードは、１つのモードのみを含むことができる。このような場合、レート歪みベースの最適化が必要ない場合があり、エンコーダ２０６は、単一の選択されたモードに基づいて、３Ｄブロック９１０を直接符号化することができる。一例として、選択された１又は２以上のモードが単一のモード（例えば、モード「４」）を含み、複数のモードが５つのモードを含む場合、エンコーダ２０６は、各３Ｄブロックを符号化するために、１つの符号化動作のみを実行すればよい。更に、ここでは、テーブル５２０を生成する必要がない場合がある。しかしながら、従来の解決策では、複数のモードが５つのモードを含むので、エンコーダは、各３Ｄブロックを符号化するために、少なくとも５つの符号化動作及び５つの復号化動作を実行する必要がある場合がある。したがって、開示する電子デバイス１０２は、符号化及び復号化の複雑さが異なる場合、従来の解決策によって提供されるものを超える５（すなわち、（５＊Ｅ＋５＊Ｄ）／Ｅ又は５＋５＊（Ｄ／Ｅ））よりも大きい符号化効率利得を達成することができる。一方、符号化及び復号化の複雑さが等しい場合、開示する電子デバイス１０２は、従来の解決策によって提供されるものを超える１０の符号化効率利得を達成することができる。Ｅ及びＤは、それぞれ、符号化の複雑さ及び復号化の複雑さを表す。
【0123】
[0134] 図１０は、本開示の実施形態による、ポイントクラウド圧縮のための適応モード選択のための例示的な動作を示すフローチャートである。図１０を参照すると、フローチャート１０００が示されている。フローチャート１０００の説明は、図１、図２、図３、図４、図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂの要素に関連して行う。動作１００２～１０１２は、電子デバイス１０２に実装することができる。フローチャート１０００で説明する方法は、１００２から開始して１００４に進むことができる。
【0124】
[0135] １００４において、３Ｄポイントクラウドジオメトリ（例えば、３Ｄポイントクラウドジオメトリ１１２）を受け取ることができる。ある実施形態では、回路２０２は、３Ｄポイントクラウドジオメトリ１１２を受け取るように構成することができる。３Ｄポイントクラウドジオメトリ１１２は、通信ネットワーク１１０を介して、スキャニングセットアップ１０６から受け取ることができる。３Ｄポイントクラウドジオメトリの受け取りについては、例えば図４で更に説明されている。
【0125】
[0136] １００６において、３Ｄポイントクラウドジオメトリ１１２を、３Ｄブロックのセット（例えば、３Ｄブロックのセット４０８Ａ）に分割することができる。ある実施形態では、回路２０２は、３Ｄポイントクラウドジオメトリ１１２を３Ｄブロックのセット４０８Ａに分割するように構成することができる。３Ｄポイントクラウドジオメトリの分割については、例えば図４で更に説明されている。
【0126】
[0137] １００８において、３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報（例えば、モード決定情報４１２Ａ）を決定することができ、モード決定情報は、以下に限定されるわけではないが、３Ｄポイントクラウドジオメトリ１１２と関連付けられるクラス情報、３Ｄポイントクラウドジオメトリ１１２の符号化段階と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセット４０８Ａのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、のうちの少なくとも１つを含む。ある実施形態では、モード決定情報４１２Ａは、以下に限定されるわけではないが、３Ｄポイントクラウドジオメトリ１１２と関連付けられるクラス情報、３Ｄポイントクラウドジオメトリ１１２の符号化段階と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセット４０８Ａのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、のうちの少なくとも１つを含むことができる。ある実施形態では、回路２０２は、３Ｄブロックのセット４０８Ａのうちの３Ｄブロック４１６に対して、モード決定情報４１２Ａを決定するように構成することができる。モード決定情報の決定については、例えば図４、図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂで更に説明されている。
【0127】
[0138] １０１０において、モード決定情報に基づいて、複数のモードから３Ｄブロックに対する１又は２以上のモードを選択することができ、複数のモードのうちの各モードは、３Ｄブロックを符号化する関数に対応する。ここでは、複数のモードのうちの各モードは、３Ｄブロック４１６を符号化することができる関数に対応することができる。ある実施形態では、回路２０２は、モード決定情報４１２Ａに基づいて、複数のモードから、３Ｄブロック４１６に対する１又は２以上のモードを選択するように構成することができる。１又は２以上のモードの選択については、例えば図４、図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂで更に説明されている。
【0128】
[0139] １０１２において、選択された１又は２以上のモードに基づいて、３Ｄブロック４１６を符号化することができる。ある実施形態では、回路２０２は、選択された１又は２以上のモードに基づいて、３Ｄブロック４１６を符号化するように構成することができる。選択された１又は２以上のモードに基づく３Ｄブロックの符号化については、例えば図４、図５、図６、図７、図８Ａ、図８Ｂ、図９Ａ及び図９Ｂで更に説明されている。制御は、終了に進むことができる。
【0129】
[0140] フローチャート１０００は、１００４、１００６、１００８、１０１０、及び１０１２などの個別の動作として示されているが、本開示はこれに限定されるものではない。したがって、特定の実施形態では、このような個別の動作は、開示する実施形態の本質を損なうことなく、特定の実装に応じて、追加の動作に更に分割したり、より少ない動作に組み合わせたり、又は削除したりすることができる。
【0130】
[0141] 本開示の様々な実施形態は、機械及び／又はコンピュータが電子デバイス（例えば、電子デバイス１０２）を動作させるために実行できるコンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。このような命令は、３次元（３Ｄ）ポイントクラウドジオメトリ（例えば、３Ｄポイントクラウドジオメトリ１１２）を受け取ることを含む動作を電子デバイス１０２に実行させることができる。動作は、３Ｄポイントクラウドジオメトリ１１２を３Ｄブロックのセット（例えば、３Ｄブロックのセット４０８Ａ）に分割することを更に含むことができる。動作は、３Ｄブロックのセット４０８Ａのうちの３Ｄブロック４１６に対して、モード決定情報（例えば、モード決定情報４１２Ａ）を決定することを更に含むことができる。モード決定情報４１２Ａは、以下に限定されるわけではないが、３Ｄポイントクラウドジオメトリ１１２と関連付けられるクラス情報、３Ｄポイントクラウドジオメトリ１１２の符号化段階と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセット４０８Ａのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、のうちの少なくとも１つを含むことができる。動作は、モード決定情報４１２Ａに基づいて、複数のモードから、３Ｄブロック４１６に対する１又は２以上のモードを選択することを更に含むことができる。ここでは、複数のモードのうちの各モードは、３Ｄブロック４１６を符号化することができる関数に対応することができる。動作は、選択された１又は２以上のモードに基づいて、３Ｄブロック４１６を符号化することを更に含むことができる。
【0131】
[0142] 本開示の例示的な態様は、回路（回路２０２など）を含む第１の電子デバイス（図１の第１の電子デバイス１０２など）を提供することができる。回路２０２は、３次元（３Ｄ）ポイントクラウドジオメトリ（例えば、３Ｄポイントクラウドジオメトリ１１２）を受け取るように構成することができる。回路２０２は、３Ｄポイントクラウドジオメトリ１１２を３Ｄブロックのセット（例えば、３Ｄブロックのセット４０８Ａ）に分割するように更に構成することができる。回路２０２は、３Ｄブロックのセット４０８Ａのうちの３Ｄブロック４１６に対して、モード決定情報（例えば、モード決定情報４１２Ａ）を決定するように更に構成することができる。モード決定情報４１２Ａは、以下に限定されるわけではないが、３Ｄポイントクラウドジオメトリ１１２と関連付けられるクラス情報、３Ｄポイントクラウドジオメトリ１１２の符号化段階と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセット４０８Ａのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、のうちの少なくとも１つを含むことができる。回路２０２は、モード決定情報４１２Ａに基づいて、複数のモードから、３Ｄブロック４１６に対する１又は２以上のモードを選択するように更に構成することができる。ここでは、複数のモードのうちの各モードは、３Ｄブロック４１６を符号化することができる関数に対応することができる。回路２０２は、選択された１又は２以上のモードに基づいて、３Ｄブロック４１６を符号化するように更に構成することができる。
【0132】
[0143] ある実施形態では、３Ｄポイントクラウドジオメトリ１１２と関連付けられるクラス情報は、以下に限定されるわけではないが、３Ｄポイントクラウドジオメトリ１１２と関連付けられるジオメトリビット深度、密度、又はポイント分布のうちの少なくとも１つを含むことができる。更に、３Ｄポイントクラウドジオメトリ１１２の符号化段階と関連付けられる１又は２以上の動作条件は、以下に限定されるわけではないが、３Ｄポイントクラウドジオメトリ１１２と関連付けられる目標レート歪みコストを含むことができる。
【0133】
[0144] ある実施形態では、回路２０２は、複数のモードをクラス及び動作条件にマッピングすることができるテーブルをロードするように構成することができる。回路２０２は、クラス情報及び１又は２以上の動作条件を使用してテーブルを探索して、１又は２以上のモードを選択するように構成することができる。
【0134】
[0145] ある実施形態では、回路２０２は、較正ポイントクラウドを複数の３Ｄブロックに分割するように構成することができる。回路２０２は、複数のモードの各々に基づいて複数の３Ｄブロックを符号化して、複数の符号化された３Ｄブロックを生成するように更に構成することができる。回路２０２は、生成された複数の符号化された３Ｄブロックの各々と関連付けられるレート歪みコストを決定するように更に構成することができる。更に、回路２０２は、複数のモードのうちの各モードについて、複数のモードに対してレート歪みコストが最小である複数の符号化された３Ｄブロックの割合を示すことができる統計情報を決定するように構成することができる。回路２０２は、決定された統計情報に基づいて、生成された複数の符号化された３Ｄブロックから、複数の符号化された３Ｄブロックの割合が閾値を超える符号化された３Ｄブロックのサブセットを決定するように構成することができる。回路２０２は、複数のモードから、符号化された３Ｄブロックのサブセットの生成に使用されるモードのサブセットを決定するように更に構成することができる。回路２０２は、決定されたモードのサブセット、クラス、及び動作条件に基づいて、テーブルを生成するように構成することができる。
【0135】
[0146] ある実施形態では、回路２０２は、選択された１又は２以上のモードの各々に基づいて、３Ｄブロック４１６を符号化して、１又は２以上の符号化された３Ｄブロックを決定するように構成することができる。更に、回路２０２は、決定された１又は２以上の符号化された３Ｄブロックと関連付けられるレート歪みコストを決定するように構成することができる。回路２０２は、モードと関連付けられるレート歪みコストが決定されたレート歪みコストの最小値に対応するという決定に基づいて、符号化段階のための最適なモードとして、選択された１又は２以上のモードのうちのモードを決定するように構成することができる。換言すれば、回路２０２は、３Ｄブロックを符号化するために、レート歪みコストを最小にする最適なモードとして、選択された１又は２以上のモードからモードを決定することができる。回路２０２は、決定されたモードに基づいて３Ｄブロックを符号化して、符号化された３Ｄブロックを生成するように更に構成することができる。
【0136】
[0147] ある実施形態では、関数は、３Ｄポイントクラウドジオメトリ１１２の３Ｄブロック４１６を符号化して、符号化された３Ｄブロックを生成するようにトレーニングすることができるディープニューラルネットワーク（ＤＮＮ）モデルに対応する。複数のモードのうちの各モードは、ＤＮＮモデルのトレーニング段階で使用されるフォーカルロス関数のアルファパラメータに対応することができる。更に、フォーカルロス関数は、３Ｄポイントクラウドジオメトリ１１２の３Ｄブロック４１６からの非空ボクセルの除去にペナルティを科すように構成することができる。
【0137】
[0148] ある実施形態では、回路２０２は、定められたスキャン順序での３Ｄブロックのセット４０８Ａのスキャンに基づいて、３Ｄブロックのセット４０８Ａのサブセットを決定するように構成することができる。回路２０２は、複数のモードに基づいて、決定されたサブセットのうちの第１のサブセットのうちの各３Ｄブロックを符号化して、複数の符号化された３Ｄブロックを生成するように構成することができる。更に、回路２０２は、複数の符号化された３Ｄブロックのうちの各符号化された３Ｄブロックと関連付けられるレート歪みコストを決定するように構成することができる。回路２０２は、複数の符号化された３Ｄブロックのうちの各符号化された３Ｄブロックと関連付けられる決定されたレート歪みコストに基づいて、第１のサブセットと関連付けられるモード使用統計を決定するように構成することができる。ここでは、モード関連情報は、第１のサブセットと関連付けられる決定されたモード使用統計を含むことができる。回路２０２は、３Ｄブロック４１６を含む第２のサブセットに対する１又は２以上のモードを選択するように更に構成することができる。ここでは、第２のサブセットは、決定されたサブセットに含まれることができ、第２のサブセットは、スキャン順序に従って第１のサブセットに続くことができる。
【0138】
[0149] ある実施形態では、回路２０２は、３Ｄポイントクラウドジオメトリ１１２における３Ｄブロックのセット４０８Ａの空間配置に基づいて、３Ｄブロックのセット４０８Ａから、３Ｄブロック４１６の近隣に存在することができる３Ｄブロックのサブセットを決定するように構成することができる。ここでは、１又は２以上のモードの選択は、３Ｄブロックのサブセットのうちの各３Ｄブロックをそれぞれの符号化された３Ｄブロックに符号化するための１又は２以上のモードの使用に基づくことができる。
【0139】
[0150] ある実施形態では、回路２０２は、３Ｄブロック４１６と関連付けられるクラス情報を含むポイントクラウドメトリックを決定するように構成することができる。ここでは、１又は２以上のモードは、ポイントクラウドメトリックへの分類器モデルの適用に更に基づいて選択することができ、分類器モデルは、モード予測のタスクでトレーニングすることができる機械学習モデルとすることができる。
【0140】
[0151] ある実施形態では、回路２０２は、３Ｄブロック及び３Ｄポイントクラウドジオメトリ１１２の３Ｄブロック４１６の近隣の３Ｄブロックのサブセットと関連付けられるクラス情報を含むポイントクラウドメトリックを決定するように構成することができる。ここでは、１又は２以上のモードは、ポイントクラウドメトリックへの分類器モデルの適用に更に基づいて選択することができ、分類器モデルは、モード予測のタスクでトレーニングすることができる機械学習モデルとすることができる。
【0141】
[0152] ある実施形態では、回路２０２は、３Ｄブロック４１６に畳み込みニューラルネットワークを適用して、３Ｄブロック４１６に対するモード予測を生成するように構成することができる。ここでは、モード予測は、モード決定情報４１２Ａに含まれることができ、１又は２以上のモードは、モード予測に基づいて選択することができる。
【0142】
[0153] ある実施形態では、回路２０２は、３Ｄブロック４１６及び３Ｄポイントクラウドジオメトリ１１２の３Ｄブロック４１６の近隣の３Ｄブロックのサブセットに畳み込みニューラルネットワークを適用して、３Ｄブロック４１６に対するモード予測を生成するように構成することができる。ここでは、モード予測は、モード決定情報４１２Ａに含まれることができ、１又は２以上のモードは、モード予測に基づいて選択することができる。
【0143】
[0154] 本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。
【0144】
[0155] 本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【0145】
[0156] いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。したがって、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。
【符号の説明】
【0146】
１００ ネットワーク環境
１０２ 電子デバイス
１０４ サーバ
１０６ スキャニングセットアップ
１０８Ａ．．．１０８Ｎ 複数の外部デバイス
１１０ 通信ネットワーク
１１２ ３次元（３Ｄ）ポイントクラウドジオメトリ
２００ ブロック図
２０２ 回路
２０４ プロセッサ
２０６ エンコーダ
２０８ デコーダ
２１０ メモリ
２１２ 入力／出力（Ｉ／Ｏ）デバイス
２１２Ａ ディスプレイデバイス
２１４ ネットワークインターフェイス
３００ ブロック図
３０２Ａ エンコーダ
３０２Ｂ デコーダ
３０４Ａ エンコーダ－１
３０４Ｎ エンコーダ－Ｎ
３０６Ａ ＤＮＮモデル－１
３０６Ｎ ＤＮＮモデル－Ｎ
３０８ モードセレクタ
３１０Ａ デコーダ－１
３１０Ｎ デコーダ－Ｎ
３１２Ａ ブロック分割部
３１２Ｂ ２値化部及びマージ部
３１４Ａ 符号化されたビットストリーム及び補足情報
３１４Ｂ シグナリングビットストリーム
３１６Ａ 入力ポイントクラウド
３１６Ｎ 再構成されたポイントクラウド
３１８ ３Ｄブロックのセット
３１８Ｂ 復号されたブロックのセット
４００ 処理パイプライン
４０２ データ取得段階
４０２Ａ ３Ｄポイントクラウド
４０４ 事前符号化段階
４０６ ボクセル化
４０６Ａ 複数のボクセル
４０８ ブロック分割
４０８Ａ ３Ｄブロックのセット
４１０ 符号化段階
４１２ モード選択
４１２Ａ モード決定情報
４１４ モードベースの符号化
４１６ ３Ｄブロック
４１８ 選択された１又は２以上のモード
４２０ 符号化された３Ｄブロック
５００ 処理パイプライン
５０２ ブロック分割
５０２Ａ ３Ｄブロック
５０４ クラス識別
５０６ モード探索
５０８ モード選択
５１０ モードベースの符号化
５１２ ３Ｄポイントクラウドジオメトリ
５１４ 先験的な特性
５１６ ポイントクラウドクラス
５１８ 動作条件
５２０ テーブル
５２０Ａ モードの第１のサブセット
５２２ 符号化された３Ｄブロック
６００ 処理パイプライン
６０２ ブロック分割
６０２Ａ ３Ｄブロックの第１のサブセット
６０２Ｂ ３Ｄブロックの第２のサブセット
６０４ モード探索
６０６ モード選択
６０８ モードベースの符号化
６１０ ３Ｄポイントクラウドジオメトリ
６１２ モード使用統計
６１４ 符号化された３Ｄブロック
７００ 処理パイプライン
７０２ ブロック分割
７０４ モード選択
７０６ モードベースの符号化
７０８ ３Ｄポイントクラウドジオメトリ
７１０ ３Ｄブロック
７１２Ａ 第１の３Ｄブロック
７１２Ｂ 第２の３Ｄブロック
７１４Ａ 第３の３Ｄブロック
７１４Ｂ 第４の３Ｄブロック
７１６ 符号化された３Ｄブロック
８００Ａ 処理パイプライン
８００Ｂ 処理パイプライン
８０２Ａ ブロック分割
８０２Ｂ ブロック分割
８０４Ａ モード選択
８０４Ｂ モード選択
８０６Ａ モードベースの符号化
８０６Ｂ モードベースの符号化
８０８ ３Ｄポイントクラウドジオメトリ
８１０ ３Ｄブロック
８１２Ａ ポイントクラウドメトリック
８１２Ｂ ポイントクラウドメトリック
８１４Ａ 予測されたモード
８１４Ｂ 予測されたモード
８１６Ａ 符号化された３Ｄブロック
８１６Ｂ 符号化された３Ｄブロック
８１８ ３Ｄブロックのサブセット
９００Ａ 処理パイプライン
９００Ｂ 処理パイプライン
９０２Ａ ブロック分割
９０２Ｂ ブロック分割
９０４Ａ モード選択
９０４Ｂ モード選択
９０６Ａ モードベースの符号化
９０６Ｂ モードベースの符号化
９０８ ３Ｄポイントクラウドジオメトリ
９１０ ３Ｄブロック
９１２Ａ 予測されたモード
９１２Ｂ 予測されたモード
９１４Ａ 符号化された３Ｄブロック
９１４Ｂ 符号化された３Ｄブロック
９１６ ３Ｄブロックのサブセット
１０００ フローチャート
１００２ 開始
１００４ ３次元（３Ｄ）ポイントクラウドジオメトリを受け取る
１００６ ３Ｄポイントクラウドジオメトリを３Ｄブロックのセットに分割
１００８ ３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定し、モード決定情報は、３Ｄポイントクラウドジオメトリと関連付けられるクラス情報、３Ｄポイントクラウドジオメトリの符号化段階と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、のうちの少なくとも１つを含む
１０１０ モード決定情報に基づいて、複数のモードから３Ｄブロックに対する１又は２以上のモードを選択し、複数のモードのうちの各モードは、３Ｄブロックを符号化する関数に対応する
１０１２ 選択された１又は２以上のモードに基づいて、３Ｄブロックを符号化
１０２ 電子デバイス
１０４ サーバ
１０６ スキャニングセットアップ
１０８Ａ．．．１０８Ｎ 複数の外部デバイス
１１０ 通信ネットワーク
１１２ ３次元（３Ｄ）ポイントクラウドジオメトリ
２００ ブロック図
２０２ 回路
２０４ プロセッサ
２０６ エンコーダ
２０８ デコーダ
２１０ メモリ
２１２ 入力／出力（Ｉ／Ｏ）デバイス
２１２Ａ ディスプレイデバイス
２１４ ネットワークインターフェイス
３００ ブロック図
３０２Ａ エンコーダ
３０２Ｂ デコーダ
３０４Ａ エンコーダ－１
３０４Ｎ エンコーダ－Ｎ
３０６Ａ ＤＮＮモデル－１
３０６Ｎ ＤＮＮモデル－Ｎ
３０８ モードセレクタ
３１０Ａ デコーダ－１
３１０Ｎ デコーダ－Ｎ
３１２Ａ ブロック分割部
３１２Ｂ ２値化部及びマージ部
３１４Ａ 符号化されたビットストリーム及び補足情報
３１４Ｂ シグナリングビットストリーム
３１６Ａ 入力ポイントクラウド
３１６Ｎ 再構成されたポイントクラウド
３１８ ３Ｄブロックのセット
３１８Ｂ 復号されたブロックのセット
４００ 処理パイプライン
４０２ データ取得段階
４０２Ａ ３Ｄポイントクラウド
４０４ 事前符号化段階
４０６ ボクセル化
４０６Ａ 複数のボクセル
４０８ ブロック分割
４０８Ａ ３Ｄブロックのセット
４１０ 符号化段階
４１２ モード選択
４１２Ａ モード決定情報
４１４ モードベースの符号化
４１６ ３Ｄブロック
４１８ 選択された１又は２以上のモード
４２０ 符号化された３Ｄブロック
５００ 処理パイプライン
５０２ ブロック分割
５０２Ａ ３Ｄブロック
５０４ クラス識別
５０６ モード探索
５０８ モード選択
５１０ モードベースの符号化
５１２ ３Ｄポイントクラウドジオメトリ
５１４ 先験的な特性
５１６ ポイントクラウドクラス
５１８ 動作条件
５２０ テーブル
５２０Ａ モードの第１のサブセット
５２２ 符号化された３Ｄブロック
６００ 処理パイプライン
６０２ ブロック分割
６０２Ａ ３Ｄブロックの第１のサブセット
６０２Ｂ ３Ｄブロックの第２のサブセット
６０４ モード探索
６０６ モード選択
６０８ モードベースの符号化
６１０ ３Ｄポイントクラウドジオメトリ
６１２ モード使用統計
６１４ 符号化された３Ｄブロック
７００ 処理パイプライン
７０２ ブロック分割
７０４ モード選択
７０６ モードベースの符号化
７０８ ３Ｄポイントクラウドジオメトリ
７１０ ３Ｄブロック
７１２Ａ 第１の３Ｄブロック
７１２Ｂ 第２の３Ｄブロック
７１４Ａ 第３の３Ｄブロック
７１４Ｂ 第４の３Ｄブロック
７１６ 符号化された３Ｄブロック
８００Ａ 処理パイプライン
８００Ｂ 処理パイプライン
８０２Ａ ブロック分割
８０２Ｂ ブロック分割
８０４Ａ モード選択
８０４Ｂ モード選択
８０６Ａ モードベースの符号化
８０６Ｂ モードベースの符号化
８０８ ３Ｄポイントクラウドジオメトリ
８１０ ３Ｄブロック
８１２Ａ ポイントクラウドメトリック
８１２Ｂ ポイントクラウドメトリック
８１４Ａ 予測されたモード
８１４Ｂ 予測されたモード
８１６Ａ 符号化された３Ｄブロック
８１６Ｂ 符号化された３Ｄブロック
８１８ ３Ｄブロックのサブセット
９００Ａ 処理パイプライン
９００Ｂ 処理パイプライン
９０２Ａ ブロック分割
９０２Ｂ ブロック分割
９０４Ａ モード選択
９０４Ｂ モード選択
９０６Ａ モードベースの符号化
９０６Ｂ モードベースの符号化
９０８ ３Ｄポイントクラウドジオメトリ
９１０ ３Ｄブロック
９１２Ａ 予測されたモード
９１２Ｂ 予測されたモード
９１４Ａ 符号化された３Ｄブロック
９１４Ｂ 符号化された３Ｄブロック
９１６ ３Ｄブロックのサブセット
１０００ フローチャート
１００２ 開始
１００４ ３次元（３Ｄ）ポイントクラウドジオメトリを受け取る
１００６ ３Ｄポイントクラウドジオメトリを３Ｄブロックのセットに分割
１００８ ３Ｄブロックのセットのうちの３Ｄブロックに対して、モード決定情報を決定し、モード決定情報は、３Ｄポイントクラウドジオメトリと関連付けられるクラス情報、３Ｄポイントクラウドジオメトリの符号化段階と関連付けられる１又は２以上の動作条件、又は３Ｄブロックのセットのうちの１又は２以上の３Ｄブロックと関連付けられるモード関連情報、のうちの少なくとも１つを含む
１０１０ モード決定情報に基づいて、複数のモードから３Ｄブロックに対する１又は２以上のモードを選択し、複数のモードのうちの各モードは、３Ｄブロックを符号化する関数に対応する
１０１２ 選択された１又は２以上のモードに基づいて、３Ｄブロックを符号化
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【国際調査報告】