知財求人 - 知財ポータルサイト「IP Force」
特許7246515点群圧縮のための変換係数のアルファベットパーティションコーディングの方法及び装置並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-16
(45)【発行日】2023-03-27
(54)【発明の名称】点群圧縮のための変換係数のアルファベットパーティションコーディングの方法及び装置並びにプログラム
(51)【国際特許分類】
G06T 9/00 20060101AFI20230317BHJP
H03M 7/40 20060101ALI20230317BHJP
H04N 19/13 20140101ALI20230317BHJP
H04N 19/597 20140101ALI20230317BHJP
【ＦＩ】
G06T9/00 100
H03M7/40
H04N19/13
H04N19/597
【請求項の数】
9
(21)【出願番号】P 2021557680
(86)(22)【出願日】2021-01-07
(65)【公表番号】
(43)【公表日】2022-06-14
(86)【国際出願番号】 US2021012527
(87)【国際公開番号】W WO2021142141
(87)【国際公開日】2021-07-15
【審査請求日】2021-09-27
(31)【優先権主張番号】62/958,839
(32)【優先日】2020-01-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/958,846
(32)【優先日】2020-01-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/110,691
(32)【優先日】2020-12-03
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】イエア，セフーン
(72)【発明者】
【氏名】ウェンジャー，ステファン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特表２０１９－５２１４１７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ９／００－ ９／４０
Ｈ０４Ｎ １９／００－１９／９８
Ｈ０３Ｍ ７／４０－ ７／４４
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサによって実行される、点群係数コーディングの方法であって、点群データに関連する変換係数をセットインデックス値及びシンボルインデックス値に分解するステップであって、前記シンボルインデックス値は変換係数の位置を特定する、ステップと、
分解された前記変換係数を、前記セットインデックス値及び前記シンボルインデックス値に基づいて、１つ以上のセットに区画化するステップと、
区画化された前記変換係数の前記セットインデックス値をエントロピーコーディングするステップと、
区画化された前記変換係数の前記シンボルインデックス値をバイパスコーディングするステップと、
エントロピーコーディングされた前記セットインデックス値及びバイパスコーディングされたシンボルインデックス値に基づいて、前記点群データを圧縮するステップと、
を含む方法。
【請求項2】
前記シンボルインデックス値及び前記セットインデックス値は、シグナリングされており、エンコーダとデコーダとの間で共有されている１つ以上のアルファベットパーティションタイプに基づいて関連する境界値を有するアルファベットパーティションを示す、請求項１記載の方法。
【請求項3】
前記１つ以上のアルファベットパーティションタイプは、前記変換係数に対応する１つ以上の詳細レベル層に使用される、請求項２記載の方法。
【請求項4】
前記１つ以上のアルファベットパーティションタイプは、前記変換係数の量子化に基づく１つ以上の量子化パラメータに使用される、請求項２記載の方法。
【請求項5】
前記１つ以上のアルファベットパーティションタイプは、前記変換係数間の相関に基づく、信号対雑音比スケーラブルコーディングのためにスケーラビリティの異なる層に使用される、請求項２記載の方法。
【請求項6】
前記セットインデックス値は、マルチシンボル算術コーディングによってコーディングされる、請求項１乃至５いずれか１項記載の方法。
【請求項7】
点群係数コーディングのための装置であって、コンピュータプログラムコードを格納するように構成された少なくとも１つのメモリと、
前記少なくとも１つのメモリにアクセスし、前記コンピュータプログラムコードにしたがって動作するように構成された少なくとも１つのプロセッサと、
を備える装置であって、
前記コンピュータプログラムコードは、
請求項１乃至６いずれか１項記載の方法を実行するように構成されている、装置。
【請求項8】
命令を含むコンピュータプログラムであって、前記命令は少なくとも１つのプロセッサに、請求項１乃至６いずれか１項記載の方法を実行させる、ように構成されている、
プログラム。
【請求項9】
少なくとも１つのプロセッサによって実行される、点群係数デコーディングの方法であって、コーディングされた点群係数をデコードするステップを含み、
前記コーディングされた点群係数において：
‐ 点群データに関連する変換係数がセットインデックス値及びシンボルインデックス値に分解されており、前記シンボルインデックス値が変換係数の位置を特定しており；
‐ 分解された前記変換係数が、前記セットインデックス値及び前記シンボルインデックス値に基づいて、１つ以上のセットに区画化されており；
‐ 区画化された前記変換係数の前記セットインデックス値がエントロピーコーディングされており；
‐ 区画化された前記変換係数の前記シンボルインデックス値がバイパスコーディングされており；
‐ エントロピーコーディングされた前記セットインデックス値及びバイパスコーディングされたシンボルインデックス値に基づいて、前記点群データが圧縮されている、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
この出願は、米国特許商標庁に、２０２０年１月９日に出願された米国仮特許出願第６２／９５８，８３９号及び６２／９５８，８４６号、並びに２０２０年１２月３日に出願された米国特許出願第１７／１１０，６９１号に基づく優先権を主張し、
その全体を本明細書に参照援用する。
この出願は、米国特許商標庁に、２０２０年１月９日に出願された米国仮特許出願第６２／９５８，８３９号及び６２／９５８，８４６号、並びに２０２０年１２月３日に出願された米国特許出願第１７／１１０，６９１号に基づく優先権を主張し、
その全体を本明細書に参照援用する。
【背景技術】
【0002】
１．分野
実施形態と一致する方法及び装置は、グラフベースの点群圧縮（Ｇ－ＰＣＣ）、より詳細には、点群係数コーディングのための方法及び装置に関する。
実施形態と一致する方法及び装置は、グラフベースの点群圧縮（Ｇ－ＰＣＣ）、より詳細には、点群係数コーディングのための方法及び装置に関する。
【0003】
２．関連技術の説明
世界の高度な三次元（３Ｄ）表現は、インタラクションとコミュニケーションをより夢中にさせる形態で可能にし、また、機械が我々の世界を理解し、インタープリトし、ナビゲートすることを可能にしている。３Ｄ点群は、かかる情報の可能な表現として出現した。点群データに関連する多くの使用事例が同定され、点群の表現と圧縮に対応する要件が開発された。例えば、点群は、物体の検出及び位置決めのために、自律運転において使用することができる。点群は、地図作成のために地理情報システム（ＧＩＳ）において、文化遺産のオブジェクトやコレクションを視覚化し、アーカイブするために文化遺産においても使用され得る。
世界の高度な三次元（３Ｄ）表現は、インタラクションとコミュニケーションをより夢中にさせる形態で可能にし、また、機械が我々の世界を理解し、インタープリトし、ナビゲートすることを可能にしている。３Ｄ点群は、かかる情報の可能な表現として出現した。点群データに関連する多くの使用事例が同定され、点群の表現と圧縮に対応する要件が開発された。例えば、点群は、物体の検出及び位置決めのために、自律運転において使用することができる。点群は、地図作成のために地理情報システム（ＧＩＳ）において、文化遺産のオブジェクトやコレクションを視覚化し、アーカイブするために文化遺産においても使用され得る。
【0004】
点群とは、３Ｄ空間内の点のセット又は集合（ｓｅｔ）であり、色、材料特性等、それぞれに関連する属性を有する。点群は、オブジェクト又はシーンをかかる複数の点の合成として再構築するために使用されることができる。これらは、様々な設定で複数のカメラ、奥行きセンサー又はライダーセンサーを使用して捕捉されることができ、現実的に再構成されたシーンを表現するために、数千から数十億までの点で構成され得る。
【0005】
圧縮技術は、点群を表すデータ量を減らすために必要とされている。このように、リアルタイム通信と６自由度（６ＤｏＦ）のバーチャルリアリティで使用するために、点群の非可逆圧縮のための技術が必要である。また、自律運転及び文化遺産アプリケーション等の動的マッピングの観点から、可逆的点群圧縮（ｌｏｓｓｌｅｓｓ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）技術が求められている。Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）は、ジオメトリ及び色や反射率などの属性の圧縮、スケーラブル／プログレッシブコーディング、時間の経過とともに捕捉された点群のシーケンスのコーディング、点群のサブセットへのランダムアクセスに対処するための標準の作業を開始した。
【0006】
図１Ａは、Ｇ－ＰＣＣにおける詳細レベル（ＬｏＤ）を生成する方法を示す図である。
【0007】
図１Ａを参照すると、現在のＧ－ＰＣＣ属性コーディングでは、各３Ｄ点（例えば、Ｐ０－Ｐ９）のＬｏＤ （すなわち、グループ）が各３Ｄ点の距離に基づいて生成され、その後、各ＬｏＤにおける３Ｄ点の属性値が、３Ｄ点の元の順序１０５の代わりにＬｏＤに基づく順序１１０で予測を適用することによってエンコードされる。例えば、３Ｄ点Ｐ２の属性値は、３Ｄ点Ｐ２の前にエンコード又はデコードされた３Ｄ点Ｐ０、Ｐ５及びＰ４の距離に基づく重みつき平均値を計算することによって予測される。
【0008】
Ｇ－ＰＣＣにおける電流アンカー方法は以下のように進行する。
【0009】
まず、３Ｄ隣接点の変動性（ｖａｒｉａｂｉｌｉｔｙ ｏｆ ａ ｎｅｉｇｈｂｏｒｈｏｏｄ ｏｆ ａ ３Ｄ ｐｏｉｎｔ ）を計算して、近傍値がどのように異なるかをチェックし、変動性が閾値より低い場合は、距離に基づく重みつき平均の計算は、属性値
を、現在点ｉの最も近い隣接点の距離に基づく線形補間プロセスを用いて予測することによって行われる。
を、現在点ｉのｋの最も近い隣接点の集合とし、
を、デコード／再構成された属性値とし、
を現在点ｉまでの距離とする。
を、現在点ｉのｋの最も近い隣接点の集合とし、
を、デコード／再構成された属性値とし、
【0010】
予測された属性値ａｉは、
によって与えられる。
【数1】
【0011】
属性がコーディングされている場合、すべての点群の幾何学的位置がすでに利用可能であることに留意されたい。さらに、隣接点は、それらの再構成された属性値と共に、ｋ次元ツリー構造としてエンコーダとデコーダの両方で利用可能であり、これは、同一の方法で各点に対する最も近い隣接点の探索を容易にするために使用される。
【0012】
次に、変動性が閾値よりも高い場合には、レート歪み最適化（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚｅｄ：ＲＤＯ）予測子を選択する。複数の予測子候補又は候補予測値が、ＬｏＤを生成する際に隣接点探索の結果に基づいて作成される。例えば、予測を用いて３Ｄ点Ｐ２の属性値をエンコードする場合、３Ｄ点Ｐ２から３Ｄ点Ｐ０、Ｐ５、Ｐ４それぞれまでの距離の重みづけ平均値が、０に等しい予測子インデックスに設定される。その後、３Ｄ点Ｐ２から最も近い隣接点Ｐ４までの距離は、１に等しい予測子インデックスに設定される。さらに、下記表１に示すように、３Ｄ点Ｐ２から次に最も近い隣接点（ｎｅｘｔ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｐｏｉｎｔｓ）Ｐ５及びＰ０までの距離は、それぞれ、２及び３に等しい予測子インデックスに設定される。
【表1】
【0013】
予測子候補を作製した後に、最良の予測子はレート歪み最適化手順を適用することによって選択され、その後、選択された予測子インデックスは短縮単項（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ：ＴＵ）コードにマッピングされ、それのビンは算術的にエンコードされる。表１では、より短いＴＵコードがより小さな予測子インデックスに割り当てられることに留意されたい。
【0014】
予測子候補の最大数（ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｒｅｄｉｃｔｏｒ ｃａｎｄｉｄａｔｅｓ ）ＭａｘＮｕｍＣａｎｄが定義され、属性ヘッダーにエンコードされる。現在の実装では、予測子候補の最大数ＭａｘＮｕｍＣａｎｄは、ｎｕｍｂｅｒＯｆＮｅａｒｅｓｔＮｅｉｇｈｂｏｒｓＩｎＰｒｅｄｉｃｔｉｏｎ＋１に等しく設定され、短縮単項二値化で予測子インデックスをエンコードし、デコードするのに使用される。
【0015】
Ｇ－ＰＣＣにおける属性コーディングのためのリフティング変換は、上述の予測変換のトップに（ｏｎ ｔｏｐ）構築される。予測スキームとリフティングスキームとの間の主な違いは、更新オペレータの導入である。
【0016】
図１Ｂは、Ｇ－ＰＣＣにおけるＰ／Ｕ（予測／更新）リフティングのためのアーキテクチャの図である。リフティングにおける予測と更新のステップを容易にするために、分解（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）の各段階で信号を２高相関の２セットに分割し（ｓｐｌｉｔ）なければならない。Ｇ－ＰＣＣにおけるリフティング方式では、このようなレベル間の高い相関が期待されるＬｏＤ構造を利用して分割が行われ、各レベルを最も近い隣接探索によって構築し、不均一点群を構造化されたデータに編成する。レベルＮでのＰ／Ｕ分解ステップは、詳細信号Ｄ（Ｎ－１）と近似信号Ａ（Ｎ－１）をもたらし、これはさらにＤ（Ｎ－２）とＡ（Ｎ－２）に分解される。このステップは、ベース層近似信号Ａ（１）が得られるまで繰り返し適用される。
【0017】
その結果、ＬＯＤ（Ｎ），．．．，ＬＯＤ（１）からなる入力属性信号自体をコーディングする代わりに、リフティングスキームにおいて、１つの属性信号はＤ（Ｎ－１），Ｄ（Ｎ－２），．．．，Ｄ（１），Ａ（１）をコーディングする。効率的なＰ／Ｕステップの適用は、しばしば、Ｄ（Ｎ－１），．．．，Ｄ（１）における疎なサブバンド「係数」をもたらし、それによって変換符号化利得の利点を提供することに留意されたい。
【0018】
現在、Ｇ‐ＰＣＣにおけるアンカー方法として、リフティングにおける予測ステップに、予測変換のために上述した距離に基づく重みづけ平均予測を使用している。
【0019】
Ｇ‐ＰＣＣにおける属性コーディングの予測及びリフティングにおいて、隣接する属性サンプルの利用可能性は、隣接する属性サンプルが多いほどより良い予測を提供できるので、圧縮効率のために重要である。
予測のために十分な隣接がない場合は、圧縮効率が低下する可能性がある。
予測のために十分な隣接がない場合は、圧縮効率が低下する可能性がある。
【0020】
Ｇ‐ＰＣＣにおける属性コーディングのための別のタイプの変換は、領域適応階層変換（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ：ＲＡＨＴ）であり得る。ＲＡＨＴ及び逆ＲＡＨＴは、ボクセル位置のモートンコードによって定義される階層に関して実行され得る。ｄビット非負整数座標ｘ、ｙ及びｚのモートンコードは、ｘ、ｙ及びｚのビットをインターリーブすることによって得られる３ｄビット非負整数であり得る。非負のｄビット整数座標のモートンコードＭ＝ｍｏｒｔｏｎ（ｘ、ｙ、ｚ）は、
である。ここで、
は、ｌ＝１（高次）からｌ＝ｄ（低次）までのｘ、ｙ及びｚのビットであり得、は、非負の３ｄビット整数であり、
ここで、
は、ｌ’＝１（高次）からｌ’＝３ｄ（低次）までのＭのビットであり得る。
【数2】
【数3】
【0021】
【0022】
シーケンスＡｎ，ｎ＝１，…，Ｎの領域適応ハール変換（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈａａｒ Ｔｒａｎｓｆｏｒｍ）とその逆変換は、基本ケースと再帰関数を含み得る。基本ケースでは、Ａｎはポイントの属性であり得、Ｔｎはその変換であり得、ここでＴｎ＝Ａｎである。再帰関数では、２つの同胞ブロックとそれらの親ブロックがあり得る。（Ａ０１，Ａ０２、…，Ａ０ｗ０）及び（Ａ１１，Ａ１２、…，Ａ１ｗ１）は、モートン順序の昇順でリストされた兄弟ブロック内の点（ｘｎ，ｙｎ，ｚｎ）の属性であり得、（Ｔ０１，Ｔ０２，…，Ｔ０ｗ０）及び（Ｔ１１，Ｔ１２、…，Ｔ１ｗ１）はそれぞれの変換であり得る。同様に、（Ａ１，Ａ２，…，Ａｗ０＋ｗ１）は、モートン順序の昇順でリストされた親ブロック内の全ての点（ｘｎ，ｙｎ，ｚｎ）の属性であり得、（Ｔ１，Ｔ２，…，Ｔｗ０＋ｗ１）はそれぞれの変換であり得る。してみると、
及び
ここで、
【数4】
【数5】
【数6】
【数7】
【0023】
親ブロックの変換は２つの兄弟ブロックの連結とすることができ、ただし、２つの兄弟ブロックの変換の最初の（ＤＣ）成分は、重みつき和と差で置き換えることができ、２つの兄弟ブロックの変換の逆は、親ブロックの変換の最初と最後の部分からコピーすることができ、ただし、２つの兄弟ブロックの変換のＤＣ成分をそれらの重みつき差と和で置き換え得るという例外を伴う（ｗｉｔｈ ｔｈｅ ｅｘｃｅｐｔｉｏｎ）。
及び
【数8】
【数9】
【0024】
変換された属性係数を効率的にコーディングするために、Ｎ個（例えば、３２個）の最も頻度の高い係数シンボル（ｍｏｓｔ ｆｒｅｑｕｅｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｓｙｍｂｏｌｓ）の追跡を維持し得る適応ルックアップテーブル（Ａ－ＬＵＴ）と、最後に観測された異なるＭ個（例えば、１６個）の係数シンボルの追跡を維持し得るキャッシュとが使用され得る。Ａ－ＬＵＴは、ユーザによって提供されるＮ個のシンボルで初期化されるか、又は類似のクラスの点群の統計に基づいてオフラインで計算され得る。キャッシュは、ユーザによって提供されるＭ個のシンボルで初期化されるか、又は類似のクラスの点群の統計に基づいてオフラインで計算され得る。シンボルＳがエンコードされるとき、ＳがＡ－ＬＵＴであるか否かを示すバイナリ情報が符号化され得る。ＳがＡ－ＬＵＴの中にある場合、Ａ－ＬＵＴの中のＳのインデックスは、バイナリ算術エンコーダを使用することによってエンコードされ得る。Ａ－ＬＵＴの中のシンボルＳの出現回数は、１増加し得る。ＳがＡ－ＬＵＴでない場合、Ｓがキャッシュの中にあるかどうかを示すバイナリ情報がエンコードされ得る。Ｓがキャッシュ内にある場合、そのインデックスのバイナリ表現は、バイナリ算術エンコーダを使用してエンコードされ得る。Ｓがキャッシュ内にない場合、Ｓのバイナリ表現は、バイナリ算術エンコーダを使用してエンコードされ得る。シンボルＳをキャッシュに追加し、キャッシュ内の最も古いシンボルを削除し得る。
【発明の概要】
【0025】
一実施形態によれば、点群係数コーディングの方法は、少なくとも１つのプロセッサによって実行される方法であって、点群データ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）に関連する変換係数をセットインデックス値及びシンボルインデックス値に分解するステップであって、シンボルインデックス値は変換係数の位置を特定するステップを含む。分解された変換係数は、セットインデックス値及びシンボルインデックス値に基づいて、１つ以上のセットに区画化（ｐａｒｔｉｔｉｏｎｅｄ）され得る。区画化された変換係数のセットインデックス値はエントロピーコーディングされ、区画化された変換係数のシンボルインデックス値はバイパスコーディングされ得る。点群データは、エントロピーコーディングされたセットインデックス値及びバイパスコーディングされたシンボルインデックス値に基づいて、圧縮され得る。
【0026】
一実施形態によれば、点群係数コーディングのための装置は、コンピュータプログラムコードを格納するように構成された少なくとも１つのメモリと、少なくとも１つのメモリにアクセスし、コンピュータプログラムコードに従って動作するように構成された少なくとも１つのプロセッサと、を備える。コンピュータプログラムは、少なくとも１つのプロセッサに、点群データに関連する変換係数をセットインデックス値及びシンボルインデックス値に分解するステップであって、シンボルインデックス値は変換係数の位置を特定するステップを含み得る方法を実行させるように構成されたコードを含む。分解された変換係数は、セットインデックス値及びシンボルインデックス値に基づいて、１つ以上のセットに区画化され得る。区画化された変換係数のセットインデックス値はエントロピーコーディングされ、区画化された変換係数のシンボルインデックス値はバイパスコーディングされ得る。点群データは、エントロピーコーディングされたセットインデックス値及びバイパスコーディングされたシンボルインデックス値に基づいて、圧縮され得る。
【0027】
一実施形態によれば、命令を格納する非一時的コンピュータ読み出し可能格納媒体であって、命令は少なくとも１つのプロセッサに、点群データに関連する変換係数をセットインデックス値及びシンボルインデックス値に分解させ、シンボルインデックス値は変換係数の位置を特定する。分解された変換係数は、セットインデックス値及びシンボルインデックス値に基づいて、１つ以上のセットに区画化され得る。区画化された変換係数のセットインデックス値はエントロピーコーディングされ、区画化された変換係数のシンボルインデックス値はバイパスコーディングされ得る。点群データは、エントロピーコード化されたセットインデックス値及びバイパスコード化されたシンボルインデックス値に基づいて、圧縮される。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
本明細書に記載される実施形態は、点群係数コーディングのための方法及び装置を提供する。詳細には、リフティング（Ｌｉｆｔｉｎｇ）、予測変換（Ｐｒｅｄｉｃｔｉｎｇ－Ｔｒａｎｓｆｏｒｍ）、及びＲＡＨＴからの変換係数のコーディングは、頻度ソートルックアップテーブルインデックスコーディング、キャッシュインデックスコーディング、及びシンボル値の直接コーディングによって実行され得る。実際には、これらは、１バイトコードワードをカバーするために、多数の（典型的には、３２から、可能であれば、２５６までの）エントリを持つ複数のキャッシュとルックアップテーブルとを必要とし得る。これらのルックアップテーブル及びキャッシュは、さらに定期的な更新を必要とし、その頻度は、計算要件及びコーディング効率の点で異なるトレードオフを意味し得る。したがって、Ｇ－ＰＣＣにおける属性に対する変換係数のコーディングを、アルファベットパーティション及びアルファベットパーティション情報のコーディングを通して、複雑性／メモリ及び圧縮効率のトレードオフの観点から改善することは有利であり得る。
【0030】
図２は、実施形態に係る通信システム２００のブロック図である。通信システム２００は、ネットワーク２５０を介して相互接続された少なくとも２つの端子２１０及び２２０を含み得る。データの一方向伝送のために、第１端末２１０は、ネットワーク２５０を介して第２端末２２０に伝送するために、ローカル位置で点群データをコーディングし得る。第２端子２２０は、ネットワーク２５０から第１端子２１０のコード化された点群データを受信し、コード化された点群データをデコードし、デコードされた点群データを表示し得る。一方向性データ伝送は、メディア提供アプリケーション等において一般的であり得る。
【0031】
図２は、さらに、例えば、ビデオ会議中に発生し得るコード化点群データの双方向伝送をサポートするために提供される端末２３０及び２４０の第２対を示す。データの双方向伝送のために、各端末２３０又は２４０は、ネットワーク２５０を介して他方の端末に伝送するために、ローカル位置で捕捉された点群データをコーディングし得る。各端末２３０又は２４０はまた、他の端末によって送信されたコード化点群データを受信することができ、コード化点群データをデコードすることができ、デコードされた点群データをローカル表示装置に表示することができる。
【0032】
図２において、端末２１０～２４０は、サーバ、パーソナルコンピュータ、スマートフォンとして図示され得るが、実施形態の原理は限定されない。実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器への適用を見出す。ネットワーク２５０は、例えば有線及び／又は無線通信ネットワークの例を含む、端末デバイス２１０～２４０の間でコーディングされた点群データを搬送する任意の数のネットワークを表す。通信ネットワーク２５０は、回線交換及び／又はパケット交換チャネル内のデータを交換することができる。代表的なネットワークには、テレコミュニケーションネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットが含まれる。本説明の目的のためには、以下に説明しない限り、ネットワーク２５０のアーキテクチャ及びトポロジーは本発明の動作には重要ではない。
【0033】
図３は、実施形態による環境におけるＧ－ＰＣＣ圧縮器３０３及びＧ－ＰＣＣ解凍器３１０の配置図である。開示された主題は、例えば、ビデオ会議、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリースティック等を含むデジタルメディアへの圧縮点群データの保存等を含む、他の点群対応アプリケーションに等しく適用することができる。
【0034】
ストリーミングシステム３００は、例えばデジタルカメラのような点群ソース３０１を含むことができ、例えば非圧縮点群データ３０２を生成する捕捉サブシステム３１３を含むことができる。より大きなデータボリュームを有する点群データ３０２は、点群ソース３０１に結合されたＧ－ＰＣＣ圧縮器３０３によって処理することができる。Ｇ－ＰＣＣ圧縮器３０３は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下により詳細に説明されるように、開示された主題の態様を可能にし、又は実施することができる。より低いデータボリュームを有するエンコードされた点群データ３０４は、将来の使用のためにストリーミングサーバ３０５に格納されることができる。１つ以上のストリーミングクライアント３０６及び３０８は、エンコードされた点群データ３０４のコピー３０７及び３０９を検索するためにストリーミングサーバ３０５にアクセスすることができる。クライアント３０６は、Ｇ－ＰＣＣ解凍器３１０を含むことができ、Ｇ－ＰＣＣ解凍器３１０は、エンコードされた点群データの入力コピー３０７をデコードし、ディスプレイ３１２又は他のレンダリングデバイス（図示せず）上でレンダリング可能な出力点群データ３１１を生成する。いくつかのストリーミングシステムでは、エンコードされた点群データ３０４、３０７、及び３０９は、ビデオコーディング／圧縮標準にしたがってエンコードされることができる。これらの標準の例としては、ＭＰＥＧ ｆｏｒ Ｇ－ＰＣＣによって開発されているものがある。
【0035】
図４は、実施形態によるＧ－ＰＣＣ圧縮器の機能ブロック図である。
【0036】
図４に示すように、Ｇ－ＰＣＣ圧縮器３０３は、量子化器４０５と、点除去モジュール４１０と、オクツリーエンコーダ４１５と、属性転送モジュール４２０と、ＬｏＤ発生器４２５と、予測モジュール４３０と、量子化器４３５と、算術コーダ４４０とを含む。
【0037】
量子化器４０５は、入力点群内の点の位置を受信する。位置は（ｘ，ｙ，ｚ）座標とすることができる。量子化器４０５は、例えば、スケーリングアルゴリズム及び／又はシフトアルゴリズムを使用して、受信した位置をさらに量子化する。
【0038】
点除去モジュール４１０は、量子化器４０５から量子化位置を受け取り、受け取った量子化位置から重複位置（ｄｕｐｌｉｃａｔｅ ｐｏｓｉｔｉｏｎｓ）を除去又はフィルタリングする。
【0039】
オクツリーエンコーダ４１５は、点除去モジュール４１０からフィルタリングされた位置を受信し、受信されたフィルタリングされた位置を、オクツリーエンコーディングアルゴリズムを使用して、入力点群を表すオクツリーの占有シンボルにエンコードする。オクツリーに対応する入力点群の境界ボックスは、任意の３Ｄ形状、例えば、立方体であり得る。
【0040】
オクツリーエンコーダ４１５は、さらに、フィルタリングされた位置のエンコードに基づいて、受信されたフィルタリングされた位置を再順序づけする（ｒｅｏｒｄｅｒｓ）。
【0041】
属性転送モジュール４２０は、入力点群内の点の属性を受信する。属性は、例えば、色又はＲＧＢ値及び／又は各点の反射率を含み得る。属性転送モジュール４２０は、さらに、再順序づけされた位置をオクツリーエンコーダ４１５から受信する。
【0042】
属性転送モジュール４２０は、受信された再順序づけされた位置に基づいて、受信された属性をさらに更新する。例えば、属性転送モジュール４２０は、受信された属性に１つ以上の前処理アルゴリズムを実行することができ、前処理アルゴリズムは、例えば、受信された属性の重みづけ及び平均化、ならびに受信された属性からの追加属性の補間を含む。属性転送モジュール４２０は、予測モジュール４３０に更新された属性をさらに転送する。
【0043】
ＬｏＤ発生器４２５は、オクツリーエンコーダ４１５から再順序位置を受け取り、受け取った再順序位置に対応する各点のＬｏＤを得る。各ＬｏＤは点のグループと見なされ、各点の距離に基づいて取得され得る。例えば、図１Ａに示されるように、点Ｐ０、Ｐ５、Ｐ４及びＰ２はＬｏＤ ＬＯＤ０にあり、点Ｐ０、Ｐ５、Ｐ４、Ｐ２、Ｐ１、Ｐ６及びＰ３はＬｏＤ ＬＯＤ１にあり、点Ｐ０、Ｐ５、Ｐ４、Ｐ２、Ｐ１、Ｐ６、Ｐ３、Ｐ９、Ｐ８及びＰ７はＬｏＤ ＬＯＤ２にあり得る。
【0044】
予測モジュール４３０は、属性転送モジュール４２０から転送された属性を受信し、得られた各点のＬｏＤをＬｏＤ発生器４２５から受信する。予測モジュール４３０は、受信した各点の受信したＬｏＤに基づいて、受信した属性に予測アルゴリズムを適用することにより、受信した属性の予測残差（値）をそれぞれ取得する。予測アルゴリズムは、例えば、補間、重みづけ平均計算、最隣接アルゴリズム及びＲＤＯ等の種々の予測アルゴリズムの中の任意のものを含み得る。
【0045】
例えば、図１Ａに示すように、ＬｏＤ ＬＯＤ０に含まれる点Ｐ０、Ｐ５、Ｐ４、及びＰ２の受信された属性のそれぞれの予測残差は、まず、ＬｏＤｓ ＬＯＤ１及びＬＯＤ２にそれぞれ含まれる点Ｐ１、Ｐ６、Ｐ３、Ｐ９、Ｐ８、及びＰ７の受信された属性の予測残差に先立って取得され得る。点Ｐ２の受信された属性の予測残差は、点Ｐ０，Ｐ５，Ｐ４の重みづけ平均に基づいて距離を計算することによって取得され得る。
【0046】
量子化器４３５は、予測モジュール４３０から得られた予測残差を受信し、例えば、スケーリングアルゴリズム及び／又はシフトアルゴリズムを用いて、受信した予測残差を量子化する。
【0047】
算術コーダ４４０は、オクツリーエンコーダ４１５から占有シンボルを受信し、量子化された予測残差を量子化器４３５から受信する。算術コーダ４４０は、圧縮ビットストリームを得るために、受信された占有シンボル及び量子化予測残差に対して算術コーディングを実行する。算術コーディングは、例えば、コンテキスト適応バイナリ算術コーディング等の種々のエントロピー符号化アルゴリズムの中の任意のものを含み得る。
【0048】
図５は、実施形態によるＧ－ＰＣＣ解凍器３１０の機能ブロック図である。
【0049】
図５に示すように、Ｇ－ＰＣＣ解凍器３１０は、算術デコーダ５０５、オクツリーデコーダ５１０、逆量子化器５１５、ＬｏＤ発生器５２０、逆量子化器５２５、及び逆予測モジュール５３０を含む。
【0050】
算術デコーダ５０５は、Ｇ－ＰＣＣ圧縮器３０３から圧縮ビットストリームを受信し、受信した圧縮ビットストリームに対して算術デコーディングを行い、占有シンボル及び量子化予測残差を得る。算術デコーディングは、例えば、コンテキスト適応バイナリ算術デコーディング等の種々のエントロピーデコーディングアルゴリズムの中の任意のものを含んでもよい。
【0051】
オクツリーデコーダ５１０は、算術デコーダ５０５から得られた占有シンボルを受信し、受信した占有シンボルを、オクツリーデコーディングアルゴリズムを用いて量子化位置にデコードする。
【0052】
逆量子化器５１５は、オクツリーデコーダ５１０から量子化位置を受信し、例えば、スケーリングアルゴリズム及び／又はシフトアルゴリズムを用いて、受信した量子化位置を逆量子化し、入力点群内の点の再構成位置を得る。
【0053】
ＬｏＤ発生器５２０は、オクツリーデコーダ５１０から量子化位置を受信し、受信した量子化位置に対応する各点のＬｏＤを取得する。
【0054】
逆量子化器５２５は、得られた量子化予測残差を受信し、例えば、スケーリングアルゴリズム及び／又はシフトアルゴリズムを用いて、受信した量子化予測残差を逆量子化して、再構成された予測残差を得る。
【0055】
逆予測モジュール５３０は、逆量子化器５２５から得られた再構成予測残差を受信し、ＬｏＤ生成器５２０から得られた各点のＬｏＤを受信する。逆予測モジュール５３０は、各点の受信されたＬｏＤに基づく順序で、受信された再構成された予測残差に予測アルゴリズムを適用することによって、受信された再構成された予測残差の再構成された属性をそれぞれ取得する。予測アルゴリズムは、例えば、補間、重みづけ平均計算、最隣接アルゴリズム及びＲＤＯのような種々の予測アルゴリズムの中の任意のものを含み得る。再構成された属性は入力点群内の点のものである。
【0056】
次に、点群係数コーディングの方法と装置について詳細に説明する。このような方法及び装置は、上述のＧ－ＰＣＣ圧縮機３０３、すなわち、予測モジュール４３０に実装することができる。方法及び装置は、Ｇ－ＰＣＣ解凍器３１０、すなわち、逆予測モジュール５３０に実装することもできる。
【0057】
変換係数のアルファベット区画化（Ａｌｐｈａｂｅｔ－Ｐａｒｔｉｔｉｏｎｉｎｇ ｏｆ Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）
【0058】
変換された係数又はそれらの８ビット部分は、ルックアップテーブル（例えば、上述のＡ－ＬＵＴ）を使用することによって、又は２５６シンボルによるバイパスコーディングのいずれかによってエンコードされ得る。８ビット係数値は、セット内の係数値の正確な位置を特定し得るセット内部でシンボルインデックスとセットインデックスとに分解することができる。例えば、インデックス値は、ルックアップテーブル内又はキャッシュ内の位置に対応し得る。２５６個の可能な係数値は、以下の表２に記載されるように、Ｎセットにグループ化され得る。
【表2】
【0059】
１つ以上の実施形態において、オフライントレーニングは、パーティション数（Ｎ）を与えられた係数値のパーティションを設計するために実施されてもよい。アルファベットパーティション境界値は、明示的にシグナリングされ得る。あるいは、エンコーダとデコーダとの間で共有される複数のアルファベットパーティションタイプが与えられたときに、関連する境界値を有する特定のアルファベットパーティションを示すために、インデックスがシグナリングされ得る。パーティションは、より頻度の高いシンボルが、より低いインデックス及びより小さいサイズを有するセットに属するように、また、逆も同様に、つまり、より頻度の低いシンボルが、より高いインデックス及びより大きいサイズを有するセットに属するように、コーディング効率を改善するように設計され得ることが理解されよう。
【0060】
１つ以上の実施形態において、キャッシュ又は周波数ソーティングに基づくＬＵＴが、係数値の頻度を降順に追跡するために使用され得る。アルファベットパーティションを形成する際に、係数値自体の代わりにキャッシュ又はＬＵＴ中のインデックスを使用することによって、より低いセットインデックスが、より頻度の高い係数値に割り当てられ得、逆もまた同様である。このプロセスは、エンコーダ及びデコーダの両方で、オンザフライで実行することができる。
【0061】
アルファベットパーティション情報のコーディング（Ｃｏｄｉｎｇ ｏｆ Ａｌｐｈａｂｅｔ－Ｐａｒｔｉｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）
【0062】
導出されたセットインデックスは、種々の方法でエントロピーコーディングされ得るが、付随するシンボルインデックスは、セット内のシンボル分布が合理的に一様であることが期待され得る場合、単純にバイパスコーディングされ得る。
【0063】
１つ以上の実施形態において、導出されたセットインデックスは、マルチシンボル算術コーディング又は他のタイプのコンテキストベースのバイナリ算術コーディングによってコーディングされる。係数の異なる特性をより良く利用するために、異なるアルファベットパーティションを使用することができる。
【0064】
１つ以上の実施形態では、より高いＬＯＤ層が、リフティング／予測分解の結果としてより小さい係数を有し得るので、異なるアルファベットパーティションを、リフティング／予測係数の異なる詳細レベル（ｌｅｖｅｌ－ｏｆ－ｄｅｔａｉｌ：ＬＯＤ）層に対して使用することができる。
【0065】
１つ以上の実施形態において、異なる量子化パラメータ（ＱＰ）に対して異なるアルファベットパーティションを使用することができる。というのは、より高いＱＰはより小さな量子化係数をもたらし、その逆もまた同様である、つまり、より低いＱＰはより大きな量子化係数をもたらすからである。
【0066】
１つ以上の実施形態において、拡張層（すなわち、再構成された信号をより小さなＱＰレベルに改良するために追加された層）は係数間の相関に関してランダムな性質であり得るか又はノイズが多い場合があるので、異なるアルファベットパーティションは、ＳＮＲ（信号対雑音比）スケーラブルコーディングのための粒度スケーラビリティの異なる層のために使用され得る。
【0067】
１つ以上の実施形態において、ＳＮＲスケーラブルコーディングの場合、異なるアルファベットパーティションが、下位量子化レベル層の対応する位置からの再構成されたサンプルの値又は値の関数に応じて使用され得る。例えば、下位層においてゼロ又は非常に小さな再構成値を有する領域は、反対の傾向を有する領域とは異なる係数特性を有する可能性がある。
【0068】
１つ以上の実施形態において、同じ量子化レベルにおいて、下位ＬＯＤ内の対応する位置からの再構成されたサンプルの値又は値の関数に応じて、異なるアルファベットパーティションを使用することができる。対応する場所からのこれらのサンプルは、ＧＰＣＣのＬＯＤビルでの最隣接検索の結果として利用できる場合があります。これらのサンプルは、Ｇ－ＰＣＣにおける変換技術におけるＬＯＤ毎の（ＬＯＤ－ｂｙ－ＬＯＤ）再構成の結果として、デコーダにおいて利用可能であり得ることが理解され得る。
【0069】
図６は、実施形態による点群係数コーディングの方法６００を示すフローチャートである。いくつかの実施形態では、図６の１つ以上のプロセスブロックは、Ｇ－ＰＣＣ解凍器３１０によって実行されてもよい。いくつかの実施形態では、図６の１つ以上のプロセスブロックは、Ｇ－ＰＣＣ圧縮器３０３等のＧ－ＰＣＣ解凍器３１０から分離された、又は、Ｇ－ＰＣＣ解凍器３１０を含む別の装置又は装置群によって実行され得る。
【0070】
図６を参照すると、第１ブロック６１０において、方法６００は、点群データ（ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ）に関連する変換係数をセットインデックス値及びシンボルインデックス値に分解するステップであって、シンボルインデックス値はセット内の変換係数の位置を特定する、ステップを含む。
【0071】
第２ブロック６２０において、方法６００は、分解された前記変換係数を、セットインデックス値及びシンボルインデックス値に基づいて、１つ以上のセットに区画化するステップを含む。
【0072】
第３ブロック６３０において、方法６００は、区画化された変換係数のセットインデックス値をエントロピーコーディングするステップを含む。
【0073】
第４ブロック６４０において、方法６００は、区画化された変換係数のシンボルインデックス値をバイパスコーディングするステップを含む。
【0074】
第５ブロック６５０において、方法６００は、エントロピーコーディングされたセットインデックス値及びバイパスコーディングされたシンボルインデックス値に基づいて、点群データを圧縮するステップと、を含む。
【0075】
図６は、方法６００のブロック例を示しているが、いくつかの実装においては、方法６００は、図６に示されたものよりも、追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含み得る。
さらに又はあるいは、方法６００のブロックのうちの２つ以上は、並行して実施され得る。
さらに又はあるいは、方法６００のブロックのうちの２つ以上は、並行して実施され得る。
【0076】
さらに、提案された方法は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実施され得る。一実施形態では、１つ以上のプロセッサが、提案された方法の１つ以上を実行するために、非一時的なコンピュータ読取可能媒体に格納されたプログラムを実行する。
【0077】
図７は、実施形態による、点群係数コーディングのための装置７００のブロック図である。
【0078】
図７を参照すると、装置７００は、分解コード７１０と、区画化コード７２０と、エントロピーコーディングコード７３０と、バイパスコーディングコード７４０とを含む。
【0079】
分解コード７１０は、少なくとも１つのプロセッサに、点群データに関連する変換係数を、セットインデックス値及びシンボルインデックス値に分解させるように構成されている。シンボルインデックス値はセット内の変換係数の位置を特定する。
【0080】
区画化コード７２０は、少なくとも１つのプロセッサに、分解された前記変換係数を、セットインデックス値及びシンボルインデックス値に基づいて、１つ以上のセットに区画化させるように構成されている。
【0081】
エントロピーコーディングコード７３０は、少なくとも１つのプロセッサに、区画化された変換係数のセットインデックス値をエントロピーコーディングさせるように構成されている。
【0082】
バイパスコーディングコード７４０は、少なくとも１つのプロセッサに、区画化された前記変換係数の前記シンボルインデックス値をバイパスコーディングさせるように構成されている。
【0083】
圧縮コード７５０は、少なくとも１つのプロセッサに、エントロピーコーディングされたセットインデックス値及びバイパスコーディングされたシンボルインデックス値に基づいて、点群データを圧縮させるように構成されている。
【0084】
図８は、実施形態を実施するのに適したコンピュータシステム８００の図である。
【0085】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様のメカニズムの対象となり得る任意の適切な機械コード又はコンピュータ言語を使用してコーディングされ得、コンピュータ中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）などによって、直接又は解釈、マイクロコード実行などを介して、実行され得る命令を含むコードを生成し得る。
【0086】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、物品のインターネット等を含む種々のタイプのコンピュータ又はその構成要素上で実行されることができる。
【0087】
コンピュータシステム８００について図８に示す構成要素は、本質的に例示的なものであり、実施形態を実装するコンピュータソフトウェアの使用範囲又は機能性に関する制限を示唆することを意図したものではない。また、コンポーネントの構成は、コンピュータシステム８００の実施形態に示されるコンポーネントの任意の１つ又は組み合わせに関するいかなる従属性又は要件も有するものとして解釈されてはならない。
【0088】
コンピュータシステム８００は、特定のヒューマンインタフェース入力デバイスを含んでもよい。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スイッピング、データグローブの動き）、音声入力（例えば、音声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介して、一人又は複数の人間ユーザによる入力に応答し得る。また、ヒューマンインタフェースデバイスは、オーディオ（例えば、音声、音楽、周囲の音声）、画像（例えば、走査画像、静止画像カメラから得られる写真画像）、ビデオ（例えば、２次元ビデオ、立体画像を含む３次元ビデオ）等の、人間による意識的入力に必ずしも直接関係しない特定の媒体を捕捉するために用いられ得る。
【0089】
入力ヒューマンインタフェースデバイスには、次のものが１つ以上含まれ得る（それぞれ１つのみ表されている）：キーボード８０１、マウス８０２、トラックパッド８０３、タッチスクリーン８１０、ジョイスティック８０５、マイクロホン８０６、スキャナ８０７、カメラ８０８。
【0090】
コンピュータシステム８００はまた、特定のヒューマンインタフェース出力デバイスを含み得る。かかるヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通して、１人又は複数の人間ユーザの感覚を刺激し得る。かかるヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン８１０又はジョイスティック８０５による触覚フィードバックであってもよいが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、音響出力デバイス（スピーカー８０９、ヘッドフォン（図示せず）など）、視覚出力デバイス（陰極線管（ＣＲＴ）スクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、プラズマスクリーン、有機発光ダイオード（ＯＬＥＤ）スクリーンを含むスクリーン８１０など、各々がタッチスクリーン入力能力を有する又は有さない、各々が触覚フィードバック能力を有する又は有さないスクリーン（その一部は、２次元の視覚出力又は立体画像出力等の手段を介して３次元以上の視覚出力を出力することができる）、バーチャルリアリティグラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず））、及びプリンタ（図示せず）を含むことができる。グラフィックスアダプタ８５０は、画像を生成し、タッチスクリーン８１０に出力する。
【0091】
コンピュータシステム８００はまた、ＣＤ／ＤＶＤ又は類似の媒体８２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷドライブ８２０を含む光学媒体、親指ドライブ８２２、リムーバブルハードドライブ又はソリッドステートドライブ８２３、テープ及びフロッピーディスク（図示せず）等の従来の磁気媒体、セキュリティドングル（図示せず）等の特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス等の、人間がアクセス可能な記憶装置及びそれらの関連媒体を含むことができる。
【0092】
当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解されたい。
【0093】
コンピュータシステム８００はまた、１つ以上の通信ネットワークへ８５５のインタフェースを含むことができる。通信ネットワーク８５５は、例えば、無線、有線、光であり得る。ネットワーク８５５は、さらに、ローカル、広域、大都市、車両及び工業、リアルタイム、遅延耐性等であり得る。ネットワーク８５５の例としては、イーサネット、無線ＬＡＮ、第３世代（３Ｇ）、第４世代（４Ｇ）、第５世代（５Ｇ）、ロングタームエボリューション（ＬＴＥ）等を含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、地上放送テレビ等を含むＴＶ有線又は無線広域デジタルネットワーク、及び、ＣＡＮＢｕｓを含む産業用及び車両用を含む。ネットワーク８５５は、一般に、特定の汎用データポート又は周辺バス８４９に接続される外部ネットワークインタフェースアダプタ（例えば、コンピュータシステム８００のＵＳＢポート）を必要とし、その他は、一般に、以下に説明するシステムバスに接続されることにより、コンピュータシステム８００のコアに統合される、例えば、ＰＣコンピュータシステムへのイーサネットインタフェース及び／又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェースである。これらのネットワーク８５５のいずれかを使用して、コンピュータシステム８００は、他のエンティティと通信することができる。かかる通信は、単指向性通信、受信のみ（例えば、放送テレビ）通信、単指向性送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）通信、又は、例えばローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの、双方向通信であることができる。特定のプロトコル及びプロトコルスタックは、上述のように、それらのネットワーク８５５及びネットワークインタフェース８５４の各々で使用されることができる。
【0094】
前述のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインタフェース８５４は、コンピュータシステム８００のコア８４０に接続されることができる。
【0095】
コア８４０は、１つ以上の中央処理デバイス（ＣＰＵ）８４１、グラフィックス処理デバイス（ＧＰＵ）８４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）８４３の形態の特殊なプログラマブル処理デバイス、特定のタスクのためのハードウェアアクセラレータ８４４等を含むことができる。これらのデバイスは、読出し専用メモリ（ＲＯＭ）８４５、ランダムアクセスメモリ８４６、内部大容量記憶デバイス、例えば内部非ユーザアクセス可能ハードドライブ、ＳＳＤ等８４７と共に、システムバス８４８を介して接続され得る。いくつかのコンピュータシステムでは、システムバス８４８は、追加のＣＰＵ、ＧＰＵ等による拡張を可能にするために、１つ又は複数の物理プラグの形態でアクセス可能である。周辺デバイスは、コアのシステムバス８４８に直接接続するか、又は周辺バス８４９を介して接続することができる。周辺バスのアーキテクチャは、周辺コンポーネント相互接続（ＰＣＩ）、ＵＳＢ等を含む。
【0096】
ＣＰＵ８４１、ＧＰＵ８４２、ＦＰＧＡ８４）、及びアクセラレータ８４４は、組み合わされて、上述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ８４５又はＲＡＭ８４６に格納されることができる。移行データはＲＡＭ８４６に格納されることもできるが、例えば、内部大容量記憶装置８４７で、永続的なデータは格納されることができる。１つ以上のＣＰＵ８４１、ＧＰＵ８４２、大容量記憶デバイス８４７、ＲＯＭ８４５、ＲＡＭ８４６等と密接に関連付けることができるキャッシュメモリを使用することによって、メモリデバイスのいずれかへの高速記憶及び検索を可能にすることができる。
【0097】
コンピュータ可読媒体は、各種のコンピュータ実施動作（ｃｏｍｐｕｔｅｒ－ｉｍｐｌｅｍｅｎｔｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行するためにその上のコンピュータコードを有することができる。メディアおよびコンピュータコードは実施形態の目的のために特別に設計及び構築されたものであり得、又はそれらは、コンピュータソフトウェア分野の技術を有する者に周知でかつ利用可能な種類のものであり得る。
【0098】
一例として、限定するものではなく、アーキテクチャ、具体的にはコア８４０を有するコンピュータシステム８００は、有形のコンピュータ可読媒体に具現化されたソフトウェアを実行する１つ以上のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）の結果として機能性を提供することができる。かかるコンピュータ可読媒体は、コア－内部大容量記憶デバイス８４７又はＲＯＭ８４５等の一時的でない性質のコア８４０の特定の記憶デバイスと同様に、上述のようにユーザがアクセス可能な大容量記憶デバイスに関連する媒体であってもよい。本開示の様々な実施形態を実装するソフトウェアは、かかるデバイスに記憶され、コア８４０によって実行され得る。コンピュータ読取可能媒体は、特定のニーズに応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア８４０及びその中の具体的にプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ８４６に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスにしたがって、かかるデータ構造を変更することを含む、本明細書に記載された特定のプロセス又は特定の部分を実行させることができる。付加的に又は代替的に、コンピュータシステムは、回路（例えば、アクセラレータ８４４）内に配線された、又は他の方法で具現化されたロジックの結果として、機能性を提供することができ、これは、本明細書に記載される特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアと共に動作することができる。ソフトウェアへの言及は、論理を含み、また、必要に応じて、その逆も可能である。コンピュータ読取り可能媒体への参照は、実行のためのソフトウェアを記憶する（集積回路（ＩＣ）等の）回路、実行のためのロジックを具体化する回路、又は適切な場合にはその両方を含むことができる。実施形態は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。
【0099】
本開示は、いくつかの実施形態を記載してきたが、本開示の範囲に含まれる変更、置換、及び種々の代替等価物がある。したがって、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本開示の原理を具体化し、したがって、本開示の精神及び範囲内にある多くのシステム及び方法を考案することができることが理解されるであろう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
