特表2025-531301 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特表2025-531301メッシュ圧縮のための適応的ジオメトリフィルタリング

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4A
4B
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-09-19

(54)【発明の名称】メッシュ圧縮のための適応的ジオメトリフィルタリング

(51)【国際特許分類】

H04N 19/597 20140101AFI20250911BHJP

G06T 9/00 20060101ALI20250911BHJP

H04N 19/117 20140101ALI20250911BHJP

H04N 19/46 20140101ALI20250911BHJP

【ＦＩ】

H04N19/597

G06T9/00 100

H04N19/117

H04N19/46

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2025516238

(86)(22)【出願日】2023-10-13

(85)【翻訳文提出日】2025-03-18

(86)【国際出願番号】 US2023035090

(87)【国際公開番号】W WO2024081393

(87)【国際公開日】2024-04-18

(31)【優先権主張番号】63/416,382

(32)【優先日】2022-10-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/485,770

(32)【優先日】2023-10-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

【氏名又は名称原語表記】ＴＥＮＣＥＮＴＡＭＥＲＩＣＡＬＬＣ

【住所又は居所原語表記】２７４７ＰａｒｋＢｏｕｌｅｖａｒｄＰａｌｏＡｌｔｏ，Ｃａｌｉｆｏｒｎｉａ９４３０６，ＵＳＡ

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田英毅

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井宏明

(72)【発明者】

【氏名】ジャン，シアン

(72)【発明者】

【氏名】シュ，シャオジョン

(72)【発明者】

【氏名】ホアン，チャオ

(72)【発明者】

【氏名】ティエン，ジュン

(72)【発明者】

【氏名】リウ，シャン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159PP03

5C159PP13

5C159RC11

5C159RC12

5C159TA69

5C159TC35

5C159TD02

5C159TD12

5C159TD16

5C159UA02

5C159UA05

5C159UA11

(57)【要約】

方法及び装置であって、１つまたは複数のプロセッサに、入力メッシュにおける１つよりも多い頂点を決定させ、前記１つよりも多い頂点を１つよりも多い頂点グループにグループ化させるように構成されるコンピュータコードを含む。それぞれのグループにおけるそれぞれの頂点のグループ化は、前記それぞれの頂点のトポロジカル距離に基づいてもよい。実施形態では、前記１つまたは複数のプロセッサはまた、前記１つよりも多い頂点グループに対してフィルタリング係数のセットを決定し、前記１つよりも多い頂点グループ及び前記フィルタリング係数のセットをシグナリングしてもよい。

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサが実行する、メッシュ圧縮のための方法であって、
入力メッシュにおける１つよりも多い頂点を決定するステップであって、前記入力メッシュは、少なくとも１つの３次元（３Ｄ）ビジュアルコンテンツのボリュメトリックデータを表すものである、ステップと、
前記１つよりも多い頂点を１つよりも多い頂点グループにグループ化するステップであって、それぞれのグループにおけるそれぞれの頂点の前記グループ化は、前記それぞれの頂点のトポロジカル距離に基づいている、ステップと、
前記１つよりも多い頂点グループに対してフィルタ係数のセットを決定するステップと、
前記１つよりも多い頂点グループ及び前記フィルタ係数のセットをシグナリングするステップと、を含む方法。

【請求項2】

前記トポロジカル距離に基づいて、前記それぞれの頂点をグループ化するステップは、
前記それぞれの頂点に対して近隣頂点を決定するステップであって、前記近隣頂点は、少なくとも１つのエッジによって前記それぞれの頂点に接続される頂点である、ステップと、
前記それぞれの頂点を、第１のグループにおける頂点がエッジを介して同じ数の頂点に接続されるような前記第１のグループにグループ化するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記それぞれの頂点の前記近隣頂点を決定するステップは、
前記入力メッシュにおけるそれぞれの前記エッジに直接接続される前記近隣頂点を決定するステップ、又は、
前記それぞれの頂点に複数のエッジで接続される前記近隣頂点を決定するステップであって、前記複数のエッジが第１の閾値以下である、ステップ、のうちの１つを含む、請求項２に記載の方法。

【請求項4】

前記フィルタ係数のセットを決定するステップは、
第１の損失関数、及び第１のフィルタ関数に基づいて、前記フィルタ係数のセットを決定するステップを含み、
前記フィルタ係数のセットは、前記１つよりも多い頂点グループのうちの各グループに対する１つ又は複数のフィルタ係数を含み、
前記フィルタ係数のセットにおける各係数は、前記１つよりも多い頂点グループにおける１つ又は複数の頂点に関連付けられている、請求項１に記載の方法。

【請求項5】

前記第１の損失関数は、ポイント・ツー・ポイント損失関数又はポイント・ツー・プレーン損失関数のうちの１つを含み、
前記第１のフィルタ関数は、ラプラシアンフィルタ又はワイナーフィルタのうちの１つを含む、請求項４に記載の方法。

【請求項6】

前記フィルタ係数のセットを決定するステップに続いて、前記方法は、
前記１つよりも多い頂点グループのうちの第１のグループに対する第１のフィルタ係数が歪み閾値よりも高い歪みを有することに基づいて、前記第１のフィルタ係数を無効化するステップをさらに含む、請求項１に記載の方法。

【請求項7】

前記１つよりも多い頂点グループ及び前記フィルタ係数のセットをシグナリングするステップは、
前記１つよりも多い頂点グループのうちの各グループのために、前記それぞれのグループに対するフィルタ係数が有効化されるか否かを示すバイナリフラグをシグナリングするステップと、
前記それぞれのグループに対する前記バイナリフラグが、前記フィルタ係数が有効化されることを示すことに基づいて、前記それぞれのグループに関連付けられた１つ又は複数の係数をシグナリングするステップと、を含む、請求項１に記載の方法。

【請求項8】

前記方法は、
前記１つよりも多い頂点グループにおける各グループに対する前記フィルタ係数のセットを決定するために同じ第１のフィルタ関数が使用されるか否かを示す第２のフラグをシグナリングするステップをさらに含む、請求項７に記載の方法。

【請求項9】

前記方法は、
前記１つよりも多い頂点グループにおける各グループに対する前記フィルタ係数のセットを決定するために同じ第１の損失関数が使用されるか否かを示す第３のフラグをシグナリングするステップをさらに含む、請求項７に記載の方法。

【請求項10】

メッシュ圧縮のための適応的ジオメトリフィルタのための装置であって、
プログラムコードを記憶するように構成される少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって指示される通りに動作するように構成される少なくとも１つのプロセッサと、を備え、
前記プログラムコードは、
前記少なくとも１つのプロセッサに、入力メッシュにおける１つよりも多い頂点を決定させるように構成される第１の決定コードであって、前記入力メッシュは、少なくとも１つの３次元（３Ｄ）ビジュアルコンテンツのボリュメトリックデータを表すものである、第１の決定コードと、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点を１つよりも多い頂点グループにグループ化させるように構成される第１のグループ化コードであって、それぞれのグループにおけるそれぞれの頂点のグループ化は、前記それぞれの頂点のトポロジカル距離に基づいている、第１のグループ化コードと、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点グループに対してフィルタ係数のセットを決定させるように構成される第２の決定コードと、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点グループ及び前記フィルタ係数のセットをシグナリングさせるように構成される第１のシグナリングコードと、を含む、装置。

【請求項11】

前記第１のグループ化コードは、
前記少なくとも１つのプロセッサに、前記それぞれの頂点に対して近隣頂点を決定させるように構成される第３の決定コードであって、前記近隣頂点は、少なくとも１つのエッジによって前記それぞれの頂点に接続される頂点である、第３の決定コードと、
前記少なくとも１つのプロセッサに、前記それぞれの頂点を、第１のグループにおける頂点がエッジを介して同じ数の頂点に接続されるような前記第１のグループにグループ化させるように構成される第２のグループ化コードと、をさらに含む、請求項１０に記載の装置。

【請求項12】

前記第３の決定コードは、
前記少なくとも１つのプロセッサに、前記入力メッシュにおけるそれぞれの前記エッジに直接接続される前記近隣頂点を決定させるように構成される第４の決定コード、又は、
前記少なくとも１つのプロセッサに、前記それぞれの頂点に複数のエッジで接続される前記近隣頂点を決定させるように構成される第５の決定コードであって、前記複数のエッジが第１の閾値以下である、第５の決定コード、のうちの１つをさらに含む、請求項１１に記載の装置。

【請求項13】

前記第２の決定コードは、
前記少なくとも１つのプロセッサに、第１の損失関数及び第１のフィルタ関数に基づいて、前記フィルタ係数のセットを決定させるように構成される第６の決定コードをさらに含み、
前記フィルタ係数のセットは、前記１つよりも多い頂点グループのうちの各グループに対する１つ又は複数のフィルタ係数を含み、
前記フィルタ係数のセットにおける各係数は、前記１つよりも多い頂点グループにおける１つ又は複数の頂点に関連付けられている、請求項１０に記載の装置。

【請求項14】

前記プログラムコードは、
前記フィルタ係数のセットを決定することに続いて、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点グループのうちの第１のグループに対する第１のフィルタ係数が歪み閾値よりも高い歪みを有することに基づいて、前記第１のフィルタ係数を無効化させるように構成される無効化コードをさらに含む、請求項１０に記載の装置。

【請求項15】

前記第１のシグナリングコードは、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点グループのうちの各グループのために、前記それぞれのグループに対するフィルタ係数が有効化されるか否かを示すバイナリフラグをシグナリングさせるように構成される第２のシグナリングコードと、
前記少なくとも１つのプロセッサに、前記それぞれのグループに対する前記バイナリフラグが、前記フィルタ係数が有効化されることを示すことに基づいて、前記それぞれのグループに関連付けられた１つ又は複数の係数をシグナリングさせるように構成される第３のシグナリングコードと、をさらに含む、請求項１０に記載の装置。

【請求項16】

前記プログラムコードは、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点グループにおける各グループに対する前記フィルタ係数のセットを決定するために同じ第１のフィルタ関数が使用されるか否かを示す第２のフラグをシグナリングさせるように構成される第４のシグナリングコードをさらに含む、請求項１０に記載の装置。

【請求項17】

前記プログラムコードは、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点グループにおける各グループに対する前記フィルタ係数のセットを決定するために同じ第１の損失関数が使用されるか否かを示す第３のフラグをシグナリングさせるように構成される第５のシグナリングコードをさらに含む、請求項１５に記載の装置。

【請求項18】

前記プログラムコードは、
前記少なくとも１つのプロセッサに、前記１つよりも多い頂点グループにおける各グループに対する前記フィルタ係数のセットを決定するために同じ第１の損失関数が使用されるか否かを示す第３のフラグをシグナリングさせるように構成される第６のシグナリングコードをさらに含む、請求項１５に記載の装置。

【請求項19】

命令を記憶した非一時的なコンピュータ読取可能な媒体であって、
前記命令は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、
メッシュ圧縮のためのジオメトリフィルタのためのデバイスの１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
入力メッシュにおける１つよりも多い頂点を決定するステップであって、前記入力メッシュは、少なくとも１つの３次元（３Ｄ）ビジュアルコンテンツのボリュメトリックデータを表すものである、ステップと、
前記１つよりも多い頂点を１つよりも多い頂点グループにグループ化するステップであって、それぞれのグループにおけるそれぞれの頂点のグループ化は、前記それぞれの頂点のトポロジカル距離に基づいている、ステップと、
前記１つよりも多い頂点グループに対してフィルタ係数のセットを決定するステップと、
前記１つよりも多い頂点グループ及び前記フィルタ係数のセットをシグナリングするステップと、
を実行させる、非一時的なコンピュータ読取可能な媒体。

【請求項20】

前記トポロジカル距離に基づいて前記それぞれの頂点をグループ化するステップは、
前記それぞれの頂点に対して近隣頂点を決定するステップであって、前記近隣頂点は、少なくとも１つのエッジによって前記それぞれの頂点に接続される頂点である、ステップと、
前記それぞれの頂点を、第１のグループにおける頂点がエッジを介して同じ数の頂点に接続されるような前記第１のグループにグループ化するステップと、を含む、請求項１９に記載の非一時的なコンピュータ読取可能な媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２２年１０月１４日に出願された米国仮出願第６３／４１６，３８２号及び２０２３年１０月１２日に出願された米国出願第１８／４８５，７７０号の優先権を主張し、それらの開示内容は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示の実施形態は、ビデオコーディング及びデコーディングに関する。具体的には、本開示の実施形態は、メッシュ動きベクトルコーディングにおける適応的ジオメトリフィルタリングを含むメッシュのエンコード及びデコードに関する。

【背景技術】

【0003】

世界の高度な３次元（３Ｄ）表現により、さらに没入型の相互作用およびコミュニケーションが可能になっている。３Ｄ表現の臨場感を実現するために、３Ｄモデルは、これまで以上に洗練されてきており、かなりの量のデータがこれらの３Ｄモデルの作成および消費に結び付けられる。３Ｄメッシュが３Ｄモデル没入型コンテンツに広く使用される。

【0004】

３Ｄメッシュは、ボリュメトリックオブジェクトの表面を記述するいくつかのポリゴンで構成され得る。動的メッシュシーケンスは、経時的に変化するかなりの量の情報を有し得るため、大量のデータを必要とする場合がある。したがって、このようなコンテンツを保存及び伝送するには、効率的な圧縮技術が必要となる。

【0005】

メッシュ圧縮規格ＩＣ、ＭＥＳＨＧＲＩＤ、ＦＡＭＣは、常時接続性と、時間変化するジオメトリと頂点属性を持つ動的メッシュに対処するために以前に開発された。しかし、これらの規格は、時間変化する属性マップ及び接続性情報を考慮していない。

【0006】

さらに、特にリアルタイムの制約下で、ボリュメトリック取得技術が常時接続性動的メッシュを生成することも困難である。この種の動的メッシュコンテンツは、既存の規格ではサポートされていない。

【0007】

別の例として、ｇｌＴＦ（GL Transmission Format：ＧＬ伝送フォーマット）は、アプリケーションによる３Ｄシーンとモデルの効率的な伝送とローディングのために、ＫｈｒｏｎｏｓＧｒｏｕｐが開発中の標準である。ｇｌＴＦは、３Ｄアセットのサイズと、解凍に必要なランタイム処理の両方を最小化することを目指している。Google Draco技術を用いたｇｌＴＦ２．０のジオメトリ圧縮エクステンションは、ｇｌＴＦモデルとシーンのサイズを縮小するために開発されている。

【発明の概要】

【課題を解決するための手段】

【0008】

一実施形態によれば、１つ又は複数のプロセッサに、入力メッシュにおける１つよりも多い頂点を決定するステップであって、前記入力メッシュは、少なくとも１つの３次元（３Ｄ）ビジュアルコンテンツのボリュメトリックデータを表すものである、ステップと、前記１つよりも多い頂点を１つよりも多い頂点グループにグループ化するステップであって、それぞれのグループにおけるそれぞれの頂点のグループ化は、前記それぞれの頂点のトポロジカル距離に基づいている、ステップと、前記１つよりも多い頂点グループに対してフィルタリング係数のセットを決定するステップと、前記１つよりも多い頂点グループ及び前記フィルタリング係数のセットをシグナリングするステップと、を実行させるように構成されるコンピュータコードを含む方法及び装置が提供される。

【0009】

一実施形態によれば、１つ又は複数のプロセッサに、メッシュに関連付けられたコード化されたビットストリームを受信するステップであって、前記コード化されたビットストリームは、前記メッシュにおける頂点に関する情報、及び前記頂点に関連付けられたフィルタリング係数を含む、ステップと、前記コード化されたビットストリームから、前記メッシュに含まれる１つよりも多い頂点グループを取得するステップと、前記コード化されたビットストリームから、前記１つよりも多い頂点グループに対するフィルタリング係数のセットを取得するステップと、前記メッシュにおける頂点に関する情報に基づいて、再構成されたメッシュを生成するステップと、前記再構成されたメッシュ、前記１つよりも多い頂点グループ、及び前記１つよりも多い頂点グループに対する前記フィルタリング係数のセットを使用して、精緻化された再構成されたメッシュを生成するステップと、を実行させるように構成されるコンピュータコードを含む方法及び装置が提供される。

【図面の簡単な説明】

【0010】

開示する主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

【図1】本開示の実施形態による通信システムの簡略化されたブロック図の概略図である。

【図2】本開示の実施形態によるストリーミングシステムの簡略化されたブロック図の概略図である。

【図3】本開示の実施形態によるビデオエンコーダ及びビデオデコーダの簡略化されたブロック図の概略図である。

【図4A】本開示の実施形態による、３Ｄメッシュセグメントから２ＤチャートへのＵＶパラメータ化マッピングの例示的な図である。

【図4B】本開示の実施形態による、３Ｄメッシュセグメントから２ＤチャートへのＵＶパラメータ化マッピングの例示的な図である。

【図5】本開示の実施形態による、適応的フィルタリング係数をエンコードするためのプロセスのフローチャートである。

【図6】本開示の実施形態による、シグナリングされた適応的フィルタリング係数を使用して、再構成されたメッシュを生成するためのプロセスのフローチャートである。

【図7】実施形態を実現するのに適したコンピュータシステムの例示的な図である。

【発明を実施するための形態】

【0011】

以下に説明する提案された特徴は、別々に使用してもよいし、任意の順序で組み合わせてもよい。さらに、実施形態は、処理回路（例えば、１つ又は複数のプロセッサあるいは１つ又は複数の集積回路）によって実現してもよい。一例では、１つ又は複数のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されたプログラムを実行する。

【0012】

図１は、本開示の一実施形態による通信システム１００の簡略化されたブロック図を示す。通信システム１００は、ネットワーク１０５を介して相互接続された少なくとも２つの端末１０２及び１０３を含み得る。データの単方向伝送の場合、第１の端末１０３は、ネットワーク１０５を介して他方の端末１０２に伝送するために、ビデオデータをローカル位置でコード化することができる。第２の端末１０２は、ネットワーク１０５から他方の端末のコード化されたビデオデータを受信し、コード化されたデータをデコードし、復元されたビデオデータを表示することができる。単方向のデータ伝送は、メディアサービング用途などにおいて一般的であり得る。

【0013】

図１は、例えばテレビ会議中に発生し得るコード化されたビデオの双方向伝送をサポートするために設けられた第２の端末対１０１及び１０４を示す。データの双方向伝送の場合、各端末１０１及び１０４は、ネットワーク１０５を介して他方の端末に伝送するために、ローカル位置でキャプチャされたビデオデータをコード化することができる。各端末１０１及び１０４はまた、他方の端末によって伝送されたコード化されたビデオデータを受信することができ、コード化されたデータをデコードすることができ、復元されたビデオデータをローカル表示装置に表示することができる。

【0014】

図１において、端末１０１、１０２、１０３及び１０４は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示の原理はそれに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ及び／又は専用のビデオ会議機器の用途を見出す。ネットワーク１０５は、例えば有線及び／又は無線通信ネットワークを含む、端末１０１、１０２、１０３及び１０４間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク１０５は、回線交換及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本議論の目的のために、ネットワーク１０５のアーキテクチャ及びトポロジーは、以下に本明細書で説明されない限り、本開示の操作にとって重要でない場合がある。

【0015】

図２は、開示された主題の用途の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、及びＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションに同様に適用可能である。

【0016】

ストリーミングシステムは、例えば非圧縮のビデオサンプルストリーム２１３を作成する、例えばデジタルカメラなどのビデオソース２０１を含み得るキャプチャサブシステム２０３を含むことができる。そのサンプルストリーム２１３は、エンコードされたビデオビットストリームと比較して高データ量として強調されることができ、例えば上述したカメラであり得る、ビデオソース２０１に結合されたエンコーダ２０２によって処理されることができる。エンコーダ２０２は、以下でより詳細に説明されるように、開示された主題の態様を可能にする又は実現するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。サンプルストリームと比較してより低いデータ量として強調され得る、エンコードされたビデオビットストリーム２０４は、将来の使用のためにストリーミングサーバ２０５に記憶されることができる。１つ又は複数のストリーミングクライアント２１２及び２０７は、ストリーミングサーバ２０５にアクセスして、エンコードされたビデオビットストリーム２０４のコピー２０８及び２０６を検索することができる。クライアント２１２は、エンコードされたビデオビットストリーム２０８の入方向コピーをデコードし、ディスプレイ２０９又は別のレンダリングデバイス（図示せず）でレンダリングされ得る出方向ビデオサンプルストリーム２１０を作成するビデオデコーダ２１１を含むことができる。一部のストリーミングシステムにおいて、ビデオビットストリーム２０４、２０６及び２０８は、特定のビデオコーディング／圧縮規格に従ってエンコードされることができる。それらの規格の例は前述の通りであり、本明細書でさらに説明される。

【0017】

以下にさらに説明される例示的な実施形態によれば、「メッシュ」という用語は、ボリュメトリックオブジェクトの表面を記述する１つ又は複数のポリゴンの構成を示す。各ポリゴンは、３Ｄ空間内のその頂点と、接続性情報と呼ばれる、頂点がどのように接続されているかの情報とによって定義される。任意選択で、色、法線などの頂点属性がメッシュ頂点に関連付けられることができる。属性はまた、２Ｄ属性マップでメッシュをパラメータ化するマッピング情報を利用することで、メッシュの表面に関連付けられることもできる。このようなマッピングは、メッシュ頂点に関連付けられたＵＶ座標又はテクスチャ座標と呼ばれるパラメトリック座標のセットによって記述されてもよい。２Ｄ属性マップは、テクスチャ、法線、変位などの高解像度の属性情報を記憶するために使用される。そのような情報は、例示的な実施形態によれば、テクスチャマッピング及びシェーディングなどの様々な目的に使用されることができる。

【0018】

それにもかかわらず、動的メッシュシーケンスは、経時的に変化するかなりの量の情報から構成され得るため、大量のデータを必要とする可能性がある。例えば、メッシュの情報があるフレームから別のフレームへと変化しない「静的メッシュ」又は「静的メッシュシーケンス」とは対照的に、「動的メッシュ」又は「動的メッシュシーケンス」は、そのメッシュによって表される頂点のものがあるフレームから別のフレームへと変化する動きを示す。したがって、このようなコンテンツを記憶及び伝送するためには、効率的な圧縮技術が必要となる。メッシュ圧縮規格ＩＣ、ＭＥＳＨＧＲＩＤ、ＦＡＭＣは、常時接続性と、時間変化するジオメトリと頂点属性を持つ動的メッシュに対処するために、ＭＰＥＧによって以前に開発された。しかし、これらの規格は、時変属性マップと接続性情報を考慮していない。ＤＣＣ（デジタルコンテンツ制作）ツールは通常、このような動的メッシュを生成する。これと相反して、ボリュメトリック取得技術にとって、特にリアルタイムの制約下で、常時接続性の動的メッシュを生成することが課題となる。この種のコンテンツは、既存の規格ではサポートされていない。本明細書における例示的な実施形態によれば、時間変化する接続性情報を持っており、任意選択で、時間変化する属性マップを持っていてもよい動的メッシュを直接取り扱うための新しいメッシュ圧縮規格の態様が記載され、この規格は、リアルタイム通信、ストレージ、自由視点ビデオ、ＡＲ及びＶＲなどの様々な用途のための非可逆圧縮及び可逆圧縮を狙いとする。ランダムアクセス及びスケーラブル／プログレッシブコーディングなどの機能性も考慮される。

【0019】

図３は、２Ｄアトラスサンプリングベースの方法などの１つの動的メッシュ圧縮の例示的なフレームワーク３００を表す。入力メッシュ３０１の各フレームを、例えば、トラッキング、再メッシュ化、パラメータ化、ボクセル化などの一連の操作によって前処理することができる。なお、これらの操作は、エンコーダのみであることができ、これは、デコードプロセスの一部ではない可能性があることを意味し、そのような可能性は、エンコーダのみの場合は０を示し、その他の場合は１を示すようなフラグによって、メタデータにおいてシグナリングされ得る。その後、２ＤＵＶアトラス３０２を持つメッシュを得ることができ、メッシュの各頂点は、２Ｄアトラス上の１つ又は複数の関連付けられたＵＶ座標を有する。次に、メッシュを、２Ｄアトラス上でサンプリングすることによって、ジオメトリマップ及び属性マップを含む複数のマップに変換することができる。次に、これらの２Ｄマップを、ＨＥＶＣ、ＶＶＣ、ＡＶ１、ＡＶＳ３などのビデオ／画像コーデックによってコード化することができる。デコーダ３０３側では、デコードされた２Ｄマップからメッシュを再構成することができる。再構成されたメッシュ３０４には、任意の後処理及びフィルタリングを適用することもできる。なお、３Ｄメッシュ再構成の目的で、他のメタデータをデコーダ側にシグナリングしてもよい。なお、境界頂点のｕｖ座標及びｘｙｚ座標を含むチャート境界情報を、ビットストリーム内で予測、量子化、及びエントロピーコーディングすることができる。量子化ステップサイズを、品質とビットレートとの間のトレードオフのためにエンコーダ側で設定することができる。

【0020】

いくつかの実現形態では、３Ｄメッシュをいくつかのセグメント（又はパッチ／チャート）にパーティション化することができ、例示的な実施形態によれば、１つ又は複数の３Ｄメッシュセグメントは、「３Ｄメッシュ」と見なされる場合がある。各セグメントは、ジオメトリ、属性、及び接続性情報に関連付けられた、接続された頂点のセットで構成される。図４Ａのボリュメトリックオデータの例４００に示すように、３Ｄメッシュセグメントから２Ｄチャートへ、例えば上述の２ＤＵＶアトラス３０２ブロックへマッピングするＵＶパラメータ化プロセス４０２は、１つ又は複数のメッシュセグメント４０１を２ＤＵＶアトラス４０４における２Ｄチャート４０３にマッピングする。メッシュセグメントにおける各頂点（ｖ_ｎ）には、２ＤＵＶアトラスにおける２ＤＵＶ座標が割り当てられてもよい。なお、２Ｄチャートにおける頂点（ｖ_ｎ）は、それらの３Ｄ対応物として連結成分を形成する。各頂点のジオメトリ、属性、及び接続性情報は、同様にそれらの３Ｄ対応物から継承されることができる。例えば、頂点ｖ_４が頂点ｖ_０，ｖ_５，ｖ_１，ｖ_３に直接接続しているという情報を示してもよく、他の各頂点の情報も同様に示してもよい。さらに、このような２Ｄテクスチャメッシュは、例示的な実施形態によれば、各三角形のパッチ、例えば、１つの「パッチ」としてのｖ_２，ｖ_５，ｖ_３によって、パッチ単位で、色情報などの情報をさらに示すことになる。

【0021】

例えば、図４Ａの例４００の特徴については、３Ｄメッシュセグメント４５１が複数の別々の２Ｄチャート４５１及び４５２にマッピングされることもできる図４Ｂの例４５０を参照されたい。この場合、３Ｄの頂点は、２ＤＵＶアトラスにおける複数の頂点に対応し得る。図４Ｂに示すように、同じ３Ｄメッシュセグメントは、２ＤＵＶアトラスにおいて、図４Ａのような単一のチャートではなく、複数の２Ｄチャートにマッピングされる。例えば、３Ｄ頂点ｖ_１及びｖ_４には、それぞれ、ｖ_１、ｖ_１'及びｖ_４、ｖ_４'という２つの２Ｄ対応関係がある。このように、３Ｄメッシュの一般的な２ＤＵＶアトラスは、複数のチャートから構成されてもよく、各チャートは、それらの３Ｄジオメトリ、属性、及び接続性情報に関連付けられた複数（通常は３つ以上）の頂点を含み得る。

【0022】

図４Ｂは、境界頂点Ｂ_０、Ｂ_１、Ｂ_２、Ｂ_３、Ｂ_４、Ｂ_５、Ｂ_６、Ｂ_７を持つチャートにおける導出された三角測量を示す例４５３を示す。このような情報が提示された場合、任意の三角測量法を適用して、頂点（境界頂点及びサンプリングされた頂点を含む）間の接続性を作成することができる。例えば、各頂点について、最も近い２つの頂点を見つける。あるいは、すべての頂点について、設定された回数の試行後に最小の三角形数が達成されるまで、連続的に三角形を生成する。例４５３に示すように、様々な規則的な形状の繰り返し三角形と、一般に境界頂点に最も近く、他の三角形のいずれとも共有されてもよいし共有されなくてもよいそれぞれ固有の寸法を有する様々な異形の三角形がある。接続性情報は、明示的なシグナリングによって再構成することもできる。ポリゴンが暗黙的な規則によって復元できない場合、エンコーダは、例示的な実施形態によれば、接続性情報をビットストリーム内でシグナリングすることができる。

【0023】

境界頂点Ｂ_０、Ｂ_１、Ｂ_２、Ｂ_３、Ｂ_４、Ｂ_５、Ｂ_６、Ｂ_７は、２ＤＵＶ空間で定義される。境界エッジは、そのエッジが１つの三角形にのみ現れるか否かをチェックすることによって決定されることができる。例示的な実施形態によれば、境界頂点の以下の情報は重要であり、ビットストリーム内でシグナリングされるべきであり、すなわち、ジオメトリ情報、例えば、３ＤＸＹＺ座標（現在は２ＤＵＶパラメトリック形式であるにもかかわらず）及び２ＤＵＶ座標である。

【0024】

図４Ｂに示すような、３Ｄの境界頂点が２ＤＵＶアトラスにおける複数の頂点に対応する場合、３ＤＸＹＺから２ＤＵＶへのマッピングは、１対複数とすることができる。したがって、ＵＶ対ＸＹＺ（又はＵＶ２ＸＹＺと呼ばれる）インデックスを、マッピング関数を示すためにシグナリングすることができる。ＵＶ２ＸＹＺは、各２ＤＵＶ頂点を３ＤＸＹＺ頂点に対応させるインデックスの１Ｄ配列であってもよい。

【0025】

上述のように、動的メッシュシーケンスは、経時的に変化するかなりの量の情報から構成され得るため、大量のデータを必要とする可能性がある。関連技術で使用されるサンプリングベースの方法は、再構成されたメッシュジオメトリに、視覚的品質を低下させ得るいくつかのアーチファクトを導入する可能性がある。したがって、このようなアーチファクトを低減し、再構成されたメッシュの品質を向上させる効率的なアルゴリズムを開発する必要がある。

【0026】

本開示の実施形態は、別々に使用してもよいし、任意の順序で組み合わせてもよい。さらに、方法（又は実施形態）、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ又は複数のプロセッサ、あるいは、１つ又は複数の集積回路）によって実現してもよい。一例では、１つ又は複数のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されたプログラムを実行する。

【0027】

本開示の実施形態は、メッシュ圧縮における再構成されたジオメトリのフィルタリングのための多数の方法に関する。当業者であれば、本明細書で開示される方法は、個別に適用されてもよいし、任意の形態の組み合わせによって適用されてもよいことを知ることができる。なお、本方法は、メッシュのフレームが１つしかない、又はメッシュコンテンツが経時的に変化しない静的メッシュに適用されることができる。

【0028】

本明細書で開示される適応的ジオメトリフィルタリングの利点は、フィルタリング係数のセットをシグナリングすることによって、再構成されたメッシュの品質を向上させることである。フィルタリング係数を、再構成されたメッシュ及び対応する参照メッシュに基づいて、エンコーダ側でトレーニングすることができ、フィルタリング係数の各セットは、類似する頂点のグループでトレーニングされ得る。その後、フィルタリング係数を各頂点及びその近隣頂点に適用することができる。

【0029】

【0030】

最初のステップとして、頂点をグループに分類することができる。

【0031】

【0032】

【0033】

【0034】

【0035】

したがって、一実施形態によれば、適応的ジオメトリフィルタリングは、入力メッシュにおける１つよりも多い頂点を決定することと、１つよりも多い頂点を１つよりも多い頂点グループにグループ化することと、を含み得る。次に、１つよりも多い頂点グループに対してフィルタリング係数のセットを決定することができる。次に、１つよりも多い頂点グループ及びフィルタリング係数のセットをエンコードし、シグナリングすることができる。いくつかの実施形態では、それらを同じビットストリーム内でエンコードしてもよい。いくつかの実施形態では、フィルタリング係数のセットをエンコードし、メタデータとしてシグナリングしてもよい。

【0036】

本開示の実施形態によれば、適応的ジオメトリフィルタリングを、次のようにエンコーダ側で適用することができる。

【0037】

エンコーダと全く同じ方法を使用して、頂点をグループに分類することができる。いくつかの実施形態では、グループ化の方法は、エンコーダとデコーダによって合意される。いくつかの実施形態では、合意された方法は、それぞれの頂点のトポロジカル距離に基づいて、それぞれの頂点をそれぞれのグループにグループ化することを含み得る。

【0038】

次に、ｉ番目の頂点グループについて、フィルタ係数をビットストリームからデコードし、エンコーダと同じ方法で逆量子化することができる。

【0039】

【0040】

したがって、一実施形態によれば、デコーダで適用される適応的ジオメトリフィルタリングは、メッシュに関連付けられたコード化されたビットストリームを受信することであって、コード化されたビットストリームは、メッシュにおける頂点に関する情報、及び頂点に関連付けられたフィルタリング係数を含む、ことと、コード化されたビットストリームから、メッシュに含まれる１つよりも多い頂点グループ、及び１つよりも多い頂点グループに対するフィルタリング係数のセットを取得することと、を含み得る。次に、メッシュにおける頂点に関する情報に基づいて、再構成されたメッシュを構成することができ、再構成されたメッシュは、１つよりも多い頂点グループ及び１つよりも多い頂点グループに対するフィルタリング係数のセットを使用して精緻化され得る。

【0041】

頂点のグループ化

【0042】

頂点のグループ化は、デコーダ側で同じプロセスを行うことができる限り、様々な特性に基づいて、再構成されたメッシュの頂点をグループに分類することができる。

【0043】

一実施形態では、再構成されたメッシュのトポロジーに基づいて、頂点を領域にグループ化してもよく、各頂点グループは、エッジを介して接続される頂点の数がほぼ同じである。いくつかの実施形態では、グループ化のために、メトリック空間における２つのグラフ又は点の間の構造的距離を測定するトポロジカル距離、例えば、２つの点の間のエッジの数、又はユークリッド距離を使用することができる。

【0044】

同じ又は別の実施形態では、再構成されたメッシュから導出できる様々な特性に基づいて、頂点をグループ化してもよい。これらの特性は、頂点の曲率、頂点の法線方向、頂点の詳細レイヤーのレベルなどを含んでもよいが、これらに限定されるものではない。

【0045】

頂点の隣接

【0046】

【0047】

【0048】

【0049】

フィルタ及び係数の導出

【0050】

【0051】

実施形態によれば、フィルタ係数及び最小化すべき誤差関数を定義するために、複数の異なる方法を使用することができる。

【0052】

ポイント・ツー・ポイント（Point-to-Point）損失関数を備えた適応的ラプラシアンフィルタ

【0053】

【0054】

【数1】

【0055】

【0056】

【0057】

【数2】

【0058】

上記式は、例えば、最小二乗法などの適切な方法によって解くことができる。

【0059】

ポイント・ツー・プレーン（Point-to-Plane）損失関数を備えた適応的ラプラシアンフィルタ

【0060】

同じ又は別の実施形態では、最後の実施形態と同じ適応的ラプラシアンフィルタを適用してもよいが、フィルタ係数を、最小ポイント・ツー・プレーン誤差関数で最適化する。

【0061】

【数3】

【0062】

【0063】

ポイント・ツー・ポイント（Point-to-Point）損失関数を備えた適応的ウィーナーフィルタ

【0064】

同じ又は別の実施形態では、適応的ウィーナーフィルタを次のように適用することができる。

【0065】

【数4】

【0066】

【0067】

【数5】

【0068】

上記式は、例えば、最小二乗法などの適切な方法によって解くこともできる。

【0069】

ポイント・ツー・プレーン（Point-to-Plane）損失関数を備えた適応的ウィーナーフィルタ

【0070】

同じ又は別の実施形態では、最後の実施形態と同じ適応的ウィーナーフィルタを適用してもよいが、フィルタ係数を、最小ポイント・ツー・プレーン誤差関数で最適化してもよい。

【0071】

【数6】

【0072】

【0073】

したがって、本明細書で開示されるように、エンコーダは、フィルタ関数と損失関数の任意の組み合わせを使用してもよい。実施形態では、エンコーダとデコーダは、どのフィルタ関数とどの損失関数を使用するかについて合意してもよい。実施形態では、エンコーダは、すべてのグループが同じフィルタ関数、同じ損失関数、異なるフィルタ関数、又は異なる損失関数を使用するか否かを示すフラグをシグナリングしてもよい。異なるフィルタ関数又は損失関数がグループによって使用され得る場合、エンコーダは、グループごとにフィルタ関数及び／又は損失関数を示す追加のフラグ又は情報をシグナリングしてもよい。いくつかの実施形態では、このシグナリングは、頂点グループのシグナリングに完全に先行するが、いくつかの実施形態では、このシグナリングはそれぞれの頂点グループに先行する。

【0074】

フィルタ係数の最適化

【0075】

フィルタ係数を、推定されたレート歪み性能に基づいて、エンコード前に微調整することができる。歪み項（Ｄ）は、本明細書で説明されるように、ポイント・ツー・ポイント損失関数又はポイント・ツー・プレーン損失関数のいずれかによって推定してもよい。レート項（Ｒ）は、係数の分布から推定することができる。

【0076】

一実施形態では、歪み項が閾値よりも大きい場合、フィルタを、ｉ番目の頂点グループに対して無効化してもよく、ここで、閾値は、フィルタ係数の量子化ステップサイズの関数であり得る。

【0077】

【0078】

フィルタ係数のコーディング

【0079】

量子化され最適化されたフィルタ係数を、その後、ビットストリーム内で様々な方法でエントロピーコーディングすることができる。

【0080】

一実施形態では、最初に、１つのバイナリフラグを、フィルタがｉ番目のグループに適用されるか否かを示すようにコード化する。フラグが真である場合、次に係数をコード化する。そうでない場合、係数をコード化しない。このバイナリフラグを、算術コーディングでコンテクストの有無にかかわらずコード化することができる。

【0081】

各係数値について、固定長コーディング又はExp-Golombコーディングなどによってコード化することができる。

【0082】

一実施形態では、係数値を以下のようにコード化することができる。１つのバイナリフラグを、値が０に等しいか否かを示すようにコード化する。このフラグが偽である場合、次に、別のバイナリフラグを、値が１に等しいか否かを示すようにコード化する。このフラグも偽である場合、次に、その値から２を引いたものを、Exp-Golombコーディングによってコード化する。

【0083】

いくつかの実施形態では、係数の一部を、エンコード前に他の係数から予測することができる。例えば、適応的ウィーナーフィルタが適用される場合、第１の係数を、他の係数から予測することができる。

【0084】

図５は、本開示の実施形態による、メッシュ圧縮を示すプロセス５００のフローチャートである。

【0085】

動作５０５では、入力メッシュにおける１つよりも多い頂点を決定することができる。入力メッシュは、少なくとも１つの３次元（３Ｄ）ビジュアルコンテンツのボリュメトリックデータを表してもよい。

【0086】

動作５１０では、１つよりも多い頂点を１つよりも多い頂点グループにグループ化することができる。実施形態では、それぞれのグループにおけるそれぞれの頂点のグループ化は、それぞれの頂点のトポロジカル距離に基づいてもよい。

【0087】

実施形態では、トポロジカル距離に基づいてそれぞれの頂点をグループ化することは、それぞれの頂点に対して近隣頂点を決定することであって、近隣頂点は、少なくとも１つのエッジによってそれぞれの頂点に接続される頂点である、ことと、それぞれの頂点を、第１のグループにおける頂点がエッジを介して同じ数の頂点に接続されるような第１のグループにグループ化することと、を含んでもよい。

【0088】

実施形態では、それぞれの頂点の近隣頂点を決定することは、入力メッシュにおけるそれぞれのエッジに直接接続される近隣頂点を決定すること、又は、それぞれの頂点に複数のエッジで接続される近隣頂点を決定することであって、複数のエッジが第１の閾値以下である、こと、のうちの１つ又は複数を含んでもよい。

【0089】

動作５１５では、１つよりも多い頂点グループに対して、フィルタリング係数のセットを決定することができる。

【0090】

実施形態では、フィルタリング係数のセットを決定することは、第１の損失関数及び第１のフィルタ関数に基づいて、フィルタリング係数のセットを決定することを含んでもよく、フィルタリング係数のセットは、１つよりも多い頂点グループのうちの各グループに対する１つ又は複数のフィルタ係数を含む。

【0091】

実施形態では、第１の損失関数は、ポイント・ツー・ポイント損失関数又はポイント・ツー・プレーン損失関数のうちの１つを含んでもよい。同じ又は異なる実施形態では、第１のフィルタ関数は、ラプラシアンフィルタ又はワイナーフィルタのうちの１つを含んでもよい。

【0092】

いくつかの実施形態では、フィルタ係数のセットを決定することに続いて、プロセス５００は、第１のフィルタ係数が歪み閾値よりも高い歪みを有することに基づいて、１つよりも多い頂点グループのうちの第１のグループに対する第１のフィルタ係数を無効化することを含んでもよい。

【0093】

動作５２０では、１つよりも多い頂点グループ及びフィルタリング係数のセットをシグナリングすることができる。

【0094】

いくつかの実施形態では、動作５２０は、１つよりも多い頂点グループのうちの各グループのために、それぞれのグループに対するフィルタ係数が有効化されるか否かを示すバイナリフラグをシグナリングすることと、それぞれのグループに対するバイナリフラグが、フィルタ係数が有効化されることを示すことに基づいて、それぞれのグループに関連付けられた１つ又は複数の係数をシグナリングすることと、を含んでもよい。動作５２０はまた、１つよりも多い頂点グループにおける各グループに対するフィルタ係数のセットを決定するために同じ第１のフィルタ関数が使用されるか否かを示す第２のフラグをシグナリングすることを含んでもよい。いくつかの実施形態では、動作５２０はまた、１つよりも多い頂点グループにおける各グループに対するフィルタ係数のセットを決定するために同じ第１の損失関数が使用されるか否かを示す第３のフラグをシグナリングすることを含んでもよい。

【0095】

図６は、本開示の実施形態による、メッシュの再構成を示すプロセス６００のフローチャートである。

【0096】

動作６０５では、メッシュに関連付けられたコード化されたビットストリームを受信することができる。コード化されたビットストリームは、メッシュにおける頂点に関する情報、及び頂点に関連付けられたフィルタリング係数を含み得る。動作６１０では、コード化されたビットストリームから、メッシュに含まれる１つよりも多い頂点グループを取得することができる。動作６１５では、コード化されたビットストリームから、１つよりも多い頂点グループに対するフィルタリング係数のセットを取得することができる。動作６２０では、メッシュにおける頂点に関する情報に基づいて、再構成されたメッシュを生成することができる。実施形態では、再構成されたメッシュをさらに精緻化してもよく、動作６２５では、再構成されたメッシュ、１つよりも多い頂点グループ、及び１つよりも多い頂点グループに対するフィルタリング係数のセットを使用して、精緻化された再構成されたメッシュを構成することができる。

【0097】

提案された方法は、別々に使用してもよいし、任意の順序で組み合わせてもよい。様々な実施形態の実演のために三角形メッシュのみが使用されたとしても、提案された方法は、任意のポリゴンメッシュに使用することができる。上述したように、入力メッシュは１つ又は複数のインスタンスを含んでもよいこと、サブメッシュは１つのインスタンス又は複数のインスタンスを持つ入力メッシュの一部であること、及び複数のインスタンスをグループ化してサブメッシュを形成することができることを仮定する。

【0098】

上述の技術は、コンピュータ読取可能な命令を用いてコンピュータソフトウェアとして実現され、１つ又は複数のコンピュータ読取可能な媒体に物理的に記憶されるか、又は、特別に構成された１つ又は複数のハードウェアプロセッサによって実現されることができる。例えば、図７は、本開示の特定の実施形態を実現するのに適したコンピュータシステム７００を示す。

【0099】

コンピュータソフトウェアは、コンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）などにより、直接、または解釈、マイクロコード実行などを介して実行され得る命令を含むコードを作成するために、アセンブル、コンパイル、リンク、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコード化され得る。

【0100】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々な種類のコンピュータ又はそのコンポーネント上で実行されることができる。

【0101】

図７に示されるコンピュータシステム７００のコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲又は機能性に関するいかなる制限も示唆することが意図されていない。コンポーネントの構成は、コンピュータシステム７００の例示的な実施形態に示されているコンポーネントのいずれか又は組み合わせに関連する任意の依存性又は要件を有すると解釈されるべきではない。

【0102】

コンピュータシステム７００は、特定のヒューマンインタフェース入力デバイスを含んでもよい。そのようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動きなど）や、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャーなど）、嗅覚入力（図示せず）を介して、1人または複数の人間のユーザによる入力に応答することができる。ヒューマンインタフェースデバイスは、例えばオーディオ（例えば、音声、音楽、環境音など）、画像（例えば、スキャン画像、静止画カメラから得られた写真画像など）、ビデオ（例えば、２次元ビデオ、立体映像を含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。

【0103】

入力ヒューマンインタフェースデバイスは、キーボード７０１、マウス７０２、トラックパッド７０３、タッチスクリーン７１０、ジョイスティック７０５、マイク７０６、スキャナ７０８、及びカメラ７０７のうちの１つ又は複数（それぞれの1つのみを図示）を含んでもよい。

【0104】

コンピュータシステム７００はまた、特定のヒューマンインタフェース出力デバイスを含むことができる。そのようなヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚によって、1人または複数の人間のユーザの感覚を刺激することができる。このようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン７１０、又はジョイスティック７０５による触覚フィードバックであるが、入力デバイスとして作用しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカ７０９、ヘッドホン（図示せず））、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン７１０（各々は、タッチスクリーン入力機能を備えてもよく、あるいは備えていなくてもよく、各々は、触覚フィードバック機能を備えてもよく、あるいは備えていなくてもよく、これらのいくつかは、ステレオグラフィック出力などの手段によって、２次元の視覚出力又は３次元以上の出力を出力することができる）、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず））、およびプリンタ（図示せず）を含んでもよい。

【0105】

コンピュータシステム７００はまた、例えばＣＤ／ＤＶＤ７１１付きのＣＤ／ＤＶＤＲＯＭ／ＲＷ７２０又は類似の媒体を含む光学媒体、サムドライブ７２２、リムーバブルハードドライブ又はソリッドステートドライブ７２３、例えばテープ及びフロッピーディスク等のレガシー磁気媒体（図示せず）、例えばセキュリティドングル等の専用ＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス（図示せず）など、人間がアクセス可能な記憶デバイス及びそれらの関連媒体を含むことも可能である。

【0106】

当業者は、現在開示されている主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことも理解すべきである。

【0107】

コンピュータシステム７００はまた、１つ又は複数の通信ネットワーク７９８へのインタフェース７９９を含むことができる。ネットワーク７９８は、例えば、無線、有線、光学的であってもよい。ネットワーク７９８はさらに、ローカルネットワーク、広域ネットワーク、大都市圏ネットワーク、車両用ネットワークおよび産業用ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワーク７９８の例は、イーサネット、無線ＬＡＮ、ＧＳＭや、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むテレビ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用ネットワークおよび産業用ネットワークなどを含む。いくつかのネットワーク７９８は、一般に、特定の汎用データポート又は周辺バス（７５０及び７５１）（例えば、コンピュータシステム７００のＵＳＢポートなど）に接続された外部ネットワークインタフェースアダプタを必要とし、その他は、通常、以下に説明するようにシステムバスに接続することによって、コンピュータシステム７００のコアに統合される（例えば、イーサネットインタフェースからＰＣコンピュータシステムへ、又はセルラーネットワークインタフェースからスマートフォンコンピュータシステムへ）。これらのネットワーク７９８のいずれかを使用して、コンピュータシステム７００は、他のエンティティと通信することができる。このような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、ＣＡＮバスから特定のＣＡＮバスデバイスへ）、あるいは、双方向の、例えばローカル又は広域デジタルネットワークを使用して他のコンピュータシステムへの通信であってもよい。上記のように、特定のプロトコルおよびプロトコルスタックは、それらのネットワークおよびネットワークインタフェースのそれぞれで使用されることができる。

【0108】

前述のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインタフェースは、コンピュータシステム７００のコア７４０に接続されることができる。

【0109】

コア７４０は、１つ又は複数の中央処理装置（ＣＰＵ）７４１、グラフィックス処理装置（ＧＰＵ）７４２、グラフィックスアダプタ７１７、フィールドプログラマブルゲートエリア（ＦＰＧＡ）７４３の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ７４４等を含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）７４５、ランダムアクセスメモリ７４６、例えばユーザがアクセスできない内部ハードディスク、ＳＳＤなどの内部大容量ストレージ７４７とともに、システムバス７４８を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス７４８は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ又は複数の物理プラグの形態でアクセス可能である。周辺デバイスは、コアのシステムバス７４８に直接、又は周辺バス７４９を介して接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

【0110】

ＣＰＵ７４１、ＧＰＵ７４２、ＦＰＧＡ７４３、及びアクセラレータ７４４は、いくつかの命令を実行することができ、これらの命令を組み合わせて前述のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ７４５又はＲＡＭ７４６に記憶されることができる。過渡的なデータもＲＡＭ７４６に記憶されることができ、一方、永久的なデータは、例えば、内部大容量ストレージ７４７に記憶されることができる。１つ又は複数のＣＰＵ７４１、ＧＰＵ７４２、大容量ストレージ７４７、ＲＯＭ７４５、ＲＡＭ７４６などと密接に関連付けられることができるキャッシュメモリの使用によって、いずれかのメモリデバイスへの高速な記憶及び検索を可能にすることができる。

【0111】

コンピュータ読取可能な媒体は、様々なコンピュータ実現操作を行うためのコンピュータコードをその上に持つことができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよいし、コンピュータソフトウェア分野の技術に精通する者によく知られ利用可能な種類のものであってもよい。

【0112】

一例として、限定ではなく、アーキテクチャ７００を有するコンピュータシステム、特にコア７４０は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形のコンピュータ読取可能な媒体で具現化されたソフトウェアを実行する結果として、機能性を提供することができる。このようなコンピュータ読取可能な媒体は、上述したようなユーザがアクセス可能な大容量ストレージに関連付けられる媒体、ならびに、例えばコア内部大容量ストレージ７４７又はＲＯＭ７４５などの非一時的な性質であるコア７４０の特定のストレージとすることができる。本開示の様々な実施形態を実現するソフトウェアは、このようなデバイスに記憶され、コア７４０によって実行され得る。コンピュータ読取可能な媒体は、特定のニーズに応じて、１つ又は複数のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア７４０、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ７４６に記憶されたデータ構造の定義、及びソフトウェアによって定義されたプロセスに従ってかかるデータ構造の修正を含む、本明細書に記載された特別なプロセス又は特別なプロセスの特別な部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ロジックハードワイヤ又は他の方式で回路（例えば、アクセラレータ７４４）で具体化された結果としての機能性を提供することができ、この回路は、ソフトウェアの代わりに動作し又はソフトウェアと一緒に動作して、ここで説明された特定のプロセス又は特定のプロセスの特定の部分を実行してもよい。適切な場合には、ソフトウェアへの参照はロジックを含むことができ、逆もまた然りである。適切な場合には、コンピュータ読み取り可能な媒体への参照は、実行のソフトウェアを記憶する回路（例えば、集積回路（ＩＣ）など）、実行のロジックを具体化する回路、又はその両方を兼ね備えることができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

【0113】

本開示は、いくつかの例示的な実施形態を説明したが、本開示の範囲内に入る変更、置換、及び様々な代替の等価物が存在する。したがって、当業者は、本明細書で明示的に示されていないか又は説明されていないが、本開示の原理を具現化し、ゆえにその精神及び範囲内にある多数のシステム及び方法を考案することができることが理解されるであろう。

【図1】