特許 7601905 低解像度のデータ構造からテクスチャを表す高解像度のデータ構造を作成するための機械学習技術

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】低解像度のデータ構造からテクスチャを表す高解像度のデータ構造を作成するための機械学習技術

(51)【国際特許分類】

   G06T 15/04 20110101AFI20241210BHJP

   G06T 9/00 20060101ALI20241210BHJP

【ＦＩ】

G06T15/04

G06T9/00 200

【請求項の数】 18

(21)【出願番号】P 2022568953

(86)(22)【出願日】2021-04-30

(65)【公表番号】

(43)【公表日】2023-06-15

(86)【国際出願番号】 US2021030313

(87)【国際公開番号】W WO2021231110

(87)【国際公開日】2021-11-18

【審査請求日】2022-11-11

(31)【優先権主張番号】16/871,796

(32)【優先日】2020-05-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ホブソン、ジョシュア スコット

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３０４１４０（ＵＳ，Ａ１）

【文献】特開２０２０－０６４５５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／０４

Ｇ０６Ｔ ９／００

(57)【特許請求の範囲】

【請求項1】

アセンブリであって、
少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、
少なくとも１つのコンピュータグラフィックテクスチャを表す少なくとも第１のデータ構造を受信することであって、前記第１のデータ構造は第１の解像度を有する、前記受信することと、
前記コンピュータグラフィックテクスチャを表す第２のデータ構造を生成するために前記第１のデータ構造を処理することであって、前記第２のデータ構造は前記第１の解像度とは異なる第２の解像度を有する、前記処理することと、
前記第２のデータ構造を使用して、少なくとも１つのディスプレイにオブジェクトをレンダリングすることと、
を行う命令で構成され、
前記第２のデータ構造を生成するために前記第１のデータ構造を処理することは、
第１の機械学習モデルを用いて前記コンピュータグラフィックテクスチャにおける反射データを処理して前記第２のデータ構造で表された出力を生成することと、
第２の機械学習モデルを用いて前記コンピュータグラフィックテクスチャにおけるアルベドデータを処理して前記第２のデータ構造で表された出力を生成することと、
第３の機械学習モデルを用いて前記コンピュータグラフィックテクスチャにおける法線データと粗度データを一緒に処理して前記第２のデータ構造で表された出力を生成することとを含む、アセンブリ。

【請求項2】

前記第１のデータ構造はミップマップを含む、請求項１に記載のアセンブリ。

【請求項3】

前記第１の解像度は前記第２の解像度よりも低い、請求項１に記載のアセンブリ。

【請求項4】

前記第１の解像度は前記第２の解像度よりも高い、請求項１に記載のアセンブリ。

【請求項5】

前記コンピュータグラフィックテクスチャは、物理ベースレンダリング及びマテリアル（ＰＢＲ）データを含む、請求項１に記載のアセンブリ。

【請求項6】

前記第１のデータ構造はブロック圧縮（ＢＣｎ）を使用して圧縮され、ｎは整数である、請求項１に記載のアセンブリ。

【請求項7】

前記第１のデータ構造は入力ミップマップを含み、前記第２のデータ構造は前記入力ミップマップよりも１ミップレベル高いミップマップを含む、請求項１に記載のアセンブリ。

【請求項8】

前記入力ミップマップはテールミップマップを含む、請求項７に記載のアセンブリ。

【請求項9】

前記第１のデータ構造は、前記法線データと、前記粗度データとを含む、請求項１に記載のアセンブリ。

【請求項10】

アセンブリであって、
少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、
第１のミップマップを受信することと、
前記第１のミップマップから第２のミップマップを生成することと、
を行うことが実行可能である命令で構成され、
前記第１のミップマップから前記第２のミップマップを生成することは、
第１の機械学習モデルを用いてコンピュータグラフィックテクスチャにおける反射データを処理して前記第２のミップマップで表された出力を生成することと、
第２の機械学習モデルを用いて前記コンピュータグラフィックテクスチャにおけるアルベドデータを処理して前記第２のミップマップで表された出力を生成することと、
第３の機械学習モデルを用いて前記コンピュータグラフィックテクスチャにおける法線データと粗度データを一緒に処理して前記第２のミップマップで表された出力を生成することとによって行われる、アセンブリ。

【請求項11】

前記第２のミップマップは、機械学習エンジンを使用して前記第１のミップマップから生成される、請求項１０に記載のアセンブリ。

【請求項12】

前記第１のミップマップは第１の解像度によって特徴付けられ、
前記第２のミップマップは第２の解像度によって特徴付けられ、
前記第１の解像度は前記第２の解像度よりも低い、請求項１０に記載のアセンブリ。

【請求項13】

前記第１のミップマップは第１の解像度によって特徴付けられ、
前記第２のミップマップは第２の解像度によって特徴付けられ、
前記第１の解像度は前記第２の解像度よりも高い、請求項１０に記載のアセンブリ。

【請求項14】

前記第１のミップマップは、物理ベースレンダリング及びマテリアル（ＰＢＲ）データを含む、請求項１０に記載のアセンブリ。

【請求項15】

前記第１のミップマップはブロック圧縮（ＢＣｎ）を使用して圧縮され、ｎは整数である、請求項１０に記載のアセンブリ。

【請求項16】

前記第２のミップマップは、前記第１のミップマップよりも１ミップレベル高い、請求項１０に記載のアセンブリ。

【請求項17】

前記第１のミップマップはテールミップマップを含む、請求項１６に記載のアセンブリ。

【請求項18】

前記第１のミップマップは、法線データを含む少なくとも第１のブロックと、粗度データを含む少なくとも第２のブロックとを含み、
前記命令は、法線データの少なくとも４つのブロック及び粗度データの４つのブロックを含む前記第２のミップマップを生成するために実行可能である、請求項１０に記載のアセンブリ。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、必然的にコンピュータ技術が原因となり、具体的な技術的改善を生じさせる、技術的に発明性のある非定型な解決策に関する。

【背景技術】

【0002】

コンピュータゲーム等のコンピュータシミュレーションでは、オブジェクトの表面を表す「テクスチャ」データを使用して、オブジェクトの一部をレンダリングする。所与のオブジェクトのテクスチャデータが多くなるにつれて、レンダリングの解像度が高くなる可能性がある。しかしながら、帯域幅に関する目的で、大きなテクスチャデータ構造をレンダリングデバイスに送信しないことが望ましい。

【発明の概要】

【0003】

本明細書で理解されるように、いわゆる「ミップマップ（ｍｉｐｍａｐ）」（ラテン語のｍｕｌｔｕｍ ｉｎ ｐａｒｖｏ（入れ物は小さくても内容は豊富であること）から由来する）は、以下の方法で帯域幅を節約するために使用され得る。ミップマップは一連のテクスチャデータ構造であり、テクスチャデータ構造のそれぞれは、前のテクスチャデータ構造の解像度を徐々に下げて表現したものである。通常、この減少は各次元で２分の１になる。高解像度のミップマップを使用してビューアの近くのオブジェクトをレンダリングし、低解像度のミップマップを使用してビューアから離れたオブジェクトをレンダリングすることによって、帯域幅が節約される。通常、ミップマップレベルは、画像のピクセル密度に最もマッチするレベルに選ばれる。理想的には、スクリーンピクセルごとに１つのテクスチャピクセルが望まれる。テクスチャピクセルは、「テクセル」（テクスチャ及びピクセルの組み合わせ）とも呼ばれ得る。

【0004】

しかしながら、本明細書でも理解されるように、メモリを節約するために、テクスチャデータは、通常、ＧＰＵでネイティブにサンプル可能な様々なブロック圧縮（ＢＣｎ）モードの１つに圧縮される。テクスチャの最大解像度は、通常、ストレージスペースの制約及びアーティストのオーサリング時間によって制限される。既存の機械学習ベースの技術等を使用して、低解像度から高解像度の画像を生成するには、最初に、ＢＣｎ圧縮テクスチャデータを解凍し、アップサンプリングして再圧縮する必要がある。これは、低解像度画像及び高解像度画像の両方の非圧縮バージョンに余分なストレージスペースが必要であり、ＢＣｎ圧縮のプロセスは非常に複雑で計算コストが高いため、望ましくない。

【0005】

したがって、アセンブリは、少なくとも１つのコンピュータグラフィックテクスチャを表す少なくとも第１のデータ構造を受信するための命令で構成された少なくとも１つのプロセッサを含む。第１のデータ構造は第１の解像度を有する。命令は、コンピュータグラフィックテクスチャを表す第２のデータ構造を生成するために少なくとも１つのニューラルネットワーク（ＮＮ）を使用して第１のデータ構造を処理するために実行可能であり、第２のデータ構造は第１の解像度よりも高い第２の解像度を有する。したがって、第２のデータ構造は、圧縮または解凍を使用しないで、第１のデータ構造から生成される。命令は、画面に直接表示されるか、または中間のレンダリング段階で表示されるかに関係なく、レンダリングに第２のデータ構造を使用するために実行可能である。

【0006】

コンピュータグラフィックテクスチャは、物理ベースレンダリング（ＰＢＲ）マテリアルに使用されるデータを含み得、ブロック圧縮（ＢＣｎ）を使用して圧縮され得る。ここで、ｎは整数である。

【0007】

いくつかの例では、第１のデータ構造は入力ミップマップを含み、第２のデータ構造は入力ミップマップよりも１ミップレベル高いミップマップを含む。入力ミップマップはテールミップマップを含み得る。

【0008】

非限定的な実施態様では、第１のデータ構造は、法線データの少なくとも第１のブロックと、粗度データの少なくとも第２のブロックとを含み得、命令は、法線データの少なくとも４つのブロック及び粗度データの４つのブロックの第２のデータ構造を一緒に生成するために実行可能であり得る。

【0009】

非限定的な実施態様では、第１のデータ構造は、機械学習に通知するのを助けるために、テクスチャデータの少なくとも第１のブロックと、近接するテクスチャデータの少なくとも第２のブロックとを含み得、命令は、テクスチャデータの少なくとも４つのブロックの第２のデータ構造を生成するために実行可能であり得る。

【0010】

別の態様では、レンダリングアセンブリは、第１の圧縮ミップマップを受信し、第１の圧縮ミップマップの圧縮または解凍を使用しないで、第１の圧縮ミップマップから第２の圧縮ミップマップを生成するために実行可能な命令で構成された少なくとも１つのプロセッサを含む。

【0011】

別の態様では、本方法は、少なくとも１つの機械学習（ＭＬ）エンジンにアクセスすることと、コンピュータディスプレイにオブジェクトを提示するために、ＭＬエンジンを使用してテクスチャをアップスケーリングまたはダウンスケーリングすることと、を含む。

【0012】

本願の詳細は、その構造及び動作の両方について、添付図を参照して最も良く理解でき、図において、同様の参照符号が同様の部分を指す。

【図面の簡単な説明】

【0013】

【図1】本発明の原理に従った例を含む例示的なシステムのブロック図である。

【図2】テクスチャ通信パスの例を示す。

【図3】ＰＢＲマテリアルのコンポーネントの例を示す。

【図4】グラウンドトゥルーストレーニングデータを提供するための例示的なフローチャート形式の例示的なロジックを示す。

【図5】テクスチャレンダリング機械学習エンジンをトレーニングするための例示的なフローチャート形式の例示的なロジックを示す。

【図6】レンダラーにテクスチャを提供するための例示的なフローチャート形式の例示的なロジックを示す。

【図7】機械学習エンジンを使用して入力テクスチャをアップスケーリングするための例示的なフローチャート形式の例示的なロジックを示す。

【図8】２つのテクスチャデータタイプを一緒にアップスケーリングするための例示的なロジックをフローチャート形式で示す。

【発明を実施するための形態】

【0014】

本開示は、概して、コンピュータエコシステムで家電製品（ＣＥ）デバイスに基づくユーザー情報の態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバーコンポーネントとの間でデータが交換され得るようにネットワークを通じて接続されたサーバーコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップコンピュータ及びタブレットコンピュータ等のポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加の例を含む他のモバイルデバイスを含む、１つ以上のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、例として、ＭｉｃｒｏｓｏｆｔまたはＵｎｉｘ（登録商標）またはＡｐｐｌｅ社またはＧｏｏｇｌｅから入手されたオペレーティングシステムを使用し得る。これらの動作環境を使用して、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅもしくはＭｏｚｉｌｌａによって作成されたブラウザ、または下記に説明されるインターネットサーバーによってホストされたウェブアプリケーションにアクセスできる他のブラウザプログラム等の１つ以上の閲覧プログラムを実行し得る。

【0015】

サーバーは、インターネット等のネットワークを通じてデータを受信及び伝送するサーバーを構成する命令を実行する１つ以上のプロセッサを含み得る。または、クライアント及びサーバーは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続できる。サーバーまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機、パーソナルコンピュータ等によってインスタンス化され得る。

【0016】

情報は、クライアントとサーバーとの間でネットワークを通じて交換され得る。この目的のために及びセキュリティのために、サーバー及び／またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つ以上のサーバーは、ネットワークメンバーにオンラインソーシャルウェブサイト等のセキュアコミュニティを提供する方法を実施する装置を形成し得る。

【0017】

本明細書で使用する場合、命令は、システム内の情報を処理するためのコンピュータ実施ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実施でき、システムのコンポーネントが実施する任意のタイプのプログラム化されたステップを含み得る。

【0018】

プロセッサは、アドレスライン、データライン、及び制御ライン等の様々なライン、ならびにレジスタ及びシフトレジスタによってロジックを実行できるシングルチッププロセッサまたはマルチチッププロセッサであり得る。プロセッサは、１つ以上のグラフィックス処理ユニット（ＧＰＵ）によって実装され得る、またはそれを含み得る。

【0019】

本明細書でフローチャート及びユーザーインタフェースによって記述されるソフトウェアモジュールは、様々なサブルーチン、プロシージャー等を含み得る。本開示を限定することなく、特定のモジュールによって実行されるように規定されたロジックは、他のソフトウェアモジュールに再分配できる、及び／またはシングルモジュールに一緒に集約できる、及び／または共有可能ライブラリで利用可能になり得る。

【0020】

本明細書に説明される本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装できる。したがって、実例となるコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能性の観点から説明されている。

【0021】

さらに、上記に言及したものについて、下記に説明される論理ブロック、モジュール、及び回路は、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）、離散ゲートもしくはトランジスタロジック、離散ハードウェアコンポーネント等の他のプログラマブルロジックデバイス、あるいは本明細書に説明される機能を実行するよう設計されたそれらのいずれかの組み合わせにより実装できるまたは行うことができる。プロセッサは、コントローラもしくはステートマシン、またはコンピューティングデバイスの組み合わせによって実装できる。

【0022】

下記に説明される機能及び方法は、ソフトウェアで実装されるとき、限定ではないが、Ｊａｖａ（登録商標）、Ｃ＃またはＣ＋＋等の適切な言語で書き込みでき、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスクストレージ、磁気ディスクストレージまたはリムーバブルサムドライブ等を含む他の磁気記憶デバイス等のコンピュータ可読記憶媒体に記憶し、またはそのコンピュータ可読記憶媒体によって伝送できる。接続によりコンピュータ可読媒体が確立し得る。そのような接続は、例として、光ファイバ及び同軸ワイヤを含むハードワイヤケーブル、ならびにデジタルサブスクライバーライン（ＤＳＬ）及びツイストペア線を含み得る。

【0023】

一実施形態に含まれるコンポーネントは、他の実施形態では、任意の適切な組み合わせで使用できる。例えば、本明細書に説明される及び／または図に描かれる様々なコンポーネントのいずれかは、組み合わされ得る、交換され得る、または他の実施形態から排除され得る。

【0024】

「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、ならびに／またはＡ、Ｂ、及びＣ等を一緒に有するシステムを含む。

【0025】

ここで具体的に図１を参照すると、例示的なエコシステム１０が示され、エコシステム１０は、本発明の原理による、上述され及び下記に詳述される、例示的なデバイスの１つ以上を含み得る。システム１０に含まれる第１の例示的なデバイスは、例示的なプライマリディスプレイデバイスであり、示される実施形態では、限定ではないが、インターネット対応ＴＶ等のオーディオビデオディスプレイデバイス（ＡＶＤＤ）１２である。したがって、ＡＶＤＤ１２は、代替として、電気器具または家庭用品、例えば、コンピュータ制御式インターネット対応冷蔵庫、洗濯機、または乾燥機であり得る。代替として、ＡＶＤＤ１２は、また、コンピュータ制御式インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、ウェアラブルコンピュータ制御デバイス（例えば、コンピュータ制御式インターネット対応時計、コンピュータ制御式インターネット対応ブレスレット等）、他のコンピュータ制御式インターネット対応デバイス、コンピュータ制御式インターネット対応ミュージックプレイヤ、コンピュータ制御式インターネット対応ヘッドフォン、インプラント可能な皮膚デバイス等のコンピュータ制御式インターネット対応のインプラント可能なデバイス等であり得る。それにも関わらず、ＡＶＤＤ１２は、本発明の原理を実施するように構成される（例えば、本発明の原理を実施するために他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行して、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ことを理解されたい。

【0026】

したがって、そのような原理を実施するために、ＡＶＤＤ１２は、図１に示されるコンポーネントの一部または全てによって確立できる。例えば、ＡＶＤＤ１２は１つ以上のディスプレイ１４を含み得、ディスプレイ１４は、高解像度または超高解像度、すなわち、「４Ｋ」または「８Ｋ」（または高解像度）のフラットスクリーンによって実装され得、ディスプレイ上のタッチによりコンシューマ入力信号を受信するためにタッチ対応であり得る。ＡＶＤＤ１２は、本発明の原理に従って音声を出力するための１つ以上のスピーカ１６と、例えば、ＡＶＤＤ１２を制御するようにＡＶＤＤ１２に可聴コマンドを入力するために、キーボードまたはキーパッドまたはオーディオ受信機／マイクロホン等の少なくとも１つの追加入力デバイス１８とを含み得る。例示的なＡＶＤＤ１２は、また、１つ以上のプロセッサ２４の制御の下、インターネット、ＷＡＮ、ＬＡＮ等の少なくとも１つのネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース２０を含み得る。したがって、インタフェース２０は、限定ではないが、Ｗｉ－Ｆｉ送受信機であり得、これは、無線コンピュータネットワークインタフェースの例である。プロセッサ２４は、例えば、ディスプレイ１４を制御して、画像をそれに提示すること、そこから入力を受信すること等を行う本明細書に説明されるＡＶＤＤ１２の他の要素を含む、本発明の原理を実施するようにＡＶＤＤ１２を制御することを理解されたい。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上述したＷｉ－Ｆｉ送受信機等の他の適切なインタフェースであり得ることに留意されたい。

【0027】

前述に加えて、ＡＶＤＤ１２は、また、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するためのＵＳＢポート、及び／またはヘッドフォンを通してＡＶＤＤ１２からコンシューマに音声を提示するためにＡＶＤＤ１２にヘッドフォンを接続するためのヘッドフォンポート等の１つ以上の入力ポート２６を含み得る。ＡＶＤＤ１２は、さらに、ディスクベースストレージまたはソリッドステートストレージ（限定ではないが、フラッシュメモリを含む）等、一時的な信号ではない１つ以上のコンピュータメモリ２８を含み得る。また、いくつかの実施形態では、ＡＶＤＤ１２は、限定ではないが、例えば、少なくとも１つの衛星中継塔もしくは携帯電話中継塔から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはＡＶＤＤ１２がプロセッサ２４と併せて配置される高度を判定するように構成される、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等の位置受信機または場所受信機を含み得る。しかしながら、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機は、本発明の原理に従って、例えば、３次元の全てでＡＶＤＤ１２の場所を決定するために使用され得ることを理解されたい。

【0028】

ＡＶＤＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤＤ１２は１つ以上のカメラ３２を含み得、カメラ３２は、例えば、赤外線画像カメラ、ウェブカメラ等のデジタルカメラ、及び／またはＡＶＤＤ１２に統合され、本発明の原理に従って写真／画像及び／またはビデオを収集するために、プロセッサ２４によって制御可能なカメラであり得る。また、ＡＶＤＤ１２には、各々、ブルートゥース（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を使用して他のデバイスと通信するためにブルートゥース（登録商標）送受信機３４及び他のＮＦＣ素子３６も含まれ得る。例示的なＮＦＣ素子は、無線自動識別（ＲＦＩＤ）素子であり得る。

【0029】

さらにまた、ＡＶＤＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ等））を含み得る。ＡＶＤＤ１２は、プロセッサ２４に入力を提供する、例えば、１つ以上の気候センサ３８（例えば、気圧計、湿度センサ、風センサ、光センサ、温度センサ等）及び／または１つ以上の生体認証センサ４０等のさらに他のセンサを含み得る。前述に加えて、ＡＶＤＤ１２は、また、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイス等のＩＲ伝送機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２を含み得ることに留意されたい。ＡＶＤＤ１２に給電するためのバッテリ（図示せず）が提供され得る。

【0030】

さらに図１を参照すると、ＡＶＤＤ１２に加えて、システム１０は、１つ以上の他のＣＥデバイスタイプを含み得る。一例では、第１のＣＥデバイス４４はメッセージを第２のＣＥデバイス４６に送信するために使用され得、第２のＣＥデバイス４６は第１のＣＥデバイス４４と同様のコンポーネントを含み得るため、詳細には説明しない。示される例では、２つのＣＥデバイス４４、４６だけが示され、より少ない数またはより多い数のデバイスが使用され得ることを理解されたい。

【0031】

例示的な非限定的な第１のＣＥデバイス４４は、上述のデバイス、例えば、ポータブル無線ラップトップコンピュータまたはタブレットコンピュータまたはノートブックコンピュータまたは携帯電話のいずれか１つによって確立され得、したがって、下記に説明される１つ以上のコンポーネントを有し得る。第２のＣＥデバイス４６は、限定されることなく、無線電話によって確立され得る。第２のＣＥデバイス４６は、携帯用ハンドヘルド遠隔制御（ＲＣ）を実装し得る。第２のＣＥデバイス４６は、仮想現実（ＶＲ）及び／または拡張現実（ＡＲ）、ヘッドマウントディスプレイ（ＨＭＤ）を実装し得る。ＣＥデバイス４４、４６は、ＡＶＤＤ１２の場合に示されたコンポーネントの一部または全てを含み得る。

【0032】

少なくとも１つのサーバー５０は、少なくとも１つのサーバープロセッサ５２、ディスクベースストレージまたはソリッドステートストレージ等の少なくとも１つのコンピュータメモリ５４と、サーバープロセッサ５２の制御の下、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本発明の原理に従ってサーバーとクライアントデバイスとの間の通信を容易にし得る少なくとも１つのネットワークインタフェース５６とを含み得る。ネットワークインタフェース５６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ－Ｆｉ送受信機、または、例えば、無線テレフォニ送受信機等の他の適切なインタフェースであり得ることに留意されたい。

【0033】

したがって、いくつかの実施形態では、サーバー５０は、インターネットサーバーであり得、システム１０のデバイスが、例示的な実施形態では、サーバー５０を介して「クラウド」環境にアクセスし得るような「クラウド」機能を含み、その機能を行い得る。または、サーバー５０は、図１に示される他のデバイスと同じ部屋またはその近くにあるゲーム機または他のコンピュータによって実装され得る。

【0034】

本明細書に説明されるデバイスは、必要に応じて、図１に示される様々なコンポーネントの一部または全てを含み得る。

【0035】

図２を参照する前に、「テクスチャ」は、レンダリングされたオブジェクトの表面を特徴付けるために画像にマッピングできるデータ構造である。テクスチャデータ構造の基本的なデータ要素は、テクスチャ要素またはテクセル（テクスチャ及びピクセルの組み合わせ）である。テクスチャは、テクスチャ空間を表すテクセルの配列によって表される。テクセルは、レンダリングされる画像の表面を定義するためにレンダリングされる画像内のピクセルにマップされる。

【0036】

したがって、テクスチャはデータであり、画像ではないため、下記のニューラルネットワーク（ＮＮ）トレーニングは、必ずしも知覚エラーの原理に依存しているわけではない。アルベドについては例外があり得るが（下記でさらに説明する）、概して、テクスチャデータのトレーニングでは、特定のデータに関する目的に固有のエラーメトリックを使用する。

【0037】

法線及び粗度等のデータのいくつかのタイプは、それらが相互に関連しているため、２つのデータが互いのエラーを緩和できるため、一緒にペアにできる。より具体的には、ＰＢＲレンダリングでは、法線マップデータと粗度データ（グロスデータと呼ばれることもある）の間に関係が存在する。粗度は、本質的に、テクスチャピクセル全体にわたる法線の分散を表す。したがって、ミップマップを生成するときに法線マップの解像度を下げるときに失われるデータを考慮して粗度を修正し、本質的に法線マップをアンチエイリアス処理する技術が存在する。この場合、法線マップと対応する粗度マップとの間には密接な関係がある。

【0038】

テクスチャ、物理ベースレンダリング（ＰＢＲ）及びマテリアルに関する追加の詳細は、テクスチャに記憶された様々なタイプのデータを使用することを含む、リアルなマテリアル及び光の相互作用をレンダリングするための一般的な一連の指針である。光は、拡散または反射のいずれかとしてモデル化される。散光は、概して、ビューに依存せず、概して、マテリアルをどの角度から見ても変化しない。一方、反射光は、エミュレートするためにビューに依存する。例えば、グレアである。

【0039】

概して、ＰＢＲテクスチャは、マテリアルの散光反応を特徴付ける「アルベド」のパラメータを含む。例えば、磨かれた木材のエミュレートされた表面の場合、アルベドテクスチャは木目パターン及び色の変化を含むが、形状情報を含まず、非常に平らである。金属の光反応は全て反射から生じるため、金属にアルベドがない。

【0040】

上述したように、ＰＢＲテクスチャは、また、「法線」のパラメータも含み得る。法線マップは、表面の小さな形状のディテールを定義し、下にある表面の表面法線を具体的に表す。これは、レンダリングで使用される三角形データの幾何法線から分離され得る、または分離されない場合がある。これはテクスチャとして記憶されたベクターデータであり、表示できるが、それ自体、画像ではない。木材の例では、これは木材が滑らかな場所でほとんど平らであるが、木材の表面にエッチングや彫刻のディテールが含まれ得る。

【0041】

また上述したように、ＰＢＲテクスチャは、また、レンダリングする表面の粗度の程度を定義するグロス／粗度のパラメータも含み得る。概して、これはサブピクセルの法線データ（法線マップのテクセルより小さいディテール）の分散と見なされる。木材の例では、これは、木材の擦り傷（サンドペーパーで木材をこすることを想像されたい）に関するデータを含み得る。研磨された木材の場合、比較的滑らかであるため、粗度が低くなる。

【0042】

別のＰＢＲパラメータは反射率であり、反射光の反応を表す。ほとんどの非金属マテリアルについて、反射率は色がない。ほぼ全ての非金属の反射率は２％（直接反射する光の量）で一定である。鏡の場合、反射率が１００％に近づく。

【0043】

いくつかのＰＢＲ技術では、非金属は一定の反射率を有することと、金属はアルベドがないこととの事実を利用することを試みる。これは、通常、表面が金属であるアルベドテクセルを別の目的で使い、代わりに、反射率（色、金、真ちゅう等）を表し、別のテクスチャチャネルに追加情報を記憶して、どのテクセルが金属であるか否かを識別することを含む。概して、この情報は「金属性」と呼ばれる。このエンコードは、概して、アルベド用の３つのチャネルと反射率用の別の３つのチャネルとを記憶しないことによって、テクスチャメモリを節約するために行われる。

【0044】

一般に、テクスチャは様々な目的があり得、ゲームエンジンごとに異なる可能性がある。

【0045】

テクスチャに関する上記の説明を考慮して、通常、様々な圧縮（ひいては、または様々な解像度）の同じテクスチャの複数のバージョンが生成される。具体的には、シングルテクスチャは、テクスチャのフルミップマップチェーンによって表され得る。ミップマッピングは画像を取得し、解像度を連続して２分の１に減らす。したがって、所与のテクスチャ（例えば、１０２４×１０２４等）について、その５１２×５１２バージョン及びその２５６×２５６バージョン等もメモリに記憶される。これにより、パフォーマンス、視覚的な忠実度が向上し、テクスチャストリーミングが容易になる。テクスチャストリーミングは、レンダリングされたオブジェクトの画面サイズに基づいて、所与のテクスチャに必要なミップマップの「テール」（低いミップレベル及びその下の全ての低解像度のミップレベル）だけをロードすることによって、メモリを節約することを試みる。例えば、２５６×２５６ミップレベル及び１０２４×１０２４テクスチャのミップチェーンよりも低いものは、遠くにあるオブジェクトのロードに必要な全てのものであり得る。どのミップレベルがロードされるかは、変化するゲーム環境及びビューアの位置に基づいてオンデマンドで変更される。オブジェクトが近づくにつれて、高解像度のミップレベルまたは「ディテールレベル」は、現在近くのオブジェクトをレンダリングするためにメモリにロードされる。

【0046】

テクスチャには様々なタイプの圧縮を使用し得る。１つのタイプはブロック圧縮であり、ＢＣｎ圧縮と表現されることもある。これは、グラフィックスプロセッシングユニット（ＧＰＵ）によってインプレースで解凍できる非可逆テクスチャ圧縮であり得る。ブロック圧縮は画像全体を解凍する必要がないため、ＧＰＵは、全く圧縮されないように、テクスチャをサンプリングしながらデータ構造を解凍できる。

【0047】

ブロック圧縮技術は、４×４ブロックのピクセルをシングル（より小さい）データパケットに圧縮する。概して、これは、（ＢＣ圧縮タイプに応じて）２つ以上の「エンドポイント」カラーを選択することを含み、この「エンドポイント」カラーは、各ピクセルでこれらの２つのカラーをブレンドする方法に関するピクセルごとの何らかの情報を伴う。エンドポイントカラーは、４×４ピクセルブロック全体で共有される。例えば、赤、青、紫のピクセルだけの画像の場合、コンプレッサーは一方の端点を赤に、他方の端点を青に選ぶ可能性が高い。紫色のピクセルは、２つを一緒にブレンドする値を有する。

【0048】

異なるＢＣタイプは、それらが有するテクスチャチャネルの数がほとんど異なる（例えば、ＢＣ４は１つのチャネルグレースケール、すなわち、「白黒」である）。ＢＣ６及びＢＣ７が各ブロックの解釈を決定するモードの概念を導入するため、ＢＣ６及びＢＣ７は特別である。他のＢＣモードについて、全てのブロックが同じ方法でエンコードされ、エンドポイントの色及びブレンド値に同じ数のビットが割り当てられる。ＢＣ６／７モードが異なると、ブロックごとにそのビットが異なって割り当てられる。これにより、コンプレッサーは、テクスチャの異なる領域で異なる品質のトレードオフを行うことが可能になる。

【0049】

図２は、テクスチャレンダラー２０４へのローカルデータバスまたは無線／有線ネットワークリンク等の通信パス２０２を介して上記の原理に従ってレンダリングするためのテクスチャを送信するテクスチャソース２００を示す。テクスチャレンダラー２０４は、通常、ディスプレイ上の画像データ及びテクスチャデータに従って画像をレンダリングするために、メモリを伴う１つ以上のＧＰＵを含む。

【0050】

図３は、本明細書の実施形態では、テールテクスチャ３００だけがソース２００からレンダラー２０４に送信される必要があることを示す。レンダラー２０４はテクスチャに対して機械学習エンジン３０２を実行して、デコーディング／エンコーディングを必要としないで、ひいては、コーデックを必要としないで、そのテクスチャを次に高いレベルの解像度のテクスチャ３０４にアップスケールできる。機械学習エンジン３０２は、生成的、ノイズベース、場合によっては敵対的ネットワーク等の１つ以上のトレーニング済みのニューラルネットワークを含み得る。

【0051】

したがって、機械学習を使用して、（例えば、ディスク上で作成されたミップマップチェーンからの）全てのストリーミングテクスチャの入力ミップマップよりも１レベル高いテクスチャのミップマップを生成する。新しい（高解像度の）ミップマップは、同様に、ディスク上に存在するかのように導入され、単に、代わりに手続き的に生成される。テクスチャはＢＣＮ圧縮形式でディスクに記憶できるため、ネットワークは、メモリ内の既存の圧縮ミップレベルの最高値から新しい圧縮ミップレベルを生成する。実行時にミップレベルを生成するコストが高すぎる場合、ミップレベルをオフラインで生成し、同じ方法を使用してディスクに記憶できる。

【0052】

図４は、図３の機械学習エンジン３０２のトレーニング原理の例を示す。既存のテクスチャライブラリは、グラウンドトゥルーストレーニングのためにブロック４００でアクセスされ、ブロック４０２で圧縮されて、次のミップレベルダウンを（再び半分ずつ）確立し得る。言い換えれば、ブロック４００において、フル非圧縮（ひいては、最高解像度）ミップマップにアクセスして、ブロック４０２において、半分に圧縮され、圧縮（ひいては、低解像度）ミップマップをレンダリングし得る。ブロック４０２で生成されたミップマップは、ミップマップのフルセットをレンダリングするために、本明細書の原理に従って連続的に圧縮され得、ブロック４０４において、入力された非圧縮ミップマップごとにグラウンドトゥルースをレンダリングする。

【0053】

図５では、シンプルなネットワークが、ブロック５００において、グラウンドトゥルースセットからの１つの圧縮されたＢＣブロックデータパケットにアクセスして、ブロック５０２において、例えば、４×４ブロックのピクセルから８×８ブロックのピクセルに効率的に進む、より高いミップレベルのための４つのＢＣブロックデータパケットを生成し得ることが示される。代替として、入力として１つのＢＣブロックを取り込む代わりに、またはそれに加えて、ブロックを囲むブロックの近傍（例えば、８つの周囲ブロック）も入力として提供され、ネットワークに特徴を良好に通知し得る。

【0054】

バックプロパゲーション、勾配降下法を使用してトレーニングを実施し得る。トレーニングは、８０／２０トレーニングテストスプリットを使用して実行され得、そのテストスプリットでは、グラウンドトゥルースデータの８０％のランダムサンプルを使用して、ＮＮで重みをトレーニングまたは設定し、次に、追加の２０％のテストデータダウンスケールファイルが入力され、ＮＮが生成したものと比較される。言い換えれば、ＮＮの出力は、トレーニングセッション中に入力されなかったグラウンドトゥルースの２０％のフル解像度ファイルと比較できる。

【0055】

異なるマテリアル属性テクスチャ間にほとんど異なるタイプのデータがあるため、マテリアル属性タイプごとに異なるネットワークをトレーニングし得る。例えば、１つのネットワークは、反射テクスチャデータをアップスケーリングするためにトレーニングされ得、別のネットワークは、アルベドをアップスケーリングするためにトレーニングされ得る。

【0056】

類似したデータが記憶され、ひいては何らかの相互関係がある法線及び粗度の場合、シングルネットワークをトレーニングして、それらを一緒にアップスケールし得る。同じ検討事項は、他の関連するペアまたはマテリアル属性のグループに適用され得る。共有された法線及び粗度のアップレゾネットワークの場合、法線データを伴う１つのＢＣブロックと、同じ関連場所にある粗度データの１つのＢＣブロックを入力し得、ネットワークは、法線データの４つのＢＣブロック及び粗度データの４つのＢＣブロックを出力し得る。

【0057】

図６は、テクスチャがブロック６００で圧縮され、ブロック６０２において、レンダラーに送信され得ることを示す。一例では、ミップマップチェーンにおける最低解像度（最も大きく圧縮された）の「テール」テクスチャがレンダラーに送信される。レンダラーは、コーデックを必要としないで、本明細書に説明されるトレーニング済みの機械学習エンジンを使用してオンザフライでそれらをアップスケールできる。他の実施形態では、比較的ほぼ非圧縮の高解像度のテクスチャ（または、非圧縮の基本テクスチャ自体）は、機械学習を使用して、より圧縮された低解像度のテクスチャを生成できるレンダラーへの入力として提供され得る。

【0058】

図７は、レンダラーロジックを示す。状態７００において、入力テクスチャは受信される。ブロック７０２において、テクスチャは、トレーニング済みの機械学習エンジンによって処理され、ブロック７０４において、入力テクスチャよりも圧縮率が高い（低解像度）または圧縮率が低い（高解像度）のいずれかの異なる圧縮テクスチャが出力される。ブロック７０４のテクスチャを使用して、ディスプレイ上に画像をレンダリングする。

【0059】

図８では、共有された法線及び粗度のアップレゾネットワークの場合、ブロック８００において、法線データを伴う１つのＢＣブロックが機械学習エンジンによって受信され、ブロック８０２において、同じ関連場所にある粗度データの１つのＢＣブロックが受信されることが示される。ブロック８０４において、機械学習エンジンは、２つの入力ブロックを一緒にアップスケールして、法線データの４つのＢＣブロック及び粗度データの４つのＢＣブロックを出力する。

【0060】

特定の技術が本明細書に示され、詳細に説明されているが、本願によって包含される主題は、特許請求の範囲だけによって限定されることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】