特表 2024-506183 グラフィックアーチファクトの除去のためのパラメータ化されたノイズ合成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-09

(54)【発明の名称】グラフィックアーチファクトの除去のためのパラメータ化されたノイズ合成

(51)【国際特許分類】

   H04N 21/234 20110101AFI20240202BHJP

   H04N 21/235 20110101ALI20240202BHJP

   H04N 19/154 20140101ALI20240202BHJP

   H04N 19/85 20140101ALI20240202BHJP

【ＦＩ】

H04N21/234

H04N21/235

H04N19/154

H04N19/85

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023548606

(86)(22)【出願日】2021-02-12

(85)【翻訳文提出日】2023-10-06

(86)【国際出願番号】 US2021017816

(87)【国際公開番号】W WO2022173440

(87)【国際公開日】2022-08-18

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ホン，ダニー

(72)【発明者】

【氏名】シエ，リチャード

(72)【発明者】

【氏名】タハシルダー，ラマチャンドラ

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159TA01

5C159TB01

5C159TB04

5C159TC02

5C159TC28

5C159TD04

5C159UA02

5C159UA05

5C164FA22

5C164SA32S

5C164SB01P

5C164SB08P

(57)【要約】

エンコード前のノイズパラメータ化技術が、クライアントデバイスによるデコードおよび提示のためにビデオフレーム内のバンディング効果および他のグラフィックアーチファクトを軽減または排除する。１つまたは複数の入力ビデオフレームについて、入力ビデオフレームに関連付けられた量子化パラメータが識別される。ノイズ合成パラメータは、識別された量子化パラメータに基づいて決定され、入力ビデオフレームは送信のためにエンコードされる。エンコードされたビデオフレームは、クライアントデバイスによってデコードされた得られたビデオフレームに追加するための合成ノイズを生成する時に当該クライアントデバイスによって使用されるために、決定されたノイズ合成パラメータと共にクライアントデバイスに送信される。

【特許請求の範囲】

【請求項1】

１つまたは複数の入力ビデオフレームについて、
前記１つまたは複数の入力ビデオフレームのための量子化パラメータ（ＱＰ）を識別することと、
前記識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために前記１つまたは複数の入力ビデオフレームをエンコードすることと、
前記識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定することと、
前記１つまたは複数の入力ビデオフレームを前記エンコードすることに基づいて、前記少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始することとを含み、前記送信を開始することは、前記決定された１つまたは複数のノイズ合成パラメータを前記少なくとも１つのクライアントデバイスに提供することを含む、コンピュータで実行される方法。

【請求項2】

ゲームアプリケーションを介して前記１つまたは複数の入力ビデオフレームを生成することをさらに含む、請求項１に記載のコンピュータで実行される方法。

【請求項3】

前記１つまたは複数のノイズ合成パラメータは、前記識別されたＱＰの関数として決定される、請求項１または２に記載のコンピュータで実行される方法。

【請求項4】

前記エンコードすることの前に前記１つまたは複数の入力ビデオフレームを前処理することをさらに含む、請求項１から３のいずれかに記載のコンピュータで実行される方法。

【請求項5】

前記入力ビデオフレームを前記前処理することに基づいて１つまたは複数のビデオフレーム特性を識別することをさらに含み、前記１つまたは複数のノイズ合成パラメータを前記決定することは、部分的に前記１つまたは複数のビデオフレーム特性にさらに基づく、請求項４に記載のコンピュータで実行される方法。

【請求項6】

前記１つまたは複数の追加のビデオフレーム特性は、前記１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含む、請求項５に記載のコンピュータで実行される方法。

【請求項7】

送信のための前記１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って前記１つまたは複数の入力ビデオフレームをエンコードすることを含む、先行する請求項のいずれかに記載のコンピュータで実行される方法。

【請求項8】

前記決定されたノイズ合成パラメータを提供することは、前記１つまたは複数の送信されたビデオフレームに対して適用するためのノイズを合成することにおいて前記少なくとも１つのクライアントデバイスによって使用されるための前記決定されたノイズ合成パラメータを提供することを含む、先行する請求項のいずれかに記載のコンピュータで実行される方法。

【請求項9】

少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに結合され前記少なくとも１つのプロセッサによって実行されると、請求項１から７のいずれかに記載の方法を実行するように前記少なくとも１つのプロセッサを操作する１組の実行可能命令を記憶するメモリとを備える、システム。

【請求項10】

システムであって、
１つまたは複数の入力ビデオフレームについて、
前記１つまたは複数の入力ビデオフレームに関連付けられた量子化パラメータ（ＱＰ）を識別し、
前記識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために前記１つまたは複数の入力ビデオフレームをエンコードし、
前記識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定し、
前記１つまたは複数の入力ビデオフレームを前記エンコードすることに基づいて、前記少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始するための第１のプロセッサを備え、前記送信を開始することは、前記決定された１つまたは複数のノイズ合成パラメータを前記少なくとも１つのクライアントデバイスに提供することを含む、システム。

【請求項11】

前記第１のプロセッサはさらに、前記１つまたは複数の入力ビデオフレームを前処理するためのものである、請求項１０に記載のシステム。

【請求項12】

前記第１のプロセッサはさらに、前記入力ビデオフレームを前記前処理することに基づいて１つまたは複数のビデオフレーム特性を識別するためのものであり、前記１つまたは複数のノイズ合成パラメータを決定することは、さらに、前記１つまたは複数のビデオフレーム特性に基づく、請求項１０または１１に記載のシステム。

【請求項13】

前記１つまたは複数のビデオフレーム特性は、前記１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含む、請求項１３に記載のシステム。

【請求項14】

送信のための前記１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って前記１つまたは複数の入力ビデオフレームをエンコードすることを含む、請求項１０から１３のいずれかに記載のシステム。

【請求項15】

前記決定されたノイズ合成パラメータを提供することは、前記１つまたは複数の入力ビデオフレームに対して適用するためのノイズを合成するために前記クライアントデバイスのための前記決定されたノイズ合成パラメータを提供することを含む、請求項１０から１４のいずれかに記載のシステム。

【請求項16】

ゲームアプリケーションを介して前記１つまたは複数の入力ビデオフレームを生成するための第２のプロセッサをさらに備える、請求項１０から１５のいずれかに記載のシステム。

【請求項17】

前記第１のプロセッサが前記第２のプロセッサとは別のものである、請求項１６に記載のシステム。

【請求項18】

ゲーミングアプリケーションの実行を介して１つまたは複数の入力ビデオフレームを生成することと、
前記１つまたは複数の入力ビデオフレームに関連付けられた量子化パラメータ（ＱＰ）を識別することと、
前記識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために前記１つまたは複数の入力ビデオフレームをエンコードすることと、
前記識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定することと、
前記１つまたは複数の入力ビデオフレームを前記エンコードすることに基づいて前記少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始することと、
を行うための１組の１つまたは複数のプロセッサと、
前記１組の１つまたは複数のプロセッサに結合され、前記１つまたは複数のエンコードされたビデオフレームおよび前記決定された１つまたは複数のノイズ合成パラメータを、少なくとも１つのコンピュータネットワークを介して、１つまたは複数のクライアントコンピューティングシステムに提供するように構成されたネットワークインターフェイスとを備える、サーバコンピューティングシステム。

【請求項19】

前記１組の１つまたは複数のプロセッサはさらに、前記１つまたは複数の入力ビデオフレームを前処理するように前記少なくとも１つのプロセッサを操作するためのものである、請求項１８に記載のサーバコンピューティングシステム。

【請求項20】

１組の実行可能命令はさらに、前記入力ビデオフレームを前記前処理することに基づいて１つまたは複数のビデオフレーム特性を識別するように前記少なくとも１つのプロセッサを操作するためのものであり、前記１つまたは複数のノイズ合成パラメータを決定することはさらに、部分的に前記１つまたは複数のビデオフレーム特性に基づく、請求項１９に記載のサーバコンピューティングシステム。

【請求項21】

前記１つまたは複数のビデオフレーム特性は、前記１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含む、請求項２０に記載のサーバコンピューティングシステム。

【請求項22】

送信のための前記１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って前記１つまたは複数の入力ビデオフレームをエンコードすることを含む、請求項１８に記載のサーバコンピューティングシステム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
「クラウドゲーミング」または「ゲームストリーミング」は、通常、１つまたは複数のリモートサーバ上でビデオゲームアプリケーションを実行することと、得られたビデオ・オーディオコンテンツを、１つまたは複数のネットワーク上で使用者のクライアントデバイスに送信されるビデオストリームおよびオーディオストリームとして、それぞれ提供することとを伴う。グラフィックレンダリング、ビデオキャプチャ、ビデオエンコード、およびビデオストリーミングの関連タスクのいくつかまたはすべての態様を実施するために少なくとも１つのリモートサーバ（つまり、「クラウド」）を利用することにより、使用者はハイエンドのハードウェアクライアントデバイスを使用することなく負荷の高いゲームアプリケーション（performance-taxing game application）を起動することができる。代わりに、使用者は、通常、ディスプレイスクリーン、ビデオストリームを行うことができるデバイス、および、１つまたは複数のユーザ入力デバイスのみを必要とすることができる。

【発明の概要】

【発明が解決しようとする課題】

【0002】

しかし、クラウドゲーミングのシナリオで通常利用されるビデオエンコードプロセスを理由として、提供される出力ビデオストリーム内で、ゲームコンテンツの暗いエリアまたはきめの粗いエリア等のバンディング効果または他のグラフィックアーチファクト（graphical artifact）が可視となる可能性がある。これらのグラフィックアーチファクトは使用者の気をそらす可能性があり、クラウドゲーミングプラットフォームを使用することにおいて阻害要因として動作する可能性がある。

【課題を解決するための手段】

【0003】

実施形態の概要
本明細書で説明される実施形態では、バンディング効果および他のグラフィックアーチファクトを軽減または排除するための、クラウドゲーミングまたは他のビデオストリーミングアプリケーションで有用となり得るような効率的な実時間のノイズパラメータ化技術が提供される。１つまたは複数の入力ビデオフレームについて、入力ビデオフレームに関連付けられることになる量子化パラメータが識別される。識別された量子化パラメータに基づいてノイズ合成パラメータが決定され、入力ビデオフレームが送信のためにエンコードされる。クライアントデバイスによってデコードされた得られたビデオフレームに追加するための合成ノイズを生成する時に当該クライアントデバイスによって使用されるために、決定されたノイズ合成パラメータと共に、エンコードされたビデオフレームがクライアントデバイスに送信される。特定の実施形態では、ノイズ合成パラメータの決定はさらに、１つまたは複数の入力ビデオフレームを前処理することの一部として識別された１つまたは複数のビデオフレーム特性に基づくことができる。

【0004】

例示の一実施形態では、方法は、１つまたは複数の入力ビデオフレームについて、１つまたは複数の入力ビデオフレームに関連付けられた量子化パラメータ（ＱＰ：quantization parameter）を識別することと、識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために１つまたは複数の入力ビデオフレームをエンコードすることと、識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定することと、１つまたは複数の入力ビデオフレームをエンコードすることに基づいて、少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始することとを含むことができる。送信を開始することは、決定された１つまたは複数のノイズ合成パラメータを少なくとも１つのクライアントデバイスに提供することを含み、その結果、１つまたは複数のエンコードされたビデオフレームを表現する量子化信号に加えて、１つまたは複数のノイズ合成パラメータが少なくとも１つのクライアントデバイスに送信される。

【0005】

本方法は、ゲームアプリケーションを介して１つまたは複数の入力ビデオフレームを生成することをさらに含むことができる。これは、１つまたは複数の入力ビデオフレームが合成ビデオコンテンツに関連することを含むことができる（カメラデバイスによって捕捉された現実世界画像から得られるビデオコンテンツとは異なる）。

【0006】

一般に、１つまたは複数のノイズ合成パラメータは、識別されたＱＰの関数として決定され得る。例えば、エンコードされることになるビデオフレームの少なくとも１つのピクセルのために識別されたＱＰの特定の値に応じて、または、識別されたＱＰが存在する値の範囲に応じて、少なくとも１つのピクセルに関連付けられたノイズ合成パラメータを改変（例えば、スケーリング）するかまたは計算するためにマッピングファンクションが使用され得る。

【0007】

本方法は、エンコードすることの前に１つまたは複数の入力ビデオフレームを前処理することをさらに含むことができる。この方法は、入力ビデオフレームを前処理することに基づいて１つまたは複数のビデオフレーム特性を識別することをさらになお含むことができる。１つまたは複数のノイズ合成パラメータを決定することは、部分的に、１つまたは複数のビデオフレーム特性にさらに基づくことができる。１つまたは複数の追加のビデオフレーム特性は、１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含むことができる。

【0008】

送信のための１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格で定義されるフィルム粒子合成プロセスを使用して１つまたは複数の入力ビデオフレームをエンコードすることを含めて、ＡＶ１ビデオコーディング規格に従って１つまたは複数の入力ビデオフレームをエンコードすることを含むことができる。特定の実施形態に関して、特に、対応する規格のバージョンがフィルム粒子合成プロセスを定義する限りにおいて、本開示は、２０１９年１月１８日に公開されたＡＶ１ビデオコーディング規格のバージョン１．０．０および任意の後続のバージョンに従って１つまたは複数の入力ビデオフレームをエンコードすることに特に関連することができる。

【0009】

送信のための１つまたは複数の入力ビデオフレームをエンコードすることはまた、高度ビデオコーディング（ＡＶＣ：Advanced Video Coding）、あるいは、「Ｈ．２６４」規格（２００３年５月３０日に発表されたバージョン１または任意の後続のバージョンなど）、ＶＰ９（２０１３年６月１７日に発表）、および高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）（２０１３年４月１３日に発表されたバージョン１または任意の後続のバージョンなど）に従って１つまたは複数の入力ビデオフレームをエンコードすることを含むことができる。

【0010】

決定されたノイズ合成パラメータを提供することは、１つまたは複数の送信されたビデオフレームに対して適用されるためのノイズを合成することにおいて少なくとも１つのクライアントデバイスによって使用されるための決定されたノイズ合成パラメータを提供することを含むことができる。

【0011】

別の例示の実施形態では、システムは、１つまたは複数の入力ビデオフレームのために、１つまたは複数の入力ビデオフレームに関連付けられた量子化パラメータ（ＱＰ）を識別することと、識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために１つまたは複数の入力ビデオフレームをエンコードすることと、識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定することと、１つまたは複数の入力ビデオフレームをエンコードすることに基づいて、少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始することとを行うための第１のプロセッサを備えることができる。送信を開始することは、決定された１つまたは複数のノイズ合成パラメータを少なくとも１つのクライアントデバイスに提供することを含むことができる。

【0012】

第１のプロセッサはさらに、１つまたは複数の入力ビデオフレームを前処理するためのものであってよい。第１のプロセッサはさらに、入力ビデオフレームの前処理に基づいて１つまたは複数のビデオフレーム特性を識別するためのものであってよい。１つまたは複数のノイズ合成パラメータを決定することはさらに、１つまたは複数のビデオフレーム特性に基づくことができる。１つまたは複数のビデオフレーム特性は、１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含むことができる。

【0013】

送信のための１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って１つまたは複数の入力ビデオフレームをエンコードすることを含むことができる。

【0014】

決定されたノイズ合成パラメータを提供することは、１つまたは複数の入力ビデオフレームに対して適用されるためのノイズを合成するためにクライアントデバイスのための決定されたノイズ合成パラメータを提供することを含むことができる。

【0015】

システムは、ゲームアプリケーションを介して１つまたは複数の入力ビデオフレームを生成するための第２のプロセッサをさらに備えることができる。第１のプロセッサが第２のプロセッサとは別のものであり得る。

【0016】

別の例示の実施形態では、非一時的コンピュータ可読媒体が１組の実行可能命令を具現化する。１組の実行可能命令は、１つまたは複数の入力ビデオフレームに関連付けられた量子化パラメータ（ＱＰ）を識別することと、識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために１つまたは複数の入力ビデオフレームをエンコードすることと、識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定することと、１つまたは複数の入力ビデオフレームをエンコードすることに基づいて、少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始することとを行うように少なくとも１つのプロセッサを操作するためのものである。送信を開始することは、決定された１つまたは複数のノイズ合成パラメータを少なくとも１つのクライアントデバイスに提供することを含むことができる。

【0017】

１組の実行可能命令はさらに、１つまたは複数の入力ビデオフレームを前処理するように少なくとも１つのプロセッサを操作するためのものであってよい。１組の実行可能命令はさらに、入力ビデオフレームを前処理することに基づいて１つまたは複数のビデオフレーム特性を識別するように少なくとも１つのプロセッサを操作するためのものであってよい。１つまたは複数のノイズ合成パラメータを決定することはさらに、１つまたは複数のビデオフレーム特性に部分的に基づくことができる。１つまたは複数のビデオフレーム特性は、１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含むことができる。

【0018】

送信のための１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って１つまたは複数の入力ビデオフレームをエンコードすることを含むことができる。

【0019】

決定されたノイズ合成パラメータを提供することは、１つまたは複数の入力ビデオフレームに対して適用するためのノイズを合成するためにクライアントデバイスのための決定されたノイズ合成パラメータを提供することを含むことができる。

【0020】

１組の実行可能命令はさらに、ゲームアプリケーションを介して１つまたは複数の入力ビデオフレームを生成するように少なくとも１つのプロセッサを操作するためのものであってよい。

【0021】

添付図面を参照することにより、本開示がより良好に理解され、その多数の特徴および利点が当業者には明らかとなる。異なる図面で同じ参照符号を使用することは同様のまたは等しいアイテムを示すものである。

【図面の簡単な説明】

【0022】

【図1】いくつかの実施形態による、分散的ピアツーピアプレイヤ入力およびステートメッセージングを介してマルチプレイヤゲーミングを支援するクラウドゲーミングシステムを示すブロック図である。

【図2】ゲームアプリケーション出力ビデオストリームをエンコードするために使用される典型的なハードウェアアクセラレーションエンコーダによって処理されたビデオフレームの画像を示す図である。

【図3】ノイズ合成をサポートするビデオコーディング規格に関連付けられたオペレーションの例を示す概略ブロック図である。

【図4】ノイズ合成可能なビデオコーディング規格（ｓｙｎｔｈｅｔｉｃ ｎｏｉｓｅ－ｃａｐａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）を用いて生成されたノイズパラメータの使用を描いている、１つまたは複数の実施形態によるオペレーションの例を示す概略ブロック図である。

【図5】１つまたは複数の実施形態による特定の合成ノイズパターンを説明するための自己回帰モデルの例を示す図である。

【図6】１つまたは複数の実施形態による、区分的線形関数ｆ（ｘ）としてモデル化された合成ノイズの相対強度を示す図である。

【図7】ノイズ合成可能なビデオコーディング規格を用いて動的に生成されたノイズパラメータの使用を描いている、１つまたは複数の実施形態によるオペレーションの例を示す概略ブロック図である。

【図8】ビデオフレーム前処理特性に基づいて生成されたノイズパラメータの修正を描いている、１つまたは複数の実施形態によるオペレーションの例を示す概略ブロック図である。

【図9】１つまたは複数の実施形態による、プロセッサベースのパラメータ化ノイズ合成システム（processor-based parameterized noise synthesis system）のオペレーションルーチン８００の概観を示すブロック図である。

【図10】１つまたは複数の実施形態を実装するのに適するコンピューティングシステムの例を示すコンポーネントレベルのブロック図である。

【発明を実施するための形態】

【0023】

詳細な説明
図１は、少なくとも１つの実施形態によるシングルプレイヤおよび／またはマルチプレイヤ（大規模マルチプレイヤを含む）のゲーミングを支援するクラウドゲーミングシステム１００を示すブロック図である。クラウドゲーミングシステム１００は、インターネット等の１つまたは複数のネットワークを介して複数のクライアントデバイス１０６の対応するサブセットに結合された複数のサーバ１０４を有するクラウドプラットフォーム１０２を含む。サーバ１０４は、図の実施形態では高帯域、低レイテンシのサーバ間メッセージングバス１０８を介して相互接続される。サーバ１０４は、通常、物理的近接を介しての送信レイテンシを低減するために地理的エリアの全体にわたって１つまたは複数のデータセンターに分布する。図１の単純化された例では、クラウドプラットフォーム１０２は、９つのクライアントデバイス１０６－１から１０６－９をサポートする３つのサーバ１０４－１から１０４－３を含み、クライアントデバイス１０６－１から１０６－４は、サーバ１０４－１によってサービスが提供され、クライアントデバイス１０６－５および１０６－６は、サーバ１０４－２によってサービスが提供され、クライアントデバイス１０６－７から１０６－８は、サーバ１０４－３によってサービスが提供される。典型的な現実世界の実装では、サーバ１０４の数およびクライアントデバイス１０６の数は、典型的には大幅に高くなることが認識されよう。

【0024】

図の実施形態では、各サーバ１０４は、対応するプレイヤのためのゲームアプリケーションの１つまたは複数のシミュレーションインスタンスの実行を支援する、対応するゲームプラットフォームインスタンスを実行するように動作し、これらのインスタンスの各々は本明細書では「プレイヤシミュレーションインスタンス」と称される。つまり、ゲームプラットフォームインスタンスは、あたかもパーソナルコンピュータ（ＰＣ：personal computer）またはゲームコンソール等のローカルゲーミングデバイス上でゲーミングアプリケーションがプレイされているかのように、対応するプレイヤのためのゲーミングアプリケーションの実行をシミュレートするように、通信／ネットワーク管理、リソース管理、メディアレンダリングエンコード等の、種々のリソースを提供する。したがって、各プレイヤシミュレーションインスタンスは、対応するプレイヤのためのゲーミングアプリケーションの実行またはシミュレーションを表す。説明のために、プレイヤインスタンスは仮想ゲームコンソールであるとみなされ得、したがってこのようなインスタンスは、ネットワーキング、レンダリング、オーディオおよびビデオエンコード、ストリーミング、ならびに、シングルプレイヤおよびマルチプレイヤのゲーミングアプリケーションの両方のためのユーザ入力の受信を含めた単一のゲームランタイムを可能にするコンテナである。

【0025】

各クライアントデバイス１０６は、少なくとも１人のプレイヤのための１つまたは複数の入力／出力デバイスの操作を介してプレイヤ入力を受信するために、さらに、少なくとも１人のプレイヤのためのゲームプレイのそれぞれビジュアルおよびオーディアルコンテンツを表現するビデオおよびオートコンテンツを提供するために利用されるハードウェアおよびソフトウェアのリソースを表す。クライアントデバイス１０６の例は、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、コンピューティング対応携帯電話（compute-enabled cellular phone）（すなわち、「スマートフォン」）、コンピューティング対応テレビ（compute-enabled television）（すなわち、「スマートＴＶ」）などを含む。クライアントデバイス１０６－１を参照して示されるように、各クライアントデバイス１０６は、ディスプレイ１１０、少なくとも１つのゲームコントローラ１１２、クライアントデバイス１０６を対応するサーバ１０４に接続するネットワークに結合するための１つまたは複数のネットワークインターフェイス、プロセッサ、メモリ、マスストレージ、スピーカ、および、当技術分野でよく知られているように入ってくるメディアストリームを処理するための他のコンピューティングリソースを含む。

【0026】

クライアントデバイス１０６は、対応するサーバ１０４において、対応するプレイヤシミュレーションインスタンスの実行から生成されたビデオおよびオーディオストリーム（図示しない）を受信し、送信されたビデオストリームのビデオフレームをデコードして表示するために、および、対応するオーディオコンテンツをデコードして出力するために、その計算リソース、ストレージリソース、およびディスプレイリソースを利用する。いくつかの実施形態では、サーバ１０４で実行されるゲームアプリケーションからのビデオおよびオーディオコンテンツの処理および表示は、クライアントデバイス１０６（および図１ではグラフィカルユーザインターフェイス（ＧＵＩ：graphical user interface）１１４によって示される）で実行されるソフトウェアアプリケーションによって支援される。このソフトウェアアプリケーションは、例えば、クラウドゲーミング専用ソフトウェアアプリケーションを含むことができる。他の実施形態では、より一般的なソフトウェアアプリケーションが利用され、ビデオストリームおよびオーディオストリームは、このソフトウェアアプリケーションに適合するようにサーバ１０４によってフォーマットされて送信される。例えば、一実施形態では、クライアントデバイス１０６は、ビデオによって表現されるビデオコンテンツの表示および関連付けられたオーディオストリームによって表現されるオーディオコンテンツの出力のためにハイパーテキストマークアップ言語（ＨＴＭＬ：hypertext markup language）フォーマットを利用するウェブブラウザを利用し、サーバ１０４は、ウェブブラウザを介して、あるフォーマットでビデオストリームを提供し、表示のためにＨＴＭＬフォーマットに適合するフォーマットでオーディオストリームを提供する。

【0027】

双方向であることにより、プレイヤシミュレーションインスタンスを実行することは、プレイヤとのゲーミングセッションのゲームプレイ経験を少なくとも部分的に管理するために、プレイヤ入力を利用する。このプレイヤ入力が少なくとも部分的にゲームコントローラ１１２を通して受信され、ゲームコントローラ１１２は、ゲームパッド、ジョイスティック、キーボード、マウス、タッチパッド、トラックボール、ハンドルまたは操縦桿、ペダル、ダンスパッド、模擬銃、光学モーショントラッカ、慣性センサ、光源／レーザ源および検出器、等の、任意の多様なＩ／Оデバイスまたはその組合せのいずれかを備える。いくつかの実施形態では、ゲームコントローラ１１２がクライアントデバイス１０６に対してテザリングされ、その結果、プレイヤによるゲームコントローラ１１２の操作によって生成されたプレイヤ入力データは、クライアントデバイス１０６を介して、対応するサーバ１０４に提供される。説明のために、ゲームコントローラ１１２がクライアントデバイス１０６に有線接続または無線接続され得、その結果、ゲームコントローラ１１２によって出力されるすべてのデータは、クライアントデバイス１０６と、クライアントデバイス１０６をサーバ１０４に接続するネットワークとの間で、ネットワークインターフェイスを経由する。他の実施形態では、ゲームコントローラ１１２は、ネットワークを介する、対応するサーバ１０４との別個の独立したネットワーク接続を有する。例えば、クラウドゲーミングシステム１００は、クライアントデバイス１０６およびゲームコントローラ１１２に対してローカルの、インターネットに接続された無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント（図示しない）を採用することができ、クライアントデバイス１０６およびゲームコントローラ１１２の各々は、ＷＬＡＮアクセスポイントを介してインターネット上で対応するサーバ１０４と独立して通信を行うための、ＷＬＡＮアクセスポイントとの別個の無線接続を確立する。

【0028】

クラウドゲーミングシステム１００の全体の概観として、サーバ１０４は、集中マルチプレイヤゲーミングサーバを必要とすることなく、ならびに、したがって、高価なサーバファーム、サーバオペレーションチーム、および、従来の集中的技術を介する大規模マルチプレイヤゲームをサポートするのに通常伴う他の経費の必要性を排除して、各ゲームプラットフォームインスタンスによってサポートされる個別のプレイヤシミュレーションインスタンスの間でのゲームプレイの調整を可能にするピアツーピアインフラストラクチャの使用を介して大規模マルチプレイヤゲームを実装するために、高帯域および低レイテンシのサーバ間メッセージングバス１０８を活用する。

【0029】

低入力レイテンシ（使用者によるクライアント入力とゲームからの応答サーバ出力の受信との間のディレイ）を維持することは、クラウドゲーミングアプリケーションにとって重要であることを理由として、このようなアプリケーションには比較的高い帯域幅の要求が付随する。これらの帯域幅の要求を満たすため、および低レイテンシのビデオストリームを維持するために、ハードウェアアクセラレーションエンコーダ（例えば、ハードウェアアクセラレーションＡＶ１、高度ビデオコーディング（ＡＶＣ）、または「Ｈ．２６４」、ＶＰ９、および高効率ビデオコーディング（ＨＥＶＣ）のエンコーダ）は、ゲームプレイ中に高品質グラフィックを使用者に提供することを保証するために種々のクラウドゲーミングプラットフォームに配備されている。しかし、ビデオストリームの暗いエリアまたはきめの粗いエリア等のバンディング効果がしばしば可視となる。これらのおよび他のグラフィックアーチファクトは使用者の気をそらす可能性があり、このようなクラウドゲーミングプラットフォームを使用することにおいて阻害要因として動作する可能性がある。

【0030】

図２は、ゲームアプリケーション出力をエンコードするために使用される一般的なハードウェアアクセラレーションエンコーダによってエンコードされる画像の例示の単一のビデオフレーム２００を描いている。ビデオフレームは、ビデオフレームの知覚品質を低下させる複数の明らかなバンディング効果を含む複数のエリア２０５（図２の説明図では分かりやすいように単に例示的にこのようなエリアを３つ示す）を含む。

【0031】

このようなバンディング効果は、例えば、ゲームアプリケーションを実行するリモートサーバが空の大きいエリアにわたってわずかにのみ変化する（ＲＧＢの色名）青色等の、円滑な階調度のカラーシェードをレンダリングすることを試みる場合に、生じる可能性がある。エンコーダは、通常、効率的な圧縮のために量子化を利用し、これはピクセルの小さい変化の不正確な表現に繋がり得る。

【0032】

高品質ビデオを別のクライアントにストリームすることを目的としてこのようなバンディング効果を実時間で排除することは、より多くのゲームプレイヤを魅了するために、任意のクラウドゲーミングプラットフォームが解決しなければならない難しい課題である。エンコーダは、圧縮中により小さい量子化パラメータ（ＱＰ）を使用することにより、生じる任意のバンディング効果を低減することを試みることができるが、このようなアプローチは、通常、双方向クラウドベースのゲーミングアプリケーションにはあまり適さない高いビットレートにつながる。したがって、このようなノイズ合成可能なコーディング規格に準拠するいかなるデコーダも、ビデオフレームのエンコードされる送信ビットレートを増大させることなく、送信されるビデオフレームのための所望されるディザリング効果を作るためにパラメータ化されたノイズを強制的に追加させられる可能性がある。本明細書で使用される場合の、ビデオフレーム、ビデオおよびオーディオコンテンツまたは他のコンテンツ、パラメータ、構成設定（configuration setting）等の、任意の「送信」は、このような要素を表現するおよび／または示す任意のデータまたは情報の送信を表すことができることが認識されよう。

【0033】

ＡＶ１コーディング規格等の特定のビデオコーディング規格は、フィルム粒子ノイズをパラメータ化することにより帯域幅の利益を提供するためにノイズ合成能力を提供する。フィルム粒子ノイズは多くのビデオコンテンツに広がり得（意図的および非意図的の両方で）、通常は圧縮することが困難である。一般に、このようなアプローチは、ビデオコンテンツからノイズを抽出して次いでノイズフリーのコンテンツをエンコードすることを伴う。抽出されたノイズがパラメータ化され得、クライアント側のデコーダが簡易パラメータからノイズを再生成することができる。これは、ノイズの多いコンテンツをエンコードするようなアプローチと比較して有意なビットレートの節約につながる。

【0034】

図３はフィルム粒子（ノイズ）合成をサポートするコーディング規格の特定のオペレーションを示す概略ブロック図であり、ここでは、ノイズの多いビデオフレーム３０５は、コンテンツの芸術的誠実さ（artistic integrity）を壊すことなく（つまり、ノイズを維持して）エンコードを行うことが容易になる。ノイズレスのビデオフレーム３２０を作るために、ビデオフレーム３０５内のノイズがブロック３１０で抽出され、抽出されたノイズがブロック３１５で分析されてパラメータ化される。ノイズレスのビデオフレームがブロック３２５でエンコードされる。元のノイズを表現するパラメータは、エンコードされたビットストリーム３３０と共に送信され、ブロック３３５でデコードされる。デコード中またはデコードの後で、デコーダは、デコードされたビデオフレーム３４０の一部分として元のノイズを人工的に再生成するために、生成されたノイズパラメータを使用する。

【0035】

ゲーミングアプリケーションが通常は合成ビデオコンテンツを生成するものだとすると、このようなビデオコンテンツは通常はフィルム粒子ノイズを有しない。しかし、本明細書で提供される技術は、非集中的な演算により、帯域幅を維持する手法でクライアント側のディザリングを作り出すために、生成されたノイズパラメータを利用することによりバンディング効果および他のグラフィックアーチファクトを軽減するかまたはさらには排除するために使用され得る。

【0036】

本明細書で説明されるシステムおよび技術は、概して、クラウドゲーミングまたは他のビデオストリーミングアプリケーションのために十分であるビットレートでビデオコンテンツをストリームすることを可能にしながら、バンディング効果および他のグラフィックアーチファクトを軽減または排除するのに使用するための適切な合成ノイズパラメータを決定して生成するための効率的な実時間プレエンコードスキームの実施形態を対象とする。特定の実施形態では、説明されるシステムおよび技術は、１つまたは複数のＧＰＵシェーダーモジュールを介するなどして、グラフィックプロセッサ（「ＧＰＵ」）を使用して実装され得る。

【0037】

本明細書では、クラウドゲーミングおよびゲームコンテンツに関連する特定の例を利用することができる、ビデオコンテンツをエンコードする、デコードする、および送信することに関連して、システム、技術、およびスキーマが考察され、これらは、画像およびビデオをエンコードする、デコードする、および送信すること等の、追加の非ゲーミングの文脈に適用され得ることが認識されよう。本明細書で提供される例は、このようなコンテンツに関連する特定の帯域幅およびネットワークレイテンシの問題を原因とするゲーミングコンテンツのエンコードおよび送信を伴うシナリオを表すことができ、説明される技術をこのシナリオのみに限定することを示すものとして解釈されるべきではない。

【0038】

図４は、ノイズ合成可能なビデオコーディング規格と併せて、生成されたノイズパラメータの使用を描いている、１つまたは複数の実施形態によるオペレーションを示す概略ブロック図である。種々の実施形態においてゲーミングアプリケーションによって生成され得、したがって有意なフィルム粒子または他のノイズを含まないビデオフレーム４０５は、ブロック４２５でエンコードされる。１つまたは複数のノイズパラメータ４１５が生成され、次いでエンコードされたビットストリーム４３０と共に（または、別個に）クライアントデバイス（図示しない）に送信され、ブロック４３５で、送信されたビットストリームをデコードする。デコード中またはデコードの後で、クライアント側のデコーダは、ディザリングされたビデオフレーム４４０を作り出して提示するために、合成ノイズを生成して、デコーディングされたビットストリームに追加するために、１つまたは複数の生成されたノイズバラメータ４１５を使用する。これらおよび他の実施形態では、合成ノイズを、デコーディングされたビットストリームに追加することによって提供されるビデオフレームのディザリングは、エンコードプロセスにより生じるバンディング効果および他のグラフィックアーチファクトの問題を軽減するかまたはさらには排除する。

【0039】

ノイズパラメータ４１５の生成は、「自然」に見える、つまりバンディング効果または他のグラフィックアーチファクトを有することなく、このようなビデオフレームに追加される得られた合成ノイズが使用者にとって過度に目立つものとならない、ディザリングされたビデオフレームを作り出すことを可能にできることが認識されよう。例えば、任意の無作為のホワイトノイズを単純に追加することでは自然さの低い見た目である、きめの粗い画像が得られる可能性がある。

【0040】

図５は、合成ノイズパターンを説明するための自己回帰モデル５０１の例を示す。図の実施形態では、ピクセル位置５０５にあるノイズ（Ｎ（Ｘ）として示される）は、ガウスノイズおよびａ０～ａ２３の各々の位置で追加されるノイズの加重和として得られ、以下のようになる。

【0041】

Ｎ（Ｘ）＝Ｃ（ａ０）＊Ｎ（ａ０）＋．．．＋Ｃ（ａ２３）＊Ｎ（ａ２３）＋Ｇ
ここで、Ｃ（ａ＃）は、位置ａ＃でノイズＮ（ａ＃）に適用されるスケーリング係数であり、Ｇが単位分散ガウスノイズである。すべての位置ａ＃でＣ＝０を有することは単位分散ガウスノイズのみを使用するという結果になり、これが一般には悪い結果（上で述べたような、自然さの低い見た目である、きめの粗い画像）をもたらすことが認識されよう。非ゼロのスケーリング係数Ｃ（ａ＃）を用いてこのモデルを利用することにより、より自然な見た目のノイズパターンが生成され得る。

【0042】

図６の実施形態では、合成ノイズの相対強度が区分的線形関数ｆ（ｘ）としてモデル化される。例えば、ピクセルコンポーネント値ｘ（ここでは、８ビット入力の場合、ｘ＝０．．２５５）において、追加されることになるノイズがｆ（ｘ）＊Ｎ（）であり、ここでは、Ｎ（）が図４に関連して上で考察したように得られるノイズである。図６は特定の実施形態でｆ（ｘ）がどのように説明され得るかの例を示しており、区分的線形関数ｆ（ｘ）の傾きが変化するところの点のリストを用いている。

【0043】

特定の実施形態では、エンコーディング後の合成ノイズ生成と共に使用されるための効果的なエンコーディング前のパラメータの決定が１回実施され得、その結果、すべてのその後の入力ビデオフレームを処理して送信するのに同じ予め生成されたノイズパターンが使用され得るようになる。他の実施形態では、効果的なパラメータの決定は、入力ビデオフレーム自体の１つまたは複数の特性の変化に反応するなどして、動的に実時間で実施され得る。例えば、特定の実施形態では、各入力ビデオフレームは、入力ビデオフレームをエンコードするための量子化パラメータ（ＱＰ）を決定するために分析され得、合成ノイズを生成するためのパラメータは、少なくとも部分的にこのＱＰに基づいて決定され得る。

【0044】

図７は、ノイズ合成可能なビデオコーディング規格を用いて動的に生成されたノイズパラメータの使用を描いている、１つまたは複数の実施形態によるオペレーションの例を示す概略ブロック図である。図の実施形態では、ビデオフレーム７０５がゲーミングアプリケーションによって生成され、したがって、有意なフィルム粒子または他のノイズを有しない。入力ビデオフレーム７０５がブロック７２５でエンコードされる。しかし、図４の実施形態と対照的に、１つまたは複数の生成されたノイズパラメータは、エンコードプロセス自体のパラメータに基づいて修正され、特に、入力ビデオフレーム７０５をエンコードすることに関連付けられたＱＰに基づいて修正される。一例として、より低いＱＰを使用してエンコードされる入力ビデオフレームはより目立たないバンディング効果または他のグラフィックアーチファクトを受けることができ、これは、より低い程度の合成ノイズでこれらのグラフィックアーチファクトを軽減または排除するのに十分であり得ることを示す。代わりに、より高いＱＰを使用してエンコードされる入力ビデオフレームはより目立つバンディング効果または他のグラフィックアーチファクトを受ける可能性があり、このような効果を軽減または排除するためにより高い程度の合成ノイズが必要となる可能性があることを示す。したがって、特定の実施形態では、ノイズパラメータモディファイア７１０は、エンコード７２５に関連付けられた量子化パラメータ７１２の関数として決定され得る。

【0045】

次いで、ノイズパラメータモディファイア７１０を介して修正された１つまたは複数の生成されたノイズパラメータ７１５は、エンコードされたビットストリーム７３０と共に（または、別個に）、クライアントデバイスに送信され、ブロック７３５でクライアントデバイスによってデコードされる。デコード中またはデコードの後で、クライアント側のデコーダは、ディザリングされたビデオフレーム７４０を作り出して提供するために、提供された１組の１つまたは複数の修正されたノイズパラメータに基づいて、合成ノイズを生成してデコーディングされたビットストリームに追加するために、１つまたは複数のノイズパラメータを使用する。図７の実施形態では１つまたは複数の生成されたノイズパラメータ７１５の修正が説明を容易にするために別個に描かれるが、特定の実施形態では、１つまたは複数のノイズパラメータの「修正」がこの１つまたは複数のノイズパラメータの生成の一部として実施されてもよく、その結果、既に生成されたノイズパラメータに対して別個の修正オペレーションが実施されなくなることが認識されよう。

【0046】

特定の実施形態では、エンコードする前に入力ビデオフレームの前処理が特定の特性を利用または識別する場合などにおいて、１つまたは複数の合成ノイズパラメータは、入力ビデオフレームの前処理にさらに基づいて、生成および／または修正され得る。例えば、１つまたは複数の入力ビデオフレームの分散および／または他の特性は、これらの入力ビデオフレームの前処理の一部として、識別され得る。

【0047】

図８は、ノイズ合成可能なビデオコーディング規格を用いて動的に生成されたノイズパラメータの使用を描いている、１つまたは複数の実施形態によるオペレーションの例を示す概略ブロック図である。図４および図７の実施形態と同様に、図の実施形態では、入力ビデオフレーム（この例では、入力ビデオフレーム８０５）がゲーミングアプリケーションによって生成され、したがって有意なフィルム粒子または他のノイズを含まない。入力ビデオフレーム８０５がブロック８０７で前処理され、この間、入力ビデオフレームの１つまたは複数の特性が識別される。前処理されたビデオフレーム８２０がブロック８２５でエンコードされる。加えて、１組の１つまたは複数の合成ノイズパラメータがブロック８１５で生成され、（ａ）前処理されたビデオフレーム８２０のエンコード８２５に関連付けられたＱＰ、および（ｂ）前処理８０７中に識別された入力ビデオフレーム８０５の１つまたは複数の特性のうちの少なくとも１つの特性に基づいて決定されたノイズパラメータモディファイア８１０を使用して修正される。非限定の一例として、ノイズパラメータモディファイア８１０はさらに、前処理された各ビデオフレーム８２０の分散に部分的に基づいてよい。図７の実施形態に関連して述べたように、図８の実施形態では、１つまたは複数の生成されたノイズパラメータ８１５の修正が説明を容易にするために別個に描かれるが、特定の実施形態では、この１組の１つまたは複数のノイズパラメータの修正がこの１組の１つまたは複数のノイズパラメータの生成の一部として実施されてもよく、その結果、別個の修正オペレーションが実施されなくなることが認識されよう。

【0048】

次いで、ノイズパラメータモディファイア８１０を介して修正された生成されたノイズパラメータ８１５は、エンコードされたビットストリーム８３０と共に（または別個に）、クライアントデバイスに送信され、ブロック８３５でクライアントデバイス（図示しない）によってデコードされる。デコード中またはデコードの後で、クライアント側のデコーダは、ディザリングされたビデオフレーム８４０を作り出して提示するために、提供された１組の１つまたは複数の修正されたノイズパラメータに基づいて、合成ノイズを生成してデコードされたビットストリームに追加するために、１つまたは複数のノイズパラメータを使用する。

【0049】

図９は、１つまたは複数の実施形態による、プロセッサベースのパラメータ化ノイズ合成システム（図１のサーバ１０４および／または図１０のコンピューティングシステム１０００のいずれかの一部分を備えることができるものなど）のオペレーションルーチン９００の概観を示すブロック図である。特定の実施形態では、ビデオ画像フレームは、クラウドゲーミングプラットフォームの１つまたは複数のサーバによって実行されるゲームアプリケーションからの順次的な出力の一部として生成される場合などにおいて、オペレーションルーチン９００は、エンコードおよび送信のために１つまたは複数のビデオ画像フレームを用意するために実時間で実施され得る（例えば、より大きいビデオストリームの各ビデオフレームが生成されるとき）。

【0050】

ルーチンは、ブロック９０５で開始され、ここでは、プロセッサベースのパラメータ化ノイズ合成システムが１つまたは複数のビデオフレームを生成する。種々の実施形態では、１つまたは複数のフレームがシングルコアまたはマルチコアの中央演算処理装置（ＣＰＵ：central processing unit）等の第１のプロセッサによって生成され得、１つまたは複数のクライアントデバイスに送信するために入力ビデオフレームをエンコードする前に、ノイズパラメータ生成および／または他のオペレーションのための別個の第２のプロセッサ（シングルコアまたはマルチコアのＧＰＵなど）に提供される。ルーチンは、ブロック９１０に進む。

【0051】

ブロック９１０で、プロセッサベースのパラメータ化ノイズ合成システムは、１つまたは複数の定められた基準、１つまたは複数の使用者の好み、または明示的な要求に対しての応答に基づくなどして、１つまたは複数の入力ビデオフレームをエンコードの前に前処理すべきかどうかを決定する。前処理すべき場合、ルーチンは、ブロック９１５に進み、そうではない場合、ルーチンは、ブロック９２５に進む。

【0052】

ブロック９１５で、プロセッサベースのパラメータ化ノイズ合成システムは、１つまたは複数の入力ビデオフレームに対して１つまたは複数の前処理オペレーションを実施する。次いで、ルーチンは、ブロック９２０に進み、ここでは、プロセッサベースのパラメータ化ノイズ合成システムは、前処理に基づいて、１つまたは複数の前処理特性を識別する。前処理オペレーションおよび１つまたは複数の前処理特性の識別は、はっきり分かるように別個の順次的なオペレーションとしてここでは描かれるが、種々の実施形態において、入力ビデオフレームの前処理および１つまたは複数のビデオフレーム特性の識別は、同時に、並行的に、または別の非順次的な手法で実施され得ることが認識されよう。ルーチンは、ブロック９２５に進む。

【0053】

ブロック９２５で、プロセッサベースのパラメータ化ノイズ合成システムは、１つまたは複数の入力ビデオフレームをエンコードするために量子化パラメータＱＰを識別する。次いで、ルーチンは、ブロック９３０に進み、ここでは、プロセッサベースのパラメータ化ノイズ合成システムは、ノイズ合成可能なビデオコーディング規格に従って１つまたは複数の入力ビデオフレームをエンコードする。（入力ビデオフレームを前処理することがブロック９１０で決定された場合、エンコードオペレーションは、前処理されたビデオフレームに対して実施されることが認識されよう。）次いで、ルーチンは、ブロック９３５に進む。

【0054】

ブロック９３５で、プロセッサベースのパラメータ化ノイズ合成システムは、識別された量子化パラメータに基づいて、さらには、１つまたは複数の入力ビデオフレームを前処理することがブロック９１０で決定された場合には、前処理中に識別された１つまたは複数のビデオフレーム特性に基づいて、１組の１つまたは複数のノイズ合成パラメータを決定する。本明細書の他の箇所でより詳細に考察するように、種々の実施形態において、１組の１つまたは複数のノイズ合成パラメータが統合オペレーションで生成され得るか、または最初に生成されて、次いで、識別されたＱＰおよび／またはビデオフレーム特性に基づいて修正され得る。次いで、ルーチンは、ブロック９５０に進む。

【0055】

ブロック９５０で、プロセッサベースのパラメータ化ノイズ合成システムが１つまたは複数のクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始し、デコードされたビデオフレームに追加するためにパラメータ化された合成ノイズを生成するときにクライアントデバイスのデコーダによって使用するためなど、決定された１組の１つまたは複数のノイズ合成パラメータを提供する。

【0056】

図１０は、１つまたは複数の実施形態を実装するのに適するコンピューティングシステム１０００の例を示すコンポーネントレベルのブロック図である。代替的な実施形態では、コンピューティングシステム１０００が独立デバイスとして動作することができるかまたは他のシステムに接続され得る（例えば、ネットワーク接続され得る）。種々の実施形態で、コンピューティングシステム１０００の１つまたは複数のコンポーネントは、多様な種類のゲームアプリケーション出力または他のビデオコンテンツを提供するために、１つまたは複数のサーバコンピューティングシステムとして組み込まれ得るかあるいは１つまたは複数のサーバコンピューティングシステム内に組み込まれ得る。関連付けられたサーバコンピューティングデバイスがコンピューティングシステム１０００のいくつかのコンポーネントを含むことができるが、これらのすべてが必要というわけではないことが認識されよう。ネットワーク接続されて配備されると、コンピューティングシステム１０００は、サーバ－クライアントネットワーク環境内で、サーバマシンのキャパシティ、クライアントマシンのキャパシティ、またはその両方のキャパシティにおいて動作することができる。少なくとも１つの例では、コンピューティングシステム１０００は、ピアツーピア（Ｐ２Ｐ）（または、他の分散）ネットワーク環境内でピアシステムとして機能することができる。コンピューティングシステム１０００は、サーバコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、モバイルコンピューティングデバイス、ウェブ装置、ネットワークルータ、スイッチまたはブリッジ、あるいは、このシステムによって行われることになるアクションを指定する命令（順次的であるかまたは他の形である）を実行することができる任意のシステムであってよい。さらに、単一のシステムのみが示されるが、「システム」という用語は、クラウドコンピューティング、サービス型ソフトウェア（ＳａａＳ）、他のコンピュータクラスタ構成等の、本明細書で考察される方法論のうちの任意の１つまたは複数の方法論を実施するための１組の（または複数組の）命令を個別に、またはまとめて実行するシステムの任意の集合体も含むものとしてまた解釈されるものとする。

【0057】

本明細書で説明される例は、論理回路もしくは多数の構成要素、または機構を含むことができるか、あるいは、論理回路もしくは多数の構成要素、または機構により動作することができる。回路は、ハードウェア（例えば、単純回路、ゲート、論理回路など）を含めた有体物内に実装される回路の集合体である。回路とみなされるものは、時間と共に、および、基礎となるハードウェアの変化に応じて、柔軟性を有することができる。回路は、動作時に指定のオペレーションを単独でまたは組合せで実施することができる部材を含む。例では、回路のハードウェアが特定のオペレーションを実行するように不変的に設計され得る（例えば、ハードワイヤード）。例では、回路のハードウェアは、特定のオペレーションの命令をエンコードするために物理的に修正された（例えば、磁気的に、電気的に、不変質量パーティクル（invariant massed particle）の可動である配置など）コンピュータ可読媒体を含む可変的に接続される物理的コンポーネント（例えば、実行ユニット、トランジスタ、単純回路、など）を含むことができる。物理的コンポーネントを接続するとき、ハードウェア構成の基礎となる電気特性は、例えば絶縁体から導体へとまたはその逆で、変更される。これらの命令は、動作時に特定のオペレーションの一部を実行するために可変の接続を介してハードウェア内に回路の部材を埋め込みのハードウェア（例えば、実行ユニットまたはローディング機構）によって作り出すことを可能にする。したがって、コンピュータ可読媒体は、デバイスの動作時に、回路の他のコンポーネントに通信可能に結合される。例では、物理的コンポーネントのうちの任意の物理的コンポーネントは、２つ以上の回路の２つ以上の部材内で使用され得る。例えば、動作下で、実行ユニットは、ある１つの時点において第１の回路の第１の回路内で使用され得、別の時点において第１の回路内の第２の回路によりまたは第２の回路内の第３の回路によって再使用され得る。

【0058】

コンピューティングシステム１０００は、１つまたは複数のハードウェアプロセッサ１００２（例えば、中央演算処理装置（ＣＰＵ）、ハードウェアプロセッサコア、またはこれらの任意の組合せ）、メインメモリ１００４、およびグラフィック処理ユニット（ＧＰＵ）１００６を含むことができ、これらのいくつかまたはすべてがインターリンク（例えば、バス）１００８を介して互いと通信を行うことができる。コンピューティングシステム１０００は、ディスプレイユニット１０１０（ディスプレイモニタまたは他のディスプレイデバイスなど）、英数字の入力デバイス１０１２（例えば、キーボード、あるいは他の物理的アクチュエータまたはタッチベースのアクチュエータ）、およびユーザインターフェイス（ＵＩ）ナビゲーションデバイス１０１４（例えば、マウス、または、タッチベースのインターフェイス等の他のポインティングデバイス）をさらに含むことができる。一例では、ディスプレイユニット１０１０、入力デバイス１０１２、およびＵＩナビゲーションデバイス１０１４は、タッチスクリーンディスプレイを備えることができる。コンピューティングシステム１０００は、ストレージデバイス（例えば、ドライブユニット）１０１６、信号生成デバイス１０１８（例えば、スピーカ）、ネットワークインターフェイスデバイス１０２０、ならびに、全地球測位システム（ＧＰＳ：global positioning system）センサ、コンパス、加速度計、または他のセンサ等の、１つまたは複数のセンサ１０２１をさらに含むことができる。コンピューティングシステム１０００は、１つまたは複数の周辺デバイス（例えば、プリンタ、カード読み取り装置、など）に通信するかまたはこれらを制御するために、シリアル（例えば、ユニバーサルシリアルバス（ＵＳＢ））、パラレル、あるいは他の有線または無線の（例えば、赤外線（ＩＲ）、近距離無線通信（ＮＦＣ：near field communication）等）接続等の、出力コントローラ１０２８を含むことができる。

【0059】

ストレージデバイス１０１６は、本明細書で説明される技術または機能のうちの任意の１つまたは複数の技術または機能を具現化するか、あるいはこれらの技術または機能によって利用される１組または複数の組のデータ構造または命令１０２４（例えば、ソフトウェア）がそこに記憶されるコンピュータ可読媒体１０２２を含むことができる。命令１０２４はさらに、コンピューティングシステム１０００によるその実行中に、メインメモリ１００４内、ＧＰＵ１００６内、またはハードウェアプロセッサ１００２内に完全または少なくとも部分的に存在することもできる。例では、ハードウェアプロセッサ１００２、メインメモリ１００４、ＧＰＵ１００６、またはストレージデバイス１０１６のうちの１つの組合せまたは任意の組合せは、コンピュータ可読媒体を構成することができる。

【0060】

コンピュータ可読媒体１０２２は単一の媒体として示されるが、「コンピュータ可読媒体」という用語は、１つまたは複数の命令１０２４を記憶するように構成された単一の媒体または複数の媒体（例えば、集中データベースまたは分散データベース、ならびに／あるいは関連付けられたキャッシュメモリおよびサーバ）を含むことができる。

【0061】

「コンピュータ可読媒体」という用語は、コンピューティングシステム１０００による実行のための命令を記憶することができるか、エンコードすることができるか、または伝えることができる、および、コンピューティングシステム１０００に、本開示の技術のうちの任意の１つまたは複数の技術を実行させる、あるいはこのような命令によって使用されるかまたはこのような命令に関連付けられたデータ構造を記憶することができるか、エンコードすることができるか、または伝えることができる、任意の媒体を含むことができる。非限定のコンピュータ可読媒体の例には、ソリッドステートメモリ、ならびに光学的および磁気的媒体が含まれ得る。例では、大規模コンピュータ可読媒体（massed computer readable medium）は、不変（例えば、静止）質量を有する複数のパーティクルを用いるコンピュータ可読媒体を備える。したがって、大規模コンピュータ可読媒体は一時的な伝搬信号ではない。大規模コンピュータ可読媒体の具体的な例には、半導体メモリデバイス（例えば、電気的にプログラム可能な読出し専用メモリ（ＥＰＲＯＭ：Electrically Programmable Read-Only Memory）、電気的消去可能・プログラム可能読出し専用メモリ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read-Only Memory））およびフラッシュメモリデバイス等の不揮発性メモリ、内部ハードディスクおよび取り外し可能ディスク等の磁気ディスク、光磁気ディスク、ならびに、ＣＤ－ＲＯＭディスクおよびＤＶＤ－ＲＯＭディスクが含まれ得る。

【0062】

命令１０２４はさらに、多数の転送プロトコル（例えば、フレームリレー、インターネットプロトコル（ＩＰ）、通信制御プロトコル（ＴＣＰ：transmission control protocol）、ユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）、ハイパーテキスト転送プロトコル（ＨＴＴＰ：hypertext transfer protocol）など）のうちの任意の１つの転送プロトコルを利用するネットワークインターフェイスデバイス１０２０を介する伝送媒体を使用して通信ネットワーク１０２６上で送信または受信され得る。例示の通信ネットワークには、とりわけ、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パケットデータネットワーク（例えば、インターネット）、携帯電話ネットワーク（例えば、セルラネットワーク）、プレインオールドテレフォン（ＰＯＴＳ：Plain Old Telephone）ネットワーク、および無線データネットワーク（例えば、Ｗｉ－Ｆｉ（登録商標）として知られる規格の電子電機技術協会（ＩＥＥＥ：Institute of Electrical and Electronics Engineers）８０２．１１ファミリ、ＷｉＭａｘ（登録商標）として知られる規格のＩＥＥＥ８０２．１６ファミリ）、規格のＩＥＥＥ８０２．１５．４ファミリ、ピアツーピア（Ｐ２Ｐ）ネットワークが含まれ得る。例では、ネットワークインターフェイスデバイス１０２０は、１つまたは複数の物理的ジャック（ｐｈｙｓｉｃａｌ ｊａｃｋ）（例えば、イーサネット（登録商標）、同軸、またはフォンジャック）、あるいは、通信ネットワーク１０２６に接続するための１つまたは複数のアンテナを含むことができる。例では、ネットワークインターフェイスデバイス１０２０は、シングルインプット・マルチプルアウトプット（ＳＩＭＯ：single-input multiple-output）技術、マルチプルインプット・マルチプルアウトプット（ＭＩＭＯ：multiple-input multiple-output）技術、またはマルチプルインプット・シングルアウトプット（ＭＩＳＯ：multiple-input single-output）技術のうちの少なくとも１つを使用して無線通信するための複数のアンテナを含むことができる。「伝送媒体」という用語は、コンピューティングシステム１０００によって実行されるための命令を記憶することができるか、エンコードすることができるか、または伝えることができ、デジタル通信信号またはアナログ通信信号を含む、任意の無形媒体、あるいは、このようなソフトウェアの通信を支援するための他の無形媒体を含むものとして解釈されるものとする。

【0063】

いくつかの実施形態では、上で説明される技術の特定の態様は、処理システム実行ソフトウェアの１つまたは複数のプロセッサによって実装され得る。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶されるか、または他の手法で有形的に具現化される１組または複数の組の実行可能命令を含む。ソフトウェアは、１つまたは複数のプロセッサによって実行されるときに、上で説明される技術の１つまたは複数の態様を実施するように１つまたは複数のプロセッサを操作する命令および特定のデータを含むことができる。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスクストレージデバイスまたは光学ディスクストレージデバイス、フラッシュメモリ等のソリッドステートストレージデバイス、キャッシュ、ランダムアクセスメモリ（ＲＡＭ：random access memory）、または、他の不揮発性メモリデバイスなどを含むことができる。非一時的なコンピュータ可読記憶媒体で記憶される実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、あるいは、１つまたは複数のプロセッサによって解釈されるかまたは他の手法で実行可能である他の命令フォーマットであってよい。

【0064】

コンピュータ可読記憶媒体は、命令および／またはデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによりアクセス可能である任意の記憶媒体または記憶媒体の組合せを含むことができる。このような記憶媒体には、限定しないが、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ：digital versatile disc）、ブルーレイディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、またはキャッシュ）、不揮発性メモリ（例えば、読出し専用メモリ（ＲＯＭ）、またはフラッシュメモリ）、あるいは、微小電気機械システム（ＭＥＭＳ：microelectromechanical system）ベースの記憶媒体が含まれ得る。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれ得るか（例えば、システムＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定的に取り付けられ得るか（例えば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられ得るか（例えば、光学ディスク、または、ユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、あるいは、有線ネットワークまたは無線ネットワークを介してコンピュータシステムに結合され得る（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ：network accessible storage））。

【0065】

本概略的な説明において上で説明された動作または要素のすべてが必要というわけではないこと、具体的な動作またはデバイスの一部分が必要ではない可能性があること、および、説明されるものに加えて１つまたは複数のさらに他の動作が実施され得るかまたは１つまたは複数のさらに他の要素が含まれ得ることに留意されたい。なおさらに、動作を列記する順番は必ずしも動作を実施する順番である必要はない。また、特定の実施形態を参照して概念を説明してきた。しかし、以下の特許請求の範囲に記載されるような本開示の範囲から逸脱することなく多様な修正および変更が行われ得ることを当業者であれば認識するであろう。したがって、本明細書および図は限定的な意味ではなく例示的な意味であるとみなされ、このようなすべての修正が本開示の範囲内に含まれることが意図される。

【0066】

特定の実施形態に関連して、他の利点、および問題の解決策を上で説明してきた。しかし、利益、利点、問題の解決策、ならびに利益、利点、または解決策をもたらす、またはより顕著になることができる任意の特徴は、任意のまたはすべての特許請求項の重要な特徴、必要な特徴、または不可欠な特徴として解釈されるべきでない。さらに、本明細書の教示の利益を享受する当業者には明白である、異なるが等価である手法で、開示される主題が修正および実施され得ることを理由として、上で開示される特定の実施形態は単に例示である。以下の特許請求の範囲で説明されるものを除いて、示される本明細書の構成または設計の詳細に限定されることを意図しない。したがって、上で開示される特定の実施形態が改変または修正され得、すべてのこのような変形形態が開示される主題の範囲内にあると考えられることは明らかである。したがって、本明細書で求められる保護は、以下の特許請求の範囲に記載されるとおりである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-02-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１つまたは複数の入力ビデオフレームについて、
前記１つまたは複数の入力ビデオフレームのための量子化パラメータ（ＱＰ）を識別することと、
前記識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために前記１つまたは複数の入力ビデオフレームをエンコードすることと、
前記識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定することと、
前記１つまたは複数の入力ビデオフレームを前記エンコードすることに基づいて、前記少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始することとを含み、前記送信を開始することは、前記決定された１つまたは複数のノイズ合成パラメータを前記少なくとも１つのクライアントデバイスに提供することを含む、コンピュータで実行される方法。

【請求項2】

ゲームアプリケーションを介して前記１つまたは複数の入力ビデオフレームを生成することをさらに含む、請求項１に記載のコンピュータで実行される方法。

【請求項3】

前記１つまたは複数のノイズ合成パラメータは、前記識別されたＱＰの関数として決定される、請求項１または２に記載のコンピュータで実行される方法。

【請求項4】

前記エンコードすることの前に前記１つまたは複数の入力ビデオフレームを前処理することをさらに含む、請求項１から３のいずれかに記載のコンピュータで実行される方法。

【請求項5】

前記入力ビデオフレームを前記前処理することに基づいて１つまたは複数のビデオフレーム特性を識別することをさらに含み、前記１つまたは複数のノイズ合成パラメータを前記決定することは、部分的に前記１つまたは複数のビデオフレーム特性にさらに基づく、請求項４に記載のコンピュータで実行される方法。

【請求項6】

前記１つまたは複数の追加のビデオフレーム特性は、前記１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含む、請求項５に記載のコンピュータで実行される方法。

【請求項7】

送信のための前記１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って前記１つまたは複数の入力ビデオフレームをエンコードすることを含む、請求項１から６のいずれかに記載のコンピュータで実行される方法。

【請求項8】

前記決定されたノイズ合成パラメータを提供することは、前記１つまたは複数の送信されたビデオフレームに対して適用するためのノイズを合成することにおいて前記少なくとも１つのクライアントデバイスによって使用されるための前記決定されたノイズ合成パラメータを提供することを含む、請求項１から７のいずれかに記載のコンピュータで実行される方法。

【請求項9】

少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに結合され前記少なくとも１つのプロセッサによって実行されると、請求項１から７のいずれかに記載の方法を実行するように前記少なくとも１つのプロセッサを操作する１組の実行可能命令を記憶するメモリとを備える、システム。

【請求項10】

システムであって、
１つまたは複数の入力ビデオフレームについて、
前記１つまたは複数の入力ビデオフレームに関連付けられた量子化パラメータ（ＱＰ）を識別し、
前記識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために前記１つまたは複数の入力ビデオフレームをエンコードし、
前記識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定し、
前記１つまたは複数の入力ビデオフレームを前記エンコードすることに基づいて、前記少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始するための第１のプロセッサを備え、前記送信を開始することは、前記決定された１つまたは複数のノイズ合成パラメータを前記少なくとも１つのクライアントデバイスに提供することを含む、システム。

【請求項11】

前記第１のプロセッサはさらに、前記１つまたは複数の入力ビデオフレームを前処理するためのものである、請求項１０に記載のシステム。

【請求項12】

前記第１のプロセッサはさらに、前記１つまたは複数の入力ビデオフレームを前記前処理することに基づいて１つまたは複数のビデオフレーム特性を識別するためのものであり、前記１つまたは複数のノイズ合成パラメータを決定することは、さらに、前記１つまたは複数のビデオフレーム特性に基づく、請求項１１に記載のシステム。

【請求項13】

前記１つまたは複数のビデオフレーム特性は、前記１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含む、請求項１２に記載のシステム。

【請求項14】

送信のための前記１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って前記１つまたは複数の入力ビデオフレームをエンコードすることを含む、請求項１０から１３のいずれかに記載のシステム。

【請求項15】

前記決定されたノイズ合成パラメータを提供することは、前記１つまたは複数の入力ビデオフレームに対して適用するためのノイズを合成するために前記クライアントデバイスのための前記決定されたノイズ合成パラメータを提供することを含む、請求項１０から１４のいずれかに記載のシステム。

【請求項16】

ゲームアプリケーションを介して前記１つまたは複数の入力ビデオフレームを生成するための第２のプロセッサをさらに備える、請求項１０から１５のいずれかに記載のシステム。

【請求項17】

前記第１のプロセッサが前記第２のプロセッサとは別のものである、請求項１６に記載のシステム。

【請求項18】

ゲーミングアプリケーションの実行を介して１つまたは複数の入力ビデオフレームを生成することと、
前記１つまたは複数の入力ビデオフレームに関連付けられた量子化パラメータ（ＱＰ）を識別することと、
前記識別されたＱＰを使用して、少なくとも１つのクライアントデバイスに送信するために前記１つまたは複数の入力ビデオフレームをエンコードすることと、
前記識別されたＱＰに少なくとも部分的に基づいて、１つまたは複数のノイズ合成パラメータを決定することと、
前記１つまたは複数の入力ビデオフレームを前記エンコードすることに基づいて前記少なくとも１つのクライアントデバイスへの１つまたは複数のエンコードされたビデオフレームの送信を開始することと、
を行うための１組の１つまたは複数のプロセッサと、
前記１組の１つまたは複数のプロセッサに結合され、前記１つまたは複数のエンコードされたビデオフレームおよび前記決定された１つまたは複数のノイズ合成パラメータを、少なくとも１つのコンピュータネットワークを介して、１つまたは複数のクライアントコンピューティングシステムに提供するように構成されたネットワークインターフェイスとを備える、サーバコンピューティングシステム。

【請求項19】

前記１組の１つまたは複数のプロセッサはさらに、前記１つまたは複数の入力ビデオフレームを前処理するように少なくとも１つのプロセッサを操作するためのものである、請求項１８に記載のサーバコンピューティングシステム。

【請求項20】

１組の実行可能命令はさらに、前記入力ビデオフレームを前記前処理することに基づいて１つまたは複数のビデオフレーム特性を識別するように前記少なくとも１つのプロセッサを操作するためのものであり、前記１つまたは複数のノイズ合成パラメータを決定することはさらに、部分的に前記１つまたは複数のビデオフレーム特性に基づく、請求項１９に記載のサーバコンピューティングシステム。

【請求項21】

前記１つまたは複数のビデオフレーム特性は、前記１つまたは複数の入力ビデオフレームのうちの少なくとも１つの入力ビデオフレームの分散を含む、請求項２０に記載のサーバコンピューティングシステム。

【請求項22】

送信のための前記１つまたは複数の入力ビデオフレームをエンコードすることは、ＡＶ１ビデオコーディング規格に従って前記１つまたは複数の入力ビデオフレームをエンコードすることを含む、請求項１８に記載のサーバコンピューティングシステム。

【国際調査報告】