特表 2024-512476 敵対的生成ネットワークによる帯域幅消費の削減

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-19

(54)【発明の名称】敵対的生成ネットワークによる帯域幅消費の削減

(51)【国際特許分類】

   H04N 21/462 20110101AFI20240312BHJP

   H04N 21/4402 20110101ALI20240312BHJP

【ＦＩ】

H04N21/462

H04N21/4402

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023557030

(86)(22)【出願日】2022-02-28

(85)【翻訳文提出日】2023-09-15

(86)【国際出願番号】 CN2022078150

(87)【国際公開番号】W WO2022206244

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】17/216,237

(32)【優先日】2021-03-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(74)【復代理人】

【識別番号】110000420

【氏名又は名称】弁理士法人ＭＩＰ

(72)【発明者】

【氏名】シヴァスワミー、ヘマント クマール

(72)【発明者】

【氏名】ヴィアス、アンヴィータ

(72)【発明者】

【氏名】エカムバラム、ヴィジャイ

(72)【発明者】

【氏名】ラクシット、サルバジット ケイ．

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA06

5C164PA33

5C164UB02P

5C164UB41S

5C164UC21P

5C164YA21

5C164YA24

(57)【要約】

コンピュータ実施方法は、メディア・ファイルの所望の解像度品質を決定することと、コンピューティング・デバイスの利用可能なリソースを決定することと、コンピューティング・デバイスの決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ）プラグインのうちの１つを選択することと、選択されたＧＡＮプラグインに対応するメディア・ファイルの第２の解像度品質を推定することを含む。第２の解像度品質は、所望の解像度品質よりも低い。方法はさらに、サーバと通信して、メディア・ファイルを推定された第２の解像度品質で受信することと、選択されたＧＡＮプラグインを使用することによって、受信されたメディア・ファイルを第２の解像度品質から所望の解像度品質に変換することと、変換されたメディア・ファイルを所望の解像度品質で出力することとを含む。

【特許請求の範囲】

【請求項1】

コンピュータ実施方法であって、
メディア・ファイルの所望の解像度品質を決定することと、
コンピューティング・デバイスの利用可能なリソースを決定することと、
前記コンピューティング・デバイスの前記決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ）プラグインのうちの１つを選択することと、
前記選択されたＧＡＮプラグインに対応する前記メディア・ファイルの第２の解像度品質を推定することであって、前記第２の解像度品質が前記所望の解像度品質よりも低い、前記推定することと、
サーバと通信して、前記メディア・ファイルを前記推定された第２の解像度品質で受信することと、
前記選択されたＧＡＮプラグインを使用することによって、前記受信されたメディア・ファイルを前記第２の解像度品質から前記所望の解像度品質に変換することと、
前記変換されたメディア・ファイルを前記所望の解像度品質で出力することと
を含む、コンピュータ実施方法。

【請求項2】

前記第２の解像度品質が、前記選択されたＧＡＮプラグインに関連付けられた最小解像度品質である、請求項１に記載の方法。

【請求項3】

前記複数のＧＡＮプラグインが５つのＧＡＮプラグインを含み、前記複数のＧＡＮプラグインのそれぞれが、前記複数のＧＡＮプラグイン内の他のＧＡＮプラグインとはそれぞれ異なるサイズを有する、請求項１に記載の方法。

【請求項4】

前記複数のＧＡＮプラグインが、前記コンピューティング・デバイスにロードされる前に事前訓練されているインターネット・ブラウザ・プラグインである、請求項１に記載の方法。

【請求項5】

コンピューティング・デバイスの利用可能なリソースを決定することが、履歴データに基づいて前記コンピューティング・デバイスの将来利用可能なリソースを予測することを含み、
前記複数のＧＡＮプラグインのうちの１つを選択することが、前記予測された将来利用可能なリソースに基づいて前記複数のＧＡＮプラグインのうちの１つを選択することを含む、
請求項１に記載の方法。

【請求項6】

前記コンピューティング・デバイスの将来利用可能なリソースを予測することが、
第１の期間における前記コンピューティング・デバイスの第１の将来利用可能なリソースを予測することと、
前記第１の期間が完了する前に、第２の期間における前記コンピューティング・デバイスの第２の将来利用可能なリソースを予測することと
を含み、前記複数のＧＡＮプラグインのうちの１つを選択することが、
前記予測された第１の将来利用可能なリソースに基づいて、前記第１の期間中に使用する第１のＧＡＮプラグインを選択することと、
前記予測された第２の将来利用可能なリソースに基づいて、前記第２の期間中に使用する第２のＧＡＮプラグインを選択することと
を含む、請求項５に記載の方法。

【請求項7】

前記第１のＧＡＮプラグインが前記第２のＧＡＮプラグインとは異なる、請求項６に記載の方法。

【請求項8】

前記サーバから前記メディア・ファイルを受信しながら前記コンピューティング・デバイスの利用可能なリソースを監視して、前記コンピューティング・デバイスの利用可能なリソースの変化を検出することと、
前記コンピューティング・デバイスの利用可能なリソースの前記変化を検出したことに応答して、前記コンピューティング・デバイスの利用可能なリソースの前記検出された変化に基づいて、前記複数のＧＡＮプラグインから第２のＧＡＮプラグインを選択することと、
前記選択された第２のＧＡＮプラグインに対応する前記メディア・ファイルの第３の解像度品質を推定することであって、前記第３の解像度品質が前記所望の解像度品質より低く、前記第２の解像度品質とは異なる、前記推定することと、
前記サーバと通信して、前記メディア・ファイルを前記推定された第３の解像度品質で受信することと、
前記選択された第２のＧＡＮプラグインを使用することによって、前記受信されたメディア・ファイルを前記第３の解像度品質から前記所望の解像度品質に変換することと
をさらに含む、請求項１に記載の方法。

【請求項9】

コンピューティング・デバイスであって
サーバに通信可能に結合されたインターフェースと、
前記インターフェースに通信可能に結合されたプロセッサであって、前記プロセッサが、
メディア・ファイルの所望の解像度品質を決定することと、
前記コンピューティング・デバイスの利用可能なリソースを決定することと、
前記コンピューティング・デバイスの前記決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ）プラグインのうちの１つを選択することと、
前記選択されたＧＡＮプラグインに対応する前記メディア・ファイルの第２の解像度品質を推定することであって、前記第２の解像度品質が前記所望の解像度品質よりも低い、前記推定することと、
前記インターフェースを介して前記サーバと通信して、前記メディア・ファイルを前記推定された第２の解像度品質で要求することと、
前記選択されたＧＡＮプラグインを使用することによって、前記サーバから前記第２の解像度品質で受信された前記メディア・ファイルを前記所望の解像度品質に変換することと、
前記変換されたメディア・ファイルを前記所望の解像度品質で出力することと
を行うように構成される、コンピューティング・デバイス。

【請求項10】

前記第２の解像度品質が、前記選択されたＧＡＮプラグインに関連付けられた最小解像度品質である、請求項９に記載のコンピューティング・デバイス。

【請求項11】

前記プロセッサが、履歴データに基づいて前記コンピューティング・デバイスの将来利用可能なリソースを予測するように構成され、
前記プロセッサが、前記予測された将来利用可能なリソースに基づいて、前記複数のＧＡＮプラグインのうちの１つを選択するように構成される、請求項９に記載のコンピューティング・デバイス。

【請求項12】

前記プロセッサが、
第１の期間における前記コンピューティング・デバイスの第１の将来利用可能なリソースを予測することと、
前記第１の期間が完了する前に、第２の期間における前記コンピューティング・デバイスの第２の将来利用可能なリソースを予測することと、
前記予測された第１の将来利用可能なリソースに基づいて、前記第１の期間中に使用する第１のＧＡＮプラグインを選択することと、
前記予測された第２の将来利用可能なリソースに基づいて、前記第２の期間中に使用する第２のＧＡＮプラグインを選択することと
を行うように構成される、請求項９に記載のコンピューティング・デバイス。

【請求項13】

前記第１のＧＡＮプラグインが前記第２のＧＡＮプラグインとは異なる、請求項１２に記載のコンピューティング・デバイス。

【請求項14】

前記プロセッサが、
前記サーバから前記メディア・ファイルを受信しながら前記コンピューティング・デバイスの利用可能なリソースを監視して、前記コンピューティング・デバイスの利用可能なリソースの変化を検出することと、
前記コンピューティング・デバイスの利用可能なリソースの前記変化を検出したことに応答して、前記コンピューティング・デバイスの利用可能なリソースの前記検出された変化に基づいて、前記複数のＧＡＮプラグインから第２のＧＡＮプラグインを選択することと、
前記選択された第２のＧＡＮプラグインに対応する前記メディア・ファイルの第３の解像度品質を推定することであって、前記第３の解像度品質が前記所望の解像度品質より低く、前記第２の解像度品質とは異なる、前記推定することと、
前記サーバと通信して、前記メディア・ファイルを前記推定された第３の解像度品質で要求することと、
前記選択された第２のＧＡＮプラグインを使用することによって、前記サーバから前記第３の解像度品質で受信された前記メディア・ファイルを前記所望の解像度品質に変換することと
を行うようにさらに構成される、請求項９に記載のコンピューティング・デバイス。

【請求項15】

コンピュータ可読プログラムが記憶されたコンピュータ可読記憶媒体を備えるコンピュータ・プログラム製品であって、前記コンピュータ可読プログラムが、プロセッサによって実行されたとき、前記プロセッサに、
メディア・ファイルの所望の解像度品質を決定することと、
コンピューティング・デバイスの利用可能なリソースを決定することと、
前記コンピューティング・デバイスの前記決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ）プラグインのうちの１つを選択することと、
前記選択されたＧＡＮプラグインに対応する前記メディア・ファイルの第２の解像度品質を推定することであって、前記第２の解像度品質が前記所望の解像度品質よりも低い、前記推定することと、
サーバと通信して、前記メディア・ファイルを前記推定された第２の解像度品質で要求することと、
前記選択されたＧＡＮプラグインを使用することによって、前記サーバから前記第２の解像度品質で受信された前記メディア・ファイルを前記所望の解像度品質に変換することと、
前記変換されたメディア・ファイルを前記所望の解像度品質で出力することと
を実行させる、コンピュータ・プログラム製品。

【請求項16】

前記第２の解像度品質が、前記選択されたＧＡＮプラグインに関連付けられた最小解像度品質である、請求項１５に記載のコンピュータ・プログラム製品。

【請求項17】

前記コンピュータ可読プログラムが、前記プロセッサに、
履歴データに基づいて、前記コンピューティング・デバイスの将来利用可能なリソースを予測することと、
前記予測された将来利用可能なリソースに基づいて、前記複数のＧＡＮプラグインのうちの１つを選択することと
を実行させるようにさらに構成される、請求項１５に記載のコンピュータ・プログラム製品。

【請求項18】

前記プロセッサが、
第１の期間における前記コンピューティング・デバイスの第１の将来利用可能なリソースを予測することと、
前記第１の期間が完了する前に、第２の期間における前記コンピューティング・デバイスの第２の将来利用可能なリソースを予測することと、
前記予測された第１の将来利用可能なリソースに基づいて、前記第１の期間中に使用する第１のＧＡＮプラグインを選択することと、
前記予測された第２の将来利用可能なリソースに基づいて、前記第２の期間中に使用する第２のＧＡＮプラグインを選択することと
を行うように構成される、請求項１５に記載のコンピュータ・プログラム製品。

【請求項19】

前記第１のＧＡＮプラグインが前記第２のＧＡＮプラグインとは異なる、請求項１８に記載のコンピュータ・プログラム製品。

【請求項20】

前記コンピュータ可読プログラムが、前記プロセッサに、
前記サーバから前記メディア・ファイルを受信しながら前記コンピューティング・デバイスの利用可能なリソースを監視して、前記コンピューティング・デバイスの利用可能なリソースの変化を検出することと、
前記コンピューティング・デバイスの利用可能なリソースの前記変化を検出したことに応答して、前記コンピューティング・デバイスの利用可能なリソースの前記検出された変化に基づいて、前記複数のＧＡＮプラグインから第２のＧＡＮプラグインを選択することと、
前記選択された第２のＧＡＮプラグインに対応する前記メディア・ファイルの第３の解像度品質を推定することであって、前記第３の解像度品質が前記所望の解像度品質より低く、前記第２の解像度品質とは異なる、前記推定することと、
前記サーバと通信して、前記メディア・ファイルを前記推定された第３の解像度品質で受信することと、
前記選択された第２のＧＡＮプラグインを使用することによって、前記受信されたメディア・ファイルを前記第３の解像度品質から前記所望の解像度品質に変換することと
を実行させるようにさらに構成される、請求項１５に記載のコンピュータ・プログラム製品。

【発明の詳細な説明】

【背景技術】

【0001】

多くの場合、ユーザは、ユーザのデバイス上で実行されているブラウザまたは他のアプリケーションを使用して、映像などのメディア・コンテンツをストリーミングする。場合によっては、ストリーミングされたメディア・コンテンツのファイル・サイズに対応するのに帯域幅が不十分であることが原因で、ストリーミングされたメディア・コンテンツが一時停止または遅延することがある。例えば、ユーザは、ストリーミングされた映像を、標準精細（ＳＤ：Standard Definition）品質よりもファイル・サイズが大きい高精細（ＨＤ：High Definition）品質で視聴することを望む場合がある。利用可能な帯域幅によっては、ＨＤ品質の映像においてバッファリング遅延などの問題が発生する可能性があり、その結果、ストリーミングされた映像を消費する際のユーザの満足度が低下する。

【発明の概要】

【0002】

本開示の態様は、コンピュータ実施方法、コンピュータ・プログラム製品、およびシステムを含んでもよい。方法の一例は、メディア・ファイルの所望の解像度品質を決定することと、コンピューティング・デバイスの利用可能なリソースを決定することと、コンピューティング・デバイスの決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）プラグインのうちの１つを選択することと、選択されたＧＡＮプラグインに対応するメディア・ファイルの第２の解像度品質を推定することとを含む。第２の解像度品質は、所望の解像度品質よりも低い。方法はさらに、サーバと通信して、メディア・ファイルを推定された第２の解像度品質で受信することと、選択されたＧＡＮプラグインを使用することによって、受信されたメディア・ファイルを第２の解像度品質から所望の解像度品質に変換することと、変換されたメディア・ファイルを所望の解像度品質で出力することとを含む。

【0003】

図面は例示的な実施形態を示しているにすぎず、したがって範囲を限定するものとはみなされないという理解の下に、例示的な実施形態について添付の図面を用いてさらに具体的かつ詳細に説明する。

【図面の簡単な説明】

【0004】

【図1】例示的なシステムの一実施形態のブロック図である。

【図2】例示的なクライアント・デバイスの一実施形態のブロック図である。

【図3】敵対的生成ネットワーク（ＧＡＮ）を介して帯域幅消費を削減する例示的な方法の一実施形態を示す流れ図である。

【発明を実施するための形態】

【0005】

一般的な慣例により、説明される様々な特徴は一定の縮尺で描かれておらず、例示的な実施形態に関連する特定の特徴を強調するように描かれている。

【0006】

以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照しており、図面には特定の例示的な実施形態が例として示されている。しかしながら、他の実施形態が利用されてもよいこと、および論理的、機械的、および電気的変更が加えられてもよいことを理解されたい。さらに、図面および明細書に提示された方法は、個々のステップが実行される順序を限定するものと解釈されるべきではない。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではない。

【0007】

本明細書で使用される「いくつかの（a number of）」は、項目に関して使用される場合、１つまたは複数の項目を意味する。例えば、「いくつかの異なるタイプのネットワーク」は、１つまたは複数の異なるタイプのネットワークである。

【0008】

さらに、「少なくとも１つ」、「１つまたは複数」、および「～または…あるいはその両方（and／or）」という句は、作用において連言と選言との両方であるオープンエンドの表現である。例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つまたは複数」、「Ａ、Ｂ、またはＣのうちの１つまたは複数」、および「Ａ、Ｂ、またはＣあるいはその組合せ」という表現はそれぞれ、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、または、ＡとＢとＣのすべてを意味する。つまり、「～のうちの少なくとも１つ」、「～のうちの１つまたは複数」、および「～または…あるいはその両方（and/or）」は、リストから任意の組合せの項目および任意の数の項目が使用されてもよいが、リスト内のすべての項目が必要なわけではないことを意味する。項目は、特定の物体、物、またはカテゴリであってもよい。さらに、リストされた項目の組合せにおける各項目の量または数は、同じである必要はない。例えば、いくつかの例示的な例において、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」は、例えば、限定はされないが、項目Ａが２個、項目Ｂが１個、および項目Ｃが１０個であるか、もしくは項目Ａが０個、項目Ｂが４個、および項目Ｃが７個であるか、または他の好適な組合せであってもよい。

【0009】

さらに、「ある／１つの（a）」または「ある／１つの（an）」エンティティという用語は、そのエンティティのうちの１つまたは複数を指す。したがって、「ある／１つの（a）」（または「ある／１つの（an）」）、「１つまたは複数の」、および「少なくとも１つの」という用語は、本明細書において同義で使用される場合がある。「備える」、「含む」、および「有する」という用語は同義で使用される場合があることにも留意されたい。

【0010】

さらに、本明細書で使用される「自動的」という用語およびその変形は、プロセスまたは動作が実行されるときに人間の重要な入力なしで行われる任意のプロセスまたは動作を指す。しかしながら、プロセスまたは動作の実行に人間の重要な入力または重要でない入力が使用されるとしても、その入力がプロセスまたは動作の実行前に受信された場合、プロセスまたは動作は自動的である可能性がある。人間の入力がプロセスまたは動作の実行方法に影響を与える場合、その入力は重要であるとみなされる。プロセスまたは動作の実行に同意する人間の入力は「重要」とはみなされない。

【0011】

上述したように、ネットワーク帯域幅の制限により、ストリーミングされたメディア・コンテンツを所望のメディア品質（例えば、ＨＤ、フルＨＤ、クアッドＨＤ、ウルトラＨＤなど）で再生する際にそのような所望のメディア品質が利用可能な帯域幅よりも多くの帯域幅を必要とする場合、遅延バッファリングなどの問題が生じる可能性がある。本明細書に記載の実施形態は、選択可能な敵対的生成ネットワーク（ＧＡＮ）プラグインの使用を通じてこの問題に対処し、ストリーミングされたメディア・コンテンツによって消費されるネットワーク帯域幅量を削減すると同時に、ユーザが望むメディア品質でメディア・コンテンツを提供する。

【0012】

図１は、例示的なシステム１００の一実施形態のブロック図である。システム１００は、ネットワーク１０８を介してサーバ１１０に通信可能に結合されたクライアント・デバイス１０２を含む。ネットワーク１０８は、任意の数の任意の好適な物理通信トポロジまたは論理通信トポロジあるいはその両方を使用して実装され得る。ネットワーク１０８は、１つもしくは複数のプライベート・コンピューティング・ネットワークまたはパブリック・コンピューティング・ネットワークを含んでもよい。例えば、ネットワーク１０８はプライベート・ネットワークを含んでもよい。代替としてまたは追加として、ネットワーク１０８は、インターネットなどのパブリック・ネットワークを含んでもよい。したがって、ネットワーク１０８は、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはインターネットなどのグローバル・ネットワークあるいはその組合せなどのパケットベースのネットワークの一部を形成してもよい。ネットワーク１０８は、１つもしくは複数のサーバ、ネットワーク、またはデータベースを含むことができ、１つまたは複数の通信プロトコルを使用して、サーバ１１０とクライアント・デバイス１０２との間でデータを転送することができる。

【0013】

さらに、ネットワーク１０８は、図１では単一のエンティティとして示されているが、他の例では、パブリック・ネットワークまたはプライベート・ネットワークあるいはその組合せなどの複数のネットワークを含んでもよい。通信ネットワーク１０８は、様々なタイプの物理通信チャネルまたは「リンク」を含むことができる。リンクは、有線、無線、光、または任意の他の好適なメディアあるいはその組合せとすることができる。加えて、通信ネットワーク１０８は、ルータ、スイッチ、基地局、ブリッジ、またはデータの通信を容易にするために有用であり得る任意の他の機器など、ルーティング、スイッチング、および他の機能を実行するための様々なネットワーク・ハードウェアおよびネットワーク・ソフトウェアを含むことができる。

【0014】

サーバ１１０は、メディア・ファイル１１２を記憶し、メディア・ファイル１１２は、メディア・ファイル１１２を求めるクライアント・デバイス１０２からの要求に応答するなどしてネットワーク１０８を介してクライアント・デバイス１０２に提供され得る。説明を簡単にするために図１には単一のクライアント・デバイス１０２、単一のサーバ１１０、および単一のメディア・ファイル１１２が描写されているが、他の実施形態では、２つ以上のクライアント・デバイス１０２、２つ以上のサーバ１１０、または２つ以上のメディア・ファイル１１２あるいはその組合せを使用することができることを理解されたい。例えば、いくつかの実施形態では、同じメディア・ファイル１１２のコピーを複数のサーバ１１０にわたって記憶することができる。さらに、いくつかの実施形態では、単一のメディア・ファイル１１２を複数のサーバ１１０にわたって分散することができる。さらに、複数の異なるメディア・ファイルを同じサーバ１１０上にまたは複数のサーバ１１０にわたってあるいはその両方で記憶することができる。加えて、いくつかの実施形態では、複数のクライアント・デバイス１０２が、同じもしくは異なるサーバ１１０から同じメディア・ファイル１１２または異なるメディア・ファイル１１２を要求することができる。

【0015】

クライアント・デバイス１０２は、複数のＧＡＮプラグイン１０４と、リソース・モニタ１０６とを含む。ＧＡＮは、教師なし機械学習を使用して低品質の画像／映像を高品質の画像／映像に変換することができるニューラル・ネットワークの一種である。具体的には、ＧＡＮアーキテクチャは、生成器モデルおよび識別器モデルを含む。生成器モデルは、サンプル・ドメインの新しい実現可能な例、例えば、画像の新しい画素を生成するために使用される。識別器モデルは、どの画素が実際の画素または元の画素であるか、およびどの画素が偽の画素または生成された画素であるかを判定するために使用される。識別器モデルが生成された画素と実際のまたは元の画素とを区別できないような程度に到達することを目指して、２つのモデルを一緒に訓練することができる。しかしながら、所与のＧＡＮモデルは、あらゆる場合において、識別器が生成された画素と元の画素とを区別できないような程度に到達する必要があるわけではない。

【0016】

生成器モデルおよび識別器モデルは、畳み込みニューラル・ネットワーク（ＣＮＮ：Convolutional Neural Network）を使用して実装され得る。畳み込みニューラル・ネットワーク（ＣＮＮ）は、視覚画像の分析に成功裏に適用されている深層順伝播型人工ニューラル・ネットワークのクラスである。畳み込みニューラル・ネットワークは、学習可能な重みおよびバイアスを有する人工的な構造またはニューロンのような構造で構成される。各ニューロンはいくつかの入力を受け取り、ドット積を実行する。畳み込みニューラル・ネットワーク・アーキテクチャは、典型的には、入力（例えば、単一ベクトル）を受け取るように動作する層のスタックを備え、その入力を一連の隠れ層を通じて変換する。各隠れ層は一組のニューロンで構成されており、各ニューロンは学習可能な重みおよびバイアスを有し、各ニューロンは前の層内のすべてのニューロンに全結合されることが可能であり、単一層内のニューロンは、共有結合なしで独立して機能することができる。最後の層は全結合された出力層であり、分類設定において出力層はクラス・スコアを表し、クラス・スコアは、任意の実数値、または（例えば、回帰における）実数値ターゲットとすることができる。しかしながら、本明細書で説明される実施形態は、ＧＡＮを実装するためのＣＮＮの使用に限定されないことを理解されたい。

【0017】

ＧＡＮネットワークの正確度は、ＧＡＮのアーキテクチャ、例えば使用されているＧＡＮのネットワーク・サイズまたはレイヤ数などに依存する。サイズが大きいＧＡＮは、ネットワーク・サイズが小さいＧＡＮよりも多くのクライアント・デバイス１０２の処理リソースを必要とする。複数のＧＡＮプラグイン１０４は、様々なサイズのＧＡＮを含む。その結果、ＧＡＮプラグイン１０４のそれぞれは、メモリ、ＣＰＵなどの処理リソースについて異なる要件を有する。さらに、各ＧＡＮプラグイン１０４は異なるネットワーク・サイズを有するので、各ＧＡＮプラグイン１０４は異なるサイズの入力を変換することが可能である。例えば、いくつかの実施形態では、最も高いリソース要件を有する最も大きいＧＡＮプラグインは、１４４画素（１４４ｐ）の映像を１０８０ｐの映像に変換することができ、一方、最も低いリソース要件を有する最も小さいＧＡＮプラグインは、７２０ｐの映像を１０８０ｐの映像に変換することしかできない。したがって、必要な入力のサイズまたは解像度品質は、ＧＡＮプラグイン・ネットワークのサイズに反比例する（すなわち、ＧＡＮプラグインが小さいほど、所望の解像度への変換に必要な画素または映像品質は大きくなる）。

【0018】

いくつかの実施形態では、クライアント・デバイス１０２がＧＡＮプラグインを選択する対象となる５つのＧＡＮプラグインが存在する。いくつかのそのような実施形態では、第１の最も小さいＧＡＮプラグインは、７２０ｐの映像を１０８０ｐに変換するように構成される。第２のまたは次のＧＡＮプラグインは、４８０ｐの映像を１０８０ｐに変換するように構成される。第３のＧＡＮプラグインは、３６０ｐの映像を１０８０ｐに変換するように構成される。第４のＧＡＮプラグインは、２４４ｐの映像を１０８０ｐに変換するように構成される。第５のまたは最も大きいＧＡＮプラグインは、１４４ｐの映像を１０８０ｐに変換するように構成される。上記で使用された映像品質／サイズは目的のためにのみ提供されており、他の実施形態では他の入力映像サイズおよび出力映像サイズも使用できることを理解されたい。さらに、他の実施形態では、５つを超えるまたは５つ未満の様々なサイズのＧＡＮプラグインを使用できることを理解されたい。

【0019】

クライアント・デバイス１０２は、リソース・モニタ１０６をさらに含む。リソース・モニタ１０６は、クライアント・デバイス１０２の処理能力を監視するように構成される。すなわち、リソース・モニタ１０６は、実行されているプロセスおよびアプリケーション、ならびに利用されているリソース（例えば、ＣＰＵ、メモリ、バス帯域幅など）の量を追跡する。リソース・モニタ１０６は、使用されているリソース量およびクライアント・デバイス１０２の総リソース容量に基づいて、ＧＡＮプラグイン１０４のうちの１つによって使用可能なリソース量を決定することができる。したがって、クライアント・デバイス１０２は、使用可能なリソース量とＧＡＮプラグイン１０４のそれぞれによって必要とされるそれぞれのリソース量とを比較することによって、ＧＡＮプラグイン１０４のうち、サーバ１１０から受信されたメディア・コンテンツを処理するための１つのＧＡＮプラグインを選択する。

【0020】

ＧＡＮプラグイン１０４のうちの１つを選択した後、クライアント・デバイス１０２は、選択されたＧＡＮプラグイン１０４が映像を所望の解像度品質に変換するために必要とされる最小映像解像度を推定する。上述したように、各ＧＡＮプラグイン１０４は、所望の出力解像度品質に変換するための入力として必要とされる最小映像解像度品質を有する。したがって、クライアント・デバイス１０２は、選択されたＧＡＮプラグイン１０４および所望の出力品質に基づいて、必要とされる最小入力解像度品質を推定することができる。クライアント・デバイス１０２は、サーバ１１０と通信して、クライアント・デバイス１０２によって決定された最小入力解像度で映像ファイルを送信するようサーバ１１０に命令する。映像ファイルは、要求された最小入力解像度で受信され、選択されたＧＡＮプラグイン１０４は、ユーザによる再生／視聴のために、受信した映像ファイルを処理して所望の解像度品質に変換する。

【0021】

選択されたＧＡＮプラグイン１０４を使用する変換は、映像が受信されているときにリアルタイムで行うことができることを理解されたい。例えば、いくつかの実施形態では、映像ファイルがサーバ１１０からストリーミングされている間に、ユーザは映像ファイルを消費または視聴している。しかしながら、他のいくつかの実施形態では、ユーザが映像ファイルを視聴する前に、映像ファイルをサーバ１１０から完全にダウンロードまたは受信することができる。例えば、ユーザは、映像ファイルを視聴したい時間を指定してもよい。いずれの状況においても、本明細書に記載の実施形態では、映像ファイルをユーザが視聴する出力解像度品質よりも低い解像度品質で送信することができるので、映像ファイルをサーバ１１０からクライアント・デバイス１０２に送信するために必要な帯域幅量が削減される。したがって、解像度品質が低くなるとファイルが小さくなるので、映像ファイルを送信するために使用される帯域幅量が削減される。

【0022】

さらに、いくつかの実施形態では、クライアント・デバイス１０２の利用可能なリソースは、サーバ１１０から映像ファイルを受信するプロセス全体を通じて同じでも静的でもない。例えば、クライアント・デバイス１０２は、メディア・ファイル１１２が最初にサーバ１１０から要求されたときと比較して、他のアプリケーションまたはバックグラウンド・プロセスに対してより多くのリソースを使用することを開始してもよく、これにより、ＧＡＮプラグイン１０４に利用可能なリソース量は減少する。代替として、クライアント・デバイス１０２は、メディア・ファイル１１２が最初にサーバ１１０から要求されたときと比較して、他のプロセスまたはアプリケーションに対してより少ないリソースを使用することを開始してもよく、これにより、ＧＡＮプラグイン１０４に利用可能なリソースの量は増加する。したがって、いくつかの実施形態では、リソース・モニタ１０６は、他のプロセス／アプリケーションによって利用されるリソース量が変化したときに、ＧＡＮプラグイン１０４によって使用可能なリソース量を更新する。次いで、クライアント・デバイス１０２は、変更された利用可能なリソースに基づいて異なるＧＡＮプラグイン１０４を選択することができ、サーバ１１０と通信して、クライアント・デバイス１０２に送信されているメディア・ファイル１１２の対応する解像度を変更する。

【0023】

さらに、いくつかの実施形態では、リソース・モニタ１０６は、リソース使用量データの履歴を維持し、リソース使用量データは、限定されないが、どのプロセス／アプリケーションが実行されているか、各プロセス／アプリケーションが実行された平均時間または最長／最短時間あるいはその両方、各プロセス／アプリケーションによって利用される各処理リソースの平均量、最大量、または最小量あるいはその組合せなどの様々な因子を含むことができる。このようにして、クライアント・デバイス１０２は、所与の期間における利用可能なリソース量を予測することができる。例えば、いくつかの実装形態では、クライアント・デバイス１０２は、メディア・ファイル１１２がどの程度大きいか、または映像がどの程度長いかを認識しない。しかしながら、クライアント・デバイス１０２は、履歴データを利用して、限定されないが４５秒という期間などの所与の期間における利用可能なリソースを予測することができる。例えば、期間は、秒、分などで測定され得る。

【0024】

したがって、メディア・ファイル１１２を受信するための合計時間を複数の連続する期間に分割することができる。合計時間を分割する期間は、同じ長さにすることも、異なるサイズの期間にすることもできる。各期間について、クライアント・デバイス１０２は、その期間における利用可能なリソースを予測し、予測された利用可能なリソースに基づいてＧＡＮプラグインを選択し、サーバ１１０と通信して、各期間中にメディア・ファイル１１２の対応する解像度品質が送信されるようにその期間のメディア・ファイル１１２の解像度品質を調整することができる。このようにして、クライアント・デバイス１０２は、メディア・ファイル１１２を受信するプロセス中に、受信されているメディア・ファイル１１２の入力解像度品質を調整するとともに、利用可能なリソースの変化に適応するために使用されているＧＡＮプラグイン１０４を調整しながら、ユーザに比較的一貫した出力解像度品質を提供することができる。例えば、バックグラウンド・プロセスは、リソース使用量に関する情報を経時的に絶えず収集する。第１の期間後に利用可能なリソースが多くなるか、または多くなると予測される場合、クライアント・デバイス１０２は、次の連続する期間について、より大きいＧＡＮプラグイン１０４にアップグレードすることができる。同様に、第１の期間後に利用可能なリソースが少なくなるか、または少なくなると予測される場合、クライアント・デバイス１０２は、次の連続する期間について、より小さいＧＡＮプラグイン１０４にダウングレードすることができる。

【0025】

いくつかの実施形態では、各ＧＡＮプラグイン１０４は、事前訓練され、訓練後にクライアント・デバイス１０２にロードされ得る。加えて、ＧＡＮプラグイン１０４は、インターネット・ブラウザ・アプリケーション用のプラグインとして、または、サーバ１１０からメディア・ファイル１１２をストリーミングすることまたは他の方法で受信することあるいはその両方が可能な他のアプリケーションまたはソフトウェアプログラム用のプラグインとして実装され得る。さらに、図１には、説明を簡単にするためにＧＡＮプラグイン１０４およびリソース・モニタ１０６が別個のエンティティとして記載されていることを理解されたい。しかしながら、ＧＡＮプラグイン１０４、クライアント・デバイス１０２、およびリソース・モニタ１０６に関して上述した機能は、図１の例で上述した方法以外の方法で、単一のエンティティによって実行されることまたは複数のエンティティ間で分割されること、あるいはその両方が可能であることを理解されたい。例えば、いくつかの実施形態では、利用可能なリソースを監視および予測する機能を、所与の期間中に実行される選択されたＧＡＮプラグイン１０４の一部によって実行することができる。

【0026】

図２は、ＧＡＮプラグイン１０４とリソース・モニタ１０６とを含むクライアント・デバイス１０２の機能を実施するように構成されたコンピューティング・デバイス２００の一実施形態のブロック図である。図２に示すコンピューティング・デバイス２００の構成要素は、１つまたは複数のプロセッサ２０２、メモリ２０４、ストレージ・インターフェース２１６、入力／出力（「Ｉ／Ｏ」）デバイス・インターフェース２１２、およびネットワーク・インターフェース２１８を含み、これらはすべて、メモリ・バス２０６、Ｉ／Ｏバス２０８、バス・インターフェース・ユニット（「ＩＦ」）２０９、およびＩ／Ｏバス・インターフェース・ユニット２１０を介した構成要素間通信のために、直接的または間接的に通信可能に結合される。

【0027】

図２に示す実施形態では、コンピューティング・デバイス２００は、１つまたは複数の汎用プログラマブル中央処理ユニット（ＣＰＵ）２０２Ａおよび２０２Ｂを含み、これらは本明細書においてプロセッサ２０２と総称される。いくつかの実施形態では、コンピューティング・デバイス２００は複数のプロセッサを含む。しかしながら、他の実施形態では、コンピューティング・デバイス２００は単一のＣＰＵシステムである。各プロセッサ２０２は、メモリ２０４に記憶された命令を実行する。また、実施形態は中央処理ユニット・チップに関して説明されているが、本明細書で説明される実施形態は、ＣＰＵチップに加えてまたはＣＰＵチップの代わりに、デジタル信号プロセッサ（ＤＳＰ）またはグラフィック処理ユニット（ＧＰＵ）・チップあるいはその両方を利用するコンピュータ・システムにも適用可能であることを理解されたい。したがって、本明細書におけるプロセッサまたは処理ユニットへの言及は、ＣＰＵチップ、ＧＰＵチップ、またはＤＳＰあるいはその組合せを指す可能性がある。

【0028】

いくつかの実施形態では、メモリ２０４は、データおよびプログラムを記憶または符号化するための、ランダム・アクセス半導体メモリ、記憶デバイス、または記憶媒体（揮発性または不揮発性のいずれか）を含む。例えば、メモリ２０４は、命令２１１、リソース・データ２１３、および複数のＧＡＮプラグイン２１５を記憶する。命令２１１は、プロセッサ２０２などのプロセッサによって実行されたとき、監視すること、リソース・データ２１３を収集すること、リソース使用量を予測すること、ＧＡＮプラグイン２１５のうちの１つを選択すること、および選択されたＧＡＮプラグイン２１５を実行して受信された入力メディア・ファイルの映像品質を変換することに関して本明細書で説明されている機能および算出をプロセッサ２０２に実行させる。

【0029】

いくつかの実施形態では、メモリ２０４は、コンピューティング・デバイス２００の仮想メモリ全体を表し、ネットワークを介してコンピューティング・デバイス２００に結合された他のコンピュータ・デバイスの仮想メモリも含んでもよい。いくつかの実施形態では、メモリ２０４は単一のモノリシックなエンティティであるが、他の実施形態では、メモリ２０４はキャッシュおよび他のメモリ・デバイスの階層を含む。例えば、メモリ２０４は、複数レベルのキャッシュに存在することができ、これらのキャッシュは、あるキャッシュが命令を保持し別のキャッシュが非命令データを保持するように、プロセッサによって使用される機能ごとにさらに分割されてもよい。メモリ２０４は、例えば、様々ないわゆる不均一メモリ・アクセス（ＮＵＭＡ：non-uniform memory access）・コンピュータ・アーキテクチャにおいて知られているように、さらに分散されて異なる処理ユニットまたは処理ユニットのセットに関連付けられてもよい。したがって、図２に示す例では説明のために、命令２４０、リソース・データ２１３、およびＧＡＮプラグイン２１５が同じメモリ２０４に記憶されているが、他の実施形態では異なる方法で実装され得ることを理解されたい。例えば、命令２４０、リソース・データ２１３、またはＧＡＮプラグイン２１５あるいはその組合せは、複数の物理媒体にわたって分散され得る。

【0030】

図２に示す実施形態におけるコンピューティング・デバイス２００は、プロセッサ２０２と、メモリ２０４と、表示システム２２４と、Ｉ／Ｏバス・インターフェース・ユニット２１０との間の通信を処理するためのバス・インターフェース・ユニット２０９も含む。Ｉ／Ｏバス・インターフェース・ユニット２１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス２０８と結合される。具体的には、Ｉ／Ｏバス・インターフェース・ユニット２１０は、Ｉ／Ｏプロセッサ（ＩＯＰ）またはＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインターフェース・ユニット２１２、２１６、および２１８と、Ｉ／Ｏバス２０８を介して通信することができる。表示システム２２４は、表示コントローラ、表示メモリ、またはその両方を含む。表示コントローラは、映像、静止画像、音声、またはそれらの組合せを表示デバイス２２６に提供することができる。表示メモリは、映像データをバッファリングするための専用メモリであってもよい。表示システム２２４は表示デバイス２２６と結合される。いくつかの実施形態では、表示デバイス２２６は、音声をレンダリングするための１つまたは複数のスピーカも含む。代替として、音声をレンダリングするための１つまたは複数のスピーカは、Ｉ／Ｏインターフェース・ユニットと結合されてもよい。代替の実施形態では、表示システム２２４によって提供される１つまたは複数の機能は、プロセッサ２０２も含む集積回路に搭載される。加えて、いくつかの実施形態では、バス・インターフェース・ユニット２０９によって提供される機能のうちの１つまたは複数は、プロセッサ２０２も含む集積回路に搭載される。

【0031】

Ｉ／Ｏインターフェース・ユニットは、様々なストレージおよびＩ／Ｏデバイスとの通信をサポートする。例えば、Ｉ／Ｏデバイス・インターフェース・ユニット２１２は、１つまたは複数のユーザＩ／Ｏデバイス２２０の連結をサポートし、１つまたは複数のユーザＩ／Ｏデバイス２２０は、ユーザ出力デバイスおよびユーザ入力デバイス（キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライト・ペン、または他のポインティング・デバイスなど）を含んでもよい。ユーザは、入力データおよびコマンドをユーザＩ／Ｏデバイス２２０に提供するために、ユーザ・インターフェースを使用してユーザ入力デバイスを操作することができる。さらに、ユーザは、ユーザ出力デバイスを介して出力データを受信することができる。例えば、ユーザ・インターフェースは、表示デバイス上に表示される、またはスピーカを介して再生されるなど、ユーザＩ／Ｏデバイス２２０を介して提示されてもよい。

【0032】

ストレージ・インターフェース２１６は、フラッシュ・メモリなどの１つまたは複数のストレージ・デバイス２２８の連結をサポートする。メモリ２０４のコンテンツまたはその任意の部分は、ストレージ・デバイス２２８に記憶され、必要に応じてストレージ・デバイス２２８から取得されてもよい。ネットワーク・インターフェース２１８は、コンピューティング・デバイス２００から他のデジタル・デバイスおよびコンピュータ・デバイスへの１つまたは複数の通信経路を提供する。例えば、いくつかの実施形態では、コンピューティング・デバイス２００は、メディア・ファイルを要求および受信するために、ネットワーク・インターフェース２１８を介してサーバ１１０などのサーバと通信することができる。さらに、コンピューティング・デバイス２００は、メディア・ファイルの所望の解像度品質を示すために、ネットワーク・インターフェース２１８を介してサーバと通信することができる。

【0033】

図２に示すコンピューティング・デバイス２００は、プロセッサ２０２と、メモリ２０４と、バス・インターフェース・ユニット２０９と、表示システム２２４と、Ｉ／Ｏバス・インターフェース・ユニット２１０との間の直接通信経路を提供する特定のバス構造を例示しているが、代替の実施形態では、コンピューティング・デバイス２００は、異なるバスまたは通信経路を含み、これらは、階層型構成、スター型構成、もしくはウェブ型構成のポイント・ツー・ポイント・リンク、複数の階層バス、並列経路および冗長経路、または任意の他の適切なタイプの構成など、様々な形式のいずれかで配置されてもよい。さらに、Ｉ／Ｏバス・インターフェース・ユニット２１０およびＩ／Ｏバス２０８は単一の個別のユニットとして示されているが、他の実施形態では、コンピューティング・デバイス２００は、複数のＩ／Ｏバス・インターフェース・ユニット２１０または複数のＩ／Ｏバス２０８あるいはその両方を含むことができる。様々なＩ／Ｏデバイスまで延びる様々な通信経路からＩ／Ｏバス２０８を分離する複数のＩ／Ｏインターフェース・ユニットが示されているが、他の実施形態では、Ｉ／Ｏデバイスの一部またはすべてが、１つまたは複数のシステムＩ／Ｏバスに直接接続される。

【0034】

上述したように、いくつかの実施形態では、図２に示す構成要素およびデータのうちの１つまたは複数は、本明細書に記載の機能を実施するために、プロセッサ２０２上で実行される命令もしくはステートメント、またはプロセッサ２０２上で実行される命令もしくはステートメントによって解釈される命令もしくはステートメントを含む。他の実施形態では、図２に示す構成要素のうちの１つまたは複数は、プロセッサベースのシステムの代わりにまたはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、または他の物理ハードウェア・デバイスあるいはその組合せを介してハードウェアに実装される。加えて、他の実施形態では、図２に示す構成要素のうちのいくつかを省略すること、または他の構成要素を含めること、あるいはその両方が可能である。

【0035】

図３は、敵対的生成ネットワーク（ＧＡＮ）を介して帯域幅消費を削減する例示的な方法３００の一実施形態を示す流れ図である。方法３００は、上述したコンピューティング・デバイス２００などのコンピューティング・デバイスによって実施され得る。例示的な方法３００におけるアクションの順序は説明のために提供されたものであり、他の実施形態では方法を異なる順序で実行できることを理解されたい。同様に、他の実施形態ではいくつかのアクションを省略できること、または追加のアクションを含めることができることを理解されたい。

【0036】

３０２において、複数のＧＡＮプラグインが作成および訓練される。本明細書で述べたように、複数のＧＡＮプラグインのそれぞれは、異なるネットワーク・サイズを利用することができ、選択された出力解像度を達成するための最小入力解像度について異なる要件を有することができる。さらに、各ＧＡＮプラグインは、他のＧＡＮプラグインとは異なる、メモリ、ＣＰＵなどのリソースを処理するための要件を有することができる。いくつかの実施形態では、それぞれが異なるネットワーク・サイズを有する５つのＧＡＮプラグインが作成される。各ＧＡＮプラグインは、コンピューティング・デバイスにロードする前に事前訓練され得る。さらに、いくつかの実施形態では、ＧＡＮプラグインはインターネット・ブラウザ・プラグインとすることができる。他の実施形態では、ＧＡＮプラグインは、スタンドアロン・アプリケーション、またはサーバからメディア・ファイルを取得することが可能な他のプログラムに組み込まれたプラグイン、あるいはその両方とすることができる。

【0037】

３０４において、メディア・ファイル（例えば、画像または映像ファイル）の所望の解像度品質が決定される。例えば、ユーザは、サーバから取得するメディア・ファイルを選択することができる。このようなサーバは、ビデオ共有ウェブサイト、ソーシャル・メディア・プラットフォーム、ファイル転送プロトコル（ＦＴＰ）サーバ、またはローカル・エリア・ネットワークまたはインターネットなどのワイド・エリア・ネットワークを介してアクセスされる他のリモート・ロケーションを含むことができるが、これらに限定されない。いくつかの実施形態では、ユーザの選択を検出したことに応答して、メディア・ファイルの所望の解像度品質を選択するための質問への入力をユーザに促すことができる。他の実施形態では、ユーザは、メディア・ファイルの所望のデフォルト解像度品質を先験的に入力することができる。さらに他の実施形態では、システムは、ユーザの応答から学習して、履歴データに基づいて、どの解像度の品質をユーザに提供すべきかを自動的に決定することができる。解像度品質は、１０８０ｐ、７２０ｐなどの従来の表記法を使用して示すことができる。

【0038】

３０６において、ユーザのコンピューティング・デバイスの利用可能なリソースが決定される。上述したように、利用可能なリソースには、ＣＰＵ、メモリ、バス帯域幅などが含まれ得るが、これらに限定されない。本明細書で使用される利用可能なリソースは、別のプロセスまたはアプリケーションによって利用も予約もされておらず、したがって受信したメディア・ファイルを処理および変換するためにＧＡＮプラグインによって使用可能なリソースを指す。いくつかの実施形態では、現在利用可能なリソースが決定される。他の実施形態では、現在利用可能なリソースに加えて、上述したように将来利用可能なリソースが予測される。例えば、上述したように、ユーザのコンピューティング・デバイス上のリソース使用量を長期にわたって監視して、履歴データの記録を蓄積することができる。いくつかの実施形態では、履歴データに基づいて、将来利用可能なリソースを決定することができる。加えて、いくつかの実施形態では、将来利用可能なリソースを予測することは、第１の期間における将来利用可能なリソースを予測することを含み、第１の期間の完了前に、第２の期間における第２の将来利用可能なリソースが予測される。例えば、上述したように、メディア・ファイルのファイル・サイズは不明であり、したがってメディア・ファイルをダウンロードまたは受信するための時間は、より短い期間、例えば４５秒に分割される。最初の４５秒間における将来利用可能なリソースを予測することができ、次いで、次の４５秒間における将来利用可能なリソースを予測することができ、メディア・ファイルが完全に受信されるまで以下同様である。

【0039】

３０８において、コンピューティング・デバイスの決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ）プラグインのうちの１つが選択される。上述したように、各ＧＡＮプラグインは異なるサイズを有することができる。したがって、各ＧＡＮプラグインは、ＧＡＮのサイズに基づいて異なる処理要件またはリソース要件を有することができる。いくつかの実施形態では、メディア・ファイル全体を処理するために同じＧＡＮプラグインが使用される。しかしながら、他の実施形態では、複数のＧＡＮプラグインを使用することができる。例えば、メディア・ファイルをダウンロードまたは受信するための時間がより小さい連続する期間に分割される実施形態では、コンピューティング・デバイスは、それぞれの期間における現在利用可能なリソースまたは予測された利用可能なリソースあるいはその両方に基づいて、連続する期間ごとにＧＡＮプラグインを選択することができる。例えば、第１の期間および第２の期間に関する上記の例では、予測された第１の将来利用可能なリソースに基づいて、第１の期間中に使用するための第１のＧＡＮプラグインを選択することができ、予測された第２の将来利用可能なリソースに基づいて、第２の期間中に使用するための第２のＧＡＮプラグインを選択することができる。予測された第１の将来利用可能なリソースと予測された第２の将来利用可能なリソースとが同様または同じである場合、同じＧＡＮプラグインを選択することができる（すなわち、第１のＧＡＮプラグインと第２のＧＡＮプラグインは同じである）。しかしながら、予測された第１の将来利用可能なリソースと予測された第２の将来利用可能なリソースとが異なる場合、異なるＧＡＮプラグインを選択することができる（すなわち、第１のＧＡＮプラグインは第２のＧＡＮプラグインとは異なる）。

【0040】

３１０において、選択されたＧＡＮプラグインに基づいて、メディア・ファイルの第２の解像度品質が推定される。上述したように、各ＧＡＮプラグインは、メディア・ファイルを所望の解像度品質に変換するために必要とされる最小解像度品質を有する。例えば、小さいＧＡＮプラグインの最小入力解像度品質は、大きいＧＡＮプラグインよりも高い必要がある。上述したように、メディア・ファイルを受信するための帯域幅使用量が削減されるように、第２の解像度品質は所望の解像度品質よりも低い。

【0041】

３１２において、コンピューティング・デバイスは、推定された第２の解像度品質でメディア・ファイルを受信するためにサーバと通信する。例えば、コンピューティング・デバイスは、サーバとコンタクトを取り、メディア・ファイルを第２の解像度品質で送信するよう要求することができる。さらに、上述したように、いくつかの実施形態では、メディア・ファイルを受信する際に、異なるサイズを有する異なるＧＡＮプラグインを異なる時点で使用することができる。新しいＧＡＮプラグインが選択されると、コンピューティング・デバイスは、サーバと通信して、新しいＧＡＮプラグインに対応する新しい解像度品質（例えば、第３の解像度品質）でメディア・ファイルを要求することができる。このようにして、コンピューティング・デバイスの利用可能なリソースが多くなった場合、より大きいＧＡＮプラグインを選択することができ、所望の解像度品質または第２の解像度品質よりも低い解像度品質でメディア・ファイルを受信することができる。対照的に、コンピューティング・デバイスの利用可能なリソースが少なくなった場合、大きいＧＡＮプラグインよりも必要とされるリソースが相対的に少ない、より小さいＧＡＮプラグインを選択することができる。したがって、第３の解像度品質は、第２の解像度品質よりも高いが、それでもなお所望の解像度品質よりは低い可能性があり、その結果、所望の解像度品質でメディア・ファイルを受信する場合と比較して帯域幅使用量がさらに削減される。

【0042】

さらに、いくつかの実施形態では、選択されたＧＡＮプラグインに必要とされる最小解像度品質ではない解像度品質でメディア・ファイルを要求できることを理解されたい。例えば、選択されたＧＡＮプラグインの最小解像度品質が２４０ｐである場合、いくつかの実施形態では、コンピューティング・デバイスは、３６０ｐまたは４８０ｐなどの、最小の２４０ｐよりも高いが所望の解像度品質よりも低い第２の解像度品質を推定することができる。

【0043】

３１４において、受信されたメディア・ファイルは、選択されたＧＡＮプラグインを使用して第２の解像度品質から所望の解像度品質に変換される。上述したように、利用可能なリソースの変化に基づいて複数の異なるサイズのＧＡＮプラグインが連続的に選択される実施形態では、受信されたメディア・ファイルのそれぞれの部分は、対応するＧＡＮプラグインを使用して変換される。メディア・ファイルは、所望の解像度品質に変換され、３１６において所望の解像度品質で出力される。例えば、変換されたメディア・ファイルをコンピューティング・デバイスの表示画面に表示することができる。さらに、いくつかの実施形態では、３０６～３１４で実行されるアクションは、３１６においてメディア・ファイルが出力されるのと実質的に同時にリアルタイムで実行できることを理解されたい。すなわち、メディア・ファイルの一部が出力／表示されている間、コンピューティング・デバイスが、リソースの可用性を監視し、リソースの可用性の変化を検出したことに応答して、選択されたＧＡＮを必要に応じて調整しながら、後続の別の部分が受信および変換される。他の実施形態では、ユーザは、メディア・ファイルを同時に再生することなく、メディア・ファイルを視聴するための予定時間を指定するかまたはメディア・ファイルをダウンロードすることができる。このような実施形態では、メディア・ファイルが出力される前に変換を行うことができる。

【0044】

したがって、本明細書に記載の実施形態は、メディア・ファイルを取得する際の帯域幅使用量の削減を可能にする。この帯域幅使用量の削減によりバッファリング遅延などの問題が軽減されるので、メディア・ファイルを視聴する際のユーザの満足度を向上させることができる。さらに、帯域幅使用量の削減は、帯域幅使用量が従量制である実施形態などにおいて他の利点をもたらすことができる。しかしながら、帯域幅が削減され、取得されたメディア・ファイルの解像度品質が低下したにもかかわらず、メディア・ファイルの出力解像度品質は依然としてユーザの所望の解像度品質のままである。

【0045】

本発明は、任意の可能な技術的詳細の統合レベルでのシステム、方法、またはコンピュータ・プログラム製品あるいはその組合せであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）を含んでもよい。

【0046】

コンピュータ可読記憶媒体は、命令実行デバイスが使用するための命令を保持および記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組合せとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピ・ディスク、パンチカードまたは命令が記録された溝内の隆起構造体などの機械的に符号化されたデバイス、および上記の任意の好適な組合せが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、または電線を介して送信される電気信号などの一過性の信号自体であると解釈されるべきではない。

【0047】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、または、ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはワイヤレス・ネットワークあるいはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバあるいはその組合せを含んでもよい。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

【0048】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクション・セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードもしくはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、スタンドアロン・ソフトウェア・パッケージとして全体がユーザのコンピュータ上で、一部がユーザのコンピュータ上で、一部がユーザのコンピュータ上かつ一部がリモート・コンピュータ上で、または全体がリモート・コンピュータ上もしくはサーバ上で実行されてもよい。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して接続されてもよい。いくつかの実施形態では、本発明の態様を実行するために、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行してもよい。

【0049】

本明細書では、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品の流れ図またはブロック図あるいはその両方を参照しながら本発明の態様について説明している。流れ図またはブロック図あるいはその両方の各ブロック、および流れ図またはブロック図あるいはその両方におけるブロックの組合せがコンピュータ可読プログラム命令によって実施され得ることが理解されよう。

【0050】

コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、流れ図またはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用を実施するための手段を作り出すように、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて、マシンを作り出すものであってもよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、流れ図またはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用の態様を実施する命令を含む製造品を含むように、コンピュータ可読媒体に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに対して特定の方式で機能するように指示できるものであってもよい。

【0051】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイスで実行される命令が、流れ図またはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用を実施するように、コンピュータ実施プロセスを作り出すべくコンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。

【0052】

図中の流れ図およびブロック図は、本発明の様々な実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能性、ならびに動作を示す。これに関して、流れ図またはブロック図における各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または一部を表すことがある。いくつかの代替の実装形態では、ブロックに記載された機能は、図に記載された順序とは異なる順序で行われてもよい。例えば、連続して示されている２つのブロックは、実際には、関与する機能性に応じて、実質的に同時に実行されてもよく、またはそれらのブロックは、場合によっては逆の順序で実行されてもよい。ブロック図または流れ図あるいはその両方の各ブロック、およびブロック図または流れ図あるいはその両方におけるブロックの組合せは、指定された機能または作用を実行するか、あるいは専用ハードウェアとコンピュータ命令との組合せを遂行する専用ハードウェア・ベースのシステムによって実装され得ることにも留意されたい。

【0053】

本明細書には特定の実施形態が図示および説明されているが、示された特定の実施形態の代わりに、同じ目的を達成すると判断された任意の構成を使用できることが当業者には理解されよう。したがって、本発明は特許請求の範囲およびその均等物によってのみ限定されることが明らかに意図されている。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2023-10-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータの情報処理による方法であって、
メディア・ファイルの所望の解像度品質を決定することと、
コンピューティング・デバイスの利用可能なリソースを決定することと、
前記コンピューティング・デバイスの前記決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ）プラグインのうちの１つを選択することと、
前記選択されたＧＡＮプラグインに対応する前記メディア・ファイルの第２の解像度品質を推定することであって、前記第２の解像度品質が前記所望の解像度品質よりも低い、前記推定することと、
サーバと通信して、前記メディア・ファイルを前記推定された第２の解像度品質で受信することと、
前記選択されたＧＡＮプラグインを使用することによって、前記受信されたメディア・ファイルを前記第２の解像度品質から前記所望の解像度品質に変換することと、
前記変換されたメディア・ファイルを前記所望の解像度品質で出力することと
を含む、方法。

【請求項2】

前記第２の解像度品質が、前記選択されたＧＡＮプラグインに関連付けられた最小解像度品質である、請求項１に記載の方法。

【請求項3】

前記複数のＧＡＮプラグインが５つのＧＡＮプラグインを含み、前記複数のＧＡＮプラグインのそれぞれが、前記複数のＧＡＮプラグイン内の他のＧＡＮプラグインとはそれぞれ異なるサイズを有する、請求項１または２に記載の方法。

【請求項4】

前記複数のＧＡＮプラグインが、前記コンピューティング・デバイスにロードされる前に事前訓練されているインターネット・ブラウザ・プラグインである、請求項１～３のいずれか１項に記載の方法。

【請求項5】

コンピューティング・デバイスの利用可能なリソースを決定することが、履歴データに基づいて前記コンピューティング・デバイスの将来利用可能なリソースを予測することを含み、
前記複数のＧＡＮプラグインのうちの１つを選択することが、前記予測された将来利用可能なリソースに基づいて前記複数のＧＡＮプラグインのうちの１つを選択することを含む、
請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記コンピューティング・デバイスの将来利用可能なリソースを予測することが、
第１の期間における前記コンピューティング・デバイスの第１の将来利用可能なリソースを予測することと、
前記第１の期間が完了する前に、第２の期間における前記コンピューティング・デバイスの第２の将来利用可能なリソースを予測することと
を含み、前記複数のＧＡＮプラグインのうちの１つを選択することが、
前記予測された第１の将来利用可能なリソースに基づいて、前記第１の期間中に使用する第１のＧＡＮプラグインを選択することと、
前記予測された第２の将来利用可能なリソースに基づいて、前記第２の期間中に使用する第２のＧＡＮプラグインを選択することと
を含む、請求項５に記載の方法。

【請求項7】

前記第１のＧＡＮプラグインが前記第２のＧＡＮプラグインとは異なる、請求項６に記載の方法。

【請求項8】

前記サーバから前記メディア・ファイルを受信しながら前記コンピューティング・デバイスの利用可能なリソースを監視して、前記コンピューティング・デバイスの利用可能なリソースの変化を検出することと、
前記コンピューティング・デバイスの利用可能なリソースの前記変化を検出したことに応答して、前記コンピューティング・デバイスの利用可能なリソースの前記検出された変化に基づいて、前記複数のＧＡＮプラグインから第２のＧＡＮプラグインを選択することと、
前記選択された第２のＧＡＮプラグインに対応する前記メディア・ファイルの第３の解像度品質を推定することであって、前記第３の解像度品質が前記所望の解像度品質より低く、前記第２の解像度品質とは異なる、前記推定することと、
前記サーバと通信して、前記メディア・ファイルを前記推定された第３の解像度品質で受信することと、
前記選択された第２のＧＡＮプラグインを使用することによって、前記受信されたメディア・ファイルを前記第３の解像度品質から前記所望の解像度品質に変換することと
をさらに含む、請求項１～７のいずれか１項に記載の方法。

【請求項9】

コンピューティング・デバイスであって
サーバに通信可能に結合されたインターフェースと、
前記インターフェースに通信可能に結合されたプロセッサであって、前記プロセッサが、
メディア・ファイルの所望の解像度品質を決定することと、
前記コンピューティング・デバイスの利用可能なリソースを決定することと、
前記コンピューティング・デバイスの前記決定された利用可能なリソースに基づいて、複数の敵対的生成ネットワーク（ＧＡＮ）プラグインのうちの１つを選択することと、
前記選択されたＧＡＮプラグインに対応する前記メディア・ファイルの第２の解像度品質を推定することであって、前記第２の解像度品質が前記所望の解像度品質よりも低い、前記推定することと、
前記インターフェースを介して前記サーバと通信して、前記メディア・ファイルを前記推定された第２の解像度品質で要求することと、
前記選択されたＧＡＮプラグインを使用することによって、前記サーバから前記第２の解像度品質で受信された前記メディア・ファイルを前記所望の解像度品質に変換することと、
前記変換されたメディア・ファイルを前記所望の解像度品質で出力することと
を行うように構成される、コンピューティング・デバイス。

【請求項10】

コンピュータが実行可能なコンピュータ・プログラムであって、コンピュータに、請求項１～８のいずれか１項に記載の方法を実行させるためのコンピュータ・プログラム。

【請求項11】

請求項１０に記載されたコンピュータ・プログラムを格納するコンピュータ可読な記録媒体。

【国際調査報告】