特許 7374137 適応解像度ビデオコーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-26

(45)【発行日】2023-11-06

(54)【発明の名称】適応解像度ビデオコーディング

(51)【国際特許分類】

   H04N 19/59 20140101AFI20231027BHJP

【ＦＩ】

H04N19/59

【請求項の数】 20

(21)【出願番号】P 2020572790

(86)(22)【出願日】2019-03-01

(65)【公表番号】

(43)【公表日】2022-07-06

(86)【国際出願番号】 CN2019076701

(87)【国際公開番号】W WO2020177015

(87)【国際公開日】2020-09-10

【審査請求日】2022-02-18

(73)【特許権者】

【識別番号】510330264

【氏名又は名称】アリババ・グループ・ホールディング・リミテッド

【氏名又は名称原語表記】ＡＬＩＢＡＢＡ ＧＲＯＵＰ ＨＯＬＤＩＮＧ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(72)【発明者】

【氏名】ツイシャン・チャン

(72)【発明者】

【氏名】ユチェン・スン

(72)【発明者】

【氏名】リン・ジュ

(72)【発明者】

【氏名】ジアン・ルー

【審査官】鉢呂 健

(56)【参考文献】

【文献】特開２００３－１７９８２６（ＪＰ，Ａ）

【文献】特開２０１７－２２０９３４（ＪＰ，Ａ）

【文献】MISRA, Kiran et al.，AHG18/21: Absolute signaling for resolution switching，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011, [JCTVC-G715]，JCTVC-G715 (version 3)，ITU-T，2011年11月19日，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G715-v3.zip＞: JCTVC-G715-ResolutionSwitching.doc: pp.1-4

【文献】DAVIES, Thomas，Resolution switching for coding efficiency and resilience，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Turin, IT, 14-22 July, 2011, [JCTVC-F158]，JCTVC-F158 (version 5)，ITU-T，2011年07月15日，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F158-v5.zip＞: JCTVC-F158v4.doc: pp.1-11

【文献】HENDRY et al.，On adaptive resolution change (ARC) for VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0135-v1]，JVET-M0135 (version 1)，ITU-T，2019年01月02日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0135-v1.zip＞: JVET-M0135-v1.docx: pp.1-3

【文献】BORDES, Philippe and ANDRIVON, Pierre，AHG18: Resolution Adaptation Coding (ARC) using single resolution in DPB，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: San Jose, CA, USA, 1-10 February, 2012, [JCTVC-H0321-r1]，JCTVC-H0321 (version 2)，ITU-T，2012年01月27日，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H0321-v2.zip＞: JCTVC-H0321-r1.docx: pp.1-11

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

１つ以上のコンピューティングデバイスによって実装される方法であって、
第１の解像度の第１のフレームを表す符号化されたデータを受信することと、
前記符号化されたデータを復号化して、前記第１のフレームを取得することと、
前記第１のフレームの第１の解像度と第２のフレームの第２の解像度を比較することと、
前記第１の解像度が前記第２の解像度より低いと判定することに応答して、前記第１のフレームを前記第１の解像度から前記第２の解像度にサイズ変更することと、
サイズ変更された、前記第２の解像度の前記第１のフレームを、参照フレームバッファに格納することと、を含み、
前記符号化されたデータを復号化して前記第１のフレームを取得することは、前記参照フレームバッファにローカルに格納された前記第２のフレームに基づき、
前記第２のフレームは、前記第１のフレームより前に受信されるビデオシーケンスのフレームである
方法。

【請求項2】

前記第２のフレームは、前記第１のフレームの直前に受信される前記ビデオシーケンスの前記フレームである、請求項１に記載の方法。

【請求項3】

表示のために前記第１のフレームをサイズ変更することをさらに含む、請求項１に記載の方法。

【請求項4】

前記符号化されたデータを復号化して前記第１のフレームを取得することは、前記第１のフレームの前に受信される第２のフレームに関する１つ以上の動き予測ブロックに基づくことを特徴とする、請求項１に記載の方法。

【請求項5】

前記第１のフレームのヘッダ内の特定のフィールドに少なくとも部分的に基づいて、前記第１のフレームの前記第１の解像度の情報を取得することをさらに含む、請求項１に記載の方法。

【請求項6】

前記第１のフレームの前記第１の解像度の前記情報を取得することは、前記第１のフレームを含むビデオシーケンスのヘッダ内の別のフィールドにさらに基づくことを特徴とする、請求項５に記載の方法。

【請求項7】

１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
第１のフレームを表す符号化されたデータを受信することと、
前記符号化されたデータを復号化して、前記第１のフレームを取得することと、
前記第１のフレームの第１の解像度と第２のフレームの第２の解像度を比較することと、
前記第１の解像度が前記第２の解像度より低いと判定することに応答して、前記第１のフレームを前記第１の解像度から前記第２の解像度にサイズ変更することと、
第１の解像度の前記第１のフレームを参照フレームバッファに格納することと、
を含む動作を実行させる実行可能な命令を格納し、
前記符号化されたデータを復号化して前記第１のフレームを取得することは、前記参照フレームバッファにローカルに格納された前記第２のフレームに基づき、
前記第２のフレームは、前記第１のフレームより前に受信されるビデオシーケンスのフレームである
１つ以上のコンピュータ可読媒体。

【請求項8】

前記第２のフレームは、前記第１のフレームの直前に受信される前記ビデオシーケンスの前記フレームである、請求項７に記載の１つ以上のコンピュータ可読媒体。

【請求項9】

前記符号化されたデータを復号化して前記第１のフレームを取得することは、前記第１のフレームの前に受信される第２のフレームに関する１つ以上の動き予測ブロックに基づくことを特徴とする、請求項７に記載の１つ以上のコンピュータ可読媒体。

【請求項10】

前記動作は、表示のために前記第１のフレームをサイズ変更することをさらに含む、請求項７に記載の１つ以上のコンピュータ可読媒体。

【請求項11】

前記動作は、
第３の解像度の第３のフレームを表す他の符号化されたデータを受信することと、
前記他の符号化されたデータを復号化して、サイズ変更された、前記第２の解像度の前記第１のフレームまたは前記第１の解像度の前記第１のフレームのうちの１つを使用して、前記第３のフレームを取得することと、
をさらに含む、請求項７に記載の１つ以上のコンピュータ可読媒体。

【請求項12】

前記動作は、前記第１のフレームのヘッダ内の特定のフィールドに少なくとも部分的に基づいて、前記第１のフレームの前記第１の解像度の情報を取得することをさらに含む、請求項７に記載の１つ以上のコンピュータ可読媒体。

【請求項13】

前記第１のフレームの前記第１の解像度の前記情報を取得することは、前記第１のフレームを含むビデオシーケンスのヘッダ内の別のフィールドにさらに基づくことを特徴とする、請求項１２に記載の１つ以上のコンピュータ可読媒体。

【請求項14】

１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
第１の解像度の第１のフレームを表す符号化されたデータを受信することと、
前記符号化されたデータを復号化して、前記第１のフレームを取得することと、
前記第１のフレームの第１の解像度と第２のフレームの第２の解像度を比較することと、
サイズ変更することと、
前記第１の解像度が前記第２の解像度より低いと判定することに応答して、前記第１のフレームを前記第１の解像度から前記第２の解像度にサイズ変更することと、
前記第１の解像度の、前記サイズ変更された前記第１のフレームを、参照フレームバッファに格納することと、
を含む動作を実行させる、実行可能な命令を格納するメモリと、
を備え、
前記符号化されたデータを復号化して前記第１のフレームを取得することは、前記参照フレームバッファにローカルに格納された前記第２のフレームに基づき、
前記第２のフレームは、前記第１のフレームより前に受信されるビデオシーケンスのフレームである
システム。

【請求項15】

前記第２のフレームは、前記第１のフレームの直前に受信される前記ビデオシーケンスの前記フレームである、請求項１４に記載のシステム。

【請求項16】

前記動作は、表示のために前記第１のフレームをサイズ変更することをさらに含む、請求項１４に記載のシステム。

【請求項17】

前記第１のフレームは、ネットワーク上でリモートで受信され、前記第２のフレームは、前記参照フレームバッファにローカルに格納される、請求項１４に記載のシステム。

【請求項18】

前記動作は、
第３の解像度の第３のフレームを表す他の符号化されたデータを受信することと、
前記他の符号化されたデータを復号化して、前記第１のフレームに少なくとも部分的に基づいて、前記第３のフレームを取得することと、をさらに含む、請求項１４に記載のシステム。

【請求項19】

前記動作は、前記第１のフレームのヘッダ内の特定のフィールドに少なくとも部分的に基づいて、前記第１のフレームの前記第１の解像度の情報を取得することをさらに含む、請求項１４に記載のシステム。

【請求項20】

前記第１のフレームの前記第１の解像度の前記情報を取得することは、前記第１のフレームを含むビデオシーケンスのヘッダ内の別のフィールドにさらに基づくことを特徴とする、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、適応解像度ビデオコーディングに関する。

【背景技術】

【0002】

インターネットの発達にともない、ビデオストリーミングアプリケーションは、人々の日常生活において非常に人気を博してきた。ユーザは、数分から数十分かかる場合がある、ビデオのファイル全体（サイズが数メガバイトから数ギガバイトになり得る）の完全なダウンロードを待つことなく、ビデオストリーミングアプリケーションを使用してビデオを視聴できるようになっている。現在、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの従来のビデオコーデックが、ビデオソースからネットワーク上でビデオを視聴するユーザのクライアントデバイスにビデオをストリーミングするために使用されている。

【0003】

ネットワークの不安定性およびネットワーク内のトラフィック量の変動を考慮して、ビデオ、例えば、ビデオシーケンスのフレーム（例えば、インターコーディングされたフレーム）を、異なる解像度で、リアルタイムで適応的に、ネットワーク帯域幅などの、ネットワークの特定の属性に応じて符号化および送信することが望ましい。ただし、従来のビデオコーデック（Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣなど）では、フレームサイズがビデオシーケンスのシーケンスレベルヘッダに記録され、インターコーディングされたフレームでは変更することができないため、同じビデオシーケンスのフレームが同じフレームサイズまたは解像度を有する必要がある。そこで、フレームサイズまたはフレームの解像度を変更する必要がある場合は、新しいビデオシーケンスを開始し、最初にイントラコーディングされたフレームを符号化、圧縮、および送信する必要がある。しかしながら、イントラコーディングされたフレームを符号化、圧縮および送信することは、必然的に余分な時間、計算量およびネットワーク帯域幅を追加することになり、従来のビデオコーデックを使用するネットワーク状態に従った適応的なビデオ解像度の変更を困難かつ高価にする。

【0004】

新しいフレームタイプ、つまりスイッチフレームは、現在ＡＶＩコーデックで提案されており、異なるフレームサイズまたは解像度のビデオシーケンスを切り替えるための遷移フレームとして使用されている。このタイプのスイッチフレームは、イントラコーディングの使用、ひいては完全なイントラコーディングされたフレームのコストを回避する一方で、通常のインターコーディングされたフレームと比較して、追加の計算時間／量およびネットワーク帯域幅を依然として必要とし、よって、ビデオ解像度が変更された場合の計算時間／量およびネットワーク帯域幅に関するオーバーヘッドを導入する。さらに、スイッチフレームを使用するこの提案された手法の下では、現在のフレームの動きベクトルコーディングは、前のフレームの動きベクトルを動きベクトル予測子として使用することができない。

【0005】

次世代のビデオコーデックであるＨ．２６６／ＶＶＣが現在開発中であり、Ｈ．２６６／ＶＶＣでは多くの新しいコーディングツールが提案されている。インターコーディングされたフレームの解像度変更に対応するために、同じビデオシーケンスにおいてフレームサイズまたは解像度が一貫していない状況では、新しいコーディングシステムの設計が必要である。

【発明の概要】

【0006】

本概要では、適応解像度ビデオコーディングの簡略化された概念を紹介するが、以下の発明を実施するための形態でさらに説明する。本概要は、特許請求される主題の不可欠な特徴を特定することを意図しておらず、特許請求される主題の範囲を限定するために使用されることも意図していない。

【0007】

本出願は、適応解像度ビデオコーディングの例示的な実装態様について説明する。実装態様において、第１のコンピューティングデバイスは、同じビデオシーケンス内の異なる解像度のビデオフレーム（例えば、インターコーディングされたフレーム）を適応的に符号化し、ネットワーク上でフレームを第２のコンピューティングデバイスに送信することができる。実装態様において、第１のコンピューティングデバイスはさらに、ビデオシーケンスのシーケンスヘッダ内の最大解像度を信号伝達し、それぞれのフレームのフレームヘッダ内の各フレームの相対解像度を信号伝達することができる。

【0008】

実装態様において、第２のコンピューティングデバイスは、ネットワーク上で第１のコンピューティングデバイスから第１のビデオフレームの符号化されたデータを受信し、符号化されたデータを復号化して、第２のコンピューティングデバイスの参照フレームバッファ内に格納されている第２の解像度の１つ以上の第２のフレームに少なくとも部分的に基づいて、第１のフレームを取得することができる。実装態様において、第１の解像度が第２の解像度よりも低いと判定したことに応答して、第２のコンピューティングデバイスは、第２のコンピューティングデバイスが採用しているコーディング設計に応じて、第１のフレームを第１の解像度から第２の解像度にサイズ変更してもよく、またはしなくてもよく、かつ第１の解像度の第１のフレームおよび／または第２の解像度のサイズ変更された第１のフレームを参照フレームバッファ内に格納してもよく、またはしなくてもよい。

【0009】

発明を実施するための形態は、添付の図面を参照して述べられる。図面では、参照番号の左端の数字（複数可）は、参照番号が最初に現れる図面を示す。異なる図面における同じ参照番号の使用は、類似または同一の項目を示す。

【図面の簡単な説明】

【0010】

【図1】適応解像度ビデオコーディングシステムを使用することができる例示的な環境を示す。

【図2】例示的な符号化システムをより詳細に示す。

【図3】例示的な復号化システムをより詳細に示す。

【図4】適応ビデオ符号化の例示的な方法を示す。

【図5】適応ビデオ復号化の例示的な方法を示す。

【発明を実施するための形態】

【0011】

概要
上記のように、既存の技術では、ビデオシーケンス内のビデオフレームの解像度を変更するために、新しいビデオシーケンスを開始するか、新しいフレームタイプを導入する必要がある。これには、追加の時間および計算コストがかかり、ネットワーク状態に基づいてリアルタイムでビデオシーケンスのビデオフレーム（例えば、インターコーディングされたフレーム）の解像度を柔軟に調整できなくなる。

【0012】

本開示は、例示的な適応解像度ビデオコーディングシステムを説明する。適応解像度ビデオコーディングシステムは、適応符号化システムおよび適応復号化システムを含み得る。適応符号化システムおよび適応復号化システムは、ネットワークの２点上で互いに個別におよび／または独立して動作することができ、かつ合意されたコーディングプロトコルまたは基準の下でそれらのシステム間で送信されるビデオシーケンスのために互いに関連している。

【0013】

実装態様において、適応符号化システムは、ネットワーク状態（例えば、ネットワーク帯域幅）に基づいて、ビデオシーケンスの第１のフレームの第１の解像度またはフレームサイズを判定し、第１の解像度の第１のフレームを、例えば、以前にインターコーディングを使用して送信された同じビデオシーケンスの１つ以上の第２のフレームに基づいて、リアルタイムで符号化することができる。ネットワーク状態に応じて、第１の解像度またはフレームサイズは、１つ以上の第２のフレームの第２の解像度またはフレームサイズと同じであってもよく、または同じでなくてもよい。実装態様において、適応符号化システムは、第１のフレームのフレームヘッダ内の第１の解像度の情報を信号伝達することができ、さらに、ビデオシーケンスのシーケンスヘッダ内のビデオシーケンスの最大解像度を信号伝達することができる。第１のフレームの符号化されたデータを取得すると、適応符号化システムは、第１のフレームの符号化されたデータをネットワークを介して適応復号化システムに送信することができる。

【0014】

実装態様において、適応復号化システムは、ネットワークを通じて適応符号化システムから第１のフレームの符号化されたデータを受信することができる。適応復号化システムは、符号化されたデータを復号化して、第１のフレームの符号化されたデータを送信する前に受信され、かつ参照フレームバッファにローカルに格納される１つ以上の第２のフレームに基づいて、第１のフレームを再構築することができる。実装態様において、第１のフレームの第１の解像度またはフレームサイズが１つ以上の第２のフレームの第２の解像度またはフレームサイズと同じでない場合、適応復号化システムは、動き予測子のサイズを変更し、および／または１つ以上の第２のフレームに関連する動きベクトルのスケールを変更し、または１つ以上の第２のフレームのサイズを第１の解像度またはフレームサイズに変更することができる。次いで、適応復号化システムは、符号化されたデータを復号化して、サイズ変更された動き予測子および／またはスケール変更された動きベクトル、または１つ以上のサイズ変更された第２のフレームに基づいて、第１のフレームを再構築することができる。適応復号化システムは、第１の解像度または第２の解像度の第１のフレームを、提示のためにディスプレイに提供することができる。

【0015】

さらに、適応復号化システムが採用する復号化設計に応じて、適応復号化システムは、第１のフレームを第１の解像度から第２の解像度にサイズ変更（例えば、アップサンプリング）し、第１の解像度の第１のフレームおよび／または第２の解像度のサイズ変更された第１のフレームを、ビデオシーケンスの後続のフレームで使用するために、参照フレームバッファに格納することができる。

【0016】

本明細書に記載の例では、上記の適応解像度ビデオコーディングシステムは、新しいビデオシーケンスを開始したり、新しいフレームタイプを使用したりすることなく、ビデオシーケンス内の個々のフレームの解像度またはフレームサイズをいつでもリアルタイムで適応的に変更できるため、新しいビデオシーケンスの開始または新しいフレームタイプの使用によって生じる追加の時間および計算コストの不必要な導入を回避することができる。

【0017】

さらに、適応ビデオ符号化システムおよび／または適応復号化システムによって実行される本明細書に記載の機能は、複数の別個のユニットまたはサービスによって実行され得る。例えば、適応ビデオ符号化システムの場合、判定サービスは、ネットワーク状態に基づいてビデオシーケンスの第１のフレームの第１の解像度またはフレームサイズを判定することができ、一方、符号化サービスは、以前にインターコーディングを使用して送信された同じビデオシーケンスの１つ以上の第２のフレームに基づいて、第１の解像度の第１のフレームをリアルタイムで符号化することができる。信号伝達サービスは、第１のフレームのフレームヘッダ内の第１の解像度の情報を信号伝達し、かつビデオシーケンスのシーケンスヘッダ内のビデオシーケンスの最大解像度を信号伝達することができ、一方、さらに別のサービスは、第１のフレームの符号化されたデータをネットワークを介して適応復号化システムに送信することができる。

【0018】

また、本明細書に記載の例では、適応ビデオ符号化システムおよび適応復号化システムのいずれか一方は、単一のデバイスにインストールされたソフトウェアおよび／もしくはハードウェアとして実装することができ、他の例では、適応ビデオ符号化システムおよび適応復号化システムのいずれか一方は、複数のデバイスに実装および分散することができ、またはネットワーク上の１つ以上のサーバおよび／もしくはクラウドコンピューティングアーキテクチャで提供されるサービスとして実装することができる。

【0019】

本出願は、複数のさまざまな実装および実装について説明する。次の項では、さまざまな実装態様の実施に好適である例示的なフレームワークについて説明する。次に、本出願は、適応解像度ビデオコーディングシステムを実装するための例示的なシステム、デバイス、およびプロセスについて説明する。

【0020】

例示的な環境
図１は、適応解像度ビデオコーディングシステムを実装するために使用可能な例示的な環境１００を示す。環境１００は、適応解像度ビデオコーディングシステム１０２を含み得る。この例では、適応解像度ビデオコーディングシステム１０２は、適応符号化システム１０４および適応復号化システム１０６を含むように説明されている。他の場合では、適応解像度ビデオコーディングシステム１０２は、１つ以上の適応符号化システム１０４および／または１つ以上の適応復号化システム１０６を含み得る。適応符号化システム１０４および適応復号化システム１０６は、互いに独立して動作することができ、それぞれ、ビデオシーケンスの送信側および受信側であるとして関連付けられている。実装態様において、適応符号化システム１０４は、ネットワーク１０８を通じてデータを適応復号化システム１０６と通信する。

【0021】

実装態様において、適応符号化システム１０４は、１つ以上のサーバ１１０を含み得る。いくつかの場合では、適応符号化システム１０４は、ネットワーク１０８を介してデータを互いに、および／または適応復号化システム１０６と通信し得る１つ以上のサーバ１１０の一部であってもよく、または１つ以上のサーバ１１０に含まれてもよく、および／または１つ以上のサーバ１１０の間で分散されてもよい。追加的または代替的に、いくつかの場合では、適応符号化システム１０４の機能は、１つ以上のサーバ１１０に含まれてもよく、および／またはそれらの間で分散されてもよい。例えば、１つ以上のサーバ１１０の第１のサーバは、適応符号化システム１０４の機能の一部を含んでいてもよく、一方、適応符号化システム１０４の他の機能は、１つ以上のサーバ１１０の第２のサーバに含まれてもよい。さらに、いくつかの実施形態では、適応符号化システム１０４のいくつかまたはすべての機能は、クラウドコンピューティングシステムまたはアーキテクチャに含まれてもよく、適応復号化システム１０６によって要求され得るサービスとして提供されてもよい。

【0022】

実装態様において、適応復号化システム１０６は、クライアントデバイス１１２の一部、例えば、クライアントデバイス１１２のソフトウェアおよび／またはハードウェア構成要素であり得る。いくつかの場合では、適応復号化システム１０６は、クライアントデバイス１１２を含み得る。

【0023】

クライアントデバイス１１２は、デスクトップコンピュータ、ノートブックもしくはポータブルコンピュータ、ハンドヘルドデバイス、ネットブック、インターネット家電、タブレットもしくはスレートコンピュータ、モバイルデバイス（例えば、携帯電話、電子手帳、スマートフォンなど）など、またはこれらの組み合わせを含むが、これらに限定されない、さまざまなコンピューティングデバイスのいずれかとして実装され得る。

【0024】

ネットワーク１０８は、無線もしくは有線ネットワーク、またはこれらの組み合わせであり得る。ネットワーク１０８は、相互に接続され、かつ単一の大規模ネットワーク（例えば、インターネットまたはイントラネット）として機能する個々のネットワークの集合であり得る。このような個々のネットワークの例は、電話ネットワーク、ケーブルネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、およびメトロポリタンエリアネットワーク（ＭＡＮ）を含むが、これらに限定されない。さらに、個々のネットワークは、無線もしくは有線ネットワーク、またはこれらの組み合わせであり得る。有線ネットワークは、電気キャリア接続（通信ケーブルなど）および／または光キャリアもしくは接続（光ファイバ接続など）を含み得る。無線ネットワークは、例えば、ＷｉＦｉネットワーク、他の無線周波数ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅなど）などを含み得る。

【0025】

実装態様において、ユーザは、クライアントデバイス１１２によって提供されるブラウザまたはビデオストリーミングアプリケーションを使用してビデオを視聴することを望む場合がある。ユーザからのコマンドの受信に応答して、ブラウザまたはビデオストリーミングアプリケーションは、適応符号化システム１０４に関連付けられた１つ以上のサーバ１１０にビデオを要求し、１つ以上のサーバ１１０（または適応符号化システム１０４）から受信したビデオシーケンスのビデオフレームの符号化されたデータを、クライアントデバイス１１２のディスプレイに提示するためのビデオフレームを復号化および再構築するための適応復号化システム１０６へ中継することができる。

【0026】

例示的な適応符号化システム
図２は、適応符号化システム１０４をより詳細に示している。実装態様において、適応符号化システム１０４は、１つ以上の処理ユニット２０２と、メモリ２０４と、プログラムデータ２０６とを含み得るが、これらに限定されない。実装態様において、適応符号化システム１０４は、ネットワークインターフェース２０８と、入力／出力インターフェース２１０とをさらに含み得る。追加的または代替的に、適応符号化システム１０４の機能のいくつかまたはすべては、ＡＳＩＣ（すなわち、特定用途向け集積回路）、ＦＰＧＡ（すなわち、フィールドプログラマブルゲートアレイ）、または適応符号化システム１０４で提供される他のハードウェアを使用して実装され得る。

【0027】

実装態様において、１つ以上の処理ユニット２０２は、ネットワークインターフェース２０８から受信された、入力／出力インターフェース２１０から受信された、および／またはメモリ２０４に格納された命令を実行するように構成されている。実装態様において、１つ以上の処理ユニット２０２は、例えば、マイクロプロセッサ、アプリケーション固有の命令セットプロセッサ、グラフィックス処理ユニット、物理処理ユニット（ＰＰＵ）、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサなどを含む１つ以上のハードウェアプロセッサとして実装され得る。追加的または代替的に、本明細書に記載の機能は、少なくとも部分的に、１つ以上のハードウェア論理構成要素によって実行することができる。例えば、限定されないが、使用可能なハードウェア論理構成要素の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システム・オン・チップシステム（ＳＯＣ）、コンプレックスプログラマブル論理デバイス（ＣＰＬＤ）などを含む。

【0028】

メモリ２０４は、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリおよび／または読み取り専用メモリ（ＲＯＭ）もしくはフラッシュＲＡＭなどの不揮発性メモリの形態のコンピュータ可読媒体を含み得る。メモリ２０４は、コンピュータ可読媒体の一例である。

【0029】

コンピュータ可読媒体は、任意の方法または技術を使用して情報の記憶を達成することができる揮発性または不揮発性タイプ、取り外し可能または取り外し不可能媒体を含むことができる。情報は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよい。コンピュータ記憶媒体の例としては、相変化メモリ（ｐｈａｓｅ－ｃｈａｎｇｅ ｍｅｍｏｒｙ、ＰＲＡＭ）、スタティックランダムアクセスメモリ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電子的に消去可能なプログラマブル読み取り専用メモリ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、クイックフラッシュメモリまたは他の内部記憶技術、コンパクトディスク読み取り専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｋ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ）または他の光記憶装置、磁気カセットテープ、磁気ディスク記憶装置または他の磁気記憶装置、あるいは他の非伝送媒体が挙げられ、これらは、コンピューティングデバイスによってアクセスされ得る情報を記憶するために使用されてもよいが、これらに限定されない。本明細書で定義されるように、コンピュータ可読媒体は、変調されたデータ信号および搬送波などの一時的な媒体を含まない。

【0030】

この例では、適応符号化コーディングシステム１０４においてハードウェア構成要素のみを説明したが、他の場合では、適応符号化システム１０４は、符号化、圧縮、ビデオフレームの送信などのさまざまな操作を実行するために、エンコーダ２１２、符号化対象フレームバッファ２１４、送信対象フレームバッファ２１６などの他のハードウェア構成要素、および／またはメモリ２０４に格納された命令を実行するプログラムユニットなどの他のソフトウェア構成要素をさらに含み得る。

【0031】

例示的な適応復号化システム
図３は、適応復号化コーディングシステム１０６を含むクライアントデバイス１１２をより詳細に示している。実装態様において、適応復号化システム１０６は、１つ以上の処理ユニット３０２と、メモリ３０４と、プログラムデータ３０６とを含み得るが、これらに限定されない。加えて、適応復号化システム１０６は、受信フレームバッファ３０８と、デコーダ３１０と、参照フレームバッファ３１２と、１つ以上のリサイザ３１４と、をさらに含み得る。受信フレームバッファ３０８は、復号化対象であり、かつクライアントデバイス１１２、１つ以上のサーバ１１０、および／または適応符号化システム１０４から受信された１つ以上のビデオフレームを表すビットストリームまたは符号化されたデータを受信および格納するように構成されている。参照フレームバッファ３０８は、デコーダ３１０によって再構築されたビデオフレームを格納するように構成され、後続のビデオフレームを復号化するための参照フレームとして使用される。いくつかの実装態様において、適応復号化システム１０６は、ネットワークインターフェース３１６と、入力／出力インターフェース３１８とをさらに含み得る。追加的または代替的に、適応復号化システム１０６の機能のいくつかまたはすべては、ＡＳＩＣ（すなわち、特定用途向け集積回路）、ＦＰＧＡ（すなわち、フィールドプログラマブルゲートアレイ）、または適応復号化システム１０６で提供される他のハードウェアを使用して実装され得る。

【0032】

実装態様において、１つ以上の処理ユニット３０２は、ネットワークインターフェース３１６から受信された、入力／出力インターフェース３１８から受信された、および／またはメモリ３０４に格納された命令を実行するように構成されている。実装態様において、１つ以上の処理ユニット３０２は、例えば、マイクロプロセッサ、アプリケーション固有の命令セットプロセッサ、グラフィックス処理ユニット、物理処理ユニット（ＰＰＵ）、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサなどを含む１つ以上のハードウェアプロセッサとして実装され得る。追加的または代替的に、本明細書に記載の機能は、少なくとも部分的に、１つ以上のハードウェア論理構成要素によって実行することができる。例えば、限定されないが、使用可能なハードウェア論理構成要素の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システム・オン・チップシステム（ＳＯＣ）、コンプレックスプログラマブル論理デバイス（ＣＰＬＤ）などを含む。

【0033】

メモリ３０４は、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリおよび／または読み取り専用メモリ（ＲＯＭ）もしくはフラッシュＲＡＭなどの不揮発性メモリの形態のコンピュータ可読媒体を含み得る。メモリ３０４は、前述の説明に記載されているようなコンピュータ可読媒体の一例である。

【0034】

例示的な方法
図４は、適応ビデオ符号化の例示的な方法を描写する概略図である。図５は、適応ビデオ復号化の例示的な方法を描写する概略図である。図４および５の方法は、図１の環境で、図２および／または図３のシステムを使用して実装することができるが、必須ではない。説明を容易にするために、方法４００および５００を、図４および５を参照して説明する。しかしながら、方法４００および５００は、代替的に、他の環境で、および／または他のシステムを使用して実装されてもよい。

【0035】

方法４００および５００を、コンピュータ実行可能な命令との一般的な関連で説明する。概して、コンピュータ実行可能な命令は、特定の機能を実行する、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造、手順、モジュール、関数等を含み得る。さらに、例示的な方法の各々は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせで実装することができる一連の操作を表す論理フローグラフ内のブロックの集合として示されている。方法が記載されている順序は、限定として解釈されるものではなく、任意の数の記載されている方法ブロックが、本方法または代替方法を実装する任意の順序で組み合わせることができる。さらに、個々のブロックは、本明細書に記載の主題の精神および範囲から逸脱することなく、本方法から省略され得る。ソフトウェアとの関連では、ブロックは、１つ以上のプロセッサによって実行されると、上記の操作を実行するコンピュータ命令を表す。ハードウェアとの関連では、ブロックのうちのいくつかまたはすべては、特定用途向け集積回路（ＡＳＩＣ）または上記の操作を実行する他の物理的構成要素を表す場合がある。

【0036】

図４に戻って参照すると、ブロック４０２において、適応符号化システム１０４は、送信対象のビデオを取得することができる。実装態様において、適応符号化システム１０４は、クライアントデバイス１１２から直接ビデオの要求を受信し、１つ以上のサーバ１１０からのビデオ、例えば、要求されたビデオを含む、１つ以上のサーバ１１０に関連付けられたビデオ集合体からのビデオを取得し、および要求されたビデオを符号化対象フレームバッファ２１４内に配置することができる。いくつかの実装態様において、１つ以上のサーバ１１０は、クライアントデバイス１１２からビデオの要求を受信し、ビデオ集合体から要求されたビデオを取得し、要求されたビデオを適応符号化システム１０４の符号化対象フレームバッファ２１４に配置することができる。実装態様において、要求されたビデオは、１つ以上のビデオシーケンスに分割することができ、各ビデオは、送信のための複数のビデオフレームを含む。

【0037】

ブロック４０４において、適応符号化システム１０４は、符号化対象フレームバッファ２１４からビデオシーケンスを取得し、ビデオシーケンスの解像度を判定し、エンコーダ２１２を通じてビデオシーケンスのシーケンスヘッダを符号化し、ビデオシーケンスのシーケンスヘッダをクライアントデバイス１１２または適応復号化システム１０６に送信することができる。

【0038】

実装態様において、適応符号化システム１０４は、ネットワーク帯域幅、トラフィック量などのネットワーク状態に基づいてビデオシーケンスの解像度を判定することができる。実装態様において、判定される解像度は、ビデオシーケンス内のすべてのビデオフレームの最大解像度であり得る。実装態様において、シーケンスヘッダは、判定された解像度の情報、サイズ変更が必要な場合には、ビデオシーケンスのフレームのサイズ変更に使用されるサイズ変更（例えば、アップサンプリングまたはダウンサンプリング）フィルタ係数などを含み得るが、これらに限定されない。

【0039】

ブロック４０６において、適応符号化システム１０４は、ビデオシーケンスの他のビデオフレームの画像データを使用せずに、ビデオフレームの画像データ（のみ）を使用してビデオフレーム（例えば、イントラコーディングされたフレーム）を符号化し、イントラコーディングされたフレームの符号化されたデータを、例えば、クライアントデバイス１１２または適応復号化システム１０６に送信することができる。

【0040】

実装態様において、適応符号化システム１０４は、例えば、従来のイントラコーディング方法を使用してエンコーダ２１２を通じてイントラコーディングされたフレームを符号化し、イントラコーディングされたフレームの符号化されたデータを送信対象バッファ２１６内に配置することができ、符号化されたデータは、クライアントデバイス１１２または適応復号化システム１０６に送信される。

【0041】

ブロック４０８において、適応符号化システム１０４は、ビデオシーケンスの他のフレームの情報（画像データ、動きベクトルなど）を使用して、ビデオフレーム（例えば、インターコーディングされたフレーム）を符号化することができる。

【0042】

実装態様において、適応符号化システム１０４は、従来のインターコーディング方法を使用して、エンコーダ２１２を通じてインターコーディングされたフレームを符号化することができる。

【0043】

ブロック４１０において、適応符号化システム１０４は、ネットワーク状態の変化（例えば、ネットワーク帯域幅の変化、またはトラフィック量の変化など）を検出することができる。例えば、適応符号化システム１０４は、ネットワーク帯域幅が減少もしくは増加したこと、またはトラフィック量が増加もしくは減少したことを検出することができる。

【0044】

ブロック４１２において、変化の検出に応答して、適応符号化システム１０４は、符号化および送信対象であるビデオシーケンスの後続のフレーム（例えば、別のインターコーディングされたフレーム）の新しい解像度を判定することができる。

【0045】

実装態様において、ネットワーク帯域幅が低減するか、またはトラフィック量が増加する場合、適応符号化システム１０４は、符号化および送信対象であるビデオシーケンスの後続のフレームの解像度を低減させる、例えば、複数の事前定義された解像度のうちの１つに低減させる必要があると判定することができる。代替的に、ネットワーク帯域幅が増加するか、またはトラフィック量が減少する場合、適応符号化システム１０４は、符号化および送信対象であるビデオシーケンスの後続のフレームの解像度を増加させる、例えば、複数の事前定義された解像度の１つであり、かつ後続のフレームを含むビデオシーケンスのシーケンスヘッダに示された最大解像度まで増加させる必要があると判定することができる。

【0046】

ブロック４１４において、適応符号化システム１０４は、後続のフレーム（例えば、他のインターコーディングされたフレーム）を符号化することで、従来のインターコーディング方法を使用して、エンコーダ２１２を通じて１つ以上の前のフレームに基づいて後続のフレームの符号化されたデータを取得することができる。実装態様において、符号化されたデータは、動きベクトル、予測誤差などを含み得るが、これらに限定されない。

【0047】

ブロック４１６において、適応符号化システム１０４は、符号化されたデータの情報のスケールを変更して、後続のフレームのサイズを元の解像度から新しい解像度に変更することができる（例えば、解像度を低減させる場合はダウンサンプル、または解像度を増加させる場合はアップサンプル）。

【0048】

実装態様において、適応符号化システム１０４は、例えば、後続のフレームの元の解像度と新しい解像度との関係に従って、符号化されたデータに含まれる動きベクトルおよび予測子のスケールを変更することができる。実装態様において、適応符号化システム１０４は、後続のフレームの解像度を後続のフレームのフレームヘッダまたは符号化されたデータのデータヘッダに変更するために使用されるサイズ変更（例えば、アップサンプリングまたはダウンサンプリング）フィルタ係数をさらに含み得る。この場合、以前に符号化されたフレームのサイズ変更またはサンプリングに使用されるフィルタをフィルタ予測子として使用することができ、現在のフレームのフィルタが符号化されるときに予測コーディングを適用することができる。

【0049】

ブロック４１８において、適応符号化システム１０４は、サイズ変更された後続フレームの符号化されたデータを送信対象フレームバッファ２１６内に配置することができ、符号化されたデータは、次にクライアントデバイス１１２または適応復号化システム１０６に送信される。

【0050】

ブロック４２０において、次のビデオフレームがイントラコーディングされたフレームであるかインターコーディングされたフレームであるかに応じて、適応符号化システム１０６は、上記の方法ブロックのいくつかの動作に従って、符号化対象フレームバッファ２１４内の次のビデオフレームを処理し続けることができる。

【0051】

上記の方法ブロックは特定の順序で実行されるように説明されているが、いくつかの実装態様において、方法ブロックのいくつかまたはすべてを他の順序で、または並行して実行することができる。例えば、適応符号化システム１０４は、エンコーダ２１２を使用して現在のビデオフレームを符号化する一方で、送信対象フレームバッファ２１６内に配置された前のビデオフレームの符号化されたデータをクライアントデバイス１１２または適応復号化システム１０６に送信することができる。

【0052】

図５を参照すると、ブロック５０２において、適応復号化システム１０６は、受信フレームバッファ３０８内の１つ以上のフレームのビットストリームまたは符号化されたデータを受信する。

【0053】

実装態様において、適応復号化システム１０６は、１つ以上のサーバ１１０または適応符号化システム１０４から１つ以上のフレームのビットストリームまたは符号化されたデータを受信し、１つ以上のフレームのビットストリームまたは符号化されたデータを受信フレームバッファ３０８内に配置することができる。いくつかの実装態様において、クライアントデバイス１１２は、ユーザのビデオの要求が１つ以上のサーバ１１０または適応符号化システム１０４に送信された後、１つ以上のサーバ１１０または適応符号化システム１０４から１つ以上のフレームのビットストリームまたは符号化されたデータを受信し、１つ以上のフレームのビットストリームまたは符号化されたデータを、適応復号化システム１０６の受信フレームバッファ３０８内に配置することができる。

【0054】

ブロック５０４において、適応復号化システム１０６は、受信フレームバッファ３０８から第１のフレームを表す符号化されたデータを取得またはフェッチし、かつ第１のフレームを復号化して再構築するために第１のフレームを表す符号化されたデータをデコーダ３１０に送信することができる。

【0055】

第１のフレームのタイプに応じて、第１のフレームを表す符号化されたデータは、符号化された画像データ、動きベクトル、および／または予測誤差を含み得るが、これらに限定されない。実装態様において、第１のフレームを表す符号化されたデータは、ヘッダデータ、フィルタリングデータなどの他の関連データも含み得る。限定ではなく例示として、ビデオフレームのタイプは、ビデオフレーム（例えば、イントラコーディングされたフレーム）の前および／または後の他のいずれのビデオフレームも使用せず、ビデオフレームの画像データ（のみ）を使用して符号化されたビデオフレーム、ビデオフレーム（例えば、インターコーディングされたフレーム）の前および／または後の他のフレームの情報（画像データ、動きベクトルなど）を使用して符号化されたビデオフレームを含み得る。

【0056】

ブロック５０６において、適応復号化システム１０６は、第１のフレームのフレームヘッダ（または第１のフレームを表す符号化されたデータのデータヘッダ）に示されるフレームタイプに基づいて、第１のフレームがイントラコーディングフレームであるかインターコーディングフレームであるかを判定することができる。

【0057】

ブロック５０８において、第１のフレームがイントラコーディングフレームであると判定したことに応答して、適応復号化システム１０６は、第１のフレームを表す符号化されたデータを復号化することで、ビデオシーケンスに使用されるビデオコーデックのイントラコーディング方法に従って、デコーダ３１０を使用して第１のフレームを再構築することができる。

【0058】

ブロック５１０において、適応復号化システム１０６は、後続のビデオフレームによる参照フレームとして使用するために、再構成された第１のフレームを参照フレームバッファ３１２内に格納することができる。

【0059】

ブロック５１２において、適応復号化システム１０６は、再構築された第１のフレームを、ユーザに提示するためにクライアントデバイス１１２のディスプレイに提供することができる。

【0060】

ブロック５１４において、第１のフレームがインターコーディングされたフレームであると判定したことに応答して、適応復号化システム１０６は、第１のフレームの第１の解像度の情報を取得または判定することができる。

【0061】

実装態様において、適応復号化システム１０６は、第１のフレームのフレームヘッダ（または第１のフレームを表す符号化されたデータのデータヘッダ）で信号伝達または示された相対解像度（例えば、１／２、１／４、１／２^Ｋ、またはｎ／ｍなどの比率。ここで、ｋ、ｎ、およびｍは、正の整数）、ならびに第１のフレームを含むビデオシーケンスのシーケンスヘッダで信号伝達または示された最大解像度に基づいて、第１のフレームの第１の解像度の情報を取得または判定することができる。

【0062】

ブロック５１６において、適応復号化システム１０６は、第１のフレームの第１の解像度が第２の解像度（例えば、第１のフレームを再構築するための参照フレームとして使用される１つ以上の第２のフレームの解像度）と同じであるかどうかを判定することができる。

【0063】

実装態様において、１つ以上の第２のフレームは、第１のフレームの前に受信され、現在、参照フレームバッファ３１２に格納されている。実装態様において、適応復号化システム１０６が使用するコーディングモードに応じて、参照フレームバッファ３１２は、第１のフレームの符号化されたデータを受信する前に適応復号化システム１０６によって受信された異なるタイプまたは解像度の参照フレームを含むか、または格納することができる。

【0064】

実装態様において、適応復号化システム１０６は、適応解像度の変更に対応するために、３つの異なるコーディングモードのうちの１つ以上で構成され得る。第１のコーディングモードによれば、受信および再構築された現在のビデオフレームが前のビデオフレームの解像度とは異なる解像度（例えば、より低い解像度）を有する場合、現在のビデオフレームは常にサイズ変更（例えば、アップサンプリング）され、それによって、サイズ変更されたビデオフレームが前のビデオフレームと同じ解像度を持ち、参照フレームバッファ３１２に格納されるようになる。

【0065】

第２のコーディングモードによれば、元の解像度の現在のビデオフレームは、参照フレームバッファ３１２に直接格納される。さらに、現在のビデオフレームの元の解像度が後続または将来のビデオフレームの解像度と異なり、かつ現在のフレームが後続のビデオフレーム（複数可）のいずれか１つの参照フレームとして使用される場合（例えば、現在のビデオフレームが後続のビデオフレームの解像度よりも低い）、現在のビデオフレームはサイズ変更（例えば、アップサンプリング）され、サイズ変更されたビデオフレームも参照フレームバッファ３１２に格納される。実装態様において、第２のコーディングモードが使用される場合、適応復号化システム１０６は、後続のビデオフレームの解像度を判定することができ、かつ現在のビデオフレームの元の解像度が後続のビデオフレームの解像度と異なり（例えば、より低く）、現在のフレームが後続のビデオフレームのいずれか１つの参照フレームとして使用されていると判定したことに応答して、現在のビデオフレームをサイズ変更することができる。

【0066】

第３のコーディングモードによれば、受信および再構築された現在のビデオフレームは、現在のビデオフレームが前のビデオフレームと同じ解像度を有するかどうかに関して、現在のビデオフレームをサイズ変更して参照フレームバッファに格納することなく、参照フレームバッファ３１２に格納される。

【0067】

ブロック５１８において、第１のフレームの第１の解像度が第２の解像度（例えば、１つ以上の第２のフレームの解像度）と同じであると判定したことに応答して、適応復号化システム１０６は、第１のフレームを表す符号化されたデータを、第１のフレームを再構築する１つ以上の第２のフレームの少なくともいくつかのデータに基づいて、デコーダ３１０を使用して復号化することができる。

【0068】

実装態様において、１つ以上の第２のフレームの少なくともいくつかのデータは、インター予測子（または動き予測子）、動きベクトル、１つ以上の第２のフレームの画像データを含み得るが、これらに限定されない。例えば、適応復号化システム１０６は、１つ以上の第２のフレームのインター予測で使用されるインター予測子のサイズを変更し、および／または動きベクトルをスケーリングし、かつデコーダ３１０を使用して、サイズ変更された予測子および／またはスケーリングされた動きベクトルに基づいて、第１のフレームを表す符号化されたデータを復号化することができる。追加的または代替的に、適応復号化システム１０６は、１つ以上の第２のフレームの画像データに基づいて、第１のフレームを表す符号化されたデータを復号化することができる。いくつかの実装態様において、適応復号化システム１０６は、１つ以上の第２のフレームの他のデータを使用せずに、サイズ変更された予測子および／またはスケーリングされた動きベクトルに基づいて、符号化されたデータを復号化することができる。

【0069】

ブロック５２０において、第１の第１の解像度が１つ以上の第２のフレームの第２の解像度と異なる（例えば、より低いまたはより高い）と判定したことに応答して、適応復号化システム１０６は、１つ以上のリサイザ３１４のうちの第１のリサイザを使用して、１つ以上の第２のフレームをサイズ変更（例えば、アップサンプルまたはダウンサンプル）して、第２の解像度から第１の解像度に変更し、インター予測子をサイズ変更し、および／または動きベクトルを１つ以上の第２のフレームに関連付けることができる。

【0070】

ブロック５２２において、適応復号化システム１０６は、１つ以上のサイズ変更された第２のフレームおよび／またはスケーリングされた動きベクトルに基づいて、デコーダ３１０を使用して第１のフレームを表す符号化されたデータを復号化することで、第１のフレームを再構築することができる。実装態様において、デコーダ３１０は、１つ以上のサイズ変更された第２のフレームおよび／またはスケーリングされた動きベクトルに基づいて、第１のフレームを復号化および再構築するための従来の復号化および再構築方法を使用することができる。

【0071】

ブロック５２４において、適応復号化システム１０６は、使用されるコーディングモードを判定することができる。

【0072】

前述の説明で記載したように、適応復号化システム１０６は、適応解像度の変更に対応するために、３つの異なるコーディングモードのうちの１つ以上で構成され得る。次いで、適応復号化システム１０６は、第１のフレームおよび／または第１のフレームを含むビデオシーケンスに現在使用されているコーディングモードを判定することができる。代替的に、適応復号化システム１０６は、デフォルトのコーディングモードとして３つの異なるコーディングモードのうちの１つで構成され得る。この場合、適応復号化システム１０６は、どのコーディングモードが使用されているかの判定を実行する必要はなく、すなわち、ブロック５２４は省略することができる。

【0073】

ブロック５２６において、適応復号化システム１０６が現在採用しているコーディングモードに応じて、適応復号化システム１０６は、任意選択で、第１の解像度の第１のフレームをサイズ変更することで、１つ以上のリサイザ３１４のうちの第２のリサイザを使用して、１つ以上の第２のフレームの第１の解像度から第２の解像度に変更することができる。

【0074】

実装態様において、ビデオシーケンスのシーケンスヘッダおよび／または第１のフレームのフレームヘッダは、第１のフレームを元の解像度（例えば、第２の解像度、またはビデオシーケンスのシーケンスヘッダに示されている最大解像度）から第１の解像度にサイズ変更するために使用されるサイズ変更フィルタ係数（例えば、アップサンプリングまたはダウンサンプリングフィルタ係数）を含み得る。この場合、適応復号化システム１０６は、サイズ変更フィルタ係数に基づいて、第１のフレームを第１の解像度から第２の解像度、またはビデオシーケンスのシーケンスヘッダに示される最大解像度にサイズ変更することができる。

【0075】

ブロック５２８において、適応復号化システム１０６は、適応復号化システム１０６が使用するコーディングモードに基づいて、第１の解像度の第１のフレームおよび第２の解像度のサイズ変更された第１のフレームのうちの１つ以上を参照フレームバッファ３１２に格納することができる。

【0076】

実装態様において、適応復号化システム１０６は、第１のコーディングモードが使用される場合、（常に）第２の解像度のサイズ変更された第１のフレームを参照フレームバッファ３１２に格納する。実装態様において、第２のコーディングモードが使用される場合、適応復号化システム１０６は、第１の解像度の第１のフレームを参照フレームバッファ３１２に格納し、第１のフレームの第１の解像度が後続のフレーム（すなわち、第１のフレームの後に受信されたビデオフレーム）の解像度と異なる（例えば、より低い）場合、かつ第１のフレームが後続のビデオフレーム（複数可）のいずれか１つの参照フレームとして使用されている場合、サイズ変更された第１のフレームを格納する。実装態様において、第２のコーディングモードが使用されている場合、適応復号化システム１０６は、第１のフレームをサイズ変更するかどうか、サイズ変更された第１のフレームを格納するかどうかを判定するときに、第１のフレームの第１の解像度が後続のフレームの解像度と同じであるかどうかを判定することができる。第１のフレームの第１の解像度が後続のフレームの解像度と異なり（例えば、より低く）、かつ第１のフレームが後続のビデオフレーム（複数可）のいずれか１つの参照フレームとして使用されていると判定すると、適応復号化システム１０６は、第１のフレームをサイズ変更し、サイズ変更された第１のフレームを参照フレームバッファ３１２に格納することができる。実装態様において、第３のコーディングモードが使用される場合、適応復号化システム１０６は、第１の解像度の第１のフレーム（のみ）を参照フレームバッファ３１２に格納する。

【0077】

ブロック５３０において、適応復号化システム１０６は、クライアントデバイス１１２のディスプレイに提示するために、クライアントデバイス１１２に第１のフレームを提供することができる。

【0078】

実装態様において、第１のフレームの第１の解像度が、ビデオシーケンスのシーケンスヘッダに示される最大解像度よりも小さいか、またはクライアントデバイス１１２のディスプレイの所望のもしくはデフォルトの解像度よりも小さい場合、適応復号化システム１０６は、１つ以上のリサイザ３１４のうちの第３のリサイザを使用して、まず第１のフレームを第１の解像度から最大解像度またはクライアントデバイス１１２のディスプレイの所望のもしくはデフォルトの解像度にサイズ変更し、次いで、サイズ変更された第１のフレームを、ユーザに提示するためにクライアントデバイス１１２のディスプレイに提供することができる。

【0079】

実装態様において、第３のリサイザは、第２のリサイザと異なっていてもよく、異なっていなくてもよい。すなわち、第２のリサイザとは異なるサイズ変更またはサンプリング方法を使用してもよく、使用しなくてもよい。例えば、第３のリサイザは、第２のリサイザよりも複雑なサイズ変更またはサンプリング方法を使用してもよい。実装態様において、第２のリサイザは、単純なゼロ位相分離可能ダウンサンプリングおよび／またはアップサンプリングフィルタを使用することができ、第３のリサイザは、二方向以上の複雑なフィルタを使用して、再構成された第１のフレームを、最大解像度またはデフォルトであるか、もしくはクライアントデバイス１１２のディスプレイによって指定された解像度にサイズ変更（例えば、アップサンプル）することができる。

【0080】

実装態様において、参照フレームバッファ３１２内の第２のリサイザによって生成されたサイズ変更またはサンプリング結果の少なくともサブセットは、第３のリサイザに関連付けられた表示バッファと共有され得る。具体的には、例えば、第２のリサイザおよび第３のリサイザで使用されるサンプリング方法が類似しているため、第２のリサイザおよび第３のリサイザの結果の一部が同じになり得る。これにより、結果の効率的な格納が容易になり、第２のリサイザおよび第３のリサイザのサンプリングプロセスが高速化される。

【0081】

代替的に、第１のフレームの第１の解像度が、ビデオシーケンスのシーケンスヘッダに示される最大解像度またはクライアントデバイス１１２のディスプレイの所望の（もしくはデフォルトの）解像度と同じである場合、適応復号化システム１０６は、ユーザに提示するために、単に、第１のフレームをクライアントデバイス１１２のディスプレイに提供することができる。

【0082】

ブロック５３２において、適応復号化システム１０６は、受信フレームバッファ３０８から別のフレーム、例えば第３のフレームの符号化されたデータを取得またはフェッチし、それに応じて上記の方法ブロック（例えば、ブロック５０４～５３０）の動作を第３のフレームに対して実行することができる。

【0083】

上記の方法ブロックは特定の順序で実行されるように説明されているが、いくつかの実装態様において、方法ブロックのいくつかまたはすべてを他の順序で、または並行して実行することができる。限定ではなく例示として、デコーダ３１０および１つ以上のリサイザ３１４は、同時に動作することができる。例えば、適応復号化システム１０６は、デコーダ３１０を使用してビデオフレームを復号化しながら、受信フレームバッファ３０８から別のビデオフレームをフェッチし、その別のビデオフレームのタイプを判定することができる。別の例では、適応復号化システム１０６は、デコーダ３１０によって再構築されたビデオフレームの格納を実行しながら、その前に受信された別の再構築されたビデオフレームをユーザに提示するためにクライアントデバイス１１２に提供することができる。

【0084】

本明細書に記載の方法のいずれかの動作のいずれかは、１つ以上のコンピュータ可読媒体に格納された命令に基づいて、プロセッサまたは他の電子デバイスによって少なくとも部分的に実装され得る。限定ではなく例示として、本明細書に記載の方法のいずれかの動作のいずれかは、１つ以上のコンピュータ可読媒体に格納され得る実行可能な命令で構成された１つ以上のプロセッサの制御下で実装され得る。

【0085】

実装態様は、構造的特徴および／または方法論的動作に特有の文言で説明してきたが、特許請求の範囲は、必ずしも説明してきた特定の特徴または動作に限定されるものではないことを理解されたい。むしろ、特定の特徴および動作は、特許請求された主題を実装する例示的な形態として開示されている。追加的または代替的に、操作のいくつかまたはすべては、１つ以上のＡＳＩＣＳ、ＦＰＧＡ、または他のハードウェアによって実装され得る。

【0086】

本開示は、以下の条項を用いてさらに理解することができる。

【0087】

条項１：１つ以上のコンピューティングデバイスによって実装される方法であって、第１の解像度の第１のフレームを表す符号化されたデータを受信することと、符号化されたデータを復号化して第１のフレームを取得することと、第１のフレームを第１の解像度から第２の解像度にサイズ変更することと、第２の解像度のサイズ変更された第１のフレームを参照フレームバッファに格納することと、を含む、方法。

【0088】

条項２：符号化されたデータを復号化して第１のフレームを取得することは、参照フレームバッファにローカルに格納されている第２の解像度の第２のフレームに基づく、条項１に記載の方法。

【0089】

条項３：第２のフレームは、第１のフレームの直前に受信されたビデオシーケンスのフレームである、条項２に記載の方法。

【0090】

条項４：表示のために第１のフレームをサイズ変更することをさらに含む、条項１に記載の方法。

【0091】

条項５：符号化されたデータを復号化して第１のフレームを取得することは、第１のフレームの前に受信された第２のフレームに関する１つ以上の動き予測ブロックに基づく、条項１に記載の方法。

【0092】

条項６：第３の解像度の第３のフレームを表す他の符号化されたデータを受信することと、他の符号化されたデータを復号化して、少なくとも第２の解像度のサイズ変更された第１のフレームに基づいて第３のフレームを取得することと、をさらに含む、条項１に記載の方法。

【0093】

条項７：第１のフレームのヘッダ内の特定のフィールドに少なくとも部分的に基づいて、第１のフレームの第１の解像度の情報を取得することをさらに含む、条項１に記載の方法。

【0094】

条項８：第１のフレームの第１の解像度の情報を取得することは、第１のフレームを含むビデオシーケンスのヘッダ内の別のフィールドにさらに基づく、条項７に記載の方法。

【0095】

条項９：実行可能な命令を格納する１つ以上のコンピュータ可読媒体であって、実行可能な命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、ネットワーク上で第１のフレームを表す符号化されたデータを受信することと、符号化されたデータを復号化して第１のフレームを取得することと、第１の解像度の第１のフレームを参照フレームバッファに格納することと、第１のフレームの第１の解像度が第２の解像度よりも低いかどうかを判定することと、第１の解像度が第２の解像度と等しくないと判定したことに応答して、第１のフレームを第１の解像度から第２の解像度に適応的にサイズ変更し、第２の解像度のサイズ変更された第１のフレームを参照フレームバッファに格納することと、を含む動作を実行させる、１つ以上のコンピュータ可読媒体。

【0096】

条項１０：符号化されたデータを復号化して第１のフレームを取得することは、第１のフレームの前に受信された第２のフレームに関する１つ以上の動き予測ブロックに基づく、条項９に記載の１つ以上のコンピュータ可読媒体。

【0097】

条項１１：動作は、表示のために第１のフレームをサイズ変更することをさらに含む、条項９に記載の１つ以上のコンピュータ可読媒体。

【0098】

条項１２：動作は、第３の解像度の第３のフレームを表す他の符号化されたデータを受信することと、他の符号化されたデータを復号化して、第２の解像度のサイズ変更された第１のフレームまたは第１の解像度の第１のフレームのうちの１つを使用して、第３のフレームを取得することと、をさらに含む、条項９に記載の１つ以上のコンピュータ可読媒体。

【0099】

条項１３：動作は、第１のフレームのヘッダ内の特定のフィールドに少なくとも部分的に基づいて、第１のフレームの第１の解像度の情報を取得することをさらに含む、条項９に記載の１つ以上のコンピュータ可読媒体。

【0100】

条項１４：第１のフレームの第１の解像度の情報を取得することは、第１のフレームを含むビデオシーケンスのヘッダ内の別のフィールドにさらに基づく、条項１３に記載の１つ以上のコンピュータ可読媒体。

【0101】

条項１５：システムであって、１つ以上のプロセッサと、実行可能な命令を格納するメモリとを備え、実行可能な命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、第１の解像度の第１のフレームを表す符号化されたデータを受信することと、第１のフレームの第１の解像度が第２のフレームの第２の解像度と等しいかどうかを判定することと、第１のフレームの第１の解像度は第２のフレームの第２の解像度と等しくないことに応答して、第２のフレームに関連付けられた予測子をサイズ変更および／または動きベクトルをスケール変更することと、符号化されたデータを復号化して、サイズ変更された予測子および／またはスケール変更された動きベクトルに少なくとも部分的に基づいて、第１のフレームを取得することと、第１の解像度の第１のフレームを参照フレームバッファに格納することと、を含む動作を実行させる、システム。

【0102】

条項１６：動作は、表示のために第１のフレームをサイズ変更することをさらに含む、条項１５に記載のシステム。

【0103】

条項１７：第１のフレームは、ネットワーク上でリモートで受信され、第２のフレームは参照フレームバッファにローカルに格納される、条項１５に記載のシステム。

【0104】

条項１８：動作は、第３の解像度の第３のフレームを表す他の符号化されたデータを受信することと、他の符号化されたデータを復号化して、第１のフレームに少なくとも部分的に基づいて、第３のフレームを取得することと、をさらに含む、条項１５に記載のシステム。

【0105】

条項１９：動作は、第１のフレームのヘッダ内の特定のフィールドに少なくとも部分的に基づいて、第１のフレームの第１の解像度の情報を取得することをさらに含む、条項１５に記載のシステム。

【0106】

条項２０：第１のフレームの第１の解像度の情報を取得することは、第１のフレームを含むビデオシーケンスのヘッダ内の別のフィールドにさらに基づく、条項１９に記載のシステム。

【図1】

【図2】

【図3】

【図4】

【図5】