特許 7580874 ビデオコーディングにおけるニューラルネットワークベースのツールのためのマルチモデル選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】ビデオコーディングにおけるニューラルネットワークベースのツールのためのマルチモデル選択

(51)【国際特許分類】

   H04N 19/105 20140101AFI20241105BHJP

   H04N 19/134 20140101ALI20241105BHJP

【ＦＩ】

H04N19/105

H04N19/134

【請求項の数】 8

(21)【出願番号】P 2022560385

(86)(22)【出願日】2021-08-23

(65)【公表番号】

(43)【公表日】2023-05-23

(86)【国際出願番号】 US2021047125

(87)【国際公開番号】W WO2022150064

(87)【国際公開日】2022-07-14

【審査請求日】2022-10-03

(31)【優先権主張番号】63/136,062

(32)【優先日】2021-01-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/368,069

(32)【優先日】2021-07-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】ゼチアン・リ

(72)【発明者】

【氏名】ウェイ・ワン

(72)【発明者】

【氏名】シャオジョン・シュ

(72)【発明者】

【氏名】ウェイ・ジアン

(72)【発明者】

【氏名】シャン・リュウ

【審査官】松元 伸次

(56)【参考文献】

【文献】国際公開第２０１９／０３１４１０（ＷＯ，Ａ１）

【文献】Lei Zhao, et al.，Enhanced Motion-Compensated Video Coding With Deep Virtual Reference Frame Generation，IEEE Transactions on Image Processing，IEEE，2019年05月02日，Volume: 28, Issue: 10，pp.4832-4836，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8704997

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

プロセッサによって実行可能な、ビデオコーディングのための方法であって、
異なる階層レベルに対応する複数のフレームを含むビデオデータを受信するステップであって、各フレームの階層レベルは、前記複数のフレームにおける前記各フレームの時間的な位置に基づいて決定され、同じ階層レベルを有するフレームは、互いに所定の間隔をあけて配置される、ステップと、
前記複数のフレームの中からの対象フレームのフレーム生成または強調のために、前記受信されたビデオデータに関連付けられた1つまたは複数の量子化パラメータを決定するステップと、
前記決定された量子化パラメータに基づいて、前記ビデオデータをデコードするステップであって、前記決定された量子化パラメータに基づいて、前記フレーム生成または強調のために複数のニューラルネットワークモデルが選択され、前記複数のニューラルネットワークモデルのうち第１のニューラルネットワークモデルは、第１の階層レベルのフレームのために設計され、前記複数のニューラルネットワークモデルのうち前記第１のニューラルネットワークモデルとは異なる第２のニューラルネットワークモデルは、第２の階層レベルのフレームのために設計され、前記第２の階層レベルは前記第１の階層レベルとは異なる、ステップと
を含む、方法。

【請求項2】

前記対象フレームは、Iフレーム、Pフレーム、およびBフレームのうちの1つまたは複数に対応する、請求項1に記載の方法。

【請求項3】

前記デコードされたビデオデータは参照ピクチャリストに含まれる、請求項1に記載の方法。

【請求項4】

前記参照ピクチャリストに基づいて、前記複数のフレームのうちの後続フレームは、動き補償予測に基づいてデコードされる、請求項3に記載の方法。

【請求項5】

1つまたは複数の仮想参照フレームは生成され、前記参照ピクチャリストに含まれる、請求項3に記載の方法。

【請求項6】

前記仮想参照フレームは、信号処理、空間または時間フィルタリング、スケーリング、加重平均、アップ／ダウンサンプリング、プーリング、メモリを用いた再帰的処理、線形システム処理、非線形システム処理、ニューラルネットワーク処理、深層学習ベースの処理、AI処理、事前学習済みネットワーク処理、機械学習ベースの処理、およびオンライン学習ネットワーク処理のうちの1つまたは複数に基づいて生成される、請求項５に記載の方法。

【請求項7】

請求項１～６のいずれか一項に記載の方法を行うように構成された、ビデオコーディングのためのコンピュータシステム。

【請求項8】

1つまたは複数のコンピュータプロセッサに、請求項１～６のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、米国特許商標庁における米国仮特許出願第63／136，062号（2021年1月11日出願）および米国特許出願第17／368，069号（2021年7月6日出願）に基づく優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、データ処理の分野、より具体的にはビデオコーディングに関する。

【背景技術】

【0003】

動き補償を伴うピクチャ間予測を用いたビデオコーディングおよびデコーディングは、数十年前から知られている。非圧縮デジタルビデオは、一連のピクチャからなることができ、各ピクチャは、例えば1920×1080の輝度サンプルおよび関連付けられたクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャまたは60 Hzの固定または可変のピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、8ビット毎サンプルで1080p60 4：2：0ビデオ（60 Hzのフレームレートで1920×1080の輝度サンプル解像度）は、1．5 Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600 GByteを超える記憶空間を必要とする。

【0004】

H．264／アドバンストビデオコーディング（H．264／AVC）、高効率ビデオコーディング（HEVC）、および多用途ビデオコーディング（VVC）などの従来のビデオコーディング規格は、同様の（再帰的）ブロックベースのハイブリッド予測／変換フレームワークを共有し、イントラ／インター予測、整数変換、およびコンテキスト適応エントロピー・コーディングなどの個々のコーディングツールは、全体的な効率を最適化するために集中的に手作業で作成される。

【発明の概要】

【課題を解決するための手段】

【0005】

実施形態は、ビデオコーディングのための方法、システム、およびコンピュータ可読媒体に関する。一態様によれば、ビデオコーディングのための方法が提供される。この方法は、1つまたは複数のフレームを含むビデオデータを受信するステップを含み得る。受信されたビデオデータに関連付けられた1つまたは複数の量子化パラメータが、1つまたは複数のフレームの中からの対象フレームのフレーム生成または強調のために決定される。決定された量子化パラメータに基づいて、ビデオデータがデコードされる。

【0006】

他の態様によれば、ビデオコーディングのためのコンピュータシステムが提供される。コンピュータシステムは、1つまたは複数のプロセッサと、1つまたは複数のコンピュータ可読メモリと、1つまたは複数のコンピュータ可読有形記憶装置と、1つまたは複数のメモリのうちの少なくとも1つを介して1つまたは複数のプロセッサのうちの少なくとも1つによって実行するために1つまたは複数の記憶装置のうちの少なくとも1つに記憶されたプログラム命令とを含むことにより、コンピュータシステムは方法を実行することが可能である。この方法は、1つまたは複数のフレームを含むビデオデータを受信するステップを含み得る。受信されたビデオデータに関連付けられた1つまたは複数の量子化パラメータが、1つまたは複数のフレームの中からの対象フレームのフレーム生成または強調のために決定される。ビデオデータは、決定された量子化パラメータに基づいてデコードされる。

【0007】

さらに他の態様によれば、ビデオコーディングのためのコンピュータ可読媒体が提供される。コンピュータ可読媒体は、1つまたは複数のコンピュータ可読記憶装置と、1つまたは複数の有形記憶装置のうちの少なくとも1つに記憶されたプログラム命令とを含むことができ、プログラム命令はプロセッサによって実行可能である。プログラム命令は、1つまたは複数のフレームを含むビデオデータを受信するステップを適切に含み得る方法を実行するためにプロセッサによって実行可能である。受信されたビデオデータに関連付けられた1つまたは複数の量子化パラメータが、1つまたは複数のフレームの中からの対象フレームのフレーム生成または強調のために決定される。決定された量子化パラメータに基づいて、ビデオデータがデコードされる。

【0008】

これらおよび他の目的、特徴および利点は、添付の図面に関連して読まれるべき例示的な実施形態の以下の詳細な説明から明らかになるであろう。図は、詳細な説明と併せて当業者の理解を容易にする際に明確にするためのものであるため、図面の様々な特徴は一定の縮尺ではない。

【図面の簡単な説明】

【0009】

【図1】少なくとも1つの実施形態によるネットワーク化されたコンピュータ環境を示す図である。

【図2】少なくとも1つの実施形態による、ループフィルタ／インター予測のための階層的時間構造である。

【図3】少なくとも1つの実施形態による、ビデオデータをエンコードおよびデコードするプログラムによって実行されるステップを示す動作フローチャートである。

【図4】少なくとも1つの実施形態による、図1に示されるコンピュータおよびサーバの内部および外部構成要素のブロック図である。

【図5】少なくとも1つの実施形態による、図1に示されるコンピュータシステムを含む例示的なクラウドコンピューティング環境のブロック図である。

【図6】少なくとも1つの実施形態による、図5の例示的なクラウドコンピューティング環境の機能層のブロック図である。

【発明を実施するための形態】

【0010】

特許請求される構造および方法の詳細な実施形態が本明細書に開示されるが、開示された実施形態は、様々な形態で具現化され得る特許請求される構造および方法の例示にすぎないことが理解され得る。しかしながら、これらの構造および方法は、多くの異なる形で具現化されることができ、本明細書に記載された例示的な実施形態に限定されると解釈されるべきではない。むしろ、これらの例示的な実施形態は、本開示が徹底的かつ完全であり、当業者にその範囲を十分に伝えるように提供されている。説明では、提示された実施形態を不必要に不明瞭にすることを避けるために、周知の特徴および技術の詳細は省略される場合がある。

【0011】

実施形態は、一般に、データ処理の分野、より詳細にはビデオコーディングに関する。以下に説明する例示的な実施形態は、とりわけ、ループフィルタ／インター予測のための階層的時間構造に基づいてビデオデータをエンコードおよびデコードするためのシステム、方法、およびコンピュータプログラムを提供する。したがって、いくつかの実施形態は、ビデオコーディングにおける改善された効率を可能にすることによって計算分野を改善する能力を有する。

【0012】

前述したように、動き補償を伴うピクチャ間予測を用いたビデオコーディングおよびデコーディングは数十年前から知られている。非圧縮デジタルビデオは、一連のピクチャからなることができ、各ピクチャは、例えば1920×1080の輝度サンプルおよび関連付けられたクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャすなわち60 Hzの固定または可変のピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、サンプル毎8ビットで1080p60 4：2：0ビデオ（60 Hzのフレームレートで1920×1080の輝度サンプル解像度）は、1．5 Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600 GByteを超える記憶空間を必要とする。H．264／アドバンストビデオコーディング（H．264／AVC）、高効率ビデオコーディング（HEVC）、および多用途ビデオコーディング（VVC）などの従来のビデオコーディング規格は、同様の（再帰的）ブロックベースのハイブリッド予測／変換フレームワークを共有し、イントラ／インター予測、整数変換、およびコンテキスト適応エントロピー・コーディングなどの個々のコーディングツールは、全体的な効率を最適化するために集中的に手作業で作成される。

【0013】

ビデオのコーディングおよびデコーディングの1つの目的は、圧縮を介して入力ビデオ信号内の冗長度を低減することであり得る。圧縮は、前述の帯域幅または記憶空間要件を、場合によっては2桁以上低減するのに役立つことができる。可逆圧縮および非可逆圧縮の両方、ならびにそれらの組合せが使用され得る。可逆圧縮とは、元の信号の正確な複製が、圧縮された元の信号から再構成され得る技術を指す。非可逆圧縮を使用する場合、再構成された信号は元の信号と同一ではないことがあるが、元の信号と再構成された信号との間の歪みは、再構成された信号を意図した用途に役立てるのに十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い容認可能／許容可能な歪みがより高い圧縮比をもたらし得ることを反映し得る。

【0014】

時空間画素近傍は、その後の変換、量子化、およびエントロピー・コーディングのための対応する残差を得るために、予測信号構成のために利用される。一方、ニューラルネットワーク（NN）の性質は、近傍の画素の受容野からの時空間情報を解析することにより、異なるレベルの時空間刺激を抽出することである。高度な非線形性および非局所的な時空間相関を探索する能力は、圧縮品質を大幅に改善するための有望な機会を提供する。

【0015】

しかしながら、複数の近傍のビデオフレームからの情報を活用することの1つの注意点は、動くカメおよび動的シーンによって引き起こされる複雑な動きである。従来のブロックベースの動きベクトルは、非並進運動にはうまく機能しない。学習ベースのオプティカルフロー方法は、画素レベルで正確な動き情報を提供することができるが、残念ながら、特に移動物体の境界に沿って、誤りを起こしやすい。いくつかのハイブリッドフレーム間予測では、データ駆動方式で任意の複雑な動きを暗黙的に処理するために、NNベースのモデルが適用される。

【0016】

したがって、パフォーマンスとコーディング実行時間とのより良いトレードオフを有するために、ループフィルタ（LF）またはインター予測ツールとしてNNベースのモデルを使用する場合に、LFを適用するか、または中間フレームを生成するために、参照フレームとして異なるフレームを選択することが有利であり得る。

【0017】

様々な実施形態による方法、装置（システム）、およびコンピュータ可読媒体のフローチャート図および／またはブロック図を参照して、態様を本明細書で説明する。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。

【0018】

以下に説明する例示的な実施形態は、ビデオデータをエンコードおよびデコードするシステム、方法、およびコンピュータプログラムを提供する。ここで図1を参照すると、ネットワーク化されたコンピュータ環境の機能ブロック図は、ビデオデータをエンコードおよびデコードするためのビデオコーディングシステム100（以下「システム」）を示す。図1は、一実装形態の例示のみを提供しており、異なる実施形態が実施され得る環境に関していかなる限定も含意しないことを理解されたい。図示された環境に対する多くの修正は、設計および実施要件に基づいて行われ得る。

【0019】

システム100は、コンピュータ102およびサーバコンピュータ114を含み得る。コンピュータ102は、通信ネットワーク110（以下「ネットワーク」）を介してサーバコンピュータ114と通信し得る。コンピュータ102は、プロセッサ104と、ユーザとインターフェースし、サーバコンピュータ114と通信することが可能な、データ記憶装置106に記憶されたソフトウェアプログラム108とを含み得る。図4を参照して以下で述べられるように、コンピュータ102は、それぞれ内部構成要素800Aおよび外部構成要素900Aを含んでよく、サーバコンピュータ114は、それぞれ内部構成要素800Bおよび外部構成要素900Bを含んでよい。コンピュータ102は、例えば、モバイル装置、電話、携帯情報端末、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、またはプログラムを実行し、ネットワークにアクセスし、データベースにアクセスすることが可能な任意のタイプのコンピューティング装置であってもよい。

【0020】

サーバコンピュータ114はまた、図5および図6に関して以下で述べられるように、サービスとしてのソフトウェア（SaaS：Software as a Service）、サービスとしてのプラットフォーム（PaaS：Platform as a Service）、またはサービスとしてのインフラストラクチャ（laaS：Infrastructure as a Service）などのクラウドコンピューティングサービスモデルで動作してもよい。サーバコンピュータ114はまた、プライベートクラウド、コミュニティクラウド、パブリッククラウド、またはハイブリッドクラウドなどのクラウドコンピューティング展開モデルに配置されてもよい。

【0021】

ビデオデータをエンコードおよびデコードするために使用され得るサーバコンピュータ114は、データベース112と相互作用し得るビデオコーディングプログラム116（以下、「プログラム」）を実行することが可能である。ビデオコーディングプログラム方法は、図3に関して以下でより詳細に説明される。一実施形態では、コンピュータ102は、ユーザインターフェースを含む入力装置として動作してもよく、プログラム116は、主にサーバコンピュータ114上で動作してもよい。代替的な実施形態では、プログラム116は、主に1つまたは複数のコンピュータ102上で動作してもよく、サーバコンピュータ114は、プログラム116によって使用されるデータの処理および記憶に使用されてもよい。プログラム116は、スタンドアロンプログラムであってもよいし、またはより大きなビデオコーディングプログラムに統合されてもよいことに留意されたい。

【0022】

しかしながら、プログラム116のための処理は、場合によっては、コンピュータ102とサーバコンピュータ114との間で任意の比率で共有されてもよいことに留意されたい。他の実施形態では、プログラム116は、1つより多くのコンピュータ、サーバコンピュータ、またはコンピュータとサーバコンピュータとの何らかの組合せ、例えば、ネットワーク110を介して単一のサーバコンピュータ114と通信する複数のコンピュータ102上で動作し得る。他の実施形態では、例えば、プログラム116は、ネットワーク110を介して複数のクライアントコンピュータと通信する複数のサーバコンピュータ114上で動作し得る。代替として、プログラムは、ネットワークを介してサーバおよび複数のクライアントコンピュータと通信するネットワークサーバ上で動作してもよい。

【0023】

ネットワーク110は、有線接続、無線接続、光ファイバ接続、またはこれらの何らかの組合せを含み得る。一般に、ネットワーク110は、コンピュータ102とサーバコンピュータ114との間の通信をサポートする接続およびプロトコルの任意の組合せであり得る。ネットワーク110は、例えば、ローカルエリアネットワーク（LAN：local area network）、インターネットなどのワイドエリアネットワーク（WAN：wide area network）、公衆交換電話網（PSTN：Public Switched Telephone Network）などの電気通信ネットワーク、無線ネットワーク、公衆交換網、衛星ネットワーク、セルラーネットワーク（例えば、第5世代（5G）ネットワーク、ロングタームエボリューション（LTE：long－term evolution）ネットワーク、第3世代（3G）ネットワーク、符号分割多元接続（CDMA：code division multiple access）ネットワークなど）、公衆陸上移動体ネットワーク（PLMN：public land mobile network）、メトロポリタンエリアネットワーク（MAN：metropolitan area network）、プライベートネットワーク、アドホックネットワーク、イントラネット、もしくは光ファイバベースのネットワークなど、および／またはこれらもしくは他のタイプのネットワークの組合せなどの様々なタイプのネットワークを含み得る。

【0024】

図1に示される装置およびネットワークの数および配置は、一例として提供されている。実際には、図1に示されるものに比べて、さらなる装置および／もしくはネットワーク、少ない装置および／もしくはネットワーク、異なる装置および／もしくはネットワーク、または異なる配置の装置および／もしくはネットワークが存在してもよい。さらに、図1に示される2つ以上の装置は、単一の装置内に実装されてもよく、または図1に示される単一の装置は、複数の分散型装置として実装されてもよい。追加として、または代替として、システム100の装置のセット（例えば、1つまたは複数の装置）が、システム100の装置の他のセットによって実行されるものとして説明されている1つまたは複数の機能を実行してもよい。

【0025】

ここで図2を参照すると、ループフィルタ／インター予測のための階層的時間構造200が示されている。階層構造200は、ビデオコーディングおよびデコーディングにおいてNNベースのループフィルタまたはフレーム間予測を適用することができ、より具体的には、フレーム生成のためのNNモデルまたはI／P／Bフレームのビデオコーディングにおける強調をそれぞれ使用するための参照フレームとして適用されるフレームの数／インデックスを決定することができる。複数の画像フレームx₁，．．．，x_T（例えば、1～16）を含む入力ビデオxを仮定する。第1の動き推定ステップでは、フレームは空間ブロックに分割され、各ブロックはより小さいブロックに反復的に分割されることができ、現在のフレームx_tと以前の再構成されたフレームのセット

【数1】

との間の動きベクトルのセット

【数2】

が各ブロックについて計算される。なお、下付き文字tは、現在のt番目のエンコーディング・サイクルを示しており、画像フレームの表示順（タイムスタンプ）と一致しない場合がある。また、

【数3】

は、複数の以前のエンコーディング・サイクルからのフレームを含む。次に、第2の動き補償ステップにおいて、現在のコーディングブロックについて、現在のフレーム

【数4】

において、動きベクトル

【数5】

に基づいて以前の

【数6】

の対応する画素をコピーすることによって予測ブロックが取得され、元のブロックと予測ブロックとの間の残差r_tが取得され得る。第3のステップでは、残差r_tが変換され、次いで量子化される。

【0026】

量子化ステップは、量子化変換ブロックを与える。動きベクトル

【数7】

および量子化変換ブロックの両方は、エントロピー・コーディングによってビットストリームにエンコードされ、デコーダに送信される。次に、デコーダ側では、デコードされたブロックは、逆変換および逆量子化を適用して（通常、逆量子化された係数を有するIDCTのような逆変換を介して）、復元された残差

【数8】

を取得する。次に、

【数9】

が予測ブロックに加算されて戻され、再構成ブロックが取得される。再構成された

【数10】

の視覚的品質を改善するために、追加の構成要素がさらに使用される。典型的には、

【数11】

を処理するために、以下の拡張モジュール、すなわち、デブロッキングフィルタ（DF）、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）などを含む拡張モジュールのうちの1つまたは複数が選択され得る。

【0027】

HEVC、VVC、または他のビデオコーディングフレームワークまたは規格では、デコードされたピクチャは、参照ピクチャリスト（RPL）に含まれてもよく、参照ピクチャとしての動き補償予測、およびエンコーディングまたはデコーディング順序で後続のピクチャをコーディングするための他のパラメータ予測に使用され得る。あるいは、現在のピクチャのデコードされた部分は、現在のピクチャの異なる領域またはブロックをコーディングするためのイントラ予測またはイントラブロックコピーのために使用され得る。

【0028】

一例では、1つまたは複数の仮想参照が生成され、エンコーダおよびデコーダの両方、またはデコーダのみのRPLに含まれ得る。仮想参照ピクチャは、信号処理、空間または時間フィルタリング、スケーリング、加重平均、アップ／ダウンサンプリング、プーリング、メモリを用いた再帰的処理、線形システム処理、非線形システム処理、ニューラルネットワーク処理、深層学習ベースの処理、AI処理、事前学習済みネットワーク処理、機械学習ベースの処理、オンライン学習ネットワーク処理、またはそれらの組合せを含む1つまたは複数の処理によって生成され得る。仮想参照を生成するための処理では、出力／表示順およびエンコーディング／デコーディング順の両方で現在のピクチャの前にある0個以上の前方参照ピクチャと、出力／表示順の両方で現在のピクチャの後にあるがエンコーディング／デコーディング順で現在のピクチャの前にある0個以上の後方参照ピクチャとが入力データとして用いられる。処理の出力は、新たな参照ピクチャとして使用される仮想／生成ピクチャである。この新たな参照ピクチャが、現在のピクチャにおけるコーディングブロックを予測するために選択される場合、通常の動き補償技術が適用され得る。

【0029】

一例では、NNベースの方法は、上述の追加の構成要素（例えば、DF、SAO、ALF、CCALFなど）のうちの1つまたは複数と組み合わせて、各フレームのスライス／CTUレベルの両方でインループフィルタ設計に適用されてもよく、または上述の追加の構成要素（例えば、DF、SAO、ALF、CCALFなど）のうちの1つまたは複数を置き換えるために適用されてもよい。適用される場合、再構成された現在のピクチャは、NN拡張フィルタ処理されたピクチャを生成するために、NNベースのモデルへの入力データとして使用される。各ブロックまたはCTUについて、このNN拡張フィルタ処理されたピクチャをポストフィルタリング結果として選択するか、または従来のフィルタリング方法を使用するかの決定がなされ得る。

【0030】

或る条件を満たすピクチャに適用する異なるシナリオのためのNNベースのビデオコーディングツールとして、1つまたは複数のNNモデルが選択され得る。一実施形態では、異なるQP（量子化パラメータ）に対して、1つまたは複数のNNベースのモデルが、NNベースのビデオコーディングツールにおいて選択され得る。言い換えれば、NNベースのビデオコーディングツールは、すべてのQPに対して1つのモデル、または各QPに対して別々のモデル、またはQP範囲のセットに対して割り当てられた1つのモデルを有する別々のモデルを使用することができる。

【0031】

1つまたは複数の実施形態では、異なる階層レベルの下のピクチャについて、1つまたは複数のNNベースのモデルが、NNベースのビデオコーディングツールにおいて使用される。言い換えれば、NNベースのビデオコーディングツールは、すべてのフレームに対して1つのモデルを使用することができ、またはそれらのPOCが或る条件を満たす異なるフレームに対して別々のモデルを使用することができる。例えば、図２は、ループフィルタ／インター予測の階層構造の一例を示す。1つのモデルは、1に等しい階層レベルIDを有するフレームのために設計され、他のモデルは、2に等しい階層レベルIDを有するフレームのために設計されるなどである。他の例では、偶数または奇数である異なる階層レベルIDを有するピクチャのために、NNベースのビデオコーディングツールにおいて複数のモデルが適用され得る。言い換えれば、階層レベルIDが偶数のフレームのために1つのモデルが設計され、階層レベルIDが奇数のフレームのために他のモデルが設計される。

【0032】

1つまたは複数の実施形態では、異なるタイプの参照ピクチャリスト（RPL）を有する異なるフレームについて、1つまたは複数のNNベースのモデルが、NNベースのビデオコーディングツールにおいて選択され得る。言い換えれば、NNベースのビデオコーディングツールは、すべてのフレームに対して1つのモデルを使用することができ、または、その参照ピクチャリスト（RPL）が或る条件を満たす異なるフレームに対して別々のモデルを使用することができる。例えば、1つのモデルは、それらの参照ピクチャリスト（RPL）の長さが1に等しいフレームのために設計され、他のモデルは、それらの参照ピクチャリスト（RPL）の長さが2に等しいフレームのために設計されるなどである。他の例では、参照ピクチャリスト（RPL）内の参照ピクチャが異なる階層レベルから来るとき、複数のモデルがNNベースのビデオコーディングツールにおいて適用され得る。言い換えれば、1つのモデルは、参照ピクチャリスト（RPL）内のそれらの参照ピクチャが階層レベル1および2から来るフレームのために設計され、他のモデルは、参照ピクチャリスト（RPL）内のそれらの参照ピクチャが階層レベル1、2および3から来るフレームのために設計されるなどである。

【0033】

1つまたは複数の実施形態において、NNベースのモデルのための入力として異なる数の参照フレームを有する異なるフレームについて、1つまたは複数のNNベースのモデルが、NNベースのビデオコーディングツールにおいて選択される。言い換えれば、NNベースのビデオコーディングツールは、すべてのフレームに対して1つのモデルを使用することができ、またはNNベースのモデルの入力として特定の数の参照フレームを使用する異なるフレームに対して別々のモデルを使用することができる。例えば、1つのモデルは、RPL内の1つの固有の参照フレームをNNモデルへの入力として選択するフレームのために設計され、他のモデルは、RPL内の2つの固有の参照フレームをNNモデルへの入力として選択するフレームのために設計される。他の例では、参照フレームは、RPL内に提示される必要はないかもしれないが、エンコーダおよびデコーダの両方がそれらにアクセスできるように、DPB内に記憶される可能性もある。

【0034】

1つまたは複数の実施形態では、NNベースのモデルの入力としてそれらの参照フレームまでの異なる時間距離を有する異なるフレームについて、1つまたは複数のNNベースのモデルが、NNベースのビデオコーディングツールにおいて選択される。言い換えれば、NNベースのビデオコーディングツールは、すべてのフレームに対して1つのモデルを使用することができ、または、それらの参照フレームがそれらに対して異なる時間距離を有することができる異なるフレームに対して別々のモデルを使用することができる。例えば、（現在のフレームまでの）時間距離が1に等しい参照フレームをNNモデルへの入力として使用する現在のフレームのために1つのモデルが設計され、（現在のフレームまでの）時間距離が2に等しい参照フレームをNNモデルなどへの入力として有する現在のフレームのために他のモデルが設計される。

【0035】

1つまたは複数の実施形態では、NNベースのビデオコーディングは、NNベースのインター予測もしくはループフィルタリング、またはその両方であり得る。

【0036】

複数モデル選択は、ビデオコーディングにおけるNNベースのコーディングツールとして適用され得る。提案される方法は、異なる条件によるピクチャに対するニューラルネットワークベースのコーディングツールとして1つまたは複数のNNベースのモデルを選択するかどうかを決定する。NNベースのコーディングツールは、NNベースのループフィルタリング、インター予測のためのNNベースの仮想参照ピクチャを含むことができるが、これらに限定されない。以下は、提案される方法をさらに詳述するためのいくつかの例である。

【0037】

一例では、図２の階層的GOP構造を考えると、1つのモデルがすべてのレベルのピクチャに使用されることができ、または各レベルについて、別個のモデルがフレームの異なる階層レベルID（POCの異なる条件）に使用されることができる。一例として、（POC＝3の）現在のピクチャの場合、それは（POC＝2の）他のピクチャと異なる階層レベルを有し、異なるシナリオまたは条件と共に、これらの2つのピクチャは、1つの共通のモデル、またはNNベースのコーディングツール内の別個のモデルを使用することができる。

【0038】

他の例では、図２の階層的GOP構造を考えると、（POC＝3の）現在のピクチャの場合、それは（POC＝0、2、4、8の）ピクチャの参照ピクチャリスト（RPL）を有し、（POC＝10の）現在のピクチャの場合、それは（POC＝8、12、16の）ピクチャの参照ピクチャリスト（RPL）を有し、これら2つのフレームは、参照フレームが異なる階層レベルからのものである異なる参照ピクチャリスト（RPL）を有し、そのような2つのピクチャは、NNベースのコーディングツールとして1つの共通モデルまたは別個のモデルを使用することができる。

【0039】

他の例では、図２の階層的GOP構造を考えると、（POC＝3の）現在のピクチャについて、（POC＝0、2、4、8の）ピクチャの参照ピクチャリスト（RPL）を有し、異なる数の参照フレームがNNベースのモデルに供給されることができる。異なる数の参照フレームが入力として使用される場合、それは1つの共通のモデル、またはNNベースのコーディングツールとして別個のモデルを使用することができる。

【0040】

他の例では、図２の階層的GOP構造を考えると、（POC＝3の）現在のピクチャについて、それは（POC＝0、2、4、8の）ピクチャの参照ピクチャリスト（RPL）を有し、各参照フレームについて、それは現在のピクチャまでの異なる時間距離を有することができ、現在のピクチャに対する参照フレームの異なる時間距離について、それは1つの共通のモデルを使用して、またはNNベースのコーディングツールの別個のモデルを使用して適用されることができる。

【0041】

ここで図3を参照すると、ビデオデータをエンコードおよびデコードするプログラムによって実行される方法300のステップを示す動作フローチャートが示されている。

【0042】

302において、方法300は、1つまたは複数のフレームを含むビデオデータを受信するステップを含み得る。

【0043】

304において、方法300は、1つまたは複数のフレームの中からの対象フレームのフレーム生成または強調のために、受信されたビデオデータに関連付けられた1つまたは複数の量子化パラメータを決定するステップを含み得る。

【0044】

306において、方法300は、決定された量子化パラメータに基づいてビデオデータをデコードするステップを含み得る。

【0045】

図3は、1つの実装形態の例示のみを提供し、異なる実施形態がどのように実装され得るかに関していかなる制限も示唆しないことが理解されよう。図示された環境に対する多くの修正は、設計および実施要件に基づいて行われ得る。

【0046】

図4は、例示的な実施形態による、図1に示されるコンピュータの内部および外部構成要素のブロック図400である。図4は、1つの実装形態の例示のみを提供し、異なる実施形態が実装され得る環境に関するいかなる制限も意味しないことを理解されたい。図示された環境に対する多くの修正は、設計および実施要件に基づいて行われ得る。

【0047】

コンピュータ102（図1）およびサーバコンピュータ114（図1）は、図5に示される内部構成要素800A、800Bおよび外部構成要素900A、900Bのそれぞれのセットを含み得る。内部構成要素800のセットの各々は、1つまたは複数のプロセッサ820と、1つまたは複数のバス826上の1つまたは複数のコンピュータ可読RAM822および1つまたは複数のコンピュータ可読ROM824と、1つまたは複数のオペレーティングシステム828と、1つまたは複数のコンピュータ可読有形記憶装置830とを含む。

【0048】

プロセッサ820は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組合せで実装される。プロセッサ820は、中央処理装置（CPU：central processing unit）、グラフィック処理装置（GPU：graphics processing unit）、加速処理装置（APU：accelerated processing unit）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（DSP：digital signal processor）、フィールドプログラマブルゲートアレイ（FPGA：field－programmable gate array）、特定用途向け集積回路（ASIC：application－specific integrated circuit）、または他のタイプの処理構成要素である。いくつかの実装形態では、プロセッサ820は、機能を実行するようにプログラムされることが可能な1つまたは複数のプロセッサを含む。バス826は、内部構成要素800A、800B間の通信を可能にする構成要素を含む。

【0049】

1つ以上のオペレーティングシステム828、ソフトウェアプログラム108（図1）、およびサーバコンピュータ114（図1）上のビデオコーディングプログラム116（図1）は、それぞれのRAM822（通常はキャッシュメモリを含む）のうちの1つまたは複数を介してそれぞれのプロセッサ820のうちの1つまたは複数によって実行するために、それぞれのコンピュータ可読有形記憶装置830のうちの1つまたは複数に記憶される。図4に示される実施形態では、コンピュータ可読有形記憶装置830の各々は、内蔵ハードドライブの磁気ディスク記憶装置である。代替として、コンピュータ可読有形記憶装置830の各々は、ROM824、EPROM、フラッシュメモリなどの半導体記憶装置、光ディスク、光磁気ディスク、ソリッドステートディスク、コンパクトディスク（CD：compact disc）、デジタル多用途ディスク（DVD：digital versatile disc）、フロッピーディスク、カートリッジ、磁気テープ、ならびに／またはコンピュータプログラムおよびデジタル情報を記憶し得る他のタイプの非一時的コンピュータ可読有形記憶装置である。

【0050】

内部構成要素800A、800Bの各セットはまた、CD－ROM、DVD、メモリスティック、磁気テープ、磁気ディスク、光ディスク、または半導体記憶装置などの1つまたは複数のポータブルコンピュータ可読有形記憶装置936から読み書きするためのR／Wドライブまたはインターフェース832を含む。ソフトウェアプログラム108（図1）およびビデオコーディングプログラム116（図1）などのソフトウェアプログラムは、それぞれのポータブルコンピュータ可読有形記憶装置936のうちの1つまたは複数に記憶され、それぞれのR／Wドライブまたはインターフェース832を介して読み出され、それぞれのハードドライブ830にロードされ得る。

【0051】

内部構成要素800A、800Bの各セットはまた、TCP／IPアダプタカード、無線Wi－Fiインターフェースカード、または3G、4G、もしくは5G無線インターフェースカードまたは他の有線もしくは無線通信リンクなどのネットワークアダプタまたはインターフェース836を含む。サーバコンピュータ114（図1）上のソフトウェアプログラム108（図1）およびビデオコーディングプログラム116（図1）は、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、または他の広域ネットワーク）およびそれぞれのネットワークアダプタまたはインターフェース836を介して外部コンピュータからコンピュータ102（図1）およびサーバコンピュータ114にダウンロードされ得る。ネットワークアダプタまたはインターフェース836から、ソフトウェアプログラム108およびサーバコンピュータ114上のビデオコーディングプログラム116は、それぞれのハードドライブ830にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含み得る。

【0052】

外部構成要素900A、900Bのセットの各々は、コンピュータディスプレイモニタ920、キーボード930、およびコンピュータマウス934を含むことができる。外部構成要素900A、900Bはまた、タッチスクリーン、仮想キーボード、タッチパッド、ポインティングデバイス、および他のヒューマンインターフェース装置を含み得る。内部構成要素800A、800Bのセットの各々はまた、コンピュータディスプレイモニタ920、キーボード930、およびコンピュータマウス934にインターフェースするためのデバイスドライバ840を含む。デバイスドライバ840、R／Wドライブまたはインターフェース832ならびにネットワークアダプタまたはインターフェース836は、ハードウェアおよび（記憶装置830および／またはROM824に記憶された）ソフトウェアを含む。

【0053】

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載された教示の実施態様はクラウドコンピューティング環境に限定されないことが事前に理解される。むしろ、一部の実施形態は、現在知られているまたは後に開発される任意の他のタイプのコンピューティング環境と併せて実施され得る。

【0054】

クラウドコンピューティングは、設定可能なコンピューティングリソース（ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、サービスなど）の共有プールへの、簡単にオンデマンドネットワークアクセスを可能にするサービス提供モデルであり、最小限の管理作業やサービスプロバイダとのやりとりで迅速にプロビジョニングおよびリリースされ得る。このクラウドモデルは、少なくとも5つの特性、少なくとも3つのサービスモデル、および少なくとも4つの展開モデルを含み得る。

【0055】

特性は以下の通りである。
オンデマンド・セルフサービス（On-demand Self-service）：クラウド消費者は、サービスのプロバイダとの人間の対話を必要とせずに、必要に応じてサーバタイムおよびネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングできる。
幅広いネットワークアクセス(Broad Network Access)：機能は、ネットワークを介して利用可能であり、ヘテロジニアスなシンまたはシックなクライアントプラットフォーム（例えば、携帯電話、ラップトップ、およびPDA）による使用を促進する標準的な機構を介してアクセスされる。
リソースの共用(Resource Pooling)：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数の消費者にサービスを提供するためにプールされ、異なる物理リソースおよび仮想リソースは、需要に応じて動的に割り当ておよび再割り当てされる。消費者は、一般に、提供されたリソースの正確な位置に対する制御または知識を持たないが、より高い抽象化レベル（例えば、国、州、またはデータセンタ）で位置を指定することができるという点で、位置独立性の感覚がある。
スピーディーな拡張性(Rapid Elasticity)：機能は、素早くスケールアウトするために迅速かつ柔軟に、場合によっては自動的に、プロビジョニングされ、素早くスケールインするために迅速にリリースされ得る。消費者には、プロビジョニングに利用可能な機能は、多くの場合、無制限であるように見え、いつでも任意の量で購入され得る。
サービスが計測可能である(Measured Service)：クラウドシステムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブユーザアカウント）に適したある抽象化レベルで計測機能を活用することによって、リソース使用を自動的に制御および最適化する。リソース使用は、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供するように監視、制御、および報告され得る。

【0056】

サービスモデルは次の通りである。
サービスとしてのソフトウェア（SaaS）：消費者に提供される能力は、クラウドインフラストラクチャ上で実行されるプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブブラウザ（例えば、ウェブベースの電子メール）などのシンクライアントインターフェースを介して様々なクライアント装置からアクセス可能である。消費者は、限定されたユーザ固有のアプリケーション構成設定を可能な例外として、ネットワーク、サーバ、オペレーティングシステム、ストレージ、または個々のアプリケーション機能さえも含む基盤となるクラウドインフラストラクチャを管理または制御しない。
サービスとしてのプラットフォーム（PaaS）：消費者に提供される機能は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、消費者が作成または取得したアプリケーションをクラウドインフラストラクチャ上に展開することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、またはストレージを含む基盤となるクラウドインフラストラクチャを管理または制御しないが、展開されたアプリケーションおよび場合によってはアプリケーションホスティング環境構成を制御する。
サービスとしてのインフラストラクチャ（laaS）：消費者に提供される機能は、処理、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースをプロビジョニングすることであり、消費者は、オペレーティングシステムおよびアプリケーションを含み得る任意のソフトウェアを展開および実行し得る。消費者は、基盤となるクラウドインフラストラクチャを管理も制御もしないが、オペレーティングシステム、ストレージ、展開されたアプリケーション、および場合によっては選択ネットワーキング構成要素（例えば、ホストファイアウォール）の限定された制御を制御する。

【0057】

展開モデルは次の通りである。
プライベートクラウド：クラウドインフラストラクチャは、組織のためだけに運用される。クラウドインフラストラクチャは、当該組織またはサードパーティーによって管理されてもよく、また、オンプレミスで存在してもよいし、オフプレミスで存在してもよい。
コミュニティクラウド：クラウドインフラストラクチャは、いくつかの組織によって共有され、共有された関心事項（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンスの考慮事項）を有する特定のコミュニティをサポートする。それは、組織または第三者によって管理されてもよく、オンプレミスまたはオフプレミスで存在してもよい。
パブリッククラウド：クラウドインフラストラクチャは、一般の市民または大規模な業界グループに利用可能にされ、クラウドサービスを販売する組織によって所有される。
ハイブリッドクラウド：クラウドインフラストラクチャは、独自のエンティティのままであるが、データおよびアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースト）を可能にする標準化されたまたは独自の技術によって互いに結び付けられた2つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合である。

【0058】

クラウドコンピューティング環境は、無国籍、低結合、モジュール性、およびセマンティック相互運用性に焦点を合わせたサービス指向である。クラウドコンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャがある。

【0059】

図5を参照すると、例示的なクラウドコンピューティング環境500が示されている。図示されるように、クラウドコンピューティング環境500は、例えば、携帯情報端末（PDA）または携帯電話54A、デスクトップコンピュータ54B、ラップトップコンピュータ54C、および／または自動車コンピュータシステム54Nなどの、クラウド消費者によって使用されるローカルコンピューティング装置が通信し得る1つまたは複数のクラウドコンピューティングノード10を含む。クラウドコンピューティングノード10は、互いに通信し得る。それらは、上述のプライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウド、またはそれらの組合せなどの1つもしくは複数のネットワークにおいて、物理的または仮想的にグループ化（図示せず）されてもよい。これは、クラウドコンピューティング環境500が、クラウド消費者がローカルコンピューティング装置上のリソースを維持する必要がないサービスとしてのインフラストラクチャ、プラットフォーム、および／またはソフトウェアを提供することを可能にする。図5に示すコンピューティング装置54A～54Nの種類は例示のみを意図しており、クラウドコンピューティングノード10およびクラウドコンピューティング環境500は、任意の種類のネットワークおよび／または（例えば、ウェブブラウザを使用して）ネットワークアドレス指定可能な接続を介して任意の種類のコンピュータ化された装置と通信することができることが理解される。

【0060】

図6を参照すると、クラウドコンピューティング環境500（図5）によって提供される機能抽象化層600のセットが示されている。図6に示された構成要素、層、および機能は例示のみを意図しており、実施形態はそれに限定されないことを事前に理解されたい。図示されるように、以下の層および対応する機能が提供される。

【0061】

ハードウェアおよびソフトウェア層60は、ハードウェアおよびソフトウェア構成要素を含む。ハードウェア構成要素の例は、メインフレーム61、RISC（縮小命令セットコンピュータ）アーキテクチャベースのサーバ62、サーバ63、ブレードサーバ64、記憶装置65、ならびにネットワークおよびネットワーキング構成要素66を含む。一部の実施形態では、ソフトウェア構成要素は、ネットワークアプリケーションサーバソフトウェア67およびデータベースソフトウェア68を含む。

【0062】

仮想化層70は、仮想エンティティの以下の例、すなわち、仮想サーバ71、仮想ストレージ72、仮想プライベートネットワークを含む仮想ネットワーク73、仮想アプリケーションおよびオペレーティングシステム74、ならびに仮想クライアント75が提供され得る抽象化層を提供する。

【0063】

一例では、管理層80は、以下で説明される機能を提供し得る。リソースプロビジョニング81は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を提供する。計測および価格設定82は、リソースがクラウドコンピューティング環境内で利用されるときのコスト追跡、およびこれらのリソースの消費に対する請求または請求書発行を提供する。一例では、これらのリソースは、アプリケーションソフトウェアライセンスを含み得る。セキュリティは、クラウド消費者およびタスクのための識別検証、ならびにデータおよび他のリソースのための保護を提供する。ユーザポータル83は、消費者およびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理84は、必要なサービスレベルが満たされるようにクラウドコンピューティングリソースの割り当ておよび管理を提供する。サービスレベル合意（SLA：Service Level Agreement）の計画および履行85は、将来の要件がSLAに従って予想されるクラウドコンピューティングリソースの事前配置および調達を提供する。

【0064】

ワークロード層90は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得るワークロードおよび機能の例は、マッピングおよびナビゲーション91、ソフトウェア開発およびライフサイクル管理92、仮想教室教育配信93、データ解析処理94、取引処理95、ならびにビデオコーディング96を含む。ビデオコーディング96は、予測およびループフィルタリングのために複数のニューラルネットワークモデルを使用することに基づいてビデオデータをエンコードおよびデコードすることができる。

【0065】

一部の実施形態は、任意の可能な技術的詳細の統合レベルでシステム、方法、および／またはコンピュータ可読媒体に関し得る。コンピュータ可読媒体は、プロセッサに動作を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読非一時的記憶媒体を含み得る。

【0066】

コンピュータ可読記憶媒体は、命令実行装置によって使用するための命令を保持および記憶し得る有形装置であり得る。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適切な組合せであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下を、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（RAM：random access memory）、読み出し専用メモリ（ROM：read－only memory）、消去可能プログラマブル読み出し専用メモリ（EPROM：erasable programmable read－only memoryまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（SRAM：static random access memory）、ポータブルコンパクトディスク読み出し専用メモリ（CD－ROM：compact disc read－only memory）、デジタル多用途ディスク（DVD）、メモリスティック、フロッピーディスク、命令が記録されたパンチカードまたは溝内の隆起構造などの機械的にエンコードされた装置、および上記の任意の適切な組合せを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または電線を介して伝送される電気信号などの一時的な信号自体であると解釈されるべきではない。

【0067】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置にダウンロードされ得るし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／もしくは無線ネットワークを介して外部コンピュータもしくは外部記憶装置にダウンロードされ得る。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含み得る。各コンピューティング／処理装置内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0068】

動作を実行するためのコンピュータ可読プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ISA：instruction－set－architecture）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、またはSmalltalkもしくはC＋＋などのオブジェクト指向プログラミング言語、および「C」プログラミング言語もしくは同様のプログラミング言語などの手続き型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組合せで記述されたソースコードもしくはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（LAN）もしくはワイドエリアネットワーク（WAN）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよいし、または（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータへの接続がなされてもよい。一部の実施形態では、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（FPGA）、またはプログラマブル論理アレイ（PLA：programmable logic array）を含む電子回路が、態様または動作を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによってコンピュータ可読プログラム命令を実行し得る。

【0069】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される命令が、フローチャートおよび／またはブロック図のブロックで指定された機能／動作を実施するための手段を作成するように、マシンを生成するために汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてもよい。これらのコンピュータ可読プログラム命令はまた、記憶された命令を有するコンピュータ可読記憶媒体が、フローチャートおよび／またはブロック図のブロックで指定された機能／動作の態様を実施する命令を含む製品を含むように、コンピュータ、プログラマブルデータ処理装置、および／または他の装置に特定の方法で機能するように指示し得るコンピュータ可読記憶媒体に記憶されてもよい。

【0070】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令がフローチャートおよび／またはブロック図のブロックで指定された機能／動作を実施するように、コンピュータ実施プロセスを生成するために一連の動作ステップがコンピュータ、他のプログラマブル装置、または他の装置上で実行されるよう、コンピュータ、他のプログラマブルデータ処理装置、または他の装置上にロードされてもよい。

【0071】

図のフローチャートおよびブロック図は、様々な実施形態によるシステム、方法、およびコンピュータ可読媒体の可能な実装形態のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための1つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の一部を表し得る。方法、コンピュータシステム、およびコンピュータ可読媒体は、図に示されるものと比べて、追加のブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。一部の代替の実施態様では、ブロックに記載された機能は、図に記載されるのとは異なる順序で実行されてもよい。例えば、連続して示される2つのブロックは、実際には、同時にまたは実質的に同時に実行されてもよいし、またはブロックは、関連する機能に応じて、場合によっては逆の順序で実行されてもよい。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組合せは、指定された機能もしくは動作を実行する、または専用ハードウェアとコンピュータ命令との組合せを実現する、専用ハードウェアベースのシステムによって実施され得ることにも留意されたい。

【0072】

本明細書に記載のシステムおよび／または方法は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組合せの異なる形態で実装されてもよいことは明らかであろう。これらのシステムおよび／または方法を実装するために使用される実際の専用の制御ハードウェアまたはソフトウェアコードは、実装形態を限定するものではない。したがって、システムおよび／または方法の動作および挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェアおよびハードウェアは、本明細書の記載に基づいてシステムおよび／または方法を実装するように設計され得ることが理解される。

【0073】

本明細書で使用される要素、動作、または命令は、決定的または必須なものとして明示的に説明されているのでない限り、そのようなものとして解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」は、1つまたは複数のものを含むことを意図されており、「1つまたは複数」と交換可能に使用され得る。さらに、本明細書で使用される「セット」という用語は、1つまたは複数の項目（例えば、関連項目、非関連項目、関連項目と非関連項目の組合せなど）を含むものであり、「1つまたは複数」と同じ意味で使用されてもよい。1つの項目のみが対象とされる場合、「1つ」という用語または同様の言葉が使用される。また、本明細書で使用される「有する（has）」、「有する（have）」、「有する（having）」などの用語は、非限定的な用語であることが意図される。さらに、「に基づいて」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味するものである。

【0074】

様々な態様および実施形態の説明は、例示の目的で提示されているが、網羅的であること、または開示された実施形態に限定されることを意図されていない。特徴の組合せが特許請求の範囲に記載され、および／または本明細書に開示されているが、これらの組合せは、可能な実施態様の開示を限定することを意図されていない。実際には、これらの特徴の多くは、特許請求の範囲に具体的に列挙されていない、および／または本明細書に開示されていない方法で組み合わされてもよい。以下に列挙されている各従属請求項は1つの請求項のみに直接従属し得るが、可能な実施態様の開示は、請求項セット内の他のすべての請求項との組合せにおいて各従属請求項を含む。記載された実施形態の範囲から逸脱することなく、多くの修正および変形が当業者に明らかになるであろう。本明細書で使用される用語は、実施形態の原理、実際の用途、もしくは市場で見られる技術に対する技術的改善を最もよく説明するために、または当業者が本明細書に開示されている実施形態を理解することを可能にするために選択された。

【符号の説明】

【0075】

10 クラウドコンピューティングノード
54A 携帯情報端末（PDA）または携帯電話
54B デスクトップコンピュータ
54C ラップトップコンピュータ
54N 自動車コンピュータシステム
60 ハードウェアおよびソフトウェア層
61 メインフレーム
62 RISCアーキテクチャベースのサーバ
63 サーバ
64 ブレードサーバ
65 記憶装置
66 ネットワークおよびネットワーキング構成要素
67 ネットワークアプリケーションサーバソフトウェア
68 データベースソフトウェア
70 仮想化層
71 仮想サーバ
72 仮想ストレージ
73 仮想ネットワーク
74 仮想アプリケーションおよびオペレーティングシステム
75 仮想クライアント
80 管理層
81 リソースプロビジョニング
82 計測および価格設定
83 ユーザポータル
84 サービスレベル管理
85 SLAの計画および履行
90 ワークロード層
91 マッピングおよびナビゲーション
92 ソフトウェア開発およびライフサイクル管理
93 仮想教室教育配信
94 データ解析処理
95 取引処理
96 ビデオコーディング
100 ビデオコーディングシステム
102 コンピュータ
104 プロセッサ
106 データ記憶装置
108 ソフトウェアプログラム
110 通信ネットワーク
112 データベース
114 サーバコンピュータ
116 ビデオコーディングプログラム
200 階層的時間構造、階層構造
500 クラウドコンピューティング環境
600 機能抽象化層
800A、800B 内部構成要素
820 プロセッサ
822 コンピュータ可読RAM
824 コンピュータ可読ROM
826 バス
828 オペレーティングシステム
830 コンピュータ可読有形記憶装置、ハードドライブ
832 R／Wドライブまたはインターフェース
836 ネットワークアダプタまたはインターフェース
840 デバイスドライバ
900A、900B 外部構成要素
920 コンピュータディスプレイモニタ
930 キーボード
934 コンピュータマウス
936 ポータブルコンピュータ可読有形記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】