知財求人 - 知財ポータルサイト「IP Force」
▶ インターデジタル ヴイシー ホールディングス， インコーポレイテッドの特許一覧
特表2025-501723ビデオ圧縮のための時間的注意ベースのニューラルネットワーク
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-23
(54)【発明の名称】ビデオ圧縮のための時間的注意ベースのニューラルネットワーク
(51)【国際特許分類】
H04N 19/503 20140101AFI20250116BHJP
【ＦＩ】
H04N19/503
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024535895
(86)(22)【出願日】2022-12-20
(85)【翻訳文提出日】2024-07-03
(86)【国際出願番号】 US2022053487
(87)【国際公開番号】W WO2023122077
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】63/291,642
(32)【優先日】2021-12-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＣＤＭＡ
２．３ＧＰＰ
３．ＨＤＭＩ
(71)【出願人】
【識別番号】518338149
【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ムハン，ヴィニース ラケシュ
(72)【発明者】
【氏名】ラカペ，ファビアン
(72)【発明者】
【氏名】ディネシャ，ウジュワル
(72)【発明者】
【氏名】チョイ，ヒョミン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
【解決手段】 人工ニューラルネットワーク（例えば、畳み込みニューラルネットワーク又はリカレントニューラルネットワーク）、注意、及び／又は空間的属性を有する注意を使用するビデオ符号化及び／又はビデオ復号のためのシステム、方法、及び手段が開示される。例えば、装置は、コンテキストブロックと、現在のブロックと、現在のブロックに関連付けられた潜在ベクトルとを取得すること、コンテキストブロックと、参照ブロックと、潜在ベクトルとに対して少なくとも１つの畳み込みを実行すること、少なくとも１つの畳み込みに基づいて、現在のブロックに関連付けられた動きフローデータを生成すること、又は動きフローデータの表示を含むビットストリームを生成することのうちの１つ以上を実行するように構成され得る。動きフローデータは、量子化され得る。生成されたビットストリームは、量子化された動きフローデータの表示を含み得る。
【選択図】図８
【選択図】図８
【特許請求の範囲】
【請求項1】
プロセッサを備えるビデオ復号デバイスであって、前記プロセッサが、現在のブロックに関連付けられた符号化された動きフローデータを取得し、
前記符号化された動きフローデータと潜在ベクトルとに基づいて、復号された動きフローデータを取得し、
前記復号された動きフローデータに基づいて前記現在のブロックのための予測ブロックを生成し、
前記予測ブロックに基づいて前記現在のブロックを再構成するように構成されている、ビデオ復号デバイス。
【請求項2】
方法であって、現在のブロックに関連付けられた符号化された動きフローデータを取得することと、
前記符号化された動きフローデータと前記潜在ベクトルとに基づいて、復号された動きフローデータを取得することと、
前記復号された動きフローデータに基づいて前記現在のブロックのための予測ブロックを生成することと、
前記予測ブロックに基づいて前記現在のブロックを再構成することと、を含む、方法。
【請求項3】
前記復号された動きデータが、前記符号化された動きフローデータと前記潜在ベクトルとに対する逆畳み込みを使用して取得される、請求項１に記載のビデオ復号デバイス又は請求項２に記載の方法。
【請求項4】
前記逆畳み込みが、リカレントニューラルネットワークを使用して実行される、請求項１又は３に記載のビデオ復号デバイス。
【請求項5】
前記プロセッサが、前記符号化された動きフローデータと前記潜在ベクトルとを連結するように更に構成されており、前記復号された動きフローデータが、連結された前記符号化された動きフローデータと前記潜在ベクトルとに基づいて取得される、請求項１又は３若しくは４のいずれか一項に記載のビデオ復号デバイス。
【請求項6】
前記プロセッサが、以前に再構成されたブロックに関連付けられた状態情報に基づいて、前記現在のブロックに関連付けられた前記潜在ベクトルを取得するように更に構成されている、請求項１又は３～５のいずれか一項に記載のビデオ復号デバイス。
【請求項7】
前記状態情報が、潜在表現を示す、請求項６に記載のビデオ復号デバイス。
【請求項8】
前記プロセッサが、複数の以前に再構成されたブロックに関連付けられた状態情報に基づいて、前記現在のブロックに関連付けられた前記潜在ベクトルを取得するように更に構成されている、請求項１又は３～５のいずれか一項に記載のビデオ復号デバイス。
【請求項9】
複数の以前に再構成されたブロックに関連付けられた前記状態情報が、前記複数の以前に再構成されたブロックのそれぞれの潜在表現を含む、請求項８に記載のビデオ復号デバイス。
【請求項10】
前記プロセッサが、前記現在のブロックに関連付けられた重み付けされた注意値を取得するように更に構成されており、前記現在のブロックに関連付けられた前記潜在ベクトルが、前記現在のブロックに関連付けられた前記重み付けされた注意値に基づいて取得される、請求項１又は３～９のいずれか一項に記載のビデオ復号デバイス。
【請求項11】
前記プロセッサが、複数の以前に再構成されたブロック中のそれぞれのブロックの複数の注意値を取得するように更に構成されており、前記現在のブロックに関連付けられた前記重み付けされた注意値が、前記複数の以前に再構成されたブロック中の前記それぞれのブロックの前記注意値に基づいて取得される、請求項１又は３～９のいずれか一項に記載のビデオ復号デバイス。
【請求項12】
前記現在のブロックに関連付けられた前記潜在ベクトルが、前記現在のブロックに関連付けられた注意を示すように構成されている、請求項１又は３～１１のいずれか一項に記載のビデオ復号デバイス。
【請求項13】
ビデオ符号化デバイスであって、プロセッサを備え、前記プロセッサは、
参照ブロックと、現在のブロックと、前記現在のブロックに関連付けられた潜在ベクトルとを取得し、
前記現在のブロックと、前記参照ブロックと、前記潜在ベクトルとに基づいて、前記現在のブロックに関連付けられた動きフローデータを生成し、
前記動きフローデータの表示を含むビデオデータを生成するように構成されている、ビデオ符号化デバイス。
【請求項14】
方法であって、参照ブロックと、現在のブロックと、前記現在のブロックに関連付けられた潜在ベクトルとを取得することと、
前記現在のブロック、前記参照ブロック、及び前記潜在ベクトルに基づいて、前記現在のブロックに関連付けられた動きフローデータを生成することと、
前記動きフローデータの表示を含むビデオデータを生成することと、を含む、方法。
【請求項15】
前記動きフローデータが、前記現在のブロックと、前記参照ブロックと、前記潜在ベクトルとに対して畳み込みを実行することに基づいて生成される、請求項１３に記載のビデオ符号化デバイス又は請求項１４に記載の方法。
【請求項16】
前記プロセッサが、前記現在のブロックに対して実行された前記畳み込みに基づいて、第２のブロックに関連付けられた動きフローデータを生成するための前記現在のブロックの潜在表現を生成するように更に構成されている、請求項１５に記載のビデオ符号化デバイス。
【請求項17】
前記現在のブロックに関連付けられた前記潜在ベクトルが、以前に符号化されたブロックに関連付けられた状態情報に基づいて取得される、請求項１２又は１４～１６のいずれか一項に記載のビデオ符号化デバイス。
【請求項18】
前記現在のブロックに関連付けられた前記潜在ベクトルが、複数の以前に符号化されたブロックに関連付けられた状態情報に基づいて取得される、請求項１２又は１４～１６のいずれか一項に記載のビデオ符号化デバイス。
【請求項19】
前記プロセッサが、複数の以前に符号化されたブロック中のそれぞれのブロックの注意値に基づいて、前記現在のブロックに関連付けられた重み付けされた注意値を取得するように更に構成されており、前記現在のブロックに関連付けられた前記潜在ベクトルが、前記現在のブロックに関連付けられた取得された前記重み付けされた注意値に基づいて取得される、請求項１２又は１４～１８のいずれか一項に記載のビデオ符号化デバイス。
【請求項20】
前記現在のブロックに関連付けられた前記潜在ベクトルが、前記現在のブロックに関連付けられた注意を示すように構成されている、請求項１２又は１４～１９のいずれか一項に記載のビデオ符号化デバイス。
【請求項21】
前記プロセッサが、空間的特徴抽出を実行するように更に構成されており、前記潜在ベクトルが、実行された前記空間的特徴抽出に基づいて取得される、請求項１２又は１４～２０のいずれか一項に記載のビデオ符号化デバイス。
【請求項22】
１つ以上のプロセッサに、請求項２若しくは３又は１４若しくは１５のいずれか一項に記載の方法を実行させるための命令を含むコンピュータ可読媒体。
【請求項23】
デバイスであって、請求項１、３～１３又は１５～２１のいずれか一項に記載の装置と、
（ｉ）画像を表すデータを含む信号を受信するように構成されたアンテナ、（ｉｉ）受信された前記信号を、前記画像を表す前記データを含む周波数帯域に制限するように構成された帯域リミッタ、又は（ｉｉｉ）前記画像を表示するように構成されたディスプレイのうちの少なくとも１つと、を備える、デバイス。
【請求項24】
請求項１４又は１５のいずれか一項に記載の方法に従って前記参照ブロックと前記潜在ベクトルとを使用して生成される動きフローデータを含む信号。
【請求項25】
前記方法が、デコーダ又はエンコーダによって実行される、請求項２若しくは３又は１４若しくは１５のいずれか一項に記載の方法。
【請求項26】
前記デバイスが、メモリを備える、請求項１、３～１３又は１５～２１のいずれか一項に記載のデバイス。【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年１２月２０日に出願された米国特許出願第６３／２９１，６４２号の利益を主張するものであり、その内容は参照によりその全体が本明細書に組み込まれる。
本出願は、２０２１年１２月２０日に出願された米国特許出願第６３／２９１，６４２号の利益を主張するものであり、その内容は参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
ビデオコーディングシステムは、デジタルビデオ信号を圧縮して、例えば、かかる信号に必要とされる記憶容量及び／又は送信帯域幅を低減するように使用され得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
人工ニューラルネットワーク（例えば、畳み込みニューラルネットワーク又はリカレントニューラルネットワーク）、注意、及び／又は空間的属性を有する注意を使用するビデオ符号化及び／又はビデオ復号のためのシステム、方法、及び手段が開示される。例えば、ビデオ符号化デバイスは、コンテキストブロックと、現在のブロックと、現在のブロックに関連付けられた潜在ベクトルとを取得すること、コンテキストブロック、参照ブロック、及び潜在ベクトルに対して少なくとも１つの畳み込みを実行すること、少なくとも１つの畳み込みに基づいて、現在のブロックに関連付けられた動きフローデータを生成すること、又は動きフローデータの表示を含むビデオデータを生成すること、のうちの１つ以上を実行するように構成され得る。動きフローデータは、量子化され得る。生成されたビデオデータは、量子化された動きフローデータの表示を含み得る。
【0004】
例えば、コンテキストブロックに関連付けられた潜在ベクトルは、コンテキストブロックに関連付けられたコンテキストフレームに対する注意を示し得る。潜在ベクトルは、コンテキストブロックに関連付けられたコンテキストを使用して取得され得る。潜在ベクトルは、コンテキストブロックに関連付けられた重み付けされた注意値を使用して取得され得る。コンテキストブロックに関連付けられた重み付けされた注意値は、以前に再構成されたブロック中のそれぞれのブロックの１つ以上の注意値に基づいて取得され得る。空間的特徴抽出が実行され得る。例えば、空間的特徴抽出は、シャムネットワークを使用して実行され得る。
【0005】
例えば、ビデオ復号デバイスは、現在のブロックに関連付けられた符号化された動きフローデータ（例えば、量子化された動きフローデータ）を取得すること、符号化された動きフローデータに対してリカレントニューラルネットワークを使用して少なくとも１つの逆畳み込みを実行すること、少なくとも１つの逆畳み込みに基づいて、現在のブロックのための予測ブロックを取得すること、又は、予測ブロック及び残差に基づいて現在のブロックを再構成すること、のうちの１つ以上を実行するように構成され得る。逆畳み込みは、例えば、コンテキストブロックに関連付けられた潜在ベクトルに基づいて実行され得る。潜在ベクトルは、コンテキストブロックに関連付けられたコンテキストを使用して取得され得る。潜在ベクトルは、コンテキストブロックに関連付けられた重み付けされた注意値を使用して取得され得る。コンテキストブロックに関連付けられた重み付けされた注意値は、以前に再構成されたブロック中のそれぞれのブロックの注意値に基づいて取得され得る。
【0006】
システム、方法、及び手段は、デコーダを伴い得る。いくつかの実施例では、本明細書で説明するシステム、方法、及び手段は、エンコーダを伴い得る。いくつかの実施例では、本明細書で説明するシステム、方法、及び手段は、（例えば、エンコーダからの、及び／又はデコーダによって受信された）信号を伴い得る。コンピュータ可読媒体は、１つ以上のプロセッサに、本明細書で説明される方法を実行させるための命令を含み得る。コンピュータプログラム製品は命令を含み得、命令は、プログラムが１つ以上のプロセッサによって実行されたときに、１つ以上のプロセッサに本明細書で説明される方法を行わせ得る。
【図面の簡単な説明】
【0007】
【図1B】図１Ｂは、一実施形態による、図１Ａに示す通信システム内で使用され得る、例示的な無線送信／受信ユニット（wireless transmit/receive unit、ＷＴＲＵ）を示すシステム図である。
【発明を実施するための形態】
【0008】
より詳細な理解は、例として添付の図面と併せて与えられる、以下の説明から得られ得る。
【0009】
図１Ａは、１つ以上の開示された実施形態が実装され得る、例示的な通信システム１００を例解する図である。通信システム１００は、音声、データ、ビデオ、メッセージ伝達、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する多重アクセスシステムであり得る。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、このようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム１００は、コード分割多重アクセス（code division multiple access、ＣＤＭＡ）、時分割多重アクセス（time division multiple access、ＴＤＭＡ）、周波数分割多重アクセス（frequency division multiple access、ＦＤＭＡ）、直交ＦＤＭＡ（orthogonal FDMA、ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（single-carrier FDMA、ＳＣ－ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ－Ｓｐｒｅａｄ ＯＦＤＭ（zero-tail unique-word DFT-Spread OFDM、ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ）、ユニークワードＯＦＤＭ（unique word OFDM、ＵＷ－ＯＦＤＭ）、リソースブロックフィルタ処理ＯＦＤＭ、フィルタバンク多重キャリア（filter bank multicarrier、ＦＢＭＣ）などの、１つ以上のチャネルアクセス方法を用いてもよい。
【0010】
図１Ａに示すように、通信システム１００は、無線送信／受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄと、ＲＡＮ１０４／１１３と、ＣＮ１０６／１１５と、公衆交換電話ネットワーク（public switched telephone network、ＰＳＴＮ）１０８と、インターネット１１０と、その他のネットワーク１１２と、を含み得るが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、及び／又はネットワーク要素を企図していることが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、無線環境において動作し、かつ／又は通信するように構成された、任意のタイプのデバイスであり得る。例として、それらのうちのいずれかが「局（station）」及び／又は「ＳＴＡ」と称され得るＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信及び／又は受信するように構成されてもよく、ユーザ機器（user equipment、ＵＥ）、移動局、固定加入者ユニット又は移動加入者ユニット、加入ベースのユニット、無線呼出し、携帯電話、携帯情報端末（personal digital assistant、ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット又はＭｉ－Ｆｉデバイス、モノのインターネット（Internet of Things、ｌｏＴ）デバイス、ウォッチ又はその他の着用式の、ヘッドマウントディスプレイ（head-mounted display、ＨＭＤ）、車両、ドローン、医療デバイス及びアプリケーション（例えば、遠隔手術用）、工業用デバイス及びアプリケーション（例えば、工業用及び／又は自動処理チェーンコンテキストで動作するロボット及び／又はその他の無線デバイス）、家電デバイス、商業用無線ネットワーク及び／又は工業用無線ネットワークで動作するデバイスなどを含んでもよい。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、及び１０２ｄのいずれも、互換的にＵＥと称され得る。
【0011】
通信システム１００はまた、基地局１１４ａ及び／又は基地局１１４ｂを含み得る。基地局１１４ａ、１１４ｂの各々は、ＣＮ１０６／１１５、インターネット１１０、及び／又はその他のネットワーク１１２などの、１つ以上の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つと無線でインターフェース接続するように構成された、任意のタイプのデバイスであってもよい。例として、基地局１１４ａ、１１４ｂは、基地局トランシーバ（base transceiver station、ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、ｇＮＢ、ＮＲノードＢ、サイトコントローラ、アクセスポイント（access point、ＡＰ）、無線ルータなどであり得る。基地局１１４ａ、１１４ｂは、各々単一の要素として図示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局及び／又はネットワーク要素を含み得ることが理解されよう。
【0012】
基地局１１４ａは、基地局コントローラ（base station controller、ＢＳＣ）、無線ネットワークコントローラ（radio network controller、ＲＮＣ）、リレーノードなど、その他の基地局及び／又はネットワーク要素（図示せず）もまた含み得る、ＲＡＮ１０４／１１３の一部であってもよい。基地局１１４ａ及び／又は基地局１１４ｂは、セル（図示せず）と称され得る、１つ以上のキャリア周波数で無線信号を送信及び／又は受信するように構成されてもよい。これらの周波数は、認可スペクトル、未認可スペクトル、又は認可スペクトルと未認可スペクトルとの組み合わせであり得る。セルは、相対的に固定され得るか、又は経時的に変化し得る特定の地理的エリアに、無線サービスのカバレッジを提供し得る。セルは、セルセクタに更に分けられ得る。例えば、基地局１１４ａと関連付けられたセルは、３つのセクタに分けられ得る。したがって、一実施形態では、基地局１１４ａは、３つのトランシーバを、すなわち、セルのセクタごとに１つのトランシーバを含み得る。一実施形態では、基地局１１４ａは、多重入力多重出力（multiple-input multiple output、ＭＩＭＯ）技術を採用し得、セルのセクタごとに複数のトランシーバを利用し得る。例えば、ビームフォーミングを使用して、所望の空間的方向に信号を送信、かつ／又は受信してもよい。
【0013】
基地局１１４ａ、１１４ｂは、エアーインターフェース１１６を介して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つ以上と通信し得、このエアーインターフェースは、任意の好適な無線通信リンク（例えば、無線周波数（radio frequency、ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（infrared、ＩＲ）、紫外線（ultraviolet、ＵＶ）、可視光など）であり得る。エアーインターフェース１１６は、任意の好適な無線アクセス技術（radio access technology、ＲＡＴ）を使用して確立され得る。
【0014】
より具体的には、上記のように、通信システム１００は、多重アクセスシステムであり得るが、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡなどの、１つ以上のチャネルアクセス方式を用い得る。例えば、ＲＡＮ１０４／１１３内の基地局１１４ａ、及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ユニバーサル移動体通信システム（Universal Mobile Telecommunications System、ＵＭＴＳ）地上無線アクセス（UMTS Terrestrial Radio Access、ＵＴＲＡ）などの無線技術を実装し得るが、これは、広帯域ＣＤＭＡ（wideband CDMA、ＷＣＤＭＡ）を使用して、エアーインターフェース１１５／１１６／１１７を確立してもよい。ＷＣＤＭＡは、高速パケットアクセス（High-Speed Packet Access、ＨＳＰＡ）及び／又は進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含み得る。ＨＳＰＡは、高速ダウンリンク（Downlink、ＤＬ）パケットアクセス（High-Speed Downlink Packet Access、ＨＳＤＰＡ）及び／又は高速アップリンクパケットアクセス（High-Speed UL Packet Access、ＨＳＵＰＡ）を含んでもよい。
【0015】
一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、進化型ＵＭＴＳ地上無線アクセス（Evolved UMTS Terrestrial Radio Access、Ｅ－ＵＴＲＡ）などの無線技術を実装し得、これは、ロングタームエボリューション（Long Term Evolution、ＬＴＥ）及び／又はＬＴＥ－Ａｄｖａｎｃｅｄ（ＬＴＥ－Ａ）及び／又はＬＴＥ－Ａｄｖａｎｃｅｄ Ｐｒｏ（ＬＴＥ－Ａ Ｐｒｏ）を使用してエアーインターフェース１１６を確立し得る。
【0016】
一実施形態では、基地局１１４ａ、及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、新無線（New Radio、ＮＲ）技術を使用してエアーインターフェース１１６を確立し得る、ＮＲ無線アクセスなどの無線技術を実装してもよい。
【0017】
一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実装し得る。例えば、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、例えば、デュアルコネクティビティ（dual connectivity、ＤＣ）原理を使用して、ＬＴＥ無線アクセス及びＮＲ無線アクセスを一緒に実装し得る。したがって、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアーインターフェースは、複数のタイプの無線アクセス技術、及び／又は複数のタイプの基地局（例えば、ｅＮＢ及びｇＮＢ）に送られる／そこから送られる送信によって、特徴付けられ得る。
【0018】
他の実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、無線フィデリティ（Wireless Fidelity、ＷｉＦｉ）、ＩＥＥＥ８０２．１６（すなわち、ワイマックス（Worldwide Interoperability for Microwave Access、ＷｉＭＡＸ）、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定規格２０００（Interim Standard、ＩＳ－２０００）、暫定規格９５（ＩＳ－９５）、暫定規格８５６（ＩＳ－８５６）、汎欧州デジタル移動電話方式（Global System for Mobile communications、ＧＳＭ）、ＧＳＭ進化型高速データレート（Enhanced Data rates for GSM Evolution、ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実装し得る。
【0019】
図１Ａの基地局１１４ｂは、例えば、無線ルータ、ＨｏｍｅノードＢ、Ｈｏｍｅ ｅノードＢ、又はアクセスポイントであり得るが、事業所、家庭、車両、キャンパス、工業施設、（例えば、ドローンによる使用のための）空中回廊、道路などの場所などの局所的エリアにおける無線接続を容易にするために、任意の好適なＲＡＴを利用し得る。一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実装して、無線ローカルエリアネットワーク（wireless local area network、ＷＬＡＮ）を確立し得る。一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実装して、無線パーソナルエリアネットワーク（wireless personal area network、ＷＰＡＮ）を確立し得る。更に別の一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用して、ピコセル又はフェムトセルを確立し得る。図１Ａに示すように、基地局１１４ｂは、インターネット１１０への直接接続を有し得る。したがって、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスする必要がない場合がある。
【0020】
ＲＡＮ１０４／１１３は、ＣＮ１０６／１１５と通信し得るが、これは、音声、データ、アプリケーション、及び／又はボイスオーバインターネットプロトコル（voice over internet protocol、ＶｏＩＰ）サービスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つ以上に提供するように構成された、任意のタイプのネットワークであってもよい。データは、例えば、異なるスループット要件、待ち時間要件、誤り許容要件、信頼性要件、データスループット要件、モビリティ要件などの、様々なサービス品質（quality of service、ＱｏＳ）要件を有し得る。ＣＮ１０６／１１５は、呼制御、支払い請求サービス、移動体位置ベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供してもよく、かつ／又はユーザ認証などの高レベルセキュリティ機能を実施してもよい。図１Ａには示していないが、ＲＡＮ１０４／１１３及び／又はＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴ又は異なるＲＡＴを用いるその他のＲＡＮと、直接又は間接的に通信し得ることが理解されよう。例えば、ＮＲ無線技術を利用し得るＲＡＮ１０４／１１３に接続されていることに加えて、ＣＮ１０６／１１５はまた、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、又はＷｉＦｉ無線技術を用いて、別のＲＡＮ（図示せず）と通信してもよい。
【0021】
ＣＮ１０６／１１５はまた、ＰＳＴＮ１０８、インターネット１１０、及び／又はその他のネットワーク１１２にアクセスするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとしての機能を果たしてもよい。ＰＳＴＮ１０８は、従来型電話サービス（plain old telephone service、ＰＯＴＳ）を提供する回線交換電話網を含み得る。インターネット１１０は、相互接続されたコンピュータネットワーク及びデバイスのグローバルシステムを含み得るが、これらのネットワーク及びデバイスは、伝送制御プロトコル（transmission control protocol、ＴＣＰ）、ユーザデータグラムプロトコル（user datagram protocol、ＵＤＰ）、及び／又はＴＣＰ／ＩＰインターネットプロトコルスイートのインターネットプロトコル（internet protocol、ＩＰ）などの、共通通信プロトコルを使用する。ネットワーク１１２は、他のサービスプロバイダによって所有及び／又は運用されている、有線通信ネットワーク及び／又は無線通信ネットワークを含み得る。例えば、ネットワーク１１２は、ＲＡＮ１０４／１１３と同じＲＡＴ又は異なるＲＡＴを用い得る、１つ以上のＲＡＮに接続された別のＣＮを含んでもよい。
【0022】
通信システム１００におけるＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいくつか又は全ては、マルチモード機能を含み得る（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含み得る）。例えば、図１Ａに示すＷＴＲＵ１０２ｃは、セルラベースの無線技術を採用し得る基地局１１４ａ、及びＩＥＥＥ８０２無線技術を採用し得る基地局１１４ｂと通信するように構成され得る。
【0023】
図１Ｂは、一例示のＷＴＲＵ１０２を例解するシステム図である。図１Ｂに示すように、ＷＴＲＵ１０２は、とりわけ、プロセッサ１１８、トランシーバ１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（global positioning system、ＧＰＳ）チップセット１３６、及び／又は他の周辺機器１３８を含み得る。ＷＴＲＵ１０２は、一実施形態との一貫性を有したまま、前述の要素の任意の部分的組み合わせを含み得ることが理解されよう。
【0024】
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連付けられた１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意のその他のタイプの集積回路（integrated circuit、ＩＣ）、状態機械などであってもよい。プロセッサ１１８は、信号コーディング、データ処理、電力制御、入力／出力処理、及び／又はＷＴＲＵ１０２が無線環境で動作することを可能にする任意の他の機能を実施し得る。プロセッサ１１８は、送信／受信要素１２２に結合され得るトランシーバ１２０に結合され得る。図１Ｂは、プロセッサ１１８及びトランシーバ１２０を別個のコンポーネントとして図示するが、プロセッサ１１８及びトランシーバ１２０は、電子パッケージ又はチップにおいて一体に統合され得るということが理解されよう。
【0025】
送信／受信要素１２２は、エアーインターフェース１１６を介して、基地局（例えば、基地局１１４ａ）との間で信号を送信するか、又は受信するように構成され得る。例えば、一実施形態では、送信／受信要素１２２は、ＲＦ信号を送信及び／又は受信するように構成されたアンテナであり得る。一実施形態では、送信／受信要素１２２は、例えば、ＩＲ信号、ＵＶ信号、又は可視光信号を送信及び／又は受信するように構成されたエミッタ／検出器であり得る。更に別の実施形態では、送信／受信要素１２２は、ＲＦ信号及び光信号の両方を送信及び／又は受信するように構成され得る。送信／受信要素１２２は、無線信号の任意の組み合わせを送信及び／又は受信するように構成され得ることが理解されよう。
【0026】
送信／受信要素１２２は、単一の要素として図１Ｂに図示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含み得る。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を採用し得る。したがって、一実施形態では、ＷＴＲＵ１０２は、エアーインターフェース１１６を介して無線信号を送受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含み得る。
【0027】
トランシーバ１２０は、送信／受信要素１２２によって送信される信号を変調し、送信／受信要素１２２によって受信される信号を復調するように構成され得る。上記のように、ＷＴＲＵ１０２は、マルチモード機能を有し得る。したがって、トランシーバ１２０は、例えば、ＮＲ及びＩＥＥＥ８０２．１１などの複数のＲＡＴを介してＷＴＲＵ１０２が通信することを可能にするための複数のトランシーバを含み得る。
【0028】
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、及び／又はディスプレイ／タッチパッド１２８（例えば、液晶ディスプレイ（liquid crystal display、ＬＣＤ）表示ユニット若しくは有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）表示ユニット）に結合され得るが、これらからユーザが入力したデータを受信し得る。プロセッサ１１８はまた、ユーザデータをスピーカ／マイクロフォン１２４、キーパッド１２６、及び／又はディスプレイ／タッチパッド１２８に出力し得る。加えて、プロセッサ１１８は、非リムーバブルメモリ１３０及び／又はリムーバブルメモリ１３２などの任意の種類の好適なメモリから情報にアクセスし、かつ当該メモリにデータを記憶し得る。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（random-access memory、ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、ハードディスク、又は任意の他の種類のメモリ記憶デバイスを含み得る。リムーバブルメモリ１３２は、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリスティック、セキュアデジタル（secure digital、ＳＤ）メモリカードなどを含み得る。他の実施形態では、プロセッサ１１８は、サーバ又はホームコンピュータ（図示せず）上など、ＷＴＲＵ１０２上に物理的に位置していないメモリから情報にアクセスして、当該メモリにデータを記憶し得る。
【0029】
プロセッサ１１８は、電源１３４から電力を受信し得、ＷＴＲＵ１０２における他の構成要素に電力を分配し、かつ／又は制御するように構成され得る。電源１３４は、ＷＴＲＵ１０２に電力を供給するための任意の好適なデバイスであり得る。例えば、電源１３４は、１つ以上の乾電池（例えば、ニッケルカドミウム（nickel-cadmium、ＮｉＣｄ）、ニッケル亜鉛（nickel-zinc、ＮｉＺｎ）、ニッケル金属水素化物（nickel metal hydride、ＮｉＭＨ）、リチウムイオン（lithium-ion、Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池などを含み得る。
【0030】
プロセッサ１１８はまた、ＧＰＳチップセット１３６に結合され得るが、これは、ＷＴＲＵ１０２の現在の位置に関する位置情報（例えば、経度及び緯度）を提供するように構成され得る。ＧＰＳチップセット１３６からの情報に加えて、又はその代わりに、ＷＴＲＵ１０２は、エアーインターフェース１１６を介して基地局（例えば、基地局１１４ａ、１１４ｂ）から位置情報を受信し、かつ／又は２つ以上の近接基地局から受信されている信号のタイミングに基づいて、その位置を決定し得る。ＷＴＲＵ１０２は、一実施形態との一貫性を有したまま、任意の好適な位置決定方法によって位置情報を取得し得ることが理解されよう。
【0031】
プロセッサ１１８は、他の周辺機器１３８に更に結合され得るが、他の周辺機器１３８には、追加の特徴、機能、及び／又は有線若しくは無線接続を提供する１つ以上のソフトウェア及び／又はハードウェアモジュールが含まれ得る。例えば、周辺機器１３８には、加速度計、電子コンパス、衛星トランシーバ、（写真及び／又はビデオのための）デジタルカメラ、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（frequency modulated、ＦＭ）無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実及び／又は拡張現実（Virtual Reality/Augmented Reality、ＶＲ／ＡＲ）デバイス、アクティビティトラッカなどが含まれ得る。周辺機器１３８は、１つ以上のセンサを含んでもよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、及び／又は湿度センサのうちの１つ以上であってもよい。
【0032】
ＷＴＲＵ１０２は、（例えば、ＵＬ（例えば、送信用）及びダウンリンク（例えば、受信用）の両方のための特定のサブフレームと関連付けられた信号のいくつか又は全ての送信及び受信が、並列及び／又は同時であり得る、全二重無線機を含んでもよい。全二重無線機は、ハードウェア（例えば、チョーク）又はプロセッサ（例えば、別個のプロセッサ（図示せず）又はプロセッサ１１８を介して）を介した信号処理のいずれかを介して自己干渉を低減し、かつ又は実質的に排除するための干渉管理ユニットを含み得る。一実施形態では、ＷＲＴＵ１０２は、（例えば、ＵＬ（例えば、送信用）又はダウンリンク（例えば、受信用）のいずれかのための特定のサブフレームと関連付けられた）信号のうちのいくつか又は全てのうちのどれかの送信及び受信のための、半二重無線機を含んでもよい。
【0033】
図１Ｃは、一実施形態による、ＲＡＮ１０４及びＣＮ１０６を例解するシステム図である。上記のように、ＲＡＮ１０４は、エアーインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するために、Ｅ－ＵＴＲＡ無線技術を採用し得る。ＲＡＮ１０４はまた、ＣＮ１０６と通信し得る。
【0034】
ＲＡＮ１０４は、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃを含み得るが、ＲＡＮ１０４は、一実施形態との一貫性を保ちながら、任意の数のｅノードＢを含み得るということが理解されよう。ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは各々、エアーインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つ以上のトランシーバを含み得る。一実施形態では、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実装し得る。したがって、ｅノードＢ１６０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、かつ／又はＷＴＲＵ１０２ａから無線信号を受信し得る。
【0035】
ｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々は、特定のセル（図示せず）と関連付けられ得、かつ無線リソース管理意思決定、ハンドオーバ意思決定、ＵＬ及び／又はＤＬにおけるユーザのスケジューリングなどを処理するように構成され得る。図１Ｃに示すように、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェースを介して互いに通信し得る。
【0036】
図１Ｃに示すＣＮ１０６は、モビリティ管理エンティティ（mobility management entity、ＭＭＥ）１６２、サービングゲートウェイ（serving gateway、ＳＧＷ）１６４、及びパケットデータネットワーク（packet data network、ＰＤＮ）ゲートウェイ（又はＰＧＷ）１６６を含んでもよい。前述の要素の各々は、ＣＮ１０６の一部として図示されているが、これらの要素のいずれも、ＣＮオペレータ以外のエンティティによって所有及び／又は運営され得ることが理解されよう。
【0037】
ＭＭＥ１６２は、Ｓ１インターフェースを介して、ＲＡＮ１０４におけるｅノードＢ１６２ａ、１６２ｂ、１６２ｃの各々に接続され得、制御ノードとして機能し得る。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラのアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期アタッチ中に特定のサービングゲートウェイを選択すること、などの役割を果たし得る。ＭＭＥ１６２は、ＲＡＮ１０４と、ＧＳＭ及び／又はＷＣＤＭＡなどの他の無線技術を採用する他のＲＡＮ（図示せず）との間で切り替えるための制御プレーン機能を提供し得る。
【0038】
ＳＧＷ１６４は、Ｓ１インターフェースを介して、ＲＡＮ１０４におけるｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続され得る。ＳＧＷ１６４は、概して、ユーザデータパケットを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとの間でルーティングして、転送し得る。ＳＧＷ１６４は、ｅノードＢ間ハンドオーバ中にユーザプレーンをアンカする機能、ＤＬデータがＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに利用可能であるときにページングをトリガする機能、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理及び記憶する機能などの、他の機能を実施し得る。
【0039】
ＳＧＷ１６４は、ＰＧＷ１６６に接続され得るが、ＰＧＷ１６６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。
【0040】
ＣＮ１０６は、他のネットワークとの通信を容易にし得る。例えば、ＣＮ１０６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の地上回線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回路交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。例えば、ＣＮ１０６は、ＣＮ１０６とＰＳＴＮ１０８との間のインターフェースとして機能するＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含み得るか、又はこれと通信し得る。加えて、ＣＮ１０６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに他のネットワーク１１２へのアクセスを提供し得、この他のネットワークは、他のサービスプロバイダによって所有及び／又は運用されている他の有線及び／又は無線ネットワークを含み得る。
【0041】
ＷＴＲＵは、無線端末として図１Ａ～図１Ｄに記載されているが、ある特定の代表的な実施形態では、このような端末は、通信ネットワークとの有線通信インターフェースを（例えば、一時的又は永久的に）使用し得ることが企図される。
【0042】
代表的な実施形態では、他のネットワーク１１２は、ＷＬＡＮであり得る。
【0043】
インフラストラクチャ基本サービスセット（Basic Service Set、ＢＳＳ）モードのＷＬＡＮは、ＢＳＳのアクセスポイント（ＡＰ）及びＡＰと関連付けられた１つ以上の局（ＳＴＡ）を有し得る。ＡＰは、配信システム（Distribution System、ＤＳ）若しくはＢＳＳに入り、かつ／又はＢＳＳから出るトラフィックを搬送する、別のタイプの有線ネットワーク／無線ネットワークへのアクセス又はインターフェースを有してもよい。ＢＳＳ外から生じる、ＳＴＡへのトラフィックは、ＡＰを通って到達し得、ＳＴＡに配信され得る。ＳＴＡからＢＳＳ外の宛先へ生じるトラフィックは、ＡＰに送信されて、それぞれの宛先に送信され得る。ＢＳＳ内のＳＴＡ間のトラフィックは、例えば、ＡＰを通って送信され得、ソースＳＴＡは、ＡＰにトラフィックを送信し、ＡＰは、トラフィックを宛先ＳＴＡに配信し得る。ＢＳＳ内のＳＴＡ間のトラフィックは、ピアツーピアトラフィックとして見なされ得る、かつ／又は称され得る。ピアツーピアトラフィックは、ソースＳＴＡと宛先ＳＴＡとの間で（例えば、これらの間で直接的に）、直接リンクセットアップ（direct link setup、ＤＬＳ）を使用して送信され得る。ある特定の代表的な実施形態では、ＤＬＳは、８０２．１１ｅ ＤＬＳ又は８０２．１１ｚトンネル化ＤＬＳ（tunneled DLS、ＴＤＬＳ）を使用し得る。独立ＢＳＳ（Independent BSS、ＩＢＳＳ）モードを使用するＷＬＡＮは、ＡＰを有しない場合があり、ＩＢＳＳ内又はこれを使用するＳＴＡ（例えば、ＳＴＡの全て）は、互いに直接通信し得る。通信のＩＢＳＳモードは、本明細書では、「アドホック」通信モードと称され得る。
【0044】
８０２．１１ａｃインフラストラクチャ動作モード又は同様の動作モードを使用するときに、ＡＰは、プライマリチャネルなどの固定チャネル上にビーコンを送信し得る。プライマリチャネルは、固定幅（例えば、２０ＭＨｚ幅の帯域幅）又はシグナリングを介して動的に設定される幅であってもよい。プライマリチャネルは、ＢＳＳの動作チャネルであり得るが、ＡＰとの接続を確立するためにＳＴＡによって使用され得る。特定の代表的な実施形態では、例えば、８０２．１１システムにおいて、衝突回避を備えたキャリア感知多重アクセス（Carrier Sense Multiple Access with Collision Avoidance、ＣＳＭＡ／ＣＡ）が実装されてもよい。ＣＳＭＡ／ＣＡの場合、ＡＰを含むＳＴＡ（例えば、全てのＳＴＡ）は、プライマリチャネルを検知し得る。プライマリチャネルが特定のＳＴＡによってビジーであると検知／検出及び／又は決定された場合、特定のＳＴＡは、バックオフされ得る。１つのＳＴＡ（例えば、１つの局のみ）は、所与のＢＳＳにおいて、任意の所与の時間に送信され得る。
【0045】
高スループット（High Throughput、ＨＴ）ＳＴＡは、通信のための４０ＭＨｚ幅のチャネルを使用し得、この４０ＭＨｚ幅のチャネルは、例えば、プライマリ２０ＭＨｚチャネルと、隣接又は非隣接の２０ＭＨｚチャネルとの組み合わせを介して形成され得る。
【0046】
非常に高いスループット（Very High Throughput、ＶＨＴ）ＳＴＡは、２０ＭＨｚ、４０ＭＨｚ、８０ＭＨｚ、及び／又は１６０ＭＨｚ幅のチャネルをサポートし得る。４０ＭＨｚ及び／又は８０ＭＨｚチャネルは、連続する複数の２０ＭＨｚチャネルを組み合わせることによって形成され得る。１６０ＭＨｚチャネルは、８つの連続する２０ＭＨｚチャネルを組み合わせることによって、又は８０＋８０構成と称され得る２つの連続していない８０ＭＨｚチャネルを組み合わせることによって、形成され得る。８０＋８０構成の場合、チャネル符号化後、データは、データを２つのストリームに分け得るセグメントパーサを通過し得る。逆高速フーリエ変換（Inverse Fast Fourier Transform、ＩＦＦＴ）処理、及び時間ドメイン処理は、各ストリームで別個に行われ得る。ストリームは、２つの８０ＭＨｚチャネルにマッピングされ得、データは、送信ＳＴＡによって送信され得る。受信ＳＴＡの受信機では、８０＋８０構成に対する上記で説明される動作は逆にされ得、組み合わされたデータを媒体アクセス制御（Medium Access Control、ＭＡＣ）に送信し得る。
【0047】
サブ１ＧＨｚの動作モードは、８０２．１１ａｆ及び８０２．１１ａｈによってサポートされる。チャネル動作帯域幅及び搬送波は、８０２．１１ｎ及び８０２．１１ａｃで使用されるものと比較して、８０２．１１ａｆ及び８０２．１１ａｈでは低減される。８０２．１１ａｆは、ＴＶホワイトスペース（TV White Space、ＴＶＷＳ）スペクトルにおいて、５ＭＨｚ、１０ＭＨｚ、及び２０ＭＨｚの帯域幅をサポートし、８０２．１１ａｈは、非ＴＶＷＳスペクトルを使用して、１ＭＨｚ、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、及び１６ＭＨｚの帯域幅をサポートする。代表的な実施形態によれば、８０２．１１ａｈは、マクロ通信範囲エリア内のＭＴＣデバイスなど、メータタイプの制御／マシンタイプ通信をサポートしてもよい。ＭＴＣデバイスは、ある特定の能力、例えば、ある特定の及び／又は限定された帯域幅のためのサポート（例えば、これらのためのみのサポート）を含む、限定された能力を有し得る。ＭＴＣデバイスは、（例えば、非常に長いバッテリ寿命を維持するために）閾値を上回るバッテリ寿命を有するバッテリを含み得る。
【0048】
複数のチャネル、並びに８０２．１１ｎ、８０２．１１ａｃ、８０２．１１ａｆ、及び８０２．１１ａｈなどのチャネル帯域幅をサポートし得るＷＬＡＮシステムは、プライマリチャネルとして指定され得るチャネルを含む。プライマリチャネルは、ＢＳＳにおける全てのＳＴＡによってサポートされる最大共通動作帯域幅に等しい帯域幅を有し得る。プライマリチャネルの帯域幅は、最小帯域幅動作モードをサポートするＢＳＳで動作する全てのＳＴＡの中から、ＳＴＡによって設定され、かつ／又は制限され得る。８０２．１１ａｈの例では、プライマリチャネルは、ＡＰ、及びＢＳＳにおける他のＳＴＡが２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、１６ＭＨｚ、及び／又は他のチャネル帯域幅動作モードをサポートする場合であっても、１ＭＨｚモードをサポートする（例えば、これのみをサポートする）ＳＴＡ（例えば、ＭＴＣ型デバイス）に対して１ＭＨｚ幅であり得る。キャリア感知及び／又はネットワーク割り当てベクトル（Network Allocation Vector、ＮＡＶ）設定は、プライマリチャネルのステータスに依存し得る。例えば、ＡＰに送信する（１ＭＨｚ動作モードのみをサポートする）ＳＴＡに起因して、プライマリチャネルが動作中である場合、周波数帯域の大部分が動作休止のままであり、利用可能であり得るとしても、利用可能な周波数帯域全体が動作中であると見なされ得る。
【0049】
米国では、８０２．１１ａｈにより使用され得る利用可能な周波数帯域は、９０２ＭＨｚ～９２８ＭＨｚである。韓国では、利用可能な周波数帯域は９１７．５ＭＨｚ～９２３．５ＭＨｚである。日本では、利用可能な周波数帯域は９１６．５ＭＨｚ～９２７．５ＭＨｚである。８０２．１１ａｈに利用可能な総帯域幅は、国のコードに応じて６ＭＨｚ～２６ＭＨｚである。
【0050】
図１Ｄは、一実施形態による、ＲＡＮ１１３及びＣＮ１１５を例解するシステム図である。上記のように、ＲＡＮ１１３は、ＮＲ無線技術を採用して、エアーインターフェース１１６を介して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信し得る。ＲＡＮ１１３はまた、ＣＮ１１５と通信し得る。
【0051】
ＲＡＮ１１３は、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃを含み得るが、ＲＡＮ１１３は、一実施形態との一貫性を有したまま、任意の数のｇＮＢを含み得ることが理解されよう。ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは各々、エアーインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つ以上のトランシーバを含み得る。一実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実装し得る。例えば、ｇＮＢ１８０ａ、１０８ｂは、ビームフォーミングを利用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃに信号を送信し得る、かつ／又はｇＮＢ１８０ａ、１８０ｂ、１８０ｃから信号を受信し得る。したがって、ｇＮＢ１８０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａとの間で無線信号を送信、かつ／又は受信し得る。一実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、キャリアアグリゲーション技術を実装し得る。例えば、ｇＮＢ１８０ａは、複数の要素搬送波をＷＴＲＵ１０２ａ（図示せず）に送信し得る。これらの要素搬送波のサブセットは、未認可スペクトル上にあり得るが、残りの要素搬送波は、認可スペクトル上にあり得る。一実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、協調マルチポイント（Coordinated Multi-Point、ＣｏＭＰ）技術を実装し得る。例えば、ＷＴＲＵ１０２ａは、ｇＮＢ１８０ａ及びｇＮＢ１８０ｂ（及び／又はｇＮＢ１８０ｃ）からの協調送信を受信し得る。
【0052】
ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、スケーラブルなニューメロロジと関連付けられた送信を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。例えば、ＯＦＤＭシンボル間隔及び／又はＯＦＤＭサブキャリア間隔は、無線送信スペクトルの異なる送信、異なるセル、及び／又は異なる部分に対して変化し得る。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、（例えば、様々な数のＯＦＤＭシンボルを含む、かつ／又は様々な長さの絶対時間が持続する）様々な又はスケーラブルな長さのサブフレーム又は送信時間間隔（transmission time interval、ＴＴＩ）を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信してもよい。
【0053】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、スタンドアロン構成及び／又は非スタンドアロン構成でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するように構成され得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、他のＲＡＮ（例えば、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃなど）にアクセスすることもなく、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、モビリティアンカポイントとしてｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つ以上を利用し得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、未認可帯域における信号を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。非スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し、これらに接続する一方で、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃなどの別のＲＡＮとも通信し、これらに接続し得る。例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、１つ以上のｇＮＢ１８０ａ、１８０ｂ、１８０ｃ及び１つ以上のｅノードＢ１６０ａ、１６０ｂ、１６０ｃと実質的に同時に通信するためのＤＣ原理を実装し得る。非スタンドアロン構成では、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのモビリティアンカとして機能し得、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃをサービス提供するための追加のカバレッジ及び／又はスループットを提供し得る。
【0054】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃの各々は、特定のセル（図示せず）と関連付けられてもよく、無線リソース管理意思決定、ハンドオーバ意思決定、ＵＬ及び／又はＤＬにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、ＮＲとＥ－ＵＴＲＡとの間のインターワーキング、ユーザプレーン機能（User Plane Function、ＵＰＦ）１８４ａ、１８４ｂへのユーザプレーンデータの経路指定、アクセス及びモビリティ管理機能（Access and Mobility Management Function、ＡＭＦ）１８２ａ、１８２ｂへの制御プレーン情報の経路指定などを処理するように構成されてもよい。図１Ｄに示すように、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、Ｘｎインターフェースを介して互いに通信し得る。
【0055】
図１Ｄに示すＣＮ１１５は、少なくとも１つのＡＭＦ１８２ａ、１８２ｂ、少なくとも１つのＵＰＦ１８４ａ、１８４ｂ、少なくとも１つのセッション管理機能（Session Management Function、ＳＭＦ）１８３ａ、１８３ｂ、及び場合によってはデータネットワーク（Data Network、ＤＮ）１８５ａ、１８５ｂを含み得る。前述の要素の各々は、ＣＮ１１５の一部として図示されているが、これらの要素のいずれも、ＣＮオペレータ以外のエンティティによって所有及び／又は運営され得ることが理解されよう。
【0056】
ＡＭＦ１８２ａ、１８２ｂは、Ｎ２インターフェースを介してＲＡＮ１１３におけるｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つ以上に接続され得、制御ノードとして機能し得る。例えば、ＡＭＦ１８２ａ、１８２ｂは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザの認証、ネットワークスライシングのサポート（例えば、異なる要件を有する異なるＰＤＵセッションの処理）、特定のＳＭＦ１８３ａ、１８３ｂの選択、登録エリアの管理、ＮＡＳシグナリングの終了、モビリティ管理などの役割を果たしてもよい。ネットワークスライスは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃを利用しているサービスのタイプに基づいて、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのＣＮサポートをカスタマイズするために、ＡＭＦ１８２ａ、１８２ｂによって使用され得る。例えば、異なるネットワークスライスは、超高信頼低遅延（ultra-reliable low latency、ＵＲＬＬＣ）アクセスに依存するサービス、拡張大規模モバイルブロードバンド（enhanced massive mobile broadband、ｅＭＢＢ）アクセスに依存するサービス、マシンタイプ通信（machine type communication、ＭＴＣ）アクセスのためのサービスなどの異なる使用事例のために確立されてもよい。ＡＭＦ１６２は、ＲＡＮ１１３と、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ及び／又はＷｉＦｉなどの非３ＧＰＰアクセス技術などのその他の無線技術を用いるその他のＲＡＮ（図示せず）との間で交換するための制御プレーン機能を提供してもよい。
【0057】
ＳＭＦ１８３ａ、１８３ｂは、Ｎ１１インターフェースを介して、ＣＮ１１５内のＡＭＦ１８２ａ、１８２ｂに接続され得る。ＳＭＦ１８３ａ、１８３ｂはまた、Ｎ４インターフェースを介して、ＣＮ１１５内のＵＰＦ１８４ａ、１８４ｂに接続され得る。ＳＭＦ１８３ａ、１８３ｂは、ＵＰＦ１８４ａ、１８４ｂを選択及び制御し、ＵＰＦ１８４ａ、１８４ｂを通るトラフィックのルーティングを構成し得る。ＳＭＦ１８３ａ、１８３ｂは、ＵＥ ＩＰアドレスを管理し、配分すること、ＰＤＵセッションを管理すること、ポリシー執行及びＱｏＳを制御すること、ダウンリンクデータ通知を提供することなどの、その他の機能を実施してもよい。ＰＤＵセッション種別は、ＩＰベース、非ＩＰベース、イーサネットベースなどであり得る。
【0058】
ＵＰＦ１８４ａ、１８４ｂは、Ｎ３インターフェースを介して、ＲＡＮ１１３内のｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つ以上に接続することができ、これにより、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。ＵＰＦ１８４、１８４ｂは、パケットを経路指定し、転送すること、ユーザプレーンポリシーを執行すること、多重ホームＰＤＵセッションをサポートすること、ユーザプレーンＱｏＳを処理すること、ダウンリンクパケットをバッファリングすること、モビリティアンカリングを提供することなどの、その他の機能を実施してもよい。
【0059】
ＣＮ１１５は、他のネットワークとの通信を容易にし得る。例えば、ＣＮ１１５は、ＣＮ１１５とＰＳＴＮ１０８との間のインターフェースとして機能するＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含み得るか、又はこれと通信し得る。加えて、ＣＮ１１５は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに他のネットワーク１１２へのアクセスを提供し得、この他のネットワークは、他のサービスプロバイダによって所有及び／又は運用されている他の有線及び／又は無線ネットワークを含み得る。一実施形態では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＵＰＦ１８４ａ、１８４ｂへのＮ３インターフェース、及びＵＰＦ１８４ａ、１８４ｂとＤＮ１８５ａ、１８５ｂとの間のＮ６インターフェースを介して、ＵＰＦ１８４ａ、１８４ｂを通じて、ローカルデータネットワーク（ＤＮ）１８５ａ、１８５ｂに接続されてもよい。
【0060】
図１Ａ～図１Ｄ、及び図１Ａ～図１Ｄの対応する記載から見て、ＷＴＲＵ１０２ａ～ｄ、基地局１１４ａ～ｂ、ｅノード－Ｂ１６０ａ～ｃ、ＭＭＥ１６２、ＳＧＷ１６４、ＰＧＷ１６６、ｇＮＢ１８０ａ～ｃ、ＡＭＦ１８２ａ～ｂ、ＵＰＦ１８４ａ～ｂ、ＳＭＦ１８３ａ～ｂ、ＤＮ１８５ａ～ｂ、及び／又は本明細書に記載される任意のその他のデバイスのうちの１つ以上に関する、本明細書に記載される機能のうちの１つ以上又は全ては、１つ以上のエミュレーションデバイス（図示せず）によって実施されてもよい。エミュレーションデバイスは、本明細書に記載される機能のうちの１つ以上又は全てをエミュレートするように構成された１つ以上のデバイスであり得る。例えば、エミュレーションデバイスを使用して、他のデバイスを試験し、かつ／又は、ネットワーク及び／若しくはＷＴＲＵ機能をシミュレートしてもよい。
【0061】
エミュレーションデバイスは、ラボ環境及び／又は事業者ネットワーク環境における他のデバイスの１つ以上の試験を実装するように設計され得る。例えば、１つ以上のエミュレーションデバイスは、通信ネットワーク内の他のデバイスを試験するために、有線及び／又は無線通信ネットワークの一部として完全に若しくは部分的に実装及び／又は展開されている間、１つ以上若しくは全ての機能を実施してもよい。１つ以上のエミュレーションデバイスは、有線及び／又は無線通信ネットワークの一部として一時的に実装／展開されている間、１つ以上若しくは全ての機能を実施し得る。エミュレーションデバイスは、試験を目的として、別のデバイスに直接結合されてもよく、かつ／又は地上波無線通信を使用して、試験を実施してもよい。
【0062】
１つ以上のエミュレーションデバイスは、有線及び／又は無線通信ネットワークの一部として実装／展開されていない間、全てを含む１つ以上の機能を実施し得る。例えば、エミュレーションデバイスは、１つ以上の構成要素の試験を実装するために、試験実験室での試験シナリオ、並びに／又は展開されていない（例えば、試験用の）有線及び／若しくは無線通信ネットワークにおいて利用され得る。１つ以上のエミュレーションデバイスは、試験機器であり得る。ＲＦ回路（例えば、１つ以上のアンテナを含み得る）を介した直接ＲＦ結合及び／又は無線通信は、データを送信及び／又は受信するように、エミュレーションデバイスによって使用され得る。
【0063】
本出願は、ツール、特徴、実施例、モデル、アプローチなどを含む様々な態様を記載している。これらの態様の多くは、具体的に記載され、少なくとも個々の特性を示すために、限定的であり得るように記載されることが多い。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際、異なる態様の全てが組み合わされ、交換されて、更なる態様を提供し得る。その上、態様は、同様に、先の出願に説明される態様と組み合わされ、かつ交換され得る。
【0064】
本出願において説明及び企図される態様は、多くの異なる形態で実装され得る。本明細書に記載の図５～図１０は、いくつかの実施例を提供し得るが、他の実施例も企図される。図５～図１０の考察は、実装形態の範囲を限定するものではない。態様のうちの少なくとも１つは、概して、ビデオ符号化及び復号に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び他の態様は、方法、装置、説明される方法のうちのいずれかに従ってビデオデータを符号化若しくは復号するための命令を記憶したコンピュータ可読記憶媒体、及び／又は説明される方法のうちのいずれかに従って生成されたビットストリームを記憶したコンピュータ可読記憶媒体として実装され得る。
【0065】
本出願では、「再構成された」及び「復号された」という用語は交換可能に使用され得、「ピクセル」及び「サンプル」という用語は交換可能に使用され得、「画像」、「ピクチャ」、及び「フレーム」という用語は交換可能に使用され得る。
【0066】
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための１つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、修正又は組み合わされ得る。追加的に、「第１の」、「第２の」などの用語は、様々な実施例において、例えば、「第１の復号」及び「第２の復号」などの要素、コンポーネント、ステップ、動作などを修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、本実施例では、第１の復号は、第２の復号の前に実施される必要はなく、例えば、第２の復号の前、第２の復号中、又は第２の復号と重複する時間中に発生し得る。
【0067】
本出願に記載の様々な方法及び他の態様は、図２及び図３に示すように、ビデオエンコーダ２００及びデコーダ３００のモジュール、例えば、復号モジュールを変更するために使用され得る。その上、本明細書で開示される主題は、例えば、標準又は推奨に記載されているかどうかにかかわらず、既存の又は将来開発されるかどうかにかかわらず、任意のタイプ、形式、又はバージョンのビデオコーディング、並びに任意のかかる標準及び推奨の拡張に適用され得る。別段の指示がない限り、又は技術的に不可能でない限り、本出願に記載の態様は、個々に又は組み合わせて使用され得る。
【0068】
実施例を説明するために本出願に説明される実施例では、様々な数値が使用されており、説明する態様は、これらの特定の値に限定されない。
【0069】
図２は、例示的なビデオエンコーダを示す図である。例示的なエンコーダ２００の変形例が企図されるが、エンコーダ２００は、全ての予想される変形例を説明することなく、明確にする目的で以下に記載される。
【0070】
符号化される前に、ビデオシーケンスは、符号化前処理（２０１）、例えば、カラー変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実施する（例えば、色成分のうちの１つのヒストグラム等化を使用して）ことを経ることができる。メタデータは、その前処理と関連付けられ、ビットストリームに添付され得る。
【0071】
エンコーダ２００では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、分割され（２０２）、例えば、コーディングユニット（coding unit、ＣＵ）の単位で処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測（２６０）を実施する。インターモードでは、動き推定（２７５）及び動き補償（２７０）が実施される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し（２０５）、例えば、予測モードフラグによってイントラ／インターの決定を示す。予測残差は、例えば、原画像ブロックから予測されたブロックを減算することによって（２１０）計算される。
【0072】
その予測残差は、次いで、変換され（２２５）、量子化される（２３０）。量子化された変換係数、並びに動きベクトル及び他の構文要素は、ビットストリームを出力するためにエントロピーコーディングされる（２４５）。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コーディングされる。
【0073】
エンコーダは、符号化されたブロックを復号して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号するために逆量子化され（２４０）、逆変換される（２５０）。復号された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構成される。ループ内フィルタ（２６５）は、例えば、符号化アーチファクトを低減するためのデブロッキング／サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）フィルタリングを実施するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。
【0074】
図３は、ビデオデコーダの実施例を示す図である。例示的なデコーダ３００では、ビットストリームは、以下に説明されるように、デコーダ要素によって復号される。ビデオデコーダ３００は、概して、図２に記載の符号化パスとは逆の復号パスを実施する。エンコーダ２００もまた、概して、ビデオデータを符号化することの一部として、ビデオ復号を実行する。
【0075】
具体的には、デコーダの入力は、ビデオエンコーダ２００によって生成され得るビデオビットストリームを含む。ビットストリームは、最初に、変換係数、動きベクトル、及び他のコーディングされた情報を取得するために、エントロピー復号される（３３０）。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号されたピクチャ分割情報に従ってピクチャを分け得る（３３５）。変換係数は、予測残差を復号するために、逆量子化され（３４０）、逆変換される（３５０）。復号された予測残差と予測されたブロックとを組み合わせて（３５５）、画像ブロックが再構成される。予測されたブロックは、イントラ予測（３６０）から又は動き補償予測（すなわち、インター予測）（３７５）から取得され得る（３７０）。ループ内フィルタ（３６５）は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（３８０）に記憶される。
【0076】
復号されたピクチャは、復号後処理（３８５）、例えば、逆カラー変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（２０１）において実施された再マッピングプロセスの逆を実施する逆再マッピングを更に経ることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。実施例では、復号された画像（例えば、復号後処理が使用される場合、ループ内フィルタ（３６５）の適用後及び／又は復号後処理（３８５）の後）は、ユーザへのレンダリングのためにディスプレイデバイスに送信され得る。
【0077】
図４Ａは、本明細書に説明される様々な態様及び実施例が実現され得るシステムの実施例を示す図である。システム４００は、以下に説明される様々なコンポーネントを含むデバイスとして具体化され得、本明細書に説明される態様のうちの１つ以上を実施するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム４００の要素は、単独で、又は組み合わせて、単一の集積回路（ＩＣ）、複数のＩＣ、及び／又は別個のコンポーネントに具現化され得る。例えば、少なくとも１つの実施例では、システム４００の処理及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又は別個のコンポーネントにわたって分散される。様々な実施例では、システム４００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施例では、システム４００は、本明細書に説明される態様のうちの１つ以上を実装するように構成されている。
【0078】
システム４００は、例えば、本明細書に説明される様々な態様を実装するために、それ自体にロードされた命令を実行するように構成された少なくとも１つのプロセッサ４１０を含む。プロセッサ４１０は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム４００は、少なくとも１つのメモリ４２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム４００は、記憶デバイス４４０を含み、これは、不揮発性メモリ及び／又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス４４０は、非限定的な例として、内部記憶デバイス、付属記憶デバイス（取り外し可能及び取り外し不可能な記憶デバイスを含む）、及び／又はネットワークアクセス可能な記憶デバイスを含むことができる。
【0079】
システム４００は、例えば、符号化されたビデオ又は復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール４３０を含み、エンコーダ／デコーダモジュール４３０は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール４３０は、符号化機能及び／又は復号機能を実施するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化モジュール及び復号モジュールのうちの一方又は両方を含むことができる。追加的に、エンコーダ／デコーダモジュール４３０は、システム４００の別個の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ４１０内に組み込まれ得る。
【0080】
本明細書に説明される様々な態様を実施するためにプロセッサ４１０又はエンコーダ／デコーダ４３０にロードされるプログラムコードは、記憶デバイス４４０に記憶され、その後、プロセッサ４１０による実行のためにメモリ４２０上にロードされ得る。様々な実施例によれば、プロセッサ４１０、メモリ４２０、記憶デバイス４４０、及びエンコーダ／デコーダモジュール４３０のうちの１つ以上は、本明細書に説明されるプロセスの実行中に様々なアイテムのうちの１つ以上を記憶することができる。かかる記憶されたアイテムは、これらに限定されないが、入力ビデオ、復号されたビデオ、又は復号されたビデオの部分、ビットストリーム、マトリックス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
【0081】
いくつかの実施例では、プロセッサ４１０及び／又はエンコーダ／デコーダモジュール４３０の内部のメモリは、命令を記憶し、符号化又は復号中に必要な処理のための作業メモリを提供するために使用される。ただし、他の実施例では、処理デバイスの外部のメモリ（例えば、処理デバイスは、プロセッサ４１０又はエンコーダ／デコーダモジュール４３０のいずれかであり得る）が、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ４２０及び／又は記憶デバイス４４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施例では、外部不揮発性フラッシュメモリが、例えば、テレビのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施例では、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ビデオ符号化及び復号動作のためのワーキングメモリとして使用される。
【0082】
システム４００の要素への入力は、ブロック４４５に示されるように、様々な入力デバイスを通して提供され得る。かかる入力デバイスとしては、これらに限定されないが、（ｉ）例えば、放送局によって地上波で送信されるＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又は一組のＣＯＭＰ入力端子）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が挙げられる。図４Ａに示されていない他の例としては、複合ビデオが挙げられる。
【0083】
様々な実施例では、ブロック４４５の入力デバイスは、当該技術分野で知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択すること（信号を選択すること、又は信号をある周波数帯域に帯域制限することとも称される）、（ｉｉ）選択された信号をダウンコンバートすること、（ｉｉｉ）（例えば、）特定の実施例においてチャネルと称され得る信号周波数帯域を選択するために、狭い周波数帯域に再び帯域制限すること、（ｉｖ）ダウンコンバートされ帯域制限された信号を復調すること、（ｖ）誤り訂正を実行すること、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離すること、に適した要素と関連付けられ得る。様々な実施例のＲＦ部分は、これらの機能を実行するための１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及び多重分離器を含む。ＲＦ部分は、様々なこれらの機能を実施するチューナを含むことができ、例えば、受信した信号をより低い周波数（例えば、中間周波数又は近ベースバンド周波数）に又はベースバンドにダウンコンバートすることを含む。１つのセットトップボックスの実施例では、ＲＦ部分及びその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体によって送信されたＲＦ信号を受信し、フィルタ処理、ダウンコンバート、及び所望の周波数帯域への再度のフィルタ処理によって周波数選択を実行する。様々な実施例は、上で説明される（及び他の）要素の順序を再配列し、これらの要素のいくつかを除去し、並びに／又は他の要素を追加して、類似の機能若しくは異なる機能を実行する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施例では、ＲＦ部分は、アンテナを含む。
【0084】
追加的に、ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム４００をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内又はプロセッサ４１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内又はプロセッサ４１０内に実装され得る。例えば、プロセッサ４１０、並びにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ４３０を含む様々な処理要素に、復調され、エラー訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために、必要に応じて、データストリームを処理する。
【0085】
システム４００の様々な要素は、統合型筐体内に提供され得る。統合型筐体内では、様々な要素が相互接続され、好適な接続配列４２５、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む当該技術分野で知られている内部バスを使用して、それらの間でデータを送信し得る。
【0086】
システム４００は、通信チャネル４６０を介して他のデバイスとの通信を可能にする通信インターフェース４５０を含む。通信インターフェース４５０は、通信チャネル４６０によってデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース４５０は、モデム又はネットワークカードを含むことができるが、これに限定されず、通信チャネル４６０は、例えば、有線及び／又は無線媒体内に実装され得る。
【0087】
データは、様々な実施例において、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓを指す）などの無線ネットワークを使用して、システム４００にストリーミングされるか、又は他の方法で提供される。これらの実施例のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信用に適合された通信チャネル４６０及び通信インターフェース４５０を介して受信される。これらの実施例の通信チャネル４６０は、典型的には、ストリーミングアプリケーション及び他のオーバートップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施例は、入力ブロック４４５のＨＤＭＩ接続によってデータを提供するセットトップボックスを使用して、ストリーミングされたデータをシステム４００に提供する。更に他の実施例は、入力ブロック４４５のＲＦ接続を使用して、ストリーミングされたデータをシステム４００に提供する。上記のように、様々な実施例は、非ストリーミング様式でデータを提供する。追加的に、様々な実施例は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラーネットワーク又はＢｌｕｅｔｏｏｔｈ（登録商標）ネットワークを使用する。
【0088】
システム４００は、ディスプレイ４７５、スピーカ４８５、及び他の周辺デバイス４９５を含む様々な出力デバイスに出力信号を提供することができる。様々な実施例のディスプレイ４７５は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ４７５は、テレビ、タブレット、ラップトップ、携帯電話（モバイルフォン）、又は他のデバイスのためのものであり得る。また、ディスプレイ４７５を、他の構成要素と統合することができ（例えば、スマートフォン内のように）、又は別個にする（例えば、ラップトップ用の外部モニタ）こともできる。他の周辺デバイス４９５は、様々な実施例において、スタンドアロンデジタルビデオディスク（若しくはデジタル多用途ディスク）（両方の用語についてＤＶＤ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施例は、システム４００の出力に基づいて機能を提供する１つ以上の周辺デバイス４９５を使用する。例えば、ディスクプレーヤは、システム４００の出力を再生する機能を実行する。
【0089】
様々な実施例では、制御信号は、ＡＶ．Ｌｉｎｋ、コンシューマエレクトロニクス制御（Consumer Electronics Control、ＣＥＣ）、又はユーザ介入の有無を問わずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム４００とディスプレイ４７５、スピーカ４８５、又は他の周辺デバイス４９５との間で通信される。出力デバイスは、それぞれのインターフェース４７０、４８０、及び４９０を通じた専用接続を介してシステム４００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース４５０を介し、通信チャネル４６０を使用して、システム４００に接続され得る。ディスプレイ４７５及びスピーカ４８５は、例えば、テレビなどの電子デバイス内のシステム４００の他のコンポーネントと単一のユニットに統合され得る。様々な実施例では、ディスプレイインターフェース４７０は、例えば、タイミングコントローラ（timing controller、Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。
【0090】
ディスプレイ４７５及びスピーカ４８５は、代替的に、例えば、入力４４５のＲＦ部分が別個のセットトップボックスの一部分である場合、他のコンポーネントのうちの１つ以上とは別個であり得る。ディスプレイ４７５及びスピーカ４８５が外部コンポーネントである様々な実施例では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して提供され得る。
【0091】
これらの実施例は、プロセッサ４１０によって、又はハードウェアによって、又はハードウェア及びソフトウェアの組み合わせによって実現されるコンピュータソフトウェアによって実行され得る。非限定的な実施例として、これらの実施例は、１つ以上の集積回路によって実現され得る。メモリ４２０は、技術環境に適切な任意のタイプであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ４１０は、技術環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。
【0092】
様々な実装形態は、復号を伴う。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力をもたらすために、受信した符号化されたシーケンスに対して実施されるプロセスの全て又は一部を包含することができる。様々な実施例では、このような処理は、例えば、逆量子化、逆畳み込み実行、予測ブロックの取得など、エンコーダによって一般的に実施される処理のうちの１つ以上を含む。
【0093】
更なる実施例として、一実施例では、「復号」はエントロピー復号のみを指し、別の実施例では、「復号」は、差動復号のみを指し、別の実施例では、「復号」は、エントロピー復号及び差動復号の組み合わせを指す。「復号プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な復号プロセスを指すことを目的とするものであるかは、具体的な説明の文脈に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0094】
様々な実装形態は、符号化を伴う。「復号」に関する上記の考察と同様に、本出願で使用される「符号化」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実施されるプロセスの全て又は一部を包含することができる。様々な実施例では、このような処理は、例えば、畳み込み実行、潜在ベクトルの取得、動きフローデータなど、エンコーダによって一般的に実施される処理のうちの１つ以上を含む。
【0095】
更なる実施例として、一実施例では、「符号化」はエントロピー符号化のみを指し、別の実施例では、「符号化」は差動符号化のみを指し、別の実施例では、「符号化」は差動符号化及びエントロピー符号化の組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の文脈に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0096】
なお、本明細書で使用されるシンタックス要素、例えば、潜在ベクトル、注意値などは、説明的用語であることに留意されたい。したがって、これらは他の構文要素名の使用を排除するものではない。
【0097】
図がフロー図として提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフロー図も提供するものと理解されたい。
【0098】
本明細書に説明される実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。本方法は、例えば、プロセッサで実装され得るが、プロセッサは、一般に処理デバイスを指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスが含まれる。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（Personal Digital Assistant、「ＰＤＡ」）などのデバイスなどの通信デバイスも含まれる。
【0099】
「一実施例」若しくは「実施例」又は「一実装形態」若しくは「実装形態」、並びにそれらの他の変形例への言及は、実施例に関連して説明される特定の特徴、構造、特性などが少なくとも１つの実施例に含まれることを意味する。そのため、本出願全体を通して様々な場所に現れる「一実施例では」若しくは「実施例では」又は「一実装形態では」若しくは「実装形態では」という句、並びに任意の他の変形例の出現は、必ずしも全てが同じ実施例を指すとは限らない。
【0100】
追加的に、本出願は、様々な情報を「判定する」ことに言及する場合がある。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。取得することは、受信すること、取り出すこと、構築すること、生成すること、及び／又は判定することを含み得る。
【0101】
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。
【0102】
追加的に、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定する等の操作時に、何らかの方式で関与する。
【0103】
例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢのうちの少なくとも１つ」の場合、次の「／」、「及び／又は」、及び「のうちの少なくとも１つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
【0104】
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。エンコーダ信号は、例えば、動きフローデータの表示、量子化された動きフローデータの表示などを含み得る。このようにして、一実施例では、同じパラメータがエンコーダ側とデコーダ側との両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明示的なシグナリング）。逆に、デコーダが既に特定のパラメータ並びに他のパラメータを有する場合、単にデコーダが特定のパラメータを知り選択することを可能にするために、送信せずにシグナリングを使用し得る（暗黙的なシグナリング）。いかなる実際の機能の送信を回避することによって、様々な実施例においてビット節約が実現される。シグナリングは、様々な方式で達成され得ることが理解されるべきである。例えば、様々な実施例では、１つ以上のシンタックス要素、フラグなどを使用して、対応するデコーダに情報をシグナリングする。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
【0105】
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を搬送するようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実施するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、信号は、説明される実施例のビットストリームを搬送するようにフォーマットされ得る。かかる信号は、例えば、（例えば、スペクトルの無線周波数部分を使用して）電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する信号は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶されるか、プロセッサ可読媒体からアクセス若しくは受信され得る。
【0106】
多くの実施例が、本明細書に説明されている。実施例の特徴は、様々な特許請求のカテゴリ及びタイプにわたって単独で又は任意の組み合わせで提供され得る。更に、実施例は、本明細書に説明される特徴、デバイス、又は態様のうちの１つ以上を、単独で又は任意の組み合わせで、様々な特許請求のカテゴリ及びタイプにわたって含み得る。例えば、本明細書に説明される特徴は、本明細書に説明されるように生成された情報を含むビットストリーム又は信号に実現され得る。情報により、デコーダが、説明される実施形態のいずれかに従って、ビットストリーム、エンコーダ、ビットストリーム、及び／又はデコーダを復号することが可能になり得る。例えば、本明細書に記載の特徴は、ビットストリーム又は信号を生成及び／又は送信及び／又は受信及び／又は復号することによって実現され得る。例えば、本明細書に記載の特徴は、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号として実現され得る。例えば、本明細書に記載の特徴は、ＴＶ、セットトップボックス、携帯電話、タブレット、又は復号を実行する他の電子デバイスによって実装され得る。ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、結果として生じる画像（例えば、ビデオビットストリームの残差再構成からの画像）を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示し得る。ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化された画像を含む信号を受信し、復号を実行し得る。
【0107】
ビデオデータの圧縮は、例えば、人工ニューラルネットワーク（artificial neural network、ＡＮＮ）ベースのツールを使用して実行され得る。エンドツーエンドのディープビデオ圧縮アーキテクチャ（例えば、時間構造に依存して動きフローを推定することに特化する）が使用され得る。注意ベースのリカレントニューラルネットワークアーキテクチャが使用され得る。例えば、注意ベースのリカレントニューラルネットワークアーキテクチャは、ビデオフレーム間の長期依存性及び／又は短期依存性をキャプチャすることを可能にし得る。ビデオフレーム間の長期依存性及び／又は短期依存性をキャプチャすることは、動きフロー情報（例えば、各ピクセルロケーションにおける動きベクトル）の近似を改善し得る。動きベクトルは、例えば、以下のうちの１つ以上を使用して推定され得る：リカレントニューラルネットワーク（例えば、畳み込み演算及び／又は逆畳み込み演算を組み込む）、フレーム間注意ブロック、又は特徴抽出ブロック（例えば、シャム特徴抽出ブロック）。（例えば、畳み込み演算を組み込む）リカレントニューラルネットワークは、長期及び／又は短期動き情報をキャプチャすることを可能にし得る。畳み込み演算を組み込むリカレントニューラルネットワーク（recurrent neural network、ＲＮＮ）は、可変入力画像／フレームサイズの使用を可能にすることができる。フレーム間注意ブロックは、例えば、特定のフレームシーケンスに対する動きベクトルの推定の優先順位付けを可能にすることができる。特徴抽出ブロック（例えば、シャム特徴抽出ブロック）は、例えば、注意の計算中に、符号化されたビデオフレームの空間的特徴の保存を可能にし得る。
【0108】
ＡＮＮベースのツールは、エンドツーエンドのビデオ圧縮モデルに直接適用され得る。ＡＮＮベースのツールは、例えば、手作りの予測、変換、及びエントロピーコーディングツールを（例えば、ブロックレベルで）使用して、冗長性を低減する（例えば、低減することを目指す）ことができる。（例えば、本明細書で説明されるような）注意機構は、動き推定／補償アルゴリズムを置換又は最適化することができる。
【0109】
画像及びビデオ圧縮方法は、ニューラルネットワークを使用し得る。ＡＮＮベースの方法は、例えば、損失関数を反復的に最小化することによって、（例えば、手作りの予測モード及び変換を適用し得る従来の方法とは対照的に）訓練中に大きいデータセットに対して学習されるパラメータを使用（例えば、依存）し得る。圧縮の例では、損失関数は、符号化されたビットストリームのビットレートの推定、及び／又は復号されたコンテンツの目的関数を記述し得る。再構成された画像の品質は、例えば、信号歪みの尺度又は視覚的品質（例えば、人間が知覚する視覚的品質）の近似に基づいて最適化され得る。
【0110】
図５Ａは、例示的なエンドツーエンド圧縮システムを例解する。ネットワークのエンコーダ部分への入力Ｘは、ビデオの画像若しくはフレーム、画像の一部、画像／フレームのグループを表すテンソル、又は画像／フレームのグループの一部（例えば、クロップ）を表すテンソルのうちの１つ以上を含み得る。
【0111】
入力は、例えば、モノクロ、ＲＧＢ、又はＹＣｂＣｒ（ＹＵＶ）成分など、１つ以上の色成分を有し得る。
【0112】
図５Ａに示されるように、入力テンソルＸは、エンコーダネットワークに供給され得る。エンコーダネットワークは、（例えば非線形活性化関数を有する）畳み込み層のシーケンスを含み得る。畳み込み及び／又は空間－深さ演算（例えば、畳み込み及び／又は空間－深さ演算における大きなストライド）を使用して、チャネルの数を増加させながら、例えば空間的解像度を低減することができる。エンコーダネットワークは、学習済み分析変換であり得る（例えば、それと見なすことができる）。
【0113】
図５Ａに示されるように、エンコーダネットワークの出力（例えば、「特徴マップ」又は「潜在」Ｚ）は、量子化され、記憶又は送信のためにバイナリストリーム（例えば、ビットストリーム）としてエントロピーコード化（entropy coded、ＥＣ）され得る。エンコーダネットワークの出力は、ビデオデータ及び／又はビデオ情報を含み得る。
【0114】
図５Ａに示されるように、ビットストリームは、例えば、
【0115】
【数1】
【0116】
図５Ａに示されるように、デコーダネットワークは、
【0117】
【数2】
【0118】
【数3】
【0119】
例えば、効率的な圧縮のために潜在分布のパラメータを学習する（例えば、共同で学習する）ために、例えば、ハイパーオートエンコーダ（例えば、ハイパー事前分布）がネットワークに追加され得る。エンドツーエンド微分可能コーデック（例えば、任意のエンドツーエンド微分可能コーデックス）が考慮され得る。
【0120】
人工ニューラルネットワークを使用したビデオ圧縮が実行され得る。図５Ｂは、ビデオを符号化及び復号するための例示的なニューラルネットワークアーキテクチャを例解する。アーキテクチャは、例えば、フレーム間冗長性を除去しながら、復号されたビデオフレームを再構成するための異なる要素（例えば、再構成するために必要な要素）を符号化するオートエンコーダを含み得る。
【0121】
図５Ｂに示されるように、Ｉフレームブロック５１０は、例えば、独立して符号化される（例えば、イントラ）キーフレームの符号化を表すことができる。実施例では、本明細書で説明するＩフレームブロック５１０及び／又はブロックに関するプロセスは、ピクチャレベル、フレームレベル、ブロックレベル、スライスレベル、タイルレベル、サブスライスレベルなどにおいて（例えば、同様に）使用され得る。Ｉフレームブロック５１０は、単純なオートエンコーダを含んでもよい。オートエンコーダは、畳み込み分析及び合成を実行することができる。オートエンコーダは、ＡＮＮベースの画像圧縮のために開発されてもよい。エントロピーコーダ（entropy coder、ＥＣ）及び／又はエントロピーデコーダ（entropy decoder、ＥＤ）は、例えば、推論において、冗長性を除去する（例えば、冗長性を算術的に除去する）ために使用され得る。
【0122】
（例えば、図５Ｂに示されているような）ニューラルネットワークアーキテクチャは、ビデオフレームを圧縮するために使用され得る。オプティカルフローが（例えば、予測されたフレームについて）計算され得る。オプティカルフローは、フレーム間の動きフロー（例えば、密な動きフロー）を推定することができる（例えば、各ピクセルロケーションは、水平又は垂直などの別個の２ｄ動きベクトルを割り当てられ得る）。
【0123】
例えば、ブロックレベルについて本明細書で説明する手順は、フレームレベルで使用され得る。予測フレーム（例えば、図５Ｂに示されるようなＰフレーム５２０）は、例えば、（例えば、１つだけの）参照フレームが使用される場合、（例えば、図５Ｂに示されるように）符号化され得る。エンコーダでは、入力は、現在のフレームｘｃｕｒ及び前に再構成された参照フレーム
【0124】
【数4】
【0125】
【数5】
【0126】
【数6】
【0127】
【数7】
【0128】
【数8】
【0129】
【数9】
【0130】
図６は、復号された動き情報を使用して残差を再構成する例を例解する。ビデオ符号化及び／又は復号のためにＡＮＮベースのツールを使用することは、単方向予測フレームの場合に限定されないことがある。図７は、効率的なビデオコーディングのための例示的なランダムアクセスタイプ時間構造を例解する。ＡＮＮベースのツールは、異なる時間構造（例えば、（例えば、複数の）既に再構成された過去及び／又は将来の参照フレームを使用してほとんどのフレームが予測され得るようにコーディングの順序が修正され得る場合、例えば、図７に示されるようなランダムアクセスピクチャグループ（random access group of pictures、ＧＯＰ）構造）のために適応され、使用され得る。図７に示されるように、フレームは、（例えば、図７のＢフレームによって示されるように）過去及び将来の参照ピクチャを使用して双予測され得る。
【0131】
例えば、依存関係が（例えば、連結されたフレームの潜在表現を学習することによって）キャプチャされ得る場合、現在のフレームｘｃｕｒについて、再構成されたフロー
【0132】
【数10】
【0133】
【数11】
【0134】
【数12】
【0135】
【数13】
【0136】
ＡＮＮのエンドツーエンドアーキテクチャは、以下のうちの１つ以上を含み得る：フレーム間の時間依存性の（例えば、効率的な）符号化、注意を組み込むこと、又は、（例えば、空間的属性を用いて）注意をモデル化すること。
【0137】
例えば、フレーム間の時間依存性が符号化されてもよい。リカレントニューラルネットワークモジュール（例えば、Ｃｏｎｖ－ＬＳＴＭ）は、例えば、フレーム間の時間性及び冗長性を考慮するために、少なくとも１つの前に復号されたフレームの復号に対応する状態を保つために、（例えば、図８に示すように、アーキテクチャのデコーダ側で）使用され得る。Ｃｏｎｖ－ＬＳＴＭは、２次元入力を扱うことができ、２ｄ空間的情報をキャプチャして処理することができる。Ｃｏｎｖ－ＬＳＴＭブロックは、様々なサイズの入力画像を扱うことができる。
【0138】
例えば、注意は、ＡＮＮの例示的なエンドツーエンドアーキテクチャに組み込まれ得る。Ｃｏｎｖ－ＬＳＴＭ及びＬＳＴＭブロックは、時間依存性をキャプチャすることができる。注意機構は、例えば、言語翻訳（例えば、自然言語処理）などのタスクにおいて、複雑な短期及び／又は長期の時間依存性をキャプチャすることができる。注意機構を使用することは、複雑なシーン遷移及び動き情報を、（例えば、他の手法と比較して）より正確に、かつより少ないビットを使用して符号化すること（例えば、ビデオ圧縮器が符号化すること）を可能にし得る。
【0139】
例えば、空間的属性を用いて注意をモデル化することが実行され得る。注意をモデル化することは、テキストデータに適用され得る。例えば、ＬＳＴＭセルの出力は、単語のコンテキストを表す潜在ベクトル（例えば、潜在テンソル又は潜在表現）を含み得る。ＬＳＴＭセルの出力は、行列であってよく、これは１次元ベクトルに平坦化されてよい。
【0140】
空間的コンテキストが保存され得る。前処理は、例えば、空間的属性を保存するために、（例えば、注意を計算する前に）実行され得る。（例えば、自然言語処理のコンテキストにおける）注意は、画像／ビデオの場合とは異なり、（例えば、何らかの強い空間的特徴を必ずしも有していなかった）単語埋め込みに対して使用され得る。空間的特徴抽出は、注意を計算する前に実行され得る。シャムアーキテクチャを使用して、注意を計算する前に空間的特徴抽出を実行することができる。
【0141】
フレーム間の長期依存性を捕捉することができ、例えば、以下のうちの１つ以上、つまりフレーム間の長期依存性をキャプチャし、注意を組み込んで、重み付けされた重要性を特定の中間フレームに提供するリカレントニューラルネットワーク、を使用して再構成を改善することができる。
【0142】
ＲＮＮベースのモデル（例えば、ＬＳＴＭ及び／又はゲートリカレントユニット（gated recurrent unit、ＧＲＵ）など）は、例えば、自然言語処理のコンテキストにおいて使用されてもよい。ＲＮＮベースのモデルは、例えば、焦点となる語の前の行（例えば、焦点となる語の数行前）に見られた語及び／又は文の間の依存関係をキャプチャするために使用されてもよい。ＲＮＮは、（例えば、既存の）（例えば、図５Ｂに示されるような）ＡＮＮベースの圧縮システムと統合されてもよい。ＲＮＮをＡＮＮベースの圧縮システムと統合することが、困難な場合がある。ＲＮＮモデルは、例えば、データの空間的な態様が時間的な態様と比較してあまり重要でないことがある場合、自然言語処理のために設計されてもよい（例えば、設計されてもよい）。空間的特徴をキャプチャすることは、画像にとって重要な場合がある。ＲＮＮ（例えば、バニラＲＮＮ）を使用する際の（例えば、第２の）課題は、ＲＮＮが様々なフレームサイズを扱うことができない可能性があることを含み得る。例示的なＲＮＮ（例えば、ＬＳＴＭセルにおける密ベクトル演算が畳み込みで置き換えられる場合）は、様々なフレームサイズを扱う問題を克服するために使用され得る。注意機構は、例えば、ビデオ内の時空間構造をより良好にキャプチャするために、（例えば、追加の）シャムサブニューラルアーキテクチャを有するリカレントブロックに追加され得る。
【0143】
図８は、ｆｓによって示される再帰畳み込み（例えば、Ｃｏｎｖ－ＬＳＴＭ）ブロックを有する例示的なアーキテクチャを例解する。図８に示されるように、モデルの全体的なアーキテクチャは、Ｉフレームオートエンコーダ又はＰフレームオートエンコーダのうちの１つ以上を含み得る。
【0144】
Ｉフレームオートエンコーダは、例えば、フレーム（例えば、ＧｏＰ中の第１のフレーム）を符号化するために使用され得る畳み込みオートエンコーダ（例えば、純粋な畳み込みオートエンコーダ）であり得る。Ｉフレームオートエンコーダによって生成される符号化は、例えば、フレームが圧縮されたスタンドアロンであり得る（例えば、活用すべき前のフレーム情報が存在しない）ので、（例えば、ビットサイズに関して）大きいことがある。Ｉフレームオートエンコーダは、（例えば、図８に示されるような）標準的な畳み込み画像圧縮器であり得る（例えば、ただ１つの）分岐を含み得る。
【0145】
（例えば、図８と同様の）Ｐフレームオートエンコーダは、（例えば、２つの）別個の分岐を含み得る。Ｐフレームオートエンコーダは、動き情報を符号化及び／又は復号するための分岐（例えば、図８の中央の分岐によって示される通り）と、残差のための分岐（例えば、図８の右端の分岐によって示される通り）とを含み得る。
【0146】
連続フレームは、例えば、Ｉフレームオートエンコーダ及び／又はＰフレームオートエンコーダを使用して、ＧｏＰにおいて符号化され得る。ここで生成される符号化は、ビデオ内の時空間パターン及び以前に復号されたフレームからのピクセル情報を使用する（例えば、利用する）ことによって小さくされることができる。これは、量子化された動きテンソル
【0147】
【数14】
【0148】
【数15】
【0149】
【数16】
【0150】
例えば、現在のブロックについて、コンテキストフレーム内の対応するコンテキストブロック（例えば、前のフレームＸｔ－１）を取得することができる。コンテキストブロックに関連付けられた潜在ベクトル（例えば、潜在テンソル、潜在表現）が取得され得る。畳み込み（例えば、少なくとも１つの畳み込み）は、例えば、現在のブロックに関連付けられた動き情報（例えば、動きフローデータ）を生成するために、コンテキストブロックと、参照ブロックと、潜在ベクトルとに対して実行され得る。動き情報（例えば、動きフローデータ）は量子化され得、動き情報（例えば、動きフローデータ）の表示は、例えば、生成されたビデオデータ中に（例えば、ビットストリーム中に）含まれ得る。
【0151】
例えば、現在のブロックについて、動きフローデータ（例えば、量子化された動きフローデータ）などの符号化された動き情報（例えば、量子化された動き情報）が取得され得る。逆畳み込み（例えば、少なくとも１つの逆畳み込み）は、符号化された動き情報（例えば、符号化された動きフローデータ）に対して実行され得る。逆畳み込みは、リカレントニューラルネットワークを使用して実行され得る（例えば、動きデコーダｆｓに関して図８に示される通り）。現在のブロックに関連付けられた予測ブロックは、例えば、逆畳み込みに基づいて取得され得る。現在のブロックは、例えば、予測ブロックと残差とを組み合わせることによって再構成され得る。
【0152】
実施例では、畳み込みは、ピクチャ、タイル、スライス、及び／又はコーディングブロックレベルなど、異なるレベルで適用され得る。実施例では、潜在ベクトルは、ピクチャ、タイル、スライス、及び／又はコーディングブロックレベルなど、異なるレベルで適用され得る。
【0153】
動きデコーダｆｓブロックにおいて、フレームの空間的及び時間的性質は、例えば、畳み込みベースのＬＳＴＭネットワーク（例えば、Ｃｏｎｖ－ＬＳＴＭ）を使用して活用され得、それは、ビデオフレームの空間的態様に制限されることを回避し得る。畳み込みベースのＬＳＴＭネットワーク（例えば、Ｃｏｎｖ－ＬＳＴＭ）は、例えば、そのローカルネイバーの入力及び過去の状態によって、グリッド内のある特定のセルの将来の状態を判定し得る。（例えば、特定の）時間インスタンスｔにおけるＣｏｎｖＬＳＴＭの入力ゲート、忘却ゲート、セル状態、出力、及び隠れ状態は、本明細書に記載されるように、式１～５を使用して計算され得る。
【0154】
【数17】
【0155】
例えば、＊は畳み込み演算子を示し得る。例えば、
【0156】
【数18】
【0157】
【数19】
【0158】
【数20】
【0159】
【数21】
【0160】
残差分岐への入力は、ｘｔ及びワープされた
【0161】
【数22】
【0162】
【数23】
【0163】
【数24】
【0164】
【数25】
【0165】
【表1】
【0166】
注意のモデル化が実行され得る。ＬＳＴＭは、長期情報及び短期情報の両方を経時的にキャプチャし得る。注意は、大きい時間シーケンスのためのＬＳＴＭ性能を改善するために使用され得る。注意は、例えば、ニューラル機械翻訳（neural machine translation、ＮＭＴ）など、様々なシナリオにおいて適用され得る。これらの注意は、経時的に個々のフレームシーケンスにわたって適用され得る。
【0167】
注意は、コンテキストベクトルとソース入力全体との間のショートカットを作成することができる。これらのショートカット接続の重みは、（例えば、各）出力要素に対してカスタマイズ可能であってもよい。（例えば、各）出力要素のためのショートカット接続の重みをカスタマイズすることは、過去のビデオフレームの隠れ状態に対して異なる重みを使用して、時間ｔにおけるフレーム（例えば、コンテキスト）の再構成の優先順位付けを可能にし得る。例えば、（例えば、シーンカットのようなランダムで複雑な動きに対して）現在のフレームを最もよく予測することができるフレームに強調が置かれてもよい。
【0168】
図９は、フレームｘｔ－１に対する例示的な注意アーキテクチャを例解する。図９に示すようにｈｔ－１は、（例えば、時間ステップｔ－１において）ＬＳＴＭからのｘｔ－１の潜在表現を表し得る。コンテキストフレームｘｔ－１に対する注意の計算は、式６及び式７を使用して次の通り計算され得る。
【0169】
【数26】
【0170】
例えば、ｈｔ－ｉは、サイズｋのコンテキストウィンドウを有するフレームｉ＝｛１，．．．，ｋ｝の隠れ状態（例えば、潜在表現）であり得る。これらは、ＣｏｎｖＬＳＴＭの出力によって提供されてもよい。ペアワイズドット積は、ｈｔ－１、これらの過去のフレームの（例えば、全ての）隠れ状態（例えば、ｈｔ－２，ｈｔ－ｋなど）との間で実行され、それに続いて、例えば、Ｓｏｆｔｍａｘ演算が行われて、復号される現在のフレームに対する個々の過去のフレームの重み及び／又は注意を得ることができる（例えば、式６に示す通り）。隠れ状態は、注意ブロック（例えば、訓練されたパラメータに基づく訓練された注意ブロック）への入力であり得る。注意ブロックは、入力に対して畳み込みを実行するために使用され得る。注意ブロックの出力は、ベクトル及び／又はテンソルを含み得る。出力ベクトル及び／又はテンソルは、重み付けされ得る。コンテキストフレームにわたる最終的な重み付けされた注意は、ｈｔ－１（例えば、式７によって示される通り）に関してそれらの対応する注意係数によって重み付けされた潜在シーケンス全体にわたって合計することによって取得され得る。実施例においてａｔ－１は、ｘｔ－１フレーム（例えば、そのフレームｘｔ－１に対する最良の重み付けされた状態）に関連付けられた重み付けされた状態であり得る。ａｔ－１は、ｘｔ－１フレームまでのコンテキスト情報を表し得る。コンテキストフレームにわたる最終的な重み付けされた注意は、（例えば、図８に関して本明細書で説明したような）ｆｓブロックに入力され得る。
【0171】
空間的属性は、例えば、シャムネットワークを使用して保存することができる。図１０は、ｈｔ－ｋに関する注意ｈｔ－１の例示的な計算を例解する。図１０に示されるように、例示的なアーキテクチャのシャム部分を拡張することができる。シャムネットワークは、パラメータが共有されるタイプのニューラルネットワークであり得る。例えばｈｔ－ｋ及びｈｔ－１の両方は、同じ畳み込みカーネルを共有する同じニューラルネットワークを通して供給されてもよく、その後、結果として生じる特徴表現の平坦化が続いてもよい。隠れ状態は、（例えば、類似度を計算するために使用される（例えば、必要とされる）平坦化及びドット積演算中に任意の空間的特徴が失われ得るので）空間的特徴抽出を実行するために、例えば、シャムサブニューラルネットワークを通過させられ得る。シャムネットワークは、主アーキテクチャ内の畳み込みエンコーダであってもよい。
【0172】
特徴及び要素は、特定の組み合わせにおいて上で説明されているが、当業者は、各特徴又は要素が単独で又は他の特徴及び要素との任意の組み合わせで使用され得ることを理解されよう。加えて、本明細書に説明される方法は、コンピュータ又はプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアにおいて実装され得る。コンピュータ可読媒体の例としては、電子信号（有線又は無線接続を介して送信される）及びコンピュータ可読記憶媒体が挙げられる。コンピュータ可読記憶媒体の例としては、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクなどの磁気媒体、磁気光学媒体及びＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）などの光学媒体が挙げられるが、これらに限定されない。ソフトウェアと関連付けられたプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ又は任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実装し得る。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2024-08-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオ復号デバイスであって、プロセッサを備え、前記プロセッサが、
現在のブロックに関連付けられた符号化された動きフローデータを取得し、
少なくとも１つの過去のブロックからの動き情報に関連付けられた注意に基づいて動き潜在ベクトルを取得し、
前記符号化された動きフローデータと前記動き潜在ベクトルとに基づいて、復号された動きフローデータを取得し、
前記復号された動きフローデータに基づいて前記現在のブロックのための予測ブロックを生成し、
前記予測ブロックに基づいて前記現在のブロックを再構成するように構成されている、ビデオ復号デバイス。
【請求項2】
前記復号された動きデータが、前記符号化された動きフローデータと前記動き潜在ベクトルとに対する逆畳み込みを使用して取得される、請求項１に記載のビデオ復号デバイス。
【請求項3】
前記逆畳み込みが、リカレントニューラルネットワークを使用して実行される、請求項２に記載のビデオ復号デバイス。
【請求項4】
前記プロセッサが、前記符号化された動きフローデータと前記動き潜在ベクトルとを連結するように更に構成されており、前記復号された動きフローデータが、連結された前記符号化された動きフローデータと前記動き潜在ベクトルとに基づいて取得される、請求項１に記載のビデオ復号デバイス。
【請求項5】
前記少なくとも１つの過去のブロックからの動き情報に関連付けられた前記注意に基づいて取得された前記動き潜在ベクトルが、前記少なくとも１つの過去のブロックに関連付けられた状態情報に更に基づき、前記少なくとも１つの過去のブロックが、以前に再構成されたブロックである、請求項１に記載のビデオ復号デバイス。
【請求項6】
前記状態情報が、潜在表現を示す、請求項５に記載のビデオ復号デバイス。
【請求項7】
前記少なくとも１つの過去のブロックが、第１の過去のブロックであり、前記少なくとも１つの過去のブロックからの動き情報に関連付けられた前記注意が、前記第１の過去のブロック及び第２の過去のブロックからのそれぞれの状態情報に基づいて更に取得され、前記状態情報の各々が、それぞれの潜在表現に関連付けられている、請求項１に記載のビデオ復号デバイス。
【請求項8】
前記プロセッサが、重み付けされた注意値を取得するように更に構成されており、前記動き潜在ベクトルが、前記重み付けされた注意値に更に基づいて取得される、請求項１に記載のビデオ復号デバイス。
【請求項9】
ビデオ符号化デバイスであって、プロセッサを備え、前記プロセッサは、
少なくとも１つの過去のブロックからの動き情報に関連付けられた注意に基づいて動き潜在ベクトルを取得し、
参照ブロック及び現在のブロックを取得し、
前記現在のブロックと、前記参照ブロックと、前記動き潜在ベクトルとに基づいて、前記現在のブロックに関連付けられた動きフローデータを生成し、
前記動きフローデータの表示を含むビデオデータを生成するように構成されている、ビデオ符号化デバイス。
【請求項10】
前記現在のブロックに関連付けられた前記動きフローデータが、前記現在のブロックと、前記参照ブロックと、前記動き潜在ベクトルとに対して畳み込みを実行することに更に基づいて生成される、請求項９に記載のビデオ符号化デバイス。
【請求項11】
前記プロセッサが、前記現在のブロックに対して実行された前記畳み込みに基づいて、第２のブロックに関連付けられた動きフローデータを生成するための前記現在のブロックの潜在表現を生成するように更に構成されている、請求項１０に記載のビデオ符号化デバイス。
【請求項12】
前記動き潜在ベクトルが、少なくとも１つの以前に符号化されたブロックに関連付けられた状態情報に更に基づいて取得される、請求項９に記載のビデオ符号化デバイス。
【請求項13】
前記動き潜在ベクトルが、前記現在のブロックに関連付けられた注意を示すように構成されている、請求項９に記載のビデオ符号化デバイス。
【請求項14】
前記プロセッサが、空間的特徴抽出を実行するように更に構成されており、前記動き潜在ベクトルが、実行された前記空間的特徴抽出に基づいて更に取得される、請求項９に記載のビデオ符号化デバイス。
【請求項15】
ビデオ復号方法であって、現在のブロックに関連付けられた符号化された動きフローデータを取得することと、
少なくとも１つの過去のブロックからの動き情報に関連付けられた注意に基づいて、動き潜在ベクトルを取得することと、
前記符号化された動きフローデータと前記動き潜在ベクトルとに基づいて、復号された動きフローデータを取得することと、
前記復号された動きフローデータに基づいて前記現在のブロックのための予測ブロックを生成することと、
前記予測ブロックに基づいて前記現在のブロックを再構成することと、を含む、ビデオ復号方法。
【請求項16】
前記復号された動きデータが、前記符号化された動きフローデータと前記動き潜在ベクトルとに対する逆畳み込みを使用して取得される、請求項１５に記載のビデオ復号方法。
【請求項17】
前記逆畳み込みが、リカレントニューラルネットワークを使用して実行される、請求項１６に記載のビデオ復号方法。
【請求項18】
前記方法が、前記符号化された動きフローデータと前記動き潜在ベクトルとを連結することを更に含み、前記復号された動きフローデータが、連結された前記符号化された動きフローデータと前記動き潜在ベクトルとに基づいて取得される、請求項１５に記載のビデオ復号方法。
【請求項19】
前記少なくとも１つの過去のブロックからの動き情報に関連付けられた前記注意に基づいて取得された前記動き潜在ベクトルが、前記少なくとも１つの過去のブロックに関連付けられた状態情報に更に基づき、前記少なくとも１つの過去のブロックが、以前に再構成されたブロックである、請求項１５に記載のビデオ復号方法。
【請求項20】
前記状態情報が、潜在表現を示す、請求項１９に記載のビデオ復号方法。
【請求項21】
前記少なくとも１つの過去のブロックが、第１の過去のブロックであり、前記少なくとも１つの過去のブロックからの動き情報に関連付けられた前記注意が、前記第１の過去のブロック及び第２の過去のブロックからのそれぞれの状態情報に基づいて更に取得され、前記状態情報の各々が、それぞれの潜在表現に関連付けられている、請求項１５に記載のビデオ復号方法。
【請求項22】
前記方法が、重み付けされた注意値を取得することを更に含み、前記動き潜在ベクトルが、前記重み付けされた注意値に更に基づいて取得される、請求項１５に記載のビデオ復号方法。
【請求項23】
ビデオ符号化方法であって、少なくとも１つの過去のブロックからの動き情報に関連付けられた注意に基づいて、動き潜在ベクトルを取得することと、
参照ブロック及び現在のブロックを取得することと、
前記現在のブロックと、前記参照ブロックと、前記動き潜在ベクトルとに基づいて、前記現在のブロックに関連付けられた動きフローデータを生成することと、
前記動きフローデータの表示を含むビデオデータを生成することと、を含む、ビデオ符号化方法。
【請求項24】
前記現在のブロックに関連付けられた前記動きフローデータが、前記現在のブロックと、前記参照ブロックと、前記動き潜在ベクトルとに対して畳み込みを実行することに更に基づいて生成される、請求項２３に記載のビデオ符号化方法。
【請求項25】
前記方法が、前記現在のブロックに対して実行された前記畳み込みに基づいて、第２のブロックに関連付けられた動きフローデータを生成するための前記現在のブロックの潜在表現を生成することを更に含む、請求項２４に記載のビデオ符号化方法。
【請求項26】
前記動き潜在ベクトルが、少なくとも１つの以前に符号化されたブロックに関連付けられた状態情報に更に基づいて取得される、請求項２３に記載のビデオ符号化方法。
【請求項27】
前記動き潜在ベクトルが、前記現在のブロックに関連付けられた注意を示すように構成されている、請求項２３に記載のビデオ符号化方法。
【請求項28】
前記方法が、空間的特徴抽出を実行することを更に含み、前記動き潜在ベクトルが、実行された前記空間的特徴抽出に基づいて更に取得される、請求項２３に記載のビデオ符号化方法。
【国際調査報告】