特許 7096896 ビデオ符号化のための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-28

(45)【発行日】2022-07-06

(54)【発明の名称】ビデオ符号化のための方法及び装置

(51)【国際特許分類】

   H04N 19/52 20140101AFI20220629BHJP

【ＦＩ】

H04N19/52

【請求項の数】 7

(21)【出願番号】P 2020546101

(86)(22)【出願日】2019-05-16

(65)【公表番号】

(43)【公表日】2021-07-15

(86)【国際出願番号】 US2019032672

(87)【国際公開番号】W WO2019231706

(87)【国際公開日】2019-12-05

【審査請求日】2020-09-03

(31)【優先権主張番号】62/679,642

(32)【優先日】2018-06-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/203,145

(32)【優先日】2018-11-28

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リ，シアン

(72)【発明者】

【氏名】シュイ，シアオジョォン

(72)【発明者】

【氏名】リィウ，シャン

(72)【発明者】

【氏名】ジャオ，シン

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０１３－０３４１８６（ＪＰ，Ａ）

【文献】特開２０１３－０１６９３０（ＪＰ，Ａ）

【文献】特開２０１２－１９１５１３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１４６８９０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０２４３０９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０２０２０３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

復号器においてビデオ復号化を行うための方法であって、
符号化ビデオビットストリームから現在ピクチャにおける第１ブロックの第１予測情報を復号化するステップと、
フレーム間予測モードに基づいて前記第１ブロックが符号化されていることを前記第１予測情報が示す場合、前記第１ブロックの第１動きベクトルを決定するステップと、
前記第１ブロックの前記第１動きベクトルに基づいて、前記第１ブロックを再構築するステップと、
前記符号化ビデオビットストリームから前記現在ピクチャにおける第２ブロックの第２予測情報を復号化するステップと、
前記フレーム間予測モードに基づいて前記第２ブロックが符号化されていることを前記第２予測情報が示す場合、
前記第１ブロックと前記第２ブロックとの復号化の順序に基づいて、前記第１ブロックの前記第１動きベクトルを含まない候補動きベクトル予測値のリストを構築し、
前記候補動きベクトル予測値のリストに基づき、前記第２ブロックの第２動きベクトルを決定することによって、
前記第２ブロックの前記第２動きベクトルを決定するステップと、
前記第２ブロックの前記第２動きベクトルに基づいて、前記第２ブロックを再構築するステップとを含み、
さらに、前記第１ブロックがマージモードとスキップモードのうちの１つにあるとともに、復号化の順序で前記第２ブロックより前にある場合、前記第１ブロックからの候補動きベクトル予測値を利用不能として標識するステップを含む方法。

【請求項2】

さらに、前記第１ブロックからの前記候補動きベクトル予測値を利用不能として標識した後、前記第１ブロックと前記第２ブロックとが異なる符号化ツリーユニットに属する場合、前記第１ブロックからの前記候補動きベクトル予測値を利用可能として標識するステップを含む請求項１に記載の方法。

【請求項3】

さらに、前記第１ブロックからの前記候補動きベクトル予測値を利用不能として標識した後、前記第１ブロックと前記第２ブロックとが異なるスライスに属する場合、前記第１ブロックからの前記候補動きベクトル予測値を利用可能として標識するステップを含む請求項１に記載の方法。

【請求項4】

さらに、前記第１ブロックからの前記候補動きベクトル予測値を利用不能として標識した後、前記第１ブロックと前記第２ブロックとが異なるタイルに属する場合、前記第２ブロックからの前記候補動きベクトル予測値を利用可能として標識するステップを含む請求項１に記載の方法。

【請求項5】

さらに、前記第１ブロックの隣接ブロックからの動きベクトル予測値によって、前記第１ブロックからの前記候補動きベクトル予測値を置き換えるステップを含む請求項１に記載の方法。

【請求項6】

ビデオ復号化のための装置であって、
プロセッサ及びメモリを含み、
前記プロセッサは、前記メモリに記憶されたプログラムをロードして実行することにより、請求項１乃至５のうちいずれか１項に記載の方法を実現する、装置。

【請求項7】

コンピュータがビデオ復号化を行う場合、前記コンピュータに、請求項１乃至５のうちいずれか１項に記載の方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１８年１１月２８日にて提出されたアメリカ特許出願第１６／２０３、１４５号である「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ（ビデオ符号化のための方法及び装置）」の優先権を主張し、該アメリカ特許出願は２０１８年６月１日にて提出されたアメリカ仮出願第６２／６７９、６４２号である「ＣＯＮＳＴＲＡＩＮＴ ＦＯＲ ＤＥＣＯＤＥＲ ＳＩＤＥ ＭＶ ＤＥＲＩＶＡＴＩＯＮ ＡＮＤ ＲＥＦＩＮＥＭＥＮＴ（復号器側のＭＶの導出及び精密化に対する制限）」の優先権を主張し、その全ての内容は援用される。

【0002】

本開示の内容は、一般的にビデオ符号化に関する実施例を記載する。

【背景技術】

【0003】

本明細書で提供される背景記載は、本開示内容の背景を総体的に体現することを目的とする。該背景技術部分に記載の作業程度から見れば、現在署名の発明者の作業、及び提出の際別に従来技術の記載として限定されていない態様について、明確且つ暗黙的に本開示内容に対する従来技術として認められない。

【0004】

動き補償を有するピクチャ間予測によってビデオ符号化及び復号化を実行することができる。非圧縮のデジタルビデオは一連のピクチャを含んでもよく、各ピクチャの空間次元は、例えば１９２０ｘ１０８０の輝度サンプルと関連するクロミナンスサンプルを有する。当該一連のピクチャは、例えば、１秒あたり６０のピクチャ又は６０Ｈｚの固定又は可変のピクチャレート（非正式にはフレームレートとも呼ばれる）を有してもよい。非圧縮のビデオには、高いビットレート要件を有する。例えば、サンプルあたりの８ビットの１０８０ｒ６０４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ/ｓに近い帯域幅が必要である。このような１時間のビデオは、６００ＧＢを超えるストレージスペースが必要である。

【0005】

ビデオ符号化及び復号化は、圧縮により、ビデオ信号入力における冗長を減少させることを１つの目的とする。圧縮は、以上に言及された帯域幅または記憶空間に対する需求を減少させることに寄与し、ある状況で、２つまたはより多いオーダーを減少させる。可逆圧縮、非可逆圧縮、及びその組み合わせを利用できる。可逆圧縮は、圧縮された元の信号から元の信号の正確なコピーを再構築する技術を指す。非可逆圧縮を利用する場合、再構築された信号は元の信号と異なるかもしれないが、元の信号と再構築された信号との間の歪みは十分に小さいから、再構築された信号は予期の応用に役立つ。ビデオの場合、非可逆圧縮は大幅に応用される。許容の歪み量はアプリケーションに依存し、例えば、テレビ貢献アプリケーションのユーザーより、消費者ストリーミング媒体プリケーションのユーザーが高い歪みを許容する。達する圧縮比は、許可／許容可能な歪みが高いほど、圧縮比が高くなることを反映する。

【0006】

動き補償は非可逆圧縮技術であるとともに、以下の技術に関わり、即ち、動きベクトル（以下はＭＶと呼ばれる）が指示する方向で、空間変位を行った後、前に再構築のピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックは、新たに再構築のピクチャまたはピクチャ部分を予測するために用いられる。ある状況で、参照ピクチャは現在再構築中のピクチャと同様であってもよい。ＭＶはＸとＹという２つの次元を有してもよいし、３つの次元を有してもよく、第３次元は利用中の参照ピクチャの指示である（後者は間接的に時間次元であってもよい）。

【発明の概要】

【発明が解決しようとする課題】

【0007】

ビデオ圧縮技術において、他のＭＶから、サンプルデータのある領域に適用されるＭＶを予測してもよく、例えば、他のＭＶは、空間で再構築中の領域に隣接するサンプルデータの他の領域に関するとともに、復号化の順序で該ＭＶより前にあるＭＶである。このように、ＭＶに対する符号化の必要なデータ量を大幅に減少させ、冗長をなくし、圧縮を大きくする。ＭＶの予測は効果的に動作し、例えば、なぜならば、撮影装置から導出されたビデオ入力信号（自然ビデオと呼ばれる）に対して符号化を行う際、統計での可能性が存在し、即ち、単一ＭＶが適用する領域より大きい領域は、類似の方向で移動し、且つ、そのため、ある状況で、隣接領域のＭＶから導出された類似の動きベクトルによって予測できるからだ。これによって、特定領域に対して見つけられたＭＶは、周辺ＭＶから予測されたＭＶと類似または同様になるとともに、エントロピー符号化の後、ＭＶに対して直接的に符号化を行う場合で使用されるビットより、小さいビットで示すことができる。ある状況で、ＭＶ予測は元の信号（即ちサンプルストリーム）から導出される信号（即ちＭＶ）の可逆圧縮の例示であってもよい。他の状況で、ＭＶ予測そのものは、非可逆であってもよく、例えば、なぜならば、若干の周辺ＭＶから予測値を計算する際の丸め誤差であるからだ。

【0008】

Ｈ.２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｈ.２６５提案書である「高効率のビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」、２０１６年１２月）において、いろんなＭＶ予測メカニズムが記載されている。Ｈ.２６５により提供される多種のＭＶ予測メカニズムの他に、本出願が記載するのは、以下で「空間マージ」と呼ばれる技術である。

【課題を解決するための手段】

【0009】

本開示の内容の各態様は、ビデオ符号化／復号化のための方法及び装置を提供する。いくつかの例示において、装置はビデオ復号化のための処理回路を有する。処理回路は符号化ビデオビットストリームから現在ピクチャにおける第１ブロックの予測情報を復号化する。予測情報は、動きベクトルの予測値に基づいて第１ブロックの第１動きベクトルを決定するフレーム間予測モードを指示する。そして、処理回路は、フレーム間予測モードに応じて、候補動きベクトル予測値の候補リストを構築し、候補リストは、動きベクトルの導出において、第２ブロックの第２動きベクトルを最終的に決定する操作を必要とする第２ブロックを排除して構築される。そして、処理回路は候補動きベクトル予測値の候補リストに基づき、第１ブロックの第１動きベクトルを決定し、第１ブロックの第１動きベクトルに基づいて第１ブロックを再構築する。

【0010】

１つの実施例において、第２ブロックが復号化の順序で連続的に第１ブロックより前にある場合、処理回路は第２ブロックからの候補動きベクトル予測値を利用不能として標識する。

【0011】

他の実施例において、第２ブロックがマージモードとスキップモードのうちの１つにあるとともに、復号化の順序で連続的に第１ブロックより前にある場合、処理回路は第２ブロックからの候補動きベクトル予測値を利用不能として標識する。

【0012】

他の実施例において、第２ブロックが復号器側の動きベクトルの導出によって第２ブロックの第２動きベクトルを決定するモードにあるとともに、第２ブロックが復号化の順序で連続的に第１ブロックより前にある場合、処理回路は第２ブロックからの候補動きベクトル予測値を利用不能として標識する。

【0013】

他の実施例において、第２ブロックが双方向予測モードにあるとともに、復号化の順序で連続的に第１ブロックより前にある場合、処理回路は第２ブロックからの候補動きベクトル予測値を利用不能として標識する。

【0014】

他の実施例において、非隣接空間の動きベクトル予測値は、復号化の順序で連続的に第１ブロックより前にある第２ブロックに属する場合、処理回路は非隣接空間の動きベクトル予測値を利用不能として標識する。

【0015】

他の実施例において、第１ブロックと第２ブロックとが異なる符号化ツリーユニットに属する場合、処理回路は第２ブロックからの候補動きベクトル予測値に対して標識を取り消す。他の実施例において、第１ブロックと第２ブロックとが異なるスライスに属する場合、処理回路は第２ブロックからの候補動きベクトル予測値に対して標識を取り消す。

【0016】

他の実施例において、第１ブロックと第２ブロックとが異なるタイルに属する場合、処理回路は第２ブロックからの候補動きベクトル予測値に対して標識を取り消す。

【0017】

いくつかの例示において、処理回路は第２ブロックの隣接ブロックからの動きベクトル予測値によって、第２ブロックからの候補動きベクトル予測値を置き換える。

【0018】

本開示内容の各態様はさらに、命令が記憶される非一時的なコンピュータ読み取り可能な媒体を提供し、該命令はビデオ復号化を行うように、コンピュータに実行される場合、コンピュータに前記ビデオ符号化のための方法を実行させる。

【図面の簡単な説明】

【0019】

以下の詳しい記載及び図面に基づいて、開示のテーマの他の特徴、性質及び各利点はより明確になり、図面において、

【図1】１つの実施例による通信システム（１００）の簡略化ブロック図の模式図である。

【図2】１つの実施例による通信システム（２００）の簡略化ブロック図の模式図である。

【図3】１つの実施例による復号器の簡略化ブロック図の模式図である。

【図4】１つの実施例による符号器の簡略化ブロック図の模式図である。

【図5】他の実施例による符号器のブロック図を示す。

【図6】他の実施例による復号器のブロック図を示す。

【図7】いくつかの例示において、現在ブロック及びその周辺の空間マージ候補の概略図である。

【図8】いくつかの実施例による双方向マッチングの例示を示す。

【図9】本開示内容による１つの実施例のテンプレートマッチングの例示を示す。

【図10】双方向テンプレートマッチングによるＤＭＶＲの例示を示す。

【図11A】現在ブロックとその前のブロックとの間の空間関係の例示を示す。

【図11B】現在ブロックとその前のブロックとの間の空間関係の例示を示す。

【図12】ビデオ処理のためのパイプライン段階の例示を示す。

【図13】ビデオ処理のためのパイプライン段階の他の例示を示す。

【図14】ビデオ処理のためのパイプライン段階の他の例示を示す。

【図15】本開示内容による１つの実施例の処理を概略説明するためのフローチャートを示す。

【図16】１つの実施例によるコンピュータシステムの概略図である。

【発明を実施するための形態】

【0020】

図１は、本開示内容による１つの実施例の通信システム（１００）の簡略化ブロック図を示す。通信システム（１００）は、例えばネットワーク（１５０）を介して互いに通信できる複数の端末機器を有する。例えば、通信システム（１００）はネットワーク（１５０）を介して互いに接続された第１対の端末機器（１１０）、（１２０）とを有する。図１の例示において、該第１対の端末機器（１１０）、（１２０）とは一方向のデータ伝送を実行する。例えば、端末機器（１１０）はビデオデータ（例えば、端末機器（１１０）によりキャプチャされたビデオピクチャストリーム）を符号化することで、ネットワーク（１５０）を介して他の端末機器（１２０）に伝送される。符号化されたビデオデータは１つ又は複数の符号化ビデオビットストリームという形式で伝送されてもよい。端末機器（１２０）はネットワーク（１５０）から符号化ビデオデータを受信し、符号化ビデオデータを復号化することで、ビデオピクチャを回復させ、回復されたビデオデータに応じてビデオピクチャを表示する。一方向のデータ伝送はメディアサービスアプリケーションなどにおいて、よく見られる。

【0021】

他の実施例において、通信システム（１００）は、符号化ビデオデータの双方向伝送を実行するための第２対の端末機器（１３０）、（１４０）とを有し、双方向伝送は、例えばビデオ会議期間に発生し得る。双方向データ伝送について、例示において、端末機器（１３０）、（１４０）における各端末機器は、ビデオデータ（例えば、端末機器によりキャプチャされたビデオピクチャストリーム）を符号化することで、ネットワーク（１５０）を介して端末機器（１３０）、（１４０）のうちの他の端末機器に伝送できる。端末機器（１３０）、（１４０）のうちの各端末機器はさらに端末機器（１３０）、（１４０）のうちの他の端末機器から伝送される符号化ビデオデータを受信し、符号化ビデオデータを復号化することでビデオピクチャを回復させ、回復されたビデオデータに応じてアクセス可能な表示機器でビデオピクチャを表示できる。

【0022】

図１の例示において、端末機器（１１０）、（１２０）、（１３０）及び（１４０）は、サーバー、パーソナルコンピュータ及びスマートフォンとして示されるが、本開示内容の原理はこれに限定されない。本開示内容の実施例はラップトップコンピュータ、タブレット、メディアプレイヤー及び／または専門ビデオ会議機器に適用される。ネットワーク（１５０）は、端末機器（１１０）、端末機器（１２０）、端末機器（１３０）及び端末機器（１４０）の間で符号化ビデオデータを伝送するための、例えば有線接続（ワイヤード）及び／または無線通信ネットワークが含まれる任意の数のネットワークを示す。通信ネットワーク（１５０）は回路交換及び／またはパケット交換チャネルにおいてデータを交換できる。代表的なネットワークは電気通信ネットワーク、ローカルエリアネットワーク、広域エリアネットワーク及び／またはインターネットを含む。本論述の目的から見れば、本明細書において別途に説明しない限り、ネットワーク（１５０）のアーキテクチャ及びトポロジは、本開示内容の操作に対して重要ではない。

【0023】

開示のテーマの応用例示として、図２は、ビデオ符号器とビデオ復号器とのストリーミング伝送環境における配置を示す。開示のテーマは等価的にビデオを支持する、例えばビデオ会議、デジタルテレビが含まれる他のアプリケーションに適用され、ＣＤ、ＤＶＤ、メモリースティックなどが含まれるデジタル媒体に圧縮されたビデオなどが記憶される。

【0024】

ストリーミング伝送システムは、キャプチャサブシステム（２１３）を含み、該キャプチャサブシステム（２１３）は、例えば非圧縮のビデオピクチャストリーム（２０２）を構築するための、デジタル撮影装置のようなビデオソース（２０１）を含む。例示において、ビデオピクチャストリーム（２０２）は、デジタル撮影装置により撮影されたサンプルを含む。符号化されたビデオデータ（２０４）（または符号化されたビデオビットストリーム）と比較する場合、データ量が多いことを強調するように太線として描画されるビデオピクチャストリーム（２０２）は、ビデオソース（２０１）に連結されるビデオ符号器（２０３）を含む電子機器（２２０）によって処理される。ビデオ符号器（２０３）はハードウェア、ソフトウェアまたはその組み合わせを含むことで、以下により詳しく記載される開示のテーマの各態様を実現または実施する。ビデオピクチャストリーム（２０２）と比較する場合、データ量が少ないことを強調するように細線として描画される符号化されたビデオデータ（２０４）（または符号化されたビデオビットストリーム（２０４））はストリーミングサーバ（２０５）に記憶されることで、後で用いられる。図２におけるクライアントサブシステム（２０６）、（２０８）のような１つ又は複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスすることで、符号化されたビデオデータ（２０４）のコピー（２０７）、（２０９）を検索できる。クライアントサブシステム（２０６）は、例えば電子機器（２３０）におけるビデオ復号器（２１０）を含む。ビデオ復号器（２１０）は符号化されたビデオデータの導入コピー（２０７）を復号化し、ディスプレイ（２１２）（例えば、スクリーン）または他の表示機器（図示せず）に表示される導出ビデオピクチャストリーム（２１１）を構築する。あるストリーミング伝送システムにおいて、あるビデオ符号化／圧縮基準に基づき、符号化されたビデオデータ（２０４）、（２０７）及び（２０９）（例えば、ビデオビットストリーム）を符号化することができる。これらの基準の例示はＩＴＵ－Ｔ Ｈ.２６５提案書を含む。例示において、開発中のビデオ符号化基準は、非公式に多用途ビデオコーディングまたはＶＶＣと呼ばれる。開示のテーマはＶＶＣのコンテキストに適用される。

【0025】

なお、電子機器（２２０）、電子機器（２３０）は他の部材（図示せず）を含んでもよ。例えば、電子機器（２２０）はビデオ復号器（図示せず）を含んでもよく、電子機器（２３０）はビデオ符号器（図示せず）を含んでもよい。

【0026】

図３は、本開示内容の１つの実施例に基づくビデオ復号器（３１０）のブロック図を示す。ビデオ復号器（３１０）は電子機器（３３０）に含まれる。電子機器（３３０）は受信器（３３１）（例えば、受信回路）を含んでもよい。ビデオ復号器（３１０）は、図２の例示におけるビデオ復号器（２１０）の代わりとしてもよい。

【0027】

受信器（３３１）は、ビデオ復号器（３１０）によって復号化される１つ又は複数の符号化されたビデオシーケンスを受信でき、同一の実施例または他の実施例において、１回に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立する。チャンネル（３０１）から符号化されたビデオシーケンスを受信してもよく、チャンネル（３０１）は符号化されたビデオデータを記憶するための記憶機器へのハードウェア／ソフトウェアリンクであってもよい。受信器（３３１）は符号化されたビデオデータ及び他のデータを受信でき、例えば、それぞれの利用エンティティ（図示せず）の符号化されたオーディオデータ及び／または補助データストリームに転送できる。受信器（３３１）は符号化されたビデオシーケンスと他のデータとを分割できる。ネットワークのジッタを防止するために、バッファメモリ（３１５）は受信器（３３１）とエントロピー復号器／パーサー（３２０）（以下は、「パーサー（３２０）」と呼ばれる）との間に連結される。いくつかの応用において、バッファメモリ（３１５）はビデオ復号器（３１０）の一部である。他の応用において、バッファメモリ（３１５）はビデオ復号器（３１０）の外部にあってもよい（図示せず）。さらに、他の応用において、ビデオ復号器（３１０）の外部にはバッファメモリ（図示せず）が設けられることで、例えばネットワークのジッタを防止し、ビデオ復号器（３１０）の内部には別のバッファメモリ（３１５）が設けられることで、例えば、放送タイミングを処理することができる。受信器（３３１）は十分な帯域幅及び制御可能性を有する記憶／転送機器、またはアイソクロナスネットワークからデータを受信する際、バッファメモリ（３１５）を必要としないか、または、バッファメモリ（３１５）が小さくてもよい。例えば、インターネットのようなベストエフォート型パケットネットワークで利用するために、バッファメモリ（３１５）を必要とするかもしれないが、バッファメモリ（３１５）は相対的に大きく、有利に自己適応の大きさを有してもよく、少なくとも一部的にオペレータシステムまたはビデオ復号器（３１０）の外部にある類似元素（図示せず）で実現される。

【0028】

ビデオ復号器（３１０）は、符号化されたビデオシーケンスに基づき符号（３２１）を再構築するパーサー（３２０）を有する。これらの符号のカテゴリにはビデオ復号器（３１０）の操作を管理するための情報、及び表示機器（３１２）（例えば、スクリーン）のような表示機器を制御するための潜在情報が含まれ、図３に示すように、該表示機器（３１２）は電子機器（３３０）の一体部分ではなく、電子機器（３３０）に連結される。（１つ又は複数の）表示機器に用いられる制御情報は補充強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメント（図示せず）という形式であってもよい。パーサー（３２０）は受信された、符号化されたビデオシーケンスに対して解析／エントロピー復号化を行う。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術または基準に基づくとともに、可変長符号、ハフマン符号（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）、コンテキスト感度を有するかまたは有していない算術符号などのような各種原理に従う。パーサー（３２０）はグループに対応する少なくとも１つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも１つのサブグループのためのサブグループパラメータセットを抽出する。サブグループには、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などが含まれる。パーサー（３２０）はさらに符号化されたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどのような情報を抽出できる。

【0029】

パーサー（３２０）はバッファメモリ（３１５）から受信したビデオシーケンスに対してエントロピー復号化／解析操作を実行することで、符号（３２１）を構築し得る。

【0030】

符号化されたビデオピクチャまたはその一部（例えば、フレーム間ピクチャ及びフレーム内ピクチャ、フレーム間ブロック及びフレーム内ブロック）のタイプ及び他の要因に依存し、符号（３２１）の再構築は複数の異なるユニットに関わる。どのユニットに関わるか、及び関わる方式は、パーサー（３２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御できる。簡潔のために、パーサー（３２０）と以下の複数のユニットとの間にある、このようなサブグループ制御情報ストリームを記載していない。

【0031】

既に言及された機能ブロック以外、ビデオ復号器（３１０）は概念的に以下に記載の若干の機能ユニットに細分できる。商業制約で実行する実際の実現方式において、これらのユニットにおける複数のユニットは互いに密接に対話するとともに、少なくとも部分的に互いに集積されてもよい。ただし、開示のテーマを説明するという目的から見れば、概念的に以下の機能ユニットに細分されることは適切である。

【0032】

第１ユニットはスケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）はパーサー（３２０）から、（１つ又は複数の）符号（３２１）としての量子化変換係数及び制御情報を受信し、どんな変換方式を利用するか、ブロックの大きさ、量子化因子、量子化スケーリング行列などを含む。スケーラ／逆変換ユニット（３５１）は、アグリゲーター（３５５）に入力されるサンプル値が含まれるブロックを出力できる。

【0033】

ある状況で、スケーラ／逆変換ユニット（３５１）の出力サンプルはフレーム内符号化ブロックに属してもよく、即ち、前に再構築されたピクチャからの予測情報を利用しないが、現在ピクチャの前に再構築された部分からの予測情報のブロックを利用できる。このような予測性情報はフレーム内ピクチャ予測ユニット（３５２）から提供される。ある状況で、フレーム内ピクチャ予測ユニット（３５２）は現在ピクチャバッファ（３５８）から抽出された周辺の再構築された情報によって、再構成中のブロックの大きさ及び形状と同様であるブロックを生成する。例えば、現在ピクチャバッファ（３５８）は部分的に再構築された現在ピクチャ及び／または完全に再構築された現在ピクチャをバッファリングする。ある状況で、アグリゲーター（３５５）は各サンプルに基づき、フレーム内予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって提供された出力サンプル情報に追加する。

【0034】

他の状況で、スケーラ／逆変換ユニット（３５１）の出力サンプルはフレーム間符号化と潜在動き補償ブロックに属してもよい。このような状況で、動き補償予測ユニット（３５３）は参照ピクチャメモリ（３５７）にアクセスすることで、予測のためのサンプルを抽出できる。該ブロックに属する符号（３２１）に基づき、抽出されたサンプルに対して動き補償を行った後、これらのサンプルはアグリゲーター（３５５）からスケーラ／逆変換ユニット（３５１）の出力に追加され（この場合、残差サンプルまたは残差信号と呼ばれる）、出力サンプル情報を生成する。動き補償予測ユニット（３５３）が予測サンプルを抽出する参照ピクチャメモリ（３５７）内のアドレスは、動きベクトルによって制御でき、動きベクトルは符号（３２１）の形式で、動き補償予測ユニット（３５３）に用いられ、符号（３２１）は、例えばＸ、Ｙ及び参照ピクチャ成分を有してもよい。動き補償はさらに、サブサンプルの正確な動きベクトルを使用する際、参照ピクチャメモリ（３５７）から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

【0035】

アグリゲーター（３５５）の出力サンプルは、ループフィルタユニット（３５６）において、各種のループフィルタリング技術を利用できる。ビデオ圧縮技術はループ内フィルタ技術を含み、ループ内フィルタ技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれるとともに、パーサー（３２０）からの符号（３２１）として、ループフィルタユニット（３５６）のパラメータ制御に使用されるが、ビデオ圧縮技術は、符号化されたピクチャまたは符号化されたビデオシーケンスの（復号化の順序で）の前の部分を復号化する期間で取得されたメタ情報、及び前に再構築されループフィルタリングを経るサンプル値に応答できる。

【0036】

ループフィルタユニット（３５６）の出力はサンプルストリームであってもよく、サンプルストリームは表示機器（３１２）に出力され、及び参照ピクチャメモリ（３５７）に記憶されることで、後にフレーム間ピクチャ予測に用いられる。

【0037】

完全に再構成されると、ある符号化されたピクチャは参照ピクチャとして、後の予測に用いることができる。例えば、現在ピクチャに対応する符号化されたピクチャが完全に再構成され、符号化されたピクチャ（例えばパーサー（３２０）を介して）が参照ピクチャとして認識されると、現在ピクチャバッファ（３５８）は参照ピクチャメモリ（３５７）の一部になり、その後の符号化されたピクチャを再構成する前に、新たな現在ピクチャバッファを改めて割り当てる。

【0038】

ビデオ復号器（３１０）は、例えばＩＴＵ－Ｔ Ｈ.２６５提案書の基準における所定ビデオ圧縮技術に基づき、復号化操作を実行することができる。符号化されたビデオシーケンスは、ビデオ圧縮技術または基準のシンタックス、及びビデオ圧縮技術または基準に記録されたプロファイルという両者に従うという意味で、符号化されたビデオシーケンスは使用中のビデオ圧縮技術または基準が指定するシンタックスに合わせる。具体的に、プロファイルはビデオ圧縮技術または基準における利用可能な全てのツールから、該プロファイルで利用可能な唯一のツールとして、いくつかのツールを選択できる。準拠性について、符号化されたビデオシーケンスの複雑度は、ビデオ圧縮技術または基準のレベルによって限定される範囲内にあるように要求する。ある状況で、レベルは最大ピクチャの大きさ、最大フレームレート、最大再構築サンプリングレート（例えば、メガサンプル／秒に測定する）、最大参照ピクチャの大きさを制限する。ある状況で、レベルによる配置される制限は、仮想参照復号器（ＨＲＤ）の仕様、及び符号化されたビデオシーケンスにおいてシグナリングされたＨＲＤバッファの管理のメタデータを介してさらに限定される。

【0039】

１つの実施例において、受信器（３３１）は追加（冗長）データ及び符号化されたビデオを受信できる。追加データは（１つ又は複数の）符号化されたビデオシーケンスの一部として含まれる。追加データはビデオ復号器（３１０）によって利用されることで、データを適切に復号化し、及び／またはオリジナルビデオデータをより正確に再構築することができる。追加データは、例えば時間、空間または信号対雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式であってもよい。

【0040】

図４は、本開示内容による１つの実施例のビデオ符号器（４０３）のブロック図を示す。ビデオ符号器（４０３）は電子機器（４２０）に含まれる。電子機器（４２０）は伝送器（４４０）（例えば、伝送回路）を有する。ビデオ符号器（４０３）は図２の例示におけるビデオ符号器（２０３）の代わりとすることができる。

【0041】

ビデオ符号器（４０３）はビデオ符号器（４０３）によって符号化されるビデオ画像をキャプチャし得るビデオソース（４０１）（図４例示における電子機器（４２０）の一部ではない）からビデオサンプルを受信できる。他の例示において、ビデオソース（４０１）は電子機器（４２０）の一部である。

【0042】

ビデオソース（４０１）は、ビデオ符号器（４０３）によって符号化され、デジタルビデオサンプルストリームの形式であるソースビデオシーケンスを提供でき、デジタルビデオサンプルストリームは任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ.６０１ Ｙ ＣｒＣＢ、ＲＧＢ……）、及び任意の適切なサンプリング構成（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有してもよい。メディアサービスシステムにおいて、ビデオソース（４０１）は、前に準備されたビデオを記憶するための記憶機器であってもよい。ビデオ会議システムにおいて、ビデオソース（４０１）は、ビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順序に応じて見る際、動きが付与された複数の単独のピクチャとして提供されてもよい。ピクチャそのものは、空間画素アレイとして組織され、使用中のサンプリング構成、色空間などに依存し、各画素には１つ又は複数のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって容易に理解できる。以下の記載はサンプルに着目する。

【0043】

１つの実施例に基づき、ビデオ符号器（４０３）は、リアルタイムまたはアプリケーションの必要な任意の他の時間の制約で、ソースビデオシーケンスのピクチャを符号化するとともに、符号化されたビデオシーケンス（４４３）として圧縮する。適切的な符号化速度で実行することは、コントローラ（４５０）の１つの機能である。いくつかの実施例において、コントローラ（４５０）は以下に記載の他の機能ユニットを制御するとともに、機能で他の機能ユニットに連結される。簡潔のために、該連結を図示していない。コントローラ（４５０）により配置されるパラメータは、レート制御に関するパラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値......）、ピクチャの大きさ、ピクチャグループ（ＧＯＰ）の配置、最大動きベクトルの検索範囲などを含んでもよい。コントローラ（４５０）は他の適切な機能を有するように配置されてもよく、これらの機能は、あるシステム設計に対して最適化したビデオ符号器（４０３）に属する。

【0044】

いくつかの実施例において、ビデオ符号器（４０３）は符号化ループにおいて操作するように配置される。非常に簡単な記載として、１つの例示において、符号化ループはソース符号器（４３０）（例えば、符号化対象となる入力ピクチャと（１つ又は複数）参照ピクチャに基づき、符号ストリームのような符号を構築することに担当する）、及びビデオ符号器（４０３）に埋め込まれる（ローカル）復号器（４３３）を含む。復号器（４３３）は、（リモート）復号器がサンプルデータを構築するという方式で、符号を再構築し、サンプルデータを構築する（なぜならば、開示のテーマで考慮されるビデオ圧縮技術において、符号と符号化されたビデオビットストリームとの間の圧縮はいずれも可逆であるからだ）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（４３４）に入力する。符号ストリームの復号化は、復号器位置（ローカルまたはリモート）と関係がないビット正確結果を発生させるから、参照ピクチャメモリ（４３４）におけるコンテンツはローカル符号器とリモート符号器との間でもビット正確である。言い換えば、符号器の予測部分から「見られる」参照ピクチャサンプルは復号器が復号化期間で予測を利用しようとする際に「見られる」サンプル値と完全に同様である。該参照ピクチャの同期性の基本原理は（及び、例えばチャンネル誤差から、同期性を維持できない場合に発生するドリフト）も関連分野に適用される。

【0045】

「ローカル」復号器（４３３）の操作は、例えば、以上図３を結合し、詳しく記載したビデオ復号器（３１０）の「リモート」復号器の操作と同様であってもよい。ただし、図３を簡単に参照し、符号は利用可能で、エントロピー符号器（４４５）とパーサー（３２０）とはロスレスに符号を符号化されたビデオシーケンスに符号化／復号化することができる場合、バッファメモリ（３１５）とパーサー（３２０）とを含むビデオ復号器（３１０）のエントロピー復号化部分は、ローカル復号器（４３３）において完全に実現できないおそれがある。

【0046】

この場合、復号器に存在する解析／エントロピー復号化以外の任意の復号器技術も、必然として、基本的に同じ機能という形式で、対応する符号器に存在する。該原因のため、開示のテーマは、復号器の操作に着目する。符号器技術と全面的に記載された復号器技術とは反対するから、符号器技術に対する記載を簡略化し得る。ある領域のみに必要で、より詳しい記載は以下で提供される。

【0047】

操作期間において、いくつかの例示において、ソース符号器（４３０）は動き補償予測符号化を実行でき、動き補償予測符号化はビデオシーケンスからの、「参照ピクチャ」として指定される１つ又は複数の前の符号化ピクチャを参照し、入力ピクチャに対して予測性符号化を行う。該方式で、符号化エンジン（４３２）は、入力ピクチャの画素ブロックと、入力ピクチャの（１つ又は複数の）予測参照の（１つ又は複数の）参照ピクチャとして選択される画素ブロックとの間の差に対して符号化を行う。

【0048】

ローカルビデオ復号器（４３３）は、ソース符号器（４３０）によって構築された符号に基づき、参照ピクチャとして指定できるピクチャの符号化されたビデオデータを復号化することができる。符号化エンジン（４３２）の操作は好ましくは非可逆処理である。符号化されたビデオデータがビデオ復号器（図４において図示せず）で復号化できると、再構築されたビデオシーケンスは、一般的にある程度誤差を有するソースビデオシーケンスのコピーであってもよい。ローカルビデオ復号器（４３３）はビデオ復号器が参照ピクチャに対して実行する復号化処理をコピーするとともに、再構築された参照ピクチャを参照ピクチャキャッシュ（４３４）に記憶させる。該方式で、ビデオ符号器（４０３）は再構築された参照ピクチャのコピーをローカル的に記憶し、該コピーは、リモートビデオ復号器によって取得される再構築の参照ピクチャと、共通のコンテンツを有する（伝送誤差がない）。

【0049】

予測器（４３５）は、符号化エンジン（４３２）に対して予測検索を実行することができる。即ち、符号化対象となる新たなピクチャに対して、予測器（４３５）は参照ピクチャメモリ（４３４）から新たなピクチャとしての適切な予測参照のサンプルデータ（候補参照画素ブロックとして）、またはあるメタデータ例えば参照ピクチャ動きベクトル、ブロック形状などを検索する。予測器（４３５）はサンプルブロックに基づき、画素ブロックごとに操作することで、適切な予測参照を見つけることができる。ある状況で、予測器（４３５）によって取得された検索結果に基づき決定されるように、入力ピクチャは参照ピクチャメモリ（４３４）に記憶された複数の参照ピクチャから取得される予測参照を有してもよい。

【0050】

コントローラ（４５０）はソース符号器（４３０）の符号化操作を管理でき、例えば、ビデオデータを符号化するためのパラメータとサブグループパラメータを配置する。

【0051】

エントロピー符号器（４４５）において、以上に言及された全ての機能ユニットの出力に対してエントロピー符号化を行うことができる。エントロピー符号器（４４５）は、例えばハフマン符号、可変長符号、算術符号などの技術に基づいて、各種機能ユニットから生成された符号に対して可逆圧縮を行うことで、符号を符号化ビデオシーケンスに変換する。

【0052】

伝送器（４４０）は、エントロピー符号器（４４５）によって構築された（１つ又は複数の）符号化されたビデオシーケンスをバッファリングすることで、通信チャンネル（４６０）を介して伝送するように準備し、該通信チャンネルは符号化されたビデオデータを記憶するための記憶機器へのハードウェア／ソフトウェアリンクであってもよい。伝送器（４４０）はビデオ符号器（４０３）からの符号化されたビデオデータと、伝送対象となる他のデータ、例えば符号化されたオーディオデータ及び／または補助データストリーム（ソースを図示せず）とをマージする。

【0053】

コントローラ（４５０）は、ビデオ符号器（４０３）の操作を管理できる。符号化の期間に、コントローラ（４５０）は各符号化されたピクチャに、相応的なピクチャに適用される符号化技術に影響する可能性があるいくつかの符号化ピクチャタイプを割り当てる。例えば、一般的に、ピクチャに以下のピクチャタイプのうちの１つが割り当てられる。

【0054】

フレーム内ピクチャ（Ｉピクチャ）であって、シーケンスにおけるいずれの他のピクチャも予測のソースとしていない場合に、符号化及び復号化されるピクチャであってもよい。例えば独立復号器リフレッシュ（「ＩＤＲ」）ピクチャが含まれる異なるタイプのフレーム内ピクチャを許容するビデオコーデックもある。当業者は、Ｉピクチャの変体及びその相応的な応用、特徴を理解できる。

【0055】

予測性ピクチャ（Ｐピクチャ）であって、多くても１つの動きベクトル及び参照インデックスによって各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャであってもよい。

【0056】

双方向予測性ピクチャ（Ｂピクチャ）であって、多くても２つの動きベクトル及び参照インデックスによって、各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャであってもよい。類似するように、複数の予測性ピクチャは、２つより多い参照ピクチャと関するメタデータを、単一のブロックの再構築に使用できる。

【0057】

ソースピクチャは一般的に、空間で複数のサンプルブロック（例えば、４×４、８×８、４×８または１６×１６個のサンプルのブロック）に細分できるとともに、ブロックごとに符号化を行う。これらのブロックは、他の（符号化された）ブロックを参照し、予測性的に符号化を行って、他のブロックはブロックの相応的なピクチャに適用される符号化割当によって決定される。例えば、Ｉピクチャのブロックに対して非予測符号化を行うか、またはＩピクチャのブロックは、同一のピクチャの符号化されたブロックを参照して、予測性符号化（空間予測またはフレーム内予測）を行う。Ｐピクチャの画素ブロックは、前に符号化された１つの参照ピクチャを参照し、空間予測または時間予測を介して予測性的に符号化を行ってもよい。Ｂピクチャのブロックは、前に符号化された１つまたは２つの参照ピクチャを参照し、空間予測または時間予測を介して予測性的に符号化を行ってもよい。

【0058】

ビデオ符号器（４０３）は例えばＩＴＵ－Ｔ Ｈ.２６５提案書の所定のビデオ符号化技術または基準に基づき符号化操作を実行することができる。その操作において、ビデオ符号器（４０３）は、入力ビデオシーケンスにおける時間と空間冗長を利用した予測性符号化操作を含む各種の圧縮操作を実行できる。従って、符号化されたビデオデータは、使用のビデオ符号化技術または基準が指定するシンタックスに合う。

【0059】

１つの実施例において、伝送器（４４０）は追加データ及び符号化されたビデオを伝送することができる。ソース符号器（４３０）は符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加データは、時間／空間／ＳＮＲ強化層、冗長ピクチャ及びスライスのような他の形式の冗長データ、補充強化情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメントなどを含んでもよい。

【0060】

キャプチャされたビデオは、時間シーケンスを呈する複数のソースピクチャ（ビデオピクチャ）としてもよい。フレーム内ピクチャ予測（一般的にフレーム内予測に簡略化される）は特定のピクチャにおける空間の関連性を利用し、フレーム間ピクチャ予測はピクチャの間の（時間または他の）関連性を利用する。例示において、現在ピクチャと呼ばれる符号化／復号化における特定ピクチャは、ブロックに分割される。現在ピクチャにおけるブロックは、ビデオにおける前に符号化され且つ依然としてバッファリングされる参照ピクチャにおける参照ブロックに類似する場合、動きベクトルと呼ばれるベクトルによって、現在ピクチャにおけるブロックを符号化することができる。前記動きベクトルは参照ピクチャにおける参照ブロックを指し、複数の参照ピクチャを利用する場合、参照ピクチャを認識するための第３次元を有してもよい。

【0061】

いくつかの実施例において、双方向予測技術はフレーム間ピクチャ予測に用いられる。双方向予測技術に基づき、復号化順次でいずれもビデオにおける現在ピクチャの前（ただし、表示順次で、それぞれ過去と将来にあるかもしれない）にある、第１参照ピクチャと第２参照ピクチャのような２つの参照ピクチャを利用する。第１参照ピクチャにおける第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャにおける第２参照ブロックを指す第２動きベクトルによって現在ピクチャにおけるブロックを符号化することができる。第１参照ブロックと第２参照ブロックとの組み合わせで、ブロックを予測できる。

【0062】

また、マージモード技術は、フレーム間ピクチャ予測に用いられることで、符号化効率を向上させる。

【0063】

本開示内容のいくつかの実施例に基づき、ブロックごとにフレーム間ピクチャ予測及びフレーム内ピクチャ予測のような予測を実行する。例えば、ＨＥＶＣ基準に基づき、ビデオピクチャシーケンスにおけるピクチャは符号化ツリーユニット（ＣＴＵ）に分割され、圧縮に用いられ、ピクチャにおけるＣＴＵは、例えば６４×６４画素、３２×３２画素または１６×１６画素のような同じサイズを有する。一般的に、ＣＴＵは、１つの輝度ＣＴＢと２つのクロミナンスＣＴＢとが含まれた３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは再帰に、クワッドツリーで１つ又は複数の符号化ユニット（ＣＵ）に分割される。例えば、６４×６４画素であるＣＴＵを６４×６４画素である１つのＣＵ、または３２×３２画素である４つのＣＵ、或いは１６×１６画素である１６個のＣＵに分割する。例示において、各ＣＵを分析することで、フレーム間予測タイプまたはフレーム内予測タイプのような、ＣＵのための予測タイプを決定する。時間及び／または空間の予測可能性に依存し、ＣＵは１つ又は複数の予測ユニット（ＰＵ）に分割される。一般的に、各ＰＵは輝度予測ブロック（ＰＢ）と２つのクロミナンスＰＢとを含む。１つの実施例において、符号化（符号化／復号化）における予測操作は、予測ブロックごとに実行される。予測ブロックの例示として、輝度予測ブロックを利用し、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などのような画素値（例えば、輝度値）の行列を含む。

【0064】

図５は、本開示内容の他の実施例に基づくビデオ復号器（５０３）の図面を示す。該ビデオ符号器（５０３）は、ビデオピクチャシーケンスにおける現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信するとともに、処理ブロックを符号化されたビデオシーケンスの一部としての符号化されたピクチャに符号化するように配置される。例示において、ビデオ符号器（５０３）は図２の例示におけるビデオ符号器（２０３）の代わりとして用いられる。

【0065】

ＨＥＶＣ例示において、ビデオ符号器（５０３）は、処理ブロック、例えば８×８サンプルの予測ブロックなどのサンプル値の行列を受信する。ビデオ符号器（５０３）は、例えばレート歪み最適化によって、フレーム内モード、フレーム間モードまたは双方向予測モードを利用して最適に処理ブロックを符号化するかということを決定する。フレーム内モードで処理ブロックを符号化しようとすると、ビデオ符号器（５０３）はフレーム内予測技術によって、処理ブロックを符号化ピクチャに符号化し、フレーム間モードまたは双方向予測モードで処理ブロックを符号化しようとすると、ビデオ符号器（５０３）はそれぞれフレーム間予測または双方向予測技術によって、処理ブロックを符号化ピクチャに符号化することができる。あるビデオ符号化技術において、マージモードはフレーム間ピクチャ予測サブモードであってもよく、予測値の外部にある符号化された動きベクトル成分を借りない場合、１つ又は複数の動きベクトル予測値（ｐｒｅｄｉｃｔｏｒ）から動きベクトルを導出する。ある他のビデオ符号化技術において、テーマブロックに適用される動きベクトル成分が存在し得る。例示において、ビデオ符号器（５０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）のような、他の部材を含む。

【0066】

図５の例示において、ビデオ符号器（５０３）は図５に示すように連結されたフレーム間符号器（５３０）、フレーム内符号器（５２２）、残差計算器（５２３）、スイッチ（５２６）、残差符号器（５２４）、汎用コントローラ（５２１）及びエントロピー符号器（５２５）を含む。

【0067】

フレーム間符号器（５３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックと参照ピクチャにおける１つ又は複数の参照ブロック（例えば、前のピクチャとその後のピクチャにおけるブロック）とを比較し、フレーム間予測情報（例えば、フレーム間符号化技術による冗長情報に対する記載、動きベクトル、マージモード情報）を生成し、フレーム間予測情報に基づき任意の適切な技術を利用してフレーム間予測結果（例えば、予測のブロック）を計算するように配置される。いくつかの例示において、参照ピクチャは符号化されたビデオ情報に基づき復号化された、復号化済み参照ピクチャである。

【0068】

フレーム内符号器（５２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ある状況で、ブロックと同一のピクチャにおける符号化されたブロックとを比較し、変換した後、量子化係数を生成し、ある状況で、さらに（例えば、１つ又は複数のフレーム内符号化技術によるフレーム内予測方向情報）フレーム内予測情報を生成するように配置される。１つの例示において、フレーム内符号器（５２２）はさらにフレーム内予測情報と同一のピクチャにおける参照ブロックに基づき、フレーム内予測結果を計算する（例えば、予測のブロック）。

【0069】

汎用コントローラ（５２１）は、汎用制御データを決定し、汎用制御データに基づきビデオ符号器（５０３）の他の部材を制御するように配置される。１つの例示において、汎用コントローラ（５２１）はブロックのモードを決定し、該モードに基づき制御信号をスイッチ（５２６）に提供する。例えば、モードがフレーム内モードである場合、汎用コントローラ（５２１）は、残差計算器（５２３）の使用のフレーム内モード結果を選択するようにスイッチ（５２６）を制御し、フレーム内予測情報を選択するようにエントロピー符号器（５２５）を制御するとともに、フレーム内予測情報をビットストリームに含ませる。モードがフレーム間モードである場合、汎用コントローラ（５２１）は、残差計算器（５２３）の使用のフレーム間予測結果を選択するように、スイッチ（５２６）を制御し、フレーム間予測情報を選択するようにエントロピー符号器（５２５）を制御するとともに、フレーム間予測情報をビットストリームに含ませる。

【0070】

残差計算器（５２３）は、受信されたブロックとフレーム内符号器（５２２）またはフレーム間符号器（５３０）から選択された予測結果との間の差（残差データ）を計算するように配置される。残差符号器（５２４）は、残差データ操作に基づき、残差データを符号化することで変換係数を生成するように配置される。１つの例示において、残差符号器（５２４）は、周波数領域における残差データを変換し、変換係数を生成するように配置される。係数を変換してから、量子化処理を介して、量子化の変換係数を取得する。各実施例において、ビデオ符号器（５０３）はさらに残差復号器（５２８）を有する。残差復号器（５２８）は、逆変換を実行し、復号化された残差データを生成するように配置される。復号化された残差データは、適切にフレーム内符号器（５２２）とフレーム間符号器（５３０）によって利用できる。例えば、フレーム間符号器（５３０）は復号化された残差データとフレーム間予測情報に基づき、復号化されたブロックを生成し、且つフレーム内符号器（５２２）は復号化された残差データとフレーム内予測情報に基づき復号化されたブロックを生成できる。復号化されたブロックは適切に処理されることで、復号化されたピクチャを生成し、いくつかの例示において、復号化されたピクチャは、メモリ回路（図示せず）においてバッファリングされ、参照ピクチャとして利用できる。

【0071】

エントロピー符号器（５２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように配置される。エントロピー符号器（５２５）はＨＥＶＣ基準のような適切な基準に基づき、各種情報を含むように配置される。例示において、エントロピー符号器（５２５）は汎用制御データ、選択された予測情報（例えば、フレーム内予測情報またはフレーム間予測情報）、残差情報及びビットストリームにおける他の適切な情報を含むように配置される。なお、開示のテーマに基づき、フレーム間モードまたは双方向予測モードのマージサブモードでブロックを符号化する場合、残差情報が存在しない。

【0072】

図６は、本開示内容の他の実施例に基づくビデオ復号器（６１０）の図面を示す。ビデオ復号器（６１０）は、符号化されたビデオシーケンスの一部としての符号化されたピクチャを受信するとともに、符号化されたピクチャを復号化することで、再構築されたピクチャを生成するように配置される。例示において、ビデオ復号器（６１０）は、図２の例示におけるビデオ復号器（２１０）の代わりとして用いられる。

【0073】

図６の例示において、ビデオ復号器（６１０）は図６に示すように連結されたエントロピー復号器（６７１）、フレーム間復号器（６８０）、残差復号器（６７３）、再構築モジュール（６７４）及びフレーム内復号器（６７２）を含む。

【0074】

エントロピー復号器（６７１）は、符号化されたピクチャに基づき、符号化されたピクチャを構成するシンタックス要素を示すいくつかの符号を再構築するように配置される。このような符号は、例えば、ブロックを符号化するためのモード（例えば、フレーム内モード、フレーム間モード、双方向予測モード、後の両者のマージサブモードまたは他のサブモード）、それぞれフレーム内復号器（６７２）またはフレーム間復号器（６８０）に用いられることで予測するためのいくつかのサンプルまたはメタデータを認識できる予測情報（例えば、フレーム内予測情報またはフレーム間予測情報）、例えば量子化の変換係数という形式を呈する残差情報などを含む。例示において、予測モードがフレーム間または双方向予測モードである場合、フレーム間予測情報をフレーム間復号器（６８０）に提供し、予測タイプがフレーム内予測タイプである場合、フレーム内予測情報をフレーム内復号器（６７２）に提供する。残差情報は逆量子化を介して残差復号器（６７３）に提供される。

【0075】

フレーム間復号器（６８０）はフレーム間予測情報を受信し、フレーム間予測情報に基づきフレーム間予測結果を生成するように配置される。

【0076】

フレーム内復号器（６７２）はフレーム内予測情報を受信し、フレーム内予測情報に基づき予測結果を生成するように配置される。

【0077】

残差復号器（６７３）は、逆量子化を実行することで、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理することによって残差を周波数領域から空間領域に変換するように配置される。残差復号器（６７３）は、いくつかの制御情報を必要とする可能性があり（量子化器パラメータ（ＱＰ）を含むため）、該情報はエントロピー復号器（６７１）から提供される（これは少ない制御情報であるから、データ経路を図示せず）。

【0078】

再構築モジュール（６７４）は、空間領域において、残差復号器（６７３）から出力された残差と予測結果（フレーム間予測モジュールまたはフレーム内予測モジュールから出力されてもよい）とを組み合わせることで、再構築のブロックを形成するように配置され、該再構築のブロックは、再構築されるピクチャの一部であってもよく、さらに再構築されるピクチャは、再構築されるビデオの一部であってもよい。なお、デブロッキング操作のような、他の適切な操作を実行することで、視覚品質を向上させる。

【0079】

なお、任意の適切な技術でビデオ符号器（２０３）、ビデオ符号器（４０３）、ビデオ符号器（５０３）、及びビデオ復号器（２１０）、ビデオ復号器（３１０）、ビデオ復号器（６１０）を実現できる。１つの実施例において、１つ又は複数の集積回路を介してビデオ符号器（２０３）、ビデオ符号器（４０３）、ビデオ符号器（５０３）、及びビデオ復号器（２１０）、ビデオ復号器（３１０）、ビデオ復号器（６１０）を実現できる。他の実施例において、ビデオ復号器（２０３）、（４０３）、（４０３）、及びビデオ復号器（２１０）、（３１０）、（６１０）はソフトウェア命令を実行するための１つ又は複数のプロセッサによって実現される。

【0080】

本開示内容の各態様は、ハイブリッドビデオ符号化技術における、復号器側の動きベクトル（ＭＶ）に対する導出または精密化のための技術を提供する。より具体的に、ＭＶに対する導出または精密化のための制限を提供することで、現在ブロックのＭＶに対する解析及びプリフェッチは、前のブロックのＭＶを再構築した後に行われるという問題を解決する。

【0081】

図７を参照し、現在ブロック（７０１）は動き検索処理期間で、符号器により既に発見された、空間変位した同じ大きさの前のブロックに応じて予測できるサンプルを含む。直接的にＭＶを符号化することに置き換えて、１つ又は複数の参照ピクチャに関するメタデータからＭＶを導出し、例えば、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（それぞれ７０２～７０６に対応）として標識される５つの周辺サンプルのうちのいずれかのサンプルに関するＭＶによって、最も近い（復号化の順序で）参照ピクチャのメタデータからＭＶを導出する。いくつかの例示において、ＭＶの予測に対して、隣接ブロックが利用する同じ参照ピクチャの予測値を利用できる。

【0082】

いくつかの実施例において、フレーム間ピクチャ予測のためのマージモードを利用する。１つの例示において、マージ標識（スキップ標識を含む）を真としてシグナリングする場合、インデックスマージをシグナリングことで、マージ候補リストにおけるどの候補によって、現在ブロックの動きベクトルを指示するかを指示する。復号器で、現在ブロックの空間及び時間的近傍に基づき、マージ候補リストを構築する。図７に示すように、Ａ０、Ａ１とＢ０、Ｂ１、Ｂ２の隣接ＭＶをマージ候補リストに追加できる。また、１つの例示において、現在ブロックの時間的近傍からのＭＶをマージ候補リストに追加する。なお、マージされた双予測性候補とゼロ動きベクトル候補などのような追加マージ候補をマージ候補リストに追加できる。

【0083】

いくつかの実施例において、フレームレートアップコンバージョン（ＦＲＵＣ）マージモードと呼ばれる特定マージモードで、ＦＲＵＣ技術を利用できる。ＦＲＵＣマージモードはフレームレートアップコンバージョン技術による特殊なマージモードである。ＦＲＵＣマージモードで、現在ブロックの動き情報はシグナリングされず、復号器側から導出される。ＦＲＵＣマージモードにおいて、現在ブロックのＭＶは隣接するＭＶより導出された若干の始点から精密化される。

【0084】

１つの例示において、ＦＲＵＣを真として標識する場合、符号器側から復号器側へのＣＵに対して、ＦＲＵＣ標識をシグナリングする。ＦＲＵＣを偽として標識する場合、インデックスマージをシグナリングし、通常のマージモードを利用する。ＦＲＵＣを真として標識する場合、別のＦＲＵＣモード標識をシグナリングすることで、どんな方法（双方向マッチングまたはテンプレートマッチング）でＣＵの動き情報を導出するかを指示する。

【0085】

いくつかの例示において、ＦＲＵＣマージモードでの動き導出処理は２つのステップを有する。第１ステップにおいてＣＵレベル動き検索を実行し、そして、第２ステップにおいて、サブＣＵレベル動きの精密化を実行する。１つの実施例において、ＣＵレベルで、双方向マッチングまたはテンプレートマッチングに基づき、ＣＵ全体に対して初期動きベクトルを導出する。例えば、ＭＶ候補のリストを生成し、ＣＵレベルに対するさらなる精密化の始点として、最小マッチングコストの候補を選択する。そして、始点周辺の双方向マッチングまたはテンプレートマッチングによる局所検索を実行し、最小マッチングコストのＭＶ結果をＣＵ全体のＭＶ、及び導出された（１つ又は複数）ＣＵ動きベクトルとする。その後、第２ステップにおいて、第１ステップで導出された（１つ又は複数）ＣＵ動きベクトルを（１つ又は複数）始点として、サブＣＵレベルに、動き情報をさらに精密化する。

【0086】

例えば、Ｗ×ＨであるＣＵ動き情報の導出に対して、以下の導出処理を実行し、ＷはＣＵの幅を示し、及びＨはＣＵの高さを示す。第１段階で、Ｗ×Ｈ であるＣＵ全体のＭＶを導出する。第２段階で、ＣＵをさらにＭ×ＭであるサブＣＵに分割する。式１に示すように、Ｍの値を計算し、Ｄは事前定義された分割深度であり、共同探索モデル（ＪＥＭ）において、３にデフォルト設定される。そして、各サブＣＵのＭＶを導出する。

【数1】

【0087】

図８は、いくつかの実施例による双方向マッチングの例示を示す。図８に示すように、双方向マッチングは、２つの異なる参照ピクチャ（Ｒｅｆ０とＲｅｆｌ）において、現在ＣＵ（８１０）の動き軌跡に沿う２つのブロック（８２０）、（８３０）との間の最も近接するマッチングを見つけることで、現在ＣＵ（８１０）（現在ピクチャＣｕｒ Ｐｉｃにおける）の動き情報を導出する。連続動き軌跡という仮定で、２つの参照ブロック（８２０）、（８３０）を指す動きベクトルＭＶ０とＭＶ１とは、現在ピクチャ（Ｃｕｒ Ｐｉｃ）と２つの参照ピクチャ（Ｒｅｆ０とＲｅｆｌ）との間の時間距離、即ちＴＤ０及びＴＤ１に比例する。特殊な状況として、現在ピクチャは時間で、２つの参照ピクチャの間にあるとともに、現在ピクチャ（Ｃｕｒ Ｐｉｃ）から２つの参照ピクチャ（Ｒｅｆ０とＲｅｆｌ）までの時間距離が同様である場合、双方向マッチングは、ミラーリングによる双方向ＭＶに変更される。

【0088】

図９は、本開示内容による１つの実施例のテンプレートマッチングの例示を示す。図９に示すように、テンプレートマッチングは、現在ピクチャ（Ｃｕｒ Ｐｉｃ）におけるテンプレート（現在ＣＵ（９１０）のトップ部、及び左側の隣接ブロック（９２０）（９３０）を含む）と参照ピクチャ（Ｒｅｆ０）におけるブロック（９４０）及びブロック（９５０）（形状及び大きさはテンプレートと同様である）との間の最も近接するマッチングを見つけることで、現在ＣＵ（９１０）の動き情報を導出する。

【0089】

以上に言及されたＦＲＵＣマージモード以外、テンプレートマッチングは高度動きベクトル予測（ＡＭＶＰ）モードにも適用される。ＪＥＭとＨＥＶＣにおいて、ＡＭＶＰモードは２つの候補を利用する。１つの例示において、ＡＭＶＰ候補リストは第１既存ＡＭＶＰ候補と第２既存ＡＭＶＰ候補とを有する。テンプレートマッチング方法によって、新たな候補を導出する。テンプレートマッチングによる新たに導出された候補が、第１既存ＡＭＶＰ候補と異なると、新たに導出された候補をＡＭＶＰ候補リストの最初に挿入してから、リストの大きさを２に設定する（これは、第２既存ＡＭＶＰ候補が除去されることを意味する）。１つの例示において、テンプレートマッチングをＡＭＶＰモードに応用する場合、ＣＵレベル検索のみを応用する。

【0090】

いくつかの実施例において、双方向マッチングを利用する場合、双方向マッチングの仮定で、マージ候補の各有効なＭＶを入力とすることで、ＭＶ対を生成する。例えば、マージ候補の１つの有効なＭＶは参照リストＡ箇所にある（ＭＶａ、ｒｅｆａ）。そして、他の参照リストＢから、対となる双方向ＭＶの参照ピクチャｒｅｆｂを見つけることで、ｒｅｆａとｒｅｆｂとが、時間で現在ピクチャの異なる側に位置するようにする。参照リストＢから、このようなｒｅｆｂを取得できないと、ｒｅｆｂを、ｒｅｆａと異なり、現在ピクチャまでの時間距離がリストＢにおける最小距離である参照として決定する。ｒｅｆｂを決定した後、現在ピクチャとｒｅｆａ、ｒｅｆｂとの間の時間距離に基づき、ＭＶａをスケーリングすることで、ＭＶｂを導出する。

【0091】

いくつかの例示において、ＡＭＶＰモードでＦＲＵＣを応用する場合、元のＡＭＶＰ候補もＣＵレベルのＭＶ候補セットに追加する。１つの例示において、ＣＵレベルで、ＡＭＶＰ ＣＵに対する最大１５個のＭＶ、及びマージＣＵに対する最大１３個のＭＶを候補リストに追加する。

【0092】

いくつかの実施例において、動きベクトルが分数サンプル位置を指す場合、動き補償の補間を必要とする。１つの例示において、複雑度を低減させるために、双方向マッチングとテンプレートマッチングという両者に対して、それぞれ通常の８タップのＨＥＶＣ補間ではなく、バイリニア補間を利用する。

【0093】

いくつかの実施例において、異なるステップにおいて、マッチングコストに対する計算は異なる。１つの例示において、ＣＵレベルで候補セットから候補を選択する場合、双方向マッチングまたはテンプレートマッチングの絶対差和（ＳＡＤ）によって、マッチングコストを計算する。開始ＭＶを決定した後、式２に示すように、サブＣＵレベル検索箇所の双方向マッチングのマッチングコストＣを計算する。

【数2】

Ｗは経験に応じて４に設定された重み係数を示し、及びＭＶとＭＶ^Ｓとはそれぞれ現在ＭＶと開始ＭＶを示す。ＳＡＤは依然としてサブＣＵレベル検索箇所のテンプレートマッチングのマッチングコストとして利用される。

【0094】

いくつかの例示において、ＦＲＵＣマージモードで、輝度サンプルのみでＭＶを導出する。導出された動き情報は輝度と色度両者に用いられることで動き補償（ＭＣ）のフレーム間予測を行う。ＭＶを決定した後、輝度サンプルに対する８タップ補間フィルタ及び色度サンプルに対する４タップ補間フィルタによって最終ＭＣを実行する。

【0095】

なお、ＭＶ精密化は、双方向マッチングコストまたはテンプレートマッチングコストを基準とし、モードに基づくＭＶ検索である。いくつかの例示において、無制約の中心バイアスダイヤモンド探索（ＵＣＢＤＳ）、及びそれぞれＣＵレベルとサブＣＵレベルでのＭＶ精密化の自己適応交差検索という２つの検索モードを支持する。ＣＵとサブＣＵレベルのＭＶ精密化という両者に対して、４分の１輝度サンプルのＭＶ精度で直接的にＭＶを検索し、そして、８分の１輝度サンプルのＭＶ精密化を行う。ＣＵとサブＣＵステップのＭＶ精密化に対する検索範囲は、８個の輝度サンプルに等しいように配置される。

【0096】

本開示内容の一態様によれば、復号器側の動きベクトル精密化（ＤＭＶＲ）は始点に基づきＭＶを改善／精密化するために用いられる。

【0097】

いくつかの例示において、双方向予測操作の場合、１つのブロック領域の予測に対して、それぞれ第１候補リストｌｉｓｔ０のＭＶ０と第２候補リストｌｉｓｔ１のＭＶ１から形成された２つの予測ブロックを組み合わせて、双方向テンプレートと呼ばれる単一予測信号を形成する。ＤＭＶＲ方法において、双方向予測の２つの動きベクトルＭＶ０とＭＶ１とは、双方向テンプレートマッチング処理を介してさらに精密化される。復号器において、双方向テンプレートマッチングによって、双方向テンプレートと参照ピクチャにおける再構築サンプルとの間で歪みによる検索を実行することで、精密化されたＭＶを取得し、別の動き情報を伝送する必要がない。

【0098】

図１０は、双方向テンプレートマッチングによるＤＭＶＲの例示を示す。ＤＭＶＲにおいて、図１０に示すように、双方向テンプレート１０４０は、第１候補リストｌｉｓｔ０の初期ＭＶ０及び第２候補リストｌｉｓｔ１のＭＶ１からの２つの予測ブロック１０２０と１０３０との重み組み合わせ（即ち、平均）になるように生成される。テンプレートマッチング操作は、生成されたテンプレート１０４０と、参照ピクチャＲｅｆ０及びＲｅｆ１におけるサンプル領域（初期予測ブロック周辺）との間のコスト測定を計算することを含む。２つの参照ピクチャＲｅｆ０及びＲｅｆ１のうちの各々に対して、最小のテンプレートコストを発生させるＭＶは、該リストの更新されたＭＶと見なされ、元のＭＶを置き換える。例えば、ＭＶ０をＭＶ０'に置き換え、ＭＶ１をＭＶ１'に置き換える。いくつかの例示において、各リストに対して９つのＭＶ候補を検索する。該９つのＭＶ候補には元のＭＶと８つの周辺のＭＶを含み、１つの輝度サンプルは元のＭＶに対して水平または垂直方向、または２つの方向でオフセットされる。結果として、図１０に示される２つの新たなＭＶ、即ちＭＶ０'及びＭＶ１'は、現在ブロックに対する最終の双方向予測結果を生成するために用いられる。差分絶対値和（ＳＡＤ）はコスト測定に用いられる。

【0099】

いくつかの例示において、ＤＭＶＲは双方向予測のマージモードに用いられ、過去の参照ピクチャからの１つのＭＶ、及び将来の参照ピクチャからの他のＭＶを有し、追加のシンタックス要素を伝送しない。

【0100】

図１１Ａと図１１Ｂは、０～３の復号化順序で、現在ブロックとその前のブロックとの間の空間関係の例示を示す。復号化順序は符号器及び復号器にとっても既知である。現在ブロックを復号化する場合、一般的に、その空間近傍のＭＶを予測値とすることで、現在ブロックのＭＶを復号化する。例えば、図１１Ｂの例示において、ブロック０、１、２からのＭＶは、ブロック３の予測値の候補になる。

【0101】

ＦＲＵＣとＤＭＶＲとの復号器側ＭＶ導出（ＤＭＶＤ）符号化ツールに対して、現在ブロックのＭＶが精密化／修正されることで、符号化効率を向上させる。ＭＶが精密化／修正された後、ＭＶが動き場にライトバックされることで、精密化されたＭＶを後続ブロックのＭＶ予測値とする。しかしながら、これは、高効率アーキテクチャ、例えばハードウェアの設計の困難を招致する。

【0102】

図１２は、例えばＦＲＵＣとＤＭＶＲとのＤＭＶＤ方法のパイプライン段階の例示を示す。図１２の例示において、復号器は３つのメインモジュールを有する。第１メインモジュールは初期ＭＶ（ＭＶ_ｉｎｉｔ）を解析するとともに、初期ＭＶが指す参照ブロックに対してプリフェッチを行って、第２メインモジュールはＭＶ_ｉｎｉｔからのＭＶを精密化し、最終のＭＶ（ＭＶ_ｆｉｎａｌ）を得て、第３メインモジュールは現在ブロックに対してＭＶ_ｆｉｎａｌによって動き補償（ＭＣ）を実行する。１つの例示において、３つのメインモジュールは３つの回路モジュールに対応する。他の例示において、３つのメインモジュールはソフトウェア命令を実行する３つのプロセッサーに対応する。

【0103】

図１２の例示において、ＣＵ０は３つのメインモジュールによって異なる時間階段（即ち、Ｔ０～Ｔ２）で処理される。ハードウェアのパイプライン設計において、各メインモジュールを各々時間階段で動作させることは、より高効率であり、これによって、特定の時間帯内でより多いＣＵを処理できる。ただし、ＣＵ０の最終ＭＶは、ＣＵ１のＭＶの予測値として用いられるから、ＣＵ１のＭＶ解析及び参照のブロックプリフェッチは、第２メインモジュールにおいてＣＵ０のＭＶ_ｆｉｎａｌを決定する前に、第１メインモジュールから始めることができない。従って、解析及びプリフェッチモジュールはＴ１にアイドルになり、これによって、他の２つのメインモジュールはその後の時間段階でアイドルになってしまう。

【0104】

以下は、用語ブロックとＣＵとは、同じく認められてもよい。また、前に符号化されたブロックは、現在ブロックの前に符号化されたブロックとして定義される。従って、符号化／復号化の順序で、前に符号化されたブロックは、現在ブロックの前に、連続的に符号化／復号化される。

【0105】

本開示内容の各態様は技術を提供し、即ち、余分な操作で動きベクトルのオフセットを最終的に決定しようとすると、例えば、ＤＭＶＤ方法または初期解析段階の後、ＭＶをさらに修正する必要がある他の方法で、ＭＶ予測値から空間近傍を排除するため、より高効率的にパイプラインアーキテクチャにおけるハードウェアを利用できる。

【0106】

本開示内容の一態様によれば、例えばＦＲＵＣ及びＤＭＶＲのＤＭＶＤ方法を利用する場合、前のブロックのＭＶの現在ブロックのＭＶ予測値としての使用を制限するから、現在ブロックのＭＶ解析（第１メインモジュールによって実行されることでＭＶ_ｉｎｉｔを決定する）及び／または現在ＣＵに対して参照サンプルをプリフェッチすることは、前のブロックのＭＶ精密化（第２メインモジュールによって実行される）の完成を待つ必要がない。従って、１つの例示において、第１メインモジュール、第２メインモジュール及び第３メインモジュールは、他のモジュールの結果を待つ必要がなく、各時間階段に操作できる。

【0107】

いくつかの実施例において、現在ブロックに対してマージ候補リストまたは／及び通常フレーム間モードＭＶ予測値リストを構築する場合、ＭＶ予測値候補はある要求を満たす場合、利用不能として標識される（現在ブロックのＭＶ予測値として用いることができない）。

【0108】

１つの例示において、ＭＶは、現在ブロックの前に符号化／復号化されたブロックからのものであれば、ＭＶは現在ブロックのＭＶ予測値として用いることができない。

【0109】

他の例示において、ＭＶは、現在ブロックの前に符号化／復号化されたブロックからのものであり、前に符号化／復号化されたブロックがマージ／スキップモードで符号化される場合、ＭＶは現在ブロックのＭＶ予測値として用いることができない。

【0110】

他の例示において、ＭＶは、現在ブロックの前に符号化／復号化されたブロックからのものであり、該ブロックのＭＶは、例えばＤＭＶＤ方法で初期解析された後変更できれば、ＭＶは現在ブロックのＭＶ予測値として用いることができない。１つの例示において、ブロック（現在ブロックの前に、符号化／復号化された）はマージ／スキップモードにあるとともに、２つの異なる参照フレームを有することで、ＦＲＵＣとＤＭＶＲのような方法を該ブロックに応用できるから、該ブロックのＭＶは解析された後変更できる。他の例示において、ブロック（現在ブロックの前に、符号化／復号化された）は非アフィンの双方向予測マージモードを有する。なお、一般的にＤＭＶＤ方法は、アフィン動きモデルにより符号化されるブロックに適用しない。

【0111】

いくつかの実施例において、非隣接空間ＭＶ候補をマージ候補リストに挿入する場合、前のブロックの大きさのメッシュの大きさで、非隣接候補を追加することで、前に符号化されたブロックからの非隣接候補がなくなる。他の実施例において、非隣接候補のメッシュの大きさを不変のままにする。ただし、前に符号化されたブロックに属する非隣接候補が利用不能として標識されるから、これらの非隣接候補はマージ候補リストに追加されることがない。

【0112】

本開示内容の一態様によれば、ＤＭＶＤ方法（または、初期解析段階の後、ＭＶをさらに修正する必要がある方法）を開始させ、いくつかの他の条件を満たす場合、現在ブロックのいくつかの近傍はＭＶ予測に用いられない。例えば、図１１Ｂにおいて、ブロック２のＭＶは、ブロック３の予測値として用いられなくてもよい。

【0113】

いくつかの実施例において、前に符号化／復号化されたブロック（現在ブロックの前に符号化／復号化された）と現在ブロックとは、２つの異なるＣＴＵ、または２つの異なるスライス、または２つの異なるタイルに属する場合、該制限を緩和できる。

【0114】

いくつかの実施例において、前のブロックのＭＶは現在ブロックの予測に用いられないと標識される場合、前のブロックの１つの隣接ブロックからのＭＶは、現在ブロックのＭＶ予測値の代わりとして用いられる。このようなＭＶを利用する場合、このようなＭＶは現在ブロックのＭＶを解析する際に、既に最終的に決定されている。このようなＭＶは、前記前のブロックの隣接ブロックを再構築するための最終のＭＶである。

【0115】

なお、各種技術で前のブロックの隣接ブロックを選択できる。１つの例示において、前のブロックが現在ブロックの左側にある場合、前記前のブロックの左側位置からのＭＶ（利用可能であれば）を利用する。該左側位置は、前記前のブロックの左側にある任意の指定位置であってもよい。例えば、前記前のブロックの左から左上隅、前記前のブロックの左から左下隅などである。

【0116】

他の例示において、前のブロックは現在ブロックのトップ部にある場合、前記前のブロックのトップ部位置からのＭＶ（利用可能であれば）を利用する。該トップ部位置は前記前のブロックのトップ部側にある任意の指定位置であってもよい。例えば、前記前のブロックのトップ部から左上隅、前記前のブロックのトップ部から右上隅などである。

【0117】

他の例示において、現在ブロックに対して、前記前のブロックがどこにあるかに関わらず、前記前のブロックの左側位置を利用する。該左側位置は前記前のブロックの左側にある任意の指定位置であってもよい。例えば、前記前のブロックの左から左上隅、前記前のブロックの左から左下隅などである。

【0118】

他の例示において、現在ブロックに対して、前記前のブロックがどこにあるかに関わらず、前記前のブロックのトップ部位置を利用する。該トップ部位置は前記前のブロックのトップ部側にある任意の指定位置であってもよい。例えば、前記前のブロックのトップ部から左上隅、前記前のブロックのトップ部から右上隅などである。

【0119】

他の例示において、前のブロックが現在ブロックの左側にある場合、前記前のブロックのトップ部位置からのＭＶ（利用可能であれば）を利用する。該トップ部位置は前記前のブロックのトップ部側にある任意の指定位置であってもよい。例えば、前記前のブロックのトップ部から左上隅、前記前のブロックのトップ部から右上隅などである。

【0120】

他の例示において、前のブロックが現在ブロックのトップ部にあり、前記前のブロックの左側位置からのＭＶ（利用可能であれば）を利用する。該左側位置は前記前のブロックの左側にある任意の指定位置であってもよい。例えば、前記前のブロックの左から左上隅、前記前のブロックの左から左下隅などである。

【0121】

他の例示において、相対的な空間位置に基づき前記前のブロックの１つの隣接ブロックを認識することに代わり、仮動きベクトルを記憶し更新するとともに、代替のＭＶ予測値とする。符号化及び復号化期間に、最終ＭＶを導出（最終ＭＶはブロックを再構築するためのＭＶであり、その導出はＤＭＶＤを利用するか、またはＤＭＶＤを利用しなくてもよい）するたびに、前記仮動きベクトルを更新し、値を前記最終ＭＶに更新する。現在ブロックの動きベクトルを解析する場合、仮動きベクトルの現在値は、現在ブロックの代替のＭＶ予測値として用いられる。１つの実施例において、仮動きベクトルは、スライス、タイルまたはＣＴＵに対して符号化／復号化を始める際、（０、０）のようなデフォルト値に初期化され、最終ＭＶを導出すると、仮動きベクトルを更新する。いくつかの実施例において、複数の仮動きベクトルを記憶及び更新できる。現在ブロックに対して、符号化／復号化情報に依存し、複数の仮動きベクトルのうちの１つを選択し、符号化／復号化情報は、記憶された複数の仮動きベクトルの位置、現在ブロックの位置、ブロック幅、現在ブロックの高さなどを含むが、これらに限定されない。

【0122】

他の例示において、前記前のブロックの前に符号化された、他の符号化されたブロックのＭＶを利用する。

【0123】

他の例示において、前記前のブロックの前に符号化された、他の符号化されたブロックのＭＶを利用する。他の符号化されたブロックは空間で、現在ブロックに隣接しない。

【0124】

図１３は、いくつかの空間近傍をＭＶ予測値から排除するという制限を利用する際、ＦＲＵＣとＤＭＶＲのようなＤＭＶＤ方法に適用されるパイプライン段階の例示を示す。図１３の例示において、符号化／復号化の順序で、ＣＵのＭＶに対する解析の、前のＣＵのＭＶの精密化に対する依存性をなくす。

【0125】

図１４は、いくつかの空間近傍をＭＶ予測値から排除するという制限を利用する際、ＦＲＵＣとＤＭＶＲのようなＤＭＶＤ方法に適用されるパイプライン段階の例示を示し、パイプラインを最適化することで効率を向上させる。図１４に示すように、時間Ｔ２からＴ６まで、第１メインモジュール、第２メインモジュール及び第３メインモジュールは異なるＣＵで同時に操作する。

【0126】

図１５は、本開示内容による１つの実施例のプロセス（１５００）のフローチャートを概括する。プロセス（１５００）はフレーム内モードで符号化されるブロックを再構築するために用いられ、再構築中のブロックに対して予測ブロックを生成する。各種実施例において、プロセス（１５００）は、端末機器（１１０）、（１２０）、（１３０）及び（１４０）における処理回路、ビデオ符号器（２０３）の機能を実行する処理回路、ビデオ復号器（２１０）の機能を実行する処理回路、ビデオ復号器（３１０）の機能を実行する処理回路、フレーム内予測モジュール（３５２）の機能を実行する処理回路、ビデオ符号器（４０３）の機能を実行する処理回路、予測器（４３５）の機能を実行する処理回路、フレーム内符号器（５２２）の機能を実行する処理回路、フレーム内復号器（６７２）の機能を実行する処理回路などのような処理回路によって実行される。いくつかの実施例において、プロセス（１５００）はソフトウェア命令で実現されるから、処理回路はソフトウェア命令を実行する際、処理回路はプロセス（１５００）を実行する。プロセスは（Ｓ１５０１）から始まり、（Ｓ１５１０）まで実行される。

【0127】

（Ｓ１５１０）で、符号化ビデオビットストリームから現在ピクチャにおける第１ブロックの予測情報に対して復号化を行う。予測情報は、動きベクトル予測値に基づいて第１ブロックの第１動きベクトルを決定するための、マージモード、スキップモードなどのようなフレーム間予測モードを指示する。

【0128】

（Ｓ１５２０）で、フレーム間予測モードに応じて、候補リストを構築する。候補リストは、動きベクトルの導出において、第２動きベクトルを最終的に決定する操作を必要とする第２ブロックを排除して構築される。第２動きベクトルは、第２ブロックの再構築のために用いられる。いくつかの例示において、候補リストにおいて、第２動きベクトルを代替動きベクトルに置き換える。

【0129】

（Ｓ１５３０）で、候補動きベクトル予測値の候補リストに基づき第１動きベクトルを決定する。

【0130】

（Ｓ１５４０）で、第１動きベクトルに基づいて第１ブロックのサンプルを再構築する。そして、プロセスは（Ｓ１５９９）まで進行し、終止する。

【0131】

前記技術はコンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、物理的に１つ又は複数のコンピュータ読み取り可能な媒体に記憶されてもよい。例えば、図１６は開示のテーマのいくつかの実施例を実現するためのコンピュータシステム（１６００）を示す。

【0132】

コンピュータソフトウェアは任意の適切なマシンコードまたはコンピュータ言語によって符号化を行って、マシンコードまたはコンピュータ言語は編集、コンパイル、リンクなどのメカニズムを介して命令が含まれるコードを構築し、該命令は１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、または解釈、マイクロコード実行などによって実行される。

【0133】

前記命令は各種タイプのコンピュータまたはその部材で実行でき、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む。

【0134】

図１６に示すコンピュータシステム（１６００）の部材は、本開示内容を実現するための実施例のコンピュータソフトウェアの使用範囲または機能に対して限定せず、本質に例示的である。部材の配置も、コンピュータシステム（１６００）の例示の実施例で示した部材におけるいずれかの部材、またはその組み合わせに関する依存性または要求を有するように解釈されるべきではない。

【0135】

コンピュータシステム（１６００）はいくつかのヒューマンマシンインターフェイス入力機器を含んでもよい。このようなヒューマンマシンインターフェイス入力機器は、１つ又は複数の人類ユーザーの、例えば触覚入力（例えば：キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば：音声、たたき）、視覚入力（例えば：姿勢）、嗅覚入力（図示せず）による入力に応答できる。マンマシンインタフェース機器はさらに、必ずしも人類の意識的な入力に直接的に関していない、ある媒体例えば、オーディオ（例えば：音声、音楽、環境音）、画像（例えば：スキャン画像、静態画像撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、立体ビデオが含まれる３次元ビデオ）をキャプチャできる。

【0136】

入力マンマシンインタフェース機器は、キーボード（１６０１）、マウス（１６０２）、タッチパッド（１６０３）、タッチパネル（１６１０）、データグローブ（図示せず）、ジョイスティック（１６０５）、マイク（１６０６）、スキャナ（１６０７）、撮影装置（１６０８）のうちの１つ又は複数を有してもよい（記載の各々のうちの１つのみ）。

【0137】

コンピュータシステム（１６００）はさらにマンマシンインタフェース出力機器を有してもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味を介して１つ又は複数の人類ユーザーの感覚を刺激できる。このようなマンマシンインタフェース出力機器は触覚出力機器（例えば、タッチパネル（１６１０）、データグローブ（図示せず）またはジョイスティック（１６０５）による触覚フィードバック、但し入力機器として用いられない触覚フィードバック機器も存在する）、オーディオ出力機器（例えば、スピーカー（１６０９）、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン（１６１０）、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有してなくてもよく、そのうちのいくつかは、立体画像出力のような手段で、２次元の視覚を出力または３次元以上の出力を行い、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）がある）、プリンター（図示せず）を含む。

【0138】

コンピュータシステム（１６００）はさらに人類がアクセスし得る記憶機器及びその関連する媒体を有してもよく、例えば、ＣＤ／ＤＶＤなどの媒体（１６２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１６２０）を含む光学媒体、サムドライブ（１６２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１６２３）、磁気テープとフロッピーディスク（図示せず）のような伝統の磁気媒体、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく機器、例えばドングル（図示せず）などを含む。

【0139】

当業者は、現在開示のテーマを結合して、使用される用語「コンピュータ読み取り可能な媒体」には伝送媒体、搬送波または他の瞬間信号が含まれないことを理解できる。

【0140】

コンピュータシステム（１６００）は、さらに１つ又は複数の通信ネットワークのインタフェースを有してもよい。ネットワークは、例えば無線、有線、光学であってもよい。ネットワークはさらに、ローカル、広域、都市用、車両用、工業用、リアルタイム、遅延耐性ネットワークなどであってもよい。ネットワークの例示はイーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどが含まれたセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビが含まれるテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓが含まれる車両及び工業ネットワークなどを含む。あるネットワークは一般的に、ある汎用データポートまたは周辺バス（１６４９）（例えば、コンピュータシステム（１６００）のＵＳＢポート）に連結される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下に記載のシステムバス（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）に連結されることで、コンピュータシステム（１６００）のコアに集積される。これらのネットワークのうちのいずれかのネットワークを介して、コンピュータシステム（１６００）は他のエンティティと通信できる。このような通信は一方向で受信だけ（例えば、放送テレビ）、一方向で送信だけ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ)、または双方向である（例えば、ローカルエリアまたは広域デジタルネットワークを介して他のコンピュータシステムへ）。以上に記載のこれらのネットワーク及びネットワークインタフェースのうちの各ネットワーク及びネットワークインタフェースに、特定のプロトコル及びプロトコルスタックを利用できる。

【0141】

以上に言及されたマンマシンインタフェース機器、人類がアクセスし得る記憶機器及びネットワークインターフェースは、コンピュータシステム（１６００）のコア（１６４０）に連結できる。

【0142】

コア（１６４０）は１つ又は複数の中央処理ユニット（ＣＰＵ）（１６４１）、グラフィック処理ユニット（ＧＰＵ）（１６４２）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）（１６４３）という形式の専門プログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ（１６４４）などを含む。これらの機器は、読み取り専用メモリ（ＲＯＭ）（１６４５）、ランダムアクセスメモリ（１６４６）、内部のユーザーがアクセスできないハードディスクドライブ、ＳＳＤなどのような内部大容量記憶装置（１６４７）とともに、システムバス（１６４８）を介して接続される。あるコンピュータシステムにおいて、１つ又は複数の物理プラグという形式で、システムバス（１６４８）にアクセスすることで、別のＣＰＵ、ＧＰＵなどによって拡張できる。周囲機器は直接的または周辺バス（１６４９）を介してコアのシステムバス（１６４８）に連結される。周辺バスのアーキテクチャはＰＣＩ、ＵＳＢなどを含む。

【0143】

ＣＰＵ（１６４１）、ＧＰＵ（１６４２）、ＦＰＧＡ（１６４３）及びアクセラレータ（１６４４）はいくつかの命令を実行でき、これらの命令を組み合わせて、以上に言及されたコンピュータコードを構成する。該コンピュータコードはＲＯＭ（１６４５）またはＲＡＭ（１６４６）に記憶される。移行データはＲＡＭ（１６４６）に記憶され、永久データは、例えば内部大容量記憶装置（１６４７）に記憶されてもよい。キャッシュメモリによってメモリ機器のうちのいずれかのメモリ機器の快速記憶及び検索を実現でき、該キャッシュメモリは１つ又は複数のＣＰＵ（１６４１）、ＧＰＵ（１６４２）、大容量記憶装置（１６４７）、ＲＯＭ（１６４５）、ＲＡＭ（１６４６）などに密接に関連できる。

【0144】

コンピュータ読み取り可能な媒体は、コンピュータが実現する各種操作を実行するためのコンピュータコードを有する。媒体とコンピュータコードとは、本開示内容の目的のために、専門に設計され及び構築された媒体とコンピュータコードであってもよいし、またはコンピュータソフトウェアの当業者にとって、公知且つ利用可能なタイプであってもよい。

【0145】

限定ではなく例示として、アーキテクチャ（１６００）を有するコンピュータシステム、特にコア（１６４０）は、（１つ又は複数）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ読み取り可能な媒体に体現されるソフトウェアを実行することで、機能を提供できる。このようなコンピュータ読み取り可能な媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶装置に関する媒体、及び非一時的なコア（１６４０）を有する、コア内部大容量記憶装置（１６４７）またはＲＯＭ（１６４５）のような記憶装置であってもよい。本開示内容を実現するための各種実施例のソフトウェアはこのような機器に記憶され、コア（１６４０）に実行される。特定の需要に応じて、コンピュータ読み取り可能な媒体には１つ又は複数の記憶機器またはチップが含まれてもよい。ソフトウェアはコア（１６４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどが含まれた）に、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行させ、ＲＡＭ（１６４６）に記憶されるデータ構成を限定すること、及びソフトウェアにより限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる。また或いは代わりとして、コンピュータシステムは、論理的な固定接続または他の方式で回路（例えば、アクセラレータ（１６４４））に体現されることで機能を提供し、該回路は、ソフトウェアの代わりとして、またはソフトウェアとともに操作することで、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行できる。適切な場合、言及のソフトウェアにはロジックが含まれ、逆に、言及ロジックにはソフトウェアが含まれてもよい。適切な場合、言及のコンピュータ読み取り可能な媒体には、実行するためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行するためのロジックを体現する回路、或いは前記両者が含まれてもよい。本開示内容にはハードウェアとソフトウェアとの任意の適切な組み合わせが含まれる。

【0146】

付録Ａ：頭字語
ＪＥＭ：共同探索モデル
ＶＶＣ：多機能ビデオ符号化
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオ符号化
ＳＥＩ：補充強化情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：符号化ツリーユニット
ＣＴＢ：符号化ツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照復号器
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィック処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読み取り専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：グローバルモバイルシステムオブシステム
ＬＴＥ：ロングタームエボリューション
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネント相互接続
ＦＰＧＡ：フィールドプログラム可能なゲートアレイ
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：符号化ユニット

【0147】

本開示内容には若干の例示の実施例が記載されているが、本開示内容の範囲内にある変更、置き換え及びいろんな置換等価物が存在する。従って、本明細書には明らかに記載されていないが、本開示内容の原理を体現し本開示内容の精神及び範囲内に属する多いシステム及び方法は、当業者にとって想到し得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】