特表 2021-519534 画像を符号化及び復号する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-519534(P2021-519534A)

(43)【公表日】2021年8月10日

(54)【発明の名称】画像を符号化及び復号する方法及び装置

(51)【国際特許分類】

   H04N 19/105 20140101AFI20210712BHJP

   H04N 19/573 20140101ALI20210712BHJP

   H04N 19/176 20140101ALI20210712BHJP

【ＦＩ】

   H04N19/105

   H04N19/573

   H04N19/176

【審査請求】未請求

【予備審査請求】未請求

【全頁数】24

(21)【出願番号】特願2020-551820(P2020-551820)

(86)(22)【出願日】2019年3月19日

(85)【翻訳文提出日】2020年11月10日

(86)【国際出願番号】US2019022894

(87)【国際公開番号】WO2019199418

(87)【国際公開日】20191017

(31)【優先権主張番号】18305457.6

(32)【優先日】2018年4月13日

(33)【優先権主張国】EP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ポワリエ，タンギ

(72)【発明者】

【氏名】ボルデ，フィリップ

(72)【発明者】

【氏名】アーバン，ファブリス

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA12

5C159MA19

5C159PP16

5C159TA25

5C159TB08

5C159TC03

5C159TC42

5C159TD02

5C159TD05

5C159UA02

5C159UA05

(57)【要約】

画像ブロックを符号化する方法を開示する。第１の基準イメージにおける動き補償された第１の基準ブロックのサンプル値と、第２の基準イメージにおける動き補償された第２の基準ブロックのサンプル値との加重和として、予測子が決定される。次いで、画像ブロック及び予測子から決定される残差ブロックが、ビットストリームにおいて符号化される。有利には、加重和の重みは、画像ブロックに隣接する復元されたサンプルと、第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。
【選択図】図５

【特許請求の範囲】

【請求項1】

画像ブロックを符合化する方法であって、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定することと、
−前記画像ブロックと前記予測子から決定された残差ブロックを符号化することと
を含み、
前記加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記動き補償された第１及び第２の基準ブロックに隣接する復元されたサンプルとの間の差を最小化することによって単一のステップで決定される、方法。

【請求項2】

画像ブロックを符合化するための符号化装置であって、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定することと、
−前記画像ブロックと前記予測子から決定された残差ブロックを符号化することと
を実行するように構成された、１つ又は複数のプロセッサを備え、
前記加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記動き補償された第１及び第２の基準ブロックに隣接する復元されたサンプルとの間の差を最小化することによって単一のステップで決定される、符号化装置。

【請求項3】

前記画像ブロックに隣接する前記復元されたサンプルがＬ字形を形成し、前記動き補償された第１の基準ブロックに隣接する前記復元されたサンプルがＬ字形を形成し、前記動き補償された第２の基準ブロックに隣接する前記復元されたサンプルがＬ字形を形成する、請求項１に記載の方法又は請求項２に記載の装置。

【請求項4】

前記加重和がさらに右にシフトされ、シフトＳは、前記重みが１／（ｌ＜＜Ｓ）に近い精度で整数値となるように決定される、請求項１及び請求項３のいずれか一項に記載の方法、又は請求項２〜３のいずれか一項に記載の装置。

【請求項5】

前記重み及び／又は前記シフトを決定することが、１組の定義された値から前記重み及び前記シフトを選択することを含む、請求項１及び請求項３〜４のいずれか一項に記載の方法、又は請求項２〜４のいずれか一項に記載の装置。

【請求項6】

前記重み及び／又は前記シフトを決定することが、前記差の最小２乗最小化、並びに前記最小２乗最小化によって得られる値から最も近い値の１組の定義された値から前記重み及び前記シフトを選択することを含む、請求項１及び請求項３〜４のいずれか一項に記載の方法、又は請求項２〜４のいずれか一項に記載の装置。

【請求項7】

前記重み及び／又は前記シフトを決定することが、１組の定義された重み及びシフト値を用いて得られる差を計算することと、最も小さい差に対応する前記重み及び前記シフトを選択することとを含む、請求項１及び請求項３〜４のいずれか一項に記載の方法、又は請求項２〜４のいずれか一項に記載の装置。

【請求項8】

画像ブロックを復号する方法であって、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定することと、
−前記予測子及び残差ブロックから前記画像ブロックを復号することと
を含み、
前記加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記動き補償された第１及び第２の基準ブロックに隣接する復元されたサンプルとの間の差を最小化することによって単一のステップで決定される、方法。

【請求項9】

画像ブロックを復号するための復号装置であって、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定することと、
−前記予測子及び残差ブロックから前記画像ブロックを復号することと
を実行するように構成された、１つ又は複数のプロセッサを備え、
前記加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記動き補償された第１及び第２の基準ブロックに隣接する復元されたサンプルとの間の差を最小化することによって単一のステップで決定される、復号装置。

【請求項10】

前記画像ブロックに隣接する前記復元されたサンプルがＬ字形を形成し、前記動き補償された第１の基準ブロックに隣接する前記復元されたサンプルがＬ字形を形成し、前記動き補償された第２の基準ブロックに隣接する前記復元されたサンプルがＬ字形を形成する、請求項８に記載の方法又は請求項９に記載の装置。

【請求項11】

前記加重和がさらに右にシフトされ、シフトＳは、前記重みが１／（ｌ＜＜Ｓ）に近い精度で整数値となるように決定される、請求項８及び請求項１０のいずれか一項に記載の方法、又は請求項９〜１０のいずれか一項に記載の装置。

【請求項12】

前記重み及び／又は前記シフトを決定することが、１組の定義された値から前記重み及び前記シフトを選択することを含む、請求項８及び請求項１０〜１１のいずれか一項に記載の方法、又は請求項９〜１１のいずれか一項に記載の装置。

【請求項13】

前記重み及び／又は前記シフトを決定することが、前記差の最小２乗最小化、並びに前記最小２乗最小化によって得られる値から最も近い値の１組の定義された値から前記重み及び前記シフトを選択することを含む、請求項８及び請求項１０〜１１のいずれか一項に記載の方法、又は請求項９〜１１のいずれか一項に記載の装置。

【請求項14】

前記重み及び／又は前記シフトを決定することが、１組の定義された重み及びシフト値を用いて得られる差を計算することと、最も小さい差に対応する前記重み及び前記シフトを選択することとを含む、請求項８及び請求項１０〜１１のいずれか一項に記載の方法、又は請求項９〜１１のいずれか一項に記載の装置。

【請求項15】

請求項１及び請求項３〜７のいずれか一項に記載の方法、又は請求項２〜７のいずれか一項に記載の装置によって生成される、画像のブロックを表す符号化されたデータを含むようにフォーマットされたビットストリーム。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本実施形態は一般に、画像の符号化及び復号のための方法及び装置に関し、より詳細には、照明の補償及び双予測を用いる画像の符号化及び復号のための方法及び装置に関する。

【背景技術】

【0002】

背景技術
高い圧縮効率を実現するために、イメージ符号化及びビデオ符号化の仕組みは通常、予測及び変換を利用して動画コンテンツでの空間冗長性及び時間冗長性を活用する。一般に、イントラ予測又はインター予測を使用して、イントラ・フレーム相関又はインター・フレーム相関を利用し、次いで、しばしば予測誤差、予測残差、又は予測子で表される、元のイメージ・ブロックと予測イメージ・ブロックとの間の差が変換され、量子化され、エントロピー符号化される。符号化中、元のイメージ・ブロックは通常、場合によっては４分木分割を使用してサブブロックに分割／分離される。ビデオを復元するために、圧縮データは、予測、変換、量子化、及びエントロピー符号化に対応する逆プロセスによって復号される。

【発明の概要】

【0003】

概要
画像ブロックを符号化する方法を開示する。この方法は、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定することと、
−画像ブロックと予測子から決定される残差ブロックを符号化することと
を含み、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0004】

機械読取り可能な媒体が開示される。この機械読取り可能な媒体は、実行されると、画像ブロックを符号化する方法を実施する機械実行可能な命令を内部に記憶しており、この方法は、
−第１の基準イメージにおける動き補償された第１の基準ブロックのサンプル値と、第２の基準イメージにおける動き補償された第２の基準ブロックのサンプル値の加重和として予測子を決定することと、
−画像ブロック及び予測子から決定される残差ブロックを符号化することと
を含み、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0005】

画像ブロックを符号化するための符号化装置を開示する。この符号化装置は、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定するための手段と、
−画像ブロックと予測子から決定される残差ブロックを符号化するための手段と
を備え、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0006】

符号化装置を開示する。この符号化装置は、少なくとも画像ブロックにアクセスするように構成された通信インターフェースと、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定し、
−アクセスされた画像ブロックと予測子から決定された残差ブロックを符号化する
ように構成された少なくとも１つのプロセッサとを備え、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0007】

ビットストリームも開示する。このビットストリームは、画像のブロックを示す符号化されたデータを含むようにフォーマットされ、この符号化されたデータは、前述の各実施形態のうちの１つによる符号化方法に従って符号化される。持続的なプロセッサ読取り可能な媒体が、このビットストリームを記憶する。

【0008】

有利には、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接する復元されたサンプルとが、Ｌ字形を形成する。

【0009】

一実施形態では、加重和がさらに右にシフトされ、このシフトＳは、重みが１／（ｌ＜＜Ｓ）に近い精度で整数値となるように決定される。

【0010】

一実施形態では、重み及び／又はシフトを決定することは、１組の定義された値から重み及びシフトを選択することを含む。

【0011】

一実施形態では、重み及び／又はシフトを決定することは、誤差の最小２乗最小化、並びにこの最小２乗最小化によって得られる値から最も近い値の１組の定義された値から重み及びシフトを選択することを含む。

【0012】

一実施形態では、重み及び／又はシフトを決定することは、１組の定義された重み及びシフトの値で得られる誤差を計算すること、並びに最小誤差に対応する重み及びシフトを選択することを含む。

【0013】

画像ブロックを復号する方法は、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定することと、
−予測子と残差ブロックから画像ブロックを復号することと
を含み、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0014】

機械読取り可能な媒体を開示する。この機械読取り可能な媒体は、実行されると、画像ブロックを復号する方法を実施する機械実行可能命令を記憶しており、この方法は、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定することと、
−予測子と残差ブロックから画像ブロックを復号することと
を含み、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0015】

画像ブロックを復号するための復号装置を開示する。この復号装置は、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定するための手段と、
−予測子と残差ブロックから画像ブロックを復号するための手段と
を備え、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0016】

復号装置も開示する。この復号装置は、少なくともストリームにアクセスするように構成された通信インターフェースと、
−第１の基準イメージにおける動き補償された第１の基準ブロックと、第２の基準イメージにおける動き補償された第２の基準ブロックとのサンプル値の加重和として予測子を決定し、
−予測子及び残差ブロックから画像ブロックを復号し、アクセスされたストリームから前記残差が復号されるように構成された少なくとも１つのプロセッサとを備え、
加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差を最小化することによって決定される。

【0017】

有利には、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接する復元されたサンプルとが、Ｌ字形を形成する。

【0018】

一実施形態では、加重和がさらに右にシフトされ、このシフトＳは、重みが１／（１＜＜Ｓ）に近い精度で整数値となるように決定される。

【0019】

一実施形態では、重み及び／又はシフトを決定することは、１組の定義された値から重み及びシフトを選択することを含む。

【0020】

一実施形態では、重み及び／又はシフトを決定することは、誤差の最小２乗最小化、並びにこの最小２乗最小化によって得られる値から最も近い値の１組の定義された値から重み及びシフトを選択することを含む。

【0021】

一実施形態では、重み及び／又はシフトを決定することは、１組の定義された重み及びシフトの値で得られる誤差を計算すること、並びに最小誤差に対応する重み及びシフトを選択することを含む。

【図面の簡単な説明】

【0022】

図面の簡単な説明

【図1】特定の非限定的な実施形態によってビットストリームでの画像を符号化するように構成された、送信機の例示的なアーキテクチャを示す。

【図2】図５及び図６を参照して説明する符号化方法を実行するように構成された、例示的なビデオ符号器を示す。

【図3】従来技術による双予測及び照明補償を使用して予測子を導出する方法の流れ図を示す。

【図4】従来技術による照明補償パラメータを導出するのに使用されるＬ字形の一例を示す。

【図5】特定の非限定的な実施形態によってビットストリームでの画像ブロックを符号化する方法の流れ図を示す。

【図6】特定の非限定的な実施形態によって双予測及び照明補償を使用して予測子を導出するための流れ図を示す。

【図7】特定の非限定的な実施形態によって、ビットストリームから画像を復号して、復号された画像を得るように構成された受信機の例示的なアーキテクチャを示す。

【図8】図６及び図９の方法を参照して説明する復号方法を実行するように構成された、例示的なビデオ復号器のブロック図を示す。

【図9】特定の非限定的な実施形態によってビットストリームから画像を復号する方法の流れ図を示す。

【発明を実施するための形態】

【0023】

詳細な説明
各図及び各説明は、本発明の実施形態を明確に理解するのに関連した各要素を例示するように簡略化されてきており、明確にするために、典型的な符号化装置及び／又は復号装置に見られる他の多くの要素を排除していることを理解されたい。第１や第２などの用語は、様々な要素を説明するために本明細書で使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことを理解されよう。これらの用語はもっぱら、ある要素と別の要素を区別するために使用される。

【0024】

様々な方法が以下に述べられており、こうした方法のそれぞれが、その説明された方法を実現するための、１つ又は複数のステップ又は動作を含む。方法を適切に動作させるために各ステップ又は各動作の特定の順序が必要とされない限り、特定のステップ及び／又は動作の順序及び／又は使用を修正してもよく、又は組み合わせてもよい。

【0025】

本発明の原理の「１つの実施形態」又は「一実施形態」並びに本発明の原理の他の変形形態への言及は、この実施形態に関連して説明される特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、「１つの実施形態において」若しくは「一実施形態において」、又は「１つの実装形態において」若しくは「一実装形態において」、並びに他の任意の変形形態の表現が明細書全体を通して様々な場所に現れても、それは必ずしもすべてが同じ実施形態を指しているのではない。

【0026】

たとえば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、並びに「Ａ及びＢのうちの少なくとも１つ」の場合、以下の「／」、「及び／又は」、「のうちの少なくとも１つ」、並びに「Ａ、Ｂ、及びＣのうちの１つ又は複数」のいずれかを使用することが、リストに記載された第１の選択肢（Ａ）のみの選択、若しくは記載された第２の選択肢（Ｂ）のみの選択、又はその両方の選択肢（Ａ及びＢ）の選択を包含するものであることを理解されたい。さらなる例として、「Ａ、Ｂ、及び／又はＣ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、そうした表現は、リストに記載された第１の選択肢（Ａ）のみの選択、又はリストに記載された第２の選択肢（Ｂ）のみの選択、又はリストに記載された第３の選択肢（Ｃ）のみの選択、又はリストに記載された第１及び第２の選択肢（Ａ及びＢ）のみの選択、又はリストに記載された第１及び第３の選択肢（Ａ及びＣ）のみの選択、又はリストに記載された第２及び第３の選択肢（Ｂ及びＣ）のみの選択、又は３つすべての選択肢（Ａ及びＢ及びＣ）の選択を包含するものである。これは、この技術及び関連技術での当業者には容易に明らかとなるように、リストに記載されている項目の数だけ拡張してもよい。

【0027】

画像は、モノクローム・フォーマットでの輝度サンプルの１つの配列、又は輝度サンプルの１つの配列と、４：２：０、４：２：２、及び４：４：４のカラー・フォーマットでの色度サンプルの対応する２つの配列（又は、ＲＧＢなどの３色のカラー・サンプルの３つの配列）とである。一般に、「ブロック」は、サンプル配列内の特定の区域（たとえば、輝度Ｙ）を扱い、「ユニット」は、あらゆる色成分（輝度Ｙと場合によっては色度Ｃｂ及び色度Ｃｒ）の連結ブロックを含む。スライスは、ＨＥＶＣ符号化ツリー・ユニット又はＨ．２６４マクロブロック・ユニットなど、整数の基本符号化ユニットである。スライスは、全体像、並びにその一部分から構成されてもよい。各スライスは、１つ又は複数のスライス・セグメントを含んでもよい。タイルは、スライス又は画像内の正方形又は長方形の領域においてグループ化された、整数の基本符号化ユニットである。

【0028】

以下では、「復元された」及び「復号された」という用語は、区別なく使用することができる。通常、ただし必ずしもそうではないが、符号器側では「復元された」が使用され、復号器側では「復号された」が使用される。「復号された」又は「復元された」という用語は、ビットストリームが部分的に「復号された」又は「復元された」ことを意味してもよく、たとえば、非ブロック化フィルタリングの後、ただしＳＡＯフィルタリングの前に得られる信号、及び復元されたサンプルは、表示用に使用される最終の復号された出力とは異なっていてもよいことに留意されたい。また、「イメージ」、「画像」、及び「フレーム」という用語を区別なく使用してもよい。

【0029】

ＨＥＶＣ規格について様々な実施形態を説明している。しかし、この実施形態は、ＨＥＶＣに限定されることなく、Format Range（ＲＥｘｔ）、Scalability（ＳＨＶＣ）、Multi-View（ＭＶ−ＨＥＶＣ）拡張、及び将来のビデオ符号化規格、たとえば、Joint Video Experts Team（ＪＶＥＴ）によって開発される規格のような、たとえばＨＥＶＣ又はＨＥＶＣ拡張を含む、他の規格、勧告、及びその拡張に適用することができる。画像ブロックの符号化／復号について様々な実施形態を説明する。こうした実施形態は、画像全体又は画像のシーケンス全体を符号化／復号するのに適用されてもよい。

【0030】

図１には、特定の非限定的な実施形態によってビットストリームでの画像を符号化するように構成された、送信機１０００の例示的なアーキテクチャが示してある。

【0031】

送信機１０００は、内部メモリ１０３０（たとえば、ＲＡＭ、ＲＯＭ、及び／又はＥＰＲＯＭ）とともに、たとえば、ＣＰＵ、ＧＰＵ、及び／又はＤＳＰ（Digital Signal Processorの英語の頭辞語）を備えることもできる、１つ又は複数のプロセッサ１００５を備える。送信機１０００は、出力情報を表示し、及び／又はユーザがコマンド及び／又はデータを入力できるようにそれぞれが構成された１つ若しくは複数の通信インターフェース１０１０（たとえば、キーボード、マウス、タッチパッド、ウェブカメラ）と、送信機１０００の外部にあってもよい電源１０２０とを備える。送信機１０００はまた、１つ又は複数のネットワーク・インターフェース（図示せず）を備えてもよい。符号器モジュール１０４０は、符号化機能を実行するために装置に備えてもよいモジュールを表す。さらに、符号器モジュール１０４０は、送信機１０００の別々の要素として実装してもよく、又は当業者に知られているハードウェアとソフトウェアの組合せとしてプロセッサ１００５内に組み込んでもよい。

【0032】

画像は、ソースから得ることができる。様々な実施形態によれば、このソースは、以下のようなものとすることができるが、それだけに限定されるものではない。
−ローカル・メモリ、たとえば、ビデオ・メモリ、ＲＡＭ、フラッシュ・メモリ、ハード・ディスク、
−記憶装置インターフェース、たとえば、大容量記憶装置、ＲＯＭ、光ディスク、又は磁気支持装置とのインターフェース、
−通信インターフェース、たとえば、有線インターフェース（たとえば、バス・インターフェース、広域ネットワーク・インターフェース、ローカル・エリア・ネットワーク・インターフェース）、又は無線インターフェース（IEEE 802.11インターフェース、若しくはBluetoothインターフェースなど）、及び
−画像キャプチャ回路（たとえば、ＣＣＤ（すなわち電荷結合デバイス）若しくはＣＯＭＳ（すなわち相補型金属酸化膜半導体）などのセンサ）。

【0033】

様々な実施形態によれば、ビットストリームが、宛先に送信されてもよい。一例として、ビットストリームは、遠隔メモリ又はローカル・メモリ、たとえば、ビデオ・メモリ若しくはＲＡＭ、ハード・ディスク内に記憶される。一変形形態では、このビットストリームは、記憶装置インターフェース、たとえば、大容量記憶装置、ＲＯＭ、フラッシュ・メモリ、光ディスク、又は磁気支持装置を備えたインターフェースに送信され、及び／又は、通信インターフェース、たとえば、ポイントツーポイント・リンク、コミュニケーション・バス、ポイントツーマルチポイント・リンク、又はブロードキャスト・ネットワークへのインターフェースにわたって伝送される。例示的で非限定的な実施形態によれば、送信機１０００はさらに、メモリ１０３０に記憶されたコンピュータ・プログラムを含む。このコンピュータ・プログラムは、送信機１０００によって、具体的にはプロセッサ１００５によって実行されると、図５及び図６を参照して説明する符号化方法を送信機１０００が実行できるようにする命令を含む。一変形形態によれば、このコンピュータ・プログラムは、送信機１０００の外部で、持続的なデジタル・データ支持体、たとえば、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、リードオンリ及び／又はＤＶＤのドライブ、及び／又はＤＶＤ読取り／書込みドライブなどの外部記憶媒体に記憶されており、これらはすべて当技術分野で知られている。したがって、送信機１０００は、コンピュータ・プログラムを読み取る機構を備える。さらに、送信機１０００は、対応するＵＳＢポート（図示せず）を介して、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）タイプの記憶装置（たとえば、「メモリ・スティック」）にアクセスすることもできる。

【0034】

例示的で非限定的な実施形態によれば、送信機１０００は、以下のようなものとすることができるが、それだけに限定されるものではない。
−モバイル装置、
−通信装置、
−ゲーム装置、
−タブレット（又はタブレット・コンピュータ）、
−ラップトップ、
−静止画像カメラ、
−ビデオ・カメラ、
−符号化チップ又は符号化装置／機器、
−静止画像サーバ、及び
−ビデオ・サーバ（たとえば、放送用サーバ、ビデオオンデマンド・サーバ、又はウェブ・サーバ）。

【0035】

図２には、図５及び図６を参照して説明する符号化方法を実行するように構成された、例示的なビデオ符号器１００、たとえば、ＨＥＶＣタイプの符号器が示してある。符号器１００は、送信機１０００、又はこのような送信機１０００の一部分の一例である。

【0036】

符号化するには、画像は通常、基本符号化ユニット、たとえば、ＨＥＶＣでの符号化ツリー・ユニット（ＣＴＵ）又はＨ．２６４でのマクロブロック・ユニットに分割される。場合によっては連続した１組の基本符号化ユニットが、スライスにグループ化される。基本符号化ユニットは、あらゆる色成分の基本符号化ブロックを含む。ＨＥＶＣでは、最小の符号化ツリー・ブロック（ＣＴＢ）のサイズ１６×１６が、これまでのビデオ符号化規格で使用されているマクロブロックのサイズに対応する。符号化方法／復号方法及び符号化機器／復号機器を説明するために、本明細書においてはＣＴＵ及びＣＴＢという用語が使用されるが、こうした方法及び機器は、Ｈ．２６４など他の規格では別の用語（たとえばマクロブロック）で表現されることがある、こうした特定の用語によって限定されるべきでないことが理解されよう。

【0037】

ＨＥＶＣ符号化では、画像は、典型的には６４×６４、１２８×１２８、又は２５６×２５６といった構成可能なサイズでの正方形状のＣＴＵに分割される。ＣＴＵは、サイズが同じであり、すなわち幅と高さが親ブロックのサイズの半分になる４つの正方形の符号化ユニット（ＣＵ）に４分木分割されるルートである。４分木は、親ノードを４つの子ノードに分割することができる木であり、子ノードのそれぞれは、４つの子ノードへの別の分割での親ノードになる場合がある。ＨＥＶＣでは、符号化ブロック（ＣＢ）は、１つ又は複数の予測ブロック（ＰＢ）に分割され、変換ブロック（ＴＢ）への４分木分割のルートを形成する。符号化ブロック、予測ブロック、及び変換ブロックに対応して、符号化ユニット（ＣＵ）は、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）のツリー構造セットを含み、ＰＵはすべての色成分についての予測情報を含み、ＴＵは、各色成分についての残差符号化シンタックス構造を含む。輝度成分のＣＢ、ＰＢ、及びＴＢのサイズは、対応するＣＵ、ＰＵ、及びＴＵに当てはまる。

【0038】

さらに最近の符号化システムでは、ＣＴＵは、符号化ユニット（ＣＵ）への符号化ツリー分割のルートである。符号化ツリーは、親ノード（通常はＣＵに対応する）を子ノード（たとえば、２つ、３つ、又は４つの子ノード）に分割することができるツリーであり、子ノードのそれぞれは、子ノードへの別の分割での親ノードになる場合がある。４分木分割モードに加えて、実現可能な分割モードの総数を増大させる、新規の分割モード（２分木対称分割モード、２分木非対称分割モード、３分木分割モード）も定義される。符合化ツリーは、固有のルート・ノード、たとえばＣＴＵを有する。符合化ツリーの葉は、ツリーの終端ノードである。符号化ツリーの各ノードは、サブＣＵ又はより一般にはサブブロックとも呼ばれる、より小さいＣＵにさらに分割されてもよいＣＵを示す。ＣＴＵの各ＣＵへの分割が決定すると、符号化ツリーの各葉に対応するＣＵが符号化される。ＣＴＵのＣＵへの分割と、各ＣＵを符号化するのに使用される符号化パラメータ（符号化ツリーの葉に対応する）が、速度ひずみ最適化手順を介して、符号器側において決定されてもよい。ＣＢをＰＢ及びＴＢに分割することはなく、すなわち、ＣＵは単一のＰＵ及び単一のＴＵから作成される。

【0039】

以下では、「ブロック」又は「画像ブロック」という用語を、ＣＴＵ、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、及びＴＢのいずれか１つを指すのに使用することができる。さらに、「ブロック」又は「画像ブロック」という用語を使用して、Ｈ．２６４／ＡＶＣ又は他のビデオ符号化規格に指定されているように、マクロブロック、パーティション、及びサブブロックを指すこともでき、より一般には、数多くのサイズの一連のサンプルを指すこともできる。

【0040】

図２に戻ると、例示的な符号器１００では、以下に述べるような符号器要素によって画像が符号化される。符号化される画像は、ＣＵのユニットで処理される。各ＣＵは、イントラ・モード又はインター・モードのいずれかを使用して符号化される。ＣＵがイントラ・モードで符号化されるとき、イントラ予測（１６０）を実行する。インター・モードでは、動きの推定（１７５）及び補償（１７０）が実行される。動き情報（すなわち、動きベクトル及び基準インデックス）は、２つの方法、すなわち「高度動きベクトル予測（ＡＭＶＰ）」及び「マージ・モード」で信号伝送することができる。ＡＭＶＰでは、既に符号化されたブロックから決定される動きベクトルに基づいて、ビデオ符号器又はビデオ復号器が候補リストを組み立てる。次いで、ビデオ符号器は、候補リストにインデックスを信号伝送して、動きベクトル予測子（ＭＶＰ）を識別し、動きベクトル差分（ＭＶＤ）を信号伝送する。復号器側では、動きベクトル（ＭＶ）が、ＭＶＰ＋ＭＶＤとして復元される。

【0041】

マージ・モードでは、ビデオ符号器又はビデオ復号器が、既に符号化されたブロックに基づいて候補リストを組み立て、ビデオ符号器が、この候補リスト内の候補のうちの１つについてのインデックスを信号伝送する。復号器側では、信号伝送された候補に基づいて、動きベクトル及び基準画像インデックスが復元される。

【0042】

符号器は、ＣＵを符号化するのにイントラ・モード又はインター・モードのうちいずれを使用するかを決定し（１０５）、予測モード・フラグによってイントラ／インターの決定を示す。元の画像ブロックから予測されたブロック（別名は予測子）を減算すること（１１０）によって、残差が計算される。

【0043】

たとえば、同じスライス内での復元された隣接サンプルから、イントラ・モードでのＣＵが予測される。基準画像バッファ（１８０）に記憶された基準画像の復元されたサンプルから、インター・モードでのＣＵが予測される。インター・モードでは、双予測が、復元された２つの基準ブロックの動き補償（１７０）を介して得られる２つの予測値ｐｒｅｄ０及びｐｒｅｄ１を組み合わせる。
Ｂｉ−ｐｒｅｄ＝ｗ_０＊ｐｒｅｄ_０＋ｗ_１＊ｐｒｅｄ_１ （１）

【0044】

さらに、双予測は、ブロックベースの照明補償（ＩＣ）と組み合わせてもよい。ＩＣにより、空間的又は時間的な局所的照明変化を考慮することによって、動き補償（ＭＣ）を使用して得られるブロック予測サンプルを補正することができる。この場合、現在のブロックについてフラグ（ＩＣフラグ）が符号化されて、ＩＣ補正を適用すべきかどうかを示す。このＩＣフラグは、符号化されず、たとえば、現在のブロックが、隣接する１つの復元されたブロックからパラメータを継承する場合には（マージ・モード）、隣接する復元されたブロックから導出されてもよい。

【0045】

残差は、変換され（１２５）、量子化される（１３０）。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素がエントロピー符号化されて（１４５）、ビットストリームを出力する。符号器はまた、変換をスキップし、又は変換と量子化の両方を迂回してもよく、すなわち、変換プロセス又は量子化プロセスを適用することなく、残差が直接に符号化される。直接ＰＣＭ符号化では、予測が適用されず、符号化ユニット・サンプルが、直接ビットストリームに符号化される。

【0046】

符号器は、復号ループを含み、したがって符号化されたブロックを復号して、さらなる予測のための基準を提供する。量子化された変換係数を逆量子化し（１４０）、逆変換して（１５０）残差を復号する。画像ブロックは、復号された残差と予測されたブロックを組み合わせること（１５５）によって復元される。復元された画像にインループ・フィルタ（１６５）を適用して、符号化アーティファクトを低減するために、たとえば、非ブロック化／ＳＡＯ（サンプル適応オフセット）フィルタリングを実行する。フィルタリングされた画像は、基準画像バッファ（１８０）に記憶されてもよく、他の画像用の基準として使用されてもよい。

【0047】

図３には、従来技術による双予測及び照明補償を使用して予測子を導出する方法の流れ図が示してある。

【0048】

照明補償
インター・モードでは、ＩＣにより、空間的又は時間的な局所的照明変化を考慮することによって、ＭＣを使用して得られるブロック予測サンプルを補正することができる。通常、図４に示すように、現在のブロックに対する復元された隣接サンプル（Ｌ−ｓｈａｐｅ−ｃｕｒ）の集合Ｓ_ｃｕｒと、基準ｉブロック（ｉ＝０又は１）に対応する隣接サンプル（Ｌ−ｓｈａｐｅ−ｒｅｆ−ｉ）の集合Ｓ_{ｒｅｆ−ｉ}とを比較することによって、ＩＣパラメータが決定される（Ｓ３０６、Ｓ３０８）。復元された隣接サンプル（この文書ではＬ字形とも呼ばれる）の集合の一例が図４に示してある。この例では、Ｌ字形は、上のサンプルの１行と、現在又は基準のブロックに残されたサンプルの１列とで構成される。別の例では、Ｌ字形は、上のサンプルの１行のみ、又は残されたサンプルの１列のみ、若しくは残されたサンプルの２列などで構成されてもよい。

【0049】

Ｌ−ｓｈａｐｅ−ｃｕｒでのサンプルと、ＩＣパラメータで補正されたＬ−ｓｈａｐｅ−ｒｅｆ−ｉのサンプルとの間の差を（たとえば、最小２乗法を使用して）最小化することによって、ステップＳ３０６及びＳ３０８において、ＩＣパラメータ（ａ_ｉ、ｂ_ｉ）が計算される。通常、ＩＣモデルは線形である。すなわち、ＩＣ（ｘ）＝ａ．ｘ＋ｂであり、ここで、ｘは補償するサンプルの値である。パラメータ（ａｉ、ｂｉ）は、Ｌ字形での最小２乗最小化を解くことによって決定される。

【数1】

【0050】

最後に、ａ_ｉが整数の重み（ａ_ｉ）及びシフト（ｓｈ_ｉ）に変換され、ＩＣパラメータ（Ｓ３１４及びＳ３１６）によってｐｒｅｄ_ｉが補正されて、以下のようにｐｒｅｄＩｃ_ｉを得る。
ＰｒｅｄＩｃ_ｉ＝（ａ_ｉ＊ｘ_ｉ＞＞ｓｈ_ｉ）＋ｂ_ｉ （３）
ここで、ｘｉは、ステップＳ３１０又はＳ３１２において決定される動き補償されたブロック（ｐｒｅｄ_ｉ）のサンプルであり、「＞＞」は右シフト演算子である。

【0051】

ＩＣパラメータ（ａ_０、ｂ_０）及び（ａ_１、ｂ_１）は、互いに独立して導出される。（ａ０、ｂ０）はＬ−ｓｈａｐｅ−ｒｅｆ０から導出され（Ｓ３０６）、（ａ１、ｂ１）はＬ−ｓｈａｐｅ−ｒｅｆ１から導出される（Ｓ３０８）。

【0052】

双予測
次いで、予測子ｐｒｅｄ０（又は、ＩＣがｒｅｆ０で有効になっている場合はｐｒｅｄＩｃ０）及びｐｒｅｄ１（又は、ＩＣがｒｅｆ１で有効になっている場合はｐｒｅｄＩｃ１）が組み合わされて、単一の予測子Ｂｉ−ｐｒｅｄになる（Ｓ３１８）。従来より、この組合せは、重みｗ０＝ｗ１＝１／２で２つの予測値を平均化することにある。より一般には、以下のように、２つの予測子ｐｒｅｄ０とｐｒｅｄ１は、単一の予測子に組み合わされる。
Ｂｉ−ｐｒｅｄ＝（ｗ_０＊ｐｒｅｄ_０＋ｗ_１＊ｐｒｅｄ_１＋ｏｆｆ）＞＞ｓｈｉｆｔ （４）

【0053】

一変形形態では、この重みｗ０とｗ１は互いに異なる。一例として、ｗ０はｗに等しくてもよく、ｗ１は（ｌ−ｗ）に等しくてもよく、既定の重み値ｗが表１にリスト表示されている。重み値に対応するインデックスは、各ブロックでのビットストリーム内に符号化されてもよい。

【0054】

【表1】

【0055】

この重みはまた、「重み付け予測」（ＷＰ）ツールとしても知られる大域照明補償から導出されてもよい。この場合、各重みは符号器によって決定され、スライス全体において一定である。これらは、ビットストリームで伝送されてもよい。しかし、ＷＰツールはＩＣツールと重複しており、したがって、ＷＰとＩＣの両方をアクティブにするのは一般に逆効果である。

【0056】

ビットストリームにおいては、現在のスライス、画像、又はシーケンスにおいてＩＣが有効になっている場合、このブロックにおいてＩＣが有効になっているかどうかを示すために、ブロックごとに１つのＩＣフラグが符号化されてもよい。これはまた、マージ・モードの場合など、復元された隣接ブロックから導出することが可能である。双予測でＩＣが有効になっている場合、それぞれＳ３１４及びＳ３１６において、各基準０及び１について、２つの式（３）が独立して計算される。その結果は、ステップＳ３１８において、次式のように（４）と組み合わされる。
Ｂｉ−Ｐｒｅｄ＝（ｗ０＊（ａ０＊ｘ０＞＞ｓｈ０＋ｂ０）＋ｗ１＊（ａ１＊ｘ１＞＞ｓｈ１＋ｂ１）＋ｏｆｆ）＞＞ｓｈｉｆｔ （５）

【0057】

いくつかのシフトをカスケードにすると、精度が不足することにつながり、演算の数とメモリ帯域幅の両方が増加する場合がある。一般化された双予測の場合、符号器は、あらゆる重みを検査し、たとえばＲＤコスト（レート歪みコスト）の判定基準を使用して、最適な重みを選択しなければならない。これにより、符号器が著しく速度低下することがある。

【0058】

図５には、特定の非限定的な実施形態によってビットストリームでの画像ブロックを符号化する方法の流れ図が示してある。

【0059】

この方法は、ステップＳ５００から始まる。ステップＳ５１０において、送信機１０００、たとえば符号器１００などが、画像スライスのブロックにアクセスする。ステップＳ５２０において、アクセスされたブロックについて予測子が決定される。第１の基準イメージにおける動き補償された第１の基準ブロック（ｐｒｅｄ０）と、第２の基準イメージにおける動き補償された第２の基準ブロック（ｐｒｅｄ１）とのサンプル値の加重和として予測子が決定され、この加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差、すなわち差を最小化することによって決定される。加重和を得ることは、オフセットを追加することを含む場合がある。ステップＳ５２０の具体的な実施形態が、図６に詳しく示してある。

【0060】

ステップＳ５３０において、アクセスされたブロックを送信機が符号化する。ブロックを符号化することは通常、ただし必ずしもそうではないが、そのブロックから予測子を減算して、残差のブロックを得ることと、残差のブロックを変換係数のブロックに変換することと、係数のブロックを量子化ステップ・サイズＱＰで量子化して、変換係数の量子化されたブロックを得ることと、変換係数の量子化されたブロックをビットストリームにおいてエントロピー符号化することとを含む。符号器側でのブロックを復元することは通常、ただし必ずしもそうではないが、変換係数の量子化されたブロックを逆量子化し、逆変換して残差のブロックを得ることと、残差のブロックに予測子を加算して、復号されたブロックを得ることとを含む。この方法は、ステップＳ５４０で終了する。

【0061】

図６には、特定の非限定的な実施形態によって双予測及び照明補償を使用して予測子を導出するための流れ図が示してある。ステップＳ６００において、動き補償された基準ブロックｒｅｆ０が得られる。これは、ｐｒｅｄ０と表される。ステップＳ６０２において、動き補償された基準ブロックｒｅｆ１が得られる。これは、ｐｒｅｄ１と表される。ステップＳ６０４において、組み合わされたＩＣと双予測の重みＡ０、Ａ１、Ｂ、及びＳが決定される。値Ａ’０、Ａ’１、Ｂ’、及びＳは、現在のブロックのＬ字形を使用して、符号器（及び復号器）によって直接決定される。一例として、Ａ’０、Ａ’１、Ｂ’、及びＳは、最小２乗法を使用して決定されて、２次誤差を最小化する（７）。

【数2】

【0062】

Ａ_０、Ａ_１、Ｂが所望の精度Ｐで整数となるように、シフトＳの値が調整される。たとえば、Ｐ≒１／（１−＜＜Ｓ）の場合（小数部ではＳビットでの固定小数点演算と同等である）、
Ａ_０＝Ｅ（Ａ’_０＊（１＜＜Ｓ））
Ａ_１＝Ｅ（Ａ’_１＊（１＜＜Ｓ））
Ｂ＝Ｅ（Ｂ’＊（１＜＜Ｓ））
Ｅ（ｘ）は、ｘの整数部を表す。

【0063】

以下の条件が真であるとき、Ｓを繰り返し低減することができる。
｜Ａ’_０−（Ａ_０＞＞Ｓ）｜≦Ｐ
｜Ａ’_１−（Ａ_１＞＞Ｓ）｜≦Ｐ
｜Ｂ’−（Ｂ＞＞Ｓ）｜≦Ｐ

【0064】

一変形形態では、既定値Ａ_０、Ａ_１、Ｂ、及びＳのみが検査され（たとえば、表１の重み値）、最小の２次誤差（７）に対応するパラメータ（Ａ’_０、Ａ’_１、Ｂ’、及びＳ）が保持される。この後者の場合、最小２乗の方法は使用されない。表１の重み値は、ビットストリーム中で（たとえば、ＳＰＳ中で）伝送されてもよく、又は事前に知られていてもよい。ＳＰＳは、シーケンス・パラメータ・セットを表す。

【0065】

別の変形形態では、値Ａ_０、Ａ_１、Ｂ、及びＳが最小２乗法を用いて計算され、次に、それらが１つの既定値（たとえば、表１の１つの重み値）と一致するように調整される。

【0066】

例示的な一実施形態では、図６の方法を用いて現在のブロックが符号化されるか、又は通常の方法を使用して現在のブロックが符号化されるかを示す１つのフラグ（一般化した双予測フラグ）が符号化される（又は復号器側で復号される）。一変形形態では、このフラグとＩＣフラグが、単一のフラグに結合される。一変形形態では、このフラグと一般化した双予測フラグが、単一のフラグに結合される。

【0067】

ステップＳ６０６において、加重和を使用してｐｒｅｄ０とｐｒｅｄ１を組み合わせることによって、最終的な予測子Ｂｉ−ｐｒｅｄが決定される。例示的な一実施形態では、ステップＳ６０４で得られる組み合わされた重みＡ０、Ａ１、Ｂ、及びＳを使用して、ｐｒｅｄ０とｐｒｅｄ１が組み合わされる。特定の実施形態では、Ｂはゼロに等しくてもよい。ＩＣパラメータと予測重みが単一のステップにまとめて適用される（図３のステップＳ３１４、Ｓ３１６、及びＳ３１８が、図６の単一のステップＳ６０４へと組み合わされる）。式（５）が次式（６）のように修正される。
Ｂｉ−Ｐｒｅｄ＝（Ａ０＊ｘ０＋Ａ１＊ｘ１）＋Ｂ）＞＞Ｓ （６）
ｓｈ０＝ｓｈ１の場合、Ａ０＝ｗ０＊ａ０
Ａ１＝ｗ１＊ａ１
Ｂ＝（ｗ０＊ｂ０＋ｗ１＊ｂ１＋ｏｆｆ）＜＜ｓｈ０
Ｓ＝ｓｈｉｆｔ＋ｓｈ０
ｓｈ０＜ｓｈ１の場合、Ａ０＝（ｗ０＊ａ０）＜＜（ｓｈ１−ｓｈ０）
Ａ１＝ｗ１＊ａ１
Ｂ＝（ｗ０＊ｂ０＋ｗ１＊ｂ１＋ｏｆｆ）＜＜ｓｈ１
Ｓ＝ｓｈｉｆｔ＋ｓｈ１
ｓｈ０＞ｓｈ１の場合、Ａ０＝ｗ０＊ａ０
Ａ１＝（ｗ１＊ａ１）＜＜（ｓｈ０−ｓｈ１）
Ｂ＝（ｗ０＊ｂ０＋ｗ１＊ｂ１＋ｏｆｆ）＜＜ｓｈ０
Ｓ＝ｓｈｉｆｔ＋ｓｈ０

【0068】

図７には、特定の非限定的な実施形態によって、ビットストリームから画像を復号して、復号された画像を得るように構成された受信機２０００の例示的なアーキテクチャが示してある。

【0069】

受信機２０００は、内部メモリ２０３０（たとえば、ＲＡＭ、ＲＯＭ、及び／又はＥＰＲＯＭ）とともに、たとえば、ＣＰＵ、ＧＰＵ、及び／又はＤＳＰ（Digital Signal Processorの英語の頭辞語）を備えることもできる、１つ又は複数のプロセッサ２００５を備える。受信機２０００は、出力情報を表示し、及び／又はユーザがコマンド及び／又はデータ（たとえば、復号された画像）を入力できるようにそれぞれが構成された１つ若しくは複数の通信インターフェース２０１０（たとえば、キーボード、マウス、タッチパッド、ウェブカメラ）と、受信機２０００の外部にあってもよい電源２０２０とを備える。受信機２０００はまた、１つ又は複数のネットワーク・インターフェース（図示せず）を備えてもよい。復号器モジュール２０４０は、復号機能を実行するために装置に備えてもよいモジュールを表す。さらに、復号器モジュール２０４０は、受信機２０００の別々の要素として実装してもよく、又は当業者に知られているハードウェアとソフトウェアの組合せとしてプロセッサ２００５内に組み込んでもよい。

【0070】

ビットストリームは、ソースから得ることができる。様々な実施形態によれば、このソースは、以下のようなものとすることができるが、それだけに限定されるものではない。
−ローカル・メモリ、たとえば、ビデオ・メモリ、ＲＡＭ、フラッシュ・メモリ、ハード・ディスク、
−記憶装置インターフェース、たとえば、大容量記憶装置、ＲＯＭ、光ディスク、又は磁気支持装置とのインターフェース、
−通信インターフェース、たとえば、有線インターフェース（たとえば、バス・インターフェース、広域ネットワーク・インターフェース、ローカル・エリア・ネットワーク・インターフェース）、又は無線インターフェース（IEEE 802.11インターフェース、若しくはBluetoothインターフェース）、及び
−イメージ・キャプチャ回路（たとえば、ＣＣＤ（すなわち電荷結合デバイス）若しくはＣＯＭＳ（すなわち相補型金属酸化膜半導体）などのセンサ）。

【0071】

様々な実施形態によれば、復号された画像は、宛先、たとえばディスプレイ装置に送信されてもよい。一例として、復号された画像は、遠隔メモリ又はローカル・メモリ、たとえば、ビデオ・メモリ若しくはＲＡＭ、ハード・ディスク内に記憶される。一変形形態では、この復号された画像は、記憶装置インターフェース、たとえば、大容量記憶装置、ＲＯＭ、フラッシュ・メモリ、光ディスク、又は磁気支持装置を備えたインターフェースに送信され、及び／又は、通信インターフェース、たとえば、ポイントツーポイント・リンク、コミュニケーション・バス、ポイントツーマルチポイント・リンク、又はブロードキャスト・ネットワークへのインターフェースにわたって伝送される。

【0072】

特定の非限定的な実施形態によれば、受信機２０００はさらに、メモリ２０３０に記憶されたコンピュータ・プログラムを含む。このコンピュータ・プログラムは、受信機２０００によって、具体的にはプロセッサ２００５によって実行されると、図６及び図９を参照して説明する復号方法を受信機が実行できるようにする命令を含む。一変形形態によれば、このコンピュータ・プログラムは、受信機２０００の外部で、持続的なデジタル・データ支持体、たとえば、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、リードオンリ及び／又はＤＶＤのドライブ、及び／又はＤＶＤ読取り／書込みドライブなどの外部記憶媒体に記憶されており、これらはすべて当技術分野で知られている。したがって、受信機２０００は、コンピュータ・プログラムを読み取る機構を備える。さらに、受信機２０００は、対応するＵＳＢポート（図示せず）を介して、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）タイプの記憶装置（たとえば、「メモリ・スティック」）にアクセスすることもできる。

【0073】

例示的且つ非限定的な実施形態によれば、受信機２０００は、以下のようなものとすることができるが、それだけに限定されるものではない。
−モバイル装置、
−通信装置、
−ゲーム装置、
−セット・トップ・ボックス、
−テレビ受像機、
−タブレット（すなわちタブレット・コンピュータ）、
−ラップトップ、
−ビデオ・プレーヤ、たとえばブルーレイ・プレーヤ、ＤＶＤプレーヤ、
−表示装置、及び、
−復号チップ又は復号装置／機器。

【0074】

図８には、図６及び図９の方法を参照して説明する復号方法を実行するように構成された、たとえばＨＥＶＣタイプの例示的なビデオ復号器２００のブロック図が示してある。ビデオ復号器２００は、受信機２０００又はこのような受信機２０００の一部分の一例である。以下に述べるように、例示的な復号器２００では、復号器要素によってビットストリームが復号される。ビデオ復号器２００は一般に、図２に記述されているように、符号化パスとは逆の復号パスを実行し、これが、ビデオ・データを符号化する一環としてビデオ復号を実行する。

【0075】

具体的には、復号器の入力はビデオ・ビットストリームを含み、これをビデオ符号器１００によって生成してもよい。このビットストリームを、まずエントロピー復号して（２３０）、変換係数、動きベクトル、及び他の符号化された情報を得る。変換係数を逆量子化し（２４０）、逆変換して（２５０）残差を復号する。次いで、復号された残差を予測されたブロック（別名、予測子）と組み合わせて（２５５）、復号された／復元された画像ブロックを得る。予測されたブロックは、イントラ予測（２６０）又は動き補償された予測（すなわち、インター予測）（２７５）から得てもよい（２７０）。前述の通り、動き補償中にＡＭＶＰ及びマージ・モード技法を使用してもよく、この技法は、補間フィルタを使用して、基準ブロックのサブ整数サンプルについて補間値を計算してもよい。インループ・フィルタ（２６５）が、復元された画像に適用される。インループ・フィルタは、非ブロック化フィルタ及びＳＡＯフィルタを備えてもよい。フィルタリングされた画像は、基準画像バッファ（２８０）に記憶される。

【0076】

図９には、特定の非限定的な実施形態によってビットストリームから画像を復号する方法の流れ図が示してある。この方法は、ステップＳ９００から始まる。ステップＳ９１０において、復号器２００などの受信機２０００が、ビットストリームにアクセスする。ステップＳ９２０において、第１の基準イメージにおける動き補償された第１の基準ブロック（ｐｒｅｄ０）と、第２の基準イメージにおける動き補償された第２の基準ブロック（ｐｒｅｄ１）とのサンプル値の加重和として、受信機が予測子を決定し、この加重和の重みが、前記画像ブロックに隣接する復元されたサンプルと、前記第１及び第２の基準ブロックに隣接するサンプルとの間の誤差、すなわち差を最小化することによって決定される。加重和を得ることは、オフセットを追加することを含む場合がある。ステップＳ９２０の具体的な実施形態が図６に詳細に述べてあり、符号化方法のＳ５２０と同一である。ステップＳ９３０において、受信機は、ビットストリームから画像のブロックを復号する。ブロックを復号することは通常、ただし必ずしもそうではないが、このブロックを表すビットストリームの一部分をエントロピー復号して、変換係数のブロックを得ることと、変換係数のブロックを逆量子化し、逆変換して残差のブロックを得ることと、残差のブロックに予測子を加算して、復号されたブロックを得ることとを含む。この方法は、ステップＳ８４０で終了する。

【0077】

本明細書に記載の実装形態は、たとえば、方法若しくはプロセス、機器、ソフトウェア・プログラム、データ・ストリーム、又は信号で実装してもよい。もっぱら（たとえば、方法又は装置としてのみ論じた）単一形式の実装形態との関連で論じたとしても、論じた機能の実装形態は、他の形式（たとえばプログラム）で実装してもよい。機器は、たとえば、適切なハードウェア、ソフトウェア、及びファームウェアで実装してもよい。たとえば、各方法は、たとえばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む処理装置を一般に指す、たとえばプロセッサなどの機器に実装してもよい。プロセッサはまた、たとえば、コンピュータ、携帯電話、ポータブル／携帯型情報端末（「ＰＤＡ」）、エンドユーザ間での情報の通信を容易にする他の装置などの通信装置を含む。

【0078】

本明細書に記載の様々なプロセス及び機能の実装形態は、様々な異なる機器又はアプリケーション、具体的には、たとえば機器又はアプリケーションで実施してもよい。こうした機器の例には、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力するプリプロセッサ、ビデオ符号器、ビデオ復号器、ビデオ・コーデック、ウェブ・サーバ、セット・トップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、ＰＤＡ、及び他の通信装置が含まれる。明らかとなるように、この機器は、移動式でもよく、また、移動車両に設置してもよい。

【0079】

さらに、この方法は、プロセッサが実行する命令によって実施してもよく、こうした命令（及び／又は、実施することによって生成されるデータ値）は、たとえば集積回路、ソフトウェア搬送媒体などのプロセッサ読取り可能な媒体、又は、たとえばハード・ディスク、コンパクト・ディスケット（「ＣＤ」）、光ディスク（たとえば、しばしばデジタル多用途ディスク若しくはデジタル・ビデオ・ディスクと呼ばれるＤＶＤなど）、ランダム・アクセス・メモリ（「ＲＡＭ」）若しくはリードオンリ・メモリ（「ＲＯＭ」）など他の記憶装置に記憶してもよい。各命令は、プロセッサ読取り可能な媒体に有形に実施されたアプリケーション・プログラムを形成してもよい。たとえば、命令は、ハードウェア、ファームウェア、ソフトウェア、又はその組合せでもよい。命令は、たとえば、オペレーティング・システム、別々のアプリケーション、又はこの２つの組合せに見いだすことができる。したがって、プロセッサは、たとえば、プロセスを実行するように構成された装置と、プロセスを実行するための命令を有するプロセッサ読取り可能な媒体（記憶装置など）を含む装置との両方として特徴付けてもよい。さらに、プロセッサ読取り可能な媒体は、命令に加えて、又は命令の代わりに、一実装形態によって生成されるデータ値を記憶してもよい。

【0080】

当業者には明らかになるように、各実装形態は、たとえば記憶又は伝送してもよい情報を運ぶようにフォーマットされた、様々な信号を生成してもよい。この情報は、たとえば、方法を実行するための命令、又は説明した各実装形態のうちの１つによって生成されるデータを含んでもよい。たとえば、説明した実施形態のシンタックスを読み書きするための規則をデータとして運ぶように、又は説明した実施形態によって書かれた実際のシンタックス値をデータとして運ぶように、信号をフォーマットしてもよい。たとえば、このような信号は、（たとえばスペクトルの無線周波数部分を使用する）電磁波として、又はベースバンド信号としてフォーマットしてもよい。フォーマットすることは、たとえば、データ・ストリームを符号化すること、及び符号化されたデータ・ストリームで搬送波を変調することを含んでもよい。信号が運ぶ情報は、たとえば、アナログ情報又はデジタル情報でもよい。知られているように、信号は、様々な異なる有線リンク又は無線リンクを介して伝送してもよい。信号は、プロセッサ読取り可能な媒体に記憶してもよい。

【0081】

いくつかの実装形態を説明してきた。それにもかかわらず、様々な修正を加えてもよいことが理解されよう。たとえば、他の実装形態を生成するために、様々な実装形態の要素を組み合わせ、追加し、修正し、又は取り除いてもよい。さらに、他の構造及びプロセスを、開示されたものと置き換えてもよく、その結果得られる実装形態が、少なくとも実質的に同じ方式で、少なくとも実質的に同じ機能を実行して、開示された実装形態と少なくとも実質的に同じ結果を実現することが、当業者には理解されよう。したがって、上記その他の実装形態が、本出願によって企図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】