特許 6397384 ビデオ符号化における参照ピクチャの適応重み付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6397384

(24)【登録日】2018年9月7日

(45)【発行日】2018年9月26日

(54)【発明の名称】ビデオ符号化における参照ピクチャの適応重み付け

(51)【国際特許分類】

   H04N 19/105 20140101AFI20180913BHJP

   H04N 19/61 20140101ALI20180913BHJP

【ＦＩ】

   H04N19/105

   H04N19/61

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2015-157894(P2015-157894)

(22)【出願日】2015年8月10日

(62)【分割の表示】特願2013-210723(P2013-210723)の分割

【原出願日】2003年7月14日

(65)【公開番号】特開2016-7032(P2016-7032A)

(43)【公開日】2016年1月14日

【審査請求日】2015年8月27日

(31)【優先権主張番号】60/395,843

(32)【優先日】2002年7月15日

(33)【優先権主張国】US

(31)【優先権主張番号】60/395,874

(32)【優先日】2002年7月15日

(33)【優先権主張国】US

(31)【優先権主張番号】10/410,456

(32)【優先日】2003年4月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(72)【発明者】

【氏名】ボイス，ジル，マクドナルド

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特開平１１−２３９３５１（ＪＰ，Ａ）

【文献】 特開平１０−２２４７９５（ＪＰ，Ａ）

【文献】 特開２００３−１２５４０９（ＪＰ，Ａ）

【文献】 特開２００３−１８９３１３（ＪＰ，Ａ）

【文献】 ITU-T，ITU-T Recommendation H.263(11/2000) Annex U，米国，ITU-T，２０００年１１月１５日，p.1-29

【文献】 Marta Karczewicz(外3名)，Nokia MVC H.26L Proposal Description，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Video Coding Experts Group (Question 15) Q15-J-19，米国，ITU-T，２０００年 ５月１６日，p.1-67

【文献】 Madhukar Budagavi(外1名)，Multiframe Block Motion Compensated Video Coding for Wireless Channels，IEEE Signals, Systems and Computers, 1996. Conference Record of the Thirtieth Asilomar Conference on，米国，IEEE，１９９６年１１月 ３日，Vol 2，p.953-957

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

複数の画像ブロックを有するピクチャのビデオ・データを伝送する方法であって、前記ビデオ・データは、前記複数の画像ブロックのうちの１つの画像ブロックの符号化データと、該画像ブロックのための第１の参照ピクチャ・インデックスおよび第２の参照ピクチャ・インデックスとを含み、該方法は、
前記複数の画像ブロックのうちの１つの画像ブロックの前記符号化データを伝送する工程と、
前記画像ブロックのための第１の参照ピクチャ・インデックスおよび第２の参照ピクチャ・インデックスを伝送する工程と、を含み、
前記第１の参照ピクチャ・インデックスおよび前記第２の参照ピクチャ・インデックスは、画像ブロックを符号化するのに利用可能な１つ以上の参照ピクチャ群から第１および第２の参照ピクチャをそれぞれ決定し、
前記第１の参照ピクチャ・インデックスおよび前記第２の参照ピクチャ・インデックスは、画像ブロックを符号化するのに利用可能な１つ以上の重み付け係数群から第１および第２の重み付け係数をそれぞれ決定し、
前記画像ブロックの符号化は、
前記第１の参照ピクチャからの第１の動き補償されたブロックを特定する工程であって、前記第１の参照ピクチャからの第１の動き補償されたブロックが前記第１の重み付け係数を使用して重み付けされて第１の重み付け動き補償されたブロックを形成する、前記工程と、
前記第２の参照ピクチャからの第２の動き補償されたブロックを特定する工程であって、前記第２の参照ピクチャからの第２の動き補償されたブロックが前記第２の重み付け係数を使用して重み付けされて第２の重み付け動き補償されたブロックを形成する、前記工程と、を実行することによって行われる、前記方法。

【請求項2】

前記画像ブロックの符号化は、さらに、
第１のオフセットを決定する工程と、
第２のオフセットを決定する工程と、
前記第１のオフセットおよび前記第２のオフセットを使用して、前記第１の重み付け動き補償されたブロックおよび前記第２の重み付け動き補償されたブロックを調節する工程と、を実行することによって行われる、請求項１に記載の方法。

【請求項3】

複数の画像ブロックを有するピクチャのビデオ・データを伝送する装置であって、前記ビデオ・データは、前記複数の画像ブロックのうちの１つの画像ブロックの符号化データと、該画像ブロックのための第１の参照ピクチャ・インデックスおよび第２の参照ピクチャ・インデックスとを含み、該装置は、
前記複数の画像ブロックのうちの１つの画像ブロックの前記符号化データを伝送し、前記画像ブロックのための第１の参照ピクチャ・インデックスおよび第２の参照ピクチャ・インデックスを伝送する手段を含み、
前記第１の参照ピクチャ・インデックスおよび前記第２の参照ピクチャ・インデックスは、画像ブロックを符号化するのに利用可能な１つ以上の参照ピクチャ群から第１および第２の参照ピクチャをそれぞれ決定し、
前記第１の参照ピクチャ・インデックスおよび前記第２の参照ピクチャ・インデックスは、画像ブロックを符号化するのに利用可能な１つ以上の重み付け係数群から第１および第２の重み付け係数をそれぞれ決定し、
前記画像ブロックの符号化は、
前記第１の参照ピクチャからの第１の動き補償されたブロックを特定する工程であって、前記第１の参照ピクチャからの第１の動き補償されたブロックが前記第１の重み付け係数を使用して重み付けされて第１の重み付け動き補償されたブロックを形成する、前記工程と、
前記第２の参照ピクチャからの第２の動き補償されたブロックを特定する工程であって、前記第２の参照ピクチャからの第２の動き補償されたブロックが前記第２の重み付け係数を使用して重み付けされて第２の重み付け動き補償されたブロックを形成する、前記工程と、を実行することによって行われる、前記装置。

【請求項4】

前記画像ブロックの符号化は、さらに、
第１のオフセットを決定する工程と、
第２のオフセットを決定する工程と、
前記第１のオフセットおよび前記第２のオフセットを使用して、前記第１の重み付け動き補償されたブロックおよび前記第２の重み付け動き補償されたブロックを調節する工程と、を実行することによって行われる、請求項３に記載の装置。

【請求項5】

マシン実行可能な命令を記憶したマシン読み取り可能媒体であって、前記命令が実行されると、複数の画像ブロックを有するピクチャのビデオ・データを伝送する方法を実行し、前記ビデオ・データは、前記複数の画像ブロックのうちの１つの画像ブロックの符号化データと、該画像ブロックのための第１の参照ピクチャ・インデックスおよび第２の参照ピクチャ・インデックスを含み、前記方法は、
前記複数の画像ブロックのうちの１つの画像ブロックの前記符号化データを伝送する工程と、
前記画像ブロックのための第１の参照ピクチャ・インデックスおよび第２の参照ピクチャ・インデックスを伝送する工程と、を含み、
前記第１の参照ピクチャ・インデックスおよび前記第２の参照ピクチャ・インデックスは、画像ブロックを符号化するのに利用可能な１つ以上の参照ピクチャの群から第１および第２の参照ピクチャをそれぞれ決定し、
前記第１の参照ピクチャ・インデックスおよび前記第２の参照ピクチャ・インデックスは、画像ブロックを符号化するのに使用可能な１つ以上の重み付け係数群から第１および第２の重み付け係数をそれぞれ決定し、
前記画像ブロックの符号化は、
前記第１の参照ピクチャからの第１の動き補償されたブロックを特定する工程であって、前記第１の参照ピクチャからの第１の動き補償されたブロックが前記第１の重み付け係数を使用して重み付けされて第１の重み付け動き補償されたブロックを形成する、前記工程と、
前記第２の参照ピクチャからの第２の動き補償されたブロックを特定する工程であって、前記第２の参照ピクチャからの第２の動き補償されたブロックが前記第２の重み付け係数を使用して重み付けされて第２の重み付け動き補償されたブロックを形成する、前記工程と、を実行することによって行われる、前記マシン読み取り可能媒体。

【請求項6】

前記画像ブロックの符号化は、さらに、
第１のオフセットを決定する工程と、
第２のオフセットを決定する工程と、
前記第１のオフセットおよび前記第２のオフセットを使用して、前記第１の重み付け動き補償されたブロックおよび前記第２の重み付け動き補償されたブロックを調節する工程と、を実行することによって行われる、請求項５に記載のマシン読み取り可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的に、ビデオ符号器に関し、特に、ビデオ符号器における参照ピクチャの適応重み付けに関する。

【背景技術】

【0002】

ビデオ・データは一般的に、ビット・ストリームの形式で処理され、転送される。通常のビデオ圧縮の符号器及び復号器（「CODEC」）はそれらの圧縮効率の大部分を、符号化対象のピクチャの参照ピクチャ予測を形成し、現行ピクチャと該予測との間の差異を符号化することによって、獲得する。該予測と現行ピクチャとの相関が高いほど、そのピクチャを圧縮するのに要するビット数は少なくなり、それによって当該処理の効率を向上させる。このように、考えられる最善の参照ピクチャの予測を形成することが好ましい。

【0003】

動画像専門家グループ（「MPEG」）-1、MPEG-2及びMPEG-4を含む、多くのビデオ圧縮標準では、先行参照ピクチャの動き補償バージョンが現行ピクチャの予測として用いられ、現行ピクチャと該予測との間の差異のみが符号化される。単一ピクチャ予測（「P」ピクチャ）が形成される場合、参照ピクチャは、動く補償予測が形成される場合には、スケーリングされない。双方向ピクチャ予測（「B」ピクチャ）が用いられる場合には、中間予測が２つの異なるピクチャから形成され、更に、２つの中間予測が、各々について、(1/2,1/2)の等しい重み付け係数を用いて、一緒に平均化されて、単一の平均化予測を形成する。これらのMPEG標準においては、２つの参照ピクチャは常に、Bピクチャに対する、前方方向からのものと、後方方向からのものとの、１つずつである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

動画像専門家グループ（Moving Picture Experts Group(「MPEG」)-1、MPEG-2及びMPEG-4を含む、多くのビデオ圧縮標準では、先行参照ピクチャの動き補償バージョンが現行ピクチャの予測として用いられ、現行ピクチャと該予測との間の差異のみが符号化される。単一ピクチャ予測（「P」ピクチャ）が用いられる場合、参照ピクチャは、動き補償予測が形成される場合には、スケーリングされない。双方向ピクチャ予測（「B」ピクチャ）が用いられる場合には、中間予測が２つの異なるピクチャから形成され、更に、２つの中間予測が、各々について、(1/2,1/2)の等しい重み付け係数を用いて、一緒に平均化されて、単一の平均化予測を形成する。これらのMPEG標準においては、２つの参照ピクチャは常に、Bピクチャに対する、前方方向からと、後方方向からとの、１つずつである。

【課題を解決するための手段】

【0005】

先行技術のこれら並びに別の欠点及び短所は、ビデオ符号器とビデオ復号器とにおける参照ピクチャの適応重み付けのシステム及び方法によって、解決される。

【0006】

画像ブロックのビデオ信号データと特定参照ピクチャ・インデックスとを処理して該画像ブロックを予測する、ビデオ符号器並びに相当する方法で、参照ピクチャの適応重み付けを利用してビデオ圧縮を向上させるもの、を開示する。符号器は、特定参照ピクチャ・インデックスに重み付け係数を割り当てる参照ピクチャ重み付け係数割り当て器を含む。

【0007】

画像ブロックのビデオ信号データを符号化する、相当する方法は、実質的に非圧縮の画像ブロックを受信する工程、及び相当するインデックスを有する特定の参照ピクチャに相当する画像ブロックに対して重み付け係数を割り当てる工程を含む。画像ブロックと特定の参照ピクチャとの間の差異に相当する動きベクトルが算定される。特定の参照ピクチャは動きベクトルに一致させた動き補償が行われ、動き補償参照ピクチャは、割り当て重み付け係数によって修正されて重み付け動き補償参照ピクチャを形成する。実質的に非圧縮の画像ブロックは重み付け動き補償参照ピクチャと比較されて、実質的に非圧縮の画像ブロックと、重み付け動き補償参照ピクチャとの間の差異を示す信号が、特定参照ピクチャの相当するインデックスとともに、符号化される。

【図面の簡単な説明】

【0008】

【図1】標準ビデオ復号器を表すブロック図である。

【図2】適応双方向予測を伴うビデオ復号器を表すブロック図である。

【図3】本発明の原理による参照ピクチャ重み付けを伴うビデオ復号器を表すブロック図である。

【図4】標準ビデオ符号器を表すブロック図である。

【図5】本発明の原理による参照ピクチャ重み付けを伴うビデオ符号器のブロック図である。

【図6】本発明の原理による復号化処理を表す流れ図である。

【図7】本発明の原理による符号化処理を表す流れ図である。

【発明を実施するための形態】

【0009】

本発明の原理によるビデオ符号器並びに復号器における参照ピクチャの適応重み付けを当該例示的図面に表す。

【0010】

本発明は動きベクトル予測と適応参照ピクチャ重み付け係数割り当てとを行う装置及び方法を示す。いくつかのビデオ・シーケンス、特にフェージングを伴うもの、では符号化する対象である現行のピクチャ又は画像ブロックは参照ピクチャ自体とよりも、重み付け係数によってスケーリングされた参照ピクチャとの間で強い相関を有する。参照ピクチャに重み付け係数を適用しないビデオCODECによるフェージング・シーケンスの符号化は非常に非効率的なものである。符号化において重み付け係数が用いられる場合、ビデオ符号器は重み付け係数と動きベクトルとの両方を判定することを要するが、これら各々の最善の選択は他方によってかわってくるものであり、動き予測は、通常、ディジタル・ビデオ圧縮符号器の中でも最も計算量的に集中的なものである。

【0011】

提案されている共同ビデオ・チーム（「JVT」）ビデオ圧縮標準では、各Pピクチャは複数の参照ピクチャを用いてピクチャの予測を形成し得るが、マクロブロックの、個別の動きブロックすなわち8x8の領域、各々は予測するのに単一の参照ピクチャのみを用いる。動きベクトルを符号化し、送信することに加えて、参照ピクチャ・インデックスが動きブロック、すなわち8x8の領域、毎に送信され、用いられる参照ピクチャを示す。限定数の考えられる参照ピクチャ群が、符号器と復号器との両方で記憶され、許容できる参照ピクチャ数が送信される。

【0012】

JVT標準においては、（「B」ピクチャとも呼ぶ）双方向予測ピクチャについては、２つの予測子が、動きブロック、すなわち８ｘ８の領域、毎に形成され、それらの各々は別個の参照ピクチャからのものであり得るものであり、2つの予測子は一緒に平均化されて単一の平均化予測子を形成する。双方向予測符号化動きブロックについては、参照ピクチャは、両方とも前方方向からのものであってもよく、両方とも後方方向からのものであってもよく、前方方向からのものと後方方向からのものとが1つずつであってもよい。予測に用い得る利用可能な参照ピクチャの２つのリストが維持される。２つの参照ピクチャはlist（リスト）0（ゼロ）とlist（リスト）１との予測子として表す。リスト0とリスト１との参照ピクチャ各々についての、参照ピクチャ毎のインデックスである、ref_idx_l0及びref_idx_l1が、符号化され、送信される。共同ビデオ・チーム（「JVT」）の双方向予測すなわち「B」ピクチャによって、2つの予測の間の適応重み付けが可能となる、すなわち：
Pred=〔(P0)(Pred0)〕＋〔(P1)(Pred1)〕+D；
であり、P0とP1とは重み付け係数であり、Pred0とPred1とは、リスト0とリスト１との各々についての参照ピクチャ予測であり、Dはオフセットである。

【0013】

重み付け係数を示す2つの方法が提案されている。第１の方法では、重み係数は参照ピクチャに用いられる当該方向によって判定される。本方法では、ref_idx_l0インデックスがref_idx_l1以下の場合、(1/2,1/2)の重み付け係数が用いられ、さもなければ(2,−1)の係数が用いられる。

【0014】

提供される第２の方法では、いずれかの数の重み付け係数がスライス毎に送信される。更に、重み付け係数インデックスが、双方向予測を用いる、マクロブロックの、動きブロック、すなわち、8x8の領域、毎に送信される。復号器は受信重み付け係数インデックスを用いて適切な重み付け係数を、送信群から、選択して動きブロックすなわち8x8の領域を復号化する場合に用いる。例えば、３つの重み付け係数がスライス層で送出された場合、それらは、重み付け係数インデックス0、1、2、各々、に相当する。

【0015】

下記明細書は本発明の原理を単に、示すものである。したがって、当業者は、本明細書及び特許請求の範囲に明示的に記載しても表してもいないが、本発明の原理を実施し、その趣旨及び範囲内に含む、種々の装置を考案することができることが分かるものである。更に、本明細書並びに特許請求の範囲に詳細に記述する全ての例及び条件付き文言は主に、明示的に、単に教育学的な目的のためのものであって、本明細書及び特許請求の範囲の読者が、本発明の原理と、当該技術を推進させるよう本発明者が寄与する当該概念、とを理解することを助力するものであり、そのように特に詳細に記述された例及び条件に限定することがないものとして解されるものである。更に、本発明の原理、特徴、及び実施例を詳細に記述する、本明細書及び特許請求の範囲における表現の全て、更には、それらの特定の例は、それらの構造的同等物と機能的同等物との両方を包含することが意図されている。更に、そのような同等物は、現在既知の同等物、更には将来形成される同等物、すなわち、構造にかかわらず、同じ機能を実行する、いずれかの、形成される構成要素、を含むことが意図されている。

【0016】

したがって、例えば、当業者は、本明細書及び特許請求の範囲記載のブロック図が本発明の原理を実施する説明用回路の概念図を表すことが分かるものである。同様に、いずれかのフロー・チャート、フロー・ダイアグラム、状態遷移図、擬似コードなどは、コンピュータ判読可能媒体において実質的に表現して、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に表されているかにかかわらず、そのように実行し得る。

【0017】

当該図面に表す種々の構成要素の機能は専用ハードウェア、更には、適切なソフトウェアに関連してソフトウェアを実行することができるハードウェア、を用いることによって備え得る。プロセッサによって備えられる場合、当該機能は、単一の専用ハードウェア、単一の共有プロセッサ、又は複数の個別プロセッサで、それらの一部は共有し得るもの、によって備え得る。更に、本明細書及び特許請求の範囲の原文記載の「processor」又は「controller」の語を明示的に用いることは、ソフトウェアを実行することができるハードウェアを排他的に表し、暗示的には、限定なしで、ディジタル信号プロセッサ（「DSP」）ハードウェア、ソフトウェアを記憶させる読み取り専用メモリ(「ROM」)、ランダム・アクセス・メモリ（「RAM」）、及び非揮発性記憶機構を含み得る。別の、従来のハードウェア及び/又はカスタム・ハードウェアも含み得る。同様に、図面に表すスイッチは何れも単に、概念的なものである。それらの機能は、プログラム論理の処理によって、専用論理によって、プログラム制御と専用論理との相互作用によって、更には、手作業によっても、実施し得るものであり、特定の手法は本明細書及び特許請求の範囲の意味合いから特に分かるように実施者によって選定可能である。

【0018】

本特許請求の範囲においては、特定の機能を実行する手段として表す構成要素は何れも、その機能を実行するいずれかの方法を包含するよう意図されており、例えば、a)その機能を実行する回路構成要素の組み合わせ、又はb)ファームウェア、マイクロ・コードなどをしたがって含む、いずれかの形式におけるソフトウェアを、該機能を実行するようそのソフトウェアを実行するのに適切な回路と組み合わせたもの；を含む。本特許請求の範囲が規定する本発明は、種々の詳細に記述された手段によって備えられる機能が、本特許請求の範囲が要請する方法によって、組み合わせられ、集められる。本発明者は、したがって、それらの機能を備え得る手段は何れも、本明細書及び特許請求の範囲記載のものに同等であるものとみなす。

【実施例】

【0019】

図１に表すように、標準ビデオ復号器は一般的に、参照番号１００によって示す。ビデオ復号器１００は、逆量子化器１２０と通信によって接続された可変長復号器（「VLD」）１１０を含む。逆量子化器１２０は逆変換器１３０と通信によって接続される。逆変換器１３０は加算器すなわち加算ジャンクション１４０の第１入力端子と通信によって接続され、加算ジャンクション１４０の出力はビデオ復号器１００の出力を備える。加算ジャンクション１４０の出力は参照ピクチャ記憶機構１５０と通信によって接続される。参照ピクチャ記憶機構１５０は動き補償器１６０と通信によって接続され、この動き補償器は加算ジャンクション１４０の第２入力端子に通信によって接続される。

【0020】

図２に移れば、適応双方向予測を伴うビデオ復号器を、概括的に参照番号２００によって示す。ビデオ復号器２００は逆量子化器２２０と通信によって接続されるVLD２１０を含む。逆量子化器２２０は逆変換器２３０と通信によって接続される。逆変換器２３０は加算ジャンクション２４０の第１入力端子と通信によって接続され、加算ジャンクション２４０の出力はビデオ復号器200の出力を備える。加算ジャンクション２４０の出力は参照ピクチャ記憶機構２５０と通信によって接続される。参照ピクチャ記憶機構２５０は動き補償器２６０と通信によって接続され、この動き補償器は乗算器２７０の第１入力と通信によって接続される。

【0021】

VLD２１０は更に、参照ピクチャ重み付け係数ルックアップ２８０と通信によって接続されて適応双方向予測（「ABP」）係数インデックスをルックアップ２８０に備える。ルックアップ２８０の第１出力は重み付け係数を備えるものであり、乗算器２７０の第２入力と通信によって接続される。乗算器２７０の出力は加算ジャンクション２９０の第１入力と通信によって接続される。ルックアップ２８０の第２出力はオフセットを備えるものであり、加算ジャンクション２９０の第２入力と通信によって接続される。加算ジャンクション290の出力は加算ジャンクション２４０の第２入力端子と通信によって接続される。

【0022】

次に図３に移れば、参照ピクチャ重み付けを伴うビデオ復号器を参照番号３００によって概括的に示す。ビデオ復号器３００は逆量子化器３２０と通信によって接続されたVLD３１０を含む。逆量子化器３２０は逆変換器３３０と通信によって接続される。逆変換器３３０は加算ジャンクション３４０の第１入力端子と通信によって接続され、加算ジャンクション３４０の出力はビデオ復号器300の出力を備える。加算ジャンクション３４０の出力は参照ピクチャ記憶機構３５０と通信によって接続される。参照ピクチャ記憶機構３５０は動き補償器３６０と通信によって接続され、乗算器３７０の第１入力と通信によって接続される。

【0023】

VLD310は更に、参照ピクチャ重み付け係数ルックアップ３８０と通信によって接続されて、参照ピクチャ・インデックスをルックアップ３８０に備える。ルックアップ380の第１出力は重み付け係数を備えるものであり、乗算器３７０の第２入力と通信によって接続される。乗算器３７０の出力は加算ジャンクション３９０の第１入力に接続される。ルックアップ３８０の第２出力はオフセットを備えるものであり、加算ジャンクション３９０の第２入力と通信によって接続される。加算ジャンクション３９０の出力は、加算ジャンクション３４０の第２入力端子と通信によって接続される。

【0024】

図４に表すように、標準ビデオ符号器を概括的に参照番号４００によって示す。符号器400への入力は加算ジャンクション４１０の非反転入力と通信によって接続される。加算ジャンクション４１０の出力はブロック変換器４２０と通信によって接続される。変換器４２０は量子化器４３０と通信によって接続される。量子化器４３０の出力は可変長符号器（「VLC」）４４０と通信によって接続され、VLC４４０の出力は符号器４００の外部利用可能出力である。

【0025】

量子化器４３０の出力は更に、逆量子化器４５０と通信によって接続される。逆量子化器４５０は逆ブロック変換器４６０と通信によって接続され、この逆ブロック変換器４６０は同様に、参照ピクチャ記憶機構４７０と通信によって接続される。参照ピクチャ記憶機構４７０の第１出力は動き補償器４８０の第１入力と通信によって接続される。符号器４００への入力は更に、動き予測器４８０の第２入力と通信によって接続される。動き予測器４８０の出力は動き補償器４９０の第１入力と通信によって接続される。参照ピクチャ記憶機構４７０の第２出力は動き補償器４９０の第２入力と通信によって接続される。動き補償器４９０の出力は加算ジャンクション４１０の反転入力と通信によって接続される。

【0026】

図５に移れば、参照ピクチャ重み付けを伴うビデオ符号器は概括的に参照番号５００によって示す。符号器５００への入力は加算ジャンクション５１０の非反転入力と通信によって接続される。加算ジャンクション５１０の出力はブロック変換器５２０と通信によって接続される。変換器５２０は量子化器５３０と通信によって接続される。量子化器５３０の出力はVLC５４０と通信によって接続され、VLC４４０の出力は符号器５００の外部利用可能出力である。

【0027】

量子化器５３０の出力は更に、逆量子化器５５０と通信によって接続される。逆量子化器５５０は逆ブロック変換器５６０と通信によって接続され、この逆ブロック変換器５６０は同様に、参照ピクチャ記憶機構５７０と通信によって接続される。参照ピクチャ記憶機構５７０の第１出力は参照ピクチャ重み付け係数割り当て器５７２の第１入力と通信によって接続される。符号器５００への入力は更に、参照ピクチャ重み付け係数割り当て器５７２の第２入力に通信によって接続される。参照ピクチャ重み付け係数割り当て器５７２の出力で、重み付け係数を示すもの、は動き予測器５８０の第１入力と通信によって接続される。参照ピクチャ記憶機構５７０の第２出力は動き予測器５８０の第２入力と通信によって接続される。

【0028】

符号器５００への入力は更に、動き予測器５８０の第３入力に通信によって接続される。動き予測器580の出力で、動きベクトルを示すもの、は動き補償器５９０の第１入力と通信によって接続される。参照ピクチャ記憶機構５７０の第３出力は動き補償器５９０の第２入力に通信によって接続される。動き補償器５９０の出力で、動き補償参照ピクチャを示すもの、は乗算器５９２の第１入力と通信によって接続される。参照ピクチャ重み付け係数割り当て器５７２の出力で、重み付け係数を示すもの、は乗算器５９２の第２入力と通信によって接続される。乗算器５９２の出力は加算ジャンクション５１０の反転入力と通信によって接続される。

【0029】

次に図6に移れば、画像ブロックのビデオ信号データを復号化する例示的処理を概括的に参照番号600によって示す。当該処理は、開始ブロック610を含み、入力ブロック６１２に制御を渡す。入力ブロック６１２は画像ブロック圧縮データを受信し、制御を入力ブロック614に渡す。入力ブロック６１４は少なくとも１つの参照ピクチャ・インデックスを画像ブロックのデータとともに受信し、各参照ピクチャ・インデックスは特定の参照ピクチャに相当する。入力ブロック６１４は制御を機能ブロック６１６に渡し、この機能ブロック６１６は受信参照ピクチャ・インデックス各々に相当する重み付け係数を判定し、制御を任意的な機能ブロック６１７に渡す。この任意的な機能ブロック６１７は、受信参照ピクチャ・インデックスの各々に相当するオフセットを判定し、制御を機能ブロック６１８に渡す。機能ブロック６１８は受信参照ピクチャ・インデックス各々に相当する参照ピクチャを取り出し、制御を機能ブロック６２０に渡す。機能ブロック６２０は同様に、取り出された参照ピクチャの動き補償を行い、制御を機能ブロック622に渡す。機能ブロック６２２は動き補償参照ピクチャを、相当する重み付け係数によって乗算し、制御を任意的な機能ブロック６２３に渡す。任意的な機能ブロック６２３は動き補償参照ピクチャを相当するオフセットに加算して、制御を機能ブロック６２４に渡す。機能ブロック６２４は、同様に、重み付け動き補償参照ピクチャを形成し、制御を終了ブロック６２６に渡す。

【0030】

次に図７に移れば、画像ブロックのビデオ信号データを符号化する例示的処理を参照番号７００によって概括的に示す。当該処理は開始ブロック７１０を含み、制御を入力ブロック７１２に渡す。入力ブロック７１２は実質的に非圧縮の画像ブロック・データを受信し、制御を機能ブロック７１４に渡す。機能ブロック７１４は相当するインデックスを有する特定の参照ピクチャに相当する画像ブロックに対して重み付け係数を割り当てる。機能ブロック７１４は制御を任意的な機能ブロック７１５に渡す。任意的な機能ブロック７１５は相当するインデックスを有する特定の参照ピクチャに相当する画像ブロックに対してオフセットを割り当てる。任意的な機能ブロック７１５は機能ブロック７１６に制御を渡し、該機能ブロック７１６は、画像ブロックと特定参照ピクチャとの間の差異に相当する動きベクトルを算定し、制御を機能ブロック７１８に渡す。機能ブロック７１８は動きベクトルに相当する特定の参照ピクチャの動き補償を行い、制御を機能ブロック７２０に渡す。機能ブロック７２０は同様に、動き補償参照ピクチャを割り当て重み付け係数によって乗算して重み付け動き補償参照ピクチャを形成し、制御を任意的な機能ブロック７２１に渡す。任意的な機能ブロック721は、同様に、動き補償参照ピクチャを割り当てオフセットに加算して重み付け動き補償参照ピクチャを形成し、制御を機能ブロック７２２に渡す。機能ブロック７２２は重み付け動き補償参照ピクチャを実質的に非圧縮の画像ブロックから減算し、制御を機能ブロック７２４に渡す。機能ブロック７２４は同様に、信号を、実質的に非圧縮の画像ブロックと重み付け動き補償参照ピクチャとの間の差異、更には、特定の参照ピクチャの相当するインデックス、によって符号化し、制御を終了ブロック７２６に渡す。

【0031】

本例示的実施例では、符号化ピクチャすなわちスライス毎に、重み付け係数が、それに関して現行ピクチャのブロックを符号化し得るその許容できる参照ピクチャ各々に関連付けられる。現行ピクチャにおける個々のブロック各々の符号化又は復号化が行われる場合、その参照ピクチャに相当する、重み付け係数とオフセットとが、参照予測に適用されて重み付け予測を形成する。同じ参照ピクチャに対して符号化される、スライスにおけるブロック全ては、同じ重み付け係数を参照ピクチャ予測に適用する。

【0032】

ピクチャを符号化する場合に適応重み付けを用いるか否かは、ピクチャ・パラメータ群若しくはシーケンス・パラメータ群、又はスライス若しくはピクチャのヘッダに、示し得る。適応重み付けを用いるスライス又はピクチャ毎に、重み付け係数を、このスライス又はピクチャを符号化するのに用い得る、許容できる参照ピクチャ各々、について送信し得る。許容できる参照ピクチャ数はスライス・ヘッダにおいて送信し得る。例えば、３つの参照ピクチャを、現行スライスを符号化するのに、用い得る場合、３つまでの重み付け係数が送信され、それらは同じインデックスを有する参照ピクチャと関連付けられる。

【0033】

重み付け係数が何ら送信されない場合、デフォルト重み付けを用いる。本発明の一実施例では、(1/2,1/2)のデフォルト重み付けが、重み付け係数が何ら送信されない場合に、用いられる。重み付け係数は固定長符号と可変長符号との何れかを用いて送信し得る。

【0034】

通常のシステムと異なり、各スライス、ブロック又はピクチャとともに送信される重み付け係数各々は特定の参照ピクチャ・インデックスに相当する。以前は、各スライス又はピクチャとともに送信されるいずれかの重み付け係数群は何れの特定の参照ピクチャとも関連付けられていない。その代わりに、適応双方向予測重み付けインデックスが、動きブロックすなわち８ｘ８領域毎に送信されて、この特定の動きブロックすなわち8x8の領域に適用される、送信群からの重み付け係数を選定した。

【0035】

本実施例では、動きブロック又は８X8の領域毎の重み付け係数インデックスは明示的には送信されていない。その代わりに、送信された参照ピクチャ・インデックスと関連した重み付け係数が用いられる。これによって送信ビットストリームにおけるオーバヘッド量を劇的に削減して参照ピクチャの適応重み付けを可能にする。

【0036】

このシステムと手法とは、単一の予測子によって符号化される予測「P」ピクチャと、２つの予測子によって符号化される双方向予測「B」ピクチャ、との何れかに適用し得る。復号化処理は、符号器と復号器との両方に存在するものであり、以下にPピクチャの場合とBピクチャの場合とについて説明する。代替的には、この手法は更に、I、B、及びPの、ピクチャに同様な概念を用いた符号化システムに適用し得る。

【0037】

同じ重み付け係数を、Bピクチャにおける一方向予測と、Bピクチャにおける双方向予測とに用い得る。単一予測子をマクロブロックに、Pピクチャにおいて、又は、Bピクチャにおける一方向予測について、用いる場合、単一の参照ピクチャ・インデックスがブロックについて送信される。動き補償の復号化処理工程が予測子を生成した後、重み付け係数が予測子に適用される。重み付け予測子は更に、符号化残差に加算され、クリッピングがこの和に対して行われて、復号化ピクチャを形成する。Pピクチャにおけるブロックについて用いる場合又はBピクチャにおけるブロックについて用いる場合で、リスト0予測のみを用いるもの、については、重み付け予測子は：
Pred= W0 * Pred0 + D0 (1)；
として形成され、W0はリスト0参照ピクチャに関連した重み付け係数であり、D0はリスト0参照ピクチャに関連したオフセットであり、Pred0はリスト0参照ピクチャからの動き補償予測ブロックである。

【0038】

リスト0予測のみを用いるBピクチャにおけるブロックについて用いる場合には、重み付け予測子は：
Pred = W1 * Pred1 + D1 （2）；
として形成され、W1はリスト1参照ピクチャと関連した重み付け係数であり、D0はリスト1参照ピクチャと関連したオフセットであり、Pred1はリスト1参照ピクチャからの動き補償予測ブロックである。

【0039】

重み予測子をクリッピングして、結果として生じる値が許容できる画素値範囲内、通常、0から255まで、に収まることを保証し得る。当該重み付け式における当該乗算の精度はいずれかの所定の分解能ビット数に限定し得る。

【0040】

双方向予測の場合、参照ピクチャ・インデックスは２つの予測子毎に送信される。動き補償は、２つの予測子を形成するよう実行される。各予測子はその参照ピクチャ・インデックスと関連した重み付け係数を用いて２つの重み付け予測子を形成する。２つの重み付け予測子は更に、一緒に平均化されて平均化予測子を形成し、その平均化予測子は更に、符号化残差に加算される。

【0041】

リスト0とリスト1との予測を用いる、Bピクチャにおけるブロックに用いるよう、重み付け予測子を：
Pred=(P0*Pred0+D0+P1*Pred1+D1)/2 (3)；
として形成する。

【0042】

クリッピングは、重み付け予測子又は重み付け予測子の算定におけるいずれかの中間値に適用して、結果として生じる値が画素値の許容できる範囲内、通常0から255までの間、に収まることを保証し得る。

【0043】

したがって、重み付け係数が、複数の参照ピクチャを用いる、ビデオ圧縮符号器と復号器との参照ピクチャ予測に適用される。重み付け係数は、ピクチャ内の個々の動きブロックに、その動きブロックに用いる参照ピクチャ・インデックスに基づいて、適応される。参照ピクチャ・インデックスは既に、圧縮ビデオ・ストリームにおいて送信されているので、重み付け係数を動きブロックに基づいて適応させるうえでの追加オーバヘッドが劇的に削減される。同じ参照ピクチャに対して符号化される動きブロックは全て、同じ重み付け係数を参照ピクチャ予測に適用する。

【0044】

本発明のこれら並びに他の特徴及び効果は、当該技術分野における当業者によって、本明細書及び特許請求の範囲の開示内容に基づいて容易に確認し得る。本発明の開示内容は、ハードウェア、ソフトウェア、ファームウェア、特殊用途向けプロセッサ、又はそれらの組み合わせの種々の形態において実現し得る。

【0045】

最も好ましくは、本発明の開示内容はハードウェアとソフトウェアとの組み合わせとして実現される。更に、ソフトウェアは、好ましくは、プログラム記憶装置上に目に見える形で実施されたアプリケーション・プログラムとして実現される。アプリケーション・プログラムは、いずれかの適切なアーキテクチャを有するマシンにアップロードし得るものであり、このマシンによって実行し得る。好ましくは、マシンは、1つ又は複数の中央処理装置（「CPU」）、ランダム・アクセス・メモリ（「RAM」）、及び入出力（「I/O」）インタフェースのようなハードウェアを有するコンピュータ・プラットフォーム上で実現される。コンピュータ・プラットフォームは更に、オペレーティング・システムとマイクロ命令コードとを含み得る。本明細書並びに特許請求の範囲記載の種々の処理及び機能は、CPUによって実行し得る、マイクロ命令コードの一部とアプリケーション・プログラムの一部とのいずれか、又はそれらのいずれかの組み合わせ、であり得る。更に、種々の別の周辺装置は別のデータ記憶装置と印刷装置のようなコンピュータ・プラットフォームに接続し得る。

【0046】

更に、添付図面において表す、構成するシステム構成部分と工程とのいくつかが好ましくはソフトウェアにおいて実現され、システム構成部分間又は処理機能ブロック間の実際の接続は本発明がプログラムされる方法によってかわってくるものである。本明細書及び特許請求の範囲を考慮に入れると、当該技術分野における当業者は本発明のこれら及び同様な実現方法又は構成を企図することができるものである。

【0047】

上記説明用実施例は添付図面を参照しながら本明細書及び特許請求の範囲に記載したが、本発明はまさにそれらの実施例に限定するものでなく、種々の変更及び修正をそれらの実施例において、当該技術分野における当業者によって本発明の範囲又は趣旨から逸脱することなく、行い得るものとする。そのような変更及び修正は全て、本特許請求の範囲に示す本発明の範囲内に含まれることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】