知財求人 - 知財ポータルサイト「IP Force」
特許6480186ビデオコーディング量子化およびダイナミックレンジ制御のシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6480186
(24)【登録日】2019年2月15日
(45)【発行日】2019年3月6日
(54)【発明の名称】ビデオコーディング量子化およびダイナミックレンジ制御のシステムおよび方法
(51)【国際特許分類】
H04N 19/126 20140101AFI20190225BHJP
H04N 19/61 20140101ALI20190225BHJP
H04N 19/157 20140101ALI20190225BHJP
H04N 19/176 20140101ALI20190225BHJP
【ＦＩ】
H04N19/126
H04N19/61
H04N19/157
H04N19/176
【請求項の数】14
【全頁数】65
(21)【出願番号】特願2014-553330(P2014-553330)
(86)(22)【出願日】2013年1月11日
(65)【公表番号】特表2015-508249(P2015-508249A)
(43)【公表日】2015年3月16日
(86)【国際出願番号】US2013021218
(87)【国際公開番号】WO2013109471
(87)【国際公開日】20130725
【審査請求日】2016年1月12日
(31)【優先権主張番号】61/588,649
(32)【優先日】2012年1月19日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】ドン ジエ
(72)【発明者】
【氏名】イエ イエン
【審査官】
長谷川 素直
(56)【参考文献】
【文献】
特開２００７−１２８５０４（ＪＰ，Ａ）
【文献】
特表２０１０−５０１９１１（ＪＰ，Ａ）
【文献】
Marta Mrak(外2名)，Transform skip mode，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-G575，米国，ITU-T，２０１１年１１月３０日，p.1-13
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオブロックに関連付けられたビデオ残差データを処理する方法であって、
選択された量子化ステップサイズパラメータに基づいて適用されることになるスケール係数のセットをメモリにおいて確立するステップと、
変換ユニットを介して、単一の１次元変換を使用して前記ビデオ残差データを変換し、前記ビデオブロックに関連付けられた変換係数の第１のセットを生成するステップと、
量子化ユニットを介して、変換係数の前記第１のセットを量子化して、量子化された係数の第１のグループを生成するステップであって、変換係数の前記第１のセットを前記量子化することは、（１）Ｎが偶数の整数であるという条件で、２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の最初のものを適用し、および（２）Ｎが奇数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の２番目のものを適用し、前記ビデオ残差データを処理する前記方法は、係数の前記第１のセットおよび前記第１のグループのいずれかをビットシフトするステップを含む、ステップと、
前記ビットシフトするステップの後に、量子化された係数の前記第１のグループをエントロピコーディングするステップと、
量子化された係数の前記エントロピコーディングされた第１のグループを送信するステップと
を備え、スケール係数の前記セットは、スケール係数の前記セットの各スケール係数がそれぞれの循環位置に関連付けられ、および前記スケール係数の前記２番目のものが、前記スケール係数の前記最初のものからの３番目の循環位置となるような、スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
選択された量子化ステップサイズパラメータに基づいて適用されることになるスケール係数のセットをメモリにおいて確立するステップと、
変換ユニットを介して、単一の１次元変換を使用して前記ビデオ残差データを変換し、前記ビデオブロックに関連付けられた変換係数の第１のセットを生成するステップと、
量子化ユニットを介して、変換係数の前記第１のセットを量子化して、量子化された係数の第１のグループを生成するステップであって、変換係数の前記第１のセットを前記量子化することは、（１）Ｎが偶数の整数であるという条件で、２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の最初のものを適用し、および（２）Ｎが奇数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の２番目のものを適用し、前記ビデオ残差データを処理する前記方法は、係数の前記第１のセットおよび前記第１のグループのいずれかをビットシフトするステップを含む、ステップと、
前記ビットシフトするステップの後に、量子化された係数の前記第１のグループをエントロピコーディングするステップと、
量子化された係数の前記エントロピコーディングされた第１のグループを送信するステップと
を備え、スケール係数の前記セットは、スケール係数の前記セットの各スケール係数がそれぞれの循環位置に関連付けられ、および前記スケール係数の前記２番目のものが、前記スケール係数の前記最初のものからの３番目の循環位置となるような、スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
【請求項2】
選択された量子化ステップサイズパラメータに基づいて適用されることになる逆スケール係数のセットをメモリにおいて確立するステップと、
逆量子化ユニットを介して、量子化された係数の前記第１のグループを逆量子化して、逆量子化された変換係数の第２のセットを生成するステップであって、量子化された係数の前記第１のグループを前記逆量子化することは、（１）Ｎが偶数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用し、および（２）Ｎが奇数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
逆変換ユニットを介して、前記ビデオ残差データを生成するための逆変換された出力として、単一の１次元逆変換を使用して、逆量子化された変換係数の前記第２のセットを逆変換するステップと、
逆量子化された変換係数の前記第２のセットまたは前記逆変換された出力をビット数だけビットシフトするステップであって、シフトされた前記ビット数は、前記選択された量子化ステップサイズパラメータに基づく、ステップと
をさらに備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初のものからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする請求項１に記載の方法。
逆量子化ユニットを介して、量子化された係数の前記第１のグループを逆量子化して、逆量子化された変換係数の第２のセットを生成するステップであって、量子化された係数の前記第１のグループを前記逆量子化することは、（１）Ｎが偶数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用し、および（２）Ｎが奇数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
逆変換ユニットを介して、前記ビデオ残差データを生成するための逆変換された出力として、単一の１次元逆変換を使用して、逆量子化された変換係数の前記第２のセットを逆変換するステップと、
逆量子化された変換係数の前記第２のセットまたは前記逆変換された出力をビット数だけビットシフトするステップであって、シフトされた前記ビット数は、前記選択された量子化ステップサイズパラメータに基づく、ステップと
をさらに備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初のものからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする請求項１に記載の方法。
【請求項3】
前記単一の１次元変換は、順方向水平変換または順方向垂直変換であることを特徴とする請求項１に記載の方法。
【請求項4】
前記ビデオ残差データの前記処理することは、ビットシフトするステップが、複数のユニットの１つまたは複数においてまたは複数のユニットの１つまたは複数の後に発生するように、少なくとも前記変換ユニットおよび前記量子化ユニットを含んでいる前記複数のユニット内で実行されることを特徴とする請求項１に記載の方法。
【請求項5】
前記処理することにおいて使用された前記ビデオブロックに関連して量子化された係数の前記送信されエントロピコーディングされた第１のグループから再構成された、再構成されたビデオブロックの同一のダイナミックレンジを保持するステップをさらに備えたことを特徴とする請求項４に記載の方法。
【請求項6】
前記再構成されたビデオブロックの前記同一のダイナミックレンジを保持する前記ステップは、前記複数のユニットの各々においてまたは前記複数のユニットの各々の後で前記ダイナミックレンジを調整するステップを含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記ビデオブロックの前記処理することは、１６ビット整数演算によって実現されることを特徴とする請求項１に記載の方法。
【請求項8】
（１）係数の前記第１のセットを前記ビットシフトするステップは、Ｎビット演算によって実現されたそのダイナミックレンジを最大にすることであり、Ｎは、正の整数値であり、（２）係数の前記第２のセットを前記ビットシフトするステップは、Ｎビット演算によって実現されたその前記ダイナミックレンジを最大にすることであり、Ｎは、正の整数値であり、または（３）量子化された係数の前記第１のグループを前記ビットシフトするステップは、その前記ダイナミックレンジを前記ビデオ残差データのそれに調整することであることを特徴とする請求項２に記載の方法。
【請求項9】
ビデオブロックに関連付けられたビデオ残差データを処理する方法であって、
選択された量子化ステップサイズパラメータに基づいて適用されることになるスケール係数のセットをメモリにおいて確立するステップと、
第１のブロックのビデオ残差データに対して、
変換ユニットを介して、２方向において１次元変換を使用して前記第１のブロックの前記ビデオ残差データを変換し、変換係数の第１のセットを生成するステップと、
量子化ユニットを介して、変換係数の前記第１のセットを量子化して、量子化された変換係数の第１のグループを生成するステップであって、変換係数の前記第１のセットを前記量子化することは、前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の最初のものを適用する、ステップと、
エントロピコーディングのために、係数の前記第１のセットおよび前記第１のグループのいずれかをビットシフトするステップと、
第２のブロックのビデオ残差データに対して、
前記変換ユニットを介して、１方向において１次元変換を使用して前記第２のブロックの前記ビデオ残差データを変換し、変換係数の第２のセットを生成するステップと、
前記量子化ユニットを介して、変換係数の前記第２のセットを量子化して、量子化された変換係数の第２のグループを生成するステップであって、変換係数の前記第２のセットを前記量子化することは、前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の２番目の異なるものを適用する、ステップと、
エントロピコーディングのために、係数の前記第２のセットおよび前記第２のグループのいずれかをビットシフトするステップと
を備え、スケール係数の前記セットは、スケール係数の前記セットの各スケール係数がそれぞれの循環位置に関連付けられ、および前記スケール係数の前記２番目のものが、前記スケール係数の前記最初のものからの３番目の循環位置となるような、スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
選択された量子化ステップサイズパラメータに基づいて適用されることになるスケール係数のセットをメモリにおいて確立するステップと、
第１のブロックのビデオ残差データに対して、
変換ユニットを介して、２方向において１次元変換を使用して前記第１のブロックの前記ビデオ残差データを変換し、変換係数の第１のセットを生成するステップと、
量子化ユニットを介して、変換係数の前記第１のセットを量子化して、量子化された変換係数の第１のグループを生成するステップであって、変換係数の前記第１のセットを前記量子化することは、前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の最初のものを適用する、ステップと、
エントロピコーディングのために、係数の前記第１のセットおよび前記第１のグループのいずれかをビットシフトするステップと、
第２のブロックのビデオ残差データに対して、
前記変換ユニットを介して、１方向において１次元変換を使用して前記第２のブロックの前記ビデオ残差データを変換し、変換係数の第２のセットを生成するステップと、
前記量子化ユニットを介して、変換係数の前記第２のセットを量子化して、量子化された変換係数の第２のグループを生成するステップであって、変換係数の前記第２のセットを前記量子化することは、前記選択された量子化ステップサイズパラメータに基づいたスケール係数の前記セットにおける前記スケール係数の２番目の異なるものを適用する、ステップと、
エントロピコーディングのために、係数の前記第２のセットおよび前記第２のグループのいずれかをビットシフトするステップと
を備え、スケール係数の前記セットは、スケール係数の前記セットの各スケール係数がそれぞれの循環位置に関連付けられ、および前記スケール係数の前記２番目のものが、前記スケール係数の前記最初のものからの３番目の循環位置となるような、スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
【請求項10】
選択された前記量子化ステップサイズパラメータに基づいて適用されることになる逆スケール係数のセットをメモリにおいて確立するステップと、
量子化された変換係数の前記第１のグループに対して、
逆量子化ユニットを介して、量子化された変換係数の前記第１のセットを逆量子化して、逆量子化された変換係数の第３のセットを生成するステップであって、量子化された変換係数の前記第１のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用する、ステップと、
逆変換ユニットを介して、前記ビデオ残差データを再構成するための第１の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第３のセットを逆変換するステップと、
逆量子化された変換係数の前記第３のセットまたは前記逆変換された出力を第１のビット数だけビットシフトするステップであって、シフトされた前記第１のビット数は、前記選択された量子化ステップサイズパラメータに基づく、ステップと、
量子化された変換係数の前記第２のグループに対して、
前記逆量子化ユニットを介して、量子化された変換係数の前記第２のグループを逆量子化して、逆量子化された変換係数の第４のセットを生成するステップであって、量子化された変換係数の前記第２のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
前記逆変換ユニットを介して、前記ビデオ残差データを再構成するための第２の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第４のセットを逆変換するステップと、
逆量子化された変換係数の前記第４のセットまたは前記逆変換された出力を第２のビット数だけビットシフトするステップであって、シフトされた前記第２のビット数は、前記選択された量子化ステップサイズパラメータに基づき、および前記第２のビット数は、前記第１のビット数と異なる、ステップと
をさらに備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初の１つからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする請求項９に記載の方法。
量子化された変換係数の前記第１のグループに対して、
逆量子化ユニットを介して、量子化された変換係数の前記第１のセットを逆量子化して、逆量子化された変換係数の第３のセットを生成するステップであって、量子化された変換係数の前記第１のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用する、ステップと、
逆変換ユニットを介して、前記ビデオ残差データを再構成するための第１の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第３のセットを逆変換するステップと、
逆量子化された変換係数の前記第３のセットまたは前記逆変換された出力を第１のビット数だけビットシフトするステップであって、シフトされた前記第１のビット数は、前記選択された量子化ステップサイズパラメータに基づく、ステップと、
量子化された変換係数の前記第２のグループに対して、
前記逆量子化ユニットを介して、量子化された変換係数の前記第２のグループを逆量子化して、逆量子化された変換係数の第４のセットを生成するステップであって、量子化された変換係数の前記第２のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
前記逆変換ユニットを介して、前記ビデオ残差データを再構成するための第２の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第４のセットを逆変換するステップと、
逆量子化された変換係数の前記第４のセットまたは前記逆変換された出力を第２のビット数だけビットシフトするステップであって、シフトされた前記第２のビット数は、前記選択された量子化ステップサイズパラメータに基づき、および前記第２のビット数は、前記第１のビット数と異なる、ステップと
をさらに備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初の１つからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする請求項９に記載の方法。
【請求項11】
ビデオブロックに関連付けられたビデオ残差データを処理する方法であって、
選択された量子化ステップサイズパラメータに基づいて適用されることになる逆スケール係数のセットをメモリにおいて確立するステップと、
量子化された変換係数の第１のグループを取得するステップと、
逆量子化ユニットを介して、変換係数の前記第１のグループを逆量子化して、逆量子化された変換係数の第１のセットを生成するステップであって、量子化された変換係数の前記第１のグループを前記逆量子化することは、（１）Ｎが偶数の整数であるという条件で、２N次変換サイズを用いた単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用し、および（２）Ｎが奇数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
逆変換ユニットを介して、前記ビデオ残差データを再構成するための逆変換された出力として、単一の１次元逆変換を使用して、逆量子化された変換係数の前記第１のセットを逆変換するステップと、
逆量子化された変換係数の前記第１のセットまたは前記逆変換された出力をビット数だけビットシフトするステップであって、シフトされた前記ビット数は、前記選択された量子化ステップサイズパラメータに基づく、ステップと
を備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初のものからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
選択された量子化ステップサイズパラメータに基づいて適用されることになる逆スケール係数のセットをメモリにおいて確立するステップと、
量子化された変換係数の第１のグループを取得するステップと、
逆量子化ユニットを介して、変換係数の前記第１のグループを逆量子化して、逆量子化された変換係数の第１のセットを生成するステップであって、量子化された変換係数の前記第１のグループを前記逆量子化することは、（１）Ｎが偶数の整数であるという条件で、２N次変換サイズを用いた単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用し、および（２）Ｎが奇数の整数であるという条件で、前記２N次変換サイズを用いた前記単一の１次元変換に対する前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
逆変換ユニットを介して、前記ビデオ残差データを再構成するための逆変換された出力として、単一の１次元逆変換を使用して、逆量子化された変換係数の前記第１のセットを逆変換するステップと、
逆量子化された変換係数の前記第１のセットまたは前記逆変換された出力をビット数だけビットシフトするステップであって、シフトされた前記ビット数は、前記選択された量子化ステップサイズパラメータに基づく、ステップと
を備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初のものからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
【請求項12】
ビデオブロックに関連付けられたビデオ残差データを処理する方法であって、
選択された量子化ステップサイズパラメータに基づいて適用されることになる逆スケール係数のセットをメモリにおいて確立するステップと、
第１のブロックに対する量子化された変換係数の第１のグループ、および第２のブロックに対する量子化された変換係数の第２のグループを取得するステップと、
量子化された変換係数の前記第１のグループに対して、
逆量子化ユニットを介して、量子化された変換係数の前記第１のグループを逆量子化して、逆量子化された変換係数の第１のセットを生成するステップであって、量子化された変換係数の前記第１のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用する、ステップと、
逆変換ユニットを介して、前記第１のブロックの前記ビデオ残差データを再構成するための第１の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第１のセットを逆変換するステップと、
逆量子化された変換係数の前記第１のセットまたは前記第１の逆変換された出力を第１のビット数だけビットシフトするステップと、
量子化された変換係数の前記第２のグループに対して、
前記逆量子化ユニットを介して、量子化された変換係数の前記第２のグループを逆量子化して、逆量子化された変換係数の第２のセットを生成するステップであって、量子化された変換係数の前記第２のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
前記逆変換ユニットを介して、前記第２のブロックの前記ビデオ残差データを再構成するための第２の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第２のセットを逆変換するステップと、
逆量子化された変換係数の前記第２のセットまたは前記逆変換された出力を、前記選択された量子化ステップサイズパラメータに基づく第２のビット数だけビットシフトするステップであって、前記第２のビット数は、前記第１のビット数と異なる、ステップと
を備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初のものからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
選択された量子化ステップサイズパラメータに基づいて適用されることになる逆スケール係数のセットをメモリにおいて確立するステップと、
第１のブロックに対する量子化された変換係数の第１のグループ、および第２のブロックに対する量子化された変換係数の第２のグループを取得するステップと、
量子化された変換係数の前記第１のグループに対して、
逆量子化ユニットを介して、量子化された変換係数の前記第１のグループを逆量子化して、逆量子化された変換係数の第１のセットを生成するステップであって、量子化された変換係数の前記第１のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の最初のものを適用する、ステップと、
逆変換ユニットを介して、前記第１のブロックの前記ビデオ残差データを再構成するための第１の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第１のセットを逆変換するステップと、
逆量子化された変換係数の前記第１のセットまたは前記第１の逆変換された出力を第１のビット数だけビットシフトするステップと、
量子化された変換係数の前記第２のグループに対して、
前記逆量子化ユニットを介して、量子化された変換係数の前記第２のグループを逆量子化して、逆量子化された変換係数の第２のセットを生成するステップであって、量子化された変換係数の前記第２のグループを前記逆量子化することは、前記選択された量子化ステップサイズパラメータに基づいた逆スケール係数の前記セットにおける前記逆スケール係数の２番目のものを適用する、ステップと、
前記逆変換ユニットを介して、前記第２のブロックの前記ビデオ残差データを再構成するための第２の逆変換された出力として、１次元逆変換を使用して、逆量子化された変換係数の前記第２のセットを逆変換するステップと、
逆量子化された変換係数の前記第２のセットまたは前記逆変換された出力を、前記選択された量子化ステップサイズパラメータに基づく第２のビット数だけビットシフトするステップであって、前記第２のビット数は、前記第１のビット数と異なる、ステップと
を備え、逆スケール係数の前記セットは、逆スケール係数の前記セットの各逆スケール係数がそれぞれの循環位置に関連付けられ、および前記逆スケール係数の前記２番目のものが、前記逆スケール係数の前記最初のものからの３番目の循環位置となるような、逆スケール係数の循環的に順序付けられたセットであることを特徴とする方法。
【請求項13】
スケール係数の前記セットにおける前記スケール係数の前記２番目のものは、スケール係数の前記セットにおける前記スケール係数の前記最初のものに関連して循環的にシフトされることを特徴とする請求項１または９に記載の方法。
【請求項14】
逆スケール係数の前記セットにおける前記逆スケール係数の前記２番目のものは、逆スケール係数の前記セットにおける前記逆スケール係数の前記最初のものに関連して循環的にシフトされることを特徴とする請求項２、１０、１１、または１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、ビデオコーディングに関し、詳細には、ビデオコーディング量子化およびダイナミックレンジ制御のシステム、装置、および方法に関する。
【背景技術】
【0002】
関連出願の相互参照本出願は、その内容が参照によって本明細書に組み込まれている、２０１２年１月１９日に出願した米国特許仮出願第６１／５８８，６４９号の優先権を主張するものである。
【0003】
ビデオコーディングシステムは、ディジタルビデオ信号のストレージの必要および／または伝送帯域幅を減らすためにそのような信号を圧縮するのに広く使用されている。ブロックベースのシステム、ウェーブレットベースのシステム、およびオブジェクトベースのシステムなど、さまざまなタイプのビデオコーディングシステムの中で、現在、ブロックベースのハイブリッドビデオコーディングシステムが、最も広く使用され、展開されている。ブロックベースのビデオコーディングシステムの例は、国際ビデオコーディング標準（たとえば、非特許文献１、非特許文献２、および非特許文献３参照）を含む。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】ＭＰＥＧ１／２／４ ｐａｒｔ ２ ｓｔａｎｄａｒｄ
【非特許文献2】Ｈ．２６４／ＭＰＥＧ−４ ｐａｒｔ １０ ＡＶＣ ｓｔａｎｄａｒｄ
【非特許文献3】ＶＣ−１ ｓｔａｎｄａｒｄ
【非特許文献4】ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４
【非特許文献5】ＩＳＯ／ＩＥＣ １４４９６−１０（ＭＰＥＧ４−ＡＶＣ）、「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｇｅｎｅｒｉｃ Ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ」、ｖ５、Ｍａｒｃｈ ２０１０
【非特許文献6】ＩＳＯ／ＩＥＣ／ＭＰＥＧ ４ ｐａｒｔ １０、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、Ｎｏｖｅｍｂｅｒ ２００７
【非特許文献7】ＳＭＰＴＥ ４２１Ｍ、「ＶＣ−１ Ｃｏｍｐｒｅｓｓｅｄ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍ Ｆｏｒｍａｔ ａｎｄ Ｄｅｃｏｄｉｎｇ Ｐｒｏｃｅｓｓ」、Ａｐｒｉｌ ２００６
【非特許文献8】ＪＭ ｒｅｆｅｒｅｎｃｅ ｓｏｆｔｗａｒｅ ＪＭ１６．１、ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／ｄｏｗｎｌｏａｄ／ｊｍ１６．１．ｚｉｐ、Ｓｅｐｔｅｍｂｅｒ、２００９
【非特許文献9】Ｂ．Ｂｒｏｓｓ、Ｗ．−Ｊ．Ｈａｎ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、Ｊ．−Ｒ．Ｏｈｍ、Ｔ．Ｗｉｅｇａｎｄ、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ５」、Ｄｏｃｕｍｅｎｔ Ｎｏ．ＪＣＴＶＣ−Ｇ１１０３、Ｊａｎｕａｒｙ ２０１１
【非特許文献10】Ｋ．ＭｃＣａｎｎ、Ｂ．Ｂｒｏｓｓ、Ｗ．−Ｊ．Ｈａｎ、Ｓ．Ｓｅｋｉｇｕｃｈｉ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｔｅｓｔ Ｍｏｄｅｌ ５ （ＨＭ ５） Ｅｎｃｏｄｅｒ Ｄｅｓｃｒｉｐｔｉｏｎ」、Ｄｏｃｕｍｅｎｔ Ｎｏ．ＪＣＴＶＣ−Ｇ１１０２、Ｊａｎｕａｒｙ ２０１１
【非特許文献11】Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄ、「Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ」、ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ、ｖｏｌ．１５、ｉｓｓｕｅ ６、Ｎｏｖｅｍｂｅｒ １９９８
【非特許文献12】Ｍ．Ｍｒａｋ、Ａ．Ｇａｂｒｉｅｌｌｉｎｉ、Ｄ．Ｆｌｙｎｎ（ＢＢＣ）、「Ｔｒａｎｓｆｏｒｍ ｓｋｉｐ ｍｏｄｅ」、Ｄｏｃｕｍｅｎｔ Ｎｏ．ＪＣＴＶＣ− Ｇ５７５、Ｎｏｖｅｍｂｅｒ ２０１１
【非特許文献13】Ｎ．Ｓ．Ｊａｙａｎｔ ａｎｄ Ｐ．Ｎｏｌｌ、「Ｄｉｇｉｔａｌ Ｃｏｄｉｎｇ ｏｆ Ｗａｖｅｆｏｒｍｓ： Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｓｐｅｅｃｈ ａｎｄ Ｖｉｄｅｏ」、Ｅｎｇｌｅｗｏｏｄ Ｃｌｉｆｆｓ、ＮＪ、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ、１９８４
【発明の概要】
【0005】
本開示の諸実施形態は、ビデオブロックに関連付けられたビデオ残差データを処理する方法、装置、およびシステムを対象とする。１つの代表的な方法は、変換ユニットを介して、単一の１次元変換を使用して前記ビデオ残差データを変換して、前記ビデオブロックに関連付けられた係数の第１のセットを生成するステップと、量子化ユニットを介して、係数の前記第１のセットを量子化して、量子化された係数の第２のセットを生成するステップとを含み、前記ビデオ残差データを処理する前記方法は、係数の前記第１のセットおよび係数の前記第２のセットのいずれかをビットシフトするステップを含む。代表的な方法はまた前記ビットシフトするステップの後に、量子化された係数の前記第２のセットをエントロピコーディングするステップと、量子化された係数の前記エントロピコーディングされた第２のセットを送信するステップとを含む。
【0006】
もう１つの代表的な方法は、送受信ユニットを介して、ビデオのビデオブロックに関連付けられた符号化され量子化された係数の第１のセットを取得するステップと、エントロピ復号ユニットを介して、量子化された係数の前記第１のセットをエントロピ復号するステップとを含む。他の代表的な方法は、逆量子化ユニットを介して、復号された量子化された係数の前記第１のセットを逆量子化して、逆量子化された係数の第２のセットを生成するステップと、逆変換ユニットを介して、単一の１次元逆変換を使用して逆量子化された係数の前記第２のセットを逆変換して、前記再構成されたビデオブロックを生成するステップと、係数の前記第１のセットおよび前記第２のセットのいずれかをビットシフトするステップとをも含む。
【0007】
ビデオブロックに関連付けられたビデオ残差データをステージで処理するさらなる代表的な方法は、前記ビデオ残差データのすべての変換を除く前記ビデオ残差データを、量子化ユニットを介して量子化して、ステージのうちの第１のステージの出力結果として量子化されたビデオ残差データを生成するステップと、前記ビデオ残差データを、逆量子化ユニットを介して逆量子化して、前記ステージのうちの第２のステージの出力結果として逆量子化されたビデオ残差データを生成するステップとを含む。前記ステージのうちの１または複数の後に、それぞれのステージの前記出力結果は、ビットシフトされる。
【0008】
ビデオをステージで処理する追加の代表的な方法は、ビデオのビデオブロックを取得するステップと、単一の１次元変換を使用してビデオ残差データを変換ユニットを介して変換して、前記ステージのうちの第１のステージの出力結果として前記ビデオブロックに関連付けられた係数のセットを生成するステップとを含む。追加の代表的な方法は、変換された係数の前記セットを、量子化ユニットを介して量子化して、前記ステージのうちの第２のステージの出力結果として量子化係数のセットを生成するステップと、量子化された係数の前記セットを、逆量子化ユニットを介して逆量子化して、前記ステージのうちの第３のステージの出力結果として逆量子化された変換された係数のセットを生成するステップとをも含む。追加の代表的な方法は、前記再構成されたビデオを生成するために単一の１次元逆変換を使用して、前記ステージのうちの第４のステージの出力結果として逆量子化された変換された係数の前記セットを逆変換ユニットを介して逆変換するステップをさらに含む。前記ステージのうちの１または複数の後に、前記出力された係数は、ビットシフトされる。
【0009】
ビデオを処理するさらなる代表的な方法は、ビデオのビデオブロックを取得するステップと、Ｎの関数として量子化の量子化パラメータを選択しまたは決定するステップであって、Ｎは、前記ビデオブロックの処理に使用される変換の次元の整数個数である、選択しまたは決定するステップとを含む。さらなる代表的な方法は、量子化ユニットを介して、前記選択されまたは決定された量子化パラメータを使用して、変換されたまたは変換されていないビデオ残差データを量子化して、量子化されたデータの第１のセットを生成するステップと、逆量子化ユニットを介して、前記選択されまたは決定された量子化パラメータを使用して、量子化されたデータの前記第１のセットを逆量子化して、逆量子化されたデータの第２のセットを生成するステップとを含む。
【0010】
ビデオを処理するさらなる代表的な方法は、送受信ユニットを介して、ビデオのビデオブロックに関連付けられた符号化され量子化されたデータの第１のセットを取得するステップと、Ｎ（Ｎは、前記ビデオブロックの処理で使用される変換の整数個数の次元である）の関数として量子化の量子化パラメータを選択しまたは決定するステップと、エントロピ復号ユニットを介して、量子化されたデータの前記第１のセットをエントロピ復号するステップと、逆量子化ユニットを介して、前記選択されまたは決定された量子化パラメータを使用して、復号された量子化されたデータの前記第１のセットを逆量子化して、逆量子化されたデータの第２のセットを生成するステップとを含む。
【0011】
より詳細な理解は、本明細書に添付の図面に関連して例として与えられる、下の発明を実施するための形態から得ることができる。そのような図面の図は、発明を実施するための形態と同様に、例である。したがって、図および発明を実施するための形態を、限定的と考えてはならず、他の同等に有効な例が、可能であり、見込みがある。さらに、図の同様の符号は、同様の要素を示す。
【図面の簡単な説明】
【0012】
【図1A】１または複数の実施形態を実行し、かつ／または実施することができる例のビデオ符号化および復号システムを示すブロック図である。
【図2】包括的なブロックベースのハイブリッドビデオ符号化システムを示すブロック図である。
【図3】ブロックベースのビデオ復号器を示す全般的なブロック図である。
【図4A】１または複数の開示される実施形態を実施することができる例の通信システムを示す図である。
【図5】ビデオ残差データを処理する代表的な方法を示す流れ図である。
【図6】ビデオを処理する代表的な方法を示す流れ図である。
【図7】ビデオ残差データを処理するもう１つの代表的な方法を示す流れ図である。
【図8】ビデオを処理するさらなる代表的な方法を示す流れ図である。
【図9】ビデオを処理する追加の代表的な方法を示す流れ図である。
【図10】ビデオを処理するもう１つの代表的な方法を示す流れ図である。
【図11】ビデオを処理するもう１つの代表的な方法を示す流れ図である。
【発明を実施するための形態】
【0013】
図１Ａは、１または複数の実施形態を実行し、かつ／または実施することができる例のビデオ符号化および復号システム１００を示すブロック図である。システム１００は、通信チャネル１１６を介して宛先デバイス１１４に符号化されたビデオ情報を送信することができるソースデバイス１１２を含むことができる。
【0014】
ソースデバイス１１２および／または宛先デバイス１１４は、広範囲のデバイスのいずれとすることもできる。いくつかの代表的な実施形態では、ソースデバイス１１２および／または宛先デバイス１１４は、無線送受器または通信チャネル１１６を介してビデオ情報を通信することができる任意の無線デバイス（この場合に、通信チャネル１１６は無線リンクを含む）などの無線送受信ユニット（ＷＴＲＵ）を含むことができる。しかし、本明細書で説明され、開示され、または他の形で明示的に、暗黙のうちに、および／もしくは固有に提供される（集合的に「提供される」）方法、装置、およびシステムは、必ずしも無線アプリケーションまたは無線設定に限定されない。たとえば、これらの技法は、無線テレビジョン放送、ケーブルテレビジョン伝送、衛星テレビジョン伝送、インターネットビデオ伝送、記憶媒体に符号化される符号化されたディジタルビデオ、および／または他のシナリオに適用することができる。通信チャネル１１６は、符号化されたビデオデータの伝送に適する無線媒体または有線媒体の任意の組合せを含むことができ、かつ／またはそれらとすることができる。
【0015】
ソースデバイス１１２は、ビデオ符号器ユニット１１８、送信および／もしくは受信（Ｔｘ／Ｒｘ）ユニット１２０、ならびに／またはＴｘ／Ｒｘ要素１２２を含むことができる。図示されているように、ソースデバイス１１２は、ビデオソース１２４を含むことができる。宛先デバイス１１４は、Ｔｘ／Ｒｘ要素１２６、Ｔｘ／Ｒｘユニット１２８、および／またはビデオ復号器ユニット１３０を含むことができる。図示されているように、宛先デバイス１１４は、ディスプレイデバイス１３２を含むことができる。Ｔｘ／Ｒｘユニット１２０、１２８のそれぞれは、送信器、受信器、または送信器および受信器の組合せ（たとえば、トランシーバすなわち送信器−受信器）とすることができ、またはこれらを含むことができる。Ｔｘ／Ｒｘ要素１２２、１２６のそれぞれは、たとえばアンテナとすることができる。本開示によれば、ソースデバイス１１２のビデオ符号器ユニット１１８および／または宛先デバイス１１４のビデオ復号器ユニット１３０を、本明細書で提供されるコーディング技法を適用するように構成し、かつ／または適合させる（集合的に「適合させる」）ことができる。
【0016】
ソースデバイス１１２および宛先デバイス１１４は、他の要素／コンポーネントまたは配置を含むことができる。たとえば、ソースデバイス１１２を、外部ビデオソースからビデオデータを受け取るように適合させることができる。宛先デバイス１１４は、外部ディスプレイデバイス（図示せず）とインターフェース接続することができ、かつ／または（たとえば、一体化された）ディスプレイデバイス１３２を含み、かつ／もしくは使用することができる。いくつかの実施形態では、ビデオ符号器ユニット１１８によって生成されたビデオストリームを、直接ディジタル転送によるなど、データを搬送波に変調することなく他のデバイスに伝えることができ、他のデバイスは、送信のためにデータを変調してもしなくてもよい。
【0017】
本明細書で提供される技法を、任意のディジタルビデオ符号化デバイスおよび／またはディジタルビデオ復号デバイスによって実行することができる。一般に、本明細書で提供される技法は、別々のビデオ符号化デバイスおよび／またはビデオ復号デバイスによって実行されるが、これらの技法を、通常は「コーデック」と称する組み合わされたビデオ符号器／復号器によって実行することもできる。本明細書で提供される技法を、ビデオプリプロセッサまたは類似物によって実行することもできる。ソースデバイス１１２および宛先デバイス１１４は、ソースデバイス１１２が、宛先デバイス１１４への送信のために符号化されたビデオ情報を生成することができる（かつ／またはビデオデータを受け取り、そのようなビデオ情報を生成することができる）そのようなコーディングデバイスの単なる例である。いくつかの代表的な実施形態では、ソースデバイス１１２および宛先デバイス１１４は、デバイス１１２、１１４のそれぞれがビデオ符号化コンポーネントおよび／または要素（集合的に「要素」）とビデオ復号コンポーネントおよび／または要素との両方を含むことができるように、実質的に対称の形で動作することができる。したがって、システム１００は、ソースデバイス１１２と宛先デバイス１１４との間の１方向および２方向のビデオ伝送（たとえば、とりわけ、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、ビデオ電話、および／またはビデオ会議のいずれかのための）のいずれかをサポートすることができる。ある種の代表的な実施形態では、ソースデバイス１１２を、たとえば、１または複数の宛先デバイスのために符号化されたビデオ情報を生成する（かつ／または、ビデオデータを受け取り、そのようなビデオデータを生成する）ように適合されたビデオストリーミングサーバとすることができ、宛先デバイスは、有線通信システムおよび／または無線通信システムを介してソースデバイス１１２と通信しているものとすることができる。
【0018】
外部ビデオソースおよび／またはビデオソース１２４は、ビデオカメラ、以前に取り込まれたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからのビデオフィードなど、ビデオ取込デバイスとし、かつ／またはこれを含むことができる。ある種の代表的な実施形態では、外部ビデオソースおよび／またはビデオソース１２４は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、または生ビデオ、アーカイブされたビデオおよび／またはコンピュータ生成されたビデオの組合せを生成することができる。ある種の代表的実施形態では、ビデオソース１２４がビデオカメラである時に、ソースデバイス１１２および宛先デバイス１１４を、カメラ付き電話機またはビデオ付き電話機とすることができ、かつ／またはこれを実施することができる。
【0019】
取り込まれた、事前に取り込まれた、コンピュータ生成されたビデオ、ビデオフィード、および／または他のタイプのビデオデータ（集合的に「符号化されていないビデオ」）を、ビデオ符号器ユニット１１８によって符号化して、符号化されたビデオ情報を形成することができる。Ｔｘ／Ｒｘユニット１２０は、符号化されたビデオ情報を変調することができる（たとえば、通信標準に従って、符号化されたビデオ情報を搬送する１または複数の変調された信号を形成するために）。Ｔｘ／Ｒｘユニット１２０は、変調された信号を送信のためにその送信器に渡すことができる。送信器は、Ｔｘ／Ｒｘ要素１２２を介して宛先デバイス１１４に変調された信号を送信することができる。
【0020】
宛先デバイス１１４では、Ｔｘ／Ｒｘユニット１２８が、チャネル１１６上からＴｘ／Ｒｘ要素１２２、１２６を介して変調された信号を受信することができる。Ｔｘ／Ｒｘユニット１２８は、変調された信号を復調して、符号化されたビデオ情報を取得することができる。Ｔｘ／Ｒｘユニット１２８は、符号化されたビデオ情報をビデオ復号器ユニット１３０に渡すことができる。
【0021】
ビデオ復号器ユニット１３０は、符号化されたビデオ情報を復号して、復号されたビデオデータを取得することができる。符号化されたビデオ情報は、ビデオ符号器ユニット１１８によって定義される構文情報を含むことができる。この構文情報は、１または複数の要素（「構文要素」）を含むことができ、その一部またはすべてが、符号化されたビデオ情報の復号に有用である可能性がある。構文要素は、たとえば、符号化されたビデオ情報の特性を含むことができる。構文要素は、符号化されたビデオ情報を形成するのに使用された符号化されていないビデオの特性を含み、かつ／またはその符号化されていないビデオの処理を記述することもできる。
【0022】
ビデオ復号器ユニット１３０は、後の格納および／または外部ディスプレイ（図示せず）上での表示のために、復号されたビデオデータを出力することができる。ある種の代表的な実施形態では、ビデオ復号器ユニット１３０は、ディスプレイデバイス１３２に復号されたビデオデータを出力することができる。ディスプレイデバイス１３２は、復号されたビデオデータをユーザに表示するように適合された任意の個々の、複数の、組み合わされた、さまざまなディスプレイデバイスとすることができ、かつ／またはこれを含むことができる。そのようなディスプレイデバイスの例は、とりわけ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、および／または陰極線管（ＣＲＴ）を含む。
【0023】
通信チャネル１１６は、ラジオ周波数（ＲＦ）スペクトルまたは１もしくは複数の物理伝送線などの任意の無線通信媒体もしくは有線通信媒体、または無線媒体および有線媒体の任意の組合せとすることができる。通信チャネル１１６は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成することができる。通信チャネル１１６は、一般に、有線媒体および／または無線媒体の任意の適切な組合せを含む、ソースデバイス１１２から宛先デバイス１１４にビデオデータを送信するための任意の適切な通信媒体または異なる通信媒体の集合を表す。通信チャネル１１６は、ソースデバイス１１２から宛先デバイス１１４への通信を容易にするのに有用である可能性がある、ルータ、スイッチ、基地局、および／または任意の他の機器を含むことができる。デバイス１１２と１１４との間のそのような通信を容易にすることができる例の通信システムの詳細を、下で図４Ａ〜４Ｅを参照して提供する。ソースデバイス１１２および宛先デバイス１１４を表すことができるデバイスの詳細も、下で提供する。
【0024】
ビデオ符号器ユニット１１８およびビデオ復号器ユニット１３０は、たとえば、とりわけ、ＭＰＥＧ−２、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｈ．２６４／ＡＶＣ、および／またはＳＶＣ拡張に従って拡張されたＨ．２６４（「Ｈ．２６４／ＳＶＣ」）などの１または複数の標準および／または仕様に従って動作することができる。本明細書で示される方法、装置、および／またはシステムが、異なる標準に従って（および／またはこれに準拠して）実施された他のビデオ符号器、ビデオ復号器、および／もしくはビデオコーデックに、または将来のビデオ符号器、ビデオ復号器、および／またはビデオコーデックを含むプロプライエタリなビデオ符号器、ビデオ復号器、および／もしくはビデオコーデックに適用可能であることを、当業者は理解する。本明細書で示される技法は、どの特定のコーディング標準にも限定されない。
【0025】
上で注記したＨ．２６４／ＡＶＣの関連部分は、国際電気通信連合からＩＴＵ−Ｔ勧告Ｈ．２６４として取得可能である（たとえば、より具体的には、参照によって本明細書に組み込まれている、本明細書でＨ．２６４標準、Ｈ．２６４仕様、Ｈ．２６４／ＡＶＣ標準、および／またはＨ．２６４／ＡＶＣ仕様と称する場合がある、非特許文献４および非特許文献５参照）。本明細書で提供される技法を、Ｈ．２６４標準に準拠する（たとえば、全体的に準拠する）デバイスに適用することができる。
【0026】
図１Ａには図示されていないが、ビデオ符号器ユニット１１８およびビデオ復号器ユニット１３０のそれぞれは、オーディオ符号器および／またはオーディオ復号器を含み、かつ／またはこれと一体化され得る（適当に）。ビデオ符号器ユニット１１８およびビデオ復号器ユニット１３０は、共通のデータストリームおよび／または別々のデータストリーム内のオーディオとビデオとの両方の符号化を処理するために、適当なマルチプレクサ−デマルチプレクサユニットまたは他のハードウェアおよび／もしくはソフトウェアを含むことができる。適用可能な場合に、マルチプレクサ−デマルチプレクサユニットは、ＩＴＵ−Ｔ勧告Ｈ．２２３マルチプレクサプロトコルおよび／またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠することができる。
【0027】
１または複数のビデオ符号器ユニット１１８およびビデオ復号器ユニット１３０を、１または複数の符号器および／または復号器に含めることができ、この符号器および／または復号器のいずれかを、コーデックの一部として一体化することができ、とりわけ、それぞれのカメラ、コンピュータ、モバイルデバイス、加入者デバイス、ブロードキャストデバイス、セットトップボックス、および／またはサーバと一体化し、かつ／または組み合わせることができる。ビデオ符号器ユニット１１８および／またはビデオ復号器ユニット１３０を、１または複数のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはその任意の組合せなど、それぞれさまざまな適切な符号器回路網および／または復号器回路網のいずれかとして実施することができる。ビデオ符号器ユニット１１８およびビデオ復号器ユニット１３０のいずれかまたは両方を、実質的にソフトウェアで実施することができ、ビデオ符号器ユニット１１８および／またはビデオ復号器ユニット１３０の要素の動作を、１または複数のプロセッサ（図示せず）によって実行される適当なソフトウェア命令によって実行することができる。そのような実施形態は、プロセッサに加えて、オフチップコンポーネント、たとえば、とりわけ、外部ストレージ（たとえば、不揮発性メモリの形の）および／または入出力インターフェースを含むことができる。
【0028】
ビデオ符号器ユニット１１８および／またはビデオ復号器ユニット１３０の要素の動作を１または複数のプロセッサによって実行されるソフトウェアによって実行できる任意の実施形態では、ソフトウェア命令を、たとえば、とりわけ、ＣＰＵによって可読の、磁気ディスク、光ディスク、任意の他の揮発性（たとえば、ランダムアクセスメモリ（「ＲＡＭ」））、不揮発性（たとえば、読取り専用メモリ（「ＲＯＭ」））、および／またはマスストレージシステムを含むコンピュータ可読媒体上で維持することができる。コンピュータ可読媒体は、協力するまたは相互接続されたコンピュータ可読媒体を含むことができ、このコンピュータ可読媒体は、処理システム上に排他的に存在することができ、かつ／または処理システムにローカルまたはリモートとすることができる複数の相互接続された処理システムにまたがって分散される。
【0029】
図１Ｂは、システム１００などのビデオ符号化および／または復号システムと共に使用される例のビデオ符号器ユニット１１８を示すブロック図である。ビデオ符号器ユニット１１８は、ビデオ符号器１３３、出力バッファ１３４、およびシステムコントローラ１３６を含むことができる。ビデオ符号器１３３（またはその１または複数の要素）を、たとえば、とりわけ、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＡＶＣのＳＶＣ拡張（Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ）、および／またはＨＥＶＣなどの１または複数の標準および／または仕様に従って実施することができる。当業者は、本明細書で提供される方法、装置、および／またはシステムを、異なる標準に従って実施された他のビデオ符号器および／または将来のコーデックを含むプロプライエタリコーデックに適用可能とすることができることを理解する。
【0030】
ビデオ符号器１３３は、ビデオソース１２４および／または外部ビデオソースなどのビデオソースから供給されたビデオ信号を受け取ることができる。このビデオ信号は、符号化されていないビデオを含むことができる。ビデオ符号器１３３は、符号化されていないビデオを符号化し、その出力で符号化された（すなわち、圧縮された）ビデオビットストリーム（ＢＳ）を提供することができる。
【0031】
符号化されたビデオビットストリームＢＳを、出力バッファ１３４に供給することができる。出力バッファ１３４は、符号化されたビデオビットストリームＢＳをバッファリングすることができ、そのような符号化されたビデオビットストリームＢＳを、通信チャネル１１６を介する送信のために、バッファリングされたビットストリーム（ＢＢＳ）として供給することができる。
【0032】
出力バッファ１３４から出力されたバッファリングされたビットストリームＢＢＳを、後の表示または伝送のためにストレージデバイス（図示せず）に送ることができる。ある種の代表的な実施形態では、ビデオ符号器ユニット１１８を、バッファリングされたビットストリームＢＢＳを指定された一定のおよび／または可変のビットレート（たとえば、遅延（たとえば、非常に短いまたは最小の遅延）を伴う）で通信チャネル１１６を介して伝送できる視覚的通信のために構成することができる。
【0033】
符号化されたビデオビットストリームＢＳおよびバッファリングされたビットストリームＢＢＳは、符号化されたビデオ情報のビットを搬送することができる。バッファリングされたビットストリームＢＢＳのビットを、符号化されたビデオフレームのストリームとして配置することができる。符号化されたビデオフレームは、イントラコーディングされたフレーム（たとえば、Ｉフレーム）またはインターコーディングされたフレーム（たとえば、Ｂフレームおよび／またはＰフレーム）とすることができる。符号化されたビデオフレームのストリームを、たとえば、各グループオブピクチャ（ＧＯＰ）の符号化されたビデオフレームが指定された順序で配置された、一連のＧＯＰとして配置することができる。一般に、各ＧＯＰは、イントラコーディングされたフレーム（たとえば、Ｉフレーム）から始まり、これに１または複数のインターコーディングされたフレーム（たとえば、Ｐフレームおよび／またはＢフレーム）が続く。各ＧＯＰは、単一のイントラコーディングされたフレームのみを含むことができるが、ＧＯＰのいずれもが、複数を含むことができる。たとえば、両方向予測が、単一方向予測（Ｐフレーム）と比較して余分なコーディング遅延を引き起こす可能性があるので、Ｂフレームが、リアルタイム低遅延アプリケーションに使用され得ないことが企図されている。当業者によって理解されるように、追加のおよび／または他のフレームタイプを使用することができ、符号化されたビデオフレームの特定の順序付けを、変更することができる。
【0034】
各ＧＯＰは、構文データ（「ＧＯＰ構文データ」）を含む場合がある。ＧＯＰ構文データを、ＧＯＰのヘッダ内、ＧＯＰの１または複数のフレームのヘッダ内、および／または他の場所に配置することができる。ＧＯＰ構文データは、順序付け、量、またはタイプを示すことができ、かつ／またはそれぞれのＧＯＰの符号化されたビデオフレームを記述することができる。各符号化されたビデオフレームは、構文データ（「符号化されたフレーム構文データ」）を含む場合がある。符号化されたフレーム構文データは、それぞれの符号化されたビデオフレームの符号化モードを示し、かつ／または記述することができる。
【0035】
システムコントローラ１３６は、チャネル１１６に関連付けられたさまざまなパラメータおよび／または制約、ビデオ符号器ユニット１１８の計算能力、ユーザによる需要などを監視することができ、チャネル１１６の指定された制約および／または条件に適切な付随する体感品質（ＱｏＥ）を提供するためにターゲットパラメータを確立することができる。ターゲットパラメータのうちの１または複数を、指定された制約および／またはチャネル条件に依存して、時々または周期的に調整することができる。一例として、ＱｏＥを、たとえば符号化されたビデオシーケンスの相対知覚品質（relative perceptive quality of encoded video sequence）と一般に称するメトリックを含む、ビデオ品質を査定するための１または複数のメトリックを使用して、定量的に査定することができる。たとえば、ピーク信号対雑音比（「ＰＳＮＲ」）メトリックを使用して査定される符号化されたビデオシーケンスの相対知覚品質を、符号化されたビットストリームＢＳのビットレート（ＢＲ）によって制御することができる。ターゲットパラメータのうちの１または複数（たとえば、量子化パラメータ（ＱＰ）を含む）を調整して、符号化されたビットストリームＢＳのビットレートに関連付けられた制約の中でビデオの相対知覚品質を最大にすることができる。
【0036】
図２は、システム１００などのビデオ符号化および／または復号システムと共に使用されるブロックベースのハイブリッドビデオ符号器２００のブロック図である。
【0037】
図２を参照すると、ブロックベースのハイブリッド符号化システム２００は、とりわけ、変換ユニット２０４、量子化ユニット２０６、エントロピコーディングユニット２０８、逆量子化ユニット２１０、逆変換ユニット２１２、第１の加算器２１６、第２の加算器２２６、空間予測ユニット２６０、動き／時間予測ユニット２６２、基準ピクチャストア２６４、１または複数のフィルタ２６６（たとえば、ループフィルタ）、および／またはモード判断および符号器コントローラユニット２８０を含むことができる。
【0038】
ビデオ符号器２００の詳細は、単に例示であることが意図され、実世界の実施態様は、異なる可能性がある。実世界の実施態様は、たとえば、より多数、より少数、および／または異なる要素を含む可能性があり、かつ／または図２に示された配置とは異なって配置される可能性がある。たとえば、別々に図示されているが、変換ユニット２０４と量子化ユニット２０６との両方の一部またはすべての機能性を、たとえばＨ．２６４標準のコア変換を使用する実施態様など、実世界実施態様の一部で高度に一体化することができる。同様に、逆量子化ユニット２１０および逆変換ユニット２１２を、実世界実施態様（たとえば、Ｈ．２６４標準準拠実施態様）の一部で高度に一体化することができるが、同様に、概念のために別々に図示されている。
【0039】
上で説明したように、ビデオ符号器２００は、その入力２０２でビデオ信号を受け取ることができる。ビデオ符号器２００は、受け取った符号化されていないビデオから符号化されたビデオ情報を生成し、符号化されたビデオ情報（たとえば、イントラフレームまたはインターフレームのいずれであれ）を符号化されたビデオビットストリームＢＳの形でその出力２２０から出力することができる。ビデオ符号器２００は、たとえば、ハイブリッドビデオ符号器として動作することができ、符号化されていないビデオを符号化するためにブロックベースのコーディングプロセスを使用することができる。そのような符号化プロセスを実行する時に、ビデオ符号器２００は、符号化されていないビデオの個々のフレーム、ピクチャ、および／またはイメージ（集合的に「符号化されていないピクチャ」）を操作することができる。
【0040】
ブロックベースの符号化プロセスを容易にするために、ビデオ符号器２００は、その入力２０２で受け取られた各符号化されていないピクチャを複数の符号化されていないビデオブロックにスライスし、区分し、分割し、かつ／またはセグメント化する（集合的に「セグメント化する」）ことができる。たとえば、ビデオ符号器２００は、符号化されていないピクチャを複数の符号化されていないビデオセグメント（たとえば、スライス）にセグメント化することができ、符号化されていないビデオセグメントのそれぞれを符号化されていないビデオブロックにセグメント化することができる（たとえば、その後にセグメント化することができる）。ビデオ符号器２００は、符号化されていないビデオブロックを空間予測ユニット２６０、動き／時間予測ユニット２６２、モード判断および符号器コントローラユニット２８０、および／または第１の加算器２１６に渡し、供給し、送り、または提供することができる。下でより詳細に説明するように、符号化されていないビデオブロックを、ブロックごとに供給することができる。
【0041】
空間予測ユニット２６０は、符号化されていないビデオブロックを受け取り、そのようなビデオブロックをイントラモードで符号化することができる。イントラモードは、空間ベースの圧縮の複数のモードのいずれかを指し、イントラモードでの符号化は、符号化されていないピクチャの区間ベースの圧縮を提供しようと努力する。空間ベースの圧縮がある場合に、その圧縮は、符号化されていないピクチャ内のビデオ情報の空間的冗長性の削減または除去から生じる可能性がある。予測ブロックを形成する際に、空間予測ユニット２６０は、既に符号化された（「符号化されたビデオブロック」）および／または再構成された（「再構成されたビデオブロック」）符号化されていないピクチャの１または複数のビデオブロックに対する各符号化されていないビデオブロックの空間予測（または「イントラ予測」）を実行することができる。符号化されたおよび／または再構成されたビデオブロックは、符号化されていないビデオブロックの近傍、これに隣接する、またはこれに近接する（たとえば、非常に近接する）ものとすることができる。
【0042】
動き／時間予測ユニット２６２は、入力２０２から符号化されていないビデオブロックを受け取り、それらをインターモードで符号化することができる。インターモードは、たとえばＰモード（単一方向予測）および／またはＢモード（両方向予測）を含む時間ベースの圧縮の複数のモードのいずれかをさす。インターモードでの符号化は、符号化されていないピクチャの時間ベースの圧縮を提供しようと努力する。時間ベースの圧縮がある場合に、その圧縮は、符号化されていないピクチャおよび１または複数の基準（たとえば、隣接する）ピクチャの間のビデオ情報の時間的冗長性の削減または除去から生じる可能性がある。動き／時間予測ユニット２６２は、基準ピクチャの１または複数のビデオブロック（「基準ビデオブロック」）に対する各符号化されていないビデオブロックの時間予測（または「インター予測」）を実行することができる。実行される時間予測を、単一方向予測（たとえば、Ｐモードに関する）および／または両方向予測（たとえば、Ｂモードに関する）とすることができる。
【0043】
単一方向予測について、基準ビデオブロックを、１または複数の以前に符号化されたおよび／または再構成されたピクチャからのブロックとすることができる。符号化されたおよび／または再構成されたピクチャ（１または複数）を、符号化されていないピクチャの近傍、これに隣接する、および／またはこれに近接するものとすることができる。
【0044】
両方向予測について、基準ビデオブロックを、１または複数の以前に符号化されたおよび／または再構成されたピクチャならびにビデオストリームの１または複数の他の符号化されていないピクチャからのブロックとすることができる。符号化されたおよび／または再構成されたピクチャならびに他の符号化されていないピクチャを、符号化されていないピクチャの近傍、これに隣接する、および／またはこれに近接するものとすることができる。
【0045】
ビデオブロックごとに複数の基準ピクチャが使用される（Ｈ．２６４／ＡＶＣおよび／またはＨＥＶＣなどの最近のビデオコーディング標準についてそうである可能性があるように）場合に、その基準ピクチャインデックスを、後続の出力および／または送信のためにエントロピコーディングユニット２０８に送ることができる。基準インデックスを使用して、時間予測が基準ピクチャストア２６４内のどの１または複数の基準ピクチャに由来するのかを識別することができる。
【0046】
通常は高度に一体化されるが、動き推定および動き補償に関する動き／時間予測ユニット２６２の諸機能を、別々のエンティティまたはユニット（図示せず）によって実行することができる。動き推定を実行して、基準ピクチャビデオブロックに対する符号化されていないビデオブロックごとの動きを推定することができ、動き推定は、符号化されていないビデオブロックの動きベクトルの生成を含むことができる。動きベクトルは、コーディングされつつある符号化されていないビデオブロックに対する予測ブロックの変位を示すことができる。この予測ブロックは、たとえばコーディングされつつある符号化されていないビデオブロックの画素差に関してよく一致することがわかった基準ピクチャビデオブロックである。一致は、絶対誤差和（ＳＡＤ）、二乗誤差和（ＳＳＤ）、および／または他の差メトリックによって決定することができる。動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックを取り出すことおよび／または生成することを含むことができる。
【0047】
動き／時間予測ユニット２６２は、符号化されていないビデオブロックを基準ピクチャストア２６４内に格納された基準ピクチャからの基準ビデオブロックと比較することによって、符号化されていないビデオブロックの動きベクトルを計算することができる。動き／時間予測ユニット２６２は、基準ピクチャストア２６４内に含まれる基準ピクチャの分数画素位置の値を計算することができる。いくつかの場合に、加算器２２６またはビデオ符号器２００の別のユニットが、再構成されたビデオブロックの分数画素位置値を計算することができ、分数画素位置の計算された値と共に、再構成されたビデオブロックを基準ピクチャストア２６４に格納することができる。動き／時間予測ユニット２６２は、基準ピクチャ（たとえば、Ｉフレームおよび／またはＰフレーム）のサブ整数画素を補間することができる。
【0048】
動き／時間予測ユニット２６２を、選択された動きプレディクタ（motion predictor）に対して動きベクトルを符号化するように構成することができる。動き／時間予測ユニット２６２によって選択される動きプレディクタは、たとえば、既に符号化された近傍のブロックの動きベクトルの平均値と同等のベクトルとすることができる。符号化されていないビデオブロックの動きベクトルを符号化するために、動き／時間予測ユニット２６２は、動きベクトルと動きプレディクタとの間の差を計算して、動きベクトル差値を形成することができる。
【0049】
Ｈ．２６４は、潜在的な基準フレームのセットを「リスト」と称する。基準ピクチャストア２６４に格納された基準ピクチャのセットは、基準フレームのそのようなリストに対応することができる。動き／時間予測ユニット２６２は、基準ピクチャストア２６４からの基準ピクチャ（たとえば、ＰフレームまたはＢフレーム）の基準ビデオブロックを符号化されていないビデオブロックと比較することができる。基準ピクチャストア２６４内の基準ピクチャが、サブ整数画素の値を含む時には、動き／時間予測ユニット２６２によって計算される動きベクトルは、基準ピクチャのサブ整数画素位置を参照することができる。動き／時間予測ユニット２６２は、計算された動きベクトルをエントロピコーディングユニット２０８および動き／時間予測ユニット２６２の動き補償機能に送ることができる。動き／時間予測ユニット２６２（またはその動き補償機能）は、コーディングされつつある符号化されていないビデオブロックに対する予測ブロックの誤差値を計算することができる。動き／時間予測ユニット２６２は、予測ブロックに基づいて予測データを計算することができる。
【0050】
モード判断および符号器コントローラユニット２８０は、コーディングモードすなわちイントラモードまたはインターモードのうちの１つを選択することができる。モード判断および符号器コントローラユニット２８０は、たとえば、レートひずみ最適化方法および／または各モードで作られる誤差結果に基づいて、それを行うことができる。
【0051】
ビデオ符号器２００は、コーディングされつつある符号化されていないビデオブロックから、動き／時間予測ユニット２６２から供給される予測データを減算することによって、残差のブロック（「残差ビデオブロック」）を形成することができる。加算器２１６は、この減算動作を実行することができる１または複数の要素を表す。
【0052】
変換ユニット２０４は、残差ビデオブロックに変換を適用して、そのような残差ビデオブロックを画素値領域から周波数領域などの変換領域に変換することができる。変換は、たとえば、本明細書で提供される変換、離散コサイン変換（ＤＣＴ）、または概念的に類似する変換のいずれとすることもできる。変換の他の例は、とりわけ、Ｈ．２６４で定義される変換、ウェーブレット変換、整数変換、および／またはサブバンド変換を含む。変換ユニット２０４による残差ビデオブロックへの変換の適用は、残差ビデオブロックの変換係数（「残差変換係数」）の対応するブロックを作る。これらの残差変換係数は、残差ビデオブロックの周波数成分の大きさを表すことができる。変換ユニット２０４は、残差変換係数を量子化ユニット２０６に転送することができる。
【0053】
量子化ユニット２０６は、符号化されたビットレートをさらに減らすために、残差変換係数を量子化することができる。量子化プロセスは、たとえば、残差変換係数の一部またはすべてに関連付けられたビット深さを減らすことができる。ある種の例では、量子化ユニット２０６は、量子化された変換係数のブロックを形成するために、ＱＰに対応する量子化レベルによって残差変換係数の値を除算することができる。量子化の度合を、ＱＰ値を調整することによって変更することができる。量子化ユニット２０６は、所望の個数の量子化ステップを使用して残差変換係数を表すために量子化を適用することができ、使用されるステップの個数（または、対応して、量子化レベルの値）は、残差ビデオブロックを表すのに使用される符号化されたビデオビットの個数を決定することができる。量子化ユニット２０６は、レートコントローラ（図示せず）からＱＰ値を取得することができる。量子化に続いて、量子化ユニット２０６は、量子化された変換係数をエントロピコーディングユニット２０８および逆量子化ユニット２１０に供給することができる。
【0054】
エントロピコーディングユニット２０８は、エントロピコーディングされた係数（すなわち、ビットストリーム）を形成するために、量子化された変換係数にエントロピコーディングを適用することができる。エントロピコーディングユニット２０８は、ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ（ＣＡＶＬＣ）、ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ（ＣＡＢＡＣ）、および／またはエントロピコーディングされた係数を形成する別のエントロピコーディング技法を使用することができる。ＣＡＢＡＣは、当業者が理解するように、コンテキスト情報（「コンテキスト」）の入力を必要とする場合がある。このコンテキストは、たとえば、近傍のビデオブロックに基づくものとすることができる。
【0055】
エントロピコーディングユニット２０８は、生の符号化されたビデオビットストリームの形の動きベクトルと一緒に、エントロピコーディングされた係数を内部ビットストリームフォーマット（図示せず）に供給することができる。このビットストリームフォーマットは、たとえば、ビデオ復号器ユニット３００（図３）が生の符号化されたビデオビットストリームからの符号化されたビデオブロックを復号することを可能にするヘッダおよび／または他の情報を含む、追加情報を生の符号化されたビデオビットストリームに付加することによって、出力バッファ１３４（図１Ｂ）に供給される符号化されたビデオビットストリームＢＳを形成することができる。エントロピコーディングに続いて、エントロピコーディングユニット２０８から供給された符号化されたビデオビットストリームＢＳを、たとえば出力バッファ１３４に出力することができ、たとえば、チャネル１１６を介して宛先デバイス１１４に送信するか、または後の送信または取出のためにアーカイブすることができる。
【0056】
ある種の代表的な実施形態では、エントロピコーディングユニット２０８またはビデオ符号器１３３、２００の別のユニットを、エントロピコーディングに加えて他のコーディング機能を実行するように構成することができる。たとえば、エントロピコーディングユニット２０８を、ビデオブロックのコードブロックパターン（ＣＢＰ）値を決定するように構成することができる。ある種の代表的な実施形態では、エントロピコーディングユニット２０８は、ビデオブロック内の量子化された変換係数のランレングスコーディングを実行することができる。一例として、エントロピコーディングユニット２０８は、ジグザグスキャンまたは他のスキャンパターンを適用して、ビデオブロック内の量子化された変換係数を配置し、さらなる圧縮のためにゼロのランを符号化することができる。エントロピコーディングユニット２０８は、符号化されたビデオビットストリームＢＳでの送信のために適当な構文要素を用いてヘッダ情報を構成することができる。
【0057】
逆量子化ユニット２１０および逆変換ユニット２１２は、それぞれ逆量子化および逆変換を適用して、たとえば基準ビデオブロックの１つとしての後の使用のために（たとえば、基準ピクチャリスト内の基準ピクチャの１つの中で）、画素領域で残差ビデオブロックを再構成することができる。
【0058】
モード判断および符号器コントローラユニット２８０は、再構成された残差ビデオブロックを基準ピクチャストア２６４に格納された基準ピクチャのうちの１つの予測ブロックに加算することによって、基準ビデオブロックを計算することができる。モード判断および符号器コントローラユニット２８０は、再構成された残差ビデオブロックに１または複数の補間フィルタを適用して、動き推定での使用のためにサブ整数画素値（たとえば、１／２画素位置に関する）を計算することができる。
【0059】
加算器２２６は、再構成された残差ビデオブロックを、動き補償予測ビデオブロックに加算して、基準ピクチャストア２６４に格納される再構成されたビデオブロックを作ることができる。再構成された（画素値領域）ビデオブロックを、後続の符号化されていないビデオ内の符号化されていないビデオブロックのインターコーディングのための基準ブロックの１つとして、動き／時間予測ユニット２６２（またはその動き推定機能および／またはその動き補償機能）によって使用することができる。
【0060】
フィルタ２６６（たとえば、ループフィルタ）は、デブロッキングフィルタを含むことができる。デブロッキングフィルタは、再構成されたマクロブロック内に存在する可能性がある視覚的アーチファクトを除去するように動作することができる。これらのアーチファクトは、たとえば、Ｉタイプ、Ｐタイプ、またはＢタイプなど、符号化の異なるモードの使用に起因して符号化プロセスで導入される可能性がある。アーチファクトは、たとえば、受け取られたビデオブロックの境界および／または縁に存在する可能性があり、デブロッキングフィルタは、視覚的品質を改善するためにビデオブロックの境界および／または縁を平滑化するように動作することができる。デブロッキングフィルタは、加算器２２６の出力を平滑化することができる。
【0061】
図３は、図１Ａのビデオ復号器ユニット１３０などのビデオ復号器ユニットと共に使用されるビデオ復号器３００の例を示すブロック図である。ビデオ復号器３００は、入力３０２、エントロピ復号ユニット３０８、動き補償予測ユニット３６２、空間予測ユニット３６０、逆量子化ユニット３１０、逆変換ユニット３１２、基準ピクチャストア３６４、フィルタ３６６、加算器３２６、および出力３２０を含むことができる。ビデオ復号器３００は、全般的にビデオ符号器１３３、２００に関して提供された符号化プロセスに相反する復号プロセスを実行することができる。この復号プロセスを、下で示すように実行することができる。
【0062】
動き補償予測ユニット３６２は、エントロピ復号ユニット３０８から受け取られた動きベクトルに基づいて、予測データを生成することができる。動きベクトルを、符号化された動きベクトルに対応するビデオブロックの動きプレディクタに対して符号化することができる。動き補償予測ユニット３６２は、たとえば、復号されるビデオブロックの近傍のブロックの動きベクトルの中央値として、動きプレディクタを決定することができる。動きプレディクタを決定した後に、動き補償予測ユニット３６２は、符号化されたビデオビットストリームＢＳから動きベクトル差値を抽出すること、および動きプレディクタに動きベクトル差値を加算することによって、符号化された動きベクトルを復号することができる。動き補償予測ユニット３６２は、符号化された動きベクトルと同一の分解能までで動きプレディクタを量子化することができる。ある種の代表的実施形態では、動き補償予測ユニット３６２は、一部のまたはすべての符号化された動きプレディクタについて、同一の精度を使用することができる。もう１つの例として、動き補償予測ユニット３６２を、上の方法のいずれかを使用し、符号化されたビデオビットストリームＢＳから取得されたシーケンスパラメータセット、スライスパラメータセット、またはピクチャパラメータセットに含まれるデータを分析することによって、使用すべき方法を決定するように構成することができる。
【0063】
動きベクトルを復号した後に、動き補償予測ユニット３６２は、動きベクトルによって識別された予測ビデオブロックを基準ピクチャストア３６４の基準ピクチャから抽出する。動きベクトルが、１／２画素などの分数画素位置をポイントする場合には、動き補償予測ユニット３６２は、分数画素位置について値を補間することができる。動き補償予測ユニット３６２は、適応補間フィルタまたは固定補間フィルタを使用して、これらの値を補間することができる。動き補償予測ユニット３６２は、受け取られた符号化されたビデオビットストリームＢＳから、フィルタ３６６のどれを使用すべきかのしるしと、いくつかの代表的な実施形態で、フィルタ３６６の係数とを取得することができる。
【0064】
空間予測ユニット３６０は、符号化されたビデオビットストリームＢＳ内で受け取られたイントラ予測モードを使用して、空間的に隣接するブロックから予測ビデオブロックを形成することができる。逆量子化ユニット３１０は、逆量子化を行うことができる（たとえば、符号化されたビデオビットストリームＢＳ内で供給され、エントロピ復号ユニット３０８によって復号される、量子化されたブロック係数を逆量子化する）。逆量子化プロセスは、たとえばＨ．２６４によって定義される、従来のプロセスを含むことができる。逆量子化プロセスは、適用される量子化の度合および／または逆量子化の度合を決定するためにビデオブロックごとにビデオ符号器１３３、２００によって計算された量子化パラメータＱＰの使用を含むことができる。
【0065】
逆変換ユニット３１２は、画素領域で残差ビデオブロックを作るために、変換係数に逆変換（たとえば、本明細書で提供される変換のいずれかの逆、逆ＤＣＴ、逆整数変換、または概念的に類似する逆変換プロセス）を適用することができる。動き補償予測ユニット３６２は、動き補償ブロックを作ることができ、補間フィルタに基づいて補間を実行することができる。サブ画素精度を有する動き推定に使用される補間フィルタの識別子を、ビデオブロックの構文要素に含めることができる。動き補償予測ユニット３６２は、基準ブロックのサブ整数画素の補間された値を計算するために、ビデオブロックの符号化中にビデオ符号器１３３、２００によって使用された補間フィルタを使用することができる。動き補償予測ユニット３６２は、受け取られた構文情報に従ってビデオ符号器１３３、２００によって使用された補間フィルタを決定し、予測ブロックを作るのにその補間フィルタを使用することができる。
【0066】
動き補償予測ユニット３６２は、（１）符号化されたビデオシーケンスの１または複数のピクチャを符号化するのに使用されたビデオブロックのサイズを決定するための構文情報、（２）符号化されたビデオシーケンスのフレームの各ビデオブロックがどのように区分されるのかを記述するパーティション情報、（３）各パーティションがどのように符号化されるのかを示すモード（またはモード情報）、（４）インター符号化されたビデオブロックごとの１もしくは複数の基準ピクチャ、および／または（５）符号化されたビデオシーケンスを復号するための他の情報を使用することができる。
【0067】
加算器３２６は、復号されたビデオブロックを形成するために、残差ブロックを、動き補償予測ユニット３６２または空間予測ユニット３６０によって生成された対応する予測ブロックと合計することができる。デブロッキングフィルタ３６６（たとえば、フィルタまたはループフィルタ）を適用して、ブロッキネスアーチファクトを除去するために復号されたビデオブロックをフィルタリングすることができる。復号されたビデオブロックを、基準ピクチャストア３６４に格納することができ、基準ピクチャストア３６４は、後続の動き補償のために基準ビデオブロックを提供することができ、かつディスプレイデバイス（図示せず）上での提示のために復号されたビデオを作ることができる。
【0068】
各ビデオブロックが、符号化プロセスおよび／または復号プロセスを受ける時に、そのビデオブロックに関連付けられたビデオ情報が、異なって表される可能性がある。たとえば、ビデオブロックは、（ｉ）画素領域の画素データ、（ｉｉ）符号化されていないビデオブロックと予測ブロックとの間の画素差を表す残差データ（「残差」）、（ｉｉｉ）変換領域の変換係数（たとえば、変換の適用の後）、および（ｉｖ）量子化された変換領域の量子化された変換係数を含むことができる。
【0069】
各ビデオブロックは、所与の次元または集合的に「サイズ」を有することができる。ビデオブロックサイズは、コーディング標準に依存するものとすることができる。一例として、Ｈ．２６４標準は、ルマ成分の１６ｘ１６、８ｘ８、または４ｘ４およびクロマ成分の８ｘ８などのさまざまなビデオブロックサイズでのイントラ予測をサポートし、かつルマ成分の１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８、および４ｘ４ならびにクロマ成分の対応するスケーリングされたサイズなどのさまざまなブロックサイズでのインター予測をサポートする。Ｈ．２６４標準では、次元１６画素×１６画素のビデオブロックを、一般に、マクロブロック（ＭＢ）と称し、１６画素×１６画素未満を有するビデオブロックを、一般に、ＭＢのパーティション（「ＭＢパーティション」）と称する。ＨＥＶＣでは、「ｃｏｄｉｎｇ ｕｎｉｔ」または「ＣＵ」と呼ばれるビデオブロックを、高解像度（たとえば、１０８０ｐ以上）ビデオ信号をより効率的に圧縮するのに使用することができる。ＨＥＶＣでは、ＣＵサイズは、パラメータシーケンスセット内でセットされ、６４ｘ６４画素ほどに大きくまたは４ｘ４画素ほどに小さくセットすることができる。ＣＵを、さらに、予測ユニット（ＰＵ）に区分することができ、ＰＵについて、別々の予測方法を適用することができる。各ビデオブロック（とりわけ、ＭＢ、ＣＵ、および／またはＰＵのいずれであれ）を、空間予測ユニット３６０および／または動き／時間予測ユニット３６２を使用することによって処理することができる。
【0070】
本明細書で使用される時に、「ＮｘＮ」および「Ｎ×Ｎ」は、垂直次元と水平次元との両方でコンポーネント（たとえば、とりわけ、画素、残差、変換係数、および／または量子化された変換係数）に関してブロックのサイズを指すのに交換可能に使用される場合がある。一般に、１６ｘ１６ビデオブロックは、垂直次元で１６個の要素（ｙ＝１６）および水平次元で１６個の要素（ｘ＝１６）を有する。ＮｘＮブロックは、一般に、垂直次元でＮ個の要素、水平次元でＮ個の要素を有し、ここで、Ｎは、非負の整数値を表す。ビデオブロック内の要素を、行および列に配置することができる。ビデオブロックは、水平次元に、垂直次元と同一のまたは異なる個数の画素を有することができる。たとえば、ビデオブロックは、ＮｘＭ画素を含むことができ、ここで、Ｍは、Ｎと等しいまたは等しくない。
【0071】
Ｈ．２６４／ＡＶＣ標準は、下に示すように、４次および８次の整数変換すなわちＴ４およびＴ８を指定する。
【0072】
【数1】
【0073】
【数2】
【0074】
この２つの整数変換Ｔ４およびＴ８は、直交であり、非常に低い複雑さを有する。そのような変換の基底ベクトルは、ＤＣＴとは実質的に異なり、したがって、性能は、ＤＣＴより悪い場合がある。基底ベクトルのノルムは、お互いと異なる。可逆性およびエネルギ節約のために、欠点を補償するために変換の後でスケーリングプロセスを実行しなければならず、これは、計算的複雑さおよびメモリ使用量を増やす可能性がある。そのようなスケーリング行列は、しばしば、変換ごとに異なる。たとえば、４次および８次の変換Ｔ４およびＴ８は、異なるスケーリング行列の使用を必要とする可能性がある。異なるスケーリング行列の使用は、コーデックの設計および実施態様をも複雑にする可能性があり、追加の変換をサポートすることをよりむずかしくする可能性がある。
【0075】
上で注記したように、ＨＥＶＣでは、ＣＵサイズおよびＰＵサイズを、６４ｘ６４要素もの大きさにすることができ、４次および８次より高次の変換が、使用される。４次、８次、１６次、および／または３２次を含む４つの変換サイズを、ＨＥＶＣで使用することができる。
【0076】
図２および３を参照すると、ビデオ符号器２００およびビデオ復号器３００について、ビデオ符号器２００の変換ユニット２０４への入力のダイナミックレンジおよびビデオ復号器３００の逆変換ユニット３１２の出力のダイナミックレンジを、同一とすることができる。ビデオ符号器２００および／またはビデオ復号器３００での変換動作について、このダイナミックレンジを、検出し、ビット深さ（「ＢＤ」）によって表すことができる。一例として、ダイナミックレンジが［−２５５，２５５］である場合に、ＢＤは、８と等しい。ダイナミックレンジが［−１０２３，１０２３］である場合に、ＢＤは、１０と等しい。ダイナミックレンジを決定した後に、変数ΔＢＤを計算することができる。変数ΔＢＤを、たとえばＢＤ−８として計算することができる。
【0077】
ビデオ符号器２００では、そのサイズがＭｘＮ（Ｍ，Ｎ∈｛４，８，１６，３２｝）である予測残差ブロックＸＭｘＮを、変換ユニット２０４、量子化ユニット２０６、逆量子化ユニット２１０、および逆変換ユニット２１２内で順次処理することができる。ビデオ処理のこの４つの動作を、下でより詳細に提供する。本明細書で使用される時に、逆量子化ユニット２１０および逆変換ユニット２１２内で実行される動作を、それぞれ逆量子化および逆変換と称する場合がある。ビデオ復号器３００では、逆量子化ユニット３１０および逆変換ユニット３１２内で実行される動作は、通常、逆量子化ユニット２１０および逆変換ユニット２１２内で実行される動作と同一である。順方向変換
【0078】
順方向変換への入力を、ＸＭｘＮと表される予測残差ブロックとすることができる。ＸＭｘＮに対して２次元（２−Ｄ）順方向変換を実行するために、ＸＭｘＮのＭ行およびＮ列が、各次元で順次変換され、これを、それぞれ水平順方向変換および垂直順方向変換と称する。水平変換または垂直順方向変換のいずれかを、まず形成することができる。水平順方向変換が最初に実行される場合には、ＸＭｘＮに、まず
【0079】
【数3】
【0080】
を右乗算し（上付きのＴは転置を意味する）、１６ビット演算（arithmetic）に対処するために、正しいビット数、右シフトすることができる。結果を、次のようにＵＭｘＮとすることができ、
【0081】
【数4】
【0082】
ここで、上と同様にＴＮ（Ｎ∈｛４，８，１６，３２｝）であり、「＞＞」は、右シフトを意味する。係数ｆｆｗｄ，ｈは、丸めのためのものであり、範囲
【0083】
【数5】
【0084】
に含まれるものとすることができる。本明細書での公開の単純さのために、ｆｆｗｄ，ｈが、
【0085】
【数6】
【0086】
と等しいものとすることができる。
【0087】
水平順方向変換の後に、垂直順方向変換を、中間ブロックＵＭｘＮに対して実行することができる。垂直順方向変換のプロセスは、次とすることができ、ＹＭｘＮ＝（ＴＭ×ＵＭｘＮ＋ｆｆｗｄ，ｖ）＞＞（ｌｏｇ２（Ｍ）＋７） （４）
ここで、係数ｆｆｗｄ，ｖは、範囲
【0088】
【数7】
【0089】
に含まれるものとすることができ、本明細書での公開の単純さのために、
【0090】
【数8】
【0091】
と等しいものとすることができる。
【0092】
垂直順方向変換が最初に実行される場合には、ＸＭｘＮに、まずＴＭを左乗算し、１６ビット演算に収めるために正しいビット数、右シフトすることができる。結果を、次のようにＵＭｘＮとすることができ、ＵＭｘＮ＝（ＴＭ×ＸＭｘＮ＋ｆｆｗｄ，ｖ）＞＞（ｌｏｇ２（Ｍ）＋ΔＢＤ） （５）
ここで、係数ｆｆｗｄ，ｖは、丸めのためのものであり、範囲
【0093】
【数9】
【0094】
に含まれるものとすることができる。本明細書での公開の単純さのために、ｆｆｗｄ，ｖを、
【0095】
【数10】
【0096】
と等しいものとすることができる。
【0097】
垂直順方向変換の後に、水平順方向変換を、中間ブロックＵＭｘＮに対して実行することができる。水平順方向変換のプロセスは、次とすることができ、
【0098】
【数11】
【0099】
ここで、係数ｆｆｗｄ，ｖは、範囲
【0100】
【数12】
【0101】
に含まれるものとすることができ、本明細書での公開の単純さのために、
【0102】
【数13】
【0103】
と等しいものとすることができる。
【0104】
量子化量子化の入力は、２−Ｄ順方向変換の出力（たとえば、ＹＭｘＮ）とすることができる。ＹＭｘＮのすべての要素に関する量子化プロセスを、同一または異なるいずれかとすることができる。要素ＹＭｘＮ（ｉ，ｊ）（０≦ｉ≦Ｍ−１，０≦ｊ≦Ｎ−１）および関連付けられた量子化ステップサイズＷＭｘＮ（ｉ，ｊ）を与えられて、量子化プロセスを、次のように式７に示されたものとすることができる。
【0105】
【数14】
【0106】
ここで、ｆＭｘＮ，ｑ（ｉ，ｊ）は、丸めのための係数であり、範囲
【0107】
【数15】
【0108】
に含まれるものとすることができる。本明細書での公開の単純さのために、ｆＭｘＮ，ｑ（ｉ，ｊ）を、
【0109】
【数16】
【0110】
と等しいものとすることができる。式（７）では、ＳＭｘＮ（ｉ，ｊ）およびＱＭｘＮ（ｉ，ｊ）は、次のように近似（８）に示された関係を満足することができる。
【0111】
【数17】
【0112】
ここで、≒は、ＳＭｘＮ（ｉ，ｊ）の乗算およびその後のＱＭｘＮ（ｉ，ｊ）ビットの右シフトを意味し、量子化ステップサイズＷＭｘＮ（ｉ，ｊ）による除算を近似するのに使用され得る。より正確な近似を、右シフトのビット数ＱＭｘＮ（ｉ，ｊ）を増やすことによって達成することができる。
【0113】
逆量子化逆量子化は、入力ＺＭｘＮを使用してＹＭｘＮを再構成するのに使用することができる。再構成されたブロックは、Ｙ’ＭｘＮと表される。直観的には、Ｙ’ＭｘＮは、ＺＭｘＮ（ｉ，ｊ）に量子化ステップサイズＷＭｘＮ（ｉ，ｊ）を乗算したものと等しい可能性がある。しかし、ＷＭｘＮ（ｉ，ｊ）は、必ずしも整数ではない可能性があり、したがって、近似（８）に似た近似を、下の近似（９）のように逆量子化に関して実行することもできる。
【0114】
【数18】
【0115】
同様に、大きいＩＱＭｘＮ（ｉ，ｊ）は、高い精度を意味する可能性がある。逆量子化プロセスを、次のように式（１０）に示されたものとすることができる。
【0116】
【数19】
【0117】
ｆＭｘＮ，ｄｑ（ｉ，ｊ）は、丸めのための係数であり、範囲
【0118】
【数20】
【0119】
に含まれるものとすることができる。本明細書での公開の単純さのために、ｆＭｘＮ，ｄｑ（ｉ，ｊ）を、
【0120】
【数21】
【0121】
と等しい、かつ／またはこれに従うものとすることができる。０より小さい
【0122】
【数22】
【0123】
の値が、左シフトを意味し、その場合に、ｆＭｘＮ，ｄｑ（ｉ，ｊ）に０をセットすることができることが企図されている。
【0124】
逆変換逆変換への入力を、逆量子化されたブロックＹ’ＭｘＮとすることができる。Ｙ’ＭｘＮに対して２−Ｄ逆変換を実行するために、Ｙ’ＭｘＮのＭ行およびＮ列は、それぞれ水平逆変換および垂直逆変換を使用して、順次の形で変換される。水平逆変換または垂直逆変換のいずれかを、最初に実行することができる。水平逆変換が最初に実行される場合に、Ｙ’ＭｘＮに、まずＴＮを右乗算し、１６ビット演算に対処するために正しいビット数、右シフトすることができる。結果の中間ブロックＶＭｘＮは、次のように式１１に示されたものとすることができる。
【0125】
ＶＭｘＮ＝（Ｙ’ＭｘＮ×ＴＮ＋ｆｉｎｖ，ｈ）＞＞８ （１１）
【0126】
係数ｆｉｎｖ，ｈは、範囲［０，２５６］に含まれるものとすることができる。本明細書での公開の単純さのために、ｆｉｎｖ，ｈを、１２８と等しいものとすることができる。
【0127】
水平逆変換の後に、垂直逆変換を、中間ブロックＶＭｘＮに対して実行することができる。垂直逆変換のプロセスを、次のように式１２に示されたものとすることができる。
【0128】
【数23】
【0129】
ここで、係数ｆｉｎｖ，ｖは、範囲［０，２（１３−ΔＢＤ）］に含まれるものとすることができ、本明細書での公開の単純さのために、２（１２−ΔＢＤ）と等しいものとすることができる。
【0130】
垂直逆変換が最初に実行される場合には、Ｙ’ＭｘＮに、まず
【0131】
【数24】
【0132】
を左乗算し、１６ビット演算に対処するために正しいビット数、右シフトすることができる。結果の中間ブロックＶＭｘＮは、次のように式１３に示されたものとすることができる。
【0133】
【数25】
【0134】
係数ｆｉｎｖ，ｖは、丸めのためのものであり、範囲［０，２５６］に含まれるものとすることができる。本明細書での公開の単純さのために、ｆｉｎｖ，ｖを、１２８と等しいものとすることができる。
【0135】
垂直逆変換の後に、水平逆変換を、中間ブロックＶＭｘＮに対して実行することができる。水平逆変換のプロセスを、次のように式１４に示されたものとすることができる。
【0136】
Ｘ’ＭｘＮ＝（ＶＭｘＮ×ＴＮ＋ｆｉｎｖ，ｈ）＞＞（１３−ΔＢＤ） （１４）ここで、係数ｆｉｎｖ，ｈは、範囲［０，２（１３−ΔＢＤ）］に含まれるものとすることができ、本明細書での公開の単純さのために、２（１２−ΔＢＤ）と等しいものとすることができる。
【0137】
下の表１に、水平変換が垂直変換の前に実行されると仮定して、上で開示された動作の各ステップの後のダイナミックレンジを要約する。この表から明白であるように、プロセスのすべてを、１６ビット演算を使用して実施することができる。
【0138】
【表1】
【0139】
例の符号器図２を参照すると、すべての既存のビデオコーディング標準で、ビデオブロックユニットは、一般にマクロブロック（ＭＢ）と称する１６ｘ１６画素からなる。Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ＪＣＴ−ＶＣは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）と称する次世代ビデオコーディング標準を開発しつつある。
【0140】
次世代ビデオコーディングについて、拡張されたブロックサイズ（たとえば、ｃｏｄｉｎｇ ｕｎｉｔ（ＣＵ））を使用して、高解像度（１０８０ｐ以上）ビデオ信号を圧縮することができる。ＣＵは、６４ｘ６４画素までの任意のサイズとすることができ、予測ユニット（ＰＵ）にさらに区分することができ、ＰＵについて、別々の予測方法を適用することができる。入力ビデオブロック（たとえば、ＭＢまたはＣＵ）ごとに、空間予測ユニット２６０が、空間予測を実行することができ、かつ／または動き補償予測ユニット２６２が、動き予測を実行することができる。空間予測ユニット２６０（たとえば、イントラ予測について）は、現在のビデオブロックを予測するために、同一のビデオピクチャ／スライス内の既にコーディングされた近傍ブロックからの画素を使用することができる。空間予測ユニット２６０は、ビデオ信号に固有の空間冗長性を減らすことができる。動き／時間予測ユニット２６２（たとえば、インター予測および／または動き補償予測について）は、現在のビデオブロックを予測するために、既にコーディングされたビデオピクチャからの画素を使用することができる。時間予測２６２は、ビデオ信号に固有の時間冗長性を減らすことができる。所与のビデオブロックの動き／時間予測信号を、現在のブロックとその基準ブロックとの間の動きの量および方向を示すことができる１または複数の動きベクトルによってシグナリングすることができる。ビデオブロックごとに複数の基準ピクチャが使用可能にされる（かつ／またはサポートされる）（Ｈ．２６４／ＡＶＣおよびＨＥＶＣなどの最新のビデオコーディング標準についてそうであるように）場合に、基準ピクチャとは別々またはこれに加えて、基準ピクチャインデックスを送信することができる。基準インデックスを使用して、動き／時間予測信号が基準ピクチャストア２６４内のどの基準ピクチャに由来するのか（たとえば、どの基準ピクチャから提供されるのか）を識別することができる。空間予測および／または動き／時間予測の後に、符号器内のモード判断および符号器コントローラユニット（ＭＤＥＣＵ）２８０は、たとえばレート−ひずみ最適化方法に基づいて、最良の予測モードを選択することができる。予測ブロックを、第１の加算器２１６で現在のビデオブロックから減算することができ、予測残差を、変換ユニット２０４を使用して無相関化（de-correlate）することができ、量子化ユニット２０６で量子化して、ターゲットビットレートを達成することができる。量子化された残差係数を、逆量子化ユニット２１０で逆量子化し、逆変換ユニット２１２で逆変換して、再構成された残差を形成することができ、この再構成された残差を、第２の加算器２２６で予測ブロックに戻って加算して、再構成されたビデオブロックを形成することができる。
【0141】
たとえば、デブロッキングフィルタおよび／または適応ループフィルタ２６６を含むループ内フィルタリングを、再構成されたビデオブロックが基準ピクチャストア２６４に格納されかつ／または将来のビデオブロックのコーディングに使用され得る前に、再構成されたビデオブロックに適用することができる。コーディングモード（インターまたはイントラ）、予測モード情報、動き情報、および／または量子化された残差係数を、エントロピコーディングユニット２０８に送って（たとえば、すべてを送って）、出力ビデオビットストリームＢＳ ２２０を形成するためにさらに圧縮する（かつパックする）ことができる。
【0142】
例の復号器図３を参照すると、ビデオビットストリームＢＳ ３０２を、エントロピ復号ユニット３０８でアンパックし、エントロピ復号することができる。コーディングモードおよび予測情報を、空間予測ユニット３６０（エントロピ復号されたビットストリームがイントラコーディングされている場合）および／または時間／動き予測ユニット３６２（エントロピ復号されたビットストリームがインターコーディングされている場合）のいずれかに送って、予測ブロックを形成することができる。残差変換係数を、逆量子化ユニット３１０および逆変換ユニット３１２に送って、残差ブロックを再構成することができる。予測ブロックおよび残差ブロックを、加算器３２６で一緒に加算することができる。再構成されたブロックは、基準ピクチャストア３６４に格納される前に、ループ内フィルタ３６６を通る（たとえば、通過する）ことができる。基準ピクチャストア３６４内の再構成されたビデオを、ディスプレイデバイスを駆動するために送出することができると同時に、将来のビデオブロックを予測するのに使用することができる。
【0143】
変換、量子化、逆量子化、および逆変換を実行するシステムおよび方法を、本明細書で説明する。ビデオコーディングシステムを与えられて、変換行列を事前定義することができる。Ｈ．２６１、ＭＰＥＧ−２、およびＭＰＥＧ−４では、変換行列は、サイズ８ｘ８を有する離散コサイン変換（ＤＣＴ）行列である。Ｈ．２６４／ＡＶＣでは、４ｘ４および８ｘ８の変換行列が使用され、これらは、４ｘ４ＤＣＴおよび８ｘ８ＤＣＴの整数変形形態である。進行中のビデオ標準化プロジェクトであるＨＥＶＣでは、４ｘ４、８ｘ８、１６ｘ１６、および３２ｘ３２の整数変換行列を使用することができる。ＴＭと表されるＭｘＭ変換行列では、各行は、基底ベクトルであり、ＴＭは、Ｍ個の基底ベクトルを有する。
【0144】
変換ユニット２０４への入力は、サイズＭｘＮ（Ｍ行およびＮ列）を有し、ＸＭｘＮと表されるブロックとすることができる。一般に、ＭおよびＮは、２のべき乗（たとえば、４、８、１６、および／または３２）である。変換ユニット２０４では、ＸＭｘＮに２つの変換行列ＴＭおよびＴＮＴを左乗算し、右乗算することができ（上付きのＴは、行列転置を表す）、ＸＭｘＮを、変換領域でのその表現（ＹＭｘＮと表される）に変換することができる。左乗算または右乗算のどちらを先に実行しても、式（１５）に示されているように、同一の結果につながる。
【0145】
ＹＭｘＮ＝（ＴＭ×ＸＭｘＮ）×ＴＮＴ＝ＴＭ×（ＸＭｘＮ×ＴＮＴ） （１５）
【0146】
左乗算は、ＸＭｘＮまたは（ＸＭｘＮ×ＴＮＴ）の各列をＴＭの基底ベクトルに射影し、垂直変換と称する。右乗算は、（ＴＭ×ＸＭｘＮ）またはＸＭｘＮの各行をＴＮの基底ベクトルに射影し、水平変換と称する。
【0147】
ある種の代表的な実施形態では、量子化ユニット２０６を介する量子化の手順は、（１）変換を正規化するためにＹMxN（ｉ，ｊ）（０≦ｉ＜Ｍ，０≦ｊ＜Ｎ）を（ＴM（０，０）×ＴM（０，０）×√ＭＮ）によって除算すること、および／または（２）ターゲットビットレートを達成するためにＹMxN（ｉ，ｊ）を量子化ステップサイズＺMxN（ｉ，ｊ）によって除算することを含む。ＴM（０，０）およびＴN（０，０）は、それぞれＴMおよびＴNの左上要素を指す。出力を、ＷMxN（ｉ，ｊ）と表す。
【0148】
この手順を、スケーリング係数ＳＭｘＮ（ｉ，ｊ）を乗算すること、および適当なビット数ＱＭｘＮ（ｉ，ｊ）、右シフトすることによって、組み合わせ、実施することができる。数をｎビット、右シフトすることは、その数を２ｎによって除算することと同等である。ある種の代表的な実施形態では、ＳＭｘＮ（ｉ，ｊ）およびＱＭｘＮ（ｉ，ｊ）の値は、近似（１６）に示されている近似を満足することができる。
【0149】
【数26】
【0150】
Ｈ．２６４／ＡＶＣおよび／またはＨＥＶＣは、ＱＰ（ＱＰ＝０，１…５１）によってインデクシングされ、０．６３（ＱＰ＝０）から２２８（ＱＰ＝５１）までの範囲にわたる５２個の事前定義された有理数値のステップサイズを有する。ステップサイズは、ＱＰの各増分に伴って約２１／６倍増え、６つの増分おきに２倍になる（たとえば、正確に２倍になる）。インデックスＱＰ＋６ｋ（ここで、ｋは正整数である）を有するステップサイズ（たとえば、ＺＭｘＮ（ＱＰ＋６ｋ，ｉ，ｊ）と表される）は、インデックスＱＰを有するステップサイズ（たとえば、ＺＭｘＮ（ＱＰ，ｉ，ｊ）と表される）の２ｋ倍である。近似（１６）のＺＭｘＮ（ＱＰ＋６ｋ，ｉ，ｊ）を除算する除算手順は、ＺＭｘＮ（ＱＰ，ｉ，ｊ）を除算する除算手順と同一のスケーリング係数を共有することができ、右シフトについてｋ個多いビットを使用することができる。このプロパティを用いて、６つのスケーリング係数（たとえば、６つのみのスケーリング係数）が、表２の第２の行に示されているように、定義され、かつ／または格納されなければならない。６つのスケーリング係数を使用して、右シフトすべきビット数を制御することによって５２個のステップサイズを表すことができる。１と等しいステップサイズは、４と等しいＱＰに対応し、スケーリング係数は、１６３８４＝２１４であり、右シフトのビット数は、１４である。
【0151】
【表2】
【0152】
ある種の代表的な実施形態では、逆量子化ユニット２１０、３１０での逆量子化の手順は、前もって逆変換を正規化するためにＷＭｘＮ（ｉ，ｊ）を（ＴＭ（０，０）×ＴＭ（０，０））によって除算すること、および／または（２）ＷＭｘＮ（ｉ，ｊ）に量子化ステップサイズＺＭｘＮ（ｉ，ｊ）を乗算することを含むことができる。
【0153】
整数演算を使用するために、逆量子化（たとえば、除算および／または乗算）の手順を、近似（１７）に示されているように、
【0154】
【数27】
【0155】
を得るために、スケーリング係数ＩＳＭｘＮ（ｉ，ｊ）を乗算すること、およびＩＱＭｘＮ（ｉ，ｊ）ビット数、右シフトすることによって近似することができる。量子化に似て、６つの逆スケーリング係数（たとえば、６つのみの逆スケーリング係数）が、表２の第３の行に示されているように、定義され格納されなければならない。
【0156】
【数28】
【0157】
逆変換２１２および／または３１２では、
【0158】
【数29】
【0159】
を、式（１８）に示されているように、
【0160】
【数30】
【0161】
と表される、ＸＭｘＮのひずまされた版を得るために、空間領域に戻って変換することができる。
【0162】
【数31】
【0163】
例の１６ビット実施態様１６ビット実施態様では、入力ビデオは、一般に、８ビットと等しいビット深さを有し、画素値のダイナミックレンジは、［０，２５５］である。本明細書では、ダイナミックレンジを、時々ビット数によって表す。より高品質のビデオなど、一部の応用例は、より広いダイナミックレンジ（たとえば、１０ビット、１２ビット、１４ビット、および／またはｎビット、ただし、ｎは、実施態様ビット値（たとえば、１６ビット実施態様）未満の整数である）を有する場合がある。変換への入力を、しばしば残差と称する予測誤差とすることができ、この予測誤差は、負になる５０％の可能性を有することができ、ダイナミックレンジを１ビット増やすことができる。たとえば、入力ビデオが、８ビット深さを有する場合に、変換入力のダイナミックレンジは、［−２５５，２５５］すなわち９ビットである。変換入力のダイナミックレンジを、９＋Δビット深さ（ΔＢＤ）と表すことができる。ΔＢＤは、より高品質のビデオについて０より大きくすることができる。各ステージの出力ダイナミックレンジを、表３に示す。
【0164】
【表3】
【0165】
たとえば、変換でのＴＭとの行列乗算は、ｌｏｇ２（ＴＭ（０，０）×Ｍ）ビットのダイナミックレンジ増加を引き起こす可能性がある。量子化は、
【0166】
【数32】
【0167】
ビット（たとえば、近似（１６）に示された分母である）のダイナミックレンジ減少を引き起こす可能性がある。逆量子化は、
【0168】
【数33】
【0169】
ビットのダイナミックレンジ増加を引き起こす可能性がある（近似（１７）を参照されたい）。逆変換での
【0170】
【数34】
【0171】
との行列乗算は、ｌｏｇ２ＴＭ（０，０）ビットのダイナミックレンジ増加を引き起こす可能性がある。
【0172】
プロセス全体（たとえば、代表的な手順）の入力および出力のダイナミックレンジを、同一になるように構成することができる。ダイナミックレンジ増加を引き起こす可能性がある要因は、変換、逆変換、量子化のためのＳＭｘＮ（ｉ，ｊ）の乗算、および逆量子化でのＩＳＭｘＮ（ｉ，ｊ）の乗算を含むことができる。ダイナミックレンジ減少を引き起こす可能性がある要因は、量子化でのＱＭｘＮ（ｉ，ｊ）ビットの右シフト、および逆量子化でのＩＱＭｘＮ（ｉ，ｊ）ビットの右シフトを含むことができる。ＱＭｘＮ（ｉ，ｊ）ビットおよびＩＱＭｘＮ（ｉ，ｊ）ビットの右シフトを、それぞれ、量子化および逆量子化に加えないものとすることができる。ある種の代表的な手順では、シフト（たとえば、いずれかの方向での）を、表４に示された任意のステージに分散させる（たとえば、任意に分散させる）ことができ、右シフトするビット数の合計がＱＭｘＮ（ｉ，ｊ）＋ＩＱＭｘＮ（ｉ，ｊ）と等しい限り、ダイナミックレンジを、プロセスの終りに９＋ΔＢＤにする（たとえば、戻す）ことができる。ＱＭｘＮ（ｉ，ｊ）＋ＩＱＭｘＮ（ｉ，ｊ）を計算するために、近似（１９）に示されているように、近似（１６）および（１７）を乗算することができる。
【0173】
【数35】
【0174】
近似（３５）を、近似（２０）に示されているように単純化することができる。
【0175】
【数36】
【0176】
したがって、ＱＭｘＮ（ｉ，ｊ）＋ＩＱＭｘＮ（ｉ，ｊ）を、
【0177】
【数37】
【0178】
と等しい（または近似的に等しい）ものとすることができ、量子化ステップサイズＺＭｘＮ（ｉ，ｊ）と独立とすることができる。
【0179】
ある種の代表的な実施形態では、諸手順が、１または複数のステージ（または各ステージ）での右シフトおよび／または左シフトの分配を決定することができる。たとえば、上で示したように、ＺＭｘＮ（ｉ，ｊ）が１と等しい場合に、対応するインデックスＱＰ＝４であり、スケーリング係数ＳＭｘＮ（ｉ，ｊ）は１６３８４であり、逆スケーリング係数ＩＳＭｘＮ（ｉ，ｊ）は６４であり、これらは、それぞれ１４ビットおよび６ビット（たとえば、正確に１４ビットおよび６ビット）である。
【0180】
各ステージの出力ダイナミックレンジが、１６ビットに制限される（たとえば、すべてのステージが、１６ビットに制限される）場合に、１６ビットハードウェアを使用して、プロセス（たとえば、プロセス全体）を実施することができ、潜在的に、たとえば３２ビットハードウェアの使用と比較して、はるかに低コストで実施することができる。
【0181】
たとえば、ＨＥＶＣ標準では、４つの変換サイズすなわち、４ｘ４、８ｘ８、１６ｘ１６、および３２ｘ３２を使用することができる。変換行列を、ＴＭ（Ｍ＝４，８，１６，および３２）と表す。ＴＭ（０，０）は６４である。ＳＭｘＮ（ｉ，ｊ）×ＩＳＭｘＮ（ｉ，ｊ）は、ＱＰに関わりなく、２２０と等しい（たとえば、必ず２２０と等しいものとすることができる）（本明細書の表２を参照されたい）。これらの条件を表３に代入すると、各ステージの後の理論的ダイナミックレンジを決定することができる。近似（３６）に基づいて、右シフトの総ビット数は、それぞれ４ｘ４／８ｘ８／１６ｘ１６／３２ｘ３２変換について４８／５０／５２／５４である。同一の表記パターンＡ／Ｂ／Ｃ／Ｄを、表４で使用する。ＨＥＶＣは、４つの非正方形変換すなわちＭ＝４、Ｎ＝１６；Ｍ＝１６、Ｎ＝４；Ｍ＝８、Ｎ＝３２；Ｍ＝３２、Ｎ＝８を採用した。簡潔さのために、正方形変換（Ｍ＝Ｎ）のみを議論するが、当業者は、非正方形変換が、正方形変換に類似し、その手順も類似することを理解する。
【0182】
量子化ステップサイズＺＭｘＮ（ｉ，ｊ）が１と等しい時に、表４は、右シフトの総ビット数が、第４の列の各ステージの後および各ステップの右シフトの後にどのように分配されるのかを示す。出力ダイナミックレンジは、陰付きのセルによって示される。ステージ３の出力は、ビットストリームにコーディングされる変換係数であり、ステージ６の出力は、ビデオを再構成するのに使用される残差である。ステージ３および６に関連付けられたダイナミックレンジを、理論的ダイナミックレンジと一貫するように構成することができる。他のステージの出力は、１６ビット範囲におさまり、右シフトのビット数によって制御される。丸めが考慮に入れられるので、ステー５の出力を１５と等しくすることが保守的であることが企図されている
【0183】
【表4】
【0184】
ある種の代表的な実施形態では、変換スキップモード手順およびダイナミックレンジ制御手順を実施することができる。たとえば、ビデオコーディングでの変換を使用して、予測誤差の間の相関を除去することができる。ＨＥＶＣでのインター予測は、非常に洗練されたものになる可能性があり、低いエネルギおよびわずかな相関を有する予測誤差をもたらす可能性があるので、たとえば、相関は、水平方向または垂直方向に存在する可能性がある（たとえば、存在するのみである可能性がある）。（１）水平変換のみを適用でき、垂直変換をスキップできる第１のモード、（２）垂直変換のみを適用でき、水平変換をスキップできる第２のモード、および（３）通常の２−Ｄ変換に加えて、水平方向と垂直方向との両方での変換をスキップできる第３のモードを含む、３つの変換スキップモードを使用することができる。第１、第２、および第３のモードについて、右シフトの総ビット数を、各ステージで異なって分配することができる。第１、第２、および第３のモードの各ステージの右シフトの総ビット数を、それぞれ表５、表６、および表７に示す。
【0185】
【表5】
【0186】
【表6】
【0187】
【表7】
【0188】
【表8】
【0189】
中間データの精度を保ち、よい性能を得るために、データのダイナミックレンジを、できる限り広くする（またはセットする）ことができる。１６ビット実施態様では、ダイナミックレンジを、最大にすることができ、すべてのステージの終りでのダイナミックレンジを、１６ビットにセットすることができる。しかし、ダイナミックレンジ制御は、（１）第１のモード（たとえば、水平のみの変換モード）（表５を参照されたい）および（２）第２のモード（たとえば、垂直のみの変換モード）（表６を参照されたい）について効率的ではない可能性がある。表５では、ステージ３の出力が、１５ビット範囲（１５ビット範囲のみ）を有する可能性がある。表６では、ステージ１および３の出力が、それぞれ９＋ΔＢＤ範囲および１０＋ΔＢＤ範囲を有する可能性がある（たとえば、のみを有する可能性がある）。
【0190】
本明細書で説明する実施形態は、（１）垂直変換を除いて水平変換が適用される第１のモード（または水平のみの変換モード）および／または（２）垂直変換を除いて水平変換が適用される第２のモード（または垂直のみの変換モード）のダイナミックレンジ制御を提供する。ある種の代表的な実施形態では、第１のモードおよび第２のモードは、Ｎビット精度の最大化を可能にすることができる（たとえば、Ｎビットハードウェアおよび論理の単純化のための、ここで、Ｎは、整数であり、たとえば２１、２２、２３、２４…とすることができる）。
【0191】
表８に、量子化および逆量子化の後の右シフトのビット数を示す。示された４つの変換スキップモードは、表８に示されているように、同一のＳＭｘＮ（ｉ，ｊ）およびＩＳＭｘＮ（ｉ，ｊ）を共有し、異なるＱＭｘＮ（ｉ，ｊ）およびＩＱＭｘＮ（ｉ，ｊ）を使用することができる。モード（たとえば、すべてのモード）（たとえば、水平および垂直（Ｈ＆Ｖ）、垂直のみ（ＶＯ）、水平のみ（ＨＯ）、および／または両方スキップ（ＢＳ））は、Ｈ＆Ｖモードと同一の右シフトのビット数を使用することができ、右シフトの適当な（たとえば、正しい）ビット数に合わせるために、ＳＭｘＮ（ｉ，ｊ）およびＩＳＭｘＮ（ｉ，ｊ）の値を調整することができる。たとえば、量子化ユニット２０６では、４ｘ４ＨＯモードを、２０ビット、右にシフトシフトすることができる。ＱＭｘＮ（ｉ，ｊ）を、１９である４ｘ４Ｈ＆Ｖモードに整列させることができる。右シフトの１つ多いビットを補償するために、ＳＭｘＮ（ｉ，ｊ）を１ビット、右にシフトシフトすることができる。もう１つの例として、逆量子化ユニット２１０では、１６ｘ１６ＨＯモード（たとえば、第１のモード）は、右シフトに２ビットを使用することができ、ＩＱＭｘＮ（ｉ，ｊ）は、３と等しいものとすることができる。ＩＳＭｘＮ（ｉ，ｊ）を、１ビット、左にシフトしなければならない場合がある。非整数ビット数のシフトを、整数演算を使用して実施することはできない。それぞれ４ｘ４、８ｘ８、１６ｘ１６、および３２ｘ３２の変換について、ルックアップテーブルを定義することができる｛１２８，１８１，２５６，３６２｝。このテーブル内の数は、｛２７，２７．５，２８，２８．５｝と等しいものとすることができる。８ｘ８変換の量子化に１．５ビットの右シフトを適用することによって、ＳＭｘＮ（ｉ，ｊ）に１８１を乗算し、９ビット、右にシフトシフトすることができる。３２ｘ３２変換の量子化に２．５ビットの右シフトを適用することによって、ＳＭｘＮ（ｉ，ｊ）に３６２を乗算し、１１ビット、右にシフトシフトすることができる。ある種の手順では、４つの整数を含むルックアップテーブルを格納することができ、かつ／または量子化および逆量子化が、複数の右シフト（たとえば、２回右にシフトする）を実施することができる。追加のまたは第２の右シフトは、より多くの精度損失を引き起こす可能性があり、より非効率的なコーディングを生成する可能性がある（たとえば、単一の右シフトに対する全体的なコーディング効率のペナルティ）。
【0192】
本明細書で詳細に説明されるのは、非整数ビットの右シフトを解決する方法、装置、およびシステムである。異なる変換スキップモードに使用される量子化ステップサイズは、同一とすることができ、これは、より少ない変換を使用するモードが、より多くの変換を使用するモードより大きい量子化誤差を有することを引き起こす可能性がある。異なる変換スキップモードの量子化誤差を一様にするために、量子化ステップサイズを、２−Ｄ変換、水平／垂直のみの変換、および／または変換なしのモードに関して減らすことができる。ΔＱＰが、変換の異なる次元を使用して見つけられまたは決定され得る（たとえば、変換の次元のそれぞれについてΔＱＰを見つける）ことが企図されている。
【0193】
【表9】
【0194】
【表10】
【0195】
１つの代表的な実施形態では、ＨＯおよび／またはＶＯ変換モードのダイナミックレンジ制御を提供することができる。ＨＯおよび／またはＶＯモードの両方に関する１つの代表的なダイナミックレンジ制御プロセスは、表９に示されているように、表５および／または表６に示された手順を置換することができる。理論的なダイナミックレンジと一貫するダイナミックレンジを有する第２および第４のステージの出力を除いて、右シフトの後の他の出力は、１６ビットダイナミックレンジを有することができる（たとえば、すべてが有することができる）。
【0196】
ある種の代表的実施形態は、非整数ビットのシフトを提供することができる。たとえば、ＨＯおよびＶＯモードのＱＭｘＮ（ｉ，ｊ）およびＩＱＭｘＮ（ｉ，ｊ）を、表８に示す。両方のスキップされるモードのＱＭｘＮ（ｉ，ｊ）およびＩＱＭｘＮ（ｉ，ｊ）は、表８に示されているように１４および６である。ＱＭｘＮ（ｉ，ｊ）およびＩＱＭｘＮ（ｉ，ｊ）が整数である場合には、４つの変換スキップモードは、同一のＳＭｘＮ（ｉ，ｊ）およびＩＳＭｘＮ（ｉ，ｊ）を共有することができ、それら自体のＱＭｘＮ（ｉ，ｊ）およびＩＱＭｘＮ（ｉ，ｊ）を右シフトする（たとえば、直接に右シフトする）ことができる。ＱＭｘＮ（ｉ，ｊ）およびＩＱＭｘＮ（ｉ，ｊ）が非整数値（たとえば、１９．５、１８．５、０．５、および１．５）と等しい時には、動作を、下で説明するように変更することができる。
【0197】
表１０に示されているように、表２のＳおよびＩＳの行を、３のステップで循環シフトすることができる（たとえば、とりわけ、インデックス０のエントリを、インデックス３のエントリまで移動することができ、インデックス５のエントリを、インデックス２のエントリに移動することができる）。本明細書で議論するように、近傍エントリ（たとえば、２つの近傍エントリ）の大きさの差を、２１／６倍とすることができ、３の距離を有するエントリ（たとえば、２つのエントリ）の大きさの差を、２１／２倍とすることができる。たとえば、そのＱＰ％６が３以上であるＳの大きさを、２０．５倍増やすことができ、そのＱＰ％６が３より小さいＳの大きさを、２０．５倍減らすことができる。そのＱＰ％６が３以上であるＩＳの大きさを、２０．５倍減らすことができ、そのＱＰ％６が３より小さいＩＳの大きさを、２０．５倍増やすことができる。その結果は、１／２ビットシフトが、ＳおよびＩＳを調整することによって行われ、整数個のビットが、ＱおよびＩＱに関して残されることとすることができる。Ｘ．５ビットの右シフトが、Ｑおよび／またはＩＱについて望まれる場合に、正しい整数個数のビットを、表１１に示す。プロセスは、スケーリング係数にこの表を再利用することができ、量子化および逆量子化に１つのみの右シフト動作を使用することができる。
【0198】
【表11】
【0199】
【表12】
【0200】
【表13】
【0201】
ある種の代表的な実施形態では、たとえば異なる変換スキップモードについて、適応量子化ステップサイズを提供する手順を実施することができる。１−Ｄ変換の場合について、変換を有するおよび変換を有しない信号に同一のＱＰを使用する時に、量子化誤差の重みを、式（２１）に示されているように符号化利得（ＣＧ）によって測定することができる。
【0202】
【数38】
【0203】
ここで、ＤＳは、変換を有しない信号の量子化誤差であり、ＤＴは、変換を有する信号の量子化誤差である。下付きのＳおよびＴは、それぞれ空間領域および変換領域を表す。式またはアルゴリズム（たとえば、ハードウェアを介して実行される）を使用して、ＣＧ（たとえば、その値が、変換サイズおよび入力信号の相関ρに依存する可能性がある）を計算することができる。変化サイズおよび相関ρを考慮して、コーディング利得をＣＧ（ｓｉｚｅ，ρ）と表すことができる。その式に基づいて、ＣＧ（ｓｉｚｅ，ρ）を計算することができる。値を、表１２に示す。変換の１つ少ない次元によって引き起こされるより大きい量子化誤差を補償するために、変換を有しない信号のステップサイズに対する変換を有する信号のステップサイズの比が表１２に示された値になるように、小さいＱＰを使用することができる。たとえば、ＱＰの減分は、式（２２）に示されているように、ＣＧ（ｓｉｚｅ，ρ）倍のステップサイズ減少を引き起こす可能性がある。
【0204】
【数39】
【0205】
式（２２）に基づいて、ΔＱＰを、式（３９）に示されているように計算することができ、その値を、表１３に示す。
【0206】
ΔＱＰ＝ｒｏｕｎｄ（ｌｏｇ２ＣＧ（ｓｉｚｅ，ρ）×６） （２３）
【0207】
本明細書で説明される代表的なシステムおよび方法は、有線ネットワークおよび無線ネットワークを含むすべてのタイプの通信を用いるビデオ通信によく適するものとすることができる。さまざまなタイプの無線デバイスおよびインフラストラクチャの概要を、図４Ａ〜４Ｅに関して提供し、ここで、ネットワークのさまざまな要素は、本明細書で説明されるシステムおよび方法を利用することができる。簡潔さのために、無線ネットワークを説明するが、当業者が理解するように、さまざまな実施形態は、とりわけ、有線ネットワーク、混合されたネットワーク（たとえば、有線および無線）、および／またはアドホックネットワークにも同等にあてはまる。より具体的には、無線基地局（ＢＴＳ）、Ｎｏｄｅ−Ｂ、ｅＮｏｄｅ Ｂ、Ｈｏｍｅ Ｎｏｄｅ Ｂ、Ｈｏｍｅ ｅＮｏｄｅ Ｂ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータ、無線送受信ユニット（ＷＴＲＵ）を含むメディアアウェアネットワーク要素（media aware network element、ＭＡＮＥ）などの基地局は、あるエンティティから別のエンティティにコーディングされたビデオデータを伝えるのに、本明細書で説明される方法を利用することができる。
【0208】
図４Ａは、１または複数の開示される実施形態を実施できる例の通信システム４００の図である。通信システム４００を、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する多元接続システムとすることができる。通信システム４００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を介してそのようなコンテンツにアクセスすることを可能にすることができる。たとえば、通信システム４００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、ｓｉｎｇｌｅ−ｃａｒｒｉｅｒ ＦＤＭＡ（ＳＣ−ＦＤＭＡ）、および類似物などの１または複数のチャネルアクセス方法を使用することができる。
【0209】
図４Ａに示されているように、通信システム４００は、無線送受信ユニット（ＷＴＲＵ）４０２ａ、４０２ｂ、４０２ｃ、４０２ｄ、無線アクセスネットワーク（ＲＡＮ）４０４、コアネットワーク４０６、公衆交換電話網（ＰＳＴＮ）４０８、インターネット４１０、および他のネットワーク４１２を含むことができるが、開示される実施形態が、任意の個数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図することを了解されたい。ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄのそれぞれを、無線環境内で動作し、かつ／または通信するように構成された任意のタイプのデバイスとすることができる。たとえば、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄを、無線信号を送信し、かつ／または受信するように構成することができ、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは、ユーザ機器（ＵＥ）、移動局、固定のまたは可動のサブスクライバユニット、ポケットベル、セルラ電話機、携帯情報端末（ＰＤＡ）、スマートホン、ラップトップ機、ネットブック、パーソナルコンピュータ、無線センサ、消費者エレクトロニクス、または圧縮されたビデオ通信を受信し、処理することができる任意の他の端末を含むことができる。
【0210】
通信システム４００は、基地局４１４ａおよび基地局４１４ｂをも含むことができる。基地局４１４ａ、４１４ｂのそれぞれは、コアネットワーク４０６、インターネット４１０、および／またはネットワーク４１２などの１または複数の通信ネットワークへのアクセスを容易にするためにＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄのうちの少なくとも１つと無線でインターフェース接続するように構成された任意のタイプのデバイスとすることができる。たとえば、基地局４１４ａ、４１４ｂを、無線基地局（ＢＴＳ）、Ｎｏｄｅ−Ｂ、ｅＮｏｄｅ Ｂ、Ｈｏｍｅ Ｎｏｄｅ Ｂ、Ｈｏｍｅ ｅＮｏｄｅ Ｂ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータ、および類似物とすることができる。基地局４１４ａ、４１４ｂは、それぞれ単一の要素として図示されているが、基地局４１４ａ、４１４ｂが、任意の個数の相互接続された基地局および／またはネットワーク要素を含むことができることを了解されたい。
【0211】
基地局４１４ａを、ＲＡＮ ４０４の一部とすることができ、ＲＡＮ ４０４は、他の基地局および／または基地局制御装置（ＢＳＣ）、無線ネットワーク制御装置（ＲＮＣ）、中継ノード、その他などのネットワーク要素（図示せず）を含むこともできる。基地局４１４ａおよび／または基地局４１４ｂを、セル（図示せず）と称する場合もある特定の地理的領域内で無線信号を送信し、かつ／または受信するように構成することができる。セルを、さらに、セルセクタに分割することができる。たとえば、基地局４１４ａに関連付けられたセルを、３つのセクタに分割することができる。したがって、一実施形態では、基地局４１４ａは、３つのトランシーバすなわち、セルのセクタごとに１つのトランシーバを含むことができる。別の実施形態では、基地局４１４ａは、ｍｕｌｔｉｐｌｅ−ｉｎｐｕｔ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔ（ＭＩＭＯ）技術を使用することができ、したがって、セルのセクタごとに複数のトランシーバを利用することができる。
【0212】
基地局４１４ａ、４１４ｂは、エアインターフェース４１６を介してＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄのうちの１または複数と通信することができ、エアインターフェース４１６は、任意の適切な無線通信リンク（たとえば、ラジオ周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光、その他）とすることができる。エアインターフェース４１６を、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立することができる。
【0213】
より具体的には、上で注記したように、通信システム４００は、多元接続システムとすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ−ＦＤＭＡ、および類似物など、１または複数のチャネルアクセス方式を使用することができる。たとえば、ＲＡＮ ４０４内の基地局４１４ａおよびＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃは、Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ（ＵＭＴＳ）Ｔｅｒｒｅｓｔｒｉａｌ Ｒａｄｉｏ Ａｃｃｅｓｓ（ＵＴＲＡ）などの無線技術を実施することができ、ＵＴＲＡは、ｗｉｄｅｂａｎｄ ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインターフェース４１６を確立することができる。ＷＣＤＭＡは、Ｈｉｇｈ−Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＰＡ）および／またはＥｖｏｌｖｅｄ ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、Ｈｉｇｈ−Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＤＰＡ）および／またはＨｉｇｈ−Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＵＰＡ）を含むことができる。
【0214】
別の実施形態では、基地局４１４ａおよびＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃは、Ｅｖｏｌｖｅｄ ＵＭＴＳ Ｔｅｒｒｅｓｔｒｉａｌ Ｒａｄｉｏ Ａｃｃｅｓｓ（Ｅ−ＵＴＲＡ）などの無線技術を実施することができ、Ｅ−ＵＴＲＡは、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）および／またはＬＴＥ−Ａｄｖａｎｃｅｄ（ＬＴＥ−Ａ）を使用してエアインターフェース４１６を確立することができる。
【0215】
他の実施形態では、基地局４１４ａおよびＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃは、ＩＥＥＥ ８０２．１６（すなわち、Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ−ＤＯ、Ｉｎｔｅｒｉｍ Ｓｔａｎｄａｒｄ ２０００（ＩＳ−２０００）、Ｉｎｔｅｒｉｍ Ｓｔａｎｄａｒｄ ４５（ＩＳ−９５）、Ｉｎｔｅｒｉｍ Ｓｔａｎｄａｒｄ ８５６（ＩＳ−８５６）、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ（登録商標））、Ｅｎｈａｎｃｅｄ Ｄａｔａ ｒａｔｅｓ ｆｏｒ ＧＳＭ Ｅｖｏｌｕｔｉｏｎ（ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）、および類似物などの無線技術を実施することができる。
【0216】
図４Ａの基地局４１４ｂは、たとえば無線ルータ、Ｈｏｍｅ Ｎｏｄｅ Ｂ、Ｈｏｍｅ ｅＮｏｄｅ Ｂ、またはアクセスポイントとすることができ、仕事場、家庭、車両、キャンパス、および類似物など、局所化された区域内での無線接続性を容易にするために任意の適切なＲＡＴを利用することができる。一実施形態では、基地局４１４ｂおよびＷＴＲＵ ４０２ｃ、４０２ｄは、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立するためにＩＥＥＥ ８０２．１１などの無線技術を実施することができる。別の実施形態では、基地局４１４ｂおよびＷＴＲＵ ４０２ｃ、４０２ｄは、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立するためにＩＥＥＥ ８０２．１５などの無線技術を実施することができる。別の実施形態では、基地局４１４ｂおよびＷＴＲＵ ４０２ｃ、４０２ｄは、ピコセルまたはフェムトセルを確立するためにセルラベースのＲＡＴ（たとえば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａ、その他）を利用することができる。図４Ａに示されているように、基地局４１４ｂは、インターネット４１０への直接接続を有することができる。したがって、基地局４１４ｂは、コアネットワーク４０６を介してインターネット４１０にアクセスすることを要求されないものとすることができる。
【0217】
ＲＡＮ ４０４は、コアネットワーク４０６と通信しているものとすることができ、コアネットワーク４０６は、音声、データ、アプリケーション、および／またはｖｏｉｃｅ ｏｖｅｒ ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ（ＶｏＩＰ）のサービスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄのうちの１または複数に提供するように構成された任意のタイプのネットワークとすることができる。たとえば、コアネットワーク４０６は、呼制御、請求サービス、モバイル位置ベースのサービス、前払い呼、インターネット接続性、ビデオ分配、その他を提供し、かつ／またはユーザ認証などの高レベルセキュリティ機能を実行することができる。図４Ａには図示されていないが、ＲＡＮ ４０４および／またはコアネットワーク４０６が、ＲＡＮ ４０４と同一のＲＡＴまたは異なるＲＡＴを使用する他のＲＡＮと直接にまたは間接に通信しているものとすることができることを了解されたい。たとえば、Ｅ−ＵＴＲＡ無線技術を利用している可能性があるＲＡＮ ４０４に接続されることに加えて、コアネットワーク４０６は、ＧＳＭ無線技術を利用している別のＲＡＮ（図示せず）と通信しているものとすることもできる。
【0218】
コアネットワーク４０６は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄがＰＳＴＮ ４０８、インターネット４１０、および／または他のネットワーク４１２にアクセスするためのゲートウェイとして働くこともできる。ＰＳＴＮ ４０８は、ｐｌａｉｎ ｏｌｄ ｔｅｌｅｐｈｏｎｅ ｓｅｒｖｉｃｅ（ＰＯＴＳ）を提供する回線交換電話網を含むことができる。インターネット４１０は、伝送制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）インターネットプロトコルスイート内のＴＣＰ、ユーザデータグラムプロトコル（ＵＤＰ）、およびＩＰなどの共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスの全世界のシステムを含むことができる。ネットワーク４１２は、他のサービスプロバイダによって所有され、かつ／または運営される有線または無線の通信ネットワークを含むことができる。たとえば、ネットワーク４１２は、ＲＡＮ ４０４と同一のＲＡＴまたは異なるＲＡＴを使用することができる１または複数のＲＡＮに接続された別のコアネットワークを含むことができる。
【0219】
通信システム４００内のＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄの一部またはすべては、マルチモード能力を含むことができる、すなわち、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信する複数のトランシーバを含むことができる。たとえば、図４Ａに示されたＷＴＲＵ ４０２ｃを、セルラベースの無線技術を使用できる基地局４１４ａおよびＩＥＥＥ ８０２無線技術を使用できる基地局４１４ｂと通信するように構成することができる。
【0220】
図４Ｂは、例のＷＴＲＵ ４０２のシステム図である。図４Ｂに示されているように、ＷＴＲＵ ４０２は、プロセッサ４１８、トランシーバ４２０、送受信要素４２２、スピーカ／マイクロホン４２４、キーパッド４２６、ディスプレイ／タッチパッド４２８、ノンリムーバブルメモリ４３０、リムーバブルメモリ４３２、電源４３４、全地球測位システム（ＧＰＳ）チップセット４３６、および他の周辺機器４３８を含むことができる。ＷＴＲＵ ４０２が、実施形態と一貫したままでありながら前述の要素の任意の副組合せを含むことができることを了解されたい。
【0221】
プロセッサ４１８を、汎用プロセッサ、特殊目的プロセッサ、従来のプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、複数のマイクロプロセッサ、ＤＳＰコアに関連付けられた１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械、および類似物とすることができる。プロセッサ４１８は、信号符号化、データ処理、電力制御、入出力処理、および／またはＷＴＲＵ ４０２が無線環境内で動作することを可能にする任意の他の機能性を実行することができる。プロセッサ４１８を、トランシーバ４２０に結合することができ、トランシーバ４２０を、送受信要素４２２に結合することができる。図４Ｂは、別々のコンポーネントとしてプロセッサ４１８およびトランシーバ４２０を示すが、プロセッサ４１８およびトランシーバ４２０を、電子パッケージまたはチップ内に一緒に一体化することができることを了解されたい。
【0222】
エアインターフェース４１６を介して基地局（たとえば、基地局４１４ａ）へ信号を送信しまたはこれから信号を受信するように、送受信要素４２２を構成することができる。たとえば、一実施形態では、送受信要素４２２を、ＲＦ信号を送信し、かつ／または受信するように構成されたアンテナとすることができる。別の実施形態では、送受信要素４２２を、たとえばＩＲ、ＵＶ、または可視光信号を送信し、かつ／または受信するように構成されたエミッタ／検出器とすることができる。別の実施形態では、送受信要素４２２を、ＲＦ信号と光信号との両方を送信し、受信するように構成することができる。送受信要素４２２を、無線信号の任意の組合せを送信し、かつ／または受信するように構成することができることを了解されたい。
【0223】
さらに、送受信要素４２２は、図４Ｂでは単一の要素として図示されているが、ＷＴＲＵ ４０２は、任意の個数の送受信要素４２２を含むことができる。より具体的には、ＷＴＲＵ ４０２は、ＭＩＭＯ技術を使用することができる。したがって、一実施形態では、ＷＴＲＵ ４０２は、エアインターフェース４１６を介して無線信号を送信し、かつ受信する複数の送受信要素４２２（たとえば、複数のアンテナ）を含むことができる。
【0224】
送受信要素４２２によって送信される信号を変調し、かつ送受信要素４２２によって受信される信号を復調するように、トランシーバ４２０を構成することができる。上で注記したように、ＷＴＲＵ ４０２は、マルチモード能力を有することができる。したがって、トランシーバ４２０は、ＷＴＲＵ ４０２がたとえばＵＴＲＡおよびＩＥＥＥ ８０２．１１などの複数のＲＡＴを介して通信することを可能にする複数のトランシーバを含むことができる。
【0225】
ＷＴＲＵ ４０２のプロセッサ４１８は、スピーカ／マイクロホン４２４、キーパッド４２６、および／またはディスプレイ／タッチパッド４２８（たとえば、液晶ディスプレイ（ＬＣＤ）表示ユニットまたは有機発光ダイオード（ＯＬＥＤ）表示ユニット）に結合され、これらからユーザ入力データを受け取ることができる。プロセッサ４１８は、ユーザデータをスピーカ／マイクロホン４２４、キーパッド４２６、および／またはディスプレイ／タッチパッド４２８に出力することもできる。さらに、プロセッサ４１８は、ノンリムーバブルメモリ４３０および／またはリムーバブルメモリ４３２などの任意のタイプの適切なメモリからの情報にアクセスし、かつそのメモリにデータを格納することができる。ノンリムーバブルメモリ４３０は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリストレージデバイスを含むことができる。リムーバブルメモリ４３２は、ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ（ＳＩＭ）カード、メモリスティック、ｓｅｃｕｒｅ ｄｉｇｉｔａｌ（ＳＤ）メモリカード、および類似物を含むことができる。他の実施形態では、プロセッサ４１８は、サーバ上またはホームコンピュータ（図示せず）上など、ＷＴＲＵ ４０２上に物理的に配置されていないメモリからの情報にアクセスし、かつそのメモリにデータを格納することができる。
【0226】
プロセッサ４１８は、電源４３４から電力を受け取ることができ、かつＷＴＲＵ ４０２内の他のコンポーネントに電力を分配し、かつ／または制御するように構成することができる。電源４３４は、ＷＴＲＵ ４０２に電力を供給する任意の適切なデバイスとすることができる。たとえば、電源４３４は、１または複数の乾電池（たとえば、ニッケル−カドミウム（ＮｉＣｄ）、ニッケル−亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）、その他）、太陽電池、燃料電池、および類似物を含むことができる。
【0227】
プロセッサ４１８を、ＧＰＳチップセット４３６に結合することもでき、ＧＰＳチップセット４３６を、ＷＴＲＵ ４０２の現在位置に関する位置情報（たとえば、経度および緯度）を提供するように構成することができる。ＧＰＳチップセット４３６からの情報に加えてまたはその代わりに、ＷＴＲＵ ４０２は、基地局（たとえば、基地局４１４ａ、４１４ｂ）からエアインターフェース４１６を介して位置情報を受信し、かつ／または複数の近くの基地局から受信されつつある信号のタイミングに基づいてその位置を決定することができる。ＷＴＲＵ ４０２が、実施形態と一貫したままでありながら任意の適切な位置決定方法によって位置情報を獲得できることを了解されたい。
【0228】
プロセッサ４１８を、他の周辺機器４３８にさらに結合することができ、他の周辺機器４３８は、追加の特徴、機能性、および／または有線もしくは無線の接続性を提供する１または複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる。たとえば、周辺機器４３８は、加速度計、ｅコンパス、衛星トランシーバ、ディジタルカメラ（写真またはビデオ用）、ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ（ＵＳＢ）ポート、振動デバイス、テレビジョントランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、ディジタル音楽プレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザ、および類似物を含むことができる。
【0229】
図４Ｃは、一実施形態によるＲＡＮ ４０４およびコアネットワーク４０６のシステム図である。上で注記したように、ＲＡＮ ４０４は、エアインターフェース４１６を介してＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと通信するのにＵＴＲＡ無線技術を使用することができる。ＲＡＮ ４０４は、コアネットワーク４０６と通信していることもできる。図４Ｃに示されているように、ＲＡＮ ４０４は、Ｎｏｄｅ−Ｂ ４４０ａ、４４０ｂ、４４０ｃを含むことができ、このＮｏｄｅ−Ｂ ４４０ａ、４４０ｂ、４４０ｃは、それぞれ、エアインターフェース４１６を介してＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと通信する１または複数のトランシーバを含むことができる。Ｎｏｄｅ−Ｂ ４４０ａ、４４０ｂ、４４０ｃのそれぞれを、ＲＡＮ ４０４内の特定のセル（図示せず）に関連付けることができる。ＲＡＮ ４０４は、ＲＮＣ ４４２ａ、４４２ｂをも含むことができる。ＲＡＮ ４０４が、実施形態と一貫したままでありながら任意の個数のＮｏｄｅ−ＢおよびＲＮＣを含むことができることを了解されたい。
【0230】
図４Ｃに示されているように、Ｎｏｄｅ−Ｂ ４４０ａ、４４０ｂは、ＲＮＣ ４４２ａと通信しているものとすることができる。さらに、Ｎｏｄｅ−Ｂ ４４０ｃは、ＲＮＣ ４４２ｂと通信しているものとすることができる。Ｎｏｄｅ−Ｂ ４４０ａ、４４０ｂ、４４０ｃは、Ｉｕｂインターフェースを介してそれぞれのＲＮＣ ４４２ａ、４４２ｂと通信することができる。ＲＮＣ ４４２ａ、４４２ｂは、Ｉｕｒインターフェースを介してお互いと通信しているものとすることができる。ＲＮＣ ４４２ａ、４４２ｂのそれぞれは、それが接続されるそれぞれのＮｏｄｅ−Ｂ ４４０ａ、４４０ｂ、４４０ｃを制御するように構成され得る。さらに、ＲＮＣ ４４２ａ、４４２ｂのそれぞれは、外側ループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化、および類似物などの他の機能性を実行しまたはサポートするように構成され得る。
【0231】
図４Ｃに示されたコアネットワーク４０６は、メディアゲートウェイ（ＭＧＷ）４４４、ｍｏｂｉｌｅ ｓｗｉｔｃｈｉｎｇ ｃｅｎｔｅｒ（ＭＳＣ）４４６、ｓｅｒｖｉｎｇ ＧＰＲＳ ｓｕｐｐｏｒｔ ｎｏｄｅ（ＳＧＳＮ）４４８、および／またはｇａｔｅｗａｙ ＧＰＲＳ ｓｕｐｐｏｒｔ ｎｏｄｅ（ＧＧＳＮ）４５０を含むことができる。前述の要素のそれぞれが、コアネットワーク４０６の一部として図示されているが、これらの要素の任意の１つが、コアネットワークオペレータ以外のエンティティによって所有され、かつ／または運営される場合があることを了解されたい。
【0232】
ＲＡＮ ４０４内のＲＮＣ ４４２ａを、ＩｕＣＳインターフェースを介してコアネットワーク４０６内のＭＳＣ ４４６に接続することができる。ＭＳＣ ４４６を、ＭＧＷ ４４４に接続することができる。ＭＳＣ ４４６およびＭＧＷ ４４４は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと伝統的な陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ ４０８などの回線交換ネットワークへのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。
【0233】
ＲＡＮ ４０４内のＲＮＣ ４４２ａを、ＩｕＰＳインターフェースを介してコアネットワーク４０６内のＳＧＳＮ ４４８に接続することもできる。ＳＧＳＮ ４４８を、ＧＧＳＮ ４５０に接続することができる。ＳＧＳＮ ４４８およびＧＧＳＮ ４５０は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。
【0234】
上で注記したように、コアネットワーク４０６を、ネットワーク４１２に接続することもでき、ネットワーク４１２は、他のサービスプロバイダによって所有され、かつ／または運営される他の有線ネットワークまたは無線ネットワークを含むことができる。
【0235】
図４Ｄは、もう１つの実施形態によるＲＡＮ ４０４およびコアネットワーク４０６のシステム図である。上で注記したように、ＲＡＮ ４０４は、エアインターフェース４１６を介してＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと通信するのにＥ−ＵＴＲＡ無線技術を使用することができる。ＲＡＮ ４０４は、コアネットワーク４０６と通信していることもできる。
【0236】
ＲＡＮ ４０４は、ｅＮｏｄｅ−Ｂ ４６０ａ、４６０ｂ、４６０ｃを含むことができるが、ＲＡＮ ４０４が、実施形態と一貫したままでありながら任意の個数のｅＮｏｄｅ−Ｂを含むことができることを了解されたい。ｅＮｏｄｅ−Ｂ ４６０ａ、４６０ｂ、４６０ｃは、それぞれ、エアインターフェース４１６を介してＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと通信する１または複数のトランシーバを含むことができる。一実施形態では、ｅＮｏｄｅ−Ｂ ４６０ａ、４６０ｂ、４６０ｃは、ＭＩＭＯ技術を実施することができる。したがって、たとえば、ｅＮｏｄｅ−Ｂ ４６０ａは、ＷＴＲＵ ４０２ａに無線信号を送信し、かつこれから無線信号を受信するのに複数のアンテナを使用することができる。
【0237】
ｅＮｏｄｅ−Ｂ ４６０ａ、４６０ｂ、４６０ｃのそれぞれを、特定のセル（図示せず）に関連付けることができ、無線リソース管理判断、ハンドオーバ判断、アップリンクおよび／またはダウンリンクでのユーザのスケジューリング、ならびに類似物を処理するように構成することができる。図４Ｄに示されているように、ｅＮｏｄｅ−Ｂ ４６０ａ、４６０ｂ、４６０ｃは、Ｘ２インターフェースを介してお互いと通信することができる。
【0238】
図４Ｄに示されたコアネットワーク４０６は、ｍｏｂｉｌｉｔｙ ｍａｎａｇｅｍｅｎｔ ｇａｔｅｗａｙ（ＭＭＥ）４６２、サービングゲートウェイ４６４、およびｐａｃｋｅｔ ｄａｔａ ｎｅｔｗｏｒｋ（ＰＤＮ）ゲートウェイ４６６を含むことができる。前述の要素のそれぞれが、コアネットワーク４０６の一部として図示されているが、これらの要素の任意の１つが、コアネットワークオペレータ以外のエンティティによって所有され、かつ／または運営される場合があることを了解されたい。
【0239】
ＭＭＥ ４６２は、Ｓ１インターフェースを介してＲＡＮ ４０４内のｅＮｏｄｅ−Ｂ ４６０ａ、４６０ｂ、４６０ｃのそれぞれに接続され得、制御ノードとして働くことができる。たとえば、ＭＭＥ ４６２は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃのユーザの認証、ベアラアクティブ化／非アクティブ化、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃの初期アタッチ中の特定のサービングゲートウェイの選択、および類似物の責任を負うことができる。ＭＭＥ ４６２は、ＲＡＮ ４０４とＧＳＭまたはＷＣＤＭＡなどの他の無線技術を使用する他のＲＡＮ（図示せず）との間で切り替えるための制御プレーン機能を提供することもできる。
【0240】
サービングゲートウェイ４６４を、Ｓ１インターフェースを介してＲＡＮ ４０４内のｅＮｏｄｅ−Ｂ ４６０ａ、４６０ｂ、４６０ｃのそれぞれに接続することができる。サービングゲートウェイ４６４は、一般に、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃへ／からユーザデータパケットをルーティングし、転送する。サービングゲートウェイ４６４は、ｅＮｏｄｅ Ｂ間ハンドオーバ中のユーザプレーンのアンカリング、ダウンリンクデータがＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃについて使用可能である時のページングのトリガ、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃのコンテキストの管理および格納、ならびに類似物など、他の機能を実行することもできる。
【0241】
サービングゲートウェイ４６４を、ＰＤＮゲートウェイ４６６に接続することもでき、ＰＤＮゲートウェイ４６６は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃとＩＰ対応デバイスとの間の接続を容易にするために、インターネット４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。
【0242】
コアネットワーク４０６は、他のネットワークとの通信を容易にすることができる。たとえば、コアネットワーク４０６は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと伝統的な陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ ４０８などの回線交換ネットワークへのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。たとえば、コアネットワーク４０６は、コアネットワーク４０６とＰＳＴＮ ４０８との間のインターフェースとして働くＩＰゲートウェイ（たとえば、ＩＭＳ（ＩＰマルチメディアサブシステム）サーバ）を含むことができ、またはこれと通信することができる。さらに、コアネットワーク４０６は、他のサービスプロバイダによって所有され、かつ／または運営される他の有線または無線のネットワークを含むことができるネットワーク４１２へのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。
【0243】
図４Ｅは、一実施形態によるＲＡＮ ４０４およびコアネットワーク４０６を示すシステム図である。ＲＡＮ ４０４は、エアインターフェース４１６を介してＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと通信するのにＩＥＥＥ ８０２．１６無線技術を使用するＡＳＮ（アクセスサービスネットワーク）とすることができる。下でさらに議論するように、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃ、ＲＡＮ ４０４、およびコアネットワーク４０６の異なる機能エンティティの間の通信リンクを、基準ポイントと定義することができる。
【0244】
図４Ｅに示されているように、ＲＡＮ ４０４は、基地局４７０ａ、４７０ｂ、４７０ｃ、およびＡＳＮゲートウェイ４７２を含むことができるが、ＲＡＮ ４０４が、実施形態と一貫したままでありながら任意の個数の基地局およびＡＳＮゲートウェイを含むことができることを了解されたい。基地局４７０ａ、４７０ｂ、４７０ｃを、それぞれ、ＲＡＮ ４０４内の特定のセル（図示せず）に関連付けることができ、基地局４７０ａ、４７０ｂ、４７０ｃは、それぞれ、エアインターフェース４１６を介してＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと通信するために１または複数のトランシーバを含むことができる。一実施形態では、基地局４７０ａ、４７０ｂ、４７０ｃは、ＭＩＭＯ技術を実施することができる。したがって、たとえば、基地局４７０ａは、ＷＴＲＵ ４０２ａに無線信号を送信し、かつＷＴＲＵ ４０２ａから無線信号を受信するのに複数のアンテナを使用することができる。基地局４７０ａ、４７０ｂ、４７０ｃは、ハンドオフトリガ、トンネル確立、無線リソース管理、トラフィック分類、サービス品質（ＱｏＳ）ポリシ実施、および類似物などのモビリティ管理機能を提供することもできる。ＡＳＮゲートウェイ４７２は、トラフィックアグリゲーションポイントとして働くことができ、ページング、サブスクライバプロファイルのキャッシング、コアネットワーク４０６へのルーティング、および類似物の責任を負うことができる。
【0245】
ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃとＲＡＮ ４０４との間のエアインターフェース４１６は、ＩＥＥＥ ８０２．１６仕様を実施するＲ１基準ポイントと定義することができる。さらに、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃのそれぞれは、コアネットワーク４０６との論理インターフェース（図示せず）を確立することができる。ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃとコアネットワーク４０６との間の論理インターフェースは、認証、認可、ＩＰホスト構成管理、および／またはモビリティ管理に使用できるＲ２基準ポイントと定義することができる。
【0246】
基地局４７０ａ、４７０ｂ、４７０ｃのそれぞれの間の通信リンクは、ＷＴＲＵハンドオーバおよび基地局の間のデータの転送を容易にするプロトコルを含むＲ８基準ポイントと定義することができる。基地局４７０ａ、４７０ｂ、４７０ｃとＡＳＮゲートウェイ２１５との間の通信リンクを、Ｒ６基準ポイントと定義することができる。Ｒ６基準ポイントは、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃのそれぞれに関連付けられたモビリティイベントに基づくモビリティ管理を容易にするプロトコルを含むことができる。
【0247】
図４Ｅに示されているように、ＲＡＮ ４０４を、コアネットワーク４０６に接続することができる。ＲＡＮ ４０４とコアネットワーク４０６との間の通信リンクを、たとえばデータ転送およびモビリティ管理能力を容易にするプロトコルを含むＲ３基準ポイントと定義することができる。コアネットワーク４０６は、ｍｏｂｉｌｅ ＩＰ ｈｏｍｅ ａｇｅｎｔ（ＭＩＰ−ＨＡ）４７４、ａｕｔｈｅｎｔｉｃａｔｉｏｎ，ａｕｔｈｏｒｉｚａｔｉｏｎ，ａｃｃｏｕｎｔｉｎｇ（ＡＡＡ）サーバ４７６、およびゲートウェイ４７８を含むことができる。前述の要素のそれぞれは、コアネットワーク４０６の一部として図示されているが、これらの要素のいずれかを、コアネットワークオペレータ以外のエンティティが所有し、かつ／または運営することができることを了解されたい。
【0248】
ＭＩＰ−ＨＡ ４７４は、ＩＰアドレス管理の責任を負うことができ、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃが異なるＡＳＮおよび／または異なるコアネットワークの間でローミングすることを可能にすることができる。ＭＩＰ−ＨＡ ４７４は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。ＡＡＡサーバ４７６は、ユーザ認証の責任およびユーザサービスをサポートする責任を負うことができる。ゲートウェイ４７８は、他のネットワークとのインターワーキングを容易にすることができる。たとえば、ゲートウェイ４７８は、ＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃと伝統的な陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ ４０８などの回線交換ネットワークへのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。さらに、ゲートウェイ４７８は、他のサービスプロバイダによって所有され、かつ／または運営される他の有線または無線のネットワークを含むことができるネットワーク４１２へのアクセスをＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃに与えることができる。
【0249】
図４Ｅには示されていないが、ＲＡＮ ４０４を他のＡＳＮに接続することができ、かつコアネットワーク４０６を他のコアネットワークに接続することができることを了解されたい。ＲＡＮ ４０４他のＡＳＮ間の通信リンクを、ＲＡＮ ４０４と他のＡＳＮとの間でＷＴＲＵ ４０２ａ、４０２ｂ、４０２ｃのモビリティをコーディネートするプロトコルを含むことができるＲ４基準ポイントと定義することができる。コアネットワーク４０６と他のコアネットワークとの間の通信リンクを、ホームコアネットワークと訪問されたコアネットワークとの間のインターワーキングを容易にするプロトコルを含むことができるＲ５基準と定義することができる。
【0250】
図５は、ビデオ残差データを処理する代表的な方法５００を示す流れ図である。
【0251】
図５を参照すると、代表的な方法５００は、ブロック５１０で、単一の１次元変換を使用してビデオ残差データを変換して、ビデオブロックに関連付けられた係数の第１のセットを生成できる変換ユニット２０４と、ブロック５２０で、係数の第１のセットを量子化して、量子化された係数の第２のセットを生成できる量子化ユニット２０６とを含むことができる。ブロック５３０では、エントロピコーディングユニット２０８が、量子化された係数の第２のセットをエントロピコーディングすることができる。ビットシフトを、エントロピコーディングユニット２０８によるエントロピコーディングの前に行うことができる。たとえば、ビットシフトを、変換ユニット２０４での変換または量子化ユニット２０６での量子化のいずれかの中または後に行うことができる。ブロック５４０では、送受信ユニット、たとえばＴｘ／Ｒｘユニット１２０が、量子化された係数のエントロピコーディングされた第２のセットを送信することができる。
【0252】
ある種の代表的な実施形態では、ビデオ残差データの処理は、係数の第１および第２のセットのいずれかをビットシフトすることを含むことができ、ビットシフトは、いずれかの方向（たとえば、処理の任意のステージについて右および／または左）での整数個数のシフトおよび／または分数個数のシフトとすることができる。シフトを、汎用プロセッサ（たとえば、システムコントローラ１３６）によって生成することができ、または、シフトは、たとえば係数（たとえば、係数のセット）のビットをシフトするのにシフト補償ユニット（図示せず）を使用することができる。整数ビットシフトを、直接ビットシフトによって実施することができ、分数ビットシフトを、それぞれ量子化ユニット２０６および逆量子化ユニット２１０で使用されるスケール係数および逆スケール係数に対する調整を使用して実施することができる。
【0253】
ある種の代表的な実施形態では、逆量子化ユニット２１０は、係数の第２のセットを逆量子化して、逆量子化された係数の第３のセットを生成することができる。
【0254】
ある種の代表的な実施形態では、逆変換ユニット２１２は、ビデオ残差データを生成するための逆変換された出力として、単一の１次元逆変換を使用して、逆量子化された係数の第３のセットを逆変換することができる。
【0255】
ある種の代表的な実施形態では、係数の第１、第２、および第３のセットまたは逆変換された出力のいずれかをビットシフトすることができる。
【0256】
ある種の代表的な実施形態では、単一の１次元変換を、水平変換または垂直変換（たとえば、順方向水平変換または順方向垂直変換）とすることができる。
【0257】
ある種の代表的な実施形態では、ビットシフト（たとえば、右ビットシフト）を複数のユニット（またはステージ）のうちの１または複数の中または後で行えるように、ビデオ残差データの処理を、少なくとも変換ユニット２０４（またはステージ）および／または量子化ユニット２０６（またはステージ）を含む複数のユニットまたはステージで実施することができる。
【0258】
ある種の代表的な実施形態では、処理で使用されるビデオブロックに対する量子化された係数の送信されたエントロピコーディングされた第２のセットから再構成された再構成されたビデオブロックの同一のダイナミックレンジを、たとえば、複数のユニットまたはステージのそれぞれの中または後でダイナミックレンジを調整することによって維持することができる。
【0259】
ある種の代表的な実施形態では、ビデオブロックの処理は、Ｎが、とりわけ、１６ビット処理、３２ビット処理、または６４ビット処理などの整数である、Ｎビット処理のみを含むことができる。
【0260】
ある種の代表的な実施形態では、量子化された係数の第２のセットを１ビットの分数、たとえば１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立されたスケール係数のセットを、決定し、調整し、かつ／または事前定義することができ、量子化ユニット２０６は、スケール係数が決定され、調整され、かつ／または事前定義されたセットを適用することができる。他の代表的な実施形態では、スケール係数の追加のセットを、量子化ユニット２０６の直後に実施することができる。
【0261】
ある種の代表的な実施形態では、ビットシフトは、循環シフトされるＨＥＶＣ標準に関連付けられたスケール係数のセットを使用して量子化処理中に１／２ビットシフトすることを含むことができる。
【0262】
ある種の代表的な実施形態では、変換が単一の１次元２Ｎ次変換を使用する時に、分数シフト（たとえば、１／２ビットシフト）を適用する（たとえば、適用するのみとする）ことができ、Ｎは、奇数の整数である。
【0263】
ある種の代表的な実施形態では、ビットシフトは、変換サイズおよび変換のタイプ（たとえば、とりわけ、垂直、水平、および／または対角線）に従って複数の右ビットシフトまたは左ビットシフト（たとえば、総数および／またはステージごとの）を決定することと、決定されたビットシフトを適用することとを含むことができる。たとえば、右ビットシフトの回数を、変換のサイズに伴って増やすことができる。
【0264】
ある種の代表的な実施形態では、単一の１次元逆変換を、とりわけ、水平逆変換または垂直逆変換とすることができる。
【0265】
ある種の代表的な実施形態では、ビデオ残差データの処理を、複数のユニット（またはステージ）内で実施することができ、ビットシフト（たとえば、右ビットシフトまたは左ビットシフト）を、複数のユニット（またはステージ）のうちの１または複数の中または後に行うことができる。
【0266】
ある種の代表的な実施形態では、処理に使用されるビデオブロックに対する量子化された係数の送信されたエントロピコーディングされた第２のセットから再構成された再構成されたビデオブロックの同一のダイナミックレンジを、複数のユニット（またはステージ）のそれぞれの中または後でダイナミックレンジを調整することによって維持することができる。
【0267】
ある種の代表的な実施形態では、逆量子化ユニット２１０は、逆量子化された係数の第３のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを決定し、調整し、かつ／または事前定義することができ、逆スケール係数が決定され、調整され、または事前定義されたセットを適用することができる。
【0268】
ある種の代表的な実施形態では、ビットシフトは、循環シフトされるＨＥＶＣ標準に関連付けられた逆スケール係数のセットを使用する逆量子化中の１／２ビットシフトまたは分数ビットシフトを含むことができる。
【0269】
ある種の代表的な実施形態では、量子化ユニット２０６は、スケール係数のセットを選択的に調整しまたは事前定義することができ、逆量子化ユニット２１０は、量子化された係数の第２のセットを１／２ビット、ビットシフトするように、変換サイズに基づいて、逆スケール係数のセット（たとえば、それぞれ最初はＨＥＶＣ標準に従って確立された）を選択的に調整しまたは事前定義することができる。量子化ユニット２０６および逆量子化ユニット２１０は、選択的に調整されまたは事前定義されたセットを適用することができる。
【0270】
ある種の代表的な実施形態では、ビットシフトは、変換サイズ（たとえば、とりわけ、８ｘ８または３２ｘ３２の変換サイズ）に基づいて、量子化ユニット２０６および逆量子化ユニット２１０の一方または両方の中および／または直後の分数ビットシフトまたは１／２ビットシフトを含むことができる。
【0271】
図６は、ビデオを処理する代表的な方法６００を示す流れ図である。
【0272】
図６を参照すると、代表的な方法６００は、ブロック６１０で、Ｔｘ／Ｒｘユニット（たとえば、Ｔｘ／Ｒｘユニット１２８）がビデオのビデオブロックに関連付けられた符号化され量子化された係数の第１のセットを取得することと、ブロック６２０で、エントロピ復号ユニット３０８が量子化された係数の第１のセットをエントロピ復号することとを含むことができる。ブロック６３０では、逆量子化ユニット３１０が、復号された量子化された係数の第１のセットを逆量子化して、逆量子化された係数の第２のセットを生成することができる。ブロック６４０では、逆変換ユニット３１２が、単一の１次元逆変換を使用して、逆量子化された係数の第２のセットを逆変換して、再構成されたビデオブロックを生成することができる。
【0273】
当業者が理解するように、代表的な方法６００に関連付けられた復号プロセスは、代表的な方法５００によって生成されたエントロピ符号化された信号に関連付けられたビデオ（ビデオブロック）を再構成することができる（また、代表的な方法５００の逆とすることができる）。ブロック６５０では、プロセッサおよび／またはシフト補償ユニットが、係数の第１および第２のセットのいずれかをビットシフトすることができる。当業者は、代表的な実施形態の一部またはすべてが、符号器２００と復号器３００との両方に同等に適用可能であることをも理解する。
【0274】
ある種の代表的な実施形態では、符号器２００または復号器３００によるビットシフトは、変換サイズおよび変換のタイプ（たとえば、とりわけ、垂直、水平、および／または対角線）に従って複数のビットシフト（たとえば、右ビットシフトおよび／または左ビットシフト（総数および／またはステージごとの））を決定することと、決定されたビットシフト（たとえば、整数ビットシフトおよび／または分数ビットシフト）を適用することとを含むことができる。
【0275】
ある種の代表的な実施形態では、逆量子化ユニット３１０は、逆量子化された係数の第２のセットを分数ビットまたは１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを決定し、調整し、かつ／または事前定義することができ、変換サイズ（たとえば、とりわけ、８ｘ８または３２ｘ３２）に基づいて、決定され、調整され、かつ／または事前定義されたセットを選択的に適用することができる。
【0276】
ある種の代表的な実施形態では、ビットシフトは、変換サイズに基づいて、逆量子化ユニット３１０の中または直後に、分数ビットシフトまたは１／２ビットシフトを選択的に適用することを含むことができる。
【0277】
図７は、ビデオ残差データを処理するもう１つの代表的な方法７００を示す流れ図である。
【0278】
図７を参照すると、もう１つの代表的な方法７００は、ブロック７１０で、ビデオ残差データの変換を全く含まないビデオ残差データを量子化して、ステージのうちの第１のステージの出力結果として量子化されたビデオ残差データを生成できる量子化ユニット２０６を含むことができる。ブロック７２０では、逆量子化ユニット２１０が、量子化されたビデオ残差データを逆量子化して、ステージのうちの第２のステージの出力結果として再構成されたビデオ残差データを生成することができる。ブロック７３０では、ステージのうちの１または複数の中および／またはその後に、その出力結果をビットシフトすることができる。
【0279】
図８は、ビデオを処理するさらなる代表的な方法８００を示す流れ図である。
【0280】
図８を参照すると、さらなる代表的な方法８００は、ブロック８１０で、送受信ユニット１２８が、ビデオのビデオブロックに関連付けられた符号化され量子化された係数の第１のセットを取得することを含むことができる。ブロック８２０では、エントロピ復号ユニット３０８が、量子化された係数の第１のセットをエントロピ復号する。ブロック８３０では、逆量子化ユニット３１０が、復号された量子化された係数の第１のセットを逆量子化して、逆量子化された係数の第２のセットを生成する。ブロック８４０では、逆変換ユニット３１２が、単一の１次元逆変換を使用して、逆量子化された係数の第２のセットを逆変換する。ブロック８５０では、逆量子化ユニット３１０、プロセッサ、および／またはシフト補償ユニットが、係数の第１および第２のセットのいずれかをビットシフトする（たとえば、整数ビットシフトし、かつ／または分数ビットシフトする）ことができる。
【0281】
図９は、ビデオを処理する追加の代表的な方法９００を示す流れ図である。
【0282】
図９を参照すると、追加の代表的な方法９００は、ブロック９１０で、送受信ユニット１２０がビデオのビデオブロックを取得することを含むことができる。ブロック９２０では、変換ユニット２０４が、単一の１次元変換を使用してビデオ残差データを変換して、ステージのうちの第１のステージの出力結果として、ビデオブロックに関連付けられた係数のセットを生成することができる。ブロック９３０では、量子化ユニット２０６が、変換された係数のセットを量子化して、ステージのうちの第２のステージの出力結果として、量子化された係数のセットを生成することができる。ブロック９４０では、逆量子化ユニット２１０が、量子化された係数のセットを逆量子化して、ステージのうちの第３のステージの出力結果として、逆量子化された変換された係数のセットを生成することができる。ブロック９５０では、逆変換ユニット２１２が、単一の１次元逆変換を使用して、逆量子化された変換された係数のセットを逆変換して、ステージのうちの第４のステージの出力結果として、ビデオ残差データを生成することができる。ブロック９６０では、量子化ユニット２０６、逆量子化ユニット２１０、プロセッサ、および／またはシフト補償ユニットが、係数のセットのいずれかをビットシフトすることができる（たとえば、整数ビットシフトおよび／または分数ビットシフト）。
【0283】
ある種の代表的な実施形態では、量子化は、量子化ユニット２０６が、ビデオブロックの処理で使用される変換の複数の次元の関数として量子化パラメータを選択しまたは決定することと、量子化の出力結果を生成するために量子化パラメータを適用することとを含むことができる。
【0284】
ある種の代表的な実施形態では、逆量子化は、たとえば、逆量子化ユニット２１０、３１０が、ビデオプロセスの処理で使用される逆変換の複数の次元の関数として量子化パラメータを選択しまたは決定することと、逆量子化の出力結果を生成するために量子化パラメータを適用することとを含むことができる。
【0285】
図１０は、ビデオを処理するもう１つの代表的な方法１０００を示す流れ図である。
【0286】
図１０を参照すると、代表的な方法１０００は、ブロック１０１０で、送受信ユニット１２０がビデオのビデオブロックを取得することを含むことができる。ブロック１０２０では、量子化ユニット２０６が、Ｎの関数として量子化の量子化パラメータを選択しまたは決定することができ、Ｎは、ビデオブロックの処理で使用される変換の次元の非負の整数個数であり、ブロック１０３０では、選択されまたは決定された量子化パラメータを使用して変換されまたは逆変換されていないビデオ残差データ量子化して、量子化されたデータの第１のセットを生成することができる。たとえば、Ｎを、０、１、２、…とすることができる。
【0287】
ブロック１０４０では、逆量子化ユニット２１０が、選択されまたは決定された量子化パラメータを使用して量子化されたデータの第１のセットを逆量子化して、逆量子化されたデータの第２のセットを生成することができる。
【0288】
ある種の代表的な実施形態では、逆変換ユニット２１２は、Ｎ次元での変換を使用して変換されていないビデオ残差データを変換して、ビデオブロックに関連付けられた係数のセットとして、変換されたビデオ残差データを生成することができる。
【0289】
図１１は、ビデオを処理するもう１つの代表的な方法１１００を示す流れ図である。
【0290】
図１１を参照すると、代表的な方法１１００は、ブロック１１１０で、送受信ユニット１２８が、ビデオのビデオブロックに関連付けられた符号化され量子化されたデータの第１セットを取得することを含む。ブロック１１２０では、逆量子化ユニット３１０は、Ｎの関数として量子化のための量子化パラメータを選択しまたは決定することができ、Ｎは、ビデオブロックの処理で使用される変換の次元の非負の整数個数である。ある種の代表的な実施形態では、Ｎを０、１、および２…とすることができる。
【0291】
ブロック１１３０では、エントロピ復号ユニット３０８が、量子化されたデータの第１のセットをエントロピ復号することができる。ブロック１１４０では、逆量子化ユニット３１０が、選択されまたは決定された量子化パラメータを使用して、復号され量子化されたデータの第１のセットを逆量子化して、逆量子化されたデータの第２のセットを生成することができる。
【0292】
ある種の代表的な実施形態では、逆変換ユニット３１２は、Ｎ次元で変換を使用して逆量子化されたデータの第２のセットを逆変換して、再構成されたビデオブロックを生成することができる。
【0293】
ある種の代表的な実施形態では、変換が、より多くの次元で使用されるものに対してより少ない次元で使用される時に（たとえば、逆変換ユニット２１２、３１２、および／または変換ユニット２０４のいずれかによって）、量子化パラメータを減らすことができる。
【0294】
上で説明される方法、装置、およびシステムの変形形態が、本発明の範囲から逸脱せずに可能である。適用できるさまざまな実施形態に鑑みて、示された実施形態が例示にすぎず、以下の特許請求の範囲の範囲を限定するものと解釈されてはならないことを理解されたい。たとえば、本明細書で説明される例示的な実施形態は、ハンドヘルドデバイスを含む。
【0295】
本開示全体で、当業者は、ある種の代表的な実施形態を、代替形態でまたは他の代表的な実施形態と組み合わせて使用することができることを理解する。
【0296】
適切なプロセッサは、たとえば、汎用プロセッサ、特殊目的プロセッサ、従来のプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連付けられた１もしくは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、特定用途用標準品（ＡＳＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、および／または状態機械を含む。
【0297】
ソフトウェアに関連付けられたプロセッサを使用して、無線送信受信ユニット（ＷＴＲＵ）、ユーザ機器（ＵＥ）、端末、基地局、Ｍｏｂｉｌｉｔｙ Ｍａｎａｇｅｍｅｎｔ Ｅｎｔｉｔｙ（ＭＭＥ）もしくはＥｖｏｌｖｅｄ Ｐａｃｋｅｔ Ｃｏｒｅ（ＥＰＣ）、または任意のホストコンピュータ内で使用されるラジオ周波数トランシーバを実施することができる。ＷＴＲＵを、ソフトウェア無線（ＳＤＲ）と、カメラ、ビデオカメラモジュール、ビデオ電話、スピーカホン、振動デバイス、スピーカ、マイクロホン、テレビジョントランシーバ、ハンズフリーヘッドセット、キーボード、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、ニアフィールド通信（ＮＦＣ）モジュール、液晶ディスプレイ（ＬＣＤ）表示ユニット、有機発光ダイオード（ＯＬＥＤ）表示ユニット、ディジタル音楽プレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザ、および／または任意の無線ローカルエリアネットワーク（ＷＬＡＮ）モジュールもしくはウルトラワイドバンド（ＵＷＢ）モジュールなどの他のコンポーネントとを含む、ハードウェアおよび／またはソフトウェアで実施されるモジュールに関連して使用することができる。
【0298】
本発明を、ビデオ符号化およびビデオ復号の方法、装置、およびシステムに関して説明したが、この方法、装置、およびシステムを、マイクロプロセッサ／汎用コンピュータ（図示せず）上のソフトウェアで実施できることが企図されている。ある種の実施形態では、さまざまなコンポーネントの機能のうちの１または複数を、汎用コンピュータを制御するソフトウェアで実施することができる。
【0299】
さらに、本発明が、本明細書では特定の実施形態を参照して図示され、説明されるが、本発明が、図示の詳細に限定されることは意図されていない。そうではなく、特許請求の範囲の同等物の範囲内で、本発明から逸脱せずに、詳細においてさまざまな変更を行うことができる。
【0300】
特徴および要素が、上で特定の組合せで説明されるが、各特徴または要素を、単独でまたは他の特徴および要素との任意の組合せで使用することができることを、当業者は了解するであろう。さらに、本明細書で説明される方法を、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、コンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ−ＲＯＭディスクおよびＤＶＤ（ディジタル多用途ディスク）などの光学媒体を含むが、これらに限定されない。ソフトウェアに関連付けられたプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータ内で使用されるラジオ周波数トランシーバを実施することができる。
【0301】
さらに、上で説明された実施形態では、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサを含む他のデバイスが、特に言及された。これらのデバイスは、少なくとも１つの中央処理装置（「ＣＰＵ」）およびメモリを含むことができる。コンピュータプログラミングの当業者の実践に従って、行為および動作または命令の記号表現への参照が、さまざまなＣＰＵおよびメモリによって実行される場合がある。そのような行為および動作または命令を、「実行される」、「コンピュータ実行される」、または「ＣＰＵ実行される」と称する場合がある。
【0302】
当業者は、行為および記号的に表現された動作または命令が、ＣＰＵによる電気信号の操作を含むことを了解するであろう。電気システムは、これによってＣＰＵの動作を再構成しまたは他の形で変更するために、電気信号の結果の変換または変形およびメモリシステム内のメモリ位置にあるデータビットの維持ならびに信号の他の処理を引き起こすことができるデータビットを表す。データビットが維持されるメモリ位置は、データビットに対応するかまたはこれを表す特定の電気的、磁気的、光学的、または有機的な特性を有する物理位置である。例示的実施形態が、上で言及したプラットフォームまたはＣＰＵに限定されるのではなく、他のプラットフォームおよびＣＰＵが、説明される方法をサポートできることを理解されたい。
【0303】
データビットを、磁気ディスク、光ディスク、およびＣＰＵによって可読の任意の他の揮発性（たとえば、ランダムアクセスメモリ（「ＲＡＭ」））または不揮発性（「たとえば、読取り専用メモリ（「ＲＯＭ」））マスストレージシステムを含むコンピュータ可読媒体上で維持することもできる。コンピュータ可読媒体は、処理システム上に排他的に存在しまたは処理システムにローカルまたはリモートとすることができる複数の相互接続された処理システムの間で分散される、組み込むまたは相互接続されたコンピュータ可読媒体を含むことができる。実施形態が、上で述べたメモリに限定されず、他のプラットフォームおよびメモリが、説明される方法をサポートできることを理解されたい。
【0304】
本出願の説明で使用される要素、行為、または命令を、そのようなものとして明示的に説明されない限り、本発明にクリティカルまたは必須と解釈してはならない。また、本明細書で使用される時に、冠詞「ａ」および「ａｎ」のそれぞれは、１または複数の品目を含むことが意図されている。１つの品目のみが意図される場合には、用語「ｓｉｎｇｌｅ（単一の）」または類似する言葉が使用される。さらに、本明細書で使用される時に、複数の品目および／または品目の複数のカテゴリが続く用語「ａｎｙ ｏｆ（のいずれか）は、複数の品目および／または品目のカテゴリ「のいずれか」、「の組合せ」、「任意の複数の」、および／または「複数の〜の任意の組合せ」を、個別にまたは他の品目および／もしくは品目の他のカテゴリに関連して、含むことが意図されている。さらに、本明細書で使用される時に、用語「セット」は、０個を含む任意の個数の品目を含むことが意図されている。さらに、本明細書で使用される時に、用語「数」は、ゼロを含む任意の数を含むことが意図されている。
【0305】
さらに、特許請求の範囲を、その効果が述べられない限り、説明される順序または要素に限定されるものと解釈してはならない。さらに、任意の請求項での用語「手段」の使用は、米国特許法第１１２条第６項に訴えることが意図され、単語「手段」を含まない請求項は、そのような意図を含まない。
【0306】
次の参考文献が、参照によって本明細書に組み込まれている。
【0307】
（１）非特許文献４および非特許文献６（２）非特許文献７
（３）非特許文献８
（４）非特許文献９
（５）非特許文献１０
（６）非特許文献１１
（７）非特許文献１２
（８）非特許文献１３
【0308】
代表的実施形態少なくとも１つの実施形態で、ビデオブロックに関連付けられたビデオ残差データを処理する方法は、変換ユニットを介して、単一の１次元変換を使用してビデオ残差データを変換して、ビデオブロックに関連付けられた係数の第１のセットを生成するステップ、量子化ユニットを介して、係数の第１のセットを量子化して、量子化された係数の第２のセットを生成するステップであって、ビデオ残差データを処理する方法は、係数の第１のセットおよび係数の第２のセットのいずれかをビットシフトするステップを含む、量子化するステップ、ビットシフトするステップの後に、量子化された係数の第２のセットをエントロピコーディングするステップ、および／または量子化された係数のエントロピコーディングされた第２のセットを送信するステップを含むことができる。
【0309】
少なくとも１つの代表的な実施形態で、この方法は、逆量子化ユニットを介して係数の第２のセットを逆量子化して、逆量子化された係数の第３のセットを生成するステップ、逆変換ユニットを介して、ビデオ残差データを生成するための逆変換された出力として、単一の１次元逆変換を使用して逆量子化された係数の第３のセットを逆変換するステップ、および／または係数の第１のセット、係数の第２のセット、および係数の第３のセットのすべてまたは逆変換された出力をビットシフトするステップをさらに含むことができる。
【0310】
少なくとも１つの代表的な実施形態で、単一の１次元変換は、順方向水平変換または順方向垂直変換とすることができる。
【0311】
少なくとも１つの代表的な実施形態で、ビデオ残差データの処理は、ビットシフトするステップが、複数のユニットのうちの１または複数の中または後に発生し得るように、少なくとも変換ユニットおよび量子化ユニットを含む複数のユニット内で実施され得る。
【0312】
少なくとも１つの代表的な実施形態で、この方法は、処理で使用されるビデオブロックに対する量子化された係数の送信されたエントロピコーディングされた第２のセットから再構成された再構成されたビデオブロックの同一のダイナミックレンジを維持するステップをさらに含むことができる。
【0313】
少なくとも１つの代表的な実施形態で、再構成されたビデオブロックの同一のダイナミックレンジを維持するステップは、複数のユニットのそれぞれの中または後でダイナミックレンジを調整するステップを含むことができる。
【0314】
少なくとも１つの代表的な実施形態では、ビデオブロックの処理は、１６ビット整数演算によって実現され得る。
【0315】
少なくとも１つの代表的実施形態では、この方法は、量子化された係数の第２のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立されたスケール係数のセットを調整しもしくは事前定義するステップ、および／または量子化ユニットの中または直後にスケール係数が調整されまたは事前定義されたセットを適用するステップをさらに含むことができる。
【0316】
少なくとも１つの代表的実施形態では、ビットシフトするステップは、循環シフトされるＨＥＶＣ標準に関連付けられたスケール係数のセットを使用して量子化するステップ中に１／２ビットシフトするステップを含むことができる。
【0317】
少なくとも１つの代表的実施形態では、１／２ビットシフトするステップは、変換が単一の１次元２Ｎ次変換を使用する時にのみ適用され得、Ｎは、奇数の整数である。
【0318】
少なくとも１つの代表的実施形態では、ビットシフトは、変換サイズおよび変換タイプ（たとえば、垂直、水平、および／または対角線）に従う右ビットシフト（たとえば、総数および／またはステージごとの）を決定すること、および／または決定された右ビットシフトを適用することをさらに含むことができる。
【0319】
少なくとも１つの代表的実施形態では、単一の１次元逆変換は、水平逆変換または垂直逆変換とすることができる。
【0320】
少なくとも１つの代表的実施形態では、ビデオ残差データの処理は、ビットシフトするステップが、複数のユニットのうちの１または複数の中および／または後に発生するように、複数のユニット内で実施され得る。
【0321】
少なくとも１つの代表的実施形態では、この方法は、複数のユニットのそれぞれの中および／または後でダイナミックレンジを調整することによって、処理で使用されるビデオブロックに対する量子化された係数の送信されたエントロピコーディングされた第２のセットから再構成された再構成されたビデオブロックの同一のダイナミックレンジを維持するステップをさらに含むことができる。
【0322】
少なくとも１つの代表的実施形態では、この方法は、逆量子化された係数の第３のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを調整しもしくは事前定義するステップ、および／または逆量子化ユニット内で逆スケール係数が調整されまたは事前定義されたセットを適用するステップをさらに含むことができる。
【0323】
少なくとも１つの代表的実施形態では、ビットシフトするステップは、循環シフトされるＨＥＶＣ標準に関連付けられた逆スケール係数のセットを使用して逆量子化するステップ中に１／２ビットシフトするステップを含むことができる。
【0324】
少なくとも１つの代表的実施形態では、この方法は、量子化された係数の第２のセットを１／２ビット、ビットシフトするように、変換サイズに基づいてＨＥＶＣ標準に従って確立されたスケール係数のセットおよび逆スケール係数のセットを選択的に調整しもしくは事前定義するステップ、および／または選択的に調整されまたは事前定義されたセットを適用するステップをさらに含むことができる。
【0325】
少なくとも１つの代表的実施形態では、ビットシフトするステップは、変換サイズに基づいて、量子化ユニットおよび逆量子化ユニットのどちらでもなくまたはその両方の中または直後に１／２ビットシフトするステップを含むことができる。
【0326】
少なくとも１つの代表的実施形態では、（１）係数の第１のセットをビットシフトするステップは、Ｎビット演算によって実現されるそのダイナミックレンジを最大にするためのものとすることができ、Ｎは、正の整数値であり、（２）係数の第３のセットをビットシフトするステップは、Ｎビット演算によって実現されるそのダイナミックレンジを最大にするためのものとすることができ、Ｎは、正の整数値であり、（３）量子化された係数の第２のセットをビットシフトするステップは、ビデオ残差データのダイナミックレンジに対してそのダイナミックレンジを調整するためのものとすることができる。
【0327】
少なくとも１つの代表的実施形態では、ビデオを処理する方法は、送受信ユニットを介して、ビデオのビデオブロックに関連付けられた符号化され量子化された係数の第１のセットを取得するステップ、エントロピ復号ユニットを介して、量子化された係数の第１のセットをエントロピ復号するステップ、逆量子化ユニットを介して、復号された量子化された係数の第１のセットを逆量子化して、逆量子化された係数の第２のセットを生成するステップ、逆変換ユニットを介して、単一の１次元逆変換を使用して逆量子化された係数の第２のセットを逆変換して、再構成されたビデオブロックを生成するステップ、および／または係数の第１のセットおよび第２のセットのすべてをビットシフトするステップを含むことができる。
【0328】
少なくとも１つの代表的実施形態では、単一の１次元変換は、水平逆変換または垂直逆変換とすることができる。
【0329】
少なくとも１つの代表的実施形態では、ビデオの処理は、ビットシフトするステップが、複数のユニットのうちの１または複数の中または後で発生するように、少なくとも逆変換ユニットおよび逆量子化ユニットを含む複数のユニット内で実施され得る。
【0330】
少なくとも１つの代表的実施形態では、この方法は、符号器での変換の前にビデオブロックに対する再構成されたビデオブロックの同一のダイナミックレンジを維持するステップをさらに含むことができる。
【0331】
少なくとも１つの代表的実施形態では、再構成されたビデオブロックの同一のダイナミックレンジを維持するステップは、複数のユニットのそれぞれの中または後でダイナミックレンジを調整するステップを含むことができる。
【0332】
少なくとも１つの代表的実施形態では、ビデオブロックの処理は、１６ビット整数演算によって実現され得る。
【0333】
少なくとも１つの代表的実施形態では、この方法は、逆量子化された係数の第２のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを調整しもしくは事前定義するステップ、および／または逆量子化ユニットの中または直後に逆スケール係数の調整されまたは事前定義されたセットを適用するステップをさらに含むことができる。
【0334】
少なくとも１つの代表的実施形態では、ビットシフトするステップは、循環シフトされるＨＥＶＣ標準に関連付けられた逆スケール係数のセットを使用して逆量子化するステップの中および／または後（たとえば、直後）に１／２ビットシフトするステップを含むことができる。
【0335】
少なくとも１つの代表的実施形態では、１／２ビットシフトするステップは、逆変換が単一の１次元２Ｎ次逆変換を使用する時にのみ適用され得、Ｎは、奇数の整数である。
【0336】
少なくとも１つの代表的実施形態では、ビットシフトするステップは、変換サイズおよび変換タイプ（たとえば、垂直、水平、および／または対角線）に従う右ビットシフト（総数および／またはステージごとの）を決定するステップ、および／または決定された右ビットシフトを適用するステップを含むことができる。
【0337】
少なくとも１つの代表的実施形態では、この方法は、逆量子化された係数の第２のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを調整しもしくは事前定義するステップ、および／または変換サイズに基づいて、調整されまたは事前定義されたセットを選択的に適用するステップをさらに含むことができる。
【0338】
少なくとも１つの代表的実施形態では、ビットシフトするステップは、変換サイズに基づいて、逆量子化ユニットの中または直後に分数シフトまたは１／２ビットシフトを選択的に適用するステップを含むことができる。
【0339】
少なくとも１つの代表的実施形態では、符号器は、ビデオブロックに関連付けられたビデオ残差データを処理するように構成され得、単一の１次元変換を使用してビデオ残差データを変換して、ビデオブロックに関連付けられた係数の第１のセットを生成するように構成された変換ユニット、係数の第１のセットを量子化して、量子化された係数の第２のセットを生成するように構成された量子化ユニットであって、係数の第１のセットおよび係数の第２のセットのいずれもが、ビットシフトされる、量子化ユニット、ビットシフトされた後に量子化された係数の第２のセットをエントロピコーディングするように構成されたエントロピコーディングユニット、および／または量子化された係数のエントロピコーディングされた第２のセットを送信するように構成された送受信ユニットを含むことができる。
【0340】
少なくとも１つの代表的実施形態では、符号器は、係数の第２のセットを逆量子化して、逆量子化された係数の第３のセットを生成するように構成された逆量子化ユニット、および／またはビデオ残差データを生成するための逆変換された出力として、単一の１次元逆変換を使用して逆量子化された係数の第３のセットを逆変換するように構成された逆変換ユニットをさらに含むことができ、係数の第１のセット、係数の第２のセット、および係数の第３のセットのすべてまたは逆変換された出力は、ビットシフトされ得る。
【0341】
少なくとも１つの代表的実施形態では、単一の１次元変換は、順方向水平変換または順方向垂直変換とすることができる。
【0342】
少なくとも１つの代表的実施形態では、符号器は、複数のユニットのうちの１または複数のそれぞれのユニットの１または複数の出力がビットシフトされ得るように、少なくとも変換ユニットおよび量子化ユニットを含む複数のユニットを含むことができる。
【0343】
少なくとも１つの代表的実施形態では、符号器は、処理で使用されるビデオブロックに対する量子化された係数のエントロピコーディングされた第２のセットに基づいて再構成された再構成されたビデオブロックの同一のダイナミックレンジを維持するように構成され得る。
【0344】
少なくとも１つの代表的実施形態では、符号器は、１６ビット整数演算によってビデオブロックの処理を提供することができる。
【0345】
少なくとも１つの代表的実施形態では、量子化ユニットは、量子化された係数の第２のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立されたスケール係数のセットを調整しもしくは事前定義し、かつ／またはスケール係数が調整されまたは事前定義されたセットを適用するように構成され得る。
【0346】
少なくとも１つの代表的実施形態では、量子化ユニットは、循環シフトされるＨＥＶＣ標準に関連付けられたスケール係数のセットを使用して量子化中に１／２ビットシフトするように構成され得る。
【0347】
少なくとも１つの代表的実施形態では、量子化ユニットは、変換が単一の１次元２Ｎ次変換を使用する時にのみ１／２ビットシフトすることができ、Ｎは、奇数の整数である。
【0348】
少なくとも１つの代表的実施形態では、符号器は、変換サイズおよび／または変換のタイプ（たとえば、とりわけ、垂直、水平、および／または対角線）に従って右ビットシフトの回数（たとえば、総数および／またはステージごとの）を決定するように構成され得る。
【0349】
少なくとも１つの代表的実施形態では、逆変換ユニットは、単一の１次元逆変換を適用することができ、この単一の１次元逆変換は、水平逆変換または垂直逆変換である。
【0350】
少なくとも１つの代表的実施形態では、逆量子化ユニットは、逆量子化された係数の第３のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを調整しもしくは事前定義し、かつ／または逆スケール係数が調整されまたは事前定義されたセットを適用するように構成され得る。
【0351】
少なくとも１つの代表的実施形態では、符号器は、循環シフトされるＨＥＶＣ標準に関連付けられた逆スケール係数のセットを使用して逆量子化中に１／２ビットシフトするように構成され得る。
【0352】
少なくとも１つの代表的実施形態では、ビットシフトは、変換サイズに基づいて、量子化ユニットの中および／もしくは後（たとえば、直後）ならびに／または逆量子化ユニットの中および／もしくは後（たとえば、直後）に分数シフトしまたは１／２ビットシフトすることを含むことができる。
【0353】
少なくとも１つの代表的実施形態では、復号器は、ビデオを処理するように構成され得、ビデオのビデオブロックに関連付けられた符号化され量子化された係数の第１のセットを取得するように構成された送受信ユニット、量子化された係数の第１のセットをエントロピ復号するように構成されたエントロピ復号ユニット、復号された量子化された係数の第１のセットを逆量子化して、逆量子化された係数の第２のセットを生成するように構成された逆量子化ユニット、および／または単一の１次元逆変換を使用して逆量子化された係数の第２のセットを逆変換して、再構成されたビデオブロックを生成するように構成された逆変換ユニットを含むことができ、係数の第１のセットおよび第２のセットのすべては、ビットシフトされ得る。
【0354】
少なくとも１つの代表的実施形態では、逆変換ユニットは、単一の１次元逆変換を適用することができ、この単一の１次元逆変換は、水平逆変換または垂直逆変換である。
【0355】
少なくとも１つの代表的実施形態では、復号器は、それぞれのユニットの１または複数の出力をビットシフトできるように、少なくとも逆変換ユニットおよび／または逆量子化ユニットを含む複数のユニットを含むことができる。
【0356】
少なくとも１つの代表的実施形態では、復号器は、符号器での変換の前のビデオブロックに対する再構成されたビデオブロックの同一のダイナミックレンジを維持するように構成され得る。
【0357】
少なくとも１つの代表的実施形態では、復号器は、複数のユニットの出力のそれぞれのダイナミックレンジを調整するように構成され得る。
【0358】
少なくとも１つの代表的実施形態では、復号器は、１６ビット整数演算によって処理を提供するように構成され得る。
【0359】
少なくとも１つの代表的実施形態では、逆量子化ユニットは、逆量子化された係数の第２のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを調整しもしくは事前定義し、かつ／または逆スケール係数が調整されまたは事前定義されたセットを適用するように構成され得る。
【0360】
少なくとも１つの代表的実施形態では、逆量子化ユニットは、循環シフトされるＨＥＶＣ標準に関連付けられた逆スケール係数のセットを使用して逆量子化するステップの中または直後に１／２ビットシフトすることができる。
【0361】
少なくとも１つの代表的実施形態では、復号器は、変換のサイズに従って、選択的に１／２ビットシフトするように構成され得る。
【0362】
少なくとも１つの代表的実施形態では、復号器は、逆変換が単一の１次元２Ｎ次逆変換を使用する時にのみ１／２ビットシフトするように構成され得、Ｎは、奇数の整数である。
【0363】
少なくとも１つの代表的実施形態では、復号器は、変換サイズおよび／または変換のタイプ（たとえば、とりわけ、垂直、水平、および／または対角線）に従って右ビットシフトの回数（たとえば、総数および／またはステージごとの）を決定するように構成され得る。
【0364】
少なくとも１つの代表的実施形態では、復号器は、変換サイズに基づいて逆量子化ユニットの出力を１／２ビットシフトするように構成され得る。
【0365】
少なくとも１つの代表的実施形態では、復号器は、変換サイズおよび適用される変換のタイプ（たとえば、とりわけ、垂直、水平、および／または対角線）に従って右ビットシフトの回数（たとえば、総数および／またはステージごとの）を決定し、かつ／または決定された右ビットシフトの回数を適用するように構成され得る。
【0366】
少なくとも１つの代表的実施形態では、逆量子化ユニットは、逆量子化された係数の第２のセットを１／２ビット、ビットシフトするように、ＨＥＶＣ標準に従って確立された逆スケール係数のセットを調整しもしくは事前定義し、かつ／または逆スケール係数が調整されまたは事前定義されたセットを選択的に適用するように構成され得る。
【0367】
少なくとも１つの代表的実施形態では、符号器は、変換サイズに基づいて、逆量子化ユニットの出力で１／２ビットシフトを選択的に適用するように構成され得る。
【0368】
少なくとも１つの代表的実施形態では、ステージでビデオブロックに関連付けられたビデオ残差データを処理する方法は、量子化ユニットを介して、ビデオ残差データのすべての変換を除くビデオ残差データを量子化して、ステージのうちの第１のステージの出力結果として量子化されたビデオ残差データを生成するステップ、逆量子化ユニットを介して、ビデオ残差データを逆量子化して、ステージのうちの第２のステージの出力結果として逆量子化されたビデオ残差データを生成するステップ、および／またはステージのうちの１または複数の後に、それぞれのステージの出力結果をビットシフトするステップを含むことができる。
【0369】
少なくとも１つの代表的実施形態では、ステージでビデオを処理する方法は、ビデオのビデオブロックを取得するステップ、変換ユニットを介して、単一の１次元変換を使用してビデオ残差データを変換して、ステージのうちの第１のステージの出力結果としてビデオブロックに関連付けられた係数のセットを生成するステップ、量子化ユニットを介して、変換された係数のセットを量子化して、ステージのうちの第２のステージの出力結果として量子化された係数のセットを生成するステップ、逆量子化ユニットを介して量子化された係数のセットを逆量子化して、ステージのうちの第３のステージの出力結果として逆量子化された変換された係数のセットを生成するステップ、再構成されたビデオデータを生成するために、単一の１次元逆変換を使用して、ステージのうちの第４のステージの出力結果として、逆変換ユニットを介して、逆量子化された変換された係数のセットを逆変換するステップ、および／またはステージのうちの１または複数の後に、出力された係数をビットシフトするステップを含むことができる。
【0370】
少なくとも１つの代表的実施形態では、ビットシフトするステップは、分数ビットシフトするステップを含むことができる。
【0371】
少なくとも１つの代表的実施形態では、量子化するステップは、ビデオブロックの処理で使用される変換の複数の次元の関数として量子化パラメータを選択しもしくは決定するステップ、および／または量子化の出力結果を生成するために量子化パラメータを適用するステップを含むことができる。
【0372】
少なくとも１つの代表的実施形態では、ビデオを処理する方法は、ビデオのビデオブロックを取得するステップと、Ｎの関数として量子化の量子化パラメータを選択しまたは決定するステップであって、Ｎは、ビデオブロックの処理に使用される変換の次元の整数個数である、選択しまたは決定するステップと、量子化ユニットを介して、選択されまたは決定された量子化パラメータを使用して、変換されたまたは変換されていないビデオ残差データを量子化して、量子化されたデータの第１のセットを生成するステップと、逆量子化ユニットを介して、選択されまたは決定された量子化パラメータを使用して、量子化されたデータの第１のセットを逆量子化して、逆量子化されたデータの第２のセットを生成するステップとを含むことができる。
【0373】
少なくとも１つの代表的実施形態では、この方法は、ビデオブロックに関連付けられた係数のセットとして変換されたビデオ残差データを生成するために、変換ユニットを介して、Ｎ次元の変換を使用して、変換されていないビデオ残差データを変換するステップをさらに含むことができる。
【0374】
少なくとも１つの代表的実施形態では、ビデオを処理する方法は、送受信ユニットを介して、ビデオのビデオブロックに関連付けられた符号化され量子化されたデータの第１のセットを取得するステップ、Ｎの関数として量子化の量子化パラメータを選択しもしくは決定するステップであって、Ｎは、ビデオブロックの処理で使用される変換の次元の整数個数である、選択しもしくは決定するステップ、エントロピ復号ユニットを介して、量子化されたデータの第１のセットをエントロピ復号するステップ、および／または逆量子化ユニットを介して、選択されまたは決定された量子化パラメータを使用して、復号された量子化されたデータの第１のセットを逆量子化して、逆量子化されたデータの第２のセットを生成するステップを含むことができる。
【0375】
少なくとも１つの代表的実施形態では、この方法は、逆変換ユニットを介して、Ｎ次元の変換を使用して逆量子化されたデータの第２のセットを逆変換して、再構成されたビデオブロックを生成するステップをさらに含むことができる。
【0376】
少なくとも１つの代表的実施形態では、Ｎは、０、１、および２…とすることができる（たとえば、非負の整数、たとえば、０、１、または２とすることができる）。
【0377】
少なくとも１つの代表的実施形態では、量子化パラメータは、変換が、より多くの次元で使用されることに対してより少ない次元で使用される時に、減らされ得る。
【0378】
少なくとも１つの代表的実施形態では、量子化パラメータは、ビデオ変換の処理に使用される変換の次元の個数が減る時に減る。