知財求人 - 知財ポータルサイト「IP Force」
特許7448602ビデオコーディングのための、サブブロックマージ候補のための個別マージリストと、イントラ－インター技術との調和
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】ビデオコーディングのための、サブブロックマージ候補のための個別マージリストと、イントラ－インター技術との調和
(51)【国際特許分類】
H04N 19/103 20140101AFI20240305BHJP
H04N 19/159 20140101ALI20240305BHJP
H04N 19/176 20140101ALI20240305BHJP
H04N 19/51 20140101ALI20240305BHJP
H04N 19/593 20140101ALI20240305BHJP
H04N 19/70 20140101ALI20240305BHJP
【ＦＩ】
H04N19/103
H04N19/159
H04N19/176
H04N19/51
H04N19/593
H04N19/70
【請求項の数】
16
【外国語出願】
(21)【出願番号】P 2022133707
(22)【出願日】2022-08-25
(62)【分割の表示】P 2021522977の分割
【原出願日】2019-10-25
(65)【公開番号】P2022164747
(43)【公開日】2022-10-27
【審査請求日】2022-09-02
(31)【優先権主張番号】62/751,552
(32)【優先日】2018-10-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェルニャク，ロマン・イゴレヴィチ
(72)【発明者】
【氏名】ソロビヨフ，ティモフェイ・ミハイロヴィチ
(72)【発明者】
【氏名】イコニン，セルゲイ・ユーリエヴィチ
(72)【発明者】
【氏名】カラブトフ，アレクサンドル・アレクサンドロヴィチ
(72)【発明者】
【氏名】チェン，ジェンレェ
【審査官】久保 光宏
(56)【参考文献】
【文献】Man-Shu Chiang, et al.，"CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode"，JVET-L0100 (version 5)，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年10月12日，Pages 1-14，[令和4年7月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4181> and <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0100-v5.zip>.
【文献】Huanbang Chen, et al.，"CE4: Separate list for sub-block merge candidates (Test 4.2.8)"，JVET-L0369 (version 2)，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年10月03日，Pages 1-5，[令和4年7月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4466> and <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0369-v2.zip>.
【文献】Ting Fu, et al.，"Non-CE4: separate merge candidate list for sub-block modes"，JVET-K0364 (version 3)，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年07月16日，Pages 1-5，[令和4年7月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=3882> and <URL: https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0364-v3.zip>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
コーディングブロックについて、ビットストリームで第１制御フラグの値を送信することであり、前記第１制御フラグの値が１に等しいことは、第１技術が使用されるべきであることを示し、前記第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する、ことと、前記第１技術が前記コーディングブロックについて使用されないとの決定に応答して、前記ビットストリームで第２制御フラグの値を送信することであり、前記第２制御フラグの値が１に等しいことは、第２技術が使用されるべきであることを示し、前記第２技術は、イントラ及びインターモードのための多重仮説予測を有し、前記第２制御フラグの値は、前記第１技術が前記コーディングブロックについて使用されない場合かつその場合に限り送信される、ことと
を有する方法。
【請求項2】
前記コーディングブロックがマージモードでコーディングされる場合に、前記第２制御フラグを送信することを更に有する、請求項１に記載の方法。
【請求項3】
前記コーディングブロックがマージモードでコーディングされない場合に、前記第２制御フラグは送信されるべきではないと決定することを更に有する、請求項２に記載の方法。
【請求項4】
前記コーディングブロックがスキップモードでコーディングされる場合に、前記第２制御フラグを送信することを更に有する、請求項１に記載の方法。
【請求項5】
前記コーディングブロックがスキップモードで又はマージモードでコーディングされない場合に、前記第２制御フラグは送信されるべきではないと決定することを更に有する、請求項４に記載の方法。
【請求項6】
コーディングブロックについて、ビットストリームから第１制御フラグの値を受け取ることであり、前記第１制御フラグの値が１に等しいことは、第１技術が使用されるべきであることを示し、前記第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する、ことと、前記第１制御フラグの値が０に等しいとの決定に応答して、前記ビットストリームから第２制御フラグの値を受け取ることであり、前記第２制御フラグの値が１に等しいことは、第２技術が使用されるべきであることを示し、前記第２技術は、イントラ及びインターモードのための多重仮説予測を有し、前記第２制御フラグの値は、前記第１制御フラグが０に等しい場合かつその場合に限り送信される、ことと
を有する方法。
【請求項7】
前記コーディングブロックがマージモードでコーディングされる場合に、前記第２制御フラグを受信することを更に有する、請求項６に記載の方法。
【請求項8】
前記コーディングブロックがマージモードでコーディングされない場合に、前記第２制御フラグは受信されるべきではないと決定することを更に有する、請求項７に記載の方法。
【請求項9】
前記コーディングブロックがスキップモードでコーディングされる場合に、前記第２制御フラグを受信することを更に有する、請求項６に記載の方法。
【請求項10】
前記コーディングブロックがスキップモードで又はマージモードでコーディングされない場合に、前記第２制御フラグは受信されるべきではないと決定することを更に有する、請求項９に記載の方法。
【請求項11】
デコーダであって、少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサへ結合され、前記デコーダに、
コーディングブロックについて、ビットストリームから第１制御フラグの値を受け取ることであり、前記第１制御フラグの値が１に等しいことは、第１技術が使用されるべきであることを示し、前記第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する、ことと、
前記第１制御フラグの値が０に等しいとの決定に応答して、前記ビットストリームから第２制御フラグの値を受け取ることであり、前記第２制御フラグの値が１に等しいことは、第２技術が使用されるべきであることを示し、前記第２技術は、イントラ及びインターモードのための多重仮説予測を有し、前記第２制御フラグの値は、前記第１制御フラグが０に等しい場合かつその場合に限り送信される、ことと
を実行させるよう前記少なくとも１つのプロセッサによって実行されるプログラミング命令を記憶する１つ以上のメモリと
を有するデコーダ。
【請求項12】
前記プログラミング命令は、前記デコーダに更に、前記コーディングブロックがマージモードでコーディングされる場合に、前記第２制御フラグを受信させる
よう前記少なくとも１つのプロセッサによって実行される、
請求項１１に記載のデコーダ。
【請求項13】
前記プログラミング命令は、前記デコーダに更に、前記コーディングブロックがマージモードでコーディングされない場合に、前記第２制御フラグは受信されるべきではないと決定させる
よう前記少なくとも１つのプロセッサによって実行される、
請求項１２に記載のデコーダ。
【請求項14】
前記プログラミング命令は、前記デコーダに更に、前記コーディングブロックがスキップモードでコーディングされる場合に、前記第２制御フラグを受信させる
よう前記少なくとも１つのプロセッサによって実行される、
請求項１１に記載のデコーダ。
【請求項15】
前記プログラミング命令は、前記デコーダに更に、前記コーディングブロックがスキップモードで又はマージモードでコーディングされない場合に、前記第２制御フラグは受信されるべきではないと決定させる
よう前記少なくとも１つのプロセッサによって実行される、
請求項１４に記載のデコーダ。
【請求項16】
ビデオ信号のエンコーディングされたビットストリームを記憶する非一時的な記憶媒体であって、前記エンコーディングされたビットストリームは複数のコーディングブロック及び複数のシンタックス要素を含み、該複数のシンタックス要素は第１制御フラグの値を含み、該第１制御フラグの値が１に等しいことは、第１技術が使用されるべきであることを示し、前記第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有し、
前記第１制御フラグの値が０に等しい場合に、前記複数のシンタックス要素は第２制御フラグの値を含み、該第２制御フラグの値が１に等しいことは、第２技術が使用されるべきであることを示し、前記第２技術は、イントラ及びインターモードのための多重仮説予測を有し、前記第２制御フラグの値は、前記第１制御フラグが０に等しい場合かつその場合に限り前記複数のシンタックス要素に含まれ、
前記複数のシンタックス要素は、
前記エンコーディングされたビットストリームを受信したデコーダが、
各コーディングブロックについて、前記エンコーディングされたビットストリームから前記第１制御フラグをデコーディングし、
前記第１制御フラグが１に等しい値を有する場合には、前記第１技術を使用して、当該コーディングブロックから前記ビデオ信号の対応するビデオブロックを再構成し
前記第１制御フラグが０に等しい値を有する場合には、前記エンコーディングされたビットストリームから前記第２制御フラグを更にデコーディングし、
前記第２制御フラグが１に等しい値を有する場合には、前記第２技術を使用して、当該コーディングブロックから前記ビデオ信号の対応するビデオブロックを再構成する
ために使用される、
非一時的な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願（開示）の実施形態は、ピクチャ処理の分野に概して関係があり、より具体的には、２つの方法の互いとの調和に関係がある。より具体的には、実施形態は、サブブロックマージ候補のための個別マージリストと、イントラ及びインターモード技術のための多重仮説予測との共同利用及びシグナリングの方法を提案する。
【背景技術】
【0002】
ビデオコーディング（ビデオエンコーディング及びデコーディング）は、広範なデジタルビデオアプリケーション、例えば、放送デジタルＴＶ、インターネット及びモバイルネットワーク上でのビデオ伝送、ビデオチャットなどのリアルタイムの会話アプリケーション、ビデオ会議、ＤＶＤ及びブルーレイ・ディスク、ビデオコンテンツ取得及び編集システム、並びにセキュリティアプリケーションのカムコーダ、において使用されている。
【0003】
比較的に短いビデオでさえ表現するために必要なビデオデータの量は相当である可能性があり、これは、バンド幅容量が限られている通信ネットワークにわたってデータがストリーミング又は別なふうに通信されるべきである場合に、困難を引き起こすことがある。よって、ビデオデータは、一般的には、今日的な電気通信ネットワークにわたって通信される前に、圧縮される。メモリ資源は限られていることがあるので、ビデオが記憶デバイスで記憶される場合に、ビデオのサイズも問題であり得る。ビデオ圧縮デバイスは、伝送又は記憶の前にビデオデータをコーディングするために発信元でソフトウェア及び／又はハードウェアをしばしば使用し、それによって、デジタルビデオ画像を表現するために必要なデータの量を低減する。圧縮されたデータは、次いで、ビデオデータをデコーディングするビデオ圧縮解除デバイスによって送り先で受信される。限られたネットワーク資源と、より高いビデオ品質の更に高まる需要とにより、ピクチャ品質を全く又はほとんど犠牲にせずに圧縮比を改善する改善された圧縮及び圧縮解除技術が望ましい。
【発明の概要】
【0004】
本開示は、ビデオをエンコーディング及びデコーディングする装置及び方法を提供する。
【0005】
本発明は、サブブロックマージ候補のための個別マージリストとともにイントラ及びインターモードのための多重仮説予測の利用及びシグナリングを調和させることを目標としている。
【0006】
上記の及び他の目的は、独立請求項の対象によって達成される。更なる実施形態は、従属請求項、明細書、及び図から明らかである。
【0007】
本発明の第１の態様に従って、ビデオデータをビットストリームにエンコーディングする方法が提供される。方法は、第１技術及び／又は第２技術を使用することを有する。第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する。第２技術は、イントラ及びインターモードのための多重仮説予測を有する。方法は、コーディングブロックについて、第１制御フラグをビットストリームにおいて送信することと、第１技術がコーディングブロックについて使用されるかどうかに応じて、第２制御フラグをビットストリームにおいて送信するか又は送信しないこととを有する。第１制御フラグは、第１技術を使用すべきかどうかを示す。第２制御フラグは、第２技術を使用すべきかどうかを示す。
【0008】
本発明の第２の態様に従って、ビットストリームで受信されたビデオデータをデコーディングする方法が提供される。方法は、第１技術及び／又は第２技術を使用することを有する。第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する。第２技術は、イントラ及びインターモードのための多重仮説予測を有する。方法は、コーディングブロックについて、ビットストリームから第１制御フラグを受信することであり、第１制御フラグは、第１技術を使用すべきかどうかを示す、ことと、第１技術がコーディングブロックについて使用されるかどうかに応じて、ビットストリームから第２制御フラグを受信することとを有する。第２制御フラグは、第２技術を使用すべきかどうかを示す。
【0009】
サブブロックマージ候補のための個別マージリストの技術が使用されるか否かの決定があると、イントラ及びインターモードのための多重仮説予測を使用すべきか否かを示す第２制御フラグを条件付きでのみ生成及び送信することは、本発明の特定のアプローチである。他方で、デコーダは、たとえ第２制御フラグが条件付きでしか送信されないとしても、イントラ及びインターモードのための多重仮説予測と、サブブロックマージ候補のための個別マージリストの技術との利用に関して決定する能力がある。
【0010】
第１の態様それ自体に従う方法の可能な実施形態において、第２制御フラグは、第１技術が前記コーディングブロックについて使用されない場合及びその場合に限り、送信される。
【0011】
前述の実施又は第１の態様それ自体に従う方法の可能な実施形態において、第２制御フラグは、コーディングブロックがマージモードでコーディングされる場合に、送信される。第１の態様の前述の実施に従う方法の可能な実施形態において、第２制御フラグは、コーディングブロックがマージモードでコーディングされない場合に、送信されない。第１の態様の前述の実施又は第１の態様それ自体に従う方法の可能な実施形態において、第２制御フラグは、コーディングブロックがスキップモードでコーディングされる場合に、送信される。第１の態様の前述の実施に従う方法の可能な実施形態において、第２制御フラグは、コーディングブロックがスキップモードで又はマージモードでコーディングされない場合に、送信されない。
【0012】
従って、本発明の特定のアプローチに従うシグナリングは、マージモード若しくはスキップモードのどちらか一方で、又はマージ及びスキップの両方のモードで、適用可能である。
【0013】
第２の態様それ自体に従う方法の可能な実施形態において、第１技術が使用されない場合にのみ、第２制御フラグは受信される。
【0014】
従って、デコーダは、受信されたビットストリーム内の第２制御フラグの存在から、個別マージリストの技術が現在のコーディングブロックについて使用されないことを直接に推測し得る。よって、サブブロック候補のための個別マージリストの技術を使用すべきか否かを示す第１制御フラグの評価は、受信されたビットストリームに第２制御フラグが含まれていない場合にしか必要でない。
【0015】
第２の態様の前述の実施又は第２の態様それ自体に従う方法の可能な実施形態において、第２制御フラグは、コーディングブロックがマージモードでコーディングされる場合に、受信される。第２の態様の前述の実施の方法の可能な実施形態において、第２制御フラグは、コーディングブロックがマージモードでコーディングされない場合に、受信されない。第２の態様の前述の実施形態又は第２の態様それ自体に従う方法の可能な実施形態において、第２制御フラグは、コーディングブロックがスキップモードでコーディングされる場合に、受信される。第２の態様の前述の実施形態に従う方法の可能な実施形態に従って、第２制御フラグは、コーディングブロックがスキップモードでコーディングされない場合に、受信されない。
【0016】
特許請求の範囲、明細書及び図で定義されているエンコーディング及びデコーディング方法は夫々、エンコーディング装置及びデコーディング装置によって夫々実行され得る。
【0017】
第３の態様に従って、本発明は、第１の態様それ自体又はその実施形態のいずれかに従う方法を実行する処理回路を有するエンコーダに関する。
【0018】
第４の態様に従って、本発明は、第２の態様それ自体又はその実施形態のいずれかに従う方法を実行する処理回路を有するデコーダに関する。
【0019】
第５の態様に従って、本発明はエンコーダに関する。エンコーダは、１つ以上のプロセッサと、プロセッサへ結合され、プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ可読記憶媒体とを有する。プログラミングは、プロセッサによって実行される場合に、第１の態様それ自体又はその実施形態のいずれかに従う方法を実行するようエンコーダを構成する。
【0020】
第６の態様に従って、本発明はデコーダに関する。デコーダは、１つ以上のプロセッサと、プロセッサへ結合され、プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ可読記憶媒体とを有する。プログラミングは、プロセッサによって実行される場合に、第２の態様それ自体又はその実施形態のいずれかに方法を実行するようデコーダを構成する。
【0021】
第７の態様に従って、本発明は、ビットストリームへのビデオデータのビデオエンコーディングのためのエンコーダであって、第１技術及び／又は第２技術を実行する手段を有するエンコーダに関する。第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する。第２技術は、イントラ及びインターモードのための多重仮説予測を有する。エンコーダは、コーディングブロックについて、第１制御フラグをビットストリームで送信する手段と、第１技術がコーディングブロックについて使用されるかどうかに応じて、第２制御フラグをビットストリームで送信するか又は送信しない手段とを更に有する。第１制御フラグは、第１技術を使用すべきかどうかを示す。第２制御フラグは、第２技術を使用すべきかどうかを示す。
【0022】
第８の態様に従って、本発明は、ビットストリームで受信されたビデオデータのビデオデコーディングのためのデコーダに関する。デコーダは、第１技術及び／又は第２技術を実行する手段を有する。第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する。第２技術は、イントラ及びインターモードのための多重仮説予測を有する。デコーダは、コーディングブロックについて、ビットストリームから第１制御フラグを受信する手段であり、第１制御フラグは、第１技術を使用すべきかどうかを示す、手段と、第１技術がコーディングブロックについて使用されるかどうかに応じて、ビットストリームから第２制御フラグを受信する手段とを更に有する。第２制御フラグは、第２技術を使用すべきかどうかを示す。
【0023】
更なる態様に従って、本発明は、コンピュータデバイスによって実行される場合に、コンピュータデバイスに、第１又は第２の態様に従う方法を実行させるプログラムコードを運ぶ非一時的なコンピュータ可読媒体に関する。
【0024】
第７及び第８の態様に従うエンコーダ及びデコーダの可能な実施形態は、第１及び第２の態様に従う方法の可能な実施形態に対応する。
【0025】
ビデオストリームをエンコーディングするための又はデコーディングするための装置は、プロセッサ及びメモリを含んでよい。メモリは、プロセッサにエンコーディング又はデコーディング方法を実行させる命令を記憶している。
【0026】
ここで開示されているエンコーディング又はデコーディング方法の夫々について、コンピュータ可読記憶媒体が提案され、記憶媒体は、実行される場合に、１つ以上のプロセッサにビデオデータをエンコーディング又はデコーディングさせる命令を記憶している。命令は、１つ以上のプロセッサに、各々のエンコーディング又はデコーディング方法を実行させる。
【0027】
更に、ここで開示されているエンコーディング又はデコーディング方法の夫々について、コンピュータプログラム製品が提案される。コンピュータプログラム製品は、各々の方法を実行するためのプログラムコードを有する。
【0028】
１つ以上の実施形態の詳細は、添付の図面及び以下の記載において説明される。他の特徴、目的、及び利点は、明細書、図面、及び特許請求の範囲から明らかであろう。
【0029】
加えて、本発明は、次の実施形態を更に提供する。
ビデオデータのエンコーディングされたビットストリームは、第１制御フラグと、第１制御フラグに基づいて条件付きで通知される第２制御フラグとを含む複数のシンタックス要素を有し、第１制御フラグは、第１技術が使用されるかどうかを示し、第１技術（Ｓ１０１）は、サブブロックマージ候補のための個別マージリストを使用することを有し、第２制御フラグは、第２技術が使用されるかどうかを示し、第２技術（Ｓ１０３）は、イントラ及びインターモードのための多重仮説予測を有する。
ビデオデコーディングデバイスによってデコーディングされるビットストリームを記憶しているコンピューティング記憶媒体が提供され、ビットストリームは、画像又はビデオ信号の多数のコーディングブロックと、第１制御フラグ及び第１制御フラグに基づいて条件付きで通知される第２制御フラグを含む多数のシンタックス要素とを有し、第１制御フラグは、第１技術が使用されるかどうかを示し、第１技術（Ｓ１０１）は、サブブロックマージ候補のための個別マージリストを使用することを有し、第２制御フラグは、第２技術が使用されるかどうかを示し、第２技術（Ｓ１０３）は、イントラ及びインターモードのための多重仮説予測を有する。
係属中の特許請求の範囲の請求項１乃至６に記載のエンコーディング方法のいずれかを使用することによって生成されたビデオ情報を記憶している非一時的なコンピュータ可読記憶媒体が、提供される。
ビデオデータのエンコーディングされたビットストリームは、第１制御フラグと、第１制御フラグに基づいて条件付きで通知される第２制御フラグとを含む複数のシンタックス要素を有し、第１制御フラグは、第１技術が使用されるかどうかを示し、第１技術（Ｓ１０１）は、サブブロックマージ候補のための個別マージリストを使用することを有し、第２制御フラグは、第２技術が使用されるかどうかを示し、第２技術（Ｓ１０３）は、イントラ及びインターモードのための多重仮説予測を有する。
ビデオデコーディングデバイスによってデコーディングされるビットストリームを記憶しているコンピューティング記憶媒体が提供され、ビットストリームは、画像又はビデオ信号の多数のコーディングブロックと、第１制御フラグ及び第１制御フラグに基づいて条件付きで通知される第２制御フラグを含む多数のシンタックス要素とを有し、第１制御フラグは、第１技術が使用されるかどうかを示し、第１技術（Ｓ１０１）は、サブブロックマージ候補のための個別マージリストを使用することを有し、第２制御フラグは、第２技術が使用されるかどうかを示し、第２技術（Ｓ１０３）は、イントラ及びインターモードのための多重仮説予測を有する。
係属中の特許請求の範囲の請求項１乃至６に記載のエンコーディング方法のいずれかを使用することによって生成されたビデオ情報を記憶している非一時的なコンピュータ可読記憶媒体が、提供される。
【0030】
以下では、本発明の実施形態が、添付の図及び図面を参照して更に詳細に記載される。
【図面の簡単な説明】
【0031】
【図1A】本発明の実施形態を実装するよう構成されたビデオコーディングシステムの例を示すブロック図である。
【図1B】本発明の実施形態を実装するよう構成されたビデオコーディングシステムの他の例を示すブロック図である。
【図2】本発明の実施形態を実装するよう構成されたビデオエンコーダの例を示すブロック図である。
【図3】本発明の実施形態を実装するよう構成されたビデオデコーダの例示的な構造を示すブロック図である。
【図4】エンコーディング装置又はデコーディング装置の例を表すブロック図である。
【図5】エンコーディング装置又はデコーディング装置の他の例を表すブロック図である。
【図6】本発明の実施形態に従う例示的なエンコーディング方法を表すフローチャートである。
【図7】本発明の実施形態に従う例示的なデコーディング方法を表すフローチャートである。
【発明を実施するための形態】
【0032】
以下では、同じ参照符号は、明示的に別段の定めがない場合には、同じ又は少なくとも機能的に同等の特徴を参照する。
【0033】
以下の記載では、本開示の部分を形成し、実例として、本発明の実施形態の具体的な態様、又は本発明の実施形態が使用される可能性がある具体的な態様を示す添付の図が、参照される。本発明の実施形態は、他の態様で使用され、図に表されていない構造的又は論理的な変化を含んでもよい、ことが理解される。従って、以下の詳細な説明は、限定の意味で捉えられるべきではなく、本発明の範囲は、添付の特許請求の範囲によって定義される。
【0034】
例えば、記載されている方法に関連する開示は、方法を実行するよう構成された対応するデバイス又はシステムにも当てはまり、その逆も同様であり得る、ことが理解される。例えば、１つ又は複数の具体的な方法ステップが記載される場合に、対応するデバイスは、記載されている１つ又は複数の方法ステップを実行する１つ又は複数のユニット、例えば、機能ユニット（例えば、１つ又は複数のステップを実行する１つのユニット、あるいは、複数のステップのうちの１つ以上を夫々が実行する複数のユニット）を、たとえそのような１つ以上のユニットが明示的に記載又は図示されていないとしても、含んでよい。他方で、例えば、具体的な装置が１つ又は複数のユニット、例えば、機能ユニットに基づいて記載される場合に、対応する方法は、１つ又は複数のユニットの機能を実行する１つ又は複数のステップ（例えば、１つ又は複数のユニットの機能を実行する１つのステップ、あるいは、複数のユニットのうちの１つ以上の機能を夫々が実行する複数のステップ）を、たとえそのような１つ又は複数のステップが明示的に記載又は図示されていないとしても、含んでよい。更に、ここで記載されている様々な例示的な実施形態及び／又は態様の特徴は、特段の断りのない限りは、互いに組み合わされてよい、ことが理解される。
【0035】
ビデオコーディングは、通常は、ビデオ又はビデオシーケンスを形成するピクチャの連続を処理することを指す。「ピクチャ」との用語の代わりに、「フレーム」又は「画像」との用語が、ビデオコーディングの分野では同義的に使用されることがある。ビデオコーディング（又はコーディング全般）は、２つの部分、すなわち、ビデオエンコーディング及びビデオデコーディングを有する。ビデオエンコーディングは、発信元側で行われ、（より効率的な記憶及び／又は送信のために）ビデオピクチャを表すために必要なデータの量を減らすよう原ビデオピクチャを（例えば、圧縮によって）処理することを通常は有する。ビデオデコーディングは、送り先側で行われ、ビデオピクチャを再構成するようエンコーダと比較して逆の処理を通常は有する。ビデオピクチャ（又はピクチャ全般）の“コーディング”に言及している実施形態は、ビデオピクチャ又は各々のビデオシーケンスの“エンコーディング”又は“デコーディング”に関係があると理解されるべきである。エンコーディング部分及びデコーディング部分の組み合わせは、ＣＯＤＥＣ（Coding and Decoding）とも呼ばれる。
【0036】
可逆ビデオコーディングの場合に、原ビデオピクチャは再構成可能である。すなわち、再構成されたビデオピクチャは、（記憶又は伝送中に伝送損失又は他のデータ損失がないとして）原ビデオピクチャと同じ品質を有する。不可逆ビデオコーディングの場合に、例えば、量子化による、更なる圧縮が、ビデオピクチャを表すデータの量を低減するために実行され、ビデオピクチャは、デコーダで完全には再構成され得ない。すなわち、再構成されたビデオピクチャの品質は、原ビデオピクチャの品質と比較して低下又は悪化する。
【0037】
いくつかのビデオコーディング標準規格は、“不可逆ハイブリッドビデオコーデック”のグループに属する（すなわち、サンプル領域での空間及び時間予測と、変換領域で量子化を適用する２Ｄ変換コーディングとを組み合わせる）。ビデオシーケンスの各ピクチャは、通常、重なり合わないブロックの組に分割され、コーディングは、通常はブロックレベルで実行される。すなわち、エンコーダでは、ビデオは、例えば、空間（イントラピクチャ）予測及び／又は時間（インターピクチャ）予測を使用して予測ブロックを生成し、現在のブロック（現在処理中の／処理されるべきブロック）から予測ブロックを減じて残差ブロックを取得し、残差ブロックを変換し、変換領域で残差ブロックを量子化して、送信されるべきデータの量を低減すること（圧縮）によって、通常はブロック（ビデオブロック）レベルで処理、すなわち、エンコーディングされ、一方、デコーダでは、エンコーダと比較して逆の処理が、表示のために現在のブロックを再構成するよう、エンコーディング又は圧縮されたブロックに適用される。更に、エンコーダは、デコーダ処理ループを複製し、それにより、両方が、その後のブロックを処理、すなわち、コーディングするために、同じ予測（例えば、イントラ及びインター予測）及び／又は再構成を生成することになる。
【0038】
以下では、ビデオコーディングシステム１０、ビデオエンコーダ２０、及びビデオデコーダ３０の実施形態が、図１から３に基づいて説明される。
【0039】
図１Ａは、例となるコーディングシステム１０、例えば、本願の技術を利用し得るビデオコーディングシステム１０（略して、コーディングシステム１０）を表す概略ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（略して、エンコーダ２０）及びビデオデコーダ３０（略して、デコーダ３０）は、本願で記載されている様々な例に従う技術を実行するよう構成され得るデバイスの例を表す。
【0040】
図１Ａに示されるように、コーディングシステム１０は、エンコーディングされたピクチャデータ２１を、例えば、エンコーディングされたピクチャデータ２１をデコーディングする送り先デバイス１４へ供給するよう構成された発信元デバイス１２を有する。
【0041】
発信元デバイス１２は、エンコーダ２０を有し、更には、すなわち、任意に、ピクチャソース１６、プリプロセッサ（又は前処理ユニット）１８、例えば、ピクチャプリプロセッサ１８、及び通信インターフェース又は通信ユニット２２を有してよい。
【0042】
ピクチャソース１６は、あらゆる種類のピクチャ捕捉デバイス、例えば、現実世界のピクチャを捕捉するカメラ、及び／又はあらゆる種類のピクチャ生成デバイス、例えば、コンピュータアニメーション化されたピクチャを生成するコンピュータグラフィクスプロセッサ、あるいは、現実世界のピクチャ、コンピュータにより生成されたピクチャ（例えば、スクリーンコンテンツ、仮想現実（ＶＲ）ピクチャ）及び／又はそれらのあらゆる組み合わせ（例えば、拡張現実（ＡＲ）ピクチャ）を取得及び／又は供給するあらゆる種類の他のデバイスを有するか、又はそのようなものであってよい。ピクチャソースは、上記のピクチャのいずれかを記憶するあらゆる種類のメモリ又はストレージであってよい。
【0043】
プリプロセッサ１８及び前処理ユニット１８によって実行される処理と区別して、ピクチャ又はピクチャデータ１７は、ローピクチャ又はローピクチャデータ１７とも呼ばれ得る。
【0044】
プリプロセッサ１８は、（ロー）ピクチャデータ１７を受け取り、そして、前処理されたピクチャ１９又は前処理されたピクチャデータ１９を取得するようピクチャデータ１７に対して前処理を実行するよう構成される。プリプロセッサ１８によって実行される前処理は、例えば、トリミング、色フォーマット変換（例えば、ＲＧＢからＹＣｂＣｒへ）、色補正、又はノイズ除去を有してよい。前処理ユニット１８は任意のコンポーネントであってよい、ことが理解され得る。
【0045】
ビデオエンコーダ２０は、前処理されたピクチャデータ１９を受け取り、エンコーディングされたピクチャデータ２１を供給するよう構成される（更なる詳細は、例えば、図２に基づいて、以下で説明される）。
【0046】
発信元デバイス１２の通信インターフェース２２は、エンコーディングされたピクチャデータ２１を受け取り、エンコーディングされたピクチャデータ２１（又はそのあらゆる更に処理されたバージョン）を他のデバイス、例えば、送り先デバイス１４又は何らかの他のデバイスへ、記憶又は直接の再構成のために通信チャネル１３を介して送信するよう構成されてよい。
【0047】
送り先デバイス１４は、デコーダ３０（例えば、ビデオデコーダ３０）を有し、更には、すなわち、任意に、通信インターフェース又は通信ユニット２８、ポストプロセッサ３２（又は後処理ユニット３２）、及び表示デバイス３４を有してよい。
【0048】
送り先デバイス１４の通信インターフェース２８は、エンコーディングされたピクチャデータ２１（又はそのあらゆる更に処理されたバージョン）を、例えば、発信元デバイス１２から直接に、又は何らかの他のソース、例えば、記憶デバイス、例えば、エンコーディングピクチャデータ記憶デバイスから受信し、エンコーディングされたピクチャデータ２１をデコーダ３０へ供給するよう構成される。
【0049】
通信インターフェース２２及び通信インターフェース２８は、発信元デバイス１２と送り先デバイス１４との間の直接通信リンク、例えば、直接の有線又は無線接続を介して、あるいは、あらゆる種類のネットワーク、例えば、有線若しくは無線ネットワーク又はそれらの任意の組み合わせ、又はあらゆる種類のプライベート及びパブリックネットワーク、あるいは、あらゆる種類のそれらの組み合わせを介して、エンコーディングされたピクチャデータ２１又はエンコーディングされたデータ１３を送信又は受信するよう構成されてよい。
【0050】
通信インターフェース２２は、例えば、エンコーディングされたピクチャデータ２１を適切なフォーマット、例えば、パケット、にパッケージ化し、且つ／あるいは、通信リンク又は通信ネットワーク上での送信のためのあらゆる種類の伝送エンコーディング又は処理を用いて、エンコーディングされたピクチャデータを処理するよう構成されてよい。
【0051】
通信インターフェース２２の対応物を形成する通信インターフェース２８は、例えば、伝送されたデータを受信し、エンコーディングされたピクチャデータ２１を取得するようあらゆる種類の対応する伝送デコーディング若しくは処理及び／又はアンパッケージ化を用いて伝送データを処理するよう構成されてよい。
【0052】
通信インターフェース２２及び通信インターフェース２８は両方とも、図１Ａで発信元デバイス１２から送り先デバイス１４を指している通信チャネル１３のための矢印によって示される一方向通信インターフェース、又は双方向通信インターフェースとして構成されてよく、例えば、メッセージを送信及び受信するよう、例えば、接続をセットアップするよう、通信リンク及び／又はデータ伝送、例えば、エンコーディングされたピクチャデータ伝送に関するあらゆる他の情報を確認応答及び交換するよう構成されてよい。
【0053】
デコーダ３０は、エンコーディングされたピクチャデータ２１を受信し、デコーディングされたピクチャデータ３１又はデコーディングされたピクチャ３１を供給するよう構成される（更なる詳細は、例えば、図３又は図５に基づいて、以下で説明される）。
【0054】
送り先デバイス１４のポストプロセッサ３２は、後処理されたピクチャデータ３３、例えば、後処理されたピクチャ３３を取得するために、デコーディングされたピクチャデータ３１（再構成されたピクチャデータとも呼ばれる）、例えば、デコーディングされたピクチャ３１を後処理するよう構成される。後処理ユニット３２によって実行される後処理は、例えば、色フォーマット変換（例えば、ＹＣｂＣｒからＲＧＢへ）、色補正、トリミング、若しくはリサンプリング、又は例えば、デコーディングされたピクチャデータ３１を、例えば、表示デバイス３４による、表示のために準備する、あらゆる他の処理を有してよい。
【0055】
送り先デバイス１４の表示デバイス３４は、ピクチャを、例えば、ユーザ又は見る者に表示するために、後処理されたピクチャデータ３３を受信するよう構成される。表示デバイス３４は、再構成されたピクチャを表現するあらゆる種類のディスプレイ、例えば、内蔵型又は外付けディスプレイ又はモニタであっても又はそれを有してもよい。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、エルコス（ＬＣｏＳ）、デジタル・ライト・プロセッサ（ＤＬＰ）、又はあらゆる種類の他のディスプレイを有してよい。
【0056】
図１Ａは、発信元デバイス１２及び送りデバイス１４を別個のデバイスとして表すが、デバイスの実施形態は、両方又は両方の機能、すなわち、発信元デバイス１２又は対応する機能及び送り先デバイス１４又は対応する機能を有してもよい。そのような実施形態で、発信元デバイス１２又は対応する機能及び送り先デバイス１４又は対応する機能は、同じハードウェア及び／又はソフトウェアを用いて、あるいは、別個のハードウェア及び／又はソフトウェア、又はそれらのあらゆる組み合わせによって、実施されてもよい。
【0057】
記載に基づいて当業者に明らかなように、異なるユニットの機能、あるいは、図１Ａに示されている発信元デバイス１２及び／又は送り先デバイス１４内の機能の存在及び（厳密な）分割は、実際のデバイス及び用途に応じて様々であり得る。
【0058】
エンコーダ２０（例えば、ビデオエンコーダ２０）若しくはデコーダ３０（例えば、ビデオデコーダ）又はエンコーダ２０及びデコーダ３０の両方は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリートロジック、ハードウェア、それらのビデオコーディング専用の又は任意の組み合わせなどの、図１Ｂに示される処理回路を用いて実施されてよい。エンコーダ２０は、図２のエンコーダ２０及び／又はここで記載されるあらゆる他のエンコーダシステム若しくはサブシステムに関して論じられている様々なモジュールを具現するために処理回路４６を用いて実施されてよい。デコーダ３０は、図３のデコーダ３０及び／又はここで記載されるあらゆる他のデコーダシステム若しくはサブシステムに関して論じられている様々なモジュールを具現するために処理回路４６を用いて実施されてよい。処理回路は、後に論じられる様々な動作を実行するよう構成されてよい。図５に示されるように、技術が部分的にソフトウェアで実施される場合に、デバイスは、適切な、非一時的なコンピュータ可読記憶媒体においてソフトウェアのための命令を記憶してよく、本開示の技術を実行するために１つ以上のプロセッサを用いてハードウェアで命令を実行してよい。ビデオエンコーダ２０及びビデオデコーダ３０のどちらかは、例えば、図１Ｂに示されるように、単一のデバイスにおいて複合エンコーダ／デコーダ（ＣＯＤＥＣ）の部分として組み込まれてもよい。
【0059】
発信元デバイス１２及び送り先デバイス１４は、あらゆる種類の携帯型又は固定型デバイス、例えば、ノートブック又はラップトップコンピュータ、携帯電話機、スマートフォン、タブレット又はタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ受像機、表示デバイス、デジタルメディアプレイヤー、ビデオゲーム機、ビデオストリーミングデバイス（例えば、コンテンツサービスサーバ若しくはコンテンツ配信サーバ）、放送受信器デバイス、放送送信器デバイス、などを含む広範囲のデバイスのいずれかを有してよく、任意の種類のオペレーティングシステムを使用してもしなくてもよい。いくつかの場合に、発信元デバイス１２及び送り先デバイス１４は、無線通信のために装備されてよい。よって、発信元デバイス１２及び送り先デバイス１４は、無線通信デバイスであってよい。
【0060】
いくつかの場合に、図１Ａに表されているビデオコーディングシステム１０は、一例にすぎず、本願の技術は、エンコーディング及びデコーディングデバイス間の如何なるデータ通信も必ずしも含まないビデオコーディング設定（例えば、ビデオエンコーディング又はビデオデコーディング）に適用されてよい。他の例では、データは、ローカルメモリから取り出され、又はネットワーク上でストリーミングされる、などする。ビデオエンコーディングデバイスは、データをエンコーディングしてメモリに格納してよく、かつ／あるいは、ビデオデコーディングデバイスは、メモリからデータを取り出してデコーディングしてよい。いくつかの例で、エンコーディング及びデコーディングは、互いと通信せず、単にデータをエンコーディングしてメモリに格納し及び／又はメモリからデータを読み出してデコーディングするデバイスによって実行される。
【0061】
記載の便宜上、本発明の実施形態は、例えば、High-Efficiency Video Coding（ＨＥＶＣ）を又はＩＴＵ－ＴのVideo Coding Experts Group（ＶＣＥＧ）及びＩＳＯ／ＩＥＣのMotion Picture Experts Group（ＭＰＥＧ）のJoint Collaboration Team on Video Coding（ＪＣＴ－ＶＣ）によって開発された次世代ビデオコーディング標準規格であるVersatile Video coding（ＶＶＣ）の参照ソフトウェアを参照して、ここで説明される、当業者は、本発明の実施形態がＨＥＶＣ又はＶＶＣに限定されないと理解するだろう。
【0062】
エンコーダ及びエンコーディング方法
図２は、本願の技術を実装するよう構成される、例となるビデオエンコーダ２０の概略ブロック図を示す。図２の例では、ビデオエンコーダ２０は、入力部２０１（又は入力インターフェース２０１）、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタユニット２２０、デコーディングピクチャバッファ（ＤＰＢ）２３０、モード選択ユニット２６０、エントロピエンコーディングユニット２７０、及び出力部２７２（又は出力インターフェース２７２）を有する。モード選択ユニット２６０は、インター予測ユニット２４４、イントラ予測ユニット２５４、及びパーティショニングユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示せず）を含んでよい。図２に示されているビデオエンコーダ２０は、ハイブリッドビデオエンコーダ、又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれ得る。
図２は、本願の技術を実装するよう構成される、例となるビデオエンコーダ２０の概略ブロック図を示す。図２の例では、ビデオエンコーダ２０は、入力部２０１（又は入力インターフェース２０１）、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタユニット２２０、デコーディングピクチャバッファ（ＤＰＢ）２３０、モード選択ユニット２６０、エントロピエンコーディングユニット２７０、及び出力部２７２（又は出力インターフェース２７２）を有する。モード選択ユニット２６０は、インター予測ユニット２４４、イントラ予測ユニット２５４、及びパーティショニングユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示せず）を含んでよい。図２に示されているビデオエンコーダ２０は、ハイブリッドビデオエンコーダ、又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれ得る。
【0063】
残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、モード選択ユニット２６０は、エンコーダ２０の順方向の信号パスを形成すると言われることがあり、一方、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、デコーディングピクチャバッファ（ＤＰＢ）２３０、インター予測ユニット２４４、及びイントラ予測ユニット２５４は、ビデオエンコーダ２０の逆方向の信号パスを形成すると言われることがあり、ビデオエンコーダ２０の逆方向の信号パスは、デコーダ（図３のビデオデコーダ３０を参照）の信号パスに対応する。逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、デコーディングピクチャバッファ（ＤＰＢ）２３０、インター予測ユニット２４４、及びイントラ予測ユニット２５４は、ビデオエンコーダ２０の“ビルトインデコーダ”を形成するとも言われる。
【0064】
ピクチャ及びピクチャパーティショニング（ピクチャ及びブロック）
エンコーダ２０は、例えば、入力部２０２を介して、ピクチャ１７（又はピクチャデータ１７）、例えば、ビデオ又はビデオシーケンスを形成するピクチャの連続の中のピクチャ、を受け取るよう構成されてよい。受け取られたピクチャ又はピクチャデータは、前処理されたピクチャ１９（又は前処理されたピクチャデータ１９）であってもよい。簡単のために、以下の説明はピクチャ１７に言及する。ピクチャ１７は、現在のピクチャ又はコーディングされるべきピクチャとも呼ばれ得る（特に、ビデオコーディングにおいて、現在のピクチャを他のピクチャ、例えば、同じビデオシーケンス、すなわち、現在のピクチャも含むビデオシーケンスの、前にエンコーディング及び／又はデコーディングされたピクチャと区別するため）。
エンコーダ２０は、例えば、入力部２０２を介して、ピクチャ１７（又はピクチャデータ１７）、例えば、ビデオ又はビデオシーケンスを形成するピクチャの連続の中のピクチャ、を受け取るよう構成されてよい。受け取られたピクチャ又はピクチャデータは、前処理されたピクチャ１９（又は前処理されたピクチャデータ１９）であってもよい。簡単のために、以下の説明はピクチャ１７に言及する。ピクチャ１７は、現在のピクチャ又はコーディングされるべきピクチャとも呼ばれ得る（特に、ビデオコーディングにおいて、現在のピクチャを他のピクチャ、例えば、同じビデオシーケンス、すなわち、現在のピクチャも含むビデオシーケンスの、前にエンコーディング及び／又はデコーディングされたピクチャと区別するため）。
【0065】
（デジタル）ピクチャは、強度値を有するサンプルの２次元アレイ又はマトリクスであるか、又はそのようなものと見なされ得る。アレイ内のサンプルは、ピクセル（ピクチャ素子の省略形）又はペルとも呼ばれ得る。アレイ又はピクチャの水平及び垂直方向（又は軸）におけるサンプルの数は、ピクチャのサイズ及び／又は解像度を定義する。色の表現のために、通常は３つの色成分が用いられる。すなわち、ピクチャは、３つのサンプルアレイを表現されるか、又は含んでよい。ＲＢＧフォーマット又は色空間において、ピクチャは、対応する赤、緑、及び青のサンプルアレイを有する。しかし、ビデオコーディングでは、各ピクセルは、通常は、ルミナンス及びクロミナンスフォーマット又は色空間、例えば、Ｙ（時々Ｌも代わりに使用される）によって示されるルミナンス成分と、Ｃｂ及びＣｒによって示される２つのクロミナンス成分とを有するＹＣｂＣｒにおいて表現される。ルミナンス（又は略してルーマ）成分Ｙは、明るさ又はグレーレベル強度（例えば、グレースケールピクチャでのように）を表し、一方、２つのクロミナンス（又は略してクロマ）成分Ｃｂ及びＣｒは、色度又は色情報成分を表す。従って、ＹＣｂＣｒフォーマットでのピクチャは、ルミナンスサンプル値（Ｙ）のルミナンスサンプルアレイと、クロミナンス値（Ｃｂ及びＣｒ）の２つのクロミナンスサンプルアレイとを有する。ＲＧＢフォーマットでのピクチャは、ＹＣｂＣｒフォーマットに変換又は転換されてよく、その逆も同様であり、プロセスは、色転換又は変換としても知られている。ピクチャがモノクロである場合には、ピクチャは、ルミナンスサンプルアレイしか有さなくてよい。従って、ピクチャは、例えば、モノクロフォーマットでのルーマサンプルのアレイ、又は４：２：０、４：２：２、及び４：４：４カラーフォーマットでのルーマサンプルのアレイ及びクロマサンプルの２つの対応するアレイであってよい。
【0066】
ビデオエンコーダ２０の実施形態は、ピクチャ１７を複数の（通常は重なり合わない）ピクチャブロック２０３に分割するよう構成されたピクチャパーティショニングユニット（図２に図示せず）を有してよい。これらのブロックは、ルートブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）又はコーディングツリーブロック（ＣＴＢ）若しくはコーディングツリーユニット（ＣＴＵ）（Ｈ．２６５／ＨＥＶＣ及びＶＶＣ）とも呼ばれ得る。ピクチャパーティショニングユニットは、ビデオシーケンスの全てのピクチャのための同じブロックサイズ及びブロックサイズを定義する対応するグリッドを使用するよう、あるいは、ピクチャ又はピクチャのサブセット若しくはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに分割するよう構成されてよい。
【0067】
更なる実施形態では、ビデオエンコーダは、ピクチャ１７のブロック２０３、例えば、ピクチャ１７を形成する１つ、いくつか、又は全てのブロックを直接に受け取るよう構成されてもよい。ピクチャブロック２０３は、現在のピクチャブロック又はコーディングされるべきピクチャとも呼ばれ得る。
【0068】
ピクチャ１７のように、ピクチャブロック２０３はやはり、ピクチャ１７よりも小さい寸法ではあるが、強度値（サンプル値）を有するサンプルの２次元アレイ又はマトリクスであるか、又はそのようなものと見なされ得る。すなわち、ブロック２０３は、例えば、１つのサンプルアレイ（例えば、モノクロピクチャ１７の場合には、ルーマアレイ、又はカラーピクチャの場合には、ルーマ若しくはクロマアレイ）、又は３つのサンプルアレイ（例えば、カラーピクチャ１７の場合に、ルーマ及び２つのクロマアレイ）、あるいは、適用されるカラーフォーマットに応じたあらゆる他の数及び／又は種類のアレイを有してよい。ブロック２０３の水平及び垂直方向（又は軸）におけるサンプルの数は、ブロック２０３のサイズを定義する。従って、ブロックは、例えば、サンプルのＭ×Ｎ（Ｎ行Ｍ列）アレイ、又は変換係数のＭ×Ｎアレイであってよい。
【0069】
図２に示されるビデオエンコーダ２０の実施形態は、ブロックごとにピクチャ１７をエンコーディングするよう構成されてよく、例えば、エンコーディング及び予測は、ブロック２０３ごとに実行される。
【0070】
残差計算
残差計算ユニット２０４は、ピクチャブロック２０３及び予測ブロック２６５（予測ブロック２６５に関する更なる詳細は後述される）に基づいて、例えば、サンプル領域で残差ブロック２０５を取得するようサンプルごとに（ピクセルごとに）ピクチャブロック２０３のサンプル値から予測ブロック２６５のサンプル値を減じることによって、残差ブロック２０５（残差２０５とも呼ばれる）を計算するよう構成されてよい。
残差計算ユニット２０４は、ピクチャブロック２０３及び予測ブロック２６５（予測ブロック２６５に関する更なる詳細は後述される）に基づいて、例えば、サンプル領域で残差ブロック２０５を取得するようサンプルごとに（ピクセルごとに）ピクチャブロック２０３のサンプル値から予測ブロック２６５のサンプル値を減じることによって、残差ブロック２０５（残差２０５とも呼ばれる）を計算するよう構成されてよい。
【0071】
変換
変換処理ユニット２０６は、変換領域で変換係数２０７を取得するために残差ブロック２０５のサンプル値に対して変換、例えば、離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）を適用するよう構成されてよい。変換係数２０７は、変換残差係数とも呼ばれ、変換領域での残差ブロック２０５を表し得る。
変換処理ユニット２０６は、変換領域で変換係数２０７を取得するために残差ブロック２０５のサンプル値に対して変換、例えば、離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）を適用するよう構成されてよい。変換係数２０７は、変換残差係数とも呼ばれ、変換領域での残差ブロック２０５を表し得る。
【0072】
変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣについて定められた変換などのＤＣＴ／ＤＳＴの整数近似を適用するよう構成されてよい。直交ＤＣＴ変換と比較して、このような整数近似は、通常は、特定の係数によってスケーリングされる。順方向及び逆方向の変換によって処理される残差ブロックのノルムを保つために、追加のスケーリング係数が変換プロセスの部分として適用される。スケーリング係数は、通常は、シフト演算のための２のべき乗、変換係数のビットデプス、精度と実施コストとの間のトレードオフ、などであるスケーリング係数のような特定の制約に基づいて、選択される。例えば、具体的なスケーリング係数は、例えば、逆変換処理ユニット２１２（及び、例えば、ビデオデコーダ３０での逆変換処理ユニット３１２による、対応する逆変換）による、逆変換のために定められ、エンコーダ２０での、例えば、変換処理ユニット２０６による、順方向の変換のための対応するスケーリング係数は、それに応じて定められ得る。
【0073】
ビデオエンコーダ２０（個々に、変換処理ユニット２０６）の実施形態は、例えば、ビデオデコーダ３０が変換パラメータを受け取ってデコーディングのために使用し得るように、例えば、直接に、又はエントロピエンコーディングユニット２７０によりエンコーディング若しくは圧縮された、変換パラメータ、例えば、変換又は複数の変換のタイプを出力するよう構成されてよい。
【0074】
量子化
量子化ユニット２０８は、例えば、スカラー量子化又はベクトル量子化を適用することによって、量子化された係数２０９を取得するように変換係数２０７を量子化するよう構成されてよい。量子化された係数２０９は、量子化された変換係数２０９又は量子化された残差係数２０９とも呼ばれ得る。
量子化ユニット２０８は、例えば、スカラー量子化又はベクトル量子化を適用することによって、量子化された係数２０９を取得するように変換係数２０７を量子化するよう構成されてよい。量子化された係数２０９は、量子化された変換係数２０９又は量子化された残差係数２０９とも呼ばれ得る。
【0075】
量子化プロセスは、変換係数２０７の一部又は全てと関連付けられたビットデプスを低減し得る。例えば、ｎビット変換係数は、量子化中にｍビット変換係数にラウンドダウンされてよく、このとき、ｎはｍよりも大きい。量子化の程度は、量子化パラメータ（ＱＰ）を調整することによって変更されてよい。例えば、スカラー量子化については、より細かい又はより粗い量子化を達成するために、異なるスケーリングが適用されてよい。より小さい量子化ステップサイズは、より細かい量子化に対応し、一方、より大きい量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ（ＱＰ）によって示され得る。量子化パラメータは、例えば、適用可能な量子化ステップサイズの予め定義された組へのインデックスであってよい。例えば、小さい量子化パラメータは、細かい量子化（小さい量子化ステップサイズ）に対応してよく、大きい量子化パラメータは、粗い量子化（大きい量子化ステップサイズ）に対応してよく、あるいは、その逆も同様である。量子化は、量子化ステップサイズによる除算を含んでよく、例えば、逆量子化ユニット２１０による、対応する及び／又は逆の逆量子化は、量子化ステップサイズによる乗算を含んでよい。いくつかの標準規格、例えば、ＨＥＶＣ、に従う実施形態は、量子化ステップサイズを決定するために量子化パラメータを使用するよう構成されてよい。一般に、量子化ステップサイズは、除算を含む式の固定点近似を用いて量子化パラメータに基づき計算され得る。追加のスケーリング係数は、量子化ステップサイズ及び量子化パラメータについての式の固定点近似で使用されるスケーリングのために変更される可能性がある残差ブロックのノルムを回復させるよう量子化及び逆量子化のために導入されてよい。１つの例となる実施では、逆変換及び逆量子化のスケーリングは組み合わされてよい。代替的に、カスタマイズされた量子化テーブルが使用され、エンコーダからデコーダへ、例えば、ビットストリームにおいて、伝えられてもよい。量子化は、不可逆演算であり、損失は、量子化ステップサイズの増大とともに増大する。
【0076】
ビデオエンコーダ２０の実施形態（個々に、量子化ユニット２０８）は、例えば、ビデオデコーダ３０が量子化パラメータを受け取ってデコーディングのために適用し得るように、例えば、直接に、又はエントロピエンコーディングユニット２７０によりエンコーディングされた、量子化パラメータ（ＱＰ）を出力するよう構成されてよい。
【0077】
逆量子化
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づいて又はそれを用いて、量子化ユニット２０８によって適用された量子化スキームの逆を適用することによって、逆量子化された係数２１１を取得するために、量子化された係数に対して量子化ユニット２０８の逆の量子化を適用するよう構成される。逆量子化された係数２１１は、逆量子化された残差係数２１１とも呼ばれ、通常は量子化による損失により変換係数と同じでないが、変換係数２０７に対応し得る。
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づいて又はそれを用いて、量子化ユニット２０８によって適用された量子化スキームの逆を適用することによって、逆量子化された係数２１１を取得するために、量子化された係数に対して量子化ユニット２０８の逆の量子化を適用するよう構成される。逆量子化された係数２１１は、逆量子化された残差係数２１１とも呼ばれ、通常は量子化による損失により変換係数と同じでないが、変換係数２０７に対応し得る。
【0078】
逆変換
逆変換処理ユニット２１２は、再構成された残差ブロック２１３（又は対応する逆量子化された係数２１３）をサンプル領域で取得するために、変換処理ユニット２０６によって適用された変換の逆変換、例えば、逆離散コサイン変換（ＤＣＴ）若しくは逆離散サイン変換（ＤＳＴ）又は他の逆変換を適用するよう構成されてよい。再構成された残差ブロック２１３は、変換ブロック２１３とも呼ばれ得る。
逆変換処理ユニット２１２は、再構成された残差ブロック２１３（又は対応する逆量子化された係数２１３）をサンプル領域で取得するために、変換処理ユニット２０６によって適用された変換の逆変換、例えば、逆離散コサイン変換（ＤＣＴ）若しくは逆離散サイン変換（ＤＳＴ）又は他の逆変換を適用するよう構成されてよい。再構成された残差ブロック２１３は、変換ブロック２１３とも呼ばれ得る。
【0079】
再構成
再構成ユニット２１４（例えば、加算器又は合算器２１４）は、例えば、再構成された残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とをサンプルごとに足すことによって、再構成されたブロック２１５をサンプル領域で取得するために変換ブロック２１３（すなわち、再構成された残差ブロック２１３）を予測ブロック２６５に加えるよう構成される。
再構成ユニット２１４（例えば、加算器又は合算器２１４）は、例えば、再構成された残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とをサンプルごとに足すことによって、再構成されたブロック２１５をサンプル領域で取得するために変換ブロック２１３（すなわち、再構成された残差ブロック２１３）を予測ブロック２６５に加えるよう構成される。
【0080】
フィルタリング
ループフィルタユニット２２０（略して「ループフィルタ」２２０）は、再構成されたブロック２１５にフィルタをかけてフィルタ処理されたブロック２２１を取得するよう、又は一般的に、再構成されたサンプルにフィルタをかけてフィルタ処理されたサンプルを取得するよう構成される。ループフィルタユニットは、例えば、ピクセル遷移を滑らかにするよう、あるいは、別なふうにビデオ品質を改善するよう構成される。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ又は１つ以上の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、先鋭化、平滑化フィルタ若しくは協調フィルタ、又はそれらの任意の組み合わせなどの１つ以上のループフィルタを有してよい。ループフィルタユニット２２０はインループフィルタであるものとして図２では示されているが、他の構成では、ループフィルタユニット２２０はポストループフィルタとして実装されてもよい。フィルタ処理されたブロック２２１は、フィルタ処理された再構成されたブロック２２１とも呼ばれ得る。
ループフィルタユニット２２０（略して「ループフィルタ」２２０）は、再構成されたブロック２１５にフィルタをかけてフィルタ処理されたブロック２２１を取得するよう、又は一般的に、再構成されたサンプルにフィルタをかけてフィルタ処理されたサンプルを取得するよう構成される。ループフィルタユニットは、例えば、ピクセル遷移を滑らかにするよう、あるいは、別なふうにビデオ品質を改善するよう構成される。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ又は１つ以上の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、先鋭化、平滑化フィルタ若しくは協調フィルタ、又はそれらの任意の組み合わせなどの１つ以上のループフィルタを有してよい。ループフィルタユニット２２０はインループフィルタであるものとして図２では示されているが、他の構成では、ループフィルタユニット２２０はポストループフィルタとして実装されてもよい。フィルタ処理されたブロック２２１は、フィルタ処理された再構成されたブロック２２１とも呼ばれ得る。
【0081】
ビデオエンコーダ２０（個々に、ループフィルタユニット２２０）の実施形態は、例えば、デコーダ３０が同じループフィルタパラメータ又は各々のループフィルタを受け取ってデコーディングのために適用し得るように、例えば、直接に、又はエントロピエンコーディングユニット２７０によりエンコーディングされた、ループフィルタパラメータ（例えば、サンプル適応オフセット情報）を出力するよう構成されてよい。
【0082】
デコーディングピクチャバッファ
デコーディングピクチャバッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によってビデオデータをエンコーディングするための参照ピクチャ、又は一般的に、参照ピクチャデータを記憶するメモリであってよい。ＤＰＢ２３０は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含む動的ランダム・アクセス・メモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスなどの様々なメモリデバイスのいずれかによって形成されてよい。デコーディングピクチャバッファ（ＤＰＢ）２３０は、１つ以上のフィルタ処理されたブロック２２１を記憶するよう構成されてよい。デコーディングピクチャバッファ２３０は、同じ現在のピクチャの、又は異なるピクチャ、例えば、前に再構成されたピクチャの他の前にフィルタ処理されたブロック、例えば、前に再構成されフィルタ処理されたブロック２２１を記憶するよう更に構成されてよく、例えば、インター予測のために、完全な、前に再構成された、すなわち、デコーディングされたピクチャ（並びに対応する参照ブロック及びサンプル）及び／又は部分的に再構成された現在のピクチャ（並びに対応する参照ブロック及びサンプル）を提供してよい。デコーディングピクチャバッファ（ＤＰＢ）２３０はまた、例えば、再構成されたブロック２１５がループフィルタユニット２２０によってフィルタをかけられていない場合に、１つ以上のフィルタ処理されていない再構成されたブロック２１５、又は一般的に、フィルタ処理されていない再構成されたサンプルを、あるいは、再構成されたブロック又はサンプルのあらゆる他の更に処理されたバージョンを記憶するよう構成されてもよい。
デコーディングピクチャバッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によってビデオデータをエンコーディングするための参照ピクチャ、又は一般的に、参照ピクチャデータを記憶するメモリであってよい。ＤＰＢ２３０は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含む動的ランダム・アクセス・メモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスなどの様々なメモリデバイスのいずれかによって形成されてよい。デコーディングピクチャバッファ（ＤＰＢ）２３０は、１つ以上のフィルタ処理されたブロック２２１を記憶するよう構成されてよい。デコーディングピクチャバッファ２３０は、同じ現在のピクチャの、又は異なるピクチャ、例えば、前に再構成されたピクチャの他の前にフィルタ処理されたブロック、例えば、前に再構成されフィルタ処理されたブロック２２１を記憶するよう更に構成されてよく、例えば、インター予測のために、完全な、前に再構成された、すなわち、デコーディングされたピクチャ（並びに対応する参照ブロック及びサンプル）及び／又は部分的に再構成された現在のピクチャ（並びに対応する参照ブロック及びサンプル）を提供してよい。デコーディングピクチャバッファ（ＤＰＢ）２３０はまた、例えば、再構成されたブロック２１５がループフィルタユニット２２０によってフィルタをかけられていない場合に、１つ以上のフィルタ処理されていない再構成されたブロック２１５、又は一般的に、フィルタ処理されていない再構成されたサンプルを、あるいは、再構成されたブロック又はサンプルのあらゆる他の更に処理されたバージョンを記憶するよう構成されてもよい。
【0083】
モード選択（パーティショニング及び予測）
モード選択ユニット２６０は、パーティショニングユニット２６２、インター予測ユニット２４４及びイントラ予測ユニット２５４を有し、原ピクチャデータ、例えば、元のブロック２０３（現在のピクチャ１７の現在のブロック２０３）と、再構成されたピクチャデータ、例えば、同じ（現在の）ピクチャの及び／又は１つ若しくは複数の前にデコーディングされたピクチャからの、例えば、デコーディングピクチャバッファ２３０若しくは他のバッファ（例えば、ラインバッファ、図示せず）からのフィルタ処理された及び／又はフィルタ処理されていない再構成されたサンプル又はブロックを受信又は取得するよう構成される。再構成されたピクチャデータは、予測ブロック２６５又は予測子２６５を取得するために、予測、例えば、インター予測又はイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット２６０は、パーティショニングユニット２６２、インター予測ユニット２４４及びイントラ予測ユニット２５４を有し、原ピクチャデータ、例えば、元のブロック２０３（現在のピクチャ１７の現在のブロック２０３）と、再構成されたピクチャデータ、例えば、同じ（現在の）ピクチャの及び／又は１つ若しくは複数の前にデコーディングされたピクチャからの、例えば、デコーディングピクチャバッファ２３０若しくは他のバッファ（例えば、ラインバッファ、図示せず）からのフィルタ処理された及び／又はフィルタ処理されていない再構成されたサンプル又はブロックを受信又は取得するよう構成される。再構成されたピクチャデータは、予測ブロック２６５又は予測子２６５を取得するために、予測、例えば、インター予測又はイントラ予測のための参照ピクチャデータとして使用される。
【0084】
モード選択ユニット２６０は、現在のブロック予測モード（パーティショニングを含まない）のためのパーティショニングと、予測モード（例えば、イントラ又はインター予測モード）とを決定又は選択し、残差ブロック２０５の計算のために及び再構成されたブロック２１５の再構成のために使用される対応する予測ブロック２６５を生成するよう構成されてよい。
【0085】
モード選択ユニット２６０の実施形態は、最良の一致、すなわち、言い換えれば、最小限の残差（最小限の残差は、伝送又は記憶のためのより良い圧縮を意味する）、又は最小限のシグナリングオーバーヘッド（最小限のシグナリングオーバーヘッドは、伝送又は記憶のためのより良い圧縮を意味する）をもたらすか、あるいは、両方を考慮し若しくはバランスをとるパーティショニング及び予測モードを（例えば、モード選択ユニット２６０によってサポートされているか、又はそれのために利用可能なものから）選択するよう構成されてよい。モード選択ユニット２６０は、レート歪み最適化（ＲＤＯ）に基づいてパーティショニング及び予測モードを決定するよう、すなわち、最低レート歪みをもたらす予測モードを選択するよう構成されてよい。本文脈中の「最良」、「最小限」、「最適化」などの用語は、必ずしも全面的な「最良」、「最小限」、「最適化」などを指さず、閾値を上回る又は下回る値のような終了又は選択基準の達成、あるいは、「次善の選択」につながる可能性はあるが複雑性及び処理時間を低減する他の制約を指してもよい。
【0086】
すなわち、パーティショニングユニット２６２は、例えば、四分木パーティショニング（ＱＴ）、二分木パーティショニング（ＢＴ）若しくはトリプル木パーティショニング（ＴＴ）、又はそれらの任意の組み合わせを繰り返し用いて、ブロック２０３をより小さいブロックパーティション又はサブブロック（再びブロックを形成する）に分割し、例えば、ブロックパーティション又はサブブロックの夫々についての予測を実行するよう構成されてよく、モード選択は、分割されたブロック２０３の木構造の選択を有し、予測モードは、ブロックパーティション又はサブブロックの夫々に適用される。
【0087】
以下では、例となるビデオエンコーダ２０によって実行されるパーティショニング（例えば、パーティショニングユニット２６２による）及び予測処理（インター予測ユニット２４４及びイントラ予測ユニット２５４による）が、より詳細に説明される。
【0088】
パーティショニング
パーティショニングユニット２６２は、現在のブロック２０３をより小さいパーティション、例えば、正方形又は長方形サイズのより小さいブロックに分割（又は区分化）してよい。これらのより小さいブロック（サブブロックとも呼ばれる）は、より一層小さいパーティションに更に分割されてもよい。これは、ツリーパーティショニング又は階層ツリーパーティショニングとも呼ばれ、例えば、ルートツリーレベル０（階層レベル０、デプス０）での、ルートブロックは、再帰的に分割されてよく、例えば、次に下のツリーレベルの２つ以上のブロック、例えば、ツリーレベル１（階層レベル１、デプス１）でのノードに分割され、これらのブロックは、例えば、終了基準が満足されること、例えば、最大ツリーデプス又は最小ブロックサイズに達することで、パーティショニングが終了するまで、次に下のレベル、例えば、ツリーレベル２（階層レベル２、デプス２）など、の２つ以上のブロックに再び分割されてよい。これ以上分割されないブロックは、ツリーのリーフブロック又はリーフノードとも呼ばれる。２つのパーティションに分割することによるツリーは、二分木（ＢＴ）と呼ばれ、３つのパーティションに分割することによるツリーは、三分木（ＴＴ）と呼ばれ、４つのパーティションに分割することによるツリーは、四分木（ＱＴ）と呼ばれる。
パーティショニングユニット２６２は、現在のブロック２０３をより小さいパーティション、例えば、正方形又は長方形サイズのより小さいブロックに分割（又は区分化）してよい。これらのより小さいブロック（サブブロックとも呼ばれる）は、より一層小さいパーティションに更に分割されてもよい。これは、ツリーパーティショニング又は階層ツリーパーティショニングとも呼ばれ、例えば、ルートツリーレベル０（階層レベル０、デプス０）での、ルートブロックは、再帰的に分割されてよく、例えば、次に下のツリーレベルの２つ以上のブロック、例えば、ツリーレベル１（階層レベル１、デプス１）でのノードに分割され、これらのブロックは、例えば、終了基準が満足されること、例えば、最大ツリーデプス又は最小ブロックサイズに達することで、パーティショニングが終了するまで、次に下のレベル、例えば、ツリーレベル２（階層レベル２、デプス２）など、の２つ以上のブロックに再び分割されてよい。これ以上分割されないブロックは、ツリーのリーフブロック又はリーフノードとも呼ばれる。２つのパーティションに分割することによるツリーは、二分木（ＢＴ）と呼ばれ、３つのパーティションに分割することによるツリーは、三分木（ＴＴ）と呼ばれ、４つのパーティションに分割することによるツリーは、四分木（ＱＴ）と呼ばれる。
【0089】
上述されたように、ここで使用される「ブロック」との用語は、ピクチャの部分、特に、正方形又は長方形部分であってよい。例えば、ＨＥＶＣ及びＶＶＣを参照して、ブロックは、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）、並びに／又は対応するブロック、例えば、コーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、変換ブロック（ＴＢ）若しくは予測ブロック（ＰＢ）であるか、又はこれらに対応してよい。
【0090】
例えば、コーディングツリーユニット（ＣＴＵ）は、３つのサンプルアレイを有するピクチャのルーマサンプルのＣＴＢ、クロマサンプルの２つの対応するＣＴＢ、あるいは、モノクロピクチャ又は、３つの別々の色平面と、サンプルをコーディングするために使用されたシンタックス構造とを用いてコーディングされるピクチャのサンプルのＣＴＢであるか、又はこれらを有してよい。相応して、コーディングツリーブロック（ＣＴＢ）は、ＣＴＢへのコンポーネントの分割がパーティショニングであるように、Ｎの何らかの値について、サンプルのＮ×Ｎブロックであってよい。コーディングユニット（ＣＵ）は、３つのサンプルアレイを有するピクチャのルーマサンプルのコーディングブロック、クロマサンプルの２つの対応するコーディングブロック、あるいは、モノクロピクチャ又は、３つの別々の色平面と、サンプルをコーディングするために使用されたシンタックス構造を用いてコーディングされるピクチャのサンプルのコーディングブロックであるか、又はこれらを有してよい。相応して、コーディングブロック（ＣＢ）は、コーディングブロックへのＣＴＢの分割がパーティショニングであるように、Ｍ及びＮの何らかの値についてサンプルのＭ×Ｎブロックであってよい。
【0091】
実施形態において、例えば、ＨＥＶＣに従って、コーディングツリーユニット（ＣＴＵ）は、コーディングツリーとして表される四分木構造を用いてＣＵに分割されてよい。インターピクチャ（時間）又はイントラピクチャ（空間）予測を用いてピクチャエリアをコーディングすべきかどうかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従って１つ、２つ又は４つのＰＵに更に分割され得る。１つのＰＵ内では、同じ予測プロセスが適用され、関連情報は、ＰＵベースでデコーダへ送られる。ＰＵ分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、ＣＵは、ＣＵのためのコーディングツリーに類似した他の四分木構造に従って変換ユニット（ＴＵ）に分割され得る。
【0092】
実施形態において、例えば、Versatile Video Coding（ＶＶＣ）と呼ばれる、現在開発中の最新のビデオコーディング標準規格に従って、四分木及び二分木（ＱＴＢＴ）パーティショニングは、コーディングブロックを分割するために使用される。ＱＴＢＴブロック構造では、ＣＵは、正方形又は長方形のどちらかの形状を有することができる。例えば、コーディングツリーユニット（ＣＴＵ）は、最初に四分木構造によって分割される。四分木リーフノードは、二分木又は三分（又はトリプル）木構造によって更に分割される。パーティショニングツリーリーフノードはコーディングユニット（ＣＵ）と呼ばれ、そのセグメンテーションは、これ以上のパーティショニングなしで予測及び変換処理のために使用される。これは、ＣＵ、ＰＵ及びＴＵがＱＴＢＴコーディングブロック構造では同じブロックサイズを有していることを意味する。同時に、多重パーティション、例えば、トリプル木パーティションも、ＱＴＢＴブロック構造とともに使用されることが提案された。
【0093】
一例において、ビデオエンコーダ２０のモード選択ユニット２６０は、ここで記載されるパーティショニング技術の任意の組み合わせを実行するよう構成されてよい。
【0094】
上述されたように、ビデオエンコーダ２０は、（前もって決定された）予測モードの組から最良の又は最適な予測モードを決定又は選択するよう構成される。予測モードの組は、例えば、イントラ予測モード及び／又はインター予測モードを有してよい。
【0095】
イントラ予測
イントラ予測モードの組は、３５個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及びプレーナーモードのような無指向性モード、又は例えば、ＨＥＶＣで定義されるような、指向性モードを有してよく、あるいは、６７個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及びプレーナーモードのような無指向性モード、又は例えば、ＶＶＣで定義されるような、指向性モードを有してよい。
イントラ予測モードの組は、３５個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及びプレーナーモードのような無指向性モード、又は例えば、ＨＥＶＣで定義されるような、指向性モードを有してよく、あるいは、６７個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及びプレーナーモードのような無指向性モード、又は例えば、ＶＶＣで定義されるような、指向性モードを有してよい。
【0096】
イントラ予測ユニット２５４は、イントラ予測モードの組の中のあるイントラ予測モードに従ってイントラ予測ブロック２６５を生成するために、同じ現在のピクチャの隣接ブロックの再構成されたサンプルを使用するよう構成される。
【0097】
イントラ予測ユニット２５４（又は一般に、モード選択ユニット２６０）は、例えば、ビデオデコーダ３０が予測パラメータを受け取ってデコーディングのために使用し得るように、エンコーディングされたピクチャデータ２１に含めるためにシンタックス要素２６６の形でイントラ予測パラメータ（又は一般に、ブロックのための選択されたイントラ予測モードを示す情報）をエントロピエンコーディングユニット２７０へ出力するよう更に構成される。
【0098】
インター予測
（とり得る）インター予測モードの組は、利用可能な参照ピクチャ（すなわち、例えば、ＤＰＢ２３０に記憶されている、前の、少なくとも部分的にデコーディングされたピクチャ）及び他のインター予測パラメータ、例えば、参照ピクチャ全体又は参照ピクチャの一部分のみ、例えば、現在のブロックのエリアの周りの探索窓エリア、が最良の一致を示す参照ブロックを探すために使用されるかどうか、及び／又は例えば、ピクセル補間、例えば、ハーフ／セミペル及び／又は４分の１ペル補間、が適用されるか否か、に依存する。
（とり得る）インター予測モードの組は、利用可能な参照ピクチャ（すなわち、例えば、ＤＰＢ２３０に記憶されている、前の、少なくとも部分的にデコーディングされたピクチャ）及び他のインター予測パラメータ、例えば、参照ピクチャ全体又は参照ピクチャの一部分のみ、例えば、現在のブロックのエリアの周りの探索窓エリア、が最良の一致を示す参照ブロックを探すために使用されるかどうか、及び／又は例えば、ピクセル補間、例えば、ハーフ／セミペル及び／又は４分の１ペル補間、が適用されるか否か、に依存する。
【0099】
上記の予測モードに加えて、スキップモード及び／又はダイレクトモードが適用されてもよい。
【0100】
インター予測ユニット２４４は、動き推定（ＭＥ）ユニット及び動き補償（ＭＣ）ユニット（どちらも図２に図示せず）を含んでよい。動き推定ユニットは、ピクチャブロック２０３（現在のピクチャ１７の現在のピクチャブロック２０３）及びデコーディングされたピクチャ２３１、あるいは、少なくとも１つ又は複数の前に再構成されたブロック、例えば、１つ又は複数の他の／異なる前にデコーディングされたピクチャ２３１の再構成されたブロックを、動き推定のために受信又は取得するよう構成されてよい。例えば、ビデオシーケンスは、現在のピクチャ及び前にデコーディングされたピクチャ２３１を有してよく、すなわち、言い換えると、現在のピクチャ及び前にデコーディングされたピクチャ２３１は、ビデオシーケンスを形成するピクチャの連続の部分であるか、又はそれを形成してよい。
【0101】
エンコーダ２０は、例えば、複数の他のピクチャの中の同じ又は異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ（又は参照ピクチャインデックス）及び／又は参照ブロックの位置（ｘ、ｙ座標）と現在のブロックの位置との間のオフセット（空間オフセット）を動き推定ユニットへインター予測パラメータとして供給するよう構成されてよい。このオフセットは、動きベクトル（ＭＶ）とも呼ばれる。
【0102】
動き補償ユニットは、インター予測パラメータを取得、例えば、受信し、インター予測パラメータに基づいて又はそれを用いてインター予測を実行してインター予測ブロック２６５を取得するよう構成される。動き補償ユニットによって実行される動き補償は、動き推定によって決定された動き／ブロックベクトルに基づいて予測ブロックをフェッチ又は生成することを有してよく、場合により、サブピクセル精度への補間を実行する。補間フィルタリングは、既知のピクセルサンプルから追加のピクセルサンプルを生成してよく、よって、場合により、ピクチャブロックをコーディングするために使用され得る候補予測ブロックの数を増大させる。現在のピクチャブロックのＰＵについての動きベクトルを受け取ると、動き補償ユニットは、参照ピクチャリストの１つにおいて動きベクトルが指し示す予測ブロックを見つけ得る。
【0103】
動き補償ユニットはまた、ビデオスライスのピクチャブロックをデコーディングする際にビデオデコーダ３０によって使用されるブロック及びビデオスライスと関連付けられたシンタックス要素を生成してもよい。
【0104】
エントロピコーディング
エントロピエンコーディングユニット２７０は、出力部２７２を介して、例えば、エンコーディングされたビットストリーム２１の形で出力され得るエンコーディングされたピクチャデータ２１を取得するために、量子化された係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ及び／又は他のシンタックス要素に対して、例えば、エントロピエンコーディングアルゴリズム又はスキーム（例えば、可変長コーディング（ＶＬＣ）スキーム、コンテキスト適応ＶＬＣスキーム（ＣＡＶＬＣ）、算術コーディングスキーム、二値化、コンテキスト適応二値算術コーディング（ＣＡＢＡＣ）、シンタックスに基づくコンテキスト適応二値算術コーディング（ＳＢＡＣ）、確率区間パーティショニングエントロピ（ＰＩＰＥ）コーディング、又は他のエントロピエンコーディングメソッドロジ若しくは技術）を適用するか、あるいは、バイパスする（無圧縮）よう構成され、それにより、例えば、ビデオデコーダ３０は、パラメータを受け取ってデコーディングのために使用し得る。エンコーディングされたビットストリーム２１は、ビデオデコーダ３０へ送られるか、あるいは、ビデオデコーダ３０による後の伝送又は読み出しのためにメモリに記憶されてもよい。
エントロピエンコーディングユニット２７０は、出力部２７２を介して、例えば、エンコーディングされたビットストリーム２１の形で出力され得るエンコーディングされたピクチャデータ２１を取得するために、量子化された係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ及び／又は他のシンタックス要素に対して、例えば、エントロピエンコーディングアルゴリズム又はスキーム（例えば、可変長コーディング（ＶＬＣ）スキーム、コンテキスト適応ＶＬＣスキーム（ＣＡＶＬＣ）、算術コーディングスキーム、二値化、コンテキスト適応二値算術コーディング（ＣＡＢＡＣ）、シンタックスに基づくコンテキスト適応二値算術コーディング（ＳＢＡＣ）、確率区間パーティショニングエントロピ（ＰＩＰＥ）コーディング、又は他のエントロピエンコーディングメソッドロジ若しくは技術）を適用するか、あるいは、バイパスする（無圧縮）よう構成され、それにより、例えば、ビデオデコーダ３０は、パラメータを受け取ってデコーディングのために使用し得る。エンコーディングされたビットストリーム２１は、ビデオデコーダ３０へ送られるか、あるいは、ビデオデコーダ３０による後の伝送又は読み出しのためにメモリに記憶されてもよい。
【0105】
ビデオエンコーダ２０の他の構造的変形は、ビデオストリームをエンコーディングするために使用され得る。例えば、非変換に基づくエンコーダ２０は、特定のブロック又はフレームについて変換処理ユニット２０６によらずに直接に残差信号を量子化することができる。他の実施では、エンコーダ２０は、単一のユニットにまとめられた量子化ユニット２０８及び逆量子化ユニット２１０を有することができる。
【0106】
デコーダ及びデコーディング方法
図３は、本願の技術を実装するよう構成されるビデオデコーダ３０の例を示す。ビデオデコーダ３０は、デコーディングされたピクチャ３３１を取得するために、例えば、エンコーダ２０によってエンコーディングされた、エンコーディングされたピクチャデータ２１（例えば、エンコーディングされたビットストリーム２１）を受信するよう構成される。エンコーディングされたピクチャデータ又はビットストリームは、エンコーディングされたピクチャデータをデコーディングするための情報、例えば、エンコーディングされたビデオスライスのピクチャブロック及び関連するシンタックス要素を表すデータ、を含む。
図３は、本願の技術を実装するよう構成されるビデオデコーダ３０の例を示す。ビデオデコーダ３０は、デコーディングされたピクチャ３３１を取得するために、例えば、エンコーダ２０によってエンコーディングされた、エンコーディングされたピクチャデータ２１（例えば、エンコーディングされたビットストリーム２１）を受信するよう構成される。エンコーディングされたピクチャデータ又はビットストリームは、エンコーディングされたピクチャデータをデコーディングするための情報、例えば、エンコーディングされたビデオスライスのピクチャブロック及び関連するシンタックス要素を表すデータ、を含む。
【0107】
図３の例では、デコーダ３０は、エントロピデコーディングユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、合算器３１４）、ループフィルタ３２０、デコーディングピクチャバッファ（ＤＰＢ）３３０、インター予測ユニット３４４、及びイントラ予測ユニット３５４を有する。インター予測ユニット３４４は、動き補償ユニットであるか、又はそれを含んでよい。ビデオデコーダ３０は、いくつかの例では、図２のビデオエンコーダ２０に関して記載されたエンコーディングパスとは概して逆のデコーディングパスを実行してよい。
【0108】
エンコーダ２０に関して説明されたように、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、デコーディングピクチャバッファ（ＤＰＢ）２３０、インター予測ユニット２４４及びイントラ予測ユニット２５４は、ビデオエンコーダ２０の“ビルトインデコーダ”を形成するとも言われる。従って、逆量子化ユニット３１０は、機能において逆量子化ユニット２１０と同じであってよく、逆変換処理ユニット３１２は、機能において逆変換処理ユニット２１２と同じであってよく、再構成ユニット３１４は、機能において再構成ユニット２１４と同じであってよく、ループフィルタ３２０は、機能においてループフィルタ２２０と同じであってよく、デコーディングピクチャバッファ３３０は、機能においてデコーディングピクチャバッファ２３０と同じであってよい。従って、ビデオエンコーダ２０の各々のユニット及び機能について与えられている説明は、ビデオデコーダ３０の各々のユニット及び機能にも相応して当てはまる。
【0109】
エントロピデコーディング
エントロピデコーディングユニット３０４は、ビットストリーム２１（又は一般に、エンコーディングされたピクチャデータ２１）をパースし、エンコーディングされたピクチャデータ２１に対して、例えば、エントロピデコーディングを実行して、例えば、量子化された係数３０９及び／又はデコーディングされたコーディングパラメータ（図３に図示せず）、例えば、インター予測パラメータ（例えば、参照ピクチャインデックス及び動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モード又はインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のいずれか又は全てを取得するよう構成される。エントロピデコーディングユニット３０４は、エンコーダ２０のエントロピエンコーディングユニット２７０に関して説明されたエンコーディングスキームに対応するデコーディングアルゴリズム又はスキームを適用するよう構成されてよい。エントロピデコーディングユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素をモード選択ユニット３６０へ、及び他のパラメータをデコーダ３０の他のユニットへ供給するよう更に構成されてよい。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受け取ってよい。
エントロピデコーディングユニット３０４は、ビットストリーム２１（又は一般に、エンコーディングされたピクチャデータ２１）をパースし、エンコーディングされたピクチャデータ２１に対して、例えば、エントロピデコーディングを実行して、例えば、量子化された係数３０９及び／又はデコーディングされたコーディングパラメータ（図３に図示せず）、例えば、インター予測パラメータ（例えば、参照ピクチャインデックス及び動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モード又はインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のいずれか又は全てを取得するよう構成される。エントロピデコーディングユニット３０４は、エンコーダ２０のエントロピエンコーディングユニット２７０に関して説明されたエンコーディングスキームに対応するデコーディングアルゴリズム又はスキームを適用するよう構成されてよい。エントロピデコーディングユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素をモード選択ユニット３６０へ、及び他のパラメータをデコーダ３０の他のユニットへ供給するよう更に構成されてよい。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受け取ってよい。
【0110】
逆量子化
逆量子化ユニット３１０は、（例えば、エントロピデコーディングユニット３０４によって、例えば、パース及び／又はデコーディングすることによって）エンコーディングされたピクチャデータ２１から量子化パラメータ（ＱＰ）（又は一般に、逆量子化に関する情報）及び量子化された係数を受け取り、量子化パラメータに基づいて、デコーディングされた量子化された係数３０９に対して逆量子化を適用して、変換係数３１１とも呼ばれ得る逆量子化された係数３１１を取得するよう構成されてよい。逆量子化プロセスは、量子化の程度及び、同様に、適用されるべき逆量子化の程度、を決定するために、ビデオスライス内の各ビデオブロックについてビデオエンコーダ２０によって決定された量子化パラメータの使用を含んでよい。
逆量子化ユニット３１０は、（例えば、エントロピデコーディングユニット３０４によって、例えば、パース及び／又はデコーディングすることによって）エンコーディングされたピクチャデータ２１から量子化パラメータ（ＱＰ）（又は一般に、逆量子化に関する情報）及び量子化された係数を受け取り、量子化パラメータに基づいて、デコーディングされた量子化された係数３０９に対して逆量子化を適用して、変換係数３１１とも呼ばれ得る逆量子化された係数３１１を取得するよう構成されてよい。逆量子化プロセスは、量子化の程度及び、同様に、適用されるべき逆量子化の程度、を決定するために、ビデオスライス内の各ビデオブロックについてビデオエンコーダ２０によって決定された量子化パラメータの使用を含んでよい。
【0111】
逆変換
逆変換処理ユニット３１２は、変換係数３１１とも呼ばれる逆量子化された係数３１１を受け取り、そして、再構成された残差ブロック３１３をサンプル領域で取得するために、逆量子化された係数３１１に対して変換を適用するよう構成されてよい。再構成された残差ブロック３１３は、変換ブロック３１３とも呼ばれ得る。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、又は概念的に類似した逆変換プロセスであってよい。逆変換処理ユニット３１２は、逆量子化された係数３１１に適用されるべき変換を決定するために（例えば、エントロピデコーディングユニット３０４によって、例えば、パース及び／又はデコーディングすることによって）エンコーディングされたピクチャデータ２１から変換パラメータ又は対応する情報を受け取るよう更に構成されてもよい。
逆変換処理ユニット３１２は、変換係数３１１とも呼ばれる逆量子化された係数３１１を受け取り、そして、再構成された残差ブロック３１３をサンプル領域で取得するために、逆量子化された係数３１１に対して変換を適用するよう構成されてよい。再構成された残差ブロック３１３は、変換ブロック３１３とも呼ばれ得る。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、又は概念的に類似した逆変換プロセスであってよい。逆変換処理ユニット３１２は、逆量子化された係数３１１に適用されるべき変換を決定するために（例えば、エントロピデコーディングユニット３０４によって、例えば、パース及び／又はデコーディングすることによって）エンコーディングされたピクチャデータ２１から変換パラメータ又は対応する情報を受け取るよう更に構成されてもよい。
【0112】
再構成
再構成ユニット３１４（例えば、加算器又は合算器３１４）は、例えば、再構成された残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを足すことによって、再構成されたブロック３１５をサンプル領域で取得するように、再構成された残差ブロック３１３を予測ブロック３６５に加えるよう構成されてよい。
再構成ユニット３１４（例えば、加算器又は合算器３１４）は、例えば、再構成された残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを足すことによって、再構成されたブロック３１５をサンプル領域で取得するように、再構成された残差ブロック３１３を予測ブロック３６５に加えるよう構成されてよい。
【0113】
フィルタリング
ループフィルタユニット３２０（コーディングループ内にあるか又はコーディングループの後にあるかのどちらか）は、フィルタ処理されたブロック３２１を取得するために、例えば、ピクセル遷移を滑らかにするか又は別なふうにビデオ品質を改善するために、再構成されたブロック３１５にフィルタをかけるよう構成される。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ又は１つ以上の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、先鋭化、平滑化フィルタ若しくは協調フィルタ、又はそれらの任意の組み合わせなどの１つ以上のループフィルタを有してよい。ループフィルタユニット３２０はインループフィルタであるものとして図３では示されているが、他の構成では、ループフィルタユニット３２０はポストループフィルタとして実装されてもよい。
ループフィルタユニット３２０（コーディングループ内にあるか又はコーディングループの後にあるかのどちらか）は、フィルタ処理されたブロック３２１を取得するために、例えば、ピクセル遷移を滑らかにするか又は別なふうにビデオ品質を改善するために、再構成されたブロック３１５にフィルタをかけるよう構成される。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ又は１つ以上の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、先鋭化、平滑化フィルタ若しくは協調フィルタ、又はそれらの任意の組み合わせなどの１つ以上のループフィルタを有してよい。ループフィルタユニット３２０はインループフィルタであるものとして図３では示されているが、他の構成では、ループフィルタユニット３２０はポストループフィルタとして実装されてもよい。
【0114】
デコーディングピクチャバッファ
ピクチャのデコーディングされたビデオブロック３２１は、次いで、デコーディングピクチャバッファ３３０に記憶される。デコーディングピクチャバッファ３３０は、他のピクチャのその後の動き補償のために、及び／又は夫々表示を出力するために、デコーディングされたピクチャ３３１を参照ピクチャとして記憶する。
ピクチャのデコーディングされたビデオブロック３２１は、次いで、デコーディングピクチャバッファ３３０に記憶される。デコーディングピクチャバッファ３３０は、他のピクチャのその後の動き補償のために、及び／又は夫々表示を出力するために、デコーディングされたピクチャ３３１を参照ピクチャとして記憶する。
【0115】
デコーダ３０は、デコーディングされたピクチャ３３１を、例えば、出力部３３２を介して、提示又は視聴のためにユーザへ出力するよう構成される。
【0116】
予測
インター予測ユニット３４４は、インター予測ユニット２４４と（特に、動き補償ユニットと）同じであってよく、イントラ予測ユニット３５４は、機能においてイントラ予測ユニット２５４と同じであってよく、エンコーディングされたピクチャデータ２１から（例えば、エントロピデコーディングユニット３０４によって、例えば、パース及び／又はデコーディングすることによって）受け取られたパーティショニング及び／又は予測パラメータ、あるいは、各々の情報に基づいて、分割又はパーティショニング決定及び予測を実行する。モード選択ユニット３６０は、再構成されたピクチャ、ブロック又は各々のサンプル（フィルタ処理された又はフィルタ処理されていない）に基づいてブロックごとに予測（イントラ又はインター予測）を実行して予測ブロック３６５を取得するよう構成されてよい。
インター予測ユニット３４４は、インター予測ユニット２４４と（特に、動き補償ユニットと）同じであってよく、イントラ予測ユニット３５４は、機能においてイントラ予測ユニット２５４と同じであってよく、エンコーディングされたピクチャデータ２１から（例えば、エントロピデコーディングユニット３０４によって、例えば、パース及び／又はデコーディングすることによって）受け取られたパーティショニング及び／又は予測パラメータ、あるいは、各々の情報に基づいて、分割又はパーティショニング決定及び予測を実行する。モード選択ユニット３６０は、再構成されたピクチャ、ブロック又は各々のサンプル（フィルタ処理された又はフィルタ処理されていない）に基づいてブロックごとに予測（イントラ又はインター予測）を実行して予測ブロック３６５を取得するよう構成されてよい。
【0117】
ビデオスライスが、イントラコーディングされた（Ｉ）スライスとしてコーディングされている場合に、モード選択ユニット３６０のイントラ予測ユニット３５４は、通知されたイントラ予測モードと、現在のピクチャの前にデコーディングされたブロックからのデータとに基づいて、現在のビデオスライスのピクチャブロックについての予測ブロック３６５を生成するよう構成される。ビデオピクチャが、インターコーディングされた（すなわち、Ｂ又はＰ）スライスとしてコーディングされている場合に、モード選択ユニット３６０のインター予測ユニット３４４（例えば、動き補償ユニット）は、エントロピデコーディングユニット３０４から受け取られた動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロック３６５を生成するよう構成される。インター予測の場合に、予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャの１つから生成されてよい。ビデオデコーダ３０は、ＤＰＢ３３０に記憶されている参照ピクチャに基づいてデフォルトの構成技術を用いて参照フレームリストＬｉｓｔ ０及びＬｉｓｔ １を構成してよい。
【0118】
モード選択ユニット３６０は、動きベクトル及び他のシンタックス要素をパースすることによって現在のビデオスライスのビデオブロックについての予測情報を決定するよう構成され、そして、予測情報を用いて、デコーディング中の現在のビデオブロックについての予測ブロックを生成する。例えば、モード選択ユニット３６０は、現在のビデオスライス内のビデオフロックをデコーディングするために、受信されたシンタックス要素のいくつかを使用して、ビデオスライスのビデオブロックをコーディングするために使用された予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの参照ピクチャリストの１つ以上についての構成情報、スライスの各インターエンコーディングされたビデオブロックについての動きベクトル、スライスの各インターコーディングされたビデオブロックについてのインター予測ステータス、及び他の情報を決定する。
【0119】
ビデオデコーダ３０の他の変形は、エンコーディングされたピクチャデータ２１をデコーディングするために使用され得る。例えば、デコーダ３０は、ループフィルタリングユニット３２０なしで出力ビデオストリームを生成することができる。例えば、非変換に基づくデコーダ３０は、特定のブロック又はフレームについて逆変換処理ユニット３１２なしで直接に残差信号を逆量子化することができる。他の実施では、ビデオデコーダ３０は、単一のユニットにまとめられた逆量子化ユニット３１０及び逆変換処理ユニット３１２を有することができる。
【0120】
エンコーダ２０及びデコーダ３０において、現在のステップの処理結果は更に処理され、それから次のステップへ出力されてよい、ことが理解されるべきである。例えば、補間フィルタリング、動きベクトル導出、又はループフィルタリングの後に、クリップ又はシフトなどの更なる操作が、補間フィルタリング、動きベクトル導出、又はループフィルタリングの処理結果に対して実行されてもよい。
【0121】
留意されるべきは、更なる操作が、現在のブロックの導出された動きベクトル（アフィンモードの制御点動きベクトル、アフィン、プレーナー、ＡＴＭＶＰ（advanced temporal motion vector prediction）モードでのサブブロック動きベクトル、時間動きベクトル、などを含むが、これらに限られない）に適用されてよい点である。例えば、動きベクトルの値は、その表現ビットに従って、予め定義された範囲に制約される。動きベクトルの表現ビットがｂｉｔＤｅｐｔｈである場合に、範囲は、－２＾（ｂｉｔＤｅｐｔｈ－１）～２＾（ｂｉｔＤｅｐｔｈ－１）－１であり、ここで、「＾」は指数計算を意味する。例えば、ｂｉｔＤｅｐｔｈが１６に等しくセットされる場合に、範囲は、－３２７６８～３２７６７であり、ｂｉｔＤｅｐｔｈが１８に等しくセットされる場合に、範囲は、－１３１０７２～１３１０７１である。ここでは、動きベクトルを制約する２つの方法を提供する。
【0122】
方法１：次の演算によってオーバーフローＭＳＢ（最上位ビット）を除く
ｕｘ＝（ｍｖｘ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （１）
ｍｖｘ＝（ｕｘ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｘ－２ｂｉｔＤｅｐｔｈ）：ｕｘ （２）
ｕｙ＝（ｍｖｙ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （３）
ｍｖｙ＝（ｕｙ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｙ－２ｂｉｔＤｅｐｔｈ）：ｕｙ （４）
例えば、ｍｖｘの値が－３２７６９である場合に、式（１）及び（２）を適用した後に、結果として得られる値は３２７６７である。コンピュータシステムでは、負の１０進数は２の補数として記憶される。－３２７６９の２の補数は、１，０１１１，１１１１，１１１１，１１１１（１７ビット）であり、その場合に、ＭＳＢは捨てられ、それにより、結果として得られる２の補数は、０１１１，１１１１，１１１１，１１１１（１０進数は３２７６７である）であり、これは、式（１）及び（２）を適用することによる出力と同じである。
ｕｘ＝（ｍｖｐｘ＋ｍｖｄｘ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （５）
ｍｖｘ＝（ｕｘ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｘ－２ｂｉｔＤｅｐｔｈ）：ｕｘ （６）
ｕｙ＝（ｍｖｐｙ＋ｍｖｄｙ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （７）
ｍｖｙ＝（ｕｙ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｙ－２ｂｉｔＤｅｐｔｈ）：ｕｙ （８）
式（５）から（８）に示されるように、演算は、ｍｖｐ（動きベクトル予測子）及びｍｖｄ（動きベクトル差）の合算中に適用されてよい。
ｕｘ＝（ｍｖｘ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （１）
ｍｖｘ＝（ｕｘ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｘ－２ｂｉｔＤｅｐｔｈ）：ｕｘ （２）
ｕｙ＝（ｍｖｙ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （３）
ｍｖｙ＝（ｕｙ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｙ－２ｂｉｔＤｅｐｔｈ）：ｕｙ （４）
例えば、ｍｖｘの値が－３２７６９である場合に、式（１）及び（２）を適用した後に、結果として得られる値は３２７６７である。コンピュータシステムでは、負の１０進数は２の補数として記憶される。－３２７６９の２の補数は、１，０１１１，１１１１，１１１１，１１１１（１７ビット）であり、その場合に、ＭＳＢは捨てられ、それにより、結果として得られる２の補数は、０１１１，１１１１，１１１１，１１１１（１０進数は３２７６７である）であり、これは、式（１）及び（２）を適用することによる出力と同じである。
ｕｘ＝（ｍｖｐｘ＋ｍｖｄｘ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （５）
ｍｖｘ＝（ｕｘ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｘ－２ｂｉｔＤｅｐｔｈ）：ｕｘ （６）
ｕｙ＝（ｍｖｐｙ＋ｍｖｄｙ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （７）
ｍｖｙ＝（ｕｙ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｙ－２ｂｉｔＤｅｐｔｈ）：ｕｙ （８）
式（５）から（８）に示されるように、演算は、ｍｖｐ（動きベクトル予測子）及びｍｖｄ（動きベクトル差）の合算中に適用されてよい。
【0123】
方法２：値をクリップすることによってオーバーフローＭＳＢを除く
ｖｘ＝Ｃｌｉｐ３（－２ｂｉｔＤｅｐｔｈ－１，２ｂｉｔＤｅｐｔｈ－１－１，ｖｘ）
ｖｙ＝Ｃｌｉｐ３（－２ｂｉｔＤｅｐｔｈ－１，２ｂｉｔＤｅｐｔｈ－１－１，ｖｙ）
ここで、関数Ｃｌｉｐ３の定義は、次の通りである：
ｖｘ＝Ｃｌｉｐ３（－２ｂｉｔＤｅｐｔｈ－１，２ｂｉｔＤｅｐｔｈ－１－１，ｖｘ）
ｖｙ＝Ｃｌｉｐ３（－２ｂｉｔＤｅｐｔｈ－１，２ｂｉｔＤｅｐｔｈ－１－１，ｖｙ）
ここで、関数Ｃｌｉｐ３の定義は、次の通りである：
【数1】
【0124】
図４は、本開示の実施形態に従うビデオコーディングデバイス４００の概略図である。ビデオコーディングデバイス４００は、ここで記載されている開示実施形態を実装するのに適している。実施形態において、ビデオコーディングデバイス４００は、図１Ａのビデオデコーダ３０などのデコーダ、又は図１Ａのビデオエンコーダ２０などのエンコーダであってよい。
【0125】
ビデオコーディングデバイス４００は、データを受信するための入口ポート４１０（又は入力ポート４１０）及び受信器ユニット（Ｒｘ）４２０と、データを処理するためのプロセッサ、論理ユニット、又は中央演算処理装置（ＣＰＵ）４３０と、データを送信するための送信器ユニット（Ｔｘ）４４０及び出口ポート４５０（又は出力ポート４５０）と、データを記憶するためのメモリ４６０とを有する。ビデオコーディングデバイス４００はまた、光又は電気信号の出又は入りのために入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、及び出口ポート４５０へ結合された光電気（ＯＥ）コンポーネント及び電気光（ＥＯ）コンポーネントを有してもよい。
【0126】
プロセッサ４３０は、ハードウェア及びソフトウェアによって実装される。プロセッサ４３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実装されてよい。プロセッサ４３０は、入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、出口ポート４５０、及びメモリ４６０と通信する。プロセッサ４３０は、コーディングモジュール４７０を有する。コーディングモジュール４７０は、上述された開示実施形態を実装する。例えば、コーディングモジュール４７０は、様々なコーディング動作を実装、処理、準備、又は提供する。コーディングモジュール４７０の包含は、従って、ビデオコーディングデバイス４００の機能性に実質的な改善をもたらし、異なる状態へのビデオコーディングデバイス４００の変形を達成する。代替的に、コーディングモジュール４７０は、メモリ４６０に記憶されておりプロセッサ４３０によって実行される命令として実装される。
【0127】
メモリ４６０は、１つ以上のディスク、テープドライブ、及びソリッドステートドライブを有し、プログラムを、そのようなプログラムが実行のために選択される場合に、記憶するよう、かつ、プログラム実行中に読み出される命令及びデータを記憶するよう、オーバーフローデータ記憶デバイスとして使用されてよい。メモリ４６０は、例えば、揮発性及び／又は不揮発性であってよく、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及び／又は静的ランダム・アクセス・メモリ（ＳＲＡＭ）であってよい。
【0128】
【0129】
装置５００内のプロセッサ５０２は、中央演算処理装置であることができる。あるいは、プロセッサ５０２は、現在存在しているか又は今後開発される、情報を操作又は処理する能力があるあらゆる他のタイプのデバイス又は複数のデバイスであることができる。開示されている実施は、示されるように単一のプロセッサ、例えば、プロセッサ５０２により実施され得るが、速度及び効率の優位性は、１つよりも多いプロセッサを用いて達成され得る。
【0130】
装置５００内のメモリ５０４は、実施においてリード・オンリー・メモリ（ＲＯＭ）デバイス又はランダム・アクセス・メモリ（ＲＡＭ）デバイスであることができる。あらゆる他の適切なタイプの記憶デバイスが、メモリ５０４として使用され得る。メモリ５０４は、バス５１２を用いてプロセッサ５０２によってアクセスされるコード及びデータ５０６を含むことができる。メモリ５０４は、オペレーティングシステム５０８及びアプリケーションプログラム５１０を更に含むことができ、アプリケーションプログラム５１０は、プロセッサ５０２がここで記載されている方法を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、ここで記載されている方法を実行するビデオコーディングアプリケーションを更に含むアプリケーション１からＮを含むことができる。
【0131】
装置５００はまた、ディスプレイ５１８などの１つ以上の出力デバイスも含むことができる。ディスプレイ５１８は、一例において、タッチ入力を検知するよう動作可能であるタッチ検知素子とディスプレイを組み合わせるタッチ検知ディスプレイであってよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２へ結合され得る。
【0132】
ここでは単一のバスとして表されているが、装置５００のバス５１２は、複数のバスから構成され得る。更に、二次記憶装置５１４は、装置５００の他のコンポーネントへ直接に結合され得るか、あるいは、ネットワークを介してアクセス可能であり、メモリカードのような単一の集積ユニット又は複数のメモリカードのような複数のユニットを有することができる。装置５００は、このようにして多種多様な構成において実装され得る。
【0133】
ビデオコーディングの近年の開発では、予測のためのより高度な技術及びスキームが出現している。
【0134】
１つのそのような技術は、多重仮説予測である。当初、「多重仮説予測」との用語は、１つの予測信号による動き補償を、いくつかの動き補償された予測信号の線形重ね合わせに拡張するために導入された。より最近では、このアプローチは、既存の予測モードを余分のマージインデキシング予測と組み合わせることに一般化されている。これは、特に、イントラ及びインターモード（すなわち、言い換えると、イントラ及びインター複合モード、例えば、Joint Video Experts Team（ＪＶＥＴ），文書ＪＶＥＴ－Ｌ０１００－ｖ３，タイトル“CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode”，第１２回ミーティング，中国マカオ，２０１８年１０月３～１２日を参照）のための多重仮説予測を含む。このアプローチは、１つのイントラ予測及び１つのマージインデキシング予測を組み合わせることによって、イントラモードを改善するよう多重仮説予測を適用する。すなわち、イントラ及びインター両方の予測ブロックの線形結合が使用される。
【0135】
他の技術は、サブブロックマージ候補のための個別の、すなわち、レギュラーマージモードのためのマージ候補リストとは別のマージリストをブロックレベルで導入及び使用することである（例えば、Joint Video Experts Team（ＪＶＥＴ），文書ＪＶＥＴ－Ｌ０３６９－ｖ２，タイトル“CE4: Separate list for sub-block merge candidates (Test 4.2.8))”，第１２回ミーティング，中国マカオ，２０１８年１０月３～１２日を参照）。この技術は、特に、上記のＡＴＭＶＰ及びアフィンモードに適用可能である。
【0136】
イントラ及びインターモード利用のための多重仮説予測は、イントラ及びインターモードのための多重仮説予測が現在のブロックに対して有効にされているか否かを指定するｍｈ＿ｉｎｔｒａ＿ｆｌａｇによって制御される。先行技術では、フラグｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、次のシンタックステーブルに従って、ｍｅｒｇｅ＿ａｆｆｉｎｅ＿ｆｌａｇに応じて条件付きで伝送される：
よって、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、ｍｅｒｇｅ＿ａｆｆｉｎｅ＿ｆｌａｇがゼロであるという条件の下で、条件付きで通知された。これは、アフィンマージとｍｈ＿ｉｎｔｒａ＿ｆｌａｇ、すなわち、イントラ及びインターモードのための多重仮説予測との共同利用が使用不可能であることを意味する。しかし、それは、ＡＴＭＶＰをｍｈ＿ｉｎｔｒａ＿ｆｌａｇとともに使用することはできる。
【表1】
よって、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、ｍｅｒｇｅ＿ａｆｆｉｎｅ＿ｆｌａｇがゼロであるという条件の下で、条件付きで通知された。これは、アフィンマージとｍｈ＿ｉｎｔｒａ＿ｆｌａｇ、すなわち、イントラ及びインターモードのための多重仮説予測との共同利用が使用不可能であることを意味する。しかし、それは、ＡＴＭＶＰをｍｈ＿ｉｎｔｒａ＿ｆｌａｇとともに使用することはできる。
【0137】
サブブロックマージ候補のための個別マージリストが最近採用された後、アフィンマージ候補は、ａｔｍｖｐマージ候補と結合され、これらのサブブロック候補の利用は、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇと呼ばれる新たに導入されたパラメータによって制御される。個別のｍｅｒｇｅ＿ａｆｆｉｎｅ＿ｆｌａｇはこれ以上使用されない。よって、シンタックスは、マージアフィンモードは使用されないがａｔｍｖｐは使用される場合をこれ以上判別することを可能にしない。サブブロックマージ候補のための個別マージリストの存在下でイントラ及びインターモードを組み合わせる多重仮説予測を通知する新しい方法は、本発明の枠組みの中で開発されている。
【0138】
本発明は、コーデック内のサブブロックマージ候補のための個別マージリストの存在を想定して、イントラ及びインターモードのための多重仮説予測の利用及び通知の複数の方法を提案する。複数の調和の方法が可能であり、現在の開示に含まれている。また、スキップモードの場合におけるイントラ及びインターモードのための多重仮説予測の利用も開示される。
【0139】
本開示の１つの一般的な態様に従って、ビットストリームへのビデオデータのビデオエンコーディングの方法及びビットストリームで受信されたビデオデータのビデオデコーディングの方法が提供される。
【0140】
ビデオエンコーディングの方法は、第１技術及び／又は第２技術を適用することを有する。第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する。第２技術は、イントラ及びインターモードのための多重仮説予測を有する。方法は、第１制御フラグをビットストリームにおいて送信することであり、第１制御フラグは、第１技術を使用すべきかどうかを示す、ことと、第２制御フラグをビットストリームにおいて送信することであり、第２制御フラグは、第２技術を使用すべきかどうかを示す、こととを有する。
【0141】
ビデオデコーディングの方法は、第１技術及び／又は第２技術を適用することを有する。第１技術は、サブブロックマージ候補のための個別マージリストを使用することを有する。第２技術は、イントラ及びインターモードのための多重仮説予測を有する。方法は、ビットストリームから第１制御フラグを受信することであり、第１制御フラグは、第１技術を使用すべきかどうかを示す、ことと、ビットストリームから第２制御フラグを受信することであり、第２制御フラグは、第２技術を使用すべきかどうかを示す、こととを有する。
【0142】
実施形態に従って、イントラ及びインターモードのための多重仮説予測の技術の利用は、サブブロックマージ候補のための個別マージリストの技術の利用とは無関係に制御される。すなわち、かような実施形態では、第１制御フラグ（ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）のシグナリングは、第２制御フラグ（ｍｈ＿ｉｎｔｒａ＿ｆｌａｇ）のシグナリングとは無関係に行われる。
【0143】
一実施形態において、イントラ及びインターモードのための多重仮説予測は、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇの依存せずに通知されるｍｈ＿ｉｎｔｒａ＿ｆｌａｇによって制御される。この場合に、イントラ及びインターモードのための多重仮説予測は、両方のサブブロックモード、すなわち、アフィン及びａｔｍｖｐについて、かつ、通常のマージについて、可能である。以下のシンタックステーブルは、この実施形態におけるｍｈ＿ｉｎｔｒａ＿ｆｌａｇの可能な通知方法を示す。
上記のテーブルでは、イントラ及びインターモードを組み合わせる多重仮説予測の使用は、マージモードでブロックをコーディングすることに制限される。
【表2】
上記のテーブルでは、イントラ及びインターモードを組み合わせる多重仮説予測の使用は、マージモードでブロックをコーディングすることに制限される。
【0144】
【表3】
上記のテーブルでは、イントラ及びインターモードを組み合わせる多重仮説予測の使用は、マージモードでブロックをコーディングすること及びスキップモードでブロックをコーディングすることの両方に適用可能である。
【0145】
本発明の実施形態において、イントラ及びインターモードのための多重仮説予測は、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇに基づいて通知されるｍｈ＿ｉｎｔｒａ＿ｆｌａｇによって制御される。この場合に、イントラ及びインターモードのための多重仮説予測は、両方のサブブロックモード、すなわち、アフィン及びａｔｍｖｐが使用不可能である場合にのみ可能である。すなわち、イントラ及びインターモードのための多重仮説予測は、通常のマージモードで可能であるが、イントラ及びインターモードのための多重仮説予測とサブブロックマージ候補のための個別マージリストとの組み合わせは、使用不可能である。以下のシンタックステーブルは、この実施形態におけるｍｈ＿ｉｎｔｒａ＿ｆｌａｇの可能な通知方法を示す。
上記のテーブルでは、イントラ及びインターモードを組み合わせる多重仮説予測の使用は、マージモードでブロックをコーディングすることに制限される。
【表4】
上記のテーブルでは、イントラ及びインターモードを組み合わせる多重仮説予測の使用は、マージモードでブロックをコーディングすることに制限される。
【0146】
【表5】
上記のテーブルでは、イントラ及びインターモードを組み合わせる多重仮説予測の使用は、マージモードでブロックをコーディングすること及びスキップモードでブロックをコーディングすることの両方に適用可能である。
【0147】
上記の実施形態の枠組み内で、エンコーダは、サブブロック候補のための個別マージリストが使用不可能である場合、すなわち、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ（「第１フラグ」）がゼロである場合にのみ、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇ（ｃｉｉｐ＿ｆｌａｇとも呼ばれる「第２フラグ」）を通知する。他方で、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが含まれているビットストリームを受信するデコーダは、サブブロック候補のための個別マージリストが使用不可能であることをデフォルトで決定する。
【0148】
以下では、上記の実施形態に従う処理が、図６及び７のフローチャートを参照して説明される。
【0149】
図６は、本発明の実施形態に従うエンコーダ側プロセスを説明するフローチャートである。
【0150】
プロセスは、ステップＳ１０１で、サブブロック候補のための個別マージリストを使用すべきか否かの決定から始まる。これが該当しない場合（Ｓ１０１：いいえ）、処理はステップＳ１０３へ進む。ステップＳ１０３で、イントラ及びインターモードを組み合わせる多重仮説予測が使用されるか否かが決定される。その決定の結果と無関係に、処理はその後にステップＳ１０５へ進む。ステップＳ１０５で、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが、ビットストリームで通知されるべきパラメータとして生成される。より具体的には、イントラ及びインターモードのための多重仮説予測が使用される場合（Ｓ１０３：はい）、値“１”がｍｈ＿ｉｎｔｒａ＿ｆｌａｇにセットされ、イントラ及びインターモードのための多重仮説予測が使用されない場合（Ｓ１０３：いいえ）、値“０”がｍｈ＿ｉｎｔｒａ＿ｆｌａｇにセットされる（図示せず）。
【0151】
その後に、処理はステップＳ１０７へ進む。サブブロック候補のための個別マージリストを使用することがステップＳ１０１で決定される場合（Ｓ１０１：はい）、処理は、ステップＳ１０１から直接にステップＳ１０７へ進む。
【0152】
ステップＳ１０７で、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇは、ビットストリームで通知されるべきパラメータとして生成される。より具体的には、個別マージリストの利用の場合、すなわち、フローがＳ１０１：はいから進む場合、値“１”がｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇにセットされ、フローがＳ１０１：いいえからＳ１０３及びＳ１０５を通ってくる場合、すなわち、個別マージリストが使用されない場合、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇは値“０”にセットされる（図示せず）。
【0153】
従って、イントラ及びインターモードのための多重仮説予測は、サブブロック候補のための個別マージリストが使用されないという条件の下で、条件付きでのみ使用される。そのため、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇはいつでも生成されるが、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、サブブロック候補のための個別マージリストが使用されない場合にのみ生成される。その後に、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇを含み、条件付きで（ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが０である場合に）ｍｈ＿ｉｎｔｒａ＿ｆｌａｇも含むビットストリームがステップＳ１０９で生成され、処理は終了する。
【0154】
図７は、本発明の実施形態に従うデコーダ側処理を説明するフローチャートである。
【0155】
処理は、受信されたビットストリームがパースされるステップＳ２０１から始まる。続くステップＳ２０３で、ビットストリームにｍｈ＿ｉｎｔｒａ＿ｆｌａｇがあるかどうかが確認される。これが該当する場合（Ｓ２０３：はい）、処理はステップＳ２０７へ進む。ステップＳ２０７で、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、パースされたｍｈ＿ｉｎｔｒａ＿ｆｌａｇの値に応じて、イントラ及びインターモードのための多重仮説予測がデコーディングで使用されるべきかどうかを決定するために評価される。ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが１の値を有している場合に、デコーディングは、ステップ（Ｓ２０７：はい→Ｓ２１１）でイントラ及びインターモードのための多重仮説予測を使用して実行され、処理は終了する。そうではない場合、すなわち、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが０の値を有している場合（Ｓ２０７：いいえ）、多重仮説予測は使用されない（また、サブブロック候補のための個別マージリストも使用されない）。
【0156】
他方で、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇがないとステップＳ２０３で決定される場合（Ｓ２０３：いいえ）、処理はステップＳ２０４へ進む。ステップＳ２０４で、ビットストリームから受け取られたｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが、サブブロック候補のための個別マージリストを使用すべきか否を次のステップ（Ｓ２０５）で決定するために評価される。
【0157】
ステップＳ２０５で、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが１の値を有している場合、個別マージリストは使用されるべきであると決定され（Ｓ２０５：はい）、処理は、個別マージリストを用いてデコーディングが行われるステップＳ２０９へ進む。そうではない場合、すなわち、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが０の値を有している場合（Ｓ２０５：いいえ）、個別マージリストを用いずに（また、イントラ及びインターモードのための多重仮説予測を用いずに）デコーディングは実行されると決定され、処理フローは終了する。
【0158】
従って、実施形態に従って、パースされたビットストリーム内のｍｈ＿ｉｎｔｒａ＿ｆｌａｇの存在（Ｓ２０３：はい）から、サブブロック候補のための個別マージリストが使用されないことが直接に推測される。
【0159】
すなわち、いつでもビットストリームに含まれて受信されるｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇは、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇがビットストリームに含まれていない場合にのみ解析される。よって、如何なる場合にも、単一のフラグしかデコーダ側では評価される必要がない。
【0160】
より一般的に言えば、本発明に従って、イントラ及びインターモードのための多重仮説予測の技術の利用は、サブブロックマージ候補のための個別マージリストの技術の利用に基づいて制御される。より具体的には、図７の実施形態に従って、イントラ及びインターモードのための多重仮説予測の技術は、サブブロックマージ候補のための個別マージリストの技術が使用不可能である場合及びその場合に限り使用され得る。
【0161】
上記の実施形態は、イントラ及びインターモードのための多重仮説予測をサブブロックマージ候補のための個別マージリストと調和させることを可能にする。ブロックスキップモードでのイントラ及びインターモードのための多重仮説予測の利用も可能にする実施形態は、基本設計に関してコーディングゲインを達成することを更に可能にする。サブブロックマージ候補のための個別マージリストの利用に基づくｍｈ＿ｉｎｔｒａ＿ｆｌａｇの条件付きシグナリングを含む実施形態は、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが夫々の場合に通知される必要がないので、シグナリングオーバーヘッドを低減するという付加的な利点がある。
【0162】
数学演算子
本願で使用される数学演算子は、Ｃプログラミング言語で使用されているものと類似している。しかし、整数除算及び算術シフト演算の結果は、より厳密に定義され、べき乗及び実数値除算などの追加の演算が定義される。ナンバリング及びカウントの規則は、一般的に０から始まり、例えば、「最初」は０番目に相当し、「２番目」は１番目に相当する、などである。
本願で使用される数学演算子は、Ｃプログラミング言語で使用されているものと類似している。しかし、整数除算及び算術シフト演算の結果は、より厳密に定義され、べき乗及び実数値除算などの追加の演算が定義される。ナンバリング及びカウントの規則は、一般的に０から始まり、例えば、「最初」は０番目に相当し、「２番目」は１番目に相当する、などである。
【0163】
算術演算子
以下の算術演算が、次のように定義される：
以下の算術演算が、次のように定義される：
【表6】
【0164】
論理演算子
以下の算術演算子が、次のように定義される：
ｘ＆＆ｙ ｘ及びｙのブール論理“ＡＮＤ”
ｘ｜｜ｙ ｘ及びｙのブール論理“ＯＲ”
！ ブール論理“ＮＯＴ”
ｘ？ｙ：ｚ ｘが真であるか又は０に等しくない場合には、ｙの値として評価し、そうでない場合には、ｚの値として評価する。
以下の算術演算子が、次のように定義される：
ｘ＆＆ｙ ｘ及びｙのブール論理“ＡＮＤ”
ｘ｜｜ｙ ｘ及びｙのブール論理“ＯＲ”
！ ブール論理“ＮＯＴ”
ｘ？ｙ：ｚ ｘが真であるか又は０に等しくない場合には、ｙの値として評価し、そうでない場合には、ｚの値として評価する。
【0165】
関係演算子
以下の関係演算子が、次のように定義される：
＞ ～よりも大きい
＞＝ ～以上
＜ ～よりも小さい
＜＝ ～以下
＝＝ ～に等しい
！＝ ～に等しくない
以下の関係演算子が、次のように定義される：
＞ ～よりも大きい
＞＝ ～以上
＜ ～よりも小さい
＜＝ ～以下
＝＝ ～に等しい
！＝ ～に等しくない
【0166】
関係演算子が、値“ＮＡ”（not applicable）を割り当てられているシンタックス要素又は変数に適用される場合に、値“ＮＡ”は、そのシンタックス要素又は変数のディスティンクト値として扱われる。値“ＮＡ”は、如何なる他の値にも等しくないと見なされる。
【0167】
ビット演算子
以下のビット演算子が、次のように定義される：
＆ ビット単位“ＡＮＤ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
｜ ビット単位“ＯＲ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
＾ ビット単位“ＸＯＲ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
ｘ＞＞ｙ ｙ個の２進桁によるｘの２の補数整数表現の算術右シフト。この関数は、ｙの非負整数値についてのみ定義される。右シフトの結果として最上位ビット（ＭＳＢ）へシフトされたビットは、シフト演算の前のｘのＭＳＢに等しい値を有する。
ｘ＜＜ｙ ｙ個の２進桁によるｘの２の補数整数表現の算術左シフト。この関数は、ｙの非負整数値についてのみ定義される。左シフトの結果として最下位ビット（ＬＳＢ）へシフトされたビットは、０に等しい値を有する。
以下のビット演算子が、次のように定義される：
＆ ビット単位“ＡＮＤ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
｜ ビット単位“ＯＲ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
＾ ビット単位“ＸＯＲ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
ｘ＞＞ｙ ｙ個の２進桁によるｘの２の補数整数表現の算術右シフト。この関数は、ｙの非負整数値についてのみ定義される。右シフトの結果として最上位ビット（ＭＳＢ）へシフトされたビットは、シフト演算の前のｘのＭＳＢに等しい値を有する。
ｘ＜＜ｙ ｙ個の２進桁によるｘの２の補数整数表現の算術左シフト。この関数は、ｙの非負整数値についてのみ定義される。左シフトの結果として最下位ビット（ＬＳＢ）へシフトされたビットは、０に等しい値を有する。
【0168】
代入演算子
以下の代入演算子が、次のように定義される：
＝ 代入演算子
＋＋ インクリメント、すなわち、ｘ＋＋は、ｘ＝ｘ＋１と等価であり、アレイインデックスで使用される場合には、インクリメント演算の前の変数の値として評価する。
－－ デクリメント、すなわち、ｘ－－は、ｘ＝ｘ－１と等価であり、アレイインデックスで使用される場合には、デクリメント演算の前の変数の値として評価する。
＋＝ 指定された量によるインクリメント、すなわち、ｘ＋＝３は、ｘ＝ｘ＋３と等価であり、ｘ＋＝（－３）は、ｘ＝ｘ＋（－３）と等価である。
－＝ 指定された量によるデクリメント、すなわち、ｘ－＝３は、ｘ＝ｘ－３と等価であり、ｘ－＝（－３）は、ｘ＝ｘ－（－３）と等価である。
以下の代入演算子が、次のように定義される：
＝ 代入演算子
＋＋ インクリメント、すなわち、ｘ＋＋は、ｘ＝ｘ＋１と等価であり、アレイインデックスで使用される場合には、インクリメント演算の前の変数の値として評価する。
－－ デクリメント、すなわち、ｘ－－は、ｘ＝ｘ－１と等価であり、アレイインデックスで使用される場合には、デクリメント演算の前の変数の値として評価する。
＋＝ 指定された量によるインクリメント、すなわち、ｘ＋＝３は、ｘ＝ｘ＋３と等価であり、ｘ＋＝（－３）は、ｘ＝ｘ＋（－３）と等価である。
－＝ 指定された量によるデクリメント、すなわち、ｘ－＝３は、ｘ＝ｘ－３と等価であり、ｘ－＝（－３）は、ｘ＝ｘ－（－３）と等価である。
【0169】
範囲表記
以下の表記は、値の範囲を指定するために使用される：
ｘ＝ｙ．．ｚ ｘ、ｙ及びｚは整数であり、ｚはｙよりも大きいとして、ｘは、ｙ以上ｚ以下の整数値を呈する。
以下の表記は、値の範囲を指定するために使用される：
ｘ＝ｙ．．ｚ ｘ、ｙ及びｚは整数であり、ｚはｙよりも大きいとして、ｘは、ｙ以上ｚ以下の整数値を呈する。
【0170】
数学関数
以下の数学関数が定義される：
Ａｓｉｎ（ｘ） －１．０以上１．０以下の範囲内にある引数ｘに作用して、出力値がラジアン単位で－π÷２以上π÷２以下の範囲内にある三角関数の逆正弦関数
Ａｔａｎ（ｘ） 引数ｘに作用して、出力値がラジアン単位で－π÷２以上π÷２以下の範囲内にある三角関数の逆正接関数
Ｃｅｉｌ（ｘ） ｘ以上の最小の整数
Ｃｌｉｐ１Ｙ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＹ）－１，ｘ）
Ｃｌｉｐ１Ｃ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＣ）－１，ｘ）
Ｃｏｓ（ｘ） ラジアン単位で引数ｘに作用する三角関数の余弦関数
Ｆｌｏｏｒ（ｘ） ｘ以下の最大の整数
Ｌｎ（ｘ） ｘの自然対数（底ｅの対数、ここで、ｅは、自然対数の底定数２．７１８２８１８２８・・・である）。
Ｌｏｇ２（ｘ） ｘの底２の対数
Ｌｏｇ１０（ｘ） ｘの底１０の対数
Ｓｉｎ（ｘ） ラジアン単位で引数ｘに作用する三角関数の正弦関数
Ｓｑｒｔ（ｘ）＝√ｘ
Ｓｗａｐ（ｘ，ｙ）＝（ｙ，ｘ）
Ｔａｎ（ｘ） ラジアン単位で引数ｘに作用する三角関数の正接関数
以下の数学関数が定義される：
【数2】
Ａｓｉｎ（ｘ） －１．０以上１．０以下の範囲内にある引数ｘに作用して、出力値がラジアン単位で－π÷２以上π÷２以下の範囲内にある三角関数の逆正弦関数
Ａｔａｎ（ｘ） 引数ｘに作用して、出力値がラジアン単位で－π÷２以上π÷２以下の範囲内にある三角関数の逆正接関数
【数3】
Ｃｅｉｌ（ｘ） ｘ以上の最小の整数
Ｃｌｉｐ１Ｙ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＹ）－１，ｘ）
Ｃｌｉｐ１Ｃ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＣ）－１，ｘ）
【数4】
Ｃｏｓ（ｘ） ラジアン単位で引数ｘに作用する三角関数の余弦関数
Ｆｌｏｏｒ（ｘ） ｘ以下の最大の整数
【数5】
Ｌｎ（ｘ） ｘの自然対数（底ｅの対数、ここで、ｅは、自然対数の底定数２．７１８２８１８２８・・・である）。
Ｌｏｇ２（ｘ） ｘの底２の対数
Ｌｏｇ１０（ｘ） ｘの底１０の対数
【数6】
Ｓｉｎ（ｘ） ラジアン単位で引数ｘに作用する三角関数の正弦関数
Ｓｑｒｔ（ｘ）＝√ｘ
Ｓｗａｐ（ｘ，ｙ）＝（ｙ，ｘ）
Ｔａｎ（ｘ） ラジアン単位で引数ｘに作用する三角関数の正接関数
【0171】
演算の優先順位
式中の優先順位がパラメータの使用によって明示的に示されていない場合に、以下の規則が適用される：
・優先度のより高い演算は、優先度のより低い演算の前に評価される。
・同じ優先度の演算は、左から右に順番に評価される。
式中の優先順位がパラメータの使用によって明示的に示されていない場合に、以下の規則が適用される：
・優先度のより高い演算は、優先度のより低い演算の前に評価される。
・同じ優先度の演算は、左から右に順番に評価される。
【0172】
以下の表は、最高から最低までの演算の優先度を定め、表中のより高い位置は、より高い優先度を示す。
【0173】
Ｃプログラミング言語でも使用される演算については、本明細書で使用されている優先順位は、Ｃプログラミング言語で使用されているものと同じである。
【0174】
表：最高（表の上部）から最低（表の下部）までの演算の優先度
【表7】
【0175】
論理演算のテキスト記述
テキスト中で、次の形式で数学的に記述されることになる論理演算のステートメント：
ｉｆ（条件０）
ステートメント０
ｅｌｓｅ ｉｆ（条件１）
ステートメント１
・・・
ｅｌｓｅ／＊残りの条件に関する説明的所見＊／
ステートメントｎ
は、次の様態で記述されてもよい：
・・・次のように／・・・次が適用される：
－ 条件０の場合に、ステートメント０
－ そうではなく、条件１の場合に、ステートメント１
－ ・・・
－ 上記以外の場合に（残りの条件に関する説明的所見）、ステートメントｎ
テキスト中で、次の形式で数学的に記述されることになる論理演算のステートメント：
ｉｆ（条件０）
ステートメント０
ｅｌｓｅ ｉｆ（条件１）
ステートメント１
・・・
ｅｌｓｅ／＊残りの条件に関する説明的所見＊／
ステートメントｎ
は、次の様態で記述されてもよい：
・・・次のように／・・・次が適用される：
－ 条件０の場合に、ステートメント０
－ そうではなく、条件１の場合に、ステートメント１
－ ・・・
－ 上記以外の場合に（残りの条件に関する説明的所見）、ステートメントｎ
【0176】
テキスト中の夫々の「・・・の場合に、・・・そうではなく、・・・の場合に、・・・上記外の場合に、・・・」のステートメントは、「・・・の場合に」が直ぐ後に続く「・・・次のように」又は・・・次が適用される」により導入される。「・・・の場合に、・・・そうではなく、・・・の場合に、・・・上記以外の場合に、・・・」の最後の条件は常に「上記以外の場合に、・・・」である。交互配置された「・・・の場合に、・・・そうではなく、・・・の場合に、・・・上記外の場合に、・・・」のステートメントは、「・・・次のように」又は「・・・次が適用される」を終わりの「上記以外の場合に、・・・」と適合させることによって識別され得る。
【0177】
テキスト中で、次の形式で数学的に記述されることになる論理演算のステートメント：
ｉｆ（条件０ａ＆＆条件０ｂ）
ステートメント０
ｅｌｓｅ ｉｆ（条件１ａ｜｜条件１ｂ）
ステートメント１
・・・
ｅｌｓｅ
ステートメントｎ
は、次の様態で記述されてもよい：
・・・次のように／・・・次が適用される：
－ 次の全ての条件が真である場合に、ステートメント０：
－ 条件０ａ
－ 条件０ｂ
－ そうではない場合に、次の条件の１つ以上が真である場合に、ステートメント１：
－ 条件１ａ
－ 条件１ｂ
－ ・・・
－ 上記以外の場合に、ステートメントｎ
ｉｆ（条件０ａ＆＆条件０ｂ）
ステートメント０
ｅｌｓｅ ｉｆ（条件１ａ｜｜条件１ｂ）
ステートメント１
・・・
ｅｌｓｅ
ステートメントｎ
は、次の様態で記述されてもよい：
・・・次のように／・・・次が適用される：
－ 次の全ての条件が真である場合に、ステートメント０：
－ 条件０ａ
－ 条件０ｂ
－ そうではない場合に、次の条件の１つ以上が真である場合に、ステートメント１：
－ 条件１ａ
－ 条件１ｂ
－ ・・・
－ 上記以外の場合に、ステートメントｎ
【0178】
テキスト中で、次の形式で数学的に記述されることになる論理演算のステートメント：
ｉｆ（条件０）
ステートメント０
ｉｆ（条件１）
ステートメント１
は、次の様態で記述されてもよい：
条件０の場合に、ステートメント０
条件１の場合に、ステートメント１
ｉｆ（条件０）
ステートメント０
ｉｆ（条件１）
ステートメント１
は、次の様態で記述されてもよい：
条件０の場合に、ステートメント０
条件１の場合に、ステートメント１
【0179】
例えば、エンコーダ２０及びデコーダ３０の実施形態と、例えば、エンコーダ２０及びデコーダ３０を参照して本願で記載される機能とは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装されてよい。ソフトウェアで実装される場合に、機能は、１つ以上の命令又はコードとして、コンピュータ可読媒体上で記憶されるか、又は通信媒体上で伝送され、そして、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体などの有形な媒体に対応するコンピュータ可読記憶媒体、又は例えば、通信プロトコルに従って、１つの場所から他へのコンピュータプログラムの転送を助ける何らかの媒体を含む通信媒体を含んでよい。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形なコンピュータ可読記憶媒体、又は（２）信号若しくは搬送波などの通信媒体、に対応してよい。データ記憶媒体は、本開示で記載されている技術の実装のための命令、コード及び／又はデータ構造を読み出すよう１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る如何なる利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。
【0180】
例として、限定としてではなく、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、フラッシュメモリ、又は命令若しくはデータ構造の形で所望のプログラムコードを記憶するために使用可能であって、コンピュータによってアクセスされ得るあらゆる他の媒体を有することができる。また、如何なる接続も、コンピュータ可読媒体と適切に称される。例えば、命令が同軸ケーブル、光ファイバケーブル、ツイステッドペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、電波、及びマイクロ波などの無線技術を用いてウェブサイト、サーバ、又は他の遠隔ソースから伝送される場合に、同軸ケーブル、光ファイバケーブル、ツイステッドペア、ＤＳＬ、又は赤外線、電波、及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに、非一時的な、有形な記憶媒体を対象とする、ことが理解されるべきである。ここで使用されるｄｉｓｋ及びｄｉｓｃは、コンパクト・ディスク（ＣＤ）、レーザー・ディスク、光ディスク、デジタル・バーサタイル・ディスク（ＤＶＤ）、フロッピー・ディスク、及びブルーレイ・ディスクを含み、ｄｉｓｋは、通常は、磁気的にデータを再生し、一方、ｄｉｓｃは、レーザーで光学的にデータを再生する。上記のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
【0181】
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又は他の同等の集積若しくはディスクリート論理回路などの１つ以上のプロセッサによって実行されてよい。従って、ここで使用される「プロセッサ」という用語は、上記の構造のいずれか、又はここで記載されている技術の実装に適したあらゆる他の構造を指し得る。更には、いくつかの態様において、ここで記載されている機能性は、エンコーディング及びデコーディングのために構成された専用のハードウェア及び／又はソフトウェアモジュール内に設けられても、あるいは、複合型コーデックに組み込まれてもよい。また、技術は、１つ以上の回路又は論理要素において完全に実装されてもよい。
【0182】
本開示の技術は、無線ハンドセット、集積回路（ＩＣ）又はＩＣの組（例えば、チップセット）を含む多種多様なデバイス又は装置において実装されてよい。様々なコンポーネント、モジュール、又はユニットが、開示されている技術を実行するよう構成されたデバイスの機能的態様を強調するよう本開示で説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上述されたように、様々なユニットがコーデックハードウェアユニットにまとめられても、あるいは、適切なソフトウェア及び／又はファームウェアとともに、上述されたような１つ以上のプロセッサを含む相互運用ハードウェアユニットの集合によって提供されてもよい。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】