特開 2024-116271 ビデオ符号化における境界ブロックのパーティション分割

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024116271

(43)【公開日】2024-08-27

(54)【発明の名称】ビデオ符号化における境界ブロックのパーティション分割

(51)【国際特許分類】

   H04N 19/119 20140101AFI20240820BHJP

   H04N 19/176 20140101ALI20240820BHJP

   H04N 19/136 20140101ALI20240820BHJP

【ＦＩ】

H04N19/119

H04N19/176

H04N19/136

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024092958

(22)【出願日】2024-06-07

(62)【分割の表示】P 2022196007の分割

【原出願日】2019-06-27

(31)【優先権主張番号】62/697,274

(32)【優先日】2018-07-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/818,996

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ガオ，ハン

(72)【発明者】

【氏名】チェン，ジエンローァ

(72)【発明者】

【氏名】エセンリク，セミ

(72)【発明者】

【氏名】ジャオ，ジージエ

(72)【発明者】

【氏名】コトラ，アナンド・メハー

(57)【要約】      （修正有）

【課題】エンコード及びデコードのためのパーティション分割をする方法、復号化装置、符号化装置及び記憶媒体を提供する。
【解決手段】方法は、画像の現在のブロックが境界ブロックであるかどうか、及び現在のブロックのサイズが最小許容四分木リーフノードサイズよりも大きいかどうかを判定するステップと、現在のブロックが境界ブロックであり、且つ、現在のブロックのサイズが最小許容四分木リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）より大きくない場合に、現在のブロックに強制二分木（ＢＴ）パーティション分割を適用するステップと、画像の現在のブロックが境界ブロックであり、且つ、現在のブロックのサイズが最小許容四分木（ＱＴ）リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）以下であると判定するステップと、判定に応じて、現在のブロックに強制二分木（ＢＴ）パーティション分割を適用するステップと、を含む。
【選択図】図７Ａ

【特許請求の範囲】

【請求項1】

パーティション分割方法であって、当該パーティション分割方法は、
最初にスライスをコーディングツリーユニット（ＣＴＵｓ）にパーティション分割するステップと、
画像の現在のブロックが境界ブロックであるかどうか、及び前記現在のブロックのサイズが最小許容四分木リーフノードサイズよりも大きいかどうかを判定するステップと、
前記現在のブロックが前記境界ブロックであり、且つ前記現在のブロックの前記サイズが前記最小許容四分木リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）より大きくない場合に、前記現在のブロックに強制二分木（ＢＴ）パーティション分割を適用するステップと、を含む、
パーティション分割方法。

【請求項2】

前記強制二分木パーティション分割は、前記現在のブロックが前記画像の下部境界に位置している場合に再帰的な水平方向の強制バイナリ・パーティション分割である、又は前記現在のブロックが前記画像の右側の境界に位置している場合に再帰的な垂直方向の強制境界パーティション分割である、請求項１に記載のパーティション分割方法。

【請求項3】

前記強制二分木パーティション分割は、リーフノードブロックが前記画像内に入るまで継続される、請求項１又は２のパーティション分割方法。

【請求項4】

前記強制二分木パーティション分割は、
前記現在のブロックのサブパーティションが前記画像の下部境界に位置するまで、前記現在のブロックを水平方向の強制境界パーティション分割によって再帰的にパーティション分割するステップと、
リーフノードが前記画像の右側の境界に完全に位置するまで、前記サブパーティションを垂直方向の強制境界パーティション分割によって再帰的にパーティション分割するステップと、を含む、請求項１乃至３のいずれか一項に記載のパーティション分割方法。

【請求項5】

前記強制二分木パーティション分割は、
前記現在のブロックのサブパーティションが下部境界に位置するまで、前記現在のブロックを垂直方向の強制境界パーティション分割によって再帰的にパーティション分割するステップと、
リーフノードが右側の境界に完全に位置するまで、前記サブパーティションを水平方向の強制境界パーティション分割によって再帰的にパーティション分割するステップと、を含む、請求項１乃至３のいずれか一項に記載のパーティション分割方法。

【請求項6】

前記境界ブロックは、完全に前記画像の内側になく、且つ完全に前記画像の外側にないブロックである、請求項１乃至５のいずれか一項に記載のパーティション分割方法。

【請求項7】

請求項１乃至６のいずれか一項に記載の前記パーティション分割方法に従ってブロックをパーティション分割することにより、前記ブロックを復号化する復号化方法。

【請求項8】

シーケンスパラメータセット（ＳＰＳ）を介して前記最小許容四分木リーフノードサイズを受信するステップをさらに含む、請求項７に記載の復号化方法。

【請求項9】

請求項１乃至６のいずれか一項に記載の前記パーティション分割方法に従ってブロックをパーティション分割することにより、前記ブロックを符号化する符号化方法。

【請求項10】

シーケンスパラメータセット（ＳＰＳ）を介して前記最小許容四分木リーフノードサイズを送信するステップをさらに含む、請求項９に記載の符号化方法。

【請求項11】

請求項１乃至６のいずれか一項に記載の前記パーティション分割方法に従ってブロックをパーティション分割することにより、前記ブロックを復号化するように構成された論理回路を含む復号化装置。

【請求項12】

前記論理回路は、シーケンスパラメータセット（ＳＰＳ）を介して前記最小許容四分木リーフノードサイズを受信するようにさらに構成される、請求項１１に記載の復号化装置。

【請求項13】

請求項１乃至６のいずれか一項に記載の前記パーティション分割方法に従ってブロックをパーティション分割することにより、前記ブロックを符号化するように構成された論理回路を含む符号化装置。

【請求項14】

命令を記憶するための非一時的な記憶媒体であって、前記命令がプロセッサによって実行されると、該プロセッサに請求項１乃至１０のいずれか一項に記載の方法のいずれかを実行させる、
非一時的な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、Futurewei Technologies, Inc.によって２０１８年７月１２日に出願された、“A Video Encoder, A Video Decoder and Corresponding Methods”という表題の米国仮特許出願第６２／６９７，２７４号及びFuturewei Technologies, Inc.によって２０１９年３月１５日に出願された、“Boundary Block Partitioning in Video Coding”という表題の米国仮特許出願第６２／８１８，９９６号に対して優先権を主張するものであり、これらの文献は参照により組み込まれる。

【0002】

本願の実施形態は、概して、ビデオ符号化の分野に関し、より具体的には、符号化ユニットの分割（splitting）及びパーティション分割（partitioning）に関する。

【背景技術】

【0003】

比較的短いビデオでも描写するために必要なビデオデータの量はかなりの量になる可能性があり、帯域幅容量が制限された通信ネットワークを介してデータをストリーミング又は通信する場合に問題が発生する可能性がある。こうして、ビデオデータは、現代の電気通信ネットワークを介して通信される前に通常圧縮される。ビデオが記憶装置に格納される場合に、メモリリソースが制限される可能性があるため、ビデオのサイズも問題になる可能性がある。ビデオ圧縮装置は、大抵の場合、ソースでソフトウェア及び／又はハードウェアを使用して送信又は保存の前にビデオデータを符号化し、それによりデジタルビデオ画像を表すために必要なデータの量を減らす。次に、圧縮したデータは、ビデオデータをデコードするビデオ解凍装置によって送信先で受信される。ネットワークリソースが限られており、且つより高いビデオ品質に対する要求が益々高まっているため、画質を殆ど又は全く犠牲にすることなく圧縮率を高める、改善した圧縮及び解凍技術が望まれている。

【発明の概要】

【0004】

本願（又は本開示）の実施形態は、エンコード及びデコードのための機器及び方法を提供する。

【0005】

第１の態様は、パーティション分割方法に関し、このパーティション分割方法は、画像の現在のブロックが境界ブロックであるかどうか、且つ現在のブロックのサイズが最小許容四分木リーフノードサイズよりも大きいかどうかを判定するステップと；現在のブロックが境界ブロックであり、且つ現在のブロックのサイズが最小許容四分木リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）より大きくない場合に、現在のブロックに強制二分木（ＢＴ）パーティション分割を適用するステップと；を含む。

【0006】

第１の態様自体による方法の第１の実施態様では、強制二分木パーティション分割は、現在のブロックが画像の下部境界に位置している場合に再帰的な水平方向の強制バイナリ・パーティション分割である、又は現在のブロックが画像の右側の境界に位置している場合に再帰的な垂直方向の強制境界パーティション分割である。

【0007】

第１の態様自体又は第１の態様の先行する任意の実施態様による方法の第２の実施態様では、強制二分木パーティション分割は、リーフノードブロックが画像内に入るまで継続される。

【0008】

第１の態様自体又は第１の態様の先行する任意の実施態様による方法の第３の実施態様では、強制バイナリ・パーティション分割は、現在のブロックのサブパーティションが画像の下部境界に配置されるまで、水平方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが画像の右側の境界に完全に配置されるまで、垂直方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0009】

第１の態様自体又は第１の態様の先行する任意の実施態様による方法の第４の実施態様では、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、垂直方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが右側の境界に完全に配置されるまで、水平方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0010】

第１の態様自体又は第１の態様の先行する任意の実施態様による方法の第５の実施態様では、方法は、非境界ブロックのパーティション分割を制御するために最小許容四分木リーフノードサイズを適用するステップをさらに含む。

【0011】

第１の態様自体又は第１の態様の先行する任意の実施態様による方法の第６の実施態様では、境界ブロックは、完全に画像の内側になく、且つ完全に画像の外側にないブロックである。

【0012】

第２の態様は、第１の態様自体又は第１の態様の先行する任意の実施態様に従ってブロックをパーティション分割することにより、ブロックをデコードするためのデコード化方法に関する。

【0013】

第２の態様自体による方法の第１の実施態様では、この方法は、シーケンスパラメータセット（ＳＰＳ）を介して最小許容四分木リーフノードサイズを受信するステップをさらに含む。

【0014】

第３の態様は、第１の態様自体又は第１の態様の先行する任意の実施態様に従ってブロックをパーティション分割することにより、ブロックをエンコードするためのエンコード化方法に関する。

【0015】

第３の態様自体による方法の第１の実施態様では、この方法は、シーケンスパラメータセット（ＳＰＳ）を介して最小許容四分木リーフノードサイズを送信するステップをさらに含む。

【0016】

第４の態様は、第１の態様自体又は第１の態様の先行する任意の実施態様のパーティション分割方法に従ってブロックをパーティション分割することにより、ブロックをデコードするように構成された論理回路を含むデコード化装置に関する。

【0017】

第４の態様自体によるデコード化装置の第１の実施態様では、論理回路は、シーケンスパラメータセット（ＳＰＳ）を介して最小許容四分木リーフノードサイズを受信するようにさらに構成される。

【0018】

第５の態様は、第１の態様自体又は第１の態様の先行する任意の実施態様のパーティション分割方法に従ってブロックをパーティション分割することにより、ブロックをエンコードするように構成された論理回路を含むエンコード化装置に関する。

【0019】

第５の態様自体によるエンコード化装置の第１の実施態様では、論理回路は、シーケンスパラメータセット（ＳＰＳ）を介して最小許容四分木リーフノードサイズを送信するようにさらに構成される。

【0020】

第６の態様は、命令を記憶するための非一時的な記憶媒体に関し、命令がプロセッサによって実行されると、プロセッサに、第１、第２、又は第３の態様自体のいずれか、或いは第１、第２、又は第３の態様の先行する任意の実施態様を実行させる。

【0021】

第７の態様は、方法に関し、この方法は、画像の現在のブロックが境界ブロックであり、且つ現在のブロックのサイズが最小許容四分木（ＱＴ）リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）以下であると判定を行うステップと；判定に応じて、現在のブロックに強制二分木（ＢＴ）パーティション分割を適用するステップと；を含む。

【0022】

第７の態様自体による方法の第１の実施態様では、現在のブロックは、画像の下部境界に位置しており、強制ＢＴパーティション分割は、再帰的な水平方向の強制ＢＴパーティション分割である。

【0023】

第７の態様自体又は第７の態様の先行する任意の実施態様による方法の第２の実施形態では、現在のブロックは、画像の右側の境界に位置しており、強制ＢＴパーティション分割は、再帰的な垂直方向の強制ＢＴパーティション分割である。

【0024】

第７の態様自体又は第７の態様の先行する任意の実施態様による方法の第３の実施態様では、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、水平方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが右側の境界に完全に配置されるまで、垂直方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0025】

第７の態様自体又は第７の態様の先行する任意の実施態様による方法の第４の実施態様では、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、垂直方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが右側の境界に完全に配置されるまで、水平方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0026】

第７の態様自体又は第７の態様の先行する任意の実施態様による方法の第５の実施態様では、この方法は、非境界ブロックのパーティション分割を制御するためにＭｉｎＱＴＳｉｚｅを適用するステップをさらに含む。

【0027】

第７の態様自体又は第７の態様の先行する任意の実施態様による方法の第６の実施態様では、この方法は、シーケンスパラメータセット（ＳＰＳ）を介してＭｉｎＱＴＳｉｚｅを受信するステップをさらに含む。

【0028】

第７の態様自体又は第７の態様の先行する任意の実施態様による方法の第７の実施態様では、この方法は、シーケンスパラメータセット（ＳＰＳ）を介してＭｉｎＱＴＳｉｚｅを送信するステップをさらに含む。

【0029】

第８の態様は、機器に関し、この機器は、メモリと；メモリに結合されるプロセッサと；を含み、プロセッサは、画像の現在のブロックが境界ブロックであるかどうかを判定し；現在のブロックが境界ブロックである場合に、現在のブロックのサイズが最小許容四分木（ＱＴ）リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）より大きいかどうかを判定し；現在のブロックのサイズがＭｉｎＱＴＳｉｚｅより大きくない場合に、現在のブロックに強制二分木（ＢＴ）パーティション分割を適用する；ように構成される。

【0030】

第８の態様自体による機器の第１の実施態様では、強制ＢＴパーティション分割は、現在のブロックが画像の下部境界に位置している場合に再帰的な水平方向の強制ＢＴパーティション分割である、又は現在のブロックが画像の右側の境界に位置している場合に再帰的な垂直方向の強制ＢＴパーティション分割である。

【0031】

第８の態様自体又は第８の態様の先行する任意の実施態様による機器の第２の実施態様では、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、水平方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが右側の境界に完全に配置されるまで、垂直方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0032】

第８の態様自体又は第８の態様の先行する任意の実施態様による機器の第３の実施態様では、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、垂直方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが右側の境界に完全に配置されるまで、水平方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0033】

第８の態様自体又は第８の態様の先行する任意の実施態様による機器の第４の実施態様では、プロセッサは、非境界ブロックのパーティション分割を制御するためにＭｉｎＱＴＳｉｚｅを適用するようにさらに構成される。

【0034】

第８の態様自体又は第８の態様の先行する任意の実施態様による機器の第５の実施態様では、機器は、プロセッサに結合され、且つシーケンスパラメータセット（ＳＰＳ）を介してＭｉｎＱＴＳｉｚｅを受信するように構成された受信機をさらに含む。

【0035】

第８の態様自体又は第８の態様の先行する任意の実施態様による機器の第６の実施態様では、機器は、プロセッサに結合され、且つシーケンスパラメータセット（ＳＰＳ）を介してＭｉｎＱＴＳｉｚｅを送信するように構成された送信機をさらに含む。

【0036】

第９の態様は、非一時的な媒体に記憶されたコンピュータ実行可能命令を含むコンピュータプログラム製品に関し、命令がプロセッサによって実行されると、機器に、画像の現在のブロックが境界ブロックであるかどうかを判定することと；現在のブロックが境界ブロックである場合に、現在のブロックのサイズが最小許容四分木（ＱＴ）リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）より大きいかどうかを判別することと；現在のブロックのサイズ０がＭｉｎＱＴＳｉｚｅより大きくない場合に、現在のブロックに強制二分木（ＢＴ）パーティション分割を適用することと；を行わせる。

【0037】

第９の態様自体によるコンピュータプログラム製品の第１の実施態様では、強制ＢＴパーティション分割は、現在のブロックが画像の下部境界に位置している場合に再帰的な水平方向の強制ＢＴパーティション分割である、又は現在のブロックが画像の右側の境界に位置している場合に再帰的な垂直方向の強制ＢＴパーティション分割である。

【0038】

第９の態様自体又は第９の態様の先行する任意の実施態様によるコンピュータプログラム製品の第２の実施態様では、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、水平方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが右側の境界に完全に配置されるまで、垂直方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0039】

第９の態様自体又は第９の態様の先行する任意の実施態様によるコンピュータプログラム製品の第３の実施態様では、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、垂直方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと；リーフノードが右側の境界に完全に配置されるまで、水平方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと；を含む。

【0040】

第９の態様自体又は第９の態様の先行する任意の実施態様によるコンピュータプログラム製品の第４の実施形態では、命令はさらに、機器に、非境界ブロックのパーティション分割を制御するためにＭｉｎＱＴＳｉｚｅを適用させる。

【0041】

第９の態様自体又は第９の態様の先行する任意の実施態様によるコンピュータプログラム製品の第５の実施態様では、命令はさらに、機器に、シーケンスパラメータセット（ＳＰＳ）を介してＭｉｎＱＴＳｉｚｅを受信させる。

【0042】

第９の態様自体又は第９の態様の先行する任意の実施態様によるコンピュータプログラム製品の第６の実施態様では、命令はさらに、機器に、シーケンスパラメータセット（ＳＰＳ）を介してＭｉｎＱＴＳｉｚｅを送信させる。

【0043】

明確にするために、本明細書に開示される実施形態のいずれか１つを、他の実施形態のいずれか１つ又は複数と組み合わせて、本開示の範囲内で新しい実施形態を形成することができる。

【0044】

これら及び他の特徴は、添付の図面及び特許請求の範囲と併せて考慮される以下の詳細な説明からより明確に理解されるであろう。

【図面の簡単な説明】

【0045】

本開示のより完全な理解のために、添付の図面及び詳細な説明に関連して考慮される以下の簡単な説明が参照され、同様の参照符号は同様の部分を表す。

【図1A】本開示の実施形態を実現することができる例示的な符号化システムを示すブロック図である。

【図1B】本開示の実施形態を実現することができる別の例示的な符号化システムを示すブロック図である。

【図2】本開示の実施形態を実現することができる例示的なビデオエンコーダを示すブロック図である。

【図3】本開示の実施形態を実現することができるビデオデコーダの例を示すブロック図である。

【図4】本開示の一実施形態によるネットワーク装置の概略図である。

【図5】例示的な実施形態による図１Ａの送信元装置１２及び送信先装置１４のいずれか又は両方を使用することができる機器の簡略化したブロック図である。

【図6】図６Ａ～図６ＦはＶＶＣにおける様々なＣＵ分割モードを示す図である。

【図7A】ＨＤ（１９２０×１０８０）の下部境界ＣＴＵ（１２８×１２８）強制ＱＴパーティションを示す図である。

【図7B】本開示の一実施形態による、ＨＤ（１９２０×１０８０）の下部境界ＣＴＵ（１２８×１２８）強制ＢＴパーティションを示す図である。

【図8】例示的な境界規定を示す図である。

【図9A】本開示の一実施形態による、コーナーケース強制ＱＴＢＴパーティションの例を示す図である。

【図9B】本開示の一実施形態による、コーナーにあるブロックに関する強制ＱＴＢＴパーティションの例を示す図である。

【図10】境界規定の実施形態を示す図である。

【発明を実施するための形態】

【0046】

最初に、１つ又は複数の実施形態の例示的な実施態様が以下に提供されるが、開示するシステム及び／又は方法は、現在知られているか又は存在するかにかかわらず、任意の数の技術を使用して実現できることを理解されたい。本開示は、本明細書で例示及び説明する例示的な設計及び実施態様を含む、以下で例示する例示的な実施態様、図面、及び技術に決して限定すべきではなく、それらの全範囲の同等物とともに添付の特許請求の範囲内で修正され得る。

【0047】

図１Ａは、本開示の実施形態を実現することができる例示的な符号化システム１０、例えばビデオ符号化システム１０を示すブロック図である。符号化システム１０は、予測技術、例えば双方向予測技術を利用することができる。図１Ａに示されるように、符号化システム１０は、（送信先（destination：宛先）装置１４によって後でデコードされる）エンコード化ビデオデータを提供する送信元（source：ソース）装置１２を含む。特に、送信元装置１２は、ビデオデータを、コンピュータ可読媒体１６を介して送信先装置１４に提供することができる。送信元装置１２及び送信先装置１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」電話、いわゆる「スマート」パッド等の電話ハンドセット、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、又はビデオストリーミング装置等を含む、広範囲の装置を含むか、又はそれらのいずれかであり得る。場合によっては、送信元装置１２及び送信先装置１４は、無線通信のために装備され得る。

【0048】

送信先装置１４は、コンピュータ可読媒体１６を介してデコード化されるエンコード化ビデオデータを受信することができる。コンピュータ可読媒体１６は、エンコード化ビデオデータを送信元装置１２から送信先装置１４に移動することができる任意のタイプの媒体又は装置を含むことができる。一例では、コンピュータ可読媒体１６は、送信元装置１２がエンコード化ビデオデータを送信先装置１４にリアルタイムで直接送信するのを可能にする通信媒体を含み得る。エンコード化ビデオデータは、無線通信プロトコル等の通信規格に従って変調され、送信先装置１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル或いは１つ又は複数の物理的な伝送ライン等の任意の無線又は有線通信媒体を含み得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク等のパケットベースのネットワーク、又はインターネット等のグローバルネットワークの一部を形成することができる。通信媒体は、送信元装置１２から送信先装置１４への通信を容易にするのに有用であり得るルータ、スイッチ、基地局、又は他の任意の機器を含み得る。

【0049】

いくつかの例では、エンコード化データは、出力インターフェイス２２から記憶装置に出力され得る。同様に、エンコード化データは、入力インターフェイス２８によって記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、デジタルビデオディスク（ＤＶＤ）、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性又は不揮発性メモリ、又はエンコード化ビデオデータを格納するための任意の他の適切なデジタルストレージメディア等の様々な分散又はローカルアクセスされるデータ記憶媒体のいずれかを含み得る。更なる例では、記憶装置は、送信元装置１２によって生成されたエンコード化ビデオを記憶し得るファイルサーバ又は別の中間記憶装置に対応し得る。送信先装置１４は、ストリーミング又はダウンロードを介して記憶装置から格納したビデオデータにアクセスすることができる。ファイルサーバは、エンコード化ビデオデータを格納し、そのエンコード化ビデオデータを送信先装置１４に送信することができる任意のタイプのサーバであり得る。ファイルサーバの例には、（例えば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、又はローカルディスクドライブが含まれる。送信先装置１４は、インターネット接続を含む任意の標準データ接続を介して、エンコード化ビデオデータにアクセスすることができる。これには、無線チャネル（例えば、Ｗｉ－Ｆｉ（登録商標）接続）、有線接続（例えば、デジタル加入者線（ＤＳＬ）、ケーブルモデム等）、又はファイルサーバに格納したエンコード化ビデオデータへのアクセスに適した両方の組合せが含まれ得る。記憶装置からのエンコード化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はこれらの組合せであり得る。

【0050】

本開示の技術は、必ずしも無線用途又は設定に限定されない。この技術は、地上波テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ＨＴＴＰを介した動的適応ストリーミング（ＤＡＳＨ）等のインターネットストリーミングビデオ送信、データ記憶媒体上にエンコード化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオのデコード化、又は他のアプリケーション等の様々なマルチメディアアプリケーションのいずれかをサポートするビデオ符号化に適用できる。いくつかの例では、符号化システム１０は、ビデオストリーミング、ビデオ再生、ビデオ放送、及び／又はビデオ電話等のアプリケーションをサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。

【0051】

図１Ａの例では、送信元装置１２は、ビデオソース１８、ビデオエンコーダ２０、及び出力インターフェイス２２を含む。送信先装置１４は、入力インターフェイス２８、ビデオデコーダ３０、及び表示装置３２を含む。本開示によれば、送信元装置１２のビデオエンコーダ２０及び／又は送信先装置１４のビデオデコーダ３０は、予測、例えば双方向予測のための技術を適用するように構成され得る。他の例では、送信元装置１２及び送信先装置１４は、他のコンポーネント又は構成を含み得る。例えば、送信元装置１２は、外部カメラ等の外部ビデオソースからビデオデータを受信することができる。同様に、送信先装置１４は、一体化された表示装置を含むのではなく、外部表示装置とインターフェイス接続することができる。

【0052】

図１Ａの例示される符号化システム１０は、単なる一例である。予測、例えば双方向予測のための技術は、任意のデジタルビデオエンコード化及び／又はデコード化装置によって実行され得る。本開示の技術は、一般に、ビデオ符号化装置によって実行されるが、技術は、典型的には「コーデック（ＣＯＤＥＣ）」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。さらに、本開示の技術は、ビデオプリプロセッサによっても実行され得る。ビデオエンコーダ及び／又はデコーダは、グラフィック処理装置（ＧＰＵ）又は同様の装置であり得る。

【0053】

送信元装置１２及び送信先装置１４は、送信元装置１２が送信先装置１４に送信するために符号化ビデオデータを生成するそのような符号化装置の単なる例である。いくつかの例では、送信元装置１２及び送信先装置１４は、送信元装置１２及び送信先装置１４のそれぞれがビデオエンコード化及びデコード化コンポーネントを含むように、実質的に対称的な方法で動作し得る。こうして、符号化システム１０は、例えばビデオストリーミング、ビデオ再生、ビデオ放送、又はビデオ電話のために、ビデオ装置１２、１４の間の一方向又は双方向のビデオ伝送をサポートし得る。

【0054】

送信元装置１２のビデオソース１８は、ビデオカメラ等のビデオ取込み装置、以前に取り込んだビデオを含むビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェイスを含み得る。更なる代替として、ビデオソース１８は、ソースビデオとして、又はライブビデオ、アーカイブビデオ、及びコンピュータで生成されたビデオの組合せとして、コンピュータグラフィックスベースのデータを生成することができる。

【0055】

場合によっては、ビデオソース１８がビデオカメラである場合に、送信元装置１２及び送信先装置１４は、いわゆるカメラ付き携帯電話又はビデオ電話を形成し得る。しかしながら、上記のように、本開示で説明する技術は、一般にビデオ符号化に適用可能であり得、且つ無線及び／又は有線アプリケーションに適用され得る。いずれの場合にも、取り込んだ、事前に取り込んだ、又はコンピュータで生成されたビデオは、ビデオエンコーダ２０によってエンコードされ得る。次に、エンコード化されたビデオ情報は、出力インターフェイス２２によってコンピュータ可読媒体１６に出力され得る。

【0056】

コンピュータ可読媒体１６は、無線放送又は有線ネットワーク伝送等の一時的媒体を含み得るか、又はコンピュータ可読媒体１６は、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、又は他のコンピュータ可読媒体等の非一時的な記憶媒体を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、送信元装置１２からエンコード化ビデオデータを受信し、エンコード化ビデオデータを例えばネットワーク送信を介して送信先装置１４に提供することができる。同様に、ディスクスタンピング設備等の媒体生産設備のコンピューティング装置は、送信元装置１２からエンコード化ビデオデータを受信し、エンコード化ビデオデータを含むディスクを製造することができる。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むと理解され得る。

【0057】

送信先装置１４の入力インターフェイス２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって規定される構文情報を含み得、この構文情報はビデオデコーダ３０によっても使用され、この構文情報には、ブロック及び他の符号化ユニット、例えば画像のグループ（ＧＯＰ）の特性及び／又は処理を説明する構文要素が含まれる。表示装置３２は、デコード化ビデオデータをユーザに表示し、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＤＣ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプの表示装置等の様々な表示装置のいずれかを含み得る。

【0058】

ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオ符号化（ＨＥＶＣ）規格等のビデオ符号化規格に従って動作することができ、ＨＥＶＣテストモデル（ＨＭ）に準拠することができる。あるいはまた、ビデオエンコーダ２０及びビデオデコーダ３０は、国際電気通信連合電気通信標準化セクタ（ＩＴＵ－Ｔ）Ｈ．２６４規格、あるいはモーションピクチャーエキスパートグループ（ＭＰＥＧ）－４、パート１０、ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ、ＩＴＵ－Ｔ及びＭＰＥＧによって現在開発中のＶＶＣ（Versatile Video Coding）ドラフト規格、又はそのような規格の拡張と呼ばれる他の専有又は業界標準に従って動作することができる。しかしながら、本開示の技術は、特定の符号化規格に限定されない。ビデオ符号化規格の他の例には、ＭＰＥＧ－２及びＩＴＵ－Ｔ Ｈ．２６３が含まれる。図１Ａには示されていないが、いくつかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びデコーダと統合され得、且つ共通のデータストリーム又は個別のデータストリームでオーディオとビデオとの両方のエンコード化を処理するための適切なマルチプレクサ－デマルチプレクサ（ＭＵＸ－ＤＥＭＵＸ）ユニット又は他のハードウェア及びソフトウェアを含み得る。該当する場合に、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ－Ｔ Ｈ．２２３マルチプレクサプロトコル又はユーザデータグラムプロトコル（ＵＤＰ）等の他のプロトコルに準拠し得る。

【0059】

ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、グラフィック処理装置（ＧＰＵ）、プロセッサ（例えばプログラマブル、例えばソフトウェアプログラマブル）、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せ等の、様々な適切なエンコーダ又はデコーダ回路のいずれかとして、又は汎用論理回路又はコーダ回路として実現され得る。技術がソフトウェアで部分的に実現される場合に、装置は、ソフトウェアの命令を適切な非一時的なコンピュータ可読媒体に記憶し、１つ又は複数のプロセッサを使用してハードウェアで命令を実行して、本開示の技術を実行することができる。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれは、１つ又は複数のエンコーダ又はデコーダに含まれ得、それらエンコーダ又はデコーダのいずれかは、それぞれの装置内に組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む装置は、集積回路、マイクロプロセッサ、及び／又は携帯電話等の無線通信装置を含み得る。

【0060】

図１Ｂは、例示的な実施形態による、図２のビデオエンコーダ２０及び／又は図３のビデオデコーダ３０を含む例示的なビデオ符号化システム４０の例示的な図である。ビデオ符号化システム４０は、この本願の技術を実現することができる。図示の実施態様では、ビデオ符号化システム４０は、画像化装置４１、ビデオエンコーダ２０、ビデオデコーダ３０（及び／又は処理装置４６の論理回路４７を介して実現されるビデオコーダ）、アンテナ４２、１つ又は複数のプロセッサ４３、１つ又は複数のメモリ又はメモリストア４４、及び／又は表示装置４５を含み得る。示されるように、画像化装置４１、アンテナ４２、処理装置４６、論理回路４７、ビデオエンコーダ２０、ビデオデコーダ３０、プロセッサ４３、メモリストア４４、及び／又は表示装置４５は、互いに通信することができ得る。説明したように、図１Ｂは、ビデオエンコーダ２０とビデオデコーダ３０との両方を示しているが、ビデオ符号化システム４０は、様々な例において、ビデオエンコーダ２０のみ、又はビデオデコーダ３０のみを含み得る。

【0061】

示されるように、いくつかの例では、ビデオ符号化システム４０は、アンテナ４２を含み得る。アンテナ４２は、例えば、ビデオデータのエンコード化ビットストリームを送信又は受信するように構成され得る。さらに、いくつかの例では、ビデオ符号化システム４０は、表示装置４５を含み得る。

【0062】

表示装置４５は、ビデオデータを提示するように構成され得る。示されるように、いくつかの例では、論理回路４７は、処理装置４６を介して実現され得る。処理装置４６は、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックプロセッサ、又は汎用プロセッサ等を含み得る。ビデオ符号化システム４０は、オプションのプロセッサ４３も含み得、このプロセッサは、同様に、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックプロセッサ、又は汎用プロセッサ等を含み得る。いくつかの例では、論理回路４７は、ハードウェア、又はビデオ符号化専用ハードウェア等を介して実現され得、プロセッサ４３は、汎用ソフトウェア、又はオペレーティングシステム等によって実現され得る。さらに、メモリストア４４は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）等）、又は不揮発性メモリ（例えば、フラッシュメモリ等）等の任意のタイプのメモリであり得る。非限定的な例では、メモリストア４４は、キャッシュメモリによって実現され得る。いくつかの例では、論理回路４７は、（例えば、画像バッファの実行のために）メモリストア４４にアクセスすることができる。他の例では、論理回路４７及び／又は処理装置４６は、画像バッファ等の実行のためのメモリストア（例えば、キャッシュ等）を含み得る。

【0063】

グラフィック処理装置は、論理回路４７を介して実行されるビデオエンコーダ２０を含み、図２に関して説明するような様々なモジュール及び／又は本明細書で説明する任意の他のエンコーダシステム又はサブシステムを具体化することができる。論理回路４７は、本明細書で議論する様々な動作を実行するように構成され得る。ビデオデコーダ３０は、論理回路４７を介して実行されるのと同様の方法で実現されて、図３のデコーダ３０に関して説明するような様々なモジュール及び／又は本明細書で説明する任意の他のデコーダシステム又はサブシステムを具体化することができる。いくつかの例では、ビデオエンコーダ２０及びビデオデコーダ３０は、論理回路を介して実行され得、（例えば、処理装置４６又はメモリストア４４のいずれかを介した）画像バッファ、及び（例えば、処理装置４６を介した）グラフィック処理装置（ＧＰＵ）を含み得る。グラフィック処理装置は、画像バッファに通信可能に結合され得る。グラフィック処理装置は、論理回路４７を介して実行されるビデオデコーダ３０を含み、図３に関して説明するような様々なモジュール及び／又は本明細書で説明する任意の他のデコーダシステム又はサブシステムを具体化することができる。

【0064】

いくつかの例では、ビデオ符号化システム４０のアンテナ４２は、ビデオデータのエンコード化ビットストリームを受信するように構成され得る。議論されるように、エンコード化ビットストリームは、符号化パーティションに関連するデータ（例えば、変換係数又は量子化変換係数、（議論するような）オプションのインジケータ、及び／又は符号化パーティションを規定するデータ）等の本明細書で議論するような、ビデオフレームのエンコード化に関連するデータ、インジケータ、インデックス値、又はモード選択データ等を含み得る。ビデオ符号化システム４０は、アンテナ４２に結合され、且つエンコード化ビットストリームをデコードするように構成されたビデオデコーダ３０も含み得る。表示装置４５は、ビデオフレームを提示するように構成される。

【0065】

図２は、本願の技術を実施することができるビデオエンコーダ２０の例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラ符号化（intra-coding：ブロック内符号化）及びインター符号化（inter-coding：ブロック間符号化）を実行することができる。イントラ符号化は、空間的予測に依存して、所与のビデオフレーム又は画像内のビデオの空間的冗長性を低減又は除去する。インター符号化は、時間予測に依存して、ビデオシーケンスの隣接するフレーム又は画像内のビデオの時間的冗長性を低減又は除去する。イントラモード（Ｉモード）は、いくつかの空間ベースの符号化モードのいずれかを指し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）等のインターモードは、いくつかの時間ベースの符号化モードのいずれかを指し得る。

【0066】

図２に示されるように、ビデオエンコーダ２０は、エンコードされるビデオフレーム内の現在のビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０、参照フレームメモリ６４、加算器（summer）５０、変換処理装置５２、量子化ユニット５４、及びエントロピー符号化ユニット５６を含む。モード選択ユニット４０は、動き補償ユニット４４、動き推定ユニット４２、イントラ予測ユニット４６、及びパーティションユニット４８を含む。ビデオブロック再構成のために、ビデオエンコーダ２０は、逆量子化ユニット５８、逆変換ユニット６０、及び加算器６２も含む。ブロック境界をフィルタ処理して再構成したビデオからブロック性アーチファクトを除去するために、デブロッキング（deblocking）フィルタ（図２に示されない）も含まれ得る。必要に応じて（例えば、アクティブ化又は少しでも実施される場合に）、デブロッキングフィルタは加算器６２の出力をフィルタ処理する。デブロッキングフィルタに加えて、追加のフィルタ（ループ内又はループ後）を使用してもよい。このようなフィルタは簡潔にするために示されていないが、必要に応じて、例えば、加算器５０の出力を（ループ内フィルタとして）フィルタ処理することができる。

【0067】

エンコード化プロセス中に、ビデオエンコーダ２０は、符号化されるビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、１つ又は複数の参照フレーム内の１つ又は複数のブロックに対して受信したビデオブロックのインター予測（inter-predictive：ブロック間予測）符号化を実行して、時間的予測を提供する。あるいはまた、イントラ予測ユニット４６は、符号化されるブロックと同じフレーム又はスライス内の１つ又は複数の隣接ブロックに対して受信したビデオブロックのイントラ予測（intra-predictive：ブロック内予測）符号化を実行して、空間的予測を提供することができる。ビデオエンコーダ２０は、例えば、ビデオデータの各ブロックに対して適切な符号化モードを選択するために、複数の符号化パスを実行することができる。

【0068】

さらに、パーティションユニット４８は、以前の符号化パス又はステップにおける以前のパーティション分割スキームの評価に基づいて、ビデオデータのブロックをサブブロック又はパーティションにパーティション分割することができる。例えば、パーティションユニット４８は、最初にフレーム又はスライスを最大の符号化ユニット（ＬＣＵ）にパーティション分割し、レート歪み解析（例えば、レート歪みの最適化）に基づいて、各ＬＣＵをサブ符号化ユニット（サブＣＵ）にパーティション分割することができる。モード選択ユニット４０は、ＬＣＵのサブＣＵへのパーティション分割を示す又は表す四分木データ構造をさらに生成することができる。四分木のリーフノードＣＵには、１つ又は複数の予測ユニット（ＰＵ）と１つ又は複数の変換ユニット（ＴＵ）とが含まれる場合がある。

【0069】

本開示は、例えば、ＨＥＶＣ又はＶＶＣの文脈におけるＣＵ、ＰＵ、又はＴＵのいずれか、又は他の規格（例えば、Ｈ．２６４／ＡＶＣのマクロブロック及びサブブロック）の文脈における同様のデータ構造を指すために、「ブロック」という用語を使用する。ＣＵは、例えば、符号化ノード、ＰＵ、及び符号化ノードに関連するＴＵを含む。ＣＵのサイズは、符号化ノードのサイズに対応し、例えば、形状が正方形である。ＣＵのサイズは、８×８ピクセルから最大６４×６４ピクセル以上、例えば１２８×１２８ピクセルのツリーブロックのサイズまでの範囲であり得る。各ＣＵには、１つ又は複数のＰＵ及び１つ又は複数のＴＵを含めることができる。ＣＵに関連する構文データは、例えば、ＣＵを１つ又は複数のＰＵにパーティション分割することを記述し得る。パーティション分割モードは、ＣＵがスキップ又はダイレクトモードでエンコードされているか、イントラ予測モードでエンコードされているか、又はインター予測モードでエンコードされているかによって異なる場合がある。ＰＵは、形状が非正方形になるようにパーティション分割され得る。ＣＵに関連する構文データはまた、例えば、四分木に従ってＣＵを１つ又は複数のＴＵにパーティション分割することを記述し得る。一実施形態では、ＣＵ、ＰＵ、又はＴＵは、形状が正方形又は非正方形（例えば、長方形）であり得る。

【0070】

モード選択ユニット４０は、例えばエラー結果に基づいて、イントラ又はインターの符号化モードの１つを選択し、結果として生じるイントラ符号化又はインター符号化ブロックを加算器５０に提供して残余ブロックデータを生成し、結果として生じるイントラ符号化又はインター符号化ブロックを加算器６２に提供して参照フレームとして使用するためにエンコード化ブロックを再構成する。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、及び／又は他のそのような構文情報等の構文要素を、エントロピー符号化ユニット５６に提供する。

【0071】

動き推定ユニット４２及び動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（又は他の符号化ユニット）内で符号化されている現在のブロックに対する、参照フレーム（又は他の符号化ユニット）内の予測ブロックに対する現在のビデオフレーム又は画像内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、ピクセルの差に関して符号化されるブロックと厳密に一致すると分かったブロックであり、このピクセルの差は、絶対差の合計（SAD）、二乗の差の合計（SSD）、又は他のメトリック差によって決定される。いくつかの例では、ビデオエンコーダ２０は、参照フレームメモリ６４に格納された参照画像のサブ整数ピクセル位置の値を計算することができる。例えば、ビデオエンコーダ２０は、参照画像の４分の１ピクセル位置、８分の１ピクセル位置、又は他の分数ピクセル位置の値を補間することができる。従って、動き推定ユニット４２は、完全なピクセル位置及び分数のピクセル位置に対して動き検索を実行し、分数ピクセル精度で動きベクトルを出力することができる。

【0072】

動き推定ユニット４２は、ＰＵの位置を参照画像の予測ブロックの位置と比較することによって、インター符号化スライス内のビデオブロックのＰＵの動きベクトルを計算する。参照画像は、第１の参照画像リスト（リスト０）又は第２の参照画像リスト（リスト１）から選択することができ、これらリストはそれぞれ、参照フレームメモリ６４に格納された１つ又は複数の参照画像を識別する。動き推定ユニット４２は、計算した動きベクトルをエントロピー符号化ユニット５６及び動き補償ユニット４４に送信する。

【0073】

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて、予測ブロックをフェッチ又は生成することを含み得る。再び、動き推定ユニット４２及び動き補償ユニット４４は、いくつかの例では、機能的に統合され得る。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが指す予測ブロックを参照画像リストの１つで見つけることができる。加算器５０は、符号化されている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を差し引くことによって残余ビデオブロックを形成し、以下で説明するようにピクセル差値を形成する。一般に、動き推定ユニット４２は、輝度成分に対する動き推定を実行し、動き補償ユニット４４は、彩度成分と輝度成分との両方の輝度成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０は、ビデオスライスのビデオブロックをデコードする際にビデオデコーダ３０によって使用されるために、ビデオブロック及びビデオスライスに関連する構文要素を生成することもできる。

【0074】

イントラ予測ユニット４６は、上記のように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測ユニット４６は、現在のブロックをエンコードするために使用するイントラ予測モードを決定することができる。いくつかの例では、イントラ予測ユニット４６は、例えば、別個のエンコード化パス又はステップ中に、様々なイントラ予測モードを使用して現在のブロックをエンコードすることができ、及びイントラ予測ユニット４６（又はいくつかの例ではモード選択ユニット４０）は、テストしたモードから使用する適切なイントラ予測モードを選択できる。

【0075】

例えば、イントラ予測ユニット４６は、テストした様々なイントラ予測モードのレート歪み解析を使用してレート歪み値を計算し、テストしたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択することができる。レート歪み解析は、一般に、エンコード化ブロックと、エンコード化ブロックを生成するためにエンコードされた元のエンコードされていないブロックとの間の歪み（又はエラー）の量、及びエンコード化ブロックを生成するために使用されるビットレート（つまり、ビット数）を決定する。イントラ予測ユニット４６は、様々なエンコード化ブロックの歪み及びレートから比率を計算して、どのイントラ予測モードがブロックに対して最良のレート歪み値を示すかを決定することができる。

【0076】

さらに、イントラ予測ユニット４６は、深度モデリングモード（ＤＭＭ）を使用して深度マップの深度ブロックを符号化するように構成され得る。モード選択ユニット４０は、例えば、レート歪みの最適化（ＲＤＯ）を使用して、利用可能なＤＭＭモードがイントラ予測モード及び他のＤＭＭモードよりも良好な符号化結果を生成するかどうかを判定することができる。深度マップに対応するテクスチャ画像のデータは、参照フレームメモリ６４に格納され得る。動き推定ユニット４２及び動き補償ユニット４４は、深度マップの深度ブロックをインター予測するようにも構成され得る。

【0077】

ブロックのイントラ予測モード（例えば、従来のイントラ予測モード又はＤＭＭモードの１つ）を選択した後に、イントラ予測ユニット４６は、ブロックの選択したイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択したイントラ予測モードを示す情報をエンコードすることができる。ビデオエンコーダ２０は、様々なブロックのコンテキストをエンコード化する規定、各コンテキストに使用する最も可能性の高いイントラ予測モード、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指標を、（複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）を含み得る）送信されたビットストリーム構成データに含めることができる。

【0078】

ビデオエンコーダ２０は、符号化されている元のビデオブロックからモード選択ユニット４０からの予測データを差し引くことによって、残余ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数のコンポーネントを表す。

【0079】

変換処理装置５２は、離散コサイン変換（ＤＣＴ）又は概念的に類似した変換等の変換を残余ブロックに適用し、残余変換係数値を含むビデオブロックを生成する。変換処理装置５２は、概念的にＤＣＴと同様の他の変換を実行することができる。ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換も使用できる。

【0080】

変換処理装置５２は、変換を残余ブロックに適用し、残余変換係数のブロックを生成する。変換は、残余情報をピクセル値ドメインから周波数ドメイン等の変換ドメインに変換することができる。変換処理装置５２は、結果として生じる変換係数を量子化ユニット５４に送信することができる。量子化ユニット５４は、変換係数を量子化して、ビットレートをさらに低減する。量子化プロセスは、係数の一部又は全てに関連するビット深度を減らし得る。量子化の程度は、量子化パラメータを調整することによって変更することができる。いくつかの例では、次に、量子化ユニット５４は、量子化した変換係数を含むマトリックスのスキャンを実行することができる。あるいはまた、エントロピーエンコード化ユニット５６がスキャンを実行してもよい。

【0081】

量子化に続いて、エントロピー符号化ユニット５６は、量子化した変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率区間パーティション分割エントロピー（ＰＩＰＥ）符号化、又は別のエントロピー符号化技術を実行することができる。コンテキストベースのエントロピー符号化の場合に、コンテキストは、隣接するブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピー符号化に続いて、エンコード化ビットストリームは、別の装置（例えば、ビデオデコーダ３０）に送信されるか、又は後の送信又は検索のためにアーカイブされ得る。

【0082】

逆量子化ユニット５８及び逆変換ユニット６０は、それぞれ、逆量子化及び逆変換を適用して、例えば、後で参照ブロックとして使用するために、ピクセル領域内の残余ブロックを再構成する。動き補償ユニット４４は、例えば参照フレームメモリ６４のフレームのうちの１つの参照フレームから導出される予測（prediction）ブロック（予測（predictive）ブロックとも呼ばれる）、例えば、動きベクトル及び対応する参照ブロックに基づく動き補償予測ブロックを決定することができる。動き補償ユニット４４は、１つ又は複数の補間フィルタを適用して、動きの推定又は補償に使用するために参照ブロックのサブ整数ピクセル値を計算することもできる。加算器６２は、再構成した残余ブロックを動き補償ユニット４４によって生成された（動き補償された）予測ブロックに追加して、参照フレームメモリ６４に記憶するための再構成したビデオブロックを生成する。再構成したビデオブロックは、動き推定ユニット４２及び動き補償ユニット４４によって、後続のビデオフレーム内のブロックをインター符号化するための参照ブロックとして使用され得る。

【0083】

ビデオエンコーダ２０の他の構造的変形を使用して、ビデオストリームをエンコードすることができる。例えば、非変換ベースのビデオエンコーダ２０は、特定のブロック又はフレームについて、変換処理装置５２なしで、残差信号を直接量子化することができる。別の実施態様では、エンコーダ２０は、量子化ユニット５４及び逆量子化ユニット５８を単一のユニットに組み合わせることができる。

【0084】

図３は、この本願の技術を実施することができるビデオデコーダ３０の例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピーデコード化ユニット７０、動き補償ユニット７２、イントラ予測ユニット７４、逆量子化ユニット７６、逆変換ユニット７８、参照フレームメモリ８２、及び加算器８０を含む。ビデオデコーダ３０は、いくつかの例では、図２のビデオエンコーダ２０に関して説明したエンコード化パス又は経路に概ね逆のデコード化パス又は経路を実行することができる。動き補償ユニット７２は、エントロピーデコード化ユニット７０から受信した動きベクトルに基づいて予測データを生成することができる一方、イントラ予測ユニット７４は、エントロピーデコード化ユニット７０から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。

【0085】

デコード化プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から生成されたエンコード化されたビデオスライスのビデオブロック及び関連する構文要素を表すエンコード化されたビデオビットストリームを受信する。ビデオデコーダ３０のエントロピーデコード化ユニット７０は、ビットストリームをエントロピーデコード化して、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他の構文要素を生成する。エントロピーデコード化ユニット７０は、動きベクトル及び他の構文要素を動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルで構文要素を受信することができる。

【0086】

ビデオスライスがイントラ符号化（Ｉ）スライスとして符号化される場合に、イントラ予測ユニット７４は、現在のフレーム又は画像の以前デコード化されたブロックからの信号化されたイントラ予測モード及びデータに基づいて、現在のビデオスライスのビデオブロックの予測データを生成し得る。ビデオフレームがインター符号化（すなわち、Ｂ、Ｐ、又はＧＰＢ）スライスとして符号化されると、動き補償ユニット７２は、エントロピーデコード化ユニット７０から受信した動きベクトル及び他の構文要素に基づいて、現在のビデオスライスのビデオブロックの予測ブロックを生成する。予測ブロックは、参照画像リストのうちの１つのリスト内の参照画像のうちの１つの画像から生成され得る。ビデオデコーダ３０は、参照フレームメモリ８２に格納された参照画像に基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト０及びリスト１を構成することができる。

【0087】

動き補償ユニット７２は、動きベクトル及び他の構文要素を解析することによって現在のビデオスライスのビデオブロックの予測情報を決定し、予測情報を使用して、デコードされている現在のビデオブロックの予測ブロックを生成する。例えば、動き補償ユニット７２は、受信した構文要素のいくつかを使用して、ビデオスライスのビデオブロックを符号化するために使用される予測モード（例えば、イントラ予測又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの１つ又は複数の参照画像リストの構成情報、スライスの各インターエンコード化ビデオブロックの動きベクトル、スライスの各インター符号化ビデオブロックのインター予測ステータス、及び他の情報を決定して、現在のビデオスライス内のビデオブロックをデコードする。

【0088】

動き補償ユニット７２は、補間フィルタに基づいて補間を実行することもできる。動き補償ユニット７２は、ビデオブロックのエンコード化中にビデオエンコーダ２０によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算することができる。この場合に、動き補償ユニット７２は、受信した構文要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。

【0089】

深度マップに対応するテクスチャ画像のデータが、参照フレームメモリ８２に格納され得る。動き補償ユニット７２は、深度マップの深度ブロックをインター予測するようにも構成され得る。

【0090】

図１Ａに戻ると、ビデオ符号化システム１０は、様々なビデオ符号化又は圧縮技術を実施するのに適している。インター予測、イントラ予測、ループフィルタ等のいくつかのビデオ圧縮技術が効果的であることが実証されている。従って、ビデオ圧縮技術は、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣ等の様々なビデオ符号化規格に採用されている。

【0091】

適応動きベクトル予測（ＡＭＶＰ）及びマージモード（ＭＥＲＧＥ）等の様々な符号化ツールを使用して、動きベクトル（ＭＶ）を予測し、インター予測効率、従って全体的なビデオ圧縮効率を高めることができる。

【0092】

上記のＭＶは、双方向予測（bi-prediction）で利用できる。双方向予測動作では、２つの予測ブロックが形成される。１つの予測ブロックは、リスト０のＭＶ（本明細書ではＭＶ０と呼ばれる）を使用して形成される。別の予測ブロックは、リスト１のＭＶ（本明細書ではＭＶ１と呼ばれる）を使用して形成される。次に、２つの予測ブロックは、単一の予測信号（例えば、予測（prediction）ブロック又は予測（predictor）ブロック）を形成するために組み合わされる（例えば、平均化される）。

【0093】

ビデオデコーダ３０の他の変形を使用して、圧縮したビットストリームをデコードすることができる。例えば、デコーダ３０は、ループフィルタ処理ユニットなしで出力ビデオストリームを生成することができる。例えば、非変換ベースのデコーダ３０は、特定のブロック又はフレームについて、逆変換処理装置７８なしで、残差信号を直接逆量子化することができる。別の実施態様では、ビデオデコーダ３０は、逆量子化ユニット７６及び逆変換処理装置７８を単一のユニットに組み合わせることができる。

【0094】

図４は、本開示の一実施形態によるネットワーク装置４００（例えば、符号化装置）の概略図である。ネットワーク装置４００は、本明細書で説明し、開示する実施形態を実現するのに適している。一実施形態では、ネットワーク装置４００は、図１Ａ及び図３のビデオデコーダ３０等のデコーダ、又は図１Ａ及び図２のビデオエンコーダ２０等のエンコーダであり得る。一実施形態では、ネットワーク装置４００は、上記の図１Ａ及び図３のビデオデコーダ３０又は図１Ａ及び図２のビデオエンコーダ２０の１つ又は複数の構成要素であり得る。

【0095】

ネットワーク装置４００は、データを受信するための入力ポート４１０及び受信機ユニット（Ｒｘ）４２０；データを処理するためのプロセッサ、論理ユニット、又は中央処理装置（ＣＰＵ）４３０；データを送信するための送信機ユニット（Ｔｘ）４４０及び出力ポート４５０；データを格納するためのメモリ４６０を含む。ネットワーク装置４００は、入力ポート４１０に結合した光／電気変換（ＯＥ）コンポーネント及び電気／光変換（ＥＯ）コンポーネント、受信機ユニット４２０、送信機ユニット４４０、及び光又は電気信号の入力又は出力ための出力ポート４５０も含み得る。

【0096】

プロセッサ４３０は、ハードウェア及びソフトウェアによって実行され得る。プロセッサ４３０は、１つ又は複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実現され得る。プロセッサ４３０は、入力ポート４１０、受信機ユニット４２０、送信機ユニット４４０、出力ポート４５０、及びメモリ４６０と通信している。プロセッサ４３０は、符号化モジュール４７０を含む。符号化モジュール４７０は、上記の開示した実施形態を実現する。例えば、符号化モジュール４７０は、様々な符号化操作を実行、処理、準備、又は提供する。従って、符号化モジュール４７０を含めることは、ネットワーク装置４００の機能に実質的な改善を提供し、ネットワーク装置４００の異なる状態への変換をもたらす。あるいはまた、符号化モジュール４７０は、メモリ４６０に格納され、プロセッサ４３０によって実行される命令として実現される。

【0097】

メモリ４６０は、１つ又は複数のディスク、テープドライブ、及びソリッドステートドライブを含み、オーバーフローデータ記憶装置として使用され、そのようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラムの実行中に読み出される命令及びデータを記憶することができる。メモリ４６０は、揮発性及び／又は不揮発性であり得、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及び／又はスタティックランダムアクセスメモリ（ＳＲＡＭ）であり得る。

【0098】

図５は、例示的な実施形態による図１Ａの送信元装置１２及び送信先装置１４のいずれか又は両方として使用することができる機器５００の簡略化したブロック図である。機器５００は、この本願の技術を実施することができる。機器５００は、複数のコンピューティング装置を含むコンピューティングシステムの形態、又は単一のコンピューティング装置の形態、例えば、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、及びデスクトップコンピュータ等であり得る。

【0099】

機器５００内のプロセッサ５０２は、中央処理装置であり得る。あるいはまた、プロセッサ５０２は、現在存在する又は今後開発される情報を操作又は処理することができる任意の他のタイプの装置又は複数の装置であり得る。開示する実施態様は、示されるように単一のプロセッサ、例えばプロセッサ５０２で実施することができるが、速度及び効率の利点は、複数のプロセッサを使用して達成することができる。

【0100】

機器５００内のメモリ５０４は、実施態様において、読取り専用メモリ（ＲＯＭ）装置又はランダムアクセスメモリ（ＲＡＭ）装置であり得る。他の任意の適切なタイプの記憶装置をメモリ５０４として使用してもよい。メモリ５０４は、バス５１２を使用してプロセッサ５０２によってアクセスされるコード及びデータ５０６を含むことができる。メモリ５０４は、オペレーティングシステム５０８及びアプリケーションプログラム５１０をさらに含むことができ、アプリケーションプログラム５１０は、プロセッサ５０２が本明細書で説明する方法を実行するのを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、アプリケーション１～Ｎを含むことができ、アプリケーション１～Ｎは、本明細書で説明する方法を実行するビデオ符号化アプリケーションをさらに含む。機器５００は、二次記憶装置５１４の形態で追加のメモリも含むことができ、この二次記憶装置５１４は、例えば、モバイルコンピューティング装置と共に使用されるメモリカードであり得る。ビデオ通信セッションがかなりの量の情報を含み得るので、それらセッションは、全体的又は部分的に二次記憶装置５１４に記憶され、処理のために必要に応じてメモリ５０４にロードされ得る。

【0101】

機器５００は、ディスプレイ５１８等の１つ又は複数の出力装置も含むことができる。ディスプレイ５１８は、一例では、タッチ入力を感知するように動作可能なタッチ感知要素とディスプレイとを組み合わせたタッチ感知ディスプレイであり得る。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に結合することができる。ユーザが機器５００をプログラム又は他の方法で使用するのを可能にする他の出力装置が、ディスプレイ５１８に加えて、又はその代替として提供され得る。出力装置がディスプレイである又はディスプレイを含む場合に、ディスプレイは、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ等の発光ダイオード（ＬＥＤ）ディスプレイを含む様々な方法で実現することができる。

【0102】

機器５００は、画像感知装置５２０、例えば、機器５００を操作するユーザの画像等の画像を感知することができる現在存在する又は今後開発されるカメラ又は他の任意の画像感知装置を含むか、又はその画像感知装置と通信することもできる。画像感知装置５２０は、機器５００を操作するユーザに向けられるように配置することができる。一例では、画像感知装置５２０の位置及び光軸は、視野が、ディスプレイ５１８に直接隣接し、そこからディスプレイ５１８が見える領域を含むように構成され得る。

【0103】

機器５００は、音感知装置５２２、例えば、機器５００の近くの音を感知することができる現在存在する又は今後開発されるマイクロフォン又は他の任意の音感知装置を含むか、又はその音感知装置と通信することもできる。音感知装置５２２は、機器５００を操作するユーザに向けられるように配置することができ、且つユーザが機器５００を操作している間にユーザによって行われる音、例えば、音声又は他の発話を受信するように構成することができる。

【0104】

図５が、機器５００のプロセッサ５０２及びメモリ５０４を単一のユニットに統合することを示しているが、他の構成を利用することができる。プロセッサ５０２の動作は、直接或いはローカルエリア又は他のネットワークを介して結合することができる複数のマシン（各マシンは１つ又は複数のプロセッサを有する）に分散させることができる。メモリ５０４は、ネットワークベースのメモリ又は機器５００の動作を実行する複数のマシンのメモリ等の複数のマシンに分散させることができる。ここでは単一のバスとして示されているが、機器５００のバス５１２は複数のバスで構成することができる。さらに、二次記憶装置５１４は、機器５００の他の構成要素に直接結合することができ、又はネットワークを介してアクセスすることができ、且つメモリカード等の単一の統合ユニット又は複数のメモリカード等の複数のユニットを含むことができる。こうして、機器５００は、多種多様な構成で実現することができる。

【0105】

ＶＶＣ（Versatile Video Coding）次世代規格は、ＪＶＥＴ（Joint Video Exploration Team）として知られるパートナーシップで協力しているＩＴＵ－Ｔ（International Telecommunications Union Telecommunication Standardization Sector）ＶＣＥＧ（Video Coding Experts Group）とＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）のＭＰＥＧ（Moving Picture Experts Group）との標準化組織の最新の共同ビデオプロジェクトである。ＶＶＣでは、マルチタイプツリー（二次／三次／四次）ツリー（ＢＴ／ＴＴ／ＱＴ又は二分木／三分木／四分木）セグメント化構造は、複数のパーティションユニットタイプの概念を置き換えるか、置き換える可能性がある。すなわち、そのマルチタイプツリーは、サイズが最大変換長に対して大き過ぎるＣＵに必要な場合を除いて、ＣＵ、ＰＵ、及びＴＵの概念の分離を削除し、ＣＵパーティション形状の柔軟性をサポートする［ＪＶＥＴ－Ｊ１００２］。

【0106】

図６Ａ～図６Ｆは、例として、ＶＴＭで現在使用されているパーティションモードを示す。図６Ａは、ＣＵ又はＣＴＵ等のブロックの分割されていないブロック（分割なし）を示し、図６Ｂｂは、その四次又は四分木（ＱＴ）パーティション分割を示し、図６Ｃは、その水平方向の二次又は二分木（ＢＴ）パーティション分割を示し、図６Ｄは、その垂直方向の二次又は二分木（ＢＴ）パーティション分割を示し、図６Ｅは、その水平方向の三次又は三分木（ＴＴ）パーティション分割を示し、図６Ｆは、その垂直方向の三次又は三分木（ＴＴ）分割を示す。実施形態は、図６Ａ～図６Ｆに示されるようなパーティションモードを実施するように構成され得る。

【0107】

実施形態では、以下のパラメータが、ＢＴ／ＴＴ／ＱＴ符号化ツリースキームのためのシーケンスパラメータセット（ＳＰＳ）構文要素によって規定及び指定され得る：
ＣＴＵサイズ：四分木のルートノードサイズ；
ＭｉｎＱＴＳｉｚｅ：最小許容四分木リーフノードサイズ；
ＭａｘＢＴＴＳｉｚｅ：最大許容二分木及び三分木ルートノードサイズ；
ＭａｘＢＴＴＤｅｐｔｈ：最大許容二分木及び三分木深度；及び
ＭｉｎＢＴＴＳｉｚｅ：最小許容二分木及び三分木リーフノードサイズ。

【0108】

他の実施形態では、最小許容四分木リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）パラメータは、他のヘッダ又はセット、例えば、スライスヘッダ（ＳＨ）又は画像パラメータセット（ＰＰＳ）にも含まれ得る。

【0109】

ＨＥＶＣ規格では、スライス／画像の境界にある符号化ツリーユニット（ＣＴＵ）又は符号化ユニット（ＣＵ）は、リーフノードの右下のサンプルがスライス／画像の境界内に入るまで、四分木（ＱＴ）を使用して強制的に分割される。エンコーダとデコーダとの両方、例えばビデオエンコーダ２０とビデオデコーダ３０との両方が強制ＱＴをいつ適用するかを知っているため、強制ＱＴパーティション又はパーティション分割をビットストリームで通知する必要はない。強制パーティションの目的は、ビデオエンコーダ２０／ビデオデコーダ３０によって境界ＣＴＵ／ＣＵを可能にすることである。

【0110】

国際特許公開番号ＷＯ２０１６／０９０５６８は、ＱＴＢＴ（四分木及び二分木）構造を開示しており、ＶＴＭ１．０でも、境界ＣＴＵ／ＣＵ強制パーティション分割プロセスはＨＥＶＣから継承している。つまり、フレーム境界にあるＣＴＵ／ＣＵは、現在のＣＵ全体が画像境界内に入るまで、レート歪み（ＲＤ）最適化を考慮せずに、四分木（ＱＴ）構造によって強制的にパーティション分割される。これらの強制パーティションは、ビットストリームで通知されない。

【0111】

図７Ａは、強制ＱＴによってパーティション分割された高解像度（ＨＤ）（１９２０×１０８０ピクセル）の下部境界ＣＴＵ（１２８×１２８）の強制パーティションの例を示す。図７では、ＨＤ画像は１９２０×１０８０ピクセルを有するか又はそのピクセルであり、ＣＴＵは１２８×１２８ピクセルを有するか又はそのピクセルである。

【0112】

サンディエゴ会議（２０１８年４月）のＣＥ１（パーティション分割）のＳｕｂＣＥ２（画像境界処理）［ＪＶＥＴ－Ｊ１０２１］では、ＢＴ、ＴＴ、又はＡＢＴ（非対称ＢＴ）を使用した画像境界処理の１５のテストが提案された。例えば、ＪＶＥＴ-Ｋ０２８０及びＪＶＥＴ-Ｋ０３７６では、境界は、図８に示されるように規定される。図８は、画像の境界を鎖線で示し、境界ケースの領域、すなわち下部境界ケース、コーナー境界ケース、及び右側の境界ケースの領域を直線で示す。下部境界は水平方向の強制ＢＴ又は強制ＱＴでパーティション分割され得、右側の境界は垂直方向の強制ＢＴ又は強制ＱＴでパーティション分割され得、コーナーケースは強制ＱＴでのみ分割され得る。強制ＢＴ又は強制ＱＴパーティション分割のいずれかを使用するかどうかの決定は、レート歪み最適化基準に基づいており、且つビットストリームで通知される。強制パーティション分割とは、ブロックをパーティション分割する必要があることを意味し、例えば強制パーティション分割は、図６Ａに示されるように「分割なし」を使用して符号化され得ない境界ブロックに適用される。

【0113】

強制ＱＴ分割が強制境界パーティション分割で使用される場合に、ＭｉｎＱＴＳｉｚｅのパーティション分割制約は無視される。例えば、図９Ａでは、ＳＰＳでＭｉｎＱＴＳｉｚｅが３２として通知された場合に、境界を強制ＱＴ方法と一致させるには、ブロックサイズ８×８に分割されたＱＴが必要になり、これは、ＭｉｎＱＴＳｉｚｅが３２であるという制約を無視する。

【0114】

本開示の実施形態によれば、強制ＱＴが画像境界パーティション分割に使用される場合に、強制ＱＴ分割は、例えばＳＰＳで通知された分割制約に従い、例えば分割制約を無視しない。さらに強制分割が必要な場合には、強制ＢＴのみが使用され、これは、組み合わせて強制ＱＴＢＴと呼ばれることもある。本開示の実施形態では、例えば、パーティション制約ＭｉｎＱＴＳｉｚｅは、画像境界での強制ＱＴパーティション分割に対して考慮され、強制ＢＴパーティション分割のための追加のシグナリングは必要ない。実施形態はまた、通常の（非境界）ブロック及び境界ブロックのパーティション分割を調和させることを可能にする。例えば、従来の解決策では、２つの「ＭｉｎＱＴＳｉｚｅ」パラメータが必要であり、１つは通常のブロックのパーティション分割のためであり、もう１つは境界ブロックのパーティション分割のためである。実施形態は、通常のブロックのパーティション分割と境界ブロックのパーティション分割との両方に対して１つの共通の「ＭｉｎＱＴＳｉｚｅ」パラメータのみを必要とし、これは、例えば１つの「ＭｉｎＱＴＳｉｚｅ」パラメータを通知することにより、エンコーダとデコーダとの間で柔軟に設定することができる。さらに、実施形態は、例えば強制ＱＴよりも少ないパーティションを必要とする。

【0115】

下部境界ケース及び右側の境界ケースの解決策

【0116】

下部境界ケース及び右側の境界ケースの場合に、ブロックサイズがＭｉｎＱＴＳｉｚｅより大きい場合に、画像境界パーティション分割のパーティションモードは、例えばＲＤＯに基づいて、強制ＢＴパーティション分割と強制ＱＴパーティション分割との間で選択できる。それ以外の場合に（つまり、ブロックサイズがＭｉｎＱＴＳｉｚｅ以下の場合に）、強制ＢＴパーティション分割のみが画像境界のパーティション分割に使用され、より具体的には、画像の下部境界にある境界ブロックの下部境界には、それぞれ水平方向の強制ＢＴが使用され、画像の右側の境界にある境界ブロックの右側の境界には、それぞれ垂直方向の強制ＢＴが使用される。

【0117】

強制ＢＴパーティション分割は、現在のブロックのサブパーティションが画像の下部境界に配置されるまで、水平方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと、リーフノードが画像の右側の境界に完全に配置されるまで、垂直方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと、を含み得る。あるいはまた、強制ＢＴパーティション分割は、現在のブロックのサブパーティションが下部境界に配置されるまで、垂直方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと、リーフノードが右側の境界に完全に配置されるまで、水平方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと、を含み得る。ＭｉｎＱＴＳｉｚｅは、非境界ブロックのパーティション分割を制御するためにも適用できる。

【0118】

例えば、図７Ａに示されるケースでは、ＭｉｎＱＴＳｉｚｅが３２であるか又は３２に制限されているが、高さ又は幅が８サンプルの長方形（非正方形）ブロックのサイズが画像の境界と一致する必要がある場合に、強制ＢＴパーティション分割が境界に位置する３２×３２のブロックをパーティション分割するために使用される。ＢＴパーティションは、同じタイプの強制ＢＴパーティション分割を使用してさらにパーティション分割でき、例えば、垂直方向の強制ＢＴパーティション分割が適用されている場合には、さらに垂直方向の強制ＢＴパーティション分割のみが適用され、水平方向の強制ＢＴパーティション分割が適用されている場合には、さらに水平方向の強制ＢＴパーティション分割のみが適用される。強制ＢＴパーティション分割は、リーフノードが完全に画像内に入るまで継続される。

【0119】

図７Ｂは、本発明の一実施形態による、１２８×１２８サンプルのサイズを有する下部境界ＣＴＵの例示的なパーティション分割を示す。パーティション分割ツリーのルートブロック又はルートノードを形成する下部境界ＣＴＵは、より小さなパーティション、例えば正方形又は長方形のサイズの小さなブロックにパーティション分割される。これらの小さなパーティション又はブロックは、さらにより小さなパーティション又はブロックにさらにパーティション分割される場合がある。図７Ｂでは、ＣＴＵは、４つの正方形ブロック７１０、７２０、７３０、及び７４０にパーティション分割される第１の四分木であり、各ブロックのサイズが６４×６４サンプルである。これらのブロックのうち、ブロック７１０及び７２０は再び下部境界ブロックであるが、ブロック７３０及び７４０は画像の外側にあり（それぞれ画像の外側に位置する）、処理されない。

【0120】

ブロック７１０は、四分木パーティション分割を使用して、４つの正方形ブロック７５０、７６０、７７０、及び７８０にさらにパーティション分割され、各ブロックのサイズが３２×３２サンプルである。ブロック７５０及び７６０は画像の内側にあり、一方、ブロック７７０及び７８０は再び下部境界ブロックを形成する。ブロック７７０のサイズが、例えば３２であるＭｉｎＱＴＳｉｚｅよりも大きくないので、再帰的な水平方向の強制バイナリ（binary：二次、二分木）・パーティション分割は、リーフノードが完全に画像内にあるか又は完全に画像内に配置されるまで、例えば、リーフノードブロック７７２、３２×１６サンプルを有する長方形の非正方形ブロックが画像内に入るまで（１つの水平バイナリ・パーティション分割後）、又はリーフノードブロック７７４、画像の下部境界に位置し、且つ３２×８サンプルを有する長方形の非正方形ブロックが画像内に入るまで（２つの水平バイナリ・パーティション分割後）、ブロック７７０に適用される。同じことがブロック７８０に当てはまる。

【0121】

本開示の実施形態は、画像の完全に内側に位置する通常のブロックのパーティション分割及び境界ブロックのパーティション分割を調和させることを可能にする。境界ブロックは、完全に画像の内側になく、完全に画像の外側にないブロックである。言い換えると、境界ブロックは、画像内にある部分と画像外にある部分とで構成されるブロックである。さらに、本開示の実施形態は、ＭｉｎＱＴＳｉｚｅ以下での強制ＢＴパーティション分割を信号で伝える必要がないので、シグナリングを減らすことを可能にする。

【0122】

コーナーケースの解決策

【0123】

コーナーケースでは、いくつかのアプローチでは強制ＱＴ分割のみが許可され、ＭｉｎＱＴＳｉｚｅの制約も無視される。本開示の実施形態は、コーナーケースに対して２つの解決策を提供する。

【0124】

解決策１

【0125】

コーナーケースは、下部境界ケース又は右側の境界ケースと考えられる。図１０は、境界規定の実施形態を示す。図１０は、鎖線による画像の境界と直線の境界ケースの領域とを示す。示されるように、コーナーケースは下部境界ケースとして規定される。こうして、解決策は、上記の下部境界ケース及び右側の境界ケースについて説明したものと同じである。換言すると、最初に、ブロック又はパーティションが（垂直方向で）完全に画像内に入るまで、（下部境界ケースについて説明したように）水平方向のパーティション分割が適用され、次にリーフノードが（水平方向で）完全に画像内に入るまで、（右側の境界ケースについて説明したように）垂直方向のパーティション分割が適用される。

【0126】

解決策２

【0127】

境界ケースの規定はそのまま維持される。強制ＱＴがＭｉｎＱＴＳｉｚｅ（現在のブロックサイズがＭｉｎＱＴＳｉｚｅ以下）によって制約されている場合には、水平方向の強制ＢＴを使用して下部境界に一致させ、下部境界が一致する場合には、垂直方向の強制ＢＴを使用して右側の境界に一致させる。

【0128】

例えば、画像のコーナーに位置するブロックに対する強制ＱＴＢＴの実施形態を示す図９Ａでは、ＭｉｎＱＴＳｉｚｅがコーナーケース強制ＱＴパーティションに関して３２であるか、又は３２として制限される場合に、強制パーティションが終了するまで、３２×３２ブロックのパーティション後に、更なるＢＴパーティションが使用される。

【0129】

図９Ｂは、本発明の一実施形態による、画像のコーナーにおける又はコーナー内の境界ＣＴＵの例示的なパーティション分割の更なる詳細を示し、ＣＴＵは、１２８×１２８サンプルのサイズを有する。ＣＴＵは、最初に４つの正方形ブロックにパーティション分割される四分木であり、各ブロックのサイズが６４×６４サンプルである。これらのブロックのうち、左上のブロック９１０のみが境界ブロックであり、他の３つは、画像の外側（完全に外側）に位置し、それ以上処理されない。ブロック９１０は、四分木パーティション分割を使用して、４つの正方形のブロック９２０、９３０、９４０、及び９５０にさらにパーティション分割され、各ブロックのサイズが３２×３２サンプルである。ブロック９２０は画像の内側にあるが、ブロック９３０、９４０、及び９５０は再び境界ブロックを形成する。これらのブロック９３０、９４０、及び９５０のサイズが（３２である）ＭｉｎＱＴＳｉｚｅよりも大きくないため、ブロック９３０、９４０、及び９５０に強制バイナリ・パーティション分割が適用される。

【0130】

ブロック９３０は、右側の境界に配置され、且つリーフノードが画像、例えば画像の右側の境界にあるブロック９３２内に入るまで（ここでは２つの垂直方向のバイナリ・パーティション分割の後）、再帰的な垂直方向の強制バイナリ・パーティション分割を使用してパーティション分割される。

【0131】

ブロック９４０は、下部境界に配置され、且つリーフノードが画像、例えば画像の右側の境界にあるブロック９４２内に入るまで（ここでは２つの水平方向のバイナリ・パーティション分割の後）、再帰的な水平方向の強制バイナリ・パーティション分割を使用してパーティション分割される。

【0132】

ブロック９５０は、コーナー境界に配置され、且つサブパーティション又はブロック（ここではブロック９５２）が画像の下部境界に配置されるまで（ここでは２つの水平方向のバイナリ・パーティションの後）、第１の再帰的な水平方向の強制バイナリ・パーティション分割を使用してパーティション分割され、次に、リーフノード又はブロック（例えば、ブロック９５４）が画像の右側の境界に配置されるまで（ここでは２つの垂直方向のバイナリ・パーティション分割の後）、又はそれぞれリーフノードが画像内に配置されるまで、垂直方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割する。

【0133】

上記のアプローチは、デコードとエンコードとの両方に適用できる。デコードの場合に、ＭｉｎＱＴＳｉｚｅはＳＰＳを介して受信できる。エンコードの場合に、ＭｉｎＱＴＳｉｚｅはＳＰＳを介して送信できる。実施形態は、図８又は図１０に示されるような境界規定又は他の境界規定を使用することができる。

【0134】

本開示の更なる実施形態が、以下に提供される。次の段落で使用される番号付けは、必ずしも以前の段落で使用した番号付けに準拠する必要はないことに留意されたい。
実施形態１：
パーティション分割方法であって、このパーティション分割方法は、
画像の現在のブロックが境界ブロックであるかどうかを判定するステップと、
現在のブロックが境界ブロックである場合に、現在のブロックのサイズが最小許容四分木リーフノードサイズよりも大きいかどうかを判定するステップと、
現在のブロックのサイズが最小許容四分木リーフノードサイズより大きくない場合に、現在のブロックに強制二分木パーティション分割を適用するステップと、を含む。
実施形態２：
強制二分木パーティション分割は、現在のブロックが画像の下部境界に位置している場合に再帰的な水平方向の強制バイナリ・パーティション分割である、又は現在のブロックが画像の右側の境界に位置している場合に再帰的な垂直方向の強制境界バイナリ・パーティション分割である、実施形態１に記載のパーティション分割方法。
実施形態３：
強制バイナリ・パーティション分割は、
現在のブロックのサブパーティションが画像の下部境界に直接配置されるまで、水平方向の強制境界パーティション分割によって現在のブロックを再帰的にパーティション分割することと、
リーフノードが画像の右側の境界に完全に直接配置されるまで、垂直方向の強制境界パーティション分割によってサブパーティションを再帰的にパーティション分割することと、を含む、又はその逆を含む、実施形態１又は２に記載のパーティション分割方法。
実施形態４：
最小許容四分木リーフノードサイズは、非境界ブロックのパーティション分割を制御するためにも適用される最小許容四分木リーフノードサイズである、実施形態１乃至３のいずれかに記載のパーティション分割方法。
実施形態５：
実施形態１乃至４のいずれかに記載のパーティション分割方法に従ってブロックをパーティション分割することによりブロックをデコードするためのデコード化方法。
実施形態６：
最小許容四分木リーフノードサイズはＳＰＳを介して受信される、実施形態５に記載のデコード化方法。
実施形態７：
実施形態１乃至４のいずれかに記載のパーティション分割方法に従ってブロックをパーティション分割することによってブロックをエンコードするためのエンコード化方法。
実施形態８：
最小許容四分木リーフノードサイズはＳＰＳを介して送信される、実施形態７に記載のエンコード化方法。
実施形態９：
実施形態５又は６の方法のいずれか１つを実行するように構成された論理回路を含むデコード化装置。
実施形態１０：
実施形態７又は８の方法のいずれか１つを実行するように構成された論理回路を含むエンコード化装置。
実施形態１１：
命令を記憶するための非一時的な記憶媒体であって、命令がプロセッサによって実行されたときに、プロセッサに、実施形態１乃至８による方法のいずれかを実行させる。

【0135】

１つ又は複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実現され得る。ソフトウェアで実現される場合に、機能は、コンピュータ可読媒体上に１つ又は複数の命令又はコードとして格納又は送信され、ハードウェアベースの処理装置によって実行され得る。コンピュータ可読媒体は、データ記憶媒体等の有形媒体に対応するコンピュータ可読記憶媒体、又は、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、或いは（２）信号又は搬送波等の通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技術の実施のための命令、コード、又はデータ構造を検索するために、１つ又は複数のコンピュータ或いは１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0136】

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、電気的に消去可能なプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、ＣＤ－ＲＯＭ、又は他の光ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶装置、フラッシュメモリを含むことができ、或いは命令又はデータ構造の形式で目的のプログラムコードを格納するために使用でき、且つコンピュータからアクセスできる他の媒体を含むことができる。また、あらゆる接続はコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、無線、マイクロ波等のワイヤレス技術を使用して、Ｗｅｂサイト、サーバ、又は他のリモートソースから送信される場合に、媒体の規定には、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、マイクロ波等のワイヤレス技術が含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）及びディスク（disc）には、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク及びＢｌｕ－ｒａｙ（登録商標）ディスクが含まれ、ディスク（disk）は通常データを磁気的に再生し、ディスク（disc）はレーザーを使用してデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲に含める必要がある。

【0137】

命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の同等の集積回路又はディスクリート論理回路等の１つ又は複数のプロセッサによって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述した構造のいずれか、又は本明細書で説明した技術の実施に適した他の任意の構造を指す場合がある。さらに、いくつかの態様では、本明細書で説明した機能は、エンコード及びデコードのために構成された、又は複合コーデックに組み込まれた専用のハードウェア及び／又はソフトウェアモジュール内で提供され得る。また、これらの技術は、１つ又は複数の回路又は論理要素に完全に実現することができる。

【0138】

本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な装置又は機器で実施され得る。開示した技術を実行するように構成された装置の機能的態様を強調するために、様々なコンポーネント、モジュール、又はユニットを本開示で説明したが、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上記のように、様々なユニットは、コーデックハードウェアユニットに組み合わされるか、又は適切なソフトウェア及び／又はファームウェアと組み合わせて、上記の１つ又は複数のプロセッサを含む相互運用ハードウェアユニットの集合によって提供され得る。

【0139】

機器は、メモリ要素と；メモリ要素に結合されたプロセッサ要素と；を含み、プロセッサ要素は、画像の現在のブロックが境界ブロックであるかどうかを判定し、現在のブロックが境界ブロックであるときに、現在のブロックのサイズが最小許容四分木（ＱＴ）リーフノードサイズ（ＭｉｎＱＴＳｉｚｅ）よりも大きいかどうかを判定し、現在のブロックのサイズがＭｉｎＱＴＳｉｚｅより大きくない場合に、現在のブロックに強制二分木（ＢＴ）パーティション分割を適用する、ように構成される。

【0140】

本開示ではいくつかの実施形態を提供しているが、開示したシステム及び方法は、本開示の精神又は範囲から逸脱することなく、他の多くの特定の形態で具体化され得ることを理解されたい。本実施例は、例示的であり、限定的ではないと見なすべきであり、その意図は、本明細書に与えられた詳細に限定すべきではない。例えば、様々な要素又は構成要素を別のシステムに組み合わせたり統合したり、特定の機能を省略したり、実施しなかったりすることができる。

【0141】

さらに、離散的又は別個として様々な実施形態で説明及び図示した技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と組み合わせ又は統合することができる。結合又は直接結合又は互いに通信するものとして図示又は説明している他のアイテムは、電気的、機械的、又は他の方法で、何らかのインターフェイス、装置、又は中間コンポーネントを介して間接的に結合又は通信することができる。変更、置換、及び交代の他の例は、当業者によって確認可能であり、且つ本明細書に開示される精神及び範囲から逸脱することなく行うことができる。

【0142】

頭字語の規定及び用語集
ＨＥＶＣ 高効率ビデオ符号化（High-Efficiency Video Coding）
ＶＶＣ 多用途ビデオ符号化（Versatile Video Coding）
ＶＴＭ ＶＶＣテストモデル（VVC Test Model）
ＪＥＭ 共同探査モデル（Joint Exploration Model）
ＣＴＵ 符号化ツリーユニット（Coding Tree Unit）
ＣＵ 符号化ユニット（Coding Unit）
ＢＴ 二分木（Binary Tree）
ＴＴ 三分木（Ternary Tree）
ＱＴ 四分木又は四次木（Quad Tree or Quaternary Tree）
ＡＢＴ 非対称ＢＴ（Asymmetric BT）
ＭＭＴ マルチタイプツリー（Multi-type tree）
ＡＭＰ 非対称パーティション（Asymmetric Partition）
ＳＨ スライスヘッダ（Slice Header）
ＳＰＳ シーケンスパラメータセット（Sequence Parameter Set）
ＰＰＳ 画像パラメータセット（Picture Parameter Set）
ＣＥ コア実験（Core Experiment）
ＳｕｂＣＥ サブコア実験（SubCore Experiment）（コア実験の一部）

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【外国語明細書】