知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】ピクチャのブロックのイントラ予測の方法
(51)【国際特許分類】
H04N 19/105 20140101AFI20241016BHJP
H04N 19/11 20140101ALI20241016BHJP
H04N 19/136 20140101ALI20241016BHJP
H04N 19/157 20140101ALI20241016BHJP
H04N 19/593 20140101ALI20241016BHJP
【ＦＩ】
H04N19/105
H04N19/11
H04N19/136
H04N19/157
H04N19/593
【請求項の数】
22
【外国語出願】
(21)【出願番号】P 2023206545
(22)【出願日】2023-12-07
(62)【分割の表示】P 2021529421の分割
【原出願日】2019-11-26
(65)【公開番号】P2024019425
(43)【公開日】2024-02-09
【審査請求日】2023-12-26
(31)【優先権主張番号】62/771,451
(32)【優先日】2018-11-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】フィリポフ，アレクセイ コンスタンチノヴィッチ
(72)【発明者】
【氏名】ルフィツスキー，ヴァシリー アレクシエーヴィッチ
(72)【発明者】
【氏名】チェン，ジエンローァ
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／０９６３８９（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１３４９９２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０３２４４１７（ＵＳ，Ａ１）
【文献】ZHAO, Xin et al.，EE1 related: Simplification and Extension of PDPC，JVET-H0057 (version 3)，JVET-H0057_r1.doc，ITU，2017年10月18日，pp.1-3
【文献】CHEN, Y. et al.，Description of SDR, HDR and 360° Video Coding Technology Proposal by Qualcomm and Technicolor - Low，JVET-J0021 (version 5)，JVET-J0021.docx，ITU，2018年04月14日，pp.12-13
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ピクチャのブロックの符号化又は復号の方法であって、前記ブロックのサンプルについて、ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
前記非正規化予測サンプル値に残差値を加算して、再構成サンプル値を取得するステップと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数であり、
前記加算値は、前記参照サンプル値のうちの１つ以上に依存する被加数を含む１つ以上の被加数の和である、方法。
【請求項2】
ピクチャの第１ブロック及び第２ブロックの符号化又は復号の方法であって、前記第１ブロックのサンプルについて、及び前記第２ブロックのサンプルについて、イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
前記非正規化予測サンプル値に残差値を加算して、再構成サンプル値を取得するステップと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数であり、
前記第１ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードは平面イントラ予測モードである、方法。
【請求項3】
平面イントラ予測メカニズムが前記加算値を計算するために使用される、請求項１又は２に記載の方法。
【請求項4】
前記サンプル重み係数は（６４－ｗＬ－ｗＴ）である、請求項１～３のいずれか一項に記載の方法。
【請求項5】
１つ以上の参照サンプル値に依存する前記被加数は、ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１であり、Ｒｘ，－１及びＲ－１，ｙは、前記予測サンプル値を有する予測サンプルの上及び左に位置する最も近い参照サンプルの値を表す、請求項１に記載の方法。
【請求項6】
前記水平重み係数ｗＬ及び／又は前記垂直重み係数ｗＴは２のべき乗である、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記水平重み係数はｗＬ＝（２＜＜（ｐ－１））＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ）であり、ｘは前記サンプルの水平座標であり、前記垂直重み係数はｗＴ＝（２＜＜（ｐ－１））＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ）であり、ｙは前記サンプルの垂直座標であり、
ｎＳｃａｌｅはスケールパラメータである、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記スケールパラメータｎＳｃａｌｅは前記ブロックのサイズから導出される、請求項７に記載の方法。
【請求項9】
前記スケールパラメータｎＳｃａｌｅは（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ）－２）＞＞２）として決定され、ｎＴｂＷは前記ブロックの幅であり、ｎＴｂＨは前記ブロックの高さである、請求項７に記載の方法。
【請求項10】
正規化予測サンプル値は前記予測サンプル値から計算され、（ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１＋（６４－ｗＬ－ｗＴ）×Ｐ（ｘ，ｙ）＋３２）＞＞６を計算することを含み、Ｐ（ｘ，ｙ）は前記予測サンプル値であり、
Ｒｘ，－１、Ｒ－１，ｙは、前記予測サンプル値を有する予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
ｗＬは前記水平重み係数であり、
ｗＴは前記垂直重み係数である、
請求項１～９のいずれか一項に記載の方法。
【請求項11】
ピクチャの符号化の方法であって、請求項１～１０のいずれか一項に記載の方法のステップを実行することにより、正規化予測サンプル値を取得するステップと、
前記正規化予測サンプル値に残差値を加算して、再構成サンプル値を生じるステップと、
を含む方法。
【請求項12】
ピクチャの復号の方法であって、請求項１～１０のいずれか一項に記載の方法のステップを実行することにより、正規化予測サンプル値を取得するステップと、
前記正規化予測サンプル値に残差値を加算して、再構成サンプル値を生じるステップと、
を含む方法。
【請求項13】
請求項１～１１のいずれか一項に記載の方法を実行するよう構成される処理回路を含む、ピクチャの符号化のための装置。
【請求項14】
請求項１～１０、１２のいずれか一項に記載の方法を実行するよう構成される処理回路を含む、ピクチャの復号のための装置。
【請求項15】
前記処理回路は、１つ以上のプロセッサと、前記１つ以上のプロセッサに接続された非一時的コンピュータ可読媒体と、を含み、前記非一時的コンピュータ可読媒体はプログラムコードを記憶し、前記プログラムコードは、前記１つ以上のプロセッサにより実行されると、前記装置に請求項１～１１のいずれか一項に記載の方法を実行させる、請求項１３に記載の装置。
【請求項16】
前記処理回路は、１つ以上のプロセッサと、前記１つ以上のプロセッサに接続された非一時的コンピュータ可読媒体と、を含み、前記非一時的コンピュータ可読媒体はプログラムコードを記憶し、前記プログラムコードは、前記１つ以上のプロセッサにより実行されると、前記装置に請求項１～１０、１２のいずれか一項に記載の方法を実行させる、請求項１４に記載の装置。
【請求項17】
コンピュータ装置により実行されると、前記コンピュータ装置に請求項１～１１のいずれか一項に記載の方法を実行させるプログラムコードを記憶している非一時的コンピュータ可読媒体。
【請求項18】
コンピュータ装置により実行されると、前記コンピュータ装置に請求項１～１０、１２のいずれか一項に記載の方法を実行させるプログラムコードを記憶している非一時的コンピュータ可読媒体。
【請求項19】
請求項１～１１のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【請求項20】
請求項１～１０、１２のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【請求項21】
ピクチャのブロックの符号化又は復号のための予測装置であって、前記ブロックのサンプルについて、ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
前記非正規化予測サンプル値に残差値を加算して、再構成サンプル値を取得するよう構成される再構成ユニットと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数であり、
前記加算値は、前記参照サンプル値のうちの１つ以上に依存する被加数を含む１つ以上の被加数の和である、予測装置。
【請求項22】
ピクチャの第１ブロック及び第２ブロックの符号化又は復号のための予測装置であって、前記第１ブロック又は前記第２ブロックのサンプルについて、イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
前記非正規化予測サンプル値に残差値を加算して、再構成サンプル値を取得するよう構成される再構成ユニットと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数であり、
前記加算値は、前記参照サンプル値のうちの１つ以上に依存する被加数を含む１つ以上の被加数の和であり、
前記第１ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードは平面イントラ予測モードである、予測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像及び／又はビデオコーディング及び復号の技術分野に関し、特に、イントラ予測のための方法及び機器に関する。
【背景技術】
【0002】
デジタルビデオは、ＤＶＤディスクの導入以来、広く使用されている。送信前、ビデオは符号化され、伝送媒体を用いて送信される。視聴者は、ビデオを受信し、視聴装置を用いてビデオを復号し表示する。何年にも渡り、例えばより高い解像度、色深さ及びフレームレートにより、ビデオの品質は向上してきた。これは、今日インターネット及びモバイル通信ネットワークを介して一般に伝送されているより大きなデータストリームをもたらした。
【0003】
より高い解像度のビデオは、しかしながら、標準的に、それらがより多くの情報を有するので、より多くの帯域幅を必要とする。帯域幅要件を低減するために、ビデオの圧縮を含むビデオコーディング規格が導入されている。ビデオが符号化されると、帯域幅要件（又は記憶の場合には対応するメモリ要件）が低減される。時に、この低減は品質を犠牲にする。従って、ビデオコーディング規格は、帯域幅要件と品質との間のバランスを見い出そうとする。
【0004】
高効率ビデオコーディング（High Efficiency Video Coding (HEVC)）は、当業者に一般に知られているビデオコーディング規格の例である。ＨＥＶＣでは、コーディング単位（coding unit (CU)）を予測単位（prediction units (PU)）又は変換単位（transform unit (TU)）に分割する。バーサタイルビデオコーディング（Versatile Video Coding (VVC)）次世代規格は、共同ビデオ探索チーム（Joint Video Exploration Team (JVET)）として知られているパートナーシップで一緒に作業しているＩＴＵ－Ｔビデオコーディング専門家グループ（Video Coding Experts Group (VCEG)）及びＩＳＯ／ＥＩＣ動画像専門家グループ（ISO/IEC Moving Picture Experts Group (MPEG)）標準化組織の最新の共同ビデオプロジェクトである。ＶＶＣは、ＩＴＵ－Ｔ Ｈ．２６６／次世代ビデオコーディング（Next Generation Video Coding (NGVC)）規格とも呼ばれる。ＶＶＣでは、複数のパーティションタイプの概念、つまり、ＣＵ、ＰＵ、及びＴＵ概念の分離は、必要に応じて、最大変換長に対して大きすぎるサイズを有するＣＵの場合を除き、除去されるべきであり、ＣＵパーティション形状のより多くの柔軟性をサポートする。
【0005】
これらのコーディング単位（coding unit (CU)）（ブロックとも呼ばれる）の処理は、それらのサイズ、空間的位置、及びエンコーダにより指定されるコーディングモードに依存する。コーディングモードは、予測タイプ：イントラ予測及びインター予測モードに従い２つのグループに分類できる。イントラ予測モードは、同じピクチャ（フレーム又は画像とも呼ばれる）のサンプルを用いて、参照サンプルを生成し、再構成されているブロックのサンプルの予測値を計算する。イントラ予測は、空間予測とも呼ばれる。インター予測モードは、時間的予測のために設計され、現在ピクチャのブロックのサンプルを予測するために前又は次のピクチャの参照サンプルを使用する。
【0006】
ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＥＩＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ２９／ＷＧ１１）は、現在のＨＥＶＣ規格（スクリーンコンテンツコーディング及び高ダイナミックレンジコーディングのための、その現在の拡張及び目先の拡張を含む）のものを有意に超える圧縮能力を有する将来のビデオコーディング技術の標準化の潜在的な必要性を研究している。グループは、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム（Joint Video Exploration Team (JVET)）として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
【0007】
ＶＴＭ（Versatile Test Model）バージョン３．０は、９３個のイントラ予測モード、並びに、４タップサブピクセルイントラ補間フィルタリング及び位置依存予測の組合せ（position－dependent prediction combination (PDPC)）を含む幾つかのイントラ円滑化ツールを使用する。ＰＤＰＣは、ＤＣ、平面、又は角度イントラ予測モードの結果である予測サンプルの変更の統一されたメカニズムとして提案されている。
【発明の概要】
【0008】
本願の実施形態は、ピクチャの現在ブロックの改良されたイントラ予測のための機器及び方法を提供する。本発明は、独立請求項に定められる。従属請求項は、有利な実施形態を記載する。更なる実装形式は説明及び図面から明らかである。
【0009】
第１の態様によると、ピクチャのブロックのイントラ予測の方法であって、前記ブロックのサンプルについて、
ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、方法が提供される。
ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、方法が提供される。
【0010】
第２の態様によると、ピクチャの第１ブロック及び第２ブロックのイントラ予測の方法であって、当該方法は、前記第１ブロックのサンプルについて、及び前記第２ブロックのサンプルについて、
イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップ（Ｓ１００）と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数であり、
前記第１ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードは平面イントラ予測モードである、方法が提供される。
イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップ（Ｓ１００）と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数であり、
前記第１ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードは平面イントラ予測モードである、方法が提供される。
【0011】
例えば、前記サンプル重み係数の前記パラメータは、前記サンプル重み係数の精度である。
【0012】
幾つかの実施形態では、前記正規化予測サンプル値は、予測処理の最終結果であってよい。
【0013】
第１の態様又は第２の態様による方法は、現在ブロックの改良されたイントラ予測を可能にでき、現在サンプルのＤＣイントラ予測の場合に、誤った予測サンプル値の発生が防がれ得る。
【0014】
実施形態では、平面イントラ予測メカニズムが前記加算値を計算するために使用される。
【0015】
これは、非正規化予測サンプル値の決定のために使用される、平面イントラ予測メカニズムが加算値の計算のために再利用され得るので、イントラ予測のための手順を簡略化することにより、低減された複雑さの程度を可能にできる。
【0016】
実施形態では、前記サンプル重み係数は（６４－ｗＬ－ｗＴ）である。
【0017】
実施形態では、前記加算値は、前記参照サンプルのうちの１つ以上に依存する被加数を含む１つ以上の被加数の和である。
【0018】
例えば、前記１つ以上の被加数は、丸め込みオフセットを含んでよい。
【0019】
丸め込みオフセットを加算することは、非正規化予測サンプルの整数表現の算術右シフトの結果が正しく丸め込まれることを可能し得る。
【0020】
実施形態では、１つ以上の参照サンプルに依存する前記被加数は、ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１であり、Ｒｘ，－１及びＲ－１，ｙは、前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表す。
【0021】
実施形態では、前記ピクチャはビデオシーケンスの部分である。
【0022】
実施形態では、前記水平重み係数ｗＬ及び垂直重み係数ｗＴは、２のべき乗である。
【0023】
これは、前記重み係数による乗算の計算が、前記重み係数の乗算されるべき係数の整数表現のシフト演算を用いて実装できるようにする。
【0024】
実施形態では、前記水平重み係数はｗＬ＝（２＜＜（ｐ－１））＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ）であり、ｘは前記サンプルの水平座標であり、
前記垂直重み係数はｗＴ＝（２＜＜（ｐ－１））＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ）であり、ｙは前記サンプルの垂直座標であり、
ｎＳｃａｌｅはスケールパラメータである。
前記垂直重み係数はｗＴ＝（２＜＜（ｐ－１））＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ）であり、ｙは前記サンプルの垂直座標であり、
ｎＳｃａｌｅはスケールパラメータである。
【0025】
実施形態では、前記スケールパラメータｎＳｃａｌｅは前記ブロックのサイズから導出される。
【0026】
前記ブロックの前記サイズから前記パラメータｎＳｃａｌｅを導出することは、水平及び垂直重みを適切な方法で計算することを可能にでき、それにより、予測精度を向上する。
【0027】
実施形態では、前記スケールパラメータｎＳｃａｌｅは（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ）－２）＞＞２）として決定され、ｎＴｂＷは前記ブロックの幅であり、ｎＴｂＨは前記ブロックの高さである。
【0028】
実施形態では、正規化予測サンプル値は前記予測サンプル値から計算され、（ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１＋（６４－ｗＬ－ｗＴ）×Ｐ（ｘ，ｙ）＋３２）＞＞６を計算することを含み、
Ｐ（ｘ，ｙ）は前記予測サンプル値であり、
Ｒｘ，－１、Ｒ－１，ｙは、前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である。
Ｐ（ｘ，ｙ）は前記予測サンプル値であり、
Ｒｘ，－１、Ｒ－１，ｙは、前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である。
【0029】
実施形態では、前記加算される丸め込みオフセットは３２である。
【0030】
これは、右シフト演算の正しく丸め込まれた計算結果が＞＞６であることを可能にし得る。
【0031】
実施形態では、前記非正規化予測サンプル値の前記正規化は、正規化予測サンプル値を生じる。
【0032】
実施形態では、前記ブロックの前記複数のサンプルは、前記ブロックの全てのサンプルを含む。
【0033】
更に、ピクチャの符号化又は復号の方法であって、
上述のいずれか１つのステップを実行することにより、正規化予測サンプル値を取得するステップと、
前記正規化予測サンプル値に残差値を加算して、再構成サンプル値を生じるステップと、
を含む方法が提供される。
上述のいずれか１つのステップを実行することにより、正規化予測サンプル値を取得するステップと、
前記正規化予測サンプル値に残差値を加算して、再構成サンプル値を生じるステップと、
を含む方法が提供される。
【0034】
第３の態様によると、ピクチャを符号化又は復号する装置であって、前記装置は、上述の方法のうちのいずれか１つを実行するよう構成される処理回路を含む装置が提供される。
【0035】
実施形態では、前記処理回路は、１つ以上のプロセッサと、前記１つ以上のプロセッサに接続された非一時的コンピュータ可読媒体と、を含み、前記非一時的コンピュータ可読媒体は、前記１つ以上のプロセッサにより実行されると、前記装置に前記方法を実行させるプログラムコードを運ぶ。
【0036】
第４の態様によると、非一時的コンピュータ可読媒体であって、前記非一時的コンピュータ可読媒体は、コンピュータ装置により実行されると、前記コンピュータ装置に上述の方法のうちのいずれか１つを実行させるプログラムコードを運ぶ、非一時的コンピュータ可読媒体が提供される。
【0037】
第５の態様によると、上述の方法のうちのいずれか１つを実行するためのプログラムコードを含むコンピュータプログラムが提供される。
【0038】
態様によると、エンコーダ装置であって、前記エンコーダ装置は、ピクチャのブロックのイントラ予測を実行するよう構成され、
ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、エンコーダ装置が提供される。
ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、エンコーダ装置が提供される。
【0039】
態様によると、エンコーダ装置であって、前記エンコーダ装置は、ピクチャの第１ブロック及び第２ブロックのイントラ予測を実行するよう構成され、
イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、エンコーダ装置が提供される。前記第１ブロックのサンプルについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックのサンプルについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、エンコーダ装置が提供される。前記第１ブロックのサンプルについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックのサンプルについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
【0040】
態様によると、デコーダ装置であって、前記デコーダ装置は、ピクチャのブロックのイントラ予測を実行するよう構成され、
ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、デコーダ装置が提供される。
ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、デコーダ装置が提供される。
【0041】
態様によると、デコーダ装置であって、前記デコーダ装置は、ピクチャの第１ブロック及び第２ブロックのイントラ予測を実行するよう構成され、
イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、デコーダ装置が提供される。前記第１ブロックのサンプルについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックのサンプルについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、デコーダ装置が提供される。前記第１ブロックのサンプルについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックのサンプルについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
【0042】
態様によると、ピクチャのブロックのイントラ予測のための予測装置であって、
前記ブロックのサンプルについて、ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、予測装置が提供される。
前記ブロックのサンプルについて、ＤＣイントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、予測装置が提供される。
【0043】
態様によると、ピクチャの第１ブロック及び第２ブロックのイントラ予測のための予測装置であって、
前記第１ブロック及び前記第２ブロックのサンプルについて、イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、予測装置が提供される。前記第１ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
前記第１ブロック及び前記第２ブロックのサンプルについて、イントラ予測モードを用いるイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数のパラメータであり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である、予測装置が提供される。前記第１ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはＤＣイントラ予測モードであり、前記第２ブロックについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
【0044】
態様によると、ピクチャのブロックのイントラ予測の方法は、前記ブロックのサンプル（ｘ，ｙ）について、
ＤＣイントラ予測モードを用いるイントラ予測により１つ以上の参照サンプル値から予測サンプル値Ｐ（ｘ，ｙ）を取得するステップと、
前記予測サンプル値Ｐ（ｘ，ｙ）に基づき及び参照サンプル値Ｒ（ｘ，－１）及びＲ（－１，ｙ）に基づき、結果予測サンプル値Ｐ’（ｘ，ｙ）を生成するステップであって、
Ｐ’（ｘ，ｙ）＝（ｗＬ×Ｒ（－１，ｙ）＋ｗＴ×Ｒ_（ｘ，－１）＋（６４－ｗＬ－ｗＴ）×Ｐ（ｘ，ｙ）＋３２））＞＞６であり、
前記参照サンプル値Ｒ（ｘ，－１）は、前記ブロックの上に位置するサンプル（ｘ，－１）の値であり、前記参照サンプル値Ｒ（－１，ｙ）は、前記ブロックの左に位置するサンプル（－１，ｙ）の値であり、ｗＬは水平重み係数であり、ｗＴは垂直重み係数である、ステップと、を含む。
ＤＣイントラ予測モードを用いるイントラ予測により１つ以上の参照サンプル値から予測サンプル値Ｐ（ｘ，ｙ）を取得するステップと、
前記予測サンプル値Ｐ（ｘ，ｙ）に基づき及び参照サンプル値Ｒ（ｘ，－１）及びＲ（－１，ｙ）に基づき、結果予測サンプル値Ｐ’（ｘ，ｙ）を生成するステップであって、
Ｐ’（ｘ，ｙ）＝（ｗＬ×Ｒ（－１，ｙ）＋ｗＴ×Ｒ_（ｘ，－１）＋（６４－ｗＬ－ｗＴ）×Ｐ（ｘ，ｙ）＋３２））＞＞６であり、
前記参照サンプル値Ｒ（ｘ，－１）は、前記ブロックの上に位置するサンプル（ｘ，－１）の値であり、前記参照サンプル値Ｒ（－１，ｙ）は、前記ブロックの左に位置するサンプル（－１，ｙ）の値であり、ｗＬは水平重み係数であり、ｗＴは垂直重み係数である、ステップと、を含む。
【0045】
１つ以上の実施形態の詳細は、添付の図面及び以下の説明において説明される。他の特徴、目的、及び利点は、説明、図面、及び請求項から明らかになるだろう。
【図面の簡単な説明】
【0046】
以下では、本開示の実施形態は、添付の図面及び図を参照して更に詳細に説明される。
【図1A】本開示の実施形態を実施するよう構成されるビデオコーディングシステムの例を示すブロック図である。
【図1B】本開示の実施形態を実施するよう構成されるビデオコーディングシステムの別の例を示すブロック図である。
【図2】本開示の実施形態を実施するよう構成されるビデオエンコーダの例を示すブロック図である。
【図3】本開示の実施形態を実施するよう構成されるビデオデコーダの例示的な構造を示すブロック図である。
【図4】符号化機器又は復号機器の例を示すブロック図である。
【図5】符号化機器又は復号機器の別の例を示すブロック図である。
【図6】角度イントラ予測方向及びモード、並びに垂直予測方向のｐａｎｇの関連する値の例を示す。
【図7】４×４ブロックのｐｒｅｆ～ｐ１，ｒｅｆの変換の例を示す。
【図8】水平角度予測のｐ１，ｒｅｆの構成の例を示す。
【図9】垂直角度予測のｐ１，ｒｅｆの構成の例を示す。
【図10A】ＪＥＭ及びＢＭＳ－１における角度イントラ予測方向及び関連するイントラ予測モードの例を示す。
【図10B】ＶＴＭ－２における角度イントラ予測方向及び関連するイントラ予測モードの例を示す。
【図10C】ＶＴＭ－３における角度イントラ予測方向及び関連するイントラ予測モードの例を示す。
【図11】ＨＥＶＣにおける角度イントラ予測方向及び関連するイントラ予測モードの例を示す。
【図12】ＱＴＢＴの例を示す。
【図13】４×４ブロックの内部の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重みの例を示す。
【図14】主参照辺の参照サンプルからのブロックのイントラ予測の例を示す。
【図15】実施形態によるピクチャのブロックをイントラ予測する方法を示す。
【図16A】実施形態によるエンコーダ装置又はデコーダ装置を示す。
【図16B】実施形態によるエンコーダ装置又はデコーダ装置を示す。
【図17】４×４ブロックの内部の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重みの。を示す;
【図18】サンプルのイントラ予測の例を示す。
【0047】
以下では、明示的に断りのない場合、同一の参照符号は同一の又は少なくとも機能的に等価な特徴を表す。
【発明を実施するための形態】
【0048】
以下の説明では、本開示の部分を形成し、図示により本開示の実施形態の特定の態様又は本開示の実施形態が使用され得る特定の態様を示す、添付の図面を参照する。本開示の実施形態は、他の態様で使用され、図に示されない構造的又は論理的変化を含んでよいことが理解される。以下の詳細な説明は、従って、限定的意味と考えられるべきではなく、本開示の範囲は添付の特許請求の範囲により定められる。
【0049】
例えば、記載の方法に関連する開示は、方法を実行するよう構成される対応する装置又はシステムについても当てはまり、逆も同様である。例えば、１又は複数の特定の方法のステップが説明される場合、１つ以上のユニットが明示的に説明され又は図示されない場合でも、対応する装置は、説明される１又は複数の方法のステップを実行するために、１又は複数のユニット、例えば機能ユニットを含んでよい（例えば、１つのユニットが１又は複数のステップを実行し、又は複数のユニットの各々が複数のステップのうちの１つ以上を実行する）。他方で、例えば、特定の機器が１又は複数のユニット、例えば機能ユニットに基づき説明される場合、１又は複数のステップが明示的に説明され又は図示されない場合でも、対応する方法は、１又は複数のユニットの機能を実行するための１つのステップを含んでよい（例えば、１つのステップが１又は複数のユニットの機能を実行し、又は複数のステップの各々が複数のユニットのうちの１つ以上の機能を実行する）。更に、ここで説明される種々の例示的な実施形態及び／又は態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。
【0050】
ビデオコーディングは、標準的に、ビデオ又はビデオシーケンスを形成する、ピクチャのシーケンスの処理を表す。用語「ピクチャ」の代わりに、用語「フレーム」又は「画像」がビデオコーディングの分野では同義語として使用され得る。ビデオコーディング（又は一般的にコーディング）は、ビデオ符号化及びビデオ復号の２つの部分を含む。ビデオ符号化は、ソース側で実行され、標準的に、元のビデオピクチャを処理して（例えば、圧縮による）、（より効率的な記憶及び／又は伝送のために）ビデオピクチャを表現するために必要なデータ量を削減することを含む。ビデオ復号は、宛先側で実行され、標準的に、エンコーダと比べて逆の処理を含み、ビデオピクチャを再構成する。ビデオピクチャ（又は一般的にピクチャ）の「コーディング」を参照する実施形態は、ビデオピクチャ又はそれぞれのビデオシーケンスの「符号化」又は「復号」に関連すると理解されるべきである。符号化部分及び復号部分の結合は、コーデック（CODEC （Coding and Decoding)）とも呼ばれる。
【0051】
無損失ビデオコーディングの場合には、元のビデオピクチャが再構成可能であり、再構成されたビデオピクチャは、元のビデオピクチャと同じ品質を有する（伝送損失、又は記憶若しくは伝送中に他のデータ損失が無いと仮定する）。損失ビデオコーディングの場合には、例えば量子化による更なる圧縮が実行され、ビデオピクチャを表現するデータ量を削減する。これは、デコーダで完全に再構成できず、再構成されたビデオピクチャの品質は、元のビデオピクチャの品質と比べて低い又は悪い。
【0052】
幾つかのビデオコーディング規格は、「損失ハイブリッドビデオコーデック」のグループに属する（例えば、サンプルドメインにおける空間及び時間予測と、変換ドメインにおける量子化を適用する２Ｄ変換コーディングと、を結合する）。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされ、コーディングは、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間（イントラピクチャ）予測及び／又は時間（インターピクチャ）予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック（現在処理されている／処理されるべきブロック）から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減し（圧縮）することにより、ビデオは標準的にブロック（ビデオブロック）レベルで処理され、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化又は圧縮されたブロックに対して適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理し、例えば、コーディングするために、両方が同一の予測（例えば、イントラ及びインター予測）及び／又は再構成を生成するようにする。
【0053】
ビデオコーディングシステム１０の以下の実施形態では、ビデオエンコーダ２０及びビデオデコーダ３０は図１～３に基づき説明される。
【0054】
図１Ａは、本願の技術を利用し得る例示的なコーディングシステム１０、例えばビデオコーディングシステム１０（又は略してコーディングシステム１０）を示す概略的ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（又は略してエンコーダ２０）及びビデオデコーダ３０（又は略してデコーダ３０）は、本願で説明される種々の例に従う技術を実行するよう構成され得る装置の例を表す。
【0055】
図１Ａに示すように、コーディングシステム１０は、符号化ピクチャデータ２１を、例えば符号化ピクチャデータ２１を復号する宛先装置１４に提供するよう構成されるソース装置１２を含む。
【0056】
ソース装置１２は、エンコーダ２０を含み、追加で、任意で、ピクチャソース１６、プリプロセッサ（又は前処理ユニット）１８、例えばピクチャプリプロセッサ１８、及び通信インタフェース又は通信ユニット２２を含んでよい。
【0057】
ピクチャソース１６は、任意の種類のピクチャキャプチャ装置、例えば現実のピクチャをキャプチャするカメラ、及び／又は任意の種類のピクチャ生成装置、例えばコンピュータアニメーションピクチャを生成するコンピュータグラフィックプロセッサ、又は現実世界のピクチャ、コンピュータの生成したピクチャ（例えば、スクリーンコンテンツ、仮想現実（virtual reality (VR)）ピクチャ）及び／又はそれらの任意の組み合わせ（例えば、拡張現実（augmented reality (AR)）ピクチャ）を取得し及び／又は提供する任意の種類の他の装置、を含み又はそれであってよい。ピクチャソースは、前述のピクチャのうちのいずれかを格納する任意の種類のメモリ又は記憶であってよい。
【0058】
プリプロセッサ１８及び前処理ユニット１８により実行される処理と対照的に、ピクチャ又はピクチャデータ１７は、生ピクチャ又は生ピクチャデータ１７とも呼ばれてよい。
【0059】
プリプロセッサ１８は、（生）ピクチャデータ１７を受信し、ピクチャデータ１７に前処理を実行して、前処理済みピクチャ１９又は前処理済みピクチャデータ１９を取得するよう構成される。プリプロセッサ１８により実行される前処理は、例えばトリミング、色形式変換（例えば、ＲＧＢからＹＣｂＣｒへ）、色補正、又はノイズ除去を含んでよい。前処理ユニット１８は任意的コンポーネントであってよいことが理解できる。
【0060】
ビデオエンコーダ２０は、前処理済みピクチャデータ１９を受信し、符号化ピクチャデータ２１を提供するよう構成される（更なる詳細は、例えば図２に基づき後述される）。
【0061】
ソース装置１２の通信インタフェース２２は、符号化ピクチャデータ２１を受信し、符号化ピクチャデータ２１（又はその任意の更なる処理済みバージョン）を通信チャネル１３を介して別の装置、例えば宛先装置１４又は任意の他の装置へ記憶又は直接再構成のために送信するよう構成されてよい。
【0062】
宛先装置１４は、デコーダ３０（例えば、ビデオデコーダ３０）を含み、追加で、つまり任意で、通信インタフェース又は通信ユニット２８、ポストプロセッサ３２（又は後処理ユニット３２）、及びディスプレイ装置３４を含んでよい。
【0063】
宛先装置１４の通信インタフェース２８は、符号化ピクチャデータ２１（又はその任意の更なる処理済みバージョン）を、例えばソース装置１２から直接に又は任意の他のソース、例えば記憶装置、例えば符号化ピクチャデータ記憶装置から受信し、符号化ピクチャデータ２１をデコーダ３０へ提供するよう構成される。
【0064】
通信インタフェース２２及び通信インタフェース２８は、符号化ピクチャデータ２１又は符号化データ１３を、ソース装置１２と宛先装置１４との間の直接通信リンク、例えば直接有線又は無線接続、又は任意の種類のネットワーク、例えば有線又は無線ネットワーク、又はそれらの任意の組み合わせ、又は任意の種類の私設又は公衆ネットワーク、又はそれらの任意の種類の組み合わせを介して送信又は受信するよう構成されてよい。
【0065】
通信インタフェース２２は、例えば、符号化ピクチャデータ２１を適切な形式、例えばパケットにパッケージし、及び／又は通信リンク又は通信ネットワークを介して送信するために、任意の種類の送信符号化若しくは処理を用いて符号化ピクチャデータを処理するよう構成されてよい。
【0066】
通信インタフェース２８は、通信インタフェース２２の相手方を形成し、例えば、送信されたデータを受信し、任意の種類の対応する送信復号若しくは処理を用いて送信データを処理し、及び／又はパッケージ解除して符号化ピクチャデータ２１を取得するよう構成されてよい。
【0067】
通信インタフェース２２及び通信インタフェース２８の両方は、図１Ａでソース装置１２から宛先装置１４を指す通信チャネル１３の矢印により示されるように、単方向通信インタフェース、又は、双方向通信インタフェースとして構成されてよく、例えば接続を確立するため、通信リンク及び／又はデータ送信、例えば符号化ピクチャデータ送信に関連する任意の他の情報に肯定応答しこれを交換するために、例えばメッセージを送信し及び受信するよう構成されてよい。
【0068】
【0069】
宛先装置１４のポストプロセッサ３２は、復号ピクチャデータ３１（再構成ピクチャデータとも呼ばれる）、例えば復号ピクチャ３１を後処理して、後処理済みピクチャデータ３３、例えば後処理済みピクチャ３３を取得するよう構成される。後処理ユニット３２により実行される後処理は、例えば色形式変換（例えば、ＹＣｂＣｒからＲＧＢへ）、色補正、トリミング、又は再サンプリング、又は、例えば復号ピクチャデータ３１を例えばディスプレイ装置３４による表示のために準備するための任意の他の処理、を含んでよい。
【0070】
宛先装置１４のディスプレイ装置３４は、例えばユーザ又はビューアにピクチャを表示するために、後処理済みピクチャデータ３３を受信するよう構成される。ディスプレイ装置３４は、再構成ピクチャを提示する任意の種類のディスプレイ、例えば内蔵又は外部ディスプレイ又はモニタであり又はそれを含んでよい。ディスプレイは、例えば液晶ディスプレイ（liquid crystal displays (LCD)）、有機発光ダイオード（organic light emitting diodes (OLED)）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、シリコン上の液晶（liquid crystal on silicon (LCoS)）、デジタル光プロセッサ（digital light processor(DLP)）又は任意の種類の他のディスプレイを含んでよい。
【0071】
図１Ａはソース装置１２及び宛先装置１４を別個の装置として示すが、装置の実施形態は、ソース装置１２又は対応する機能と宛先装置１４又は対応する機能の両方又は両方の機能を含んでもよい。このような実施形態では、ソース装置１２又は対応する機能及び宛先装置１４又は対応する機能は、同じハードウェア及び／又はソフトウェア又は別個のハードウェア及び／又はソフトウェアを用いて又はそれらの任意の組み合わせにより実装されてよい。
【0072】
説明に基づき当業者に明らかなように、図１Ａに示されるようなソース装置１２及び／又は宛先装置１４内の異なるユニット又は機能の存在及び（正確な）分割は、実際の装置及び用途に依存して変化してよい。
【0073】
エンコーダ２０（例えば、ビデオエンコーダ２０）及びデコーダ３０（例えば、ビデオデコーダ３０）はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processors (DSP)）、特定用途向け集積回路（application－specific integrated circuits (ASIC)）、フィールドプログラマブルゲートアレイ（field－programmable gate arrays (FPGA)）、個別ロジック、ハードウェア、又はそれらの任意の組み合わせのような、図１Ｂに示すような様々な適切な回路のうちのいずれかとして実装されてよい。技術が部分的にソフトウェアで実装される場合、装置は、適切な非一時的コンピュータ可読記憶媒体内のソフトウェアのための命令を格納してよく、命令をハードウェアで１つ以上のプロセッサを用いて実行して、本開示の技術を実行してよい。前述のいずれか（ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせ、等を含む）は、１つ以上のプロセッサであると考えられてよい。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ以上のエンコーダ又はデコーダに含まれてよく、いずれも、結合されたエンコーダ／デコーダ（encoder/decoder (CODEC)）の部分としてそれぞれの装置内に統合されてよい。
【0074】
ソース装置１２及び宛先装置１４は、任意の種類のハンドヘルド又は固定装置、例えばノートブック又はラップトップコンピュータ、移動電話機、スマートフォン、タブレット又はタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビジョン、ディスプレイ装置、デジタルメディアプレイヤ、ビデオゲームコンソール、ビデオストリーミング装置（例えば、コンテンツサービスサーバ、又はコンテンツ配信サーバ）、ブロードキャスト受信装置、ブロードキャスト送信装置、等を含む、広範な装置のうちのいずれかを含んでよく、任意の種類のオペレーティングシステムを使用してよく又は使用しなくてよい。幾つかの場合には、ソース装置１２及び宛先装置１４は、無線通信のために装備されてよい。従って、ソース装置１２及び宛先装置１４は、無線通信装置であってよい。
【0075】
幾つかの場合には、図１Ａに示されるビデオコーディングシステム１０は単に例であり、本願の技術は、必ずしも符号化装置と復号装置との間の任意のデータ通信を含まないビデオコーディング設定（例えば、ビデオ符号化又はビデオ復号）に適用してよい。他の例では、データはローカルメモリから読み出される、ネットワークを介してストリーミングされる、等である。ビデオ符号化装置は、データを符号化しメモリに格納してよく、及び／又は復号装置はデータをメモリから読み出し復号してよい。幾つかの例では、符号化及び復号は、互いに通信しないが単にデータをメモリへと符号化し及び／又はメモリからデータを読み出し復号する装置により実行される。
【0076】
図１Ｂは、例示的な実施形態による、図２のエンコーダ２０及び／又は図３のデコーダ３０を含む別の例示的なビデオコーディングシステム４０の説明図である。システム４０は、本願において説明される種々の例に従う技術を実施できる。図示の実装では、ビデオコーディングシステム４０は、画像装置４１、ビデオエンコーダ１００、ビデオデコーダ３０（及び／又は処理ユニット４６の論理回路４７により実装されるビデオコーダ）、アンテナ４２、１つ以上のプロセッサ４３、１つ以上のメモリストア４４、及び／又はディスプレイ装置４５を含んでよい。
【0077】
図示のように、画像装置４１、アンテナ４２、処理ユニット４６、論理回路４７、ビデオエンコーダ２０、ビデオデコーダ３０、プロセッサ４３、メモリストア４４、及び／又はディスプレイ装置４５は、互いに通信可能であってよい。議論されるように、ビデオエンコーダ２０及びビデオデコーダ３０の両方と共に示されるが、ビデオコーディングシステム４０は、種々の例においてビデオエンコーダ２０のみ又はビデオデコーダ３０のみを含んでよい。
【0078】
示されるように幾つかの例では、ビデオコーディングシステム４０はアンテナ４２を含んでよい。アンテナ４２は、例えばビデオデータの符号化されたビットストリームを送信又は受信するよう構成されてよい。更に、幾つかの例では、ビデオコーディングシステム４０はディスプレイ装置４５を含んでよい。ディスプレイ装置４５は、ビデオデータを提示するよう構成されてよい。示されるように、幾つかの例では、論理回路４７は処理ユニット４６により実装されてよい。処理ユニット４６は、特定用途向け集積回路（application－specific integrated circuit (ASIC)）ロジック、グラフィックプロセッサ、汎用プロセッサ、等を含んでよい。ビデオコーディングシステム４０も、同様に特定用途向け集積回路（application－specific integrated circuit (ASIC)）ロジック、グラフィックプロセッサ、汎用プロセッサ、等を含んでよい任意的なプロセッサ４３を含んでよい。幾つかの例では、論理回路４７は、ハードウェア、ビデオコーディング専用ハードウェア、等により実装されてよく、プロセッサ４３は、汎用ソフトウェア、オペレーティングシステム、等を実装してよい。更に、メモリストア４４は、揮発性メモリ（例えば、静的ランダムアクセスメモリ（Static Random Access Memory (SRAM)）、動的ランダムアクセスメモリ（Dynamic Random Access Memory (DRAM)、等）又は不揮発性メモリ（例えば、フラッシュメモリ、等）、等のような任意の種類のメモリであってよい。非限定的な例では、メモリストア４４はキャッシュメモリにより実装されてよい。幾つかの例では、論理回路４７は、（例えば画像バッファの実装のために）メモリストア４４にアクセスしてよい。他の例では、論理回路４７及び／又は処理ユニット４６は、画像バッファ等の実装のためにメモリストア（例えばキャッシュ等）を含んでよい。
【0079】
幾つかの例では、論理回路により実装されるビデオエンコーダ２０は、（例えば、処理ユニット４６又はメモリストア４４のいずれかによる）画像バッファ、及び（例えば、処理ユニット４６による）グラフィック処理ユニットを含んでよい。グラフィック処理ユニットは、画像バッファに通信可能に結合されてよい。グラフィック処理ユニットは、図２に関して議論したような種々のモジュール及び／又はここで説明される任意の他のエンコーダシステム若しくはサブシステムを実現するために、論理回路４７により実装されるようなビデオエンコーダ２０を含んでよい。論理回路は、ここで議論されるような種々の動作を実行するよう構成されてよい。
【0080】
ビデオデコーダ３０は、図３のデコーダ３０に関して議論したような種々のモジュール及び／又はここで説明された任意の他のデコーダシステム若しくはサブシステムを実現するために、論理回路４７により実装されるのと同様の方法で実装されてよい。幾つかの例では、ビデオデコーダ３０は、論理回路を介して実装されてよく、（例えば、処理ユニット４２０又はメモリストア４４のいずれかによる）画像バッファ、及び（例えば、処理ユニット４６による）グラフィック処理ユニットを含んでよい。グラフィック処理ユニットは、画像バッファに通信可能に結合されてよい。グラフィック処理ユニットは、図３に関して議論されるような種々のモジュール及び／又はここで説明される任意の他のデコーダシステム若しくはサブシステムを実現するために、論理回路４７により実装されるようなビデオデコーダ３０を含んでよい。
【0081】
幾つかの例では、ビデオコーディングシステム４０のアンテナ４２は、ビデオデータの符号化されたビットストリームを受信するよう構成されてよい。議論されるように、符号化されたビットストリームは、コーディングパーティションに関連するデータ（例えば、変換係数又は量子化変換係数、（議論されるような）任意的な指示子、及び／又はコーディングパーティションを定めるデータ）のような、ここで議論されるビデオフレームの符号化に関連するデータ、指示子、インデックス値、モード選択データ、等を含んでよい。ビデオコーディングシステム４０は、アンテナ４２に結合され符号化されたビットストリームを復号するよう構成されるビデオデコーダ３０も含んでよい。ディスプレイ装置４５は、ビデオフレームを提示するよう構成される。
【0082】
説明の便宜上、本開示の実施形態は、ここで、例えば高効率ビデオコーディング（High－Efficiency Video Coding (HEVC)）、又はバーサタイルビデオコーディング（Versatile Video coding(VVC)）のリファレンスソフトウェア、ＩＴＵ－Ｔビデオコーディング専門家グループ（ITU－T Video Coding Experts Group (VCEG)）及びＩＳＯ／ＩＥＣ動画専門家グループ（Motion Picture Experts Group (MPEG)）のビデオコーディングに関する共同作業部会（Joint Collaboration Team on Video Coding (JCT－VC)）により開発された次世代ビデオコーディング規格を参照して説明される。当業者は、本開示の実施形態がＨＥＶＣ又はＶＶＣに限定されないことを理解するだろう。
【0083】
エンコーダ及び符号化方法
図２は、本願の技術を実施するよう構成される例示的なビデオエンコーダ２０の概略的ブロック図を示す。図２の例では、ビデオエンコーダ２０は、入力２０１（又は入力インタフェース２０１）、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０及び逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタユニット２２０、復号ピクチャバッファ（decoded picture buffer (DPB)）２３０、モード選択ユニット２６０、エントロピー符号化ユニット２７０、出力２７２（又は出力インタフェース２７２）を含む。モード選択ユニット２６０は、インター予測ユニット２４４、イントラ予測処理ユニット２５４、及びパーティションユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示しない）を含んでよい。図２に示すビデオエンコーダ２０は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれてよい。
図２は、本願の技術を実施するよう構成される例示的なビデオエンコーダ２０の概略的ブロック図を示す。図２の例では、ビデオエンコーダ２０は、入力２０１（又は入力インタフェース２０１）、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０及び逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタユニット２２０、復号ピクチャバッファ（decoded picture buffer (DPB)）２３０、モード選択ユニット２６０、エントロピー符号化ユニット２７０、出力２７２（又は出力インタフェース２７２）を含む。モード選択ユニット２６０は、インター予測ユニット２４４、イントラ予測処理ユニット２５４、及びパーティションユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示しない）を含んでよい。図２に示すビデオエンコーダ２０は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれてよい。
【0084】
残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、モード選択ユニット２６０は、エンコーダ２０の順方向信号経路を形成するとして参照されてよい。一方で、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号ピクチャバッファ（decoded picture buffer (DPB)）２３０、インター予測処理ユニット２４４、及びイントラ予測ユニット２５４は、ビデオエンコーダ２０の逆方向信号経路を形成するとして参照されてよく、ビデオエンコーダ２０の逆方向信号経路はデコーダの信号経路に対応する（図３のビデオデコーダ３０を参照）。逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、復号ピクチャバッファ（decoded picture buffer (DPB)）２３０、インター予測ユニット２４４、及びイントラ予測ユニット２５４は、ビデオエンコーダ２０の「内蔵デコーダ」を形成するとも表される。
【0085】
ピクチャ及びピクチャパーティション（ピクチャ及びブロック）
エンコーダ２０は、例えば入力２０１により、ピクチャ１７（又はピクチャデータ１７）、例えばビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するよう構成されてよい。受信したピクチャ又はピクチャデータは、前処理済みピクチャ１９（又は前処理済みピクチャデータ１９）であってもよい。簡単のために、以下の説明はピクチャ１７を参照する。ピクチャ１７は、（特に、ビデオコーディングでは、現在ピクチャを他のピクチャ、例えば同じビデオシーケンス、つまり現在ピクチャも含むビデオシーケンスの前に符号化された及び／又は復号されたピクチャと区別するために）現在ピクチャ又は被コーディングピクチャとも呼ばれてよい。
エンコーダ２０は、例えば入力２０１により、ピクチャ１７（又はピクチャデータ１７）、例えばビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するよう構成されてよい。受信したピクチャ又はピクチャデータは、前処理済みピクチャ１９（又は前処理済みピクチャデータ１９）であってもよい。簡単のために、以下の説明はピクチャ１７を参照する。ピクチャ１７は、（特に、ビデオコーディングでは、現在ピクチャを他のピクチャ、例えば同じビデオシーケンス、つまり現在ピクチャも含むビデオシーケンスの前に符号化された及び／又は復号されたピクチャと区別するために）現在ピクチャ又は被コーディングピクチャとも呼ばれてよい。
【0086】
（デジタル）ピクチャは、強度値を有するサンプルの２次元配列又は行列と考えられる又は考えることができる。配列の中のサンプルは、ピクセル（pixel）（ピクチャ要素の短縮形）又はペル（pel）とも呼ばれてよい。配列又はピクチャの水平及び垂直方向（又は軸）にあるサンプルの数は、ピクチャのサイズ及び／又は解像度を定める。色の表現のために、標準的に３つの色成分が利用される。つまり、ピクチャは、３つのサンプル配列で表現され又はそれを含んでよい。ＲＢＧ形式又は色空間では、ピクチャは、対応する赤、緑、及び青色サンプル配列を含む。しかしながら、ビデオコーディングでは、各ピクセルは、標準的に、輝度及び色度形式、又は色空間、例えば、Ｙ（時には代わりにＬが使用される）により示される輝度成分とＣｂ及びＣｒにより示される２つの色度成分とを含むＹＣｂＣｒで表現される。輝度（又は略してルマ）成分Ｙは、明るさ又はグレーレベル強度（例えば、グレイスケールピクチャのような）を表現する。一方で、２つの色度（又は略してクロマ）成分Ｃｂ及びＣｒは、色度又は色情報成分を表現する。従って、ＹＣｂＣｒ形式のピクチャは、輝度サンプル値（Ｙ）の輝度サンプル配列と、色度値（Ｃｂ及びＣｒ）の２つの色度サンプル配列とを含む。ＲＧＢ形式のピクチャは、ＹＣｂＣｒ形式に転換され又は変換されてよく、逆も同様であり、処理は色転換又は変換としても知られる。ピクチャが単色である場合、ピクチャは、輝度サンプル配列のみを含んでよい。従って、ピクチャは、例えば、単色形式のルマサンプルの配列又はルマサンプルの配列、及び４：２：０、４：２：２、及び４：４：４色形式のクロマサンプルの２つの対応する配列であってよい。
【0087】
ビデオエンコーダ２０の実施形態は、ピクチャ１７を複数の（標準的には重なり合わない）ピクチャブロック２０３にパーティションするよう構成されるピクチャパーティションユニット（図２に示されない）を含んでよい。これらのブロックは、ルートブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）又はコーディング木ブロック（coding tree block (CTB)）又はコーディング木単位（coding tree unit (CTU)）（Ｈ．２６５／ＨＥＶＣ及びＶＶＣ）と呼ばれてもよい。ピクチャパーティションユニットは、同じブロックサイズをビデオシーケンスの全部のピクチャ、及びブロックサイズを定める対応するグリッドに対して使用し、又はピクチャ又はピクチャのサブセット若しくはグループ間のブロックサイズを変更し、各ピクチャを対応するブロックにパーティションするよう構成されてよい。
【0088】
更なる実施形態では、ビデオエンコーダは、ピクチャ１７のブロック２０３、例えばピクチャ１７を形成する１つの、幾つかの、又は全部のブロックを直接受信するよう構成されてよい。ピクチャブロック２０３は、現在ピクチャブロック又は被コーディングピクチャブロックとも呼ばれてよい。
【0089】
ピクチャ１７と同様に、ピクチャブロック２０３は、ここでも、強度値（サンプル値）を有するサンプルの２次元配列又は行列であり又は考えることができるが、ピクチャ１７より小さい次元である。言い換えると、ブロック２０３は、例えば１つのサンプル配列（例えば、単色ピクチャ１７の場合にはルマ配列、又はカラーピクチャの場合にはルマ若しくはクロマ配列）、又は３つのサンプル配列（例えば、カラーピクチャ１７の場合には、ルマ及び２つのクロマ配列）、又は適用される色形式に依存して任意の他の数の及び／又は種類の配列を含んでよい。ブロック２０３の水平及び垂直方向（又は軸）にあるサンプルの数は、ブロック２０３のサイズを定める。従って、ブロックは、例えばサンプルのＭ×Ｎ（Ｍ列×Ｎ行）配列、又は変換係数のＭ×Ｎ配列であってよい。
【0090】
図２に示すようなビデオエンコーダ２０の実施形態は、ブロック毎にピクチャ１７を符号化するよう構成されてよい。例えば、符号化及び予測がブロック２０３毎に実行される。
【0091】
残差計算
残差計算ユニット２０４は、残差ブロック２０５（残差２０５とも呼ばれる）を、ピクチャブロック２０３及び予測ブロック２６５（予測ブロック２６５に関する更なる詳細は後に提供される）に基づき、例えば予測ブロック２６５のサンプル値をピクチャブロック２０３のサンプル値からサンプル毎に（ピクセル毎に）減算してサンプルドメインにおける残差ブロック２０５を取得することにより、計算するよう構成されてよい。
残差計算ユニット２０４は、残差ブロック２０５（残差２０５とも呼ばれる）を、ピクチャブロック２０３及び予測ブロック２６５（予測ブロック２６５に関する更なる詳細は後に提供される）に基づき、例えば予測ブロック２６５のサンプル値をピクチャブロック２０３のサンプル値からサンプル毎に（ピクセル毎に）減算してサンプルドメインにおける残差ブロック２０５を取得することにより、計算するよう構成されてよい。
【0092】
変換
変換処理ユニット２０６は、変換、例えば離散コサイン変換（discrete cosine transform (DCT)）又は離散サイン変換（discrete sine transform (DST)）を残差ブロック２０５のサンプル値に対して適用して、変換ドメインにおける変換係数２０７を取得するよう構成されてよい。変換係数２０７は、変換残差係数とも呼ばれ、変換ドメインにおける残差ブロック２０５を表してよい。
変換処理ユニット２０６は、変換、例えば離散コサイン変換（discrete cosine transform (DCT)）又は離散サイン変換（discrete sine transform (DST)）を残差ブロック２０５のサンプル値に対して適用して、変換ドメインにおける変換係数２０７を取得するよう構成されてよい。変換係数２０７は、変換残差係数とも呼ばれ、変換ドメインにおける残差ブロック２０５を表してよい。
【0093】
変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣのために指定された変換のようなＤＣＴ／ＤＳＴの整数近似を適用するよう構成されてよい。直交ＤＣＴ変換と比べて、このような整数近似は、標準的に、特定の因子によりスケーリングされる。順方向及び逆変換により処理される残差ブロックのノルムを維持するために、追加スケーリング因子が変換処理の部分として適用される。スケーリング因子は、標準的に、スケーリング因子がシフト演算について２のべき乗である、変換係数のビット深さ、精度と実装コストとの間のトレードオフ、等のような特定の制約に基づき選択される。特定のスケーリング因子は、例えば、例えば逆変換処理ユニット２１２による逆変換（及び例えばビデオデコーダ３０における逆変換処理ユニット３１２による対応する逆変換）のために指定され、例えばエンコーダ２０における変換処理ユニット２０６による順方向変換のための対応するスケーリング因子が相応して指定されてよい。
【0094】
ビデオエンコーダ２０の実施形態（それぞれ、変換処理ユニット２０６）は、変換パラメータ、例えば、変換又は複数の変換のタイプ、例えば直接又はエントロピー符号化ユニット２７０により符号化又は圧縮される、を出力するよう構成されてよい。その結果、例えば、ビデオデコーダ３０は、復号のために変換パラメータを受信し使用してよい。
【0095】
量子化
量子化ユニット２０８は、変換係数２０７を量子化して、例えばスカラー量子化又はベクトル量子化を適用することにより、量子化済み係数２０９を取得するよう構成されてよい。量子化済み係数２０９は、量子化済み変換係数２０９又は量子化済み残差係数２０９とも呼ばれてよい。
量子化ユニット２０８は、変換係数２０７を量子化して、例えばスカラー量子化又はベクトル量子化を適用することにより、量子化済み係数２０９を取得するよう構成されてよい。量子化済み係数２０９は、量子化済み変換係数２０９又は量子化済み残差係数２０９とも呼ばれてよい。
【0096】
量子化処理は、変換係数２０７の一部又は全部に関連するビット深さを低減してよい。例えば、ｎビットの変換係数は、量子化の間、ｍビットの変換係数に切り捨てられてよい。ここで、ｎはｍより大きい。量子化の程度は、量子化パラメータ（quantization parameter (QP)）を調整することにより、変更されてよい。例えば、スカラー量子化では、より精細な又は粗い量子化を達成するために異なるスケーリングが適用されてよい。量子化ステップサイズが小さいほど、精細な量子化に対応する。一方で、量子化ステップサイズが大きいほど、粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ（quantization parameter (QP)）により示されてよい。量子化パラメータは、例えば、適用可能な量子化ステップサイズの所定のセットに対するインデックスであってよい。例えば、小さい量子化パラメータは、精細な量子化（小さい量子化ステップサイズ）に対応してよく、大きな量子化パラメータは粗い量子化（大きな量子化ステップサイズ）に対応してよい。逆も同様である。量子化は、量子化ステップサイズによる除算を含んでよい。例えば逆量子化ユニット２１０による対応する及び／又は逆の逆量子化は、量子化ステップサイズによる乗算を含んでよい。幾つかの規格、例えば、ＨＥＶＣに従う実施形態は、量子化ステップサイズを決定するために量子化パラメータを使用するよう構成されてよい。通常、量子化ステップサイズは、除算を含む式の不動点近似を用いて、量子化パラメータに基づき計算されてよい。量子化ステップサイズ及び量子化パラメータの式の不動点近似において使用されるスケーリングのために変更され得る残差ブロックの水準を復元するために、量子化及び逆量子化のための追加のスケーリング因子が導入されてよい。１つの例示的な実装では、逆変換及び逆量子化のスケーリングは結合されてよい。代替として、カスタマイズされた量子化テーブルが使用され、エンコーダからデコーダへ、例えばビットストリームの中でシグナリングされてよい。量子化は、損失動作であり、損失は量子化ステップサイズの増大に伴い増大する。
【0097】
ビデオエンコーダ２０の実施形態（それぞれ、量子化ユニット２０８）は、量子化パラメータ（quantization parameters (QP)）、例えば直接又はエントロピー符号化ユニット２７０により符号化される、を出力するよう構成されてよい。その結果、例えば、ビデオデコーダ３０は、復号のために量子化パラメータを受信し適用してよい。
【0098】
逆量子化
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づき又はそれを用いて、量子化ユニット２０８により適用された量子化方式の逆を適用することにより、量子化された係数に対して量子化ユニット２０８の逆量子化を適用して、逆量子化された係数２１１を取得するよう構成される。逆量子化された係数２１１は、逆量子化された残差係数２１１とも呼ばれ、標準的には量子化による損失のために変換係数と同じではないが、変換係数２０７に対応してよい。
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づき又はそれを用いて、量子化ユニット２０８により適用された量子化方式の逆を適用することにより、量子化された係数に対して量子化ユニット２０８の逆量子化を適用して、逆量子化された係数２１１を取得するよう構成される。逆量子化された係数２１１は、逆量子化された残差係数２１１とも呼ばれ、標準的には量子化による損失のために変換係数と同じではないが、変換係数２０７に対応してよい。
【0099】
逆変換
逆変換処理ユニット２１２は、変換処理ユニット２０６により適用された変換の逆変換、例えば逆離散コサイン変換（inverse discrete cosine transform (DCT)）又は逆離散サイン変換（inverse discrete sine transform (DST)）又は他の逆変換を適用して、サンプルドメインにおける再構成残差ブロック２１３（又は対応する逆量子化済み係数２１３）を取得するよう構成される。再構成残差ブロック２１３は、変換ブロック２１３とも呼ばれてよい。
逆変換処理ユニット２１２は、変換処理ユニット２０６により適用された変換の逆変換、例えば逆離散コサイン変換（inverse discrete cosine transform (DCT)）又は逆離散サイン変換（inverse discrete sine transform (DST)）又は他の逆変換を適用して、サンプルドメインにおける再構成残差ブロック２１３（又は対応する逆量子化済み係数２１３）を取得するよう構成される。再構成残差ブロック２１３は、変換ブロック２１３とも呼ばれてよい。
【0100】
再構成
再構成ユニット２１４（例えば、加算器又はアナログ加算器２１４）は、変換ブロック２１３（つまり再構成残差ブロック２１３）を予測ブロック２６５に加算して、例えば再構成残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とをサンプル毎に加算することにより、サンプルドメインにおける再構成ブロック２１５を取得するよう構成される。
再構成ユニット２１４（例えば、加算器又はアナログ加算器２１４）は、変換ブロック２１３（つまり再構成残差ブロック２１３）を予測ブロック２６５に加算して、例えば再構成残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とをサンプル毎に加算することにより、サンプルドメインにおける再構成ブロック２１５を取得するよう構成される。
【0101】
フィルタリング
ループフィルタユニット２２０（又は略して「ループフィルタ」２２０）は、再構成ブロック２１５をフィルタリングして、フィルタリング済みブロック２２１を取得するよう、又は通常、再構成サンプルをフィルタリングしてフィルタリング済みサンプルを取得するよう構成される。ループフィルタユニットは、例えば、ピクセル遷移を円滑化し、又はその他の場合にはビデオ品質を向上するよう構成される。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応オフセット（sample－adaptive offset (SAO)）フィルタ又は１つ以上の他のフィルタ、例えば双方向フィルタ、適応ループフィルタ（adaptive loop filter (ALF)）、先鋭化、円滑化フィルタ若しくは共同フィルタ、又はそれらの任意の組合せのような１つ以上のループフィルタを含んでよい。ループフィルタユニット２２０はインループフィルタであるとして図２に示されるが、他の構成では、ループフィルタユニット２２０は後置きループフィルタとして実装されてよい。フィルタリング済みブロック２２１は、フィルタリング済み再構成ブロック２２１と呼ばれてもよい。復号ピクチャバッファ２３０は、ループフィルタユニット２２０がフィルタリング動作を再構成コーディングブロックに対して実行した後に、再構成コーディングブロックを格納してよい。
ループフィルタユニット２２０（又は略して「ループフィルタ」２２０）は、再構成ブロック２１５をフィルタリングして、フィルタリング済みブロック２２１を取得するよう、又は通常、再構成サンプルをフィルタリングしてフィルタリング済みサンプルを取得するよう構成される。ループフィルタユニットは、例えば、ピクセル遷移を円滑化し、又はその他の場合にはビデオ品質を向上するよう構成される。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応オフセット（sample－adaptive offset (SAO)）フィルタ又は１つ以上の他のフィルタ、例えば双方向フィルタ、適応ループフィルタ（adaptive loop filter (ALF)）、先鋭化、円滑化フィルタ若しくは共同フィルタ、又はそれらの任意の組合せのような１つ以上のループフィルタを含んでよい。ループフィルタユニット２２０はインループフィルタであるとして図２に示されるが、他の構成では、ループフィルタユニット２２０は後置きループフィルタとして実装されてよい。フィルタリング済みブロック２２１は、フィルタリング済み再構成ブロック２２１と呼ばれてもよい。復号ピクチャバッファ２３０は、ループフィルタユニット２２０がフィルタリング動作を再構成コーディングブロックに対して実行した後に、再構成コーディングブロックを格納してよい。
【0102】
ビデオエンコーダ２０の実施形態（それぞれ、ループフィルタユニット２２０）は、例えば直接に又はエントロピー符号化ユニット２７０により符号化された（サンプル適応オフセット情報のような）ループフィルタパラメータを出力するよう構成されてよい。その結果、例えば、デコーダ３０は、復号のために同じループフィルタパラメータ又はそれぞれのループフィルタを受信し適用してよい。
【0103】
復号ピクチャバッファ
復号ピクチャバッファ（decoded picture buffer (DPB)）２３０は、ビデオエンコーダ２０によるビデオデータの符号化のために、参照ピクチャ又は一般的に参照ピクチャデータを格納するメモリであってよい。ＤＰＢ２３０は、同期ＲＡＭ（synchronous DRAM (SDRAM)）を含む動的ランダムアクセスメモリ（dynamic random access memory (DRAM)）、磁気抵抗ＲＡＭ（magnetoresistive RAM (MRAM)）、抵抗ＲＡＭ（resistive RAM (RRAM)）、又は他の種類のメモリ装置のような、種々のメモリ装置のうちのいずれかにより形成されてよい。復号ピクチャバッファ（decoded picture buffer (DPB)）２３０は、１つ以上のフィルタリング済みブロック２２１を格納するよう構成されてよい。復号ピクチャバッファ２３０は、同じ現在ピクチャの又は異なるピクチャ、例えば前の再構成ピクチャの他の前のフィルタリング済みブロック、例えば前の再構成及びフィルタリング済みブロック２２１を格納するよう更に構成されてよく、完全な前に再構成された、つまり復号されたピクチャ（及び対応する参照ブロック及びサンプル）、及び／又は部分的に再構成された現在ピクチャ（及び対応する参照ブロック及びサンプル）を、例えばインター予測のために提供してよい。復号ピクチャバッファ（decoded picture buffer (DPB)）２３０は、１つ以上のフィルタリングされていない再構成ブロック２１５、又は一般的には、例えば再構成ブロック２１５がループフィルタユニット２２０によりフィルタリングされない場合には、フィルタリングされていない再構成サンプルを、又は再構成ブロック又はサンプルの任意の他の更に処理されたバージョンを格納するよう構成されてもよい。
復号ピクチャバッファ（decoded picture buffer (DPB)）２３０は、ビデオエンコーダ２０によるビデオデータの符号化のために、参照ピクチャ又は一般的に参照ピクチャデータを格納するメモリであってよい。ＤＰＢ２３０は、同期ＲＡＭ（synchronous DRAM (SDRAM)）を含む動的ランダムアクセスメモリ（dynamic random access memory (DRAM)）、磁気抵抗ＲＡＭ（magnetoresistive RAM (MRAM)）、抵抗ＲＡＭ（resistive RAM (RRAM)）、又は他の種類のメモリ装置のような、種々のメモリ装置のうちのいずれかにより形成されてよい。復号ピクチャバッファ（decoded picture buffer (DPB)）２３０は、１つ以上のフィルタリング済みブロック２２１を格納するよう構成されてよい。復号ピクチャバッファ２３０は、同じ現在ピクチャの又は異なるピクチャ、例えば前の再構成ピクチャの他の前のフィルタリング済みブロック、例えば前の再構成及びフィルタリング済みブロック２２１を格納するよう更に構成されてよく、完全な前に再構成された、つまり復号されたピクチャ（及び対応する参照ブロック及びサンプル）、及び／又は部分的に再構成された現在ピクチャ（及び対応する参照ブロック及びサンプル）を、例えばインター予測のために提供してよい。復号ピクチャバッファ（decoded picture buffer (DPB)）２３０は、１つ以上のフィルタリングされていない再構成ブロック２１５、又は一般的には、例えば再構成ブロック２１５がループフィルタユニット２２０によりフィルタリングされない場合には、フィルタリングされていない再構成サンプルを、又は再構成ブロック又はサンプルの任意の他の更に処理されたバージョンを格納するよう構成されてもよい。
【0104】
モード選択（パーティション及び予測）
モード選択ユニット２６０は、パーティションユニット２６２、インター予測ユニット２４４、及びイントラ予測ユニット２５４を含み、元のピクチャデータ、例えば元のブロック２０３（現在ピクチャ１７の現在ブロック２０３）、及び再構成ピクチャデータ、例えば同じ（現在）ピクチャの及び／又は１つ又は複数の前の復号ピクチャからの、例えば復号ピクチャバッファ２３０若しくは他のバッファ（例えば、図示されないラインバッファ）からのフィルタリング済み及び／又はフィルタリングされていない再構成サンプル又はブロック、を受信し又は取得するよう構成される。再構成ピクチャデータは、予測ブロック２６５又は予測子２６５を取得するために、予測、例えばインター予測又はイントラ予測のために参照ピクチャデータとして使用される。
モード選択ユニット２６０は、パーティションユニット２６２、インター予測ユニット２４４、及びイントラ予測ユニット２５４を含み、元のピクチャデータ、例えば元のブロック２０３（現在ピクチャ１７の現在ブロック２０３）、及び再構成ピクチャデータ、例えば同じ（現在）ピクチャの及び／又は１つ又は複数の前の復号ピクチャからの、例えば復号ピクチャバッファ２３０若しくは他のバッファ（例えば、図示されないラインバッファ）からのフィルタリング済み及び／又はフィルタリングされていない再構成サンプル又はブロック、を受信し又は取得するよう構成される。再構成ピクチャデータは、予測ブロック２６５又は予測子２６５を取得するために、予測、例えばインター予測又はイントラ予測のために参照ピクチャデータとして使用される。
【0105】
モード選択ユニット２６０は現在ブロック予測モードのパーティション（パーティションしないことを含む）、及び予測モード（例えば、イントラ又はインター予測モード）を決定又は選択し、残差ブロック２０５の計算のため及び再構成ブロック２１５の再構成のために使用される対応する予測ブロック２６５を生成するよう構成されてよい。
【0106】
モード選択ユニット２６０の実施形態は、最良の一致又は言い換えると最小残差（最小残差は送信又は記憶のためのより良い圧縮を意味する）又は最小シグナリングオーバヘッド（最小シグナリングオーバヘッドは送信又は記憶のためのより良い圧縮を意味する）を提供する又は両者を考慮する若しくはバランスを取るパーティション及び予測モードを（例えば、モード選択ユニット２６０によりサポートされる又は利用可能なものから）選択するよう構成されてよい。モード選択ユニット２６０は、レート歪み最適化（rate distortion optimization (RDO)）に基づき、パーティション及び予測モードを決定するよう、つまり、最小レート歪みを提供する予測モードを選択するよう構成されてよい。この文脈における「最良」、「最小」、「最適」、等のような用語は、全体的な「最良」、「最小」、「最適」、等を必ずしも表さないが、閾値を超える又はそれより下である値のような終了若しくは選択基準、又は「準最適選択」をもたらす可能性があるが複雑さ及び処理時間を削減する他の制約の充足も表してよい。
【0107】
言い換えると、パーティションユニット２６２は、例えば４分木パーティション（quad－tree (QT)）、２分木パーティション（binary－tree (BT)）又は３分木パーティション（triple－tree(TT)）、又はそれらの任意の組み合わせを繰り返し使用して、ブロック２０３を更に小さいブロックパーティション又はサブブロックにパーティションし、例えば各ブロックパーティション又はサブブロックに対して予測を実行するよう構成されてよい。ここで、モード選択は、パーティション済みブロック２０３の木構造の選択を含み、予測モードはブロックパーティション又はサブブロックの各々に適用される。
【0108】
以下では、例示的なビデオエンコーダ２０により実行される（例えば、パーティションユニット２６０による）パーティション及び（インター予測ユニット２４４及びイントラ予測ユニット２５４による）予測処理が更に詳細に説明される。
【0109】
パーティション
パーティションユニット２６２は、現在ブロック２０３を更に小さいパーティション、例えば正方形又は長方形サイズのより小さいブロックにパーティションして（又は分割して）よい。これらの更に小さいブロック（これは、サブブロックとも呼ばれてよい）は、一層小さいパーティションに更にパーティションされてよい。これは、木パーティション又は階層木パーティションとも呼ばれる。ここで、例えばルート木レベル０（階層レベル０、深さ０）にあるルートブロックは、再帰的にパーティションされて、例えば、次のより下の木レベルにある２つ以上のブロック、例えば木レベル１（階層レベル１、深さ１）にあるノードにパーティションされてよい。ここで、例えば終了基準が充足された、例えば最大木深さ又は最小ブロックサイズに達したために、例えばパーティションが終了するまで、これらのブロックは、再び、次のより下のレベル、例えば木レベル２（階層レベル２、深さ２）の２つ以上のブロックにパーティションされてよい、等である。更にパーティションされないブロックは、木のリーフブロック又はリーフノードとも呼ばれる。２個のパーティションへのパーティションを用いる木は、２分木（binary－tree (BT)）と呼ばれ、３個のパーティションへのパーティションを用いる木は３分木（ternary－tree (TT)）と呼ばれ、４個のパーティションへのパーティションを用いる木は４分木（quad－tree (QT)）と呼ばれる。
パーティションユニット２６２は、現在ブロック２０３を更に小さいパーティション、例えば正方形又は長方形サイズのより小さいブロックにパーティションして（又は分割して）よい。これらの更に小さいブロック（これは、サブブロックとも呼ばれてよい）は、一層小さいパーティションに更にパーティションされてよい。これは、木パーティション又は階層木パーティションとも呼ばれる。ここで、例えばルート木レベル０（階層レベル０、深さ０）にあるルートブロックは、再帰的にパーティションされて、例えば、次のより下の木レベルにある２つ以上のブロック、例えば木レベル１（階層レベル１、深さ１）にあるノードにパーティションされてよい。ここで、例えば終了基準が充足された、例えば最大木深さ又は最小ブロックサイズに達したために、例えばパーティションが終了するまで、これらのブロックは、再び、次のより下のレベル、例えば木レベル２（階層レベル２、深さ２）の２つ以上のブロックにパーティションされてよい、等である。更にパーティションされないブロックは、木のリーフブロック又はリーフノードとも呼ばれる。２個のパーティションへのパーティションを用いる木は、２分木（binary－tree (BT)）と呼ばれ、３個のパーティションへのパーティションを用いる木は３分木（ternary－tree (TT)）と呼ばれ、４個のパーティションへのパーティションを用いる木は４分木（quad－tree (QT)）と呼ばれる。
【0110】
前述のように、用語「ブロック」は、ここで使用されるとき、ピクチャの部分、特に正方形又は長方形部分であってよい。例えばＨＥＶＣ及びＶＶＣを参照すると、ブロックは、コーディング木単位（coding tree unit (CTU)）、コーディング単位（coding unit (CU)）、予測単位（prediction unit (PU)）、及び変換単位（transform unit (TU)）、及び／又は対応するブロック、例えばコーディング木ブロック（coding tree block (CTB)）、コーディングブロック（coding block (CB)）、変換ブロック（transform block (TB)）、又は予測ブロック（prediction block (PB)）であり又は対応してよい。
【0111】
例えば、コーディング木単位（coding tree unit (CTU)）は、ルマサンプルのＣＴＢ、３個のサンプル配列を有するピクチャのクロマサンプルの２個の対応するＣＴＢ、又は単色ピクチャのサンプルのＣＴＢ、又は３個の別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を用いてコーディングされるピクチャであり又はそれを含んでよい。相応して、コーディング木単位（coding tree block (CTB)）は、何らかの値のＮについてサンプルのＮ×Ｎブロックであってよい。その結果、ＣＴＢへの成分の分割はパーティションである。コーディング単位（coding unit (CU)）は、ルマサンプルのコーディングブロック、３個のサンプル配列を有するピクチャのクロマサンプルの２個の対応するコーディングブロック、又は単色ピクチャのサンプルのコーディングブロック、又は３個の別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を用いてコーディングされるピクチャであり又はそれを含んでよい。相応して、コーディングブロック（coding block (CB)）は、何らかの値のＭ及びＮについてサンプルのＭ×Ｎブロックであってよい。その結果、コーディングブロックへのＣＴＢの分割はパーティションである。
【0112】
例えばＨＥＶＣに従う実施形態では、コーディング木単位（coding tree unit）は、コーディング木として示される４分木構造を用いてＣＵに分割されてよい。ピクチャ領域をインターピクチャ（時間）又はイントラピクチャ（空間）予測を用いてコーディングするかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従い、１、２、又は４個のＰＵに更に分割できる。１個のＰＵ内で、同じ予測処理が適用され、関連情報がＰＵ毎にデコーダへ送信される。ＰＵ分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、ＣＵは、ＣＵのコーディング木と同様の別の４分木構造に従い、変換単位（transform unit (TU)）にパーティションできる。
【0113】
例えばバーサタイルビデオコーディング（Versatile Video Coding (VVC)）と呼ばれる現在策定中の最新のビデオコーディング規格に従う実施形態では、４分木及び２分木（Quad－tree and binary tree (QTBT)）パーティションが、コーディングブロックをパーティションするために使用される。ＱＴＢＴブロック構造では、ＣＵは正方形又は長方形形状のいずれかを有し得る。例えば、コーディング木単位（coding tree unit (CTU)）は、先ず、４分木構造によりパーティションされる。４分木のリーフノードは、２分木又は３分木（又はトリプル）木構造により更にパーティションされる。パーティション木のリーフノードは、コーディング単位（coding unit (CU)）と呼ばれ、任意の更なるパーティションを伴わず、予測及び変換処理のためにセグメント化が使用される。これは、ＣＵ、ＰＵ、及びＴＵが、ＱＴＢＴコーディングブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば３分木パーティションも、ＱＴＢＴブロック構造と一緒に使用するために提案された。
【0114】
一例では、ビデオエンコーダ２０のモード選択ユニット２６０は、ここに記載のパーティション技術の任意の組み合わせを実行するよう構成されてよい。
【0115】
上述のように、ビデオエンコーダ２０は、最良の又は最適な予測モードを決定し又は（予め決定された）予測モードのセットから選択するよう構成される。予測モードのセットは、例えばイントラ予測モード及び／又はインター予測モードを含んでよい。
【0116】
イントラ予測
イントラ予測モードのセットは、３５個の異なるイントラ予測モード、例えばＤＣ（又は平均）モード及び平面モードのような無指向性モード、又は例えばＨＥＶＣで定義されたような指向性モードを含んでよく、又は６７個の異なるイントラ予測モード、例えばＤＣ（又は平均）モード及び平面モードのような無指向性モード、又は例えばＶＶＣのために定義されたような指向性モードを含んでよい。
イントラ予測モードのセットは、３５個の異なるイントラ予測モード、例えばＤＣ（又は平均）モード及び平面モードのような無指向性モード、又は例えばＨＥＶＣで定義されたような指向性モードを含んでよく、又は６７個の異なるイントラ予測モード、例えばＤＣ（又は平均）モード及び平面モードのような無指向性モード、又は例えばＶＶＣのために定義されたような指向性モードを含んでよい。
【0117】
イントラ予測ユニット２５４は、イントラ予測モードのセットのうちのイントラ予測モードに従いイントラ予測ブロック２６５を生成するために、同じ現在ピクチャの近隣ブロックの再構成サンプルを使用するよう構成される。
【0118】
イントラ予測ユニット２５４（又は一般的にモード選択ユニット２６０）は、イントラ予測パラメータ（又は一般的にブロックについて選択されたイントラ予測モードを示す情報）を、エントロピー符号化ユニット２７０に、符号化ピクチャデータ２１に含めるためにシンタックス要素２６６の形式で出力するよう更に構成される。その結果、例えば、ビデオデコーダ３０は、復号のために予測パラメータを受信し及び使用してよい。
【0119】
インター予測
インター予測モード（又は可能なもの）のセットは、利用可能な参照ピクチャ（つまり、例えばＤＢＰ２３０に格納された、前の少なくとも部分的に復号されたピクチャ）及び他のインター予測パラメータに、例えば、参照ピクチャの全体又は部分のみが、例えば参照ピクチャの現在ブロックの領域周辺の検索ウインドウ領域が最良の適合する参照ブロックを検索するために使用されるか、及び／又は、例えば、ピクセル補間、例えばハーフ／セミペル及び／又は４分の１ペル補間が適用されるか否かに依存する。
インター予測モード（又は可能なもの）のセットは、利用可能な参照ピクチャ（つまり、例えばＤＢＰ２３０に格納された、前の少なくとも部分的に復号されたピクチャ）及び他のインター予測パラメータに、例えば、参照ピクチャの全体又は部分のみが、例えば参照ピクチャの現在ブロックの領域周辺の検索ウインドウ領域が最良の適合する参照ブロックを検索するために使用されるか、及び／又は、例えば、ピクセル補間、例えばハーフ／セミペル及び／又は４分の１ペル補間が適用されるか否かに依存する。
【0120】
上述の予測モードに加えて、スキップモード及び／又は直接モードが適用されてよい。
【0121】
インター予測ユニット２４４は、動き推定（motion estimation (ME)）ユニット及び動き補償（motion compensation (MC)）ユニット（両者は図２に示されない）を含んでよい。動き推定ユニットは、ピクチャブロック２０３（現在ピクチャ１７の現在ブロック２０３）、及び復号ピクチャ２３１、又は前の再構成ブロックのうちの少なくとも１つ又は複数、例えば他の／異なる前の復号ピクチャ２３１のうちの１又は複数の再構成ブロックを、動き推定のために受信し又は取得するよう構成されてよい。例えば、ビデオシーケンスは、現在ピクチャ及び前の復号ピクチャ２３１を含んでよく、又は言い換えると、現在ピクチャ及び前の復号ピクチャ２３１は、ビデオシーケンスを形成するピクチャのシーケンスの一部であり又はそれを形成してよい。
【0122】
エンコーダ２０は、例えば、複数の他のピクチャの同じ又は異なるピクチャの複数の参照ブロックから、参照ブロックを選択し、参照ピクチャ（又は参照ピクチャインデックス）及び／又は参照ブロックの位置（ｘ，ｙ座標）と現在ブロックの位置との間のオフセット（空間オフセット）を、インター予測パラメータとして動き推定ユニットに提供するよう構成されてよい。このオフセットは、動きベクトル（motion vector (MV)）とも呼ばれる。
【0123】
動き補償ユニットは、インター予測パラメータを取得し、例えば受信し、インター予測パラメータに基づき又はそれを用いてインター予測を実行して、インター予測ブロック２６５を取得するよう構成される。動き補償ユニットにより実行される動き補償は、動き推定により決定された動き／ブロックベクトルに基づき、予測ブロックをフェッチし又は生成し、場合によってはサブピクセル精度への補間を実行することを含んでよい。補間フィルタリングは、既知のピクセルサンプルから追加ピクセルサンプルを生成してよく、従ってピクチャブロックをコーディングするために使用され得る候補予測ブロックの数を増大させる可能性がある。現在ピクチャブロックのＰＵの動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの１つの中で動きベクトルの指す予測ブロックの位置を特定してよい。
【0124】
動き補償ユニットは、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ３０による使用のために、ブロック及びビデオスライスに関連するシンタックス要素も生成してよい。
【0125】
エントロピーコーディング
エントロピー符号化ユニット２７０は、例えばエントロピー符号化アルゴリズム又は方式（例えば、可変長コーディング（variable length coding (VLC)）方式、コンテキスト適応型ＶＬＣ方式（context adaptive VLC (CAVLC)）、算術コーディング方式、二値化、コンテキスト適応型バイナリ算術コーディング（context adaptive binary arithmetic coding (CABAC)）、シンタックスに基づくコンテキスト適応型バイナリ算術コーディング（syntax－based context－adaptive binary arithmetic coding (SBAC)）、確率区間パーティショニングエントロピー（probability interval partitioning entropy (PIPE)）コーディング又は別のエントロピー符号化方法若しくは技術）を、量子化済み残差係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ及び／又は他のシンタックス要素に、適用して又はバイパスして（圧縮しない）、出力２７２により例えば符号化ビットストリーム２１の形式で出力され得る符号化ピクチャデータ２１を取得するよう構成される。その結果、例えば、ビデオデコーダ３０は、復号のためにパラメータを受信し使用してよい。符号化ビットストリーム２１は、ビデオデコーダ３０へと伝送され、又はビデオデコーダ３０による後の伝送又は読み出しのためにメモリに格納されてよい。
エントロピー符号化ユニット２７０は、例えばエントロピー符号化アルゴリズム又は方式（例えば、可変長コーディング（variable length coding (VLC)）方式、コンテキスト適応型ＶＬＣ方式（context adaptive VLC (CAVLC)）、算術コーディング方式、二値化、コンテキスト適応型バイナリ算術コーディング（context adaptive binary arithmetic coding (CABAC)）、シンタックスに基づくコンテキスト適応型バイナリ算術コーディング（syntax－based context－adaptive binary arithmetic coding (SBAC)）、確率区間パーティショニングエントロピー（probability interval partitioning entropy (PIPE)）コーディング又は別のエントロピー符号化方法若しくは技術）を、量子化済み残差係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ及び／又は他のシンタックス要素に、適用して又はバイパスして（圧縮しない）、出力２７２により例えば符号化ビットストリーム２１の形式で出力され得る符号化ピクチャデータ２１を取得するよう構成される。その結果、例えば、ビデオデコーダ３０は、復号のためにパラメータを受信し使用してよい。符号化ビットストリーム２１は、ビデオデコーダ３０へと伝送され、又はビデオデコーダ３０による後の伝送又は読み出しのためにメモリに格納されてよい。
【0126】
ビデオエンコーダ２０の他の構造的変形は、ビデオストリームを符号化するために使用され得る。例えば、非変換に基づくエンコーダ２０は、変換処理ユニット２０６を有しないで、特定のブロック又はフレームについて、残差信号を直接量子化できる。別の実装では、エンコーダ２０は、単一のユニットに結合された、量子化ユニット２０８及び逆量子化ユニット２１０を有し得る。
【0127】
デコーダ及び復号方法
図３は、本願の技術を実施するよう構成されるビデオデコーダ３０の例を示す。ビデオデコーダ３０は、復号ピクチャ３３１を取得するために、例えばエンコーダ２０により符号化された符号化ピクチャデータ２１（例えば、符号化ビットストリーム２１）を受信するよう構成される。符号化ピクチャデータ又はビットストリームは、符号化ピクチャデータを復号するための情報、例えば符号化ビデオスライスのピクチャブロックを示すデータ及び関連するシンタックス要素を含む。
図３は、本願の技術を実施するよう構成されるビデオデコーダ３０の例を示す。ビデオデコーダ３０は、復号ピクチャ３３１を取得するために、例えばエンコーダ２０により符号化された符号化ピクチャデータ２１（例えば、符号化ビットストリーム２１）を受信するよう構成される。符号化ピクチャデータ又はビットストリームは、符号化ピクチャデータを復号するための情報、例えば符号化ビデオスライスのピクチャブロックを示すデータ及び関連するシンタックス要素を含む。
【0128】
図３の例では、デコーダ３０は、エントロピー復号ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、加算器３１４）、ループフィルタ３２０、復号ピクチャバッファ（decoded picture buffer (DBP)）３３０、インター予測ユニット３４４、及びイントラ予測ユニット３５４を含む。インター予測ユニット３４４は、動き補償ユニットであり又は含んでよい。ビデオデコーダ３０は、幾つかの例では、図２からビデオエンコーダ１００に関して説明した符号化パスに対して通常相互的な復号パスを実行してよい。
【0129】
エンコーダ２０に関して説明したように、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、復号ピクチャバッファ（decoded picture buffer (DPB)）２３０、インター予測ユニット３４４、及びイントラ予測ユニット３５４は、ビデオエンコーダ２０の「内蔵デコーダ」を形成するとも表される。従って、逆量子化ユニット３１０は逆量子化ユニット１１０と機能的に同一であってよく、逆変換処理ユニット３１２は逆変換処理ユニット２１２と機能的に同一であってよく、再構成ユニット３１４は再構成ユニット２１４と機能的に同一であってよく、ループフィルタ３２０はループフィルタ２２０と機能的に同一であってよく、復号ピクチャバッファ３３０は復号ピクチャバッファ２３０と機能的に同一であってよい。従って、それぞれのユニット及びビデオ２０エンコーダの機能について提供された説明は、相応して、ビデオデコーダ３０のそれぞれのユニット及び機能に適用する。
【0130】
エントロピー復号
エントロピー復号ユニット３０４は、ビットストリーム２１（又は一般的に符号化ピクチャデータ２１）をパースし、例えば符号化ピクチャデータ２１にエントロピー復号を実行して、例えば量子化済み係数３０９及び／又は復号コーディングパラメータ（図３に示されない）、例えばインター予測パラメータ（例えば、参照ピクチャインデックス及び動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モード又はインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素、のうちのいずれか又は全部を取得するよう構成される。エントロピー復号ユニット３０４は、エンコーダ２０のエントロピー符号化ユニット２７０に関して説明したような符号化方式に対応する復号アルゴリズム又は方式を適用するよう構成されてよい。エントロピー復号ユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素をモード適用ユニット３６０に、及び他のパラメータをデコーダ３０の他のユニットに提供するよう更に構成されてよい。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルのシンタックス要素を受信してよい。
エントロピー復号ユニット３０４は、ビットストリーム２１（又は一般的に符号化ピクチャデータ２１）をパースし、例えば符号化ピクチャデータ２１にエントロピー復号を実行して、例えば量子化済み係数３０９及び／又は復号コーディングパラメータ（図３に示されない）、例えばインター予測パラメータ（例えば、参照ピクチャインデックス及び動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モード又はインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素、のうちのいずれか又は全部を取得するよう構成される。エントロピー復号ユニット３０４は、エンコーダ２０のエントロピー符号化ユニット２７０に関して説明したような符号化方式に対応する復号アルゴリズム又は方式を適用するよう構成されてよい。エントロピー復号ユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素をモード適用ユニット３６０に、及び他のパラメータをデコーダ３０の他のユニットに提供するよう更に構成されてよい。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルのシンタックス要素を受信してよい。
【0131】
逆量子化
逆量子化ユニット３１０は、量子化パラメータ（quantization parameter (QP)）（又は一般的に逆量子化に関する情報）及び量子化済み係数を、符号化ピクチャデータ２１から（例えばエントロピー復号ユニット３０４により例えばパース及び／又は復号することにより）受信し、及び量子化パラメータに基づき逆量子化を復号量子化済み係数３０９に適用して、変換係数３１１とも呼ばれてよい逆量子化済み係数３１１を取得するよう構成されてよい。逆量子化処理は、ビデオスライス内の各ビデオブロックに対して、ビデオエンコーダ２０により決定された量子化パラメータを使用して、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定することを含んでよい。
逆量子化ユニット３１０は、量子化パラメータ（quantization parameter (QP)）（又は一般的に逆量子化に関する情報）及び量子化済み係数を、符号化ピクチャデータ２１から（例えばエントロピー復号ユニット３０４により例えばパース及び／又は復号することにより）受信し、及び量子化パラメータに基づき逆量子化を復号量子化済み係数３０９に適用して、変換係数３１１とも呼ばれてよい逆量子化済み係数３１１を取得するよう構成されてよい。逆量子化処理は、ビデオスライス内の各ビデオブロックに対して、ビデオエンコーダ２０により決定された量子化パラメータを使用して、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定することを含んでよい。
【0132】
逆変換
逆変換処理ユニット３１２は、変換係数３１１とも呼ばれる逆量子化済み係数３１１を受信し、サンプルドメインにおいて再構成残差ブロック２１３を取得するために逆量子化済み係数３１１に変換を適用するよう構成されてよい。再構成残差ブロック２１３は、変換ブロック３１３とも呼ばれてよい。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、又は概念的に同様の逆変換処理であってよい。逆変換処理ユニット３１２は、変換パラメータ又は対応する情報を、符号化ピクチャデータ２１から（例えばエントロピー復号ユニット３０４により例えばパース及び／又は復号することにより）受信して、逆量子化済み係数３１１に適用されるべき変換を決定するよう更に構成されてよい。
逆変換処理ユニット３１２は、変換係数３１１とも呼ばれる逆量子化済み係数３１１を受信し、サンプルドメインにおいて再構成残差ブロック２１３を取得するために逆量子化済み係数３１１に変換を適用するよう構成されてよい。再構成残差ブロック２１３は、変換ブロック３１３とも呼ばれてよい。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、又は概念的に同様の逆変換処理であってよい。逆変換処理ユニット３１２は、変換パラメータ又は対応する情報を、符号化ピクチャデータ２１から（例えばエントロピー復号ユニット３０４により例えばパース及び／又は復号することにより）受信して、逆量子化済み係数３１１に適用されるべき変換を決定するよう更に構成されてよい。
【0133】
再構成
再構成ユニット３１４（例えば、加算器又はアナログ加算器３１４）は、再構成残差ブロック３１３を予測ブロック３６５に加算して、例えば再構成残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを加算することにより、サンプルドメインにおける再構成ブロック３１５を取得するよう構成されてよい。
再構成ユニット３１４（例えば、加算器又はアナログ加算器３１４）は、再構成残差ブロック３１３を予測ブロック３６５に加算して、例えば再構成残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを加算することにより、サンプルドメインにおける再構成ブロック３１５を取得するよう構成されてよい。
【0134】
フィルタリング
ループフィルタユニット３２０（コーディングループ内にある又はコーディングループの後にある）は、再構成ブロック３１５をフィルタリングしてフィルタリング済みブロック３２１を取得し、例えばピクセル遷移を円滑化するよう又はその他の場合にビデオ品質を向上するよう構成される。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応オフセット（sample－adaptive offset (SAO)）フィルタ又は１つ以上の他のフィルタ、例えば双方向フィルタ、適応ループフィルタ（adaptive loop filter (ALF)）、先鋭化、円滑化フィルタ若しくは共同フィルタ、又はそれらの任意の組合せのような１つ以上のループフィルタを含んでよい。ループフィルタユニット３２０はインループフィルタであるとして図３に示されるが、他の構成では、ループフィルタユニット３２０は後置きループフィルタとして実装されてよい。
ループフィルタユニット３２０（コーディングループ内にある又はコーディングループの後にある）は、再構成ブロック３１５をフィルタリングしてフィルタリング済みブロック３２１を取得し、例えばピクセル遷移を円滑化するよう又はその他の場合にビデオ品質を向上するよう構成される。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応オフセット（sample－adaptive offset (SAO)）フィルタ又は１つ以上の他のフィルタ、例えば双方向フィルタ、適応ループフィルタ（adaptive loop filter (ALF)）、先鋭化、円滑化フィルタ若しくは共同フィルタ、又はそれらの任意の組合せのような１つ以上のループフィルタを含んでよい。ループフィルタユニット３２０はインループフィルタであるとして図３に示されるが、他の構成では、ループフィルタユニット３２０は後置きループフィルタとして実装されてよい。
【0135】
復号ピクチャバッファ
ピクチャの復号ビデオブロック３２１は、次に、他のピクチャのための後の動き補償のための参照ピクチャとして及び／又はそれぞれディスプレイ出力のために復号ピクチャ３３１を格納する復号ピクチャバッファ３３０に格納される。
ピクチャの復号ビデオブロック３２１は、次に、他のピクチャのための後の動き補償のための参照ピクチャとして及び／又はそれぞれディスプレイ出力のために復号ピクチャ３３１を格納する復号ピクチャバッファ３３０に格納される。
【0136】
デコーダ３０は、ユーザへの提示又は閲覧のために、復号ピクチャ３１１を、例えば出力３１２を介して出力するよう構成される。
【0137】
予測
インター予測ユニット３４４は、インター予測ユニット２４４と（特に動き補償ユニットと）同一であってよく、イントラ予測ユニット３５４は、インター予測ユニット２５４と機能的に同一であってよく、パーティション及び／又は予測パラメータ又は符号化ピクチャデータ２１から（例えばエントロピー復号ユニット３０４により例えばパース及び／又は復号することにより）受信したそれぞれの情報に基づき、分割又はパーティション決定及び予測を実行する。モード選択ユニット３６０は、再構成ピクチャ、ブロック、又はそれぞれの（フィルタリング済み又は未フィルタリング）サンプルに基づき、ブロック毎に予測（イントラ又はインター予測）を実行して、予測ブロック３６５を取得するよう構成されてよい。
インター予測ユニット３４４は、インター予測ユニット２４４と（特に動き補償ユニットと）同一であってよく、イントラ予測ユニット３５４は、インター予測ユニット２５４と機能的に同一であってよく、パーティション及び／又は予測パラメータ又は符号化ピクチャデータ２１から（例えばエントロピー復号ユニット３０４により例えばパース及び／又は復号することにより）受信したそれぞれの情報に基づき、分割又はパーティション決定及び予測を実行する。モード選択ユニット３６０は、再構成ピクチャ、ブロック、又はそれぞれの（フィルタリング済み又は未フィルタリング）サンプルに基づき、ブロック毎に予測（イントラ又はインター予測）を実行して、予測ブロック３６５を取得するよう構成されてよい。
【0138】
ビデオスライスがイントラコーディングされた（intra coded (I)）スライスとしてコーディングされるとき、モード選択ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モード及び現在ピクチャの前の復号ブロックからのデータに基づき、現在ビデオスライスのピクチャブロックについて予測ブロック３６５を生成するよう構成される。ビデオピクチャがインターコーディングされた（つまり、Ｂ又はＰ）スライスとしてコーディングされるとき、モード選択ユニット３６０のインター予測ユニット３４４（例えば動き補償ユニット）は、動きベクトル及びエントロピー復号ユニット３０４から受信した他のシンタックス要素に基づき、現在ビデオスライスのビデオブロックについて予測ブロック３６５を生成するよう構成される。インター予測では、予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成されてよい。ビデオデコーダ３０は、ＤＰＢ３３０に格納された参照ピクチャに基づき、規定の構成技術を用いて、参照フレームリスト：リスト０及びリスト１を構成してよい。
【0139】
モード選択ユニット３６０は、動きベクトル及び他のシンタックス要素をパースすることにより、現在ビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、復号中の現在ビデオブロックについて予測ブロックを生成するよう構成される。例えば、モード選択ユニット３６０は、受信したシンタックス要素のうちの幾つかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つ以上の構成情報、スライスの各インター符号化ビデオブロックの動きベクトル、スライスの各インターコーディングビデオブロックのインター予測状態、及び現在ビデオスライス内のビデオブロックを復号するための他の情報を決定する。
【0140】
ビデオデコーダ３０の他の変形は、符号化ピクチャデータ２１を復号するために使用され得る。例えば、デコーダ３０は、ループフィルタユニット３２０を有しないで、出力ビデオストリームを生成できる。例えば、非変換に基づくデコーダ３０は、逆変換処理ユニット３１２を有しないで、特定のブロック又はフレームについて、残差信号を直接逆量子化できる。別の実装では、ビデオデコーダ３０は、単一のユニットに結合された、逆量子化ユニット３１０及び逆変換処理ユニット３１２を有し得る。
【0141】
図４は、本開示の実施形態によるビデオコーディング装置４００の概略図である。ビデオコーディング装置４００は、ここに説明したような開示の実施形態を実施するのに適する。一実施形態では、ビデオコーディング装置４００は、図１Ａのビデオデコーダ３０のようなデコーダ、又は図１Ａのビデオエンコーダ２０のようなエンコーダであってよい。
【0142】
ビデオコーディング装置４００は、データを受信するためのイングレスポート４１０（又は入力ポート４１０）及び受信機ユニット（receiver unit (Rx)）４２０と、データを処理するためのプロセッサ、論理ユニット、又は中央処理ユニット（central processing unit (CPU)）４３０と、データを送信するための送信機ユニット（transmitter unit (Tx)）４４０及びイグレスポート４５０（又は出力ポート４６０）と、データを格納するためのメモリ４６０と、を含む。ビデオコーディング装置４００は、イングレスポート４１０、受信機ユニット４２０、送信機ユニット４４０、及びイグレスポート４５０に接続された、光若しくは電気信号のイグレス若しくはイングレスのための光－電気（optical－to－electrical (OE)）コンポーネント及び電気－光（electrical－to－optical (EO)）コンポーネントも含んでよい。
【0143】
プロセッサ４３０は、ハードウェア及びソフトウェアにより実装される。プロセッサ４３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実装されてよい。プロセッサ４３０は、イングレスポート４１０、受信機ユニット４２０、送信機ユニット４４０、イグレスポート４５０、及びメモリ４６０と通信する。プロセッサ４３０は、コーディングモジュール４７０を含む。コーディングモジュール４７０は、上述の開示の実施形態を実装する。例えば、コーディングモジュール４７０は、種々のコーディング動作を実装し、処理し、準備し、又は提供する。コーディングモジュール４７０の中に含まれるものは、従って、ビデオコーディング装置４００の機能に実質的な改良を提供し、ビデオコーディング装置４００の異なる状態への変換をもたらす。代替として、コーディングモジュール４７０は、メモリ４６０に格納されプロセッサ４３０により実行される命令として実装される。
【0144】
メモリ４６０は、１つ以上のディスク、テープドライブ、及び固体ドライブを含んでよく、プログラムが実行のために選択されるとき該プログラムを格納するため及びプログラムの実行中に読み出される命令及びデータを格納するためのオーバフローデータ記憶装置として使用されてよい。メモリ４６０は、例えば、揮発性及び／又は不揮発性であってよく、読み出し専用メモリ（read－only memory (ROM)）、ランダムアクセスメモリ（random access memory (RAM)）、三値連想メモリ（ternary content－addressable memory (TCAM)）、及び／又は静的ランダムアクセスメモリ（static random－access memory (SRAM)）であってよい。
【0145】
図５は、例示的な実施形態による図１Ａからのソース装置１２及び宛先装置１４の一方又は両方として使用されてよい機器５００の簡略ブロック図である。機器５００は、上述の本開示の技術を実装できる。機器５００は、複数のコンピューティング装置を含むコンピューティングシステムの形式、又は単一コンピューティング装置、例えば移動電話機、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、等の形式であり得る。
【0146】
機器５００内のプロセッサ５０２は、中央処理ユニットであり得る。代替として、プロセッサ５０２は、現在存在する又は将来開発される情報を操作し又は処理できる任意の他の種類の装置又は複数の装置であり得る。開示の実装は図示のように単一のプロセッサ、例えばプロセッサ５０２により実施できるが、速度及び効率における利益は、１つより多くのプロセッサを用いて達成できる。
【0147】
機器５００内のメモリ５０４は、一実装では、読み出し専用メモリ（read only memory (ROM)）装置又はランダムアクセスメモリ（random access memory, RAM）装置であり得る。任意の他の適切な種類の記憶装置が、メモリ５０４として使用できる。メモリ５０４は、バス５１２を用いてプロセッサ５０２によりアクセスされるコード及びデータ５０６を含み得る。メモリ５０４は、オペレーティングシステム５０８及びアプリケーションプログラム５１０を更に含み得る。アプリケーションプログラム５１０は、プロセッサ５０２がここに記載の方法を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、ここに記載の方法を実行するビデオコーディングアプリケーションを更に含むアプリケーション１～Ｎを含むことができる。機器５００は、例えばモバイルコンピューティング装置と共に使用されるメモリカードであり得る２次記憶５１４の形式の追加メモリも含み得る。ビデオ通信セッションは有意な量の情報を含み得るので、それらは、全体又は部分的に２次記憶５１４に格納され、処理のために必要に応じてメモリ５０４にロードされ得る。
【0148】
機器５００は、ディスプレイ５１８のような１つ以上の出力装置も含み得る。ディスプレイ５１８は、一例では、タッチ入力を感知するよう動作するタッチ感応要素とディスプレイを結合するタッチ感応ディスプレイであってよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２と結合され得る。ユーザが機器５００をプログラミングし又は使用することを可能にする他の出力装置は、ディスプレイ５１８に加えて又はその代替として提供され得る。出力装置がディスプレイである又はそれを含むとき、ディスプレイは、液晶ディスプレイ（liquid crystal display, LCD）、陰極線管（cathode－ray tube, CRT）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（organic LED, OLED）ディスプレイのような発光ダイオード（light emitting diode, LED）ディスプレイを含む種々の方法で実装できる。
【0149】
機器５００は、また、画像感知装置５２０、例えばカメラ、又は機器５００を操作しているユーザの画像のような画像を感知できる現存の若しくは将来開発される任意の他の画像感知装置５２０を含み又はそれと通信できる。画像感知装置５２０は、機器５００を操作するユーザに向けられるように位置決めされ得る。一例では、画像感知装置５２０の位置及び光軸は、視野がディスプレイ５１８のすぐ隣にある領域を含み及びそれからディスプレイ５１８が見えるよう構成され得る。
【0150】
機器５００は、また、音声感知装置５２２、例えばマイクロフォン、又は機器５００の近くの音声を感知できる現存の若しくは将来開発される任意の他の音声感知装置を含み又はそれと通信できる。音声感知装置５２２は、機器５００を操作しているユーザに向けられるよう位置決めでき、ユーザが機器５００を操作している間にユーザにより生成される音声、例えば会話又は他の発言を受信するよう構成できる。
【0151】
図５は機器５００のプロセッサ５０２及びメモリ５０４を単一のユニットに統合されているように示すが、他の構成が利用できる。プロセッサ５０２の動作は、ローカルエリア又は他のネットワークに渡り又は直接結合され得る複数の機械（各機械は１つ以上のプロセッサを有する）に渡り分散できる。メモリ５０４は、ネットワークに基づくメモリ又は機器５００の動作を実行する複数の機械の中のメモリのように、複数の機械に渡り分散できる。ここでは単一のバスとして示されるが機器５００のバス５１２は複数のバスで構成できる。更に、２次記憶５１４は、機器５００の他のコンポーネントに直接接続でき、又はネットワークを介してアクセスでき、メモリカードのような単一の統合ユニット又は複数のメモリカードのような複数のユニットを含むことができる。機器５００は、従って、様々な構成で実装できる。
【0152】
位置依存予測の組合せ（Position－dependent prediction combination (PDPC)）
ビデオコーディングの近年の発展において、予測のためのより高度な技術及び方式が出現している。
ビデオコーディングの近年の発展において、予測のためのより高度な技術及び方式が出現している。
【0153】
１つのこのような技術は、位置依存予測の組合せ（Position－dependent prediction combination (PDPC)）である。ＰＤＰＣは、特定の問題を解決し、イントラ予測を向上するために考案された方式である。ＰＤＰＣ方式では、画像又はビデオコーダは、フィルタリング済み参照サンプル、未フィルタリング参照サンプル、及び現在ブロックの中の予測サンプルの位置に基づき、予測サンプルの値を決定する。ＰＤＰＣ方式の使用は、コーディング効率利得に関連し得る。例えば、同じ量のビデオデータが、より少ないビットを用いて符号化され得る。
【0154】
Ｈ．２６４／ＡＶＣ及びＨＥＶＣのようなビデオコーディング方式は、ブロックに基づくハイブリッドビデオコーディングの成功した原理に沿って設計されている。この原理を用いて、ピクチャは、先ずブロックにパーティションされ、次に、各ブロックはイントラピクチャ又はインターピクチャ予測を用いて予測される。
【0155】
Ｈ．２６１以降の幾つかのビデオコーディング規格は、「損失ハイブリッドビデオコーデック」のグループに属する（つまり、サンプルドメイン（sample domain）における空間及び時間予測と、変換ドメインにおける量子化を適用する２Ｄ変換コーディングと、を結合する）。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされ、コーディングは、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間（イントラピクチャ）予測及び時間（インターピクチャ）予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック（現在処理されている／処理されるべきブロック）から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減し（圧縮）することにより、ビデオは標準的にブロック（ピクチャブロック）レベルで処理され、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化又は圧縮されたブロックに対して部分的に適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理する、つまりコーディングするために、両方が同一の予測（例えば、イントラ及びインター予測）及び／又は再構成を生成するようにする。
【0156】
ここで使用されるとき、用語「ブロック」はピクチャ又はフレームの一部であってよい。説明の便宜上、本開示の実施形態は、ここで、高効率ビデオコーディング（High－Efficiency Video Coding, HEVC）、又はＩＴＵ－Ｔビデオコーディング専門家グループ（ITU－T Video Coding Experts Group (VCEG)）及びＩＳＯ／ＩＥＣ動画専門家グループ（Motion Picture Experts Group (MPEG)）のビデオコーディングに関する共同作業部会（Joint Collaboration Team on Video Coding (JCT－VC)）により開発されたバーサタイルビデオコーディングのリファレンスソフトウェアを参照して説明される。当業者は、本開示の実施形態がＨＥＶＣ又はＶＶＣに限定されないことを理解するだろう。ＣＵ、ＰＵ、及びＴＵを参照し得る。ＨＥＶＣでは、ＣＴＵは、コーディング木として示される４分木構造を用いてＣＵに分割される。ピクチャ領域をインターピクチャ（時間）又はイントラピクチャ（空間）予測を用いてコーディングするかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従い、１、２、又は４個のＰＵに更に分割できる。１個のＰＵ内で、同じ予測処理が適用され、関連情報がＰＵ毎にデコーダへ送信される。ＰＵ分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、ＣＵは、ＣＵのコーディング木と同様の別の４分木構造に従い、変換単位（transform unit (TU)）にパーティションできる。ビデオ圧縮技術の最新の進展では、４分木及び２分木（Qual－tree and binary tree (QTBT)）パーティションが、コーディングブロックをパーティションするために使用される。ＱＴＢＴブロック構造では、ＣＵは正方形又は長方形形状のいずれかを有し得る。例えば、コーディング木単位（coding tree unit (CTU)）は、先ず、４分木構造によりパーティションされる。４分木のリーフノードは、２分木構造により更にパーティションされる。２分木のリーフノードは、コーディング単位（coding unit (CU)）と呼ばれ、更なるパーティションを伴わず、予測及び変換処理のためにセグメント化が使用される。これは、ＣＵ、ＰＵ、及びＴＵが、ＱＴＢＴコーディングブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば３分木パーティションも、ＱＴＢＴブロック構造と一緒に使用するために提案された。
【0157】
ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＥＩＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ２９／ＷＧ１１）は、現在のＨＥＶＣ規格（スクリーンコンテンツコーディング及び高ダイナミックレンジコーディングのための、その現在の拡張及び目先の拡張を含む）のものを有意に超える圧縮能力を有する将来のビデオコーディング技術の標準化の潜在的な必要性を研究している。グループは、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム（Joint Video Exploration Team (JVET)）として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
【0158】
一例では、双方向イントラ予測では、対角上から対角下までの異なる予測角度を表すイントラ予測モードが利用可能である。予測角度の定義のために、３２サンプルグリッド上でオフセット値ｐａｎｇが定義される。ｐａｎｇの対応するイントラ予測モードへの関連付けは、垂直予測モードについて図６に視覚化される。水平予測モードについては、方式は垂直方向へと反転され、ｐａｎｇ値が相応して割り当てられる。上述のように、角度予測モードは、全ての適用可能なイントラ予測ブロックサイズについて利用可能である。それらは、予測角度の定義のために同じ３２サンプルグリッドを使用してよい。図６の３２サンプルグリッドに渡るｐａｎｇ値の分布は、垂直方向周りの予測角度の向上した解像度、及び対角方向に向かう予測角度のより粗い解像度を明らかにしている。水平方向も同じである。この設計は、多くのビデオコンテンツで、略水平及び垂直構造が、対角構造に比べて重要な役割を果たすという観察に由来する。
【0159】
例では、水平及び垂直予測方向については、予測のために使用されるべきサンプルの選択は直接的であるが、このタスクは角度予測の場合により多くの労力を要する。モード１１～２５では、角度方向にある予測サンプルｐｒｅｆのセット（主参照辺としても知られる）から現在ブロックＢｃを予測するとき、ｐｒｅｆの垂直及び水平部分の両方のサンプルが関連し得る。ｐｒｅｆのブランチのいずれかにあるそれぞれのサンプルの位置の決定は何らかの計算労力を必要とするので、ＨＥＶＣイントラ予測のために統一された１次元予測参照が設計された。方式は、図７に視覚化される。実際の予測動作を実行する前に、参照サンプルｐｒｅｆのセットは、１次元ベクトルｐ１，ｒｅｆにマッピングされる。マッピングのために使用される投射は、それぞれのイントラ予測モードのイントラ予測角度により示される方向に依存する。予測のために使用されるべきｐｒｅｆの部分からの参照サンプルのみが、ｐ１，ｒｅｆにマッピングされる。角度予測モード毎の参照サンプルのｐ１，ｒｅｆへの実際のマッピングは、それぞれ水平及び垂直角度予測方向について、図８及び９に示される。参照サンプルセットｐ１，ｒｅｆは、予測ブロックについて１回構成される。予測は、次に、以下に詳述するように、セットの中の２個の近隣参照サンプルから導出される。図８及び９から分かるように、１次元参照サンプルセットは、全部のイントラ予測モードについて完全に満たされない。対応するイントラ予測方向の投射範囲内にある位置のみが、セットに含まれる。
【0160】
水平及び垂直予測モードの両方の予測は、ブロックのｘ及びｙ座標をスワップするだけで、同じ方法で実行される。ｐ１，ｒｅｆからの予測は、１／３２ペルの精度で実行される。角度パラメータｐａｎｇの値に依存して、ｐ１，ｒｅｆの中のサンプルオフセットiｉｄｘ、及び位置（ｘ，ｙ）にあるサンプルの重み係数ｉｆａｃｔが決定される。ここで、垂直モードの導出が提供される。水平モードの導出は、従って以下の通りであり、ｘ及びｙをスワップさせる。
ｉｆａｃｔが０に等しくない、つまり予測がｐ１，ｒｅｆの中の完全なサンプル位置に正確に当てはまらない場合、ｐ１，ｒｅｆの中の２つの近隣サンプル位置の間の線形重み付けは次のように実行される。
ここで、０≦ｘ、ｙ＜Ｎｃである。留意すべきことに、ｉｉｄｘ及びｉｆａｃｔの値はｙにのみ依存し、従って、（垂直予測モードでは）行毎に１回計算する必要があるだけである。
【数1】
【数2】
【0161】
ＶＴＭ－１．０（Versatile Test Model）は３５個のイントラモードを使用し、一方で、ＢＭＳ（Benchmark Set）は６７個のイントラモードを使用する。イントラ予測は、所与のフレームのみが含まれ得る場合に圧縮効率を向上するために、多くのビデオコーディングの枠組みの中で使用されるメカニズムである。
【0162】
図１０Ａは、例えばＶＶＣのために提案されているような６７個のイントラ予測モードの例を示す。６７個のイントラ予測モードのうちの複数のイントラ予測モードは、平面モード（インデックス０）、ＤＣモード（インデックス１）、及びインデックス２～６６を有する角度モードを含む。ここで、図１０Ａの左下の角度モードはインデックス２を表し、インデックスの番号付けは、インデックス６６が図１０Ａの最も右上の角度モードになるまでインクリメントされる。
【0163】
図１０Ａに示すように、ＪＥＭの最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。ＨＥＶＣ及びＶＶＣは、２つの隣接参照サンプルの間の線形補間を使用する。ＪＥＭは、より高度な４タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主参照辺の選択についての決定と調和する。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主参照辺は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが８サンプル以下である場合、キュービック補間４タップが適用される。或いは、補間フィルタは４タップガウスフィルタである。
【0164】
ＪＥＭで使用される特定のフィルタ係数は表１に与えられる。予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表１から選択された係数による畳み込みにより、以下のように計算される。
この式で、「＞＞」はビット毎の右シフト演算を示す。
【数3】
【0165】
キュービックフィルタが選択された場合、予測サンプルは、シーケンスパラメータセット（sequence parameter set (SPS)）で定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
【0166】
ＳＰＳは、コーディングビデオシーケンスの中で使用される特徴及びアクティブにされたツールを指定してよい。ビットストリーム全体に関連するビデオパラメータセット（video parameter set (VPS)）と対照的に、ＳＰＳ情報は、レイヤ識別子により指定されるレイヤにのみ適用される。例えば、ＳＰＳの中で指定される特徴は、色形式及びビット深さ、並びにコーディングピクチャのサンプル解像度を含む。
【0167】
表１ ＪＥＭで使用されるイントラ予測補間フィルタ
【表1】
【0168】
６ビット精度を有する補間フィルタの別のセットは、表２に提示される。
【0169】
表２ ６ビット精度を有する補間フィルタのセット
【表2】
【0170】
イントラ予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表２から選択された係数による畳み込みにより、以下のように計算される。
この式で、「＞＞」はビット毎の右シフト演算を示す。
【数4】
【0171】
６ビット精度を有する補間フィルタの別のセットは、表３に提示される。
【0172】
表３ ６ビット精度を有する補間フィルタのセット
【表3】
【0173】
図１１は、ＨＥＶＣ ＵＩＰ方式で使用される複数のイントラ予測モードの概略図を示す。輝度ブロックについて、イントラ予測モードは、最大３６個のイントラ予測モードを含んでよく、これらは３個の無指向性モードと３３個の指向性モードを含んでよい。無指向性モードは、平面予測モード、平均（ＤＣ）予測モード、及びルマからのクロマ（ＬＭ）予測モードを含んでよい。平面予測モードは、ブロックの境界から導出された水平及び垂直勾配を有するブロック振幅表面を想定することにより、予測を実行してよい。ＤＣ予測モードは、ブロック境界の平均値に一致する値を有する平面ブロック表面を想定することにより、予測を実行してよい。ＬＭ予測モードは、ブロックのクロマ値がブロックのルマ値に一致することを想定することにより、予測を実行してよい。指向性モードは、図１１に示されるように隣接ブロックに基づき予測を実行してよい。
【0174】
Ｈ．２６４／ＡＶＣ及びＨＥＶＣは、参照サンプルがイントラ予測処理で使用される前に、参照サンプルに低域通過フィルタが適用され得ることを指定する。参照サンプルフィルタを使用するか否かの決定は、イントラ予測モード及びブロックサイズにより決定される。このメカニズムは、モード依存イントラ平滑化（Mode Dependent Intra Smoothing (MDIS)）と呼ばれてよい。ＭＤＩＳに関連する複数の方法も存在する。例えば、適応型参照サンプル平滑化（Adaptive Reference Sample Smoothing (ARSS)）方法は、明示的に（例えば、フラグがビットストリームに含まれる）又は暗示的に（例えば、シグナリングオーバヘッドを削減するために、ビットストリームにフラグを入れることを回避するために、データ隠蔽が使用される）、予測サンプルがフィルタリングされるか否かをシグナリングしてよい。この場合、エンコーダは、全ての可能なイントラ予測モードについてレート歪み（Rate－Distortion (RD)）コストをテストすることにより、平滑化について決定を行ってよい。
【0175】
図１０Ａは、例えばＶＶＣのために提案されているような６７個のイントラ予測モードの例を示す。６７個のイントラ予測モードのうちの複数のイントラ予測モードは、平面モード（インデックス０）、ＤＣモード（インデックス１）、及びインデックス２～６６を有する角度モードを含む。ここで、図１０Ａの左下の角度モードはインデックス２を表し、インデックスの番号付けは、インデックス６６が図１０Ａの最も右上の角度モードになるまでインクリメントされる。
【0176】
図１０Ｂ及び図１０Ｃに示すように、第２バージョンから、ＶＶＣは、広角方向（破線として示される）を含むスキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。ＨＥＶＣ及びＶＶＣは、２つの隣接参照サンプルの間の線形補間を使用する。ＪＥＭは、より高度な４タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主参照辺の選択についての決定と調和する。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主参照辺は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが８サンプル以下である場合、キュービック補間４タップが適用される。或いは、補間フィルタは４タップガウスフィルタである。
【0177】
ＶＶＣでは、４分木及び２分木の両方に基づくＱＴＢＴとして知られるパーティションメカニズムが使用される。図１２に示すように、ＱＴＢＴパーティショニングは、正方形だけでなく長方形のブロックも提供できる。勿論、ＨＥＶＣ／Ｈ．２６５規格で使用される従来の４分木に基づくパーティショニングと比べて、何らかのシグナリングオーバヘッド及びエンコーダ側での増大する計算の複雑さは、ＱＴＢＴパーティショニングの代償である。しかしながら、ＱＴＢＴに基づくパーティショニングは、より良いセグメント化特性を有し、従って、従来の４分木より有意に高いコーディング効率を実証する。
【0178】
パーティションのために使用される木のリーフは、Ｚ走査順に処理されている。その結果、現在リーフに対応する現在ブロックは、現在ブロックがスライスの境界上に位置しない限り、符号化又は復号処理の間に既に再構成された左及び上近隣ブロックを有する。これは、図１２にも示される。図１２の右部分に示される木のリーフの左から右への走査は、この図の左部分に示されるブロックの空間Ｚ走査順に対応する。４分木又はマルチタイプ木の場合に同じ走査が適用される。
【0179】
指向性イントラ予測では、参照サンプルは、前に再構成された近隣ブロックのサンプルから取得される。ブロックのサイズ及びイントラ予測モードに依存して、予測サンプルの値を取得するために使用される前に、フィルタが、参照サンプルに適用され得る。
【0180】
境界平滑化及びＰＤＰＣの場合、予測ブロックの幾つかの第１列及び幾つかの第１行が、近隣サンプルから生成された追加予測信号と組み合わせられる。
【0181】
簡易ＰＤＰＣの特定の実装は、イントラ予測モードに依存して異なる方法で実行され得る。
【0182】
【0183】
（ｘ，ｙ）に位置する予測サンプルＰ^（ｘ，ｙ）は以下のように計算される。
ここで、Ｒｘ，－１、Ｒ－１，ｙは、現在サンプル（ｘ，ｙ）の上及び左に位置する参照サンプルを表し、Ｒ－１，－１は現在ブロックの左上角に位置する参照サンプルを表す。Ｐ（ｘ，ｙ）は、上述のように平面、ＤＣ、又はＨＯＲ／ＶＥＲイントラ予測モードを適用するとき、予測サンプルの値を示す。関数ｃｌｉｐ１Ｃｍｐは以下のように設定される。
ＢｉｔＤｅｐｔｈＹは、ルマサンプルのビット深さである。
【数5】
【数6】
【0184】
ＢｉｔＤｅｐｔｈＣは、クロマサンプルのビット深さである。
【0185】
ＢｉｔＤｅｐｔｈY及びＢｉｔＤｅｐｔｈＣは、ビットストリームのシーケンスパラメータセット（sequence parameter set (SPS)）の中でシグナリングされ得る。
【0186】
Ｃｌｉｐ１Ｙ（ｘ）及びＣｌｉｐ１Ｃ（ｘ）の代替の定義が可能である。特に、F. Galpin, P. Bordes, and F. Le Leannec in contribution JVET－C００４０ “Adaptive Clipping in JEM２.０”に記載されるように、Ｃｌｉｐ１Ｃｍｐ（ｘ）＝Ｃｌｉｐ３（ｍｉｎＣ，ｍａｘＣ，ｘ）である。
ここで、ｍｉｎＣは、成分ＩＤ Ｃについて現在スライスの中で使用される下限のクリッピング境界である。
ｍａｘＣは、成分ＩＤ Ｃについて現在スライスの中で使用される上限のクリッピング境界である。
Ｃは色成分である（例えば、ルマではＹ、クロマではＣｂ及びＣｒ）。
「ｘ＞＞ｙ 」は、ｘ×ｙの２進数の２の補数整数表現の算術右シフトである。この関数は、ｙの非負整数値についてのみ定義される。右シフトの結果としての最上位ビット（most significant bit (MSB)）へとシフトされたビットは、シフト演算の前のｘのＭＳＢに等しい値を有する。
ここで、ｍｉｎＣは、成分ＩＤ Ｃについて現在スライスの中で使用される下限のクリッピング境界である。
ｍａｘＣは、成分ＩＤ Ｃについて現在スライスの中で使用される上限のクリッピング境界である。
Ｃは色成分である（例えば、ルマではＹ、クロマではＣｂ及びＣｒ）。
「ｘ＞＞ｙ 」は、ｘ×ｙの２進数の２の補数整数表現の算術右シフトである。この関数は、ｙの非負整数値についてのみ定義される。右シフトの結果としての最上位ビット（most significant bit (MSB)）へとシフトされたビットは、シフト演算の前のｘのＭＳＢに等しい値を有する。
【0187】
ＤＣモード重みは以下のように計算される。
平面モードではｗＴＬ＝０であり、水平モードではｗＴＬ＝ｗＴであり、水平モードではｗＴＬ＝ｗＬである。例として、図１３に、１個の４×４ブロックの内側の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重み（ｗＬ，ｗＴ，ｗＴＬ）が示される。この図から、例えば式（１）に定義されるようなクリッピング演算が必須であることが分かる。しかしながら、従来のＰＤＰＣ実装は、クリッピング手順の結果がｂｉｔＤｅｐｔｈＹ又はｂｉｔＤｅｐｔｈＣにより定められる範囲から外れ得る以下の例で説明される潜在的な欠陥を有する。
【数7】
【0188】
Ｒ－１，ｙ＝０、Ｒｘ，－１＝０、Ｒ－１，－１＝１００、Ｐ（ｘ，ｙ）＝０が与えられると、図１３に示すように、式（１）から、４×４予測ブロックの（０，０）位置について以下が分かる。
上述の例から分かるように、負値「－４×１００＋３２＝－３６８」は、算術ビットシフトを用いて右シフトされている。実装に依存して、負値の算術右ビットシフトは、（例えば、Ｃ/Ｃ＋＋プログラミング言語の場合に）異なる出力を生じ得る。従って、負値を右へシフトすることの結果は正符号及び特定の実装ではゼロではない大きさを有し得るので、Ｃｌｉｐ１Ｃｍｐ（）の出力が常に０であることが保証されないことがある。
【数8】
【0189】
ＰＤＣＰにおいて実行されるクリッピングに関連する問題が、平面イントラ予測の場合に説明されたが、同様の状況はＤＣイントラ予測を用いるＰＤＰＣについても生じ得る。
【0190】
対角（図１０Ｂ及び図１０Ｃで２及び６６として示される）及び隣接モード（図１０Ｂ又は図１０Ｃで５８より小さくなく且つ１０より大きくない指向性モード）では、処理は以下に説明するように同じ式（１）を用いて実行される。
【0191】
図１４Ａは、右上対角モードに対するＰＤＰＣの拡張について、参照サンプルＲｘ，－１、Ｒ－１，ｙ、及びＲ－１，－１の定義を示す。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）に位置する。参照サンプルＲｘ，－１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１により与えられ、参照サンプルＲ－１，ｙの座標ｙは、同様にｙ＝ｘ’＋ｙ’＋１により与えられる。
【0192】
左下対角モードのＰＤＰＣ重みは、
【数9】
【0193】
同様に、図１４Ｂは、左下対角モードに対するＰＤＰＣの拡張について、参照サンプルＲｘ，－１、Ｒ－１，ｙ、及びＲ－１，－１の定義を示す。参照サンプルＲｘ，－１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１により与えられ、参照サンプルＲ－１，ｙの座標ｙは、ｙ＝ｘ’＋ｙ’＋１により与えられる。右上対角モードのＰＤＰＣ重みは、
隣接右上対角モードの場合は、図１４Ｃに示される。隣接右上対角モードのＰＤＰＣ重みは、
同様に、隣接左下対角モードの場合は図１４Ｄに示される。隣接左下対角モードのＰＤＰＣ重みは、
最後の２つの場合の参照サンプル座標は、角度モードイントラ予測のために既に使用された表を用いて計算される。分数参照サンプル座標が計算される場合、参照サンプルの線形補間が使用される。
【数10】
【数11】
【数12】
【0194】
簡易ＰＤＰＣは、ＶＶＣ仕様で指定されたように実行され得る。更に、以下の表記が使用される。
Ｆｌｏｏｒ（ｘ）は、ｘ以下の最大整数である。
Ｌｏｇ２（ｘ）は、２を底とするｘの対数である。
ｉｎｔｒａＰｒｅｄＡｎｇｌｅは、表４で指定された角度パラメータである。
Ａ＝Ｃ？Ｂ：Ｄは、三項代入演算であり、条件Ｃが真の場合、ＡはＢに等しく設定される。或いは、条件Ｃが偽の場合、ＡはＤに等しく設定される。
ＩＮＴＲＡ＿ＰＬＡＮＡＲは、平面イントラ予測モード（）である。
ＩＮＴＲＡ＿ＤＣは、ＤＣイントラ予測モードである。
ＩＮＴＲＡ＿ＡＮＧＵＬＡＲＸＸは、方向イントラ予測モードのうちの１つであり、ＸＸは、図１０Ｂ又は１０Ｃに示されるその番号及び対応する方向を示す。
【数13】
Ｌｏｇ２（ｘ）は、２を底とするｘの対数である。
ｉｎｔｒａＰｒｅｄＡｎｇｌｅは、表４で指定された角度パラメータである。
Ａ＝Ｃ？Ｂ：Ｄは、三項代入演算であり、条件Ｃが真の場合、ＡはＢに等しく設定される。或いは、条件Ｃが偽の場合、ＡはＤに等しく設定される。
ＩＮＴＲＡ＿ＰＬＡＮＡＲは、平面イントラ予測モード（）である。
ＩＮＴＲＡ＿ＤＣは、ＤＣイントラ予測モードである。
ＩＮＴＲＡ＿ＡＮＧＵＬＡＲＸＸは、方向イントラ予測モードのうちの１つであり、ＸＸは、図１０Ｂ又は１０Ｃに示されるその番号及び対応する方向を示す。
【0195】
項がここで説明されない場合、その定義はＶＶＣ仕様またはＨＥＶＣ／Ｈ．２６５規格仕様の中に見付けることができることが理解される。
【0196】
以上の表記が与えられると、簡易ＰＤＰＣのステップは以下の通り定義され得る。
【0197】
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプル：
・近隣サンプル：
・現在ブロックの色成分を指定する変数ｃＩｄｘ。
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプル：
【数14】
【数15】
【0198】
この処理の出力は、以下の変更された予測サンプルである。
【数16】
【0199】
ｃＩｄｘの値に依存して、関数ｃｌｉｐ１Ｃｍｐは以下の通り設定される。
・ｃＩｄｘが０に等しい場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｙに等しく設定される。
・その他の場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｃに等しく設定される。
・ｃＩｄｘが０に等しい場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｙに等しく設定される。
・その他の場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｃに等しく設定される。
【0200】
変数ｎＳｃａｌｅは以下に設定される：
参照サンプルアレイ
は、以下のように導出される：
【数17】
【数18】
【数19】
【0201】
変数
は、以下のように導出される。
変更された予測サンプルの値
は、以下のように導出される。
上述の式１の割り当てで、簡易ＰＤＰＣは、線形補間の代わりに最近接近隣補間を使用してよい：
同様に、上述の式２の割り当てで、簡易ＰＤＰＣも最近接近隣補間を使用し得る：
従って、エンコーダ及びデコーダ側の両方で、方法は、入力データとして以下を使用する：
・指向性イントラ予測モード（図１０Ｂ及び図１０Ｃに示されるｐｒｅｄＭｏｄｅＩｎｔｒａとして更に示される）、
・ブロックサイズパラメータｎＴｂＳ、これは、（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定され、ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。
【数20】
【数21】
【数22】
【数23】
【数24】
【数25】
【数26】
【数27】
【数28】
【数29】
・指向性イントラ予測モード（図１０Ｂ及び図１０Ｃに示されるｐｒｅｄＭｏｄｅＩｎｔｒａとして更に示される）、
・ブロックサイズパラメータｎＴｂＳ、これは、（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定され、ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。
【0202】
方法の使用を可能にするＶＶＣ仕様の変更は、簡易ＰＤＰＣを記載するセクションにおいて、「近隣サンプルｐ［ｘ］［ｙ］」を「参照サンプルｐ［ｘ］［ｙ］」で置き換えることを含んでよい。
【0203】
角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅは、５ビットに等しい分数部分の長さを有する固定点表現で予測サンプルの２つの隣接する行の間のサブピクセルオフセットを示す。このパラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）は、イントラ予測モード（ｐｒｅｄＭｏｄｅＩｎｔｒａ）から導出され得る。ｐｒｅｄＭｏｄｅＩｎｔｒａからのｉｎｔｒａＰｒｅｄＡｎｇｌｅの例示的な導出は、例えば表４に示されるように、ルックアップテーブル（look－up－table (LUT)）により定義され得る。
表４ ｉｎｔｒａＰｒｅｄＡｎｇｌｅをｐｒｅｄＭｏｄｅＩｎｔｒａから導出するための例示的なＬＵＴ
表４ ｉｎｔｒａＰｒｅｄＡｎｇｌｅをｐｒｅｄＭｏｄｅＩｎｔｒａから導出するための例示的なＬＵＴ
【表4】
【0204】
現在ＨＥＶＣ及びＶＶＣドラフト仕様から、平面イントラ予測モードが使用される。ＶＶＣドラフト３の部分は、参考のために以下に組み込まれる。
【0205】
８．２．４．２．５．ＩＮＴＲＡ＿ＰＬＡＮＡＲイントラ予測モードの仕様
この処理への入力は：
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・近隣サンプル：
この処理の出力は、以下の予測サンプルである：
予測サンプルの値
は、以下のように導出される。
この処理への入力は：
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・近隣サンプル：
【数30】
【数31】
【数32】
【数33】
【0206】
本開示は、誤った予測サンプル値を生じ得る、ＰＤＰＣを用いてＤＣイントラ予測を適用するときの、負値のシフト演算に関する上述の問題を解決する。
【0207】
提供されるソリューションは、式（１）の欠陥を有しない代替のＰＤＰＣ方法に関連する。
【0208】
具体的に、方法は、図１５のフローチャートに示すような以下のステップを含む。ピクチャのブロックをイントラ予測する図示の方法は、ブロックの複数のサンプルからの各サンプルについて実行される。
【0209】
ステップＳ１００で、１つ以上の参照サンプル値からの予測サンプル値は、ＤＣイントラ予測モードを用いてイントラ予測により取得される。
【0210】
更に、ステップＳ１１０で、予測サンプル値は、サンプル重み係数により乗算されて、加重予測サンプル値を生じる。特に、サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）のように計算される。ここで、ｐはサンプル重み係数の精度であり、ｗＬは水平重み係数であり、ｗＴは垂直重み係数である。
【0211】
ステップＳ１２０で、加算値が加重予測サンプル値に加算されて、非正規化予測サンプル値を生じる。
【0212】
ステップＳ１３０で、非正規化予測サンプル値は、非正規化予測サンプル値の整数表現の算術右シフトにより正規化される。
【0213】
従って、図示の方法により、正規化予測サンプル値が決定されてよく、ＰＤＰＣの枠組みの中でＤＣイントラ予測を適用すると同時に、必ずしもクリッピング手順を必要としない決定方法を実行することにより誤った予測値の発生を防ぐ。
【0214】
図示の方法のステップに先行して、及び図示の方法のステップに続いて、更なる処理が適用されてよいことに留意する。
【0215】
例えば、残差値が正規化予測サンプル値に加算されてよく、再構成サンプル値を生じる。
【0216】
実施形態では、加算値は、丸め込みオフセットを含んでよい。算術右シフト演算は、２のべき乗による除算に対応し、標準的に切り捨てられた値を生じる。適正に丸め込まれた結果を保証するために、丸め込みオフセットは、右シフト演算を実行する前に加算されてよい。丸め込みオフセット値は、右シフト演算を実行した後の整数値の半分に対応する。従って、丸め込みオフセットは、適正に丸め込まれた結果値を保証する。例えば、６ビットの右シフトの場合、これは２６＝６４による除算に対応し、丸め込みオフセットは３２であり得る。
【0217】
別の実施形態では、ピクチャの第１ブロック及び第２ブロックをイントラ予測する方法が提供される。第１ブロックの複数のサンプルからの各サンプルについて、及び第２ブロックの複数のサンプルからの各サンプルについて、図１５に示したステップ及び上述のステップが実行され、第１ブロックについて予測サンプル値を取得するために使用されるイントラ予測モードがＤＣイントラ予測モードであり、第２ブロックについて予測サンプル値を取得するために使用されるイントラ予測モードが平面イントラ予測モードである点が異なる。
【0218】
具体的に、第１ブロックの各サンプルについて、ステップＳ１００で、予測サンプル値は、１つ以上の参照サンプル値から、ＤＣイントラ予測モードを用いてイントラ予測により取得される。更に、第２ブロックの各サンプルについて、ステップＳ１００で、予測サンプル値は、１つ以上の参照サンプル値から、平面イントラ予測モードを用いてイントラ予測により取得される。
【0219】
実施形態では、記載の方法は、ピクチャを符号化する又は復号する方法に含まれてよい。具体的に、予測サンプル値は、上述の方法のうちの任意の１つのステップを実行することにより取得されてよい。更に、取得された正規化予測サンプル値に残差値を加算することにより、再構成サンプル値が取得されてよい。
【0220】
本開示の実施形態は、ハードウェア設計簡略化及び実行されるべき条件チェックの数の低減という技術的利点を可能にし得る。平面及びＤＣイントラ予測モードについて予測サンプル値を取得するために実行されるステップは、指向性イントラ予測のステップと異なる。イントラ予測の例示的なハードウェア実装は、以下の少なくとも２個のモジュールを含み得る。
【0221】
・指向性イントラ予測モジュール、
・無指向性イントラ予測モジュール。
・無指向性イントラ予測モジュール。
【0222】
この理由により、先ず第一に、これらのグループの各々の中でＰＤＰＣフィルタリングを調和させることが望ましい。ＤＣモードについてのＰＤＰＣの複雑さが平面モードについてのＰＤＰＣの複数さを超えるという事実を考慮して、本開示は、ＤＣモードのためのＰＤＰＣ処理を簡略化することを可能にする。
【0223】
２個のモジュールは、本発明の実施形態に従い、それら自体のＰＤＰＣフィルタリング処理を実装し得る。従来のソリューションは、無指向性イントラ予測モジュールにおけるＰＤＰＣフィルタリングにおいて、イントラ予測モードがＤＣであるか平面であるかの追加チェックを実行すること、又はＤＣ及び平面イントラ予測モードのために別個のＰＤＰＣフィルタリングモジュールを実装すること、のいずれかが必要であった。これは、ハードウェアの複雑さ及びエネルギ消費の増大を引き起こす。従って、ＤＣ及び平面モードの両方についてＰＤＰＣを調和させることは、ＤＣ及び平面イントラ予測モードについてＰＤＰＣ処理（ハードウェアの場合には対応するモジュール）を共有することを可能にし得る。
【0224】
本開示による実施形態の別の技術的利点は、簡略化されたエンコーダのイントラ予測設計において使用されるときに明らかになる。ＤＣイントラ予測モードは、標準的に、最も計算上単純なイントラ予測モードであり、従って、最悪の場合には、ＰＤＰＣフィルタリングの複雑さはＤＣモード自体の複雑さを超えることがある。条件チェックの数及び／又はＤＣモードの演算量を削減することにより、本開示に従い、イントラ予測の全体的な複雑さは、特に、イントラ予測モードの制約されたセットにより動作する所謂「レイジー」エンコーダにおいて実施される簡略化された符号化のシナリオで、低減され得る。
【0225】
提案される方法は、ＰＤＰＣ処理が該モジュールにより処理される両方のイントラ予測モードについて同じである無指向性イントラ予測方法の中で定義することにより実施されてよい。言い換えると、本開示の実施形態は、ＰＤＰＣ処理がＤＣ及び平面イントラ予測モードについて同じになるように、無指向性イントラ予測モジュールにのみ変更を導入することにより、実現され得る。
【0226】
重み係数ｗＬ及びｗＴは、それぞれ２のべき乗であってよく、シフト演算を用いてそれらによる乗算の実装を可能にし得る。この定義は、ハードウェアフレンドリであり、向上した処理効率を可能にし得る。従って、ＤＣイントラ予測モードを使用するときのＰＤＰＣ処理を、平面イントラ予測モードを使用するときのＰＤＰＣ処理と調和させることは、例えばＰＤＰＣを用いるイントラ予測を簡略化し得る。上述の方法は、例えば図１６Ａに示したような予測装置、エンコーダ装置、又はデコーダ装置により実行されてよい。
【0227】
予測、エンコーダ又はデコーダ装置１０００は、取得器１０１０、乗算器１０２０、加算器１０３０、及び正規化器１０４０を含む。取得器１０１０は、予測サンプル値を、１つ以上の参照サンプル値から、ＤＣイントラ予測モードを用いてイントラ予測により取得するよう構成される。乗算器１０２０は、予測サンプル値を、サンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される。特に、重み係数は（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、ｐはサンプル重み係数のパラメータ（例えば、精度）であり、ｗＬは水平重み係数であり、ｗＴは垂直重み係数である。加算器１０３０は、加算値を加重予測サンプル値に加算して、非正規化予測サンプル値を生じるよう構成される。正規化器１０４０は、非正規化予測サンプル値の整数表現の算術右シフトにより、非正規化予測サンプル値を正規化するよう構成される。
【0228】
同様に、実施形態では、予測、エンコーダ、又はデコーダ装置１０００の取得器１０１０は、第１ブロックの複数のサンプルの各サンプルについて及び第２ブロックの複数のサンプルからの各サンプルについて、予測サンプル値を、イントラ予測モードを用いるイントラ予測により１つ以上の参照サンプル値から取得するよう構成されてよい。サンプルの予測値を取得するために使用されるイントラ予測モードは、第１ブロックについてＤＣイントラ予測モード、及び第２ブロックについて平面イントラ予測モードであってよい。乗算器１０２０は、予測サンプル値を、サンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される。特に、重み係数は（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、ｐはサンプル重み係数のパラメータ（例えば、精度）であり、ｗＬは水平重み係数であり、ｗＴは垂直重み係数である。加算器１０３０は、加算値を加重予測サンプル値に加算して、非正規化予測サンプル値を生じるよう構成される。正規化器１０４０は、非正規化予測サンプル値の整数表現の算術右シフトにより、非正規化予測サンプル値を正規化するよう構成される。
【0229】
予測、エンコーダ、又はデコーダ装置１０００は、実施形態では、正規化予測サンプル値に残差値を更に加算して、再構成サンプル値を生じてよい。
【0230】
記載の方法の実施形態では、水平重み係数ｗＬは、左参照サンプルの値に適用されて、加重左参照サンプル値を生じる係数であってよい。更に、垂直重み係数ｗＴは、上参照サンプルの値に適用されて、加重上参照サンプル値を生じる係数であってよい。
【0231】
具体的に、例えば、加重左及び上参照サンプル値は、それぞれ左及び上参照サンプル値の、対応する水平及び垂直重み係数ｗＬ及びｗＴとの乗算により取得されてよい。
【0232】
更に、実施形態では、加算値が取得されてよく、加重上参照サンプル値及び加重左参照サンプル値の和を含む。
【0233】
エンコーダ又はデコーダ装置１０００の機能的コンポーネントは、図１６Ｂに示すような上述の方法のうちの任意の１つを実行するよう構成される処理回路１０４０により実装されてよい。
【0234】
実施形態では、処理回路は、１つ以上のプロセッサ１０５０と、１つ以上のプロセッサ１０５０に接続される非一時的コンピュータ可読記憶媒体１０６０と、を含んでよい。記憶媒体は、プロセッサにより実行されると該プロセッサに上述の方法のうちの任意の１つを実行させるプログラムコードを含む。
【0235】
特定の実施形態では、方法は、以下のステップを含んでよい。
【0236】
（ｘ，ｙ）に位置する正規化予測サンプルＰ＾（ｘ，ｙ）は以下のように計算されてよい。
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ、現在サンプル（ｘ，ｙ）の上方（上）及び左に位置する参照サンプルを表す。Ｐ（ｘ，ｙ）は、ＤＣイントラ予測モードを用いて予測される予測サンプルの値を示す。上述の式では、加重予測サンプルは、（６４－ｗＬ－ｗＴ）×Ｐ（ｘ，ｙ）により表され、加算値はｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１＋３２により表される。正規化は、ビット毎の右シフト演算＞＞６により表される。しかしながら、本開示は、加算値の特定の定義、６ビットのシフト演算に限定されない。
【数34】
【0237】
式（２）を用いる実施形態では、予測サンプルＰ（ｘ，ｙ）の値が常に有効な値の範囲内に、つまりピクセル値の最小と最大との間にあるので、関数ｃｌｉｐ１Ｃｍｐが使用されないことに、留意する価値がある。しかしながら、本開示は、クリッピング演算を実行しないことに限定されず、クリッピングは依然として適用されてよい。
【0238】
例えば、正規化予測サンプル値は、予測サンプル値から計算されてよく、以下を計算することを含む。
この実装形式では、正規化は、右シフト演算子＞＞６により実現される。本開示は、以上で与えられた特定の計算に限定されず、数学的に等価な計算が実行されてよい。
【数35】
【0239】
従って、上記のクリッピング演算の使用により、誤った正のゼロではない予測サンプル値の発生をもたらす負値の問題は、予測サンプル値の上述の計算を適用することにより防ぐことができる。
【0240】
上述の式で、「ｘ＞＞ｙ 」は、ｘ×ｙの２進数の２の補数整数表現の算術右シフトである。この関数は、ｙの非負整数値についてのみ定義される。右シフトの結果としての最上位ビット（most significant bit (MSB)）へとシフトされたビットは、シフト演算前のｘのＭＳＢに等しい値を有する。
【0241】
ＤＣモード重みは以下のように計算されてよい。
例として、図１７に、１個の４×４ブロックの内側の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重み（ｗＬ，ｗＴ）が示される。この例では、重みｗＬ及びｗＴの値は、座標（０，０）にある予測サンプルについて、３２である。更に、例では、座標（１，０）にある予測サンプルについて、重みｗＬの値は８であり、重みｗＴの値は３２である。図１３に示す座標（０，０）及び（１，０）にある予測サンプルについての重みと比べて、左上参照サンプルは使用されず、このサンプル（左上参照サンプル）についての重みは指定されないことに気づき得る。しかしながら、本開示は、記載のＤＣモードＰＤＰＣ重み計算手順に限定されず、該ＤＣモードＰＤＰＣ重みは異なる方法で又は異なる式を適用することにより決定されてよい。
【数36】
【0242】
提供される方法は、ＶＶＣ仕様の一部の形式で表現され得る。
【0243】
位置依存イントラ予測サンプルフィルタリング処理
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプル：
・近隣サンプル：
・現在ブロックの色成分を指定する変数ｃＩｄｘ。
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプル：
【数37】
【数38】
【0244】
この処理の出力は、以下の変更された予測サンプルである。
【数39】
【0245】
ｃＩｄｘの値に依存して、関数ｃｌｉｐ１Ｃｍｐは以下の通り設定される。
・ｃＩｄｘが０に等しい場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｙに等しく設定される。
・その他の場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｃに等しく設定される。
・ｃＩｄｘが０に等しい場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｙに等しく設定される。
・その他の場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｃに等しく設定される。
【0246】
変数ｎＳｃａｌｅは以下に設定される：
参照サンプル配列
は、以下のように導出される：
変数
は、以下のように導出される。
図１８は、上述の方法を示す。破線により、従来のＰＤＰＣにおいて実行されるが、係数ｗＴＬが使用されないために必要ないので必ずしも提案される方法では実行されない、クリッピングのステップが示される。
【数40】
【数41】
【数42】
【数43】
【数44】
【数45】
【数46】
【数47】
【数48】
【0247】
図示の方法への入力は、参照サンプル値であり、図中にｒｅｆ［］として示される。上記の参照サンプルを用いて、現在サンプルについてイントラ予測が実行される。特に、現在サンプル値のイントラ予測は、ＤＣイントラ予測モードを用いて実行されてよい。更に、加算値は、それぞれ、対応する左重みｗＬ［ｘ］及びｗＴ［ｙ］と一緒に、左及び上参照サンプル値ｒｅｆＬ［ｘ］［ｙ］及びｒｅｆＴ［ｘ］，［ｙ］を用いて計算される。イントラ予測サンプル値は、重み係数（６４－ｗＬ［ｘ］－ｗＴ［ｙ］）により乗算される。続いて、加算値は、加重予測サンプル値に加算される。次に、加算値が加算された加重予測サンプル値は必ずしも正規化値を表さないので、図中に「＞＞」により示されるビット毎の右シフト演算を適用することにより、正規化処理が実行される。結果として生じる正規化予測サンプル値は、更なるクリッピング演算が必要ない（図では、不必要なクリッピング演算は破線により示される）。
【0248】
図示の例では重み係数は（６４－ｗＬ［ｘ］－ｗＴ［ｘ］）であるが、本開示はそれに限定されない。特に、サンプル重み係数は、異なる精度を示してよい。言い換えると、サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）のように表されてよく、ｐはその精度である。更に、必要ではないが、クリッピング処理は依然として実行されてよい。
【0249】
図１４では、参照サンプルは、予測サンプルを生成するために、イントラ予測処理により使用される。各予測サンプルは、サンプル重み係数を用いて更に重み付けされる。サンプル重み係数は、例えば（６４－ｗＬ［ｘ］－ｗＴ［ｙ］）に等しくてよい。同じ参照サンプルが、ｘ及びｔに依存して予測サンプルの各々について加算値を計算するために使用される。ここで、ｘ及びｙは、予測ブロック内の予測サンプルの位置を定める。これらの加算値は、対応する加重予測サンプルに加算される。この演算から生じる各サンプルは、次に、サンプル重み係数の所定の精度に従い、それを右シフトすることにより正規化される。例えば、サンプル重み係数が（６４－ｗＬ［ｘ］－ｗＴ［ｙ］））のように定められる場合、精度は６ビットである。従って、このステップで、６による右シフトは、出力値の可能な最小及び最大値が参照サンプルの可能な最小及び最大値と同じであることを保証するために実行される。しかしながら、本開示は、６ビットの精度に限定されず、任意の他の精度が適用されてよい。
【0250】
提案されるソリューションの有利な効果のうちの１つは、平面イントラ予測メカニズムが加算値を計算するために再利用できることである。具体的に、平面イントラ予測は、水平及び垂直予測サンプル値を導出するために次式を使用してよい。
上述の２つの式（８－８２）及び（８－８３）から、ｐｒｅｄＶ［ｘ］［ｙ］がｐｒｅｄＶ［ｘ］［ｙ］と同じ列に位置する参照サンプルｐ［ｘ］［－１］を使用すること、及びｐｒｅｄＨ［ｘ］［ｙ］がｐｒｅｄＨ［ｘ］［ｙ］と同じ行に位置する参照サンプルｐ［－１］［ｙ］を使用することが分かる。更に、左シフト演算は、最終ステップとして実行され、従って、それらが再利用されている中間の計算に影響を与えないので、スキップできる。
【数49】
【0251】
上述の式（８－８２）及び（８－８３）では、ｐｒｅｄＶは、平面イントラ予測を適用することにより決定された垂直予測サンプル値を示し、ｐｒｅｄＨは、平面イントラ予測を適用することにより決定された水平予測サンプル値を示す。更に、ｎＴｂＷ及びｎＴｂＨは、平面イントラ予測を実行するときの、それぞれ現在ブロックの幅及び高さを示す。しかしながら、ｎＴｂＷ、ｎＴｂＨ、ｘ、及びｙの変数は、平面イントラ予測方法の入力であり、従って、相応して調整され得る。このため、（ｎＴｂＷ－１－ｘ）をＤｘにより、（ｎＴｂＨ－１－ｙ）をＤｙにより、入力変数で代用することが可能である。左下及び右上参照サンプルは、これらが使用されていないパラメータであるので、０に設定され得る。
【0252】
上述の考察に鑑み、上述の式（８－８２）及び（８－８３）は、その入力が予め決定されていることに従い、書き換えられてよい。
【数50】
【0253】
従って、加重予測サンプル値に加算されるべき加算値を決定するために以下の統合が実行され得る。
・水平モード（モード１８）の場合の加算値は、以下のように計算され得る：
・垂直モード（モード５０）の場合の加算値は、以下のように計算され得る：
・ＤＣモード（モード１）の場合の加算値は、Ｖｙ＋Ｖｘのように計算され得る。ここで、Ｄｘ及びＤｙは前述の２つの場合のように設定される。つまり、ＤｙがｗＴ［ｙ］に等しく設定され、及びＤｘがｗＬ［ｙ］に等しく設定される。
・水平モード（モード１８）の場合の加算値は、以下のように計算され得る：
【数51】
【数52】
【0254】
参照サンプル選択の代替により、ＰＤＰＣ処理のために指定される全部のイントラ予測モードについて、統合が実行され得ることが示され得る。
【0255】
別の実施形態では、ＰＤＰＣ処理は、以下のように指定されてよい。
【0256】
位置依存イントラ予測サンプルフィルタリング処理
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプル：
・近隣サンプル：
この処理の出力は、以下の変更された予測サンプルである。
変数ｎＳｃａｌｅは、以下のように導出される。
参照サンプル配列ｍａｉｎＲｅｆ［ｘ］及びｓｉｄｅＲｅｆ［ｙ］、ここでｘ＝０．．．ｒｅｆＷ－１及びｙ＝０．．．ｒｅｆＨ－１は、以下のように導出される：
変数ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、及びｗＬ［ｘ］、ここでｘ＝０．．．ｎＴｂＷ－１、ｙ＝０．．．ｎＴｂＨ－１は、以下のように導出される：
変更された予測サンプルの値
は、以下のように導出される。
以上では、関数Ｃｌｉｐ１は、例えば更に上述したような（ｃｌｉｐ１Ｃｍｐ）のように定義されてよい。
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプル：
【数53】
【数54】
【数55】
【数56】
【数57】
【数58】
【数59】
【数60】
【数61】
【数62】
【数63】
【数64】
【数65】
【数66】
【0257】
本開示の実施形態は主にビデオコーディングに基づき説明されたが、留意すべきことに、コーディングシステム１０、エンコーダ２０、及びデコーダ３０（及び相応してシステム１０）の実施形態、並びにここに説明された他の実施形態は、静止画処理又はコーディング、つまりビデオコーディングにおけるような任意の先行する又は連続するピクチャと独立した個々のピクチャの処理又はコーディングのために構成されてもよい。一般的に、ピクチャ処理コーディングが単一のピクチャ１７に限定される場合、インター予測ユニット２４４（エンコーダ）及び３４４（デコーダ）のみが利用可能である必要はない。ビデオエンコーダ２０及びビデオデコーダ３０の全ての他の機能（ツール又は技術とも呼ばれる）は、静止画処理、例えば残差計算２０４／３０４、変換２０６、量子化２０８、逆量子化２１０／３１０、（逆）変換２１２／３１２、パーティション２６２／３６２、イントラ予測２５４／３５４、及び／又はループフィルタ２２０、３２０、及びエントロピーコーディング２７０及びエントロピー復号３０４のために等しく使用されてよい。
【0258】
例えばエンコーダ２０及びデコーダ３０の実施形態、及び例えばエンコーダ２０及びデコーダ３０を参照してここに説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装されてよい。ソフトウェアで実装される場合、機能は、１つ以上の命令又はコードとしてコンピュータ可読媒体に格納され又は通信媒体を介して送信され、ハードウェアに基づく処理ユニットにより実行されてよい。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、又は例えば通信プロトコルに従いある場所から別の場所へのコンピュータプログラムの転送を実現する任意の媒体を含む通信媒体、を含んでよい。この方法では、コンピュータ可読媒体は、一般的に、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号若しくは搬送波のような通信媒体、に対応してよい。データ記憶媒体は、本開示で説明された技術の実装のために命令、コード、及び／又はデータ構造を読み出すために、１つ以上のコンピュータ又は１つ以上のプロセッサによりアクセス可能な任意の利用可能な媒体であってよい。コンピュータプログラムプロダクトは、コンピュータ可読媒体を含んでよい。
【0259】
例により、限定ではなく、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、又は他の光ディスク記憶、磁気ディスク記憶、又は他の磁気記憶装置、フラッシュメモリ、又は所要のプログラムコードを命令又はデータ構造の形式で格納するために使用可能な、コンピュータによりアクセス可能な任意の他の媒体、を含み得る。また、任意の接続は、適正にコンピュータ可読媒体と呼ばれる。例えば命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者線（digital subscriber line (DSL)）、又は赤外線、無線、及びマイクロ波のような無線技術を用いて送信される場合、同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、又は赤外線、無線、及びマイクロ波のような無線技術は、媒体の定義に含まれる。しかしながら、理解されるべきことに、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とする。ディスク（disk）及びディクス（disc）は、ここで使用されるとき、コンパクトディスク（compact disc (CD)）、レーザディスク、光ディスク、デジタルバーサタイルディスク（digital versatile disc (DVD)）、フロッピーディスク、及びブルーレイディスクを含み、ディスク（disk）は通常データを磁気的に再生し、ディスク（disc）はデータをレーザにより光学的に再生する。前述の結合も、コンピュータ可読媒体の範囲に含まれるべきである。
【0260】
命令は、１つ以上のデジタル信号プロセッサ（digital signal processor (DSP)）、汎用マイクロプロセッサ、特定用途向け集積回路（application specific integrated circuit (ASIC)）、フィールドプログラマブルロジックアレイ（field programmable logic array (FPGA)）、又は他の等価な集積又は個別論理回路、のような１つ以上のプロセッサにより実行されてよい。従って、用語「プロセッサ」は、ここで使用されるとき、前述の構造のうちのいずれか、又はここに記載される技術の実装に適する任意の他の構造を表してよい。更に、幾つかの態様では、ここに説明された機能は、符号化及び復号又は結合されたコーデックに組み込まれるために構成される専用ハードウェア及び／又はソフトウェアモジュール内で提供されてよい。更に、技術は、全部、１つ以上の回路又は論理素子で実装され得る。本開示で言及される処理回路は、ハードウェア及びソフトウェアを含んでよい。
【0261】
本開示の技術は、無線ハンドセット、集積回路（integrated circuit (IC)）、又はＩＣのセット（例えば、チップセット）を含む種々の装置又は機器の中で実装されてよい。種々のコンポーネント、モジュール、又はユニットは、開示の技術を実行するよう構成される装置の機能的側面を強調するために、本開示で説明されたが、異なるハードウェアユニットによる実現を必ずしも要求しない。むしろ、上述のように、種々のユニットは、適切なソフトウェア及び／又はファームウェアと組み合わせて、コーデックハードウェアユニット内で結合され、又は上述のような１つ以上のプロセッサを含む相互運用ハードウェアユニットの集合により提供されてよい。
【0262】
更なる実施形態は、以下に纏められる。
【0263】
ピクチャのブロックのイントラ予測の方法であって、
前記ブロックの複数のサンプルからの各サンプルについて、
ＤＣイントラ予測モード、平面イントラ予測モード、及び角度イントラ予測モードのうちの１つを用いてイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより、前記非正規化予測サンプル値を正規化して、正規化予測サンプル値を生じるステップと、
を含む方法が提供される。
前記ブロックの複数のサンプルからの各サンプルについて、
ＤＣイントラ予測モード、平面イントラ予測モード、及び角度イントラ予測モードのうちの１つを用いてイントラ予測により、１つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより、前記非正規化予測サンプル値を正規化して、正規化予測サンプル値を生じるステップと、
を含む方法が提供される。
【0264】
実施形態では、前記ピクチャはビデオシーケンスの部分である。
【0265】
実施形態では、前記サンプル重み係数は、（（２＜＜ｐ）－ｗＬ－ｗＴ）であり、
ｐは前記サンプル重み係数の精度であり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である。
ｐは前記サンプル重み係数の精度であり、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である。
【0266】
実施形態では、前記水平重み係数は以下であり、
前記垂直重み係数は以下であり、
ｙは前記サンプルの垂直座標であり、
ｎＳｃａｌｅはスケールパラメータである。
【数67】
【数68】
ｎＳｃａｌｅはスケールパラメータである。
【0267】
実施形態では、前記スケールパラメータｎＳｃａｌｅは前記ブロックのサイズから導出される。
【0268】
実施形態では、前記スケールパラメータｎＳｃａｌｅは以下のように決定され、
ｎＴｂＷは前記ブロックの幅であり、ｎＴｂＨは前記ブロックの高さである。
【数69】
【0269】
実施形態では、前記正規化予測サンプル値は前記予測サンプル値から以下のように計算され、
ここで、
Ｐ＾（ｘ，ｙ）は前記正規化予測サンプル値であり、
Ｐ（ｘ，ｙ）は前記予測サンプル値であり、
Ｒｘ，－１，Ｒ－１，ｙは前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である。
【数70】
Ｐ＾（ｘ，ｙ）は前記正規化予測サンプル値であり、
Ｐ（ｘ，ｙ）は前記予測サンプル値であり、
Ｒｘ，－１，Ｒ－１，ｙは前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
ｗＬは水平重み係数であり、
ｗＴは垂直重み係数である。
【0270】
実施形態では、前記水平重み係数は以下であり、
前記垂直重み係数は以下であり、
ｙは前記サンプルの垂直座標であり、
ｎＳｃａｌｅはスケールパラメータである。
【数71】
【数72】
ｎＳｃａｌｅはスケールパラメータである。
【0271】
実施形態では、前記スケールパラメータｎＳｃａｌｅは前記ブロックのサイズから導出される。
【0272】
実施形態では、前記スケールパラメータｎＳｃａｌｅは以下のように決定され、
ｎＴｂＷは前記ブロックの幅であり、ｎＴｂＨは前記ブロックの高さである。
【数73】
【0273】
実施形態では、前記ブロックの前記複数のサンプルは、前記ブロックの全てのサンプルを含む。
【0274】
更に、ピクチャを符号化又は復号する装置であって、前記装置は、上述の方法のうちのいずれか１つを実行するよう構成される処理回路を含む装置が提供される。
【0275】
実施形態では、前記処理回路は、１つ以上のプロセッサと、前記１つ以上のプロセッサに接続された非一時的コンピュータ可読媒体と、を含み、前記非一時的コンピュータ可読媒体は、前記１つ以上のプロセッサにより実行されると、前記装置に前記方法を実行させるプログラムコードを運ぶ。
【0276】
更に、非一時的コンピュータ可読媒体であって、コンピュータ装置により実行されると前記コンピュータ装置に上述の方法のうちのいずれか１つを実行させるプログラムコードを運ぶ、非一時的コンピュータ可読媒体が提供される。
【0277】
略語の定義、及び用語集
JEM－Joint Exploration Model (the software codebase for future video coding exploration)
JVET－Joint Video Experts Team
LUT－Look-Up Table
PDPC－Position-dependent prediction combination
PPS－Picture parameter set
QT－Quad Tree
QTBT－Quad Tree plus Binary Tree
RDO－Rate-distortion Optimization
ROM－Read-Only Memory
SPS－Sequence parameter set
VTM－VVC Test Model
VVC－Versatile Video Coding, the standardization project developed by JVET.
CTU/CTB－Coding Tree Unit/Coding Tree Block
CU/CB－Coding Unit/Coding Block
PU/PB－Prediction Unit/Prediction Block
TU/TB－Transform Unit/Transform Block
HEVC－High Efficiency Video Coding
JEM－Joint Exploration Model (the software codebase for future video coding exploration)
JVET－Joint Video Experts Team
LUT－Look-Up Table
PDPC－Position-dependent prediction combination
PPS－Picture parameter set
QT－Quad Tree
QTBT－Quad Tree plus Binary Tree
RDO－Rate-distortion Optimization
ROM－Read-Only Memory
SPS－Sequence parameter set
VTM－VVC Test Model
VVC－Versatile Video Coding, the standardization project developed by JVET.
CTU/CTB－Coding Tree Unit/Coding Tree Block
CU/CB－Coding Unit/Coding Block
PU/PB－Prediction Unit/Prediction Block
TU/TB－Transform Unit/Transform Block
HEVC－High Efficiency Video Coding
【符号の説明】
【0278】
１０ ビデオコーディングシステム
１２ ソース装置
１４ 宛先装置
１２ ソース装置
１４ 宛先装置
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】