知財求人 - 知財ポータルサイト「IP Force」
特許7495456映像圧縮における複数ラインイントラ予測の方法、装置及びコンピュータ・プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-27
(45)【発行日】2024-06-04
(54)【発明の名称】映像圧縮における複数ラインイントラ予測の方法、装置及びコンピュータ・プログラム
(51)【国際特許分類】
H04N 19/593 20140101AFI20240528BHJP
【ＦＩ】
H04N19/593
【請求項の数】
8
【外国語出願】
(21)【出願番号】P 2022150931
(22)【出願日】2022-09-22
(62)【分割の表示】P 2020560446の分割
【原出願日】2019-06-27
(65)【公開番号】P2022177219
(43)【公開日】2022-11-30
【審査請求日】2022-10-19
(31)【優先権主張番号】62/694,132
(32)【優先日】2018-07-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/234,324
(32)【優先日】2018-12-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/240,388
(32)【優先日】2019-01-04
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ，リアン
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】鉢呂 健
(56)【参考文献】
【文献】特許第７１４８６３７（ＪＰ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／５９３
(57)【特許請求の範囲】
【請求項1】
符号器の少なくとも１つのプロセッサが実行する方法であって、ビデオ映像を符号化して復号器へ送信するステップを有し、当該方法は、更に、
前記少なくとも１つのプロセッサが、
前記ビデオ映像の映像シーケンスの複数の参照ライン間のイントラ予測によって、前記映像シーケンスの符号化を実行するステップと、
前記複数の参照ラインのうち、前記イントラ予測の現在のブロックに最も近いゼロ参照ラインに対して、複数のイントラ予測モードを決定するステップと、
参照ラインインデックス値に基づいて、最確モードリストの長さを決定するステップと、
前記複数の参照ラインに含まれる１つ以上の非ゼロ参照ラインのうちの１つに対して、前記最確モードリストに含まれる少なくとも１つの最確モードを決定するステップと
を含む方法。
【請求項2】
前記非ゼロ参照ラインについて、前記現在のブロックの最確モードインデックスがシグナリングされる、請求項１に記載の方法。
【請求項3】
前記非ゼロ参照ラインのための前記少なくとも１つの最確モードが、最確モードリストに含まれ、前記非ゼロ参照ラインのいずれか１つに対応する前記最確モードリストから、平面モード及びＤＣモードのうち、少なくとも１つが除外される、請求項１に記載の方法。
【請求項4】
前記ゼロ参照ラインの前記最確モードリストの長さは、前記非ゼロ参照ラインの前記最確モードリストの長さと異なる、請求項１に記載の方法。
【請求項5】
前記非ゼロ参照ラインのための前記最確モードリストの長さは、前記ゼロ参照ラインの最確モードリストの長さより１つ短い、請求項１に記載の方法。
【請求項6】
前記ゼロ参照ラインに対する最確モードリストの長さは６であり、前記非ゼロ参照ラインに対する最確モードリストの長さは５である、請求項１に記載の方法。
【請求項7】
コンピュータプログラムコードを記憶するように構成された少なくとも１つのメモリと、前記コンピュータプログラムコードにアクセスして、前記コンピュータプログラムコードによって命令された通りに動作し、請求項１乃至６のいずれか１項に記載の方法を実行するように構成された少なくとも１つのハードウェアプロセッサと
を備える装置。
【請求項8】
コンピュータに請求項１乃至６のいずれか１項に記載の方法を実行させるためのコンピュータ・プログラム。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年1月4日に出願された米国特許出願第16/240,388号「METHODS AND APPARATUS FOR MULTIPLE LINE INTRA PREDICTION IN VIDEO
COMPRESSION」に対する優先権の利益を主張し、この特許出願は、2018年12月27日に出願された米国特許出願第16/234,324号の継続出願であり、この特許出願は、2018年7月5日に出願された米国特許仮出願第62/694,132号の優先権を主張する。上記の各出願は、本明細書により、その全体が参照によって本願に明示的に組み込まれる。
本出願は、2019年1月4日に出願された米国特許出願第16/240,388号「METHODS AND APPARATUS FOR MULTIPLE LINE INTRA PREDICTION IN VIDEO
COMPRESSION」に対する優先権の利益を主張し、この特許出願は、2018年12月27日に出願された米国特許出願第16/234,324号の継続出願であり、この特許出願は、2018年7月5日に出願された米国特許仮出願第62/694,132号の優先権を主張する。上記の各出願は、本明細書により、その全体が参照によって本願に明示的に組み込まれる。
【背景技術】
【0002】
本開示は、HEVCに勝る次世代映像符号化技術に関し、より詳細には、例えば、複数の参照ラインを使用して、イントラ予測方式を改善することに関する。
【0003】
映像符号化標準HEVC（High Efficiency Video Coding、高効率映像符号化）のメインプロファイルは、2013年に完成された。それから間もなく、国際標準化機構ITU-T VCEG（Q6/16）及びISO/IEC MPEG（JTC 1/SC 29/WG 11）が、現行のHEVC標準（その現行の拡張機能を含む）と比較して圧縮性能を大幅に増強する可能性とともに、将来の映像符号化標準を開発する必要性を探索し始めた。複数の団体が、共同映像探索チーム（Joint Video Exploration Team、JVET）として知られる共同作業によって探索活動にともに取り組み、この分野の専門家によって提案された圧縮技術設計を評価している、HEVCの性能に勝る映像符号化技術を探索するために、JVETによって共同探索モデル（Joint Exploration Model、JEM）が開発されており、JEMの現行の最新バージョンはJEM-7.1である。
【0004】
ITU-T VCEG（Q6/16）及びISO/IEC MPEG（JTC 1/SC 29/WG 11）は、2013年にH.
265/HEVC（High Efficiency Video Coding、高効率映像符号化）標準のバージョン1を公開し、2014年にバージョン2、2015年にバージョン3、2016年にバージョン4を公開した。以後、HEVC標準（その拡張機能を含む）をはるかに上回る圧縮性能を有する、将来の映像符号化技術の標準化の潜在需要について研究を続けている。2017年10月に、HEVCに勝る性能を有する映像圧縮について、共同で提案の募集（CfP）を行った。2018年2月15日までに、標準ダイナミックレンジ（SDR）について合計22のCfP回答、高ダイナミックレンジ（HDR）について12のCfP回答、及び360の映像分類について12のCfP回答がそれぞれ提出された。2018年4月、受領したすべてのCfP回答が、122 MPEG/10th JVET（共同映像探索チーム－共同映像専門家チーム）会議で評価された。慎重な評価を経て、JVETはHEVCに勝る次世代の映像符号化、すなわち、いわゆる汎用映像符号化（Versatile Video Coding、VVC）の標準化を公式に開始した。VTM（VVCテストモデル）の現在のバージョンは、すなわちVTM1である。
265/HEVC（High Efficiency Video Coding、高効率映像符号化）標準のバージョン1を公開し、2014年にバージョン2、2015年にバージョン3、2016年にバージョン4を公開した。以後、HEVC標準（その拡張機能を含む）をはるかに上回る圧縮性能を有する、将来の映像符号化技術の標準化の潜在需要について研究を続けている。2017年10月に、HEVCに勝る性能を有する映像圧縮について、共同で提案の募集（CfP）を行った。2018年2月15日までに、標準ダイナミックレンジ（SDR）について合計22のCfP回答、高ダイナミックレンジ（HDR）について12のCfP回答、及び360の映像分類について12のCfP回答がそれぞれ提出された。2018年4月、受領したすべてのCfP回答が、122 MPEG/10th JVET（共同映像探索チーム－共同映像専門家チーム）会議で評価された。慎重な評価を経て、JVETはHEVCに勝る次世代の映像符号化、すなわち、いわゆる汎用映像符号化（Versatile Video Coding、VVC）の標準化を公式に開始した。VTM（VVCテストモデル）の現在のバージョンは、すなわちVTM1である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
複数のラインが使用可能であっても、この分野にはさまざまな技術的問題がある。例えば、最初の参照ラインが、なおも最も選択されるラインであるとわかったことに技術的な問題が存在する。しかしながら、最初の参照ラインを有する各ブロックは、現在のブロックのラインインデックスを示すために、常に1つのビンを信号送信（シグナリング）する必要がある。
【0006】
また、複数ラインイントラ予測は、ルマイントラ予測のみに適用される。クロマ成分を有する複数ラインイントラ予測の可能な符号化利得は利用されない。
【0007】
また、異なるラインインデックスを有する参照サンプルは異なる特徴を有する場合があり、これによって異なる参照ラインに同じ数のイントラ予測モードを設定することは最適ではない。
【0008】
また、複数ラインイントラ予測では、複数の隣接するラインの画素が記憶されアクセスされているが、隣接するラインの画素は、現行のライン内の画素の平滑化には利用されない。
【0009】
また、複数ラインイントラ予測では、符号器は、現在のブロックの画素値を予測するために、1つの参照ラインを選択するが、隣接する画素の変化傾向は、現在のブロック内のサンプルの予測には利用されない。
【0010】
また、複数ラインイントラ予測では、1より大きい数の平面又はDCモードは存在しない。DC又は平面モードの他のバージョンの探索は、完全には活用されていない。
【0011】
また、複数のライン参照画素がイントラ予測に適用されるが、参照画素が使用される他の場所が存在しながらも、複数のライン参照画素の符号化利得は利用されない。
【0012】
したがって、このような問題に対する技術的解決が望まれている。
【課題を解決するための手段】
【0013】
コンピュータプログラムコードを記憶するように構成されたメモリと、コンピュータプログラムコードにアクセスして、コンピュータプログラムコードによって命令された通りに動作するように構成されたハードウェアプロセッサ又はプロセッサとを備える、方法及び装置が含まれる。コンピュータプログラムは、プロセッサに、映像シーケンスの複数の参照ライン間でイントラ予測を実行することによって、映像シーケンスを符号化又は復号させるように構成されたイントラ予測コードと、プロセッサに、複数の非ゼロ参照ライン間におけるイントラ予測の現在のブロックに最も近いゼロ参照ラインにおいて、第1の参照ラインに対するイントラ予測モードを設定させるように構成されたイントラ予測モードコードと、プロセッサに、非ゼロ参照ラインにおいて、第2の参照ラインに対する1つ以上の最確モードを設定させるように構成された最確モードコードとを含む。
【0014】
例示的な実施形態によれば、プログラムコードは、プロセッサに、最確モードフラグ及びイントラモードを信号送信（シグナリング）する前に、参照ラインインデックスを信号送信（シグナリング）させ、参照ラインインデックスが信号送信されること、及び信号送信されたインデックスが、ゼロ参照ラインを示すことの決定に応答して、最確モードフラグを信号送信（シグナリング）させ、参照ラインインデックスが信号送信されること、及び信号送信されたインデックスが、非ゼロ参照ラインの少なくとも1つを示すことの決定に応答して、最確モードフラグを信号送信することなく、最確モードフラグが真になるように導出させ、かつ現在のブロックの最確モードインデックスを信号送信させるように構成された信号コードをさらに含む。
【0015】
例示的な実施形態によれば、最確モードコードは、プロセッサに、最確モードリストに1つ以上の最確モードを含め、最確モードリストから平面モード及びDCモードを除外させるようにさらに構成される。
【0016】
例示的な実施形態によれば、最確モードコードは、少なくとも1つのプロセッサに、参照ラインインデックス値に基づいて最確モードリストの長さを設定させ、その結果、最確モードリストの長さは、1つ以上の最確モードの数を含む、ようにさらに構成される。
【0017】
例示的な実施形態によれば、最確モードコードは、少なくとも1つのプロセッサに、非ゼロ参照ラインの検出に応答して、最確モードリストの長さを1又は4のいずれかに設定させ、現在の参照ラインがゼロ参照ラインであるという決定に応答して、最確モードリストの長さを3又は6に設定させるようにさらに構成される。
【0018】
例示的な実施形態によれば、最確モードコードは、少なくとも1つのプロセッサに、非ゼロ参照ラインの検出に応答して、最確モードリストの長さが5つの最確モードからなるように設定させるようにさらに構成される。
【0019】
例示的な実施形態によれば、非ゼロ参照ラインの1つは、現在のブロックに隣接するラインであり、かつゼロ参照ラインよりも現在のブロックから遠く離れている。
【0020】
例示的な実施形態によれば、1つ以上の最確モードは、最低レベルの最確モードから最高レベルの最確モードまで任意のレベルの最確モードを含む。
【0021】
例示的な実施形態によれば、1つ以上の最確モードは、非ゼロ参照ラインに対して許可された最確モードのレベルのみを含む。
【0022】
本開示の主題のさらなる特徴、性質、及びさまざまな利点は、以下の詳細な説明、及び添付の図面でより明らかになるであろう。
【図面の簡単な説明】
【0023】
【図1】実施形態による図を概略的に示す。
【図2】実施形態による別の図を概略的に示す。
【図3】実施形態によるさらに別の図を概略的に示す。
【図4】実施形態によるさらに別の図を概略的に示す。
【図5】実施形態によるさらに別の図を概略的に示す。
【図6】実施形態によるさらに別の図を概略的に示す。
【図7】実施形態によるさらに別の図を概略的に示す。
【図8】実施形態によるさらに別の図を概略的に示す。
【図9】実施形態による、簡略化したフローチャートである。
【図10】実施形態による、簡略化した別のフローチャートである。
【図11】実施形態による、簡略化したさらに別のフローチャートである。
【図12】実施形態による、簡略化したさらに別のフローチャートである。
【図13】実施形態による、簡略化したさらに別のフローチャートである。
【図14】実施形態による、簡略化したさらに別のフローチャートである。
【図15】実施形態による図を概略的に示す。
【図16】実施形態による、簡略化したフローチャートである。
【図17】実施形態による、簡略化した別のフローチャートである。
【図18】実施形態による、簡略化したさらに別のフローチャートである。
【図19】実施形態による、簡略化したさらに別のフローチャートである。
【図20】実施形態による、簡略化したさらに別のフローチャートである。
【図21】実施形態による、簡略化したさらに別のフローチャートである。
【図22】実施形態による、簡略化したさらに別のフローチャートである。
【図23】実施形態による、簡略化したさらに別のフローチャートである。
【図24】実施形態による、簡略化したさらに別のフローチャートである。
【図25】実施形態による、簡略化したさらに別のフローチャートである。
【図26】実施形態による図を概略的に示す。
【発明を実施するための形態】
【0024】
以下で説明する提案する特徴は、個別に、又は任意の順序で組み合わせて使用されてもよい。また、実施形態は、処理回路（例えば、1つ以上のプロセッサ又は1つ以上の集積回路）によって実施されてもよい。一例では、1つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。本開示では、最確モード（most probable mode、MPM）は、主MPM、副MPM、あるいは主MPM及び副MPMの両方を表すことができる。
【0025】
図1は、本開示の実施形態による、通信システム100の簡素化されたブロック図を示す。通信システム100は、ネットワーク105を介して相互接続された、少なくとも2つの端末102及び103を含む。データの一方向伝送の場合、第1の端末103は、ネットワーク105を介してもう一方の端末102に送信する映像データをローカル位置で符号化してもよい。第2の端末102は、ネットワーク105からもう一方の端末の符号化された映像データを受信し、符号化されたデータを復号して、回復された映像データを表示してもよい。一方向のデータ伝送は、媒体供給用途などにおいて一般的であろう。
【0026】
図1は、例えば、ビデオ会議中に生じる場合がある、符号化された映像の双方向伝送をサポートするために提供される、第2の対の端末101及び104を示す。データの双方向伝送の場合、各端末101及び104は、ネットワーク105を介してもう一方の端末に送信する、ローカル位置で捕捉した映像データを符号化してもよい。各端末101及び104は、もう一方の端末によって送信された符号化された映像データを受信してもよく、符号化されたデータを復号してもよく、かつ回復された映像データをローカルの表示装置に表示してもよい。
【0027】
図1では、端末101、102、103、及び104は、サーバ、パソコン、及びスマートフォンとして示されてもよいが、本開示の原理はそのように限定されない。本開示の実施形態は、ノートパソコン、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器にも適用される。ネットワーク105は、符号化された映像データを端末101、102、103及び104間に伝達する、有線及び／又は無線通信ネットワークなどを含む任意の数のネットワークを表す。通信ネットワーク105は、回線交換チャネル及び／又はパケット交換チャネルでデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットを含む。本考察の目的のために、ネットワーク105のアーキテクチャ及びトポロジは、以下で説明されない限り、本開示の運用には無関係な場合がある。
【0028】
図2は、開示される主題の適用例として、ストリーミング環境における映像符号器及び復号器の配置を示す。開示される主題は、例えば、ビデオ会議や、デジタルテレビや、CD、DVD、メモリスティックなどのデジタル媒体への圧縮映像の記憶などを含む、他の映像使用用途に等しく適用することができる。
【0029】
ストリーミングシステムは捕捉サブシステム203を含んでもよく、捕捉サブシステム203は、例えば、圧縮されていない映像サンプルストリーム213を作成する、デジタルカメラなどの映像ソース201を含むことができる。符号化された映像ビットストリームと比較してデータ量が大きいことを強調するために太線で示されているサンプルストリーム213は、カメラ201に結合された符号器202によって処理することができる。以下でより詳細に説明するように、符号器202は、開示される主題の態様を可能にする、又は実施するために、ハードウェア、ソフトウェア、又はこれらの組合せを含むことができる。サンプルストリームと比較してデータ量が小さいことを強調するために細線で示されている符号化された映像ビットストリーム204は、後で使用するためにストリーミングサーバ205に記憶することができる。1つ以上のストリーミングクライアント212及び207は、符号化された映像ビットストリーム204のコピー208及び206を検索するために、ストリーミングサーバ205にアクセスすることができる。クライアント212は、着信した符号化された映像ビットストリームのコピー208を復号して、発信する映像サンプルストリーム210を生成する、映像復号器211を含むことができ、映像サンプルストリーム210は、表示装置209、又は他の表示装置（図示せず）に表示することができる。一部のストリーミングシステムでは、映像ビットストリーム204、206、及び208は、いくつかの映像符号化／圧縮標準に従って符号化することができる。このような標準の例は上述され、本明細書でさらに説明される。
【0030】
図3は、本発明の実施形態による、映像復号器300の機能ブロック図である。
【0031】
受信機302は、復号器300によって復号される1つ以上のコーデック映像シーケンスを受信してもよく、同一又は別の実施形態では、1つの符号化された映像シーケンスを同時に受信してもよく、符号化された映像シーケンスそれぞれの復号は、他の符号化された映像シーケンスから独立している。符号化された映像シーケンスは、チャネル301から受信されてもよく、チャネル301は、符号化された映像データを記憶する記憶装置と連結する、ハードウェア／ソフトウェアであってもよい。受信機302は、符号化された音声データ及び／又は補助データストリームなどの他のデータとともに符号化された映像データを受信してもよく、これはそれぞれが使用するエンティティ（図示せず）に転送されてもよい。受信機302は、符号化された映像シーケンスを他のデータから分離してもよい。ネットワークのジッタに対抗するために、受信機302とエントロピー復号器／構文解析器304（以下「構文解析器」とする）との間にバッファメモリ303が結合されてもよい。受信機302が、帯域幅及び制御性が充分な記憶装置／転送装置から、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときは、バッファ303は必要でない場合がある、あるいは小さくすることができる。バッファ303は、インターネットなどのベストエフォートのパケットネットワークで使用するために必要とされる場合があり、比較的大型で、好適には適応可能なサイズにすることができる。
【0032】
映像復号器300は、エントロピー符号化された映像シーケンスからシンボル313を再構築するために、構文解析器304を備えてもよい。このようなシンボルの分類は、復号器300の動作を管理するのに使用される情報、及び復号器の一体部品ではないがこれに結合できる表示装置312などの、表示装置を制御するための潜在的な情報を含む。（複数の）表示装置のための制御情報は、補助拡張情報（Supplementary Enhancement Information）（SEIメッセージ）、又は映像有用性情報（Video Usability
Information、VUI）パラメータ集合フラグメント（図示せず）の形態にされてもよい。構文解析器304は、受信した符号化された映像シーケンスを、構文解析／エントロピー復号してもよい。符号化された映像シーケンスの符号は、映像符号化技術又は標準に従っていてもよく、可変長符号化、ハフマン符号化、文脈依存又は非文脈依存の算術符号化などを含む、当業者によく知られている原理に従っていてもよい。構文解析器304は、符号化された映像シーケンスから、グループに対応する少なくとも1つのパラメータに基づいて、映像復号器内の、画素のサブグループの少なくとも1つに対する、一群のサブグループパラメータを抽出してもよい。サブグループは、画像のグループ（GOP）、画像、タイル、スライス、マクロブロック、符号化ユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。また、エントロピー復号器／構文解析器は、符号化された映像シーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。
Information、VUI）パラメータ集合フラグメント（図示せず）の形態にされてもよい。構文解析器304は、受信した符号化された映像シーケンスを、構文解析／エントロピー復号してもよい。符号化された映像シーケンスの符号は、映像符号化技術又は標準に従っていてもよく、可変長符号化、ハフマン符号化、文脈依存又は非文脈依存の算術符号化などを含む、当業者によく知られている原理に従っていてもよい。構文解析器304は、符号化された映像シーケンスから、グループに対応する少なくとも1つのパラメータに基づいて、映像復号器内の、画素のサブグループの少なくとも1つに対する、一群のサブグループパラメータを抽出してもよい。サブグループは、画像のグループ（GOP）、画像、タイル、スライス、マクロブロック、符号化ユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。また、エントロピー復号器／構文解析器は、符号化された映像シーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。
【0033】
構文解析器304は、シンボル313を生成するために、バッファ303から受信した映像シーケンスにエントロピー復号／構文解析動作を実行してもよい。構文解析器304は、符号化されたデータを受信して、特定のシンボル313を選択的に復号してもよい。また、構文解析器304は、特定のシンボル313を、動き補償予測ユニット306、スケーラ／逆変換ユニット305、イントラ予測ユニット307、又はループフィルタ311に提供するかどうかを決定してもよい。
【0034】
シンボルの再構築313は、符号化された映像又はその部分の種別（例えば、インター画像及びイントラ画像、インターブロック及びイントラブロック）、並びに他の要素に応じて、複数の異なるユニットを含むことができる。どのユニットがどのように含まれるかについては、構文解析器304によって符号化された映像シーケンスから構文解析された、サブグループ制御情報によって制御することができる。構文解析器304と、以下の複数のユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために図示されていない。
【0035】
すでに述べた機能ブロック以外に、復号器200は、以下で説明するように、概念的にいくつかの機能ユニットに再分割することができる。商業的な制約の下で運用される実際の実施では、このようなユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示する主題を説明する目的のためには、以下の機能ユニットに概念的に再分割するのが適切である。
【0036】
第1のユニットは、スケーラ／逆変換ユニット305である。スケーラ／逆変換ユニット305は、量子化変換係数、並びに制御情報を受信し、これには、構文解析器304からの（複数の）シンボル313として、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などが含まれている。スケーラ／逆変換ユニット305はサンプル値を含むブロックを出力でき、これを集約装置310に入力することができる。
【0037】
場合によっては、スケーラ／逆変換ユニット305の出力サンプルは、イントラ符号化されたブロックに関係することができ、つまり、以前に再構築された画像からの予測情報を使用していないブロックは、現画像の以前に再構築された部分からの予測情報を使用することができる。このような予測情報は、イントラ画像予測ユニット307によって提供することができる。場合によっては、イントラ画像予測ユニット307は、現在の（部分的に再構築された）画像309から取り出した、周囲のすでに再構築された情報を使用して、再構築中のブロックと同じサイズ及び形状のブロックを生成する。集約装置310は、場合により、イントラ予測ユニット307が生成した予測情報をサンプル毎に、スケーラ／逆変換ユニット305によって提供された出力サンプル情報に追加する。
【0038】
他の事例では、スケーラ／逆変換ユニット305の出力サンプルはインター符号化され、かつ潜在的には動き補償されたブロックに関係することができる。このような事例では、動き補償予測ユニット306が、予測に使用するサンプルを取り出すために、参照画像メモリ308にアクセスすることができる。ブロックに関連するシンボル313に従って、取り出されたサンプルを動き補償した後に、これらのサンプルは、出力サンプル情報を生成するように、集約装置310によってスケーラ／逆変換ユニットの出力（この場合は残差サンプル又は残差信号と呼ばれる）に追加することができる。動き補償ユニットが予測サンプルを取り出す参照画像メモリ内のアドレスは、動きベクトルによって制御することができ、シンボル313の形態で動き補償ユニットに使用可能で、例えば、X、Y、及び参照画像成分を有することができる。また動き補償は、サブサンプルの正確な動きベクトルが使用されているときに参照画像メモリから取り出されたサンプル値の補間、動きベクトル予測機構などを含むことができる。
【0039】
集約装置310の出力サンプルは、ループフィルタユニット311のさまざまなループフィルタリング技術にかけることができる。映像圧縮技術は、符号化された映像ビットストリームに含まれるパラメータによって制御され、構文解析器304からのシンボル313としてループフィルタユニット311に対して使用可能になる、ループ内フィルタ技術を含むことができるが、さらに、符号化された画像又は符号化された映像シーケンスの以前の（復号順で）部分の復号中に取得されたメタ情報にも応答し、同様に以前に再構築されてループフィルタリングされたサンプル値にも応答することができる。
【0040】
ループフィルタユニット311の出力は、表示装置312に出力でき、かつ以後のインター画像予測に使用するために参照画像メモリ557に記憶できる、サンプルストリームであってもよい。
【0041】
いくつかの符号化された画像は、いったん完全に再構築されると、以後の予測用の参照画像として使用することができる。符号化された画像が完全に再構築され、符号化された画像が（例えば、構文解析器304によって）参照画像として特定されていると、現在の参照画像309が参照画像バッファ308の一部になることができ、後続の符号化された画像の再構築を開始する前に、新しい現画像メモリを再配分することができる。
【0042】
映像復号器300は、ITU-T Rec. H.265などの標準に記述され得る所定の映像圧縮技術に従って、復号動作を実行してもよい。符号化された映像シーケンスは、映像圧縮技術又は標準の構文を遵守しているという意味において、映像圧縮技術文書又は標準で、かつ具体的にはそこに記述されているプロファイルで指定される通りに、使用される映像圧縮技術又は標準によって指定される構文に従っているといえる。遵守のためにさらに必要なことは、符号化された映像シーケンスの複雑性が、映像圧縮技術又は標準のレベルによって規定される範囲内にあることであろう。場合によっては、レベルによって最大画像サイズ、最大フレームレート、最大再構築サンプルレート（例えば、メガサンプル／秒で測定される）、最大参照画像サイズなどが制限される。レベルによって設定される制限は、場合によっては、仮想参照復号器（Hypothetical Reference Decoder、HRD）仕様、及び符号化された映像シーケンスで信号送信されたHRDバッファ管理のメタデータによってさらに制限される可能性がある。
【0043】
実施形態では、受信機302は、符号化された映像とともに追加（冗長）データを受信してもよい。追加データは、（複数の）符号化された映像シーケンスの一部として含められてもよい。追加データは、映像復号器300によって、データを適切に復号するため、かつ／又は元の映像データをより正確に再構築するために使用されてもよい。追加データは、例えば、時間的、空間的、又は信号雑音比（SNR）強化層、冗長スライス、冗長画像、転送エラー修正コードなどの形態であってもよい。
【0044】
図4は、本開示の実施形態による、映像符号器400の機能ブロック図である。
【0045】
符号器400は、符号器400によって符号化される（複数の）映像を捕捉し得る映像ソース401（符号器の一部ではない）から、映像サンプルを受信してもよい。
【0046】
映像ソース401は、符号器400によって符号化されるソース映像シーケンスを、任意の適切なビット深度（8ビット、10ビット、12ビット～など）、任意の色空間（BT.601 Y CrCB、RGBなど）、及び任意の適切なサンプリング構造（Y CrCb 4：2：0、Y CrCb 4：4：4など）にすることが可能なデジタル映像サンプルストリームの形態で提供し得る。媒体供給システムでは、映像ソース401は、以前に準備した映像を記憶している記憶装置であってもよい。ビデオ会議システムでは、映像ソース401は、ローカル画像情報を映像シーケンスとして捕捉するカメラであってもよい。映像データは、シーケンスで見たときに動きを伝える複数の個別の画像として提供されてもよい。画像自体は画素の空間的配列として編成されてもよく、各画素は、使用時のサンプリング構造、色空間などに応じて1つ以上のサンプルを含むことができる。当業者であれば、画素とサンプルとの関係を容易に理解できるであろう。以下、サンプルを中心に説明する。
【0047】
実施形態によれば、符号器400は、リアルタイムで、又は用途によって必要とされる他の時間制約下で、ソース映像シーケンスの画像を符号化し圧縮して、符号化された映像シーケンス410にし得る。適切な符号化速度にすることが、コントローラ402の1つの機能である。コントローラは、後述するように他の機能ユニットを制御し、かつこれらのユニットに機能的に結合される。明確にするために、結合については図示しない。コントローラによって設定されたパラメータは、レート制御関連パラメータ（画像スキップ、量子化、レート－歪み最適化技術のラムダ値など）、画像サイズ、画像のグループ（GOP）のレイアウト、最大動きベクトル検索範囲などを含むことができる。当業者であれば、コントローラ402の他の機能は、いくつかのシステム設計用に最適化された映像符号器400に関連し得るため、容易に特定することができる。
【0048】
いくつかの映像符号器は、当業者には「符号化ループ」として容易に認識されるもので動作する。過度に単純化した説明になるが、符号化ループは、符号器403（以後「ソース符号器」）（符号化される入力画像、及び（複数の）参照画像に基づくシンボルの生成に関与する）の符号化部と、（シンボル及び符号化された映像ビットストリーム間の圧縮は、開示されている主題で考慮される映像圧縮技術において可逆であるために）（リモート）復号器も生成するサンプルデータを生成するために、シンボルを再構築する符号器400に組み込まれた、（ローカル）復号器406と、からなっていてもよい。再構築されたサンプルストリームは、参照画像メモリ405に入力される。シンボルストリームの復号が、復号器の位置（ローカル又はリモート）とは無関係に、結果としてビットパーフェクト（bit-exact）になると、参照画像バッファのコンテンツもまた、ローカル符号器とリモート符号器との間でビットパーフェクトになる。言い換えれば、符号器の予測部は、参照画像サンプルを、復号中に予測を使用しているときに復号器が「みなす」ものとまったく同じサンプル値と「みなす」。参照画像共時性のこの基本原理（及び、例えばチャネルエラーのために共時性を維持できない場合は、結果として生じるドリフト）は、当業者にはよく知られている。
【0049】
「ローカル」復号器406の動作は、「リモート」復号器300と同じであってもよく、これについては、図3に関連してすでに詳細に上述した。しかしながら、一時的に図4も参照すると、シンボルが使用可能であり、かつエントロピー符号器408及び構文解析器304によって、シンボルを符号化された映像シーケンスに可逆的に符号化／復号できるので、チャネル301、受信機302、バッファ303、及び構文解析器304を含む復号器300のエントロピー復号部は、ローカル復号器406で完全に実施されなくてもよい。
【0050】
現時点で考えられることは、復号器内に存在する、構文解析／エントロピー復号を除く復号器技術はいずれも、対応する符号器内にもほぼ同一の機能的形態で存在することが当然必要になる。符号器技術の説明は、包括的に述べられている復号器技術の逆なので、省略することができる。いくつかの領域においてのみ、より詳細な説明が必要とされ以下で説明される。
【0051】
ソース符号器403は、その動作の一部として動き補償された予測符号化を実行してもよく、「参照フレーム」として指定された映像シーケンスから、1つ以上の以前に符号化されたフレームに関して、入力フレームを予測的に符号化する。この方法では、符号化エンジン407は、入力フレームの画素ブロックと、入力フレームに対する（複数の）予測参照として選択され得る（複数の）参照フレームの画素ブロックとの差異を符号化する。
【0052】
ローカル映像復号器406は、ソース符号器403によって生成されたシンボルに基づいて、参照フレームとして指定され得るフレームの符号化された映像データを復号してもよい。符号化エンジン407の動作は、好適には非可逆の工程であってもよい。符号化された映像データが、映像復号器（図4には図示せず）で復号されてもよいときは、再構築された映像シーケンスは、通常はいくつかのエラーを伴う、ソース映像シーケンスの複製であってもよい。ローカル映像復号器406は、映像復号器によって参照フレームに対して実行されてもよく、かつ再構築された参照フレームが参照画像キャッシュ405に記憶されるようにし得る、復号工程を繰り返す。この方法では、符号器400は、遠端の映像復号器（伝送エラーのない）によって取得される、再構築された参照フレームと共通のコンテンツを有する、再構築された参照フレームのコピーを局所的に記憶してもよい。
【0053】
予測器404は、符号化エンジン407用の予測検索を実行してもよい。つまり、予測器404は、符号化される新しいフレームに対して、参照画像メモリ405からサンプルデータ（候補参照画素ブロックとしての）、又は参照画像動きベクトル、ブロック形状などのいくつかのメタデータを検索してもよく、これは新しい画像の適切な予測参照として機能する。予測器404は、適切な予測参照を見つけるために、ブロック×画素ブロックを基準として、サンプルで動作してもよい。場合によっては、予測器404によって取得された検索結果によって決定されるように、入力画像は、参照画像メモリ405に記憶された複数の参照画像から引き出された予測参照を有してもよい。
【0054】
コントローラ402は、例えば、映像データの符号化に使用される、パラメータ及びサブグループパラメータの設定を含む、映像符号器403の符号化動作を管理してもよい。
【0055】
前述した全機能ユニットの出力は、エントロピー符号器408でエントロピー符号化されてもよい。エントロピー符号器は、さまざまな機能ユニットによって生成されると、ハフマン符号化、可変長符号化、算術符号化などとして当業者に知られている技術でシンボルを可逆圧縮することによって、シンボルを符号化された映像シーケンスに変換する。
【0056】
送信機409は、通信チャネル411を介した送信に備えるために、エントロピー符号器408によって生成された際に、（複数の）符号化された映像シーケンスをバッファリングしてもよく、これは、符号化された映像データを記憶する記憶装置に対するハードウェア／ソフトウェア連携であってもよい。送信機409は、映像符号器403の符号化された映像データを、送信される他のデータ、例えば、符号化された音声データ及び／又は補助データストリーム（ソースは図示せず）とマージしてもよい。
【0057】
コントローラ402は、符号器400の動作を管理してもよい。符号化中に、コントローラ405は、符号化された画像のそれぞれにいくつかの符号化画像種別を割り当ててもよく、これは、各画像に適用され得る符号化技術に影響を及ぼす場合がある。例えば、画像は、以下のフレーム種別のうちの1つに割り当てられることが多い。
【0058】
イントラ画像（Iピクチャ）は、予測のソースとしてシーケンス内の他のフレームを使用せずに符号化及び復号され得るものである。いくつかの映像コーデックは、例えば、即時復号器リフレッシュ（Independent Decoder Refresh）画像を含む、異なる種類のイントラ画像を許容する。当業者には、このようなIピクチャの変形、並びにその各用途及び特徴が知られている。
【0059】
予測画像（Pピクチャ）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものである。
【0060】
双方向予測画像（Bピクチャ）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものである。同様に多重予測画像は、1つのブロックを再構築するために、2つよりも多い参照画像、及び関連するメタデータを使用することができる。
【0061】
ソース画像は、通常は空間的に複数のサンプルブロック（例えば、それぞれ4×4、8×8、4×8、又は16×16サンプルのブロック）に再分割されて、ブロック毎に符号化されてもよい。ブロックは、ブロックの各画像に適用された符号割当てによって決定される際に、他の（すでに符号化された）ブロックを参照して予測的に符号化されてもよい。例えば、Iピクチャのブロックは、非予測的に符号化されてもよく、あるいは同じ画像のすでに符号化されたブロックを参照して、予測的に符号化されてもよい（空間予測又はイントラ予測）。Pピクチャの画素ブロックは、1つの以前に符号化された参照画像を参照して、空間予測によって、又は時間予測によって、非予測的に符号化されてもよい。Bピクチャのブロックは、1つ又は2つの以前に符号化された参照画像を参照して、空間予測によって、又は時間予測によって、非予測的に符号化されてもよい。
【0062】
映像符号器400は、ITU-T Rec. H.265などの所定の映像符号化技術又は標準に従って、符号化動作を実行してもよい。その動作において、映像符号器400はさまざまな圧縮動作を実行してもよく、これには入力映像シーケンスで時間的及び空間的冗長性を利用する予測符号化動作が含まれる。したがって符号化された映像データは、使用される映像符号化技術又は標準によって指定された構文に従っていてもよい。
【0063】
実施形態では、送信機409は、符号化された映像とともに追加データを送信してもよい。映像符号器403は、符号化された映像シーケンスの一部としてこのようなデータを含んでもよい。追加データは、時間／空間／SNR強化層、冗長画像及びスライス、補足拡張情報（Supplementary Enhancement Information、SEI）メッセージ、視覚的有用性情報（Visual Usability Information、VUI）パラメータ集合フラグメントなどの他の形式の冗長データを含んでもよい。
【0064】
図5は、HEVC及びJEMで使用されるイントラ予測モードを示す。自然な映像に表れる任意のエッジ方向を捕捉するために、方向性イントラモードの数は33から、HEVCで使用されるように65まで拡張されている。HEVCの上にある、JEMにおける追加の方向性モードは、図5では点線矢印で示され、平面及びDCモードは同じまま残っている。このような密度の高い方向性イントラ予測モードは、すべてのブロックサイズ、並びにルマ及びクロマの両方のイントラ予測に適用される。図5に示すように、奇イントラ予測モードインデックスに関連付けられる、点線矢印で特定される方向性イントラ予測モードは、奇イントラ予測モードと呼ばれる。偶数のイントラ予測モードインデックスに関連付けられる、実線矢印で特定される方向性イントラ予測モードは、偶イントラ予測モードと呼ばれる。本明細書では、図5において実線又は点線矢印で示される方向性イントラ予測モードは、角度性モードとも呼ばれる。
【0065】
JEMでは、ルマイントラ予測に合計67のイントラ予測モードが使用される。イントラモードを符号化するために、隣接するブロックのイントラモードに基づいて、サイズ6のMPMリストが構築される。イントラモードがMPMリストからのものでない場合は、イントラモードが選択したモードに属するかどうかを示すために、フラグが信号送信される。JEM-3.0では16の選択されたモードがあり、角度性モード4つ毎に均等に選択される。JVET-D0114及びJVET-G0060では、均等に選択されたモードに置き換わる、16の副MPMが導出される。
【0066】
図6は、イントラ方向性モードに利用されるN個の参照層を示す。ブロックユニット611と、セグメントA601と、セグメントB602と、セグメントC603と、セグメントD604と、セグメントE605と、セグメントF606と、第1の参照層610と、第2の参照層609と、第3の参照層608と、第4の参照層607とがある。
【0067】
HEVC及びJEMの両方、並びにH.264/AVCなどのいくつかの他の標準では、現在のブロックの予測に使用される参照サンプルは、最も近い参照ライン（行又は列）に制限される。複数参照ラインイントラ予測方法では、候補参照ライン（行又は列）の数は、イントラ方向性モードに対して1（すなわち最も近い）からNまで増加し、Nは1以上の整数である。図2は、複数ラインのイントラ方向性予測方法の概念を示すために、4x4の予測ユニット（PU）を例として示す。イントラ方向性モードは、予測子を生成するために、N個の参照層の1つを任意に選択することができる。言い換えれば、予測子p（x，y）は、参照サンプルS1、S2、～SNのうちの1つから生成される。イントラ方向性モードに対してどの参照層が選択されたかを示すために、フラグが信号送信される。Nが1に設定された場合は、イントラ方向性予測方法は、JEM 2.0における従来の方法と同じになる。図6では、参照ライン610、609、608、及び607は、左上の参照サンプルとともに、6つのセグメント601、602、603、604、605、及び606で構成されている。本明細書では、参照層は参照ラインとも呼ばれる。現在のブロックユニット内の左上の画素の座標は（0，0）であり、第1の参照ラインの左上の画素は（－1，－1）である。
【0068】
JEMでは、ルマ成分の場合は生成工程の前に、イントラ予測サンプルの生成に使用される隣接するサンプルがフィルタリングされる。フィルタリングは所与のイントラ予測モードによって制御され、ブロックサイズを変換する。イントラ予測モードがDCである、又は変換ブロックサイズが4x4になる場合は、隣接するサンプルはフィルタリングされない。所与のイントラ予測モードと垂直モード（又は水平モード）との間の距離が予め定義された閾値よりも大きい場合は、フィルタリング工程が有効になる。隣接するサンプルのフィルタリングには、［1，2，1］フィルタと、バイリニアフィルタとが使用される。
【0069】
位置依存イントラ予測組合せ（position dependent intra prediction combination、PDPC）法は、フィルタリングされていない境界参照サンプル及びHEVC形式のイントラ予測と、フィルタリングされた境界参照サンプルとの組合せを呼び出すイントラ予測方法である。（x，y）に位置する各予測サンプルpred［x］［y］は、以下の通りに計算される。
pred［x］［y］＝（wL＊R－1，y＋wT＋Rx，－1＋wTL＋R－1，－1，＋（64－wL－wT－wTL）＊pred［x］［y］＋32）＞＞6（式2-1）
ここでRx，－1，R－1，yは、現在のサンプル（x，y）の上及び左にそれぞれ位置する、フィルタリングされていない参照サンプルを表し、R－1，－1は、現在のブロックの左上隅に位置する、フィルタリングされていない参照サンプルを表す。重み付けは、以下の通りに計算される。
wT＝32＞＞（（y＜＜1）＞＞shift）（式2-2）
wL＝32＞＞（（x＜＜1）＞＞shift）（式2-3）
wTL＝－（wL＞＞4）－（wT＞＞4）（式2-4）
shift＝（log2（wigth）＋log2（height）＋2）＞＞2（式2-5）
pred［x］［y］＝（wL＊R－1，y＋wT＋Rx，－1＋wTL＋R－1，－1，＋（64－wL－wT－wTL）＊pred［x］［y］＋32）＞＞6（式2-1）
ここでRx，－1，R－1，yは、現在のサンプル（x，y）の上及び左にそれぞれ位置する、フィルタリングされていない参照サンプルを表し、R－1，－1は、現在のブロックの左上隅に位置する、フィルタリングされていない参照サンプルを表す。重み付けは、以下の通りに計算される。
wT＝32＞＞（（y＜＜1）＞＞shift）（式2-2）
wL＝32＞＞（（x＜＜1）＞＞shift）（式2-3）
wTL＝－（wL＞＞4）－（wT＞＞4）（式2-4）
shift＝（log2（wigth）＋log2（height）＋2）＞＞2（式2-5）
【0070】
【0071】
図8は、局所照明補償（Local Illumination Compensation、LIC）図800を示し、照明変化の線形モデルに基づいており、縮尺係数a及びオフセットbを使用する。また、インターモードで符号化された符号化ユニット（CU）のそれぞれに対して、適応的に有効化又は無効化される。
【0072】
LICがCUに適用されると、現在のCUの隣接するサンプルとその対応する参照サンプルとを使用してパラメータa及びbを導出するために、最小2乗誤差法（least square error method）が使用される。より詳細には、図8に示すように、サブサンプリングされた（2：1サブサンプリング）CUの隣接するサンプル、及び参照画像内の対応するサンプル（現在のCU又はサブCUの動き情報によって特定される）が使用される。ICパラメータは、導出され各予測方向に個別に適用される。
【0073】
CUがマージモードで符号化されると、マージモードにおける動き情報コピーと同様の方法で隣接するブロックからLICフラグがコピーされ、あるいは、LICが適用されるかどうかを示すために、CUに対してLICフラグが信号送信される。
【0074】
図9は、例示的な実施形態によるフローチャート900を示す。
【0075】
S901において、複数ラインイントラ予測の場合、全ブロックに同数の参照層を設定するのではなく、各ブロックに対する参照層の数が適応的に選択されてもよい。ここで、最も近い参照ラインのインデックスは1で示される。
【0076】
S902において、上／左ブロックのブロックサイズが、現在のブロックの参照層の数を決定するのに使用され得る。例えば、上及び／又は左ブロックのサイズがMxNよりも大きい場合は、現在のブロックに対する参照層の数は、Lに制限される。M及びNは、4、8、16、32、64、128、256、及び512とすることができる。Lは、1～8にすることができる。
【0077】
一実施形態では、M及び／又はNが64以上のときは、Lは1に設定される。
【0078】
別の実施形態では、左候補参照列の数に対する上候補参照行の数の比は、ブロック幅対ブロック高さの比と同じである。例えば、現在のブロックサイズがMxNの場合、候補上参照行の数はmであり、候補左参照列の数はnであって、M：N＝m：nとなる。
【0079】
あるいは、S903において、左及び上ブロックの最後の係数の位置は、現在のブロックに対する参照層の数を決定するために使用することができる。例えば、最後の係数の位置が、上及び／又は左ブロックの第1のMxN領域内にある場合は、現在のブロックに対する参照層の数はLに制限され（例えば、Lは1から8にすることができる）、M及びNは1～1024にすることができる。
【0080】
一実施形態では、上及び／又は左ブロック内に係数がないときは、現在のブロックに対する参照層の数は1に制限される。
【0081】
別の実施形態では、上及び／又は左ブロック内の係数が2x2の左上領域内にあるときは、現在のブロックに対する参照層の数は1～2に制限される。
【0082】
あるいは、S904において、現在のブロックの参照層の数を決定するために、上及び／又は左ブロック内の参照サンプルの画素値を使用することができる。例えば、インデックスLiを有する参照ラインと、インデックスLjを有する参照ラインとの差（Li＜Lj）が極めて小さい場合は、参照ラインLjは参照ラインリストから除去される。Li及びLjは、1～8にすることができる。場合によっては、すべての参照ライン間の差が極めて小さいために、1より大きい数の参照ラインはすべて除去される。2つの参照ラインの差を測定する方法は、これに限定されないが、勾配、SATD、SAD、MSE、SNR、及びPSNRを含む。
【0083】
一実施形態では、Li及びLjの平均SADが2未満の場合は、参照ラインLjは参照ラインリストから除去される。
【0084】
あるいは、S905において、現在のブロックに対する参照層の数を決定するために、上及び／又は左モード情報の予測モードを使用することができる。
【0085】
一実施形態では、上及び／又は左ブロックの予測モードがスキップモードである場合は、現在のブロックに対する参照層の数はLに制限される。Lは1～8にすることができる。
【0086】
図10は、例示的な実施形態によるフローチャート1000を示す。
【0087】
S1001において、クロマの参照ラインインデックスは、別のツリーであっても同じツリーであってもルマから導出することができる。ここで、最も近い参照ラインのインデックスは1で示される。
【0088】
S1002において、同じツリーに対して、並置された（co-located）ルマブロックの参照ラインインデックスが≧3の場合は、現在のクロマブロックの参照ラインインデックスは2に設定される。そうでない場合は、現在のクロマブロックの参照ラインインデックスは1に設定される。
【0089】
S1003において、別々のツリーに対して、クロマブロックがルマ成分で1つのブロックのみをカバーする場合は、参照ラインインデックス導出アルゴリズムは2．aと同じである。クロマブロックがルマ成分で複数のブロックをカバーする場合は、参照ラインインデックス導出アルゴリズムは、以下のうちの1つであってもよい。
【0090】
ルマ成分で並置されたブロックに対し、大多数のブロックの参照ラインインデックスが3未満の場合は、現在のクロマブロックに対する参照ラインインデックスは1と導出される。そうでない場合は、現在のクロマブロックの参照ラインインデックスは2と導出される。大多数を測定する方法は、これに限定されないが、ブロックの領域サイズ、及びブロックの数を含むことができる。
【0091】
あるいは、ルマ成分で並置されたブロックに対し、1つのブロックの参照ラインインデックスが3以上の場合は、現在のクロマブロックに対する参照ラインインデックスは2と導出される。そうでない場合は、現在のクロマブロックの参照ラインインデックスは1と導出される。
【0092】
あるいは、ルマ成分で並置されたブロックに対し、大多数のブロックの参照ラインインデックスが3未満の場合は、現在のクロマブロックに対する参照ラインインデックスは1と導出される。そうでない場合は、現在のクロマブロックの参照ラインインデックスは2と導出される。
【0093】
あるいは、S1004において、適応的選択を使用するかどうかが考慮され、考慮する場合は、図9の方法は、現在のクロマブロックに対する参照層の数を制限するためにも使用することができる。図9の方法を適用した後に、参照層の数はLC1に設定される。次に、図10のS1002及びS1003、又はS1005及びS1006に図示されている導出アルゴリズムが、現在のブロックLC2のラインインデックスを取得するためにさらに適用される。その後、min（LC1，LC2）が、現在のクロマブロックに対する最後の参照ラインインデックスになる。
【0094】
図11は、例示的な実施形態によるフローチャート1100を示す。
【0095】
S1101において、異なる参照ラインが異なる数のイントラ予測モードを有していることが考慮される。ここで、最も近い参照ラインのインデックスは1で示される。
【0096】
例えば、第1の参照ラインは67モード、第2の参照ラインは35モード、第3の参照ラインは17モード、第4の参照ラインは9モードを有する。
【0097】
例えば、第1の参照ラインは67モード、第2の参照ラインは33モード、第3の参照ラインは17モード、第4の参照ラインは9モードを有する。
【0098】
あるいは、S1102において、インデックスが1より大きい参照ラインは同じイントラモード数を共有するが、第1の参照ラインのイントラ予測モードの半数以下など、第1の参照ラインよりもずっと少ない。
【0099】
S1103において、例えば、偶モードインデックスを有する方向性イントラ予測モードのみが、インデックスが1よりも大きい参照ラインに対して許可される。図5に示すように、奇モードインデックスを有する方向性イントラ予測モードは点線矢印で標識され、偶モードインデックスを有する方向性イントラ予測モードは実線矢印で標識されている。
【0100】
S1104において、別の例では、偶モードインデックスを有する方向性イントラ予測モード、並びにDC及び平面モードのみが、インデックスが1よりも大きい参照ラインに対して許可される。
【0101】
S1105において、別の例では、非ゼロ参照ラインに対して最確モード（MPM）のみが許可され、MPMは第1のレベルのMPM及び第2のレベルのMPMの両方を含む。
【0102】
S1106において、別の例では、1よりも大きい参照ラインインデックスは、偶モード（又は奇モード）イントラ予測モードに対してのみ有効であるため、イントラ予測モードを符号化するときに、1よりも大きい参照ラインインデックスが信号送信されると、平面／DCなどのイントラ予測モード、及び奇（又は偶）イントラ予測モードはMPM導出及びリストから除外され、第2のレベルのMPM導出及びリストから除外され、かつ残りの非MPMモードリストから除外される。
【0103】
S1107において、参照ラインインデックスは、イントラ予測モードを信号送信した後に信号送信され、参照ラインインデックスを信号送信するかどうかは、信号送信されたイントラ予測モードに依存する。
【0104】
例えば、偶モードインデックスを有する方向性イントラ予測モードのみが、インデックスが1よりも大きい参照ラインに対して許可される。信号送信されたイントラ予測モードが、偶モードインデックスを有する方向性予測であれば、選択した参照ラインインデックスが送信される。そうでない場合は、最も近い参照ラインなど、1つのデフォルトの参照ラインのみがイントラ予測に対して許可され、インデックスは信号送信されない。
【0105】
別の例では、インデックスが1よりも大きい参照ラインに対して、最確モード（MPM）のみが許可される。信号送信されたイントラ予測がMPMからのものであれば、選択された参照ラインインデックスは信号送信する必要がある。そうでない場合は、最も近い参照ラインなど、1つのデフォルトの参照ラインのみがイントラ予測に対して許可され、インデックスは信号送信されない。
【0106】
別の副次的な実施形態では、すべての方向性イントラ予測モード、又はすべてのイントラ予測モードに対して、インデックスが1よりも大きい参照ラインがまだ有効であり、参照ラインインデックスをエントロピー符号化するためのコンテキストとして、イントラ予測モードインデックスを使用することができる。
【0107】
別の実施形態では、インデックスが1よりも大きい参照ラインに対して、最確モード（MPM）のみが許可される。1つの手法では、インデックスが1よりも大きい参照ラインに対して、すべてのMPMが許可される。別の手法では、インデックスが1よりも大きい参照ラインに対して、MPMのサブセットが許可される。MPMが複数のレベルに分類されるときは、1つの手法では、インデックスが1よりも大きい参照ラインに対して、一部のレベルのMPMのみが許可される。一例では、インデックスが1よりも大きい参照ラインに対して、最低レベルのMPMのみが許可される。別の例では、インデックスが1よりも大きい参照ラインに対して、最高レベルのMPMのみが許可される。別の例では、インデックスが1よりも大きい参照ラインに対して、予め定義された（又は信号送信された／示された）レベルのMPMのみが許可される。
【0108】
別の実施形態では、インデックスが1よりも大きい参照ラインに対して、非MPMのみが許可される。1つの手法では、インデックスが1よりも大きい参照ラインに対して、すべての非MPMが許可される。別の手法では、インデックスが1よりも大きい参照ラインに対して、非MPMのサブセットが許可される。一例では、インデックスが1よりも大きい参照ラインに対して、全非MPMイントラモードインデックスの降順（又は昇順）の、遇（又は奇）インデックスに関連付けられた非MPMのみが許可される。
【0109】
別の実施形態では、MPMモードリストの予め定義されたインデックスに、平面及びDCモードが割り当てられる。
【0110】
一例では、予め定義されたインデックスは、これに限定されないが、ブロックの幅及び高さを含む、符号化された情報にさらに依存する。
【0111】
別の副次的な実施形態では、インデックスが1よりも大きい参照ラインに対して、所与のインデックスを有するMPMが許可される。所与のMPMインデックスは、例えば、シーケンス・パラメータ・セット（SPS）、画像パラメータセット（PPS）、スライスヘッダで、あるいは画像の領域に対する共通の構文要素又はパラメータとして、高レベル構文要素として信号送信又は指定することができる。現在のブロックのイントラモードが所与のMPMインデックスの1つと等しいときのみ、参照ラインインデックスが信号送信される。
【0112】
例えば、MPMリストの長さは6であり、MPMリストのインデックスは0、1、2、3、4、及び5である。現在のブロックのイントラモードが、MPMインデックスが0及び5のモードと等しくない場合は、インデックスが1よりも大きい参照ラインが許可される。
【0113】
S1108において、一実施形態では、現在のブロックの最も近い参照ラインに対しては全イントラ予測モードが許可されるが、その一方で、インデックスが1よりも大きい参照ライン（又は1など特定のインデックス値）に対しては最確モードのみが許可される（又は許可されない）。
【0114】
S1109において、一実施形態では、最確モードは、HEVCでは3 MPM、JEM（又はVTM）では6 MPMなど、第1のレベルのMPMのみを含む。
【0115】
S1110において、別の実施形態では、最確モードは、最低レベルMPMから最高レベルMPMまで、任意のレベルのMPMにすることができる。
【0116】
S1111において、別の実施形態では、インデックスが1よりも大きい参照ラインに対して、一部のレベルのMPMのみが許可される。
【0117】
S1112において、別の実施形態では、最確モードは、最低レベルのMPM、最高レベルのMPM、又は予め定義されたレベルのMPMなど、1つのレベルのMPMのみにすることができる。
【0118】
S1113において、別の実施形態では、参照ラインインデックスは、MPMフラグ及びイントラモードの前に信号送信される。信号送信された参照ラインインデックスが1のときは、MPMフラグも信号送信される。信号送信された参照ラインインデックスが1よりも大きいときは、現在のブロックのMPMフラグは信号送信されず、現在のブロックのMPMフラグは1と導出される。インデックスが1よりも大きい参照ラインに対しては、やはり現在のブロックのMPMインデックスが送信される。
【0119】
S1114において、一実施形態では、MPMリスト生成工程は参照ラインインデックス値に依存する。
【0120】
一例では、インデックスが1よりも大きい参照ラインに対するMPMリスト生成工程は、インデックスが1の参照ラインに対するものとは異なる。インデックスが1よりも大きい参照ラインの場合、MPMリストから平面及びDCモードは除外される。MPMリストの長さは、全参照ラインについて同じである。
【0121】
MPMリスト生成工程で使用されるデフォルトのMPMは、参照ラインインデックスに依存する。一例では、インデックスが1よりも大きい参照ラインに関連付けられるデフォルトのMPMは、インデックスが1の参照ラインに関連付けられるものとは異なる。
【0122】
S1115において、一実施形態では、MPMリストの長さ、すなわちMPMの数は参照ラインインデックス値に依存する。
【0123】
別の実施形態では、参照ラインインデックス値が1のMPMリストの長さは、参照ラインインデックス値が1よりも大きいMPMリストとは異なるように設定される。例えば、インデックスが1よりも大きい参照ラインに対するMPMリストの長さは、参照ラインインデックスが1のMPMリストの長さよりも1又は2短い。
【0124】
別の実施形態では、MPMリストの長さ、すなわちMPMの数は、1よりも大きい参照ラインインデックスの場合は5である。MPMリスト生成工程に対するデフォルトのMPMは、65の角度モードが適用されるときは｛VER，HOR，2，66，34｝である。デフォルトのMPMの順序は、これら5つのリストされたモードの任意の組合せにすることができる。
【0125】
S1116において、奇方向性イントラ予測モード、及び／又は平面／DCなどの参照ラインインデックスを導出した（信号送信されない）角度性イントラ予測モードに対して、現在のブロックに対する予測子を生成するために、マルチライン参照サンプルが使用される。
【0126】
参照ラインインデックスを導出した（信号送信されない）角度性イントラ予測モードに対して、複数の予測子の重み付けされた和を使用して予測サンプル値が生成され、複数の予測子はそれぞれ、複数の参照ラインのうちの1つを使用して生成された予測である。
【0127】
一例では、重み付けされた和は、第1の参照ライン及び第2の参照ラインによってそれぞれ生成された予測子に適用された、｛3，1｝の重み付けを使用している。
【0128】
別の例では、重み付けはブロックサイズ、ブロック幅、ブロック高さ、予測される現在のブロック内のサンプル位置、及び／又はイントラ予測モードに依存する。
【0129】
一例では、奇インデックスを有する所与の角度性予測モードに対して、1つの予測ブロックユニットPred1を生成するために第1の参照ラインが使用され、別の予測ブロックユニットを生成するために第2の参照ラインが使用される。その結果、現在のブロックユニットの各画素に対する最後の予測値は、これら2つの生成された予測ブロックユニットの重み付けされた和である。この工程は式（4-1）によって数式化でき、ここでWiは同じブロック内の全画素に対して同じ値である。異なるブロックの場合、イントラ予測モード及びブロックサイズにかかわらず、Wiは同じであってもよく、あるいはイントラ予測モード及びブロックサイズに依存してもよい。
【0130】
【数1】
【0131】
あるいは、S1117において、各参照ラインに対するイントラ予測モードの数が、そのラインの参照サンプル間の差によって導出される。差を測定する方法は、これに限定されないが、勾配、SATD、SAD、MSE、SNR、及びPSNRを含む。
【0132】
参照サンプルの上の行及び左の列の両方が非常に似ている場合は、モードの数は4、9、17、又は35モードに削減することができる。4つのモードは、平面モード、DCモード、垂直モード、及び水平モードである。
【0133】
参照サンプルの上の行のみが非常に似ている場合は、垂直に近い予測モードのモードがダウンサンプリングされる。特殊な事例では、モード50のみが維持され、モード35～モード49、及びモード51～モード66は除外される。総イントラ予測モードを9、17、又は35にするために、水平に近い方向のイントラ予測モードはこれに従って削減される。
【0134】
参照サンプルの左の列のみが非常に似ている場合は、水平に近い予測モードのモードがダウンサンプリングされる。特殊な事例では、モード18のみが維持され、モード2～モード17、及びモード19～モード33は除外される。総イントラ予測モードを9、17、又は35にするために、垂直に近い方向のイントラ予測モードはこれに従って削減される。
【0135】
図12は、例示的な実施形態によるフローチャート1200を示す。
【0136】
S1201において、現在のライン内の隣接するサンプル、及びそれに隣接する（複数の）参照ラインに基づいて、現在の参照ライン内の各サンプルの平滑化が行われる。ここで、最も近い参照ラインのインデックスは1で示される。
【0137】
S1202において、現在のラインの各画素に対して、現在のライン内の画素を平滑化するために、参照ライン1～L内の全画素を使用することができる。Lはイントラ予測に対して最大限に許可された参照ライン数であり、Lは1～8であってもよい。
【0138】
S1203において、境界画素については、フィルタリングされてもされなくてもよい。フィルタリングされる場合は、同じライン内の各境界画素は同じフィルタを使用する。異なるライン内の境界画素は、異なるフィルタを使用することができる。例えば、第1の参照ライン内の境界画素は［3，2，2，1］フィルタによってフィルタリングでき、第2の参照ライン内の境界画素は［2，3，2，1］フィルタによってフィルタリングでき、第3の参照ライン内の境界画素は［1，2，3，2］フィルタによってフィルタリングでき、第4の参照ライン内の境界画素は［1，2，2，3］フィルタによってフィルタリングすることができる。
【0139】
S1204において、他の画素については、各ライン内の画素は同じフィルタを使用でき、異なるライン内の画素は、異なるフィルタを使用することができる。あるいは、他の画素については、異なる位置の画素は、異なるフィルタを使用することができる。ただしこれらのフィルタは予め定義されており、符号器がフィルタのインデックスを信号送信する必要はない。
【0140】
あるいは、S1205において、各ラインに対するフィルタリング動作はイントラ予測モード、及び変換サイズに依存してもよい。フィルタリング動作は、イントラ予測モード及び変換サイズが一定の条件を満たすときにのみ有効になる。例えば、フィルタリング動作は、変換サイズが4x4以下のときは無効になる。
【0141】
あるいは、S1206において、各画素の平滑化に使用されるフィルタは、長方形ではなく、不規則なフィルタ支持形状を有していてもよい。フィルタ支持形状は予め定義されていてもよく、かつ符号器及び復号器の両方に使用できる任意の情報に依存してもよく、情報は、これに限定されないが、参照ラインインデックス、イントラモード、ブロック高さ及び／又は幅を含む。
【0142】
あるいは、S1207において、第1の参照ライン内の各画素に対して、その画素を平滑化するために、第1の参照ライン、及び第2の参照ライン内の画素を使用することができる。第2の参照ライン内の各画素に対しては、その画素を平滑化するために、第1の参照ライン、第2の参照ライン、及び第3の参照ライン内の画素を使用することができる。第3の参照ライン内の各画素に対しては、その画素を平滑化するために、第2の参照ライン、第3の参照ライン、及び第4の参照ライン内の画素を使用することができる。第4の参照ライン内の各画素に対しては、その画素を平滑化するために、第3の参照ライン、及び第4の参照ライン内の画素を使用することができる。言い換えれば、第1の参照ライン及び第4の参照ライン内の画素に対しては、各画素をフィルタリングするために2つのライン内の画素が使用され、第2の参照ライン及び第3の参照ライン内の画素に対しては、各画素をフィルタリングするために3つのライン内の画素が使用される。
【0143】
例えば、第2の参照ライン、及び第3の参照ライン内のフィルタリングされた画素は、式4-2～式4-5で計算することができる。
p’（x，y）＝（p（x－1，y）＋p（x，y－1）＋p（x，y＋1）＋p（x＋1，y）＋4＊p（x，y））＞＞3
（式4-2）
p’（x，y）＝（p（x，y＋1）－p（x，y－1）＋p（x，y））（式4-3）
p’（x，y）＝（p（x－1，y）＋p（x－1，y－1）＋p（x－1，y＋1）＋p（x，y－1）＋p（x，y＋1）＋p（x＋1，y－1）＋p（x＋1，y）＋p（x＋1，y＋1）＋8＊p（x，y））＞＞4（式4-4）
p’（x，y）＝（p（x－1，y）＋p（x，y－1）＋p（x，y＋1）＋p（x＋1，y）＋4＊p（x，y））＞＞3
（式4-2）
p’（x，y）＝（p（x，y＋1）－p（x，y－1）＋p（x，y））（式4-3）
p’（x，y）＝（p（x－1，y）＋p（x－1，y－1）＋p（x－1，y＋1）＋p（x，y－1）＋p（x，y＋1）＋p（x＋1，y－1）＋p（x＋1，y）＋p（x＋1，y＋1）＋8＊p（x，y））＞＞4（式4-4）
【0144】
【数2】
【0145】
第1の参照ライン内のフィルタリングされた画素は、式4-6～式4-10で計算することができる。
p’（x，y）＝（p（x－1，y）＋p（x，y－1）＋p（x＋1，y）＋5＊p（x，y））＞＞3（式4-6）
p’（x，y）＝（p（x－1，y）＋p（x，y－1）＋p（x＋1，y）＋5＊p（x，y））＞＞2（式4-7）
p’（x，y）＝（2p（x，y）－p（x，y－1））（式4-8）
p’（x，y）＝（p（x－1，y）＋p（x－1，y－1）＋p（x，y－1）＋p（x＋1，y－1）
＋p（x＋1，y）＋3＊p（x，y））＞＞3（式4-9）
p’（x，y）＝（p（x－1，y）＋p（x，y－1）＋p（x＋1，y）＋5＊p（x，y））＞＞3（式4-6）
p’（x，y）＝（p（x－1，y）＋p（x，y－1）＋p（x＋1，y）＋5＊p（x，y））＞＞2（式4-7）
p’（x，y）＝（2p（x，y）－p（x，y－1））（式4-8）
p’（x，y）＝（p（x－1，y）＋p（x－1，y－1）＋p（x，y－1）＋p（x＋1，y－1）
＋p（x＋1，y）＋3＊p（x，y））＞＞3（式4-9）
【0146】
【数3】
【0147】
第4の参照ライン内のフィルタリングされた画素は式4-11～式4-15で計算することができる。
p’（x，y）＝（p（x－1，y）＋p（x，y＋1）＋p（x＋1，y）＋5＊p（x，y））＞＞3（式4-11）
p’（x，y）＝（p（x－1，y）＋p（x，y＋1）＋p（x＋1，y）＋p（x，y））＞＞2（式4-12）
p’（x，y）＝（2p（x，y）－p（x，y＋1））（式4-13）
p’（x，y）＝（p（x－1，y）＋p（x－1，y＋1）＋p（x，y＋1）＋p（x＋1，y＋1）＋p（x＋1，y）＋3＊p（x，y））＞＞3（式4-14）
p’（x，y）＝（p（x－1，y）＋p（x，y＋1）＋p（x＋1，y）＋5＊p（x，y））＞＞3（式4-11）
p’（x，y）＝（p（x－1，y）＋p（x，y＋1）＋p（x＋1，y）＋p（x，y））＞＞2（式4-12）
p’（x，y）＝（2p（x，y）－p（x，y＋1））（式4-13）
p’（x，y）＝（p（x－1，y）＋p（x－1，y＋1）＋p（x，y＋1）＋p（x＋1，y＋1）＋p（x＋1，y）＋3＊p（x，y））＞＞3（式4-14）
【0148】
【数4】
【0149】
また、ゼロ、正の無限大、又は負の無限大に丸めるなどの丸めが、上の数式に追加されてもよい。
【0150】
図13は、例示的な実施形態によるフローチャート1300を示す。
【0151】
S1301において、現在のブロックでは、異なる位置にあるサンプルは、異なるラインインデックス予測に異なる参照サンプルの組合せを使用してもよい。ここで、最も近い参照ラインのインデックスは1で示される。
【0152】
S1302において、所与のイントラ予測モードに対して、各参照ラインiは1つの予測ブロックPrediを生成することができる。各位置の画素に対して、そのモードは、最後の予測ブロックを生成するために、これらの生成された予測ブロックPrediの異なる組合せを使用することができる。具体的には、位置（x，y）にある画素に対しては、予測値を計算するために式4-16を使用することができる。
【0153】
【数5】
【0154】
ここでWiは位置に依存する。言い換えれば、同じ位置に対する重み付け係数は同じであり、異なる位置に対しては重み付け係数は異なる。
【0155】
あるいは、各サンプルに対してイントラ予測モードが与えられると、複数の参照ラインからの一連の参照サンプルが選択され、これらの選択された一連の参照サンプルの重み付けされた和が最後の予測値として計算される。参照サンプルの選択はイントラモード及び予測サンプルの位置に依存してもよく、重み付けはイントラモード及び予測サンプルの位置に依存してもよい。
【0156】
S1303において、各サンプルに対して、イントラ予測に参照ラインxを適用すると、ライン0及びラインxの予測値が比較され、ライン1が大きく異なる予測値を生成する場合は、ラインxからの予測値が除外されて、代わりにライン0が使用されてもよい。現在の位置の予測値、その隣接する位置の予測値との差を測定する方法は、これに限定されないが、勾配、SATD、SAD、MSE、SNR、及びPSNRを含む。
【0157】
あるいは、異なる参照ラインから2つより多い予測値が生成され、中間（あるいは平均、又は出現回数が最も多い）値が、予測サンプルとして使用される。
【0158】
S1304において、各サンプルに対して、イントラ予測に参照ラインxを適用すると、ライン1及びラインxの予測値が比較され、ライン1が大きく異なる予測値を生成する場合は、ラインxからの予測値が除外されて、代わりにライン1が使用されてもよい。現在の位置の予測値、その隣接する位置の予測値との差を測定する方法は、これに限定されないが、勾配、SATD、SAD、MSE、SNR、及びPSNRを含む。
【0159】
あるいは、異なる参照ラインから2つより多い予測値が生成され、中間（あるいは平均、又は出現回数が最も多い）値が、予測サンプルとして使用される。
【0160】
図14は、例示的な実施形態によるフローチャート1400を示す。
【0161】
S1401において、イントラ予測の後に、最も近い参照ライン内の画素のみを使用するのではなく、各ブロックの予測値をフィルタリングするために複数のライン内の画素が使用される。ここで、最も近い参照ラインのインデックスは1で示される。
【0162】
例えば、S1402において、PDPCは複数ラインイントラ予測用に拡張されてもよい。（x，y）に位置する各予測サンプルpred［x］［y］は、次の数式で計算される。
【0163】
【数6】
【0164】
ここでmは－8～－2であってもよい。
【0165】
一例では、最も近い2つのライン内の参照サンプルが、現在のブロック内のサンプルをフィルタリングするために使用される。左上の画素に対しては、第1の行の左上のサンプルのみが使用される。これは、式4-18によって数式化することができる。
【0166】
【数7】
【0167】
あるいは、S1403において、境界フィルタが複数ラインに拡張されてもよい。
【0168】
DC予測の後に、最初の数列、及び最初の数行内の画素については、隣接する参照画素によってフィルタリングされる。第1の列の画素は、以下の数式によってフィルタリングすることができる。
【0169】
【数8】
【0170】
第1の行内の画素については、フィルタリング動作は以下の通りになる。
【0171】
【数9】
【0172】
一部の特殊な事例では、第1の列内の画素は、以下の数式によってフィルタリングすることができる。
p’（0，y）＝p（0，y）＋R－1，y－R－2，y（式4-21）
p’（0，y）＝p（0，y）＋R－1，y－R－2，y（式4-21）
【0173】
第1の行内の画素も、以下の数式によってフィルタリングすることができる。
p’（x，0）＝p（x，0）＋Rx，－1－Rx，－2（式4-22）
p’（x，0）＝p（x，0）＋Rx，－1－Rx，－2（式4-22）
【0174】
垂直予測の後に、最初の数列の画素は、式4-23によってフィルタリングすることができる。
【0175】
【数10】
【0176】
水平予測の後に、最初の数行の画素は、式4-24によってフィルタリングすることができる。
【0177】
【数11】
【0178】
別の実施形態では、垂直／水平予測については、予測サンプルを生成するためにインデックスが1よりも大きい参照ラインが使用される場合は、インデックスが1よりも大きいラインインデックス内の第1の列／行、及びその対応する画素が境界フィルタリングに使用される。図15に示されているように、その参照ライン1503、1502、及びブロックユニット1501では、第2の参照ライン1503が、現在のブロックユニットに対する予測サンプルを生成するために使用され、垂直方向を有する画素が垂直予測に使用される。垂直予測の後に、参照ライン1内の斜めのテクスチャを有する画素、及び参照ライン1503内の斜めのテクスチャを有する画素が、現在のブロックユニット内の最初の数列をフィルタリングするために使用されるフィルタリング工程は、式4-25によって数式化でき、mは選択されたラインインデックスを表し、2～8とすることができる。nは右シフトビットの数であり、1～8とすることができる。
p’（x，y）＝p（x，y）＋（p（－1，y）－p（－1，－m））＞＞n（式4-25）
p’（x，y）＝p（x，y）＋（p（－1，y）－p（－1，－m））＞＞n（式4-25）
【0179】
水平予測では、フィルタリング工程は式4－26によって数式化することができる。
p’（x，y）＝p（x，y）＋（p（x，－1）－p（－m，－1））＞＞n（式4-26）
p’（x，y）＝p（x，y）＋（p（x，－1）－p（－m，－1））＞＞n（式4-26）
【0180】
別の実施形態では、インデックスが1よりも大きい参照ラインが使用されるときは、図1（a）のモード2及びモード34などの斜め予測の後に、第1の参照ラインから現在の参照ラインまで斜め方向に沿った画素が、現在のブロックユニットの最初の数列／最初の数行内の画素のフィルタリングに使用される。具体的には、モード2予測の後に、最初の数行内の画素は、式4-27によってフィルタリングすることができる。モード34予測の後に、最初の数列内の画素は、式4-28によってフィルタリングすることができる。mは、現在のブロックに対する参照ラインインデックスを表し、2～8とすることができる。nは右シフトビットの数であって、2～8とすることができる。Wiは重み付け係数であって、これは整数である。
【0181】
【数12】
【0182】
図16は、例示的な実施形態によるフローチャート1600を示す。
【0183】
S1601において、複数参照ラインイントラ予測の場合、参照ラインインデックスが1よりも大きいときは、変更されたDC及び平面モードが追加される。ここで、最も近い参照ラインのインデックスは1で示される。
【0184】
S1602において、平面モードの場合、異なる参照ラインが使用されるときは、予測サンプルを生成するために、予め定義された右上及び左下の異なる参照サンプルが使用される。
【0185】
あるいは、S1603において、異なる参照ラインが使用されるときは、異なるイントラ平滑化フィルタが使用される。
【0186】
S1604において、DCモードの場合、第1の参照ラインに対して、DC値を計算するために上の行及び左の列内の画素のすべてが使用され、参照ラインインデックスが1よりも大きいときは、DC値の計算に画素の一部のみが使用される。
【0187】
例えば、第2の参照ラインに対するDC値を計算するために第1の参照ライン内の上の画素が使用され、第3の参照ラインに対するDC値を計算するために第1の参照ライン内の左の画素が使用され、第4の参照ラインのDC値を計算するために、第1の参照ライン内の左画素の半分と上画素の半分とが使用される。
【0188】
S1605において、DCモードの場合、DC予測子を計算するために、すべて使用可能な候補ライン（行及び列）内の全参照画素が使用される。
【0189】
図17は、例示的な実施形態によるフローチャート1700を示す。
【0190】
S1701は、複数の参照ラインをICモードまで延長するために実装される。S1702において、ICパラメータを計算するために、複数の上／左参照ラインが使用され、S1703において、ICパラメータを計算するためにどの参照ラインが使用されるかが信号送信される。
【0191】
図18は、例示的な実施形態によるフローチャート1800を示す。
【0192】
S1801は、複数の参照ラインインデックスを信号送信するために実装される。
【0193】
一実施形態では、S1802において、可変長符号化を使用して参照ラインインデックスが信号送信される。現在のブロックに距離が近いほど、符号語は短くなる。例えば、参照ラインインデックスが0、1、2、3で、0が現在のブロックに最も近く3が最も遠い場合、これらに対する符号語は1、01、001、000で、0と1とは入れ替えることができる。
【0194】
別の実施形態では、S1806において、固定長符号化を使用して参照ラインインデックスが信号送信される。例えば、参照ラインインデックスが0、1、2、3で、0が現在のブロックに最も近く3が最も遠い場合、これらに対する符号語は10、01、11、00で、0と1とは入れ替えることができ、順序を変えてもよい。
【0195】
S1803において、さまざまな符号語表を使用するかどうかが考慮され、使用しない場合は、S1804において、さらに別の実施形態で、可変長符号化を使用して参照ラインインデックスが信号送信され、符号語表内のインデックスの順序は（最短の符号語から最長の符号語まで）、0、2、4、…2k、1、3、5、…2k＋1（又は2k－1）となる。インデックス0は現在のブロックに最も近い参照ラインを示し、2k＋1が最も遠い。
【0196】
別の実施形態では、S1805において、可変長符号化を使用して参照ラインインデックスが信号送信され、符号語表内のインデックスの順序（最短符号語から最長まで）は、最も近い、最も遠い、2番目に近い、2番目に遠い～などのようになる。1つの具体的な例では、参照ラインインデックスが0、1、2、3で、0が現在のブロックに最も近く3が最も遠い場合、これらに対する符号語は、インデックス0に対して0、インデックス3に対して10、インデックス2に対して110、インデックス1に対して111となる。参照ラインインデックス1及び2の符号語は、交換されてもよい。符号語内の0及び1は、入れ替えられてもよい。
【0197】
図19は、例示的な実施形態によるフローチャート1900を示す。
【0198】
S1901において、上参照ライン（行）の数が左参照ライン（列）の数と異なるときは、複数の参照ラインインデックスの信号送信が行われる。
【0199】
S1902において、一実施形態では、上参照ライン（行）の数がMであって、左参照ライン（列）の数がNの場合は、最大（M，N）に対する参照ラインインデックスは、前述した任意の方法、又はその組合せを使用してもよい。最小（M，N）に対する参照ラインインデックスは、最大（M，N）に対する参照ラインインデックスを示すために使用される符号語から、符号語のサブセットをとり、通常は短いほうをとる。例えば、M＝4、N＝2で、M（4）参照ラインインデックス｛0，1，2，3｝を信号送信するために使用される符号語が1、01、001、000の場合、N（2）参照ラインインデックス｛0，1｝を信号送信するために使用される符号語は1、01である。
【0200】
別の実施形態では、S1903において、上参照ライン（行）の数がMで、左参照ライン（列）の数がNの場合で、かつM及びNが異なっている場合、上参照ライン（行）インデックス及び左参照ライン（列）インデックスを信号送信するための参照ラインインデックスは別であって、前述した任意の方法、又はその組合せを独立して使用してもよい。
【0201】
図20は、例示的な実施形態によるフローチャート2000を示す。
【0202】
S2000において、さまざまな符号化ツール内の参照ラインの数を知ることが考慮され、S2001において、可能であれば画素ラインバッファを節約するために、デブロッキングフィルタ又はテンプレートマッチングに基づくイントラ予測など、イントラ予測に使用され得る参照ラインの最大数が、他の符号化ツールで使用される参照ラインの数を超えないように制約が課されてもよい。
【0203】
図21は、例示的な実施形態によるフローチャート2100を示す。
【0204】
S2100において、複数ラインイントラ予測と、他の符号化ツール／モードとの相互作用が実施される。
【0205】
例えば、S2101において、一実施形態では、これに限定されないが、cbf、最終位置、変換スキップ、変換種別、副次的な変換インデックス、主要な変換インデックス、PDPCインデックスを含む、他の構文要素／符号化ツール／モードの使用及び／又は信号送信は、マルチライン参照ラインインデックスに依存してもよい。
【0206】
S2102において、一例では、マルチライン参照インデックスが非ゼロのときは変換スキップは使用されず、変換スキップフラグは信号送信されない。
【0207】
S2103において、別の例では、他の符号化ツール、例えば、変換スキップ、cbf、主要な変換インデックス、副次的な変換インデックスの信号送信に使用されるコンテキストは、マルチライン参照インデックスの値に依存してもよい。
【0208】
S2104において、別の実施形態では、これに限定されないが、cbf、最終位置、変換スキップ、変換種別、副次的な変換インデックス、主要な変換インデックス、PDPCインデックスを含む他の構文要素の後に、マルチライン参照インデックスが信号送信されてもよく、マルチライン参照インデックスの使用及び／又は信号送信は、他の構文要素に依存してもよい。
【0209】
図22は、例示的な実施形態によるフローチャート2200を示す。
【0210】
S2201において、参照ラインインデックスを取得することが考慮され、S2202において、参照ラインインデックスを、これに限定されないが、イントラ予測モード、MPMインデックス、主要な変換インデックス、副次的な変換インデックス、変換スキップフラグ、符号化ブロックフラグ（CBF）、及び変換係数を含む、別の構文要素をエントロピー符号化するコンテキストとして使用でき、その逆もまた可能である。
【0211】
図23は、例示的な実施形態によるフローチャート2300を示す。
【0212】
S2301において、MPMリストに参照ライン情報を含めることが提案される。つまり、現在のブロックの予測モードがMPMリストの1つの候補と同じである場合、イントラ予測、及び選択された候補の選択された参照ラインの両方が現在のブロックに適用され、イントラ予測モード及び参照ラインインデックスは信号送信されない。また、異なる参照ラインインデックスに対するMPM候補の数は、予め定義される。ここで、最も近い参照ラインは1で示される。
【0213】
S2302において、一実施形態では、各参照ラインインデックスに対するMPMの数が予め定義され、これは、シーケンス・パラメータ・セット（SPS）、画像パラメータセット（PPS）、スライスヘッダ、タイルヘッダ、符号化ツリーユニット（CTU）ヘッダなどの高レベル構文要素として、あるいは画像の領域の共通の構文要素又はパラメータとして信号送信することができる。結果として、MPMリストの長さは、異なるシーケンス、画像、スライス、タイル、符号化ブロックのグループ、又は画像の領域で異なっていてもよい。
【0214】
例えば、参照ラインインデックス1に対するMPMの数は6であり、他の参照ラインインデックスのそれぞれとのMPMの数は2である。結果として、合計参照ライン数が4の場合、MPMリストの総数は12である。
【0215】
別の実施形態では、S2303において、上、左、左上、右上、及び左下ブロックにおける、その参照ラインインデックスを併せた全イントラ予測モードがMPMリストの中に含まれる。図24の図2400で示す通り、現在のブロックユニットのすべての隣接するブロックが示されており、Aは左下ブロックであり、B、C、D、及びEは左ブロックであり、Fは左上ブロックであり、G及びHは上ブロックであり、Iは右上ブロックである。隣接するブロックのモードをMPMリストに追加した後のものである。所与の参照ライン数を有するMPM候補の数が予め定義された数未満である場合、MPMリストを埋めるためにデフォルトのモードが使用される。
【0216】
別の実施形態では、S2304において、現在のブロックのモードが、MPMリスト内の候補の1つと等しい場合は、参照ラインインデックスは信号送信されない。現在のブロックのモードがMPMリスト内のいずれの候補とも等しくない場合は、参照ラインインデックスが信号送信される。
【0217】
一例では、現在のブロックに対してライン1が使用される場合は、やはり第2のレベルのMPMモードが使用されるが、第2のレベルのMPMは、イントラ予測モード情報のみを含む。
【0218】
別の例では、他のラインに対して第2のレベルのMPMは使用されず、残りのモードを符号化するために固定長符号化が使用される。
【0219】
図25は、例示的な実施形態によるフローチャート2500を示す。
【0220】
S2501において、現在のVVCテストモードVTM-1.0において、クロマイントラ符号化モードはHEVCのものと同じであり、DM（ルマモードの直接コピー）、及び4つの付加的な角度性イントラ予測モードを含み、現在のBMS-1.0において、クロス成分線形モデル（cross component linear model、CCLM）モードもクロマイントラ符号化に適用される。CCLMモードは1つのLMモードと、1つのマルチモデルLM（MMLM）と、4つのマルチフィルタLM（MFLM）モードとを含み、これは、CCLMモードが有効でないときはクロマブロックにDMモードのみが使用され、その一方で、CCLMモードが有効なときはクロマブロックにDM及びCCLMモードのみが使用されることによる。
【0221】
S2502において、一実施形態では、クロマブロックに1つのDMモードのみが使用され、クロマブロックに対してフラグは信号送信されず、クロマモードはDMモードとして導出される。
【0222】
別の実施形態では、S2503において、クロマブロックに1つのDM及び1つのCCLMモードのみが使用され、現在のクロマブロックにDMモードが使用されるかLMモードが使用されるかを信号送信するために、1つのDMフラグが使用される。
【0223】
1つの副次的な実施形態では、DMフラグの信号送信に使用される3つのコンテキストがある。左ブロック及び上ブロックの両方がDMモードを使用するときは、DMフラグを信号送信するためにコンテキスト0が使用される。左ブロック及び上ブロックのうちの1つのみがDMモードを使用するときは、DMフラグを信号送信するためにコンテキスト1が使用される。あるいは、左ブロック及び上ブロックの両方がDMモードを使用しないときは、DMフラグを信号送信するためにコンテキスト2が使用される。
【0224】
別の実施形態では、S2504において、小さいクロマブロックに対してDM及びCCLM（有効なとき）モードのみが使用される。クロマブロックの幅、又は高さ、あるいは領域サイズ（幅＊高さ）がTh以下のときは、現在のクロマブロックは小さいクロマブロックと呼ばれる。Thは2、4、8、16、32、64、128、256、512、又は1024であってもよい。
【0225】
例えば、現在のクロマブロックの領域サイズが8以下のときは、現在のクロマブロックに対してDM及びCCLM（有効なとき）モードのみが使用される。
【0226】
別の例では、現在のクロマブロックの領域サイズが16以下のときは、現在のクロマブロックに対してDM及びCCLM（有効なとき）モードのみが使用される。
【0227】
別の例では、小さいクロマブロックに対して、1つのDM及び1つのCCLM（有効なとき）モードのみが使用される。
【0228】
別の実施形態では、S2505において、ルマ成分のイントラモードがMPMモードの1つと等しいときは、クロマブロックは、DMモードのみを使用でき、クロマモードに対してフラグは信号送信されず、あるいはクロマブロックに対してDM及びCCLMモードの両方が許可される。
【0229】
一例では、MPMモードは、第1のレベルのMPMのみとすることができる。
【0230】
別の例では、MPMモードは、第2のレベルのMPMのみとすることができる。
【0231】
別の例では、MPMモードは、第1のレベルのMPM、又は第2のレベルのMPMのいずれかとすることができる。
【0232】
別の実施形態では、S2506において、ルマ成分のイントラモードがいずれのMPMモードとも等しくないときは、クロマブロックはDMモードを使用でき、クロマモードに対してフラグは信号送信されず、あるいはクロマブロックに対してDM及びCCLMモードの両方が許可される。
【0233】
したがって、本明細書で説明する例示的な実施形態によって、上述した技術的な問題は、このような技術的解決策によって好適に改善され得る。
【0234】
前述した技術は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実施でき、1つ以上のコンピュータ可読媒体に物理的に記憶され、あるいは特に構成された1つ以上のハードウェアプロセッサによって実施することができる。例えば、図26は、開示される主題のいくつかの実施形態の実施に適したコンピュータシステム2600を示す。
【0235】
コンピュータソフトウェアは、任意の適切な機械コード又はコンピュータ言語を使用して符号化でき、これは、コンピュータ中央処理ユニット（CPU）、グラフィック処理ユニット（GPU）などによって、直接、又は解釈、マイクロコードの実行などを介して実行できる命令を含むコードを作成するために、アセンブリ、コンパイル、リンクなどの機構に従ってもよい。
【0236】
命令は、パソコン、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、IoT（internet of things）装置など、さまざまな種類のコンピュータ又はその構成要素で実行することができる。
【0237】
図26に示すコンピュータシステム2600の構成要素は本来例示的であって、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能の範囲に対して、限定を示唆することは意図されていない。構成要素の構成は、コンピュータシステム2600の例示的な実施形態に示されている構成要素のいずれか1つ、又は構成要素の組合せに関して、依存性を有するものとも要件を有するものとも解釈されてはならない。
【0238】
コンピュータシステム2600は、いくつかの人的インターフェース入力装置を備えてもよい。このような人的インターフェース入力装置は、例えば、触覚入力（キーを押す、スワイプする、データグローブを動かすなど）、音声入力（声、手をたたくなど）、視覚入力（身振りなど）、嗅覚入力（図示せず）による、1人以上のユーザによる入力に応答し得る。人的インターフェース装置は、音声（発話、音楽、周囲音など）、画像（走査画像、静止画カメラで取得される写真画像など）、映像（二次元映像、立体映像を含む三次元映像など）などの人による意識的な入力に必ずしも直接関与しない、いくつかの媒体の捕捉にさらに使用することができる。
【0239】
入力人的インターフェース装置は、キーボード2602、マウス2603、トラックパッド403、タッチスクリーン2604、ジョイスティック2605、マイク2606、スキャナ2608、カメラ2607のうちの1つ以上を含んでもよい（それぞれ1つのみが図示されている）。
【0240】
コンピュータシステム2600は、いくつかの人的インターフェース出力装置を備えてもよい。このような人的インターフェース出力装置は、触覚出力、音声、光、及び臭い／味など、1人以上のユーザの感覚を刺激し得る。このような人的インターフェース出力装置は、触覚出力装置（例えば、タッチスクリーン2610、又はジョイスティック2605による触覚フィードバック、ただし入力装置として機能しない触覚フィードバック装置もあり得る）、音声出力装置（スピーカ2609、ヘッドホン（図示せず））、視覚出力装置（それぞれがタッチスクリーン入力能力を有するか又は有さず、それぞれが触覚フィードバック能力を有するか又は有さず、そのうちのいくつかは二次元映像出力、又は立体出力などの手段によって三次元を上回る出力を出力可能であってもよい、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン2610など、VRグラス（図示せず）、ホログラフィック表示、煙発生装置（smoke tank（図示せず））、並びにプリンタ（図示せず））を含んでもよい。
【0241】
コンピュータシステム2600は、人的にアクセス可能な記憶装置、及びCD／DVDなどの媒体2611を含むCD／DVD ROM／RW 2612、USBメモリ（thumb-drive）2613、取り外し可能なハードドライブ又はソリッドステートドライブ2614、テープ及びフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの専門化されたROM／ASIC／PLDに基づく装置（図示せず）を含む光学媒体などの、その関連媒体をさらに含むことができる。
【0242】
ここで開示されている主題に関して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波その他の一時的な信号は含まないことを当業者にはさらに理解されたい。
【0243】
コンピュータシステム2600は、1つ以上の通信ネットワーク2615に対するインターフェースをさらに備えることができる。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークはさらに、ローカル、広域、メトロポリタン、車載及び産業用、リアルタイム、遅延耐性などであってもよい。ネットワークの例は、イーサネットなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含む移動体通信ネットワーク、ケーブルテレビ、衛星テレビ、及び地上波テレビを含む有線テレビ又は無線の広域デジタルネットワーク、車載及びCANBusを含む産業用ネットワークなどを含む。いくつかのネットワークは一般に、いくつかの汎用データポート又は周辺バス2625（例えば、コンピュータシステム2600のUSBポート）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは一般に、後述するようにシステムバスに取り付けることによって（例えば、イーサネットインターフェースをPCコンピュータシステムに、又は移動体通信ネットワークインターフェースをスマートフォンのコンピュータシステムに）、コンピュータシステム2600のコアに統合される。このような任意のネットワークを使用して、コンピュータシステム2600は他のエンティティと通信することができる。このような通信は、一方向通信、受信専用通信（例えば、テレビ放送）、一方向送信専用通信（例えば、CANbusからCANbusに送信する装置）、あるいは、例えば、ローカル又は広域デジタルネットワークを使用する、他のコンピュータシステムに対する双方向通信であってもよい。前述したように、いくつかのプロトコル及びプロトコルスタックをこのような各ネットワーク及び各ネットワークインターフェースに使用することができる。
【0244】
前述した人的インターフェース装置、人的にアクセス可能な記憶装置、及びネットワークインターフェースは、コンピュータシステム2600のコア2612に取り付けることができる。
【0245】
コア2612は、1つ以上の中央処理ユニット（CPU）2612、グラフィック処理ユニット（GPU）2622、FPGA（Field Programmable Gate Areas）の形態の専門化されたプログラム可能処理ユニット2624、いくつかのタスク用のハードウェアアクセラレータ2624などを含むことができる。このような装置は、読出し専用メモリ（ROM）2619、ランダムアクセスメモリ2618、内部のユーザがアクセスできないハードドライブ、SSDなど447の内部大容量記憶装置とともに、システムバス2626を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス226は、追加のCPU、GPUなどによる拡張が可能なように、1つ以上の物理プラグの形態でアクセスすることができる。周辺装置は、コアのシステムバス2626に直接取り付ける、又は周辺バス2601を介して取り付けることができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。
【0246】
CPU2621、GPU2622、FPGA2624、及びアクセラレータ2624は、前述したコンピュータコードを作成できるいくつかの命令を、組み合わせて実行することができる。コンピュータコードは、ROM 2619又はRAM 2618に記憶させることができる。過渡的なデータもRAM2618に記憶でき、これに反し永続的なデータは、例えば、内部大容量記憶装置2620に記憶することができる。キャッシュメモリを使用することによって、任意のメモリ装置に素早く記憶し検索することが可能になり、1つ以上のCPU 2621、GPU 2622、大容量記憶装置2620、ROM 2619、RAM 2618などに密接に関連付けることができる。
【0247】
コンピュータ可読媒体は、さまざまなコンピュータ実施動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構築されたものにすることができ、あるいはコンピュータソフトウェアの分野の当業者によく知られ、当業者が使用可能な種類のものであってもよい。
【0248】
例として、かつ制限する目的ではなく、アーキテクチャ2600、具体的にはコア2616を有するコンピュータシステムは、1つ以上の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行する、（複数の）プロセッサ（CPU、GPU、FPGA、アクセラレータなど）の結果としての機能性を提供することができる。このようなコンピュータ可読媒体は、先に紹介したようなユーザがアクセス可能な大容量記憶装置、並びにコア内部大容量記憶装置2620又はROM 2619などの、非一時的な性質をもつ、コア2616のいくつかの記憶装置に関連する媒体であってもよい。本開示のさまざまな実施形態を実施するソフトウェアは、このような装置に記憶させて、コア2616によって実行することができる。コンピュータ可読媒体は、特定の需要に従って、1つ以上のメモリ装置又はチップを含むことができる。ソフトウェアは、コア2616及び具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM2618に記憶されているデータ構造の定義、及びソフトウェアによって定義された工程に従ったこのようなデータ構造の変更を含む、本明細書で説明する特定の工程、又は特定の工程の特定の部分を実行させることができる。これに加えて、又はこれに代えて、コンピュータシステムは、回路（例えば、アクセラレータ2624）に配線された、又は回路で具体化された論理の結果としての機能性を提供でき、本明細書で説明する特定の工程、又は特定の工程の特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアとともに動作させることができる。ソフトウェアに対する言及は、必要に応じて論理を包含することができ、その逆もまた可能である。コンピュータ可読媒体に対する言及は、必要に応じて実行するソフトウェアを記憶する（集積回路（IC）などの）回路、実行する論理を具体化する回路、又はその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組合せを包含する。
【0249】
本開示は、いくつかの例示的な実施形態について説明してきたが、変更、置換、及びさまざまな代替的な等価物があり、これらは本開示の範囲内に含まれる。したがって当業者であれば、本明細書に明確に図示又は説明されていなくても、本開示の原理を具体化し、したがってその原理と範囲内に含まれる多くのシステム及び方法を考案できることは理解されよう。
【0250】
（付記１）
少なくとも1つのプロセッサが実行するビデオ映像を復号する方法であって、
前記少なくとも1つのプロセッサが、
映像シーケンスの複数の参照ライン間のイントラ予測によって、前記映像シーケンスの復号を実行するステップと、
複数の非ゼロ参照ラインのうち、前記イントラ予測の現在のブロックに最も近いゼロ参照ラインに対して、複数のイントラ予測モードを設定するステップと、
前記複数の非ゼロ参照ラインのうちの1つに対して、少なくとも1つの最確モードを設定するステップと
を含む方法。
（付記２）
最確モードフラグ及びイントラ予測モードを信号送信する前に、参照ラインインデックスを信号送信するステップと、
前記参照ラインインデックスが信号送信され、信号送信されたインデックスが、前記ゼロ参照ラインを示すとの決定に応答して、前記最確モードフラグを信号送信するステップと、
前記参照ラインインデックスが信号送信され、信号送信されたインデックスが、前記複数の非ゼロ参照ラインのうちの少なくとも1つを示すとの決定に応答して、前記最確モードフラグを信号送信することなく、前記最確モードフラグが真になるように導出し、前記現在のブロックの最確モードインデックスを信号送信するステップと
をさらに含む、付記1に記載の方法。
（付記３）
前記非ゼロ参照ラインのための、前記少なくとも1つの最確モードが、最確モードリストに含まれ、
前記非ゼロ参照ラインのいずれか一つに対応する前記最確モードリストから平面モード及びDCモードのうち、少なくとも1つが除外される、付記1に記載の方法。
（付記４）
参照ラインインデックス値に基づいて、前記最確モードリストの長さを設定するステップであって、その結果、前記最確モードリストの前記長さが、前記少なくとも1つの最確モードの数を含む、ステップ
をさらに含む、付記3に記載の方法。
（付記５）
インデックス値が１の参照ラインの前記最確リストの長さが、インデックス値が１よりも大きい参照ラインの前記最確リストの長さと異なるように設定される付記４に記載の方法。
（付記６）
１より大きいインデックス値を有する参照ラインのための、前記最確モードリストの長さは、インデックス値が１の参照ラインの最確モードリストの長さより１つ短い、付記４に記載の方法。
（付記７）
前記非ゼロ参照ラインの検出に応答して、前記最確モードリストの前記長さを1又は4のいずれかに設定するステップと、
現在の参照ラインがゼロ参照ラインであるとの決定に応答して、前記最確モードリストの前記長さを3又は6に設定するステップと
をさらに含む、付記4に記載の方法。
（付記８）
前記非ゼロ参照ラインの検出に応答して、前記最確モードリストの前記長さを、5つの最確モードからなるように設定するステップと、
前記現在の参照ラインが非ゼロ参照ラインであることに応答して、対応する前記最確モードリストの長さを６に設定するステップと、
をさらに含む、付記4に記載の方法。
（付記９）
前記非ゼロ参照ラインの1つが、前記現在のブロックに隣接するラインであり、かつ前記ゼロ参照ラインよりも前記現在のブロックから遠く離れている、付記1乃至８のいずれか一項に記載の方法。
（付記１０）
前記少なくとも1つの最確モードが、第1のレベルの最確モードからなる、付記1乃至９のいずれか一項に記載の方法。
（付記１１）
前記少なくとも1つの最確モードが、最低レベルの最確モードから最高レベルの最確モードまで任意のレベルの最確モードを含む、付記1乃至１０のいずれか一項に記載の方法。
（付記１２）
前記少なくとも1つの最確モードが、前記非ゼロ参照ラインに対して許可された最確モードのレベルのみを含む、付記1乃至１０のいずれか一項に記載の方法。
（付記１３）
コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記コンピュータプログラムコードにアクセスして、前記コンピュータプログラムコードによって命令された通りに動作し、付記１乃至１２のいずれか一項に記載の方法を実行するように構成された少なくとも1つのハードウェアプロセッサと
を備える装置。
（付記１４）
コンピュータに付記１乃至１２のいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。
少なくとも1つのプロセッサが実行するビデオ映像を復号する方法であって、
前記少なくとも1つのプロセッサが、
映像シーケンスの複数の参照ライン間のイントラ予測によって、前記映像シーケンスの復号を実行するステップと、
複数の非ゼロ参照ラインのうち、前記イントラ予測の現在のブロックに最も近いゼロ参照ラインに対して、複数のイントラ予測モードを設定するステップと、
前記複数の非ゼロ参照ラインのうちの1つに対して、少なくとも1つの最確モードを設定するステップと
を含む方法。
（付記２）
最確モードフラグ及びイントラ予測モードを信号送信する前に、参照ラインインデックスを信号送信するステップと、
前記参照ラインインデックスが信号送信され、信号送信されたインデックスが、前記ゼロ参照ラインを示すとの決定に応答して、前記最確モードフラグを信号送信するステップと、
前記参照ラインインデックスが信号送信され、信号送信されたインデックスが、前記複数の非ゼロ参照ラインのうちの少なくとも1つを示すとの決定に応答して、前記最確モードフラグを信号送信することなく、前記最確モードフラグが真になるように導出し、前記現在のブロックの最確モードインデックスを信号送信するステップと
をさらに含む、付記1に記載の方法。
（付記３）
前記非ゼロ参照ラインのための、前記少なくとも1つの最確モードが、最確モードリストに含まれ、
前記非ゼロ参照ラインのいずれか一つに対応する前記最確モードリストから平面モード及びDCモードのうち、少なくとも1つが除外される、付記1に記載の方法。
（付記４）
参照ラインインデックス値に基づいて、前記最確モードリストの長さを設定するステップであって、その結果、前記最確モードリストの前記長さが、前記少なくとも1つの最確モードの数を含む、ステップ
をさらに含む、付記3に記載の方法。
（付記５）
インデックス値が１の参照ラインの前記最確リストの長さが、インデックス値が１よりも大きい参照ラインの前記最確リストの長さと異なるように設定される付記４に記載の方法。
（付記６）
１より大きいインデックス値を有する参照ラインのための、前記最確モードリストの長さは、インデックス値が１の参照ラインの最確モードリストの長さより１つ短い、付記４に記載の方法。
（付記７）
前記非ゼロ参照ラインの検出に応答して、前記最確モードリストの前記長さを1又は4のいずれかに設定するステップと、
現在の参照ラインがゼロ参照ラインであるとの決定に応答して、前記最確モードリストの前記長さを3又は6に設定するステップと
をさらに含む、付記4に記載の方法。
（付記８）
前記非ゼロ参照ラインの検出に応答して、前記最確モードリストの前記長さを、5つの最確モードからなるように設定するステップと、
前記現在の参照ラインが非ゼロ参照ラインであることに応答して、対応する前記最確モードリストの長さを６に設定するステップと、
をさらに含む、付記4に記載の方法。
（付記９）
前記非ゼロ参照ラインの1つが、前記現在のブロックに隣接するラインであり、かつ前記ゼロ参照ラインよりも前記現在のブロックから遠く離れている、付記1乃至８のいずれか一項に記載の方法。
（付記１０）
前記少なくとも1つの最確モードが、第1のレベルの最確モードからなる、付記1乃至９のいずれか一項に記載の方法。
（付記１１）
前記少なくとも1つの最確モードが、最低レベルの最確モードから最高レベルの最確モードまで任意のレベルの最確モードを含む、付記1乃至１０のいずれか一項に記載の方法。
（付記１２）
前記少なくとも1つの最確モードが、前記非ゼロ参照ラインに対して許可された最確モードのレベルのみを含む、付記1乃至１０のいずれか一項に記載の方法。
（付記１３）
コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記コンピュータプログラムコードにアクセスして、前記コンピュータプログラムコードによって命令された通りに動作し、付記１乃至１２のいずれか一項に記載の方法を実行するように構成された少なくとも1つのハードウェアプロセッサと
を備える装置。
（付記１４）
コンピュータに付記１乃至１２のいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。
【符号の説明】
【0251】
100 通信システム
101 端末
102 端末
103 端末
104 端末
105 ネットワーク
200 復号器
201 映像ソース
202 符号器
203 捕捉サブシステム
204 映像ビットストリーム
205 ストリーミングサーバ
206 符号化された映像ビットストリームのコピー
207 ストリーミングクライアント
208 符号化された映像ビットストリームのコピー
209 表示装置
210 映像サンプルストリーム
211 映像復号器
212 ストリーミングクライアント
213 映像サンプルストリーム
300 復号器
301 チャネル
302 受信機
303 バッファメモリ
304 構文解析器
305 スケーラ／逆変換ユニット
306 動き補償予測ユニット
307 イントラ画像予測ユニット
308 参照画像バッファ
309 現在の参照画像
310 集約装置
311 ループフィルタユニット
312 表示装置
313 シンボル
400 符号器
401 映像ソース
402 コントローラ
403 ソース符号器
404 予測器
405 参照画像メモリ
406 復号器
407 符号化エンジン
408 エントロピー符号器
409 送信機
410 符号化された映像シーケンス
411 通信チャネル
2600 コンピュータシステム
2601 周辺バス
2602 キーボード
2603 トラックパッド
2604 マウス
2605 ジョイスティック
2606 マイク
2607 カメラ
2608 スキャナ
2609 音声出力装置
2610 タッチスクリーン
2611 媒体
2612 CD／DVD ROM／RW
2613 USBメモリ
2614 ソリッドステートドライブ
2615 通信ネットワーク
2616 コア
2617 グラフィックアダプタ
2618 ランダムアクセスメモリ（RAM）
2619 読出し専用メモリ（ROM）
2620 内部大容量記憶装置
2621 CPU
2622 GPU
2624 FPGA
2624 アクセラレータ
2625 周辺バス
2626 システムバス
101 端末
102 端末
103 端末
104 端末
105 ネットワーク
200 復号器
201 映像ソース
202 符号器
203 捕捉サブシステム
204 映像ビットストリーム
205 ストリーミングサーバ
206 符号化された映像ビットストリームのコピー
207 ストリーミングクライアント
208 符号化された映像ビットストリームのコピー
209 表示装置
210 映像サンプルストリーム
211 映像復号器
212 ストリーミングクライアント
213 映像サンプルストリーム
300 復号器
301 チャネル
302 受信機
303 バッファメモリ
304 構文解析器
305 スケーラ／逆変換ユニット
306 動き補償予測ユニット
307 イントラ画像予測ユニット
308 参照画像バッファ
309 現在の参照画像
310 集約装置
311 ループフィルタユニット
312 表示装置
313 シンボル
400 符号器
401 映像ソース
402 コントローラ
403 ソース符号器
404 予測器
405 参照画像メモリ
406 復号器
407 符号化エンジン
408 エントロピー符号器
409 送信機
410 符号化された映像シーケンス
411 通信チャネル
2600 コンピュータシステム
2601 周辺バス
2602 キーボード
2603 トラックパッド
2604 マウス
2605 ジョイスティック
2606 マイク
2607 カメラ
2608 スキャナ
2609 音声出力装置
2610 タッチスクリーン
2611 媒体
2612 CD／DVD ROM／RW
2613 USBメモリ
2614 ソリッドステートドライブ
2615 通信ネットワーク
2616 コア
2617 グラフィックアダプタ
2618 ランダムアクセスメモリ（RAM）
2619 読出し専用メモリ（ROM）
2620 内部大容量記憶装置
2621 CPU
2622 GPU
2624 FPGA
2624 アクセラレータ
2625 周辺バス
2626 システムバス
【先行技術文献】
【特許文献】
【0252】
【文献】国際公開第２０１８／０７０２６７号
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
