IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン ダイジャ インターネット インフォメーション テクノロジー カンパニー リミテッドの特許一覧

特開2024-157004映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。
<>
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図1
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図2
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図3A
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図3B
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図3C
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図3D
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図3E
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図4A
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図4B
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図5
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図6
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図7
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図8
  • 特開-映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024157004
(43)【公開日】2024-11-06
(54)【発明の名称】映像信号をエンコーディングするための方法、計算デバイス、非一時的なコンピュータ可読記憶媒体、及びコンピュータプログラム。
(51)【国際特許分類】
   H04N 19/117 20140101AFI20241029BHJP
   H04N 19/136 20140101ALI20241029BHJP
   H04N 19/59 20140101ALI20241029BHJP
【FI】
H04N19/117
H04N19/136
H04N19/59
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2024135770
(22)【出願日】2024-08-15
(62)【分割の表示】P 2023032279の分割
【原出願日】2020-12-24
(31)【優先権主張番号】62/953,471
(32)【優先日】2019-12-24
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521289098
【氏名又は名称】ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】BEIJING DAJIA INTERNET INFORMATION TECHNOLOGY CO., LTD.
【住所又は居所原語表記】Room 101,8th Floor,Building 12,No.16,Xierqi West Road,Haidian District,Beijing 100085,P.R.China
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】シュウ,シャオユウ
(72)【発明者】
【氏名】チェン,イ-ウェン
(72)【発明者】
【氏名】マ,ツン-チュアン
(72)【発明者】
【氏名】ジュ,ホン-ジェン
(72)【発明者】
【氏名】ワン,シャンリン
(72)【発明者】
【氏名】ユ,ビン
(57)【要約】      (修正有)
【課題】映像信号の参照ピクチャを再サンプリングしてエンコーディングするための方法及び装置を提供する。
【解決手段】エンコーディング方法は、映像信号内の映像ブロックに関連付けられる参照ピクチャを決定することと、参照ピクチャから前記映像ブロックの参照サンプルを取得することと、参照ピクチャ及び現在ピクチャの解像度から得られる拡大縮小比率に基づいてアフィン動きモードでエンコーディングされる前記映像ブロックのための輝度補間フィルタを決定することと、輝度補間フィルタを前記参照サンプルに応用することにより映像ブロックの輝度インター予測サンプルを取得することと、を含む。
【選択図】図7
【特許請求の範囲】
【請求項1】
映像信号をエンコーディングするための方法であって、
前記映像信号内の映像ブロックに関連付けられる参照ピクチャを決定することと、
前記参照ピクチャから前記映像ブロックの参照サンプルを取得することと、
前記参照ピクチャ及び現在ピクチャの解像度から得られる拡大縮小比率に基づいて、ア
フィン動きモードでエンコーディングされる前記映像ブロックのための輝度補間フィルタ
を決定することと、
前記輝度補間フィルタを前記参照サンプルに応用することにより前記映像ブロックの輝
度インター予測サンプルを取得することと、
を含む前記映像信号をエンコーディングするための方法。
【請求項2】
前記拡大縮小比率に基づきアフィン動きモードでエンコーディングされる前記映像ブロ
ックのための前記輝度補間フィルタを決定することは、
前記拡大縮小比率が第1値以上であることに対応して、第1輝度補間フィルタをアフィ
ン動きモードでエンコーディングされる前記映像ブロックのための前記輝度補間フィルタ
として決定することを含み、
前記第1輝度補間フィルタは、前記拡大縮小比率が第1値以上でない際にアフィン動き
モードでエンコーディングされる前記映像ブロックのための第2輝度補間フィルタとは異
なる、
請求項1に記載の方法。
【請求項3】
前記輝度補間フィルタは、前記映像ブロックが非アフィン動きモードでエンコーディン
グされ且つ前記拡大縮小比率が第1値以上である際に用いられる第3輝度補間フィルタに
関連付けられる、
請求項1に記載の方法。
【請求項4】
前記輝度補間フィルタのフィルタ係数の1つは、前記第3輝度補間フィルタのフィルタ
係数の最前の2つのフィルタ係数或いは最後の2つのフィルタ係数の和に等しい、
請求項3に記載の方法。
【請求項5】
前記参照ピクチャ及び前記現在ピクチャの解像度の間の比較に基づいて、アフィン動き
モードでエンコーディングされる前記映像ブロックのための彩度補間フィルタを決定する
ことと、
前記彩度補間フィルタを前記参照サンプルに応用することにより前記映像ブロックの彩
度インター予測サンプルを取得することと、
をさらに含む請求項1に記載の方法。
【請求項6】
前記輝度補間フィルタを決定することは、
理想的なローパスフィルタの周波数応答に余弦窓関数を応用することにより前記輝度補
間フィルタを取得することを含む請求項1に記載の方法。
【請求項7】
前記輝度補間フィルタを決定することは、
カットオフ周波数及び前記拡大縮小比率に基づいて前記理想的なローパスフィルタの前
記周波数応答を取得することと、
フィルタ長さに基づいて前記余弦窓関数を取得することと、
前記周波数応答及び前記余弦窓関数に基づいてダウンサンプリングフィルタを取得する
ことと、を含む請求項6に記載の方法。
【請求項8】
前記カットオフ周波数が0.9に等しく、前記フィルタ長さが6に等しく、且つ前記拡
大縮小比率が1.5に等しい請求項7に記載の方法。
【請求項9】
前記カットオフ周波数が0.9に等しく、前記フィルタ長さが6に等しく、且つ前記拡
大縮小比率が2に等しい請求項7に記載の方法。
【請求項10】
計算デバイスであって、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサにより実行され得る命令が記憶される非一時的なコンピ
ュータ可読記憶媒体と、を備え、前記1つ又は複数のプロセッサは、請求項1~9のいず
れかに記載の方法のステップを行う、
前記計算デバイス。
【請求項11】
1つ又は複数のプロセッサを有する計算デバイスが実行するための複数のプログラムが
記憶される非一時的なコンピュータ可読記憶媒体であって、
前記複数のプログラムが前記1つ又は複数のプロセッサにより実行される際に該計算デ
バイスに請求項1~9のいずれかに記載の方法を実行させる、
前記非一時的なコンピュータ可読記憶媒体。
【請求項12】
コンピュータ可読記憶媒体に記憶されるコンピュータプログラムであって、
プロセッサによって実行される際に請求項1~9のいずれかに記載の方法のステップを
実現する命令を含む、
前記コンピュータプログラム。
【請求項13】
請求項1~9のいずれかに記載の方法に従ってエンコーディングされたビットストリー
ムが記憶される非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、2019年12月24日に提出した仮出願No.62/953,471に基づ
くものであり、且つ該仮出願の優先権を主張し、全ての目的のために、該仮出願の全ての
内容が援用により本願に取り込まれる。
【技術分野】
【0002】
本開示は映像の符号化及び圧縮に関する。より具体的に、本開示は映像符号化のための
参照ピクチャ再サンプリング技術についての方法及び装置に関する。
【背景技術】
【0003】
様々な映像符号化技術は映像データを圧縮するために用いられることができる。映像符
号化は1つ又は複数の映像符号化標準に従って行われる。例えば、映像符号化標準は汎用
映像符号化(VVC)、共同探索テストモデル(JEM)、高効率映像符号化(H.26
5/HEVC)、高度映像符号化(H.264/AVC)、動画専門家集団(MPEG)
符号化等を含む。映像符号化は一般的に映像画像又はシーケンスに存在する冗長を利用す
る予測方法(例えば、インター予測、イントラ予測等)を用いる。映像符号化技術の1つ
の重要な目標は映像データを、比較的に低いビットレートを用いる形式に圧縮するととも
に、映像品質の低下を回避又は最小化することである。
【発明の概要】
【0004】
本開示の例は参照ピクチャを再サンプリングするための方法及び装置を提供する。
【0005】
本開示の第1態様に従って、映像信号をデコードするための方法を提供する。該方法は
、デコーダが映像信号内の映像ブロックに関連付けられる参照ピクチャIを取得すること
を含んでもよい。デコーダはまた参照ピクチャIにおける参照ブロックから映像ブロック
の参照サンプルI(i,j)を取得してもよい。iとjが映像ブロック内の1つのサンプ
ルの座標を表現してもよい。映像ブロックが非アフィンインターモードで符号化され且つ
参照ピクチャIの解像度が現在ピクチャの解像度よりも大きい場合、デコーダは、それぞ
れ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するた
めに第1ダウンサンプリングフィルタ及び第2ダウンサンプリングフィルタを更に取得し
てもよい。映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在
ピクチャの解像度よりも大きい場合、デコーダはまた、それぞれ映像ブロックの輝度イン
ター予測サンプル及び彩度インター予測サンプルを生成するために第3ダウンサンプリン
グフィルタ及び第4ダウンサンプリングフィルタを取得してもよい。デコーダは第3及び
第4ダウンサンプリングフィルタが参照サンプルI(i,j)に応用されることに基づい
て、映像ブロックのインター予測サンプルを更に取得してもよい。
【0006】
本開示の第2態様に従って、計算デバイスを提供する。該計算デバイスは1つ又は複数
のプロセッサと、前記1つ又は複数のプロセッサにより実行され得る命令が記憶される非
一時的なコンピュータ可読メモリと、を備えてもよい。前記1つ又は複数のプロセッサは
映像信号内の映像ブロックに関連付けられる参照ピクチャIを取得するように配置されて
もよい。前記1つ又は複数のプロセッサはまた、参照ピクチャIにおける参照ブロックか
ら映像ブロックの参照サンプルI(i,j)を取得するように配置されてもよい。iとj
が映像ブロック内の1つのサンプルの座標を表現してもよい。前記1つ又は複数のプロセ
ッサは更に、映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャI
の解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インタ
ー予測サンプル及び彩度インター予測サンプルを生成するために第1ダウンサンプリング
フィルタ及び第2ダウンサンプリングフィルタを取得するように配置されてもよい。前記
1つ又は複数のプロセッサはまた、映像ブロックがアフィンモードで符号化され且つ参照
ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝
度インター予測サンプル及び彩度インター予測サンプルを生成するために第3ダウンサン
プリングフィルタ及び第4ダウンサンプリングフィルタを取得するように配置されてもよ
い。前記1つ又は複数のプロセッサは更に、第3及び第4ダウンサンプリングフィルタが
参照サンプルI(i,j)に応用されることに基づいて映像ブロックのインター予測サン
プルを取得するように配置されてもよい。
【0007】
本開示の第3態様に従って、命令が記憶される非一時的なコンピュータ可読記憶媒体を
提供する。これらの命令が前記装置の1つ又は複数のプロセッサにより実行される時、こ
れらの命令は該装置に映像信号内の映像ブロックに関連付けられる参照ピクチャIを取得
させることができる。これらの命令はまた、該装置に参照ピクチャIにおける参照ブロッ
クから映像ブロックの参照サンプルI(i,j)を取得させることができる。iとjが映
像ブロック内の1つのサンプルの座標を表現してもよい。これらの命令は更に、該装置に
、映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャIの解像度が
現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サン
プル及び彩度インター予測サンプルを生成するために第1ダウンサンプリングフィルタ及
び第2ダウンサンプリングフィルタを取得させることができる。これらの命令はまた、該
装置に、映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピ
クチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及
び彩度インター予測サンプルを生成するために第3ダウンサンプリングフィルタ及び第4
ダウンサンプリングフィルタを取得させることができる。これらの命令は更に、該装置に
、第3及び第4ダウンサンプリングフィルタが参照サンプルI(i,j)に応用されるこ
とに基づいて映像ブロックのインター予測サンプルを取得させることができる。
【0008】
理解されるように、以上の一般的な説明及び以下の詳細な説明の両方は例示的なもので
あって、本開示を制限するものではない。
【図面の簡単な説明】
【0009】
本明細書に結合され且つ本明細書の一部を構成する添付図面は本開示に一致する例を示
し、且つ説明とともに本開示の原理を解釈するためのものである。
【0010】
図1図1は本開示の一例に係るエンコーダのブロック図である。
図2図2は本開示の一例に係るデコーダのブロック図である。
図3A図3Aは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。
図3B図3Bは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。
図3C図3Cは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。
図3D図3Dは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。
図3E図3Eは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。
図4A図4Aは本開示の一例に係る4パラメータアフィンモデルの図示である。
図4B図4Bは本開示の一例に係る4パラメータアフィンモデルの図示である。
図5図5は本開示の一例に係る6パラメータアフィンモデルの図示である。
図6図6は本開示の一例に係る適応ビット深度切替の図示である。
図7図7は本開示の一例に係る映像信号をデコードするための方法である。
図8図8は本開示の一例に係る映像信号をデコードするための方法である。
図9図9は本開示の一例に係るユーザーインターフェースに結合される計算環境を示す図である。
【発明を実施するための形態】
【0011】
以下、例示的な実施例を詳しく参照し、その例を添付図面に示す。以下の説明は、添付
図面について言及するが、異なる図面内の同じ番号は、表されていない場合を除き、同じ
または類似の要素を表す。例示的な実施例の以下の説明に記述されている実現は、本開示
と整合する全ての実現を表しているわけではない。それよりもむしろ、それら実現は、単
に添付の特許請求の範囲で説明されるような本開示に関連する態様と整合する装置および
方法の例である。
【0012】
本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本
開示を限定することを意図していない。本開示および添付の特許請求の範囲で使用される
場合、文脈上特に明記されていない限り、単数形「a」、「an」および「the」は、
同様に複数形を含むことも意図する。本明細書で使用される「および/または」という用
語は、1つまたは複数の関連する列挙されたアイテムの任意または全ての可能な組み合わ
せを表すことを意図し、かつそれらを包含することも理解されたい。
【0013】
種々の情報を説明するために、用語「第1」、「第2」、「第3」などが本明細書で使
用される場合があるが、これらの情報は、これらの用語によって制限されるべきではない
こともさらに理解される。これらの用語は、情報のあるカテゴリーを別のものと区別する
ためのみに使用される。例えば、本開示の範囲から逸脱することなく、第1情報は第2情
報と称される場合があり、また同様に、第2情報は、第1情報と称される場合もある。本
明細書で使用される場合、用語「~する場合」は、「~するとき」、「~の際」、あるい
は文脈によって「判断に応じて」を意味すると理解される場合がある。
【0014】
HEVC標準の第1版は2013年10月に完成され、前世代映像符号化標準H.26
4/MPEG AVCに比べて、約50%のビットレートの節約又は同等の感知品質を提
供する。HEVC標準はその前にあったものに比べて符号化の顕著な改善を提供するが、
追加の符号化ツールを利用してHEVCよりも優れた符号化効率を実現できるという証拠
がある。これに基づいて、VCEG及びMPEGはいずれも将来の映像符号化を標準化す
るための新たな符号化技術についての探索作業を開始した。符号化効率の大幅な向上を達
成できる先進的な技術についての大きな研究を始めるよう、共同映像探索チーム(JVE
T)は2015年10月にITU-T VECG及びISO/IEC MPEGにより成
立された。共同探索モデル(JEM)と称される1つの参照ソフトウェアは、JVETに
よってHEVCテストモデル(HM)にいくつかの追加の符号化ツールを統合することで
支持されている。
【0015】
2017年10月に、ITU-T及びISO/IECはHEVCを超える能力を有する
映像圧縮についての共同提案募集(CfP)を発表した。2018年4月に、第10回J
VET会議において、23部のCfP応答が受信されそして評価され、それはHEVCよ
りも約40%高い圧縮効率ゲインを展示した。このような評価結果に基づいて、JVET
は新たなプロジェクトを開始して汎用映像符号化(VVC)と命名される新世代の映像符
号化標準を開発する。同月に、VVC標準の参照実現を展示するためにVVCテストモデ
ル(VTM)と称される1つの参照ソフトウェアコードベースが設立された。
【0016】
HEVCのように、VVCはブロックベースのハイブリッド映像符号化フレームワーク
の上に確立されたものである。
【0017】
図1はVVCのためのブロックベースの映像エンコーダの全体図を示す。具体的に、図
1は代表的なエンコーダ100を示す。エンコーダ100は映像入力110、動き補償1
12、動き推定114、イントラ/インターモード決定116、ブロック予測器140、
加算器128、変換130、量子化132、予測関連情報142、イントラ予測118、
ピクチャバッファ120、逆量子化134、逆変換136、加算器126、メモリ124
、ループ内フィルタ122、エントロピー符号化ユニット138及びビットストリーム1
44を有する。
【0018】
エンコーダ100において、映像フレームは処理のために複数の映像ブロックに分割さ
れる。与えられた各映像ブロックに対して、インター予測方法又はイントラ予測方法に基
づいて予測が形成される。
【0019】
映像入力110の一部である現在映像ブロックとその予測器(ブロック予測器140の
一部)との間の相違を表現する予測残差は、加算器128から変換130に送信される。
次に、変換係数がエントロピー減少のために変換130から量子化132に送信される。
次に、量子化された係数は、圧縮された映像ビットストリームを生成するためにエントロ
ピー符号化ユニット138にフィードされる。図1に示されるように、映像ブロック分割
情報、動きベクトル(MV)、参照ピクチャインデックス及びイントラ予測モード等のイ
ントラ/インターモード決定116からの予測関連情報142もエントロピー符号化ユニ
ット138を介してフィードされ、圧縮されたビットストリーム144に保存される。圧
縮されたビットストリーム144は映像ビットストリームを含む。
【0020】
エンコーダ100において、予測のために、画素を再構築するためのデコーダ関連回路
も必要である。まず、逆量子化134及び逆変換136により予測残差を再構築する。該
再構築された予測残差は、現在映像ブロックのためのフィルタリングされていない再構築
画素を生成するためにブロック予測器140と組み合わされる。
【0021】
空間予測(又は、「イントラ予測」)は現在映像ブロックと同じ映像フレームにおける
符号化済みの隣接ブロックのサンプル(参照サンプルと称される)からの画素を使用して
現在映像ブロックを予測する。
【0022】
時間予測(「インター予測」とも称される)は符号化済みの映像ピクチャからの再構築
画素を使用して現在映像ブロックを予測する。時間予測は映像信号における固有の時間冗
長を低減する。与えられた符号化ユニット(CU)又は符号化ブロックのための時間予測
信号は一般的に1つ又は複数のMVによりシグナリングされ、前記MVが現在CUとその
時間参照との間の動きの量及び方向を指示する。更に、複数の参照ピクチャがサポートさ
れると、時間予測信号が参照ピクチャ記憶におけるどの参照ピクチャからのものであるか
を識別するために用いられる1つの参照ピクチャインデックスを追加して送信する。
【0023】
動き推定114は映像入力110及びピクチャバッファ120からの信号を取り込み、
動き推定信号を動き補償112に出力する。動き補償112は映像入力110、ピクチャ
バッファ120からの信号及び動き推定114からの動き推定信号を取り込み、動き補償
信号をイントラ/インターモード決定116に出力する。
【0024】
空間及び/又は時間予測が行われた後で、エンコーダ100におけるイントラ/インタ
ーモード決定116は例えばレート歪み適正化方法に基づいて最適な予測モードを選択す
る。次に、現在映像ブロックからブロック予測器140を差し引き、且つ変換130及び
量子化132を使用して、得られた予測残差を脱相関する。得られた量子化残差係数は、
再構築残差を形成するために逆量子化134により逆量子化され且つ逆変換136により
逆変換され、再構築残差が次に予測ブロックに加算されてCUの再構築信号を形成する。
更に、再構築CUがピクチャバッファ120の参照ピクチャ記憶に置かれ且つ将来の映像
ブロックを符号化するために用いられる前に、デプロッキングフィルタ、サンプル適応オ
フセット(SAO)及び/又は適応ループ内フィルタ(ALF)等のループ内フィルタ1
22を再構築CUに応用してもよい。出力映像ビットストリーム144を形成するために
、符号化モード(インター又はイントラ)、予測モード情報、動き情報及び量子化残差係
数は全てエントロピー符号化ユニット138に送信されて更に圧縮され及びパックされ、
ビットストリームが形成される。
【0025】
図1は一般的なブロックベースのハイブリッド映像エンコーディングシステムのブロッ
ク図を与える。入力映像信号はブロック(CUと称される)ずつ処理される。VVCにお
いて、CUは128x128画素にも達することができる。しかし、4分木のみに基づい
てブロックを分割するHEVCと異なり、VVCにおいて、1つの符号化木ユニット(C
TU)は4分/2分/3分木に基づいて若干のCUに分割されて、変化する局所特性に適
応する。また、HEVCにおけるマルチ分割ユニットタイプの概念は取り除かれ、即ち、
VVCにおいてCU、予測ユニット(PU)及び変換ユニット(TU)の分離はもはや存
在せず、その代わりに、各CUは常に予測及び変換の両方の基本ユニットとして使用され
、更なる分割がない。マルチタイプ木構造において、1つのCTUはまず4分木構造で分
割される。次に、各4分木の葉ノードは2分及び3分木構造で更に分割されてもよい。
【0026】
図3A図3B図3C図3D及び図3Eに示されるように、5種類の分割タイプ、
即ち四元分割、水平二元分割、垂直二元分割、水平三元分割及び垂直三元分割がある。
【0027】
図3Aには本開示に係るマルチタイプ木構造におけるブロックの四元分割を示す図が示
される。
【0028】
図3Bには本開示に係るマルチタイプ木構造におけるブロックの垂直二元分割を示す図
が示される。
【0029】
図3Cには本開示に係るマルチタイプ木構造におけるブロックの水平二元分割を示す図
が示される。
【0030】
図3Dには本開示に係るマルチタイプ木構造におけるブロックの垂直三元分割を示す図
が示される。
【0031】
図3Eには本開示に係るマルチタイプ木構造におけるブロックの水平三元分割を示す図
が示される。
【0032】
図1では、空間予測及び/又は時間予測を行うことができる。空間予測(又は、「イン
トラ予測」)は同じ映像ピクチャ/スライスにおける符号化済みの隣接ブロックのサンプ
ル(参照サンプルと称される)からの画素を使用して現在映像ブロックを予測する。空間
予測は映像信号における固有の空間冗長を低減する。時間予測(「インター予測」又は「
動き補償された予測」とも称される)は符号化済みの映像ピクチャからの再構築画素を使
用して現在映像ブロックを予測する。時間予測は映像信号における固有の時間冗長を低減
する。与えられたCUのための時間予測信号は一般的に1つ又は複数のMVによりシグナ
リングされ、前記MVが現在CUとその時間参照との間の動きの量及び方向を指示する。
また、複数の参照ピクチャがサポートされると、時間予測信号が参照ピクチャ記憶におけ
るどの参照ピクチャからのものであるかを識別するために用いられる1つの参照ピクチャ
インデックスを追加して送信する。空間及び/又は時間予測の後で、エンコーダにおける
モード決定ブロックは例えばレート歪み適正化方法に基づいて最適な予測モードを選択す
る。次に、現在映像ブロックから予測ブロックを差し引き、変換及び量子化を使用して予
測残差を脱相関する。量子化残差係数は逆量子化され且つ逆変換されて、再構築残差が形
成され、再構築残差は次に予測ブロックに加算されてCUの再構築信号を形成する。更に
、再構築CUが参照ピクチャ記憶に置かれ且つ将来の映像ブロックを符号化するために用
いられる前に、デプロッキングフィルタ、SAO及びALF等のループ内フィルタリング
を再構築CUに応用してもよい。出力映像ビットストリームを形成するために、符号化モ
ード(インター又はイントラ)、予測モード情報、動き情報及び量子化残差係数は全てエ
ントロピー符号化ユニットに送信されて更に圧縮され及びパックされ、ビットストリーム
が形成される。
【0033】
図2はVVCのための映像デコーダの全体ブロック図を示す。具体的に、図2は代表的
なデコーダ200のブロック図を示す。デコーダ200はビットストリーム210、エン
トロピーデコーディング212、逆量子化214、逆変換216、加算器218、イント
ラ/インターモード選択器220、イントラ予測222、メモリ230、ループ内フィル
タ228、動き補償224、ピクチャバッファ226、予測関連情報234及び映像出力
232を有する。
【0034】
デコーダ200は図1におけるエンコーダ100に駐在する再構築関連部分に類似する
。デコーダ200において、まず、エントロピーデコーディング212によって入って来
る映像ビットストリーム210をデコードして、量子化係数レベル及び予測関連情報を得
る。次に、逆量子化214及び逆変換216によって量子化係数レベルを処理して、再構
築予測残差を取得する。イントラ/インターモード選択器220において実現されるブロ
ック予測器メカニズムは、デコードされた予測情報に基づいてイントラ予測222又は動
き補償224を行うように配置される。フィルタリングされていない再構築画素のセット
は、加算器218を使用して逆変換216からの再構築予測残差とブロック予測器メカニ
ズムにより生成された予測出力との和を求めることにより取得される。
【0035】
再構築ブロックはピクチャバッファ226に記憶される前に更にループ内フィルタ22
8を通過することができ、前記ピクチャバッファ226が参照ピクチャの記憶として作用
する。ピクチャバッファ226における再構築映像は、表示デバイスを駆動すること、そ
して将来の映像ブロックを予測するのに用いることのために送信されることができる。ル
ープ内フィルタ228が起動される状況では、これらの再構築画素に対してフィルタリン
グ操作を行って最終の再構築映像出力232を得る。
【0036】
図2はブロックベースの映像デコーダの全体ブロック図を与える。まず、エントロピー
デコーディングユニットにおいて映像ビットストリームをエントロピーデコードする。符
号化モード及び予測情報は、予測ブロックを形成するために空間予測ユニット(イントラ
符号化を行った場合)又は時間予測ユニット(インター符号化を行った場合)に送信され
る。残差変換係数は、残差ブロックを再構築するために逆量子化ユニット及び逆変換ユニ
ットに送信される。次に予測ブロックと残差ブロックとを加算する。再構築ブロックは参
照ピクチャ記憶に記憶される前に更にループ内フィルタリングを通過することができる。
参照ピクチャ記憶における再構築映像は次に、表示デバイスを駆動すること、そして将来
の映像ブロックを予測するのに用いることのために送信される。
【0037】
本開示の着眼点はVVCでサポートされる既存の参照ピクチャ再サンプリング設計を向
上させる及びそれを簡素化することにある。以下に、本開示に提出した技術に緊密に関連
するVVCにおける現在符号化ツールを簡単に回顧する。
【0038】
アフィンモード
【0039】
HEVCにおいて、並進動きモデルのみが動き補償予測に応用される。しかし、現実の
世界には、多くの動き種類例えば拡大/縮小、回転、透視動き及び他の不規則な動きが存
在する。VVCにおいて、アフィン動き補償予測は、並進動きそれともアフィン動きモデ
ルがインター予測に応用されるかを指示するために、各インター符号化ブロックに対して
1つのフラグをシグナリングすることで応用される。現在のVVC設計において、1つの
アフィン符号化ブロックについて、4パラメータアフィンモードと6パラメータアフィン
モードとを含む2つのアフィンモードがサポートされている。
【0040】
4パラメータアフィンモデルは以下のパラメータを有する:それぞれ水平方向及び垂直
方向の並進運動に用いられる2つのパラメータ、この2つの方向に対して拡大縮小動きに
用いられる1つのパラメータ及び回転動きに用いられる1つのパラメータ。水平拡大縮小
パラメータは垂直拡大縮小パラメータに等しい。水平回転パラメータは垂直回転パラメー
タに等しい。より効率的なアフィンパラメータシグナリングを実現するために、VVCに
おいて、現在ブロックの左上隅及び右上隅に位置付けられる2つのMV(制御点動きベク
トル(CPMV)とも称される)によってこれらのアフィンパラメータが得られる。
【0041】
図4A及び図4Bに示されるように、ブロックのアフィン動きフィールドは2つの制御
点MV(V,V)で説明される。
【0042】
図4Aは4パラメータアフィンモデルの図を示す。図4Bは4パラメータアフィンモデ
ルの図を示す。制御点動きに基づいて、1つのアフィン符号化ブロックの動きフィールド
(v,v)は以下のように説明される:
【数1】
【0043】
6パラメータアフィンモードは以下のパラメータを有する:それぞれ水平方向及び垂直
方向の並進運動に用いられる2つのパラメータ、水平方向において拡大縮小動きに用いら
れる1つのパラメータ及び回転動きに用いられる1つのパラメータ、垂直方向において拡
大縮小動きに用いられる1つのパラメータ及び回転動きに用いられる1つのパラメータ。
該6パラメータアフィン動きモデルは3つのCPMVを利用して符号化される。
【0044】
図5は6パラメータアフィンモデルの図を示す。図5に示されるように、1つの6パラ
メータアフィンブロックの3つの制御点は該ブロックの左上隅、右上隅及び左下隅に位置
付けられる。左上の制御点での動きは並進動きに関連し、右上の制御点での動きは水平方
向の回転及び拡大縮小動きに関連し、且つ左下の制御点での動きは垂直方向の回転及び拡
大縮小動きに関連する。4パラメータアフィン動きモデルに比べて、6パラメータの水平
方向の回転及び拡大縮小動きは垂直方向のそれらの動きと同じでなくてもよい。(V
,V)が図5における現在ブロックの左上隅、右上隅及び左下隅のMVであると仮
定し、制御点での3つのMVを使用して各サブブロックの動きベクトル(v,v)が
以下のように得られる:
【数2】
【0045】
VVCにおいて、アフィン符号化ブロックのCPMVが分離したバッファに記憶される
。記憶されるCPMVはアフィンマージモード(即ち、隣接のアフィンブロックからアフ
ィンCPMVを受け継ぐ)及びアフィン明示モード(即ち、予測に基づくスキームに基づ
いてアフィンCPMVをシグナリングする)のアフィンCPMV予測器の生成のみに用い
られる。CPMVから得られるサブブロックMVは動き補償、並進MVのMV予測及びデ
プロッキングに用いられる。
【0046】
通常のインターブロックの動き補償と同様に、各アフィンサブブロックのMVは分数の
サンプル位置での参照サンプルを指してもよい。このような場合、分数の画素位置の参照
サンプルを生成するために補間フィルタリング処理が必要である。最悪な状況におけるメ
モリ帯域幅要求及び最悪な状況における補間の計算複雑度を制御するために、6タップ補
間フィルタのセットをアフィンサブブロックの動き補償に用いる。表1及び表2はそれぞ
れ通常のインターブロック及びアフィンブロックの動き補償に用いられる補間フィルタに
ついて説明した。見えるように、アフィンモードのための6タップ補間フィルタは、通常
のインターブロックのための8タップフィルタの各側の2つの最外側のフィルタ係数を6
タップフィルタのための1つの単一のフィルタ係数に直接に加算することにより、8タッ
プフィルタから直接に得られ、即ち、表2におけるフィルタ係数P0及びP5はそれぞれ
表1におけるフィルタ係数P0及びP1の和並びにフィルタ係数P6及びP7の和に等し
い。
【0047】
【表1】
【0048】
【表2】
【0049】
また、彩度サンプルの動き補償について、通常のインターブロックのための同じ4タッ
プ補間フィルタ(表3に説明されるように)はアフィンブロックに使用される。
【表3】
【0050】
参照ピクチャ再サンプリング
【0051】
HEVCと異なり、新興のVVC標準は1つの同じ内容のビットストリーム内の迅速な
空間解像度切替をサポートする。このような能力は参照ピクチャ再サンプリング(RPR
)又は適応解像度切替(ARC)と称される。リアルタイム映像アプリケーションにおい
て、ランダムアクセスをサポートするピクチャ又はイントラランダムアクセスポイント(
IRAP)ピクチャ(例えば、IDRピクチャ又はCRAピクチャ等)を挿入するという
要求がないで1つの符号化された映像シーケンスにおいて解像度の変化を許容するのは、
圧縮された映像データを動的な通信チャネル条件に適応させることができるだけでなく、
IDR又はCRAピクチャの比較的に大きな寸法による帯域幅の消費の急増を回避するこ
ともできる。具体的に、以下の代表的なユーザー状況はRPR特徴から利益を受けること
ができる。
【0052】
映像電話及び会議におけるレート適応
符号化された映像を変化のネットワーク条件に適応させるために、ネットワーク条件が
更に悪化して利用可能な帯域幅がより低くなる場合、エンコーダはより小さな解像度のピ
クチャをエンコードすることでこれに適応することができる。現在、ピクチャの解像度を
変化することはIRAPピクチャの後でしか行われず、このため、いくつかの問題がある
。合理的な品質のIRAPピクチャはインター符号化されたピクチャよりも大幅に大きく
、且つそれに対応してデコーディングがより複雑になり、このため、時間及びリソースを
消費してしまう。これは、ローディングのためにデコーダが解像度の変化を要求する場合
に問題となる。それは、低遅延バッファ条件を打破して、音声を強制的に改めて同期させ
ることもでき、且つストリームのエンドツーエンド遅延が少なくとも一時的に増加してし
まう。これは、悪化されたユーザーエクスペリエンスをもたらしてしまう。
【0053】
多方面の映像会議における活発な発言者の変化
多方面の映像会議の場合、よく見られるのは活発な発言者が残りの会議参加者の映像よ
りも大きな映像寸法で示される。活発な発言者が変化するとき、各参加者に用いられるピ
クチャ解像度も調節される必要がある。このような活発な発言者の変化が頻繁に発生する
場合、ARC特徴を有する需要が更に重要となる。
【0054】
ストリーミングにおける迅速な開始
ストリーミングアプリケーションの場合、よく見られるのは該アプリケーションが表示
を開始する前に一定長さまでのデコードされたピクチャをバッファリングすることとなる
。比較的に小さな解像度を有するビットストリームを開始するのは、表示をより速く開始
するために、該アプリケーションがバッファにおいて十分に多いピクチャを有することを
許容する。
【0055】
ストリーミングにおける適応ストリーム切替
HTTPにおいて動的な適応型ストリーミング(DASH)規範は@mediaStr
eamStructureIdと称される特徴を含む。これは、デコード不可能な先頭の
ピクチャを有するオープンGOPランダムアクセスポイントでの異なる表示間の切替を実
現できるようにし、前記ピクチャが例えばHEVCにおいて関連付けられるRASLピク
チャを有するCRAピクチャである。同じ映像の2つの異なる表示は異なるビットレート
を有するが、同じ空間解像度を有するとともに、それらは同じ@mediaStream
StructureId値を有する場合、関連付けられるRASLピクチャを有するCR
Aピクチャでのこの2つの表示の間の切替を行うことができ、且つ受け入れられる品質で
CRAピクチャでの切替に関連付けられるRASLピクチャをデコードすることができ、
それによりシームレス切替を実現できるようにする。ARCを利用して、@mediaS
treamStructureId特徴は更に異なる空間解像度を有するDASH表示の
間の切替に使用され得る。
【0056】
第15回のJVET会議では、RPR特徴はVVC標準により正式にサポートされる。
VVCにおいて既存のRPR設計の主な態様は以下のようにまとめられる。
【0057】
RPR上級シグナリング
【0058】
現在のRPR設計に従って、シーケンスパラメータセット(SPS)において、SPS
を参照する符号化ピクチャの最大の幅及び高さを指定するために2つのシンタックス要素
pic_width_max_in_luma_samples及びpic_heigh
t_max_in_luma_samplesはシグナリングされる。次に、ピクチャの
解像度が変化する場合、PPSを参照するピクチャの異なるピクチャ解像度を指定するた
めに関連するシンタックス要素pic_width_in_luma_samples及
びpic_height_in_luma_samplesがシグナリングされるとき、
1つの新たなピクチャパラメータセット(PPS)を設定する必要がある。ビットストリ
ーム適合性が存在し、即ちpic_width_in_luma_samples及びp
ic_height_in_luma_samplesの値はpic_width_ma
x_in_luma_samples及びpic_height_max_in_lum
a_samplesの値を超えるべきではない。表4はSPS及びPPSにおけるRPR
関連シグナリングについて説明した。
【0059】
【表4】
【0060】
参照ピクチャ再サンプリング処理
【0061】
1つのビットストリーム内に解像度が変化する場合、現在ピクチャは異なる寸法の1つ
又は複数の参照ピクチャを有する可能性がある。現在のRPR設計に従って、ピクチャの
解像度が変化する場合、現在ピクチャの全てのMVは参照ピクチャのサンプルグリッドで
はなく現在ピクチャのサンプルグリッドに規格化される。これは、ピクチャの解像度の変
化がMV予測処理にとって透明になるようにすることができる。
【0062】
ピクチャの解像度が変化する場合、MV以外に、現在ブロックの動き補償期間に更に必
ず1つの参照ブロックにおけるサンプルをアンサンプリング/ダウンサンプリングしなけ
ればならない。VVCにおいて、拡大縮小比率即ちrefPicWidthInLuma
Sample/picWidthInLuma及びrefPicHeightInLum
aSample/picHeightInLumaSampleは範囲[1/8,2]に
制限される。
【0063】
現在のRPR設計において、現在ピクチャ及びその参照ピクチャが異なる解像度である
場合、異なる補間フィルタを応用して参照サンプルを補間する。具体的に、参照ピクチャ
の解像度が現在ピクチャの解像度以下である場合、デフォルトの8タップ及び4タップ補
間フィルタを使用してそれぞれ輝度サンプル及び彩度サンプルのインター予測サンプルを
生成する。しかし、デフォルトの動き補間フィルタは強いローパス特性を呈しない。参照
ピクチャの解像度が現在ピクチャの解像度よりも高い場合、デフォルトの動き補間フィル
タを使用すると無視できないエイリアシングを引き起こしてしまい、これはダウンサンプ
リング比率が増加する場合によりひどくなってしまう。従って、RPRのインター予測効
率を向上させるために、参照ピクチャが現在ピクチャよりも高い解像度を有する場合、2
つの異なるダウンサンプリングフィルタのセットを応用する。詳しくは、ダウンサンプリ
ング比率が1.5:1以上である場合、以下の表5及び表6に示される8タップ及び4タ
ップのLanczosフィルタを使用する。
【0064】
【表5】
【0065】
【表6】
【0066】
ダウンサンプリング比率が2:1以上である場合、余弦窓関数を12タップSHMダウ
ンサンプリングフィルタに応用することにより得られる以下の8タップ及び4タップのダ
ウンサンプリングフィルタ(表7及び表8に示される)を使用する。
【表7】
【0067】
【表8】
【0068】
最後に、以上のダウンサンプリングフィルタは非アフィンインターブロックの輝度予測
サンプル及び彩度予測サンプルを生成することだけに応用される。アフィンモードの場合
、依然としてデフォルトの8タップ及び4タップの動き補間フィルタをダウンサンプリン
グに応用する。
【0069】
既存のRPR設計における問題
【0070】
本開示の目標はRPRを応用する際のアフィンモードの符号化効率を向上させることで
ある。具体的に、VVCにおける既存のRPR設計の下記問題が識別される。
【0071】
まず、以前に検討されるように、参照ピクチャの解像度が現在ピクチャの解像度よりも
高い場合、追加のダウンサンプリングフィルタが非アフィンモードの動き補償のみに応用
される。アフィンモードの場合、6タップ及び4タップの動き補間フィルタが応用される
。それらのフィルタがデフォルトの動き補間フィルタから得られると仮定すれば、それら
は強いローパス特性を示さない。従って、非アフィンモードに比べて、有名なNyqui
st-Shannonサンプリング定理に起因して、アフィンモードの予測サンプルはよ
りひどいエイリアシングアーティファクトを呈する。このように、より優れた符号化性能
を実現するために、ダウンサンプリングする必要がある場合に適切なローパスフィルタも
アフィンモードの動き補償に応用するように望まれている。
【0072】
第2としては、既存のRPR設計に基づいて、現在サンプルの位置、MV及び参照ピク
チャと現在ピクチャとの間の解像度の拡大縮小比率に基づいて参照サンプルの分数の画素
位置を決定する。従って、参照ブロックのダウンサンプリングを応用する場合、より高い
メモリ帯域幅消費及び計算複雑度で現在ブロックの参照サンプルを補間してしまう。現在
ブロックの寸法がM(幅)×N(高さ)であると仮定する。参照ピクチャの寸法が現在ピ
クチャの寸方と同じである場合、参照ピクチャにおいて寸法が(M+7)×(N+7)で
ある整数サンプルにアクセスする必要があり、且つ現在ブロックの動き補償のために8×
(M×(N+7))+8×M×N回の乗算が必要である。ダウンサンプリング拡大縮小比
率がsであれば、対応のメモリ帯域幅及び乗算は(s×M+7)×(s×N+7)及び8
×(M×(s×N+7))+8×M×Nまで増加される。表9及び表10では、RPRダ
ウンサンプリング拡大縮小比率がそれぞれ1.5X及び2Xである場合にいろいろなブロ
ック寸法の動き補償に用いられる整数サンプル数及びサンプル毎の乗算回数が比較される
。表9及び表10では、名称「RPR 1X」の列は参照ピクチャ及び現在ピクチャの解
像度が同じであり、即ちRPRが応用されない場合の状況に対応する。列「RPR 1X
との比率」はRPRダウンサンプリング比率が1よりも大きい場合のメモリ帯域幅/乗算
と、RPRがない場合の通常のインターモードにおける対応の最悪な状況における数(即
ち、16×4双方向予測)との対応比率を描いている。見えるように、通常のインター予
測の最悪な状況における複雑度に比べて、参照ピクチャが現在ピクチャよりも高い解像度
を有する場合、メモリ帯域幅及び計算複雑度は著しく増加する。ピーク値の増加は16×
4双方向予測によるものであり、メモリ帯域幅及び乗算回数は最悪な状況における双方向
予測のメモリ帯域幅及び乗算回数の231%及び127%である。
【0073】
【表9】
【0074】
【表10】
【0075】
第3としては、既存のRPR設計において、VVCは1つの同じビットストリーム内の
ピクチャの解像度の適応切替のみをサポートするが、映像シーケンスを符号化するための
ビット深度が同じであるように維持する。しかし、VVC標準のCfPを発表するための
「将来の映像符号化標準の要求」には、「本標準は、同じ内容の複数の表示(各表示が異
なる属性(例えば、空間解像度又はサンプルビット深度)を有する)を提供する適応スト
リーミングサービスの場合の迅速な表示切替をサポートすべきである」ということが明確
に説明される。実際の映像アプリケーションにおいて、シングルインストラクション・マ
ルチプルデータ(SIMD)操作に起因して、符号化された映像シーケンス内の符号化ビ
ット深度を変化させることを許容するのは、映像エンコーダ/デコーダ特にソフトウェア
こーデック実現に対してよりフレキシブルな性能/複雑度の折衷を提供できる。
【0076】
RPR符号化への改善
【0077】
本開示では、VVCにおけるRPR符号化の効率を向上させ、そしてそのメモリ帯域幅
及び計算複雑度を低減する解決案が提案された。より具体的に、本開示に提案された技術
は以下のようにまとめられることができる。
【0078】
まず、アフィンモードのRPR符号化効率を向上させるために、新たなローパス補間フ
ィルタは、現在ピクチャに比べて参照ピクチャがより高い解像度を有する場合即ちダウン
サンプリングする必要がある場合にアフィンのための既存の8タップ輝度補間フィルタ及
び4タップ彩度補間フィルタを代替するために提案される。
【0079】
第2としては、RPRを簡素化するために、RPRを応用しない通常のインターモード
に比べてメモリ帯域幅及び計算複雑度の顕著な増加をもたらしてしまうあるCU寸法に対
してRPRに基づくインター予測を使用禁止することが提案される。
【0080】
第3としては、1つの映像シーケンスを符号化するための内部ビット深度の動的な変化
を許容する方法が提案される。
【0081】
アフィンモードのためのダウンサンプリングフィルタ
【0082】
以上に言及したように、現在ピクチャ及びその参照ピクチャの解像度が同じであるか否
かにかかわらず、デフォルトの6タップの動き補間フィルタ及び4タップの動き補間フィ
ルタが常にアフィンモードに応用される。HEVCに使用される補間フィルタと同様に、
VVCにおけるデフォルトの動き補間フィルタは強いローパス特性を呈しない。空間拡大
縮小比率が1に近い場合、デフォルトの動き補間フィルタは予測サンプルの受け入れられ
る品質を提供できる。しかし、参照ピクチャから現在ピクチャまでの解像度のダウンサン
プリング比率がより大きくなる場合、Nyquist-Shannonサンプリング定理
に基づいて、同じデフォルトの動き補間フィルタを使用すればエイリアシングアーティフ
ァクトがひどくなる。特に、応用されるMVが整数サンプル位置での参照サンプルを指す
場合、デフォルトの動き補間は完全にフィルタリング操作を応用しない。これでアフィン
ブロックにとって予測サンプルの品質の顕著な低下をもたらしてしまう恐れがある。
【0083】
ダウンサンプリングによるエイリアシングアーティファクトを軽減するために、本開示
に従って、アフィンモードの動き補償に対してより強いローパス特性を有する異なる補間
フィルタを利用して既存のデフォルトの6タップ/4タップ補間フィルタを代替すること
が提案される。また、メモリ帯域幅及び計算複雑度が通常の動き補償処理と同じであるよ
うに維持するために、提案されたダウンサンプリングフィルタはアフィンモードのための
既存の補間フィルタとは同じ長さであり、即ち6タップは輝度成分に用いられ、4タップ
は彩度成分に用いられる。
【0084】
図7は映像信号をデコードするための方法を示す。該方法は例えばデコーダに応用され
てもよい。
【0085】
ステップ710において、デコーダは映像信号内の映像ブロックに関連付けられる参照
ピクチャIを取得できる。
【0086】
ステップ712において、デコーダは参照ピクチャIにおける参照ブロックから映像ブ
ロックの参照サンプルI(i,j)を取得できる。iとjが例えば映像ブロック内の1つ
のサンプルの座標を表現してもよい。
【0087】
ステップ714において、映像ブロックが非アフィンインターモードで符号化され且つ
参照ピクチャIの解像度が現在ピクチャの解像度よりも大きい場合、デコーダは、それぞ
れ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するた
めに第1ダウンサンプリングフィルタ及び第2ダウンサンプリングフィルタを取得できる
【0088】
ステップ716において、映像ブロックがアフィンモードで符号化され且つ参照ピクチ
ャの解像度が現在ピクチャの解像度よりも大きい場合、デコーダは、それぞれ映像ブロッ
クの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第3ダウ
ンサンプリングフィルタ及び第4ダウンサンプリングフィルタを取得できる。
【0089】
ステップ718において、デコーダは第3及び第4ダウンサンプリングフィルタが参照
サンプルI(i,j)に応用されることに基づいて映像ブロックのインター予測サンプル
を取得できる。
【0090】
アフィン輝度ダウンサンプリングフィルタ
【0091】
アフィンモードのための輝度ダウンサンプリングフィルタを得る方式が複数ある。
【0092】
方法1
本開示の1つ又は複数の実施例では、通常のインターモード(即ち、非アフィンモード
)の既存の輝度ダウンサンプリングフィルタからアフィンモードの輝度ダウンサンプリン
グフィルタを直接に得ることが提案される。具体的に、当該方法によって、8タップフィ
ルタの2つの最左側/最右側のフィルタ係数をそれぞれ加算して6タップフィルタのため
の1つの単一のフィルタ係数となるようにすることで、表5(拡大縮小比率1.5Xの場
合に使用される)及び表7(拡大縮小比率2Xの場合に使用される)における8タップの
輝度ダウンサンプリングフィルタから新たな6タップの輝度ダウンサンプリングフィルタ
を得る。表11及び表12はそれぞれ空間拡大縮小比率が1.5:1及び2:1である場
合に提案された6タップの輝度ダウンサンプリングフィルタについて説明した。
【0093】
【表11】
【0094】
【表12】
【0095】
方法2
本開示の1つ又は複数の実施例では、余弦窓掛けsinc関数に基づいて得られるSHM
フィルタから6タップのアフィンダウンサンプリングフィルタを直接に得ることが提案さ
れる。具体的に、該方法において、以下の式に基づいてアフィンダウンサンプリングフィ
ルタを得る。
【数3】
ここで、Lがフィルタ長さであり、h(n)が理想的なローパス周波数応答であり、その
計算は、以下の式(4)の通りである。
【数4】
【0096】
がカットオフ周波数であり、sが拡大縮小比率である。w(n)が余弦窓関数であ
り、その定義は、以下の式(5)の通りである。
【数5】
【0097】
一例では、fが0.9であり、L=6であると仮定し、表13及び表14は空間拡大縮
小比率が1.5X(即ち、s=1.5)及び2X(即ち、s=2)である場合に得られた
6タップの輝度ダウンサンプリングについて説明した。
【表13】
【0098】
【表14】
【0099】
指摘すべきことは、表13及び表14において、フィルタ係数が7ビットサイン変数の
精度で得られ、該精度がRPR設計に使用されるダウンサンプリングフィルタと同じであ
るように維持される。
【0100】
図8は映像信号をデコードするための方法を示す。該方法は例えばデコーダに応用され
てもよい。
【0101】
ステップ810において、デコーダはカットオフ周波数及び拡大縮小比率に基づいて理
想的なローパスフィルタの周波数応答を取得できる。
【0102】
ステップ812において、デコーダはフィルタ長さに基づいて余弦窓関数を取得できる
【0103】
ステップ814において、デコーダは周波数応答及び余弦窓関数に基づいて第3ダウン
サンプリングフィルタを取得できる。
【0104】
アフィン彩度ダウンサンプリングフィルタ
【0105】
以下に、参照ピクチャの解像度が現在ピクチャの解像度よりも高い場合に彩度参照ブロ
ックをダウンサンプリングする方法が3つ提案される。
【0106】
方法1
第1方法において、RPRにおいて非アフィンモードに用いるように設計される既存の
1.5X(表6)及び2X(表8)の4タップ彩度ダウンサンプリングフィルタを改めて
アフィンモードの参照サンプルのダウンサンプリングに用いることが提案される。
【0107】
方法2
第2方法において、デフォルトの4タップ彩度補間フィルタ(表3)を、改めてアフィ
ンモードの参照サンプルをダウンサンプリングするのに用いることが提案される。
【0108】
方法3
第3方法において、(3)~(5)に描かれる余弦窓掛けsinc関数に基づいて彩度
ダウンサンプリングフィルタを得ることが提案される。表15及び表16は余弦窓sin
c関数のカットオフ周波数が0.9であると仮定する場合にそれぞれ1.5X及び2Xの
拡大縮小比率について得られた4タップ彩度ダウンサンプリングフィルタを描いている。
【0109】
【表15】
【0110】
【表16】
【0111】
RPRモードのための制約のブロック寸法
【0112】
「問題声明」の節に分析したように、ダウンサンプリングが発生する場合、既存のRP
Rは複雑度の顕著な増加(例えば、動き補償に対してアクセスされる整数サンプルの数及
び必要な乗算回数)をもたらしてしまう。具体的に、参照ブロックをダウンサンプリング
する必要がある場合のメモリ帯域幅及び乗算回数は最悪な状況の双方向予測の231%及
び127%である。
【0113】
1つ又は複数の実施例では、参照ピクチャの解像度が現在ピクチャの解像度よりも高い
場合、あるブロック形状(例えば4×N、N×4及び/又は8×8)のためのインター予
測期間に双方向予測を使用禁止する(しかしながら、依然として単方向予測を許容する)
ことが提案される。表17及び表18はRPRを利用してインター予測を行う期間に4×
N、N×4及び8×8ブロック寸法に対して双方向予測を使用禁止する場合の対応のサン
プル毎のメモリ帯域幅及び乗算回数を示す。見えるように、提案された制約を利用して、
メモリ帯域幅及び乗算回数が1.5Xダウンサンプリングの最悪な状況の双方向予測の1
30%及び107%並びに2Xダウンサンプリングの最悪な状況の双方向予測の116%
及び113%まで低減される。
【0114】
【表17】
【0115】
【表18】
【0116】
以上の例では、4×N、N×4及び8×8ブロック寸法のみに対してRPRモードの双
方向予測を使用禁止するが、最も先進的な現代映像技術を把握している技術者にとって、
提案された制約は依然として他のブロック寸法及びインター符号化モード(例えば、単方
向/双方向予測、マージ/非マージモード等)に適用される。
【0117】
適応ビット深度切替
【0118】
既存のRPR設計において、VVCは1つの同じビットストリーム内のピクチャ解像度
の適応切替のみをサポートするが、映像シーケンスを符号化するためのビット深度が同じ
であるように維持される。しかし、以前に分析したように、1つの同じビットストリーム
内の符号化ビット深度の切替を許容するのは、実際のエンコーダ/デコーダデバイスに対
してより高いフレキシビリティを提供し且つ符号化性能と計算複雑度との間で異なる折衷
を提供することができる。
【0119】
本節において、即時デコードリフレッシュ(IDR)ピクチャ等の1つのIRAPピク
チャを導入する要求がないで内部符号化ビット深度を変化させることを許容するために適
応ビット深度切替(ABS)方法が提案される。
【0120】
図6には1つの仮定例が描かれ、当該仮定例では現在ピクチャ620並びにその参照ピ
クチャ610及び630が異なる内部ビット深度で符号化される。図6は、8ビット符号
化を利用する参照ピクチャ610 Ref0、10ビット符号化を利用する現在ピクチャ
620、及び12ビット符号化を利用する参照ピクチャ630 Ref1を示す。具体的
に、以下に、提案されたABS能力をサポートするために、現在VVCフレームワークに
対して動き補償処理への上級シンタックスシグナリング及び修正が提案される。
【0121】
上級ABSシグナリング
【0122】
提案されたABSシグナリングについては、SPSにおいて、SPSを参照する符号化
ピクチャのための最大内部符号化ビット深度を指定する既存のビット深度シンタックス要
素bit_depth_minus8を代替するために、1つの新たなシンタックス要素
sps_max_bit_depth_minus8が提案される。次に、符号化ビット
深度を変化させる場合、PPSを参照するピクチャの異なる符号化ビット深度を指定する
ために1つの新たなPPSシンタックスpps_bit_depth_minus8が送
信される。
【0123】
ビットストリーム適合性が存在し、即ちpps_bit_depth_minus8の
値はsps_max_bit_depth_minus8の値を超えるべきではない。表
19はSPS及びPPSにおける提案されたABSシグナリングについて説明した。
【0124】
【表19】
【0125】
予測サンプルビット深度の調節
【0126】
1つの符号化された映像シーケンス内に1つの符号化ビット深度が変化する場合、1つ
の現在ピクチャは他の参照ピクチャから予測されることができ、該他の参照ピクチャの再
構築サンプルは異なるビット深度精度で表現される。このような状況が発生する場合、参
照ピクチャの動き補償から生成された予測サンプルは現在ピクチャの符号化ビット深度に
調節されるべきである。
【0127】
他の符号化ツールとの相互作用
【0128】
ABSが参照ピクチャに応用され且つ現在ピクチャが異なる精度で表現され得ると仮定
すれば、VVCにおける、参照サンプルを利用してある符号化パラメータを得るいくつか
の既存の符号化ツールは正常に動作できない恐れがある。例えば、現在のVVCにおいて
、双方向オプティカルフロー(BDOF)及びデコーダ側動きベクトル改良(DMVR)
は時間予測サンプルを使用してインター符号化効率を向上させる2種類のデコーダ側技術
である。具体的に、BDOFツールは、予測サンプル品質を向上させるためにL0及びL
1予測サンプルを利用してサンプルずつ改良を計算するが、DMVRはL0及びL1予測
サンプルに依存してサブブロックレベルで動きベクトル精度を改良する。以上の考慮に基
づいて、2つの予測信号のうちの任一の信号が現在ピクチャのビット深度と異なるビット
深度で符号化される場合に常に1つのインターブロックに対してBDOF及びDMVR処
理を避けることが提案される。
【0129】
図9はユーザーインターフェース960に結合される計算環境910を示す。計算環境
910はデータ処理サーバの部分であってもよい。計算環境910はプロセッサ920、
メモリ940及びI/Oインターフェース950を備える。
【0130】
プロセッサ920は計算環境910の全体操作、例えば表示、データ収集、データ通信
及び画像処理に関連付けられる操作を典型的に制御する。プロセッサ920は、命令を実
行して上記方法における全て又はいくつかのステップを行うための1つ又は複数のプロセ
ッサを備えてもよい。更に、プロセッサ920はプロセッサ920と他の構成要素との間
の相互作用を促進する1つ又は複数のモジュールを備えてもよい。該プロセッサは中央処
理ユニット(CPU)、マイクロプロセッサ、単一チップマシン、GPU等であってもよ
い。
【0131】
メモリ940は、様々なタイプのデータを記憶して計算環境910の操作をサポートす
るように配置される。メモリ940は予定のソフトウェア942を備えてもよい。このよ
うなデータの例は、計算環境910において実行されるいかなるアプリケーション又は方
法のための命令、映像データセット、画像データ等を含む。メモリ940はいかなるタイ
プの揮発性又は不揮発性メモリデバイス又はそれらの組合せを使用することにより実現さ
れてもよく、前記メモリデバイスは例えばスタティックランダムアクセスメモリ(SRA
M)、電気的に消去可能プログラム可能読み出し専用メモリ(EEPROM)、消去可能
プログラム可能読み出し専用メモリ(EPROM)、プログラム可能読み出し専用メモリ
(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気デ
ィスク又は光ディスクである。
【0132】
I/Oインターフェース950はプロセッサ920と、キーボード、クリックホイール
、ボタン等の周辺インターフェースモジュールとの間のインターフェースを提供する。ボ
タンはホームボタン、走査開始ボタン及び走査終了ボタンを含んでもよいが、それらに限
らない。I/Oインターフェース950はエンコーダ及びデコーダに結合されてもよい。
【0133】
実施例では、複数のプログラムを含む非一時的なコンピュータ可読記憶媒体も提供され
、当該複数のプログラムは例えばメモリ940に含まれ、上記方法を行うために計算環境
910におけるプロセッサ920により実行され得る。例えば、該非一時的なコンピュー
タ可読記憶媒体はROM、RAM、CD-ROM、磁気テープ、フロッピーディスク(登
録商標)、光学データ記憶デバイス等であってもよい。
【0134】
該非一時的なコンピュータ可読記憶媒体には1つ又は複数のプロセッサを有する計算デ
バイスが実行するための複数のプログラムが記憶され、前記複数のプログラムが前記1つ
又は複数のプロセッサにより実行されるとき、前記計算デバイスに動き予測のための上記
方法を行わせる。
【0135】
実施例では、計算環境910は上記方法を行うための1つ又は複数の特定用途向け集積
回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(D
SPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲー
トアレイ(FPGA)、グラフィックス処理ユニット(GPU)、コントローラ、マイク
ロコントローラ、マイクロプロセッサ又は他の電子構成要素を利用して実現されてもよい
【0136】
例示のために本開示の説明を提供したが、本開示が尽きるようにすることまたは本開示
に限定されることが期待されていない。多くの修正、変形及び代替の実現方式は上記説明
及び関連図面において与えられる指導から利益を受ける当業者にとって明らかである。
【0137】
本開示の原理を解釈するために例が選択及び説明され、且つ当業者は様々な異なる実現
方式によって本開示を理解し、且つ潜在的な原理及び仮定に適合する特定用途の異なる修
正を有する異なる実現方式を最適に利用することができるようにする。従って、理解され
るように、本開示の範囲は開示される実現方式の具体例に限定されるべきではなく、且つ
修正及び他の実現方式は本開示の範囲内に含まれるように期待されている。
【符号の説明】
【0138】
100…エンコーダ、110…映像入力、112…動き補償、114…動き推定、11
6…イントラ/インターモード決定、118…イントラ予測、120…ピクチャバッファ
、122…ループ内フィルタ、124…メモリ、126…加算器、128…加算器、13
0…変換、132…量子化、134…逆量子化、136…逆変換、138…エントロピー
符号化ユニット、140…ブロック予測器、142…予測関連情報、144…ビットスト
リーム、200…デコーダ、210…ビットストリーム、212…エントロピーデコーデ
ィング、214…逆量子化、216…逆変換、218…加算器、220…イントラ/イン
ターモード選択器、222…イントラ予測、224…動き補償、226…ピクチャバッフ
ァ、228…ループ内フィルタ、230…メモリ、232…映像出力、234予測関連情
報、910…計算環境、920…プロセッサ、940…メモリ、950I/Oインターフ
ェース
図1
図2
図3A
図3B
図3C
図3D
図3E
図4A
図4B
図5
図6
図7
図8
図9
【手続補正書】
【提出日】2024-09-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像信号をエンコーディングするための方法であって、
前記映像信号内の映像ブロックに関連付けられる参照ピクチャを決定することと、
前記参照ピクチャから前記映像ブロックの参照サンプルを取得することと、
前記参照ピクチャ及び現在ピクチャの解像度から得られる拡大縮小比率に基づいて、アフィン動きモードでエンコーディングされる前記映像ブロックのための輝度補間フィルタを決定することと、ここで、前記輝度補間フィルタのフィルタ係数の1つは、第1輝度補間フィルタのフィルタ係数の最初の2つのフィルタ係数または最後の2つのフィルタ係数の和に等しく、前記第1の輝度補間フィルタは、解像度の拡大縮小比率が第1値以上である場合に、非アフィン動きモードでエンコーディングされる映像ブロックに使用され、
前記輝度補間フィルタを前記参照サンプルに応用することにより前記映像ブロックの輝度インター予測サンプルを取得することと、
を含む前記映像信号をエンコーディングするための方法。
【請求項2】
前記拡大縮小比率に基づき前記アフィン動きモードでエンコーディングされる前記映像ブロックのための前記輝度補間フィルタを決定することは、
前記拡大縮小比率が前記第1値以上であることに対応して、第2輝度補間フィルタを前記アフィン動きモードでエンコーディングされる前記映像ブロックのための前記輝度補間フィルタとして決定することを含み、
前記第2輝度補間フィルタは、前記拡大縮小比率が前記第1値以上でない際に前記アフィン動きモードでエンコーディングされる前記映像ブロックのための第3輝度補間フィルタとは異なる、
請求項1に記載の方法。
【請求項3】
前記参照ピクチャ及び前記現在ピクチャの解像度の間の比較に基づいて、前記アフィン動きモードでエンコーディングされる前記映像ブロックのための彩度補間フィルタを決定することと、
前記彩度補間フィルタを前記参照サンプルに応用することにより前記映像ブロックの彩度インター予測サンプルを取得することと、
をさらに含む請求項1に記載の方法。
【請求項4】
前記輝度補間フィルタを決定することは、
理想的なローパスフィルタの周波数応答に余弦窓関数を応用することにより前記輝度補間フィルタを取得することを含む請求項1に記載の方法。
【請求項5】
前記輝度補間フィルタを決定することは、
カットオフ周波数及び前記拡大縮小比率に基づいて前記理想的なローパスフィルタの前記周波数応答を取得することと、
フィルタ長さに基づいて前記余弦窓関数を取得することと、
前記周波数応答及び前記余弦窓関数に基づいてダウンサンプリングフィルタを取得することと、を含む請求項4に記載の方法。
【請求項6】
前記カットオフ周波数が0.9に等しく、前記フィルタ長さが6に等しく、且つ前記拡大縮小比率が1.5に等しい請求項5に記載の方法。
【請求項7】
前記カットオフ周波数が0.9に等しく、前記フィルタ長さが6に等しく、且つ前記拡大縮小比率が2に等しい請求項5に記載の方法。
【請求項8】
計算デバイスであって、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサにより実行され得る命令が記憶される非一時的なコンピュータ可読記憶媒体と、を備え、前記1つ又は複数のプロセッサは、請求項1~7のいずれかに記載の方法のステップを行う、
前記計算デバイス。
【請求項9】
1つ又は複数のプロセッサを有する計算デバイスが実行するための複数のプログラムが記憶される非一時的なコンピュータ可読記憶媒体であって、
前記複数のプログラムが前記1つ又は複数のプロセッサにより実行される際に該計算デバイスに請求項1~7のいずれかに記載の方法を実行させる、
前記非一時的なコンピュータ可読記憶媒体。
【請求項10】
コンピュータ可読記憶媒体に記憶されるコンピュータプログラムであって、
プロセッサによって実行される際に請求項1~7のいずれかに記載の方法のステップを実現する命令を含む、
前記コンピュータプログラム。
【請求項11】
ビットストリームを格納する方法であって、前記ビットストリームは、映像デコーディング方法によってデコーディングされたビットストリームであり、前記映像デコーディング方法は、請求項1~7のいずれかに記載のステップを有する映像デコーディング方法である、方法。