IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特許7513793マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム
<>
  • 特許-マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム 図1
  • 特許-マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム 図2
  • 特許-マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム 図3
  • 特許-マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム 図4
  • 特許-マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム 図5
  • 特許-マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-01
(45)【発行日】2024-07-09
(54)【発明の名称】マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム
(51)【国際特許分類】
   H04N 19/117 20140101AFI20240702BHJP
   H04N 19/176 20140101ALI20240702BHJP
   H04N 19/593 20140101ALI20240702BHJP
【FI】
H04N19/117
H04N19/176
H04N19/593
【請求項の数】 19
【外国語出願】
(21)【出願番号】P 2023062283
(22)【出願日】2023-04-06
(62)【分割の表示】P 2020561054の分割
【原出願日】2019-08-19
(65)【公開番号】P2023085495
(43)【公開日】2023-06-20
【審査請求日】2023-04-06
(31)【優先権主張番号】62/729,395
(32)【優先日】2018-09-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/202,902
(32)【優先日】2018-11-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ,リアン
(72)【発明者】
【氏名】ジャオ,シン
(72)【発明者】
【氏名】リ,シアン
(72)【発明者】
【氏名】リィウ,シャン
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2020-014198(JP,A)
【文献】特開2018-050195(JP,A)
【文献】米国特許出願公開第2017/0347093(US,A1)
【文献】Hahyun Lee, et al.,CE3: Multi-line based intra prediction (Test 5.3.1, 5.3.2, 5.3.3),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0166-v1,2018年07月02日
【文献】Y.Chen, et al.,Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor - low,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-J0021,2018年04月03日,p.12
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
ビデオコーディングのためにエンコーダが実行する方法であって、
符号化ユニットに関連付けられる参照ラインセットを識別するステップと、
参照ラインインデックスが、前記参照ラインセットにおける第1の参照ラインを示す第1の参照ラインインデックスに等しいことに基づき、前記第1の参照ラインに基づいて第1セットの予測サンプルを生成する為に、第1のイントラ補間フィルタを選択して前記第1の参照ラインに含まれる参照サンプルに適用するステップであって、前記第1の参照ラインが前記符号化ユニットに隣接し、前記第1のイントラ補間フィルタは、エッジ保存フィルタ及びエッジ平滑化フィルタの両方から選択可能である、ステップと、
前記参照ラインインデックスが、前記参照ラインセットにおける第2の参照ラインを示す第2の参照ラインインデックスに等しいことに基づき、前記第2の参照ラインに基づいて第2セットの予測サンプルを生成する為に、第2のイントラ補間フィルタを選択して前記第2の参照ラインに含まれる参照サンプルに適用するステップであって、前記第2の参照ラインが前記符号化ユニットに隣接しておらず、前記第2のイントラ補間フィルタは、エッジ平滑化フィルタではなく、エッジ保存フィルタのみから選択可能である、ステップと、
生成した前記第1又は第2セットの予測サンプルを用いて前記符号化ユニットを符号化するステップと、
を含む方法。
【請求項2】
前記エッジ平滑化フィルタは、正の又はゼロのフィルタ係数のみを有する、請求項1に記載の方法。
【請求項3】
前記エッジ平滑化フィルタは、正の又はゼロのフィルタ係数のみを有する線形補間フィルタを含み、
前記エッジ保存フィルタは、少なくとも1つ又は2つの負のフィルタ係数を有する線形補間フィルタ、非線形フィルタ又はバイラテラルフィルタのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項4】
前記第1の参照ラインが、0の値を持つ第1の参照ラインインデックスを有する、請求項1に記載の方法。
【請求項5】
前記エッジ保存フィルタは、キュービックフィルタ、離散コサイン変換(DCT)ベースのフィルタ、多項式ベースの補間フィルタ、バイラテラルフィルタ、及びエルミート補間フィルタのうちの少なくとも1つを含む、請求項2に記載の方法。
【請求項6】
前記第2の参照ラインが、非0の値を持つ第2の参照ラインインデックスを有する、請求項1に記載の方法。
【請求項7】
前記エッジ平滑化フィルタの第1のタップ数は、前記エッジ保存フィルタの第2のタップ数とは異なる、請求項1に記載の方法。
【請求項8】
イントラ予測モードの前に参照ラインインデックスをシグナリングするステップを更に含み、前記シグナリングされるイントラ予測モードが平面モードを除き、前記参照ラインインデックスがイントラ予測に使用される参照ラインを示す、請求項1に記載の方法。
【請求項9】
ビデオコーディングのためにデコーダが実行する方法であって、
符号化ユニットに関連付けられる参照ラインセットを識別するステップと、
参照ラインインデックスが、前記参照ラインセットにおける第1の参照ラインを示す第1の参照ラインインデックスに等しいことに基づき、前記第1の参照ラインに基づいて第1セットの予測サンプルを生成する為に、第1のイントラ補間フィルタを選択して前記第1の参照ラインに含まれる参照サンプルに適用するステップであって、前記第1の参照ラインが前記符号化ユニットに隣接し、前記第1のイントラ補間フィルタは、エッジ保存フィルタ及びエッジ平滑化フィルタの両方から選択可能である、ステップと、
前記参照ラインインデックスが、前記参照ラインセットにおける第2の参照ラインを示す第2の参照ラインインデックスに等しいことに基づき、前記第2の参照ラインに基づいて第2セットの予測サンプルを生成する為に、第2のイントラ補間フィルタを選択して前記第2の参照ラインに含まれる参照サンプルに適用するステップであって、前記第2の参照ラインが前記符号化ユニットに隣接しておらず、前記第2のイントラ補間フィルタは、エッジ平滑化フィルタではなく、エッジ保存フィルタのみから選択可能である、ステップと、
を含む方法。
【請求項10】
ビデオ符号化のための装置であって、
プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように構成された少なくとも1つのプロセッサと、を含み、
前記プログラムコードは、前記少なくとも1つのプロセッサに、
符号化ユニットに関連付けられる参照ラインセットを識別するステップと、
参照ラインインデックスが、前記参照ラインセットにおける第1の参照ラインを示す第1の参照ラインインデックスに等しいことに基づき、前記第1の参照ラインに基づいて第1セットの予測サンプルを生成する為に、第1のイントラ補間フィルタを選択して前記第1の参照ラインに含まれる参照サンプルに適用するステップであり、前記第1の参照ラインが前記符号化ユニットに隣接し、前記第1のイントラ補間フィルタは、エッジ保存フィルタ及びエッジ平滑化フィルタの両方から選択可能である、ステップと、
前記参照ラインインデックスが、前記参照ラインセットにおける第2の参照ラインを示す第2の参照ラインインデックスに等しいことに基づき、前記第2の参照ラインに基づいて第2セットの予測サンプルを生成する為に、第2のイントラ補間フィルタを選択して前記第2の参照ラインに含まれる参照サンプルに適用するステップであり、前記第2の参照ラインが前記符号化ユニットに隣接しておらず、前記第2のイントラ補間フィルタは、エッジ平滑化フィルタではなく、エッジ保存フィルタのみから選択可能である、ステップと、
生成した前記第1又は第2セットの予測サンプルを用いて前記符号化ユニットを符号化するステップと、を実行させるように構成されている、
装置。
【請求項11】
前記エッジ平滑化フィルタは、正の又はゼロのフィルタ係数のみを有する線形補間フィルタを含み、
前記エッジ保存フィルタは、少なくとも1つ又は2つの負のフィルタ係数を有する線形補間フィルタ、非線形フィルタ又はバイラテラルフィルタのうちの少なくとも1つを含む、請求項10に記載の装置。
【請求項12】
前記第1の参照ラインが、0の値を持つ第1の参照ラインインデックスを有する、請求項10に記載の装置。
【請求項13】
前記エッジ保存フィルタは、キュービックフィルタ、離散コサイン変換(DCT)ベースのフィルタ、多項式ベースの補間フィルタ、バイラテラルフィルタ、及びエルミート補間フィルタのうちの少なくとも1つを含む、請求項10に記載の装置。
【請求項14】
前記第2の参照ラインが、非0の値を持つ第2の参照ラインインデックスを有する、請求項10に記載の装置。
【請求項15】
前記エッジ平滑化フィルタの第1のタップ数は、前記エッジ保存フィルタの第2のタップ数とは異なる、請求項10に記載の装置。
【請求項16】
前記プログラムコードは、前記少なくとも1つのプロセッサに、さらに、イントラ予測モードの前に参照ラインインデックスをシグナリングするステップを実行させるように構成され、前記シグナリングされるイントラ予測モードが平面モードを除き、前記参照ラインインデックスがイントラ予測に使用される参照ラインを示す、請求項10に記載の装置。
【請求項17】
ビデオ復号のための装置であって、
プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように構成された少なくとも1つのプロセッサと、を含み、
前記プログラムコードは、前記少なくとも1つのプロセッサに、
符号化ユニットに関連付けられる参照ラインセットを識別するステップと、
参照ラインインデックスが、前記参照ラインセットにおける第1の参照ラインを示す第1の参照ラインインデックスに等しいことに基づき、前記第1の参照ラインに基づいて第1セットの予測サンプルを生成する為に、第1のイントラ補間フィルタを選択して前記第1の参照ラインに含まれる参照サンプルに適用するステップであり、前記第1の参照ラインが前記符号化ユニットに隣接し、前記第1のイントラ補間フィルタは、エッジ保存フィルタ及びエッジ平滑化フィルタの両方から選択可能である、ステップと、
前記参照ラインインデックスが、前記参照ラインセットにおける第2の参照ラインを示す第2の参照ラインインデックスに等しいことに基づき、前記第2の参照ラインに基づいて第2セットの予測サンプルを生成する為に、第2のイントラ補間フィルタを選択して前記第2の参照ラインに含まれる参照サンプルに適用するステップであり、前記第2の参照ラインが前記符号化ユニットに隣接しておらず、前記第2のイントラ補間フィルタは、エッジ平滑化フィルタではなく、エッジ保存フィルタのみから選択可能である、ステップと、を実行させるように構成されている、
装置。
【請求項18】
請求項1乃至8のいずれか一項に記載の方法をコンピュータに実行させる為のコンピュータプログラム。
【請求項19】
請求項9に記載の方法をコンピュータに実行させる為のコンピュータプログラム。

【発明の詳細な説明】
【関連出願の相互参照】
【0001】
35 U.S.C.119に従って、本出願は、2018年9月10日に提出された米国仮出願第62/729,395号及び2018年11月28日に米国特許商標局へ提出された米国特許出願第16/202,902号に基づく優先権を主張し、これらの開示は、その全体が参照により本明細書に組み込まれる。
【技術分野】
【0002】
本開示は、1組の高度なビデオ符号化技術に関する。より具体的に、本開示は、マルチラインイントラ予測のための修正されたイントラ補間フィルタスキームを提供する。
【背景技術】
【0003】
ITU-T VCEG(Q6 / 16)及びISO / IEC MPEG(JTC l / SC 29 / WG 11)は、2013年(バージョン1)にH.265 / HEVC(高効率ビデオ符号化)標準を公布し、2014年(バージョン2)、2015(バージョン3)、2016(バージョン4)で更新を提供した。それ以降、ITUは、HEVC標準(拡張を含む)を大幅に超える圧縮能力を備えた将来のビデオ符号化技術の標準化の潜在的な必要性を研究してきた。
【0004】
2017年10月、ITUは、HEVCを超える能力を備えたビデオ圧縮に関する共同提案(CfP)を発表した。2018年2月15日までに、標準ダイナミックレンジ(SDR)に関する合計22個のCfP応答、ハイダイナミックレンジ(HDR)に関する合計12個のCfP応答、及び360ビデオカテゴリに関する12個のCfP応答をそれぞれ提出した。
【0005】
2018年4月、122 MPEG / 10th JVET (共同ビデオ探査チーム-共同ビデオ専門家チーム)会議において、受信したすべてのCfP応答を評価した。JVETは、慎重な評価により、HEVC以外の次世代のビデオ符号化、いわゆる汎用ビデオ符号化(Versatile Video Coding、VVC)の標準化を正式に開始した。
【0006】
HEVCには、合計35個のイントラ予測モードがあり、モード10は水平モード、モード26は垂直モード、モード2、18、34は対角モードである。イントラ予測モードは、3つの最確モード(most probable mode、MPM)と残りの32個のモードによってシグナリングされる。
【0007】
VVCの現在の開発では、合計87個のイントラ予測モードがあり、モード18は水平モード、モード50は垂直モード、モード2、34及び66は対角モードである。 モード1から10及びモード67から76は、広角イントラ予測(WAIP)モードに指定される。
【0008】
イントラモードを符号化するために、隣接するブロックのイントラモードに基づいて、3つのモードの最確モード(MPM)リストを生成する。 このMPMリストは、MPMリスト又はプライマリMPMリストと呼ばれる。MPMリストにイントラモードが含まれていない場合、イントラモードが選択したモードに属するかどうかを指示するように、フラグをシグナリングする。
【0009】
VVCの開発では、プライマリMPMリストとセカンダリMPMリストの実現方法が提案されている。セカンダリMPMリストにおけるモードは、プライマリMPMリストに含まれない。 MPMリストにおけるモードの数は3、4、5、6、7、8などであってもよく、セカンダリMPMリストにおけるモードの数は8、16、32などであってもよい。
【0010】
VVCでは、輝度コンポーネントについて、生成プロセスの前に、イントラ予測サンプルの生成に使用される隣接するサンプルをフィルタリングする(即ち、イントラ平滑化処理)。フィルタリングは、所与されたイントラ予測モードと変換ブロックサイズによって制御される。 イントラ予測モードがDCの場合、又は変換ブロックサイズが4×4の場合、隣接するサンプルをフィルタリングしない。また、所与されたイントラ予測モードと垂直モード(又は水平モード)との間の距離が所定のしきい値よりも大きい場合、フィルタリング処理を開始する。隣接するサンプルのフィルタリングに、[1,2,1]フィルタと双線形フィルタを使用する。 例えば、VVCドラフト2の記事8.2.4.2.4及び表8-4は、VVCで提案されているイントラ平滑化処理を説明した。
【0011】
マルチラインイントラ予測は、イントラ予測に追加参照ラインを使用するために提案された。符号器は、イントラ予測器を生成するために使用される参照ラインを決定してシグナリングすることができる。イントラ予測モードの前に、参照ラインインデックスを信号で示し、非ゼロの参照ラインインデックスをシグナリングする場合に、イントラ予測モードから平面モード/ DCモードを除外する。
【0012】
従来のイントラ予測モードでカバーされる予測方向の範囲を超える広角が提案され、広角イントラ予測モードと呼ばれる。これらの広角は、以下の非正方形ブロックにのみ適用される。ブロックの幅がブロックの高さよりも大きい場合、右上方向に45度を超える角度(HEVCのイントラ予測モード34)にある。ブロックの高さがブロックの幅よりも大きい場合、左下方向に45度を超える角度(HEVCのイントラ予測モード2)にある。
【0013】
元の方法を使用して、置き換えられたモードをシグナリングし、解析後に広角モードのインデックスに再マッピングする。イントラ予測モードの総数は変化せず、つまり、例えば、VTM-1.0の場合は35、BMS-1.0の場合は67であり、イントラモードの符号化は変化していない。
【0014】
バイラテラルフィルタは、画像に使用される非線形、エッジ保存、ノイズ低減平滑化フィルタである。隣接するピクセルからの輝度値の加重平均を使用して各ピクセルの輝度を置き換える。この重みは、ガウス分布に基づくことができる。重みは、ピクセルのユークリッド距離に依存し、さらに、放射の違い(例えば、色の強度、奥行き距離などの範囲の違い)に依存する。バイラテラルフィルタは、シャープなエッジを保存するのに役立つ。イントラブロックの元の(フィルタリングされていない)参照サンプルI(x)が所与されると、バイラテラルフィルタ関数は次のように定義される。

【0015】
方向性イントラ予測に使用される予測サンプルを生成するために、4タップ及び6タップのイントラ補間フィルタが提案された。2種類の4タップ補間フィルタ、即ちキュービック補間フィルタとガウス補間フィルタを使用する。キュービックフィルタは画像のエッジを保存するのに適し、ガウス補間フィルタは画像のノイズを除去するのに適する。キュービック補間フィルタは、イントラ予測モードが対角モード(即ち、モード34)以上で、且つブロックの幅が8以下の場合、及びイントラ予測モードが対角モード(即ち、モード34)以下で、且つブロックの高さが8以下である場合に、実現される。
【0016】
ガウスフィルタは、イントラ予測モードが対角モード(即ち、モード34)以上で、且つ、ブロックの幅が8よりも大きい場合、及び、イントラ予測モードが対角モード(即ち、モード34)以下で、且つブロックの高さが8よりも大きい場合に、実現される。
【発明の概要】
【0017】
ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法であって、符号化ユニットに関連付けられる参照ラインのセットを識別するステップと、前記参照ラインのセットにおける第1の参照ラインが第1の参照ラインインデックスに関連付けられていることに基づいて、第1タイプの補間フィルタを、前記符号化ユニットに隣接するものである前記第1の参照ラインに含まれる参照サンプルに適用して、第1セットの予測サンプルを生成するステップと、前記参照ラインのセットにおける第2の参照ラインが第2の参照ラインインデックスに関連付けられていることに基づいて、第2タイプの補間フィルタを、前記符号化ユニットに隣接しないものである前記第2の参照ラインに含まれる参照サンプルに適用して、第2セットの予測サンプルを生成するステップと、を含む。
【0018】
ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する装置であって、プログラムコードを記憶するように構成されている少なくとも1つのメモリと、前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように構成されている少なくとも1つのプロセッサと、を含み、前記プログラムコードは、前記少なくとも1つのプロセッサに、符号化ユニットに関連付けられる参照ラインのゼットを識別させるように構成されている認識コードと、前記少なくとも1つのプロセッサに、前記参照ラインのセットにおける第1の参照ラインが第1の参照ラインインデックスに関連付けられていることに基づいて、第1タイプの補間フィルタを、前記符号化ユニットに隣接するものである前記第1の参照ラインに含まれる参照サンプルに適用させて、第1セットの予測サンプルを生成させるように構成されている第1の適用コードと、前記少なくとも1つのプロセッサに、前記参照ラインのセットにおける第2の参照ラインが第2の参照ラインインデックスに関連付けられていることに基づいて、第2タイプの補間フィルタを、前記符号化ユニットに隣接しないものである前記第2の参照ラインに含まれる参照サンプルに適用させて、第2セットの予測サンプルを生成させるように構成されている第2の適用コードと、を含む。
【0019】
命令を記憶する非一時的コンピュータ可読媒体であって、当該命令は1つ又は複数の命令を含み、前記1つ又は複数の命令は、ビデオシーケンスを復号化するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する装置の1つ又は複数のプロセッサによって実行されるときに、符号化ユニットに関連付けられる参照ラインのセットを識別し、前記参照ラインのセットにおける第1の参照ラインが第1の参照ラインインデックスに関連付けられていることに基づいて、第1タイプの補間フィルタを、前記符号化ユニットに隣接するものである前記第1の参照ラインに含まれる参照サンプルに適用して、第1セットの予測サンプルを生成し、前記参照ラインのセットにおける第2の参照ラインが第2の参照ラインインデックスに関連付けられていることに基づいて、第2タイプの補間フィルタを、前記符号化ユニットに隣接しないものである前記第2の参照ラインに含まれる参照サンプルに適用して、第2セットの予測サンプルを生成するというド動作を前記1つ又は複数のプロセッサに実行させる。
【図面の簡単な説明】
【0020】
開示される主題の他の特徴、特性及び様々な利点は、以下の詳しい説明及び添付の図面からより明確になる。図面において、
図1】ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択するための例示的な処理のフローチャートである。
図2】本開示の実施形態による通信システムの簡略化ブロック図である。
図3】ストリーミング環境におけるビデオ符号化器及び復号器の配置の図である。
図4】本開示の実施形態によるビデオ復号器の機能ブロック図である。
図5】本開示の実施形態によるビデオ符号化器の機能ブロック図である。
図6】実施形態によるコンピュータシステムの図である。
【発明を実施するための形態】
【0021】
ガウシアンフィルタは滑らかな画像領域に適し、キュービックフィルタはエッジのある領域に適する。マルチラインイントラ予測で使用される追加参照ラインの追加は、エッジのある領域に役立つ。ただし、同じキュービックフィルタ及びガウスフィルタの両方をすべての参照ラインに適用することは望ましい設計ではない。
【0022】
図1は、ビデオシーケンスを復号化するための参照ラインインデックスに基づいてマルチラインイントラ予測のためのイントラ補間フィルタを選択する例示的な処理100のフローチャートである。いくつかの実現方式において、図1の1つ又は複数の処理ブロックは復号器によって実行されることができる。いくつかの実現形態において、図1の1つ又は複数の処理ブロックは、復号器とは別個の、又はそれを含む別のデバイス又はデバイスのグループ(例えば、符号器)によって実行されることができる。
【0023】
図1に示すように、処理100は、符号化ユニットに関連付けられる参照ラインのセットを識別することを含むことができる(ブロック110)。
【0024】
いくつかの実現形態において、最も近い参照ラインのラインインデックスは0(ゼロ参照ライン)である。また、シグナリングされる最大参照ライン数はNとして表される。以下、で説明するイントラ補間フィルタとは、参照サンプルの分数位置を指す予測値を生成するための補間フィルタである。
【0025】
いくつかの実現形態において、イントラ補間フィルタの選択は、シグナリングされる参照ラインインデックスに依存する。イントラ補間フィルタのタイプは、エッジ保存フィルタ及びエッジ平滑化フィルタ及び/又は類似するフィルタを含む。エッジ平滑化フィルタは、正のフィルタ係数又はゼロのフィルタ係数を有する線形補間フィルタを含む。エッジ保存フィルタは、例えばバイラテラルフィルタなどの、少なくとも1つ又は2つの負のフィルタ係数を有する線形補間フィルタ又は非線形フィルタを含む。
【0026】
図1にさらに示すように、処理100は、前記参照ラインのセットにおける第1の参照ラインが第1の参照ラインインデックスに関連付けられていることに基づいて、第1タイプの補間フィルタを、符号化ユニットに隣接するものである第1の参照ラインに含まれる参照サンプルに適用して、第1セットの予測サンプルを生成すること(ブロック120)、及び、前記参照ラインのセットにおける第2の参照ラインが第2の参照ラインインデックスに関連付けられていることに基づいて、第2タイプの補間フィルタを、符号化ユニットに隣接しないものである第2の参照ラインに含まれる参照サンプルに適用して、第2セットの予測サンプルを生成すること(ブロック130)を含むことができる。
【0027】
実施形態によれば、ゼロ参照ラインにはエッジ平滑化フィルタとエッジ保存フィルタとの両方が適用され、非ゼロ参照ラインにはエッジ保存フィルタのみが適用される。また、エッジ平滑化フィルタは双線形フィルタ又はガウスフィルタを含むことができる。
【0028】
実施形態によれば、エッジ保存フィルタはキュービック補間フィルタ、DCTベースの補間フィルタ(DCT-IF)、4/6タップの多項式ベースの補間フィルタ、バイラテラルフィルタ、エルミート補間フィルタ及び/又は類似するフィルタであってもよい。
【0029】
実施形態によれば、異なるラインに使用されるエッジ保存フィルタは異なる。例えば、エッジ保存フィルタのタップは、ゼロ参照ライン及び非ゼロ参照ラインの場合で異なってもよい。さらに、又は代わりに、Mタップのエッジ保存フィルタをゼロ参照ラインに使用し、Nタップのエッジ保存フィルタを非ゼロ参照ラインに使用する(例えば、M及びNは正の整数であり、且つMはNに等しくない)。さらに、又は代わりに、異なる参照ラインに使用されるエッジ保存フィルタのフィルタ係数は異なってもよい。
【0030】
他の実施形態において、エッジ保存フィルタ及びエッジ平滑化フィルタの係数は固定されており、サンプル値に依存しない。
【0031】
いくつかの実現形態において、イントラ補間フィルタの選択は、参照ラインインデックス及び他の符号化された情報、又は符号器及び復号器の両方で使用可能な任意の情報、例えばイントラ予測モード及びブロックサイズに依存する。
【0032】
実施形態によれば、満たされる条件に基づいてエッジ保存フィルタを使用する。例えば、イントラ予測モードが対角線モード(即ち、モード34)以上であり、且つブロックの幅がS以下である場合、条件が満たされ得る。さらに、又は代わりに、イントラ予測モードが対角線モード(即ち、モード34)以下であり、且つブロックの高さがS以下である場合、条件が満たされ得る。例えば、Sは、ブロックの幅又はブロック高さの閾値を示し得る。異なるラインによって、Sは異なってもよい。例えば、実施形態によれば、ゼロ参照ラインの場合、Sは8であり、非ゼロ参照ラインの場合、Sは16又は32である。
【0033】
実施形態によれば、エッジ平滑化フィルタは、ゼロ参照ラインにおける広角に使用され、エッジ保存フィルタは、非ゼロ参照ラインにおける広角に使用される。さらに、又は代わりに、エッジ保存フィルタは、ゼロ参照ラインにおける広角に使用され、エッジ平滑化フィルタは、非ゼロ参照ラインにおける広角に使用される。
【0034】
実施形態によれば、エッジ保存フィルタとエッジ平滑化フィルタの両方がゼロ参照ラインに適用され、及び/又は少なくとも1つの参照ラインにエッジ保存フィルタ又はエッジ平滑化フィルタが適用される。この場合、2つのフィルタを適用しない可能性がある。実施形態によれば、3つの参照ラインが存在する場合に、ラインインデックスは{0,1, 2}又は{0,1,3}であってもよく、エッジ保存フィルタとエッジ平滑化フィルタの両方をライン0に適用し、エッジ保存フィルタ又はエッジ平滑化フィルタのみをライン1に適用し、そして、エッジ平滑化フィルタ又はエッジ保存フィルタのみをライン2又はライン3に適用する。
【0035】
実施形態によれば、エッジ保存フィルタとエッジ平滑化フィルタは全ての参照ラインに適用されるが、イントラ補間フィルタのタップ数は、ラインごとに異なってもよい。例えば、実施形態において、ゼロ参照ラインに使用されるエッジ保存フィルタはMタップであり、非ゼロ参照ラインに使用されるエッジ保存フィルタはNタップであり(例えば、M及びNは正の整数であり、且つMはNに等しくなく、例えばM=6且つN=4である)。さらに、又は代わりに、ゼロ参照ラインに使用されるエッジ平滑化フィルタはMタップであり、非ゼロ参照ラインに使用されるエッジ平滑化フィルタはNタップである(例えば、M及びNは正の整数であり、且つMはNに等しくなく、例えばM=6且つN=4である)。
【0036】
実施形態によれば、いくつかの参照ラインについて、広角は禁止されるか、又は異なって限定される。例えば、非ゼロ参照ラインの場合、広角は禁止される。さらに、又は代わりに、少なくとも1つの参照ラインは広角を使用しない。さらに、又は代わりに、異なる参照ラインに使用される広角は異なる。例えば、広角イントラ予測方向によって置き換えられる従来の角度イントラ予測方向の数は、参照ラインインデックスに依存する。
【0037】
実施形態によれば、イントラ平滑化フィルタは、ラインごとに異なってもよい。例えば、バイラテラルフィルタは、非ゼロ参照ラインのイントラ平滑化に使用される。さらに、又は代わりに、参照ラインインデックスをシグナリングする場合に、非ゼロ参照ラインについてイントラ平滑化フィルタは禁止される。さらに、又は代わりに、少なくとも1つの参照ラインはバイラテラルフィルタを使用してイントラ平滑化を行う。
【0038】
実施形態によれば、イントラ平滑化フィルタのフィルタタップ数は、ラインごとに異なる。例えば、ゼロ参照ラインに使用されるイントラ平滑化フィルタのフィルタタップ数はMであり、非ゼロ参照ラインに使用されるイントラ平滑化フィルタのフィルタタップ数はNである(例えば、M及びNは正の整数であり、且つMはNに等しくなく、例えばM=6且つN=4である)。
【0039】
実施形態によれば、イントラ平滑化を適用するイントラ予測モードは、ラインごとに異なる。例えば、閾値Tは、イントラ予測モードModeが以下の条件を満たす場合に、どのイントラ予測モードがイントラ平滑化を適用するかを定義し、
min(abs(Mode-Hor),abs(Mode-Ver)) <Tであり、
ここで、「Hor」が水平モードのイントラ予測モードインデックスを示し、「Ver」が垂直モードのイントラ予測モードインデックスを示す。Tの値は、参照ラインインデックス及び他の符号化された情報、又は符号器及び復号器の両方に既知の任意の情報に依存し、例として、ブロック領域サイズ、ブロック幅、ブロックの高さ、ブロックのアスペクト比などを含むが、これらに限定されない。
【0040】
実施形態によれば、非ゼロ参照ラインの場合、プライマリMPMリスト及びセカンダリMPMリストを含む、MPMモードのみを許可する。一実施形態において、現在のブロックの参照ラインインデックスが0よりも大きい場合、現在のブロックのイントラ予測モードがプライマリMPMリストとセカンダリMPMリストのどちらに属するかを指示するために、1つのビンをシグナリングし、「primary_mpm_flag」と呼んでいる。「primary_mpm_flag」が「真」である場合、プライマリMPMインデックスがシグナリングされる。それ以外の場合、セカンダリMPMインデックスがシグナリングされる。非MPMモードは非ゼロ参照ラインに使用されず、セカンダリMPMを使用するか非MPMを使用するかを示すためのフラグはシグナリングされない。
【0041】
実施形態によれば、平面モード及びDCモードはプライマリMPMリスト及びセカンダリMPMリストから除外される。
【0042】
実施形態によれば、いくつかの実現形態は、複数のコンテキストを使用して参照ラインインデックスの第1のビンを符号化する。例えば、コンテキストの選択は、隣接ブロックの参照ラインインデックスに依存する。特定の例として、左のブロックの参照ラインインデックスと上のブロックの参照ラインインデックスの両方が0に等しい場合、コンテキスト0を選択し、また、左のブロックの参照ラインインデックスと上のブロックの参照ラインインデックスの両方が0に等しくない場合、コンテキスト1を選択する。それ以外の場合、コンテキスト2を選択する。
【0043】
実施形態によれば、コンテキストの選択は、隣接ブロックのCBF(符号化ブロックフラグ)に依存する。CBFは、現在のブロックが非ゼロ係数を含むかどうかのインジケーターである。CBFが0に等しい場合、現在のブロックに非ゼロ係数が存在しない。一例では、左のブロックのCBFと上のブロックのCBFの両方が0に等しい場合、コンテキスト0を選択する。また、左のブロックのCBFと上のブロックのCBFの両方が0に等しくない場合、コンテキスト1を選択する。それ以外の場合、コンテキスト2を選択する。
【0044】
実施形態によれば、参照ラインインデックス値に応じて、変換選択情報を符号化するためのコンテキストは、MTSフラグ、MTSインデックス、NSSTインデックスを含むが、これらに限定されない。
【0045】
図1は処理100の例示的なブロックを示したが、いくつかの実現形態において、図1に示されるこれらのブロックと比較して、処理100は、他のブロック、より少ないブロック、異なるブロック又は異なって配置されるブロックを含むことができる。さらに、又は代わりに、処理100の2つ以上のブロックは、並行して実行され得る。
【0046】
図2は、本開示の実施形態による通信システム(200)の概略的ブロック図を示す。通信システム(200)は、ネットワーク(250)を介して相互接続された少なくとも2つの端末(210~220)を含み得る。データの一方向伝送の場合、第1の端末(210)は、ローカル位置でビデオデータを符号化して、ネットワーク(250)を介して他の端末(220)に伝送することができる。第2の端末(220)は、ネットワーク(250)から、他の端末の符号化されたビデオデータを受信し、符号化されたデータを復号化し、復元されたビデオデータを表示することができる。データの一方向伝送は、メディアサービスアプリケーションなどでは一般的である。
【0047】
図2は、例えば、ビデオ会議中に発生する可能性がある符号化されたビデオの双方向伝送をサポートするために提供される第2対の端末(230、240)を示す。データの双方向伝送の場合、各端末(230、240)は、ローカル位置でキャプチャされたビデオデータを符号化して、ネットワーク(250)を介して他方の端末に伝送することができる。各端末(230、240)は、また、他方の端末によって伝送された符号化されたビデオデータを受信し、符号化されたデータを復号化し、復元されたビデオデータをローカル表示デバイスに表示してもよい。
【0048】
図2において、端末(210~240)は、サーバ、パーソナルコンピュータ、及びスマートフォンとして図示されるが、本開示の原理はこれに限定されていない。本開示の実施形態は、ラップトップコンピュータ、タブレット、メディアプレイヤー及び/又は専用のビデオ会議機器に適用される。ネットワーク(250)は、端末(210~240)の間で符号化されたビデオデータを伝送する任意の数のネットワークを示し、例えば、有線及び/又は無線通信ネットワークを含む。通信ネットワーク(250)は、回線交換及び/又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び/又はインターネットを含む。この議論の目的のために、ネットワーク(250)のアーキテクチャ及びトポロジーは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではないかもしれない。
【0049】
開示された主題の適用例として、図3は、ストリーミング環境におけるビデオ符号器及び復号器の配置方式を示し、開示された主題は、例えば、ビデオ会議、デジタルTV、圧縮ビデオのCD、DVD、メモリスティックなどのデジタル媒体への記憶などを含む、ビデオをサポートする他のアプリケーションに等価的に利用されることができる。
【0050】
ストリーミングシステムは、キャプチャサブシステム(313)を含むことができ、当該キャプチャサブシステムは、例えば非圧縮のビデオサンプルストリーム(302)を作成するために、ビデオソース(301)(例えば、デジタル撮影装置)を含んでもよい。ビデオサンプルストリーム(302)は、符号化されたビデオビットストリームと比較して多いデータ量を強調するために太線として描かれる。当該サンプルストリーム(302)は、撮影装置(301)に結合された符号器(303)によって処理されることができる。符号器(303)は、以下でより詳細に説明する開示された主題の各態様を実現又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。符号化されたビデオビットストリーム(304)は、サンプルストリームと比較して少ないデータ量を強調するために細い線として描かれる。符号化されたビデオビットストリーム(304)は、将来の使用のために、ストリーミングサーバ(305)に記憶され得る。1つ以上のストリーミングクライアント(306、308)は、ストリーミングサーバ(305)にアクセスして、符号化されたビデオビットストリーム(304)のコピー(307、309)を検索することができる。クライアント(306)は、符号化されたビデオビットストリーム(307)の着信コピーを復号化し、ディスプレイ(312)又は他のレンダリングデバイス(図示せず)でレンダリングできる発信ビデオサンプルストリーム(311)を作成するビデオ復号器(310)を含むことができる。一部のストリーミングシステムでは、ビデオビットストリーム(304、307、309)を、特定のビデオ符号化/圧縮規格に従って符号化することができる。これらの規格の例は、ITU-T H.265勧告書を含む。非公式的に多用途ビデオ符号化と呼ばれるビデオ符号化規格は開発中である。開示された主題は、VVCのコンテキストで使用することができる。
【0051】
図4は、本開示の実施形態によるビデオ復号器(310)の機能ブロック図であり得る。
【0052】
受信機(410)は、復号器(310)によって復号化される1つ以上のコーデックビデオシーケンスを受信することができる。同一又は別の実施形態では、一度に1つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は他の符号化されたビデオシーケンスから独立している。チャネル(412)から符号化されたビデオシーケンスを受信することができ、チャネル(412)は、当該符号化されたビデオデータを記憶するストレージデバイスへのハードウェア/ソフトウェアリンクであってもよい。受信機(410)は、符号化されたビデオデータ及び他のデータ、例えば、それぞれの使用エンティティ(図示せず)に転送され得る符号化されたオーディオデータ及び/又は補助データストリームを受信してもよい。受信機(410)は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ(415)は、受信機(410)とエントロピー復号器/パーサ(420)(以降、「パーサ」と呼ばれる)との間に結合され得る。受信機(410)が十分な帯域幅と制御可能性を有する記憶/転送デバイス、又は等時性リアルタイムネットワークからデータを受信する場合に、バッファ(415)は必要とされないか、又は小さくなり得る。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファ(415)を必要とする場合があり、バッファ(415)は、比較的大きくすることができ、自己適応サイズを有利に有することができる。
【0053】
ビデオ復号器(310)は、エントロピー符号化されたビデオシーケンスに基づきシンボル(421)を再構成するために、パーサ(420)を含み得る。これらのシンボルのカテゴリは、復号器(310)の動作を管理するための情報と、ディスプレイ(312)などの、復号器の構成部分ではないが復号器に結合され得るレンダリングデバイスを制御するための潜在情報とを含む。図4に示すように、1つ以上のレンダリングデバイスのための制御情報は、補助拡張情報(Supplementary Enhancement Information、SEIメッセージ)又はビデオユーザビリティ情報(Video Usability Information、VUI)パラメータセットフラグメント(図示せず)の形であってよい。パーサ(420)は、受信された符号化されたビデオシーケンスを解析/エントロピー復号化することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に準拠することができ、可変長符号化、ハフマン符号化(Huffman coding)、文脈依存の有無にかかわらず算術符号化などを含む、当業者に周知の原理に従うことができる。パーサ(420)は、グループに対応する少なくとも1つのパラメーターに基づいて、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも1つのためのサブグループパラメータセットを抽出することができる。サブグループは、ピクチャのグループ(Group of Pictures、GOP)、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット(Coding Unit、CU)、ブロック、変換ユニット(Transform Unit、TU)、予測ユニット(Prediction Unit、PU)などを含んでもよい。エントロピー復号器/パーサは、また、符号化されたビデオシーケンス情報から、例えば、変換係数、量子化器パラメーター(Quantizer Parameter、QP)値、動きベクトルなどを抽出してもよい。
【0054】
パーサ(420)は、バッファ(415)から受信されたビデオシーケンスに対してエントロピー復号化/解析動作を実行することで、シンボル(421)を作成することができる。パーサ(420)は、符号化されたデータを受信し、特定のシンボル(421)を選択的に復号化してもよい。また、パーサ(420)は、特定のシンボル(421)が動き補償予測ユニット(453)、スケーラ/逆変換ユニット(451)、イントラ予測ユニット(452)又はループフィルタ(456)に提供されるかどうかを判定してもよい。
【0055】
シンボル(421)の再構築は、符号化されたビデオピクチャ又は符号化されたビデオピクチャの一部のタイプ(例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック)及び他の要因によって、複数の異なるユニットに関与してもよい。関与するユニット、及び関与方式は、符号化されたビデオシーケンスからパーサ(420)によって解析されたサブグループ制御情報によって制御されてもよい。簡潔のために、パーサ(420)と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは説明されない。
【0056】
既に言及された機能ブロックに加えて、復号器(310)は概念的には、以下に説明する複数の機能ユニットに細分されることができる。商業的な制約の下で実行される実際の実現では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明するために、概念的には、以下の機能ユニットに細分されることは適切である。
【0057】
第1のユニットはスケーラ/逆変換ユニット(451)である。スケーラ/逆変換ユニット(451)は、パーサ(420)から(1つ以上の)シンボル(421)としての量子化変換係数及び制御情報を受信し、使用する変換方法、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどが含まれる。スケーラ/逆変換ユニット(451)は、サンプル値を含むブロックを出力することができ、当該ブロックはアグリゲータ(455)に入力されることができる。
【0058】
いくつかの場合に、スケーラ/逆変換ユニット(451)の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用しないが、現在のピクチャの以前に再構築された部分からの予測情報を使用するブロックに属してもよい。そのような予測情報は、イントラピクチャ予測ユニット(452)によって提供することができる。いくつかの場合に、イントラピクチャ予測ユニット(452)は、現在の(部分的に再構成された)ピクチャ(456)から抽出された、周囲が既に再構築された情報を使用して、再構築中のブロックと同じサイズ及び形状のブロックを生成する。いくつかの場合に、アグリゲータ(455)は、各サンプルに基づいて、イントラ予測ユニット(452)によって生成される予測情報を、スケーラ/逆変換ユニット(451)によって提供される出力サンプル情報に追加する。
【0059】
他の場合に、スケーラ/逆変換ユニット(451)の出力サンプルは、インター符号化及び潜在的動き補償ブロックに属してもよい。このような場合に、動き補償予測ユニット(453)は、参照ピクチャメモリ(457)にアクセスして、予測のためのサンプルを抽出してもよい。当該ブロックに属するシンボル(421)に基づき、抽出されたサンプルに対して動き補償を行った後に、これらのサンプルは、アグリゲータ(455)によって、スケーラ/逆変換ユニットの出力(この場合に、残差サンプル又は残差信号と呼ばれる)に追加されることで、出力サンプル情報を生成することができる。動き補償ユニットが予測サンプルを抽出するための参照ピクチャメモリ内のアドレスは動きベクトルによって制御されてもよく、動きベクトルはシンボル(421)の形で動き補償ユニットによって使用されることができ、シンボル(421)は、例えば、X、Y、及び参照ピクチャコンポーネントを有してもよい。動き補償は、サブサンプルの正確な動きベクトルが使用されている際に、参照ピクチャメモリから抽出されたサンプル値に対する補間、動きベクトル予測メカニズムなどを含んでもよい。
【0060】
アグリゲータ(455)の出力サンプルは、ループフィルタユニット(456)において様々なループフィルタリング技術によって処理され得る。ビデオ圧縮技術は、インループフィルタ技術を含んでもよく、当該インループフィルタ技術は、符号化されたビデオビットストリームに含められてパーサ(420)からのシンボル(421)としてループフィルタユニット(456)に使用可能にされるパラメータによって制御され、しかし、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの(復号化順序で)前の部分を復号化する期間に得られたメタ情報に応答してもよいし、以前に再構築されループフィルタ処理されたサンプル値に応答してもよい。
【0061】
ループフィルタユニット(456)の出力はサンプルストリームであってもよく、当該サンプルストリームは、将来のピクチャ間予測で使用されるために、レンダリングデバイス(312)に出力され、参照ピクチャメモリ(456)に記憶されてもよい。
【0062】
完全に再構成されると、一部の符号化されたピクチャは、将来の予測のために参照ピクチャとして使用されることができる。符号化されたピクチャが完全に再構成され、且つ符号化されたピクチャが(例えば、パーサ(420)によって)参照ピクチャとして識別されると、現在の参照ピクチャ(656)は参照ピクチャバッファ(457)の一部になることができ、そして、その後の符号化されたピクチャの再構築を開始する前に、新しい現在のピクチャメモリを再割り当てすることができる。
【0063】
ビデオ復号器(310)は、例えば ITU-T H.265勧告書の規格に記録されている所定のビデオ圧縮技術に従って、復号化動作を実行してもよい。符号化されたビデオシーケンスが(ビデオ圧縮技術ドキュメント又は規格で指定され、特にその中の文書ファイルで指定されるような)ビデオ圧縮技術又は規格の構文に準拠する意味で、符号化されたビデオシーケンスは、使用されているビデオ圧縮技術又は規格によって指定される構文に準拠することができる。コンプライアンスについて、符号化されたビデオシーケンスの複雑さがビデオ圧縮技術又は規格のレベルで限定されている範囲内にあることも要求する。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート(例えばメガサンプル毎秒を単位として測定する)、最大参照ピクチャサイズなどを制限する。いくつかの場合に、レベルによって設定される制限は、仮想参照復号器(Hypothetical Reference Decoder、HRD)の仕様及び符号化されたビデオシーケンスにおいてシグナリングされるHRDバッファ管理用のメタデータによってさらに制限されてもよい。
【0064】
実施形態において、受信機(410)は、符号化されたビデオとともに、追加の(冗長な)データを受信してもよい。追加のデータは(1つ以上の)符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを正確に復号化する、及び/又は、元のビデオデータをより正確に再構築するためにビデオ復号器(310)によって使用されてもよい。追加のデータは、例えば、時間、空間、又は信号対雑音比(signal noise ratio、SNR)拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形であってもよい。
【0065】
図5は、本開示の実施形態によるビデオ符号器(303)の機能ブロック図であり得る。
【0066】
符号器(303)は、(符号器の一部ではない)ビデオソース(301)からビデオサンプルを受信してもよく、当該ビデオソースは符号器(303)によって符号化される(1つ以上の)ビデオ画像をキャプチャしてもよい。
【0067】
ビデオソース(301)は、符号器(303)によって符号化されするデジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供してもよく、当該デジタルビデオサンプルストリームは、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット・・・)、任意の色空間(例えば、BT.601 Y CrCb、RGB・・・)及び任意の適切なサンプリング構成(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)を有してもよい。メディアサービスシステムでは、ビデオソース(301)は、以前に準備されたビデオを記憶するストレージデバイスであってもよい。ビデオ会議システムでは、ビデオソース(503)は、ローカルイメージ情報をビデオシーケンスとしてキャプチャする撮影装置であってもよい。ビデオデータは、順番に見る際に動きが与えられる複数の個別のピクチャとして提供されてもよい。これらのピクチャ自体は空間画素アレイとして編成されてもよく、なお、各画素は、使用されるサンプリング構成、色空間などによって、1つ以上のサンプルを含んでもよい。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。
【0068】
実施形態によれば、符号器(303)は、リアルタイム、又はアプリケーションによって要求される他の任意の時間制約の下で、ソースビデオシーケンスのピクチャを符号化し、符号化されたビデオシーケンス(543)に圧縮してもよい。適切な符号化速度を実施することはコントローラ(550)の機能の1つである。コントローラは、以下に説明する他の機能ユニットを制御し、これらのユニットに機能的に結合される。簡潔のために、結合は描かれていない。コントローラによって設置されるパラメータは、レート制御関連パラメータ(ピクチャスキップ、量子化器、レート歪み最適化技術のλ値…)、ピクチャサイズ、ピクチャグループ(GOP)レイアウト、最大動きベクトル探索範囲などを含んでもよい。当業者は、コントローラ(550)の他の機能を容易に認識することができ、これらの機能は特定のシステム設計に対して最適化されたビデオ符号器(303)に関する。
【0069】
一部のビデオ符号器は、当業者が「符号化ループ」として容易に認識する方式で動作する。非常に簡略化した説明として、符号化ループは、符号器(530)(以降、「ソース符号器」と呼ばれる)(符号化される入力ピクチャ及び(1つ以上の)参照ピクチャに基づいてシンボルを作成することを担当する)の符号化部分、及び符号器(303)に埋め込まれる(ローカルの)復号器(533)を含んでもよく、当該復号器(533)はシンボルを再構築して(リモート)復号器によっても作成されるサンプルデータを作成する(シンボルと符号化されたビデオビットストリームとの間の圧縮は、開示された主題で検討されているビデオ圧縮技術では無損失であるため)。当該再構築されたサンプルストリームは、参照ピクチャメモリ(534)に入力される。シンボルストリームの復号化によって、復号器の位置(ローカル又はリモート)に関係がないビットが正確である結果が得られるため、参照ピクチャバッファのコンテンツもローカル符号器とリモート符号器との間でビットが正確である。つまり、符号器の予測部分が「見る」参照ピクチャサンプルは、復号器が復号化中に予測を使用する際に「見る」サンプル値と全く同じである。参照ピクチャの同期性という基本的な原理(及び、例えば、チャネル誤差のため、同期性を維持できない場合に生じるドリフト)は、当業者に周知のものである。
【0070】
「ローカル」復号器(533)の動作は、以上で図4に基づいて詳細に説明された「リモート」復号器(310)の動作と同じであってもよい。しかしながら、また、図5を簡単に参照し、シンボルが利用可能であり、且つ、エントロピー符号器(545)及びパーサ(420)が無損失でシンボルを、符号化されたビデオシーケンスに符号化/復号化できる場合に、チャネル(412)、受信機(410)、バッファ(415)及びパーサ(420)を含む復号器(310)のエントロピー復号化部分はローカル復号器(533)で完全に実現されない場合がある。
【0071】
この場合、復号器に存在する解析/エントロピー復号化に加えて、任意の復号器技術も、必然的に基本的に同じ機能形式で対応する符号器に存在することが分かる。符号器技術と完全に説明された復号器技術とは相互に逆であるため、符号器技術の説明を簡略化できる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。
【0072】
ソース符号器(530)の動作の一部として、ソース符号器(530)は動き補償予測符号化を実行してもよく、動き補償予測符号化は、ビデオシーケンスからの「参照フレーム」として指定された1つ以上の以前に符号化されたフレームを参照することで入力フレームを予測的に符号化する。このようにして、符号化エンジン(532)は入力フレームの画素ブロックと、入力フレームの予測参照として選択され得る参照フレームの画素ブロックとの間の差異を符号化してもよい。
【0073】
ローカルビデオ復号器(533)は、ソース符号器(530)によって作成されたシンボルに基づいて、参照フレームとして指定され得るフレームの符号化されたビデオデータを復号化してもよい。符号化エンジン(532)の動作は、有利には、非可逆処理であり得る。符号化されたビデオデータがビデオ復号器(図5に図示せず)で復号化され得る場合、再構築されたビデオシーケンスは、通常、多少の誤差を有するソースビデオシーケンスのコピーであり得る。ローカルビデオ復号器(533)は、参照フレームに対してビデオ復号器によって実行され得る復号化処理をコピーし、再構成された参照フレームを参照ピクチャバッファ(534)に記憶してもよい。このようにして、符号器(303)は、再構成された参照フレームのコピーをローカルに記憶することができ、当該コピーは、リモートビデオ復号器によって得られる再構成された参照フレームと共通のコンテンツを有する(伝送誤差がない)。
【0074】
予測器(535)は、符号化エンジン(532)に対して予測検索を実行することができる。つまり、符号化される新しいフレームについて、予測器(535)は、参照ピクチャメモリ(534)において、(候補参照画素ブロックとしての)新しいピクチャの適切な予測参照として使用し得るサンプルデータ、又は例えば参照ピクチャの動きベクトル、ブロック形状などの特定のメタデータを検索してもよい。予測器(535)は、適切な予測参照を見つけるために、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合に、例えば、予測器(535)によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ(534)に記憶された複数の参照ピクチャから抽出された予測参照を有してもよい。
【0075】
コントローラ(550)は、例えば、ビデオデータを符号化するためのパラメータとサブグループパラメータの設定を含む、ソース符号器(530)の符号化動作を管理することができる。
【0076】
エントロピー符号器(545)において、以上で言及された全ての機能ユニットの出力に対してエントロピー符号化を行ってもよい。エントロピー符号器は、例えばハフマン符号化、可変長符号化、算術符号化などの当業者に周知の技術に従って、シンボルに対して無損失圧縮を行うことにより、各機能ユニットによって生成されたシンボルを、符号化されたビデオシーケンスに変換する。
【0077】
送信機(540)は、エントロピー符号器(545)によって作成された、符号化されたビデオシーケンスをバッファリングすることで、通信チャネル(560)を介する伝送のために準備することができ、当該通信チャネル(560)は、符号化されたビデオデータを記憶するストレージデバイスへのハードウェア/ソフトウェアリンクであってもよい。送信機(540)は、ビデオ符号器(530)からの符号化されたビデオデータを、伝送しようとする他のデータ、例えば、符号化されたオーディオデータ及び/又は補助データストリーム(ソースは図示せず)とともにマージしてもよい。
【0078】
コントローラ(550)は、符号器(303)の動作を管理することができる。コントローラ(550)は、符号化中に、各符号化されたピクチャに、特定の符号化されたピクチャタイプを割り当てることができ、これは、対応するピクチャに適用し得る符号化技術に影響を与える可能性がある。例えば、通常、ピクチャは、次のフレームタイプのいずれかとして割り当てられ得る。
【0079】
イントラピクチャ(Iピクチャ)は、シーケンス内の任意の他のフレームを予測のソースとして使用せずに符号化及び復号化されるピクチャとし得る。一部のビデオコーデックは、例えば、独立復号器リフレッシュピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのこれらの変形及び対応する用途と特徴を知っている。
【0080】
予測ピクチャ(Pピクチャ)は、多くとも1つの動きベクトル及び参照インデックスを使用して各ブロックのサンプル値を予測し得るイントラ予測又はインター予測を使用して、符号化及び復号化されるピクチャとし得る。
【0081】
双方向予測ピクチャ(Bピクチャ)は、多くとも2つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測又はインター予測を使用して符号化及び復号化されるピクチャとし得る。同様に、マルチ予測ピクチャは、2つを超える参照画像及び関連メタデータを単一のブロックの再構成に使用できる。
【0082】
ソースピクチャは一般的に、空間的に、複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8又は16×16サンプルのブロック)に細分され、ブロックごとに符号化されてもよい。これらのブロックは、ブロックの対応するピクチャに適用される符号化割り当てによって決定される他の(符号化された)ブロックを参照して予測的に符号化されてもよい。例えば、Iピクチャのブロックは非予測的に符号化されてもよいし、又は、同一のピクチャの符号化されたブロックを参照してこれらのIピクチャのブロックが予測的に符号化されてもよい(空間的予測又はイントラ予測)。Pピクチャの画素ブロックは、1つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して予測的に符号化され得る。Bピクチャのブロックは、1つ又は2つの以前に符号化された参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化され得る。
【0083】
ビデオ符号器(303)は、例えばITU-T H.265勧告書などの所定のビデオ符号化技術又は規格に基づき、符号化動作を実行することができる。ビデオ符号器(303)は、その動作中に、入力ビデオシーケンスにおける時間的及び空間的冗長性による予測符号化動作を含む様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定された構文に準拠し得る。
【0084】
実施形態において、送信機(540)は、符号化されたビデオとともに、追加のデータを送信してもよい。ビデオ符号器(530)は、このようなデータを、符号化されたビデオシーケンスの一部として含めてもよい。追加のデータは、時間的/空間的/SNR拡張層、例えば冗長なピクチャ、スライスのような他の形の冗長データ、補助拡張情報(SEI)メッセージ、視覚的ユーザビリティ情報(VUI)パラメータセットフラグメントなどを含んでもよい。
【0085】
また、提案された方法は、処理回路(例えば、1つ又は複数のプロセッサ又は1つ又は複数の集積回路)によって実現することができる。一例では、1つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行することで、提案された方法の1つ又は複数を実行する。
【0086】
上記の技術はコンピュータ可読命令によってコンピュータソフトウェアとして実現され、1つ又は複数のコンピュータ可読媒体に物理的に記憶されてもよい。例えば、図6は開示された主題のいくつかの実施形態を実現するのに適したコンピュータシステム600を示す。
【0087】
コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語を使用してコーディングすることができ、任意の適切なマシンコード又はコンピュータ言語に対して、アセンブル、コンパイル、リンクなどのメカニズムを適用することで、コンピュータ中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)などによって直接的に実行されるか、又は解釈、マイクロコードなどによって実行される命令を含むコードを作成することができる。
【0088】
命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそれらのコンポーネントで実行されることができる。
【0089】
図6に示すコンピュータシステム600に使用されるコンポーネントは本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置も、コンピュータシステム600の例示的な実施例で示したコンポーネントのいずれか、又はそれらの組み合わせに関する任意の依存性又は要求を有するように解釈されるべきではない。
【0090】
コンピュータシステム600はいくつかのヒューマンマシンインターフェイス入力機器を含んでもよい。このようなヒューマンマシンインターフェイス入力機器は例えば、触覚入力(例えば:キーストローク、スライド、データグローブ移動)、オーディオ入力(例えば:音声、拍手)、視覚入力(例えば:ジェスチャ)、嗅覚入力(図示せず)などの1つ又は複数の人間ユーザによる入力に応答することができる。ヒューマンマシンインタフェース装置はさらに、例えば、オーディオ(例えば、音声、音楽、環境音)、画像(例えば、スキャンした画像、静止画撮影装置から取得された写真画像)、ビデオ(例えば2次元ビデオ、ステレオビデオが含まれる3次元ビデオ)などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。
【0091】
入力マンマシンインタフェース機器は、キーボード601、マウス602、タッチパッド603、タッチパネル610、データグローブ、ジョイスティック605、マイク606、スキャナ607、撮影装置(カメラ)608のうちの1つ又は複数を有してもよい(それぞれが1つのみ図示される)。
【0092】
コンピュータシステム600はさらにマンマシンインタフェース出力機器を有してもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い/味を介して1つ又は複数の人類ユーザの感覚を刺激することができる。このようなマンマシンインタフェース出力機器は、触覚出力機器(例えば、タッチパネル610、データグローブ又はジョイスティック605による触覚フィードバック、ただし、入力機器として用いられない触覚フィードバック機器も存在する)、オーディオ出力機器(例えば、スピーカー609、ヘッドフォン(図示せず))、視覚出力機器(例えば、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン610、バーチャルリアリティ眼鏡(図示せず)、ホログラフィックディスプレイ及びスモークタンク(図示せず)であり、なお、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有してなくてもよく、そのうちのいくつかは、立体画像出力のような手段で、2次元視覚出力又は3次元以上の出力を出力する)、及びプリンター(図示せず)を含む。
【0093】
コンピュータシステム600はさらに、人間がアクセスし得る記憶機器及びその関連する媒体を有してもよく、例えば、CD/DVDなどの媒体621を有するCD/DVD ROM/RW620などの光学媒体、サムドライブ622、取り外し可能なハードドライブ又はソリッドステートドライブ623、磁気テープとフロッピーディスク(図示せず)のような従来の磁気媒体、専用ROM/ASIC/PLDに基づく機器(例えばドングル(図示せず))などを含む。
【0094】
当業者は、本出願で開示された主題に関連して使用される用語「コンピュータ可読媒体」には伝送媒体、搬送波又は他の瞬間信号が含まれないことを理解できる。
【0095】
コンピュータシステム600は、さらに1つ又は複数の通信ネットワークへの(1つ又は複数の)インタフェースを含んでもよい。ネットワークは、例えば無線ネットワーク、有線ネットワーク、光学ネットワークであってもよい。ネットワークはさらに、ローカルネットワーク、ワイドエリアネットワーク、メトロポリタンネットワーク、車載及び工業ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例は、ローカルエリアネットワーク(例えば、イーサネット、無線LAN)、セルラーネットワーク(全球モバイル通信ネットワーク(GSM)、第3世代(3G)、第4世代(4G)、第5世代(5G)、ロングタームエボリューション(LTE)などを含む)、テレビ有線又は無線広域デジタルネットワーク(有線テレビ、衛星テレビ及び地上波テレビを含む)、車載及び工業ネットワーク(CANバス(CANBus)を含む)などを含む。あるネットワークは一般的に、ある汎用データポート又は周辺バス649(例えば、コンピュータシステム600のUSBポート)の外部ネットワークインタフェースに接続されるアダプタを必要とし、他のネットワークは一般的に、以下で説明される例えば、PCコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェースによってシステムバスに接続されることで、コンピュータシステム600のコアに集積される。コンピュータシステム600はこれらのネットワークのいずれかを介して、他のエンティティと通信することができる。このような通信は、一方向受信のみ(例えば、放送テレビ)、一方向送信のみ(例えば、あるCANバス機器へのCANバス)、又は双方向(例えば、ローカルエリア又は広域デジタルネットワークを使用して他のコンピュータシステムに達する)であってもよい。上記のこれらのネットワーク及びネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを利用することができる。
【0096】
前記マンマシンインタフェース機器、人間がアクセスし得る記憶機器及びネットワークインタフェースは、コンピュータシステム600のコア640に接続され得る。
【0097】
コア640は1つ又は複数の中央処理ユニット(CPU)641、グラフィック処理ユニット(GPU)642、フィールドプログラム可能なゲートアレイ(FPGA)643という形式の専用のプログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ644などを含む。これらの機器は、読み取り専用メモリ(ROM)645、ランダムアクセスメモリ646、内部大容量メモリ647(内部のユーザアクセスできないハードディスクドライブ、ソリッドステートドライブ(SSD)など)とともに、システムバス648を介して接続される。あるコンピュータシステムにおいて、1つ又は複数の物理プラグという形式で、システムバス648にアクセスすることで、別のCPU、GPUなどによる拡張を可能にする。周囲機器は、直接的又は周辺バス649を介してコアのシステムバス648に接続される。周辺バスのアーキテクチャは周辺コンポーネントの相互接続(PCI)、USBなどを含む。
【0098】
CPU641、GPU642、FPGA643及びアクセラレータ644はいくつかの命令を実行することができ、これらの命令を組み合わせると、上記のコンピュータコードを構成することができる。当該コンピュータコードは、ROM645又はRAM646に記憶される。一時的なデータはRAM646に記憶されてもよく、永久データは、例えば内部大容量メモリ647に記憶されてもよい。キャッシュメモリを使用することによってメモリ機器のいずれかへの快速記憶及び検索を実現することができ、当該キャッシュメモリは1つ又は複数のCPU641、GPU642、大容量記憶メモリ647、ROM645、RAM646などに密接に関連することができる。
【0099】
コンピュータ可読媒体は、コンピュータによって実現される様々な動作を実行するためのコンピュータコードを有することができる。媒体とコンピュータコードは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又は、コンピュータソフトウェア分野の当業者に周知且つ使用可能なタイプのものであってもよい
【0100】
限定ではなく例示として、アーキテクチャ600を有するコンピュータシステム、特にコア640は、(1つ又は複数の)プロセッサ(CPU、GPU、FPGA、アクセラレータなどを含む)が1つ又は複数の有形コンピュータ可読媒体に具現化されるソフトウェアを実行することで、機能を提供することができる。このようなコンピュータ可読媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶機器に関する媒体、及び例えばコア内部大容量メモリ647又はROM645のような、コア640の非一時的な性質を持つ記憶機器であってもよい。本開示の各実施形態を実現するためのソフトウェアはこのような機器は記憶され、コア640によって実行され得る。特定の需要に応じて、コンピュータ可読媒体には1つ又は複数の記憶機器又はチップが含まれてもよい。ソフトウェアは、コア640、特にそのうちのプロセッサ(CPU、GPU、FPGAなどを含む)に、RAM646に記憶されるデータ構成を限定すること、及びソフトウェアによって限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。また或いは代わりとして、コンピュータシステムは、ロジックハードワイヤード又は他の形式で回路(例えば、アクセラレータ644)に実装されることによって、機能を提供することができ、当該回路は、ソフトウェアの代わりとして、又はソフトウェアとともに動作することで、本明細書で説明される特定のプロセス又は特定のプロセスの特定部分を実行することができる。適切な場合、言及されたソフトウェアにはロジックが含まれ、逆に、言及されたロジックにはソフトウェアが含まれてもよい。適切な場合、言及されたコンピュータ可読媒体には、実行されるソフトウェアが記憶される回路(例えば、集積回路(IC))、実行されるロジックを具現化する回路、或いはそれらの両方が含まれてもよい。本開示にはハードウェアとソフトウェアの任意の適切な組み合わせが含まれる。
【0101】
本開示は、いくつかの例示的な実施例を既に説明したが、本開示の範囲内にある変更、置き換え及び様々な代替の均等物が存在する。従って、本明細書では明示的に示されていないか又は記載されていないが、当業者が、本開示の原理を具現化し従ってその精神及び範囲内にある多くのシステム及び方法を思い付くことができることは理解すべきである。
図1
図2
図3
図4
図5
図6