IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アリババ グループ ホウルディング リミテッドの特許一覧

特表2023-507911ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム
<>
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図1
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図2A
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図2B
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図3A
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図3B
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図4
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図5
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図6
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図7
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図8
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図9
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図10
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図11
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図12
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図13
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図14
  • 特表-ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-28
(54)【発明の名称】ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム
(51)【国際特許分類】
   H04N 19/70 20140101AFI20230220BHJP
【FI】
H04N19/70
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022532693
(86)(22)【出願日】2020-12-01
(85)【翻訳文提出日】2022-07-15
(86)【国際出願番号】 US2020062681
(87)【国際公開番号】W WO2021133519
(87)【国際公開日】2021-07-01
(31)【優先権主張番号】62/954,011
(32)【優先日】2019-12-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】511050697
【氏名又は名称】アリババ グループ ホウルディング リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】チェン,ジエ
(72)【発明者】
【氏名】リャオ,ル-リン
(72)【発明者】
【氏名】イエ,ヤン
(72)【発明者】
【氏名】ルオ,ジャンコン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159RC11
5C159SS19
(57)【要約】
映像処理のための方法及び機器は、映像シーケンスを受信することに応答して、映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び非GDRピクチャを符号化することを含む。
【特許請求の範囲】
【請求項1】
命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、機器に方法を行わせるために、前記機器の少なくとも1つのプロセッサによって実行可能であり、前記方法は、
映像シーケンスを受信することに応答して、前記映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、前記第1のフラグデータは、前記映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
前記映像シーケンスに関して前記GDRが無効にされることを前記第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、前記映像シーケンス内の前記ピクチャに関連するピクチャヘッダを符号化すること、及び
前記非GDRピクチャを符号化すること
を含む、非一時的コンピュータ可読媒体。
【請求項2】
前記ピクチャヘッダを符号化することは、
前記ピクチャヘッダ内の第2のフラグデータを符号化することを無効にすることを含み、
前記第2のフラグデータは、前記ピクチャがGDRピクチャであるかどうかを表す、請求項1に記載の非一時的コンピュータ可読媒体。
【請求項3】
前記第2のフラグデータは、前記ピクチャがGDRピクチャであることを表す「1」の値、又は前記ピクチャが前記非GDRピクチャであることを表す「0」の値を有する、請求項2に記載の非一時的コンピュータ可読媒体。
【請求項4】
前記ピクチャヘッダを符号化することは、
前記ピクチャヘッダ内の第2のフラグデータを符号化することを含み、
前記第2のフラグデータは、前記ピクチャが前記非GDRピクチャであることを表す、請求項1に記載の非一時的コンピュータ可読媒体。
【請求項5】
前記機器の前記少なくとも1つのプロセッサによって実行可能な前記命令のセットは、
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記ピクチャヘッダ内の第2のフラグデータを符号化することを有効にすることであって、前記第2のフラグデータは、前記ピクチャがGDRピクチャであるかどうかを表すこと、及び
前記ピクチャを符号化すること
を前記機器にさらに行わせる、請求項1に記載の非一時的コンピュータ可読媒体。
【請求項6】
前記機器の前記少なくとも1つのプロセッサによって実行可能な前記命令のセットは、
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表し、及び前記ピクチャがGDRピクチャであることを前記第2のフラグデータが表す場合、仮想境界を使用して前記ピクチャを第1の領域と第2の領域とに分割すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を前記機器にさらに行わせる、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項7】
前記第2のフラグデータは、前記ピクチャがGDRピクチャであることを表す「1」の値、又は前記ピクチャが前記非GDRピクチャであることを表す「0」の値を有する、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項8】
前記第1のフラグデータは、前記映像シーケンスに関して前記GDRが有効にされることを表す「1」の値、又は前記映像シーケンスに関して前記GDRが無効にされることを表す「0」の値を有する、請求項1に記載の非一時的コンピュータ可読媒体。
【請求項9】
命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、機器に方法を行わせるために、前記機器の少なくとも1つのプロセッサによって実行可能であり、前記方法は、
映像のピクチャを受信することに応答して、前記ピクチャに関連するフラグデータに基づいて、前記ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、
前記ピクチャが前記GDRピクチャであるという判定に基づき、仮想境界を使用して前記ピクチャの第1の領域及び第2の領域を決定すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を含む、非一時的コンピュータ可読媒体。
【請求項10】
前記第1のピクセルのフィルタリングが前記第2の領域内の前記第2のピクセルの前記情報を使用する場合に前記第1の領域内の前記第1のピクセルに対する前記ループフィルタを無効にするか、又は前記第1の領域内のピクセルの前記情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用することは、
前記第1の領域内のサンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを無効にすること、又は
前記第1の領域内の前記ピクセルを使用して、前記サンプル適応オフセット、前記デブロッキングフィルタ、もしくは前記適応ループフィルタの少なくとも1つを適用すること
を含む、請求項9に記載の非一時的コンピュータ可読媒体。
【請求項11】
前記機器の前記少なくとも1つのプロセッサによって実行可能な前記命令のセットは、
シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、又はピクチャヘッダの少なくとも1つにおける前記フラグデータを符号化又は復号化すること
を前記機器にさらに行わせる、請求項9に記載の非一時的コンピュータ可読媒体。
【請求項12】
前記第1の領域は、左側領域又は上部領域を含み、前記第2の領域は、右側領域又は下部領域を含む、請求項9に記載の非一時的コンピュータ可読媒体。
【請求項13】
前記フラグデータは、前記ピクチャが前記GDRピクチャであることを表す「1」の値、又は前記ピクチャが非GDRピクチャであることを表す「0」の値を有する、請求項9に記載の非一時的コンピュータ可読媒体。
【請求項14】
機器であって、
命令のセットを記憶するように構成されるメモリと、
前記メモリに通信可能に結合される1つ以上のプロセッサとを含み、前記1つ以上のプロセッサは、
映像シーケンスを受信することに応答して、前記映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、前記第1のフラグデータは、前記映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
前記映像シーケンスに関して前記GDRが無効にされることを前記第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、前記映像シーケンス内の前記ピクチャに関連するピクチャヘッダを符号化すること、及び
前記非GDRピクチャを符号化すること
を前記機器に行わせるために前記命令のセットを実行するように構成される、機器。
【請求項15】
前記ピクチャヘッダを符号化することは、
前記ピクチャヘッダ内の第2のフラグデータを符号化することを無効にすることを含み、
前記第2のフラグデータは、前記ピクチャがGDRピクチャであるかどうかを表す、請求項14に記載の機器。
【請求項16】
前記第2のフラグデータは、前記ピクチャがGDRピクチャであることを表す「1」の値、又は前記ピクチャが前記非GDRピクチャであることを表す「0」の値を有する、請求項15に記載の機器。
【請求項17】
前記ピクチャヘッダを符号化することは、
前記ピクチャヘッダ内の第2のフラグデータを符号化することを含み、
前記第2のフラグデータは、前記ピクチャが前記非GDRピクチャであることを表す、請求項14に記載の機器。
【請求項18】
前記1つ以上のプロセッサは、
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記ピクチャヘッダ内の第2のフラグデータを符号化することを有効にすることであって、前記第2のフラグデータは、前記ピクチャがGDRピクチャであるかどうかを表すこと、及び
前記ピクチャを符号化すること
を前記機器に行わせるために前記命令のセットを実行するようにさらに構成される、請求項14に記載の機器。
【請求項19】
前記1つ以上のプロセッサは、
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表し、及び前記ピクチャがGDRピクチャであることを前記第2のフラグデータが表す場合、仮想境界を使用して前記ピクチャを第1の領域と第2の領域とに分割すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を前記機器に行わせるために前記命令のセットを実行するようにさらに構成される、請求項14に記載の機器。
【請求項20】
前記フラグデータは、前記ピクチャが前記GDRピクチャであることを表す「1」の値、又は前記ピクチャが非GDRピクチャであることを表す「0」の値を有する、請求項14に記載の機器。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本開示は、参照によりその全内容が本明細書に援用される、2019年12月27日に出願された米国仮特許出願第62/954,011号に対する優先権を主張する。
【0002】
技術分野
[0002] 本開示は、概して、映像処理に関し、より詳細には、ピクチャに対して漸進的復号化リフレッシュ(GDR)処理を行うための方法及びシステムに関する。
【背景技術】
【0003】
背景
[0003] 映像は、視覚情報を取り込んだ静的ピクチャ(又は「フレーム」)のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは、通常、符号化と称され、復元プロセスは、通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング(HEVC/H.265)規格、多用途ビデオコーディング(VVC/H.266)標準AVS規格などの映像符号化規格が標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率が一層高くなる。
【発明の概要】
【課題を解決するための手段】
【0004】
開示の概要
[0004] 本開示の実施形態は、映像処理のための方法及び機器を提供する。一態様では、非一時的コンピュータ可読媒体が提供される。非一時的コンピュータ可読媒体は、命令のセットを記憶し、命令のセットは、機器に方法を行わせるために、機器の少なくとも1つのプロセッサによって実行可能である。その方法は、映像シーケンスを受信することに応答して、映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び非GDRピクチャを符号化することを含む。
【0005】
[0005] 別の態様では、非一時的コンピュータ可読媒体が提供される。非一時的コンピュータ可読媒体は、命令のセットを記憶し、命令のセットは、機器に方法を行わせるために、機器の少なくとも1つのプロセッサによって実行可能である。その方法は、映像ビットストリームを受信することに応答して、映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、シーケンス内のピクチャに関連するピクチャヘッダを復号化することであって、ピクチャヘッダは、ピクチャが非GDRピクチャであることを示すこと、及び非GDRピクチャを復号化することを含む。
【0006】
[0006] さらに別の態様では、非一時的コンピュータ可読媒体が提供される。非一時的コンピュータ可読媒体は、機器に方法を行わせるために、機器の少なくとも1つのプロセッサによって実行可能な命令のセットを記憶する。その方法は、映像のピクチャを受信することに応答して、ピクチャに関連するフラグデータに基づいて、ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、ピクチャがGDRピクチャであるという判定に基づき、仮想境界を使用してピクチャの第1の領域及び第2の領域を決定すること、第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用することを含む。
【0007】
[0007] さらに別の態様では、機器が提供される。この機器は、命令のセットを記憶するように構成されるメモリと、メモリに通信可能に結合される1つ以上のプロセッサとを含み、1つ以上のプロセッサは、映像シーケンスを受信することに応答して、映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び非GDRピクチャを符号化すること、を機器に行わせるために、命令のセットを実行するように構成される。
【0008】
[0008] さらに別の態様では、機器が提供される。この機器は、命令のセットを記憶するように構成されるメモリと、メモリに通信可能に結合される1つ以上のプロセッサとを含み、1つ以上のプロセッサは、映像ビットストリームを受信することに応答して、映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、シーケンス内のピクチャに関連するピクチャヘッダを復号化することであって、ピクチャヘッダは、ピクチャが非GDRピクチャであることを示すこと、及び非GDRピクチャを復号化すること、を機器に行わせるために、命令のセットを実行するように構成される。
【0009】
[0009] さらに別の態様では、機器が提供される。この機器は、命令のセットを記憶するように構成されるメモリと、メモリに通信可能に結合される1つ以上のプロセッサとを含み、1つ以上のプロセッサは、映像のピクチャを受信することに応答して、ピクチャに関連するフラグデータに基づいて、ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、ピクチャがGDRピクチャであるという判定に基づき、仮想境界を使用してピクチャの第1の領域及び第2の領域を決定すること、第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること、を機器に行わせるために、命令のセットを実行するように構成される。
【0010】
[0010] さらに別の態様では、方法が提供される。この方法は、映像シーケンスを受信することに応答して、映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び非GDRピクチャを符号化することを含む。
【0011】
[0011] さらに別の態様では、方法が提供される。この方法は、映像ビットストリームを受信することに応答して、映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、シーケンス内のピクチャに関連するピクチャヘッダを復号化することであって、ピクチャヘッダは、ピクチャが非GDRピクチャであることを示すこと、及び非GDRピクチャを復号化することを含む。
【0012】
[0012] さらに別の態様では、方法が提供される。この方法は、映像のピクチャを受信することに応答して、ピクチャに関連するフラグデータに基づいて、ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、ピクチャがGDRピクチャであるという判定に基づき、仮想境界を使用してピクチャの第1の領域及び第2の領域を決定すること、第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用することを含む。
【0013】
図面の簡単な説明
[0013] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。
【図面の簡単な説明】
【0014】
図1】[0014]本開示のいくつかの実施形態に従う、例示的な映像シーケンスの構造を示す概略図である。
図2A】[0015]本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な符号化プロセスの概略図を示す。
図2B】[0016]本開示の実施形態に従う、ハイブリッド映像符号化システムの別の例示的な符号化プロセスの概略図を示す。
図3A】[0017]本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な復号化プロセスの概略図を示す。
図3B】[0018]本開示の実施形態に従う、ハイブリッド映像符号化システムの別の例示的な復号化プロセスの概略図を示す。
図4】[0019]本開示のいくつかの実施形態に従う、映像を符号化又は復号化するための例示的な機器のブロック図を示す。
図5】[0020]本開示のいくつかの実施形態に従う、漸進的復号化リフレッシュ(GDR)の例示的な演算を示す概略図である。
図6】[0021]本開示のいくつかの実施形態に従う、GDRを有効にするシーケンスパラメータセット(SPS)の例示的な構文構造を示す表1を示す。
図7】[0022]本開示のいくつかの実施形態に従う、GDRを有効にするピクチャヘッダの例示的な構文構造を示す表2を示す。
図8】[0023]本開示のいくつかの実施形態に従う、仮想境界を有効にするSPSの例示的な構文構造を示す表3を示す。
図9】[0024]本開示のいくつかの実施形態に従う、仮想境界を有効にするピクチャヘッダの例示的な構文構造を示す表4を示す。
図10】[0025]本開示のいくつかの実施形態に従う、修正されたピクチャヘッダの例示的な構文構造を示す表5を示す。
図11】[0026]本開示のいくつかの実施形態に従う、仮想境界を有効にする修正されたSPSの例示的な構文構造を示す表6を示す。
図12】[0027]本開示のいくつかの実施形態に従う、仮想境界を有効にする修正されたピクチャヘッダの例示的な構文構造を示す表7を示す。
図13】[0028]本開示のいくつかの実施形態に係る、映像処理のための例示的なプロセスのフローチャートを示す。
図14】[0029]本開示のいくつかの実施形態に係る、映像処理のための別の例示的なプロセスのフローチャートを示す。
図15】[0030]本開示のいくつかの実施形態に係る、映像処理のためのさらに別の例示的なプロセスのフローチャートを示す。
【発明を実施するための形態】
【0015】
詳細な説明
[0031] ここで、添付の図面に例が示された例示的な実施形態を詳細に参照することができる。以下の説明は、添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本発明に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本発明に関連する態様に従う機器及び方法の単なる例にすぎない。本開示の特定の態様が以下においてより詳細に説明される。参照により組み込まれる用語及び/又は定義と矛盾する場合、本明細書において提供される用語及び定義が優先する。
【0016】
[0032] ITU-Tビデオコーディングエキスパートグループ(ITU-T VCEG)及びISO/IECムービングピクチャエクスパートグループ(ISO/IECMPEG)のジョイントビデオエクスパーツチーム(JVET)は、現在、多用途ビデオコーディング(VVC/H.266)規格を開発している。VVC規格は、その前身の、高効率ビデオコーディング(HEVC/H.265)規格の圧縮効率を2倍にすることを目指している。換言すれば、VVCの目標は、半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成することである。
【0017】
[0033] 半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成するために、JVETは、共同探索モデル(JEM)参照ソフトウェアを用いてHEVCを超える技術を開発している。符号化技術がJEMに組み込まれたため、JEMはHEVCよりも実質的に高い符号化性能を達成した。
【0018】
[0034] VVC規格は最近開発されたものであり、より優れた圧縮性能をもたらすより多くの符号化技術を組み込み続けている。VVCは、HEVC、H.264/AVC、MPEG2、H.263等などの現代的な映像圧縮規格において用いられてきた同じハイブリッド映像符号化システムに基づく。
【0019】
[0035] 映像は、視覚情報を記憶するために時系列で配列された静的ピクチャ(又は「フレーム」)のセットである。映像取り込みデバイス(例えば、カメラ)を、それらのピクチャを時系列で取り込んで記憶するために用いることができ、映像再生デバイス(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末)を、このようなピクチャを時系列で表示するために用いることができる。また、用途によっては、映像取り込みデバイスが、取り込まれた映像を、監督、会議開催又は生放送などのために、映像再生デバイス(例えば、モニタを有するコンピュータ)へリアルタイムに伝送することができる。
【0020】
[0036] このような用途によって必要とされる記憶空間及び伝送帯域幅を低減するために、映像を記憶及び伝送前に圧縮し、表示前に復元することができる。圧縮及び復元は、プロセッサ(例えば、汎用コンピュータのプロセッサ)によって実行されるソフトウェア又は特殊ハードウェアによって実施され得る。圧縮のためのモジュールは一般的に「符号器」と称され、復元のためのモジュールは一般的に「復号器」と称される。符号器及び復号器はまとめて「コーデック」と称され得る。符号器及び復号器は、種々の好適なハードウェア、ソフトウェア又はこれらの組み合わせの任意のものとして実施することができる。例えば、符号器及び復号器のハードウェア実装形態は、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、個別論理又はこれらの任意の組み合わせなどの回路機構を含むことができる。符号器及び復号器のソフトウェア実装形態は、プログラムコード、コンピュータ実行可能命令、ファームウェア又はコンピュータ可読媒体内に固定された任意の好適なコンピュータ実施アルゴリズム若しくはプロセスを含むことができる。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26xシリーズ、又は同様のものなど、様々なアルゴリズム又は規格によって実施され得る。用途によっては、コーデックは映像を第1の符号化規格から復元し、復元された映像を、第2の符号化規格を用いて再圧縮することができる。この場合、コーデックは、「トランスコーダ」と称され得る。
【0021】
[0037] 映像符号化プロセスは、ピクチャを再構成するために用いることができる有用な情報を識別して維持し、再構成のために重要でない情報を無視することができる。無視された、重要でない情報を完全に再構成することができない場合、このような符号化プロセスは、「非可逆」と称され得る。さもなければ、それは「可逆」と称され得る。大抵の符号化プロセスは非可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を低減するためのトレードオフである。
【0022】
[0038] 符号化中のピクチャ(「現在のピクチャ」又は「ターゲットピクチャ」と称される)の有用な情報は、参照ピクチャ(例えば、以前に符号化され、再構成されたピクチャ)に対する変化を含む。このような変化は、ピクセルの位置の変化、明るさの変化又は色の変化を含むことができ、これらの中でも、位置の変化に最も重要である。オブジェクトを表現するピクセルのグループの位置の変化は、参照ピクチャとターゲットピクチャとの間のオブジェクトの動きを反映することができる。
【0023】
[0039] 別のピクチャを参照することなく符号化されたピクチャ(すなわち、それがそれ自身の参照ピクチャである)は「Iピクチャ」と称される。以前のピクチャを参照ピクチャとして用いて符号化されたピクチャは「Pピクチャ」と称される。以前のピクチャ及び将来のピクチャの両方を参照ピクチャとして用いて符号化されたピクチャ(すなわち、参照は、「双方向性」である)は「Bピクチャ」と称される。
【0024】
[0040] 図1は、本開示のいくつかの実施形態に従う、例示的な映像シーケンス100の構造を示す。映像シーケンス100は、ライブ映像又は取り込まれ、アーカイブされた映像であり得る。映像100は、現実の映像、コンピュータ生成映像(例えば、コンピュータゲーム映像)又はこれらの組み合わせ(例えば、拡張現実感効果を伴う現実の映像)であり得る。映像シーケンス100は、映像取り込みデバイス(例えば、カメラ)、以前に取り込まれた映像を包含する映像アーカイブ(例えば、記憶デバイス内に記憶された映像ファイル)又は映像コンテンツプロバイダからの映像を受信するための映像供給インターフェース(例えば、映像放送トランシーバ)から入力され得る。
【0025】
[0041] 図1に示されるように、映像シーケンス100は、ピクチャ102、104、106及び108を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ102~106は連続しており、ピクチャ106及び108間にさらなるピクチャが存在する。図1において、ピクチャ102はIピクチャであり、その参照ピクチャはピクチャ102自身である。ピクチャ104はPピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ102である。ピクチャ106はBピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ104及び108である。実施形態によっては、ピクチャ(例えば、ピクチャ104)の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ104の参照ピクチャは、ピクチャ102の前のピクチャであり得る。ピクチャ102~106の参照ピクチャは単なる例にすぎず、本開示は参照ピクチャの実施形態を、図1に示される例として限定しないことに留意されたい。
【0026】
[0042] 典型的に、映像コーデックは、タスクの計算の複雑性のため、ピクチャ全体を一度に符号化又は復号化しない。むしろ、映像コーデックは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは本開示において基本処理ユニット(「BPU」)と称される。例えば、図1における構造110は、映像シーケンス100のピクチャ(例えば、ピクチャ102~108の任意のもの)の例示的な構造を示す。構造110では、ピクチャが4×4基本処理ユニットに分割され、それらの境界は破線として示されている。実施形態によっては、基本処理ユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263若しくはH.264/AVC)では「マクロブロック」と、又はいくつかの他の映像符号化規格(例えば、H.265/HEVC若しくはH.266/VVC)では「符号化ツリーユニット」(「CTU」)と称され得る。基本処理ユニットは、128×128、64×64、32×32、16×16、4×8、16×32など、ピクチャにおける可変サイズ又はピクセルの任意の随意の形状及びサイズを有することができる。基本処理ユニットのサイズ及び形状は、ピクチャのために、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて選択することができる。
【0027】
[0043] 基本処理ユニットは、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データのグループを含むことができる、論理ユニットであり得る。例えば、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分(Y)、色情報を表現する1つ以上のクロマ成分(例えば、Cb及びCr)並びに関連構文要素を含むことができ、ここで、ルマ及びクロマ成分は、基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーブロック」(「CTB」)と称され得る。基本処理ユニットに対して遂行される任意の演算はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。
【0028】
[0044] 映像符号化は複数の演算段階を有し、図2A図2B及び図3A図3Bにその例が示されている。段階ごとに、基本処理ユニットのサイズは依然として処理のために大きすぎるものになり得、そのため、本開示において「基本処理サブユニット」と称されるセグメントにさらに分割され得る。実施形態によっては、基本処理サブユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263若しくはH.264/AVC)では「ブロック」と、又はいくつかの他の映像符号化規格(例えば、H.265/HEVC若しくはH.266/VVC)では「符号化ユニット」(「CU」)と称され得る。基本処理サブユニットは、基本処理ユニットと同じであるか又はそれよりも小さいサイズを有することができる。基本処理ユニットと同様に、基本処理サブユニットも、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データ(例えば、Y、Cb、Cr及び関連構文要素)のグループを含むことができる、論理ユニットである。基本処理サブユニットに対して遂行される任意の動作は、そのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。このような分割は処理の必要に応じてさらなるレベルまで遂行され得ることに留意されたい。また、異なる段階は、異なる方式を用いて基本処理ユニットを分割することができることにも留意されたい。
【0029】
[0045] 例えば、モード決定段階(図2Bにその一例が示されている)において、符号器は、どのような予測モード(例えば、イントラピクチャ予測又はインターピクチャ予測)を基本処理ユニットのために用いるかを決定することができるが、基本処理ユニットは、このような決定を行うには大きすぎるものになり得る。符号器は、基本処理ユニットを複数の基本処理サブユニット(例えば、H.265/HEVC又はH.266/VVCの場合のように、CU)に分割し、個々の基本処理サブユニットごとに予測の種類を決めることができる。
【0030】
[0046] 別の例として、予測段階(図2A図2Bにその例が示されている)において、符号器は、基本処理サブユニット(例えば、CU)のレベルで予測演算を遂行することができる。しかし、場合により、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「予測ブロック」又は「PB」と称される)にさらに分割することができ、そのレベルで予測演算が遂行され得る。
【0031】
[0047] 別の例として、変換段階(図2A図2Bにその例が示されている)において、符号器は、残差基本処理サブユニット(例えば、CU)のための変換演算を遂行することができる。しかし、場合により、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「変換ブロック」又は「TB」と称される)にさらに分割することができ、そのレベルで変換演算が遂行され得る。同じ基本処理サブユニットの分割方式は、予測段階及び変換段階において異なり得ることに留意されたい。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックが異なるサイズ及び数を有し得る。
【0032】
[0048] 図1の構造110では、基本処理ユニット112は、3×3基本処理サブユニットにさらに分割され、それらの境界は、点線として示されている。同じピクチャの異なる基本処理ユニットは、異なる方式で基本処理サブユニットに分割され得る。
【0033】
[0049] 実装形態によっては、並列処理及び誤り耐性の能力を映像符号化及び復号化にもたらすために、ピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスは、ピクチャ領域に関して、ピクチャのいかなる他の領域からの情報にも依存しなくてすむ。換言すれば、ピクチャの各領域は独立して処理され得る。そうすることにより、コーデックはピクチャの異なる領域を並行して処理することができ、そのため、符号化効率を増大させる。また、領域のデータが処理中に破損したか、又はネットワーク伝送中に失われたときには、コーデックは、破損したデータ又は失われたデータを頼ることなく、同じピクチャの他の領域を正しく符号化又は復号化することもでき、そのため、誤り耐性の能力をもたらす。いくつかの映像符号化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは2種類の領域:「スライス」及び「タイル」を提供する。また、映像シーケンス100の異なるピクチャは、ピクチャを領域に分割するための異なる区分方式を有することができることにも留意されたい。
【0034】
[0050] 例えば、図1では、構造110は3つの領域114、116及び118に分割され、それらの境界は構造110の内部の実線として示されている。領域114は4つの基本処理ユニットを含む。領域116及び118の各々は6つの基本処理ユニットを含む。図1における構造110の基本処理ユニット、基本処理サブユニット及び領域は、単なる例にすぎず、本開示は、その実施形態を限定しないことに留意されたい。
【0035】
[0051] 図2Aは、本開示の実施形態に従う、例示的な符号化プロセス200Aの概略図を示す。例えば、符号化プロセス200Aは符号器によって遂行され得る。図2Aに示されるように、符号器は、プロセス200Aに従って映像シーケンス202を映像ビットストリーム228に符号化することができる。図1における映像シーケンス100と同様に、映像シーケンス202は、時間的順序で配列されたピクチャ(「原ピクチャ」と称される)のセットを含むことができる。図1における構造110と同様に、映像シーケンス202の各原ピクチャは、符号器によって処理のために基本処理ユニット、基本処理サブユニット又は領域に分割され得る。実施形態によっては、符号器は、映像シーケンス202の原ピクチャごとに基本処理ユニットのレベルでプロセス200Aを遂行することができる。例えば、符号器はプロセス200Aを反復的な仕方で遂行することができ、その場合、符号器は基本処理ユニットをプロセス200Aの1回の反復において符号化することができる。実施形態によっては、符号器は、プロセス200Aを映像シーケンス202の各原ピクチャの領域(例えば、領域114~118)のために並行して遂行することができる。
【0036】
[0052] 図2Aにおいて、符号器は、映像シーケンス202の原ピクチャの基本処理ユニット(「原BPU」と称される)を予測段階204に供給し、予測データ206及び予測BPU208を生成することができる。符号器は、予測BPU208を原BPUから減算し、残差BPU210を生成することができる。符号器は、残差BPU210を変換段階212及び量子化段階214に供給し、量子化変換係数216を生成することができる。符号器は、予測データ206及び量子化変換係数216を2値符号化段階226に供給し、映像ビットストリーム228を生成することができる。構成要素202、204、206、208、210、212、214、216、226及び228は「順方向経路」と称され得る。プロセス200A中、量子化段階214後、符号器は、量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。符号器は、再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復のために予測段階204において用いられる、予測基準224を生成することができる。プロセス200Aの構成要素218、220、222及び224は「再構成経路」と称され得る。再構成経路は、符号器及び復号器の両方が同じ参照データを予測のために用いることを確実にするために用いられ得る。
【0037】
[0053] 符号器は、原ピクチャの各原BPUを(順方向経路内で)符号化し、原ピクチャの次の原BPUを符号化するための予測基準224を(再構成経路内で)生成するために、プロセス200Aを反復的に遂行することができる。原ピクチャの全ての原BPUを符号化した後、符号器は、映像シーケンス202内の次のピクチャを符号化するために進むことができる。
【0038】
[0054] プロセス200Aを参照すると、符号器は、映像取り込みデバイス(例えば、カメラ)によって生成された映像シーケンス202を受信することができる。本明細書において用いられる用語「受信する」は、受信すること、入力すること、獲得すること、取得すること、得ること、読み込むこと、アクセスすること、又はデータを入力するための任意の仕方による任意の行為を指すことができる。
【0039】
[0055] 予測段階204において、現在の反復において、符号器は原BPU及び予測基準224を受信し、予測演算を遂行し、予測データ206及び予測BPU208を生成することができる。予測基準224は、プロセス200Aの以前の反復の再構成経路から生成され得る。予測段階204の目的は、予測データ206を抽出することにより、情報冗長性を低減することであり、予測データ206は、予測データ206及び予測基準224から予測BPU208として原BPUを再構成するために用いることができる。
【0040】
[0056] 理想的には、予測BPU208は、原BPUと同一であり得る。しかし、非理想的な予測及び再構成演算のため、予測BPU208は、概して、原BPUとは若干異なる。このような差を記録するために、予測BPU208を生成した後、符号器は、それを原BPUから減算し、残差BPU210を生成することができる。例えば、符号器は、予測BPU208のピクセルの値(例えば、グレースケール値又はRGB値)を原BPUの対応するピクセルの値から減算することができる。残差BPU210の各ピクセルは、原BPU及び予測BPU208の対応するピクセル間のこのような減算の結果としての残差値を有することができる。原BPUと比べて、予測データ206及び残差BPU210はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく原BPUを再構成するために用いられ得る。そのため、原BPUは、圧縮される。
【0041】
[0057] 残差BPU210をさらに圧縮するために、変換段階212において、符号器は、それを2次元「基底パターン」のセットに分解することにより、残差BPU210の空間的冗長性を低減することができ、各基底パターンは「変換係数」に関連付けられている。基底パターンは同じサイズ(例えば、残差BPU210のサイズ)を有することができる。各基底パターンは残差BPU210の変化周波数(例えば、輝度変化の周波数)成分を表現することができる。基底パターンはいずれも、いかなる他の基底パターンのいかなる結合(例えば、線形結合)からも再現することができない。換言すれば、かかる分解は、残差BPU210の変化を周波数領域に分解することができる。このような分解は関数の離散フーリエ変換と類似しており、この場合、基底パターンは離散フーリエ変換の基底関数(例えば、三角関数)と類似しており、変換係数は、基底関数に関連付けられた係数と類似している。
【0042】
[0058] 異なる変換アルゴリズムは、異なる基底パターンを用いることができる。例えば、離散余弦変換、離散正弦変換、又は同様のものなど、様々な変換アルゴリズムを変換段階212において用いることができる。変換段階212における変換は逆演算可能である。すなわち、符号器は、変換の逆演算(「逆変換」と称される)によって残差BPU210を回復することができる。例えば、残差BPU210のピクセルを回復するために、逆変換は、基底パターンの対応するピクセルの値にそれぞれの関連係数を乗算し、積を加算していき、加重和を生成することができる。映像符号化規格のために、符号器及び復号器は、両方とも同じ変換アルゴリズム(従って同じ基底パターン)を用いることができる。そのため、符号器は変換係数のみを記録することができ、復号器は、基底パターンを符号器から受信することなく、変換係数から残差BPU210を再構成することができる。残差BPU210と比べて、変換係数はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく残差BPU210を再構成するために用いられ得る。そのため、残差BPU210は、さらに圧縮される。
【0043】
[0059] 符号器は量子化段階214において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは異なる変化周波数(例えば、輝度変化周波数)を表現することができる。人間の眼は、概して、低周波数変化を認識することがより得意であるため、符号器は、復号化において著しい品質劣化を生じさせることなく高周波数変化の情報を無視することができる。例えば、量子化段階214において、符号器は、各変換係数を整数値(「量子化パラメータ」と称される)で除算し、商をその最近傍の整数に丸めることにより、量子化変換係数216を生成することができる。このような演算後、高周波数基底パターンの一部の変換係数は、0に変換され得、低周波数基底パターンの変換係数はより小さい整数に変換され得る。符号器は0値の量子化変換係数216を無視することができ、これによって変換係数は、さらに圧縮される。量子化プロセスも逆演算可能であり、この場合、量子化変換係数216は量子化の逆演算(「逆量子化」と称される)において変換係数に再構成され得る。
【0044】
[0060] 符号器は、このような除算の剰余を丸め演算において無視するため、量子化段階214は非可逆になり得る。典型的に、量子化段階214はプロセス200Aにおいて最大の情報損失に寄与し得る。情報損失が大きいほど、量子化変換係数216は少ないビットを必要とし得る。異なる情報損失レベルを得るために、符号器は、量子化パラメータ又は量子化プロセスの任意の他のパラメータの異なる値を用いることができる。
【0045】
[0061] 2値符号化段階226において、符号器は、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化又は任意の他の可逆若しくは非可逆圧縮アルゴリズムなどの2値符号化技法を用いて、予測データ206及び量子化変換係数216を符号化することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、符号器は、例えば、予測段階204において用いられる予測モード、予測演算のパラメータ、変換段階212における変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)、又は同様のものなど、他の情報を2値符号化段階226において符号化することができる。符号器は、2値符号化段階226の出力データを用いて映像ビットストリーム228を生成することができる。実施形態によっては、映像ビットストリーム228を、ネットワーク伝送のためにさらにパケット化することができる。
【0046】
[0062] プロセス200Aの再構成経路を参照すると、逆量子化段階218において、符号器は、量子化変換係数216に対して逆量子化を遂行し、再構成変換係数を生成することができる。逆変換段階220において、符号器は、再構成変換係数に基づいて再構成残差BPU222を生成することができる。符号器は、再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復において用いられることになる予測基準224を生成することができる。
【0047】
[0063] プロセス200Aの他の変形を、映像シーケンス202を符号化するために用いることもできることに留意されたい。実施形態によっては、プロセス200Aの段階は、符号器により、異なる順序で遂行され得る。実施形態によっては、プロセス200Aの1つ以上の段階を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aの単一の段階を複数の段階に分割することができる。例えば、変換段階212及び量子化段階214を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aは追加の段階を含むことができる。実施形態によっては、プロセス200Aは図2Aにおける1つ以上の段階を省略することができる。
【0048】
[0064] 図2Bは、本開示の実施形態に従う、別の例示的な符号化プロセス200Bの概略図を示す。プロセス200Bは、プロセス200Aから変更され得る。例えば、プロセス200Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した符号器によって用いられ得る。プロセス200Aと比べて、プロセス200Bの順方向経路はモード決定段階230を追加的に含み、予測段階204を空間的予測段階2042及び時間的予測段階2044に分割する。プロセス200Bの再構成経路はループフィルタ段階232及びバッファ234を追加的に含む。
【0049】
[0065] 概して、予測技法は、2つの種類:空間的予測及び時間的予測に分類することができる。空間的予測(例えば、イントラピクチャ予測又は「イントラ予測」)は、ターゲットBPUを予測するために、同じピクチャ内の1つ以上のすでに符号化された隣接BPUからのピクセルを用いることができる。すなわち、空間的予測における予測基準224は、隣接BPUを含むことができる。空間的予測は、ピクチャの固有の空間的冗長性を低減することができる。時間的予測(例えば、インターピクチャ予測又は「インター予測」)は、ターゲットBPUを予測するために、1つ以上のすでに符号化されたピクチャからの領域を用いることができる。すなわち、時間的予測における予測基準224は、符号化ピクチャを含むことができる。時間的予測は、ピクチャの固有の時間的冗長性を低減することができる。
【0050】
[0066] プロセス200Bを参照すると、順方向経路内において、符号器は、予測演算を空間的予測段階2042及び時間的予測段階2044において遂行する。例えば、空間的予測段階2042において、符号器はイントラ予測を遂行することができる。符号化中のピクチャの原BPUのために、予測基準224は、(順方向経路内で)符号化され、(再構成経路内で)再構成された1つ以上の隣接BPUを同じピクチャ内に含むことができる。符号器は、隣接BPUを外挿することによって予測BPU208を生成することができる。外挿技法は、例えば、線形外挿若しくは補間、多項式外挿若しくは補間、又は同様のものを含むことができる。実施形態によっては、符号器は、予測BPU208のピクセルごとに、対応するピクセルの値を外挿することによるなどして、外挿をピクセルレベルで遂行することができる。外挿のために用いられる隣接BPUは、(例えば、原BPUの上の)鉛直方向、(例えば、原BPUの左の)水平方向、(例えば、原BPUの左下、右下、左上若しくは右上の)対角方向、又は用いられる映像符号化規格において定義される任意の方向など、様々な方向から原BPUに対して位置することができる。イントラ予測のために、予測データ206は、例えば、用いられる隣接BPUの場所(例えば、座標)、用いられる隣接BPUのサイズ、外挿のパラメータ、原BPUに対する用いられる隣接BPUの方向、又は同様のものを含むことができる。
【0051】
[0067] 別の例として、時間的予測段階2044において、符号器はインター予測を遂行することができる。ターゲットピクチャの原BPUのために、予測基準224は、(順方向経路内で)符号化され、(再構成経路内で)再構成された1つ以上のピクチャ(「参照ピクチャ」と称される)を含むことができる。実施形態によっては、参照ピクチャはBPUごとに符号化され、再構成され得る。例えば、符号器は、再構成残差BPU222を予測BPU208に加算し、再構成BPUを生成することができる。同じピクチャの全ての再構成BPUが生成されたとき、符号器は、再構成ピクチャを参照ピクチャとして生成することができる。符号器は、参照ピクチャの範囲(「探索窓」と称される)内のマッチング領域を探索するために「動き推定」の演算を遂行することができる。参照ピクチャ内の探索窓の場所は、ターゲットピクチャの原BPUの場所に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内の、ターゲットピクチャ内の原BPUと同じ座標を有する場所に中心を有することができ、所定の距離にわたって外へ拡張され得る。符号器が(例えば、画素再帰アルゴリズム、ブロックマッチングアルゴリズム、又は同様のものを用いることによって)探索窓内の原BPUと同様の領域を識別したとき、符号器はこのような領域をマッチング領域と決定することができる。マッチング領域は、原BPUとは異なる(例えば、原BPUよりも小さい、それに等しい、それよりも大きい、又は異なる形状の)寸法を有することができる。参照ピクチャ及びターゲットピクチャが(例えば、図1に示されるように)タイムライン内で時間的に分離されているため、時間が経過するにつれてマッチング領域は原BPUの場所へ「移動する」と見なすことができる。符号器は、このような動きの方向及び距離を「動きベクトル」として記録することができる。複数の参照ピクチャが(例えば、図1におけるピクチャ106として)用いられるときには、符号器は、参照ピクチャごとにマッチング領域を探索し、その関連動きベクトルを決定することができる。実施形態によっては、符号器は、それぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与することができる。
【0052】
[0068] 動き推定は、例えば、並進、回転、ズーミング、又は同様のものなど、様々な種類の動きを識別するために用いることができる。インター予測のために、予測データ206は、例えば、マッチング領域の場所(例えば、座標)、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、参照ピクチャに関連付けられた重み、又は同様のものを含むことができる。
【0053】
[0069] 予測BPU208を生成するために、符号器は「動き補償」の演算を遂行することができる。動き補償は、予測データ206(例えば、動きベクトル)及び予測基準224に基づいて予測BPU208を再構成するために用いることができる。例えば、符号器は、動きベクトルに従って、符号器がターゲットピクチャの原BPUを予測することができる、参照ピクチャのマッチング領域を移動させることができる。複数の参照ピクチャが(例えば、図1におけるピクチャ106として)用いられるときには、符号器は、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、マッチング領域のピクセル値を平均することができる。実施形態によっては、符号器がそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与した場合、符号器は、ピクセル値の加重和を、移動されたマッチング領域に加算することができる。
【0054】
[0070] 実施形態によっては、インター予測は、一方向性又は双方向性であり得る。一方向性インター予測は、ターゲットピクチャに対して同じ時間方向の1つ以上の参照ピクチャを用いることができる。例えば、図1におけるピクチャ104は、参照ピクチャ(すなわちピクチャ102)がピクチャ104に先行する、一方向インター予測ピクチャである。双方向インター予測は、ターゲットピクチャに対して両方の時間方向にある1つ以上の参照ピクチャを用いることができる。例えば、図1におけるピクチャ106は、参照ピクチャ(すなわち、ピクチャ104及び108)がピクチャ104に対して両方の時間方向にある、双方向インター予測ピクチャである。
【0055】
[0071] プロセス200Bの順方向経路をなおも参照すると、空間的予測段階2042及び時間的予測段階2044後、モード決定段階230において、符号器は、予測モード(例えば、イントラ予測又はインター予測の一方)をプロセス200Bの現在の反復のために選択することができる。例えば、符号器は、レート-歪み最適化技法を遂行することができる。本技法では、符号器は、候補予測モードのビットレート及び候補予測モード下での再構成参照ピクチャの歪みに依存するコスト関数の値を最小化するための予測モードを選択することができる。選択された予測モードに応じて、符号器は、対応する予測BPU208及び予測データ206を生成することができる。
【0056】
[0072] プロセス200Bの再構成経路内において、イントラ予測モードが順方向経路内で選択された場合、予測基準224(例えば、ターゲットピクチャにおいて符号化され、再構成されたターゲットBPU)を生成した後、符号器は、予測基準224を後の使用のために(例えば、ターゲットピクチャの次のBPUの補外のために)空間的予測段階2042に直接供給することができる。インター予測モードが順方向経路内で選択された場合、予測基準224(例えば、全てのBPUが符号化され、再構成されたターゲットピクチャ)を生成した後、符号器は、予測基準224をループフィルタ段階232に供給することができ、そこで、符号器は、ループフィルタを予測基準224に適用し、インター予測によって導入された歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。符号器は、例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ、又は同様のものなど、様々なループフィルタ技法をループフィルタ段階232において適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像シーケンス202の将来のピクチャのためのインター予測基準ピクチャとして用いられるために)バッファ234(又は「復号化ピクチャバッファ」)内に記憶され得る。符号器は1つ以上の参照ピクチャを、時間的予測段階2044において用いられるためにバッファ234内に記憶することができる。実施形態によっては、符号器は、ループフィルタのパラメータ(例えば、ループフィルタ強度)を、量子化変換係数216、予測データ206及び他の情報と共に、2値符号化段階226において符号化することができる。
【0057】
[0073] 図3Aは、本開示の実施形態に従う、例示的な復号化プロセス300Aの概略図を示す。プロセス300Aは、図2Aにおける圧縮プロセス200Aに対応する復元プロセスであり得る。実施形態によっては、プロセス300Aはプロセス200Aの再構成経路と似たものであり得る。復号器は、プロセス300Aに従って映像ビットストリーム228を映像ストリーム304に復号化することができる。映像ストリーム304は映像シーケンス202とよく似たものであり得る。しかし、圧縮及び復元プロセス(例えば、図2A図2Bにおける量子化段階214)における情報損失のため、概して、映像ストリーム304は映像シーケンス202と同一ではない。図2A図2Bにおけるプロセス200A及び200Bと同様に、復号器は、映像ビットストリーム228内に符号化されたピクチャごとに基本処理ユニット(BPU)のレベルでプロセス300Aを遂行することができる。例えば、復号器はプロセス300Aを反復的な仕方で遂行することができ、その場合、復号器は基本処理ユニットをプロセス300Aの1回の反復において復号化することができる。実施形態によっては、復号器は、プロセス300Aを、映像ビットストリーム228内に符号化された各ピクチャの領域(例えば、領域114~118)のために並行して遂行することができる。
【0058】
[0074] 図3Aにおいて、復号器は、符号化ピクチャの基本処理ユニット(「符号化BPU」と称される)に関連付けられた映像ビットストリーム228の部分を2値復号化段階302に供給することができる。2値復号化段階302において、復号器は、当該部分を予測データ206及び量子化変換係数216に復号化することができる。復号器は、量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。復号器は、予測データ206を予測段階204に供給し、予測BPU208を生成することができる。復号器は、再構成残差BPU222を予測BPU208に加算し、予測基準224を生成することができる。実施形態によっては、予測基準224をバッファ(例えば、コンピュータメモリ内の復号化ピクチャバッファ)内に記憶することができる。復号器は、予測演算をプロセス300Aの次の反復において遂行するために、予測基準224を予測段階204に供給することができる。
【0059】
[0075] 復号器は、符号化ピクチャの各符号化BPUを復号化し、符号化ピクチャの次の符号化BPUを符号化するための予測基準224を生成するために、プロセス300Aを反復的に遂行することができる。符号化ピクチャの全ての符号化BPUを復号化した後、復号器は、ピクチャを表示のために映像ストリーム304に出力し、映像ビットストリーム228内の次の符号化ピクチャを復号化するために進むことができる。
【0060】
[0076] 2値復号化段階302において、復号器は、符号器によって用いられた2値符号化技法(例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化又は任意の他の可逆圧縮アルゴリズム)の逆演算を遂行することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、復号器は、例えば、予測モード、予測演算のパラメータ、変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)、又は同様のものなど、他の情報を2値復号化段階302において復号化することができる。実施形態によっては、映像ビットストリーム228がネットワークを通じてパケットの形で伝送される場合、復号器は、映像ビットストリーム228を2値復号化段階302に供給する前にデパケット化することができる。
【0061】
[0077] 図3Bは、本開示の実施形態に従う、別の例示的な復号化プロセス300Bの概略図を示す。プロセス300Bはプロセス300Aから変更され得る。例えば、プロセス300Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した復号器によって用いられ得る。プロセス300Aと比べて、プロセス300Bは、予測段階204を空間的予測段階2042及び時間的予測段階2044に追加的に分割し、ループフィルタ段階232及びバッファ234を追加的に含む。
【0062】
[0078] プロセス300Bにおいて、復号化中の符号化ピクチャ(「現在のピクチャ」又は「ターゲットピクチャ」と称される)の符号化基本処理ユニット(「現在のBPU」又は「ターゲットBPU」と称される)のために、復号器によって2値復号化段階302から復号化された予測データ206は、いかなる予測モードが符号器によってターゲットBPUを符号化するために用いられたかに依存して、様々な種類のデータを含むことができる。例えば、符号器によりイントラ予測がターゲットBPUを符号化するために用いられた場合、予測データ206は、イントラ予測、イントラ予測演算のパラメータ、又は同様のものを指示する予測モードインジケータ(例えば、フラグ値)を含むことができる。イントラ予測演算のパラメータは、例えば、参照として用いられる1つ以上の隣接BPUの場所(例えば、座標)、隣接BPUのサイズ、外挿のパラメータ、原BPUに対する隣接BPUの方向、又は同様のものを含むことができる。別の例として、符号器によりインター予測がターゲットBPUを符号化するために用いられた場合、予測データ206は、インター予測、インター予測演算のパラメータ、又は同様のものを指示する予測モードインジケータ(例えば、フラグ値)を含むことができる。インター予測演算のパラメータは、例えば、ターゲットBPUに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャ内の1つ以上のマッチング領域の場所(例えば、座標)、マッチング領域にそれぞれ関連付けられた1つ以上の動きベクトル、又は同様のものを含むことができる。
【0063】
[0079] 予測モードインジケータに基づいて、復号器は、空間的予測段階2042において空間的予測(例えば、イントラ予測)を遂行するべきか、又は時間的予測段階2044において時間的予測(例えば、インター予測)を遂行するべきかを決定することができる。このような空間的予測又は時間的予測を遂行することの詳細は図2Bにおいて説明されており、以下、繰り返されない。このような空間的予測又は時間的予測を遂行した後、復号器は、予測BPU208を生成することができる。復号器は、図3Aにおいて説明されたように、予測BPU208及び再構成残差BPU222を加算し、予測基準224を生成することができる。
【0064】
[0080] プロセス300Bにおいて、復号器は、予測演算をプロセス300Bの次の反復において遂行するために、予測基準224を空間的予測段階2042又は時間的予測段階2044に供給することができる。例えば、ターゲットBPUが空間的予測段階2042においてイントラ予測を用いて復号化される場合、予測基準224(例えば、復号化されたターゲットBPU)を生成した後、復号器は、予測基準224を後の使用のために(例えば、ターゲットピクチャの次のBPUの外挿のために)空間的予測段階2042に直接供給することができる。ターゲットBPUが時間的予測段階2044においてインター予測を用いて復号化される場合、予測基準224(例えば、全てのBPUが復号化された参照ピクチャ)を生成した後、符号器は、予測基準224をループフィルタ段階232に供給し、歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。復号器は、図2Bにおいて説明されたとおりの仕方でループフィルタを予測基準224に適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像ビットストリーム228の将来の符号化ピクチャのためのインター予測基準ピクチャとして用いられるために)バッファ234(例えば、コンピュータメモリ内の復号化ピクチャバッファ)内に記憶され得る。復号器は1つ以上の参照ピクチャを、時間的予測段階2044において用いられるためにバッファ234内に記憶することができる。実施形態によっては、予測データ206の予測モードインジケータが、ターゲットBPUを符号化するためにインター予測が用いられたことを指示するときには、予測データはループフィルタのパラメータ(例えば、ループフィルタ強度)をさらに含むことができる。
【0065】
[0081] 図4は、本開示の実施形態に従う、映像を符号化又は復号化するための例示的な機器400のブロック図である。図4に示されるように、機器400はプロセッサ402を含むことができる。プロセッサ402が、本明細書において説明される命令を実行したとき、機器400は映像符号化又は復号化のための特殊機械になることができる。プロセッサ402は、情報を操作又は処理する能力を有する任意の種類の回路機構であり得る。例えば、プロセッサ402は、中央処理装置(又は「CPU」)、グラフィック処理装置(又は「GPU」)、ニューラル処理装置(「NPU」)、マイクロコントローラユニット(「MCU」)、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産(IP)コア、プログラマブル論理アレイ(PLA)、プログラマブルアレイ論理(PAL)、ジェネリックアレイ論理(GAL)、複合プログラマブル論理装置(CPLD)、フィールドプログラマブルゲートアレイ(FPGA)、システムオンチップ(SoC)、特定用途向け集積回路(ASIC)、又は同様のものの任意の数の任意の組み合わせを含むことができる。実施形態によっては、プロセッサ402は、単一の論理構成要素としてグループ化されたプロセッサのセットであってもよい。例えば、図4に示されるように、プロセッサ402は、プロセッサ402a、プロセッサ402b及びプロセッサ402nを含む、複数のプロセッサを含むことができる。
【0066】
[0082] 機器400は、データ(例えば、命令のセット、コンピュータコード、中間データ、又は同様のもの)を記憶するように構成されたメモリ404も含むことができる。例えば、図4に示されるように、記憶されるデータは、プログラム命令(例えば、プロセス200A、200B、300A、又は300Bにおける段階を実施するためのプログラム命令)並びに処理のためのデータ(例えば、映像シーケンス202、映像ビットストリーム228、又は映像ストリーム304)を含むことができる。プロセッサ402は(例えば、バス410を介して)プログラム命令及び処理のためのデータにアクセスし、プログラム命令を実行し、処理のためのデータに対する演算又は操作を遂行することができる。メモリ404は高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含むことができる。実施形態によっては、メモリ404は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル(SD)カード、メモリスティック、コンパクトフラッシュ(登録商標)(CF)カード、又は同様のものの任意の数の任意の組み合わせを含むことができる。メモリ404は、単一の論理構成要素としてグループ化されたメモリのグループ(図4には示されていない)でもあり得る。
【0067】
[0083] バス410は、内部バス(例えば、CPU-メモリバス)、外部バス(例えば、ユニバーサルシリアルバスポート、ペリフェラルコンポーネントインターコネクトエクスプレスポート)、又は同様のものなど、機器400の内部の構成要素間でデータを転送する通信デバイスであり得る。
【0068】
[0084] 曖昧さを生じさせることなく説明を容易にするために、プロセッサ402及び他のデータ処理回路は本開示においてまとめて「データ処理回路」と称される。データ処理回路は、完全にハードウェアとして又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実施され得る。加えて、データ処理回路は、単一の独立モジュールであり得るか、又は機器400の任意の他の構成要素に完全に若しくは部分的に組み合わされ得る。
【0069】
[0085] 機器400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、又は同様のもの)との有線又は無線通信を提供するためのネットワークインターフェース406をさらに含むことができる。実施形態によっては、ネットワークインターフェース406は、ネットワークインターフェースコントローラ(NIC)、無線周波数(RF)モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth(登録商標)アダプタ、赤外線アダプタ、近距離無線通信(「NFC」)アダプタ、セルラーネットワークチップ、又は同様のものの任意の数の任意の組み合わせを含むことができる。
【0070】
[0086] 実施形態によっては、任意選択的に、機器400は、1つ以上の周辺デバイスへの接続を提供するための周辺インターフェース408をさらに含むことができる。図4に示されるように、周辺デバイスは、限定するものではないが、カーソル制御デバイス(例えば、マウス、タッチパッド若しくはタッチスクリーン)、キーボード、ディスプレイ(例えば、陰極線管ディスプレイ、液晶ディスプレイ若しくは発光ダイオードディスプレイ)、映像入力デバイス(例えば、カメラ若しくは映像アーカイブに通信可能に結合された入力インターフェース)、又は同様のものを含むことができる。
【0071】
[0087] 映像コーデック(例えば、プロセス200A、200B、300A、又は300Bを遂行するコーデック)は、機器400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実施され得ることに留意されたい。例えば、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、メモリ404内にロードされ得るプログラム命令など、機器400の1つ以上のソフトウェアモジュールとして実施され得る。別の例として、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、特殊データ処理回路(例えば、FPGA、ASIC、NPU、又は同様のもの)など、機器400の1つ以上のハードウェアモジュールとして実施され得る。
【0072】
[0088] 量子化及び逆量子化機能ブロック(例えば、図2A又は図2Bの量子化214及び逆量子化218、図3A又は図3Bの逆量子化218)では、量子化パラメータ(QP)が、予測残差に適用される量子化(及び逆量子化)の量を決定するために用いられる。ピクチャ又はスライスの符号化のために用いられる初期QP値は、例えば、ピクチャパラメータセット(PPS)内のinit_qp_minus26構文要素を用いて、及びスライスヘッダ内のslice_qp_delta構文要素を用いて、高レベルでシグナリングされ得る。さらに、QP値は、量子化グループの細分性で送信されたデルタQP値を用いてCUごとに局所レベルで適応させることができる。
【0073】
[0089] 一部のリアルタイムアプリケーション(例えば、テレビ会議又は遠隔操作システム)では、システムのレイテンシは、システムのユーザエクスペリエンス及び信頼性に著しく影響を及ぼす重大な問題であり得る。例えば、ITU-T G.114は、双方向のオーディオビデオ通信について、レイテンシの許容限度が150ミリ秒であると規定している。別の例では、仮想現実アプリケーションは、頭部の動きと、その動きによって生じる視覚的効果との間のタイミングのずれによって引き起こされる動揺病を防ぐために、典型的には超低レイテンシが20ミリ秒未満であることを要求する。
【0074】
[0090] リアルタイム映像アプリケーションシステムでは、総レイテンシは、フレームが取り込まれる時点から、そのフレームが表示される時点までの期間を含む。すなわち、総レイテンシは、符号器における符号化時間と、伝送チャネル内の伝送時間と、復号器における復号時間と、復号器における出力遅延との和である。概して、伝送時間が総レイテンシに最も寄与する。符号化ピクチャの伝送時間は、典型的には、符号化ピクチャバッファ(CPB)の容量を映像シーケンスのビットレートで割ったものに等しい。
【0075】
[0091] 本開示では、「ランダムアクセス」は、映像シーケンス又はストリームの任意のランダムアクセスポイントにおいて復号化プロセスを開始し、及びコンテンツ内の正しい復号化されたピクチャを回復する能力を指す。ランダムアクセスをサポートし、誤り伝播を防ぐために、イントラ符号化ランダムアクセスポイント(IRAP)ピクチャを映像シーケンス内に周期的に挿入することができる。しかし、高い符号化効率では、符号化Iピクチャ(例えば、IRAPピクチャ)のサイズは、典型的には、Pピクチャ又はBピクチャのサイズよりも大きい。IRAPピクチャのサイズがより大きいことは、平均的な伝送遅延よりも高い伝送遅延を生じさせる場合がある。従って、IRAPピクチャを周期的に挿入することは、低遅延の映像アプリケーションの要件を満たさない可能性がある。
【0076】
[0092] 本開示の実施形態に従い、低遅延の符号化のために、映像シーケンス内のランダムアクセスを可能にしながら、IRAPピクチャの挿入によって生じるレイテンシを減らすべく、漸進的イントラリフレッシュ(PIR)技法とも称される漸進的復号化リフレッシュ(GDR)技法を使用することができる。GDRは、イントラ符号化領域を非イントラ符号化領域(例えば、Bピクチャ又はPピクチャ)内に分散することによってピクチャを漸進的にリフレッシュすることができる。そうすることにより、ハイブリッド符号化ピクチャのサイズが互いに同様になることができ、それによりCPBのサイズを(例えば、映像シーケンスのビットレートをピクチャレートで割ったものに等しい値まで)低減又は最小化することができ、総遅延内の符号化時間及び復号化時間を短縮することができる。
【0077】
[0093] 例として、図5は、本開示のいくつかの実施形態に従う、漸進的復号化リフレッシュ(GDR)の例示的な演算を示す概略図である。図5は、映像シーケンス(例えば、図1の映像シーケンス100)内の複数のピクチャ(例えば、ピクチャ504、506、508、510及び512)を含むGDR期間502を示す。GDR期間502内の最初のピクチャは、ランダムアクセスピクチャであり得るGDRピクチャ504と呼ばれ、GDR期間502内の最後のピクチャは、回復点ピクチャ512と呼ばれる。GDR期間502内の各ピクチャは、(図5の各ピクチャ内の「INTRA」とラベル付けしてある縦のボックスで表す)イントラ符号化領域を含む。各イントラ符号化領域は、完全ピクチャの様々な部分を対象として含み得る。図5に示すように、イントラ符号化領域は、GDR期間502内で漸進的にピクチャ全体に及ぶことができる。図5では、イントラ符号化領域を矩形のスライスとして示すが、これらの領域は、様々な形状及びサイズとして実装することができ、本開示に記載する例によって限定されないことに留意すべきである。
【0078】
[0094] イントラ符号化領域によって分割された、GDR期間502内のGDRピクチャ504及び回復点ピクチャ512以外のピクチャ(例えば、ピクチャ506~510のいずれか)は、すでにリフレッシュされたピクセルを含む「クリーン領域」及び以前のピクチャ内の伝送誤りによってことによると破損し、依然としてリフレッシュされていない(例えば、その後のピクチャ内でリフレッシュされ得る)ピクセルを含む「ダーティ領域」という2つの領域を含むことができる。現在のピクチャ(例えば、ピクチャ510)のクリーン領域は、クリーン領域又は以前のピクチャ(例えば、ピクチャ508、506及びGDRピクチャ504)のイントラ符号化領域の少なくとも1つを参照として使用して再構成されるピクセルを含み得る。現在のピクチャ(例えば、ピクチャ510)のクリーン領域は、以前のピクチャ(例えば、ピクチャ508、506、及びGDRピクチャ504)の、ダーティ領域、クリーン領域、又はイントラ符号化領域の少なくとも1つを参照として使用して再構成されるピクセルを含み得る。
【0079】
[0095] GDR技法の原理は、クリーン領域内のピクセルが任意のダーティ領域(例えば、現在のピクチャ又は任意の以前のピクチャのダーティ領域)からのいかなる情報も使用せずに再構成されることを確実にすることである。例として、図5では、GDRピクチャ504がダーティ領域514を含む。ピクチャ506は、GDRピクチャ504のイントラ符号化領域を参照として使用して再構成され得るクリーン領域516と、GDRピクチャ504の任意の部分(例えば、イントラ符号化領域又はダーティ領域514の少なくとも1つ)を参照として使用して再構成され得るダーティ領域518とを含む。ピクチャ508は、ピクチャ504~506のイントラ符号化領域(例えば、ピクチャ504又は506のイントラ符号化領域)又はクリーン領域(例えば、クリーン領域516)の少なくとも1つを参照として使用して再構成され得るクリーン領域520と、GDRピクチャ504の一部(例えば、イントラ符号化領域又はダーティ領域514)、又はピクチャ506の一部(例えば、クリーン領域516、イントラ符号化領域又はダーティ領域518)の少なくとも1つを参照として使用して再構成され得るダーティ領域522とを含む。ピクチャ510は、ピクチャ504~508のイントラ符号化領域(例えば、ピクチャ504、506、又は508のイントラ符号化領域)又はクリーン領域(例えば、クリーン領域516又は520)の少なくとも1つを参照として使用して再構成され得るクリーン領域524と、GDRピクチャ504の一部(例えば、イントラ符号化領域又はダーティ領域514)、ピクチャ506の一部(例えば、クリーン領域516、イントラ符号化領域、又はダーティ領域518)、又はピクチャ508の一部(例えば、クリーン領域520、イントラ符号化領域、又はダーティ領域522)の少なくとも1つを参照として使用して再構成され得るダーティ領域526とを含む。回復点ピクチャ512は、GDRピクチャ504の一部(例えば、イントラ符号化領域又はダーティ領域514)、ピクチャ506の一部(例えば、クリーン領域516、イントラ符号化領域、又はダーティ領域518)、ピクチャ508の一部(例えば、クリーン領域520、イントラ符号化領域、又はダーティ領域522)、又はピクチャ510の一部(例えば、クリーン領域524、イントラ符号化領域、又はダーティ領域526)の少なくとも1つを参照として使用して再構成され得るクリーン領域528を含む。
【0080】
[0096] 図示のとおり、回復点ピクチャ512の全てのピクセルがリフレッシュされている。回復点ピクチャ512の後にGDR技法を使用してピクチャを出力順に復号化することは、GDRピクチャ504の前のIRAPピクチャを(あたかも存在するかのように)使用してピクチャを復号化することと均等であり得、IRAPピクチャは、ピクチャ504~512の全てのイントラ符号化領域に及ぶ。
【0081】
[0097] 例として、図6は、本開示のいくつかの実施形態に従う、GDRを有効にするシーケンスパラメータセット(SPS)の例示的な構文構造を示す表1を示す。表1に示すように、映像シーケンス内に任意のGDR対応ピクチャ(例えば、図5のGDR期間502内の任意のピクチャ)が存在するかどうかを示すために、GDRのシーケンスレベル有効化フラグ「gdr_enabled_flag」が映像シーケンスのSPS内でシグナリングされ得る。実施形態によっては、VVC/H.266規格において、真である(例えば、「1」に等しい)「gdr_enabled_flag」は、SPSを参照する符号化レイヤ映像シーケンス(CLVS)内にGDR対応ピクチャが存在することを指定し得、偽である(例えば、「0」に等しい)「gdr_enabled_flag」は、CLVS内にGDR対応ピクチャが存在しないことを指定し得る。
【0082】
[0098] 例として、図7は、本開示のいくつかの実施形態に従う、GDRを有効にするピクチャヘッダの例示的な構文構造を示す表2を示す。表2に示すように、映像シーケンスのピクチャに関して、ピクチャがGDR対応(例えば、図5のGDR期間502内の任意のピクチャ)であるかどうかを示すために、GDRのピクチャレベル有効化フラグ「gdr_pic_flag」がピクチャのピクチャヘッダ内でシグナリングされ得る。ピクチャがGDR対応である場合、回復点ピクチャ(例えば、図5の回復点ピクチャ512)を出力順に指定するためにパラメータ「recovert_poc_cnt」をシグナリングすることができる。実施形態によっては、VVC/H.266規格において、真である(例えば、「1」に等しい)「gdr_pic_flag」は、ピクチャヘッダに関連するピクチャがGDR対応ピクチャであることを指定し得、偽である(例えば、「0」に等しい)「gdr_pic_flag」は、ピクチャヘッダに関連するピクチャがGDR対応ピクチャではないことを指定し得る。
【0083】
[0099] 一例として、VVC/H.266規格において、表1に示す「gdr_enabled_flag」が真であり、現在のピクチャの(図7に不図示の)パラメータ「PicOrderCntVal」が、現在のピクチャに関連するGDR対応ピクチャ(又は複数のGDR対応ピクチャ)の「PicOrderCntVal」と「recovery_poc_cnt」との和以上である場合、現在のピクチャ及び出力順のその後のピクチャを、GDR対応ピクチャ(又は複数のGDR対応ピクチャ)に先行するIRAPピクチャから復号化プロセスを開始することにより、それらが復号化されるかのように、復号化することができる。
【0084】
[0100] 本開示の実施形態に従い、(例えば、VVC/H.266規格において)GDRを実装するために仮想境界技法を使用することができる。一部のアプリケーション(例えば、360度映像)では、特定の投影フォーマットのレイアウトは、典型的には、複数の面を有し得る。それらの投影フォーマットが複数の面を含む場合、どのような種類のコンパクトフレームパッキング構成が使用されるかに関係なく、フレームパックピクチャ内の2つ以上の隣接する面間で不連続性が発生し得る。この不連続性にわたってインループフィルタリング演算を実行した場合、レンダリング後の再構成映像内で面の継ぎ目のアーティファクトが見えるようになり得る。
【0085】
[0101] 面の継ぎ目のアーティファクトを軽減するために、フレームパックピクチャ内の不連続性にわたってインループフィルタリング演算(例えば、デブロッキングフィルタリング、サンプル適応オフセットフィルタリング、又は適応ループフィルタリング)を無効にすることができ、これを仮想境界技法と呼ぶことができる(例えば、VVCドラフト7によって採用されている概念)。例えば、符号器は、不連続境界を仮想境界として設定し、仮想境界にわたるいかなるループフィルタリング演算も無効にすることができる。そうすることにより、不連続性にわたるループフィルタリングを無効にすることができる。
【0086】
[0102] GDRの場合、クリーン領域(例えば、図5内のピクチャ508のクリーン領域520)とダーティ領域(例えば、ピクチャ508のダーティ領域522)との間の境界にわたってループフィルタリング演算を適用すべきではない。符号器は、クリーン領域とダーティ領域との間の境界を仮想境界として設定し、仮想境界にわたるループフィルタリング演算を無効にすることができる。そうすることにより、GDRを実装する方法として仮想境界を使用することができる。
【0087】
[0103] 実施形態によっては、(例えば、VVCドラフト7内の)VVC/H.266規格において、SPS又はピクチャヘッダにおいて仮想境界をシグナリングすることができる。例として、図8は、本開示のいくつかの実施形態に従う、仮想境界を有効にするSPSの例示的な構文構造を示す表3を示す。図9は、本開示のいくつかの実施形態に従う、仮想境界を有効にするピクチャヘッダの例示的な構文構造を示す表4を示す。
【0088】
[0104] 表3に示すように、シーケンスレベル仮想境界存在フラグ「sps_virtual_boundaries_present_flag」がSPS内でシグナリングされ得る。例えば、真である(例えば、「1」に等しい)「sps_virtual_boundaries_present_flag」は、仮想境界の情報がSPS内でシグナリングされることを指定し得、偽である(例えば、「0」に等しい)「sps_virtual_boundaries_present_flag」は、仮想境界の情報がSPS内でシグナリングされないことを指定し得る。SPS内で1つ以上の仮想境界がシグナリングされる場合、SPSを参照するピクチャ内の仮想境界にわたるインループフィルタリング演算を無効にすることができる。
【0089】
[0105] 表3に示すように、フラグ「sps_virtual_boundaries_present_flag」が真である場合、(表3内のパラメータ「sps_num_ver_virtual_boundaries」及び「sps_num_hor_virtual_boundaries」によって表される)仮想境界の数及び(表3内のアレイ「sps_virtual_boundaries_pos_x」及び「sps_virtual_boundaries_pos_y」によって表される)その位置がSPS内でシグナリングされ得る。パラメータ「sps_num_ver_virtual_boundaries」及び「sps_num_hor_virtual_boundaries」は、アレイ「sps_virtual_boundaries_pos_x」及び「sps_virtual_boundaries_pos_y」の長さをSPS内でそれぞれ指定することができる。実施形態によっては、「sps_num_ver_virtual_boundaries」(又は「sps_num_hor_virtual_boundaries」)がSPS内に存在しない場合、その値を0であると推論することができる。アレイ「sps_virtual_boundaries_pos_x」及び「sps_virtual_boundaries_pos_y」は、8で割ったルマサンプル単位のi番目の垂直又は水平仮想境界の位置をそれぞれ指定し得る。例えば、「sps_virtual_boundaries_pos_x[i]」の値は、1~Ceil(pic_width_in_luma_samples÷8)-1の閉区間内にあることができ、「Ceil」は、天井関数を表し、「pic_width_in_luma_samples」は、ルマサンプル単位のピクチャの幅を表すパラメータである。「sps_virtual_boundaries_pos_y[i]」の値は、1~Ceil(pic_height_in_luma_samples÷8)-1の閉区間内にあることができ、「pic_height_in_luma_samples」は、ルマサンプル単位のピクチャの高さを表すパラメータである。
【0090】
[0106] 実施形態によっては、フラグ「sps_virtual_boundaries_present_flag」が偽である(例えば、「0」に等しい)場合、表4に示すように、ピクチャレベル仮想境界存在フラグ「ph_virtual_boundaries_present_flag」がピクチャヘッダ内でシグナリングされ得る。例えば、真である(例えば、「1」に等しい)「ph_virtual_boundaries_present_flag」は、仮想境界の情報がピクチャヘッダ内でシグナリングされることを指定し得、偽である(例えば、「0」に等しい)「ph_virtual_boundaries_present_flag」は、仮想境界の情報がピクチャヘッダ内でシグナリングされないことを指定し得る。ピクチャヘッダ内で1つ以上の仮想境界がシグナリングされる場合、ピクチャヘッダを含むピクチャ内の仮想境界にわたるインループフィルタリング演算を無効にすることができる。実施形態によっては、「ph_virtual_boundaries_present_flag」がピクチャヘッダ内に存在しない場合、その値は、「偽」を表すように推論することができる。
【0091】
[0107] 表4に示すように、フラグ「ph_virtual_boundaries_present_flag」が真である(例えば、「1」に等しい)場合、(表4内のパラメータ「ph_num_ver_virtual_boundaries」及び「ph_num_hor_virtual_boundaries」によって表される)仮想境界の数及び(表4内のアレイ「ph_virtual_boundaries_pos_x」及び「ph_virtual_boundaries_pos_y」によって表される)その位置がピクチャヘッダ内でシグナリングされ得る。パラメータ「ph_num_ver_virtual_boundaries」及び「ph_num_hor_virtual_boundaries」は、アレイ「ph_virtual_boundaries_pos_x」及び「ph_virtual_boundaries_pos_y」の長さをピクチャヘッダ内でそれぞれ指定することができる。実施形態によっては、「ph_virtual_boundaries_pos_x」(又は「ph_virtual_boundaries_pos_y」)がピクチャヘッダ内に存在しない場合、その値を0であると推論することができる。アレイ「ph_virtual_boundaries_pos_x」及び「ph_virtual_boundaries_pos_y」は、8で割ったルマサンプル単位のi番目の垂直又は水平仮想境界の位置をそれぞれ指定し得る。例えば、「ph_virtual_boundaries_pos_x[i]」の値は、1~Ceil(pic_width_in_luma_samples÷8)-1の閉区間内にあることができ、「ph_virtual_boundaries_pos_y[i]」の値は、1~Ceil(pic_height_in_luma_samples÷8)-1の閉区間内にあることができ、「pic_height_in_luma_samples」は、ルマサンプル単位のピクチャの高さを表すパラメータである。
【0092】
[0108] 実施形態によっては、(例えば、VVCドラフト7内の)VVC/H.266規格において、変数「VirtualBoundariesDisabledFlag」を式(1)として定めることができる。
VirtualBoundariesDisabledFlag=sps_virtual_boundaries_present_flag ||
ph_virtual_boundaries_present_flag 式(1)
【0093】
[0109] しかし、仮想境界を使用することによるGDRの実装形態では、既存の技術的解決法において2つの問題が発生し得る。例えば、上記で説明したように、既存の技術的解決法では、シーケンスレベルフラグ「gdr_enabled_flag」の値に関係なく、ピクチャレベルフラグ「gdr_pic_flag」がピクチャヘッダ内で常にシグナリングされる。すなわち、シーケンスに関してGDRが無効にされても、シーケンスの各ピクチャのピクチャヘッダは、ピクチャがGDR対応であるかどうかを依然として示し得る。従って、SPSレベルとピクチャレベルとで矛盾が生じ得る。例えば、「gdr_enabled_flag」が偽である場合、「gdr_pic_flag」が真である場合に矛盾が生じ得る。
【0094】
[0110] 別の例として、GDRを実装するためにクリーン領域とダーティ領域との境界として仮想境界を使用する場合、既存の技術的解決法では、仮想境界にわたるループフィルタリング演算が適用されない。しかし、GDRの要件として、クリーン領域内のピクセルを復号化することは、ダーティ領域内のピクセルを参照できないが、ダーティ領域内のピクセルを復号化することは、クリーン領域内のピクセルを参照することができる。その場合、仮想境界にわたるループフィルタリングを完全に無効にすることは、過度に厳密な制限を課す可能性があり、かかる制限は、符号化又は復号化の性能を劣化させ得る。
【0095】
[0111] 上記の問題を解決するために、本開示は、ピクチャを処理するための方法、機器及びシステムを提供する。本開示のいくつかの実施形態に従い、SPSレベル及びピクチャレベルにおけるGDR指示フラグの潜在的な矛盾をなくすために、GDRがシーケンスレベルで有効にされる場合にのみピクチャレベルGDR指示フラグがシグナリングされ得るように、ピクチャヘッダの構文構造を修正することができる。
【0096】
[0112] 例として、図10は、本開示のいくつかの実施形態に従う、修正されたピクチャヘッダの例示的な構文構造を示す表5を示す。表5に示すように、(実線のボックスで囲む)要素1002は、図7の表2と比較した構文の修正を示す。例えば、真である(例えば、「1」に等しい)「gdr_pic_flag」は、ピクチャヘッダに関連するピクチャがGDR対応ピクチャであることを指定し得、偽である(例えば、「0」に等しい)「gdr_pic_flag」は、ピクチャヘッダに関連するピクチャがGDR対応ピクチャではないことを指定し得る。実施形態によっては、「gdr_pic_flag」がピクチャヘッダ内に存在しない場合、その値は、「偽」を表すと推論することができる。
【0097】
[0113] 本開示のいくつかの実施形態に従い、SPSレベル及びピクチャレベルにおけるGDR指示フラグの潜在的な矛盾をなくすために、(例えば、図7の表2に示すように)ピクチャヘッダの構文構造を不変として保つことができ、シーケンスレベルGDR指示フラグが真でない(例えば、無効又は偽である)場合にピクチャレベルGDR指示フラグが真にならない(例えば、無効又は偽である)ように、ビットストリーム適合要件(例えば、VVC/H.266規格において定められるビットストリーム適合)を実装することができる。本明細書で使用するとき、ビットストリーム適合要件は、演算点に関連するビットストリームサブセットが映像符号化規格(例えば、VVC/H.266規格)に準拠することを確実にし得る演算を指すことができる。「演算点」は、サブビットストリーム抽出プロセスによって第2のビットストリームから作成される第1のビットストリームを指すことができ、かかる抽出プロセスでは、第2のビットストリームのネットワーク抽象化レイヤ(NAL)ユニットについて、ターゲット時間識別子及びターゲットレイヤ識別子のリストによって決定されるターゲットセットに属さない場合、除去することができる。例えば、ビットストリーム適合要件は、「gdr_enabled_flag」が偽である場合、「gdr_pic_flag」も偽に設定されるように実装され得る。
【0098】
[0114] 本開示のいくつかの実施形態に従い、仮想境界にわたるループフィルタリング演算を無効にする際の柔軟性を高めるために、仮想境界にわたるループフィルタリング演算を部分的に無効にすることができるように、SPS及びピクチャヘッダの構文構造を修正することができる。そうすることにより、仮想境界の片側のピクセルをフィルタしないことができるが、仮想境界の反対側のピクセルをフィルタすることができる。例えば、仮想境界がピクチャを左側と右側とに垂直に分割する場合、符号器又は復号器は、右側においてループフィルタを部分的に無効にし、そこでピクセルがフィルタされないようにし(例えば、左側のピクセルの情報が右側のピクセルのループフィルタリングに使用されない)、左側においてループフィルタを有効にし、そこでピクセルがフィルタされるようにすることができる(例えば、左側又は右側の少なくとも一方のピクセルの情報がループフィルタリングに使用され得る)。
【0099】
[0115] 例として、図11は、本開示のいくつかの実施形態に従う、仮想境界を有効にする修正をされたSPSの例示的な構文構造を示す表6を示す。図12は、本開示のいくつかの実施形態に従う、仮想境界を有効にする修正をされたピクチャヘッダの例示的な構文構造を示す表7を示す。本開示の添付図面に示すように、鎖線ボックスは、その中に囲まれる内容又は要素が削除又は除去されることを表す(取り消し線を引いて示す)。図11図12に示すように、シーケンスレベルGDR指示フラグ「sps_virtual_boundaries_present_flag」及びピクチャレベルGDR指示フラグ「ph_virtual_boundaries_present_flag」がGDR制御パラメータ「sps_virtual_boundaries_loopfilter_disable」及び「ph_virtual_boundaries_loopfilter_disable」によってそれぞれ置換されており、これらは、シーケンスレベル及びピクチャレベルのそれぞれにおいて部分的に無効化するループフィルタリング演算をサポートするように拡張されている。
【0100】
[0116] GDRの方向(例えば、左から右、右から左、上から下、下から上、又はその任意の組み合わせ)が全シーケンスにわたって固定されている場合、GDR制御パラメータ(例えば、「sps_virtual_boundaries_loopfilter_disable」)をSPS内で設定することができ、それによりビットを節約することができる。GDRの方向がシーケンス内で変更される必要がある場合、GDR制御パラメータ(例えば、「ph_virtual_boundaries_loopfilter_disable」)をピクチャヘッダ内で設定することができ、それにより低レベル制御のより高い柔軟性をもたらすことができる。
【0101】
[0117] 本開示のいくつかの実施形態に従い、GDR制御パラメータ「sps_virtual_boundaries_loopfilter_disable」及び「ph_virtual_boundaries_loopfilter_disable」は、様々な実装方式を表すために(例えば、「真」又は「偽」の表現を超えて)複数の値であるように構成され得る。
【0102】
[0118] 例えば、「0」である「sps_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がSPS内でシグナリングされないことを指定し得る。「1」である「sps_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がSPS内でシグナリングされること、及び仮想境界にわたってインループフィルタリング演算が無効にされることを指定し得る。「2」である「sps_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がSPS内でシグナリングされること、及び(1)仮想境界の左側のインループフィルタリング演算が無効にされること、(2)左側のインループフィルタリング演算が仮想境界の右側のいかなるピクセルの情報も使用しないこと、(3)仮想境界の上側のインループフィルタリング演算が無効にされること、又は(4)上側のインループフィルタリング演算が仮想境界の下側のいかなるピクセルの情報も使用しないことの1つを指定し得る。「3」である「sps_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がSPS内でシグナリングされること、及び(1)仮想境界の右側のインループフィルタリング演算が無効にされること、(2)右側のインループフィルタリング演算が仮想境界の左側のいかなるピクセルの情報も使用しないこと、(3)仮想境界の下側のインループフィルタリング演算が無効にされること、又は(4)下側のインループフィルタリング演算が上側のいかなるピクセルの情報も使用しないことの1つを指定し得る。
【0103】
[0119] 同様に、別の例では、「0」である「ph_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がピクチャヘッダ内でシグナリングされないことを指定し得る。「1」である「ph_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がピクチャヘッダ内でシグナリングされること、及び仮想境界にわたってインループフィルタリング演算が無効にされることを指定し得る。「2」である「ph_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がピクチャヘッダ内でシグナリングされること、及び(1)仮想境界の左側のインループフィルタリング演算が無効にされること、(2)左側のインループフィルタリング演算が仮想境界の右側のいかなるピクセルの情報も使用しないこと、(3)仮想境界の上側のインループフィルタリング演算が無効にされること、又は(4)上側のインループフィルタリング演算が仮想境界の下側のいかなるピクセルの情報も使用しないことの1つを指定し得る。「3」である「ph_virtual_boundaries_loopfilter_disable」は、仮想境界の情報がピクチャヘッダ内でシグナリングされること、及び(1)仮想境界の右側のインループフィルタリング演算が無効にされること、(2)右側のインループフィルタリング演算が仮想境界の左側のいかなるピクセルの情報も使用しないこと、(3)仮想境界の下側のインループフィルタリング演算が無効にされること、又は(4)下側のインループフィルタリング演算が上側のいかなるピクセルの情報も使用しないことの1つを指定し得る。実施形態によっては、「ph_virtual_boundaries_loopfilter_disable」がピクチャヘッダ内に存在しない場合、その値を0であると推論することができる。
【0104】
[0120] 実施形態によっては、変数「VirtualBoundariesLoopfilterDisabled」は、式(2)として定めることができる。
VirtualBoundariesLoopfilterDisabled=sps_virtual_boundaries_loopfilter_disable
?sps_virtual_boundaries_loopfilter_disable:
ph_virtual_boundaries_loopfilter_disable 式(2)
【0105】
[0121] 本開示のいくつかの実施形態に従い、ループフィルタは、適応ループフィルタ(ALF)であり得る。ALFが第1の側(例えば、左側、右側、上側、又は下側)で部分的に無効にされる場合、第1の側のピクセルをフィルタリング内でパディングすることができ、第2の側(例えば、右側、左側、下側、又は上側)のピクセルは、フィルタリングに使用されない。
【0106】
[0122] 実施形態によっては、ALFの境界位置を下記に記載するとおり導出することができる。ALFの境界位置導出プロセスでは、変数「clipLeftPos」、「clipRightPos」、「clipTopPos」及び「clipBottomPos」を「-128」として設定することができる。
【0107】
[0123] (例えば、VVCドラフト7における)VVC/H.266規格と比較して、変数「clipTopPos」は、以下のように決定することができる。(y-(CtbSizeY-4))が0以上の場合、変数「clipTopPos」を(yCtb+CtbSizeY-4)として設定することができる。(y-(CtbSizeY-4))が負であり、「VirtualBoundariesLoopfilterDisabled」が1に等しく、(yCtb+y-VirtualBoundariesPosY[n])が任意のn=0,1,...,(VirtualBoundariesNumHor-1)について半開区間[1,3)内にある場合、「clipTopPos」を「VirtualBoundariesPosY[n]」として設定することができる(すなわちclipTopPos=VirtualBoundariesPosY[n])。(y-(CtbSizeY-4))が負であり、「VirtualBoundariesLoopfilterDisabled」が3に等しく、(yCtb+y-VirtualBoundariesPosY[n])が任意のn=0,1,...,(VirtualBoundariesNumHor-1)について半開区間[1,3)内にある場合、「clipTopPos」を「VirtualBoundariesPosY[n]」として設定することができる(すなわちclipTopPos=VirtualBoundariesPosY[n])。
【0108】
[0124] (y-(CtbSizeY-4))が負であり、yが3未満であり、以下の条件の1つ又は複数が真である場合、「clipTopPos」を「yCtb」として設定することができ、以下の条件とは、すなわち:(1)現在の符号化ツリーブロックの上部境界がタイルの上部境界であり、「loop_filter_across_tiles_enabled_flag」が0に等しいこと、(2)現在の符号化ツリーブロックの上部境界がスライスの上部境界であり、「loop_filter_across_slices_enabled_flag」が0に等しいこと、又は(3)現在の符号化ツリーブロックの上部境界がサブピクチャの上部境界であり、「loop_filter_across_subpic_enabled_flag[SubPicIdx]」が0に等しいことである。
【0109】
[0125] (例えば、VVCドラフト7における)VVC/H.266規格と比較して、変数「clipBottomPos」は、以下のように決定することができる。「VirtualBoundariesLoopfilterDisabled」が1に等しく、「VirtualBoundariesPosY[n]」が(pic_height_in_luma_samples-1)又は0に等しくなく、(VirtualBoundariesPosY[n]-yCtb-y)が任意のn=0,...,(VirtualBoundariesNumHor-1)について開区間(0,5)内にある場合、「clipBottomPos」を「VirtualBoundariesPosY[n]」として設定することができる(すなわちclipBottomPos=VirtualBoundariesPosY[n])。
【0110】
[0126] 「VirtualBoundariesLoopfilterDisabled」が2に等しく、「VirtualBoundariesPosY[n]」が(pic_height_in_luma_samples-1)又は0に等しくなく、(VirtualBoundariesPosY[n]-yCtb-y)が任意のn=0,...,(VirtualBoundariesNumHor-1)について開区間(0,5)内にある場合、「clipBottomPos」を「VirtualBoundariesPosY[n]」として設定することができる(すなわちclipBottomPos=VirtualBoundariesPosY[n])。
【0111】
[0127] そうではなく、(CtbSizeY-4-y)が開区間(0,5)内にある場合、「clipBottomPos」を「yCtb+CtbSizeY-4」として設定することができる。そうではなく、(CtbSizeY-y)が5未満であり、以下の条件の1つ又は複数が真である場合、「clipBottomPos」を「(yCtb+CtbSizeY)」として設定することができ、以下の条件とは、すなわち:(1)現在の符号化ツリーブロックの下部境界がタイルの下部境界であり、「loop_filter_across_tiles_enabled_flag」が0に等しいこと、(2)現在の符号化ツリーブロックの下部境界がスライスの下部境界であり、「loop_filter_across_slices_enabled_flag」が0に等しいこと、又は(3)現在の符号化ツリーブロックの下部境界がサブピクチャの下部境界であり、「loop_filter_across_subpic_enabled_flag[SubPicIdx]」が0に等しいことである。
【0112】
[0128] (例えば、VVCドラフト7における)VVC/H.266規格と比較して、変数「clipLeftPos」は、以下のように決定することができる。「VirtualBoundariesLoopfilterDisabled」が1に等しく、(xCtb+x-VirtualBoundariesPosX[n])が任意のn=0,...,(VirtualBoundariesNumVer-1)について半開区間[1,3)内にある場合、「clipLeftPos」を「VirtualBoundariesPosX[n]」として設定することができる(すなわちclipLeftPos=VirtualBoundariesPosX[n])。「VirtualBoundariesLoopfilterDisabled」が3に等しく「xCtb+x-VirtualBoundariesPosX[n]」が任意のn=0,...,(VirtualBoundariesNumVer-1)について半開区間[1,3)内にある場合、「clipLeftPos」を「VirtualBoundariesPosX[n]」として設定することができる(すなわちclipLeftPos=VirtualBoundariesPosX[n])。
【0113】
[0129] そうではなく、xが3未満であり、以下の条件の1つ又は複数が真である場合、「clipLeftPos」を「xCtb」として設定することができ、以下の条件とは、すなわち:(1)現在の符号化ツリーブロックの左側境界がタイルの左側境界であり、「loop_filter_across_tiles_enabled_flag」が0に等しいこと、(2)現在の符号化ツリーブロックの左側境界がスライスの左側境界であり、「loop_filter_across_slices_enabled_flag」が0に等しいこと、(3)現在の符号化ツリーブロックの左側境界がサブピクチャの左側境界であり、「loop_filter_across_subpic_enabled_flag[SubPicIdx]」が0に等しいことである。
【0114】
[0130] (例えば、VVCドラフト7における)VVC/H.266規格と比較して、変数「clipRightPos」は、以下のように決定することができる。「VirtualBoundariesLoopfilterDisabled」が1に等しく、「(VirtualBoundariesPosX[n]-xCtb-x)」が任意のn=0,...,(VirtualBoundariesNumVer-1)について開区間(0,5)内にある場合、「clipRightPos」を「VirtualBoundariesPosX[n]」として設定することができる(すなわちclipRightPos=VirtualBoundariesPosX[n])。「VirtualBoundariesLoopfilterDisabled」が2に等しく、(VirtualBoundariesPosX[n]-xCtb-x)が任意のn=0,...,(VirtualBoundariesNumVer-1)について開空間(0,5)内にある場合、「clipRightPos」を「VirtualBoundariesPosX[n]」として設定することができる(すなわちclipRightPos=VirtualBoundariesPosX[n])。
【0115】
[0131] そうではなく、「(CtbSizeY-x)」が5未満であり、以下の条件の1つ又は複数が真である場合、「clipRightPos」を(xCtb+CtbSizeY)として設定することができ、以下の条件とは、すなわち:(1)現在の符号化ツリーブロックの右側境界がタイルの右側境界であり、「loop_filter_across_tiless_enabled_flag」が0に等しいこと、(2)現在の符号化ツリーブロックの右側境界がスライスの右側境界であり、「loop_filter_across_slices_enabled_flag」が0に等しいこと、又は(3)現在の符号化ツリーブロックの右側境界がサブピクチャの右側境界であり、「loop_filter_across_subpic_enabled_flag[SubPicIdx]」が0に等しいことである。
【0116】
[0132] (例えば、VVCドラフト7における)VVC/H.266規格と比較して、変数「clipTopLeftFlag」及び「clipBotRightFlag」は、以下のように決定することができる。ルマ位置(xCtb,yCtb)を対象として含む符号化ツリーブロック及びルマ位置(xCtb-CtbSizeY,yCtb-CtbSizeY)を対象として含む符号化ツリーブロックが異なるスライスに属し、「loop_filter_across_slices_enabled_flag」が0に等しい場合、「clipTopLeftFlag」を1として設定することができる。ルマ位置(xCtb,yCtb)を対象として含む符号化ツリーブロック及びルマ位置(xCtb+CtbSizeY,yCtb+CtbSizeY)を対象として含む符号化ツリーブロックが異なるスライスに属し、「loop_filter_across_slices_enabled_flag」が0に等しい場合、「clipBotRightFlag」を1として設定することができる。
【0117】
[0133] 本開示のいくつかの実施形態に従い、ループフィルタは、サンプル適応オフセット(SAO)演算を含み得る。SAOが仮想境界の第1の側(例えば、左側、右側、上側、又は下側)で部分的に無効にされるとき、第1の側のピクセルに対するSAOが第2の側(例えば、右側、左側、下側、又は上側)のピクセルを必要とする場合、第1の側のピクセルに対するSAOの適用を飛ばすことができる。そうすることにより、第2の側のピクセルは使用できなくなる。
【0118】
[0134] 本開示のいくつかの実施形態に従い、CTB修正プロセスでは、i=0,...,(nCtbSw-1)及びj=0,...,(nCtbSh-1)である全てのサンプル位置(xSi,ySj)及び(xYi,yYj)について以下の演算が適用可能である。
【0119】
[0135] 以下の条件の1つ又は複数が真である場合、変数「saoPicture[xSi][ySj]」を未修正とすることができ、以下の条件とは、すなわち:(1)変数「SaoTypeIdx[cIdx][rx][ry]」が0に等しいこと、(2)「VirtualBoundariesLoopfilterDisabled」が1に等しく、「xSj」が任意のn=0,...,(VirtualBoundariesNumVer-1)について((VirtualBoundariesPosX[n]/scaleWidth)-1)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、変数「SaoEoClass[cIdx][rx][ry]」が1に等しくないこと、(3)「VirtualBoundariesLoopfilterDisabled」が1に等しく、「xSj」が任意のn=0,...,(VirtualBoundariesNumVer-1)について(VirtualBoundariesPosX[n]/scaleWidth)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、「SaoEoClass[cIdx][rx][ry]」が1に等しくないこと、(4)「VirtualBoundariesLoopfilterDisabled」が1に等しく、「ySj」が任意のn=0,...,(VirtualBoundariesNumHor-1)について((VirtualBoundariesPosY[n]/scaleHeight)-1)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、「SaoEoClass[cIdx][rx][ry]」が0に等しくないこと、(5)「VirtualBoundariesLoopfilterDisabled」が1に等しく、「ySj」が任意のn=0,...,(VirtualBoundariesNumHor-1)について(VirtualBoundariesPosY[n]/scaleHeight)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、「SaoEoClass[cIdx][rx][ry]」が0に等しくないこと、(6)「VirtualBoundariesLoopfilterDisabled」が2に等しく、「xSj」が任意のn=0,...,(VirtualBoundariesNumVer-1)について((VirtualBoundariesPosX[n]/scaleWidth)-1)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、「SaoEoClass[cIdx][rx][ry]」が1に等しくないこと、(7)「VirtualBoundariesLoopfilterDisabled」が3に等しく、「xSj」が任意のn=0,...,(VirtualBoundariesNumVer-1)について(VirtualBoundariesPosX[n]/scaleWidth)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、「SaoEoClass[cIdx][rx][ry]」が1に等しくないこと、(8)「VirtualBoundariesLoopfilterDisabled」が2に等しく、「ySj」が任意のn=0,...,(VirtualBoundariesNumHor-1)について((VirtualBoundariesPosY[n]/scaleHeight)-1)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、「SaoEoClass[cIdx][rx][ry]」が0に等しくないこと、又は(9)「VirtualBoundariesLoopfilterDisabled」が3に等しく、「ySj」が任意のn=0,...,(VirtualBoundariesNumHor-1)について(VirtualBoundariesPosY[n]/scaleHeight)に等しく、「SaoTypeIdx[cIdx][rx][ry]」が2に等しく、「SaoEoClass[cIdx][rx][ry]」が0に等しいことである。
【0120】
[0136] 本開示のいくつかの実施形態に従い、ループフィルタは、デブロッキングフィルタを含み得る。実施形態によっては、デブロッキングフィルタが仮想境界の第1の側(例えば、左側、右側、上側、又は下側)で部分的に無効にされるとき、第1の側のピクセルがデブロッキングフィルタによって処理されることを飛ばすことができ、仮想境界の第2の側(例えば、右側、左側、下側、又は上側)がデブロッキングフィルタによって処理され得る。実施形態によっては、「VirtualBoundariesLoopfilterDisabled」が(例えば、0の値を有する)偽でない場合、デブロッキングフィルタを完全に無効にすることができ、仮想境界の両側のピクセルがデブロッキングフィルタによって処理されることを飛ばすことができる。
【0121】
[0137] 本開示のいくつかの実施形態に従い、図13図15は、例示的な方法1300~1500のフローチャートを示す。方法1300~1500は、映像符号器(例えば、図2A図2Bに関連して記載した符号器)又は映像復号器(例えば、図3A図3Bに関連して記載した復号器)に関連する少なくとも1つのプロセッサ(例えば、図4のプロセッサ402)によって実行され得る。実施形態によっては、方法1300~1500は、コンピュータ(例えば、図4の機器400)によって実行されるコンピュータ実行可能命令(例えば、プログラムコード)を含む(例えば、コンピュータ可読媒体によって具体化される)コンピュータプログラム製品として実装することができる。実施形態によっては、方法1300~1500は、コンピュータ実行可能命令(例えば、図4のメモリ404内のプログラム命令)を記憶するハードウェア製品(例えば、図4のメモリ404)として実装することができ、ハードウェア製品は、コンピュータの独立部分又は一体部分であり得る。
【0122】
[0138] 例として、図13は、本開示のいくつかの実施形態に係る、映像処理のための例示的なプロセス1300のフローチャートを示す。例えば、プロセス1300は、符号器によって実行され得る。
【0123】
[0139] ステップ1302では、プロセッサ(例えば、図4のプロセッサ402)が映像シーケンス(例えば、図2A図2Bの映像シーケンス202)を受信することに応答して、プロセッサは、映像シーケンスに関連するパラメータセット(例えば、SPS)内の第1のフラグデータ(例えば、図10図12に関して図示し、説明した「gdr_enabled_flag」)を符号化することができる。第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すことができる。
【0124】
[0140] ステップ1304では、映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す(例えば、「gdr_enabled_flag」が偽である)場合、プロセッサは、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化することができる。本明細書で使用するとき、GDRピクチャは、クリーン領域及びダーティ領域の両方を含むピクチャを指し得る。例として、クリーン領域は、図5で図示し、説明したクリーン領域516、520、524、又は528のいずれかであり得、ダーティ領域は、図5で図示し、説明したダーティ領域514、518、522、又は526のいずれかであり得る。本開示の非GDRピクチャは、クリーン領域を含まない又はダーティ領域を含まないピクチャを指し得る。
【0125】
[0141] 実施形態によっては、ピクチャヘッダを符号化するために、プロセッサは、ピクチャヘッダ内の第2のフラグデータ(例えば、図10図12に関して図示し、説明した「gdr_pic_flag」)を符号化することを無効にすることができる。第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表すことができる。
【0126】
[0142] 実施形態によっては、ピクチャヘッダを符号化するために、プロセッサは、ピクチャヘッダ内の第2のフラグデータ(例えば、図10図12に関して図示し、説明した「gdr_pic_flag」)を符号化することができ、第2のフラグデータは、ピクチャが非GDRピクチャである(例えば、「gdr_pic_flag」が偽である)ことを表す。
【0127】
[0143] ステップ1306では、プロセッサは、非GDRピクチャを符号化することができる。
【0128】
[0144] 本開示のいくつかの実施形態に従い、映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す(例えば、「gdr_enabled_flag」が真である)場合、プロセッサは、ピクチャヘッダ内の第2のフラグデータ(例えば、図10図12に関して図示し、説明した「gdr_pic_flag」)を符号化することを有効にすることができ、第2のフラグデータは、ピクチャがGDRピクチャ(例えば、「gdr_pic_flag」が真)であるかどうかを表す。次いで、プロセッサは、ピクチャを符号化することができる。
【0129】
[0145] 本開示のいくつかの実施形態に従い、映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し(例えば、「gdr_enabled_flag」が真であり)、ピクチャがGDRピクチャであることを第2のフラグデータが表す(例えば、「gdr_pic_flag」が真である)場合、プロセッサは、仮想境界を使用してピクチャを第1の領域(例えば、図5で図示し、説明したクリーン領域516、520、524、又は528のいずれかなどのクリーン領域)と第2の領域(例えば、図5で図示し、説明したダーティ領域514、518、522、又は526のいずれかなどのダーティ領域)とに分割することができる。例えば、第1の領域は、仮想境界の第1の側(例えば、左側、右側、上側、又は下側)であり得、第2の領域は、仮想境界の第2の側(例えば、右側、左側、下側、又は上側)であり得る。次いで、プロセッサは、第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に、(例えば、図2B及び図3Bに関して図示し、説明したループフィルタ232)を無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用することができる。その後、プロセッサは、第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用することができる。
【0130】
[0146] 例として、図14は、本開示のいくつかの実施形態に係る、映像処理のための別の例示的なプロセス1400のフローチャートを示す。例えば、プロセス1400は、復号器によって実行され得る。
【0131】
[0147] ステップ1402では、プロセッサ(例えば、図4のプロセッサ402)が映像ビットストリーム(例えば、図3A図3Bの映像ビットストリーム228)を受信することに応答して、プロセッサは、映像ビットストリームのシーケンス(例えば、復号化される映像シーケンス)に関連するパラメータセット(例えば、SPS)内の第1のフラグデータ(例えば、図10図12に関して図示し、説明した「gdr_enabled_flag」)を復号化することができる。第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すことができる。
【0132】
[0148] ステップ1404では、シーケンスに関してGDRが無効にされることを第1のフラグデータが表す(例えば、「gdr_enabled_flag」が偽である)場合、プロセッサは、シーケンス内のピクチャに関連するピクチャヘッダを復号化することができ、当該ピクチャヘッダは、ピクチャが非GDRピクチャであることを示す。
【0133】
[0149] 実施形態によっては、ピクチャヘッダを復号化するために、プロセッサは、ピクチャヘッダ内の第2のフラグデータ(例えば、図10図12に関して図示し、説明した「gdr_pic_flag」)の復号化を無効にし、ピクチャが非GDRピクチャであると判定することができ、第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを示し得る。実施形態によっては、ピクチャヘッダを復号化するために、プロセッサは、ピクチャヘッダ内の第2のフラグデータを復号化することができ、第2のフラグデータは、ピクチャが非GDRピクチャである(例えば、「gdr_pic_flag」が偽である)ことを示し得る。
【0134】
[0150] ステップ1406では、プロセッサは、非GDRピクチャを復号化することができる。
【0135】
[0151] 本開示のいくつかの実施形態に従い、映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す(例えば、「gdr_enabled_flag」が真である)場合、プロセッサは、ピクチャヘッダ内の第2のフラグデータ(例えば、図10図12に関して図示し、説明した「gdr_pic_flag」)を復号化して、ピクチャがGDRピクチャであるか(例えば、「gdr_pic_flag」が真であるか)どうかを第2のフラグデータに基づいて判定することができる。次いで、プロセッサは、ピクチャを復号化することができる。
【0136】
[0152] 本開示のいくつかの実施形態に従い、映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し、ピクチャがGDRピクチャであることを第2のフラグデータが表す場合、プロセッサは、仮想境界を使用してピクチャを第1の領域(例えば、図5で図示し、説明したクリーン領域516、520、524、又は528のいずれかなどのクリーン領域)と第2の領域(例えば、図5で図示し、説明したダーティ領域514、518、522、又は526のいずれかなどのダーティ領域)とに分割することができる。例えば、第1の領域は、仮想境界の第1の側(例えば、左側、右側、上側、又は下側)であり得、第2の領域は、仮想境界の第2の側(例えば、右側、左側、下側、又は上側)であり得る。次いで、プロセッサは、第1の領域内のループフィルタ(例えば、図2B及び図3Bに関して図示し、説明したループフィルタ232)を無効にするか、又は第1のピクセルに対するループフィルタを、第1の領域内のピクセルの情報のみを使用して適用することができる。その後、プロセッサは、第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用することができる。
【0137】
[0153] 例として、図15は、本開示のいくつかの実施形態に係る、映像処理のためのさらに別の例示的なプロセス1500のフローチャートを示す。例えば、プロセス1500は、符号器又は復号器によって実行され得る。
【0138】
[0154] ステップ1502では、プロセッサ(例えば、図4のプロセッサ402)が映像のピクチャを受信することに応答して、プロセッサは、ピクチャに関連するフラグデータに基づいて、ピクチャが漸進的復号化リフレッシュ(GDR)であるかどうかを判定する。例えば、フラグデータは、(例えば、SPS内に記憶される)シーケンスレベル又は(例えば、ピクチャヘッダ内に記憶される)ピクチャレベルにあることができる。
【0139】
[0155] ステップ1504では、ピクチャがGDRピクチャであるという判定に基づき、プロセッサは、仮想境界を使用してピクチャの第1の領域(例えば、図5で図示し、説明したクリーン領域516、520、524、又は528のいずれかなどのクリーン領域)及び第2の領域(例えば、図5で図示し、説明したダーティ領域514、518、522、又は526のいずれかなどのダーティ領域)を決定することができる。例えば、第1の領域は、左側領域又は上部領域を含むことができ、第2の領域は、右側領域又は下部領域を含むことができる。
【0140】
[0156] ステップ1506では、プロセッサは、第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に、第1の領域内の第1のピクセルに対するループフィルタ(例えば、図2B及び図3Bに関して図示し、説明したループフィルタ232)を無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用することができる。実施形態によっては、プロセッサは、第1の領域内のサンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを無効にするか、又は第1の領域内のピクセルを使用して、サンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを適用することができる。
【0141】
[0157] ステップ1508では、第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用することができる。
【0142】
[0158] 本開示のいくつかの実施形態に従い、プロセッサは、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、又はピクチャヘッダの少なくとも1つにおけるフラグデータを符号化又は復号化することができる。図10図12に関して図示し、説明したように、例えば、プロセッサは、フラグデータをGDR指示フラグ「gdr_enabled_flag」、GDR指示フラグ「gdr_pic_flag」又はその両方として符号化することができる。
【0143】
[0159] 実施形態によっては、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、デバイス(本開示の符号器及び復号器など)により、上述の方法を遂行するために実行され得る。一般的な形態の非一時的媒体としては、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ又は任意の他の磁気データ記憶媒体、CD-ROM、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM及びEPROM、FLASH(登録商標)-EPROM又は任意の他のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ並びにこれらのネットワーク化バージョンが挙げられる。デバイスは、1つ以上のプロセッサ(CPU)、入力/出力インターフェース、ネットワークインターフェース及び/又はメモリを含むことができる。
【0144】
[0160] 実施形態は、以下の条項を用いてさらに記述することができる:
1.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、機器に方法を行わせるために、機器の少なくとも1つのプロセッサによって実行可能であり、その方法は、
映像シーケンスを受信することに応答して、映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び
非GDRピクチャを符号化すること
を含む、非一時的コンピュータ可読媒体。
2.ピクチャヘッダを符号化することは、
ピクチャヘッダ内の第2のフラグデータを符号化することを無効にすることを含み、
第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表す、条項1に記載の非一時的コンピュータ可読媒体。
3.ピクチャヘッダを符号化することは、
ピクチャヘッダ内の第2のフラグデータを符号化することを含み、
第2のフラグデータは、ピクチャが非GDRピクチャであることを表す、条項1に記載の非一時的コンピュータ可読媒体。
4.機器の少なくとも1つのプロセッサによって実行可能な命令のセットは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す場合、ピクチャヘッダ内の第2のフラグデータを符号化することを有効にすることであって、第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表すこと、及び
ピクチャを符号化すること
を機器にさらに行わせる、条項1に記載の非一時的コンピュータ可読媒体。
5.機器の少なくとも1つのプロセッサによって実行可能な命令のセットは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し、及びピクチャがGDRピクチャであることを第2のフラグデータが表す場合、仮想境界を使用してピクチャを第1の領域と第2の領域とに分割すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
を機器にさらに行わせる、条項2~4のいずれか一項に記載の非一時的コンピュータ可読媒体。
6.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項2~5のいずれか一項に記載の非一時的コンピュータ可読媒体。
7.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項1~6のいずれか一項に記載の非一時的コンピュータ可読媒体。
8.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、機器に方法を行わせるために、機器の少なくとも1つのプロセッサによって実行可能であり、その方法は、
映像ビットストリームを受信することに応答して、映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、シーケンス内のピクチャに関連するピクチャヘッダを復号化することであって、ピクチャヘッダは、ピクチャが非GDRピクチャであることを示すこと、及び
非GDRピクチャを復号化すること
を含む、非一時的コンピュータ可読媒体。
9.ピクチャヘッダを復号化することは、
ピクチャヘッダ内の第2のフラグデータを復号化することを無効にし、及びピクチャが非GDRピクチャであると判定すること
を含み、第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを示す、条項8に記載の非一時的コンピュータ可読媒体。
10.ピクチャヘッダを復号化することは、
ピクチャヘッダ内の第2のフラグデータを復号化することを含み、
第2のフラグデータは、ピクチャが非GDRピクチャであることを示す、条項8に記載の非一時的コンピュータ可読媒体。
11.機器の少なくとも1つのプロセッサによって実行可能な命令のセットは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す場合、ピクチャヘッダ内の第2のフラグデータを復号化し、及びピクチャがGDRピクチャであるかどうかを第2のフラグデータに基づいて判定すること、及び
ピクチャを復号化すること
を機器にさらに行わせる、条項8に記載の非一時的コンピュータ可読媒体。
12.機器の少なくとも1つのプロセッサによって実行可能な命令のセットは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し、及びピクチャがGDRピクチャであることを第2のフラグデータが表す場合、仮想境界を使用してピクチャを第1の領域と第2の領域とに分割すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
を機器にさらに行わせる、条項8~11のいずれか一項に記載の非一時的コンピュータ可読媒体。
13.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項9~12のいずれか一項に記載の非一時的コンピュータ可読媒体。
14.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項8~13のいずれか一項に記載の非一時的コンピュータ可読媒体。
15.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、機器に方法を行わせるために、機器の少なくとも1つのプロセッサによって実行可能であり、その方法は、
映像のピクチャを受信することに応答して、ピクチャに関連するフラグデータに基づいて、ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、
ピクチャがGDRピクチャであるという判定に基づき、仮想境界を使用してピクチャの第1の領域及び第2の領域を決定すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
を含む、非一時的コンピュータ可読媒体。
16.第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用することは、
第1の領域内のサンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを無効にすること、又は
第1の領域内のピクセルを使用して、サンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを適用すること
を含む、条項15に記載の非一時的コンピュータ可読媒体。
17.機器の少なくとも1つのプロセッサによって実行可能な命令のセットは、
シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、又はピクチャヘッダの少なくとも1つにおけるフラグデータを符号化又は復号化すること
を機器にさらに行わせる、条項15又は16に記載の非一時的コンピュータ可読媒体。
18.第1の領域は、左側領域又は上部領域を含み、及び第2の領域は、右側領域又は下部領域を含む、条項15~17のいずれか一項に記載の非一時的コンピュータ可読媒体。
19.フラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項15~18のいずれか一項に記載の非一時的コンピュータ可読媒体。
20.機器であって、
命令のセットを記憶するように構成されるメモリと、
メモリに通信可能に結合される1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
映像シーケンスを受信することに応答して、映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び
非GDRピクチャを符号化すること
を機器に行わせるために命令のセットを実行するように構成される、機器。
21.ピクチャヘッダを符号化することは、
ピクチャヘッダ内の第2のフラグデータを符号化することを無効にすることを含み、
第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表す、条項20に記載の機器。
22.ピクチャヘッダを符号化することは、
ピクチャヘッダ内の第2のフラグデータを符号化することを含み、
第2のフラグデータは、ピクチャが非GDRピクチャであることを表す、条項20に記載の機器。
23.1つ以上のプロセッサは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す場合、ピクチャヘッダ内の第2のフラグデータを符号化することを有効にすることであって、第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表すこと、及び
ピクチャを符号化すること
を機器に行わせるために命令のセットを実行するようにさらに構成される、条項20に記載の機器。
24.1つ以上のプロセッサは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し、及びピクチャがGDRピクチャであることを第2のフラグデータが表す場合、仮想境界を使用してピクチャを第1の領域と第2の領域とに分割すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
を機器に行わせるために命令のセットを実行するようにさらに構成される、条項21~23のいずれか一項に記載の機器。
25.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項21~24のいずれか一項に記載の機器。
26.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項20~25のいずれか一項に記載の機器。
27.機器であって、
命令のセットを記憶するように構成されるメモリと、
メモリに通信可能に結合される1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
映像ビットストリームを受信することに応答して、映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、シーケンス内のピクチャに関連するピクチャヘッダを復号化することであって、ピクチャヘッダは、ピクチャが非GDRピクチャであることを示すこと、及び
非GDRピクチャを復号化すること
を機器に行わせるために命令のセットを実行するように構成される、機器。
28.ピクチャヘッダを復号化することは、
ピクチャヘッダ内の第2のフラグデータを復号化することを無効にし、ピクチャが非GDRピクチャであると判定すること
を含み、第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを示す、条項27に記載の機器。
29.ピクチャヘッダを復号化することは、
ピクチャヘッダ内の第2のフラグデータを復号化することを含み、
第2のフラグデータは、ピクチャが非GDRピクチャであることを示す、条項27に記載の機器。
30.1つ以上のプロセッサは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す場合、ピクチャヘッダ内の第2のフラグデータを復号化し、ピクチャがGDRピクチャであるかどうかを第2のフラグデータに基づいて判定すること、及び
ピクチャを復号化すること
を機器に行わせるために命令のセットを実行するようにさらに構成される、条項27に記載の機器。
31.1つ以上のプロセッサは、
映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し、及びピクチャがGDRピクチャであることを第2のフラグデータが表す場合、仮想境界を使用してピクチャを第1の領域と第2の領域とに分割すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
を機器に行わせるために命令のセットを実行するようにさらに構成される、条項28~30のいずれか一項に記載の機器。
32.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項28~31のいずれか一項に記載の機器。
33.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項27~32のいずれか一項に記載の機器。
34.機器であって、
命令のセットを記憶するように構成されるメモリと、
メモリに通信可能に結合される1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
映像のピクチャを受信することに応答して、ピクチャに関連するフラグデータに基づいて、ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、
ピクチャがGDRピクチャであるという判定に基づき、仮想境界を使用してピクチャの第1の領域及び第2の領域を決定すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
を機器に行わせるために命令のセットを実行するように構成される、機器。
35.第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用することは、
第1の領域内のサンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを無効にすること、又は第1の領域内のピクセルを使用して、サンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを適用すること
を含む、条項34に記載の機器。
36.1つ以上のプロセッサは、
シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、又はピクチャヘッダの少なくとも1つにおけるフラグデータを符号化又は復号化すること
を機器に行わせるために命令のセットを実行するようにさらに構成される、条項34又は35に記載の機器。
37.第1の領域は、左側領域又は上部領域を含み、第2の領域は、右側領域又は下部領域を含む、条項34~36のいずれか一項に記載の機器。
38.フラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項34~37のいずれか一項に記載の機器。
39.映像シーケンスを受信することに応答して、映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
映像シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、ピクチャが非GDRピクチャであることを示すために、映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び
非GDRピクチャを符号化すること
を含む方法。
40.ピクチャヘッダを符号化することは、
ピクチャヘッダ内の第2のフラグデータを符号化することを無効にすることを含み、
第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表す、条項39に記載の方法。
41.ピクチャヘッダを符号化することは、
ピクチャヘッダ内の第2のフラグデータを符号化することを含み、
第2のフラグデータは、ピクチャが非GDRピクチャであることを表す、条項39に記載の方法。
42.映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す場合、ピクチャヘッダ内の第2のフラグデータを符号化することを有効にすることであって、第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表すこと、及び
ピクチャを符号化すること
をさらに含む、条項39に記載の方法。
43.映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し、及びピクチャがGDRピクチャであることを第2のフラグデータが表す場合、仮想境界を使用してピクチャを第1の領域と第2の領域とに分割すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
をさらに含む、条項40~42のいずれか一項に記載の方法。
44.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項40~43のいずれか一項に記載の方法。
45.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項39~44のいずれか一項に記載の方法。
46.映像ビットストリームを受信することに応答して、映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、第1のフラグデータは、映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
シーケンスに関してGDRが無効にされることを第1のフラグデータが表す場合、シーケンス内のピクチャに関連するピクチャヘッダを復号化することであって、ピクチャヘッダは、ピクチャが非GDRピクチャであることを示すこと、及び
非GDRピクチャを復号化すること
を含む方法。
47.ピクチャヘッダを復号化することは、
ピクチャヘッダ内の第2のフラグデータを復号化することを無効にし、ピクチャが非GDRピクチャであると判定すること
を含み、第2のフラグデータは、ピクチャがGDRピクチャであるかどうかを表す、条項46に記載の方法。
48.ピクチャヘッダを復号化することは、
ピクチャヘッダ内の第2のフラグデータを復号化することを含み、
第2のフラグデータは、ピクチャが非GDRピクチャであることを示す、条項46に記載の方法。
49.映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表す場合、ピクチャヘッダ内の第2のフラグデータを復号化し、ピクチャがGDRピクチャであるかどうかを第2のフラグデータに基づいて判定すること、及び
ピクチャを復号化すること
をさらに含む、条項46に記載の方法。
50.映像シーケンスに関してGDRが有効にされることを第1のフラグデータが表し、及びピクチャがGDRピクチャであることを第2のフラグデータが表す場合、仮想境界を使用してピクチャを第1の領域と第2の領域とに分割すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
をさらに含む、条項47~49のいずれか一項に記載の方法。
51.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項47~50のいずれか一項に記載の方法。
52.第2のフラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項46~51のいずれか一項に記載の方法。
53.映像のピクチャを受信することに応答して、ピクチャに関連するフラグデータに基づいて、ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、
ピクチャがGDRピクチャであるという判定に基づき、仮想境界を使用してピクチャの第1の領域及び第2の領域を決定すること、
第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用すること、及び
第1の領域又は第2の領域の少なくとも1つにおけるピクセルを使用して、第2の領域内のピクセルに対するループフィルタを適用すること
を含む方法。
54.第1のピクセルのフィルタリングが第2の領域内の第2のピクセルの情報を使用する場合に第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は第1の領域内のピクセルの情報のみを使用して第1のピクセルに対するループフィルタを適用することは、
第1の領域内のサンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを無効にすること、又は第1の領域内のピクセルを使用して、サンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを適用すること
を含む、条項53に記載の方法。
55.シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、又はピクチャヘッダの少なくとも1つにおけるフラグデータを符号化又は復号化すること
をさらに含む、条項53又は54に記載の方法。
56.第1の領域は、左側領域又は上部領域を含み、第2の領域は、右側領域又は下部領域を含む、条項53~55のいずれか一項に記載の方法。
57.フラグデータは、ピクチャがGDRピクチャであることを表す「1」の値、又はピクチャが非GDRピクチャであることを表す「0」の値を有する、条項53~56のいずれか一項に記載の方法。
【0145】
[0161] 「第1」及び「第2」などの本明細書における関係語は、単に、実体又は動作を別の実体又は動作と区別するために使用されるにすぎず、これらの実体又は動作間のいかなる実際の関係又は順序も必要とせず、暗示もしないことに留意されたい。さらに、単語「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形式は、意味が均等であり、これらの単語の任意のものに続く要素若しくは要素群は、このような要素若しくは要素群の限定列挙であることを意味されないか、又は列挙された要素若しくは要素群のみに限定されることを意味されない点でオープンエンドなものであることを意図される。
【0146】
[0162] 本明細書において使用するとき、別途特に断りのない限り、用語「又は」は、実行不可能な場合を除き、全ての可能な組み合わせを包含する。例えば、構成要素がA又はBを含むことができると述べられた場合、このとき、別途特に断りのない限り又は実行不可能でない限り、構成要素は、A若しくはB又はA及びBを含むことができる。第2の例として、構成要素がA、B又はCを含むことができると述べられた場合、このとき、別途特に断りのない限り又は実行不可能でない限り、構成要素は、A、B若しくはC、又はA及びB、A及びC若しくはB及びC、又はA及びB及びCを含むことができる。
【0147】
[0163] 上述の実施形態は、ハードウェア若しくはソフトウェア(プログラムコード)又はハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合、それは、上述のコンピュータ可読媒体内に記憶され得る。ソフトウェアは、プロセッサによって実行されたとき、本開示の方法を遂行することができる。本開示において説明される計算ユニット及び他の機能ユニットは、ハードウェア若しくはソフトウェア又はハードウェア及びソフトウェアの組み合わせによって実施され得る。当業者は、上述のモジュール/ユニットの複数のものを1つのモジュール/ユニットとして組み合わせることができ、上述のモジュール/ユニットの各々を複数のサブモジュール/サブユニットにさらに分割できることも理解し得る。
【0148】
[0164] 上述の本明細書において、実施形態は、実装形態ごとに異なり得る多くの特定の詳細を参照して説明された。上述の実施形態の特定の適応形態及び変更形態がなされ得る。本明細書の考慮及び本明細書において開示された本開示の実施から、他の実施形態が当業者に明らかになり得る。本明細書及び実施例は、例としてのみ考慮されることが意図されており、本開示の真の範囲及び趣旨は、添付の請求項によって指示される。また、図に示されるステップの配列は、単に例示目的のためのものにすぎず、ステップのいかなる特定の配列にも限定されることを意図されないことも意図される。そのため、当業者は、これらのステップが、同じ方法を実施しながらも、異なる順序で遂行され得ることを理解することができる。
【0149】
[0165] 図面及び本明細書において、例示的な実施形態が開示された。しかし、これらの実施形態に対する多くの変形形態及び変更形態がなされ得る。従って、特定の用語が採用されていても、これらは、単に、一般的な説明の意味で使用されているにすぎず、限定を目的として使用されているものではない。
図1
図2A
図2B
図3A
図3B
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【手続補正書】
【提出日】2022-08-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、機器に方法を行わせるために、前記機器の少なくとも1つのプロセッサによって実行可能であり、前記方法は、
映像シーケンスを受信することに応答して、前記映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、前記第1のフラグデータは、前記映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
前記映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、
前記ピクチャを符号化すること
を含み、
前記ピクチャヘッダは、第2のフラグデータを含み、
前記第2のフラグデータは、前記映像シーケンスに関して前記GDRが無効にされることを前記第1のフラグデータが表す場合、前記ピクチャが非GDRピクチャであることを表し、及び
前記第2のフラグデータは、前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記ピクチャがGDRピクチャであるかどうかを表す、非一時的コンピュータ可読媒体。
【請求項2】
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャが前記GDRピクチャであることを表す第1の値、又は前記ピクチャが前記非GDRピクチャであることを表す第2の値を有する、請求項1に記載の非一時的コンピュータ可読媒体。
【請求項3】
前記機器の前記少なくとも1つのプロセッサによって実行可能な前記命令のセットは、
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表し、及び前記ピクチャが前記GDRピクチャであることを前記第2のフラグデータが表す場合、仮想境界を使用して前記ピクチャを第1の領域と第2の領域とに分割すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を前記機器にさらに行わせる、請求項1に記載の非一時的コンピュータ可読媒体。
【請求項4】
前記第1のフラグデータは、前記映像シーケンスに関して前記GDRが有効にされることを表す第1の値、又は前記映像シーケンスに関して前記GDRが無効にされることを表す第2の値を有する、請求項1に記載の非一時的コンピュータ可読媒体。
【請求項5】
命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、機器に方法を行わせるために、前記機器の少なくとも1つのプロセッサによって実行可能であり、前記方法は、
映像のピクチャを受信することに応答して、前記ピクチャに関連するフラグデータに基づいて、前記ピクチャが漸進的復号化リフレッシュ(GDR)ピクチャであるかどうかを判定すること、
前記ピクチャが前記GDRピクチャであるという判定に基づき、仮想境界を使用して前記ピクチャの第1の領域及び第2の領域を決定すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を含む、非一時的コンピュータ可読媒体。
【請求項6】
前記第1のピクセルのフィルタリングが前記第2の領域内の前記第2のピクセルの前記情報を使用する場合に前記第1の領域内の前記第1のピクセルに対する前記ループフィルタを無効にするか、又は前記第1の領域内のピクセルの前記情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用することは、
前記第1の領域内のサンプル適応オフセット、デブロッキングフィルタ、もしくは適応ループフィルタの少なくとも1つを無効にすること、又は
前記第1の領域内の前記ピクセルを使用して、前記サンプル適応オフセット、前記デブロッキングフィルタ、もしくは前記適応ループフィルタの少なくとも1つを適用すること
を含む、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項7】
前記機器の前記少なくとも1つのプロセッサによって実行可能な前記命令のセットは、
シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、又はピクチャヘッダの少なくとも1つにおける前記フラグデータを符号化又は復号化すること
を前記機器にさらに行わせる、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項8】
前記第1の領域は、左側領域又は上部領域を含み、前記第2の領域は、右側領域又は下部領域を含む、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項9】
前記フラグデータは、前記ピクチャが前記GDRピクチャであることを表す「1」の値、又は前記ピクチャが非GDRピクチャであることを表す「0」の値を有する、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項10】
機器であって、
命令のセットを記憶するように構成されるメモリと、
前記メモリに通信可能に結合される1つ以上のプロセッサとを含み、前記1つ以上のプロセッサは、
映像シーケンスを受信することに応答して、前記映像シーケンスに関連するパラメータセット内の第1のフラグデータを符号化することであって、前記第1のフラグデータは、前記映像シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
前記映像シーケンス内のピクチャに関連するピクチャヘッダを符号化すること、及び
前記ピクチャを符号化すること
を前記機器に行わせるために前記命令のセットを実行するように構成され、
前記ピクチャヘッダは、第2のフラグデータを含み、
前記映像シーケンスに関して前記GDRが無効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャが非GDRピクチャであることを表し、及び
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャがGDRピクチャであるかどうかを表す、機器。
【請求項11】
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャが前記GDRピクチャであることを表す第1の値、又は前記ピクチャが前記非GDRピクチャであることを表す第2の値を有する、請求項10に記載の機器。
【請求項12】
前記1つ以上のプロセッサは、
前記映像シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表し、及び前記ピクチャが前記GDRピクチャであることを前記第2のフラグデータが表す場合、仮想境界を使用して前記ピクチャを第1の領域と第2の領域とに分割すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を前記機器に行わせるために前記命令のセットを実行するようにさらに構成される、請求項10に記載の機器。
【請求項13】
命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、機器に方法を行わせるために、前記機器の少なくとも1つのプロセッサによって実行可能であり、前記方法は、
映像ビットストリームを受信することに応答して、前記映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、前記第1のフラグデータは、前記シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
前記シーケンス内のピクチャに関連するピクチャヘッダを復号化すること、及び
前記ピクチャを復号化すること
を含み、
前記復号化されるピクチャヘッダは、第2のフラグデータを含み、
前記シーケンスに関して前記GDRが無効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャが非GDRピクチャであることを表し、及び
前記シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャがGDRピクチャであるかどうかを表す、非一時的コンピュータ可読媒体。
【請求項14】
前記シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャが前記GDRピクチャであることを表す第1の値、又は前記ピクチャが前記非GDRピクチャであることを表す第2の値を有する、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記機器の前記少なくとも1つのプロセッサによって実行可能な前記命令のセットは、
前記シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表し、及び前記ピクチャが前記GDRピクチャであることを前記第2のフラグデータが表す場合、仮想境界を使用して前記ピクチャを第1の領域と第2の領域とに分割すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を前記機器にさらに行わせる、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項16】
機器であって、
命令のセットを記憶するように構成されるメモリと、
前記メモリに通信可能に結合される1つ以上のプロセッサとを含み、前記1つ以上のプロセッサは、
映像ビットストリームを受信することに応答して、前記映像ビットストリームのシーケンスに関連するパラメータセット内の第1のフラグデータを復号化することであって、前記第1のフラグデータは、前記シーケンスに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを表すこと、
前記シーケンス内のピクチャに関連するピクチャヘッダを復号化すること、及び
前記ピクチャを復号化すること
を前記機器に行わせるために前記命令のセットを実行するように構成され、
前記復号化されるピクチャヘッダは、第2のフラグデータを含み、
前記シーケンスに関して前記GDRが無効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャが非GDRピクチャであることを表し、及び
前記シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャがGDRピクチャであるかどうかを表す、機器。
【請求項17】
前記シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表す場合、前記第2のフラグデータは、前記ピクチャが前記GDRピクチャであることを表す第1の値、又は前記ピクチャが前記非GDRピクチャであることを表す第2の値を有する、請求項16に記載の機器。
【請求項18】
前記機器の前記少なくとも1つのプロセッサによって実行可能な前記命令のセットは、
前記シーケンスに関して前記GDRが有効にされることを前記第1のフラグデータが表し、及び前記ピクチャが前記GDRピクチャであることを前記第2のフラグデータが表す場合、仮想境界を使用して前記ピクチャを第1の領域と第2の領域とに分割すること、
前記第1のピクセルのフィルタリングが前記第2の領域内の第2のピクセルの情報を使用する場合に前記第1の領域内の第1のピクセルに対するループフィルタを無効にするか、又は前記第1の領域内のピクセルの情報のみを使用して前記第1のピクセルに対する前記ループフィルタを適用すること、及び
前記第1の領域又は前記第2の領域の少なくとも1つにおけるピクセルを使用して、前記第2の領域内のピクセルに対する前記ループフィルタを適用すること
を前記機器にさらに行わせる、請求項16に記載の機器。
【請求項19】
データストリームを記憶する非一時的コンピュータ可読媒体であって、前記データストリームは、
映像データに関連する第1のフラグであって、前記映像データに関して漸進的復号化リフレッシュ(GDR)が有効にされるか又は無効にされるかを示す第1のフラグと、
前記映像データ内のピクチャに関連する第2のフラグであって、
前記映像データに関して前記GDRが無効にされることを前記第1のフラグが示す場合、前記ピクチャが非GDRピクチャであることを示し、及び
前記映像データに関して前記GDRが有効にされることを前記第1のフラグが示す場合、前記ピクチャがGDRピクチャであるかどうかを示す、第2のフラグと
を含む、非一時的コンピュータ可読媒体。
【国際調査報告】