特表 2024-512602 ビデオコーディングのためのピクチャ向きおよび品質メトリクス補足拡張情報メッセージ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-19

(54)【発明の名称】ビデオコーディングのためのピクチャ向きおよび品質メトリクス補足拡張情報メッセージ

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240312BHJP

【ＦＩ】

H04N19/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023558820

(86)(22)【出願日】2022-03-09

(85)【翻訳文提出日】2023-09-25

(86)【国際出願番号】 US2022071051

(87)【国際公開番号】W WO2022213006

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】63/170,267

(32)【優先日】2021-04-02

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/214,378

(32)【優先日】2021-06-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/653,945

(32)【優先日】2022-03-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ヘ、ヨン

(72)【発明者】

【氏名】コバン、ムハンメド・ゼイド

(72)【発明者】

【氏名】ルサノフスキー、ドミトロ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MC11

5C159ME01

5C159PP04

5C159RB09

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

ビデオエンコーダおよびビデオデコーダは、補足拡張情報（ＳＥＩ）メッセージに合わせて構成される。ＳＥＩメッセージは、ピクチャがどのように回転および／またはミラーリングされ得るかを示すピクチャ向き変換タイプシンタックス要素を含むことがある。ＳＥＩメッセージは、品質メトリクスも含むことがある。

【特許請求の範囲】

【請求項1】

ビデオデータを処理する方法であって、
ピクチャを受信することと、
品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、前記品質メトリクスシンタックス要素は、前記ピクチャに関係する品質メトリクスの値を示す、
を備える方法。

【請求項2】

前記品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、前記品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、前記品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、
をさらに備える、請求項１に記載の方法。

【請求項3】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、請求項２に記載の方法。

【請求項4】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、請求項２に記載の方法。

【請求項5】

前記品質メトリクスシンタックス要素は、前記品質メトリクスタイプシンタックス要素によって示される前記品質メトリクスの前記値を示す、請求項２に記載の方法。

【請求項6】

第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、
をさらに備える、請求項１に記載の方法。

【請求項7】

第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、
をさらに備える、請求項１に記載の方法。

【請求項8】

コーディングすることは、復号することを備え、前記方法は、
処理されたピクチャを形成するために前記品質メトリクスの前記値に従って前記ピクチャに後処理技法を適用することと、
前記処理されたピクチャを表示することと
をさらに備える、請求項１に記載の方法。

【請求項9】

前記品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、請求項１に記載の方法。

【請求項10】

前記品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、請求項１に記載の方法。

【請求項11】

ビデオデータを処理するように構成された装置であって、
ピクチャを記憶するように構成されたメモリと、
回路中に実装された、前記メモリと通信している１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサは、
前記ピクチャを受信することと、
品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、前記品質メトリクスシンタックス要素は、前記ピクチャに関係する品質メトリクスの値を示す、
を行うように構成された装置。

【請求項12】

前記１つまたは複数のプロセッサは、
前記品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、前記品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、前記品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、
を行うようにさらに構成された、請求項１１に記載の装置。

【請求項13】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、請求項１２に記載の装置。

【請求項14】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、請求項１２に記載の装置。

【請求項15】

前記品質メトリクスシンタックス要素は、前記品質メトリクスタイプシンタックス要素によって示される前記品質メトリクスの前記値を示す、請求項１２に記載の装置。

【請求項16】

前記１つまたは複数のプロセッサは、
第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、
を行うようにさらに構成された、請求項１１に記載の装置。

【請求項17】

前記１つまたは複数のプロセッサは、
第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、
を行うようにさらに構成された、請求項１１に記載の装置。

【請求項18】

前記装置は、前記品質メトリクスメッセージを復号するように構成され、前記１つまたは複数のプロセッサは、
処理されたピクチャを形成するために前記品質メトリクスの前記値に従って前記ピクチャに後処理技法を適用することと、
前記処理されたピクチャを表示することと
を行うようにさらに構成された、請求項１１に記載の装置。

【請求項19】

前記品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、請求項１１に記載の装置。

【請求項20】

前記品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、請求項１１に記載の装置。

【請求項21】

ビデオデータを処理するように構成された装置であって、
ピクチャを受信するための手段と、
品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングするための手段と、ここにおいて、前記品質メトリクスシンタックス要素は、前記ピクチャに関係する品質メトリクスの値を示す、
を備える装置。

【請求項22】

前記品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングするための手段、ここにおいて、前記品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、前記品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、
をさらに備える、請求項２１に記載の装置。

【請求項23】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、請求項２２に記載の装置。

【請求項24】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、請求項２２に記載の装置。

【請求項25】

前記品質メトリクスシンタックス要素は、前記品質メトリクスタイプシンタックス要素によって示される前記品質メトリクスの前記値を示す、請求項２２に記載の装置。

【請求項26】

第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングするための手段、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、
をさらに備える、請求項２１に記載の装置。

【請求項27】

第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングするための手段、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、
をさらに備える、請求項２１に記載の装置。

【請求項28】

前記コーディングするための手段は、復号するための手段を備え、前記装置は、
処理されたピクチャを形成するために前記品質メトリクスの前記値に従って前記ピクチャに後処理技法を適用するための手段と、
前記処理されたピクチャを表示するための手段と
をさらに備える、請求項２１に記載の装置。

【請求項29】

前記品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、請求項２１に記載の装置。

【請求項30】

前記品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、請求項２１に記載の装置。

【請求項31】

命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されたとき、ビデオデータを処理するように構成されたデバイスの１つまたは複数のプロセッサに、
ピクチャを受信することと、
品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、前記品質メトリクスシンタックス要素は、前記ピクチャに関係する品質メトリクスの値を示す、
を行わせる非一時的コンピュータ可読記憶媒体。

【請求項32】

前記命令は、前記１つまたは複数のプロセッサに、
前記品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、前記品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、前記品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、
をさらに行わせる、請求項３１に記載の非一時的コンピュータ可読記憶媒体。

【請求項33】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、請求項３２に記載の非一時的コンピュータ可読記憶媒体。

【請求項34】

前記複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、請求項３２に記載の非一時的コンピュータ可読記憶媒体。

【請求項35】

前記品質メトリクスシンタックス要素は、前記品質メトリクスタイプシンタックス要素によって示される前記品質メトリクスの前記値を示す、請求項３２に記載の非一時的コンピュータ可読記憶媒体。

【請求項36】

前記命令は、前記１つまたは複数のプロセッサに、
第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、
をさらに行わせる、請求項３１に記載の非一時的コンピュータ可読記憶媒体。

【請求項37】

前記命令は、前記１つまたは複数のプロセッサに、
第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、前記第２の品質メトリクスシンタックス要素は、前記ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、
をさらに行わせる、請求項３１に記載の非一時的コンピュータ可読記憶媒体。

【請求項38】

前記デバイスは、前記品質メトリクスメッセージを復号するように構成され、前記命令は、前記１つまたは複数のプロセッサに、
処理されたピクチャを形成するために前記品質メトリクスの前記値に従って前記ピクチャに後処理技法を適用することと、
前記処理されたピクチャを表示することと
をさらに行わせる、請求項３１に記載の非一時的コンピュータ可読記憶媒体。

【請求項39】

前記品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、請求項３１に記載の非一時的コンピュータ可読記憶媒体。

【請求項40】

前記品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、請求項３１に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本出願は、各々の内容全体が本明細書に参照により組み込まれる、２０２２年３月８日に出願された米国特許出願第１７／６５３，９４５号、および２０２１年４月２日に出願された米国仮出願第６３／１７０，２６７号、および２０２１年６月２４日に出願された米国仮出願第６３／２１４，３７８号の優先権を主張する。２０２２年３月８日に出願された米国特許出願第１７／６５３，９４５号は、２０２１年４月２日に出願された米国仮出願第６３／１７０，２６７号および２０２１年６月２４日に出願された米国仮出願第６３／２１４，３７８号の利益を主張する。

【0002】

[0002] 本開示は、ビデオ符号化（video encoding）およびビデオ復号（video decoding）に関する。

【背景技術】

【0003】

[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）、ＩＴＵ－Ｔ Ｈ．２６６／汎用ビデオコーディング（ＶＶＣ）によって定義された規格、およびそのような規格の拡張、ならびにアライアンスフォーオープンメディア（Alliance for Open Media）によって開発されたＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）などのプロプライエタリビデオコーデック／フォーマットに記載されているビデオコーディング技法などのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

【0004】

[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を含む。ブロックベースビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【発明の概要】

【0005】

[0005] 概して、本開示は、ビデオデータ（video data）をコーディングするための技法について説明する。特に、本開示は、ビデオデータの処理（たとえば復号、表示など）を支援するメタデータを含むメッセージ（たとえば補足拡張情報（ＳＥＩ：supplemental enhancement information）メッセージおよび／または他のパケット化構造）を符号化および復号するための技法について説明する。本開示のメッセージは、ピクチャ（picture）の向き、ならびに／あるいは復号されたピクチャを所望の向きに回転および／またはミラーリングするために使用されることがある復号されたピクチャに適用される変換（transform）を示すシンタックス要素（syntax element）を含むことがある。シンタックス要素は、ピクチャ全体または成分ピクチャ（たとえば左眼用および右眼用立体視ピクチャなど）の表示のための変換を示すことがある。別の例では、メッセージは、ピクチャ品質メトリクス（picture quality metrics）を示すシンタックス要素を含むこともある。ピクチャ品質メトリクスは、品質に基づく視点切換えおよび品質に基づくメトリクス測定など、ピクチャの符号化品質を示すことがある。

【0006】

[0006] ビデオデコーダ（video decoder）または他のデバイスは、メッセージを復号し、メッセージに従ってビデオデータのピクチャを処理することがある。ピクチャ向きメッセージ（picture orientation message）は、復号されたピクチャに適用される推奨される向き変換についての命令をビデオデコーダに提供するために使用されることがある。これにより、復号されたピクチャの表示は、より適切な向きで示され得る。ビデオデコーダは、品質メトリクス（quality metrics）を、復号されたピクチャの後処理に使用することがあり、および／または品質メトリクスを、インター予測に使用されるさらに高品質のピクチャを選択するために使用することがある。

【0007】

[0007] １つの例では、本開示は、ビデオデータを処理する方法であって、ピクチャを受信することと、変換タイプシンタックス要素（transform type syntax element）を含むピクチャ向きメッセージをコーディングすることと、ここにおいて、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す、を備える方法について説明する。

【0008】

[0008] 別の例では、本開示は、ビデオデータを処理するように構成された装置（apparatus）であって、ピクチャを記憶するように構成されたメモリと、回路中に実装された、メモリと通信している１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ピクチャを受信することと、変換タイプシンタックス要素を含むピクチャ向きメッセージをコーディングすることと、ここにおいて、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す、を行うように構成された装置について説明する。

【0009】

[0009] 別の例では、本開示は、ビデオデータを処理するように構成された装置であって、ピクチャを受信するための手段と、変換タイプシンタックス要素を含むピクチャ向きメッセージをコーディングするための手段と、ここにおいて、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す、を備える装置について説明する。

【0010】

[0010] 別の例では、本開示は、命令（instruction）を記憶する非一時的コンピュータ可読記憶媒体（non-transitory computer-readable storage medium）であって、命令は、実行されたとき、ビデオデータを処理するように構成されたデバイスの１つまたは複数のプロセッサに、ピクチャを受信することと、変換タイプシンタックス要素を含むピクチャ向きメッセージをコーディングすることと、ここにおいて、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す、を行わせる非一時的コンピュータ可読記憶媒体について説明する。

【0011】

[0011] 別の例では、本開示は、ビデオデータを処理する方法であって、ピクチャを受信することと、品質メトリクスシンタックス要素（quality metric syntax element）を含む品質メトリクスメッセージ（quality metrics message）をコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を備える方法について説明する。

【0012】

[0012] 別の例では、本開示は、ビデオデータを処理するように構成された装置であって、ピクチャを記憶するように構成されたメモリと、回路中に実装された、メモリと通信している１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を行うように構成された装置について説明する。

【0013】

[0013] 別の例では、本開示は、ビデオデータを処理するように構成された装置であって、ピクチャを受信するための手段と、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングするための手段と、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を備える装置について説明する。

【0014】

[0014] 別の例では、本開示は、命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令は、実行されたとき、ビデオデータを処理するように構成されたデバイスの１つまたは複数のプロセッサに、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を行わせる非一時的コンピュータ可読記憶媒体について説明する。

【0015】

[0015] １つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

【図面の簡単な説明】

【0016】

【図1】[0016] 本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。

【図2】[0017] ピクチャの例示的な回転を示す概念図。

【図3】[0018] 例示的な変換タイプを示す概念図。

【図4】[0019] ピクチャ向き補足拡張情報メッセージをコーディングするための例示的なプロセスを示すフローチャート。

【図5】[0020] 品質メトリクス補足拡張情報メッセージをコーディングするための例示的なプロセスを示すフローチャート。

【図6】[0021] 本開示の技法を実施し得る例示的なビデオエンコーダ（video encoder）を示すブロック図。

【図7】[0022] 本開示の技法を実施し得る例示的なビデオデコーダ（video decoder）を示すブロック図。

【図8】[0023] 本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャート。

【図9】[0024] 本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャート。

【発明を実施するための形態】

【0017】

[0025] 本開示は、ビデオデータの処理（たとえば復号、表示など）を支援するメタデータを含むメッセージ（たとえば補足拡張情報（ＳＥＩ）メッセージおよび／または他のパケット化構造）を符号化および復号するための技法について説明する。本開示のメッセージは、ピクチャの向き、ならびに／あるいは復号されたピクチャを所望の向きに回転および／またはミラーリングするために使用されることがある復号されたピクチャに適用される変換を示すシンタックス要素を含むことがある。シンタックス要素は、ピクチャ全体または成分ピクチャ（たとえば左眼用および右眼用立体視ピクチャなど）の表示のための変換を示すことがある。別の例では、メッセージは、ピクチャ品質メトリクスを示すシンタックス要素を含むこともある。ピクチャ品質メトリクスは、品質に基づく視点切換えおよび品質に基づくメトリクス測定など、ピクチャの符号化品質を示すことがある。

【0018】

[0026] ビデオデコーダまたは他のデバイスは、メッセージを復号し、メッセージに従ってビデオデータのピクチャを処理することがある。ピクチャ向きメッセージは、復号されたピクチャに適用される推奨される向き変換についての命令をビデオデコーダに提供するために使用されることがある。これにより、復号されたピクチャの表示は、より適切な向きで示され得る。ビデオデコーダは、品質メトリクスを、復号されたピクチャの後処理に使用することがあり、および／または品質メトリクスを、インター予測に使用されるさらに高品質のピクチャを選択するために使用することがある。

【0019】

[0027] 図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

【0020】

[0028] 図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化されたビデオデータを提供するソースデバイス１０２を含む。特に、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。

【0021】

[0029] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、ＳＥＩメッセージコーディングのための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの一例を表し、宛先デバイス１１６はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0022】

[0030] 図１に示されているシステム１００は一例にすぎない。概して、いかなるデジタルビデオ符号化および／または復号デバイスも、ＳＥＩメッセージコーディングのための技法を実施し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、データのコーディング（符号化および／または復号）を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２および宛先デバイス１１６の各々がビデオ符号化構成要素およびビデオ復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのために、ソースデバイス１０２と宛先デバイス１１６との間の一方向または二方向ビデオ送信をサポートし得る。

【0023】

[0031] 概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に再配置し得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して、符号化されたビデオデータをコンピュータ可読媒体１１０上に出力し得る。

【0024】

[0032] ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号されたビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００およびビデオデコーダ３００によって実行可能なソフトウェア命令を記憶し得る。メモリ１０６およびメモリ１２０は、この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化されたビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化されたビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

【0025】

[0033] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化されたビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースネットワークを介して、符号化されたビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするのに有用であり得る任意の他の機器を含み得る。

【0026】

[0034] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８からストレージデバイス１１２に符号化されたデータを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介してストレージデバイス１１２からの符号化されたデータにアクセスし得る。ストレージデバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。

【0027】

[0035] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたビデオデータを記憶し得るファイルサーバ１１４または別の中間ストレージデバイスに符号化されたビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介してファイルサーバ１１４からの記憶されたビデオデータにアクセスし得る。

【0028】

[0036] ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）またはファイル配信オーバー単方向トランスポート（ＦＬＵＴＥ：File Delivery over Unidirectional Transport）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）または拡張ＭＢＭＳ（ｅＭＢＭＳ）サーバ、および／あるいはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰ動的ストリーミングなど、１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。

【0029】

[0037] 宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通してファイルサーバ１１４からの符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すまたは受信するための上記で説明された様々なプロトコル、あるいはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つまたは複数に従って動作するように構成され得る。

【0030】

[0038] 出力インターフェース１０８および入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８および入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８および入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。

【0031】

[0039] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

【0032】

[0040] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、ストレージデバイス１１２、ファイルサーバ１１４など）から符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット（たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。

【0033】

[0041] 図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。

【0034】

[0042] ビデオエンコーダ２００およびビデオデコーダ３００は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００およびビデオデコーダ３００の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

【0035】

[0043] ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれらの拡張など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２００およびビデオデコーダ３００は、汎用ビデオコーディング（ＶＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリ規格または業界規格に従って動作し得る。他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）、ＡＶ１の拡張、および／またはＡＶ１の後継バージョン（たとえばＡＶ２）などのプロプライエタリビデオコーデック／フォーマットに従って動作することもある。他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、他のプロプライエタリフォーマットまたは業界規格に従って動作することもある。ただし、本開示の技法は、いかなる特定のコーディング規格またはフォーマットにも限定されない。概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ＳＥＩメッセージを使用してピクチャ向きおよび／またはピクチャ品質メトリクスを決定する任意のビデオコーディング技法とともに本開示の技法を実施するように構成され得る。

【0036】

[0044] 概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャのブロックベースコーディングを実施し得る。「ブロック」という用語は、概して、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは、符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示せず）が、これらのコンバージョンを実施し得る。

【0037】

[0045] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素についての一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素についての値をコーディングすることとして理解されるべきである。

【0038】

[0046] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４つのいずれかの子ノードを有する。子ノードなしのノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵおよび／または１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表し、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。

【0039】

[0047] 別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。

【0040】

[0048] ＭＴＴ区分構造では、ブロックは、クワッドツリー（ＱＴ）区分と、バイナリツリー（ＢＴ）区分と、１つまたは複数のタイプのトリプルツリー（ＴＴ）（ターナリツリー（ＴＴ）とも呼ばれる）区分とを使用して区分され得る。トリプルツリーまたはターナリツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリーまたはターナリツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称または非対称であり得る。

【0041】

[0049] ＡＶ１コーデックに従って動作するときには、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータをブロック単位でコーディングするように構成されることがある。ＡＶ１では、処理されることが可能な最大のコーディングブロックは、スーパーブロックと呼ばれる。ＡＶ１では、スーパーブロックは、１２８×１２８ルーマサンプルまたは６４×６４ルーマサンプルのいずれかとすることができる。ただし、後継のビデオコーディングフォーマット（たとえばＡＶ２）では、スーパーブロックは異なる（たとえばより大きい）ルーマサンプルサイズで定義されることもある。いくつかの例では、スーパーブロックは、ブロッククワッドツリーの最上位レベルである。ビデオエンコーダ２００は、スーパーブロックをより小さいコーディングブロックにさらに区分することがある。ビデオエンコーダ２００は、正方形または非正方形区分を用いて、スーパーブロックおよび他のコーディングブロックをより小さいブロックに区分し得る。非正方形ブロックは、Ｎ／２×Ｎ、Ｎ×Ｎ／２、Ｎ／４×Ｎ、およびＮ×Ｎ／４のブロックを含み得る。ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングブロックの各々に対して別個の予測および変換プロセスを実施し得る。

【0042】

[0050] ＡＶ１は、ビデオデータのタイルも定義する。タイルは、他のタイルから独立してコーディングされ得るスーパーブロックの矩形アレイである。すなわち、ビデオエンコーダ２００およびビデオデコーダ３００は、タイル内のコーディングブロックを、他のタイルからのビデオデータを使用することなく、それぞれ符号化および復号し得る。ただし、ビデオエンコーダ２００およびビデオデコーダ３００は、タイルの境界を越えてフィルタリングを実施し得る。タイルのサイズは、一様であることも非一様であることもある。タイルに基づくコーディングは、エンコーダおよびデコーダの実装のための並列処理および／またはマルチスレッディングを可能にし得る。

【0043】

[0051] いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

【0044】

[0052] ビデオエンコーダ２００およびビデオデコーダ３００は、クワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、スーパーブロック区分、または他の区分構造を使用するように構成され得る。

【0045】

[0053] いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、あるいはモノクロームピクチャ、またはサンプルをコーディングするために使用される３つの別個の色プレーンとシンタックス構造とを使用してコーディングされるピクチャのサンプルのＣＴＢを含む。ＣＴＢは、ＣＴＢへの成分の分割が区分になるような何らかの値のＮについて、サンプルのＮ×Ｎブロックであり得る。成分は、ピクチャを４：２：０、４：２：２、または４：４：４色フォーマットに構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイまたは単一のサンプル、あるいはピクチャをモノクロームフォーマットに構成するアレイまたはアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのＣＴＢの分割が区分になるような何らかの値のＭとＮとについて、サンプルのＭ×Ｎブロックである。

【0046】

[0054] ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を指し得る。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を指す。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を指す。

【0047】

[0055] いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。

【0048】

[0056] 本開示は、垂直寸法と水平寸法とに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を指すために、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」、たとえば、１６×１６サンプル（16x16 samples）または１６×１６サンプル（16 by 16 samples）を互換的に使用し得る。概して、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。その上、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

【0049】

[0057] ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表す、ＣＵのためのビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

【0050】

[0058] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵにぴったり一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。

【0051】

[0059] ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つまたはそれ以上の動きベクトルを決定し得る。

【0052】

[0060] イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＶＶＣのいくつかの例は、様々な方向性モード、ならびにプレーナ（planar）モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上、左上、または左にあり得る。

【0053】

[0061] ビデオエンコーダ２００は、現在ブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードのための動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。

【0054】

[0062] ＡＶ１は、ビデオデータのコーディングブロックを符号化および復号するための２つの一般的技法を含む。この２つの一般的技法は、イントラ予測（たとえばイントラフレーム予測または空間予測）と、インター予測（たとえばインターフレーム予測または時間予測）である。ＡＶ１の文脈では、イントラ予測モードを用いてビデオデータの現在フレームのブロックを予測するときには、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータの他のフレームからのビデオデータを使用しない。ほとんどのイントラ予測モードでは、ビデオエンコーダ２００は、現在ブロック内のサンプル値と同じフレーム内の参照サンプルから生成された予測値との間の差に基づいて現在フレームのブロックを符号化する。ビデオエンコーダ２００は、イントラ予測モードに基づいて、参照サンプルから生成された予測値を決定する。

【0055】

[0063] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換されたデータを作り出すために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、第１の変換に続いて、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を作り出す。

【0056】

[0064] 上述のように、変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ２００は変換係数の量子化を実施し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値に丸めることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位右シフトを実施し得る。

【0057】

[0065] 量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを作り出し得る。走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、シリアル化されたベクトルを作り出すために、量子化された変換係数を走査するために、あらかじめ定義された走査順序を利用し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化されたビデオデータに関連するメタデータを記述するシンタックス要素についての値をエントロピー符号化し得る。

【0058】

[0066] ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0059】

[0067] ビデオエンコーダ２００は、さらに、ブロックベースシンタックスデータ、ピクチャベースシンタックスデータ、およびシーケンスベースシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

【0060】

[0068] このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックについての予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。

【0061】

[0069] 概して、ビデオデコーダ３００は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素についての値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ピクチャをＣＴＵに区分するための区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。

【0062】

[0070] 残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。

【0063】

[0071] 本開示は、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化されたビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリーム中でシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素をストレージデバイス１１２に記憶するときに行われ得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。

【0064】

[0072] 概して、本開示は、ビデオデータをコーディングするための技法について説明する。特に、本開示は、ＳＥＩメッセージを復号するための技法について説明する。本開示のＳＥＩメッセージは、ピクチャの向きを示すシンタックス要素を含むことがある。別の例では、ＳＥＩメッセージは、ピクチャ品質メトリクスを示すシンタックス要素を含むことがある。ビデオデコーダまたは他のデバイスは、ＳＥＩメッセージを復号し、ＳＥＩメッセージに従ってビデオデータのピクチャを処理することがある。

【0065】

[0073] 汎用補足拡張情報（ＶＳＥＩ）規格（たとえばＩＴＵ－Ｔ Ｈ．２７４およびＩＳＯ／ＩＥＣ２３００２－７）は、ＶＶＣビットストリームとともに使用されるビデオユーザビリティ情報（ＶＵＩ）メッセージとＳＥＩメッセージのいくつかとを指定する。ＳＥＩメッセージにより、ビデオエンコーダ２００は、出力ピクチャのサンプル値の正確な復号のためには必要ではないが、様々な他の目的のために使用されることが可能な、ビットストリーム中のメタデータを含むことが可能になる。ビデオエンコーダ２００は、アクセスユニット中に任意数のＳＥＩネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを含むように構成されることがあり、各ＳＥＩ ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含み得る。ＶＶＣを用いる仕様およびシステムは、特定のＳＥＩメッセージを生成するようにエンコーダに指定することがあり、または受信されるＳＥＩメッセージの特定のタイプの特定の取扱いを定義することがある。

【0066】

[0074] ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１ Ｎ １８２７７、「情報技術－異種環境における高効率コーディングおよびメディア配信－Ｐａｒｔ ２：高効率ビデオコーディング」、２０１９（「ＨＥＶＣ」）は、クロップされた復号されたピクチャに表示前に適用されることが推奨される変換をデコーダ（たとえばビデオデコーダ３００）に通知するための表示向きＳＥＩメッセージを指定する。ＨＥＶＣの表示向きＳＥＩメッセージのシンタックス構造を、次の表１に示す。

【0067】

[0075]

【0068】

【表1】

【0069】

[0076] 表１から分かるように、ＨＥＶＣの表示向きＳＥＩメッセージは、水平フリップ（ｈｏｒ＿ｆｌｉｐ）、垂直フリップ（ｖｅｒ＿ｆｌｉｐ）、および反時計回り回転（ａｎｔｉｃｌｏｃｋｗｉｓｅ＿ｒｏｔａｔｉｏｎ）変換の指示を考慮している。

【0070】

[0077] ３ＧＰＰ（登録商標）は、技術仕様書（ＴＳ）２６．１１４、「ＩＰマルチメディアサブシステム（ＩＭＳ）；マルチメディア電話技術；メディアの取扱いおよび対話」、２０２１においてビデオ向きの協調（ＣＶＯ）を指定している。ＣＶＯは、送信機側（たとえばソースデバイス１０２にある）でキャプチャされた画像の現在向きを、適当なレンダリングおよび表示のために受信機（たとえば宛先デバイス１１６）にシグナリングする。より粒度の低い回転についてのＣＶＯ情報は、水平フリップおよび９０度回転をサポートするために、次のようにフォーマット化されたバイトとして搬送される。
ビット＃ ７ ６ ５ ４ ３ ２ １ ０（ＬＳＢ）
定義 ０ ０ ０ ０ Ｃ Ｆ Ｒ１ Ｒ０
ＬＳＢは最下位のビットを表す
[0078] より高い粒度の回転についてのＣＶＯ情報は、次のようにフォーマット化されたバイトとして搬送される。
ビット＃ ７ ６ ５ ４ ３ ２ １ ０（ＬＳＢ）
定義 Ｒ５ Ｒ４ Ｒ３ Ｒ２ Ｃ Ｆ Ｒ１ Ｒ０
[0079] ＶＳＥＩ規格のいくつかの現在の例では、いかなる向きメタデータもサポートしていない。ＨＥＶＣ表示向きＳＥＩメッセージは、回転がピクチャ全体ではなく各成分ピクチャに適用されるものとされるフレームパッキングの場合を考慮していない。図２は、各成分ピクチャがそれぞれ回転される、フレームパッキングされたピクチャの表示回転の例を示している。図２に示されるように、ピクチャ１５０は、２つの成分ピクチャ（たとえば立体ビデオの左眼用ピクチャおよび右眼用ピクチャ）を含む。本開示の技法を用いると、ビデオエンコーダ２００は、変換されたピクチャ（transformed picture）１５２を得るために成分ピクチャの各々に対して回転変換（rotation transform）を実行するようにビデオデコーダ３００に命令する変換タイプシンタックス要素を含むコードとＳＥＩメッセージとを送ることがある。

【0071】

[0080] 例示的なＶＳＥＩの領域単位パッキング（ＲＷＰ：region-wise packing）ＳＥＩメッセージは、クロップされた復号されたピクチャの色サンプルの投影ピクチャ上への再マッピングを可能にするための情報を提供する。ただし、ＲＷＰ ＳＥＩメッセージは、全方向ビデオ投影がピクチャに適用されるものとして示されているときに使用される。０に等しいｒｗｐ＿ｃａｎｃｅｌ＿ｆｌａｇを有するＲＷＰ ＳＥＩメッセージは、ピクチャに適用されるコード化層ビデオシーケンス（ＣＬＶＳ）中には存在しないはずである。

【0072】

[0081] ピクチャ品質メトリクスは、ピクチャ品質およびコーディング性能を評価するために使用される。ＩＳＯ／ＩＥＣ ２３００１－１０、「情報技術－ＭＰＥＧシステム技術－Ｐａｒｔ １０：ＩＳＯベースメディアファイルフォーマットのメディアの時間指定メタデータメトリクスの搬送」、２０１５は、ＩＳＯＢＭＦＦ（ＩＳＯ／ＩＥＣベースメディアファイルフォーマット）のピーク信号対雑音比（ＰＳＮＲ：peak signal-to-noise ratio）、構造的類似性指標測定（ＳＳＩＭ：structural similarity index measure）、ビデオ品質メトリクス（ＶＱＭ：video quality metric）、および平均オピニオン評点（ＭＯＳ：mean opinion score）など、メディアの時間指定メタデータメトリクスの搬送を指定している。ピクチャ品質に関連するランキングは、ＯＭＡＦ、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１９０４２、「ＩＳＯ／ＩＥＣ ＤＩＳ ２３０９０－２ 第二版 ＯＭＡＦのテキスト」、２０２０と、品質依存の視点切換えおよび没入型メディアメトリクス測定を容易にする、没入型メディアメトリクス（ＩＭＭ）、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ３ Ｎ００７３、「ＩＳＯ／ＩＥＣ ２３０９０－６ 没入型メディアメトリクスのＩＳ」、２０２０にも指定されている。ＰＳＮＲおよびＳＳＩＭなど、いくつかのピクチャ品質メトリクスは、エンコーダ側でのみ取得されることが可能である。そのような情報を搬送するためのＳＥＩメッセージは、関連する情報をシステムアプリケーションに提供することができる。

【0073】

[0082] ピクチャ向きＳＥＩメッセージ（Picture Orientation SEI Message）
[0083] 本開示の１つの例によれば、ビデオエンコーダ２００は、次の表２に示される１つまたは複数のシンタックス要素を含むピクチャ向きＳＥＩメッセージを生成およびシグナリングするように構成される。特に、ビデオエンコーダ２００は、変換タイプシンタックス要素（たとえばｐｏｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ）を生成および符号化するように構成されることがあり、ここで、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す。ビデオエンコーダ２００は、また、表２にリストされている他のシンタックス要素およびフラグのうちの１つまたは複数を生成および符号化するように構成されることもある。ビデオデコーダ３００は、ピクチャ向きＳＥＩメッセージを受信するように構成されることがあり、その中に含まれるシンタックス要素に従ってピクチャを処理および／または表示することがある。たとえば、ビデオデコーダ３００は、変換タイプシンタックス要素によって示される変換を復号されたピクチャに適用するように構成されることがある。

【0074】

[0084]

【0075】

【表2】

【0076】

[0085] 概して、ピクチャ向き（ＰＯＲ）ＳＥＩメッセージは、復号されたピクチャに表示前に適用されることが推奨される変換をビデオデコーダ３００に通知するための情報を提供する。いくつかの例では、復号されたピクチャは、クロップされたピクチャであることがある。

【0077】

[0086] １に等しいシンタックス要素ｐｏｒ＿ｃａｎｃｅｌ＿ｆｌａｇの値は、現在ＳＥＩメッセージが、出力順序での任意の以前のＰＯＲ ＳＥＩメッセージの持続性をキャンセルすることを示す。０に等しいシンタックス要素ｐｏｒ＿ｃａｎｃｅｌ＿ｆｌａｇの値は、ＰＯＲ情報が後に続くことを示す。

【0078】

[0087] シンタックス要素ｐｏｒ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇの値は、現在層のＰＯＲ ＳＥＩメッセージの持続性を指定する。

【0079】

[0088] ０に等しいシンタックス要素ｐｏｒ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇの値は、ＰＯＲ ＳＥＩメッセージが現在の復号されたピクチャのみに適用されると指定する。

【0080】

[0089] １に等しいシンタックス要素ｐｏｒ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇの値は、ＰＯＲ ＳＥＩメッセージが、現在の復号されたピクチャに適用され、次の条件のうちの１つまたは複数が真になるまで出力順序での現在層のすべての後続のピクチャについて持続すると指定する。

【0081】

現在層の新たなＣＬＶＳが開始する。

【0082】

ビットストリームが終了する。

【0083】

出力順序で現在ピクチャの後に続く、ＰＯＲ ＳＥＩメッセージと関連付けられたアクセスユニット（ＡＵ）の現在層のピクチャが出力される。

【0084】

[0090] １に等しいシンタックス要素ｐｏｒ＿ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇの値は、このＳＥＩメッセージが各成分ピクチャに個別に適用され、立体フレームパッキングフォーマットがフレームパッキング配置ＳＥＩメッセージによって示されると指定する。０に等しいシンタックス要素ｐｏｒ＿ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇの値は、このＳＥＩメッセージがクロップされた復号されたピクチャに適用されると指定する。

【0085】

[0091] 次の条件のうちのいずれかが真であるときには、シンタックス要素ｐｏｒ＿ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇの値は０に等しいものとする。

【0086】

ＳｔｅｒｅｏＦｌａｇが０に等しい。

【0087】

ＳｔｅｒｅｏＦｌａｇが１に等しく、ｆｐ＿ａｒｒａｎｇｅｍｅｎｔ＿ｔｙｐｅが５に等しい。

【0088】

[0092] ０に等しいＳｔｅｒｅｏＦｌａｇの値は、ピクチャに適用される０に等しいｆｐ＿ａｒｒａｎｇｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇを有するフレームパッキング配置ＳＥＩメッセージが存在しないことを示す。１に等しいＳｔｅｒｅｏＦｌａｇの値は、関連するピクチャがフレームパッキングピクチャであることを示す。

【0089】

[0093] ５に等しいシンタックス要素ｆｐ＿ａｒｒａｎｇｅｍｅｎｔ＿ｔｙｐｅの値は、出力順序での出力されるクロップされた復号されたピクチャの構成要素平面が交互に現れる第１および第２の成分フレームの時間的インタリーブを形成することを示す。

【0090】

[0094] シンタックス要素ｐｏｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅの値は、ピクチャに適用され得る変換（たとえば回転、ミラーリング、または回転とミラーリングとの組合せ）を指定する。いくつかの例では、ミラーリングはフリッピングと呼ばれることもあることに留意されたい。ｐｏｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅによって示される変換が回転とミラーリングの両方を指定するときには、ビデオデコーダ３００は、ミラーリングを適用する前に回転変換を適用するように構成されることも、またはその逆に構成されることもある。ｐｏｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅの例示的な値を、次の表３に指定する。１つの例では、８から３１のｐｏｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約される。

【0091】

[0095]

【0092】

【表3】

【0093】

[0096] 表３の具体的な値は、一例にすぎない。他の例では、これより多い変換タイプが指定されることも、これより少ない変換タイプが指定されることもある。また、変換は、表３に示される順序とは異なる順序で指定されることもある。

【0094】

[0097] 図３は、例示的な変換タイプを示す概念図である。表３の例では、変換シンタックス要素が０の値を有するときには、ビデオデコーダ３００は、変換を適用しないことがある。図３は、変換が適用されない元のピクチャ１６０を示している。図３のその他の変換タイプは、元のピクチャ１６０を基準にして示されることになる。変換シンタックス要素が１の値を有するときには、ビデオデコーダ３００は、元のピクチャ１６０に水平ミラーリング変換（horizontal mirroring transform）を適用して、ピクチャ１６２を得ることがある。水平ミラーリングは、また、水平フリッピングと呼ばれることもある。変換シンタックス要素が２の値を有するときには、ビデオデコーダ３００は、元のピクチャ１６０に１８０度の反時計回りの回転変換（180 degree anticlockwise rotation transform）を適用して、ピクチャ１６４を得ることがある。変換シンタックス要素が３の値を有するときには、ビデオデコーダ３００は、元のピクチャ１６０に１８０度の反時計回りの回転変換を適用し、その後に水平ミラーリング変換を適用して、ピクチャ１６６を得ることがある。

【0095】

[0098] 変換シンタックス要素が４の値を有するときには、ビデオデコーダ３００は、元のピクチャ１６０に９０度の反時計回りの回転変換を適用し、その後に水平ミラーリング変換を適用して、ピクチャ１６８を得ることがある。変換シンタックス要素が５の値を有するときには、ビデオデコーダ３００は、元のピクチャ１６０に９０度の反時計回りの回転変換を適用して、ピクチャ１７０を得ることがある。変換シンタックス要素が６の値を有するときには、ビデオデコーダ３００は、元のピクチャ１６０に２７０度の反時計回りの回転変換を適用し、その後に水平ミラーリング変換を適用して、ピクチャ１７２を得ることがある。変換シンタックス要素が７の値を有するときには、ビデオデコーダ３００は、元のピクチャ１６０に２７０度の反時計回りの回転変換を適用して、ピクチャ１７４を得ることがある。

【0096】

[0099] 図４は、ピクチャ向き補足拡張情報メッセージをコーディングするための例示的なプロセスを示すフローチャートである。図４は、本開示の符号化プロセスと復号プロセスの両方を示している。図４に示されるように、符号化プロセスは、ビデオエンコーダ２００を含むソースデバイス１０２によって実施され得る。復号プロセスは、ビデオデコーダ３００を含む宛先デバイス１１６によって実施され得る。

【0097】

[0100] 本開示の１つの例では、ソースデバイス１０２は、ピクチャを受信するように構成されることがある（４００）。ソースデバイス１０２は、（たとえばビデオエンコーダ２００を用いて）ピクチャを符号化し、符号化されたビデオビットストリームを宛先デバイス１１６に送信するようにさらに構成されることがある。ソースデバイス１０２は、ピクチャの推奨変換タイプを決定するようにさらに構成されることがある（４０２）。推奨変換タイプは、複数の変換タイプのうちの変換タイプであり得る。ソースデバイス１０２は、変換タイプシンタックス要素を含むピクチャ向きメッセージを符号化するようにさらに構成されることがあり、ここで、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す（４０４）。

【0098】

[0101] 宛先デバイス１１６は、ピクチャを受信するように構成されることがある（４１０）。宛先デバイス１１６は、（たとえばビデオデコーダ３００を用いて）ピクチャを復号するようにさらに構成されることがある。宛先デバイス１１６は、変換タイプシンタックス要素を含むピクチャ向きメッセージも復号することがあり、ここで、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す（４１２）。宛先デバイス１１６は、変換されたピクチャを形成するために、変換タイプシンタックス要素に従ってピクチャに変換を適用して、（４１４）、変換されたピクチャを表示する（４１６）ようにさらに構成されることがある。

【0099】

[0102] 本開示の１つの例では、ピクチャ向きメッセージは、ピクチャ向きＳＥＩメッセージを備える。別の例では、ピクチャ向きメッセージは、ピクチャ向きオープンビットストリームユニット（ＯＢＵ）を備える。

【0100】

[0103] 上記で説明されたように、複数の変換は、回転変換、ミラーリング変換、または回転とミラーリング変換（mirroring transform）との組合せのうちの２つ以上を含む。さらに詳細な例では、複数の変換は、水平ミラーリング変換を備える第１の変換（first transform）と、１８０度の反時計回りの回転変換を備える第２の変換（second transform）と、１８０度の反時計回りの変換およびその後に続く水平ミラーリング変換を備える第３の変換（third transform）と、９０度の反時計回りの変換（90 degree anticlockwise transform）およびその後に続く水平ミラーリング変換を備える第４の変換（fourth transform）と、９０度の反時計回りの変換を備える第５の変換（fifth transform）と、２７０度の反時計回りの変換（270 degree anticlockwise transform）およびその後に続く水平ミラーリング変換を備える第６の変換（sixth transform）と、２７０度の反時計回りの変換を備える第７の変換（seventh transform）とを含む。さらに別の例では、変換タイプシンタックス要素は、変換が適用されないことを示す値（value）をさらに含む。

【0101】

[0104] いくつかの例では、ビデオエンコーダ２００は、高い粒度の回転をＳＥＩメッセージに含めてシグナリングすることがある。高い粒度の回転およびミラーリングは、各成分ピクチャに適用され得る。概して、高い粒度の回転は、比較的小さい刻みの回転角度を示し得る。たとえば、高い粒度の回転は、ピクチャを９０度未満の角度で回転させることを含み得る。各成分ピクチャが異なる回転をすることがある場合には、ビデオエンコーダ２００は、各々が１つの成分ピクチャに適用される、別個の向き変換タイプまたは高い粒度の回転をＳＥＩメッセージまたは他のメタデータタイプにおいて指定し得る。

【0102】

[0105] いくつかの例では、ビデオエンコーダ２００は、ＣＶＯシグナリングで成分ピクチャ一致フラグを指定することがある。成分ピクチャ一致フラグは、各成分ピクチャに適用される回転の粒度を示す。

【0103】

[0106] ピクチャ品質メトリクスＳＥＩメッセージ（Picture Quality Metrics SEI Message）
[0107] 本開示の別の例によれば、ビデオエンコーダ２００は、次の表４に示されるシンタックス要素のうちの１つまたは複数を含むピクチャ品質メトリクスメッセージ（たとえばＳＥＩメッセージおよび／または他のパケット化構造）を生成およびシグナリングするように構成される。ビデオデコーダ３００は、ピクチャ品質メトリクスＳＥＩメッセージを受信するように構成され、その中に含まれるシンタックス要素に従ってピクチャを処理および／または表示することがある。たとえば、宛先デバイス１１６および／またはビデオデコーダ３００は、ピクチャ品質メトリクスＳＥＩメッセージに示される品質メトリクスに従って、１つまたは複数の後処理技法（post-processing technique）を復号されたピクチャに適用するように構成されることがある。例示的な後処理技法は、ピクチャ品質に基づいて、復号されたピクチャをアップスケーリングすることを含むことがある。他の例では、ビデオデコーダ３００は、インター予測に使用するための特定のピクチャを選択するために品質メトリクスを使用するように構成されることもある。たとえば、同じピクチャの複数のバージョンが利用可能であるときには、ビデオデコーダ３００は、インター予測で参照ピクチャとして使用するために最高の品質メトリクス（たとえば最低の信号対雑音比）を有するピクチャを選択するように構成されることがある。

【0104】

[0108] 表４は、１つの例示的なピクチャ品質メトリクスＳＥＩメッセージである。ピクチャ品質メトリクスＳＥＩメッセージは、現在の復号されたピクチャの各色成分についての品質メトリクスを提供する。

【0105】

[0109]

【0106】

【表4】

【0107】

[0110] シンタックス要素ｐｑｍ＿ｍｅｔｒｉｃ＿ｔｙｐｅの値は、表５に指定されるように、成分に関連付けられた品質メトリクスのタイプを示す。４から１２７のｐｑｍ＿ｍｅｔｒｉｃ＿ｔｙｐｅの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約されており、本明細書の本版に準拠するペイロードデータには存在しないものとする。

【0108】

[0111]

【0109】

【表5】

【0110】

[0112] 品質メトリクスタイプＰＳＮＲは、ピーク信号対雑音比である。品質メトリクスタイプＳＳＩＭは、構造的類似性指標である。品質メトリクスＭＳ－ＳＳＩＭは、マルチスケール構造的類似性指標である。品質メトリクスタイプＶＱＭは、ビデオ品質メトリクスである。

【0111】

[0113] １に等しいシンタックス要素ｐｑｍ＿ｓｉｎｇｌｅ＿ｃｏｍｐｏｎｅｎｔ＿ｆｌａｇの値は、ピクチャ品質メトリクスＳＥＩメッセージと関連付けられたピクチャが単一の色成分を含むと指定する。０に等しいシンタックス要素ｐｑｍ＿ｓｉｎｇｌｅ＿ｃｏｍｐｏｎｅｎｔ＿ｆｌａｇの値は、ピクチャ品質メトリクスＳＥＩメッセージと関連付けられたピクチャが３つの色成分を含むと指定する。ｐｑｍ＿ｓｉｎｇｌｅ＿ｃｏｍｐｏｎｅｎｔ＿ｆｌａｇの値は、（ＣｈｒｏｍａＦｏｒｍａｔＩｄｃ＝＝０）に等しいものとする。

【0112】

[0114] シンタックス要素ｐｑｍ＿ｐｓｎｒ［ｃＩｄｘ］の値は、ＰＳＮＲの値を指定する。復号されたピクチャの色成分ｃＩｄｘの対応するＰＳＮＲは、次のように導出される（浮動小数点で表現される）。

【0113】

ＰＳＮＲ＝ｐｑｍ＿ｐｓｎｒ［ｃＩｄｘ］／１００；０に等しいｐｑｍ＿ｐｓｎｒ［ｃＩｄｘ］に対するＰＳＮＲ＝無限大は例外とする。

【0114】

[0115] シンタックス要素ｐｑｍ＿ｓｓｉｍ［ｃＩｄｘ］の値は、ＳＳＩＭの値を指定する。復号されたピクチャの色成分ｃＩｄｘの対応するＳＳＩＭは、次のように導出される（浮動小数点で表現される）。

【0115】

ＳＳＩＭ＝（ｐｑｍ＿ｓｓｉｍ［ｃＩｄｘ］－１２７）／１２８
[0116] シンタックス要素ｐｑｍ＿ｍｓｓｓｉｍ［ｃＩｄｘ］の値は、ＭＳ－ＳＳＩＭの値を指定する。復号されたピクチャの色成分ｃＩｄｘの対応するＭＳ－ＳＳＩＭは、次のように導出される（浮動小数点で表現される）。

【0116】

ＭＳ ＳＳＩＭ＝（ｐｑｍ＿ｍｓｓｓｉｍ［ｃＩｄｘ］－１２７）／１２８
[0117] シンタックス要素ｐｑｍ＿ｖｑｍ［ｃＩｄｘ］の値は、ＶＱＭの値を指定する。復号されたピクチャの色成分ｃＩｄｘの対応するＶＱＭは、次のように導出される（浮動小数点で表現される）。

【0117】

ＶＱＭ＝ｐｑｍ＿ｖｑｍ［ｃＩｄｘ］／５０
[0118] ピクチャ品質メトリクスＳＥＩメッセージは、ビデオ品質の知覚評価（ＰＥＶＱ）、平均オピニオン評点（ＭＯＳ）、および／またはその他のピクチャ品質メトリクスなど、他の品質に関連するメトリクスを搬送することもある。

【0118】

[0119] いくつかの例では、ピクチャ品質メトリクスＳＥＩメッセージは、ピクチャが立体フレームパッキング配置ＳＥＩメッセージと関連付けられているときに各成分ピクチャの品質メトリクスを指定することもある。ピクチャ品質メトリクスＳＥＩメッセージは、ピクチャが領域単位フレームパッキングＳＥＩメッセージと関連付けられているときに各領域について品質メトリクスを指定することもある。ピクチャ品質メトリクスが各成分ピクチャまたは各領域について存在するかどうかを示すために、追加のシンタックス要素がＳＥＩメッセージに追加されることもある。

【0119】

[0120] 他の例では、ピクチャ品質メトリクスＳＥＩメッセージは、ＳＥＩメッセージと関連付けられたピクチャの１つまたは複数のサブピクチャ（subpicture）または関心領域（ＲＯＩ：region-of-interest）の品質メトリクスを搬送することがある。サブピクチャまたはＲＯＩの数を示すシンタックス要素、サブピクチャまたはＲＯＩの位置を示すシンタックス要素、および／あるいはサブピクチャまたはＲＯＩのサイズを示すシンタックス要素は、また、ＳＥＩメッセージ中に指定されることもある。

【0120】

[0121] 重み付きＰＳＮＲ（ｗＰＳＮＲ：weighted PSNR）および球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ：weighted-to-spherically uniform PSNR）などの追加の品質メトリクスが、ハイダイナミックレンジ（ＨＤＲ）および３６０ビデオコンテンツの品質を示すためにＳＥＩメッセージに含まれることもある。

【0121】

[0122] 別の例示的なピクチャメトリクスＳＥＩメッセージのフォーマットは、表６で提供される。

【0122】

【表6】

【0123】

[0123] 上記のピクチャメトリクスＳＥＩメッセージは、現在の復号されたピクチャの品質メトリクスを提供する。

【0124】

[0124] シンタックス要素ｐｑｍ＿ｃｎｔ＿ｍｉｎｕｓ１の値に１を加えた値が、ＳＥＩメッセージによって示されるルーマ成分品質メトリクスの数を指定する。

【0125】

[0125] シンタックス要素ｐｑｍ＿ｔｙｐｅ［ｉ］の値は、表７に指定されるように、復号されたピクチャまたはビデオシーケンスと関連付けられたｉ番目の品質メトリクスタイプを示す。

【0126】

【表7】

【0127】

[0126] 品質メトリクスタイプＰＳＮＲ_sequenc、ｗＰＳＮＲ_sequence、およびＷＳ－ＰＳＮＲ_sequenceは、シーケンスにわたる複数のピクチャのＰＳＮＲ、ｗＰＳＮＲ、およびＷＳ－ＰＳＮＲをそれぞれ示す。

【0128】

[0127] シンタックス要素ｐｑｍ＿ｖａｌｕｅ［ｉ］の値は、ｉ番目の品質メトリクスの値を指定する。シンタックス要素ｐｑｍ＿ｔｙｐｅの値が０であるときには、記憶される１６ビットの符号のない整数ｐｑｍ＿ｖａｌｕｅは、次のようにＰＳＮＲ値（ｄＢ）として解釈される（浮動小数点で表現される）。ただし、０に等しいｐｑｍ＿ｖａｌｕｅの値に対する無限大に等しいＰＳＮＲは例外とする。

【0129】

【数1】

【0130】

ここで、Ｍは整数（たとえば１００）である。

【0131】

[0128] シンタックス要素ｐｑｍ＿ｔｙｐｅの値が１であるときには、記憶される１６ビットの符号のない整数ｐｑｍ＿ｖａｌｕｅは、次のようにｗＰＳＮＲ値（ｄＢ）として解釈される（浮動小数点で表現される）。ただし、０に等しいｐｑｍ＿ｖａｌｕｅの値に対する無限大に等しいｗＰＳＮＲは例外とする。

【0132】

【数2】

【0133】

ここで、Ｍは整数（たとえば１００）である。

【0134】

[0129] シンタックス要素ｐｑｍ＿ｔｙｐｅの値が２であるときには、記憶される１６ビットの符号のない整数ｐｑｍ＿ｖａｌｕｅは、次のようにＷＳ－ＰＳＮＲ値（ｄＢ）として解釈される（浮動小数点で表現される）。ただし、０に等しいｐｑｍ＿ｖａｌｕｅの値に対する無限大に等しいＷＳ－ＰＳＮＲは例外とする。

【0135】

【数3】

【0136】

ここで、Ｍは整数（たとえば１００）である。

【0137】

[0130] シンタックス要素ｐｑｍ＿ｔｙｐｅの値が３であるときには、品質メトリクスは、関連付けられたピクチャが属するＣＬＶＳの平均ルーマＰＳＮＲを示す。１６ビットの符号のない整数ｐｑｍ＿ｖａｌｕｅは、シーケンスレベルＰＳＮＲ品質メトリクス（ｄＢ）の結果として解釈され、次のように導出される（浮動小数点で表現される）。ただし、０に等しいｐｑｍ＿ｖａｌｕｅの値に対する無限大に等しいＰＳＮＲは例外とする。

【0138】

【数4】

【0139】

ここで、Ｍは整数（たとえば１００）である。

【0140】

[0131] シンタックス要素ｐｑｍ＿ｔｙｐｅの値が４であるときには、品質メトリクスは、関連付けられたピクチャが属するＣＬＶＳの平均ルーマ重み付きＰＳＮＲを示す。１６ビットの符号のない整数ｐｑｍ＿ｖａｌｕｅは、次のようにシーケンスレベルｗＰＳＮＲ値（ｄＢ）として解釈される（浮動小数点で表現される）。ただし、０に等しいｐｑｍ＿ｖａｌｕｅの値に対する無限大に等しいｗＰＳＮＲは例外とする。

【0141】

【数5】

【0142】

ここで、Ｍは整数（たとえば１００）である。

【0143】

[0132] シンタックス要素ｐｑｍ＿ｔｙｐｅの値が５であるときには、品質メトリクスは、関連付けられたピクチャが属するＣＬＶＳの平均ルーマＷＳ－ＰＳＮＲを示す。１６ビットの符号のない整数ｐｑｍ＿ｖａｌｕｅは、次のようにシーケンスレベルＷＳ－ＰＳＮＲ値（ｄＢ）として解釈される（浮動小数点で表現される）。ただし、０に等しいｐｑｍ＿ｖａｌｕｅの値に対する無限大に等しいＷＳ－ＰＳＮＲは例外とする。

【0144】

【数6】

【0145】

ここで、Ｍは整数（たとえば１００）である。

【0146】

[0133] 別の例では、複数のビデオフレームに適用される平均品質メトリクスを示すために、追加の品質メトリクスタイプがＳＥＩメッセージに含まれることもある。ＳＥＩメッセージに指定される品質メトリクスが関連付けられたピクチャに適用され、出力順序での現在層のすべての後続のピクチャについて持続することを示すために、第１のシンタックス要素がＳＥＩメッセージ中に指定されることもある。出力順序での任意の以前の品質メトリクスの持続性をキャンセルするために、第２のシンタックス要素がＳＥＩメッセージ中に指定されることもある。

【0147】

[0134] 別の例では、シーケンスレベルＰＳＮＲなどの平均品質メトリクスがＣＬＶＳの任意のピクチャについて存在するときには、関連付けられたピクチャ品質ＳＥＩメッセージは、ＣＬＶＳの最初のピクチャについて存在するものとする。同じＣＬＶＳに適用されるすべてのＳＥＩメッセージの平均ピクチャメトリクスは、同じ内容を有するものとする。

【0148】

[0135] 図５は、品質メトリクス補足拡張情報メッセージをコーディングするための例示的なプロセスを示すフローチャートである。図５は、本開示の符号化プロセスと復号プロセスの両方を示している。図５に示されるように、符号化プロセスは、ビデオエンコーダ２００を含むソースデバイス１０２によって実施され得る。復号プロセスは、ビデオデコーダ３００を含む宛先デバイス１１６によって実施され得る。

【0149】

[0136] 本開示の１つの例では、ソースデバイス１０２は、ピクチャを受信するように構成されることがある（５００）。ソースデバイス１０２は、（たとえばビデオエンコーダ２００を用いて）ピクチャを符号化し、符号化されたビデオビットストリームを宛先デバイス１１６に送信するようにさらに構成されることがある。ソースデバイス１０２は、ピクチャの品質メトリクスを決定するようにさらに構成されることがある（５０２）。ソースデバイス１０２は、品質メトリクスシンタックス要素を含む品質メトリクスメッセージを符号化するようにさらに構成されることがあり、ここで、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す（５０４）。

【0150】

[0137] 本開示のさらに別の例では、ソースデバイス１０２は、品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素（quality metric type syntax element）を符号化するようにさらに構成されることもあり、ここで、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す。１つの例では、複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ：peak signal-to-noise ratio）を含む。別の例では、複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ：structural similarity index）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ：multiscale structural similarity index）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む。上記の例では、品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す。

【0151】

[0138] 宛先デバイス１１６は、ピクチャを受信するように構成されることがある（５１０）。宛先デバイス１１６は、（たとえばビデオデコーダ３００を用いて）ピクチャを復号するようにさらに構成されることがある。宛先デバイス１１６は、品質メトリクスシンタックス要素を含む品質メトリクスメッセージも復号することがあり、ここで、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す（５１２）。宛先デバイス１１６は、処理されたピクチャを形成するために、品質メトリクスの値に従って後処理技法をピクチャに適用して（５１４）、処理されたピクチャを表示する（５１６）ようにさらに構成されることがある。

【0152】

[0139] 本開示のさらに別の例では、宛先デバイス１１６は、品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素を復号するようにさらに構成されることがあり、ここで、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す。１つの例では、複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む。別の例では、複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む。上記の例では、品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す。

【0153】

[0140] 本開示の１つの例では、品質メトリクスメッセージは、品質メトリクスＳＥＩメッセージを備える。別の例では、品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える。

【0154】

[0141] 本開示の他の例では、ソースデバイス１０２および／または宛先デバイス１１６は、第２の品質メトリクスシンタックス要素（second quality metric syntax element）を含む第２の品質メトリクスメッセージ（second quality metrics message）をコーディングするように構成されることもあり、ここで、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャまたは関心領域に関係する第２の品質メトリクス（second quality metric）の第２の値（second value）を示す。

【0155】

[0142] 説明のために、上記の技法は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の文脈で説明されている。しかし、本開示の技法は、ＡＶ１、ＡＶ１の将来のバージョン、およびＡＶ１ビデオコーディングフォーマットの後継など、他のビデオコーディング規格およびビデオコーディングフォーマットに合わせて構成されたビデオ符号化デバイスによって実施され得る。たとえば、メッセージは、ＳＥＩメッセージとは対照的に、本開示において説明されるメタデータのうちの少なくとも一部を含むオープンビットストリームユニット（ＯＢＵ）などのパケット化されたデータであることもある。１つの例として、ピクチャ向きＯＢＵがキャンセルフラグ（cancel flag）、持続性フラグ（persistence flag）、成分ピクチャ一致フラグ、または変換タイプシンタックス要素のうちの１つまたは複数を含むように、ピクチャ向きＳＥＩメッセージ内に含まれる上記で説明されたシンタックスの一部またはすべてがピクチャ向きＯＢＵに含まれ得る。別の例として、ピクチャ品質メトリクスＯＢＵがピクチャの品質メトリクスを示す１つまたは複数のシンタックス要素を含むように、ピクチャ品質メトリクスＳＥＩメッセージ内に含まれる上記で説明されたシンタックスの一部またはすべてがピクチャ品質メトリクスＯＢＵに含まれ得る。

【0156】

[0143] 図６は、本開示の技法を実施し得る例示的なビデオエンコーダ２００を示すブロック図である。図６は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明のために、本開示では、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従ってビデオエンコーダ２００について説明する。しかし、本開示の技法は、ＡＶ１およびＡＶ１ビデオコーディングフォーマットの後継など、他のビデオコーディング規格およびビデオコーディングフォーマットに合わせて構成されたビデオ符号化デバイスによって実施され得る。

【0157】

[0144] 図６の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０、モード選択ユニット２０２、残差生成ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構築ユニット２１４、フィルタユニット２１６、ＤＰＢ２１８、およびエントロピー符号化ユニット２２０のうちのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路において実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣ、またはＦＰＧＡの一部として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

【0158】

[0145] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されるビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0159】

[0146] 本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在ブロックのためのビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。

【0160】

[0147] 図６の様々なユニットは、ビデオエンコーダ２００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

【0161】

[0148] ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶し得る。

【0162】

[0149] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。

【0163】

[0150] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

【0164】

[0151] モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

【0165】

[0152] ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＭＴＴ構造、ＱＴＢＴ構造、スーパーブロック構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、概して「ビデオブロック」または「ブロック」と呼ばれることもある。

【0166】

[0153] 概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）についての予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶された１つまたは複数の前にコーディングされたピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在ブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

【0167】

[0154] 動き推定ユニット２２２は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。その上、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または重み付き平均化を通して、取り出されたデータを組み合わせ得る。

【0168】

[0155] ＡＶ１ビデオコーディングフォーマットに従って動作するときには、動き推定ユニット２２２および動き補償ユニット２２４は、並進動き補償、アフィン動き補償、オーバラップブロック動き補償（ＯＢＭＣ）、および／またはコンパウンドインター／イントラ予測を用いてビデオデータのコーディングブロック（たとえばルーマコーディングブロックとクロマコーディングブロックの両方）を符号化するように構成されることがある。

【0169】

[0156] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、概して、予測ブロックを作り出すために、隣接サンプルの値を数学的に組み合わせ、現在ブロックにわたって定義された方向にこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルについてこの得られた平均を含むように予測ブロックを生成し得る。

【0170】

[0157] ＡＶ１ビデオコーディングフォーマットに従って動作するときには、イントラ予測ユニット２２６は、方向性イントラ予測、非方向性イントラ予測、再帰型フィルタイントラ予測、クロマフロムルーマ（ＣＦＬ：chroma-from-luma）予測、イントラブロックコピー（ＩＢＣ）、および／またはカラーパレットモードを用いてビデオデータのコーディングブロック（たとえばルーマコーディングブロックとクロマコーディングブロックの両方）を符号化するように構成されることがある。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。

【0171】

[0158] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生の符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックについての残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。

【0172】

[0159] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００およびビデオデコーダ３００は、様々なサイズを有するＰＵをサポートし得る。上記で示されたように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指し得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズに対して非対称区分をサポートし得る。

【0173】

[0160] モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００およびビデオデコーダ３００は、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

【0174】

[0161] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックについての予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

【0175】

[0162] 上記で説明されたように、残差生成ユニット２０４は、現在ブロックのためのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在ブロックについての残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。

【0176】

[0163] 変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換など、１次変換および２次変換を実施し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

【0177】

[0164] ＡＶ１に従って動作するときには、変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つまたは複数の変換を適用することがある。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、非対称離散サイン変換（ＡＤＳＴ）、フリップ型ＡＤＳＴ（たとえば逆順序のＡＤＳＴ）、および恒等変換（ＩＤＴＸ）を含み得る水平／垂直変換の組合せを適用することがある。恒等変換を用いるときには、変換は、垂直方向または水平方向のうちの一方でスキップされる。いくつかの例では、変換処理はスキップされ得る。

【0178】

[0165] 量子化ユニット２０８は、量子化された変換係数ブロックを作り出すために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット２０６によって作り出された元の変換係数よりも低い精度を有し得る。

【0179】

[0166] 逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在ブロックに対応する再構築されたブロックを作り出し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを作り出すために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

【0180】

[0167] フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ動作を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。

【0181】

[0168] ＡＶ１に従って動作するときには、フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ動作を実施することがある。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実施することがある。他の例では、フィルタユニット２１６は、デブロッキングの後で適用されることがある条件付き方向性強調フィルタ（ＣＤＥＦ）を適用することがあり、推定されたエッジ方向に基づく非分離可能な非線形の低域方向性フィルタの適用を含むことがある。フィルタユニット２１６は、また、ＣＤＥＦの後で適用されるループ復元フィルタ（loop restoration filter）を含むこともあり、分離可能な対称正規化ウィーナフィルタ（separable symmetric normalized Wiener filter）またはデュアル自己誘導フィルタ（dual self-guided filter）を含むこともある。

【0182】

[0169] ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が実施されない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が実施される例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２および動き補償ユニット２２４は、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。さらに、イントラ予測ユニット２２６は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。

【0183】

[0170] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化されたデータを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

【0184】

[0171] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０は、ビットストリームを出力し得る。

【0185】

[0172] ＡＶ１によれば、エントロピー符号化ユニット２２０は、シンボル間適応マルチシンボル算術コーダ（symbol-to-symbol adaptive multi-symbol arithmetic coder）として構成されることがある。ＡＶ１のシンタックス要素は、Ｎ個の要素のアルファベットを含み、コンテキスト（たとえば確率モデル）は、Ｎ個の確率のセットを含む。エントロピー符号化ユニット２２０は、これらの確率をｎビット（たとえば１５ビット）の累積分布関数（ＣＤＦ）として記憶することがある。エントロピー符号化ユニット２２は、コンテキストを更新するために、アルファベットサイズに基づく更新ファクタを用いた再帰的スケーリングを実施することもある。

【0186】

[0173] 上記で説明された動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されたい。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。

【0187】

[0174] いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックとについて同じであり得る。

【0188】

[0175] 上記で説明されたＳＥＩ技法によれば、ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された、ピクチャを受信し、変換タイプシンタックス要素を含むピクチャ向きメッセージを符号化するように構成された１つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表し、ここで、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す。ビデオエンコーダ２００は、品質メトリクスシンタックス要素を含む品質メトリクスメッセージを符号化するようにさらに構成されることもあり、ここで、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す。

【0189】

[0176] 図７は、本開示の技法を実施し得る例示的なビデオデコーダ３００を示すブロック図である。図７は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）、およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従って、ビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。

【0190】

[0177] 図７の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣ、またはＦＰＧＡの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

【0191】

[0178] 予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。

【0192】

[0179] ＡＶ１に従って動作するときには、補償ユニット３１６は、上記で説明されたように、並進動き補償、アフィン動き補償、ＯＢＭＣ、および／またはコンパウンドインター／イントラ予測を用いてビデオデータのコーディングブロック（たとえばルーマコーディングブロックとクロマコーディングブロックの両方）を復号するように構成されることがある。イントラ予測ユニット３１８は、上記で説明されたように、方向性イントラ予測、非方向性イントラ予測、再帰型フィルタイントラ予測、ＣＦＬ、イントラブロックコピー（ＩＢＣ）、および／またはカラーパレットモードを用いてビデオデータのコーディングブロック（たとえばルーマコーディングブロックとクロマコーディングブロックの両方）を復号するように構成されることがある。

【0193】

[0180] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化されたビデオビットストリームからの符号化されたビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ３００が参照ビデオデータとして出力および／または使用し得る、復号されたピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0194】

[0181] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコーディングされたビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

【0195】

[0182] 図７に示されている様々なユニットは、ビデオデコーダ３００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図６と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

【0196】

[0183] ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

【0197】

[0184] エントロピー復号ユニット３０２は、ＣＰＢから、符号化されたビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構築ユニット３１０、およびフィルタユニット３１２は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。

【0198】

[0185] 概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築動作を実施し得る（ここで、現在再構築されている、すなわち、復号されているブロックは、「現在ブロック」と呼ばれることがある）。

【0199】

[0186] エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または（１つまたは複数の）変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位左シフト動作を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。

【0200】

[0187] 逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在ブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。

【0201】

[0188] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット３１６は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図６）に関して説明されたものと実質的に同様である様式で、インター予測プロセスを実施し得る。

【0202】

[0189] 別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図６）に関して説明されたものと実質的に同様である様式で、イントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在ブロックに対する隣接サンプルのデータを取り出し得る。

【0203】

[0190] 再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。

【0204】

[0191] フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ動作を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、必ずしもすべての例において実施されるとは限らない。

【0205】

[0192] ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４に記憶し得る。たとえば、フィルタユニット３１２の動作が実施されない例では、再構築ユニット３１０は、再構築されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実施される例では、フィルタユニット３１２は、フィルタ処理された再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で説明されたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための前に復号されたピクチャなど、参照情報を、予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号されたピクチャ（たとえば、復号されたビデオ）を、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、出力し得る。

【0206】

[0193] 上記で説明されたＳＥＩ技法によれば、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された、ピクチャを受信し、変換タイプシンタックス要素を含むピクチャ向きメッセージを復号するように構成された１つまたは複数の処理ユニットとを含む、ビデオデータを復号するように構成されたデバイスの一例を表し、ここで、変換タイプシンタックス要素は、複数の変換のうち、ピクチャに適用されることになる変換を示す。ビデオデコーダ３００は、品質メトリクスシンタックス要素を含む品質メトリクスメッセージを復号するようにさらに構成されることもあり、ここで、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す。

【0207】

[0194] 図８は、本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオエンコーダ２００（図１および図６）に関して説明されるが、他のデバイスが図８の方法と同様の方法を実施するように構成され得ることを理解されたい。

【0208】

[0195] この例では、ビデオエンコーダ２００は、最初に、現在ブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、現在ブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在ブロックのための残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと、現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（３５６）。走査中に、または走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して変換係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化されたデータを出力し得る（３６０）。

【0209】

[0196] 図９は、本開示の技法による、ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオデコーダ３００（図１および図７）に関して説明されるが、他のデバイスが図９の方法と同様の方法を実施するように構成され得ることを理解されたい。

【0210】

[0197] ビデオデコーダ３００は、エントロピー符号化された予測情報、および現在ブロックに対応する残差ブロックの変換係数についてのエントロピー符号化されたデータなど、現在ブロックについてのエントロピー符号化されたデータを受信し得る（３７０）。ビデオデコーダ３００は、現在ブロックのための予測情報を決定するために、および残差ブロックの変換係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る（３７２）。ビデオデコーダ３００は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを作り出すために、変換係数を逆量子化し、変換係数に逆変換を適用し得る（３７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在ブロックを復号し得る（３８０）。

【0211】

[0198] 以下に、本開示の技法およびデバイスの他の例示的な態様について説明する。

【0212】

[0199] 態様１Ａ－ビデオデータを処理する方法であって、ピクチャを受信することと、キャンセルフラグ、持続性フラグ、成分ピクチャ一致フラグ、または変換タイプシンタックス要素のうちの１つまたは複数を含むピクチャ向き補足拡張情報（ＳＥＩ）メッセージをコーディングすることと、ここにおいて、変換タイプシンタックス要素は、ピクチャに適用される回転またはミラーリングのうちの１つまたは複数を示す、を備える方法。

【0213】

[0200] 態様２Ａ－コーディングすることは、復号することを備え、方法は、ピクチャ向きＳＥＩメッセージに従ってピクチャを処理することをさらに備える、態様１Ａの方法。

【0214】

[0201] 態様３Ａ－ピクチャ向きメッセージは、ピクチャ向き補足拡張情報（ＳＥＩ）メッセージ（picture orientation supplemental enhancement information (SEI) message）を備える、態様１Ａまたは態様２Ａの方法。

【0215】

[0202] 態様４Ａ－ピクチャ向きメッセージは、ピクチャ向きオープンビットストリームユニット（ＯＢＵ）を備える、態様１Ａまたは態様２Ａの方法。

【0216】

[0203] 態様５Ａ－コーディングすることは、符号化することを備える、請求項１Ａの方法。

【0217】

[0204] 態様６Ａ－ビデオデータを処理する方法であって、ピクチャを受信することと、ピクチャの品質メトリクスを示す１つまたは複数のシンタックス要素を含むピクチャ品質メトリクス補足拡張情報（ＳＥＩ）メッセージ（quality metrics supplemental enhancement information (SEI) message）をコーディングすることとを備える方法。

【0218】

[0205] 態様７Ａ－コーディングすることは、復号することを備え、方法は、ピクチャ品質メトリクスＳＥＩメッセージに従ってピクチャを処理することをさらに備える、態様６Ａの方法。

【0219】

[0206] 態様８Ａ－ピクチャ向きメッセージは、ピクチャ品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様６Ａまたは態様７Ａの方法。

【0220】

[0207] 態様９Ａ－ピクチャ品質メトリクスメッセージは、ピクチャ品質メトリクスメッセージと関連付けられたピクチャの１つまたは複数のサブピクチャまたは関心領域の品質メトリクスを示す１つまたは複数のシンタックス要素を備える、態様６Ａから態様８Ａのいずれかの方法。

【0221】

[0208] 態様１０Ａ－１つまたは複数のシンタックス要素は、ハイダイナミックレンジ（ＨＤＲ）または３６０ビデオコンテンツの品質メトリクスを示す、態様９Ａの方法。

【0222】

[0209] 態様１１Ａ－コーディングすることは、符号化することを備える、態様６Ａから態様１０Ａのいずれかの方法。

【0223】

[0210] 態様１２Ａ－態様１Ａから態様１０Ａの方法の任意の組合せ。

【0224】

[0211] 態様１３Ａ． ビデオデータを処理するためのデバイスであって、デバイスが、態様１Ａから１２Ａのいずれかに記載の方法を実施するための１つまたは複数の手段を備える、デバイス。

【0225】

[0212] 態様１４Ａ． １つまたは複数の手段が、回路中に実装された１つまたは複数のプロセッサを備える、態様１３Ａに記載のデバイス。

【0226】

[0213] 態様１５Ａ． ビデオデータを記憶するためのメモリをさらに備える、態様１３Ａおよび１４Ａのいずれかに記載のデバイス。

【0227】

[0214] 態様１６Ａ． 復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、態様１３Ａから１５Ａのいずれかに記載のデバイス。

【0228】

[0215] 態様１７Ａ： デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、態様１３Ａから１６Ａのいずれかに記載のデバイス。

【0229】

[0216] 態様１８Ａ： デバイスがビデオデコーダを備える、態様１３Ａから１７Ａのいずれかに記載のデバイス。

【0230】

[0217] 態様１９Ａ： デバイスがビデオエンコーダを備える、態様１３Ａから１８Ａのいずれかに記載のデバイス。

【0231】

[0218] 態様２０Ａ－命令を記憶したコンピュータ可読記憶媒体であって、命令は、実行されたとき、１つまたは複数のプロセッサに態様１Ａから１２Ａのいずれかの方法を実施させる、コンピュータ可読記憶媒体。

【0232】

[0219] 態様１Ｂ－ビデオデータを処理する方法であって、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を備える方法。

【0233】

[0220] 態様２Ｂ－品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、をさらに備える、態様１Ｂの方法。

【0234】

[0221] 態様３Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様２Ｂの方法。

【0235】

[0222] 態様４Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様２Ｂの方法。

【0236】

[0223] 態様５Ｂ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様２Ｂの方法。

【0237】

[0224] 態様６Ｂ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様１Ｂの方法。

【0238】

[0225] 態様７Ｂ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様１Ｂの方法。

【0239】

[0226] 態様８Ｂ－コーディングすることは、復号することを備え、方法は、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用することと、処理されたピクチャを表示することとをさらに備える、態様１Ｂの方法。

【0240】

[0227] 態様９Ｂ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様１Ｂの方法。

【0241】

[0228] 態様１０Ｂ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様１Ｂの方法。

【0242】

[0229] 態様１１Ｂ－ビデオデータを処理するように構成された装置であって、ピクチャを記憶するように構成されたメモリと、回路中に実装された、メモリと通信している１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を行うように構成された装置。

【0243】

[0230] 態様１２Ｂ－１つまたは複数のプロセッサは、品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、を行うようにさらに構成された、態様１１Ｂの装置。

【0244】

[0231] 態様１３Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様１２Ｂの装置。

【0245】

[0232] 態様１４Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様１２Ｂの装置。

【0246】

[0233] 態様１５Ｂ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様１２Ｂの装置。

【0247】

[0234] 態様１６Ｂ－１つまたは複数のプロセッサは、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、を行うようにさらに構成された、態様１１Ｂの装置。

【0248】

[0235] 態様１７Ｂ－１つまたは複数のプロセッサは、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、を行うようにさらに構成された、態様１１Ｂの装置。

【0249】

[0236] 態様１８Ｂ－装置は、品質メトリクスメッセージを復号するように構成され、１つまたは複数のプロセッサは、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用することと、処理されたピクチャを表示することとを行うようにさらに構成された、態様１１Ｂの装置。

【0250】

[0237] 態様１９Ｂ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様１１Ｂの装置。

【0251】

[0238] 態様２０Ｂ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様１１Ｂの装置。

【0252】

[0239] 態様２１Ｂ－ビデオデータを処理するように構成された装置であって、ピクチャを受信するための手段と、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングするための手段と、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を備える装置。

【0253】

[0240] 態様２２Ｂ－品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングするための手段、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、をさらに備える、態様２１Ｂの装置。

【0254】

[0241] 態様２３Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様２２Ｂの装置。

【0255】

[0242] 態様２４Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様２２Ｂの装置。

【0256】

[0243] 態様２５Ｂ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様２２Ｂの装置。

【0257】

[0244] 態様２６Ｂ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングするための手段、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様２１Ｂの装置。

【0258】

[0245] 態様２７Ｂ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングするための手段、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様２１Ｂの装置。

【0259】

[0246] 態様２８Ｂ－コーディングするための手段は、復号するための手段を備え、装置は、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用するための手段と、処理されたピクチャを表示するための手段とをさらに備える、態様２１Ｂの装置。

【0260】

[0247] 態様２９Ｂ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様２１Ｂの装置。

【0261】

[0248] 態様３０Ｂ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様２１Ｂの装置。

【0262】

[0249] 態様３１Ｂ－命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令は、実行されたとき、ビデオデータを処理するように構成されたデバイスの１つまたは複数のプロセッサに、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を行わせる非一時的コンピュータ可読記憶媒体。

【0263】

[0250] 態様３２Ｂ－命令は、１つまたは複数のプロセッサに、品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、をさらに行わせる、態様３１Ｂの非一時的コンピュータ可読記憶媒体。

【0264】

[0251] 態様３３Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様３２Ｂの非一時的コンピュータ可読記憶媒体。

【0265】

[0252] 態様３４Ｂ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様３２の非一時的コンピュータ可読記憶媒体。

【0266】

[0253] 態様３５Ｂ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様３２Ｂの非一時的コンピュータ可読記憶媒体。

【0267】

[0254] 態様３６Ｂ－命令は、１つまたは複数のプロセッサに、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、をさらに行わせる、態様３１Ｂの非一時的コンピュータ可読記憶媒体。

【0268】

[0255] 態様３７Ｂ－命令は、１つまたは複数のプロセッサに、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、をさらに行わせる、態様３１Ｂの非一時的コンピュータ可読記憶媒体。

【0269】

[0256] 態様３８Ｂ－デバイスは、品質メトリクスメッセージを復号するように構成され、命令は、１つまたは複数のプロセッサに、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用することと、処理されたピクチャを表示することとをさらに行わせる、態様３１Ｂの非一時的コンピュータ可読記憶媒体。

【0270】

[0257] 態様３９Ｂ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様３１Ｂの非一時的コンピュータ可読記憶媒体。

【0271】

[0258] 態様４０Ｂ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様３１Ｂの非一時的コンピュータ可読記憶媒体。

【0272】

[0259] 態様１Ｃ－ビデオデータを処理する方法であって、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を備える方法。

【0273】

[0260] 態様２Ｃ－品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、をさらに備える、態様１Ｃの方法。

【0274】

[0261] 態様３Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様２Ｃの方法。

【0275】

[0262] 態様４Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様２Ｃの方法。

【0276】

[0263] 態様５Ｃ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様２Ｃから態様４Ｃのいずれかの方法。

【0277】

[0264] 態様６Ｃ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様１Ｃから態様５Ｃのいずれかの方法。

【0278】

[0265] 態様７Ｃ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様１Ｃから態様５Ｃのいずれかの方法。

【0279】

[0266] 態様８Ｃ－コーディングすることは、復号することを備え、方法は、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用することと、処理されたピクチャを表示することとをさらに備える、態様１Ｃから態様７Ｃのいずれかの方法。

【0280】

[0267] 態様９Ｃ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様１Ｃから態様８Ｃのいずれかの方法。

【0281】

[0268] 態様１０Ｃ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様１Ｃから態様８Ｃのいずれかの方法。

【0282】

[0269] 態様１１Ｃ－ビデオデータを処理するように構成された装置であって、ピクチャを記憶するように構成されたメモリと、回路中に実装された、メモリと通信している１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を行うように構成された装置。

【0283】

[0270] 態様１２Ｃ－１つまたは複数のプロセッサは、品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、を行うようにさらに構成された、態様１１Ｃの装置。

【0284】

[0271] 態様１３Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様１２Ｃの装置。

【0285】

[0272] 態様１４Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様１２Ｃの装置。

【0286】

[0273] 態様１５Ｃ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様１２Ｃから態様１４Ｃのいずれかの装置。

【0287】

[0274] 態様１６Ｃ－１つまたは複数のプロセッサは、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、を行うようにさらに構成された、態様１１Ｃから態様１５Ｃのいずれかの装置。

【0288】

[0275] 態様１７Ｃ－１つまたは複数のプロセッサは、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、を行うようにさらに構成された、態様１１Ｃから態様１５Ｃのいずれかの装置。

【0289】

[0276] 態様１８Ｃ－装置は、品質メトリクスメッセージを復号するように構成され、１つまたは複数のプロセッサは、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用することと、処理されたピクチャを表示することとを行うようにさらに構成された、態様１１Ｃから態様１７Ｃのいずれかの装置。

【0290】

[0277] 態様１９Ｃ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様１１Ｃから態様１８Ｃのいずれかの装置。

【0291】

[0278] 態様２０Ｃ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様１１Ｃから態様１８Ｃのいずれかの装置。

【0292】

[0279] 態様２１Ｃ－ビデオデータを処理するように構成された装置であって、ピクチャを受信するための手段と、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングするための手段と、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を備える装置。

【0293】

[0280] 態様２２Ｃ－品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングするための手段、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、をさらに備える、態様２１Ｃの装置。

【0294】

[0281] 態様２３Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様２２Ｃの装置。

【0295】

[0282] 態様２４Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様２２Ｃの装置。

【0296】

[0283] 態様２５Ｃ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様２２Ｃから態様２４Ｃのいずれかの装置。

【0297】

[0284] 態様２６Ｃ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングするための手段、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様２１Ｃから態様２５Ｃのいずれかの装置。

【0298】

[0285] 態様２７Ｃ－第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングするための手段、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、をさらに備える、態様２１Ｃから態様２５Ｃのいずれかの装置。

【0299】

[0286] 態様２８Ｃ－コーディングするための手段は、復号するための手段を備え、装置は、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用するための手段と、処理されたピクチャを表示するための手段とをさらに備える、態様２１Ｃから態様２７Ｃのいずれかの装置。

【0300】

[0287] 態様２９Ｃ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様２１Ｃから態様２８Ｃのいずれかの装置。

【0301】

[0288] 態様３０Ｃ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様２１Ｃから態様２８Ｃのいずれかの装置。

【0302】

[0289] 態様３１Ｃ－命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令は、実行されたとき、ビデオデータを処理するように構成されたデバイスの１つまたは複数のプロセッサに、ピクチャを受信することと、品質メトリクスシンタックス要素を含む品質メトリクスメッセージをコーディングすることと、ここにおいて、品質メトリクスシンタックス要素は、ピクチャに関係する品質メトリクスの値を示す、を行わせる非一時的コンピュータ可読記憶媒体。

【0303】

[0290] 態様３２Ｃ－命令は、１つまたは複数のプロセッサに、品質メトリクスメッセージ中の品質メトリクスタイプシンタックス要素をコーディングすること、ここにおいて、品質メトリクスタイプシンタックス要素は、複数の品質メトリクスのタイプのうち、品質メトリクスシンタックス要素によって示される品質メトリクスのタイプを示す、をさらに行わせる、態様３１Ｃの非一時的コンピュータ可読記憶媒体。

【0304】

[0291] 態様３３Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）を含む、態様３２Ｃの非一時的コンピュータ可読記憶媒体。

【0305】

[0292] 態様３４Ｃ－複数の品質メトリクスのタイプは、ピーク信号対雑音比（ＰＳＮＲ）、構造的類似性指標（ＳＳＩＭ）、マルチスケール構造的類似性指標（ＭＳ－ＳＳＩＭ）、ビデオ品質メトリクス（ＶＱＭ）、重み付きＰＳＮＲ（ｗＰＳＮＲ）、球状に均一な重み付きＰＳＮＲ（ＷＳ－ＰＳＮＲ）、シーケンスＰＳＮＲ、シーケンスｗＰＳＮＲ、またはシーケンスＷＳ－ＰＳＮＲのうちの２つ以上を含む、態様３２の非一時的コンピュータ可読記憶媒体。

【0306】

[0293] 態様３５Ｃ－品質メトリクスシンタックス要素は、品質メトリクスタイプシンタックス要素によって示される品質メトリクスの値を示す、態様３２Ｃから態様３４Ｃのいずれかの非一時的コンピュータ可読記憶媒体。

【0307】

[0294] 態様３６Ｃ－命令は、１つまたは複数のプロセッサに、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャのサブピクチャに関係する第２の品質メトリクスの第２の値を示す、をさらに行わせる、態様３１Ｃから態様３５Ｃのいずれかの非一時的コンピュータ可読記憶媒体。

【0308】

[0295] 態様３７Ｃ－命令は、１つまたは複数のプロセッサに、第２の品質メトリクスシンタックス要素を含む第２の品質メトリクスメッセージをコーディングすること、ここにおいて、第２の品質メトリクスシンタックス要素は、ピクチャの関心領域に関係する第２の品質メトリクスの第２の値を示す、をさらに行わせる、態様３１Ｃから態様３５Ｃのいずれかの非一時的コンピュータ可読記憶媒体。

【0309】

[0296] 態様３８Ｃ－デバイスは、品質メトリクスメッセージを復号するように構成され、命令は、１つまたは複数のプロセッサに、処理されたピクチャを形成するために品質メトリクスの値に従ってピクチャに後処理技法を適用することと、処理されたピクチャを表示することとをさらに行わせる、態様３１Ｃから態様３７Ｃのいずれかの非一時的コンピュータ可読記憶媒体。

【0310】

[0297] 態様３９Ｃ－品質メトリクスメッセージは、品質メトリクス補足拡張情報（ＳＥＩ）メッセージを備える、態様３１Ｃから態様３８Ｃのいずれかの非一時的コンピュータ可読記憶媒体。

【0311】

[0298] 態様４０Ｃ－品質メトリクスメッセージは、品質メトリクスオープンビットストリームユニット（ＯＢＵ）を備える、態様３１Ｃから態様３８Ｃのいずれかの非一時的コンピュータ可読記憶媒体。

【0312】

[0299] 上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。

【0313】

[0300] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベース処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0314】

[0301] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。

【0315】

[0302] 命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

【0316】

[0303] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

【0317】

[0304] 様々な例が説明された。これらおよび他の例は以下の特許請求の範囲内に入る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】