IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コムスコープ ユーケイ リミテッドの特許一覧

特許7469361トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達
<>
  • 特許-トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達 図1
  • 特許-トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達 図2
  • 特許-トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達 図3
  • 特許-トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達 図4
  • 特許-トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達
(51)【国際特許分類】
   H04N 19/70 20140101AFI20240409BHJP
   H04N 19/85 20140101ALI20240409BHJP
【FI】
H04N19/70
H04N19/85
【請求項の数】 32
(21)【出願番号】P 2022073093
(22)【出願日】2022-04-27
(62)【分割の表示】P 2020122604の分割
【原出願日】2016-09-23
(65)【公開番号】P2022093463
(43)【公開日】2022-06-23
【審査請求日】2022-05-18
(31)【優先権主張番号】62/222,381
(32)【優先日】2015-09-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/336,148
(32)【優先日】2016-05-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/274,682
(32)【優先日】2016-09-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】524010941
【氏名又は名称】コムスコープ ユーケイ リミテッド
【氏名又は名称原語表記】CommScope UK Limited
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】ナラシムハン、マンダヤン
(72)【発明者】
【氏名】ルトラ、アジェイ
【審査官】鉢呂 健
(56)【参考文献】
【文献】特開2016-111692(JP,A)
【文献】特許第7066786(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
トランスポートストリームを受信するプロセッサを含む装置であって、
(a)前記装置は、プログラムマップテーブルを含む前記トランスポートストリームを受信し、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す2ビットの単一の構文要素で示されている、装置。
【請求項2】
前記構文要素は、HDRおよびWCGについて、有りおよび無しを2ビットを用いて示す、請求項1に記載の装置。
【請求項3】
前記HEVCビデオ記述子が、HEVCで符号化されたビットストリームに含まれる、請求項2に記載の装置。
【請求項4】
トランスポートストリームを受信するプロセッサを含む装置であって、
(a)前記装置は、プログラムマップテーブルを含む前記トランスポートストリームを受信し、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す別々の2つのフラグで示されている、装置。
【請求項5】
前記単一の構文要素は、標準ダイナミックレンジ(SDR)コンテンツについて有りを選択的に示すことができる、請求項1に記載の装置。
【請求項6】
前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項1に記載の装置。
【請求項7】
前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項1に記載の装置。
【請求項8】
前記単一の構文要素は、標準ダイナミックレンジ(SDR)コンテンツについて有りを選択的に示すことができ、前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができ、および/または前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項1に記載の装置。
【請求項9】
トランスポートストリームに含まれるビデオを提供する方法であって、
(a)プログラムマップテーブルを含む前記トランスポートストリームを提供する工程を含み、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す2ビットの単一の構文要素で示されている、方法。
【請求項10】
前記構文要素は、HDRおよびWCGについて、有りおよび無しを2ビットを用いて示す、請求項に記載の方法。
【請求項11】
前記HEVCビデオ記述子が、HEVCで符号化されたビットストリームに含まれる、請求項10に記載の方法。
【請求項12】
ストリームタイプ識別子が、前記エレメンタリストリームを符号化するために使用される符号化機構を示す、請求項に記載の方法。
【請求項13】
トランスポートストリームに含まれるビデオを提供する方法であって、
(a)プログラムマップテーブルを含む前記トランスポートストリームを提供する工程を含み、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す別々の2つのフラグで示されている、方法。
【請求項14】
前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項に記載の方法。
【請求項15】
前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項に記載の方法。
【請求項16】
前記単一の構文要素は、標準ダイナミックレンジ(SDR)コンテンツについて有りを選択的に示すことができ、前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができ、および/または前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項に記載の方法。
【請求項17】
符号化されたビデオのトランスポートストリームを含むビデオビットストリームをコンピュータ可読記憶装置に記憶する方法をコンピュータに実行させるためのプログラムであって、前記方法は、
(a)プログラムマップテーブルを含む前記トランスポートストリームを記憶することを含み、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す2ビットの単一の構文要素で示されている、プログラム
【請求項18】
前記構文要素は、HDRおよびWCGについて、有りおよび無しを2ビットを用いて示す請求項17に記載のプログラム
【請求項19】
前記HEVCビデオ記述子が、HEVCで符号化されたビットストリームに含まれる、請求項18に記載のプログラム
【請求項20】
符号化されたビデオのトランスポートストリームを含むビデオビットストリームをコンピュータ可読記憶装置に記憶する方法をコンピュータに実行させるためのプログラムであって、前記方法は、
(a)プログラムマップテーブルを含む前記トランスポートストリームを記憶することを含み、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す別々の2つのフラグで示されている、プログラム
【請求項21】
前記単一の構文要素は、標準ダイナミックレンジ(SDR)コンテンツについて有りを選択的に示すことができる、請求項17に記載のプログラム
【請求項22】
前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項17に記載のプログラム
【請求項23】
前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項17に記載のプログラム
【請求項24】
前記単一の構文要素は、標準ダイナミックレンジ(SDR)コンテンツについて有りを選択的に示すことができ、前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができ、および/または前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項17に記載のプログラム
【請求項25】
符号化されたビデオのトランスポートストリームを含むビデオビットストリームをコンピュータ可読記憶装置に記憶する方法であって、前記方法は、
(a)プログラムマップテーブルを含む前記トランスポートストリームを記憶することを含み、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す2ビットの単一の構文要素で示されている、方法。
【請求項26】
前記構文要素は、HDRおよびWCGについて、有りおよび無しを2ビットを用いて示す請求項25に記載の方法。
【請求項27】
前記HEVCビデオ記述子が、HEVCで符号化されたビットストリームに含まれる、請求項26に記載の方法。
【請求項28】
符号化されたビデオのトランスポートストリームを含むビデオビットストリームをコンピュータ可読記憶装置に記憶する方法であって、前記方法は、
(a)プログラムマップテーブルを含む前記トランスポートストリームを記憶することを含み、
(b)前記プログラムマップテーブルは、ストリームタイプおよびエレメンタリストリーム識別子とともにエレメンタリストリームを示し、
(c)前記エレメンタリストリームは、特定のストリームタイプ値を用いることによって高効率ビデオ符号化(HEVC)ストリームを示し、
(d)高効率ビデオ符号化(HEVC)ビデオ記述子は、前記エレメンタリストリーム内における高ダイナミックレンジ(HDR)コンテンツおよび広色域(WCG)コンテンツの少なくとも一方について、有りまたは無しを示し、前記HEVCストリームに関連付けられており、
(e)前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツは、HDRコンテンツおよびWCGコンテンツについて有りまたは無しを示す別々の2つのフラグで示されている、方法。
【請求項29】
前記単一の構文要素は、標準ダイナミックレンジ(SDR)コンテンツについて有りを選択的に示すことができる、請求項25に記載の方法。
【請求項30】
前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項25に記載の方法。
【請求項31】
前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項25に記載の方法。
【請求項32】
前記単一の構文要素は、標準ダイナミックレンジ(SDR)コンテンツについて有りを選択的に示すことができ、前記単一の構文要素は、前記広色域(WCG)コンテンツについて有りを選択的に示すことができ、および/または前記単一の構文要素は、前記高ダイナミックレンジ(HDR)コンテンツおよび前記広色域(WCG)コンテンツについて有りを選択的に示すことができる、請求項25に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、デジタルビデオの分野に関し、特に、トランスポートストリームにおける高ダイナミックレンジ(HDR:High Dynamic Range)および/または広色域(WCG:Wide Color Gamut)コンテンツの存在を伝達する方法に関する。
【背景技術】
【0002】
高ダイナミックレンジ(HDR)ビデオおよび/または広色域(WCG)における色値を有するビデオシーケンスは、標準ダイナミックレンジ(SDR:Standard Dynamic Range)および/または標準色域(SCG:Standard Color Gamut)における色値を有する従来のビデオよりも広い範囲の輝度および色値を提供する。例えば、従来のSDRビデオは、画像がキャプチャされ、符号化され、および/または表示されるときに、影またはハイライトの細部が失われ得るような、限定された輝度および色範囲を有する可能性がある。対照的に、HDRビデオは、より広い範囲の輝度および色情報をキャプチャすることができ、ビデオが人間の目にとってより自然でかつより現実に近く見えることを可能とする。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、HDR/WCGビデオは、従来のSDR/SCGビデオよりも自然に見えることができるものの、多くのディスプレイおよび/またはデコーダは、いまだにHDR/WCGビデオをサポートしていない。それらのことを行うために、エンコーダは、デコーダがビットストリームを復号し、HDR/WCGコンテンツを再構成するために復号済みの値について対応する後処理操作を実行する方法を決定するために、復号済みの情報を調べることができるように、エンコーダがHDR/WCGコンテンツを符号化するために行った前処理操作に関する符号化済みのビットストリーム内の情報を示すことができる。
【0004】
しかしながら、ビットストリームにおけるHDR/WCGビデオの存在を識別し、そのようなビデオをより効率的に復号するための改良された技術が望まれている。
【課題を解決するための手段】
【0005】
本開示は、トランスポートストリーム内の特定のエレメンタリストリームを示すエレメンタリストリーム識別子と、エレメンタリストリーム内の高ダイナミックレンジコンテンツの有無を示す高ダイナミックレンジフラグと、エレメンタリストリーム内の広色域コンテンツの有無を示す広色域フラグとを含むトランスポートストリーム用のプログラムマップテーブルを提供する。
【0006】
本開示はまた、デジタルビデオを符号化する方法において、エンコーダが、高ダイナミックレンジコンテンツおよび広色域コンテンツを有するビデオを受信する工程と、エンコーダが、1つ以上の前処理操作を使用して符号化する前に高ダイナミックレンジコンテンツおよび広色域コンテンツを変換する工程と、エンコーダが、ビデオをエレメンタリストリームに符号化する工程と、エレメンタリストリームにおける高ダイナミックレンジコンテンツの存在を示す高ダイナミックレンジフラグおよびエレメンタリストリームにおける広色域コンテンツの存在を示す広色域フラグを含むプログラムマップテーブルを生成する工程と、プログラムマップテーブルおよびエレメンタリストリームをトランスポートストリームに含める工程とを備える、方法を提供する。
【0007】
本開示はまた、ビデオを復号する方法において、デコーダが、プログラムマップテーブルおよび関連するエレメンタリストリームを含むトランスポートストリームを受信する工程と、デコーダが、高ダイナミックレンジフラグおよび広色域フラグについてのプログラムマップテーブルをレビューする工程と、エレメンタリストリームが高ダイナミックレンジおよび広色域コンテンツを含むことを高ダイナミックレンジフラグおよび広色域フラグが示しかつデコーダが高ダイナミックレンジおよび広色域コンテンツを処理するように構成されている場合にエレメンタリストリームを復号する工程とを備える、方法を提供する。
【0008】
本発明のさらなる詳細は、添付図面の助けを借りて説明される。
【図面の簡単な説明】
【0009】
図1】ディスプレイに接続されたエンコーダおよびデコーダを備えるビデオシステムの実施形態を示す図。
図2】トランスポートストリームのコンポーネントを示すブロック図。
図3】エレメンタリストリームがエンコーダにおいて符号化操作および/または前処理操作によって符号化できかつデコーダにおいて復号操作および/または後処理操作によって復号できるシステムの実施形態を示す図。
図4】HDRフラグおよびWCGフラグを含むHEVCビデオ記述子の構文の非限定的例を示す図。
図5】プログラムマップテーブルのいくつかの実施形態に存在することができるフィールドを示す図。
【発明を実施するための形態】
【0010】
図1は、ディスプレイ104に接続されたエンコーダ100およびデコーダ102を備えるビデオシステムの実施形態を示す。
エンコーダ100は、ビデオデータをビットストリームに符号化し、コード変換し、および/または圧縮するように構成されたプロセッサ、メモリ、回路、および/または他のハードウェアおよびソフトウェア要素を備えることができる一方で、デコーダ102は、同様に、ビットストリームを、再構成されたビデオデータに復号し、コード変換し、および/または解凍するように構成されたプロセッサ、メモリ、回路、および/または他のハードウェアおよびソフトウェア要素を備えることができる。エンコーダ100およびデコーダ102は、それぞれ、HEVC(高効率ビデオコーディング:High Efficiency Video Coding)またはH.264/MPEG‐4 AVC(アドバンスドビデオコーディング)などのビデオコーディングフォーマットおよび/または圧縮方式に応じてビデオデータを符号化および復号化することができる。非限定的例として、いくつかの実施形態において、エンコーダ100およびデコーダ102は、Main
10 HEVCプロファイルを使用することができる。
【0011】
いくつかの実施形態において、エンコーダ100および/またはデコーダ102は、専用ハードウェア装置とすることができる。他の実施形態において、エンコーダ100および/またはデコーダ102は、サーバ、コンピュータ、またはビデオ処理装置などの他のハードウェア上で動作するソフトウェアプログラムとすることができるか、またはそれを使用することができる。非限定的例として、エンコーダ100は、ビデオサービスプロバイダによって操作されるビデオエンコーダとすることができる一方で、デコーダ102は、テレビまたは他のディスプレイ104に接続されたケーブルボックスなどの受信機またはセットトップボックスの一部とすることができる。いくつかの実施形態において、デコーダ102およびディスプレイ104は、単一装置に一体化されることができる。
【0012】
図1に示すように、エンコーダ100は、受信したビデオ106をビットストリームに符号化し、符号化済みのビットストリームをトランスポートストリーム108にパッケージ化することができる。非限定的例として、トランスポートストリーム108は、MPEG‐2トランスポートストリームとすることができる。トランスポートストリーム108は、インターネットを介して、直交振幅変調(QAM:Quadrature Amplitude Modulation)などのデジタルケーブルテレビ接続を介して、または任意の他のデジタル伝送または配信機構を介して、デコーダ102に提供されることができる。デコーダ102は、トランスポートストリーム108から符号化済みのビットストリームを抽出し、ディスプレイ104上での再生のためにビデオ106の再構成されたバージョンを出力するようにそれらを復号することができる。ディスプレイ104は、再構成されたビデオ106を提示するように構成されたテレビ、モニタ、装置画面、または任意の他の種類のディスプレイとすることができる。
【0013】
いくつかの状況または実施形態において、ビデオ106は、高ダイナミックレンジ(HDR)および/または広色域(WCG)コンテンツを含むことができる。HDR/WCGビデオは、標準ダイナミックレンジ(SDR)および/または標準色域(SCG)における値を有するビデオよりも広い範囲で表される輝度および色度値を有することができる。
【0014】
しかしながら、多くのディスプレイ104および/またはデコーダ102は、いまだにHDR/WCGビデオ106をサポートしていない。HDRコンテンツは、SDRコンテンツと比較して、高い比率の最大可視明度対最小可視明度を有することができる。HDRディスプレイ104は、一般に、SDRコンテンツを処理して表示することができるが、一部のデコーダ102および/またはSDRディスプレイ104は、SDRディスプレイ104上での再生のためにHDR値をより小さいダイナミックレンジに変換するように構成されていない。非限定的例として、いくつかの実施形態において、SDRディスプレイ104は、ITU‐R勧告 BT.2035 セクション3.2によって規定されるように最大100ニット(カンデラ毎平方メートル)の輝度値を再現するように構成されることができるが、いくつかの実施形態において、HDRディスプレイ104は、最大1000ニット以上の輝度値を再現することができる。ITU‐R勧告 BT.2035は、参照によって本願明細書に組み込まれる。同様に、WCGディスプレイ104は、一般に、SCGコンテンツを処理して表示することができるが、一部のデコーダ102および/またはSCGディスプレイ104は、SCGディスプレイ104上での再生のためにWCG値をより狭い色域に変換するように構成されていない。別の非限定的例として、いくつかの実施形態において、SDRディスプレイ104は、ITU‐R勧告 BT.709によって規定される標準色域において色度値を再現することができるが、いくつかの実施形態において、HDRディスプレイ104は、ITU‐R勧告 BT.2020によって規定される広色域において色度値を再現することができる。ITU‐R勧告 BT.709およびITU‐R勧告 BT.2020は、参照によって本願明細書に組み込まれる。
【0015】
いくつかの実施形態において、スケーラブルHEVC(SHVC)などのスケーラブルビデオ圧縮方式は、ベースレイヤにおけるビデオ106のSDR/SCGバージョンに関する情報を符号化するために使用されることができるが、ベースレイヤにおけるSDR/SCG値をHDR/WCG値に変換するために使用されることができる情報は、別個の非ベース拡張レイヤにおいて符号化されることができる。そのため、SDR/SCGディスプレイ104にビデオ106を出力するように設定されたデコーダ102は、拡張レイヤを無視して、ビデオ106のSDR/SCGバージョンを再構成するためにベースレイヤの情報を単に復号するだけでよい。同様に、HDR/WCGディスプレイ104にビデオ106を出力するように設定されたデコーダ102は、ベースレイヤからのSDR/SCG値を復号し、HDR/WCG拡張レイヤにおける情報を使用して、復号済みのSDR/SCG値をHDR/WCG値に変換することができる。いくつかの状況において、既存のベースレイヤにおいて符号化されたSDR/SCGコンテンツは、既存のSDR/SCG値をHDR/WCG値に変換する方法を示す新たな拡張レイヤによって拡張されることができる。
【0016】
いくつかの実施形態において、SHVCビットストリームなどのスケーラブルビデオコーディングビットストリームは、拡張レイヤにおけるHDR/WCGコンテンツの存在を示すビデオ記述子および/またはそのレイヤについてのバッファパラメータ、SDR/SCGベースレイヤおよびHDR/WCG拡張レイヤについてのレイヤアセンブリ階層を示す階層記述子、および/またはHDR/WCGコンテンツを復号および/またはレンダリングするためのデコーダリソースを示す操作ポイント記述子を含むことができる。しかしながら、これらの記述子は、一般に、ビットストリーム自体内で符号化される。そのため、デコーダ102は、拡張レイヤを使用することができるか否かを記述子から決定できる前に、ビットストリームの復号を開始するために時間および処理リソースを費やす必要があり得る。さらに、多くのデコーダ102は、SHVCなどのスケーラブルビデオコーディングをサポートしていない。
【0017】
他の実施形態において、HDR/WCGビデオが標準の非スケーラブルビットストリームに符号化されることができる非スケーラブル符号化機構が使用されることができる。8または10ビットで表される値を有するSDR/SCGビデオ用に多くの非スケーラブルコーディング方式が当初開発されたが、HDR/WCGビデオが、16ビットで表される色値を有するなどの、より高いビット深度フォーマットで提供される場合、エンコーダ100は、HDR/WCGの16ビット値をHEVCなどの非スケーラブルコーディング方式を使用して符号化されることができる10または8ビット値に変換するための様々な前処理操作を実行することができる。それゆえに、デコーダ102は、10または8ビット値を復号した後に、エンコーダの前処理操作を逆にしてHDR/WCG値を再構成する後処理操作を実行することができる。したがって、デコーダ102は、解凍に対する変更なしでHDR/WCGおよびSDR/SCGビットストリームの双方に対して同じ基本復号ステップを使用することができるが、必要に応じて、HDR/WCG値を再構成するために後処理操作を使用する。いくつかの状況において、展開済みのデコーダ102は、HDR/WCG値を再構成するための新たな後処理ステップを実行するために新たなファームウェアによってアップグレードされることができるが、アップグレードされていない展開済みのデコーダ102は、なおも既知の10または8ビットプロファイルを使用してビットストリームを復号することができる。いくつかの実施形態または状況において、エンコーダの前処理ステップは、SDR/SCGデコーダ102が、復号済みの値を前処理ステップなしでSDR/SCGディスプレイ104上で直接提示できるように、符号化前にHDR/WCGコンテンツをSDR/SCGコンテンツに変換することができる。
【0018】
そのようなシステムにおいて、エンコーダ100は、デコーダ102がビットストリームを復号し、復号済みの値に対する対応する後処理操作を実行する方法を決定するためにそれを検査することができるように、エンコーダ100が符号化済みのビットストリーム内で行った前処理操作に関する情報を示すことができる。例えば、前処理操作に関する情報は、補足拡張情報(SEI:Supplemental Enhancement Information)、ビデオ使用可能性情報(VUI:Video Usability Information)、および/またはビットストリームの他の要素においてビットストリーム内に含めることができる。
【0019】
しかしながら、後処理操作に関する情報をビットストリームに含めることは、後処理操作が必要であり得るかを、および/またはそれらを実行する方法をデコーダ102が決定することを可能とすることができるが、そのような情報がビットストリーム内にのみ含まれている場合、デコーダ102は、その情報をレビューして、復号済みのビットストリームによって示される後処理操作を実行することができるか否かを決定する前に、まずビットストリームを復号しなければならない。
【0020】
そのため、いくつかのシナリオにおいて、デコーダ102は、復号済みの値を表示用に処理できないと決定する前に、ビットストリームを復号する時間およびリソースを浪費する可能性がある。例えば、HDR/WCGビデオのビットストリームは、復号済みの値を元のHDR/WCG値の実質的な再構成に変換するようにデコーダ102が後処理操作を実行することを想定して符号化されることができる。ビットストリームは、エンコーダ100によって実行される前処理操作に関する情報とともに符号化されることができる。HDR/WCGディスプレイ104に出力するデコーダ102は、ビットストリームを復号し、ディスプレイ104用にHDR/WCGビデオを再構成するためにその情報を使用することができるが、SDR/SCGディスプレイ104用のデコーダ102または後処理操作を実行するように構成されていないデコーダ102は、ビットストリーム内で符号化された情報から非互換性を識別する前に、ビットストリームを復号する時間およびリソースを浪費する可能性がある。非限定的例として、エンコーダ100は、MPEG Main 10プロファイルを使用してHDR/WCGビデオをビットストリームに符号化するように前処理操作を実行することができ、そして、SEIメッセージおよびHDRコンテンツについてのVUI内で使用した伝達関数および他の情報を伝達することができ、WCGコンテンツについてのVUIにおけるBT.2020色情報を伝達することができる。そのため、全てのMain 10プロファイルデコーダ102は、解凍方法を変更することなくビットストリームを復号することができるが、全てのデコーダ102が、非HDRまたは非WCGディスプレイ104上にビデオを提示可能とするための適切な後処理ステップを実行することができるわけではない。
【0021】
デコーダ102がそれ自体の能力および/または接続されたディスプレイ104の能力に基づいてビットストリームを復号するためにリソースを費やす必要があるか否かを前もって決定することができるように、ビットストリームがHDRおよび/またはWCGコンテンツを含むかどうかを、ビットストリームを復号することなく決定する技術が本願明細書に開示されている。放送アプリケーションなどのMPEG‐2トランスポートストリームを使用する多くのアプリケーションにおいて、ビットストリーム外のプログラムレベルでHDRおよび/またはWCGコンテンツの存在および/または他の情報を伝達することは、HDR/WCG対応型デコーダ102およびディスプレイ104が、ビットストリームがHDR/WCGコンテンツを含むと決定することを可能とすることができ、そのため、それらは、復号済みのコンテンツを正しくレンダリングすることができる一方で、HDR/WCGコンテンツを処理または表示する能力を有しないデコーダ102およびディスプレイ104は、コンテンツを無視するかまたは表示のためにSDR/SCGコンテンツに変換しようとすることができる。
【0022】
図2は、トランスポートストリーム108のコンポーネントを示すブロック図である。いくつかの実施形態において、トランスポートストリーム108は、単一ビデオ106などの単一プログラム用のデータを含むことができる一方で、他の実施形態において、トランスポートストリーム108は、多重化された複数のプログラム用のデータを含むことができる。トランスポートストリーム108における各プログラムについて、トランスポートストリーム108は、プログラムマップテーブル202と、プログラムに関連付けられた1つ以上のエレメンタリストリーム204とを備えることができる。トランスポートストリーム108はまた、多重化されたトランスポートストリーム108内の複数のプログラムのそれぞれについてのプログラムマップテーブル202などの、トランスポートストリーム108内のプログラムマップテーブル202の全てを識別するプログラム関連テーブルを備えることもできる。
【0023】
エレメンタリストリーム204は、ビデオのビジュアルコンポーネントまたはオーディオコンポーネントを表す符号化済みのビットストリームなど、エンコーダ100によって生成された、ビデオ106からの符号化済みのビットストリームとすることができる。非限定的例として、エレメンタリストリーム204は、HEVCビットストリームとすることができる。エレメンタリストリーム204は、ビデオデータのコーディング済みの表現、および/または、それがどのように符号化されたかなどのビデオ106に関する他の情報を含む、一連のパケットを含むことができる。パケットは、パケット化エレメンタリストリーム(PES:Packetized Elementary Stream)パケットと称されることができる。単一のエレメンタリストリーム204は、一連のPESパケットにおいて担持されることができる。いくつかの実施形態において、エレメンタリストリーム204のパケットは、NAL(ネットワークアブストラクションレイヤ:Network Abstraction Layer)ユニットとすることができる。
【0024】
トランスポートストリーム108内のプログラムマップテーブル202は、プログラムマップテーブル202がトランスポートストリーム108についての全てのプログラム定義の完全なコレクションであるように、それらを含むトランスポートストリーム内のプログラム番号とプログラム要素との間において、「プログラム定義」と称されるマッピングを提供することができる。特に、1つ以上のエレメンタリストリーム204は、プログラムマップテーブル202上の同じプログラムに関連付けられることができる。非限定的例として、プログラムマップテーブル202は、プログラムのビデオおよびオーディオコンポーネントを再生するためにデコーダ102が双方のエレメンタリストリーム204を復号することができるように、プログラムのビデオコンポーネント用のエレメンタリストリーム204およびプログラムのオーディオコンポーネント用の別のエレメンタリストリーム204を識別することができる。
【0025】
プログラムマップテーブル202は、同じプログラムに関連付けられた各エレメンタリストリーム204についてのエレメンタリストリーム識別子206をリスト化することができる。いくつかの実施形態において、エレメンタリストリーム識別子206は、パケット識別子(PID:Packet Identifier)とすることができる。これらの実施形態において、同じエレメンタリストリームの一部であるトランスポートストリーム108内の全てのパケットは、同じPID値を共有する。トランスポートストリーム108がMPEG‐2トランスポートストリームである実施形態において、エレメンタリストリーム識別子206は、関連するエレメンタリストリームを担持するトランスポートストリームパケットのPIDを指定する「elementary_PID」値、すなわち13ビットフィールドとすることができる。
【0026】
プログラムマップテーブル202はまた、同じプログラムに関連付けられた各エレメンタリストリーム204についてのストリームタイプ識別子208をリスト化することもできる。ストリームタイプ識別子208は、エレメンタリストリーム204を符号化するために使用されるコーディング方式を示すことができる。トランスポートストリーム108がMPEG‐2トランスポートストリームである実施形態において、ストリームタイプ識別子208は、「stream_type」値とすることができる。非限定的例として、エレメンタリストリーム204がHEVCビットストリームである場合、エレメンタリストリーム204に関連付けられた「stream_type」値は、プログラムマップテーブル202の0×24に設定されることができる。
【0027】
プログラムマップテーブル202において識別される各ビデオエレメンタリストリーム204について、プログラムマップテーブル202はまた、高ダイナミックレンジ(HDR)フラグ210および/または広色域(WCG)フラグ212を含むこともできる。
【0028】
HDRフラグ210は、復号された場合に、エレメンタリストリーム204のコンテンツが高ダイナミックレンジ(HDR)または標準ダイナミックレンジ(SDR)における色値を有するか否かを示すことができる。それゆえに、デコーダ102は、それ自体の能力および/または接続されたディスプレイ104の能力に基づいて、関連付けられたエレメンタリストリーム204の復号および処理を試みるべきか否かを決定するようにHDRフラグ210を使用することができる。
【0029】
いくつかの実施形態において、HDRフラグ210は、エレメンタリストリーム204がHDRコンテンツを有することを0の値が示しかつ1の値がHDRコンテンツの存在を示さないように、ブーリアン型データタイプを有することができる。他の実施形態において、HDRフラグ210は、エレメンタリストリーム204がHDRコンテンツを有することを1の値が示しかつ0の値がHDRコンテンツの存在を示さないように、ブーリアン型データタイプを有することができる。さらに他の実施形態において、HDRフラグ210は、エレメンタリストリーム204におけるHDRコンテンツの有無を示す整数値または文字列など、任意の他のデータタイプを有することができる。
【0030】
WCGフラグ212は、復号された場合に、エレメンタリストリーム204のコンテンツが広色域(WCG)または標準色域(SCG)における色値を有するか否かを示すことができる。それゆえに、デコーダ102は、それ自体の能力および/または接続されたディスプレイ104の能力に基づいて、関連付けられたエレメンタリストリーム204の復号および処理を試みるべきか否かを決定するようにWCGフラグ212を使用することができる。
【0031】
いくつかの実施形態において、WCGフラグ212は、エレメンタリストリーム204がWCGコンテンツを有することを0の値が示しかつ1の値がWCGコンテンツの存在を示さないように、ブーリアン型データタイプを有することができる。他の実施形態において、WCGフラグ212は、エレメンタリストリーム204がWCGコンテンツを有することを1の値が示しかつ0の値がWCGコンテンツの存在を示さないように、ブーリアン型データタイプを有することができる。さらに他の実施形態において、WCGフラグ212は、エレメンタリストリーム204におけるWCGコンテンツの有無を示す整数値または文字列など、任意の他のデータタイプを有することができる。
【0032】
HDRフラグ210およびWCGフラグ212は、本願明細書において別個に記載され、代替実施形態において、エレメンタリストリーム204におけるHDRおよびWCGコンテンツの双方の有無を示すフラグまたはデータフィールドなどの単一要素に2つのフラグが組み合わせられることができる。
【0033】
それゆえに、プログラムマップテーブル202内のエレメンタリストリーム204に関連付けられたHDRフラグ210および/またはWCGフラグ212は、デコーダ102がそれ自体の復号能力および/またはディスプレイ104が再現することができる色値に基づいてそのエレメンタリストリーム204を復号するべきか否かを決定することを可能とする。デコーダ102は、HDR/WCGコンテンツを含むか否かを発見する前にまずエレメンタリストリーム204を復号するために処理時間およびリソースを費やすことなく、プログラムマップテーブル202内のエレメンタリストリーム204に関連付けられたHDRフラグ210および/またはWCGフラグ212に基づいてその決定を行うことができる。
【0034】
第1の非限定的例として、デコーダ102は、HDR/WCGコンテンツを復号し、HDR/WCGディスプレイ106に接続されるように構成されることができる。この例において、デコーダ102は、プログラムマップテーブル202をレビューし、関連付けられたエレメンタリストリーム204がHDR/WCGコンテンツを含むか否かをHDRフラグ210および/またはWCGフラグ212から決定することができる。フラグがHDR/WCGコンテンツの存在を示す場合、デコーダ102はそのエレメンタリストリーム204を選択してその復号を開始することができる。フラグがHDR/WCGコンテンツの存在を示さない場合、デコーダ102はそのエレメンタリストリーム204を選択してその復号を開始するか、あるいは他のHDR/WCGエレメンタリストリーム204を検索することができる。
【0035】
第2の非限定的例として、デコーダ102は、HDR/WCGコンテンツを復号するが、HDR/WCGコンテンツを表示するように構成されていないSDR/SCGディスプレイ104に接続されるように構成されることができる。この例において、デコーダ102は、プログラムマップテーブル202をレビューし、関連付けられたエレメンタリストリーム204がHDR/WCGコンテンツを含むか否かをHDRフラグ210および/またはWCGフラグ212から決定することができる。フラグがHDR/WCGコンテンツの存在を示さない場合、デコーダ102はエレメンタリストリーム204の復号を開始することができる。
【0036】
この例において、いくつかの実施形態において、HDRフラグ210および/またはWCGフラグ212がエレメンタリストリーム204内のHDR/WCGコンテンツの存在を示す場合、デコーダ102は、SDR/SCGディスプレイ104によって表示されることができるHDR/WCG値をSDR/SCG値に変換するために、エレメンタリストリーム204の復号を試みることができる。非限定的例として、デコーダ102は、復号済みのHDR/WCG値をSDR/SCG値に変換するためにカラーボリューム変換操作を使用することを試みることができる。
【0037】
代替実施形態において、HDRフラグ210および/またはWCGフラグ212がエレメンタリストリーム204内のHDR/WCGコンテンツの存在を示す場合、デコーダ102は、代替のSDR/SCGエレメンタリストリーム204を検索することができる。非限定的例として、デコーダ102は、HDR/WCGコンテンツの存在を示さないフラグを有する同じプログラムマップテーブル202内のプログラムについての代替エレメンタリストリーム204を探すことができる。別の非限定的例として、デコーダ102は、同じトランスポートストリーム108内の異なるプログラムマップテーブル202内のSDR/SCGエレメンタリストリーム204を探すか、または代替トランスポートストリーム108を要求することができる。
【0038】
第3の非限定的例として、HDR/WCGコンテンツを復号するように構成されていないデコーダ102は、プログラムマップテーブル202をレビューし、関連付けられたエレメンタリストリーム204がHDR/WCGコンテンツを含むか否かをHDRフラグ210および/またはWCGフラグ212から決定することができる。フラグがHDR/WCGコンテンツの存在を示さない場合、デコーダ102はエレメンタリストリーム204の復号を開始することができる。フラグがHDR/WCGコンテンツの存在を示す場合、それはHDR/WCGコンテンツを有するエレメンタリストリーム204を復号する能力を欠いていることから、別のSDR/SCGエレメンタリストリーム204を検索することができる。非限定的例として、デコーダのファームウェアは、HDR/WCG色値を復号または処理するように更新されなくてもよい。
【0039】
図3は、エレメンタリストリーム204がエンコーダ100における符号化操作302によって符号化されかつデコーダ102における復号操作304によって復号されることができるシステムの実施形態を示す。SDR/SCGビデオの場合、エレメンタリストリーム204は、コアHEVCコーデックとして知られている10ビットHEVCプロファイルなどの所望のコーディングフォーマットに応じて符号化および復号されることができる。しかしながら、HDR/WCGビデオの場合、エンコーダ100は、HDR/WCGコンテンツをその所望の符号化フォーマットを使用して符号化することができる形式に変換するために、1つ以上の前処理操作306を使用することができる。非限定的例として、いくつかの実施形態において、HDR/WCGビデオ106についての色値は、赤色チャネル、緑色チャネル、および青色チャネルを含む各色チャネルについての16ビット浮動小数点値を使用して線形光RGB領域において表現されるRGB色値を有するEXRファイルフォーマットなどの高ビット深度フォーマットにおいて提供されることができる。そのため、エンコーダ100は、HDR/WCGビデオ106内の16ビット値を、10ビットHEVCプロファイルを使用して符号化されることができる10ビット値に変換することができる。
【0040】
前処理操作306は、伝達関数、色空間変換、ビット深度低減、クロマサブサンプリング、および/または任意の他の操作を含むことができる。
前処理操作306中に使用される伝達関数は、線形スケール上の値を非線形曲線に再分配することができる非線形伝達関数を含むことができる。非限定的例として、夜間に設定された暗いシーンなど、ほとんどの色が類似しているHDR/WCGビデオ106内のシーンは、そのRGB値の大部分が、大きな線形範囲の同じ部分に集中していることがある。そのため、エンコーダ100は、色間の小さな差異を、元の線形スケールにおけるものよりも明白にすることができるように、非線形曲線上にそれらの値を再分配するために非線形変換を使用することができる。
【0041】
前処理操作306中に使用される色空間変換は、元の色値または変換された非線形値などの変換された色値を異なる色空間に変換することを含むことができる。非限定的例として、RGB値は、Y値が輝度成分を、Cb値が青色差クロマ成分を、Cr値が赤色差クロマ成分を表すYCbCr色空間に変換されることができる。
【0042】
前処理操作306中に使用されるビット深度低減は、高いビット深度値をより低いビット深度値に量子化することを含むことができる。非限定的例として、HDR/WCGビデオについての16ビット色値は、量子化ステップサイズによって分離された有限数の量子化された10ビット値または8ビット値のうちの1つに量子化されることができる。
【0043】
前処理操作306中に使用されるクロマサブサンプリングは、Cbおよび/またはCrクロマ成分に専用のビット量の低減とすることができる。非限定的例として、HDR/WCG YCbCr値は、Y輝度成分、Cbクロマ成分、Crクロマ成分が同じビット数によって記述される4:4:4解像度を有することができる。エンコーダ100は、人間の目が一般にY輝度成分よりもそれらの成分に敏感でないことから、4:4:4値を、CbおよびCrクロマ成分に割り当てられたサンプル数を低減させる4:2:0値に変換するためにクロマサブサンプリング操作を実行することができる。
【0044】
これらの前処理操作306のいずれかまたは全て、および/または他の前処理操作306を実行した後、エンコーダ100は、前処理されたデータを、トランスポートストリーム108内に含めることができるエレメンタリストリーム204などのビットストリームに符号化するために符号化操作302を実行することができる。エンコーダ100は、HEVCまたはAVCなどの所望の符号化機構についての符号化操作302に従うことができる。
【0045】
エンコーダ100は、どの前処理操作306を実行したか、および/または前処理操作306がどのように実行されたのかを示す情報をエレメンタリストリーム204に含めることができる。非限定的例として、エンコーダ100は、エレメンタリストリーム204内のパラメータ化された非線形伝達関数のパラメータに使用される値を符号化することができる。
【0046】
いくつかの実施形態において、エンコーダ100によって使用される前処理操作306に関する情報は、エレメンタリストリーム204内のNALユニットに含まれる補足拡張情報(SEI)に含めることができる。非限定的例として、エレメンタリストリーム204は、符号化済みのビデオデータのバイトを表す一連のVCL(ビデオコーディングレイヤ)NALユニットと、ビデオ106がどのように符号化されたのかに関する他の情報を示す非VCL NALユニットとを含むことができ、SEIは、エレメンタリストリーム204内の非VCL NALユニットに含めることができる。代替実施形態において、1つ以上の前処理操作306に関する情報は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)などのエレメンタリストリーム204内の他の種類のパケットまたはNALユニットに含めることができる。非限定的例として、1つ以上の前処理操作に関する情報は、SPSに含まれるビデオ使用可能性情報(VUI)に含めることができる。
【0047】
いくつかの実施形態において、前処理操作306に関する情報は、エレメンタリストリーム204の異なる部分に含めることができる。非限定的例として、HDRコンテンツについての伝達関数に関する情報は、SEIメッセージにおいて伝達されることができる一方で、WCGコンテンツに関する情報は、VUIにおいて示されることができる。
【0048】
エンコーダ100は、符号化済みのエレメンタリストリーム204と、エレメンタリストリーム204におけるHDR/WCGコンテンツの有無を示すHDRフラグ210および/またはWCGフラグ212を含むプログラムマップテーブル202とを含むトランスポートストリーム108を作成することができる。トランスポートストリーム108は、デコーダ102に供給されることができる。
【0049】
図3に示すように、エンコーダ100が、HDR/WCGビデオ106を、所望の符号化機構を使用してエレメンタリストリーム204に符号化されることができる形式に変換するために前処理操作306を実行した場合、デコーダ102は、エレメンタリストリーム204を復号するように復号操作304を実行することができる。しかしながら、この状況においては、エンコーダの前処理操作306がそれらを符号化する前に特定の方法で元のHDR/WCG値を変換することから、前処理操作306の効果を逆転させてHDR/WCGビデオ106を実質的に再構成するために、対応する後処理操作308が使用されることができる。上述したSEIまたはVUIなどのエレメンタリストリーム204内の情報は、どの前処理操作306が使用されたかおよび/またはそれらの効果を逆転させるために対応する後処理操作308を導き出すもしくは実行する方法をデコーダ102に示すことができる。
【0050】
一部のデコーダ102は、復号済みの値を変換してHDR/WCGビデオ106を再構成するために使用されることができる対応する後処理操作308を識別して実行するように構成されることができる。しかしながら、他のデコーダ102は、そのような後処理操作308を識別および/または実行する能力を欠いている可能性がある。非限定的例として、デコーダのファームウェアは、後処理操作308を実行するために更新されていなくてもよい。
【0051】
そのため、エレメンタリストリーム204をリスト化するプログラムマップテーブル202がエレメンタリストリームにおけるHDR/WCGコンテンツの有無を示すHDRフラグ210および/またはWCGフラグ212を含む場合、デコーダ102は、エレメンタリストリーム204を復号することができるか否かをそれらのフラグから決定することができる。プログラムマップテーブル202内のフラグがエレメンタリストリーム204におけるHDR/WCGコンテンツの存在を示さない場合、デコーダ102は、エレメンタリストリーム204を復号するために復号操作304を使用することができることを決定することができる。フラグプログラムマップテーブル202がエレメンタリストリーム204におけるHDR/WCGコンテンツの存在を示す場合、後処理操作308を識別して実行するように構成されたデコーダ102は、そのエレメンタリストリーム204を復号することを選択することができる一方で、後処理操作308を識別または実行するように構成されていないデコーダ102は、代替のSDR/SCGエレメンタリストリーム204を探すことを選択することができる。
【0052】
図4は、HDRフラグ210およびWCGフラグ212を含むHEVCビデオ記述子400の構文の非限定的例を示す。HEVCビデオ記述子400は、トランスポートストリーム108におけるプログラムマップテーブル202に含まれる記述子とすることができる。非限定的例として、HEVCビデオ記述子400は、エレメンタリストリーム識別子206およびストリームタイプ識別子208などの他の情報とともにMPEG‐2トランスポートストリームに含まれる「HEVC_descriptor」要素とすることができる。
【0053】
HEVCエレメンタリストリーム204の場合、ストリームタイプ識別子208は、HEVCベースレイヤコンポーネントを示すように0×24の値に設定された「stream_type」フィールドとすることができる。デコーダ102は、0×24の「stream_type」値が10ビットプロファイルに適合するHEVCエレメンタリストリームを示すことを期待することができるため、その「stream_type」値は、従来のデコーダ102がエレメンタリストリーム204を復号することができることを示すことができる。しかしながら、本願明細書に記載されるように、いくつかの状況において、10ビットプロファイルHEVCエレメンタリストリームの復号に続いて、HDR/WCG値を再構成するために後処理ステップが使用されてもよい。
【0054】
HEVCビデオ記述子400は、デコーダ102がHEVCエレメンタリストリーム204のプロファイルおよびレベルパラメータなどのコーディングパラメータを識別することができる情報を含む、HEVCで符号化されたエレメンタリストリーム204の属性を示すことができる。いくつかの実施形態において、HEVCビデオ記述子400は、エレメンタリストリーム204に含まれるHEVC最高時間的サブレイヤ表現など、HEVC時間的ビデオサブビットストリームまたはHEVC時間的ビデオサブセットの属性を示すことができる。図4に示すように、HEVCビデオ記述子400は、複数のフィールドを含むことができる。
【0055】
図4に示されるHEVCビデオ記述子400における「profile_space」、「tier_flag」、「profile_idc」、「profile_compatibility_indication」、「progressive_source_flag」、「interlaced_source_flag」、「non_packed_constraint_flag」、「frame_only_constraint_flag」、「reserved_zero_44bits」、および「level_idc」フィールドは、参照によって本願明細書中に組み込まれるITU‐T勧告 H.265およびISO/IEC 23008‐2に規定される意味論に従ってコーディングされることができる。
【0056】
HEVCビデオ記述子400がHEVCエレメンタリストリーム204またはHEVC完全時間的表現を記述する場合、「profile_space」、「tier_flag」、「profile_idc」、「profile_compatibility_indication」、「progressive_source_flag」、「interlaced_source_flag」、「non_packed_constraint_flag」、「frame_only_constraint_flag」、「reserved_zero_44bits」、および「level_idc」フィールドは、HEVCエレメンタリストリーム204の全体またはHEVC完全時間的表現に適用することができ、これらのフィールドは、それぞれ、general_profile_space、general_tire_flag、general_profile_idc、general_profile_compatibility_flag[i]、general_progressive_source_flag、general_interlaced_source_flag、general_non_packed_constraint_flag、general_frame_only_constraint_flag、general_reversal_zero_44bits、およびgeneral_level_idcについてのITU‐T勧告 H.265およびISO/IEC 23008‐2に規定される意味論に従ってコーディングされることができる。
【0057】
要素general_profile_spaceは、0から31を含めた範囲におけるjの全ての値についてのgeneral_profile_idcおよびgeneral_profile_compatibility_flag[j]の解釈のコンテキストを指定する。general_profile_spaceの値は、0に設定されることができる。デコーダ102は、general_profile_spaceが0に等しくない場合、コーディングされたビデオシーケンスを無視することができる。
【0058】
要素general_tier_flagは、general_level_idcの解釈についての階層コンテキストを指定する。
要素general_profile_idcは、general_profile_spaceが0に等しい場合、コーディングされたビデオシーケンスが適合するプロファイルを示す。
【0059】
1に等しい要素general_profile_compatibility_flag[j]は、general_profile_spaceが0に等しい場合、コーディングされたビデオシーケンスが、jに等しいgeneral_profile_idcによって示されるプロファイルに適合することを示す。general_profile_spaceが0に等しい場合、general_profile_compatibility_flag[general_profile_idc]は、1に等しいものとする。general_profile_compatibility_flag[j]の値は、general_profile_idcの許容値として指定されないjの任意の値について0に等しいものとする。
【0060】
要素general_progressive_source_flagおよびgeneral_interlaced_source_flagは、以下のように解釈される。general_progressive_source_flagが1に等しくかつgeneral_interlaced_source_flagが0に等しい場合、コーディングされたビデオシーケンスにおけるピクチャのソーススキャンタイプは、プログレッシブのみとして解釈されるべきである。そうでない場合、general_progressive_source_flagが0に等しくかつgeneral_interlaced_source_flagが1に等しい場合、コーディングされたビデオシーケンスにおけるピクチャのソーススキャンタイプは、インターレースのみとして解釈されるべきである。そうでない場合、general_progressive_source_flagが0に等しくかつgeneral_interlaced_source_flagが0に等しい場合、コーディングされたビデオシーケンスにおけるピクチャのソーススキャンタイプは、未知または不特定として解釈されるべきである。そうでない場合、general_progressive_source_flagが1に等しくかつgeneral_interlaced_source_flagが1に等しい場合などには、コーディングされたビデオシーケンスにおける各ピクチャのソーススキャンタイプは、ピクチャタイミングSEIメッセージにおいて構文要素source_scan_typeを使用してピクチャレベルで示される。デコーダ102は、これらのフラグの値と関連付けられた他の復号処理要求が存在しないため、vui_paratemeters_present_flagが0に等しい場合、frame_field_info_present_flagについて推論されるべき値の決定以外の目的のためにgeneral_progressive_source_flagおよびgeneral_interlaced_source_flagの値を無視することができる。
【0061】
1に等しい要素general_non_packed_constraint_flagは、コーディングされたビデオシーケンス内に、フレームパッキングアレンジメントSEIメッセージも、セグメント化された矩形フレームパッキングアレンジメントSEIメッセージも存在しないことを指定する。0に等しいgeneral_non_packed_constraint_flagは、コーディングされたビデオシーケンスに、1つ以上のフレームパッキングアレンジメントSEIメッセージまたはセグメント化された矩形フレームパッキングアレンジメントSEIメッセージが存在していても存在していなくてもよいことを示す。デコーダ102は、フレームパッキングアレンジメントSEIメッセージまたはセグメント化された矩形フレームパッキングアレンジメントSEIメッセージの存在または解釈に関連付けられた復号処理要求が存在しないため、general_non_packed_constraint_flagの値を無視することができる。
【0062】
1に等しい要素general_frame_only_constraint_flagは、要素field_seq_flagが0に等しいことを指定する。0に等しいgeneral_frame_only_constraint_flagは、field_seq_flagが0に等しくても等しくなくてもよいことを示す。デコーダ102は、field_seq_flagの値に関連付けられた復号処理要求が存在しないため、general_frame_only_constraint_flagの値を無視することができる。
【0063】
要素general_reserved_zero_44bitsは、存在する場合、0に設定されることができる。デコーダ102は、general_reserved_zero_44bitsの値を無視することができる。
【0064】
要素general_level_idcは、コーディングされたビデオシーケンスが適合するレベルを示す。general_level_idcの値が大きいほど、高いレベルを示す。コーディングされたビデオシーケンスに対して設定されたビデオパラメータにおいて伝達される最大レベルは、同じコーディングされたビデオシーケンスに対して設定されたシーケンスパラメータにおいて伝達されるレベルよりも高くてもよい。コーディングされたビデオシーケンスが複数のプロファイルに適合する場合、general_profile_idcは、エンコーダ100によって決定されるように、好ましい復号結果または好ましいビットストリーム識別を提供するプロファイルを示すべきである。
【0065】
HEVCビデオ記述子400が、HEVC最高時間的サブレイヤ表現がHEVC完全時間的表現ではないHEVC時間的ビデオサブビットストリームまたはHEVC時間的ビデオサブセットを記述する場合、「profile_space」、「tier_flag」、「profile_idc」、「profile_compatibility_indication」、「progressive_source_flag」、「interlaced_source_flag」、「non_packed_constraint_flag」、「frame_only_constraint_flag」、「reserved_zero_44bits」、および「level_idc」フィールドは、それぞれ、sub_layer_profile_space、sub_layer_tier_flag、sub_layer_profile_idc、sub_layer_profile_compatibility_flag[i]、sub_layer_progressive_source_flag、sub_layer_interlaced_source_flag、sub_layer_non_packed_constraint_flag、sub_layer_frame_only_constraint_flag、sub_layer_reserved_zero_44bits、およびsub_layer_level_idcについてのITU‐T勧告 H.265およびISO/IEC23008‐2に規定される意味論に従って、対応するHEVC最高時間的サブレイヤ表現のためにコーディングされることができる。これらの意味論は、general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[i]、general_progressive_source_flag、general_interlaced_source_flag、general_non_packed_constraint_flag、general_frame_only_constraint_flag、general_reserved_zero_44bits、およびgeneral_level_idcについてのものとそれぞれ同じとすることができるが、特定のTemporalIdを有するサブレイヤ表現に適用することができる。これらの状況において、フィールドは、HEVCビデオ記述子400が関連付けられるHEVC最高時間的サブレイヤ表現の全体に適用することができる。
【0066】
HEVCビデオストリームにおける1つ以上のシーケンスにおいて、レベルは、HEVCビデオ記述子400において伝達されたレベルよりも低いことがあるとともに、HEVCビデオ記述子400において伝達されたプロファイルのサブセットであるプロファイルも発生することがある。しかしながら、HEVCビデオストリーム全体において、存在する場合、HEVCビデオ記述子400において伝達されたプロファイルに含まれるビットストリーム構文全体のサブセットのみが使用されるものとする。シーケンスパラメータがHEVCビデオストリーム信号に異なるプロファイルを設定し、追加の制約が伝達されない場合、ストリームは、必要に応じて、ストリーム全体が適合するのがどのプロファイルかを決定するために検査を必要としてもよい。HEVCビデオ記述子400が単一プロファイルに適合しないHEVCビデオストリームに関連付けられるべきである場合、HEVCビデオストリームは、HEVCビデオ記述子400がそのような各サブストリームについての単一プロファイルを伝達することができるように、2つ以上のサブストリームに分割されるべきである。
【0067】
図4に示されているHEVCビデオ記述子400における「temporal_layer_subset_flag」フィールドは、1ビットフィールドとすることができる。1に設定される場合、それは、HEVC記述子400が時間層のサブセットを記述する要素を含むことを示すことができる。いくつかの実施形態において、「temporal_layer_subset_flag」は、HEVC時間的ビデオサブセットおよびHEVC時間的ビデオサブビットストリームについて1に設定されることができる。「temporal_layer_subset_flag」が0に設定される場合、要素「temporal_id_min」および「temporal_id_max」は、HEVCビデオ記述子400に存在しない可能性がある。
【0068】
図4に示されるHEVCビデオ記述子400における「HEVC_still_present_flag」フィールドは、1ビットフィールドとすることができる。1に設定される場合、それは、HEVCビデオストリームまたはHEVC最高時間的サブレイヤ表現がHEVC静止画像を含むことができることを示すことができる。0に設定される場合、それは、HEVCビデオストリームがHEVC静止画像を含んでいないことを示すことができる。瞬時復号リフレッシュ(IDR:Instantaneous Decoding Refresh)ピクチャは、0に等しいTemporalId値に関連付けられることができ、そのため、HEVCビデオ記述子400がHEVC時間的ビデオサブセットに適用される場合、HEVC静止画像は、関連付けられたHEVC時間的ビデオサブビットストリームに存在することができるのみである。
【0069】
図4に示されるHEVCビデオ記述子400における「HEVC_24_hour_picture_present_flag」フィールドは、1ビットフィールドとすることができる。1に設定される場合、それは、HEVCビデオストリームまたはHEVC最高時間的サブレイヤ表現がHEVC24時間ピクチャを含むことができることを示すことができる。0に設定される場合、それは、HEVCビデオストリームがHEVC24時間ピクチャを含んでいないことを示すことができる。
【0070】
図4に示されるHEVCビデオ記述子400における「sub_pic_hrd_params_not_present_flag」フィールドは、1ビットフィールドとすることができる。0に設定される場合、それは、HEVCビデオストリームにおけるVUIが、1に設定された「sub_pic_hrd_params_present_flag」構文要素を有することを示すことができる。1に設定される場合、それは、HEVCストリームが、「sub_pic_hrd_params_present_flag」構文要素を有するVUIを欠いていること、またはその要素が0に設定されることを示すことができる。サブピクチャ処理モードをサポートするデコーダ102は、PESヘッダにおけるタイムスタンプ値の代わりに、復号ユニット除去および復号ユニットの復号のタイミングなど、SEIメッセージにおいて指定されたHEVCビデオストリームにおける遅延値を使用して、トランスポートストリームシステムのターゲットデコーダを管理することができる。
【0071】
図4に示されるHEVCビデオ記述子400における「temporal_id_min」および「temporal_id_max」フィールドは、双方とも、ITU‐T勧告 H.265およびISO/IEC 23008‐2に規定されるように、関連付けられたエレメンタリストリーム204における全てのHEVCアクセスユニットの最小および最大の「TemporalID」をそれぞれ示す3ビットフィールドとすることができる。
【0072】
図4に示すように、HDRフラグ210は、HEVCビデオ記述子400内の1ビットの「HDR_video_not_present_flag」フィールドとすることができる一方で、WCGフラグ212は、HEVCビデオ記述子400内の1ビットの「WCG_video_not_present_flag」フィールドとすることができる。いくつかの実施形態において、「WCG_video_not_present_flag」および「HDR_video_not_present_flag」は、HEVCビデオ記述子400の旧バージョンにおける予約ビットによって保持される位置においてHEVCビデオ記述子400に挿入されることができる。
【0073】
この実施形態において、「HDR_video_not_present_flag」を0に設定することは、エレメンタリストリーム204におけるHDR値の存在を示すことができる一方で、「HDR_video_not_present_flag」を1に設定することは、エレメンタリストリーム204におけるHDR値の存在を示していない。「profile_idc」フィールドが10ビットプロファイルを示す場合、「HDR_video_not_present_flag」は0に設定されることができる。
【0074】
この実施形態において、「WCG_video_not_present_flag」を0に設定することは、エレメンタリストリーム204におけるWCG値の存在を示すことができる一方で、「WCG_video_not_present_flag」を1に設定することは、エレメンタリストリーム204におけるWCG値の存在を示していない。「profile_idc」フィールドが10ビットプロファイルを示す場合、「WCG_video_not_present_flag」は0に設定されることができる。
【0075】
本願明細書に記載されるブール値0および1はまた、それぞれ「偽(false)」および「真(true)」の真理値と同等であると理解されることもできる。いくつかの実施形態において、0以外の任意の値は、真であると考えることができる。
【0076】
図5は、1つ以上の後処理操作識別子502および/またはSDR/SCGコアストリームシグニファイア504を含む、プログラムマップテーブル202のいくつかの代替実施形態に存在することができるフィールドを示す。いくつかの実施形態において、これらのフィールドのうちの1つ以上は、HDRフラグ210および/またはWCGフラグ212に加えてまたはその代わりにプログラムマップテーブル202に存在することができる。
【0077】
いくつかの実施形態において、後処理操作識別子502は、復号済みの値からHDR/WCGビデオ106を再構成するためにどの特定のまたはどの種類の後処理操作308をデコーダ102が実行する必要があるか、および/またはそのような後処理操作を実行する方法を示すことができる。非限定的例として、後処理操作識別子502は、前処理操作306および/または後処理操作308に関する、SEI、VUI、またはエレメンタリストリーム204内の任意の他の要素において送信されるパラメータまたは他の情報と実質的に同様とすることができる。そのため、デコーダ102は、エレメンタリストリーム204を復号する前に、識別された後処理操作308を実行するように構成されているかどうかを決定するために、エレメンタリストリーム204に関連付けられた後処理操作識別子502をレビューすることができる。
【0078】
他の実施形態において、後処理操作識別子502は、デコーダ102がHDR/WCG値をSDR/SCG値に変換するために使用することができる後処理操作308を示すことができる。非限定的例として、いくつかの実施形態において、エンコーダ100によって実行される前処理操作306は、デコーダ102がHDR/WCG値をSDR/SCG値に変換することができる伝達関数および/または他の動作を識別することができる。そのため、一部の後処理操作識別子502は、デコーダ102がエレメンタリストリーム204からHDR/WCG値を復号した後に、識別された操作を、復号済みの値をSDR/SCG値に変換するために使用することができるように、SDR/SCGディスプレイ104についての、デコーダ102に対するこれらの種類の操作を示すことができる。
【0079】
SDR/SCGコアストリームシグニファイア504は、復号操作304を介してエレメンタリストリーム204から得られた値が後処理操作308なしにSDR/SCGディスプレイに表示されることができるか否かを示すことができる。いくつかの状況において、エンコーダの前処理操作306は、HDR/WCGビデオ106を、その後にエンコーダ100がエレメンタリストリーム204を符号化するSDR/SCGビデオ106に変換することができる。非限定的例として、いくつかの実施形態において、エンコーダ100は、16ビットHDR/WCGビデオ106を、10ビットプロファイルを有するコアHEVCコーデックを使用して符号化されることができる10ビットSDR/SCGビデオに変換することができる。そのため、これらの状況において、SDR/SCGディスプレイ104用のデコーダ102は、再構成されたSDR/SCGビデオ106を表示するためにエレメンタリストリーム204から復号済みの値を使用することができる一方で、HDR/WCGディスプレイ104用のデコーダ102は、値をHDR/WCG値に変換して元のHDR/WCGビデオ106を実質的に再構成するために、復号済みのSDR/SCG値に対して後処理操作308を実行することができる。
【0080】
いくつかの状況において、HDRフラグ210およびWCGフラグ212は、エレメンタリストリーム204におけるHDR/WCGコンテンツの存在を示すことができるが、SDR/SCGコアストリームシグニファイア504は、復号操作304によって得られると期待される値がSDR/SCGビデオ106としての表示に適していることを示すことができる。これらの状況において、SDR/SCGディスプレイ104用のデコーダ102は、復号済みのエレメンタリストリーム204が後処理操作308なしでSDR/SCGビデオ106として提示されることができることをSDR/SCGコアストリームシグニファイア504が示す場合、HDR/WCGエレメンタリストリーム204を選択することができる。
【0081】
あるいは、SDR/SCGコアストリームシグニファイア504は、復号操作304によって得られると期待される値が後処理操作308なしではSDR/SCGディスプレイ104上での提示に適していないことを示すことができる。非限定的例として、いくつかの状況において、エンコーダの前処理操作306は、エレメンタリストリーム204にさらに良好に符号化されることができるがエンコーダ100が後処理操作308を逆転させるようにデコーダ102に期待する値に変化した形式に変換されたHDR/WCG値を有してもよい。そのため、SDR/SCGコアストリームシグニファイア504は、中間符号化済の値が後処理操作308なしでは表示に適していないことを示すことができる。
【0082】
本発明は詳細に記載されてきたが、これは、単に本発明を作製して使用する方法を当業者に教示するためのものにすぎない。多くの追加的変更は、その範囲が以下の特許請求の範囲によって規定されるため、本発明の範囲内に含まれる。
図1
図2
図3
図4
図5