(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-26
(45)【発行日】2023-10-04
(54)【発明の名称】カラー・ピクチャを符号化および復号する方法および装置
(51)【国際特許分類】
H04N 19/85 20140101AFI20230927BHJP
H04N 19/186 20140101ALI20230927BHJP
H04N 19/46 20140101ALI20230927BHJP
【FI】
H04N19/85
H04N19/186
H04N19/46
【外国語出願】
(21)【出願番号】P 2021141988
(22)【出願日】2021-08-31
(62)【分割の表示】P 2017539642の分割
【原出願日】2016-01-25
【審査請求日】2021-09-24
(32)【優先日】2015-01-30
(33)【優先権主張国・地域又は機関】EP
(32)【優先日】2015-10-09
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】518338149
【氏名又は名称】インターデジタル ヴイシー ホールディングス, インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ラセール,セバスチアン
(72)【発明者】
【氏名】アンドリボン,ピエール
(72)【発明者】
【氏名】ルローネ,フアブリス
(72)【発明者】
【氏名】トウズ,デイビツド
【審査官】田中 純一
(56)【参考文献】
【文献】特開2002-204373(JP,A)
【文献】特開平11-313338(JP,A)
【文献】国際公開第2014/009844(WO,A1)
【文献】Tsun-Hsien Wang et al.,Design and Implementation of a Real-Time Global Tone Mapping Processor for High Dynamic Range Video,2007 IEEE International Conference on Image Processing,IEEE,2007年11月12日,pp. VI-209 - VI-212
【文献】S. Lasserre et al.,Modulation-based HDR video coding with SDR backward compatibility,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JCTVC-U0085 (version 1),2015年06月09日,pp. 1-15
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
カラー・ピクチャの2つのクロミナンス成分を、前記カラー・ピクチャの輝度成分の画素値に基づくファクタでスケーリングすることによって、2つのさらなるクロミナンス成分を取得することと、
前記輝度成分と前記2つのさらなるクロミナンス成分とを加算することによってさらなる輝度成分を計算することと、
前記さらなる輝度成分および前記2つのさらなるクロミナンス成分を符号化することと
を含む、方法。
【請求項2】
命令を記憶したメモリを備える装置であって、前記命令は、プロセッサに、
カラー・ピクチャの2つのクロミナンス成分を、前記カラー・ピクチャの輝度成分の画素値に基づくファクタでスケーリングすることによって、2つのさらなるクロミナンス成分を取得することと、
前記輝度成分と前記2つのさらなるクロミナンス成分とを加算することによってさらなる輝度成分を計算することと、
前記さらなる輝度成分および前記2つのさらなるクロミナンス成分を符号化することと
を行わせる、装置。
【請求項3】
ビットストリームから取得された輝度成分と2つのクロミナンス成分とを加算することによってさらなる輝度成分を計算することと、
前記2つのクロミナンス成分を、前記さらなる輝度成分の画素値に基づくファクタでスケーリングすることによって、2つのさらなるクロミナンス成分を取得することと、
前記さらなる輝度成分および前記2つのさらなるクロミナンス成分からカラー・ピクチャを取得することと
を含む、方法。
【請求項4】
命令を記憶したメモリを備える装置であって、前記命令は、プロセッサに、
ビットストリームから取得された輝度成分と2つのクロミナンス成分とを加算することによってさらなる輝度成分を計算することと、
前記2つのクロミナンス成分を、前記さらなる輝度成分の画素値に基づくファクタでスケーリングすることによって、2つのさらなるクロミナンス成分を取得することと、
前記さらなる輝度成分および前記2つのさらなるクロミナンス成分からカラー・ピクチャを取得することと
を行わせる、装置。
【請求項5】
前記輝度成分と前記2つのさらなるクロミナンス成分とを加算することは、前記2つのさらなるクロミナンス成分を線形結合することを含む、請求項1に記載の方法。
【請求項6】
前記輝度成分と前記2つのさらなるクロミナンス成分とを加算することは、前記2つのさらなるクロミナンス成分を線形結合することを含む、請求項2に記載の装置。
【請求項7】
前記線形結合することに使用される係数mおよびnをローカルまたは遠隔のメモリに記憶することと、
前記係数mおよびnをビットストリームに追加することと
のうちの少なくとも一方をさらに含む、請求項5に記載の方法。
【請求項8】
前記線形結合することに使用される係数mおよびnをローカルまたは遠隔のメモリに記憶することと、
前記係数mおよびnをビットストリームに追加することと
のうちの少なくとも一方をさらに含む、請求項6に記載の装置。
【請求項9】
前記輝度成分と前記2つのクロミナンス成分とを加算することは、前記2つのクロミナンス成分を線形結合することを含む、請求項3に記載の方法。
【請求項10】
前記輝度成分と前記2つのクロミナンス成分とを加算することは、前記2つのクロミナンス成分を線形結合することを含む、請求項4に記載の装置。
【請求項11】
前記線形結合することに使用される係数mおよびnを、ビットストリームまたはローカルもしくは遠隔のメモリから取得することをさらに含む、請求項
9に記載の方法。
【請求項12】
前記線形結合することに使用される係数mおよびnを、ビットストリームまたはローカルもしくは遠隔のメモリから取得することをさらに含む、請求項
10に記載の装置。
【請求項13】
前記ファクタはさらに、前記係数mおよびnに依存する、請求項
7又は11に記載の方法。
【請求項14】
前記ファクタはさらに、前記係数mおよびnに依存する、請求項
8又は12に記載の装置。
【請求項15】
前記ファクタは、前記輝度成分の特定の画素値についてのルックアップ・テーブルから取得される、請求項1又は3に記載の方法。
【請求項16】
前記ファクタは、前記輝度成分の特定の画素値についてのルックアップ・テーブルから取得される、請求項2又は4に記載の装置。
【請求項17】
前記輝度成分の特定の画素値についての前記ファクタは、ルックアップ・テーブルの値を補間することによって取得される、請求項1又は3に記載の方法。
【請求項18】
前記輝度成分の特定の画素値についての前記ファクタは、ルックアップ・テーブルの値を補間することによって取得される、請求項2又は4に記載の装置。
【請求項19】
前記ファクタは、前記さらなる輝度成分および前記さらなるクロミナンス成分から得られる色の色域と符号化される前記カラー・ピクチャの色の色域との間で計算される色域歪みが低下するように取得される、請求項1に記載の方法。
【請求項20】
前記ファクタは、前記さらなる輝度成分および前記さらなるクロミナンス成分から得られる色の色域と符号化される前記カラー・ピクチャの色の色域との間で計算される色域歪みが低下するように取得される、請求項2に記載の装置。
【請求項21】
符号化される前記カラー・ピクチャから輝度成分および2つのクロミナンス成分を取得することは、
輝度成分を取得することであって、
前記カラー・ピクチャの輝度から変調値を取得することと、
前記カラー・ピクチャの前記輝度を前記変調値で除算することによって、スケーリングされた輝度を取得することと、
前記輝度成分のダイナミック・レンジが前記スケーリングされた輝度のダイナミック・レンジと比較して小さくなるように、前記スケーリングされた輝度に非線形関数を適用することによって前記輝度成分を取得することと、
を含む、前記輝度成分を取得することと、
2つのクロミナンス成分を取得することであって、
前記輝度成分の画素の値と前記カラー・ピクチャ内の共通の位置にある画素の輝度値とによって決まる第2のファクタを取得することと、
各色成分に前記第2のファクタを乗算することによって少なくとも1つの中間色成分を取得することと、
前記少なくとも1つの中間色成分から前記2つのクロミナンス成分を取得することと、
を含む、前記2つのクロミナンス成分を取得することと、
を含む、請求項1に記載の方法。
【請求項22】
符号化される前記カラー・ピクチャから輝度成分および2つのクロミナンス成分を取得することは、
輝度成分を取得することであって、
前記カラー・ピクチャの輝度から変調値を取得することと、
前記カラー・ピクチャの前記輝度を前記変調値で除算することによって、スケーリングされた輝度を取得することと、
前記輝度成分のダイナミック・レンジが前記スケーリングされた輝度のダイナミック・レンジと比較して小さくなるように、前記スケーリングされた輝度に非線形関数を適用することによって前記輝度成分を取得することと、
を含む、前記輝度成分を取得することと、
2つのクロミナンス成分を取得することであって、
前記輝度成分の画素の値と前記カラー・ピクチャ内の共通の位置にある画素の輝度値とによって決まる第2のファクタを取得することと、
各色成分に前記第2のファクタを乗算することによって少なくとも1つの中間色成分を取得することと、
前記少なくとも1つの中間色成分から前記2つのクロミナンス成分を取得することと、
を含む、前記2つのクロミナンス成分を取得することと、
を含む、請求項2に記載の装置。
【請求項23】
前記さらなる輝度成分および前記2つのさらなるクロミナンス成分から、前記カラー・ピクチャを取得することは、
第1の成分を取得することであって、
結果的に生じる成分のダイナミック・レンジが前記さらなる輝度成分のダイナミック・レンジと比較して大きくなるように、前記さらなる輝度成分に非線形関数を適用することによって前記結果的に生じる成分を取得することと、
復号される前記カラー・ピクチャの輝度から変調値を取得することと、
前記結果的に生じる成分に前記変調値を乗算することによって前記第1の成分を取得することと、
を含む、前記第1の成分を取得することと、
前記さらなる輝度成分の画素の値によって決まる第2のファクタを取得することと、
前記第1の成分、前記2つのさらなるクロミナンス成分、および前記第2のファクタから少なくとも1つの色成分を取得することと、
前記少なくとも1つの色成分を結合することによって、復号されたピクチャを形成することと、
を含む、請求項3に記載の方法。
【請求項24】
前記さらなる輝度成分および前記2つのさらなるクロミナンス成分から、前記カラー・ピクチャを取得することは、
第1の成分を取得することであって、
結果的に生じる成分のダイナミック・レンジが前記さらなる輝度成分のダイナミック・レンジと比較して大きくなるように、前記さらなる輝度成分に非線形関数を適用することによって前記結果的に生じる成分を取得することと、
復号される前記カラー・ピクチャの輝度から変調値を取得することと、
前記結果的に生じる成分に前記変調値を乗算することによって前記第1の成分を取得することと、
を含む、前記第1の成分を取得することと、
前記さらなる輝度成分の画素の値によって決まる第2のファクタを取得することと、
前記第1の成分、前記2つのさらなるクロミナンス成分、および前記第2のファクタから少なくとも1つの色成分を取得することと、
前記少なくとも1つの色成分を結合することによって、復号されたピクチャを形成することと、
を含む、請求項4に記載の装置。
【請求項25】
前記プロセッサと通信可能に結合して前記カラー・ピクチャを受信および表示するディスプレイをさらに備える、請求項4に記載の装置。
【請求項26】
前記ファクタは、さらに、前記カラー・ピクチャの輝度から得られる変調値に基づいている、請求項1又は3に記載の方法。
【請求項27】
前記ファクタは、さらに、前記カラー・ピクチャの輝度から得られる変調値に基づいている、請求項2又は4に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概ね、ピクチャ/ビデオの符号化および復号に関する。特に、ただしこれに限定されるわけではないが、本開示の技術分野は、画素値が高ダイナミック・レンジに属するピクチャの符号化/復号に関する。
【背景技術】
【0002】
本節は、以下に説明し、且つ/または主張する本開示の様々な特徴に関係する可能性がある様々な技術特徴を読者に紹介するための節である。以下の説明は、本開示の様々な特徴をよりよく理解することを容易にするための背景情報を読者に提供する助けになるものと考えられる。従って、これらの記述は、これに照らして読まれるべきものであり、従来技術として自認するものとして読まれるべきものではないことを理解されたい。
【0003】
以下では、カラー・ピクチャは、サンプル(画素値)のいくつかのアレイを、ピクチャ(もしくはビデオ)の画素値に関する全ての情報、ならびに例えばディスプレイおよび/またはその他の任意のピクチャ(もしくはビデオ)を視覚化および/または復号するデバイスによって使用される可能性がある全ての情報を指定する特定のピクチャ/ビデオ・フォーマットで含んでいる。カラー・ピクチャは、第1のサンプルのアレイの形状をした少なくとも1つの成分、通常はルマ(または輝度)成分と、少なくとも1つの他のサンプルのアレイの形状をした少なくとも1つの別の成分とを含む。すなわち、同等に、同じ情報が、従来の3色RGB表現など、カラー・サンプル(カラー成分)のアレイのセットによって表されることもある。
【0004】
画素値は、C個の値のベクトルによって表される。ここで、cは、成分の数である。ベクトルの各値は、それらの画素値の最大ダイナミック・レンジを規定するいくつかのビットで表される。
【0005】
スタンダード・ダイナミック・レンジ・ピクチャ(SDRピクチャ)は、その輝度値が、通常は2またはfストップの累乗で測定される制限されたダイナミックで表される、カラー・ピクチャである。SDRピクチャは、約10fストップのダイナミックを有する、すなわち、線形領域中の最も明るい画素と最も暗い画素の間の比が1000であり、例えばITU-R BT.709 OETF(光電伝達関数)(ITU-R勧告BT.709-5、2002年4月)またはITU-R BT.2020 OETF(ITU-R勧告BT.2020-1、2014年6月)を使用して、非線形領域で限られたビット数(最も多いのはHDTV(高精細度テレビジョン・システム)およびUHDTV(超高精細度テレビジョン・システム)における8または10)でコード化されて、ダイナミックを低下させる。この制限された非線形表現では、特に暗い輝度範囲および明るい輝度範囲では、小さな信号変動を正しくレンダリングすることができない。ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)では、信号ダイナミックは、はるかに高くなり(最大で20fストップ、最も明るい画素と最も暗い画素との間の比が100万)、信号の全範囲にわたって信号の高い精度を維持するためには、新たな非線形表現が必要となる。HDRピクチャでは、生データは、通常は、浮動小数点フォーマット(各成分について32ビットまたは16ビット、すなわち単精度または半精度)(最も一般的なフォーマットは、openEXR半精度フォーマット(RGB成分につき16ビット、すなわち画素ごとに48ビット))で表されるか、あるいは通常は少なくとも16ビットの長い表現の整数で表される。
【0006】
色域は、色の特定の完全なセットである。最も一般的な用法では、所与の色空間内または特定の出力デバイスによるなど、所与の状況で正確に表すことができる色のセットを指す。
【0007】
色域は、
図1に示すように、CIE1931色空間色度図に与えられるRGB原色と白色点とによって規定されることもある。
【0008】
いわゆるCIE1931色空間色度図で原色を規定することは一般的である。これは、輝度成分から独立して色を規定する2次元図(x,y)である。この場合、任意の色XYZは、以下の変換によってこの図に投影される。
【数1】
z=1-x-y成分も規定されるが、これはこれ以上の情報を担持していない。
【0009】
この図では、色域は、その頂点が3原色RGBの(x,y)座標の集合である3角形によって定義される。白色点Wは、この3角形に属する、通常は3角形の中心に近い、別の所与の(x,y)点である。
【0010】
カラー・ボリュームは、色空間と、この色空間内に表される値のダイナミック・レンジとによって定義される。
【0011】
例えば、色域は、UHDTVについてのRGB ITU-R勧告BT.2020色空間によって規定される。さらに古い標準であるITU-R勧告BT.709は、HDTVについてのより小さな色域を規定する。SDRでは、ダイナミック・レンジは、公式にはデータがコード化されるカラー・ボリュームについて最大で100nit(カンデラ毎平方メートル)まで規定されるが、表示技術によっては、それより明るい画素を示すこともある。
【0012】
Danny Pascaleによる「A Review of RGB Color Spaces」に広範に説明されているように、色域の変更、すなわち3原色および白色点をある色域から別の色域にマッピングする変換は、線形RGB色空間内で3×3行列を使用することによって実行することができる。また、XYZからRGBへの空間の変更も、3×3行列によって実行される。その結果として、色空間がRGBであってもXYZであっても、色域の変更は、3×3行列によって実行することができる。例えば、BT.2020の線形RGBからBT.709のXYZへの色域の変更は、3×3行列によって実行することができる。
【0013】
ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)は、その輝度値がSDRピクチャのダイナミックより高いHDRダイナミックで表されるカラー・ピクチャである。
【0014】
HDRダイナミックは、まだ標準で規定されていないが、最大で数千nitのダイナミック・レンジが予想され得る。例えば、HDRカラー・ボリュームは、RGB BT.2020色空間で規定され、このRGB色空間内に表される値は、0から4000nitのダイナミック・レンジに属する。HDRカラー・ボリュームの別の例は、RGB BT.2020色空間で規定され、このRGB色空間内に表される値は、0から1000nitのダイナミック・レンジに属する。
【0015】
ピクチャ(またはビデオ)のカラー・グレーディングは、ピクチャ(またはビデオ)の色を変更/増強するプロセスである。通常は、ピクチャのカラー・グレーディングは、このピクチャに関するカラー・ボリューム(色空間および/またはダイナミック・レンジ)の変更あるいは色域の変更を伴う。従って、同じピクチャの2つの異なるカラー・グレーディング・バージョンは、異なるカラー・ボリューム(または色域)に表される値を有するこのピクチャのバージョン、またはその色のうちの少なくとも1つが異なるカラー・グレードに従って変更/増強されているこのピクチャのバージョンである。これは、ユーザとの対話を伴うこともある。
【0016】
例えば、映画製作では、3色カメラを使用して、ピクチャおよびビデオを取り込んで、3つの成分(赤、緑、および青)で構成されたRGB色値にする。RGB色値は、センサの3色特性(原色)に依存する。次いで、(個々の劇場用グレードを使用して)劇場用のレンダリングを得るように、取り込んだピクチャの第1のカラー・グレーディング・バージョンを得る。通常は、取り込んだピクチャの第1のカラー・グレーディング・バージョンの値は、UHDTVのパラメータ値を規定するBT.2020などの標準化されたYUVフォーマットに従って表される。
【0017】
YUVフォーマットは、通常は、線形RGB成分に、非線形関数、いわゆる光電伝達関数(OETF)を適用して、非線形成分R’G’B’を得、次いで得られた非線形R’G’B’成分に色変換(通常は3×3行列)を適用して3つの成分YUVを得ることによって、実行される。第1の成分Yは、輝度成分であり、残りの2つの成分U、Vは、クロミナンス成分である。
【0018】
次いで、カラリスト(Colorist)が、通常は撮影監督と協働して、芸術的意図を盛り込むために一部の色値を微調整/ツイーク(tweak)することによって、取り込んだピクチャの第1のカラー・グレーディング・バージョンの色値に対して制御を実行する。
【0019】
解決すべき問題は、圧縮HDRピクチャ(またはビデオ)を配信しながら、同時にそのHDRピクチャ(またはビデオ)のカラー・グレーディング・バージョンを表す関連するSDRピクチャ(またはビデオ)を配信することである。
【0020】
よくある解決策は、SDRピクチャ(またはビデオ)およびHDRピクチャ(またはビデオ)の両方を配信インフラストラクチャで同時放送することであるが、その欠点は、HEVC main 10 profile(「High Efficiency Video Coding」、SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、ITU-T勧告H.265、Telecommunication Standardization Sector of ITU、2013年4月)などのSDRピクチャ(またはビデオ)を同報通信するように適応された旧来のインフラストラクチャの配信と比較して必要な帯域幅が実質的に2倍になることである。
【0021】
旧来の配信インフラストラクチャを使用することは、HDRピクチャ(またはビデオ)の配信の出現を促すための要件である。また、ピクチャ(またはビデオ)のSDRバージョンおよびHDRバージョンの良好な品質を保証しながら、ビット・レートを最小限に抑えるものとする。
【0022】
さらに、後方互換性を保証することができる、すなわち、SDRピクチャ(またはビデオ)は、旧来のデコーダおよびディスプレイを有するユーザが見ることができるものとする、すなわち、特に、全体的な知覚される明るさ(すなわち明るいシーンに対する暗いシーン)および知覚される色が保存されなければならない(例えば色相などの保存)。
【0023】
別の単純な解決策は、適当な非線形関数によってHDRピクチャ(またはビデオ)のダイナミック・レンジを低下させ、通常はHEVC main 10 profileによって直接圧縮された限られたビット数(例えば10ビット)にすることである。このような非線形関数(曲線)は、SMPTEでDolbyによって提案されたいわゆるPQ EOTFなど、既に存在している(SMPTE標準:High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays、SMPTE ST 2084:2014)。
【0024】
この解決策の欠点は、後方互換性がないこと、すなわちピクチャ(ビデオ)の得られる劣化バージョンが、SDRピクチャ(またはビデオ)として見ることができると考えられるのに十分な視覚的品質を有しておらず、圧縮性能がある程度低いことである。
【0025】
本開示は、上記のことを念頭に考案されたものである。
【発明の概要】
【0026】
以下、本開示のいくつかの態様の基本的な理解を与えるために、本開示の簡潔な概要を示す。この概要は、本開示の排他的な概観ではない。この概要は、本開示の重要または不可欠な要素を特定することを意図したものではない。以下の概要は、単に、後述するさらに詳細な説明の前置きとして、本開示のいくつかの態様を簡潔な形態で提示するものである。
【0027】
本開示は、請求する方法および装置によって従来技術の欠点のうちの少なくとも1つを解消しようとするものである。
【0028】
HDRカラー・ピクチャのSDRバージョンを表す輝度成分と2つのクロミナンス成分とを結合することによって得られる色は、HDRカラー・ピクチャの色の色相および知覚飽和度を保存しないように思えるかもしれない。
【0029】
このようなSDRピクチャの色の色域を、符号化するHDRカラー・ピクチャの色の色域にマッピングすると、このHDRピクチャに対して色相および知覚飽和度が補正される。
【0030】
従って、HDRピクチャの色の色相および知覚飽和度が保存されて、復号されたSDRピクチャの視覚的品質が高まり、その知覚される色は、元のHDRとより良好に一致する。
【0031】
一態様によれば、輝度成分およびクロミナンス成分を最終輝度成分および2つの最終クロミナンス成分にマッピングすることは、
2つのクロミナンス成分のそれぞれを、輝度成分から得られる変調値と輝度成分の各画素の値とによって決まる第1のファクタでスケーリングすることと、
輝度成分と2つの最終クロミナンス成分とを線形結合することによって最終輝度成分を取得することとを含む。
【0032】
この態様では、復号された輝度成分とクロミナンス成分とを結合することによってSDRカラー・ピクチャを取得することができる。このSDRカラー・ピクチャは、旧来のSDRディスプレイによって表示することができる。換言すれば、このSDRカラー・ピクチャは、エンドユーザが自分の旧来のSDRディスプレイから見ることができる。従って、この方法は、任意の旧来のSDRディスプレイとの後方互換性をもたらす。さらに、輝度成分およびクロミナンス成分(SDRカラー・ピクチャ)を上記の最終輝度成分およびクロミナンス成分にマッピングすることによって取得される最終輝度成分およびクロミナンス成分からHDRピクチャを形成することによって、SDRピクチャとHDRピクチャとの両方を同時通信することを回避することができる。
【0033】
一態様によれば、少なくとも1つの中間色成分からの2つのクロミナンス成分を得ることは、
各中間色成分の平方根をとることによって、3つの中間成分を得ることと、
この3つの中間成分を線形結合することとを含む。
【0034】
平方根関数を使用して、符号化側で必要とされるOETF(光電伝達関数)を近似する。このような近似により、明瞭な反転可能な数式が得られ、複雑さの低いデコーダが得られる。これは、部分的には、デコーダ側でフル・ダイナミック入力ピクチャを復号するために適用されるEOTF(電気光学伝達関数)が2次関数になるからである。
【0035】
また、平方根は、主に0.45の累乗となる、HD/UHD TVで使用されるITU-R勧告BT.709/BT.2020で規定される標準的なSDR OETFの良好な近似であるので、SDRピクチャは、ある程度一貫した色を示す。
【0036】
本開示の別の態様によれば、本開示は、ビットストリームからカラー・ピクチャを復号する方法に関する。
【0037】
本開示の他の態様によれば、本開示は、上記の方法を実施するように構成されたプロセッサを含むデバイス、コンピュータ上で実行されたときに上記の方法のステップを実行するプログラム・コード命令を含むコンピュータ・プログラム製品、少なくとも上記の方法のステップをプロセッサに実行させる命令を記憶したプロセッサ可読媒体、そのプログラムがコンピューティング・デバイス上で実行されたときに上記の方法のステップを実行するプログラム・コードの命令を担持する非一時的記憶媒体に関する。
【0038】
本開示の特定の性質ならびに本開示のその他の目的、利点、特徴、および用途は、以下の実施形態の説明を添付の図面と関連付けて読めば明らかになるであろう。
【0039】
図面には、本開示の実施形態が示してある。図面は以下の通りである。
【図面の簡単な説明】
【0040】
【
図2】本開示の実施形態によるカラー・ピクチャを符号化する方法のステップを示す概略図である。
【
図3】本開示による色域マッピングの原理を示す図である。
【
図4】本開示の実施形態によるステップ12のサブステップを示す概略図である。
【
図5】本開示の実施形態によるステップ11のサブステップを示す概略図である。
【
図6】本開示の実施形態によるステップ170のサブステップを示す概略図である。
【
図7】本開示の実施形態によるステップ170のサブステップを示す概略図である。
【
図8】本開示の実施形態による少なくとも1つのビットストリームからカラー・ピクチャを復号する方法のステップを示す概略図である。
【
図9】本開示の実施形態によるステップ22のサブステップを示す概略図である。
【
図10】本開示の実施形態によるステップ23のサブステップを示す概略図である。
【
図11a】本開示の実施形態によるステップ230のサブステップを示す概略図である。
【
図11b】本開示の実施形態によるステップ230のサブステップを示す概略図である。
【
図12】本開示の実施形態によるステップ231のサブステップを示す概略図である。
【
図13】本開示の実施形態によるデバイスのアーキテクチャの例を示す図である。
【
図14】本開示の実施形態による通信ネットワークを介して通信する2つの遠隔デバイスを示す図である。
【
図15】色域のCIE1931図の要素のセットの例を示す図である。
【発明を実施するための形態】
【0041】
同様の、または同じ要素は、同じ参照番号で示してある。
【0042】
以下、本開示について、本開示の実施形態を示す添付の図面を参照して、より完全に説明する。ただし、本開示は、多くの代替の形態で実施することができ、本明細書に記載する実施形態に限定されるものと解釈すべきではない。従って、本開示には、様々な修正および代替形態の余地があるが、本開示の具体的な実施形態を、例示を目的として図面に示し、本明細書において詳細に説明する。ただし、本開示を開示する特定の形態に限定する意図はなく、むしろ、本開示は、特許請求の範囲によって規定される本開示の趣旨および範囲内に含まれる全ての修正形態、均等物、および代替形態をカバーするものと理解されたい。
【0043】
本明細書で使用する用語は、特定の実施形態を説明するためのものに過ぎず、本開示を制限するように意図されたものではない。本明細書で使用する単数形「a」、「an」(「或る」、「一つ」)、および「the」(「この」、「その」)は、文脈から明らかに複数形を含まないことが分かる場合を除き、複数形も含むものとして意図されている。さらに、本明細書で使用する「備える」、「備えている」、「含む」、および/または「含んでいる」という用語は、記載される特徴、整数、ステップ、動作、要素、および/または成分が存在することを示すものであり、1つまたは複数のその他の特徴、整数、ステップ、動作、要素、成分、および/またはそれらのグループが存在すること、または追加されることを排除するものではない。さらに、ある要素が別の要素に「応答する」または「接続される」と述べられるとき、その要素がその別の要素に直接応答する、または接続されていることもあれば、介在する要素が存在することもある。これに対して、ある要素が別の要素に「直接応答する」または「直接接続される」と述べられるときには、介在する要素は存在しない。本明細書で使用する「および/または」という用語は、関連する列挙した品目のうちの1つまたは複数の任意の全ての組合せを含み、「/」と略記されることもある。
【0044】
本明細書では、第1、第2などの用語を使用して様々な要素について述べているが、これらの要素は、これらの用語によって限定されないことは理解されるであろう。これらの用語は、単に1つの要素を別の要素と区別するために使用しているものである。例えば、第1の要素は、第2の要素と称してもよく、同様に、第2の要素を第1の要素と称しても、本開示の教示から逸脱することはない。
【0045】
図面の一部は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、図示した矢印とは反対の方向に起こることもあることを理解されたい。
【0046】
いくつかの実施形態は、各ブロックが回路要素、モジュール、あるいは1つまたは複数の特定の論理機能を実施するための1つまたは複数の実行可能な命令を含むコードの一部分を表す、ブロック図および動作流れ図に関連して説明する。また、実施態様が異なれば、ブロック中に記された1つまたは複数の機能が、記された以外の順序で起こることもあることに留意されたい。例えば、連続して示される2つのブロックが、関連する機能に応じて、実際には実質的に同時に実行されることもあり、あるいは、それらのブロックが逆の順序で実行されることもある。
【0047】
本明細書で「一実施形態」または「実施形態」と述べている場合、それは、その実施形態に関連して述べられる特定の機能、構造、または特徴が、本開示の少なくとも1つの実施態様に含まれる可能性があるという意味である。本明細書の様々な箇所で「一実施形態では」または「実施形態によれば」という文言が見られるが、それら全てが必ずしも同じ実施形態を指しているわけではなく、また、別個のまたは代替の実施形態は、必ずしも相互に他の実施形態を排除するわけではない。
【0048】
特許請求の範囲に見られる参照番号は、例示のみを目的としたものであり、特許請求の範囲を限定する効果を有するものではない。
【0049】
明示的には述べていないが、本開示の実施形態および変形例は、任意の組合せまたは部分的組合せで利用することができる。
【0050】
実施形態では、ファクタ(すなわち実数値)は、変調値Baによって決まる。変調(またはバックライト)値は、通常はHDRピクチャに関連し、HDRピクチャの明るさを表す。ここで、(変調)バックライトという用語は、例えばLCDパネルなどのカラー・パネルと、例えばLEDアレイなどの後方照明装置とで構成されたTVセットの類推で使用したものである。通常は白色光を生成する後方装置は、カラー・パネルを照明してTVにさらなる明るさを提供するために使用される。その結果として、TVの輝度は、後方照明器の輝度とカラー・パネルの輝度の積となる。この後方照明器は、しばしば「変調」または「バックライト」と呼ばれ、その強度は全体のシーンの明るさをある程度表している。
【0051】
本開示は、カラー・ピクチャの符号化/復号について説明するが、ピクチャのシーケンス(ビデオ)の符号化/復号にも拡張される。これは、そのシーケンスの各カラー・ピクチャが、以下で述べるように連続して符号化/復号されるからである。
【0052】
以下では、カラー・ピクチャIは、カラー・ピクチャIの画素値が表される3つのカラー成分Ec(c=1、2、または3)を有するものとみなす。
【0053】
本開示は、3つの成分Ecが表されるいかなる色空間にも限定されず、RGB、CIELUV、XYZ、CIELabなど、任意の色空間に拡張される。
【0054】
図2は、本開示の実施形態によるカラー・ピクチャIを符号化する方法のステップを示す概略図である。
【0055】
ステップ11で、モジュールCは、符号化対象のカラー・ピクチャIから輝度成分Lと2つのクロミナンス成分C1およびC2を得る。例えば、これらの成分(L,C1,C2)は、カラー・ピクチャIにOETFを適用した後に得られるYUV色空間に属することがあり、カラー成分Ecは、線形のRGBまたはXYZ色空間の何れかに属することがある。
【0056】
ステップ12で、モジュールGMは、輝度LおよびクロミナンスC1およびC2の成分を、最終輝度成分(L”)および最終クロミナンス成分(C”1,C”2)から得られる色の色域G2が符号化対象のカラー・ピクチャIの色の色域G1上にマッピングされるように、最終輝度成分L”および2つの最終クロミナンス成分C”1,C”2にマッピングする。
【0057】
図3は、このような色域マッピングを示している。破線内に、成分Lおよび2つのクロミナンス成分C1およびC2から得られる色の色域(R,G,B,W)が表され、実線内に、符号化対象のピクチャIの色の色域(R’,G’,B’,W’)が表されている。
【0058】
色域(R,G,B,W)を色域(R’,G’,B’,W’)にマッピングするということは、原色R,G,Bを原色R’,G’,B’にそれぞれマッピングし、白色点Wを白色点W’にマッピングすることを意味する。このマッピングの目的は、L”成分、C”1成分、C”2成分から得られる知覚される色が、(L,C1,C2)よりも良好にカラー・ピクチャIの色と一致するように、(L,C1,C2)を(L”,C”,C”2)に変換することである。
【0059】
ステップ13で、符号化器ENCは、最終輝度L”成分および2つの最終クロミナンス成分C”1,C”2を符号化する。
【0060】
実施形態によれば、符号化された成分L”およびクロミナンス成分C”1,C”2は、ローカルまたは遠隔のメモリに記憶され、且つ/あるいはビットストリームFに追加される。
【0061】
図4に示すステップ12の実施形態によれば、2つの最終クロミナンス成分C”1,C”2は、2つのクロミナンス成分C1,C2のそれぞれを、輝度成分Lの各画素iの値によって決まるファクタβ-1(L(i))によってスケーリングする(ステップ121)ことによって得られ、モジュールLCC(ステップ122)は、以下のように、輝度成分Lと2つの最終クロミナンス成分C”1,C”2とを線形結合することによって最終輝度成分L”を得る。
【数2】
ここで、mおよびnは、最高の輝度ピークを補正することによって色飽和を回避する係数(実数値)である。
【0062】
変形例によれば、ファクタβ-1(L(i))は、さらに変調値Baによって決まる。
【0063】
実施形態によれば、係数mおよびnは、ローカルまたは遠隔のメモリに記憶され、且つ/あるいは
図4に示すようにビットストリームBFに追加される。
【0064】
(数式Aの)モジュールLCCの変形例によれば、最終輝度成分L”の値は、以下のように、常に輝度成分Lの値より小さい。
L”=L-max(0,mC”1+nC”2)
【0065】
これにより、最終輝度成分L”の値が輝度成分Lの値を超えないことが保証され、従って、色飽和が起きないことが保証される。
【0066】
実施形態によれば、ファクタβ-1(L(i))は、特定の輝度値L(i)についての、また任意選択でさらに特定の変調値Baについてのルックアップ・テーブル(LUT)から得られる。従って、例えば1000nit、1500nit、および4000nitなどの複数の輝度ピーク値について、特定のファクタβ-1(L(i))が、各特定の変調値BaについてのLUTに記憶される。
【0067】
変形例によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、輝度成分Lの画素の値について、ファクタβ-1(L(i))を得る。
【0068】
変形例によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、輝度成分Lの画素の値について、特定の変調値Baについてのファクタβ-1(L(i))を得る。
【0069】
実施形態によれば、方程式(A)におけるファクタβ-1(L(i))ならびに係数mおよびnは、以下のように得られる。
【0070】
最終輝度成分(L”)およびクロミナンス成分(C”1,C”2)から得られる色の色域G2の、(成分L,C1,C2から得られる)カラー・ピクチャIの色の色域G1へのマッピングは、以下で与えられる。
【数3】
ここで、Φ
Ba(Y)は、カラー・ピクチャIの線形輝度Yに依存するマッピング関数である。通常は、線形輝度Yは、カラー・ピクチャIの成分Ecの線形結合として得られる。輝度成分Lは、線形輝度Yおよびバックライト値Baと明快に関係しており、
Φ
Ba(Y)=Φ
Ba(f(Ba,Y))=Φ
Ba(L)
と書くことができるようになっており、マッピング関数は、輝度成分Lの関数と見られる。
【0071】
次に、変調値Baおよび特定の線形輝度レベルY
0を固定する。色成分Ecは、線形RGB色空間で表されるものと仮定する。色域G2の関連する3原色
、
、
は、
【数4】
で与えられる。ここで、A1は、線形RGBから線形輝度Yを規定する行ベクトルである、すなわち、
【数5】
である。
【0072】
Sが、以下のように、これら3原色の、モジュールCの適用(ステップ11)に対応する画像μ(.)で構成された3×3行列を表すものとする。
【数6】
マッピング関数Φ
Ba(L)の目的は、
を色域G2の3原色に逆にマッピングすることである。換言すれば、行列
は、以下の形態でなければならない。
【数7】
ここで、r、g、bは、未知のパラメータであり、Aは、非線形色空間R’G’B’をLC1C2の色空間に変換する3×3行列である。全てを勘案すると、以下が得られる。
【数8】
【0073】
また、LC1C2の色空間内の座標が[1 0 0]である白色点の保存により、以下のように別の条件が得られる。
【数9】
ここで、ηは、別の未知のパラメータである。その結果として、行列Dは、以下のように一意的に決定される。
【数10】
ここで、除算は、A
-1の第1列の
の第1列による係数除算として理解される。その結果として、このマッピング行列は、スケーリングファクタηまで決定される。
【0074】
復号側で必要とされるマッピング関数ΦBa(L)の逆数は、Lの陰的非線形問題を解く必要があるので、容易には得られない。これは、逆行列ΦBa
-1(L)は輝度成分Lの関数として容易に得られるが、それに対応するΦBa
-1(L”)は最終輝度成分L”の関数として容易に得られないからである。発明者等は、単純な逆数ΦBa
-1(L”)を得るためにΦBa(L)の定式化をさらに容易にすることができることを示す。
【0075】
実際には、マッピング関数は、以下のように表現することができる。
【数11】
ここで、mおよびnは、輝度レベルY
0によって決まる係数(実数値)である。マッピング関数Φ
Ba(L)の逆数
は、以下で与えられる。
【数12】
ここで、第1列は、以下で与えられる。
【数13】
いくつかの代数処理を経て、方程式(F)が
【数14】
となり、これより、マッピング関数
【数15】
が得られることが分かる。ここで、mおよびnは、変調値Baおよび輝度成分Lに依存しない実数値(係数)であり、β=β(Ba、L(i))であり、以下の固定行列が定義されている。
【数16】
【0076】
方程式(B)および(G)は、このマッピング関数が2つの効果を有することを示している。第1に、輝度成分Lのダイナミックが、スケーリングファクタηでスケーリングされることと、第2に、クロミナンス成分C1およびC2も、スケーリングファクタηβ-1でスケーリングされることである。
【0077】
LとL”の間の大域輝度マッピングを保存するために、パラメータηは、1に設定する。方程式(G)は、以下のようになる。
【数17】
ここで、βは、変調値Baおよび輝度成分によって決まる。この数式を判定すると、以下の逆マッピング関数が得られる。
【数18】
【0078】
ここで、輝度成分Lは、行列
を適用することによって、L”、C”1、C”2から得られ、次いで、Lが既知であることから、ファクタβ(Ba,L(i))を決定して、最終クロミナンス成分C”1,C”2に適用して、クロミナンス成分C1,C2を得る。
【0079】
次いで、方程式(H)によって、マッピング関数ΦBa(L)が与えられる。ここで、カラー画像Iの輝度ピークPまでの全ての輝度レベルについて定数行列Φ0を使用し、βは、輝度ピークPまでの全範囲の輝度について規定されている。
【0080】
方程式(H)を方程式(B)に含めると、方程式(A)が得られる。
【0081】
別の実施形態によれば、ファクタβ-1(Ba,L(i),m,n)は、上記の実施形態で説明したように与えられる係数mおよびnによっても決まると考えられる。
【0082】
従って、ファクタβ-1は、ステップ12の単一の未知の値である。
【0083】
ファクタβ-1は、色域G1とG2の間で計算される色域歪みが最小限に抑えられるように得る。換言すれば、ファクタβ-1は、色域保存の条件下の最適のファクタである。
【0084】
数学的には、ファクタβ
-1は、以下で得られる。
【数19】
ここで、Y
0は、そこから輝度値L
0を推定する所与の輝度値であり、Ba0は、与えられる所与の変調値であり、色域歪みGD(β
test
-1)は、以下で与えられる。
【数20】
ここで、色域歪みは、色域G1の要素(xj,yj)と色域G2の関連する要素(x’j,y’j)の間の二乗誤差の和で定義される。
【0085】
輝度値Y0を固定する。この集合の各要素の対応するXYZ値は、
Xj=Y0xj/yj、Yj=Y0、およびZj=Y0(1-xj-yj)/yj
によって得られ、次いで、対応する色値Ecj(c=1、2、または3)が得られる。変調値Ba0と、ステップ121でβ-1(Ba0,L0,m,n)に使用される試験ファクタβtest
-1とを固定して課す。
【0086】
ステップ11および12で構成されるコード化チェーンを色成分に適用することによって、最終値L”j、C”1jおよびC”2jを得る。これらの最終値から、CIE1931図中の関連する要素(x’j,y’j)の関連する色域セットを推定する。
【0087】
図15は、色域のCIE1931図中の要素(xj,yj)のセットの例を示す図である。なお、各要素(xj,yj)のXYZ座標は、
X
j=Y
0x
j/y
j、Y
j=Y
0、およびZ
j=Y
0(1-x
j-y
j)/y
j
で与えられることに留意されたい。
【0088】
変調値Ba0および輝度成分L0を変化させ、関連する色域歪みGD(.)を最小限に抑えることにより、固定係数mおよびnについての、変調値Ba0および輝度成分L0によって決まる全てのファクタβ-1(Ba0,L0,m,n)が得られる。
【0089】
図5に示すステップ11の実施形態によれば、ステップ110で、モジュールICは、以下のように3つの成分Ecを線形結合することによって、カラー・ピクチャIの輝度を表す成分Yを得る。
【数21】
ここで、A1は、(E1,E2,E3)色空間から色空間(Y,C1,C2)への色空間変換を定義する3×3行列Aの第1行である。
【0090】
ステップ130で、モジュールFMは、以下のように、非線形関数fを成分Yに適用することによって、輝度成分Lを得る。
L=f(Ba,Y) (1)
ここで、Baは、モジュールBaM(ステップ120)によって成分Yから得られる変調値である。
【0091】
成分Yに非線形関数fを適用することにより、そのダイナミック・レンジが低下する。換言すれば、輝度成分Lのダイナミックは、成分Yのダイナミックと比較して低下する。
【0092】
基本的には、成分Lの輝度値が10ビットを使用して表されるように、成分Yのダイナミック・レンジを低下させる。
【0093】
実施形態によれば、以下のように、成分Yを変調値Baで割った後に、非線形関数fを適用する。
L=f(Y/Ba) (2)
【0094】
実施形態によれば、非線形関数fは、以下のようにガンマ関数である。
【数22】
ここで、Y1は、方程式(1)または(2)の実施形態に応じてYまたはY/Baの何れかと等しく、Bは定数値であり、γは、パラメータ(厳密に1未満の実数値)である。
【0095】
実施形態によれば、非線形関数fは、以下のようにS-Log関数である。
L=a.ln(Y1+b)+c
ここで、a、b、およびcは、f(0)およびf(1)が不変量となるように決定されたSLog曲線のパラメータ(実数値)であり、SLog曲線の導関数は、1未満でガンマ曲線によって延長されたときに1で連続的である。従って、a、b、およびcは、パラメータγの関数である。
【0096】
【0097】
有利な実施形態では、1/2.5に近いγの値が、HDR圧縮性能、および得られるSDRルマの良好な視認性の点で効率的である。従って、この3つのパラメータは、a=0.44955114、b=0.12123691、c=0.94855684の値をとると有利であることがある。
【0098】
実施形態によれば、非線形関数fは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかである。
【0099】
成分Yにガンマ補正を適用して、暗領域を引き上げるが、明るい画素の焼き込みを回避するのに十分なハイライトを低下させることはない。
【0100】
次いで、実施形態によれば、モジュールFMは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかを適用する。情報データinfは、ガンマ補正またはSLog補正の何れが適用されるかを示すことができる。
【0101】
例えば、成分Yの画素値がしきい値(1に等しい)未満であるときには、ガンマ補正が適用され、そうでないときには、SLog補正が適用される。
【0102】
ステップ120の実施形態によれば、変調値Baは、成分Yの画素値の平均値、中央値、最小値、または最大値である。これらの演算は、線形HDR輝度領域Ylinで、あるいはln(Y)またはYγ(γ<1)などの非線形領域で実行することができる。
【0103】
実施形態によれば、この方法を使用して、ピクチャのシーケンスに属するいくつかのカラー・ピクチャを符号化するときには、各カラー・ピクチャについて、グループ・オブ・ピクチャ(GOP)について、あるいはこれらに限定されるわけではないが、スライスまたはHEVCで定義される転送単位などのカラー・ピクチャの一部について、変調値Baを決定する。
【0104】
実施形態によれば、値Ba、および/または非線形関数fのパラメータ(a、b、c、もしくはγなど)、および/または情報データinfは、ローカルまたは遠隔のメモリに記憶され、且つ/あるいは
図2および
図5に示すようにビットストリームBFに追加される。
【0105】
ステップ140で、モジュールCCは、カラー・ピクチャIから少なくとも1つの色成分Ec(c=1、2、3)を得る。色成分Ecは、ローカルまたは遠隔のメモリから直接得ることもあれば、あるいはカラー・ピクチャIに色変換を適用することによって得ることもある。
【0106】
ステップ150で、以下のように各色成分Ecを輝度成分Lによって決まるファクタr(L)によってスケーリングすることによって、中間色成分E’c(c=1、2、または3)を得る。
【数23】
ここで、r(L(i))は、モジュールRM(ステップ160)によって決定される、成分Lの画素iの値によって決まるファクタ(実数値)であり、E’c(i)は、中間色成分E’cの画素iの値であり、Ec(i)は、色成分Ecの画素iの値である。
【0107】
ファクタによるスケーリングとは、そのファクタを掛ける、またはそのファクタの逆数で割ることを意味する。
【0108】
各色成分Ecを輝度成分Lによって決まるファクタr(L)でスケーリングすることにより、カラー・ピクチャIの色の色相が保存される。
【0109】
ステップ160の実施形態によれば、ファクタr(L)は、以下のように、成分Yに対する輝度成分Lの比である。
【数24】
ここで、Y(i)は、成分Yの画素iの値である。実際には、成分Yの画素の値Y(i)は、輝度成分Lの画素の値L(i)に明瞭に依存して、その比をL(i)のみの関数として書くことができるようになっている。
【0110】
この実施形態は、各色成分Ecをさらに成分Yにも依存するファクタr(L)でスケーリングすることによって、カラー・ピクチャIの色の色相が保存され、それにより復号されたカラー・ピクチャの視覚的品質が改善されるので有利である。
【0111】
さらに厳密には、測色法および色彩理論では、彩度(colorfulness)、クロマ(chroma)、および飽和度(satuation)は、特定の色の知覚強度を指す。彩度は、或る色とグレーとの間の差の程度である。クロマは、同様の視認条件下で白く見える別の色の明るさに対する彩度である。飽和度は、自己の輝度に対する或る色の彩度である。
【0112】
非常に彩度の高い刺激は鮮やかで強いが、それほど彩度の高くない刺激は、よりぼけて見え、よりグレーに近く見える。彩度が全くないと、色は「ニュートラル」グレーである(何れの色でも彩度がないピクチャは、グレースケールと呼ばれる)。任意の色は、その彩度(またはクロマもしくは飽和度)、明度(または明るさ)、および色相によって記述することができる。
【0113】
色の色相および飽和度の定義は、その色を表すために使用される色空間に依存する。
【0114】
例えば、CIELUV色空間を使用するときには、飽和度S
uvは、以下のようにクロマ
と輝度L
*の間の比として定義される。
【数25】
【0115】
【0116】
別の例によれば、CIELAB色空間を使用するときには、飽和度は、以下のように輝度に対するクロマの比として定義される。
【数27】
【0117】
【0118】
これらの方程式は、飽和度の人間の知覚と一致する飽和度および色相の妥当な予測子であり、角度a*/b*(またはu*/v*)を固定して保持しながらCIELAB(またはCIELUV)色空間内で明るさを調節すると、色相が影響を受け、従って同色の知覚が影響を受けることを実証している。ステップ150で、色成分Ecを同じファクタでスケーリングして、この角度を保存し、従って色相を保存する。
【0119】
ここで、カラー・ピクチャIがCIELUV色空間内に表され、ピクチャI2が、カラー・ピクチャIの輝度のダイナミック・レンジと比較して低下した(ステップ130)ダイナミック・レンジを有する輝度成分Lと、CIELUV色空間の2つのクロミナンス成分U(=C1)およびV(=C2)とを結合することによって形成されるものと考える。従って、ピクチャI2の色は、それらの色の飽和度および色相が変化したために、人の目に違う色として知覚される。この方法(ステップ150)は、ピクチャI2の色の色相がカラー・ピクチャIの色の色相と最もよく一致するように、ピクチャI2のクロミナンス成分C1およびC2を決定する。
【0120】
ステップ160の実施形態によれば、ファクタr(L)は、以下で与えられる。
【数29】
【0121】
この最後の実施形態は、このファクタが非常に暗い画素でゼロになることを防止する、すなわちその比を画素値に関わらず反転可能になるようにすることができるので、有利である。
【0122】
ステップ170で、上記の少なくとも1つの中間色成分E’cから、2つのクロミナンス成分C1,C2を得る。
【0123】
図6に示すステップ170の実施形態によれば、以下のようにOETFを各中間色成分(E’c)に適用する(ステップ171)によって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。
【数30】
例えば、OETFは、ITU-R勧告BT.709またはBT.2020によって規定され、以下のように表される。
【数31】
【0124】
この実施形態により、個々のOETFに応じてダイナミック・レンジを低下させることが可能になるが、以下で述べるように複雑な復号プロセスとなる。
【0125】
図7に示すこの実施形態の変形例によれば、OETFを平方根で近似する、すなわち、以下のように各中間色成分(E’c)の平方根をとる(ステップ171)ことによって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。
【数32】
【0126】
この実施形態は、ITU-R勧告BT.709またはBT.2020によって規定されるOETFの良好な近似を提供し、複雑さの低いデコーダが得られるので、有利である。
【0127】
この実施形態の別の変形例によれば、OETFを立方根で近似する、すなわち、以下のように各中間色成分(E’c)の立方根をとる(ステップ171)ことによって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。
【数33】
【0128】
この実施形態は、ITU-R勧告BT.709またはBT.2020によって規定されるOETFの良好な近似を提供するので有利であるが、OETFを平方根で近似したときに得られるデコーダよりは多少複雑なデコーダとなる。
【0129】
ステップ172で、モジュールLC1は、以下のように3つの中間成分Dcを線形結合することによって、2つのクロミナンス成分C1およびC2を得る。
【数34】
ここで、A2およびA3は、3×3行列Aの第2行および第3行である。
【0130】
図8は、本開示の実施形態による少なくとも1つのビットストリームからカラー・ピクチャを復号する方法のステップを示す概略図である。
【0131】
ステップ21で、デコーダDECは、ローカルまたは遠隔のメモリから、あるいはビットストリームFを少なくとも部分的に復号することによって、輝度成分L”および2つのクロミナンス成分C”1,C”2を得る。
【0132】
ステップ22で、モジュールIGMは、上記の輝度成分L”およびクロミナンス成分C”1,C”2から得られる色に逆マッピングを適用することによって、上記の輝度成分L”およびクロミナンス成分C”1,C”2から最終輝度成分Lおよび2つの最終クロミナンス成分C1,C2を得る。
【0133】
ステップ23で、モジュールINVCは、上記の最終輝度成分Lおよび上記の2つの最終クロミナンス成分C1、C2から、復号対象のカラー・ピクチャの少なくとも1つの色成分Ecを得る。復号されたピクチャは、上記の少なくとも1つの色成分Ecを結合することによって得られる。
【0134】
図9に示すステップ22の実施形態によれば、モジュールILCCは、輝度成分L”と2つのクロミナンス成分C”1,C”2とを線形結合することによって最終輝度成分Lを得(ステップ222)、2つの最終クロミナンス成分C1、C2は、2つのクロミナンス成分C”1,C”2のそれぞれを、最終輝度成分Lの各画素iの値によって決まるファクタβ(L(i))でスケーリングする(ステップ221)ことによって得られる。以下の通りである。
【数35】
ここで、mおよびnは、係数(実数値)である。係数mおよびnは、方程式(G)中の行列Φ
Ba(L)の因数分解によって得られる係数とすることができる、すなわち、mおよびnは、Φ
0で得られる係数である。その結果として、これらの係数は、カラー・ピクチャIの色域(例えばBT.709またはBT.2020の色域)によって決まる。mおよびnの代表的な値は、間隔[0.1,0.5]でm≒nである。
【0135】
変形例によれば、このファクタは、さらに変調値Baによって決まる。
【0136】
方程式(J)は、輝度成分L”およびクロミナンス成分C”1,C”2から得られる色に適用される逆マッピングであると考えられる。方程式(J)は、色マッピングであると考えられる方程式(A)から直接得られる。
【0137】
モジュールILCCの変形例によれば、以下のように、最終輝度成分Lの値は、常に輝度成分L”の値より大きい。
L=L”+max(0,mC”1+nC”2)
【0138】
この実施形態は、最終輝度成分Lがデコーダが輝度ピークを規定するために通常使用する潜在的クリッピング値を超えないことを保証するので、有利である。デコーダが輝度ピークを必要とするとき、および方程式(J)によって最終輝度成分Lが与えられるときには、最終輝度成分Lがクリッピングされて、ある程度のアーチファクトが生じる。
【0139】
実施形態によれば、変調値Baならびに/または係数mおよびnは、ルックアップ・テーブルなどの遠隔またはローカルなメモリから、あるいは
図9に示すようにビットストリームBFから得られる。
【0140】
実施形態によれば、ファクタβ-1(L(i))は、最終輝度成分Lの特定の値L(i)についての、また任意選択でさらに特定の変調値Baについてのルックアップ・テーブル(LUT)から得られる。従って、例えば1000nit、1500nit、および4000nitなどの複数の輝度ピーク値について、特定のファクタβ-1(L(i))が、各特定の変調値BaについてのLUTに記憶される。
【0141】
変形例によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、最終輝度成分Lの画素の値について、特定の変調値Baについてのファクタβ-1(L(i))を得る。
【0142】
図10に示すステップ23の実施形態によれば、ステップ220で、モジュールIFMは、以下のように、第1の成分Yのダイナミックが最終輝度成分Lのダイナミックと比較して大きくなるように最終輝度成分Lに非線形関数f
-1を適用することによって、第1の成分Yを得る。
Y=f
-1(Ba,L) (A3)
【0143】
この非線形関数f-1は、非線形関数f(ステップ130)の逆関数である。
【0144】
従って、関数f-1の実施形態は、関数fの実施形態に従って規定される。
【0145】
実施形態によれば、非線形関数f
-1のパラメータ(a、b、c、もしくはγなど)および/または情報データinfは、ローカルまたは遠隔のメモリ(例えばルックアップ・テーブル)から、且つ/あるいは
図10に示すようにビットストリームBFから得られる。
【0146】
実施形態によれば、以下のように、輝度成分Lに、非線形関数f-1を適用した後で変調値Baを乗算する。
Y=Ba*f-1(L) (A4)
【0147】
実施形態によれば、非線形関数f-1は、ガンマ関数の逆関数である。
【0148】
この場合、成分Yは、以下で与えられる。
【数36】
ここで、Y
1は、方程式(A3)または(A4)の実施形態に応じてYまたはY/Baと等しく、Bは定数値であり、γは、パラメータ(厳密に1未満の実数値)である。
【0149】
実施形態によれば、非線形関数f
-1は、S-Log関数の逆関数である。この場合、成分Y
1は、以下で与えられる。
【数37】
【0150】
実施形態によれば、非線形関数fは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかの逆関数である。これは、情報データinfによって示される。
【0151】
ステップ230で、モジュールILCは、第1の成分Y、2つの最終クロミナンス成分C1,C2、および最終輝度成分Lによって決まるファクタr(L)から、少なくとも1つの色成分Ecを得る。次いで、上記の少なくとも1つの色成分Ecを結合することによって、復号されたカラー・ピクチャが得られる。
【0152】
一般的なOETFを各中間色成分E’cに適用する(
図6のステップ171)と、以下のように、中間成分Dcは、成分Y、2つの最終クロミナンス成分C1,C2、およびファクタr(L)に関係する。
【数38】
且つ
【数39】
ここで、EOTF(電気光学伝達関数)は、ステップ171で適用するOETFの逆関数である。
【0153】
方程式(A5b)より、以下が得られる。
【数40】
ここで、OETF(Ec)=Dcであり、
は、行列Aに依存する定数であり、Liは、やはり行列Aに依存する線形関数である。この場合、方程式A5aは、
r(L)*Y=A
11EOTF(D
1)+A
12EOTF(D
2)+A
13EOTF(D
3) (A7)
となり、さらに、
【数41】
となる。
【0154】
方程式(A8)は、D1のみについての陰方程式である。EOTFの表現によるが、方程式(A8)は、ある程度簡単に解くことができる。解けばD1が得られ、方程式(A6)によりD1からD2、D3が推定される。次いで、この3つの得られた中間成分DcにEOTFを適用することにより、中間色成分E’cを得る。すなわち、E’c=EOTF(Dc)である。
【0155】
この一般的な場合には、すなわち一般的なOETF(いかなる特定の性質も有していない)を各中間色成分(E’c)に適用するときには、方程式(8)の解析的解は存在しない。例えば、OETFがITU-R BT.709/2020のOETFであるときには、方程式(A8)は、いわゆるニュートン法またはその他の任意の数値法を使用して正則関数の根を求めることによって、数値的に解くことができる。ただし、これにより非常に複雑なデコーダとなる。
【0156】
この一般的な場合には、
図11aに示すステップ230の第1の実施形態によれば、ステップ231で、モジュールILECは、上記で説明したように、第1の成分Y、2つの最終クロミナンス成分C1,C2、およびファクタr(L)から3つの中間色成分E’cを得る。ステップ232で、以下のように各中間色成分E’cをファクタr(L)でスケーリングすることによって、3つの色成分Ecを得る。
Ec(i)=E’c(i)/r(L(i))
ここで、r(L(i))は、最終輝度成分Lの画素iの値に依存するステップ160で与えられるファクタであり、E’c(i)は、中間色成分E’cの画素iの値であり、Ec(i)は、色成分Ecの画素iの値である。
【0157】
実際には、ステップ232の前にステップ231を行うこの順序は、符号化方法のステップ150の後にステップ170を行う順序を逆にしたものである。
【0158】
この第1の実施形態の変形例によれば、OETFは平方根関数であり、EOTFは2次関数である。
【0159】
この第1の実施形態の別の変形例によれば、OETFは立方根関数であり、EOTFは、3次関数である。
【0160】
ステップ171で使用するOETFが交換条件を満たす、すなわち
OETF(x*y)=OETF(x)*OETF(y)
であるときには、成分Yおよび色成分Ecは、以下のような関係になる。
【数42】
ここで、Fcは、OETF(Ec)に等しい成分であり、
【数43】
であり、交換条件が、
【数44】
を与えるようになっている。
【0161】
方程式(10)は、
【数45】
を与え、ここで、
は、行列Aに依存する定数であり、Liは、やはり行列Aに依存する線形関数である。
【0162】
この場合、方程式(A9)は、
Y=A
11EOTF(F
1)+A
12EOTF(F
2)+A
13EOTF(F
3) (A11)
となり、さらに、
【数46】
となる。
【0163】
OETFが交換条件を満たすときには、
図11bに示すステップ230の第2の実施形態によれば、ステップ232で、以下のように2つの最終クロミナンス成分C1およびC2をファクタOETF(r(L(i)))でスケーリングすることによって、2つの中間成分C’1およびC’2を得る。ここで、OETFは、
図6のステップ171で使用した関数である。
【数47】
ここで、r(L(i))は、最終輝度成分Lの画素iの値に依存するステップ160で与えられるファクタであり、C’1(i),C’2(i)は、それぞれ成分C’1およびC’2の画素iの値であり、C1(i),C2(i)は、それぞれ2つの最終クロミナンス成分C1およびC2の画素iの値である。
【0164】
ステップ231で、モジュールILECは、上記で説明したように、第1の成分Yおよび2つの中間クロミナンス成分C’1,C’2から3つの色成分Ecを得る。
【0165】
この第2の実施形態の変形例によれば、OETFは平方根関数であり、EOTFは2次関数である。次いで、
図11bのステップ232で、以下のように2つの最終クロミナンス成分C1およびC2をファクタ
【数48】
でスケーリングすることによって、2つの中間成分C’1およびC’2を得る。
【数49】
【0166】
方程式(9)は、
【数50】
および
【数51】
となり、交換により、
【数52】
が得られるようになっている。
【0167】
方程式(11)は、
【数53】
および
【数54】
となる。
【0168】
方程式(A14)は、解析的に解くことができる2次方程式である。この解析的解から、
図12に示すようにステップ231の特定の実施形態が得られる。この実施形態は、EOTF(OETFの逆関数)の解析的表現を可能にし、それによりピクチャの復号された成分の解析的表現を可能にするので、有利である。さらに、この場合には、EOTFは、復号側における複雑さの低いプロセスである2次関数である。ステップ2310で、モジュールSMは、以下のように2つの中間クロミナンス成分C’1,C’2と第1の成分Yとを結合することによって、第2の成分Sを得る。
【数55】
ここで、k
0、k
1、およびk
2は、パラメータ値であり、C’c
2は、成分C’c(c=1または2)の二乗を意味する。
【0169】
ステップ2311で、モジュールLC2は、以下のように、中間クロミナンス成分C’1、C’2と第2の成分Sとを線形結合することによって、3つのソルバ(solver)成分Fcを得る。
【数56】
ここで、Cは、行列Aの逆行列として定義される3×3行列である。
【0170】
ステップ2312で、以下のように、各中間色成分(Dc)の二乗をとることによって、3つの色成分Ecを得る。
【数57】
【0171】
行列Aは、符号化対象のピクチャの画素値が表現されている色空間(E1,E2,E3)から色空間(Y,C1,C2)への符号化対象のピクチャIの変換を決定する。
【0172】
このような行列は、符号化対象のカラー・ピクチャの色域に依存する。
【0173】
例えば、符号化対象のピクチャがITU-R勧告709に規定されるBT709色域に表されるときには、行列Aは、
【数58】
で与えられ、行列Cは、
【数59】
で与えられる。
【0174】
この第2の実施形態の変形例によれば、OETFは立方根関数であり、EOTFは3次関数である。この場合、
図11bのステップ232で、以下のように、2つの最終クロミナンス成分C1およびC2をファクタ
【数60】
でスケーリングすることによって、2つの中間成分C’1およびC’2を得ることができる。
【数61】
【0175】
この場合、EOTFは、3次関数であり、従って、F1についての方程式(14)は、いわゆるカルダノ法で解析的に解くことができるより複雑な3次方程式となる。
【0176】
4次方程式についても非常に複雑な解析的解が存在する(フェラーリの方法)が、アーベル・ルフィニの定理によって述べられるように5次以上については解は存在しない。
【0177】
デコーダDECは、符号化器ENCによって符号化されているデータを復号するように構成される。
【0178】
符号化器ENC(およびデコーダDEC)は、特定の符号化器(デコーダ)に限定されず、エントロピ符号化器(デコーダ)が必要であるときには、ハフマン・コーダ、算術コーダ、あるいはH.264/AVCまたはHEVCで使用されるCabacなどのコンテキスト適合型コーダなどのエントロピ符号化器が有利である。
【0179】
符号化器ENC(およびデコーダDEC)は、例えばJPEG、JPEG2000、MPEG2、H.264/AVC、またはHEVCなど損失のあるフレーム/ビデオ・レガシー・コーダであることがある特定の符号化器に限定されない。
【0180】
図1から
図12では、モジュールは、区別することができる物理的ユニットに関係することも関係しないこともある機能ユニットである。例えば、これらのモジュールまたはそのうちのいくつかを、1つの構成要素または回路にまとめることもできるし、あるいはこれらのモジュールまたはそのうちのいくつかが、ソフトウェアの機能の一助となることもできる。一方、いくつかのモジュールは、潜在的に別個の物理的エンティティで構成されることもある。本開示に適合した装置は、例えばASIC(特定用途向け集積回路)またはFPGA(フィールド・プログラマブル・ゲート・アレイ)またはVLSI(超大規模集積回路)などの専用ハードウェアを使用するなど、ハードウェアのみを使用して、あるいはデバイスに埋め込まれたいくつかの集積電子構成要素から、あるいはハードウェア構成要素とソフトウェア構成要素の混成から、実装される。
【0181】
図13は、
図1から
図12に関連して説明した方法を実施するように構成することができるデバイス1300の例示的なアーキテクチャを示す図である。
【0182】
デバイス1300は、データおよびアドレス・バス1301によってリンクされた以下の要素を含む。
・例えばDSP(すなわちディジタル信号プロセッサ)であるマイクロプロセッサ1302(またはCPU)
・ROM(すなわち読取り専用メモリ)1303
・RAM(すなわちランダム・アクセス・メモリ)1304
・アプリケーションとの間のデータの伝送および/または受信のためのI/Oインタフェース1305
・バッテリ1306
【0183】
変形例によれば、バッテリ1306は、デバイスの外付けである。
図13のこれらの要素はそれぞれ、当業者には周知であり、これ以上は開示しない。上記のメモリのそれぞれにおいて、本明細書で使用する「レジスタ」という言葉は、小容量(数ビット)の領域に対応することも、非常に大きな領域(例えばプログラム全体、または大量の受信もしくは復号したデータ)に対応することもある。ROM1303は、少なくともプログラムおよびパラメータを含む。本開示による方法のアルゴリズムは、ROM1303に記憶される。CPU1302は、オンになると、プログラムをRAMにアップロードし、対応する命令を実行する。
【0184】
RAM304は、CPU1302によって実行される、デバイス1300のスイッチ・オン後にアップロードされるプログラムと、入力データと、この方法の様々な状態の中間データと、この方法の実行に使用されるその他の変数とをレジスタに含む。
【0185】
本明細書に記載する実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリーム、あるいは信号で実施することができる。単一の実施態様の形態の文脈でしか説明していない場合でも(例えば方法またはデバイスとしてしか説明していない場合でも)、その説明した特徴の実施態様を、その他の形態(例えばプログラム)で実施することもできる。装置は、例えば、適当なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラマブル論理デバイスなど、処理デバイス一般を指すものとしてのプロセッサなどの装置で実施することができる。プロセッサは、例えばコンピュータ、携帯電話、携帯情報端末(PDA)、およびエンドユーザ間での情報の通信を容易にするその他のデバイスなどの通信デバイスも含む。
【0186】
符号化または符号化器の特定の実施形態によれば、カラー・ピクチャIは、ソースから得られる。例えば、ソースは、
・例えばビデオ・メモリまたはRAM(すなわちランダム・アクセス・メモリ)、フラッシュ・メモリ、ROM(すなわち読取り専用メモリ)、ハード・ディスクなどのローカル・メモリ(1303または1304)と、
・例えば大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光ディスク、または磁気サポート(magnetic support)などの記憶インタフェースと、
・例えばワイヤライン・インタフェース(例えばバス・インタフェース、広域ネットワーク・インタフェース、ローカル・エリア・ネットワーク・インタフェース)またはワイヤレス・インタフェース(IEEE802.11インタフェースもしくはBluetooth(登録商標)インタフェースなど)などの通信インタフェース(1305)と、
・ピクチャ取り込み回路(例えばCCD(すなわち電荷結合素子)またはCMOS(すなわち相補型金属酸化物半導体)などのセンサ)と
を含むセットに属する。
【0187】
復号またはデコーダの様々な実施形態によれば、復号されたピクチャは送信先に送信される。詳細には、この送信先は、
・例えばビデオ・メモリまたはRAM(すなわちランダム・アクセス・メモリ)、フラッシュ・メモリ、ROM(すなわち読取り専用メモリ)、ハード・ディスクなどのローカル・メモリ(1303または1304)と、
・例えば大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光ディスク、または磁気サポートなどの記憶インタフェースと、
・例えばワイヤライン・インタフェース(例えばバス・インタフェース、広域ネットワーク・インタフェース、ローカル・エリア・ネットワーク・インタフェース)またはワイヤレス・インタフェース(IEEE802.11インタフェースもしくはBluetooth(登録商標)インタフェースなど)などの通信インタフェース(1305)と、
・ディスプレイと
を含むセットに属する。
【0188】
符号化または符号化器の様々な実施形態によれば、ビットストリームBFおよび/またはFは、宛先に送信される。一例としては、ビットストリームFおよびBFの一方または両方が、例えばビデオ・メモリ(1304)またはRAM(1304)、ハード・ディスク(1303)などのローカルまたは遠隔のメモリに記憶される。変形例では、一方または両方のビットストリームが、例えば大容量記憶装置を備えたインタフェース、フラッシュ・メモリ、ROM、光ディスク、または磁気サポートなどの記憶インタフェースに送信され、且つ/あるいは、例えばポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク、または同報通信ネットワークとのインタフェースなどの通信インタフェース(1305)を介して伝送される。
【0189】
復号またはデコーダの様々な実施形態によれば、ビットストリームBFおよび/またはFは、ソースから得られる。例示的には、ビットストリームは、例えばビデオ・メモリ(1304)、RAM(1304)、ROM(1303)、フラッシュ・メモリ(1303)、またはハード・ディスク(1303)などのローカルなメモリから読み取られる。変形例では、ビットストリームは、例えば大容量記憶装置を備えたインタフェース、RAM、ROM、フラッシュ・メモリ、光ディスク、または磁気サポートなどの記憶インタフェースから受信され、且つ/あるいは、例えばポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク、または同報通信ネットワークとのインタフェースなどの通信インタフェース(1305)から受信される。
【0190】
様々な実施形態によれば、
図2から
図7に関連して説明した符号化方法を実施するように構成されたデバイス1300は、
・モバイル・デバイス、
・通信デバイス、
・ゲーム・デバイス、
・タブレット(すなわちタブレット・コンピュータ)、
・ラップトップ、
・静止画カメラ、
・ビデオ・カメラ、
・符号化チップ、
・静止画サーバ、および
ビデオ・サーバ(例えば放送サーバ、ビデオ・オン・デマンド・サーバ、またはウェブ・サーバ)
を含むセットに属する。
【0191】
様々な実施形態によれば、
図8から
図12に関連して説明した復号方法を実施するように構成されたデバイス1300は、
・モバイル・デバイス、
・通信デバイス、
・ゲーム・デバイス、
・セット・トップ・ボックス、
・TVセット、
・タブレット(すなわちタブレット・コンピュータ)、
・ラップトップ、
・ディスプレイ、および
・復号チップ
を含むセットに属する。
【0192】
図14に示す実施形態によれば、通信ネットワークNETを介した2つの遠隔デバイスAとBの間の伝送の状況では、デバイスAは、
図2から
図7に関連して説明したようにピクチャを符号化する方法を実施するように構成された手段を含み、デバイスBは、
図8から
図12に関連して説明したように復号する方法を実施するように構成された手段を含む。
【0193】
本開示の変形例によれば、ネットワークは、デバイスAからデバイスBを含む復号デバイスに静止画またはビデオ・ピクチャを同報通信するように適応された放送ネットワークである。
【0194】
本明細書に記載する様々なプロセスおよび特徴の実施態様は、様々な異なる機器またはアプリケーションで実施することができる。このような機器の例は、符号化器、デコーダ、デコーダからの出力を処理するポスト・プロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバ、セット・トップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、PDA、およびピクチャまたはビデオを処理するその他の任意のデバイスあるいはその他の通信デバイスを含む。この機器は、モバイルであってもよく、また移動車両に設置することもできることは明らかであろう。
【0195】
さらに、これらの方法は、プロセッサが命令を実行することによって実施することもでき、このような命令(および/または実施によって生成されるデータ値)は、コンピュータ可読記憶媒体に記憶することができる。コンピュータ可読記憶媒体は、1つまたは複数のコンピュータ可読媒体に実装される、コンピュータによって実行可能なコンピュータ可読プログラム・コードが実装されているコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、情報を記憶するための固有の容量と、そこからの情報の取出しを実現する固有の容量とが与えられた非一時的記憶媒体と考えられる。コンピュータ可読記憶媒体は、これらに限定されるわけではないが、例えば、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、あるいはそれらの任意の適当な組合せとすることができる。以下に、本原理を適用することができるコンピュータ可読記憶媒体のさらに具体的な例を与えるが、単なる例示的なリストであって排他的なリストではないことは、当業者なら理解されたい。さらに具体的な例としては、携帯型コンピュータ・ディスケット、ハード・ディスク、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはフラッシュ・メモリ)、携帯型コンパクト・ディスク読取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、またはそれらの任意の適当な組合せがある。
【0196】
命令は、プロセッサ可読媒体に有形に実装されるアプリケーション・プログラムを構成することができる。
【0197】
命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せとすることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはその両者の組合せに見ることができる。従って、プロセッサは、例えば
、プロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサ可読媒体(記憶デバイスなど)を含むデバイスの両方の特徴を有することができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実施によって生成されるデータ値を記憶することもできる。
【0198】
実施態様により、例えば記憶または伝送することができる情報を搬送するようにフォーマット化された様々な信号が生成される可能性があることは、当業者には明らかであろう。この情報は、例えば、方法を実行するための命令、または記載した実施態様のうちの1つによって生成されたデータを含む可能性がある。例えば、信号を、記載した実施形態の構文を書き込む、または読み取る規則をデータとして搬送する、あるいは記載した実施形態によって書き込まれた実際の構文値をデータとして搬送するようにフォーマット化することができる。このような信号は、例えば、電磁波(例えば無線周波スペクトル部分を使用する)またはベースバンド信号としてフォーマット化することができる。フォーマット化は、例えば、データ・ストリームを符号化すること、および搬送波を符号化データ・ストリームで変調することを含む可能性がある。信号が搬送する情報は、例えば、アナログ情報であっても、ディジタル情報であってもよい。信号は、既知のように、様々な異なる有線リンクまたはワイヤレス・リンクを介して伝送することができる。信号は、プロセッサ可読媒体に記憶することができる。
【0199】
いくつかの実施態様について説明した。しかしながら、様々な修正を施すことが可能であることは理解されるであろう。例えば、様々な実施態様の要素を組み合わせたり、補足したり、修正したり、または除去したりして、他の実施態様を生み出すこともできる。さらに、当業者なら、開示した構造およびプロセスの代わりに他の構造およびプロセスを使用することができ、その結果得られる実施態様も、開示した実施態様と少なくとも実質的には同じである1つまたは複数の機能を、少なくとも実質的には同じである1つまたは複数の方法で実行して、少なくとも実質的には同じである1つまたは複数の結果を実現することになることを理解するであろう。従って、上記の実施態様およびその他の実施態様は、本願によって企図されている。[付記1]
符号化されるカラー・ピクチャから少なくとも1つのクロミナンス成分を取得することを含む、色成分を有するカラー・ピクチャを符号化する方法において、
輝度成分の各画素(i)の値に基づいて第1のファクタを決定することと、
前記少なくとも1つのクロミナンス成分を前記第1のファクタでスケーリングすることによって少なくとも1つの最終クロミナンス成分を取得することと、
前記少なくとも1つの最終クロミナンス成分を符号化すること(13)と、
をさらに含むことを特徴とする、前記方法。
[付記2]
輝度成分(L)および2つの最終クロミナンス成分を取得することと、前記輝度成分(L)と前記2つの最終クロミナンス成分とを
L”=L-mC”
1
-nC”
2
に従って線形結合することによって最終輝度成分(L”)を取得すること(122)であって、Lは前記輝度成分であり、L”は前記最終輝度成分であり、C”1およびC”2は前記2つの最終クロミナンス成分であり、mおよびnは係数である、該取得することと、
前記最終輝度成分を符号化すること(13)と、
をさらに含む、付記1に記載の方法。
[付記3]
輝度成分(L)および2つの最終クロミナンス成分を取得することと、前記輝度成分(L)と前記2つの最終クロミナンス成分(C”1,C”2)とを
L”=L-max(0,mC”
1
+nC”
2
)
に従って線形結合することによって最終輝度成分(L”)を取得すること(122)であって、Lは前記輝度成分であり、L”は前記最終輝度成分であり、C”1およびC”2は前記2つの最終クロミナンス成分であり、mおよびnは係数である、該取得することと、
前記最終輝度成分を符号化すること(13)と、
をさらに含む、付記1に記載の方法。
[付記4]
前記係数mおよびnをローカルまたは遠隔のメモリに記憶すること、および/または、前記係数mおよびnをビットストリームに追加することをさらに含む、付記2または3に記載の方法。
[付記5]
前記第1のファクタは、前記輝度成分(L)の画素(i)の特定の値についてルップアップ・テーブルから得られる、付記2から4のいずれか1項に記載の方法。
[付記6]
前記輝度成分(L)の画素(i)の特定の値についての前記第1のファクタは、前記ルップアップ・テーブルの値を補間することによって得られる、付記5に記載の方法。
[付記7]
前記第1のファクタはさらに、前記係数mおよびnに依存する、付記2から6のいずれか1項に記載の方法。
[付記8]
前記第1のファクタは、前記最終輝度成分(L”)および前記最終クロミナンス成分(C”1,C”2)から得られる色の色域と符号化される前記カラー・ピクチャの色の色域との間で計算される色域歪みが最小限に抑えられるように取得される、付記7に記載の方法。
[付記9]
符号化される前記カラー・ピクチャから輝度成分(L)および2つのクロミナンス成分(C1,C2)を取得すること(11)は、
輝度成分(L)を取得すること(130)であって、
前記カラー・ピクチャの輝度(Y)から変調値(Ba)を取得すること(120)と、
前記カラー・ピクチャの前記輝度(Y)を前記変調値(Ba)で除算することによって、スケーリングされた輝度を取得することと、
前記輝度成分(L)のダイナミックが前記スケーリングされた輝度のダイナミックと比較して小さくなるように、前記スケーリングされた輝度に非線形関数を適用することによって前記輝度成分(L)を取得することと、
を含む、前記輝度成分(L)を取得することと、
2つのクロミナンス成分(C1,C2)を取得することであって、
前記輝度成分(L(i))の画素(i)の値と前記カラー・ピクチャ内の共通の位置にある画素(i)の輝度値(Y(i))とによって決まる第2のファクタ(r(L(i)))を取得することと、
各色成分(Ec)に第2のファクタ(r(L))を乗算することによって少なくとも1つの中間色成分(E’c)を取得すること(150)と、
前記少なくとも1つの中間色成分(E’c)から前記少なくとも2つのクロミナンス成分(C1,C2)を取得すること(170)と、
を含む、前記2つのクロミナンス成分(C1,C2)を取得することと、
を含む、付記1から8のいずれか1項に記載の方法。
[付記10]
ビットストリームから少なくとも1つのクロミナンス成分を取得することと、
前記少なくとも1つのクロミナンス成分から少なくとも1つの最終クロミナンス成分を取得すること(22)と、
前記少なくとも1つの最終クロミナンス成分から、復号されるカラー・ピクチャを取得すること(23)と、を含む、ビットストリームからカラー・ピクチャを復号する方法において、
前記少なくとも1つの最終クロミナンス成分を取得すること(22)が、
前記最終輝度成分(L)の各画素(i)の値から第1のファクタを取得することと、
前記少なくとも1つのクロミナンス成分に前記第1のファクタを乗算すること(221)によって、前記少なくとも1つの最終クロミナンス成分を取得すること(222)と、を含むことを特徴とする、前記方法。
[付記11]
輝度成分(L”)および2つのクロミナンス成分を取得することをさらに含み、前記最終輝度成分(L)は、前記輝度成分(L”)と前記2つのクロミナンス成分とを
L=L”+mC”
1
+nC”
2
に従って線形結合することによって取得され、Lは前記最終輝度成分であり、L”は前記輝度成分であり、C”1およびC”2は前記2つのクロミナンス成分であり、mおよびnは係数である、付記10に記載の方法。
[付記12]
前記最終輝度成分(L)および前記2つの最終クロミナンス成分(C1,C2)から、復号される前記カラー・ピクチャを取得すること(23)は、
第1の成分(Y)を取得すること(220)であって、
結果的に生じる成分のダイナミックが前記最終輝度成分(L)のダイナミックと比較して大きくなるように、前記最終輝度成分(L)に非線形関数を適用することによって前記結果的に生じる成分を取得することと、
復号される前記カラー・ピクチャの輝度から変調値(Ba)を取得することと、
前記結果的に生じる成分に前記変調値を乗算することによって前記第1の成分(Y)を取得することと、
を含む、前記第1の成分(Y)を取得することと、
前記最終輝度成分(L)の画素(i)の値(L(i))によって決まる第2のファクタ(r(L(i)))を取得することと、
前記第1の成分(Y)、前記2つの最終クロミナンス成分(C1,C2)、および前記第2のファクタ(r(L(i)))から少なくとも1つの色成分(Ec)を取得すること(230)と、
前記少なくとも1つの色成分(Ec)を結合することによって、復号されたピクチャを形成することと、
を含む、付記10または11に記載の方法。
[付記13]
符号化されるカラー・ピクチャから少なくとも1つのクロミナンス成分を取得するように構成されたプロセッサを含む、色成分を有するカラー・ピクチャを符号化するデバイスにおいて、前記プロセッサがさらに、
前記輝度成分の各画素(i)の値に基づいて第1のファクタを決定し、
前記少なくとも1つのクロミナンス成分を前記第1のファクタでスケーリングすることによって少なくとも1つの最終クロミナンス成分を取得し、
前記少なくとも1つの最終クロミナンス成分を符号化する(13)、
ように構成されていることを特徴とする、前記デバイス。
[付記14]
ビットストリームから少なくとも1つのクロミナンス成分を取得し、
少なくとも1つのクロミナンス成分から少なくとも1つの最終クロミナンス成分を取得し(22)、
前記少なくとも1つの最終クロミナンス成分から、復号されるカラー・ピクチャを取得する(23)ように構成されたプロセッサを含む、ビットストリームからカラー・ピクチャを復号するデバイスにおいて、前記プロセッサが、
前記最終輝度成分(L)の各画素(i)の値から第1のファクタを取得することと、
前記少なくとも1つのクロミナンス成分に前記第1のファクタを乗算することによって(221)、前記少なくとも1つの最終クロミナンス成分を取得すること(222)と、
を含む、前記少なくとも1つの最終クロミナンス成分を取得すること(22)をさらに行うように構成されていることを特徴とする、前記デバイス。
[付記15]
プログラムがコンピュータ上で実行されたときに付記1に記載の符号化方法のステップを実行するプログラム・コード命令を含む、コンピュータ・プログラム製品。
[付記16]
プログラムがコンピュータ上で実行されたときに付記10に記載の復号方法のステップを実行するプログラム・コード命令を含む、コンピュータ・プログラム製品。
[付記17]
少なくとも付記1に記載の符号化方法のステップをプロセッサに実行させる命令を記憶した、プロセッサ可読媒体。
[付記18]
少なくとも付記10に記載の復号方法のステップをプロセッサに実行させる命令を記憶した、プロセッサ可読媒体。
[付記19]
プログラムがコンピューティング・デバイス上で実行されたときに付記1~18のいずれか1項に記載の方法のステップを実行するプログラム・コードの命令を担持する、非一時的記憶媒体。