特許 6531218 高ダイナミックレンジ信号のための信号整形

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6531218

(24)【登録日】2019年5月24日

(45)【発行日】2019年6月12日

(54)【発明の名称】高ダイナミックレンジ信号のための信号整形

(51)【国際特許分類】

   H04N 19/186 20140101AFI20190531BHJP

   H04N 19/85 20140101ALI20190531BHJP

   H04N 19/46 20140101ALI20190531BHJP

   H04N 9/64 20060101ALI20190531BHJP

   H04N 9/67 20060101ALI20190531BHJP

【ＦＩ】

   H04N19/186

   H04N19/85

   H04N19/46

   H04N9/64 A

   H04N9/67

【請求項の数】20

【全頁数】31

(21)【出願番号】特願2018-503569(P2018-503569)

(86)(22)【出願日】2016年8月3日

(65)【公表番号】特表2018-530189(P2018-530189A)

(43)【公表日】2018年10月11日

(86)【国際出願番号】US2016045362

(87)【国際公開番号】WO2017024042

(87)【国際公開日】20170209

【審査請求日】2018年2月5日

(31)【優先権主張番号】62/200,797

(32)【優先日】2015年8月4日

(33)【優先権主張国】US

(31)【優先権主張番号】62/202,980

(32)【優先日】2015年8月10日

(33)【優先権主張国】US

(31)【優先権主張番号】62/278,362

(32)【優先日】2016年1月13日

(33)【優先権主張国】US

(31)【優先権主張番号】62/300,012

(32)【優先日】2016年2月25日

(33)【優先権主張国】US

(31)【優先権主張番号】62/302,073

(32)【優先日】2016年3月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】アトキンズ，ロビン

(72)【発明者】

【氏名】イン，プオン

(72)【発明者】

【氏名】ルウ，タオラン

(72)【発明者】

【氏名】ピトラルツ，ジャクリン アン

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特開２００５−７９８３４（ＪＰ，Ａ）

【文献】 特開２００４−４０４４８（ＪＰ，Ａ）

【文献】 特開２００５−１８４６０１（ＪＰ，Ａ）

【文献】 Hwi-Gang Kim, et al.，"Color Correction using Rotation Matrix for HDR Rendering in iCAM06"，Proceedings of 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops)，２０１１年１１月１３日，Pages 738-744，ISBN: 978-1-4673-0063-6

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

Ｈ０４Ｎ９／６４−９／７８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

後方互換なデコードを改善する方法であって：
プロセッサにより画像データベース（６０５）にアクセスする段階と；
前記データベース中の画像の第一の色空間における第一色相値を計算する段階（６１０）と；
前記データベース中の画像の第二の色空間における第二色相値を計算する段階（６１５）と；
色相コスト関数を最小化する色相回転角を見出すことによって最適な色相回転角を計算する段階（６２０）であって、前記色相コスト関数は前記第一色相値と回転された第二色相値の差の指標に基づく、段階と；
前記最適な色相回転角に基づいて、エンコードに先立って入力画像を色回転するための色回転行列を生成する段階（６２５）とを含む、
方法。

【請求項2】

前記第一の色空間における前記データベース中の画像の第一彩度値を計算する段階（６１０）と；
前記データベース中の画像を前記第二の色空間に変換して変換された画像を生成する段階と；
前記変換された画像に前記色回転行列を適用して色回転された画像を生成する段階と；
前記色回転された画像の第二の彩度値を計算する段階（６４５）と；
彩度コスト関数を最小化することに基づいて彩度スケーラーを計算する段階（６３０）であって、前記彩度コスト関数は前記第一彩度値とスケーリングされた第二彩度値の差の指標に基づく、段階と；
前記彩度スケーラーに基づいてスケーリング・ベクトルを生成する段階とをさらに含む、
請求項１記載の方法。

【請求項3】

前記色回転行列および前記スケーリング・ベクトルを組み合わせて整形色行列を生成する段階をさらに含む、請求項２記載の方法。

【請求項4】

前記第一の色空間がガンマ符号化YCbCr色空間であり、前記第二の色空間がPQ符号化IPT色空間である、請求項１記載の方法。

【請求項5】

前記第一の色空間がRec.709 YCbCr色空間であり、前記第二の色空間がRec.2020 YCbCr色空間である、請求項１記載の方法。

【請求項6】

前記色回転行列が

【数37】

であり、a'は前記最適な色相回転角を表わす、請求項１記載の方法。

【請求項7】

前記スケーリング・ベクトルが

【数38】

であり、b'が前記彩度スケーラーである、請求項２記載の方法。

【請求項8】

前記第一の色空間がRec.709 YCbCr色空間であり、前記第二の色空間がST2084 IPT色空間（ITP-PQ）であり、前記色回転行列が

【数39】

である、請求項１記載の方法。

【請求項9】

前記整形色行列が

【数40】

であり、a'は前記最適な色相回転角を表わし、b'は前記彩度スケーラーを表わす、請求項３記載の方法。

【請求項10】

請求項１記載の方法であって、エンコーダにおける、
前記第二の色空間における入力画像（２３２）を受領する段階と；
前記入力画像に前方色整形を適用する段階であって、前記入力画像に前記色回転行列を適用して色回転された画像を生成することを含む、段階と；
前記エンコーダを使って前記色回転された画像をエンコードして、符号化された画像を生成する段階（３１０）と；
前記符号化された画像をデコーダに伝送する段階と；
整形に関係したメタデータを前記デコーダに伝送する段階とをさらに含み、
当該方法は、前記デコーダにおいて、
前記符号化された画像を受領する段階と；
前記整形に関係したメタデータを受領する段階と；
前記符号化された画像をデコードして、デコードされた画像を生成する段階と；
前記デコードされた画像に後方色整形を適用して、前記第二の色空間における出力画像を生成する段階とをさらに含む、
方法。

【請求項11】

前記第二の色空間における入力画像（２３２）を受領する段階と；
前記入力画像に前記整形色行列を適用して整形された画像を生成する段階（５１０）と；
エンコーダを使って前記整形された画像をエンコードして、符号化された画像を生成する段階（３１０）とをさらに含む、
請求項３記載の方法。

【請求項12】

前記エンコードする段階の前に前記整形された画像のルミナンス値にトーンマッピング関数（３０５）を適用する段階をさらに含む、
請求項１０または１１記載の方法。

【請求項13】

前記整形色行列に基づく情報を、メタデータとしてデコーダに信号伝達することを含む、
請求項１１記載の方法。

【請求項14】

前記メタデータが：
色回転およびスケーリング行列の有無を示すフラグと；
前記フラグが前記色回転およびスケーリング行列が存在することを示すときは、前記色回転およびスケーリング行列に基づく複数の係数とを含む、
請求項１３記載の方法。

【請求項15】

前記第二の色空間がIPT色空間であり、整形されたIPT-PQ色空間のためのLMSからIPTへの色変換行列が、デフォルトのLMSからIPTへの色変換行列に前記整形色行列を乗算することによって生成される、請求項３記載の方法。

【請求項16】

前記色相コスト関数が、前記第一色相値と前記回転された第二色相値との間の平均平方誤差（MSE）を表わす、請求項１ないし１５のうちいずれか一項記載の方法。

【請求項17】

後方互換なデコードを改善する方法であって：
好ましい色空間における入力画像を受領する段階と；
色相回転関数にアクセスする段階であって、前記好ましい色空間における前記入力画像中のピクセルの色相値について、前記色相回転関数は、色相コスト基準に基づいてレガシー色空間における色相値にマッチする、回転された色相出力値を生成する、段階と；
前記入力画像および前記色相回転関数に基づいて、整形された画像を生成する段階と；
前記整形された画像をエンコードして、符号化された整形された画像を生成する段階とを含む、
方法。

【請求項18】

彩度スケーリング関数にアクセスする段階と；
前記整形された画像中のピクセルのクロマ値に前記彩度スケーリング関数を適用して、彩度コスト基準に基づいてレガシー色空間における彩度値にマッチするスケーリングされた彩度をもつクロマ値を生成する段階をさらに含む、
請求項１７記載の方法。

【請求項19】

プロセッサを有し、請求項１ないし１８のうちいずれか一項記載の方法を実行するよう構成されている装置。

【請求項20】

一つまたは複数のプロセッサにより、請求項１ないし１８のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、2016年3月1日に出願された米国仮出願第62/302,073号、2016年2月25日に出願された同第62/300,012号、2016年1月13日に出願された同第62/278,362号、2015年8月10日に出願された同第62/202,980号および2015年8月4日に出願された同第62/200,797号の優先権を主張するものである。各出願の内容はここに参照によってその全体において組み込まれる。

【0002】

技術
本発明は概括的には画像に関する。より詳細には、本発明の実施形態は、後方互換性を改善するための、高ダイナミックレンジをもつ画像の信号整形（signal reshaping）に関する。

【背景技術】

【0003】

本稿での用法では、用語「ダイナミックレンジ」（DR）は、画像における、たとえば最も暗い暗部（黒）から最も明るい白（ハイライト）までの、画像における強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する人間の視覚系（HVS: human visual system）の能力に関係しうる。この意味では、DRは「シーン基準の（scene-referred）」強度に関係する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングする表示装置の能力にも関係しうる。この意味では、DRは「ディスプレイ基準の（display-referred）」強度に関係する。本稿の記述における任意の点において特定の意味が特に有意であることが明示的に指定されるのでない限り、上記用語はどちらの意味でも、たとえば交換可能に使用されうると推定されるべきである。

【0004】

本稿での用法では、高ダイナミックレンジ（HDR: high dynamic range）という用語は、人間の視覚系（HVS）の14〜15桁ほどにまたがるDR幅に関係する。実際上、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、「向上ダイナミックレンジ」（EDR: enhanced dynamic range）または「視覚的ダイナミックレンジ」（VDR: visual dynamic range）の用語は、個々にまたは交換可能に、眼球の動きも含み、シーンまたは画像を横断したいくらかの光順応変化を許容する人間の視覚系（HVS）によってシーンまたは画像内で知覚可能なDRに関係する。本稿での用法では、EDRは5〜6桁にまたがるDRに関しうる。よって、真のシーン基準のHDRに比べるといくぶん狭いかもしれないが、それでもEDRは幅広いDR幅を表わし、やはりHDRと称されてもよい。

【0005】

実際上、画像は一つまたは複数の色成分（たとえばルーマYおよびクロマCbおよびCr）を有する。ここで、各色成分はnビット毎ピクセルの精度で表現される（たとえばn＝8）。線形ルミナンス符号化を使うと、n≦8である画像（たとえばカラー24ビットJPEG画像）は標準ダイナミックレンジの画像と考えられ、n＞8である画像は向上ダイナミックレンジの画像と考えられてもよい。EDRおよびHDR画像は、インダストリアル・ライト・アンド・マジックによって開発されたOpenEXRファイル・フォーマットのような、高精度（たとえば16ビット）の浮動小数点フォーマットを使って記憶および頒布されてもよい。

【0006】

ビデオ・ストリームを与えられたとき、その符号化パラメータについての情報は典型的にはそのビットストリームにメタデータとして埋め込まれる。本稿での用法では、用語「メタデータ」は、符号化されたビットストリームの一部として伝送されてデコーダがデコードされた画像をレンダリングするのを支援する任意の補助情報に関する。そのようなメタデータは、本稿で述べる色空間または色域情報、参照ディスプレイ・パラメータおよび補助信号パラメータを含むがそれに限られなくてもよい。

【0007】

たいていの消費者デスクトップ・ディスプレイは、200ないし300cd/m²またはニトのルミナンスをサポートする。たいていの消費者HDTVは300ないし500cd/m²の範囲であり、新しいモデルは1000ニト（cd/m²）に達する。よって、そのような従来のディスプレイは、HDRまたはEDRに対し、標準ダイナミックレンジ（SDR: standard dynamic range）とも称される低ダイナミックレンジ（LDR: lower dynamic range）の典型である。撮影設備（たとえばカメラ）およびHDRディスプレイ（たとえばドルビー・ラボラトリーズからのPRM-4200業務用参照モニタ）の両方における進歩のためHDRコンテンツの入手可能性が高まるにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（たとえば1000ニトから5000ニト以上）をサポートするHDRディスプレイ上で表示されることがある。限定なしに一般に、本開示の方法は、SDRより高い任意のダイナミックレンジに関係する。発明者によって認識されたところでは、高ダイナミックレンジ画像の符号化のための改善された技法が望まれている。

【0008】

本セクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、本セクションにおいて記述されるアプローチはいずれも、本セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、このセクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】国際公開第2014/130343号（R.Atkinsら；「高ダイナミックレンジビデオのためのディスプレイ管理」]）

【特許文献2】米国特許第9,077,994号（J. S. Millerら）

【特許文献3】米国特許第8,593,480号（A. Ballestad and A. Kostin；"Method and Apparatus for Image Data Transformation"）

【特許文献4】国際公開第2014/160705号（"Encoding perceptually-quantized video content in multi-layer VDR coding"）

【非特許文献】

【0010】

【非特許文献1】F. Ebner and M.D. Fairchild、"Development and testing of a color space (ipt) with improved hue uniformity", Proc. 6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, Nov. 1998, pp. 8-13

【非特許文献2】SMPTE ST 2084:2014仕様書、“High Dynamic Range Electro-optical Transfer Function of Mastering Reference Displays,” Aug. 16, 2014

【図面の簡単な説明】

【0011】

本発明の実施形態が、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。

【図1】ビデオ送達パイプラインのための例示的なプロセスを描く図である。

【図2】IPT-PQ色空間への色変換のための例示的なプロセスを描く図である。

【図3】信号整形および符号化のための例示的なプロセスを描く図である。

【図4】本発明のある実施形態に基づく、ST2084IPTとBT1866IPTの間のルミナンス整形のための例示的なトーンマッピング曲線を描く図である。

【図5】本発明のある実施形態に基づく、色空間整形を使う後方互換な符号化および復号のための、例示的なシステムを描く図である。

【図6】本発明のある実施形態に基づく色回転およびスケーリング行列のための例示的なプロセス・フローを示す図である。

【図7】ＡおよびＢは、本発明のある実施形態に基づく色相および彩度整形関数を描く図である。

【図8】本発明のある実施形態に基づく、IPT-PQとYCbCr-ガンマ色空間の間の色相および彩度整形の例を描く図である。

【図9】本発明のある実施形態に基づくEETF関数の例を描く図である。

【発明を実施するための形態】

【0012】

高ダイナミックレンジ（HDR）画像の信号整形および符号化が本稿で記述される。以下の記述では、本発明の十全な理解を提供するために、説明の目的で数多くの個別的詳細が記載される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に隠蔽し、かすませ、あるいは埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。

【0013】

〈概観〉
本稿に記載される例示的実施形態は、高ダイナミックレンジ画像の整形および符号化に関する。後方互換なデコードを改善するための方法において、エンコーダにおいて、プロセッサが画像データベースにアクセスし、
第一の色空間における前記データベース中の画像の第一の色相値を計算する段階と；
第二の色空間における前記データベース中の画像の第二の色相値を計算する段階と；
色相コスト関数を最小化することに基づいて色相回転角を計算する段階であって、前記色相コスト関数は、前記第一の色相値と回転された第二の色相値の差の指標に基づく、段階と；
前記色相回転角に基づいて色回転行列を生成する段階とを実行する。

【0014】

ある実施形態では、前記第一の色空間はガンマ・ベースのYCbCr色空間であり、前記第二の色空間はPQベースのIPT色空間である。

【0015】

ある実施形態では、前記色回転行列は、前記好ましい色空間に基づく整形された色空間を生成するために使われる。画像は整形された色空間を使って符号化され、前記色回転行列についての情報は当該エンコーダからデコーダに信号伝達される。

【0016】

ある実施形態では、デコーダにおいて、整形された色空間において符号化された入力画像を再構成する方法において、デコーダが：
整形された色空間における符号化された入力画像を受領する段階であって、前記整形された色空間は、レガシー色空間の一つまたは複数のパラメータを近似するために好ましい色空間のクロマ成分を回転させることによって生成される、段階と；
エンコーダから当該デコーダに伝送されたメタデータにアクセスする段階であって、前記メタデータは前記符号化された入力画像に関連付けられており：
色回転およびスケーリング行列の有無を示すフラグ；および
前記フラグが前記色回転およびスケーリング行列の存在を示すときは、前記色回転およびスケーリング行列のための複数の係数を含む、段階と；
前記符号化された入力画像をデコードして、前記整形された色空間におけるデコードされた画像を生成する段階と；
前記整形された色空間における前記デコードされた画像および前記色回転およびスケーリング行列に基づいて、前記好ましい色空間におけるデコードされた画像を生成する段階とを実行する。

【0017】

もう一つの実施形態では、エンコーダにおいて、プロセッサが：
好ましい色空間における入力画像を受領する段階と；
色相回転関数にアクセスする段階であって、前記好ましい色空間における前記入力画像中のピクセルの色相値について、前記色相回転関数は、色相コスト基準に基づいてレガシー色空間における色相値にマッチする、回転された色相出力値を生成する、段階と；
前記入力画像および前記色相回転関数に基づいて、整形された画像を生成する段階と；
前記整形された画像をエンコードして、符号化された整形された画像を生成する段階とを実行する。

【0018】

もう一つの実施形態では、デコーダにおいて、プロセッサが：
整形された色空間においてエンコードされた入力画像にアクセスする段階と；
前記入力画像に関連付けられたメタデータにアクセスする段階であって、前記メタデータは、ある好ましい色空間から前記整形された色空間に前記入力画像を変換するために使われた色相回転関数に関連したデータを含み、前記好ましい色空間における前記入力画像中のピクセルの色相値について、前記色相回転関数は、色相コスト基準に基づいてレガシー色空間における色相値にマッチする、回転された色相出力値を生成する、段階と；
前記入力画像および前記色相回転関数に関連付けられたデータに基づいて前記好ましい色空間における出力画像を生成する段階とを実行する。

【0019】

〈例示的なビデオ送達処理パイプライン〉
図１は、ビデオ捕捉からビデオ・コンテンツ表示までのさまざまな段階を示す通常のビデオ送達パイプライン（１００）の例示的なプロセスを描いている。ビデオ・フレーム（１０２）のシーケンスが画像生成ブロック（１０５）を使って捕捉または生成される。ビデオ・フレーム（１０２）は（たとえばデジタル・カメラによって）デジタル的に捕捉されても、あるいは（たとえばコンピュータ・アニメーションを使って）コンピュータによって生成されてもよいが、ビデオ・データ（１０７）を与える。あるいはまた、ビデオ・フレーム（１０２）はフィルム・カメラによってフィルム上で捕捉されてもよい。そのフィルムがデジタル・フォーマットに変換されてビデオ・データ（１０７）を与える。制作フェーズ（１１０）では、ビデオ・データ（１０７）は編集されて、ビデオ制作ストリーム（１１２）を与える。

【0020】

制作ストリーム（１１２）のビデオ・データは次いでブロック（１１５）でポストプロダクション編集のためにプロセッサに与えられる。ポストプロダクション編集（１１５）は、画質を高めるためまたはビデオ・クリエーターの創造的な意図に従って画像の特定の見え方を達成するために画像の特定の領域における色または明るさを調整または修正することを含んでいてもよい。これは時に「カラータイミング（color timing）」または「カラーグレーディング（color grading）」と呼ばれる。頒布のための制作物の最終版（１１７）を与えるために、他の編集（たとえばシーン選択およびつなぎ、画像クロッピング、コンピュータ生成された視覚特殊効果の付加など）がブロック（１１５）で実行されてもよい。ポストプロダクション編集（１１５）の間は、ビデオ画像は参照ディスプレイ（１２５）で閲覧される。

【0021】

ポストプロダクション（１１５）後、最終制作物（１１７）のビデオ・データがエンコード・ブロック（１２０）に送達されてもよい。テレビジョンセット、セットトップボックス、映画シアターなどといったデコードおよび再生装置に向けて下流に送達するためである。いくつかの実施形態では、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成するために、ATSC、DVB、DVD、ブルーレイおよび他の送達フォーマットによって定義されるようなオーディオおよびビデオ・エンコーダを含んでいてもよい。レシーバーでは、符号化ビットストリーム（１２２）はデコード・ユニット（１３０）によってデコードされて、信号（１１７）と同一のまたは近い近似を表現するデコードされた信号（１３２）を生成する。レシーバーは、参照ディスプレイ（１２５）とは完全に異なる特性をもつことがあるターゲット・ディスプレイ（１４０）に取り付けられていてもよい。その場合、ディスプレイ・マッピングされた信号（１３７）を生成することによって、デコードされた信号（１３２）のダイナミックレンジをターゲット・ディスプレイ（１４０）の特性にマッピングするために、ディスプレイ管理ブロック（１３５）が使用されてもよい。

【0022】

〈IPT-PQ色空間〉
ある好ましい実施形態では、限定なしに、処理パイプラインの一部、たとえば符号化（１２０）、デコード（１３０）およびディスプレイ管理（１３５）は、これからIPT-PQ色空間と称されるものにおいて実行されてもよい。ディスプレイ管理アプリケーションのためのIPT-PQ色空間の例示的な使用は、特許文献１に見出され、同文献は参照によってその全体において組み込まれる。ここで参照によってその全体において組み込まれる非特許文献１（エブナー論文と称する）に記載されるIPTは、人間の視覚系における錐体の間の色差のモデルである。この意味で、これはYCbCrまたはCIE-Lab色空間に似ているが、いくつかの科学的研究で、これらの空間よりも人間の視覚処理をよりよく模倣することが示されている。CIE-Labと同様に、IPTは何らかの参照ルミナンスに対して規格化された空間である。ある実施形態では、規格化は、ターゲット・ディスプレイの最大ルミナンス（たとえば5000ニト）に基づく。

【0023】

用語「PQ」は本稿では知覚的量子化（perceptual quantization）を指すために使われる。人間の視覚系は、光レベルの増大に対して、非常に非線形な仕方で応答する。人間が刺激を見る能力は、その刺激のルミナンス、刺激のサイズ、刺激をなす空間周波数（単数または複数）および刺激を見ているその特定の時点において目が順応〔適応〕しているルミナンス・レベルに影響される。ある好ましい実施形態では、知覚的量子化器関数は、入力グレーレベルを、人間の視覚系におけるコントラスト感度閾値によりよくマッチする出力グレーレベルにマッピングする。PQマッピング関数の例は、ここに参照によってその全体において組み込まれる特許文献２（'994特許と称する）に記載されており、その一部は、ここに参照によってその全体において組み込まれる非特許文献２のSMPTE ST 2084規格によって採用されている。それによれば、固定した刺激サイズのもとで、すべてのルミナンス・レベル（すなわち刺激レベル）について、そのルミナンス・レベルにおける最小の可視コントラストきざみが、（HVSモデルに応じて）最も敏感な適応レベルおよび最も敏感な空間周波数に従って選択される。物理的な陰極線管（CRT）装置の応答曲線を表わし、たまたま人間の視覚系が応答する仕方と非常に大まかな類似性をもちうる伝統的なガンマ曲線に比べ、'994特許によって決定されたPQ曲線は、比較的単純な関数モデルを使って人間の視覚系の真の視覚的応答を模倣する。

【0024】

図２は、ある実施形態に基づく、IPT-PQ色空間への色変換のための例示的プロセス（２００）をより詳細に描いている。図２に描かれるように、第一の色空間（たとえばRGB）にある入力信号（２０２）を与えられるとき、知覚的に補正されたIPT色空間（IPT-PQ）への色空間変換は以下の段階を含んでいてもよい：
ａ）任意的な段階（２１０）が、入力信号（２０２）のピクセル値（たとえば0ないし4095）を0から1までの間のダイナミックレンジをもつピクセル値に規格化してもよい。

【0025】

ｂ）入力信号（２０２）が（たとえばBT.1866またはSMPTE ST 2084により）ガンマ符号化またはPQ符号化されていたら、任意的な段階（２１５）が、（信号メタデータによって与えられる）信号の電気‐光伝達関数（EOTF）を使って、符号値からルミナンスへの、ソース・ディスプレイの変換を反転させるまたは取り消してもよい。たとえば、入力信号がガンマ符号化されていたら、この段階は逆ガンマ関数を適用する。入力信号が'SMPTE ST 2084に従ってPQエンコードされていたら、この段階は逆PQ関数を適用する。実際上は、規格化段階（２１０）および逆非線形エンコード（２１５）は、あらかじめ計算された1Dのルックアップテーブル（LUT）を使って実行されて、線形信号２１７を生成してもよい。

【0026】

ｃ）段階（２２０）では、線形信号２１７がそのもとの色空間（たとえばRGB、XYZなど）からLMS色空間に変換される。たとえば、もとの信号がRGBであれば、この段階は二つの段階を含んでいてもよい：RGBからXYZの色変換と、XYZからLMSの色変換である。ある実施形態では、限定なしに、XYZからLMSの変換は次式によって与えられてもよい。

【0027】

【数1】

ここに参照によってその全体において組み込まれる、2015年9月26日に出願された「Encoding and decoding perceptually-quantized video content」と題する米国仮特許出願第62/056,093号（2015年9月24日にPCT/US2015/051964号としても出願された）に記載されている別の実施形態では、IPT-PQ色空間における全体的な符号化効率は、XYZからLMSの変換の一部としてクロストーク行列

【0028】

【数2】

を組み込めば、さらに向上されうる。たとえば、c＝0.02については、クロストーク行列に式(1a)の3×3行列をかけると、次式が得られる。

【0029】

【数3】

同様に、別の実施形態において、c＝0.04については、クロストーク行列にもとのXYZからLMSの行列（たとえば式(1a)の3×3行列）をかけると、次式が得られる。

【0030】

【数4】

ｄ）エブナー論文によれば、伝統的なLMSからIPTへの色空間変換は、LMSデータにまず非線形冪関数を適用し、次いで線形変換行列を適用することを含む。データをLMSからIPTに変換してからPQ関数を適用してIPT-PQドメインにすることもできるが、ある好ましい実施形態では、段階（２２５）において、LMSのIPTへの非線形エンコードのための伝統的な冪関数は、L、M、Sの各成分のPQ非線形エンコードによって置き換えられる。

【0031】

ｅ）LMSからIPTへの線形変換（たとえばエブナー論文で定義されるもの）を使って、段階（２３０）は信号２２２のIPT-PQ色空間への変換を完了する。たとえば、ある実施形態では、L'M'S'からIPT-PQへの変換は次式によって与えられてもよい。

【0032】

【数5】

もう一つの実施形態では、実験によって、I'成分がS'成分に全く依存することなく導出されうることが好ましいことがありうることが示されている。よって、式(2a)は

【0033】

【数6】

となってもよい。

【0034】

〈IPT-PQ対YCbCrガンマ〉
MPEG-1、MPEG-2、AVC、HEVCなどのような既存のビデオ圧縮標準の大半はYCbCr色空間におけるガンマ符号化された画像について試験され、評価され、最適化されてきたが、実験結果は、IPT-PQ色空間が、色成分あたりピクセル毎に10ビット以上をもつ高ダイナミックレンジ画像のためのよりよい表現フォーマットを提供しうることを示している。HDRおよび広い色域（wide color gamut）の信号により好適な色空間（たとえばIPT-PQ）における信号エンコードは、よりよい全体的な画質を与えることがありうるが、レガシー・デコーダ（たとえばセットトップボックスなど）は適正なデコードおよび色変換を行なうことができないことがありうる。後方互換性を改善して、新しい色空間を認識しない装置でさえもそこそこのピクチャーを生成できるようにするために、発明者によって認識されたように、新たな信号整形技法が必要とされる。

【0035】

図３は、ある実施形態に基づく、信号整形および符号化のための例示的プロセスを描いている。図３に描かれるように、入力（３０２）を与えられると、前方色整形ブロック（３０５）は必要に応じて色変換およびまたは整形関数を適用して、好ましい色空間（たとえばIPT-PQ-r）における信号（３０７）を生成する。整形に関係したメタデータ（３０９）も生成されて、エンコーダ（３１０）、デコーダ（３１５）、後方色整形（３２０）のような符号化パイプラインのその後のブロックに伝えられてもよい。

【0036】

デコーダは、符号化された信号を受領（３１５）した後、デコード（３１５）（たとえばHEVCデコード）を適用して、デコードされた信号（３１７）を生成する。好ましいHDR-WCG符号化色空間（たとえばIPT-PQ-r）を認識するデコーダは、適正な後方または逆整形（３２０）を適用して、適正な色空間（たとえばIPT-PQ）における信号（３２２）を生成する。次いで、信号（３２２）は、追加的な後処理、記憶または表示のために、YCbCrまたはRGBに変換されてもよい。

【0037】

好ましいHDR-WCG符号化空間を認識しないレガシー・デコーダは、HDR-WCG空間をレガシー色空間（たとえばガンマ符号化されたYCbCr）として扱ってもよいが、前方色整形（３０５）のため、出力（３１７）は、後方整形または他の色変換がデコーダの出力（３１７）に適用されていないという事実にもかかわらず、そこそこの画質をもちうる。

【0038】

〈色整形〉
一般性を失うことなく、IPT-PQ色空間を考える。ある実施形態において、IPT-PQ信号における肌色をYCbCr-ガンマ信号における肌色に知覚的にマッチさせるよう、線形整形行列（たとえば3×3行列）が生成される。そのような色変換は、IPT色空間におけるたいていの画像処理アプリケーションの実行に影響がないが、レガシー・デバイスによる色再現を大幅に改善する。肌色の代わりに、または肌色に加えて、葉、空などといった他の重要な色をマッチさせるよう、同様の変換行列が生成されてもよい。ある実施形態では、整形行列は次のように計算される。

【0039】

ａ）肌色、たとえば反射スペクトルのデータベースをロードし、それらの色をXYZのような装置独立な色空間に変換する。

【0040】

ｂ）肌色の前記データベースを、XYZからレガシー色空間フォーマット（たとえばYCbCr、Rec.709）に変換する。この段階はたとえば以下のサブステップを含んでいてもよい：
ｂ．１）データベースをRGB（Rec.709）に変換する；
ｂ．２）（たとえばBT.1886により）RGB値にガンマを適用して、ガンマ符号化されたR'G'B'信号を生成する；
ｂ．３）（たとえばRec.709により）R'G'B'信号をYCbCr-ガンマ値に変換する；
ｂ．４）YCbCr-ガンマ信号の色相（たとえばHue_YCbCr＝tan^-1(Cr/Cb)）の値を計算する；
ｂ．５）YCbCr-ガンマ信号の彩度値（たとえばSat_YCbCr＝√(Cb²＋Cr²)）を計算する。

【0041】

ｃ）前記好ましい色フォーマット（たとえばIPT-PQ）での前記データベース中の前記肌色値を計算する。この段階は以下のサブステップを含んでいてもよい。

【0042】

ｃ．１）XYZからLMSに変換する；
ｃ．２）LMSからL'M'S'に、そしてI'P'T'に変換する；（たとえばST2084によって）PQを適用することによる；
ｃ．３）色相値（たとえばHue_IPT＝tan^-1(T'/P')）を計算する；
ｃ．４）彩度値（たとえばSat_IPT＝√(T'²＋P'²)）を計算する。

【0043】

ｄ）回転または整形されたIPT-PQ（reshaped IPT-PQ）（たとえばIPT-PQ-r）における肌色がYCbCr-ガンマにおける肌色と揃えられるようIPT値を回転するための回転行列を計算する。ある実施形態では、この段階は、二つの色空間におけるサンプルの色相および彩度の値に関係したコスト関数を最適化することによって計算される。たとえば、ある実施形態では、コスト関数は、レガシー色空間（たとえばYCbCr）と回転された好ましいHDR色空間（たとえばIPT-PQ）の間の平均平方誤差（MSE）を表わしていてもよい。たとえば、

【0044】

【数7】

が色相に関係したコスト関数を表わすとする。ここで、Hue_IPT-PQ-rは整形された色（すなわち、IPT-PQ-r）の色相（hue）を表わし、次のように定義できる。

【0045】

【数8】

ここで、すべての逆正接関数は(−π,π)において計算される。

【0046】

ある実施形態では、所与の基準に従ってコスト関数を最小化する角「a」の値（a'と記される）を見出すために当技術分野で既知のいかなる最適化技法を適用してもよい。たとえば、MATLAB関数fminunc(fun,x0)を、fun＝Cost_Hおよびx0＝0.1として適用してもよい。a'を与えられると、回転行列Rは次のように定義されうる。

【0047】

【数9】

一例として、サンプル・データベースに基づいて、ある実施形態では、a'＝71.74度について、

【0048】

【数10】

となる。

【0049】

RおよびもとのL'M'S'からI'P'T'の行列LMS2IPTmat（たとえば式(2)参照）を与えられて、整形されたIPT-PQ-r色空間への変換は、次のように定義される新しいLMS2IPTmat-r行列を使ってもよい。

【0050】

【数11】

ここで、A^Tは行列Aの転置を表わす。

【0051】

ある実施形態では、肌色について色相を揃えることに加えて、彩度も揃えてもよい。これは以下の段階を含みうる：
ａ）もとのIPT-PQデータにRを適用して、色回転されたクロマ値P_RおよびT_Rデータを生成する；
ｂ）彩度コスト関数を定義する。これはたとえば次のようなもとの色空間とターゲット色空間における彩度値の間のMSEである：

【0052】

【数12】

ｃ）b'がCost_sを最適化するbの値であるとする。次いで、スケーリング・ベクトル

【0053】

【数13】

をクロマ回転行列に適用して、単一の色回転およびスケーリング3×3行列

【0054】

【数14】

を形成することができる。

【0055】

何らかの実施形態では、色相コスト関数および彩度コスト関数（たとえば式(3)および(8)）は単一の色相／彩度コスト関数に組み合わされて、a'およびb'について同時に解かれてもよい。たとえば、式(11)から、ある実施形態では、

【0056】

【数15】

について、式(4)は

【0057】

【数16】

のように修正でき、式(3)を最適なa'および最適なbi'（i＝1ないし4）スケール因子の両方について解くことができる。

【0058】

たとえば、ある実施形態では、a'＝65度、b1'＝1.4、b2'＝1.0、b3'＝1.4、b4'＝1.0について、式(12)は

【0059】

【数17】

を与える。

【0060】

〈トーン整形〉
提案される回転行列Rは色再現を改善しうるが、デコードされた画像（３１７）はそれでも、非線形なEOTFエンコード関数（たとえばST2084かBT1866か）の相違のため、低いコントラストをもつと知覚されることがありうる。ある実施形態では、コントラストは、ルミナンス・チャネル（たとえばI'）に1Dトーンマッピング曲線を適用することによって改善されうる。この段階は以下のサブステップを含んでいてもよい。
ａ）もとのHDR最大輝度（たとえば4000ニト）からのもとのコンテンツをSDRターゲット輝度（たとえば100ニト）にマッピングするためにトーンマッピング曲線（たとえばシグモイド）を適用する。そのようなシグモイド関数の例は、ここに参照によってその全体において組み込まれる特許文献３に見出されうる。代替的な整形関数の例が、ここに参照によってその全体において組み込まれる特許文献４でも開示された。I'_T＝f(I')がトーンマッピング関数f()の出力を表わすとして、
ｂ）I'_Tを線形化して（たとえば逆PQまたは逆ガンマ関数を適用して）線形なI_Tデータを生成する；
ｃ）線形化されたI_T信号にレガシーEOTFエンコード（たとえばBT1866）エンコードを適用して、エンコーダによって圧縮され、送信されるガンマ符号化されたルミナンス信号を生成する。

【0061】

ST2084(PQ)とBT1866の間のそのようなマッピングの例が図４に示されている。この曲線は、より高い中間色調コントラスト、より低い黒、およびより明るい（コントラストはより小さい）ハイライトをもつ。これは、トーン・スケールを標準的なSDRに、より密接に揃える。それにより、入力がレガシー装置によってデコードされるときでも、画像を見ることができる。図４では、一般性を失うことなく、入力および出力値は(0,1)に規格化されている。

【0062】

整形情報は、エンコーダからパイプラインの残りの部分に、メタデータとして信号伝達されてもよい。整形パラメータは、所与のビデオ・シーケンスのために可能な最良のパフォーマンスを与えるために、フレーム毎、シーン毎またはシーケンス毎など、多様な時点で決定されうる。

【0063】

この記述はIPT-PQ色空間に焦点を当てているが、これらの技法は他の色空間および色フォーマットにも等しく適用可能である。たとえば、同様の技法は、YCbCrの異なるバージョン、たとえばRec.709YCbCrとRec.2020YCbCrを横断した後方互換性を改善するために適用されてもよい。よって、ある実施形態では、Rec.2020ビットストリームが、レガシーのRec.709デコーダを使ってデコードされる際によりよい色相および彩度出力を提供するよう、本稿に記載される信号整形技法を使って調整されてもよい。

【0064】

図６は、ある実施形態に従って色回転およびスケーリング行列を生成するための例示的なプロセス・フローを描いている。画像データベース（６０５）を与えられて、段階（６１０）は、第一の（レガシーの）色空間（たとえばYCbCr-ガンマ）における前記データベース中の画像について色相および彩度値を計算する。段階（６１５）は、第二の（好ましい）色空間（たとえばIPT-PQ）における、前記データベース中の画像についての色相を計算する。

【0065】

色相に関係したコスト関数（たとえば式(3)）を与えられて、段階（６２０）は、レガシー色空間において計算された色相と回転された好ましい色空間において計算された色相との間の距離を最小化する最小化コスト基準（平均平方誤差（MSE）など）に従って、最適な回転角a'について解く。段階（６２５）では、a'の値は色回転行列を生成するために使われる。

【0066】

任意的な彩度スケーラー（scaler）も計算されてもよい。飽和コスト関数（たとえば式(8)）を与えられて、段階（６３０）は任意的に、第一の色空間における信号の彩度と色回転された好ましい色空間におけるスケーリングされた信号の彩度との間のMSEなどの最小化コスト基準に従って、最適なスケーラーb'について解く。

【0067】

最後に、段階（６３５）において、上記の回転角およびスケーラーが組み合わされて、色回転およびスケーリング行列（たとえば式(11)）を生成する。

【0068】

エンコーダでは、エンコーダは、この色回転およびスケーリング行列を、前記好ましい色空間における入力データに適用して、整形された色空間におけるデータを生成する。データは、エンコード（圧縮）され、色回転およびスケーリング行列に関する情報と一緒に、デコーダに伝送される。

【0069】

デコーダでは、レガシー・デコーダは、データがレガシー色空間において符号化されていると想定して該データをデコードする。誤った色空間情報を使うにもかかわらず、画像は、ダイナミックレンジは低くなるが十分な品質で見ることができる。より新しい、完全対応のデコーダは、色回転およびスケーリング行列についての受領されたメタデータ情報を利用して、好ましい色空間において画像データをデコードし、それにより観察者に対して、データの完全な高ダイナミックレンジを提供することができる。

【0070】

〈整形情報のためのSEIメッセージ・シンタックス〉
先に論じたように、ある実施形態では、回転（R）行列およびスケーリング・ベクトル（S）は、（２３０）におけるL'M'S'からI'P'T'への変換行列に吸収されてもよい。いずれの場合にも、適応整形情報（すなわち、上記行列およびトーンマッピング曲線）は、ここに参照によってその全体において組み込まれる2015年7月16日に出願された米国仮出願第62/193,390号（2016年4月19日にPCT/US2016/02861号としても出願された）で提案されるシンタックスを使って、エンコーダによってデコーダに伝送されてもよい。

【0071】

もう一つの実施形態では、図５に描かれるように、新しい色回転およびスケール・ブロック（５１０）がエンコーダ（５００Ａ）に追加されてもよい。このブロックは、色変換（２００）（たとえばRGBからIPT-PQ）後に追加されてもよいが、好ましくは前方整形（３０５）より前である。デコーダ（５００Ｂ）では、対応する逆色回転およびスケーリング・ブロック（５１５）は、後方整形ボックス（３２０）の後に追加されてもよい。図５に描かれるように、任意的な色フォーマット変換ボックス（たとえば4:4:4から4:2:0（５０５）または4:2:0から4:4:4（５２０））が必要に応じてエンコードおよび／またはデコード・パイプラインに追加されてもよい。

【0072】

シンタックスの点では、3×3回転行列を、あるいは典型的にはルミナンス・チャネル（たとえばYまたはI）は不変のままにされるので単に2×2行列を、指定してもよい。表１は、色回転およびスケーリング行列を通信するためのSEIメッセージングの例を与えているが、信号伝達はSEIメッセージに限定されず、SPS、PPSなどのようないかなる高レベルのシンタックスに挿入されることもできる。

【0073】

【表1】

colour_rotation_scale_matrix_present_flag〔色回転スケール行列存在フラグ〕が1に等しいことは、シンタックス要素colour_rotation_scale_coeffs[c][i]が両端を含めて0から1までの範囲内のcおよびiについて存在することを示す。colour_rotation_scale_matrix_present_flagが0に等しいことは、両端を含めて0から1までの範囲内のcおよびiについてシンタックス要素colour_rotation_scale_coeffs[c][i]が存在しないことを示す。

【0074】

colour_rotation_scale_coeffs[c][i]〔色回転スケール係数[c][i]〕は、2かける2の色回転およびスケール行列係数の値を指定する。colour_rotation_scale_coeffs[c][i]の値は両端を含めて−2^15から2^15−1の範囲内でなければならない。colour_rotation_scale_coeffs[c][i]が存在しないときは、デフォルトの色回転およびスケール行列行列が使われる。

【0075】

ある実施形態では、エンコーダおよびデコーダの両方が（たとえば新しい色空間の共通の定義を通じて）上記色回転およびスケーリング行列を知っていてもよい。よって、色回転行列をエンコーダからデコーダに信号伝達する必要がないことがある。別の実施形態では、色回転およびスケーリング行列は、IPT-PQと一緒に、VUI（Video Usability Information［ビデオ使用可能性情報］）において参照されることができる。

【0076】

〈複数色相および彩度整形（multiple-hue and saturation reshaping）〉
いくつかの実施形態では、整形を複数の色相に対して適用することが有益であることがある。これは、整形された色空間がレガシー色にマッチする精度を高めるが、デコーダでの追加的な計算が代償となる。たとえば、N個の色相（たとえば肌色、空、緑など）について整形を最適化する問題を考える。ある実施形態では、先に論じたプロセスを繰り返して一組の最適な角度および彩度を色相の関数として同定してもよい。たとえば、多様な色相についてのデータベース画像を使って、最適な（回転角、彩度スケール）値の集合、たとえば{(a₁,b₁),(a₂,b₂),...,(a_N,b_N)}を生成しうる。あるいはより一般に、ピクセルpについて、

【0077】

【数18】

が最適なクロマ（色相）回転および彩度スケーリング値を表わすとする。ここで、h(p)はピクセルpについての色相（hue）の指標である。たとえば、IPT-PQ色空間について、f_Hおよびf_S関数が色相h(p)および彩度s(p)関数を用いて計算されてもよい。

【0078】

【数19】

関数f_H(h(p))およびf_S(h(p))は、当技術分野で知られている多様な仕方で、たとえばルックアップテーブルまたは区分線形もしくは非線形な多項式として、表現され、記憶されることができ、エンコーダからデコーダにメタデータとして信号伝達されることができる。

【0079】

f_H(h(p))およびf_S(h(p))を与えられて、エンコーダは次の整形関数

【0080】

【数20】

を各ピクセルに適用して、適切な整形された信号を生成する。たとえば、IPT-PQ色空間について、ピクセルpについての整形されたP'およびT'色成分は

【0081】

【数21】

を使って導出されてもよい。

【0082】

デコーダでは、プロセスが反転される。たとえば、f_H(h(p))およびf_S(h(p))を与えられて、式(14)および(16)から、デコーダは

【0083】

【数22】

を生成する。

【0084】

デコーダにおける除算を回避するために、いくつかの実施形態では、エンコーダはデコーダにf_S(h(p))の逆数（たとえば1/b(p)の値）を信号伝達してもよい。IPT-PQでの入力データについて、もとのデータは

【0085】

【数23】

として表現されてもよい。

【0086】

式(17)から、逆整形を適用して好ましい色空間におけるデータを復元することは、三角関数演算を必要とする。いくつかの実施形態では、三角関数演算はルックアップテーブルを使って実行されてもよい。例として、式(18)から、式(19)は次のように書き換えられる。

【0087】

【数24】

これらの演算は、余弦および正弦関数を計算するための好適なルックアップテーブルを使ってさらに単純化されてもよい。

【0088】

図７のＡは、レガシー色空間がYCbCr-ガンマであるときの、色相を、整形されたIPT-PQ-r（これはレガシー装置にはYCbCrのように見える）からIPT-PQに変換し戻す例示的な後方整形関数を描いている。図７のＢは、彩度を調整するための対応する後方整形関数を描いている。図８は、好ましい色空間IPT-PQ（８２０）が、レガシーYCbCr色空間（８１０）の特性にマッチするためにどのように調整されうるかを描いている。射線（８３０）は回転およびスケーリングを描いている。

【0089】

もう一つの実施形態では、色相の余弦および正弦関数を用いてPおよびTの値を計算する代わりに、色相の他の何らかの関数（たとえばf(tan^-1(h(p)))）に基づいて生成されたルックアップテーブルを用いて、より単純なデコーダを構築することができる。たとえば、整形されたピクセル値成分P'_r(p)およびT'_r(p)を与えられて、ある実施形態では、デコーダはもとのピクセル値を次のように復元しうる。

【0090】

【数25】

ここで、v()およびw()は、整形された色空間がレガシー色空間における色相および彩度の集合にマッチするよう生成された、色相に関係した関数を表わす。v()およびw()関数は、以前と同様、エンコーダからデコーダに、メタデータを使って通信されることができ、あるいはエンコーダおよびデコーダの両方によって知られている確立された符号化プロトコルまたは標準の一部であることができる。

【0091】

〈IC_TC_P色空間〉
ICtCp（またはIPT）とも称されるIC_TC_Pは、高ダイナミックレンジおよび広色域（WCG: wide color gamut）信号を処理するために特に設計された、提案されている新しい色空間である。IPT-PQと同様に、I（強度）はPQエンコードされた信号の輝度を表わし、第３色覚（Tritan）軸C_Tは青黄知覚に対応し、第１色覚（Protan）軸C_Pは赤緑色知覚に対応する。IPT-PQの論じられた特徴に加えて、IC_TC_Pでは、
・先述したように、クロマは肌色をYCbCrにより近く揃えるよう回転される、
・XYZからLMSの行列は、WCG画像についての、よりよい一様性および線形性のために最適化される、
・L'M'S'からICtCpの行列は、HDRおよびWCG画像に関して等ルミナンス性および安定性を改善する。

【0092】

本稿での用法では、用語「等ルミナンス性」は、ルミナンス（たとえばICtCpのIまたはY'Cb'Cr'のY'）がどのくらいよくルミナンスYに対応するかの指標をいう。間接的に、等ルミナンス性は、色空間がどのくらいよくルーマをクロマから分離するかを測る。発明者らによって実行された実験は、ICtCpのIはY'Cb'Cr'のY'よりもずっと近くルーマに対応することを示している。

【0093】

実装の観点からは、IC_TC_P色空間を使うことは、伝統的なガンマ符号化されたYCbCrを使うのと同じハードウェアおよび信号フローを必要とする。たとえば、カメラ・パイプラインにおいてガンマ補正されたYCbCr（Y'Cb'Cr'）を考える。XYZから始まって、プロセスは以下の段階を必要とする：
ａ）3×3行列を使ってXYZからRGB BT.2020に変換、
ｂ）段階ａ）の出力に逆EOTF（またはOETF）を適用、
ｃ）段階ｂ）の出力に3×3行列を適用。

【0094】

図２に描かれるように、IC_TC_P色を使うことは、以下の段階を必要とする：
ａ）段階（２２０）では、XYZからLMSに変換。これは好ましい実施形態では次の3×3行列を使う：

【0095】

【数26】

これは、式(1a)のXYZからLMSの3×3行列をc＝0.04のクロストーク行列と組み合わせることに対応する（式(1c)も参照）。
ｂ）段階（２２５）では、先述したようにPQ非線形性を適用することによって、信号（２２２）をL'M'S'に変換。
ｃ）段階（２３０）では、3×3行列を使ってL'M'S'からIC_TC_Pに変換。この行列はある好ましい実施形態では次のように定義されてもよい。

【0096】

【数27】

式(23)は式(12b)の回転行列に、式(2b)のもとのL'M'S'からI'P'T'の行列をかけることに対応する。

【0097】

もう一つの実施形態では、段階ａ）ないしｃ）は次のように表わせる：

【0098】

【数28】

ここで、RGB_BT.2020はBT.2020におけるRGB値の三項組を表わし、EOTF^-1_ST2084はSMPTE ST2084に基づくEOTFの逆関数を表わす。いくつかの実施形態では、EOTF^-1_ST2084関数は、ハイブリッド対数ガンマ（HLG: Hybrid Log-Gamma）関数のような別の非線形量子化関数によって置換されてもよい。完備な参照のために、適切な式を表２にもまとめておく。ここで、添え字Dはディスプレイ光を指す。

【0099】

【表2】

IC_TC_Pからもとの色空間への変換は、同様のアプローチに従い、ある実施形態では、以下の段階を含んでいてもよい。
ａ）式(23)の逆または

【0100】

【数29】

を使ってIC_TC_PからL'M'S'に変換。
ｂ）信号のEOTF関数（たとえばST2084で定義されるもの）を使ってL'M'S'信号をLMSに変換。
ｃ）式(22)の逆、たとえば

【0101】

【数30】

を使ってLMSからXYZに変換。

【0102】

ある実施形態では、対応するL'M'S'からRGBおよびIC_TC_PからL'M'S'の行列は

【0103】

【数31】

によって与えられる。

【0104】

〈参照ディスプレイ管理〉
高ダイナミックレンジ・コンテンツは、コンテンツをマスタリングするために使われた参照ディスプレイより小さいダイナミックレンジをもつディスプレイで見られることがある。より低いダイナミックレンジをもつディスプレイでHDRコンテンツを見るために、ディスプレイ・マッピングが実行されるべきである。これは、ディスプレイにおけるEETF（electrical-electrical transfer function［電気‐電気伝達関数］）の形を取ることができ、これは典型的にはディスプレイのためにEOTFを適用する前に適用される。この関数は、ハイライトおよびシャドーから優雅にロールオフするよう、つま先と肩を与え、芸術的意図の保存と詳細の維持との間のバランスを提供する。図９は、完全な0〜10000ニトのダイナミックレンジから0.1〜1000ニトに対応しているターゲット・ディスプレイへの例示的なEETFマッピングである。EETFはPQ信号に導入されてもよい。プロットは、マッピングの効果を示している。すなわち、プロットは、意図される光がどのように実際の表示される光に変えられるかを示している。

【0105】

下記は、さまざまな黒および白のルミナンス・レベルのディスプレイのための、このトーンマッピング関数を実装する数学的段階である。EETFは、IC_TC_PもしくはY'C'_BC'_Rにおけるルーマ・チャネルまたはRGBチャネルに、非線形ドメインにおいて適用されてもよい。

【0106】

EETFの計算：
トーンマッピング曲線の中央領域は、ソースからターゲットへの一対一マッピングとして定義される。ダイナミックレンジをターゲット・ディスプレイの機能まで縮小するために、追加的なつま先および肩のロールオフが、エルミート・スプラインを使って計算される。

【0107】

スプラインのための転換点（つま先開始（TS: Toe Start）および肩開始（SS: Shoulder Start））がまず定義される。これらは、ロールオフが始まる点である。minLumおよびmaxLumがターゲット・ディスプレイの最小および最大ルミナンス値を表わすとすると、次のようになる。

【0108】

【数32】

規格化されたPQ符号語におけるソース入力信号E₁を与えられたとき、出力E₂は次のように計算される。

【0109】

【数33】

別の実施形態では：

【0110】

【数34】

結果として得られるEETF曲線は、IC_TC_Pの強度IチャネルまたはY'C'_BC'_RのルーマYチャネルに適用されることができる。注目すべきオプションが二つある。

【0111】

１）IC_TC_PのI――EETFを通じてIC_TC_Pの強度（I）チャネルを処理する
I₂＝EETF(I₁)
・グレースケールをより正確に調整する
・色シフトなし
・彩度の変化が必要とされ、式

【0112】

【数35】

を使ってC_TおよびC_Pチャネルに適用されるべきである。

【0113】

２）Y'C'_BC'_RのY'――EETFを通じてY'C'_BC'_RのルーマY'チャネルを処理する
Y'₂＝EETF(Y'₁)
・グレースケールをより正確に調整する
・限られた色シフト
・彩度の変化が必要とされ、式

【0114】

【数36】

を使ってC'_BおよびC'_Rチャネルに適用されるべきである。

【0116】

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電気回路およびコンポーネントにおいて構成されたシステム、集積回路（IC）デバイス、たとえばマイクロコントローラ、フィールドプログラマブルゲートアレイ（FPGA）または他の構成可能もしくはプログラム可能な論理デバイス（PLD）、離散時間もしくはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび／またはICは、本稿に記載されるような、向上ダイナミックレンジをもつ画像の信号整形および符号化に関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載される信号整形および符号化プロセスに関係する多様なパラメータまたは値の任意のものを計算しうる。画像およびビデオ実施形態はハードウェア、ソフトウェア、ファームウェアおよびそのさまざまな組み合わせにおいて実装されうる。

【0117】

本発明のある種の実施形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサは、プロセッサにとってアクセス可能なプログラム・メモリ内のソフトウェア命令を実行することによって上記のようなHDR画像の信号整形および符号化に関係する方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに、データ・プロセッサに本発明の方法を実行させる命令を有する一組のコンピュータ可読信号を担持するいかなる非一時的な媒体を含んでいてもよい。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいずれであってもよい。プログラム・プロダクトはたとえば物理的な媒体を含んでいてもよい。物理的な媒体とは、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光学式データ記憶媒体、ROM、フラッシュRAMを含む電子的データ記憶媒体などといったものである。プログラム・プロダクト上のコンピュータ可読信号は、任意的に、圧縮または暗号化されていてもよい。

【0118】

あるコンポーネント（たとえばソフトウェア・モジュール、プロセッサ、アセンブリー、デバイス、回路など）が上記で言及される場合、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、そのコンポーネントの等価物として、記載されるコンポーネントの機能を実行する（たとえば、機能的に等価な）任意のコンポーネントを含むものとして解釈されるべきである。それには、開示される構造と構造的に等価ではないが、本発明の例解されている例示的実施形態における機能を実行するコンポーネントが含まれる。

【0119】

〈等価物、拡張、代替その他〉
HDR画像の効率的な信号整形および符号化に関係する例示的実施形態についてこのように記載されている。以上の明細書では、本発明の実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であり、出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの態様を記載しておく。
〔態様１〕
後方互換なデコードを改善する方法であって：
プロセッサにより画像データベース（６０５）にアクセスする段階と；
第一の色空間における前記データベース中の画像の第一色相値を計算する段階（６１０）と；
第二の色空間における前記データベース中の画像の第二色相値を計算する段階（６１５）と；
色相コスト関数を最小化することに基づいて色相回転角を計算する段階（６２０）であって、前記色相コスト関数は前記第一色相値と回転された第二色相値の差の指標に基づく、段階と；
前記色相回転角に基づいて色回転行列を生成する段階（６２５）とを含む、
方法。
〔態様２〕
前記第一の色空間における前記データベース中の画像の第一彩度値を計算する段階（６１０）と；
前記データベース中の画像を前記第二の色空間に変換して変換された画像を生成する段階と；
前記変換された画像に前記色回転行列を適用して色回転された画像を生成する段階と；
前記色回転された画像の第二の彩度値を計算する段階（６４５）と；
彩度コスト関数を最小化することに基づいて彩度スケーラーを計算する段階（６３０）であって、前記彩度コスト関数は前記第一彩度値とスケーリングされた第二色相値の差の指標に基づく、段階と；
前記彩度スケーラーに基づいてスケーリング・ベクトルを生成する段階とをさらに含む、
態様１記載の方法。
〔態様３〕
前記色回転行列および前記スケーリング・ベクトルを組み合わせて整形色行列を生成する段階をさらに含む、態様２記載の方法。
〔態様４〕
前記第一の色空間がガンマ符号化YCbCr色空間であり、前記第二の色空間がPQ符号化IPT色空間である、態様１記載の方法。
〔態様５〕
前記第一の色空間がRec.709 YCbCr色空間であり、前記第二の色空間がRec.2020 YCbCr色空間である、態様１記載の方法。
〔態様６〕
前記色回転行列が

【数37】

であり、a'は前記色相回転角を表わす、態様１記載の方法。
〔態様７〕
前記スケーリング・ベクトルが

【数38】

であり、b'が前記彩度スケーラーである、態様２記載の方法。
〔態様８〕
前記第一の色空間がRec.709 YCbCr色空間であり、前記第二の色空間がST2084 IPT色空間（ITP-PQ）であり、前記色回転行列が

【数39】

である、態様１記載の方法。
〔態様９〕
前記整形行列が

【数40】

であり、a'は前記色相回転角を表わし、b'は前記彩度スケーラーを表わす、態様３記載の方法。
〔態様１０〕
前記第二の色空間における入力画像（２３２）を受領する段階と；
前記入力画像に前記色回転行列を適用して色回転された画像を生成する段階（５１０）と；
エンコーダを使って前記色回転された画像をエンコードして、符号化された画像を生成する段階（３１０）とをさらに含む、
態様１記載の方法。
〔態様１１〕
前記第二の色空間における入力画像（２３２）を受領する段階と；
前記入力画像に前記整形行列を適用して整形された画像を生成する段階（５１０）と；
エンコーダを使って前記整形された画像をエンコードして、符号化された画像を生成する段階（３１０）とをさらに含む、
態様２記載の方法。
〔態様１２〕
前記エンコードする段階の前に前記整形された画像のルミナンス値にトーンマッピング関数（３０５）を適用する段階をさらに含む、
態様１０または１１記載の方法。
〔態様１３〕
前記整形行列に基づく情報を、メタデータとしてデコーダに信号伝達することを含む、
態様１１記載の方法。
〔態様１４〕
前記メタデータが：
色回転およびスケーリング行列の有無を示すフラグと；
前記フラグが前記色回転およびスケーリング行列が存在することを示すときは、前記色回転およびスケーリング行列に基づく複数の係数とを含む、
態様１１記載の方法。
〔態様１５〕
前記第二の色空間がIPT色空間であり、色変換器において、デフォルトのLMSからIPTへの変換行列が、前記デフォルトのLMSからIPTへの変換行列と前記色整形行列との積によって置き換えられる、態様３記載の方法。
〔態様１６〕
デコーダにおいて、整形された色空間において符号化された入力画像を再構成する方法であって：
整形された色空間における符号化された入力画像（３１２）を受領する段階であって、前記整形された色空間は、レガシー色空間の一つまたは複数のパラメータを近似するために好ましい色空間のクロマ成分を回転させることによって生成されている、段階と；
エンコーダから当該デコーダに伝送されたメタデータ（３０９）にアクセスする段階であって、前記メタデータは前記符号化された入力画像に関連付けられており：
色回転およびスケーリング行列の有無を示すフラグ；および
前記フラグが前記色回転およびスケーリング行列が存在することを示すときは、前記色回転およびスケーリング行列のための複数の係数を含む、段階と；
前記符号化された入力画像をデコード（３１５）して、前記整形された色空間におけるデコードされた画像を生成する段階と；
前記整形された色空間における前記デコードされた画像および前記色回転およびスケーリング行列に基づいて、前記好ましい色空間におけるデコードされた画像を生成する段階とを含む、
方法。
〔態様１７〕
前記レガシー色空間の前記一つまたは複数のパラメータが、色相または彩度の指標を含む、態様１６記載の方法。
〔態様１８〕
前記レガシー色空間がガンマ符号化YCbCr色空間であり、前記好ましい色空間がPQ符号化IPT色空間である、態様１６記載の方法。
〔態様１９〕
後方互換なデコードを改善する方法であって：
好ましい色空間における入力画像を受領する段階と；
色相回転関数にアクセスする段階であって、前記好ましい色空間における前記入力画像中のピクセルの色相値について、前記色相回転関数は、色相コスト基準に基づいてレガシー色空間における色相値にマッチする、回転された色相出力値を生成する、段階と；
前記入力画像および前記色相回転関数に基づいて、整形された画像を生成する段階と；
前記整形された画像をエンコードして、符号化された整形された画像を生成する段階とを含む、
方法。
〔態様２０〕
彩度スケーリング関数にアクセスする段階であって、前記好ましい色空間における前記入力画像中のピクセルの前記色相値について、前記彩度スケーリング関数は、彩度コスト基準に基づいてレガシー色空間における色相飽和値にマッチする、スケーリングされた彩度をもつ色相値を生成する、段階と；
前記入力画像、前記色相回転関数および前記彩度スケーリング関数に基づいて、前記整形された画像を生成する段階とをさらに含む、
態様１９記載の方法。
〔態様２１〕
デコーダにおいて、整形された色空間において符号化された入力画像を再構成する方法であって：
整形された色空間においてエンコードされた入力画像にアクセスする段階と；
前記入力画像に関連付けられたメタデータにアクセスする段階であって、前記メタデータは、ある好ましい色空間から前記整形された色空間に前記入力画像を変換するために使われた色相回転関数に関連したデータを含み、前記好ましい色空間における前記入力画像中のピクセルの色相値について、前記色相回転関数は、色相コスト基準に基づいてレガシー色空間における色相値にマッチする、回転された色相出力値を生成する、段階と；
前記入力画像および前記色相回転関数に関連した前記データに基づいて前記好ましい色空間における出力画像を生成する段階とを含む、
方法。
〔態様２２〕
前記メタデータがさらに、前記好ましい色空間から前記整形された色空間に前記入力画像を変換するために使われた彩度スケーリング関数に関連したデータを含み、前記好ましい色空間における前記入力画像中のピクセルの前記色相値について、前記彩度スケーリング関数は、彩度コスト基準に基づいてレガシー色空間における色相飽和値にマッチする、スケーリングされた彩度をもつ色相値を生成する、段階と；
前記入力画像ならびに前記色相回転関数および前記彩度スケーリング関数に関連した前記データに基づいて前記好ましい色空間における前記出力画像を生成する段階とを含む、
態様２１記載の方法。
〔態様２３〕
プロセッサを有し、態様１ないし２２のうちいずれか一項記載の方法を実行するよう構成されている装置。
〔態様２４〕
一つまたは複数のプロセッサにより、態様１ないし２２のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】