特許 7138935 ＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換装置及びＨＤＲ広色域映像変換方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-09

(45)【発行日】2022-09-20

(54)【発明の名称】ＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換装置及びＨＤＲ広色域映像変換方法

(51)【国際特許分類】

   H04N 9/77 20060101AFI20220912BHJP

   H04N 1/60 20060101ALI20220912BHJP

   G06T 5/00 20060101ALI20220912BHJP

   G06T 1/00 20060101ALI20220912BHJP

【ＦＩ】

H04N9/77

H04N1/60

G06T5/00 735

G06T1/00 510

【請求項の数】 8

(21)【出願番号】P 2018197390

(22)【出願日】2018-10-19

(65)【公開番号】P2020065220

(43)【公開日】2020-04-23

【審査請求日】2021-09-14

(73)【特許権者】

【識別番号】391040320

【氏名又は名称】株式会社朋栄

(74)【代理人】

【識別番号】100148851

【弁理士】

【氏名又は名称】鎌田 和弘

(72)【発明者】

【氏名】松永 力

【審査官】西谷 憲人

(56)【参考文献】

【文献】特開２０１７－０９２９２０（ＪＰ，Ａ）

【文献】特開２０１８－０９３５３０（ＪＰ，Ａ）

【文献】特開平０７－０９９５８６（ＪＰ，Ａ）

【文献】特開２０１５－１１１９５９（ＪＰ，Ａ）

【文献】国際公開第２０１７／２０３９４２（ＷＯ，Ａ１）

【文献】特表２０１８－５２５８８３（ＪＰ，Ａ）

【文献】国際公開第２０１７／１５８４６３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ９／７７

Ｈ０４Ｎ １／６０

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

ＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換装置において、
入力ＨＤＲ画像におけるＹｘｙ表色系画像データの輝度値Ｙをトーンマッピング（ＴＭ）処理して輝度値Ｙ’として出力するトーンマッピング処理部と、
前記トーンマッピング処理部から出力された輝度値Ｙ’と前記入力ＨＤＲ画像における色域ｘｙを斜交座標系に変換したｘ’ｙ’値と、を三次元ルックアップテーブル（３ＤＬＵＴ）を用いて、色域マッピング処理して、ＲＧＢデータとして出力する色域マッピング処理部と、を備える
ことを特徴とするＨＤＲ広色域映像変換装置。

【請求項2】

請求項１に記載のＨＤＲ広色域映像変換装置において、
前記色域マッピング処理部は、前記３ＤＬＵＴにおいて、前記入力ＨＤＲ画像におけるＹｘｙ表色系画像データをＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系に基づいたｈｄｒ－ＣＩＥＬＵＶ表色系に変換して、色相毎に、明度Ｌ＊を維持して色差ｕ＊ｖ＊に対して彩度をソフトクリップ／ソフトニー処理をする明度保存色域マッピング処理を行う
ことを特徴とするＨＤＲ広色域映像変換装置。

【請求項3】

請求項１または請求項２に記載のＨＤＲ広色域映像変換装置において、
前記色域マッピング処理部は、前記３ＤＬＵＴを用いた補間処理をして前記ＴＭ処理に起因するガマット誤差を補正する
ことを特徴とするＨＤＲ広色域映像変換装置。

【請求項4】

請求項１乃至請求項３のいずれか一項に記載のＨＤＲ広色域映像変換装置において、
前記トーンマッピング処理部は、画面全体に対して、一様なレベル変換を行うグローバルトーンマッピング（ＴＭ）処理を遂行する
ことを特徴とするＨＤＲ広色域映像変換装置。

【請求項5】

ＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換方法において、
入力ＨＤＲ画像におけるＹｘｙ表色系画像データの輝度値Ｙをトーンマッピング（ＴＭ）処理して輝度値Ｙ’として出力するトーンマッピング処理工程と、
前記トーンマッピング処理工程で出力された輝度値Ｙ’と前記入力ＨＤＲ画像における色域ｘｙを斜交座標系に変換したｘ’ｙ’値と、を三次元ルックアップテーブル（３ＤＬＵＴ）を用いて、色域マッピング処理して、ＲＧＢデータとして出力する色域マッピング処理工程と、を有する
ことを特徴とするＨＤＲ広色域映像変換方法。

【請求項6】

請求項５に記載のＨＤＲ広色域映像変換方法において、
前記色域マッピング処理工程は、前記３ＤＬＵＴにおいて、前記入力ＨＤＲ画像におけるＹｘｙ表色系画像データをＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系に基づいたｈｄｒ－ＣＩＥＬＵＶ表色系に変換して、色相毎に、明度Ｌ＊を維持して色差ｕ＊ｖ＊に対して彩度をソフトクリップ／ソフトニー処理をする明度保存色域マッピング処理を行う
ことを特徴とするＨＤＲ広色域映像変換方法。

【請求項7】

請求項５または請求項６に記載のＨＤＲ広色域映像変換方法において、
前記色域マッピング処理工程は、前記３ＤＬＵＴを用いた補間処理をして前記ＴＭ処理に起因するガマット誤差を補正する
ことを特徴とするＨＤＲ広色域映像変換方法。

【請求項8】

請求項５乃至請求項７のいずれか一項に記載のＨＤＲ広色域映像変換方法において、
前記トーンマッピング処理工程は、画面全体に対して、一様なレベル変換を行うグローバルトーンマッピング（ＴＭ）処理を遂行する
ことを特徴とするＨＤＲ広色域映像変換方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、色相を維持した高い色再現特性を実現するための、ＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換装置及びＨＤＲ広色域映像変換方法等に関する。

【背景技術】

【0002】

ＨＤＲ画像をＳＤＲ画像に変換する処理は、トーンマッピング（Tone mapping，TM）と称されて、グラフィックスの分野で多＜の研究がなされており、様々な手法が提案されている。ＴＶ放送等（業務用）で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。カメラ内部でも、古くからダイナミックレンジの圧縮として、ニー（Ｋｎｅｅ）と呼ばれる処理が用いられてきた。色域マッピングに関しては、従来から３次元ルックアップテーブル（３ＤＬＵＴ）補間を用いた技術が存在する。

【先行技術文献】

【非特許文献】

【0003】

【文献】E. Reinhard，G.Ward，S.Pattanaik，and P. Debevec，High Dynamic Range Imaging: Acquisition，Display，and Image-based Lighting，Amsterdam，Elsevier／Morgan Kaufmann，2005.

【文献】S.Iwaida et al. Reproduction of Perceptual Reality in Standard-Dynamic-Range （SDR） Environments Using High-Dynamic-Range （HDR） Images Compressed by Global Tone Mapping, SID2017 DIGEST, P-216L.

【文献】H. R. Kang, Computational Color Technology, SPIE Publications, May 2006.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、これまでのトーンマッピング処理におけるカラー画像の扱いについては、トーンマッピング処理前後の輝度値の比によるＲＧＢ等比圧縮の結果をべき乗補正する方法や、ｘｙＹ表色系に変換して、輝度値Ｙのみを処理して、ＲＧＢ値に戻す方法が非特許文献１に示されているが、いずれも十分とは言えない。画像によっては、どのようにトーンマッピングを行っても、色域を越えるガマット誤差が発生し得る。ガマット誤差の発生は、画像によるから、色域マッピングに３ＤＬＵＴ補間をＲＧＢ入力として適用することはできない。映像の明るさは、フレーム毎に変化する可能性があり、トーンマッピング処理を固定化することは難しい。一方、映像における色域は国際標準として定められており、明るさにより表現できる色の彩度値（直感的には色の濃さ）も変化するが、３ＤＬＵＴ補間により処理を固定化することは、比較的容易であると思われる。しかし、トーンマッピング処理と色域マッピング処理を分離した場合、トーンマッピングに起因するガマット誤差をどう扱うかが課題となる。

【課題を解決するための手段】

【0005】

トーンマッピングと色域マッピングの各処理を分離する。トーンマッピング処理としては、放送で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。トーンマッピング処理に起因するガマット誤差に対しては、輝度値Ｙのトーンマッピング処理結果と、入力ＨＤＲ画像におけるｘｙ値を入力として、色域マッピング処理を行う。実際の計算は、ｘｙＹ入力とする３ＤＬＵＴ補間により計算する。入力画像における色域を斜交座標系で表現して、ｘｙＹ入力値を忠実に処理することにより、トーンマッピング処理によって発生するガマット誤差を厳密に扱うことが可能となる。３ＤＬＵＴ内部では、ｘｙＹ入力をＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系に基づいたｈｄｒ－ＣＩＥＬＵＶ表色系に変換して、明度Ｌ＊（明るさ）はそのままに、色差ｕ＊ｖ＊に対して、色相ｈ毎に彩度をソフトクリップ／ソフトニー処理する明度保存色域マッピング処理を行う。

【0006】

また、本発明のＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換装置は、ＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換装置において、入力ＨＤＲ画像におけるＹｘｙ表色系画像データの輝度値Ｙをトーンマッピング（ＴＭ）処理して輝度値Ｙ’として出力するトーンマッピング処理部と、トーンマッピング処理部から出力された輝度値Ｙ’と入力ＨＤＲ画像における色域ｘｙを斜交座標系に変換したｘ’ｙ’値と、を三次元ルックアップテーブル（３ＤＬＵＴ）を用いて、色域マッピング処理して、ＲＧＢデータとして出力する色域マッピング処理部と、を備えることを特徴とする。

【0007】

また、本発明のＨＤＲ広色域映像変換装置は好ましくは、色域マッピング処理部が、３ＤＬＵＴにおいて、入力ＨＤＲ画像におけるＹｘｙ表色系画像データをＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系に基づいたｈｄｒ－ＣＩＥＬＵＶ表色系に変換して、色相毎に、明度Ｌ＊を維持して色差ｕ＊ｖ＊に対して彩度をソフトクリップ／ソフトニー処理をする明度保存色域マッピング処理を行うことを特徴とする。

【0008】

また、本発明のＨＤＲ広色域映像変換装置はさらに好ましくは、色域マッピング処理部が、３ＤＬＵＴを用いた補間処理をしてＴＭ処理に起因するガマット誤差を補正することを特徴とする。

【0009】

また、本発明のＨＤＲ映像をＳＤＲ映像に変換するＨＤＲ広色域映像変換方法は好ましくは、入力ＨＤＲ画像におけるＹｘｙ表色系画像データの輝度値Ｙをトーンマッピング（ＴＭ）処理して輝度値Ｙ’として出力するトーンマッピング処理工程と、トーンマッピング処理工程で出力された輝度値Ｙ’と入力ＨＤＲ画像における色域ｘｙを斜交座標系に変換したｘ’ｙ’値と、を三次元ルックアップテーブル（３ＤＬＵＴ）を用いて、色域マッピング処理して、ＲＧＢデータとして出力する色域マッピング処理工程と、を有することを特徴とする。

【0010】

また、本発明のＨＤＲ広色域映像変換方法は好ましくは、色域マッピング処理工程は、３ＤＬＵＴにおいて、入力ＨＤＲ画像におけるＹｘｙ表色系画像データをＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系に基づいたｈｄｒ－ＣＩＥＬＵＶ表色系に変換して、色相毎に、明度Ｌ＊を維持して色差ｕ＊ｖ＊に対して彩度をソフトクリップ／ソフトニー処理をする明度保存色域マッピング処理を行うことを特徴とする。

【0011】

また、本発明のＨＤＲ広色域映像変換方法はさらに好ましくは、色域マッピング処理工程は、３ＤＬＵＴを用いた補間処理をしてＴＭ処理に起因するガマット誤差を補正することを特徴とする。

【発明の効果】

【0012】

本発明では、ＨＤＲ広色域映像のための色再現性を考慮した色域トーンマッピング処理及びＨＤＲ広色域映像変換装置を実現できる。xｙＹ値を均等色空間であるＣＩＥＬＵＶ表色系をＨＤＲ拡張したｈｄｒ－ＣＩＥＬＵＶ表色系に変換して、明度を保存して、色相毎に彩度をソフトクリップすることにより、入力ＨＤＲ画像における色相を保持した色再現性の高い色域マッピングが可能となる。トーンマッピング処理を分離することにより、明るさの変化に対応しつつ、トーンマッピング処理により発生するガマット誤差を厳密に扱うことが可能となる。

【図面の簡単な説明】

【0013】

【図1】色域トーンマッピング処理概要を説明するブロック図である。

【図2】トーンマッピング処理の結果のｘｙＹ入力とする明度保存色域マッピング処理の詳細ブロック図である。

【図3】ｈｄｒ－ＣＩＥＬＵＶ表色系における明度保存色域マッピング処理の流れを示す図である。

【図4】ソフトクリップ処理におけるソフトクリップ関数例を示す図である。

【図5】ソフトニー処理におけるソフトニー関数例を示す図である。

【図6】ＢＴ．２０２０色域領域の斜交座標による表現例を説明する図である。

【図7】Ｌ_whiteを変化させたときのＬ_ｄをプロットした図である。

【図8】ｈｄｒ－ＣＩＥＬＵＶ表色系における明度に対する色域限界彩度値の結果を説明する図である。

【図9】評価用ＨＤＲ画像の色域マッピング処理を３ＤＬＵＴ補間により計算した結果の３ＤＬＵＴサイズに対する平均色相差Δｈと平均色差ΔＥのグラフである。

【図10】色域トーンマッピング処理の画像例である。

【発明を実施するための形態】

【0014】

（概要）
本実施形態では、ハイダイナミックレンジ（ＨＤＲ）広色域映像を標準ダイナミックレンジ（ＳＤＲ）狭色域映像へ変換するための色再現性を考慮した色域トーンマッピング処理を提案する。トーンマッピング処理の結果の輝度値Ｙと入力ＨＤＲ画像におけるｘｙ値に対して、色域マッピング処理を行う。色域マッピングはＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系に基づいたｈｄｒ－ＣＩＥＬＵＶ表色系において、色相毎に明度を保存して、彩度に対してソフトクリップ処理をする。実際の計算は、３次元ルックアップテーブル（３ＤＬＵＴ）補間により行い、トーンマッピング処理によるガマット誤差を回避しつつ、入力ＨＤＲ画像における色相を厳密に保持する色域マッピングを可能とする。

【0015】

本実施形態の画像処理手順の特徴として、
・トーンマッピング処理の結果の輝度値Ｙと入力ＨＤＲ画像におけるｘｙ値を入力とする色域マッピング処理において、入力画像における色域を斜交座標系により表現することから、入力ｘｙ値に忠実な色域マッピンク処理が可能となる。
・トーンマッピング処理の結果の輝度値Ｙと入力ＨＤＲ画像におけるｘｙ値を入力とする色域マッピング処理において、入力画像における色域を斜交座標系により表現することから、３ＤＬＵＴを効率的に生成することが可能となる。
・トーンマッピング処理の結果の輝度値Ｙと入力ＨＤＲ画像におけるｘｙ値を入力とする色域マッピング処理において、３ＤＬＵＴ内部では、ｘｙＹ値をＨＤＲ拡張したｈｄｒ－ＣＩＥＬＵＶ表色系に変換し、明度Ｌ＊を保存して、色差ｕ＊，ｖ＊を色相毎に彩度をソフトクリップ／ソフトニー処理するものとできる。
・ＲＧＢ→ｘｙＹ変換、および輝度値Ｙに対するトーンマッピング処理を行う。
・トーンマッピング処理結果の輝度値Ｙと、入力ＨＤＲ画像におけるｘｙ値を入力として、入力色域を斜交座標系で表現して、明度保存色域マッピング処理の予め計算した結果を格納する３次元ルックアップテーブルを用いて補間処理するものとできる。
・トーンマッピング処理結果の輝度値Ｙと、入力ＨＤＲ画像におけるｘｙ値の上位ビットを入力として、入力色域を斜交座標系で表現するための、明度保存色域マッピング処理結果を格納した３次元ルックアップテーブルを読み出すためのアドレス計算部（ｘｙ値に対する直交座標→斜交座標変換部）を備えるものとできる。
・明度保存色域マッピング処理結果を格納した３次元ルックアップテーブルの読み出し結果と、入力ｘｙＹ値の下位ビット入力を用いて（ｘｙ値に関しては、斜交座標系に変換したｘ' ｙ'値）、補間計算を行う補間計算部を備えるものとできる。

【0016】

このような画像処理方法の実現としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、色域トーンマッピング処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。

【0017】

また、トーンマッピング処理と色域マッピング処理を分離することにより、トーンマッピング処理を独立に行うことが可能となることから、画面全体を一様にレベル変換するグローバルトーンマッピング処理のみならず、これまでに提案されている様々なトーンマッピング処理、例えば、注目画素近傍領域の画素も用いるローカルトーンマッピング処理を用いることも可能となる。勿論、予めシーンの明るさの事前情報が得られる場合等、トーンマッピング処理と色域マッピング処理を一体化した３ＤＬＵＴを生成して、用いることも可能である。

【0018】

（実施例）
図１は、色域トーンマッピング処理概要を説明するブロック図である。図１に示すように、ＨＤＲ広色域映像入力（BT.2020 HDR OETF YCbCr）の輝度色差ＹＣｂＣｒをＲＧＢに変換する（ＹＣｂＣｒ→ＲＧＢ）。そして、光電気伝達関数（OETF）により、ダイナミックレンジを圧縮されているため、電気光伝達関数（EOTF）により、リニアＲＧＢ（Linear ＲＧＢ）にレベル逆変換する。さらに、ＲＧＢ表色系からＸＹＺ表色系、そして、ｘｙＹ表色系に変換した後、輝度値Ｙをトーンマッピング処理する（Tone Mapping）。トーンマッピング処理の結果、輝度値ＹはＳＤＲ変換される。色を表すｘｙ値は直交座標から斜交座標へ変換する（Orthog→Obliq）。

【0019】

それらの処理結果であるｘ’ｙ’Ｙ’信号を色域マッピング処理（Gamut Mapping）する。色域マッピング処理は、予めｘｙＹ入力値に対して色域マッピング処理の計算結果を格納した３次元ルックアップテーブル（３ＤＬＵＴ）と補間処理（Interpolation）からなる。３ＤＬＵＴから出力される色域マッピング処理結果のＲＧＢ値をｘｙＹ入力における下位ビットを用いて補間処理する。最後に、色域マッピング処理結果のＲＧＢ値を輝度色差ＹＣｂＣｒに変換してＳＤＲ狭色域映像として出力する（BT.709SDR YCbCr）。

【0020】

また、図２は、トーンマッピング処理の結果のｘｙＹ入力とする明度保存色域マッピング処理の詳細ブロック図である。実際の計算は、入力値に対する色域マッピング処理の計算結果を格納した３ＤＬＵＴと補間処理により行われるものである。ｘｙＹ表色系入力をＸＹＺ表色系に変換し、さらにｈｄｒ－ＣＩＥＬＵＶ表色系Ｌ＊ｕ＊ｖ＊に変換して、色域マッピング処理を行う。

【0021】

トーンマッピング処理結果の輝度値を保持するために、明度Ｌ＊はそのままに、色差ｕ＊,ｖ＊を彩度Ｃ＊,色相ｈに変換して、Ｌ＊とｈにおける色域限界彩度Ｃ＊ｍａｘ７０９［Ｌ＊］,最大彩度値Ｃ＊ｍａｘ２０２０ＨＤＲにより、Ｃ＊をソフトクリップ／ソフトニー処理する。ソフトクリップ／ソフトニー処理結果の彩度Ｃ＊’にcos h,sin hを掛けて、色差ｕ＊’,ｖ＊’に戻した結果をＸＹＺ、さらにＲＧＢ表色系に変換して出力する。

【0022】

また、図３は、ｈｄｒ－ＣＩＥＬＵＶ表色系における明度保存色域マッピング処理の流れを示す図である。図３の座標は明度Ｌ＊、彩度Ｃ＊の２次元色空間を表しており、それぞれＢＴ.2020ＨＤＲ，ＢＴ.709ＨＤＲ，ＢＴ.709ＳＤＲの色域限界を示している。それぞれの色域限界は明度、色相によって異なる。

【0023】

入力ＨＤＲ画像におけるｘｙＹ値をＬ＊Ｃ＊ｈに変換して処理を行う。明度Ｌ＊ＩＮ（図３中の”１”）をトーンマッピング処理した結果（図３中の”２”）をソフトクリップ／ソフトニー処理により、ＢＴ.709ＳＤＲ色域内に色域マッピングする（図３中の”３”）。トーンマッピング処理による明度Ｌ＊は保持され、色相もそのままであり、彩度のみ変化する。ソフトクリップ／ソフトニー処理におけるソフトクリップ／ソフトニー関数例を図４及び図５に示す。

【0024】

すべての処理は、３ＤＬＵＴに予め計算した結果を格納したものを、入力に応じて読み出した結果を四面体あるいは立方体補間することにより計算する。このとき、アフィン変換された座標系である「斜交座標系（oblique coordinate system）」により、ｘｙ色度図における色域領域を表現することから、３ＤＬＵＴを効率的に生成することが可能となる。また、図６は、ＢＴ．２０２０色域領域の斜交座標による表現例を説明する図である。

【0025】

（ＨＤＲ広色域映像のための色再現性を考慮した色域トーンマッピング）
（概要）
ハイダイナミックレンジ（ＨＤＲ）広色域映像を標準ダイナミックレンジ（ＳＤＲ）狭色域映像へ変換するために色再現性を考慮した色域トーンマッピング処理を行う。トーンマッピング（ＴＭ）処理の結果の輝度値Ｙと入力ＨＤＲ画像におけるｘｙ値に対して、色域マッピング処理を行う。色域マッピング処理では、均等色空間であるＣＩＥＬＵＶ表色系をＨＤＲ拡張したｈｄｒ－ＣＩＥＬＵＶ表色系において、色相毎に明度を保存して、彩度に対してソフトクリップ処理する明度保存色域マッピング処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する。色域トーンマッピング処理における色再現性と３ＤＬＵＴサイズによる補間精度を評価する。

【0026】

（１ はじめに）
次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン［１１］）超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ－Ｒ勧告ＢＴ．２０２０（Recommendation ITU-R BT.2020-2, Parameter values for ultra-high definition television systems for production and international programme exchange （10/2015））として規定されている。映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）も、拡張された信号レベルを圧縮するための非線形の伝達関数がＩＴＵ－Ｒ勧告ＢＴ．２１００（Recommendation ITU-R BT.2100-1, Image parameter values for high dynamic range television for use in production and international programme exchange （06/2017））として規定された。

【0027】

４Ｋ／８Ｋ放送におけるＨＤコンテンツのリパーパス（repurpose）のためには、解像度変換が必要になる。近年、超解像技術が盛んに研究されている［１２］。その処理の多くは反復によるものであるが、松永は画像の局所的な時間空間方向による補間の重み付け平均とマルチスケール化した非線形エンハンサによる１パスビデオ超解像を提案した［８］。趙・松永［１９］は１パスビデオ超解像処理をＧＰＵにより高速化した。

【0028】

放送事業者は、現行地上デジタル放送がＨＤであっても、将来を見据えた４Ｋでのコンテンツ制作に取り組み始めている。４Ｋ／８Ｋ実用放送開始後も、ＨＤ放送を併存、継続していくことになると、４Ｋ／８Ｋ解像度・色域で収録した映像コンテンツを、逆にＨＤ解像度・色域へ変換しなければならない。ここで問題となるのは色域の変換であり、より広範囲な色域を持つ４Ｋ／８Ｋコンテンツを、より狭い色域のＨＤコンテンツに変換しなければならない。色域の変換は、プリンタやディスプレイヘカラー表示するための色域（ガマット）マッピング（Gamut Mapping, ＧＭ）処理が、カラーマネジメント技術として研究されてきた［３］，［１０］。

【0029】

松永［９］は、次世代テレビ放送４Ｋ／８Ｋ（スーパーハイビジョン）におけるＢＴ.２０２０色空間から、現行地上デジタル放送におけるＢＴ.７０９（Recommendation ITU-R BT. 709-5, Parameter values for the HDTV standards for production and international programme exchange （04/2002））色空間へ色域の変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均の最小化による色域マッピング値を計算した。そして、ＲＧＢ表色系を入出力とする３次元ルックアップテーブル（３ＤＬＵＴ）補間［６］による計算精度を実験的に評価した。

【0030】

近年、さらに、映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）に注目が集まっている。ＨＤＲ映像は１００％を越える信号レベルを様々な非線形の伝達関数によりレベル変換したものを、圧縮・伝送し、これを受像機側で元の信号レベル（リニアＲＧＢ）に戻して高輝度表示するものである。最新のカメラでは、イメージセンサの進化により、これまでのダイナミックレンジを越えて撮像することが可能となっており、「表示装置の技術向上により、『黒』の表示輝度は変えず、表示装置の最大輝度（ピーク輝度）を増大すること（ダイナミックレンジを拡張すること）が可能となった」「再現範囲が広がった領域をハイライト再現に用い、新たな視聴体験を提供する」「現実に近いハイライト再現（鏡面反射や光沢の再現）、ハイライト部の白飛びなどの改善効果がある」とされている（総務省「情報通信審議会情報通信技術分科会ＩＴＵ部会放送業務委員会（第１９回）配付資料」）。そして、解像度、色域同様にＨＤＲ制作されたコンテンツの標準ダイナミックレンジ（ＳＤＲ）映像への変換が必要とされている。ＨＤＲ画像をＳＤＲ画像に変換する処理は、トーンマッピング（Tone Mapping,ＴＭ）と呼ばれて、グラフィックスの分野で多くの研究がなされており、様々な手法が提案されている［１４］。放送で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。カメラ内部でも、古くからダイナミックレンジ圧縮として、ニー（Knee）と呼ばれる処理が用いられてきた（付録Ｂ）。しかし、これまでのトーンマッピング処理におけるカラー画像の扱いについては、処理結果の色相を保持するために、輝度値Ｙの処理結果を用いたＲＧＢ等比圧縮の結果をべき乗補正する方法や、ｘｙＹ表色系に変換して、輝度値Ｙのみ処理して、ＲＧＢに戻す方法が提案されているが［１４］、いずれも十分とは言えない。さらに、変換結果の色域まで考慮しているものは少ない［１８］，［１６］。

【0031】

本書面では、松永［９］による最適色域マッピングの枠組みをＨＤＲに適用するために拡張する。そして、トーンマッピング（ＴＭ）処理の結果を色域マッピングする。映像の明るさは、フレーム毎に変化する可能性があり、トーンマッピング処理を固定化することは難しい。一方、映像における色域は、国際標準（Recommendation ITU-R BT.2020-2, Parameter values for ultra-high definition television systems for production and international programme exchange （10／2015）、Recommendation ITU-R BT. 709-5, Parameter values for the HDTV standards for production and international pro gramme exchange （04／2002））として定められており、明るさにより表現できる色の彩度値も変化するが、３ＤＬＵＴ補間により処理を固定化することは比較的容易であると思われる。しかし、トーンマッピングと色域マッピングを分離した場合、トーンマッピングに起因するガマット誤差をどう扱うかが課題となる。図１に本書面で提案する色域トーンマッピング処理のブロック図を示している。

【0032】

本書面の構成は、２章で、均等色空間としてのＣＩＥＬＡＢ、ＣＩＥＬＵＶ表色系について纏める。さらに、ＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系を示す。３章で、ＨＤＲからＳＤＲヘダイナミックレンジを圧縮するReinhardグローバルトーンマッピング処理について説明する。４章でトーンマッピング処理の結果の明度を保存する色域マッピング値を計算する方法を説明する。５章でシミュレーション実験の結果を示し、６章で纏める。

【0033】

（２ ＣＩＥＬＡＢ，ＣＩＥＬＵＶ，ｈｄｒ－ＣＩＥＬＡＢ表色系）
（２．１ ＣＩＥＬＡＢ表色系）
ＸＹＺ表色系、ｘｙ色度図は測色の基礎として用いられているが［４］,［３］、色空間内における距離と実際の色の変化が場所によって大きく異なっている。そこで、均等色空間として、ＣＩＥＬ^＊ａ^＊ｂ^＊（ＣＩＥＬＡＢ）表色系（日本工業規格ＪＩＳ Ｚ8781-4:2013, 測色-第４部：CIE1976 L^*a^*b^*色空間,Colorimetry-Part4: CIE 1976 L^*a^*b^* Colour space）が考えられた［１５］。ＣＩＥＬＡＢ表色系における２色の色差を知るには、２色の座標のユークリッド距離を求めればよい。ＸＹＺ表色系におけるＸＹＺ値からＣＩＥＬＡＢ表色系におけるＬ^＊ａ^＊ｂ^＊値への変換式は次のようになる［１５］。

【0034】

【数1】

すべての変換には逆変換が存在する［１５］（詳細省略）。

【0035】

（２．２ ＣＩＥＬＵＶ表色系）
ｘｙ色度図に次のような平面射影変換を施すことにより、均等な色空間に近付ける。

【0036】

【数2】

【0037】

（２．３ ｈｄｒ－ＣＩＥＬＡＢ表色系［２］）
FairchildとChenは、ＣＩＥＬＡＢ表色系における非線形変換関数（４）をミカエリス－メンテン関数（Michaelis-Menten, M-M）と呼ばれるべき乗関数で近似することにより、ＨＤＲ拡張した［２］。

【0038】

【数3】

【0039】

ただし，色差ａ^＊，ｂ^＊のスケールがＣＩＥＬＡＢ表色系の１／１００になっていることに注意する。

【0040】

（３ ＲｅｉｎｈａｒｄグローバルＴＭ［１３］，［１４］）
ＨＤＲ画像をＳＤＲ画像に変換するトーンマッピング処理として、本書面では、輝度値Ｙに対して、ReinhardグローバルＴＭ処理［１３］，［１４］を用いる。

【0041】

はじめに，全画素における対数輝度値の平均値と最大最小値から決定した係数によりスケール変換を行う。スケール変換の結果に対して、次のようなグローバルＴＭ処理を行う。

【0042】

【数4】

【0043】

ここで、Ｌ_whiteは白レベルにマップされる最小輝度値である。図７は、Ｌ_whiteを変化させたときのＬ_ｄをプロットしたものである。

【0044】

（４ 明度保存による色域マッピング）
色域マッピング（Gamut Mapping, ＧＭ）［３］,［１０］とは、より広い色域を持つ色空間における画素値を、より狭い色域の色空間の画素値へ変換する技術である。色域マッピングの要件としては、

【0045】

・色相変化が小さい
・より狭い色域（ここでは、BT.709色空間）内部の色は変化しない
・空間的なディテールの損失、明るさやコントラストの変化、彩度の低下がない
・明度、彩度、色相の明らかな不連続性がない
・数学的に定義可能な変換である

【0046】

が挙げられているが［７］、すべての要求を厳密に満たすことは不可能である。これまでに、様々な手法が提案されてきたが［３］,［１０］、本書面では、松永［９］による最適色域マッピングの枠組みをＨＤＲに適用するために拡張する。ReinhardグローバルＴＭ処理の結果の輝度値を保持するために、ＨＤＲ拡張したｈｄｒ－ＣＩＥＬＡＢ表色系［２］に基づき、ＨＤＲ拡張したｈｄｒ－ＣＩＥＬＵＶ表色系における明度を保持して、彩度をソフトクリップ処理する（図３参照）。

【0047】

ｈｄｒ－ＣＩＥＬＡＢ表色系を用いない理由は、（１５）（１６）による色差ａ^＊,ｂ^＊では、ＴＭ処理結果の色相ｈは入力ＨＤＲ画像の色相を厳密に保持しないからである。なぜなら、非線形変換関数（１３）が同次関数（ｆ（λx）＝λ^ｋｆ（ｘ）である関数をｋ次の同次関数と呼ぶ。）ではないことによる。

【0048】

一方、（９）（１０）によるＣＩＥＬＵＶ表色系における色差ｕ^＊，ｖ^＊はｘｙ値の平面射影変換により定義されるが、ＴＭ処理において、ｘｙ値は保存される。明度Ｌ^＊を含むが、色相は色差の比であり、明度に依存しない“不変量”である。そこで、本書面では、ｈｄｒ－ＣＩＥＬＡＢ表色系に基づき、ＣＩＥＬＵＶ表色系をＨＤＲ拡張したｈｄｒ－ＣＩＥＬＵＶ表色系を用いることにする。明度における非線形変換関数はｈｄｒ－ＣＩＥＬＡＢ表色系と同じ（１３）とする。

【0049】

図２は明度保存による色域マッピング処理のブロック図である。ｘｙＹ表色系入力をＸＹＺ表色系に変換し、ｈｄｒ－ＣＩＥＬＵＶ表色系において色域マッピング処理を行う。ReinhardグローバルＴＭ処理の結果の輝度値を保持するために、明度Ｌ^＊値はそのままに、色差ｕ^＊，ｖ^＊値を彩度Ｃ^＊、色相ｈに変換して、Ｌ^＊とｈにおける色域限界彩度値Ｃ^＊ _max709［Ｌ^＊］、最大彩度値値Ｃ^＊ _max2020HDRにより、Ｃ^＊をソフトクリップ処理する。ソフトクリップ処理結果の彩度Ｃ^＊’にcos h，sin hを掛けて、色差ｕ^＊’，ｖ^＊’に戻した結果をＸＹＺ、さらにＲＧＢ表色系に変換して、出力する。ソフトクリップ処理、ソフトニー処理を（付録Ａ）、（付録Ｂ）として後に説明する。
すべての処理は、予め計算した結果を３ＤＬＵＴに格納して、ｘｙＹ入力値に応じて読み出した結果を四面体・立方体補間［６］することにより計算する。このとき、アフィン変換された座標系である「斜交座標系（oblique coordinate system）」［５］により、ｘｙ色度図における色域領域を表現することから、３ＤＬＵＴを効率的に生成することが可能となる（付録Ｃ）。

【0050】

（５ シミュレーション実験）
図８は、ｈｄｒ－ＣＩＥＬＵＶ表色系における明度に対する色域限界彩度値の結果であり、上段からそれぞれ色相ｈが、0，90，180，270度の場合を示す。同図下段は、色相に対する最大彩度値のプロットである。明度に対する色域限界彩度値は、ＲＧＢ表色系におけるＲＧＢ値がＳＤＲの場合に［０，１］区間、ＨＤＲの場合に［０,１２］区間に存在する様、二分探索により決定した［９］。

【0051】

評価用ＨＤＲ画像（The HDR Photographic Survey, http://rit-mcsl.org/fairchild//HDR.html， Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays, https://hdr-2014.hdm-stutteart.de/）２０枚を、色域トーンマッピング処理する。まず、ReinhardグローバルＴＭにより、ＳＤＲ変換する。そして、入力ＨＤＲ画像をＢＴ.2020色域として、ＢＴ.709色域に色域マッピングする。ReinhardグローバルＴＭは、ＲＧＢ表色系からｘｙＹ表色系へ変換して、さらに、全画素における対数輝度値の平均値と最大最小値から決定した係数によりスケール変換した輝度値Ｙに対して行う［１３］、［１４］。（１７）のＬ_whiteはスケール変換後の最大輝度値とした。色域マッピング処理は、ＴＭ処理結果のｘｙＹ値をｈｄｒ－ＣＩＥＬＵＶ表色系に変換して、色相毎に明度を保存して、彩度をソフトクリップ処理する。実際の計算には、予め計算した結果を３ＤＬＵＴに格納して、ｘｙＹ入力値に応じて読み出した結果を補間することにより計算する（ｘｙ入力値は、直交座標から斜交座標に変換する（付録Ｃ）参照）。

【0052】

評価用ＨＤＲ画像における色相と色域トーンマッピング処理結果における色相の差により色再現性を評価する。

【0053】

【表1】

【0054】

表１は、明度保存色域トーンマッピング処理結果の色相のＲＭＳ（平方平均二乗）誤差の結果である。色相は、ＲＧＢ［０,１］区間を越えたガマット誤差画素に対して、ｈｄｒ－ＣＩＥＬＵＶ表色系における色差値ｕ^＊,ｖ^＊から計算した。比較のために、線形変換とＲＧＢ毎のクリップによる色域マッピングの結果、および色域マッピングをｘｙＹ表色系入力ＲＧＢ表色系出力とする３次元ルックアップテーブル四面体・立方体補間［６］（テーブルサイズ65×65×65）により計算した結果も示す。

【0055】

図９は、評価用ＨＤＲ画像の色域マッピング処理を３ＤＬＵＴ補間により計算した結果の３ＤＬＵＴサイズに対する平均色相差Δｈと平均色差ΔＥのグラフである。色差式にはＣＩＥＤＥ２０００（ΔＥ^* ₀₀）［１７］を用いた（計算には、 scikit-image: Image processing in Python, http://scikit-image.org/ における skimage.color.deltaE_ciede2000 関数を用いた）。平均色差は、ｘｙＹ表色系入力ＲＧＢ表色系出力とする３次元ルックアップテーブル四面体（Tetra）・立方体（Trilinear）補間［６］の結果と厳密な計算結果の間で計算した。

【0056】

図１０は、色域トーンマッピング処理の画像例である。ＴＭ処理を輝度値Ｙに対して行ったとしても、あるいは、色域マッピングを行わなかったとしても、画像によっては、ガマット誤差が生じる（図１０中、ガマット誤差画像における赤画素が線形変換ｗ／ＲＧＢクリップによる色域マッピングを行った場合、マゼンタ画素が色域マッピングを行わず、ＴＭ処理のみの場合のガマット誤差画素）。線形変換ｗ／ＲＧＢクリップによる色域マッピングの結果は、色相が変化して、偽色が発生しているが、明度保存による色域マッピングの結果は正しい色相である。表１の結果から、線形変換ｗ／ＲＧＢクリップによる色域マッピングに対して、明度保存色域マッピングの結果は、色相が保存されて、色再現性が向上している。

【0057】

（６ まとめ）
ハイダイナミックレンジ（ＨＤＲ）広色域映像を標準ダイナミックレンジ（ＳＤＲ）狭色域映像へ変換するために色再現性を考慮した色域トーンマッピング処理を行った。ReinhardグローバルＴＭ処理の結果の輝度値Ｙと人力ＨＤＲ画像におけるｘｙ値に対して、色域マッピング処理を行った。色域マッピング処理では、均等色空間であるＣＩＥＬＵＶ表色系をＨＤＲ拡張したｈｄｒ－ＣＩＥＬＵＶ表色系において、色相毎に明度を保存して、彩度に対してソフトクリップ処理する明度保存色域マッピング処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算した。色域トーンマッピング処理における色再現性と３ＤＬＵＴサイズによる補間精度を評価した。

【0058】

（参考文献）
上記書面内において［※］として示す記載は、数字※に対応する下記文献番号［※］への参照を示すものである。
［参考文献］

【表2】

【0059】

（付録Ａ ソフトクリップ関数）

【数5】

【0060】

（付録Ｂ ソフトニー関数）

【数6】

【0061】

（付録Ｃ 色域領域の斜交座標による表現）

【数7】

【0062】

上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用してアレンジして利用することが可能である。

【産業上の利用可能性】

【0063】

本発明は、ＨＤＲ広色域映像のための色再現性を考慮した色域ト一ンマッピング処理及びＨＤＲ広色域映像変換装置映像機器.ダイナミックレンジを拡大したＨＤＲ映像制作におけるダイナミックレンジ色域変換装置等に限定されることなく映像処理装置等として適用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】