(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-27
(45)【発行日】2024-04-04
(54)【発明の名称】ダイナミックレンジのマッピング方法及び機器
(51)【国際特許分類】
G06T 5/92 20240101AFI20240328BHJP
G09G 5/10 20060101ALI20240328BHJP
【FI】
G06T5/92
G09G5/10 B
(21)【出願番号】P 2022566031
(86)(22)【出願日】2021-04-26
(86)【国際出願番号】 CN2021089981
(87)【国際公開番号】W WO2021218924
(87)【国際公開日】2021-11-04
【審査請求日】2022-11-18
(31)【優先権主張番号】202010365696.3
(32)【優先日】2020-04-30
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】HUAWEI TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Huawei Administration Building, Bantian, Longgang District, Shenzhen, Guangdong 518129, P.R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シュイ,ウエイウエイ
(72)【発明者】
【氏名】ユイ,チュエンホーァ
(72)【発明者】
【氏名】チェン,ホゥ
(72)【発明者】
【氏名】ワーン,イーチュン
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開2019-213144(JP,A)
【文献】米国特許出願公開第2020/0014897(US,A1)
【文献】米国特許出願公開第2018/0330674(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 5/90- 5/94
G09G 5/00- 5/40
(57)【特許請求の範囲】
【請求項1】
ダイナミックレンジマッピング方法であって、
端末装置のディスプレイパラメータを取得するステップと、
画像データの特徴情報を取得するステップと、
前記画像データの第1トーンマッピング曲線の第1パラメータを取得するステップ
であって、前記第1パラメータはパラメータa及びパラメータpを含み、閾値Taは前記パラメータa、及び前記パラメータaと前記パラメータpとの間の事前設定された対応に基づき取得される、ステップと、
前記第1パラメータの中の前記パラメータaが前記閾値Taより大きい場合、前記第1パラメータ、前記端末装置の前記ディスプレイパラメータ、及び前記画像データの前記特徴情報に基づき、第2トーンマッピング曲線の第2パラメータを取得するステップであって、前記第2トーンマッピング曲線上の第1点での出力輝度は、前記第2トーンマッピング曲線上の前記第1点での入力輝度より大きくない、ステップと、
前記第2トーンマッピング曲線の前記第2パラメータに基づいて、前記画像データに対してダイナミックレンジマッピングを実行するステップと、
を含む方法。
【請求項2】
前記第2パラメータが第1線形スプライン曲線パラメータを含み、前記第1線形スプライン曲線パラメータが前記第2トーンマッピング曲線上の第1線形スプラインの勾配MB[0][0]及び/又は前記第1線形スプラインの範囲ピクセルの輝度値の最大値TH3[0]及び/又は前記第1線形スプラインと垂直座標軸の交点base_offsetを含む、請求項
1に記載の方法。
【請求項3】
前記第1パラメータが第2線形スプライン曲線パラメータを含み、前記第2線形スプライン曲線パラメータが前記第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]及び/又は前記第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]を含み、前記ディスプレイパラメータが前記端末装置の最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの最大輝度補正値max_lumを含み、
前記第1パラメータ、前記ディスプレイパラメータ、及び前記特徴情報に基づいて第2トーンマッピング曲線の第2パラメータを取得するステップは、
前記最大ディスプレイ輝度MaxDisplay及び前記最大輝度補正値max_lumに基づいて、曲線パラメータMB_mid[0][0]及びTH3_mid[0]を調整し、曲線パラメータMB[0][0]及びTH3[0]を取得するステップを含む、請求項
2に記載の方法。
【請求項4】
前記曲線パラメータMB_mid[0][0]及びTH3_mid[0]、並びに前記曲線パラメータMB[0][0]及びTH3[0]が次式を満たし:
【数53】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1及びN2は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数54】
請求項
3に記載の方法。
【請求項5】
前記第2パラメータは3次スプライン曲線パラメータを含み、前記3次スプライン曲線パラメータは前記第2トーンマッピング曲線上の3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を含み、TH1[1]は前記3次スプラインの第1範囲ピクセルの輝度値の最小値を示し、TH2[1]は前記3次スプラインの前記第1範囲ピクセルの前記輝度値の最大値と前記3次スプラインの第2範囲ピクセルの輝度値の最小値を示し、TH3[1]は前記3次スプラインの前記第2範囲ピクセルの前記輝度値の最大値を示す、請求項
4に記載の方法。
【請求項6】
前記3次スプラインの前記補間点値TH1[1]、TH2[1]、TH3[1]は、前記第1パラメータの中の前記第2線形スプライン曲線パラメータTH3[0]と、前記補間点値TH1[1]、TH2[1]、TH3[1]の事前設定されたオフセット値に基づいて以下に示すように取得され:
【数55】
B、C、Dは、前記3次スプラインの前記補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定された値であり、Bは、暗明遷移領域ピクセルの輝度値に対応する事前設定されたオフセット値であり、C及びDは、明領域ピクセルの輝度値に対応する事前設定された重み付け係数である、請求項
5に記載の方法。
【請求項7】
前記3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]は、前記第1パラメータの中の前記第2線形スプライン曲線パラメータTH3[0]及び前記補間点値TH1[1]、TH2[1]、TH3[1]を算出するための相関値に基づいて、次式に示すように計算され:
【数56】
3Spline_TH[i][0][w]、3Spline_TH_Delta1[i][1][w]、及び3Spline_TH_Delta1[i][2][w]は、前記補間点値TH1[1]、TH2[1]、TH3[1]を計算するために使用され且つメタデータから抽出された相関値である、請求項
5に記載の方法。
【請求項8】
TH3[0]における前記第2トーンマッピング曲線上の線形スプラインのY座標は、TH1[1]における前記第2トーンマッピング曲線上の前記3次スプラインのY座標と同じであり、TH3[0]における前記線形スプラインの1次微分は、TH1[1]における前記3次スプラインの1次微分と同じである、請求項
7に記載の方法。
【請求項9】
TH2[1]における前記第2トーンマッピング曲線上の第1の3次スプラインのY座標は、TH2[1]における前記第2トーンマッピング曲線上の第2の3次スプラインのY座標と同じであり、TH2[1]における前記第1の3次スプラインの1次微分は、TH2[1]における前記第2の3次スプラインの1次微分と同じである、請求項
7又は
8に記載の方法。
【請求項10】
TH3[1]における前記第2トーンマッピング曲線上の前記第2の3次スプラインのY座標は、TH3[1]における前記第2トーンマッピング曲線上の第3トーンマッピング関数のY座標と同じであり、TH3[1]における前記第2の3次スプラインの1次微分は、TH3[1]における前記第3トーンマッピング関数の1次微分と同じである、請求項
9に記載の方法。
【請求項11】
前記画像データの第1トーンマッピング曲線の第1パラメータを取得するステップは、
前記画像データの前記メタデータを取得するステップと、
前記メタデータと前記ディスプレイパラメータに基づいて、前記第1トーンマッピング曲線の前記第1パラメータを決定するステップと、
を含む、請求項
7~
10のいずれか一項に記載の方法。
【請求項12】
前記第1パラメータが前記第2線形スプライン曲線パラメータを含み、前記第2線形スプライン曲線パラメータが前記第1トーンマッピング曲線上の前記第2線形スプラインの勾配MB_mid[0][0]及び/又は前記第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]及び/又は前記第1線形スプラインと前記垂直座標軸の交点base_offset_midを含み、前記ディスプレイパラメータが前記端末装置の前記最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの前記最大輝度補正値max_lumを含み、
前記第1パラメータ、前記ディスプレイパラメータ、及び前記特徴情報に基づいて第2トーンマッピング曲線の第2パラメータを取得するステップは、
前記最大ディスプレイ輝度MaxDisplay及び前記最大輝度補正値max_lumに基づいて、前記曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_midを調整して、前記曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetを取得するステップを含む、請求項
3~11のいずれか一項に記載の方法。
【請求項13】
前記曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_mid、並びに前記曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetが次式を満たし:
【数57】
Lは
入力信号であり、G(L)は
トーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は前記曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1、N2、及びN3は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数58】
請求項
12に記載の方法。
【請求項14】
ダイナミックレンジマッピング機器であって、
端末装置のディスプレイパラメータを取得するよう構成される取得ユニットであって、前記取得ユニットは、画像データの特徴情報を取得するよう更に構成され、前記取得ユニットは、前記画像データの第1トーンマッピング曲線の第1パラメータを取得するよう更に構成され
、前記第1パラメータはパラメータa及びパラメータpを含み、閾値Taは前記パラメータa、及び前記パラメータaと前記パラメータpとの間の事前設定された対応に基づき取得される、取得ユニットと、
前記第1パラメータの中の前記パラメータaが前記閾値Taより大きい場合、前記第1パラメータ、前記端末装置の前記ディスプレイパラメータ、及び前記画像データの前記特徴情報に基づき、第2トーンマッピング曲線の第2パラメータを取得するよう構成される処理ユニットであって、前記第2トーンマッピング曲線上の第1点での出力輝度は、前記第2トーンマッピング曲線上の前記第1点での入力輝度より大きくない、処理ユニットと、
前記第2トーンマッピング曲線の前記第2パラメータに基づいて、前記画像データに対してダイナミックレンジマッピングを実行するよう構成されるマッピングユニットと、
を含む機器。
【請求項15】
前記第2パラメータが第1線形スプライン曲線パラメータを含み、前記第1線形スプライン曲線パラメータが前記第2トーンマッピング曲線上の第1線形スプラインの勾配MB[0][0]及び/又は前記第1線形スプラインの範囲ピクセルの輝度値の最大値TH3[0]及び/又は前記第1線形スプラインと垂直座標軸の交点base_offsetを含む、請求項
14に記載の機器。
【請求項16】
前記第1パラメータが第2線形スプライン曲線パラメータを含み、前記第2線形スプライン曲線パラメータが前記第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]及び/又は前記第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]を含み、前記ディスプレイパラメータが前記端末装置の最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの最大輝度補正値max_lumを含み、
前記処理ユニットは、
前記最大ディスプレイ輝度MaxDisplay及び前記最大輝度補正値max_lumに基づいて、曲線パラメータMB_mid[0][0]及びTH3_mid[0]を調整し、曲線パラメータMB[0][0]及びTH3[0]を取得するよう構成される、請求項
15に記載の機器。
【請求項17】
前記曲線パラメータMB_mid[0][0]及びTH3_mid[0]、並びに前記曲線パラメータMB[0][0]及びTH3[0]が次式を満たし:
【数59】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1及びN2は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数60】
請求項
16に記載の機器。
【請求項18】
前記第2パラメータは3次スプライン曲線パラメータを含み、前記3次スプライン曲線パラメータは前記第2トーンマッピング曲線上の3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を含み、TH1[1]は前記3次スプラインの第1範囲ピクセルの輝度値の最小値を示し、TH2[1]は前記3次スプラインの前記第1範囲ピクセルの前記輝度値の最大値と前記3次スプラインの第2範囲ピクセルの輝度値の最小値を示し、TH3[1]は前記3次スプラインの前記第2範囲ピクセルの前記輝度値の最大値を示す、請求項
17に記載の機器。
【請求項19】
前記3次スプラインの前記補間点値TH1[1]、TH2[1]、TH3[1]は、前記第1パラメータの中の前記第2線形スプライン曲線パラメータTH3[0]と、前記補間点値TH1[1]、TH2[1]、TH3[1]の事前設定されたオフセット値に基づいて以下に示すように取得され:
【数61】
B、C、Dは、前記3次スプラインの前記補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定された値であり、Bは、暗明遷移領域ピクセルの輝度値に対応する事前設定されたオフセット値であり、C及びDは、明領域ピクセルの輝度値に対応する事前設定された重み付け係数である、請求項
18に記載の機器。
【請求項20】
前記3次スプラインの前記補間点値TH1[1]、TH2[1]、TH3[1]が、前記第1パラメータの中の前記第2線形スプライン曲線パラメータTH3[0]と、前記補間点値TH1[1]、TH2[1]、TH3[1]を算出するための相関値とに基づいて次式に示すように算出され:
【数62】
3Spline_TH[i][0][w]、3Spline_TH_Delta1[i][1][w]、3Spline_TH_Delta1[i][2][w]が、前記補間点値TH1[1]、TH2[1]、TH3[1]を算出するために使用される相関値であり、メタデータから抽出されたものである、請求項
18に記載の機器。
【請求項21】
TH3[0]における前記第2トーンマッピング曲線上の線形スプラインのY座標はTH1[1]における前記第2トーンマッピング曲線上の3次スプラインのY座標と同じであり、TH3[0]における前記線形スプラインの1次微分はTH1[1]における前記3次スプラインの1次微分と同じである、請求項
20に記載の機器。
【請求項22】
TH2[1]における前記第2トーンマッピング曲線上の第1の3次スプラインのY座標は、TH2[1]における前記第2トーンマッピング曲線上の第2の3次スプラインのY座標と同じであり、TH2[1]における前記第1の3次スプラインの1次微分は、TH2[1]における前記第2の3次スプラインの1次微分と同じである、請求項
20又は21に記載の機器。
【請求項23】
TH3[1]における前記第2トーンマッピング曲線上の前記第2の3次スプラインのY座標は、TH3[1]における前記第2トーンマッピング曲線上の第3トーンマッピング関数のY座標と同じであり、TH3[1]における前記第2の3次スプラインの1次微分は、TH3[1]における前記第3トーンマッピング関数の1次微分と同じである、請求項
22に記載の機器。
【請求項24】
前記取得ユニットは、
前記画像データの前記メタデータを取得し、
前記メタデータと前記ディスプレイパラメータに基づいて、前記第1トーンマッピング曲線の前記第1パラメータを決定する、
よう構成される、請求項
20~23のいずれか一項に記載の機器。
【請求項25】
前記第1パラメータが前記第2線形スプライン曲線パラメータを含み、前記第2線形スプライン曲線パラメータが前記第1トーンマッピング曲線上の前記第2線形スプラインの勾配MB_mid[0][0]及び/又は前記第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]及び/又は前記第1線形スプラインと前記垂直座標軸の交点base_offset_midを含み、前記ディスプレイパラメータが前記端末装置の最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの最大輝度補正値max_lumを含み、
前記処理ユニットは、
最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて、前記曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_midを調整し、前記曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetを取得するよう構成される、請求項
16~24のいずれか一項に記載の機器。
【請求項26】
前記曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_mid、並びに前記曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetが次式を満たし:
【数63】
Lは入力信号であり、G(L)は
トーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は前記曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1、N2、及びN3は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数64】
請求項
25に記載の機器。
【請求項27】
コンピュータプログラムを含むコンピュータ可読記憶媒体であって、前記コンピュータプログラムがコンピュータで実行されると、前記コンピュータは、請求項1~
13のいずれか一項に記載の方法を実行可能にされる、コンピュータ可読記憶媒体。
【請求項28】
端末装置であって、
1つ以上のプロセッサと、
1つ以上のプログラムを格納するよう構成されるメモリと、
前記1つ以上のプログラムが前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサは、請求項1~
13のいずれか一項に記載の方法を実行可能にされる、端末装置。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本願は、参照により全体がここに組み込まれる、中国特許出願番号202010365696.3号、中国国家知識産権局に2020年4月30日に出願、名称「DYNAMIC RANGE MAPPING METHOD AND APPARATUS」の優先権を主張する。
【0002】
[技術分野]
本願は、ディスプレイ技術の分野に関し、特に、ダイナミックレンジマッピング方法及び機器に関する。
【背景技術】
【0003】
ダイナミックレンジ(dynamic range, DR)は、多くの分野で変数の最大値と最小値の比を示す。デジタル画像の場合、ダイナミックレンジは、画像の表示可能な範囲における最大輝度と最小輝度の比、すなわち、画像の「最も明るい」部分と「最も暗い」部分との分割によって得られるグレースケールレベルの量を示す。輝度の単位はカンデラ毎平方メートル(cd/m2)であるが、ニト(nit)で表すこともある。画像のダイナミックレンジが大きいほど、画像を表現するための輝度レベルが多くなり、画像の視覚効果がよりリアルになる。現実世界の自然シーンのダイナミックレンジは、10-3から106の間である。ダイナミックレンジは非常に大きいため、高ダイナミックレンジ(high dynamic range, HDR)と呼ばれる。高ダイナミックレンジ画像と比較して、一般的な画像は標準ダイナミックレンジ(standard dynamic range, SDR)又は低ダイナミックレンジ(low dynamic range, LDR)である。
【0004】
現在では、ダイナミックレンジが0.1nit未満から400nitまでのディスプレイ装置をSDRディスプレイ装置と呼ぶのが一般的である。ダイナミックレンジが0.01nitより大きく540nitまでのディスプレイ装置をHDRディスプレイ装置と呼ぶのが一般的である。異なる高ダイナミックレンジディスプレイ装置は異なるダイナミックレンジを表示し、例えば、0.01nit~540nitのHDRディスプレイ装置と0.005nit~1000nitのHDRディスプレイ装置である。ダイナミックレンジマッピング方法は、主にフロントエンドHDR信号とバックエンドHDRディスプレイ装置との間の適応処理に適用され、高から低へのトーンマッピング(tone mapping)処理と低から高へのtone-mapping処理が含まれる。例えば、フロントエンドは4000nitの輝度信号を収集するが、バックエンドのディスプレイ装置は500nitのHDR表示機能しか備えていない。したがって、4000nitの輝度信号を500nitのディスプレイ装置にマッピングすることは、高から低へのマッピング処理である。別の例では、フロントエンドは100nitのSDR輝度信号を収集するが、バックエンドのディスプレイ装置は2000nitのHDR表示機能を有する。したがって、100nitの輝度信号を2000nitのディスプレイ装置にマッピングすることは、低から高へのマッピング処理である。
【0005】
従来の技術では、画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度よりも小さい場合、「S」字曲線のダイナミックレンジに基づくマッピングアルゴリズムを用いて、高ダイナミックレンジ画像を表示のためにディスプレイ装置で表示可能なダイナミックレンジに調整することがある。ただし、画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合、上記のソリューションをそのまま使用すると、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなるという異常が発生する。その結果、ユーザ経験に影響が生じる。
【発明の概要】
【0006】
本願は、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避するために、ダイナミックレンジマッピング方法及び機器を提供する。
【0007】
第1の態様によると、ダイナミックレンジマッピング方法であって、
端末装置のディスプレイパラメータを取得するステップと、
画像データの特徴情報を取得するステップと、
前記画像データの第1トーンマッピング曲線の第1パラメータを取得するステップと、
事前設定された条件が満たされると、前記第1パラメータ、前記端末装置の前記ディスプレイパラメータ、及び前記画像データの前記特徴情報に基づき、第2トーンマッピング曲線の第2パラメータを取得するステップであって、前記第2トーンマッピング曲線上の第1点での出力輝度は、前記第2トーンマッピング曲線上の前記第1点での入力輝度より大きくない、ステップと、
前記第2トーンマッピング曲線の前記第2パラメータに基づいて、前記画像データに対してダイナミックレンジマッピングを実行するステップと、
を含む方法が提供される。
【0008】
従って、本願の実施形態では、第1トーンマッピング曲線のパラメータをさらに調整し、調整した曲線パラメータ(つまり、第2パラメータ)に対応するトーンマッピング曲線(つまり、第2トーンマッピング曲線)上の点の出力輝度が、その点の対応する入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。
【0009】
本願の本実施形態は、端末装置に適用され得る。端末装置は、例えばディスプレイ装置である。ディスプレイ装置の製品形態は、セットトップボックス、テレビディスプレイ装置、携帯電話ディスプレイ装置、又はライブウェブキャスト及びビデオアプリケーションの変換デバイスなどの電子装置であってよい。一例として、セットトップボックス、テレビディスプレイ装置、又は携帯電話ディスプレイ装置において、本願の本実施形態で提供されるソリューションをハードウェアチップ形式で実装することができる。ライブウェブキャスト装置や動画再生装置では、本願の本実施形態で提供されるソリューションは、主にソフトウェアプログラムコードの形式で実装される。しかしながら、本願の本実施形態はそれらに限定されない。
【0010】
例えば、画像データは、例えば、HDRソース又はSDRソース、例えば、画像内のピクセルデータ、例えば、各ピクセルの輝度と色のデータであってもよい。
【0011】
例えば、画像データのメタデータMから画像データの特徴情報を取得してもよい。メタデータMには、例えば、画像データに対応する曲線パラメータMcurve、目標システムディスプレイ実ピーク輝度MTPL(targeted system display actual peak luminance)、画像データの内容の最大輝度値MaxSource(全ピクセルのY成分の最大値又は全ピクセルのRGB成分の最大値のうちの最大値)、最小輝度値MinSource(全ピクセルのY成分の最小値又は全ピクセルのRGB成分の最大値のうちの最小値)、平均値(全ピクセルのY成分の平均値、又は全ピクセルのRGB成分の最大値の平均値)、表示内容の変化範囲が含まれてよい。これは、本願の本実施形態において限定されない。
【0012】
幾つかの実施形態では、画像データVのピクセル情報からさらに画像データの特徴情報が取得されてもよい。或いは、事前設定された値を持つ画像データの特徴情報値が使用されてもよい。これは、本願の本実施形態において限定されない。
【0013】
例えば、端末デバイスのディスプレイパラメータMTPLには、端末装置の最大ディスプレイ輝度MaxDisplay及び/又は最小ディスプレイ輝度MinDisplay、又は別のパラメータを含めることができる。これは、本願の本実施形態において限定されない。
【0014】
第1の態様を参照して、第1の態様の幾つかの実装では、以下の条件のうちのいずれか1つが満たされるとき、事前設定された条件が満たされる:
【0015】
第1パラメータに基づいて画像データに対してトーンマッピングを行うと、第1トーンマッピング曲線の第2点における出力輝度が、第1トーンマッピング曲線の第2点における入力輝度よりも大きくなる。
【0016】
或いは、第1パラメータの中のパラメータpP1が第1値Tpより大きい。第1値Tpは、第1パラメータのaP1と、aP1とpP1の間の事前設定された対応とに基づいて得られる。Tpは曲線パラメータpの閾値を示す。第1パラメータpP1がTpを超えると、第2トーンマッピング曲線上の点での出力輝度が入力輝度より大きくなることがある。
【0017】
或いは、第1パラメータの中のパラメータaP1が第2値Taより大きい。第2値Taは、第1パラメータのpP1と、aP1とpP1の間の事前設定された対応とに基づいて得られる。Taは曲線パラメータaの閾値を示す。第1パラメータaP1がTaを超えると、第2トーンマッピング曲線上の点での出力輝度が入力輝度より大きくなることがある。
【0018】
或いは、第1パラメータの中のパラメータaP1とパラメータpP1との積が、第3値Tapより大きい。第3値Tapは事前設定された有理数である。第1パラメータの中のパラメータaP1及びパラメータpP1の積がTaを超えると、第2トーンマッピング曲線上の点での出力輝度が入力輝度より大きくなることがある。例えば、第3値Tapは3と4の間の有理数、例えば3.2又は3.4であってよい。これは、本願の本実施形態において限定されない。
【0019】
本願の実施形態では、事前設定された条件を満たす場合、すなわち、第1トーンマッピング曲線に基づく画像データに対してトーンマッピングを行う場合、第1トーンマッピング曲線上の点の出力輝度が第1トーンマッピング曲線上の点の入力輝度よりも大きい場合に、第2トーンマッピング曲線の第2パラメータを生成する処理を行うことができる。
【0020】
第1の態様を参照して、第1の態様の幾つかの実装では、第2パラメータは第1線形スプライン曲線パラメータを含む。第1線形スプライン曲線パラメータが第2トーンマッピング曲線上の第1線形スプラインの勾配MB[0][0]及び/又は第1線形スプラインの範囲ピクセルの輝度値の最大値TH3[0]及び/又は第1線形スプラインと垂直座標軸の交点base_offsetを含む。
【0021】
本願の本実施形態では、第2パラメータに基づいて画像データに対してダイナミックレンジマッピングを行う場合、直線部分(つまり、第1線形スプライン)を用いて、画像データの暗い領域でトーンマッピングを行ってよい。このように、輝度利得を制御することができる。また、第2パラメータを制御して直線から直線y=xに徐々に変化させる方が便利である。直線y=xは、トーンマッピング曲線上の任意の点における出力輝度が入力輝度に等しいことと等価である。従って、本願の本実施形態では、輝度勾配のあるコンテンツではフリッカー現象が発生しにくい。
【0022】
第1の態様を参照して、第1の態様の幾つかの実装では、第1パラメータは第2線形スプライン曲線パラメータを含む。第2線形スプライン曲線パラメータが第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]及び/又は第1線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]を含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
【0023】
第1パラメータ、ディスプレイパラメータ、及び特徴情報に基づく第2トーンマッピング曲線の第2パラメータの取得には、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[0][0]及びTH3_mid[0]を調整して、曲線パラメータMB[0][0]及びTH3[0]を取得することが含まれる。
【0024】
したがって、本願の本実施形態では、第2トーンマッピング曲線上の第1線形スプラインの勾配MB[0][0]、及び第1線形スプラインの範囲ピクセルの輝度値の最大値TH3[0]を、第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]、第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]、端末装置の最大ディスプレイ輝度MaxDisplay、及び画像データの最大輝度補正値max_lumに基づいて求めることができる。
【0025】
第1の態様を参照して、第1の態様の幾つかの実装では、曲線パラメータMB_mid[0][0]とTH3_mid[0]、及び曲線パラメータMB[0][0]とTH3[0]は次式を満たす:
【数1】
【0026】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1及びN2は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数2】
【0027】
第1の態様を参照して、第1の態様の幾つかの実装では、第1パラメータは第2線形スプライン曲線パラメータを含む。第2線形スプライン曲線パラメータが第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]及び/又は第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]及び/又は第1線形スプラインと垂直座標軸の交点base_offset_midを含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
【0028】
第1パラメータ、ディスプレイパラメータ、及び特徴情報に基づき第2トーンマッピング曲線の第2パラメータを取得することには、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_midを調整して、曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetを取得することが含まれる。
【0029】
第1の態様を参照して、第1の態様の幾つかの実装では、曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_mid、並びに曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetは次式を満たす:
【数3】
【0030】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1及びN3は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数4】
【0031】
第1の態様を参照して、第1の態様の幾つかの実装では、第2パラメータは3次スプライン曲線パラメータを含む。3次スプライン曲線パラメータには、第2トーンマッピング曲線上の3次スプラインの補間点の値TH1[1]、TH2[1]、TH3[1]が含まれる。TH1[1]は3次スプラインの第1範囲ピクセルの輝度値の最小値を示す。TH2[1]は、3次スプラインの第1範囲ピクセルの輝度値の最大値と、3次スプラインの第2範囲ピクセルの輝度値の最小値を示す。TH3[1]は3次スプラインの第2範囲ピクセルの輝度値の最大値を示す。
【0032】
第1の側面を参照すると、第1の側面の幾つかの実装では、次に示すように、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定されたオフセット値に基づいて、3次スプラインの補間点の値TH1[1]、TH2[1]、TH3[1]が取得される。
【数5】
【0033】
B、C、Dは3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定された値である。Bは、暗-明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。
【0034】
従って、本願の本実施形態では、第1パラメータの第2線形スプライン曲線パラメータと、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定されたオフセット値に基づいて、第2パラメータでの3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]が取得されてよい。
【0035】
第1の態様を参照すると、第1の態様の幾つかの実装では、次のように、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値に基づいて、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]が取得される。
【数6】
【0036】
3Spline_TH[i][0][w]、3Spline_TH_Delta1[i][1][w]、3Spline_TH_Delta1[i][2][w]は、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]の計算に使用される相関値であり、メタデータから抽出される。
【0037】
従って、本願の本実施形態では、第1パラメータの第2線形スプライン曲線パラメータと、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するために使用され且つメタデータから抽出された相関値に基づいて、第2パラメータでの3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]が取得されてよい。
【0038】
第1の態様を参照すると、第1の態様の幾つかの実装では、TH3[0]における前記第2トーンマッピング曲線上の線形スプラインのY座標はTH1[1]における前記第2トーンマッピング曲線上の3次スプラインのY座標と同じであり、TH3[0]における前記線形スプラインの1次微分はTH1[1]における前記3次スプラインの1次微分と同じである。
【0039】
このように、第2トーンマッピング曲線の線形スプライン曲線と第2トーンマッピング曲線の3次スプライン曲線は、TH[1]で連続になることができる。
【0040】
第1の態様を参照すると、第1の態様の幾つかの実装では、TH2[1]における第2トーンマッピング曲線上の第1の3次スプラインのY座標は、TH2[1]における第2トーンマッピング曲線上の第2の3次スプラインのY座標と同じであり、TH2[1]における第1の3次スプラインの1次微分はTH2[1]における第2の3次スプラインの1次微分と同じである。
【0041】
このように、第1の3次スプライン曲線と第2トーンマッピング曲線の第2の3次スプライン曲線は、TH[2]で連続になることができる。
【0042】
第1の態様を参照すると、第1の態様の幾つかの実装では、TH3[1]における第2トーンマッピング曲線上の第2の3次スプラインのY座標は、TH3[1]における第2トーンマッピング曲線上の第3トーンマッピング関数のY座標と同じであり、TH3[1]における第2の3次スプラインの1次微分は、TH3[1]における第3トーンマッピング関数の1次微分と同じである。
【0043】
このように、第2トーンマッピング曲線の第2の3次スプライン曲線と第3トーンマッピング関数の曲線は、TH[3]で連続になることができる。
【0044】
第1の態様を参照すると、第1の態様の幾つかの実装では、画像データの第1トーンマッピング曲線の第1パラメータを取得するステップは、
画像データのメタデータを取得するステップと、
メタデータとディスプレイパラメータに基づいて、第1トーンマッピング曲線の第1パラメータを決定するステップと、を含む。
【0045】
例えば、ディスプレイ装置は、平均輝度値average_maxrgb、及び/又は最大輝度値MaxSource、及び/又はメタデータM内の画像データVのコンテンツの最小輝度値MinSource、及び/又はディスプレイ装置の最大ディスプレイ輝度MaxDisplay、及び/又はディスプレイ装置の最小ディスプレイ輝度MinDisplay、及び/又は曲線パラメータMcurve(p1,p2,...)、及び/又は他のデータに基づいて、第1トーンマッピング曲線の第1パラメータを取得することができる。第1パラメータは、例えばP1curve(X,p1,p2,...)のように表すことができる。Xは入力輝度値であり、p1,p2,..は曲線パラメータ値である。
【0046】
第1の態様を参照して、第1の態様の幾つかの実装では、第2パラメータは線形スプライン曲線パラメータを更に含む。線形スプライン曲線パラメータには、第2トーンマッピング曲線上の第1線形スプラインの範囲ピクセルの輝度値の最大値TH3Cと、第1線形スプラインの勾配Darkが含まれる。
【0047】
本願の本実施形態では、第2パラメータに基づいて画像データに対してダイナミックレンジマッピングを行う場合、直線部分(つまり、第1線形スプライン)を用いて、画像データの暗い領域でトーンマッピングを行ってよい。このように、輝度利得を制御することができる。また、第2パラメータを制御して直線から直線y=xに徐々に変化させる方が便利である。直線y=xは、トーンマッピング曲線上の任意の点における出力輝度が入力輝度に等しいことと等価である。従って、本願の本実施形態では、輝度勾配のあるコンテンツではフリッカー現象が発生しにくい。
【0048】
第1の態様を参照して、第1の態様の幾つかの実装では、本方法はさらに、第1線形スプラインの初期範囲ピクセルの輝度値の最大値TH3C0を取得するステップと、第1線形スプラインの初期勾配Dark0を取得するステップと、初期範囲ピクセルの輝度値の最大値TH3C0に基づき、範囲ピクセルの輝度値の最大値TH3Cを決定するステップと、初期勾配Dark0に基づいて勾配Darkを決定するステップと、を含む。
【0049】
第1の態様を参照して、第1の態様の幾つかの実装では、第1線形スプラインの初期範囲ピクセルの輝度値の最大値TH3C0を取得すステップは、
第1のパラメータに基づいて初期範囲ピクセルの輝度値の最大値TH3C0を決定するステップであって、第1パラメータは、第1トーンマッピング曲線上の第2線形スプラインの範囲ピクセルの輝度値の最大値TH3[0]を含む、ステップ、又は、
事前設定された値に基づいて初期範囲ピクセルの輝度値の最大値TH3C0を決定するステップであって、事前設定された値が例えば暗視と明視の分解、すなわち人間の目の錐体細胞と桿体細胞の応答が増大又は減少する輝度であり、例えば1nitである、ステップ、又は、
画像データのメタデータに基づいて、初期範囲ピクセルの輝度値の最大値TH3C0を決定するステップであって、メタデータは、ヒストグラム内の暗い領域ピクセルの数の特徴データを含む、ステップ、を含む。
【0050】
第1の態様を参照して、第1の態様の幾つかの実装では、第1線形スプラインの初期勾配Dark0を取得するステップは、
第1のパラメータに基づいて初期勾配Dark0を決定するステップであって、第1パラメータは、第1トーンマッピング曲線上の第2線形スプラインの勾配MB[0][0]を含む、ステップ、又は、
範囲ピクセルの輝度値の最大値TH3Cに対する第4値の比に基づいて初期勾配Dark0を決定するステップであって、第4値は、範囲ピクセルの輝度値の最大値TH3Cに対する第1トーンマッピング曲線の出力値である、ステップ、又は、
0と範囲ピクセルの輝度値の最大値TH3Cとの間の第1トーンマッピング曲線の事前設定された入力値の勾配値に基づき、初期勾配Dark0を決定するステップ、を含む。
【0051】
第1の態様を参照して、第1の態様の幾つかの実装では、初期範囲ピクセルの輝度値の最大値TH3C0、範囲ピクセルの輝度値の最大値TH3C、初期勾配Dark0、及び勾配Darkは次の式を満たす:
【数7】
【0052】
TH3Cは、TH3C0より大きくMaxSourceより小さい。TH3C0は、MaxSourceより小さい。N1及びN2は0より大きい有利数である。H(L)はトーンマッピング曲線である。G(L)はH(L)の逆関数である。
【0053】
第1の態様を参照して、第1の態様の幾つかの実装では、初期範囲ピクセルの輝度値の最大値TH3C0、範囲ピクセルの輝度値の最大値TH3C、初期勾配Dark0、及び勾配Darkは次の式を満たす:
【数8】
【0054】
MaxLumは画像データの最大輝度の調整値である。TH3Cは、TH3C0より大きくMaxSourceより小さい。TH3C0は、MaxSourceより小さい。N1及びN2は0より大きい有利数である。H(L)はトーンマッピング曲線関数である。G(L)はH(L)の逆関数である。
【0055】
第1の態様を参照して、第1の態様の幾つかの実装では、第2パラメータは3次スプライン曲線パラメータを更に含む。3次スプライン曲線パラメータには、第2トーンマッピング曲線上の第1の3次スプラインの第1範囲ピクセルの輝度値の最小値TH1Dが含まれる。
【0056】
方法は、第2トーンマッピング曲線上の第1線形スプラインの範囲ピクセルの輝度値の最大値TH3Cに基づいて、第1範囲ピクセルの輝度値の最小値TH1Dを決定するステップをさらに含む。
【0057】
第1の態様を参照して、第1の態様の幾つかの実装では、第2パラメータは3次スプライン曲線パラメータを更に含む。3次スプライン曲線パラメータには、第2トーンマッピング曲線上の第1の3次スプラインの第1範囲ピクセルの輝度値の最大値TH2Dが含まれる。
【0058】
方法は、第1範囲ピクセルの輝度値の最小値TH1Dに基づいて、第1範囲ピクセルの輝度値の最大値TH2Dを決定するステップをさらに含む。
【0059】
第1の態様を参照して、第1の態様の幾つかの実装では、第1範囲ピクセルの輝度値の最小値TH1Dに基づいて第1範囲ピクセルの輝度値の最大値TH2Dを決定するステップは、
第1パラメータ及び第1範囲ピクセルの輝度値の最小値TH1Dに基づいて第1範囲ピクセルの輝度値の最大値TH2Dを決定するステップ、又は、
事前設定された有理数と第1範囲ピクセルの輝度値の最小値TH1Dに基づき、第1範囲ピクセルの輝度値の最大値TH2Dを決定するステップ、又は、
第1範囲ピクセルの輝度値の最小値TH1Dと画像データのメタデータに基づき、第1範囲ピクセルの輝度値の最大値TH2Dを決定するステップ、を含む。
【0060】
第1の態様を参照して、第1の態様の幾つかの実装では、第2トーンマッピング曲線上の第1の3次スプラインの第1範囲ピクセルの輝度値の最小値TH1Dは、第1線形スプラインの範囲ピクセルの輝度値の最大値TH3Cと同じであり、TH1Dにおける第2トーンマッピング曲線上の線形スプラインと第1の3次スプラインの出力値は同じであり、TH1Dにおける第2トーン曲線上の第1スプラインと第1の3次スプラインの1次微分は同じである。
【0061】
このように、第2トーンマッピング曲線の線形スプライン曲線と第2トーンマッピング曲線の3次スプライン曲線は、TH1Dで連続になることができる。
【0062】
第1の態様を参照して、第1の態様の幾つかの実装では、3次スプライン曲線パラメータは、第2トーンマッピング曲線上の第2の3次スプラインの第2範囲ピクセルの輝度値の最大値TH3Dをさらに含む。
【0063】
方法は、さらに、第1範囲ピクセルの輝度値の最小値TH1Dと第1範囲ピクセルの輝度値の最大値TH2Dとに基づいて、第2範囲ピクセルの輝度値の最大値TH3Dを決定するステップを含む。
【0064】
第1の態様を参照して、第1の態様の幾つかの実装では、第1範囲ピクセルの輝度値の最小値TH1D及び第1範囲ピクセルの輝度値の最大値TH2Dに基づき、第2範囲ピクセルの輝度値の最大値TH3Dを決定するステップは、
第1範囲ピクセルの輝度値の最小値TH1D、第1範囲ピクセルの輝度値の最大値TH2D、及び第1パラメータに基づいて、第3最大入力輝度TH3Dを決定するステップ、又は、
第1範囲ピクセルの輝度値の最小値TH1D、第1範囲ピクセルの輝度値の最大値TH2D、及び事前設定された有理数に基づき、第3最大入力輝度TH3Dを決定するステップ、又は、
第1範囲ピクセルの輝度値の最小値TH1D、第1範囲ピクセルの輝度値の最大値TH2D、及び画像データのメタデータに基づき、第3最大入力輝度TH3Dを決定するステップ、を含む。
【0065】
第1の態様を参照して、第1の態様の幾つかの実装では、第2の3次スプラインの第2範囲ピクセルの輝度値の最小値は、第1の3次スプラインの第1範囲ピクセルの輝度値の最大値TH2Dと同じであり、範囲ピクセルの輝度値の最大値TH2Dにおける第1の3次スプラインと第2の3次スプラインの出力値は同じであり、範囲ピクセルの輝度値の最大値TH2Dにおける第1の3次スプラインと第2の3次スプラインの1次微分は同じである。
【0066】
このように、第1の3次スプライン曲線と第2トーンマッピング曲線の第2の3次スプライン曲線は、TH2Dで連続になることができる。
【0067】
第1の態様を参照して、第1の態様の幾つかの実装では、第2パラメータは、第2トーンマッピング曲線のトーンマッピングサブ関数の曲線パラメータをさらに含む。トーンマッピングサブ関数の第3範囲ピクセルの輝度値の最小値は、第2範囲ピクセルの輝度値の最大値TH3Dと同じであり、第2の3次スプラインと第2範囲ピクセルの輝度値の最大値TH3Dにおけるトーンマッピングサブ関数の出力値は同じであり、第2範囲ピクセルの輝度値の最大値TH3Dにおける第2の3次スプラインとトーンマッピングサブ関数の1次微分は同じである。
【0068】
このように、第2トーンマッピング曲線の第2の3次スプライン曲線とトーンマッピングサブ関数の曲線は、TH3Dで連続になることができる。
【0069】
第1の態様を参照して、第1の態様の幾つかの実装では、第1パラメータはaP1及びpP1を含む。第1パラメータ、ディスプレイパラメータ、及び特徴情報に基づき、第2トーンマッピング曲線の第2パラメータを取得するステップは、
aP1と、aP1及びpP1の間の事前設定された対応とに基づき、第1値Tpを取得するステップと、
pP1がTpより大きい場合に、第1パラメータの中のpP1をTpで置換するステップと、
置換後に得られた第1パラメータを第2パラメータとして使用するステップと、を含む。
【0070】
従って、第1パラメータの中のpP1がTpにより置換され、置換後に得られた第1パラメータが第2パラメータとして使用され、その結果、第2トーンマッピング曲線上の第1点における出力輝度は、第2トーンマッピング曲線上の第1点における入力輝度より大きくならない。
【0071】
第1の態様を参照して、第1の態様の幾つかの実装では、第1パラメータはaP1及びpP1を含む。第1パラメータ、ディスプレイパラメータ、及び特徴情報に基づき、第2トーンマッピング曲線の第2パラメータを取得するステップは、
pP1と、aP1及びpP1の間の事前設定された対応とに基づき、第2値Taを取得するステップと、
aP1がTaより大きい場合に、第1パラメータの中のaP1をTaで置換するステップと、
置換後に得られた第1パラメータを第2パラメータとして使用するステップと、を含む。
【0072】
従って、第1パラメータの中のaP1がTaにより置換され、置換後に得られた第1パラメータが第2パラメータとして使用され、その結果、第2トーンマッピング曲線上の第1点における出力輝度は、第2トーンマッピング曲線上の第1点における入力輝度より大きくならない。
【0073】
第1の態様を参照して、第1の態様の幾つかの実装では、第1パラメータはaP1及びpP1を含む。第1パラメータ、ディスプレイパラメータ、及び特徴情報に基づき、第2トーンマッピング曲線の第2パラメータを取得するステップは、
aP1*pP1が第3値Tapより大きい場合、第1パラメータの中のpP1をTap/aP1で置換するステップ、又は、
第1パラメータの中のaP1をTap/pP1で置換するステップ、及び、
置換後に得られた第1パラメータを第2パラメータとして使用するステップ、を含む。
【0074】
従って、第1パラメータの中のpP1がTap/aP1により置換され、又は第1パラメータの中のaP1がTap/pP1により置換され、置換後に得られた第1パラメータが第2パラメータとして使用され、その結果、第2トーンマッピング曲線上の第1点における出力輝度は、第2トーンマッピング曲線上の第1点における入力輝度より大きくならない。
【0075】
第2の態様によれば、取得ユニットと、処理ユニットと、マッピングユニットと、を含むダイナミックレンジマッピング装置が提供される。
【0076】
取得ユニットは、端末装置のディスプレイパラメータを取得するように構成される。
【0077】
取得ユニットはさらに、画像データの特徴情報を取得するように構成される。
【0078】
取得ユニットはさらに、画像データの第1トーンマッピング曲線の第1パラメータを取得するように構成される。
【0079】
処理ユニットは、事前設定された条件が満たされたときに、第1パラメータ、端末装置のディスプレイパラメータ、画像データの特徴情報に基づいて、第2トーンマッピング曲線の第2パラメータを取得するように構成される。第2トーンマッピング曲線の第1点での出力輝度は、第2トーンマッピング曲線の第1点での入力輝度より大きくない。
【0080】
マッピングユニットは、第2トーンマッピング曲線の第2パラメータに基づいて、画像データに対してダイナミックレンジマッピングを行うように構成される。
【0081】
第2の態様を参照して、第2の態様の幾つかの実装では、以下の条件のうちのいずれか1つが満たされるとき、事前設定された条件が満たされる:
第1パラメータに基づいて画像データに対してトーンマッピングを行うと、第1トーンマッピング曲線の第2点における出力輝度が、第1トーンマッピング曲線の第2点における入力輝度よりも大きくなる。
【0082】
或いは、第1パラメータの中のパラメータpP1が第1値Tpより大きい。第1値Tpは、第1パラメータのaP1と、aP1とpP1の間の事前設定された対応とに基づいて得られる。
【0083】
或いは、第1パラメータの中のパラメータaP1が第2値Taより大きい。第2値Taは、第1パラメータのpP1と、aP1とpP1の間のプリセット対応とに基づいて得られる。
【0084】
或いは、第1パラメータの中のパラメータaP1とパラメータpP1との積が、第3値Tapより大きい。第3値Tapは事前設定された有理数である。
【0085】
第2の態様を参照して、第2の態様の幾つかの実装では、第2パラメータは第1線形スプライン曲線パラメータを含む。第1線形スプライン曲線パラメータが第2トーンマッピング曲線上の第1線形スプラインの勾配MB[0][0]及び/又は第1線形スプラインの範囲ピクセルの輝度値の最大値TH3[0]及び/又は第1線形スプラインと垂直座標軸の交点base_offsetを含む。
【0086】
第2の態様を参照して、第2の態様の幾つかの実装では、第1パラメータは第2線形スプライン曲線パラメータを含む。第2線形スプライン曲線パラメータが第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]及び/又は第1線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]を含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
【0087】
処理ユニットは、具体的に、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[0][0]及びTH3_mid[0]を調整して、曲線パラメータMB[0][0]及びTH3[0]を取得するよう構成される。
【0088】
第2の態様を参照して、第2の態様の幾つかの実装では、曲線パラメータMB_mid[0][0]とTH3_mid[0]、及び曲線パラメータMB[0][0]とTH3[0]は次式を満たす:
【数9】
【0089】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1及びN2は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数10】
【0090】
第2の態様を参照して、第2の態様の幾つかの実装では、第1パラメータは第2線形スプライン曲線パラメータを含む。第2線形スプライン曲線パラメータが第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]及び/又は第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]及び/又は第1線形スプラインと垂直座標軸の交点base_offset_midを含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
【0091】
処理ユニットは、具体的に、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[0][0]、TH3_mid[0] 、及び/又はbase_offset_midを調整して、曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetを取得するよう構成される。
【0092】
第2の態様を参照して、第2の態様の幾つかの実装では、曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_mid、並びに曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetは次式を満たす:
【数11】
【0093】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1及びN3は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数12】
【0094】
第2の態様を参照して、第2の態様の幾つかの実装では、第2パラメータは3次スプライン曲線パラメータを含む。3次スプライン曲線パラメータには、第2トーンマッピング曲線上の3次スプラインの補間点の値TH1[1]、TH2[1]、TH3[1]が含まれる。TH1[1]は3次スプラインの第1範囲ピクセルの輝度値の最小値を示す。TH2[1]は、3次スプラインの第1範囲ピクセルの輝度値の最大値と、3次スプラインの第2範囲ピクセルの輝度値の最小値を示す。TH3[1]は3次スプラインの第2範囲ピクセルの輝度値の最大値を示す。
【0095】
第2の態様を参照して、第2の態様の幾つかの実装では、次のように、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、補間点値TH1[1]、TH2[1]、TH3[1]の事前設定されたオフセット値に基づいて、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]が取得される。
【数13】
【0096】
B、C、Dは3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定された値である。Bは、暗-明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。
【0097】
第2の態様を参照して、第2の態様の幾つかの実装では、次のように、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値に基づいて、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]が計算される。
【数14】
【0098】
3Spline_TH[i][0][w]、3Spline_TH_Delta1[i][1][w]、3Spline_TH_Delta1[i][2][w]は、補間点値TH1[1]、TH2[1]、TH3[1]の計算に使用される相関値であり、メタデータから抽出される。
【0099】
第2の態様を参照して、第2の態様の幾つかの実装では、TH3[0]における前記第2トーンマッピング曲線上の線形スプラインのY座標はTH1[1]における前記第2トーンマッピング曲線上の3次スプラインのY座標と同じであり、TH3[0]における前記線形スプラインの1次微分はTH1[1]における前記3次スプラインの1次微分と同じである。
【0100】
第2の態様を参照すると、第2の態様の幾つかの実装では、TH2[1]における第2トーンマッピング曲線上の第1の3次スプラインのY座標は、TH2[1]における第2トーンマッピング曲線上の第2の3次スプラインのY座標と同じであり、TH2[1]における第1の3次スプラインの1次微分はTH2[1]における第2の3次スプラインの1次微分と同じである。
【0101】
第2の態様を参照すると、第2の態様の幾つかの実装では、TH3[1]における第2トーンマッピング曲線上の第2の3次スプラインのY座標は、TH3[1]における第2トーンマッピング曲線上の第3トーンマッピング関数のY座標と同じであり、TH3[1]における第2の3次スプラインの1次微分は、TH3[1]における第3トーンマッピング関数の1次微分と同じである。
【0102】
第2の態様を参照すると、第2の態様の幾つかの実装では、取得ユニットは、具体的に、画像データのメタデータを取得し、メタデータとディスプレイパラメータに基づいて、第1トーンマッピング曲線の第1パラメータを決定するよう構成される。
【0103】
第3の態様によると、コンピュータ-可読記憶媒体が提供される。コンピュータ可読記憶媒体は命令を格納する。命令がコンピュータで実行されると、コンピュータは、第1の態様による方法を実行可能にされる。
【0104】
第4の態様によると、命令を含むコンピュータプログラムプロダクトが提供される。コンピュータプログラムプロダクトがコンピュータで実行されると、コンピュータは、第1の態様による方法を実行可能にされる。
【0105】
第5の態様によると、第2の態様によるダイナミックレンジマッピング機器を含む電子装置が提供される。
【0106】
第2の態様から第5の態様で達成された有益な効果と、本願の対応する実装については、第1の態様で達成された有益な効果と、本願の対応する実装を参照のこと。詳細はここで再び記載されない。
【図面の簡単な説明】
【0107】
【
図1】
現実世界の高ダイナミックレンジからディスプレイ装置への低ダイナミックマッピングの例である。
【0108】
【0109】
【0110】
【0111】
【0112】
【0113】
【
図7】画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度と同じ場合のマッピング曲線の例である。
【0114】
【
図8】本願の実施形態によるシステムアーキテクチャの概略図である。
【0115】
【
図9】本願の実施形態によるダイナミックレンジマッピング方法の概略フローチャートである。
【0116】
【
図10】本願の実施形態によるダイナミックレンジマッピング機器の概略ブロック図である。
【0117】
【
図11】本願の実施形態による別のダイナミックレンジマッピング機器の概略ブロック図である。
【発明を実施するための形態】
【0118】
以下は、添付の図面を参照して、本願の技術的ソリューションを説明する。
【0119】
先ず、本願の実施形態における関連概念と技術について簡単に説明する。
【0120】
1.ダイナミックレンジ(dynamic range)は、多くの分野で変数の最大値と最小値の比を示す。デジタル画像の場合、ダイナミックレンジとは、画像を表示できる範囲における最大輝度と最小輝度の比率を示す。自然のダイナミックレンジは非常に大きい。例えば、星空の夜景の輝度は約0.001cd/m2であり、太陽の輝度は最大10億cd/m2である。ここで、cd/m2(candela per square meter)は、国際単位系における輝度の派生単位である。したがって、自然のダイナミックレンジは10億/0.001=1013の桁に達する。
【0121】
しかし、実際の自然のシーンでは太陽の輝度と星の輝度が同時に得られることはない。現実世界の自然のシーンの場合、ダイナミックレンジは10
-3から10
6である。ダイナミックレンジは非常に大きいため、通常、高ダイナミックレンジ(high dynamic range, HDR)と呼ばれる。高ダイナミックレンジ画像と比較して、一般的な画像のダイナミックレンジは、低ダイナミックレンジ(low dynamic range, LDR)又は標準ダイナミックレンジ(standard dynamic range, SDR)と呼ばれる。したがって、デジタルカメラの画像処理は、実際には現実世界の高ダイナミックレンジから写真の低ダイナミックレンジへのマッピング処理であると理解できる。
図1は、現実世界の高ダイナミックレンジからディスプレイ装置への低ダイナミックマッピングの例を示している。
【0122】
画像のダイナミックレンジが大きいほど、画像内で表示されるシーンがより詳細になり、輝度レベルが多くなり、視覚効果がよりリアルになる。従来のデジタル画像では、1ピクセル値を1バイト(つまり、8ビット)空間を使用して格納するのが一般的である。高ダイナミックレンジ画像では、浮動小数点数の複数バイトを使用して1つのピクセル値を格納するため、自然のシーンの高ダイナミックレンジを表現することができる。
【0123】
光学デジタル画像処理(例えば、デジタルカメラの画像処理)では、画像センサを用いて実際のシーンの光放射を電気信号に変換し、その電気信号をデジタル画像の形式で格納する。画像表示は、デジタル画像によって描写された実景を、ディスプレイ装置を用いて再現することを目的としている。光学デジタル画像処理と画像表示の最終的な目的は、ユーザが実際のシーンを直接観察したときと同じ視覚を得ることができるようにすることである。
【0124】
しかし、実際のシーンの光放射(光信号)で表せる輝度レベルはほぼ直線的である。従って、光信号は、線形信号とも呼ばれる。しかし、光学デジタル画像化において光信号を電気信号に変換する処理では、すべての光信号が1つの電気信号に対応するわけではない。また、変換によって得られる電気信号は非線形である。従って、電気信号は、非線形信号とも呼ばれる。
【0125】
2.光電変換関数(optical electro transfer function, OETF)は、画像ピクセルの線形信号と非線形信号の変換関係を表す。
【0126】
HDR画像を撮影できるカメラが登場する以前は、従来のカメラは、露出値を制御することで、特定の範囲内のキャプチャされた光情報しか記録できなかった。ディスプレイ装置の最大輝度情報が現実世界の輝度情報に届かず、ディスプレイ装置が画像を閲覧するために使用されるので、光電変換機能が必要となる。初期のディスプレイ装置は陰極線管(cathode ray tube, CRT)ディスプレイであり、陰極線管ディスプレイの光電変換関数はガンマ関数である。「ガンマ」関数に基づく光電変換関数は、国際電気通信連合無線通信部門(international telecommunication union-radio communication sector, ITU-R)勧告BT.1886規格で、次の式(1)のように定義されている。:
【数15】
【0127】
上記の変換により8ビットへの量子化の後に得られた画像は、従来のSDR画像である。SDR画像と前述の式(1)の変換関数は、従来のディスプレイ装置(輝度が約100cd/m2)で良好に動作する。
【0128】
ディスプレイ装置は絶えずアップグレードされる。現在のディスプレイ装置は、従来のディスプレイ装置と比較して、連続的に増加するダイナミックレンジを表示することができる。既存の消費者レベルのHDRディスプレイは最大600cd/m2の表示範囲を持ち、ハイエンドのHDRディスプレイは最大2000cd/m2の表示範囲を持ち、従来のSDRディスプレイ装置の表示範囲をはるかに超える。ITU-RBT.1886標準プロトコルでは、従来のSDRディスプレイ装置に適応した光電変換関数は、現在のHDRディスプレイ装置の表示性能をうまく表現できない。従って、HDRディスプレイ装置のアップグレードに対応するために、光電変換関数の改善が必要である。
【0129】
HDR光電変換関数OETFには、主に知覚量子化器(perceptual quantizer, PQ)光電変換関数、ハイブリッドログガンマ(hybrid log-Gamma, HLG)光電変換関数、シーン輝度忠実度(scene luminance fidelity, SLF)光電変換関数の3つのタイプが含まれる。3つの光電変換関数は、オーディオビデオコーディング規格(audio video coding standard, AVS)で指定されている。
【0130】
PQ光電変換関数は、人間の目の輝度知覚モデルに基づいて提供される知覚量子化器光電変換関数である。
図2は、PQ光電変換関数の図である。
【0131】
PQ光電変換関数は、画像ピクセルの線形信号値とPQ領域の非線形信号値との変換関係を表す。PQ光電変換関数は、式(2)で表すことができる:
【数16】
【0132】
式(2)の各パラメータは、以下のように計算される:
【数17】
【0133】
Lは[0,1]に正規化された値を持つ線形信号値であり、L'は[0,1]の値の範囲を持つ非線形信号値を表し、m
1、m
2,、c
1、c
2、及びc
3はPQ光電子移動係数である:
【数18】
【0134】
HLG光電子変換関数は従来のガンマ曲線を改良することによって得られる。
図3は、HLG光電変換関数の図である。
【0135】
HLG光電変換関数では、低輝度領域では従来のガンマ曲線を使用し、高輝度領域では対数曲線を補っている。HLG光電変換関数は、画像ピクセルの線形信号値とHLG領域の非線形信号値との変換関係を表す。HLG光電変換関数は、式(3)で表すことができる:
【数19】
【0136】
Lは[0,2]の値範囲の線形信号値であり、L'は[0,1]の値範囲の非線形信号値を表し、a、b、cはHLG光電変換係数であり、a=0.17883277、b=0.28466892、c=0.55991073である。
【0137】
SLF光電変換関数は、人間の目の光学的特性を満たしたときに、HDRシーンにおける輝度分布に基づいて得られる最適曲線である。
図4は、SLF光電変換関数の図である。
【0138】
SLF光電変換関数は、画像ピクセルの線形信号値とSLF領域の非線形信号値との変換曲線を表す。画像ピクセルの線形信号値とSLF領域の非線形信号値との間の変換関係を式(4)に示す:
【数20】
【0139】
SLF光電変換関数は、式(5)で表すことができる:
【数21】
【0140】
Lは[0,1]に正規化され値を有する線形信号値であり、L'は[0,1]の値範囲の非線形信号値を表し、p、m、a、及びbはSLF光電変換係数であり、p=2.3、m=0.14、a=1.12762、及びb=-0.12762である。
【0141】
3.ダイナミックレンジマッピング方法は、主にフロントエンドHDR信号とバックエンドHDRディスプレイ装置との間の適応処理に適用され、高から低へのトーンマッピング(tone mapping)処理と低から高へのtone-mapping処理が含まれる。例えば、フロントエンドは4000nitの輝度信号を収集するが、バックエンドのディスプレイ装置(例えば、TVシリーズ又はタブレットコンピュータ)は500nitのHDR表示能力しか有しない。したがって、4000nitの輝度信号を500nitのディスプレイ装置にマッピングすることは、高から低へのtone-mapping処理である。別の例では、フロントエンドは100nitのSDR輝度信号を収集するが、バックエンドのディスプレイ装置は2000nitのHDR表示機能を有する。したがって、100nitの輝度信号を2000nitのディスプレイ装置にマッピングすることは、低から高へのtone-mapping処理である。
【0142】
ダイナミックレンジマッピング方法は、静的ダイナミックレンジマッピングと動的ダイナミックレンジマッピングに分けることができる。静的ダイナミックレンジマッピング方法では、同一のビデオコンテンツ又は同一のハードディスクコンテンツに基づいて、単一のデータを用いて全体的なtone-mapping処理を行う、すなわち、同一のビデオコンテンツ又はハードディスクコンテンツの処理曲線は通常同一である。この方法の利点は、伝達される情報が少なく、処理手順が比較的簡単であることである。この方法の欠点は、すべてのシーンでtone-mappingを行うために同じ曲線を使用するため、一部のシーンで情報が失われることである。例えば、明るい領域の保護に焦点を当てた曲線の場合、一部の極端に暗いシーンでは一部の詳細が失われたり見えなくなったりすることがあり、ユーザ経験に影響する。
【0143】
動的マッピング方法は、特定の領域、各シーン、又は各フレームの内容に基づいて動的に調整することである。この方法の利点は、特定の領域、各シーン、又は各フレームに基づいて処理に異なる曲線を使用することができ、処理された画像がより良好な表示結果を有することである。ただし、各フレームや各シーンが関連するシーン情報を伝達する必要があり、大量の情報が伝達されるという欠点がある。
【0144】
現在、以下の5つのtone-mapping技術がある。ここでは、5つのtone-mapping技術について説明する。
【0145】
技術1はドルビーによって提案されたSigmoid曲線に基づくtone-mapping処理である。
図5は、Sigmoid曲線の概略図である。
図5を参照すると、横座標は入力輝度、すなわちダイナミックレンジ調整前のHDR画像の輝度を表し、縦座標は出力輝度、すなわちダイナミックレンジ調整後に得られた画像の輝度を表す。Sigmoid曲線の形状は「S」形であり、曲線の勾配は最初に増加し、次に減少する。例えば、Sigmoid曲線上の調整点を例にとる。Sigmoid曲線を用いることで、輝度が約300cd/m
2のソース調整レベル(ソース適応レベル)を輝度が約30cd/m
2の目標調整レベル(目標適応レベル)にマッピングすることができる。
【0146】
技術2はベジェ曲線に基づくtone-mapping処理である。
図6は、ベジェ曲線の概略図である。
図6において、横座標は入力輝度、すなわちダイナミックレンジ調整前のHDR画像の輝度を表し、縦座標は出力輝度、すなわちダイナミックレンジ調整後に得られた画像の輝度を表す。ベジェ曲線は、0からKsの入力輝度の範囲では線形マッピング処理であり、K
sから1の入力輝度の範囲では「S」字形の曲線であり、曲線の勾配は最初に増加し、次に減少する。
【0147】
技術3は人間の目が知覚するS字曲線に基づくtone-mapping処理である。曲線の形を式(6)に示す:
【数22】
【0148】
LとL'は正規化された電気信号又は光信号を表し、aの値は0.0から1.0の範囲であり、bの値は0.0から1.0の範囲であり、p、n、mの値は0.1からNの範囲であり、Nは0.1より大きい有理数であり、L'は0.0から1.0の範囲の有理数であり、Lは0.0から1.0の範囲の有理数であり、k1、k2、k3は有理数である。
【0149】
技術4は、3次スプラインと直線のS字曲線を組み合わせたtone-mapping処理である。曲線の部分の形状を以下の式(7)に示す:
【数23】
【0150】
LとL'は正規化された電気信号又は光信号である。aの値は0.0から1.0の範囲であり、bの値は0.0から1.0の範囲であり、p、n、mの値は0.1からNの範囲であり、Nは0.1より大きい有理数であり、L'は0.0から1.0の範囲の有理数であり、Lは0.0から1.0の範囲の有理数であり、k1、k2、k3は有理数であり、k1とk2は同時に0ではなく、K3は0ではない。TH1[i]、TH2[i]、TH3[i]は0.0から1.0の範囲の有理数である。
【0151】
技術5は、3次スプラインと直線のS字曲線を組み合わせた別のtone-mapping処理である。曲線の部分の形状を以下の式(8)に示す:
【数24】
【0152】
LとL'は正規化された電気信号又は光信号である。aの値は0.0から1.0の範囲であり、bの値は0.0から1.0の範囲であり、p、n、mの値は0.1からNの範囲であり、Nは0.1より大きい有理数であり、L'は0.0から1.0の範囲の有理数であり、Lは0.0から1.0の範囲の有理数であり、k1、k2、k3は有理数である。LTは事前設定された有理数であり、0.0から1.0の範囲の有理数である。TH1[i]、TH2[i]、TH3[i]は0.0から1.0の範囲の有理数である。
【0153】
曲線パラメータに関連するメタデータは、動的メタデータで送信される。
【0154】
技術1の場合、DolbySt2094-10に関連する動的メタデータ定義では、最大値(maximum PQ-encoded maxRGB)、最小値(minimum PQ-encoded maxRGB)、平均値(PQ-encoded maxRGB)などの統計値だけでなく、トーンマッピングオフセット(tone-mapping offset)、トーンマッピング利得(tone-mapping gain)、トーンマッピングガンマ(tone-mapping gamma)などのSigmoid曲線関連パラメータも送信される。
【0155】
技術2では、St2094-40に関連する動的メタデータ定義にヒストグラム情報(distribution MaxRGB)が含まれており、曲線を直接生成するためのベジェ曲線パラメータ(Bezier curve anchors)も含まれている。
【0156】
さらに、St2094シリーズの規格では、メタデータに目標システムディスプレイの実際のピーク輝度(targeted system display actual peak luminance)が含まれている。
【0157】
技術3、技術4、技術5では、最大値、最小値、平均値などの情報をメタデータで転送でき、p、m、a、b、n、K1、K2、K3などの曲線パラメータを転送することもできる。
【0158】
画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度よりも小さい場合、技術1~技術5のダイナミックレンジマッピングアルゴリズムを用いて、高ダイナミックレンジ画像を表示のためにディスプレイ装置で表示可能なダイナミックレンジに調整することができる。ただし、画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合、技術1~技術5のダイナミックレンジマッピングアルゴリズムをそのまま使用すると、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなるという異常が発生する。
【0159】
図7は、画像の最大輝度とディスプレイ装置の最大ディスプレイ輝度が同じ場合のtone-mapping曲線の例を示している(例えば、どちらも500cd/m
2である)。
図7を参照すると、直線y=x(2つのエンドポイントは各々A(500,500)とB(0,0))は、入力輝度が出力輝度と同じtone-mapping曲線に対応する。ディスプレイ装置のピクセルの輝度は、直線y=xに基づく元画像の輝度と同じである。例えば、y=x上の点Dの場合、入力輝度と出力輝度はともに450cd/m
2である。
【0160】
更に
図7を参照すると、「S」字曲線(2つのエンドポイントは各々A(500,500)とB(0,0)であり、例えば技術1のSigmoid曲線)では、入力輝度が500cd/m
2に近く、入力輝度が同じ場合、「S」字曲線を使用して実行されたtone-mappingの出力輝度は、y=xを使用して実行されたtone-mappingの出力輝度よりも大きくなる。例えば、点Dと入力輝度が同じ「S」字曲線上の点Eの場合、点Eの出力輝度は480cd/m
2となる。
【0161】
これに鑑み、本願はダイナミックレンジマッピング方法を提供する。画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合、調整したパラメータに対応するtone-mapping曲線の出力輝度がtone-mapping曲線の入力輝度より大きくならないように、元のtone-mapping曲線のパラメータを調整する。これは、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなるという異常を回避するのを助ける。ここで、元のtone-mapping曲線は、例えば技術1から技術5のtone-mapping曲線のように、画像データのメタデータにおける目標システムディスプレイの実際のピーク輝度に基づいて調整された固定曲線であってもよい。
【0162】
図8は、本願の実施形態によるダイナミックレンジマッピング方法のシステムアーキテクチャの概略図である。
図8を参照すると、フロントエンドは収集と生産によってHDRコンテンツを取得し、HDRコンテンツとHDRコンテンツのメタデータを伝送層を介してディスプレイエンドに送信することができる。ディスプレイエンドはHDRディスプレイ装置を含み、さらにSDRディスプレイ装置を含むことができる。例えば、ディスプレイエンドにHDRディスプレイ装置が含まれている場合、HDRコンテンツをHDRディスプレイ装置にマッピングすることができる。ディスプレイエンドにSDRディスプレイ装置が含まれている場合、HDRコンテンツをSDRディスプレイ装置にマッピングすることができる。
【0163】
例えば、ディスプレイエンドの製品形態は、セットトップボックス、テレビディスプレイ装置、携帯電話ディスプレイ装置、又はライブウェブキャスト及びビデオアプリケーションの変換デバイスなどの電子装置であってよい。
【0164】
一例として、セットトップボックス、テレビディスプレイ装置、又は携帯電話ディスプレイ装置において、本願の本実施形態で提供されるソリューションをハードウェアチップ形式で実装することができる。ライブウェブキャスト装置や動画再生装置では、本願の本実施形態で提供されるソリューションは、主にソフトウェアプログラムコードの形式で実装される。しかしながら、本願の本実施形態はそれらに限定されない。
【0165】
なお、本願の本実施形態では、
図7の適用シーンのみを例に説明するが、本願の本実施形態に適用されるシステムアーキテクチャはこれに限定されない。例えば、フロントエンドはさらにSDRコンテンツを取得できる。この場合、ディスプレイエンドにHDRディスプレイ装置が含まれている場合、SDRコンテンツをHDRディスプレイ装置にマッピングすることができる。
【0166】
図9は、本願の実施形態によるダイナミックレンジマッピング方法900の概略フローチャートである。方法900は、例えば、
図8に示すディスプレイエンドによって行われる、
図8に示す適用シーンに適用できる。
図9を参照すると、方法900は以下のステップ910~940を含む。
【0167】
910:画像データの特徴情報とローカルディスプレイ装置のディスプレイパラメータを取得する。ここで、画像データ(Vで表すこともできる)は、HDR画像データ又はSDR画像データであってよい。これは、本願の本実施形態において限定されない。
【0168】
例えば、ディスプレイ装置はフロントエンドからビデオソースを受信してよい。ビデオソースには主に画像データV、例えばピクセルデータが含まれる。具体的な例としては、3840×2160ピクセルの輝度及び色データなどが含まれてよい。
【0169】
留意すべきことに、本願の本実施形態において、画像データVのフォーマットは限定されない。例えば、ピクセルデータの色空間としては、画像データVは、Y(luminance)UV(chrominance)空間の画像データであってよく、又はRGBピクセル空間の画像データであってもよい。別の例として、ピクセルデータのビット幅では、画像データVは8ビットのビット幅、つまり10ビットのビット幅、又は12ビットのビット幅とすることができる。
【0170】
幾つかの実施形態では、画像データVを取得する際に、画像データの特徴情報をさらに取得する場合もあり、例えば、メタデータ(metadata)Mから取得する場合がある。画像データVのメタデータMは画像データのデータ特徴を示し、例えば、画像データのフォーマット、又は画像データVに対応する曲線パラメータMcurve、目標システムディスプレイ実ピーク輝度MTPL(targeted system display actual peak luminance)、画像データの内容の最大輝度値MaxSource(全ピクセルのY成分の最大値又は全ピクセルのRGB成分の最大値のうちの最大値)、最小値MinSource(全ピクセルのY成分の最小値又は全ピクセルのRGB成分の最大値のうちの最小値)、平均値(全ピクセルのY成分の平均値、又は全ピクセルのRGB成分の最大値の平均値)、表示内容の変化範囲、等が含まれてよい。これは、本願の本実施形態において限定されない。
【0171】
幾つかの実施形態では、画像データVのピクセル情報からさらに画像データの特徴情報が取得されてもよい。或いは、事前設定された値を持つ画像データの特徴情報値が使用されてもよい。これは、本願の本実施形態において限定されない。
【0172】
なお、メタデータMに曲線パラメータMcurveが含まれている場合、本願の本実施形態では、曲線パラメータMcurveのフォーマットは制限されない。例えば、技術3の場合、メタデータに含まれる曲線パラメータMcurveは、p、m、a、b、n、K1、K2、K3などであってよい。
【0173】
幾つかの実施形態では、メタデータは動的メタデータと静的メタデータを含む。色ボリューム変換の標準ST2094-1動的メタデータ、又は関連する静的メタデータ(静的メタデータ)の標準を参照のこと。例えば、メタデータは画像と一緒にパッケージ化されることがあり、例えば、異なるファイルフォーマットと異なる符号化規格のSEIパッケージ、及びハードウェアのHDMIに関連する幾つかのパッケージ構造が含まれる。
【0174】
幾つかの実施形態では、ディスプレイ装置は、ディスプレイ装置(つまり、実際の端末装置P又はローカルディスプレイ装置)のディスプレイパラメータMTPL(これは、ディスプレイ輝度パラメータとも呼ばれることがある)をさらに得ることができる。例えば、ディスプレイパラメータMTPLには、ディスプレイ装置の最大ディスプレイ輝度MaxDisplayとディスプレイ装置の最小ディスプレイ輝度MinDisplay、又は別のパラメータを含めることができる。これは、本願の本実施形態において限定されない。
【0175】
920:画像データの第1トーンマッピング曲線の第1パラメータを取得する。
【0176】
例えば、ディスプレイ装置は、画像データVのメタデータMとディスプレイ装置のディスプレイパラメータMTPLに基づいて、画像データVの第1tone-mapping曲線の第1パラメータを取得することができる。例えば、第1tone-mapping曲線の第1パラメータは、平均輝度値average_maxrgb、及び/又は最大輝度値MaxSource、及び/又はメタデータM内の画像データVのコンテンツの最小輝度値MinSource、及び/又はディスプレイ装置の最大ディスプレイ輝度MaxDisplay、及び/又はディスプレイ装置の最小ディスプレイ輝度MinDisplay、及び/又は曲線パラメータMcurve(p1,p2,...)、及び/又は他のデータに基づいて、第1トーンマッピング曲線の第1パラメータを取得することができ、P1curve(X,p1,p2,...)と表すことができる。Xは入力輝度値であり、p1,p2,..は曲線パラメータ値である。
【0177】
なお、第1tone-mapping曲線の第1パラメータP1curveの形式は、本願の本実施形態に限定されない。また、第1パラメータP1curveを生成するために使用されるデータ、又は第1パラメータP1curveを生成するために使用されるアルゴリズムは、本願の本実施形態に限定されない。例えば、第1パラメータP1curveを生成するために使用されるデータは、メタデータ、及び/又はディスプレイ装置のディスプレイパラメータであってよく、又は他の事前設定されたデータであってよい。
【0178】
具体的な例として、技術5の場合、曲線パラメータMcurveには、例えばパラメータ値(p、m、a、b、n、K1、K2、又はK3)と(TH1[i]、TH2[i]、TH3[i]又はMB0)が含まれる。第1tone-mapping曲線の第1パラメータP1curve(例えば、pP1、mP1、aP1、bP1、nP1、K1P1、K2P1、K3P1、TH1[i]、TH2[i],TH3[i],MD1[i],MC1[i],MB1[i],MA1[i]、MD2[i]、MC2[i]、MB2[i]、MA2[i]、又はMB3)は、曲線パラメータMcurveに基づいて求めることができる。
【0179】
別の特定の例として、技術4の場合、曲線パラメータMcurveには、例えばパラメータ値(p、m、a、b、n、K1、K2、又はK3)と(TH1[i]、TH2[i]、TH3[i]又はMB0)が含まれる。第1tone-mapping曲線の第1パラメータP1curve(例えば、pP1、mP1、aP1、bP1、nP1、K1P1、K2P1、K3P1、TH1[i]、TH2[i],TH3[i],MD1[i],MC1[i],MB1[i],MA1[i]、MD2[i]、MC2[i]、MB2[i]、又はMA2[i])は、曲線パラメータMcurveに基づいて求めることができる。
【0180】
なお、本出願の本実施形態における第1tone-mapping曲線は、前述の元のtone-mapping曲線の一例であり、技術1、技術2、技術3、技術4、技術5で使用されるtone-mapping曲線を含むが、これに限定されない。本願の第1マッピング曲線の第1パラメータには、技術1、技術2、技術3、技術4、及び技術5で使用されるtone-mapping曲線に関連するパラメータが含まれるが、これらに限定されない。
【0181】
930:事前設定された条件が満たされた場合、特徴情報、ディスプレイパラメータ、第1パラメータに基づき、第2tone-mapping曲線の第2パラメータを取得する。第2tone-mapping曲線の第1点での出力輝度は、第2tone-mapping曲線の第1点での入力輝度より大きくない。すなわち、第2tone-mapping曲線の入力輝度範囲内において、第2tone-mapping曲線に基づいて任意の入力輝度をマッピングして得られる出力輝度は、入力輝度より大きくない。第2パラメータは、画像データに対してダイナミックレンジマッピングを実行するために使用され、Rcurveとして表すことができる。
【0182】
一例として、tone-mapping曲線の入力輝度は、線形光の場合もあれば、非線形値の場合もあり、線形関係を正規化(例えば、10000を1として使用したり、コンテンツの最大輝度を1として使用したりする)した後の値の場合もある。これは、本願の本実施形態において限定されない。
【0183】
例えば、第2tone-mapping曲線の第2パラメータRcurveは、第1パラメータP1curve、平均輝度値average_maxrgb、及び/又は最大輝度値MaxSource、及び/又は画像データVのコンテンツの最小輝度値MinSource、及び/又はディスプレイ装置の最大ディスプレイ輝度MaxDisplay、及び/又はディスプレイ装置の最小ディスプレイ輝度MinDisplay、及び/又はその他のデータに基づいて得られる。
【0184】
例えば、第2パラメータR
curveは、以下の式(9)のような形式を有してよい:
【数25】
【0185】
LとL'は正規化された電気信号又は光信号である。Dark、TH3C、TH2D、TH3D、MD1D、MC1D、MB1D、MA1D、MD2D、MC2D、MB2D、MA2Dは有理数である。
【0186】
幾つかの実施形態では、事前設定された条件は、例えば、第1tone-mapping曲線に基づいて画像データに対してtone-mappingを行う場合、第1tone-mapping曲線上の点の出力輝度が、第1tone-mapping曲線上の点の入力輝度よりも大きくなることである。
【0187】
なお、本願の本実施形態では、tone-mapping曲線の出力輝度と入力輝度の差が第1範囲内にある場合、出力輝度と入力輝度は基本的に同一であると考えてよい。つまり、tone-mapping曲線の出力輝度が入力輝度より大きく、出力輝度と入力輝度の差が第1範囲内にある場合、出力輝度と入力輝度は基本的に同じであると考えることができる。そうでない場合、tone-mapping曲線の出力輝度が入力輝度よりも大きく、出力輝度と入力輝度の差が第1範囲を超えると、出力輝度が入力輝度よりも大きいと考えられる。
【0188】
事前設定された条件が満たされている場合、すなわち、第1パラメータに基づいて画像データに対してtone-mappingを行う際に、第1tone-mapping曲線の出力輝度が第1tone-mapping曲線の入力輝度よりも大きい場合、第2tone-mapping曲線の第2パラメータRcurveを生成する処理が行われる。
【0189】
可能な実装では、事前設定された条件は、第1パラメータのパラメータpP1が第1値Tpよりも大きいことであってよい。第1値Tpは、第1パラメータのaP1と、aP1とpP1の間の事前設定された対応とに基づいて得られる。Tpは、技術3、技術4、又は技術5の曲線パラメータpの閾値を表す。第1パラメータpP1がTpを超えると、第2tone-mapping曲線上の点での出力輝度が入力輝度より大きくなることがある。
【0190】
具体的な例として、技術4又は技術5の場合、第1パラメータP1curveにはaP1やpP1などのパラメータが含まれる。の場合、TaとしてaP1を使用し、テーブルTpa(Tp,Ta)を検索することで対応する第1値Tpを得る。ここで、テーブルTpa(Tp,Ta)は、aP1及びpP1の事前設定された対応の例である。Taは、技術3、技術4、又は技術5の曲線パラメータaの閾値を表す。
【0191】
pP1がTpより大きければ、事前設定された条件を満たしている。この場合、任意で、第1パラメータP1curveのpP1をテーブル検索によって得られた第1値Tpに置き換えることができる。このように、置換後に得られる第1パラメータP1curveは、前述の第2パラメータRcurveであってもよい。
【0192】
pP1がTp以下の場合、第2tone-mapping曲線の第2パラメータRcurveを生成する処理を実行する必要はない。
【0193】
別の可能な実装では、事前設定された条件は、第1パラメータのパラメータaP1が第2値Taよりも大きいことであってよい。第2値Taは、第1パラメータのpP1と、aP1とpP1の間の事前設定された対応とに基づいて得られる。第1パラメータaP1がTaを超えると、第2tone-mapping曲線上の点での出力輝度が入力輝度より大きくなることがある。
【0194】
具体的な例として、技術4又は技術5の場合、第1パラメータP1curveにはaP1やpP1などのパラメータが含まれる。この場合、pP1をTpとして使用してよく、テーブルTpa(Tp,Ta)を検索することで対応する第2値Taを得る。ここで、テーブルTpa(Tp,Ta)は、aP1及びpP1の事前設定された対応の例である。
【0195】
aP1がTaより大きければ、事前設定された条件を満たしている。任意で、この場合、任意で、第1パラメータP1curveのaP1をテーブル検索によって得られた第2値Taに置き換えることができる。このように、置換後に得られる第1パラメータは、第2パラメータRcurveであってもよい。
【0196】
aP1がTa以下の場合、第2tone-mapping曲線の第2パラメータRcurveを生成する処理を実行する必要はない。
【0197】
前述の例では、テーブルTpa(Tp,Ta)は事前設定された有理数の組み合わせであり、例えば(3.5,0.879)と(4.5,0.777)である。なお、テーブルにない値については、線形差、隣接値、隣接値の加重平均値などを用いて値を生成する場合がある。更に、テーブルTpa(Tp,Ta)の具体的形式は、本願の本実施形態で限定されない。例えば、テーブルTpa(Tp,Ta)は、TpとTaの間の関数関係として別の方法で表されることもある。
【0198】
別の可能な実装では、事前設定された条件は、第1パラメータのパラメータaP1及びパラメータpP1が第3値Tapよりも大きいことである。第3値Tapは事前設定された有理数である。例えば、第3値Tapは3と4の間の有理数、例えば3.2又は3.4であってよい。これは、本願の本実施形態において限定されない。
【0199】
具体的な例として、技術4又は技術5の場合、第1パラメータP1curveにはaP1やpP1などのパラメータが含まれる。この場合、パラメータaP1とパラメータpP1の積aP1*pP1が事前設定された値Tapより大きいかどうかを判定してもよい。
【0200】
aP1*pP1がTapより大きければ、事前設定された条件を満たしている。この場合、任意で、第1パラメータP1curveのpP1をTap/aP1に置き換えることができ、又は第1パラメータのaP1をTap/pP1に置き換えることができる。このように、置換後に得られる第1パラメータは、第2パラメータRcurveであってもよい。
【0201】
aP1*pP1がTap以下の場合、第2tone-mapping曲線の第2パラメータRcurveを生成する処理を実行する必要はない。
【0202】
他の幾つかの実施形態では、第1tone-mapping曲線に対応する第1パラメータP1curveは、代わりに、絶対輝度空間、例えば線形空間、又はPQやHLGのような非線形空間にさらに変換されてもよい。この場合、同じ値のyとxの輝度が同じになることを保証する必要がある。次に、第1tone-mapping曲線が直線y=xとの交点を持つかどうかに基づいて、第1tone-mapping曲線がy=xよりも高い部分を持つことを決定してもよい。例えば、第1tone-mapping曲線が直線y=xとの交点を持つ場合、第1tone-mapping曲線がy=xよりも高い部分を持つと決定されてもよい。第1tone-mapping曲線がy=xとの交点を持たない場合、第1tone-mapping曲線がy=xよりも高い部分を持たないと決定されてもよい。
【0203】
従って、本願の実施形態では、第1tone-mapping曲線のパラメータをさらに調整し、調整した曲線パラメータ(つまり、第2パラメータ)に対応するtone-mapping曲線(つまり、第2tone-mapping曲線)上の点の出力輝度が、その点の対応する入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。
【0204】
幾つかの任意の実施形態では、第2パラメータはさらに線形スプライン曲線パラメータを含む。線形スプライン曲線パラメータには、第2tone-mapping曲線の線形スプライン(第1線形スプラインと表記される場合もある)の範囲ピクセルの輝度値の最大値TH3C(第1最大入力輝度TH3Cとも呼ばれる)と、第1線形スプラインの勾配Darkが含まれる。例えば、第1線形スプラインは、例えば入力輝度が前述の式(9)のTH3Cよりも小さいtone-mapping曲線であり、すなわちDark×L、L<TH3Cである。L<TH3Cは第1線形スプラインの範囲ピクセルである。
【0205】
任意で、ディスプレイ装置は、第1線形スプラインの初期範囲ピクセルの輝度値の最大値TH3C0(初期第1最大入力輝度TH3C0とも呼ばれる)と初期勾配Dark0を取得し、次に初期第1最大入力輝度TH3C0に基づいて第1最大入力輝度TH3Cを決定し、初期勾配Dark0に基づいて勾配Darkを決定することができる。
【0206】
以下は、本願の実施形態で提供される初期第1最大入力輝度TH3C0を得るための3つの方法について説明する。
【0207】
方法1:
【0208】
ディスプレイ装置は、第1パラメータP1curveに基づいて、初期第1最大入力輝度TH3C0を決定してもよい。例えば、第1tone-mapping曲線が線形スプライン(第2線形スプラインとして示されることがある、例えば、技術2、技術4、又は技術5)を持つ場合、初期第1最大入力輝度TH3C0は、第2線形スプラインの範囲ピクセルの輝度値の最大値として決定されてよい。
【0209】
方法2:
【0210】
ディスプレイ装置は、事前設定された値に基づいて、初期第1最大入力輝度TH3C0を決定する。例えば、事前設定された値は、暗視と明視の境界、すなわち人間の目の錐体細胞と桿体細胞の応答が増大又は減少する輝度、例えば1nitであってよい。
【0211】
方法3:
【0212】
ディスプレイ装置は、画像データVのメタデータMに基づいて、初期第1最大入力輝度TH3C0を決定する。メタデータMには、ヒストグラム中の暗部ピクセルの量の特徴データ、例えば、ヒストグラム中の暗部ピクセルの量の特徴輝度位置、又は暗部ピクセルの暗から明へのピクセルの量/蓄積量が大きく変化する輝度、又は全ピクセルの中の0から特徴輝度までのピクセルの量の事前設定された割合より大きい割合が含まれる。
【0213】
以下は、本願の実施形態で提供される初期勾配Dark0を得るための3つの方法について説明する。
【0214】
方法1:
【0215】
ディスプレイ装置は、第1パラメータP1curveに基づいて、初期勾配Dark0を決定してもよい。例えば、第1tone-mapping曲線が線形スプライン(例えば、第2線形スプライン)を有する場合、初期勾配Dark0は、例えば技術4又は技術5のMB0のように、第2線形スプラインの勾配として決定されてよい。
【0216】
方法2:
【0217】
ディスプレイ装置は、第4値と第1最大入力輝度TH3Cの比に基づいて初期勾配Dark0を決定してよい。第4値は、第1最大入力輝度TH3Cにおける第1tone-mapping曲線の出力値である。例えば、第4値をVdark=P1curve(TH3C)と表すことができる。この場合、初期勾配Dark0は(Vdark/TH3C)と表すことができる。
【0218】
方法3:
【0219】
ディスプレイ装置は、0と第1最大入力輝度TH3Cの間の第1tone-mapping曲線の事前設定された入力値の勾配値に基づいて、初期勾配Dark0を決定してよい。例えば、初期勾配Dark0は、平均値、最大値、又は0から第1最大入力輝度TH3Cまでの勾配値の中間値であってよい。これは、本願において限定されない。
【0220】
なお、上記の初期最大入力輝度TH3C0又は初期勾配Dark0を得る方法は単なる例であり、本願の本実施形態の制限を構成するものではない。例えば、上記の方法と同様の方法、又は上記の方法を共通の手段に置き換えて初期最大入力輝度TH3C0又は初期勾配Dark0を得る方法も、本願の本実施形態の保護範囲に含まれる。
【0221】
以下は、本願の本実施形態で提供される初期最大入力輝度TH3C0と初期勾配Dark0に基づいて、第1最大入力輝度TH3Cと第2目標tone-mapping曲線の勾配Darkを求める2つの方法について説明する。
【0222】
方法1:
【0223】
第1最大入力輝度TH3Cと勾配Darkは、以下の式(10)と(11)に基づいて決定できる。すなわち、第1初期最大入力輝度TH3C0、第1最大入力輝度TH3C、初期勾配Dark0、勾配Darkは、以下の式(10)と(11)を満たす:
【数26】
【0224】
N1とN2は0より大きい有理数であり、H(L)はtone-mapping曲線であり、G(L)はH(L)の逆関数である。
【0225】
方法2:
【0226】
第1最大入力輝度TH3Cと勾配Darkは、以下の式(12)と(13)に基づいて決定できる。すなわち、第1初期最大入力輝度TH3C0、第1最大入力輝度TH3C、初期勾配Dark0、勾配Darkは、以下の式(12)と(13)を満たす:
【数27】
【0227】
MaxLumは画像データの最大輝度MaxSourceの調整値であり、H(L)はtone-mapping曲線関数であり、G(L)はH(L)の逆関数である。留意すべきことに、本願の本実施形態において、MaxSourceからMaxLumへの調整の方法は限定されない。
【0228】
例えば、次の式(14-1)のtone-mapping曲線の場合、tone-mapping曲線の逆関数G(L)は式(15-1)に示される:
【数28】
【0229】
例えば、次の式(14-2)のtone-mapping曲線の場合、tone-mapping曲線の逆関数G(L)は式(15-2)に示される:
【数29】
【0230】
本願の本実施形態では、第2パラメータに基づいて画像データに対してダイナミックレンジマッピングを行う場合、直線部分を用いて、画像データの暗い領域でトーンマッピングを行ってよい。このように、輝度利得を制御することができる。また、第2パラメータを制御して直線から直線y=xに徐々に変化させる方が便利である。直線y=xは、tone-mapping曲線上の任意の点における出力輝度が入力輝度に等しいことと等価である。従って、本願の本実施形態では、輝度勾配のあるコンテンツではフリッカー現象が発生しにくい。
【0231】
幾つかの任意の実施形態では、第2tone-mapping曲線はさらに3次スプライン曲線を含む。第2パラメータRcurveはさらに、第2tone-mapping曲線の第1の3次スプラインの第1範囲ピクセルの輝度値の最小値を含む。この場合、ディスプレイ装置は、第2tone-mapping曲線上の線形スプラインの範囲ピクセルの輝度値の最大値TH3C、すなわち第1最大入力輝度TH3Cに基づいて、第1の3次スプラインの第1範囲ピクセルの輝度値の最大値TH1Dを決定してもよい。例えば、第1範囲のピクセルの輝度値の最大値TH1Dは、第1最大入力輝度TH3Cと等しくてもよい。つまりTH1D=TH3Cである。
【0232】
例えば、第1の3次スプラインに対応するtone-mapping曲線は、前述の式(9)における入力輝度範囲がTH3C以上且つTH2D未満のtone-mapping曲線であってよい。すなわち、D1D×(L-TH1D)3+MC1D×(L-TH1D)2+MB1D×(L-TH1D)+MA1D、TH1D≦L<TH2Dであり、TH1D≦L<TH2Dは第1範囲ピクセルである。
【0233】
第2パラメータRcurveはさらに、第1の3次スプラインの第1範囲ピクセルの輝度値の最大値TH2Dを含み、最大値TH2Dは第2最大入力輝度TH2Dと呼ばれることもある。例えば、第2最大入力輝度TH2Dは、第1範囲ピクセルの輝度値の前述の最大値TH1Dに基づいて決定されてよい。
【0234】
幾つかの任意の実施形態では、第2パラメータRcurveは、第2tone-mapping曲線上の第2の3次スプラインの第2範囲ピクセルの輝度値の最大値TH3Dをさらに含み、最大値TH3Dは第3最大入力輝度TH3Dと呼ばれることもある。任意で、第2範囲のピクセルの輝度値の最小値をTH2Dにすることもできる。例えば、第2の3次スプラインに対応するtone-mapping曲線は、前述の式(9)における入力輝度範囲がTH2D以上且つTH3D未満のtone-mapping曲線であってよい。すなわち、MD2D×(L-TH2D)3+MC2D×(L-TH2D)2+MB2D×(L-TH2D)+MA2D、TH2D≦L≦TH3Dであり、TH2D≦L≦TH3Dは第2範囲ピクセルである。
【0235】
例えば、ディスプレイ装置は、第1範囲ピクセルの輝度値の最大値TH1Dと第2最大入力輝度TH2Dとに基づいて、第3最大入力輝度TH3Dを決定してもよい。
【0236】
以下は、本願の本実施形態で提供される第2最大入力輝度TH2Dと第3最大入力輝度TH3Dの決定方法について説明する。
【0237】
方法1:
【0238】
ディスプレイ装置は、第1範囲ピクセルの輝度値の最大値TH1Dと、第1パラメータのTH1[0]、TH2[0]、TH3[0](又はメタデータMに含まれるパラメータTH1[0]、TH2[0]、TH3[0])に基づいて、第2最大入力輝度TH2Dを求めることができる。例えば、TH2DとTH3Dは各々次の式(16-1)と式(17-1)を満たす:
【数30】
【0239】
方法2:
【0240】
ディスプレイ装置は、第1範囲ピクセルの輝度値の最大値TH1Dと、第1パラメータのdeltaTH2[0]及びdeltaTH3[0](又はメタデータMに含まれるパラメータdeltaTH2[0]及びdeltaTH3[0])に基づいて、第2最大入力輝度TH2Dを決定してもよい。例えば、TH2DとTH3Dは各々次の式(16-2)と式(17-2)を満たしてよい:
【数31】
【0241】
方法3:
【0242】
ディスプレイ装置は、TH1Dと事前設定された値に基づいてTH2DとTH3Dを決定してよい。例えば、TH2DとTH3Dは各々次の式(18)と式(19)を満たしてよい:
【数32】
【0243】
Bは0より大きい有理数であり、例えば、暗-明遷移領域ピクセルの輝度値に対応するオフセット値であってもよく、Bのデフォルト値は0.15であってもよい。CとDは0より大きい有理数であり、例えば、明るい領域のピクセルの輝度値に対応する重み係数であり、CとDのデフォルト値は0.5であってよい。
【0244】
任意で、第2パラメータRcurve(つまり、式(9))のMD1D、MC1D、MB1D、MA1D、MD2D、MC2D、MB2D、MA2Dなどのパラメータを決定することができる。例えば、これらのパラメータは、以下の式(14)~(19)に基づき決定されてよい。
【0245】
幾つかの実施形態では、第2tone-mapping曲線上の第1の3次スプラインの第1範囲ピクセルの輝度値の最小値TH1Dは、第1最大入力輝度TH3C(つまり、第1線形スプラインの範囲ピクセルの輝度値の最大値TH3C)と同じである。このようにして、第2tone-mapping曲線上の線形スプラインの範囲ピクセルは、第1の3次スプラインの第1範囲ピクセルと連続することができる。また、TH1Dにおける第2tone-mapping曲線上の第1の3次スプラインと第1線形スプラインの出力値は同じであり、TH1Dにおける第2tone-mapping曲線上の第1の3次スプラインと第1線形スプラインの1次微分は同じである。すなわちTH1Dにおいて第2tone-mapping曲線は連続している。
【0246】
【0247】
幾つかの実施形態では、第2の3次スプラインの第2範囲ピクセルの輝度値の最大値は、第1の3次スプラインの第1範囲ピクセルの輝度値の最大値TH2D、すなわち第2最大入力輝度TH2Dと同じである。TH2Dでの第2の3次スプラインと第1の3次スプラインの出力値は同じである。このようにして、第2tone-mapping曲線上の第1の3次スプラインの第1範囲ピクセルは、第2の3次スプラインの第2範囲ピクセルと連続することができる。また、TH2Dにおける第2の3次スプラインと第1の3次スプラインの1次微分は同じである。つまり、TH2Dにおいて第2tone-mapping曲線は連続している。
【0248】
例えば、式(9)のR
curveパラメータでは、第2tone-mapping曲線がTH2Dで連続している場合、MD1D、TH3C、MC1D、MB1D、MA1D、MD2D、TH2D、MB2D、及びMA2Dは、次の式(22)と(23)を満たす:
【数34】
【0249】
幾つかの実施形態では、第2パラメータは、第2tone-mapping曲線のtone-mappingサブ関数の曲線パラメータをさらに含む。tone-mappingサブ関数の第3範囲ピクセルの輝度値の最小値は、第2の3次スプラインの第2範囲ピクセルの輝度値の最大値TH3D、すなわち第3最大入力輝度TH3Dと同じである。このようにして、第2tone-mapping曲線上の第2の3次スプラインの第2範囲ピクセルは、tone-mappingサブ関数に対応する第2範囲ピクセルと連続することができる。また、TH3Dでの第2の3次スプラインとtone-mappingサブ関数の出力値は同じであり、TH3Dでの第2の3次スプラインとtone-mappingサブ関数の1次微分は同じである。つまり、TH3Dで第2tone-mapping曲線は連続している
例えば、式(9)のR
curveパラメータでは、第2tone-mapping曲線がTH3Dで連続している場合、MD2D、TH3D、TH2D、MC2D、MB2D、MA2D、MD2D、MC2D、及びMB2Dは、次の式(24)と(25)を満たす:
【数35】
【0250】
さらに、幾つかの実施形態では、TH2Dにおける上記の2つの3次スプラインのセグメント(つまり、第1の3次スプラインと第2の3次スプライン)の値が、事前設定されたポリシーに従って取得されてよい。例えば、TH2Dの3次スプラインの2つのセグメントの各々の値は、入力輝度がTH1DとTH3Dであり、第2tone-mapping曲線上にある2点間の接続線の中間点の値であってよい。
【0251】
本願の本実施形態では、第2tone-mapping曲線の3次スプライン曲線は、線形スプライン曲線と基本曲線を滑らかに接続することができる一方で、3次スプライン曲線は、直線部分に隣接する部分の利得を制御するのに役立つ。
【0252】
なお、本願の本実施形態では、第2パラメータの線形スプラインパラメータを取得する処理のみを含めることができ、第2パラメータの線形スプラインパラメータ以外のパラメータを取得する処理が含まれる必要はない。
【0253】
940:第2トーンマッピング曲線の第2パラメータに基づいて、画像データに対してダイナミックレンジマッピングを実行する。例えば、第2パラメータを取得した後、第2tone-mapping曲線を取得して、画像データに対してダイナミックレンジマッピングを実行することができる。
【0254】
例えば、正規化されたHDR/SDRソースデータと正規化されたHDR/SDRディスプレイデータとの間のマッピング関係は、前述の式(9)に基づいて取得することができる。例えば、ディスプレイ装置の最大ディスプレイ能力と最小ディスプレイ能力(例えば、0)に基づいて、マッピング値L'をディスプレイ装置の最大ディスプレイ能力と最小ディスプレイ能力の間の値に逆正規化することができる。なお、上記の逆正規化計算はPQの非線形空間であってもよいし、又は正規化0から1の線形空間であってもよい。また、逆正規化は0~10000nitであってよく、又は0.0001~100000nit、等であってもよい。HDR/SDRマッピングデータL'の逆正規化範囲及び逆正規化処理は、本願の本実施形態では限定されない。
【0255】
なお、2回目のtone-mapping曲線を取得した後に、後続の表示適応処理は、トーンマッピング(tone-mapping)を含まないだけでなく、彩度処理、色域変換処理、ノイズ除去処理、シャープニング処理などを調整するために、表示前にさらに調整されてもよい。これは、本願の本実施形態において限定されない。
【0256】
なお、さらに、ディスプレイ装置の最大ディスプレイ能力は、装置のパラメータ又はメーカに関する情報に基づき取得されてよい。ディスプレイ装置の最小ディスプレイ能力は通常0nitであり、又は1nitであってもよい。これは、本願の本実施形態において限定されない。
【0257】
従って、本願の本実施形態では、tone-mapping曲線のパラメータをさらに調整することで、調整した曲線パラメータに対応するtone-mapping曲線の出力輝度が、tone-mapping曲線の入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。従って、本願の本実施形態では、輝度の異なる端末ディスプレイ装置に高い柔軟性を持たせ、パラメータを適切に調整した場合に良好な表示効果を達成できる。
【0258】
本願の幾つかの可能な実施形態では、第2パラメータの線形スプライン曲線パラメータ(第1線形スプライン曲線パラメータと示されてもよい)には、第2tone-mapping曲線上の第1線形スプラインの勾配(例えば、MB[0][0]と表すことができる)と、第1線形スプラインの範囲ピクセルの輝度値の最大値(例えば、TH3[0]と表されることもある)を含めることができる。
【0259】
本願の幾つかの可能な実施形態では、第2パラメータの線形スプライン曲線パラメータ(第1線形スプライン曲線パラメータと示されてもよい)には、第2tone-mapping曲線上の第1線形スプラインの勾配(例えば、MB[0][0]と表すことができる)と、第1線形スプラインの範囲ピクセルの輝度値の最大値(例えば、TH3[0]と表されることもある)と、第1線形スプラインと垂直軸の交点base_offsetと、を含めることができる。
【0260】
本実施形態では、第1パラメータに含まれる線形スプライン曲線パラメータ(第2線形スプライン曲線パラメータと示されてもよい)には、第2tone-mapping曲線上の第2線形スプラインの勾配(例えば、MB_mid[0][0]と表すことができる)と、第2線形スプラインの範囲ピクセルの輝度値の最大値(例えば、TH3_mid[0]と表されることもある)を含めることができる。
【0261】
この場合、第1パラメータ、ディスプレイパラメータ、及び特徴情報に基づいて、事前設定された条件を満たしたときに第2tone-mapping曲線の第2パラメータを取得する実装は、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[0][0]及びTH3_mid[0]を調整し、曲線パラメータMB[0][0]及びTH3[0]を取得することであってよい。
【0262】
例えば、パラメータm_a(つまり、tone-mapping曲線パラメータa)がTm_ap(m_p)よりも大きい場合、第2パラメータを生成する処理が実行される。すなわち、MB[0][0]とTH3[0]がmax_lum/MaxDisplayに基づいて調整される。Tm_apは、例えば、m_p_Tとm_a_Tとの間の事前設定されたマッピング関係に基づいて、テーブル(m_p_T,m_a_T)を検索することによって得ることができる。ここで、m_pはtone-mapping曲線パラメータpに対応し、m_pに基づいて得られるm_aの事前設定された値Tm_ap(m_p)はm_a_Tである。
【0263】
例えば、曲線パラメータMB_mid[0][0]とTH3_mid[0]を調整するとき、入力は、ディスプレイ装置の表示輝度範囲の最大ディスプレイ輝度MaxDisplay(PQドメインの値)、処理対象フレームの最大輝度補正値max_lum、メタデータのtargeted_system_display_maximum_luminance(メタデータにtargeted_system_display_maximum_luminanceが存在しない場合、targeted_system_display_maximum_luminanceはMaxDisplayに等しい)、元の線形スプライン曲線(つまり、第1tone-mapping曲線の線形スプライン曲線)パラメータMB[0][0]又はTH3[0]、及びm_p、m_m、m_n、m_a、m_b、k1、k2、k3を含む色信号マッピング曲線パラメータPtone_mappingであってよい。出力は、線形スプライン曲線(つまり、第2tone-mapping曲線上の線形スプライン)パラメータMB[0][0]又はTH3[0]であってよい。
【0264】
可能な実装では、曲線パラメータMB_mid[0][0]とTH3_mid[0]、及び曲線パラメータMB[0][0]とTH3[0]は次式(26)及び(27)を満たす:
【数36】
【0265】
N1とN2は0より大きい有理数であり、G(L)はマッピング曲線パラメータTcurveの逆関数である。
【0266】
別の可能な実装では、曲線パラメータMB_mid[0][0]とTH3_mid[0]、及び曲線パラメータMB[0][0]とTH3[0]は次式(28)及び(29)を満たす:
【数37】
【0267】
MaxLumは最大輝度補正値(MaxSourceの調整値)であり、G(L)はマッピング曲線パラメータTcurveの逆関数である。
【0268】
別の可能な実装では、曲線パラメータMB_mid[0][0]とTH3_mid[0]、及び曲線パラメータMB[0][0]とTH3[0]は次式(30)及び(31)を満たす:
【数38】
【0269】
Lは入力信号であり、G(L)はtone-mapping曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、H(L,m_a_T)は同様である。N1とN2は有理数であり、例えばN1とN2のデフォルト値は0であってよい。max(a,b)はaとbのうち大きい値を計算することを示し、min(a,b)はaとbのうち小さい値を計算することを示す。
【0270】
幾つかの実施形態では、k1とk2は同時に0ではなく、K3は0ではない。
【0271】
例えば、H(L)は以下の幾つかの例である。
【数39】
【0272】
本願の幾つかの任意の実施形態では、第1パラメータは第2線形スプライン曲線パラメータを含んでよい。第2線形スプライン曲線パラメータには、第1tone-mapping曲線上の第2線形スプラインの勾配MB_mid[0][0]、及び/又は第2線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]、及び/又は第1線形スプラインと垂直座標軸の交点base_offset_midが含まれる。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
【0273】
第1パラメータ、ディスプレイパラメータ、及び特徴情報に基づき第2トーンマッピング曲線の第2パラメータを取得することには、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_midを調整して、曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetを取得することが含まれる。
【0274】
可能な実装では、曲線パラメータMB_mid[0][0]、TH3_mid[0]、及び/又はbase_offset_mid、並びに曲線パラメータMB[0][0]、TH3[0]、及び/又はbase_offsetは次式を満たす:
【数40】
【0275】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、N1、N2、及びN3は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数41】
【0276】
なお、本願の本実施形態では、第2パラメータの線形スプラインパラメータを取得する処理のみを含めることができ、第2パラメータの線形スプラインパラメータ以外のパラメータを取得する処理が含まれる必要はない。言い換えると、以下の処理プロセスを含まなくてもよい。
【0277】
幾つかの任意の実施形態では、第2パラメータは3次スプライン曲線パラメータを含む。3次スプライン曲線パラメータには、第2tone-mapping曲線上の3次スプラインの補間点の値TH1[1]、TH2[1]、TH3[1]が含まれる。TH1[1]は3次スプラインの第1範囲ピクセルの輝度値の最小値を示す。TH2[1]は、3次スプラインの第1範囲ピクセルの輝度値の最大値と、3次スプラインの第2範囲ピクセルの輝度値の最小値を示す。TH3[1]は3次スプラインの第2範囲ピクセルの輝度値の最大値を示す。例えば、TH1[1]はTH1Dの例であってよく、TH2[1]はTH2Dの例であってよく、TH3[1]はTH3Dの例であってよい。
【0278】
可能な実装では、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]は、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定されたオフセット値に基づいて計算されてよい。例えば、TH1[1]、TH2[1]、及びTH3[1]は各々次の式(32)~(34)を満たす:
【数42】
【0279】
B、C、Dは3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定された値である。Bは、暗-明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。例えば、Bのデフォルト値は0.15であってよく、CとDのデフォルト値は0.5であってよい。
【0280】
別の可能な実装では、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]は、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値に基づいて計算されてよい。例えば、TH1[1]、TH2[1]、及びTH3[1]は各々次の式(35)~(37)を満たす:
【数43】
【0281】
3Spline_TH[i][0][w]、3Spline_TH_Delta1[i][1][w]、3Spline_TH_Delta1[i][2][w]は、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]の計算に使用される相関値であり、メタデータから抽出される。
【0282】
幾つかの任意の実施形態では、第2tone-mapping曲線のTH1[1]、TH2[1]、TH3[1]に対応する座標(例えばY座標)を得ることができ、例えば、各々VA1、VA2、VA3と表すことができる。TH3[0]における第2tone-mapping曲線上の線形スプラインのY座標はTH1[1]における第2tone-mapping曲線上の3次スプラインのY座標と同じであり、TH3[0]における線形スプラインの1次微分はTH1[1]における3次スプラインの1次微分と同じである。
【0283】
幾つかの任意の実施形態では、TH2[1]における第2トーンマッピング曲線上の第1の3次スプラインのY座標は、TH2[1]における第2トーンマッピング曲線上の第2の3次スプラインのY座標と同じであり、TH2[1]における第1の3次スプラインの1次微分は、TH2[1]における第2の3次スプラインの1次微分と同じである。
【0284】
幾つかの任意の実施形態では、TH3[1]における第2tone-mapping曲線上の第2の3次スプラインのY座標は、TH3[1]における第2tone-mapping曲線上の第3tone-mapping関数のY座標と同じであり、TH3[1]における第2の3次スプラインの1次微分は、TH3[1]における第3tone-mapping関数の1次微分と同じである。
【0285】
例えば、式(38)は第2tone-mapping曲線上の線形スプラインに基づいて取得できる:
【数44】
【0286】
次に、LをTH[1]に設定し、TH[1]の座標VA1を計算し、座標VA1が次式(39)を満たす。
【数45】
【0287】
次に、MA[0][1]とMA[1][1]を第2tone-mapping曲線上の第1の3次スプラインに基づいて取得し、MA[0][1]とMA[1][1]は次の式(40)と(41)を満たす:
【数46】
【0288】
次に、MB[0][1]=GD1となるように、第2tone-mapping曲線上の第1の3次スプラインの1次微分GD1を計算し、TH3[1]における第2tone-mapping曲線上の第2の3次スプラインの1次微分GD3を計算する。GD1とGD3は各々次の式(42)と式(43)を満たす:
【数47】
【0289】
次に、TH2[1]における第2tone-mapping曲線の第1の3次スプライン(つまり、第1の3次スプライン)曲線の値VA2[0]を計算し、TH3[1]における第2の3次スプライン(つまり、第2の3次スプライン)曲線の値VA3[0]を計算すると、VA3[0]=VA3となる。
【0290】
TH3[1]における第2の3次スプライン曲線の微分GD3[0]を計算し、GD3[0]=GD3となる。
【0291】
TH2[1]における第1の3次スプライン曲線と第2の3次スプライン曲線の1次微分GD2[0]とGD2[1]を各々計算し、GD2[0]=GD2[1]となる。
【0292】
TH2[1]における2つの3次スプライン曲線の2次微分GGD2[0]及びGGD2[1]を計算し、GGD2[0]=GGD2[1]となる。
【0293】
結論として、次の式(44)が得られる:
【数48】
【0294】
第2パラメータのMC[0][1]、MD[0][1]、MB[1][1]、MC[1][1]、MD[1][1]などのパラメータは、上記の計算を通じて別の条件を参照して取得することができる。
【0295】
従って、本願の実施形態では、第1tone-mapping曲線のパラメータをさらに調整し、調整した曲線パラメータ(つまり、第2パラメータ)に対応するtone-mapping曲線(つまり、第2tone-mapping曲線)上の点の出力輝度が、その点の対応する入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。
【0296】
以上は、
図9を参照して、本願の実施形態におけるダイナミックレンジマッピング方法を詳細に説明した。以下は、
図10及び
図11を参照して、本願の実施形態におけるダイナミックレンジマッピング機器を説明する。なお、
図10及び
図11に示したダイナミックレンジマッピング機器は、
図9に示したダイナミックレンジマッピング方法のステップを実行することができる。上記の
図9のステップの制限は、
図10及び
図11に示した装置にも適用できる。したがって、
図10及び
図11に示した機器について以下に説明する場合、簡潔にするため、繰り返しの説明は適宜省略する。
【0297】
図10は、本願の実施形態によるダイナミックレンジマッピング機器1000の概略ブロック図である。機器1000は、取得ユニット1010、処理ユニット1020、及びマッピングユニット1030を含む。
【0298】
取得ユニット1010は、端末装置のディスプレイパラメータを取得するように構成される。
【0299】
取得ユニット1010はさらに、画像データの特徴情報を取得するように構成される。
【0300】
取得ユニット1010はさらに、画像データの第1トーンマッピング曲線の第1パラメータを取得するように構成される。
【0301】
処理ユニット1020は、事前設定された条件が満たされたときに、第1パラメータ、端末装置のディスプレイパラメータ、画像データの特徴情報に基づいて、第2tone-mapping曲線の第2パラメータを取得するように構成される。第2tone-mapping曲線の第1点での出力輝度は、第2tone-mapping曲線の第1点での入力輝度より大きくない。
【0302】
マッピングユニット1030は、第2tone-mapping曲線の第2パラメータに基づいて、画像データに対してダイナミックレンジマッピングを行うように構成される。
【0303】
本願の幾つかの実装では、以下の条件のうちのいずれか1つが満たされるとき、事前設定された条件が満たされる:
【0304】
第1パラメータに基づいて画像データに対してtone-mappingを行うと、第1tone-mapping曲線の第2点における出力輝度が、第1tone-mapping曲線の第2点における入力輝度よりも大きくなる。
【0305】
或いは、第1パラメータの中のパラメータpP1が第1値Tpより大きい。第1値Tpは、第1パラメータのaP1と、aP1とpP1の間の事前設定された対応とに基づいて得られる。
【0306】
或いは、第1パラメータの中のパラメータaP1が第2値Taより大きい。第2値Taは、第1パラメータのpP1と、aP1とpP1の間のプリセット対応とに基づいて得られる。
【0307】
或いは、第1パラメータの中のパラメータaP1とパラメータpP1との積が、第3値Tapより大きい。第3値Tapは事前設定された有理数である。
【0308】
本願の幾つかの実装では、第2パラメータは第1線形スプライン曲線パラメータを含む。第1線形スプライン曲線パラメータは、第2tone-mapping曲線上の勾配MB[0][0]又は第1線形スプラインの範囲ピクセルの輝度値の最大値TH3[0]を含む。
【0309】
本願の幾つかの実装では、第1パラメータは第2線形スプライン曲線パラメータを含む。第2線形スプライン曲線パラメータが第1トーンマッピング曲線上の第2線形スプラインの勾配MB_mid[0][0]及び第1線形スプラインの範囲ピクセルの輝度値の最大値TH3_mid[0]を含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
【0310】
処理ユニット1020は、具体的に、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[0][0]及びTH3_mid[0]を調整して、曲線パラメータMB[0][0]及びTH3[0]を取得するよう構成される。
【0311】
本願の幾つかの実装では、曲線パラメータMB_mid[0][0]とTH3_mid[0]、及び曲線パラメータMB[0][0]とTH3[0]は次式を満たす:
【数49】
【0312】
Lは入力信号であり、G(L)はトーンマッピング曲線に対応する関数H(L)の逆関数であり、m_a、m_b、m_m、m_n、k1、k2、及びk3は曲線パラメータであり、G(L,m_a_T)は、G(L)のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG(L)値を示し、H(L,m_a_T)は同様であり、N1及びN2は有理数であり、max(a,b)はa及びbのうち大きい値を計算することを示し、min(a,b)はa及びbのうち小さい値を計算することを示し、H(L)は次式の通りである:
【数50】
【0313】
本願の幾つかの実装では、第2パラメータは3次スプライン曲線パラメータを含む。3次スプライン曲線パラメータには、第2tone-mapping曲線上の3次スプラインの補間点の値TH1[1]、TH2[1]、TH3[1]が含まれる。TH1[1]は3次スプラインの第1範囲ピクセルの輝度値の最小値を示す。TH2[1]は、3次スプラインの第1範囲ピクセルの輝度値の最大値と、3次スプラインの第2範囲ピクセルの輝度値の最小値を示す。TH3[1]は3次スプラインの第2範囲ピクセルの輝度値の最大値を示す。
【0314】
本願の幾つかの実装では、次のように、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、補間点値TH1[1]、TH2[1]、TH3[1]の事前設定されたオフセット値に基づいて、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]が取得される。
【数51】
【0315】
B、C、Dは3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値の事前設定された値である。Bは、暗-明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。
【0316】
本願の幾つかの実装では、次のように、第1パラメータの第2線形スプライン曲線パラメータTH3[0]と、補間点値TH1[1]、TH2[1]、TH3[1]を計算するための相関値に基づいて、3次スプラインの補間点値TH1[1]、TH2[1]、TH3[1]が計算される。
【数52】
【0317】
3Spline_TH[i][0][w]、3Spline_TH_Delta1[i][1][w]、3Spline_TH_Delta1[i][2][w]は、補間点値TH1[1]、TH2[1]、TH3[1]の計算に使用される相関値であり、メタデータから抽出される。
【0318】
本願の幾つかの実装では、TH3[0]における第2tone-mapping曲線上の線形スプラインのY座標はTH1[1]における第2トーンマッピング曲線上の3次スプラインのY座標と同じであり、TH3[0]における線形スプラインの1次微分はTH1[1]における3次スプラインの1次微分と同じである。
【0319】
本願の幾つかの実装では、TH2[1]における第2tone-mapping曲線上の第1の3次スプラインのY座標は、TH2[1]における第2tone-mapping曲線上の第2の3次スプラインのY座標と同じであり、TH2[1]における第1の3次スプラインの1次微分は、TH2[1]における第2の3次スプラインの1次微分と同じである。
【0320】
本願の幾つかの実装では、TH3[1]における第2tone-mapping曲線上の第2の3次スプラインのY座標は、TH3[1]における第2tone-mapping曲線上の第3tone-mapping関数のY座標と同じであり、TH3[1]における第2の3次スプラインの1次微分は、TH3[1]における第3tone-mapping関数の1次微分と同じである。
【0321】
本願の幾つかの実装では、取得ユニット1010は、具体的に、画像データのメタデータを取得し、メタデータとディスプレイパラメータに基づいて、第1トーンマッピング曲線の第1パラメータを決定するよう構成される。
【0322】
図11は、本願の実施形態によるダイナミックレンジマッピング機器1100のハードウェア構造の概略図である。
図11に示す機器100は、コンピュータ装置と考えられてよい。機器1100は、本願の実施形態におけるダイナミックレンジマッピング機器の実装として使用されてよく、又は本願の実施形態におけるダイナミックレンジマッピング方法の実装として使用されてもよい。機器1100は、プロセッサ1101、メモリ1102、入出力インタフェース1103、及びバス1105を含み、通信インタフェース1104を更に含んでよい。プロセッサ1101、メモリ1102、入出力インタフェース1103、及び通信インタフェース1104は、バス1105を使用して相互に通信接続を実現する。
【0323】
プロセッサ1101は、汎用中央処理ユニット(central processing unit, CPU)、マイクロプロセッサ、特定用途向け集積回路(application-specific integrated circuit, ASIC)、又は1つ以上の集積回路であってよい。プロセッサ1101は、本願の実施形態では、メディアデータ処理機器内のモジュールで実行する必要がある機能を実装するための関連プログラムを実行するか、又は本願の方法の実施形態では、メディアデータ処理方法を実行するように構成される。プロセッサ1101は、集積回路チップであってよく、信号処理能力を有する。実装プロセスでは、前述の方法のステップは、プロセッサ1101内のハードウェアの集積論理回路又はソフトウェアの形式の命令を用いて達成されてよい。プロセッサ1101は、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor, DSP)、特定用途向け集積回路(Application-Specific Integrated Circuit, ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array, FPGA)、別のプログラマブル論理素子、個別ゲート、トランジスタ論理素子、又は個別ハードウェアコンポーネントであってよい。プロセッサは、本願の実施形態で開示された方法、ステップ、論理ブロック図を実装し又は実行してよい。汎用プロセッサはマイクロプロセッサであってよく、又はプロセッサは任意の従来のプロセッサ等であってよい。本願の実施形態を参照して開示された方法のステップは、ハードウェア復号プロセッサにより直接実行され達成されてよく、又は復号プロセッサ内のハードウェアとソフトウェアモジュールとの結合を用いて実行され達成されてよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタのような、従来の成熟した記憶媒体に置かれてよい。記憶媒体はメモリ1102内に配置される。プロセッサ1101は、メモリ1102の情報を読み取り、プロセッサ1101のハードウェアと組み合わせて、本願の実施形態におけるメディアデータ処理機器に含まれるモジュールにより実行される必要がある機能を達成し、又は本願の方法の実施形態におけるメディアデータ処理方法を実行する。
【0324】
メモリ1102は、読み出し専用メモリ(read-only memory, ROM)、静的記憶装置、動的記憶装置、又はランダムアクセスメモリ(random access memory, RAM)とすることができる。メモリ1102はオペレーティングシステムと他のアプリケーションプログラムを格納することができる。本願の実施形態におけるメディアデータ処理機器に含まれるモジュールにより実行される必要がある機能を実装する場合、又は本願の方法の実施形態におけるメディアデータ処理方法をソフトウェア又はファームウェアを用いて実行する場合、本願の実施形態で提供される技術的ソリューションを実装するために使用されるプログラムコードがメモリ1102に格納され、プロセッサ1101は、メディアデータ処理機器に含まれるモジュールにより実行される必要がある動作を実行し、又は本願の方法の実施形態で提供されるメディアデータ処理方法を実行する。
【0325】
入出力インタフェース1103は、入力データ及び情報を受信し、演算結果などのデータを出力するように構成される。
【0326】
通信インタフェース1104は、装置1100と他の装置又は通信ネットワークとの間の通信を実現するために、例えばトランシーバなどのトランシーバ機器を使用するが、これに限定されない。通信インタフェース1104は、処理機器内の取得モジュール又は送信モジュールとして使用することができる。
【0327】
バス1105は、装置1100のコンポーネント(例えば、プロセッサ1101、メモリ1102、入出力インタフェース1103、通信インタフェース1104)間で情報を送信するためのパスを含むことができる。
【0328】
なお、
図11には、装置1100のプロセッサ1101、メモリ1102、入出力インタフェース1103、通信インタフェース1104、バス1105のみが示されているが、特定の実装プロセスでは、装置1100は、通常の実行を実現するために必要な別の装置をさらに含むこと、例えば、再生されるビデオデータを表示するように構成されたディスプレイをさらに含んでよいことを、当業者は理解すべきである。さらに、特定の要件に基づいて、当業者は、機器1100が他の追加機能を実装するためのハードウェアコンポーネントをさらに含んでもよいことを理解すべきである。加えて、当業者は、装置1100が代替的に本願の本実施形態を実施するために必要なコンポーネントのみを含むことができ、必ずしも
図11に示されたすべてのコンポーネントを含むわけではないことを理解すべきである。
【0329】
当業者は、本明細書に開示された実施形態で記載された例と組み合わせて、ユニット及びアルゴリズムが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実装できることを認識し得る。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約に依存する。当業者は、特定の適用毎に、記載の機能を実施するために異なる方法を使用してよいが、実装が本願の範囲を超えると考えられるべきではない。
【0330】
本願の実施形態は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体には命令が格納されており、コンピュータ上で命令を実行すると、コンピュータは前述のダイナミックレンジマッピング方式を実行できるようになる。
【0331】
本願の実施形態は、命令を含むコンピュータプログラムプロダクトを更に提供する。コンピュータプログラムプロダクトがコンピュータで実行されると、該コンピュータは、前述のダイナミックレンジマッピング方法を実行可能にされる。
【0332】
当業者は、本明細書に開示された実施形態で記載された例と組み合わせて、ユニット及びアルゴリズムが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実装できることを認識し得る。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約に依存する。当業者は、特定の適用毎に、記載の機能を実施するために異なる方法を使用してよいが、実装が本願の範囲を超えると考えられるべきではない。
【0333】
便宜上及び簡潔な説明を目的として、前述jのシステム、機器、及びユニットの詳細な作動プロセスについては、前述の方法の実施形態における対応するプロセスを参照し、詳細はここで再び記載されないことが、当業者により明確に理解され得る。
【0334】
本願において提供された幾つかの実施形態では、理解されるべきことに、開示のシステム、機器、及び方法は別の方法で実装されてよい。例えば、記載の機器の実施形態は単なる例である。例えば、ユニットへの分割は、単なる論理的機能分割であり、実際の実装では他の分割であってよい。例えば、複数のユニット又はコンポーネントは、結合され又は別のシステムに統合されてよく、或いは、幾つかの機能は、無視され又は実行されなくてよい。さらに、示された又は議論された相互結合又は直接結合又は通信接続は、幾つかのインタフェースを用いて実装されてよい。機器又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形式で実装されてよい。
【0335】
別個の部分として記載されたユニットは、物理的に分離していてよく又はそうでなくてよい。ユニットとして示された部分は、物理的ユニットであってよく又はそうでなくてよく、1つの場所に置かれてよく、又は複数のネットワークユニットに分配されてよい。ユニットのうちの一部又は全部は、実施形態のソリューションの目的を達成するために、実際の要件に基づき選択されてよい。
【0336】
更に、本願の実施形態における機能ユニットは、1つの処理ユニットに統合されてよく、又は、ユニットの各々は物理的に単独で存在してよく、又は、2つ以上のユニットが1つのユニットに統合される。
【0337】
機能がソフトウェア機能ユニットの形式で実装され、独立したプロダクトとして販売され又は使用されるとき、機能は、コンピュータ可読記憶媒体に格納されてよい。このような理解に基づき、基本的に本願の技術的ソリューションは、又は従来の技術に貢献する部分は、又は技術的ソリューションのうちの全部又は一部は、ソフトウェアプロダクトの形式で実装されてよい。コンピュータソフトウェアプロダクトは、記憶媒体に格納され、本願の実施形態で記載された方法のステップのうちの全部又は一部を実行するようコンピュータ装置(これは、パーソナルコンピュータ、サーバ、ネットワーク装置、等であってよい)に指示するための幾つかの命令を含む。前述の記憶媒体は、プログラムコードを格納できる、USBフラッシュドライブ、取り外し可能ハードディスク、読み出し専用メモリ(read-only memory, ROM)、ランダムアクセスメモリ(random access memory, RAM)、磁気ディスク、又は光ディスクのような、任意の媒体を含む。
【0338】
前述の説明は、単に本願の特定の実装であり、本願の保護範囲を限定することを意図しない。本願で開示された技術的範囲の範囲内にある、当業者により直ちに考案される任意の変形又は置換は、本願の保護範囲の中に包含されるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。