特許第6771656号(P6771656)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧

特許6771656シングルレイヤー後方互換性コーデックのリアルタイム再構成
この文献は図面が300枚以上あるため,図面を表示できません.
<>
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6771656
(24)【登録日】2020年10月1日
(45)【発行日】2020年10月21日
(54)【発明の名称】シングルレイヤー後方互換性コーデックのリアルタイム再構成
(51)【国際特許分類】
   H04N 19/85 20140101AFI20201012BHJP
   H04N 5/20 20060101ALI20201012BHJP
【FI】
   H04N19/85
   H04N5/20
【請求項の数】32
【全頁数】66
(21)【出願番号】特願2019-511885(P2019-511885)
(86)(22)【出願日】2017年8月28日
(65)【公表番号】特表2019-530309(P2019-530309A)
(43)【公表日】2019年10月17日
(86)【国際出願番号】US2017048925
(87)【国際公開番号】WO2018044803
(87)【国際公開日】20180308
【審査請求日】2019年4月26日
(31)【優先権主張番号】16186392.3
(32)【優先日】2016年8月30日
(33)【優先権主張国】EP
(31)【優先権主張番号】62/381,233
(32)【優先日】2016年8月30日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】ソォン,チィン
(72)【発明者】
【氏名】カドゥ,ハーシャッド
(72)【発明者】
【氏名】チェン,チェン
(72)【発明者】
【氏名】スゥ,グワン‐ミーン
【審査官】 後藤 嘉宏
(56)【参考文献】
【文献】 国際公開第2015/128295(WO,A1)
【文献】 特表2013−520687(JP,A)
【文献】 特表2009−538560(JP,A)
【文献】 特開2004−032551(JP,A)
【文献】 国際公開第2007/047758(WO,A1)
【文献】 特表2019−523578(JP,A)
【文献】 K. Minoo et al.,"Description of the reshaper parameters derivation process in ETM reference software",Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 23rd Meeting: San Diego, USA, 19-26 February 2016,[JCTVC-W0031]
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
H04N 5/20
(57)【特許請求の範囲】
【請求項1】
リアルタイム順方向再構成の方法であって、前記順方向再構成は、拡張ダイナミックレンジ(EDR)をスタンダードダイナミックレンジ(SDR)にマッピングする工程を包含し、前記方法は、
現在のフレームと、少なくとも1つのルックバックフレームと、少なくとも1つのルックアヘッドフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは現在のフレームに合わせて画定する(indexes)、工程と、
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの統計値を決定する工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値内にあるならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンに含める工程と、
前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックアヘッドフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程であって、前記少なくとも1つのノイズパラメータは、前記統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定される、工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程であって、前記少なくとも1つのルマ伝達関数は、前記決定された統計値に基づいて、ダイナミックトーンマッピング(DTM)を使用して構築される、工程と、
前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程であって、当該決定する工程は、前記少なくとも1つのノイズパラメータに基づいて、前記少なくとも1つのルマ伝達関数の入力符号語の間でビット深度を再割り当てする工程を包含する、工程と、
前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記中心傾向スライディングウィンドウの前記少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する、方法
【請求項2】
前記決定された統計値は、前記統計スライディングウィンドウ内の最大値の最大レベル、前記統計スライディングウィンドウ内の最小値の最小レベル、および前記統計スライディングウィンドウ内の平均値の平均レベルを含む、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのルマ伝達関数は、所与の傾き、所与のオフセットおよび所与パワーに基づいて、さらに構築される、請求項1に記載の方法。
【請求項4】
前記中心傾向ルマ再構成関数は、前記中心傾向スライディングウィンドウの前記現在のフレームおよび前記少なくとも1つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定される、請求項1から3のいずれかに記載の方法。
【請求項5】
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項1から4のいずれかに記載の方法。
【請求項6】
前記1組のクロマ多変量・重回帰(MMR)係数の生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ルックアップテーブル(LUT)を決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項5に記載の方法。
【請求項7】
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項1から6のいずれかに記載の方法。
【請求項8】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項7に記載の方法。
【請求項9】
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項1から8のいずれかに記載の方法。
【請求項10】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項9に記載の方法、
【請求項11】
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項1から4のいずれかに記載の方法。
【請求項12】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項11に記載の方法。
【請求項13】
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項1から4のいずれかに記載の方法。
【請求項14】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項13に記載の方法。
【請求項15】
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項1から4のいずれかに記載の方法。
【請求項16】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項15に記載の方法。
【請求項17】
リアルタイム順方向再構成の方法であって、前記順方向再構成は、拡張ダイナミックレンジ(EDR)をスタンダードダイナミックレンジ(SDR)にマッピングする工程を包含し、前記方法は、
現在のフレームと、少なくとも1つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは前記現在のフレームに合わせて画定する、工程と、
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの統計値を決定する工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程であって、前記少なくとも1つのノイズパラメータは、前記統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定される、工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程であって、前記少なくとも1つのルマ伝達関数は、前記決定された統計値に基づいて、ダイナミックトーンマッピング(DTM)を使用して構築される、工程と、
前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程であって、当該決定する工程は、前記少なくとも1つのノイズパラメータに基づいて、前記少なくとも1つのルマ伝達関数の入力符号語の間でビット深度を再割り当てする工程を包含する、工程と、
前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記シーン内の前記少なくとも1つのルマ順方向再構成関数の中心傾向に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する、方法
【請求項18】
前記決定された統計値は、前記統計スライディングウィンドウ内の最大値の最大レベル、前記統計スライディングウィンドウ内の最小値の最小レベル、および前記統計スライディングウィンドウ内の平均値の平均レベルを含む、請求項17に記載の方法。
【請求項19】
前記少なくとも1つのルマ伝達関数は、所与の傾き、所与のオフセットおよび所与パワーに基づいて、さらに構築される、請求項17に記載の方法。
【請求項20】
前記中心傾向ルマ再構成関数は、前記中心傾向スライディングウィンドウの前記現在のフレームおよび前記少なくとも1つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定される、請求項17〜19のいずれかに記
載の方法。
【請求項21】
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイ
ナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項17から20に記載の方法。
【請求項22】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項21に記載の方法。
【請求項23】
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記少なくとも1つのクロマコンテンツ依存多項式および前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項17から22のいずれかに記載の方法。
【請求項24】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項23に記載の方法。
【請求項25】
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記それぞれのSDR上限に基づいた前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項17から24のいずれかに記載の方法。
【請求項26】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項25に記載の方法。
【請求項27】
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つの統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項17から20のいずれかに記載の方法。
【請求項28】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項27に記載の方法。
【請求項29】
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項17から20のいずれかに記載の方法。
【請求項30】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項29に記載の方法。
【請求項31】
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含する請求項17から20のいずれかに記載の方法。
【請求項32】
前記1組のクロマ多変量・重回帰係数を生成する工程は、
リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
請求項31に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2016年8月30日に出願された米国仮特許出願第62/381,233号および2016年8月30日に出願された欧州特許出願第16186392.3号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。
【0002】
技術
本発明は、概して画像の符号化および復号化に関する。より詳細には、本発明の一実施形態は、画像の後方互換性符号化および復号化のリアルタイムシングルレイヤー再構成に関する。
【背景技術】
【0003】
背景
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システム(HVS)が画像においてある範囲の強度(例えば、輝度、ルマ)(例えば、最も暗い黒(暗)から最も明るい白(ハイライト)まで)を知覚する能力に関し得る。この意味では、DRは、「シーン−リファード(scene−referred)」な強度に関する。DRはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)な強度に関する。本明細書中のいずれの箇所においても、一方の特定の意味が特に重要であると明示されなければ、この用語は、どちらの意味にも(例えば、交換可能に)使用できるものとする。
【0004】
本明細書において、ハイダイナミックレンジ(HDR)という用語は、人間の視覚システム(HVS)においておよそ14〜15桁以上にわたるDR幅に関する。実際において、人間は、幅広い強度範囲を同時に知覚し得るが、そのDRは、HDRに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ(EDR)または視覚ダイナミックレンジ(VDR)という用語は、個別にまたは区別なく、人間の視覚システム(HVS)(眼球運動を含み、シーンまたは画像全体においてある程度の明順応変化を可能にする)がシーンまたは画像において知覚可能なDRに関する。本明細書において、EDRは、5〜6桁にわたるDRに関し得る。従って、真のシーンリファードなHDRに対しては幾分狭いものの、EDRは広いDR幅を表し、HDRとも呼ばれ得る。
【0005】
実際において、画像は1つ以上の色成分(例えば、ルマYならびにクロマCbおよびCr)を有しており、各色成分は、画素あたりnビットの精度(例えば、n=8)で表される。線形輝度符号化(linear luminance coding)を用いた場合、n≦8の画像(例えば、カラー24ビットJPEG画像)は、スタンダードダイナミックレンジの画像とされ、n>8の画像は、エンハンストダイナミックレンジの画像とされる。EDRおよびHDR画像はまた、Industrial Light and Magicが開発したOpenEXRファイルフォーマットなどの高精度の(例えば、16ビット)浮動小数点フォーマットを用いて、格納および配信され得る。
【0006】
あるディスプレイについてのリファレンス電気−光伝達関数(EOTF)は、入力映像信号の明度(color values)(例えば、輝度)間の関係を特徴づけて、そのディスプレイによって生成される出力スクリーン明度(例えば、スクリーン輝度)を出力する。例えば、その開示内容を全て本願に援用するITU Rec.ITU−R BT.1886、「Reference electro−optical transfer function for flat panel displays used in HDTV studio production」(2011年3月)では、陰極線管(CRT)の測定された特性に基づいて、フラットパネルディスプレイ用のリファレンスEOTFを定義している。ある映像ストリームが与えられたとき、そのEOTFに関する情報は典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、用語「メタデータ」は、符号化ビットストリームの一部として送信され、デコーダによる復号化画像の描画を補助する、任意の補助情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助信号パラメータなどを含むが、これらに限定されない。
【発明の概要】
【発明が解決しようとする課題】
【0007】
ほとんどのコンシューマー用デスクトップディスプレイは、現在200〜300cd/mまたはニトの輝度をサポートしている。ほとんどのコンシューマー用HDTVは、300〜500ニトの範囲であるが、新しいモデルは1000ニト(cd/m)に達する。従って、このようなディスプレイは、HDRやEDRに対し、より低いダイナミックレンジ(LDR)(またはスタンダードダイナミックレンジ(SDR)とも呼ばれる)の典型例である。撮像機器(例えば、カメラ)およびHDRディスプレイ(例えば、Dolby LaboratoriesのPRM−4200プロフェッショナルリファレンスモニター)における進歩によってHDRコンテンツの普及が進むにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ(例えば1,000ニトから5,000ニト以上)をサポートするHDRディスプレイ上に表示されることがある。そのようなディスプレイは、高輝度能力(例えば、0から10,000ニトなど)をサポートする別のEOTFを用いて定義され得る。そのようなEOTFの一例が、その開示内容を全て本願に援用するSMPTE ST 2084:2014「High Dynamic Range EOTF of Mastering Reference Displays」に定義されている。本発明者らの理解によれば、多様なディスプレイデバイスをサポートするために使用され得る可逆的プロダクション品質(production−quality)シングルレイヤー映像信号を符号化および復号化するための技術を向上させる必要がある。
【0008】
本明細書において、用語「順方向再構成」は、HDR画像をその元のビット深度からより低いかまたは同一のビット深度の画像へマッピング(または量子化)することで、既存の符号化規格または機器を用いてその画像を圧縮することを可能にする処理を表す。受信側は、再構成された信号を展開した後、逆再構成関数を適用して、信号をその元のハイダイナミックレンジに復元し得る。本発明者らの理解によれば、ハイダイナミックレンジ画像の画像再構成のための技術を向上させる必要がある。
【0009】
順方向再構成ルックアップテーブル(LUT)は、順方向再構成のマッピングまたは量子化を格納した表である。
【0010】
本明細書において、後方互換性という用語は、SDR、Dolbyメタデータを用いたSDR、およびHDRを交換可能に用いて機能するように設計されたハードウエアおよび/またはソフトウエアを表す。圧縮された映像ビットストリームが存在するならば、SDRが視聴され得る。SDRおよびDolbyメタデータが圧縮された映像ストリーム内に含まれるならば、映像は、SDRまたはHDRで視聴され得る。潜在するビットストリームは、AVC、HEVC、VP9、または任意の将来のコーデックなどの任意のコーデックによって符号化され得る。
【0011】
リアルタイムという用語は、リアルタイムアーキテクチャおよび/またはリアルタイム実現(real−time implementations)を指し得る。リアルタイムアーキテクチャは、処理のためのデータが処理の時点で利用可能にされる(例えば、現タイムインスタンスにおいて利用可能でないデータにほとんどまたは全く依存しないので、データ依存による遅れができるだけ小さくなる)アーキテクチャを指し得る。リアルタイム実現は、処理が固定の時間間隔内で行われ得る(例えば、平均処理時間は、所定数のフレーム以内で行われ得る(例えば、短時間で結果を出すことができる最適化アルゴリズムなど))ものである。このように、リアルタイムアーキテクチャは、処理の時点に時間的に近いデータを提供し、リアルタイム実現は、所定数のフレーム以内で行われ得る(すなわち、短時間で処理される)アルゴリズムにおいて、この時間的に近いデータを使用する。本開示は、その両方の特徴に関する。最適化されたリアルタイム結果を達成することは、リアルタイムアーキテクチャとともに機能するリアルタイム実現を用いて最適に実現され得ることが理解される。
【0012】
シングルレイヤーという用語は、圧縮された映像ビットストリームを表す。2つの異なるビットストリームが配信され得る。第1のストリームは、圧縮された画素情報を含む、AVC、HEVCなどの圧縮された映像ビットストリームであり、SDRである。ビットストリームは、任意の従来のデバイスによって復号され得る。第2のストリームは、逆方向再構成関数を含むDolbyメタデータを有する。第1のストリームを用いる場合、映像は、SDRで視聴され得る。第1のストリームおよび第2のストリームの両方が存在するならば、映像は、HDRで視聴され得る。圧縮された映像ビットストリームである第1のストリームは、Dolbyメタデータを含まない。
【0013】
本明細書において、中心傾向という用語は、平均値(average)、平均値(mean)、中央値、モード、分布の中心、最小絶対偏差、散布度、範囲、分散、標準偏差などのうちの少なくとも1つを尖度と共に記載するための尺度である。例えば、データセットの中央がどこに位置するかを示す尺度である。線形非線形組合せという用語は、代表値(central tendency measure)を参照する際に使用され得る。
【0014】
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、1以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【0015】
本発明の一実施形態を添付の図面に、限定することなく、例示する。図において、同様の参照符号は、同様の要素を示す。
【0016】
図1図1は、本開示の一実施形態に係る概要例を図示する。
図2図2は、本開示の一実施形態に係るリアルタイム再構成器例を図示する。
図3A図3Aは、本開示の一実施形態に係るルマ再構成例を図示する。
図3B図3Bは、本開示の一実施形態に係るルマ再構成例を図示する。
図4図4は、本開示の一実施形態に係る統計スライディングウィンドウおよび中心傾向スライディングウィンドウの例を示す。
図5図5は、本開示の一実施形態に係るクロマ再構成例を図示する。
図6図6は、本開示の一実施形態に係る第1のクロマ再構成システム例を図示する。
図7図7は、本開示の一実施形態に係る第2のクロマ再構成システム例を図示する。
図8図8は、本開示の一実施形態に係るコンテンツ依存多項式例を図示する。
図9図9は、本開示の一実施形態に係るシェーダ(shader)制御を図示する。
図10図10は、本開示の一実施形態に係る第3のクロマ再構成システム例を図示する。
【発明を実施するための形態】
【0017】
例示的な実施形態の説明
本明細書において、可逆的プロダクション品質シングルレイヤー映像信号の符号化および復号化を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【0018】
本開示の第1の局面は、リアルタイム順方向再構成の方法であって、現在のフレームと、少なくとも1つのルックバック(look−back)フレームと、少なくとも1つのルックアヘッド(look−ahead)フレームとを有する統計スライディングウィンドウを選択する工程を包含し、ここで統計スライディングウィンドウは現在のフレームに合わせて画定する(indexes)、方法である。順方向再構成は、より高いダイナミックレンジ(例えば、EDR)からより低いダイナミックレンジ(例えば、SDR)または同じダイナミックレンジへの、可逆なマッピングを含み得る。第1の局面において、方法は、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームの統計値を決定する工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも1つのルックバックフレームを現在のシーンに含める工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも1つのルックバックフレームが統計スライディングウィンドウ内にないならば、少なくとも1つのルックバックフレームを現在のシーンから除外する工程と、少なくとも1つのルックアヘッドフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも1つのルックアヘッドフレームを現在のシーンに含める工程と、少なくとも1つのルックアヘッドフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも1つのルックアヘッドフレームが統計スライディングウィンドウ内にないならば、少なくとも1つのルックアヘッドフレームを現在のシーンから除外する工程とを包含する。第1の局面は、現在のシーン内のフレームのうちの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームの決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、現在のシーン内のフレームのうちの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームの決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、少なくとも1つのルックバックフレームが現在のシーン内にあるならば、現在のフレームおよび少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程とをさらに包含する。統計値のための所定の閾値は、百分率、偏差、絶対差などであり得る。決定された統計値は、統計スライディングウィンドウ(のフレーム)内の最大値(例えば、画素値、ルマ値)の最大レベル、統計スライディングウィンドウの最小値(例えば、画素値、ルマ値)の最小レベル、および統計スライディングウィンドウ内の平均値(例えば、画素値、ルマ値)の平均レベルを含み得る。少なくとも1つのノイズパラメータは、統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定され得る。例えば、少なくとも1つのノイズパラメータは、現在のシーン内のフレームのうちの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームにおける、画素値(例えば、ルマ)からなる複数の階級(bin)の各々についての標準偏差に基づいて(例えば、これらのフレームにわたって平均を計算することによって)決定され得る。少なくとも1つのルマ伝達関数は、決定された統計値に基づいて、ダイナミックトーンマッピング(DTM)を使用して構築され得る。少なくとも1つのルマ伝達関数は、DTMについての所与の傾き、所与のオフセットおよび所与のパワーに基づいてさらに構築され得る。現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程は、少なくとも1つのノイズパラメータに基づいて、ルマ伝達関数の入力符号語の間で(SDRドメインにおける)ビット深度を再割り当てする工程を包含し得る。中心傾向ルマ再構成関数は、中心傾向スライディングウィンドウの現在のフレームおよび少なくとも1つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定され得る。
【0019】
統計スライディングウィンドウは、現在のフレームの画定とともに、画定する。この統計スライディングウィンドウの基本設定は、A個のルックアヘッドフレームおよびL個のルックバックフレームを有することである。この統計スライディングウィンドウ内のフレームは、現在のフレームと同じシーンにおけるものでないならば、除外される。ルックアヘッドフレームについて、未来のシーン内のフレーム(例えば、現在のシーン内にないフレーム)が存在する場合、これらのフレームは除外される。ルックバックフレームについて、過去のシーン内のフレーム(例えば、現在のシーンの一部でないフレーム)が存在する場合、これらのフレームも除外される。言い換えると、この統計スライディングウィンドウの手法では、フレームは、現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内にあるならば、現在のシーン内にあると考えられる。
【0020】
ルマ伝達関数は、ダイナミックトーンマッピング(DTM)、カラーボリューム変換(color volume transformations)、知覚的量子化(perceptual quantization)信号のガンマへのマッピングなどを含み得る。
【0021】
本開示の第2の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)の拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、中心傾向ルマ順方向再構成関数に基づいて、拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定する工程と、統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。
【0022】
本開示の第3の局面は、リアルタイム順方向再構成の方法であって、現在のフレームと、少なくとも1つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程を包含し、ここで統計スライディングウィンドウは現在のフレームに合わせて画定する、方法である。第3の局面において、方法は、統計スライディングウィンドウ内の現在のフレームおよび少なくとも1つのルックバックフレームの統計値を決定する工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも1つのルックバックフレームを現在のシーンに含める工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも1つのルックバックフレームが統計スライディングウィンドウ内にないならば、少なくとも1つのルックバックフレームを現在のシーンから除外する工程とをさらに包含する。第3の局面は、現在のシーン内のフレームのうちの現在のフレームおよび少なくとも1つのルックバックフレームの決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、現在のシーン内のフレームのうちの現在のフレームおよび少なくとも1つのルックバックフレームの決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、少なくとも1つのルックバックフレームが現在のシーン内にあるならば、現在のフレームおよび少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、中心傾向スライディングウィンドウの少なくとも1つのルマ順方向再構成に基づいて、中心傾向ルマ順方向再構成関数を決定する工程とをさらに包含する。
【0023】
本開示の第4の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)のEDR上限について統計値を解析する工程と、EDR上限の中心傾向および中心傾向ルマ順方向再構成関数に基づいて、EDR上限をSDR上限にマッピングする工程と、統計スライディングウィンドウのクロマコンテンツ依存多項式を決定する工程と、クロマコンテンツ依存多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。
【0024】
本開示の第5の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)の拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、中心傾向ルマ順方向再構成関数に基づいて、EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定する工程と、統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。
【0025】
本開示の第6の局面は、リアルタイムに順方向再構成を行う装置であって、現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームのスライディングウィンドウを選択する統計スライディングウィンドウ生成器と、統計スライディングウィンドウ生成器に接続された統計評価器であって、統計スライディングウィンドウの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームについての統計値を決定する統計評価器と、統計スライディングウィンドウ生成器に接続されたシーンカット検出モニタであって、現在のフレームの統計評価器の出力に基づいて、現在のシーンを決定し、そして少なくとも1つのルックバックフレームが現在のシーンの一部であるかどうか、および少なくとも1つのルックアヘッドフレームが現在のシーンの一部であるかどうかを決定するシーンカット検出モニタと、シーンカット検出モニタに接続されたルマ伝達関数マッピング器であって、少なくとも1つの現在のフレーム、少なくとも1つのルックバックフレーム(それが現在のシーン内にある場合)および少なくとも1つのルックアヘッドフレーム(それが現在のシーン内にある場合)についての決定された統計値に基づいて、ルマ伝達関数マッピング曲線を決定するルマ伝達関数マッピング器と、シーンカット検出モニタに接続されたノイズ検出器であって、現在のフレーム、少なくとも1つのルックバックフレーム(それが現在のシーン内にある場合)および少なくとも1つのルックアヘッドフレーム(それが現在のシーン内にある場合)の決定された統計値に基づいて、ノイズパラメータを決定するノイズ検出器と、ルマ伝達関数マッピング器およびノイズ検出器に接続されたルマ順方向再構成器であって、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定するルマ順方向再構成器と、現在のフレームならびに少なくとも1つのルックバックフレーム(それが現在のシーンの一部である場合)および少なくとも1つのルックバックフレーム(それが現在のシーンの一部である場合)の中心傾向スライディングウィンドウを選択する中心傾向スライディングウィンドウ生成器と、ルマ順方向再構成器に接続された中心傾向ルマ順方向再構成器であって、中心傾向スライディングウィンドウの少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する中心傾向ルマ順方向再構成器とを備える装置である。また、この局面は、ルマ順方向再構成関数を逆さに(invert)する逆方向再構成器を備え得る。
【0026】
本開示の第7の局面は、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)のEDR重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する拡張ダイナミックレンジ解析器と、拡張ダイナミックレンジ解析器に接続されたブリッジマッピング器であって、中心傾向ルマ順方向再構成関数に基づいて、EDR重みおよびEDR上限のうちの少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングするブリッジマッピング器とを備える。また、本開示の第6の局面は、ブリッジマッピング器に接続されたクロマフレームソルバであって、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定するクロマフレームソルバと、クロマフレームソルバに接続されたクロマ多項式線形非線形結合器であって、統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定するクロマ多項式線形非線形結合器と、クロマ多項式線形非線形結合器に結合されたクロマ再構成器であって、再構成されたルマを受け取って、再構成されたクロマを決定するように構成されたクロマ再構成器と、クロマ多項式線形非線形結合器に結合されたクロマ多変量・重回帰(MMR)決定器であって、中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマMMR係数を生成するクロマ多変量・重回帰(MMR)決定器とを備える。
【0027】
本開示の第8の局面は、リアルタイムに順方向再構成を行う装置であって、現在のフレームおよび少なくとも1つのルックバックフレームのスライディングウィンドウを選択する統計スライディングウィンドウ生成器と、統計スライディングウィンドウ生成器に接続された統計評価器であって、統計スライディングウィンドウの現在のフレームおよび少なくとも1つのルックバックフレームについての統計値を決定する統計評価器と、統計スライディングウィンドウ生成器に接続されたシーンカット検出モニタであって、現在のフレームの統計評価器の出力に基づいて、現在のシーンを決定し、そして少なくとも1つのルックバックフレームが現在のシーンの一部であるかどうかを決定するシーンカット検出モニタと、シーンカット検出モニタに接続されたルマ伝達関数マッピング器であって、少なくとも1つの現在のフレームおよび少なくとも1つのルックバックフレーム(それが現在のシーン内にある場合)についての決定された統計値に基づいて、ルマ伝達関数マッピング曲線を決定するルマ伝達関数マッピング器と、シーンカット検出モニタに接続されたノイズ検出器であって、現在のフレームおよび少なくとも1つのルックバックフレーム(それが現在のフレーム内にある場合)の決定された統計値に基づいて、ノイズパラメータを決定するノイズ検出器と、ルマ伝達関数マッピング器およびノイズ検出器に接続されたルマ順方向再構成器であって、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定するルマ順方向再構成器と、現在のフレームおよび少なくとも1つのルックバックフレーム(それが現在のシーンの一部である場合)の中心傾向スライディングウィンドウを選択する中心傾向スライディングウィンドウ生成器と、ルマ順方向再構成器に接続された中心傾向ルマ順方向再構成器であって、中心傾向スライディングウィンドウの少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する中心傾向ルマ順方向再構成器とを備える装置である。
【0028】
本開示の第9の局面は、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)のEDR上限の統計値を解析する拡張ダイナミックレンジ解析器と、拡張ダイナミックレンジ解析器に接続されたブリッジマッピング器であって、中心傾向ルマ順方向再構成関数に基づいて、EDR上限をSDR上限にマッピングするブリッジマッピング器と、ブリッジマッピング器に接続されたクロマフレームソルバであって、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定するクロマフレームソルバと、クロマフレームソルバに接続されたクロマ再構成器であって、再構成されたルマを受け取って、再構成されたクロマを決定するクロマ再構成器と、ブリッジマッピング器に接続されたクロマ多変量・重回帰(MMR)決定器であって、1組のクロマMMR係数を生成するクロマ多変量・重回帰(MMR)決定器とを備える。
【0029】
本明細書において、MMRという用語は、マルチカラーチャネル多重回帰予測装置を指す。これは、その開示内容を全て本願に援用するG−M.Suらの米国特許第8,811,490号において初めて記載された。ここで、複数のカラー成分を有する画像において、1つのカラー成分の画素が複数のカラー成分からの画素値の線形および/または非線形な組合せを使用して予測され得る。
【0030】
序説
リアルタイムシングルレイヤー後方互換性(SLBC)コーデックのための従来のアーキテクチャは、典型的には、ライブコンテンツマッピングユニットを介してリファレンススタンダードダイナミックレンジ(SDR)を生成し、近似を使用してSDRを生成する。また、これによりSDRは可逆となる。近似は、拡張ダイナミックレンジ(EDR)データセットを特定するために行われる。この手法は、計算負荷が大きく、遅延を起こし得る。可逆的SDRを直接的に生成することは、現在のフレームに時間的に近いデータを利用し、平均処理時間が特定数のフレーム以内である方法を利用することによって最も最適に達成され得る。
【0031】
図1は、SLBC100におけるリアルタイム再構成器を示す。このリアルタイム再構成器は、12+ビットカメラ画像をリングバッファメモリなどであり得るフレームバッファ110内に受け取り得る。リアルタイム再構成器114は、ユーザ(例えば、シェーダ(shader))のプリファレンス入力112、例えばリフト、ゲインおよびガンマ(LGG)または傾き、オフセットおよびパワー(SOP)などを利用し得る。リアルタイム再構成器114は、近傍のフレームの統計値に従って入力信号を10ビットドメインに再構成し、再構成された10ビットフレームをリングバッファメモリなどのバッファ116に格納し、10ビット映像をエンコーダ118に出力して、ビットストリーム120を出力する。リアルタイム再構成器114は、メタデータ122を出力し得る。順方向および逆方向再構成関数は、リアルタイムに決定され得る。
【0032】
再構成されたフレームは、リングバッファメモリなどであり得る10ビット再構成フレームバッファに格納され得る。映像エンコーダ(例えば、高効率映像コーディング(HEVC))は、当該バッファから再構成されたフレームを取り込んで、符号化し得る。メタデータリファレンスピクチャユニット(RPU)信号は、リアルタイム再構成器から出力され得る。ビットストリームおよびメタデータが多重化対象であるならば、多重化モジュールを付加することが可能であり得る。入力および出力ビットの数が任意に設定され得ることは、当業者に理解される。
【0033】
リアルタイム再構成器の課題として、ハイダイナミックなシーンおよびユーザ調節があり得る。元々、シングルレイヤー後方互換性コーデックは、映像圧縮を容易にし、動き補償のための時間的な整合性のためにシーンベース(scene−based)となるように構築された。リアルタイム再構成を行うために、本開示において新規なアーキテクチャおよびアルゴリズムを提案する。
【0034】
図2は、全体的な再構成フロー200を示す。このフロー例において、ルマ映像フレームが入力され(210)、統計スライディングウィンドウおよび中心傾向スライディングウィンドウ(詳細は後述)を利用して、ルマの順方向再構成が決定される(212)。ルマ映像フレーム入力に対して並列に、クロマ映像フレームが入力される(214)。ルマ順方向再構成関数を利用して、クロマ順方向再構成関数が決定される(216)。ルマ再構成関数およびクロマ再構成関数を利用して、スタンダードダイナミックレンジ(SDR)出力(218)が実現される。
【0035】
ルマ逆方向再構成は、ルマ順方向再構成関数の逆関数である(220)。クロマ逆方向再構成は、クロマ順方向再構成関数に基づいて、クロマ多変量・重回帰(MMR)係数(222)を利用する。順方向再構成されたSDRルマ、再構成されたSDRクロマおよびクロマMMR成分を利用して、逆方向再構成されたEDRクロマが決定される。
【0036】
個々のフレームは、当該フレームに対応付けられた1組の統計値を有する。時間がルックバックフレームからルックアヘッドフレームに順方向に進むにつれ、フレーム統計値が変化すると、シーン境界が検出される。複数のフレームについての統計値が比較され、シーン遷移が決定される。類似の統計特性を有する複数のフレームは、1つのシーンにグループ化される。ここでは、フレームが類似の統計特性を有するかどうかは、それらの統計特性の違いが所定の閾値未満であることによって判定され得る。統計特性が所定の閾値よりも大きければ、フレームは、類似しないと考えられ、異なるシーンに属し得る。
【0037】
現在のフレームの画定とともに画定する、フレームベースの統計スライディングウィンドウ(図3Aおよび3B)が利用される。この統計スライディングウィンドウについての基本設定は、A個のルックアヘッドフレームおよびL個のルックバックフレームを有することである。この統計スライディングウィンドウ内のフレームは、現在のフレームと同じシーンに含まれないならば、除外される。ルックアヘッドフレームについて、未来のシーンに含まれるフレーム(例えば、現在のシーンに含まれないフレーム)が存在するならば、当該フレームは、除外される。ルックバックフレームについて、過去のシーンに含まれるフレーム(例えば、現在のシーンに含まれないフレーム)が存在するならば、当該フレームも除外される。言い換えると、この統計スライディングウィンドウ手法では、フレームが現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内に存在するならば、当該フレームは、現在のシーン内にある。
【0038】
統計スライディングウィンドウは、ルックバック方向においては、シーン開始および最大ルックバックバッファサイズによって拘束され、ルックアヘッド方向においては、シーン終了および最大ルックアヘッド遅延によって拘束される。この例において、バッファは、現在のフレームjから後方へ、ルックバックフレームj−Lまで伸びており、現在のフレームjから前方へ、ルックアヘッドフレームj+Aまで伸びている。統計スライディングウィンドウは、ルックバック方向においては、シーン境界および最大ルックバックバッファサイズによって境界づけられ、ルックアヘッド方向においては、シーン境界および最大ルックアヘッド遅延によって境界付けられている。
【0039】
また、中心傾向スライディングウィンドウが利用される。中心傾向スライディングウィンドウもまた、現在のフレームの画定とともに画定する。この統計スライディングウィンドウについての基本設定は、現在のフレームjまで伸びるj−L個のルックバックフレームを有することである。ルックバックフレームついて、過去のシーンに含まれるフレーム(例えば、現在のシーンに含まれないフレーム)が存在する場合、当該フレームは、除外される。中心傾向スライディングウィンドウもルックバック方向において、シーン境界および最大ルックバックバッファサイズによって境界づけられる。
【0040】
図3Aおよび3Bは、統計スライディングウィンドウ314および中心傾向スライディングウィンドウ316を示す。両方のウィンドウは、現在のフレームj320に対してスライドする。最大ルックバックバッファサイズ310は、L個のルックバックフレームだけ過去に伸び、最大ルックアヘッド遅延326は、A個のルックアヘッドフレームだけ未来に伸びている。統計スライディングウィンドウ314は、ルマ伝達関数、ノイズ検出器、ならびにEDR上限および重みの計算のために使用される。統計的に類似のフレーム(例えば、現在のフレームの所定の閾値内に統計的差が収まるフレーム)は、現在のフレームの現在のシーン内にあると考えられ、含められる。現在のフレームと類似しない統計値を有するフレーム(例えば、所定の閾値よりも大きな統計的差を有するフレーム)は、除外される。シーン開始は318、現在のフレームは320、後続のフレームは322、シーン終了は324である。
【0041】
一般に、統計スライディングウィンドウ314は、ルックバック方向においては、最大ルックバックバッファサイズ310およびシーン開始318によって境界づけられ、ルックアヘッド方向においては、シーン終了324および最大ルックアヘッド遅延326によって境界づけられる。
【0042】
一般に、中心傾向スライディングウィンドウ316は、ルックバック方向においては、最大ルックバックバッファサイズ310およびシーン開始318によって境界づけられ、ルックアヘッド方向においては、現在のフレーム320によって境界づけられる。
【0043】
図3Aは、最大ルックバックバッファサイズ310によってバッファがルックバック方向の過去のシーンにおいて開始され得る例を示す。この例において、中心傾向スライディングウィンドウ316および統計スライディングウィンドウ314は、ルックバック方向においては、シーン開始318によって境界づけられる。中心傾向スライディングウィンドウ316は、ルックアヘッド方向においては、現在のフレーム320によって境界づけられる。統計スライディングウィンドウ314は、ルックアヘッド方向においては、最大ルックアヘッド遅延326によって境界づけられる。
【0044】
図3Bは、シーン開始318が最大ルックバックバッファサイズ310を超えてルックバック方向に伸びる例を示す。従ってこの例において、中心傾向スライディングウィンドウ316および統計スライディングウィンドウ314は、ルックバック方向においては、最大ルックバックバッファサイズ310によって境界づけられる。この例において、中心傾向スライディングウィンドウは、ルックアヘッド方向においては、現在のフレーム320によって境界づけられる。統計スライディングウィンドウ314は、ルックアヘッド方向においては、シーン終了324によって境界づけられる。
【0045】
ルマ再構成についての解は、クロマ再構成のために利用される。クロマ再構成は、導出されたルマ再構成関数および元の拡張ダイナミックレンジ(EDR)データに部分的に基づいて導出される。時間的安定性を与えるために、成分は、2つのレベル処理、すなわち、フレーム統計値レベルおよび中心傾向スライディングウィンドウレベル、を介して扱われる。
【0046】
逆方向再構成について、ルマ逆方向再構成関数は、ルマ順方向再構成関数の逆関数に基づいて導出される。1組のクロマ多変数多重回帰(MMR)成分が決定される。クロマMMRの演算は、3つのチャネル入力(Y、Cb、Cr)およびリファレンスクロマチャネル(例えば、Cb)を取り込み、次いで最適化を行って、予測クロマ(MMR予測によって生成される)とリファレンスクロマとの差を最小化する1組のクロマMMR係数を求める。順方向再構成されたSDRルマ、再構成されたSDRクロマおよびクロマMMR成分を利用して、逆方向再構成されたEDRクロマが決定される。
【0047】
ルマ再構成
図4は、フレーム統計値レベルおよび中心傾向スライディングウィンドウレベルに基づき得る一実施形態のアーキテクチャ例を示す。フレーム統計値レベルは、シーン境界でリセットされる統計スライディングウィンドウ(ルックバック+現在のフレーム+ルックアヘッド)を有する。中心傾向スライディングウィンドウレベルは、中心傾向スライディングウィンドウ(ルックバック+現在のフレーム)を有する。実施形態は、スライディングウィンドウ実施のためのデータを格納するためのいくつかのモジュールおよびバッファを備え得る。いくつかの実施においては、統計スライディングウィンドウは、現在のフレームおよび少なくとも1つのルックバックフレームを含むだけでもよく、シーン境界においてリセットされる。
【0048】
映像フレーム410の入力ルマが受け取られ、メモリ436に格納され、そして後で処理に利用される。
【0049】
フレーム統計値レベル内において、フレームベースのシーン特徴モジュール412は、入力ルマを受け取り、シーン特徴についてフレーム統計値を決定し、統計値の一部をシーンカットバッファ420Cに格納する。シーンカット検出器モジュールによって行われるシーンカット検出モジュール416は、現在のフレームとルックバックフレームとの間でフレーム統計値を調べ、統計値が類似するならば、ルックバックフレームを現在のシーンに含め、統計値が類似しないならば、ルックバックフレームは、現在のシーンから除外される。また、シーンカット検出器モジュール416は、現在のフレームおよびルックアヘッドフレーム間でフレーム統計値を調べ、統計値が類似するならば、ルックアヘッドフレームを現在のシーンに含め、統計値が類似しないならば、ルックアヘッドフレームは、現在のシーンから除外される。
【0050】
フレーム統計値レベル内において、統計評価器によって行われるフレームベースのルマ伝達統計モジュール418は、映像フレームの入力ルマを受け取り、ルマ伝達関数に対応づけられた統計値を決定する。ルマ伝達関数に対応づけられた統計値は、ルマ伝達統計値バッファ420Bに格納される。ルマ伝達関数マッピング器422は、ルマ伝達統計値バッファ420Bから統計スライディングウィンドウ内のデータを受け取り、現在のシーンに含まれるフレームからのデータを利用し、シーン変化検出器416によって決定された、現在のシーン内にないフレームからデータを除外して、ルマ伝達関数を決定する。ルマ伝達関数は、ダイナミックトーンマッピング(DTM)、カラーボリューム変換、知覚的量子化信号のガンマへのマッピングなどを含み得る。また、リフト、ゲインおよびガンマ(LGG)または傾き、オフセットおよびパワー(SOP)などの、ルマについてのユーザプリファレンス調節パラメータは、このモジュールに取り込まれ、ルマ伝達関数を変更する。統計スライディングウィンドウは、ルックバック方向においては、シーン境界および最大ルックバックバッファサイズによって境界づけられ、ルックアヘッド方向においては、シーン境界および最大ルックアヘッド遅延によって境界づけられる。
【0051】
フレーム統計値レベル内では、フレームベース・ブロックベース標準偏差モジュール424が映像フレームの入力ルマを受け取り、そしてノイズの尺度であるフレームベース・ブロックベース標準偏差(BLK−STD)424を決定する。BLKSTDバッファ420Aを使用して、輝度範囲についての最小ビット深度が格納される。ノイズ検出器によって行われるリアルタイムブロックベース標準偏差(RT BLKSTD)モジュール428は、BLKSTDバッファ420Aから統計スライディングウィンドウ内のデータを受け取り、そして現在のシーン内に含まれるフレームからのデータを利用し、そしてシーン変化検出器416によって決定された、現在のシーン内に含まれないフレームからのデータを除外して、RT BLKSTDを決定する。
【0052】
フレーム統計値レベル内では、ルマ順方向再構成器によって行われるルマ順方向再構成ルックアップテーブル(LUT)モジュール430を利用して、ルマ伝達関数マッピング器422からのルマ伝達関数およびノイズ検出器428からのリアルタイムブロックベース標準偏差(RT BLKSTD)に基づいてルマ順方向再構成LUTまたは関数が生成される。
【0053】
フレーム統計値レベル内では、バッファは、BLKSTDバッファ420A、ルマ伝達統計値バッファ420Bおよびシーンカットバッファ420Cを含む。シーン変化検出器416は、シーンカットバッファ420Cから取り込んだデータからシーンカットが検出されるかどうかを決定する。このシーンカット検出は、ルマ伝達関数モジュール422およびRT BLKSTDモジュール428について統計スライディングウィンドウの位置を部分的に検出する。シーン検出器は、統計スライディングウィンドウの位置およびサイズを部分的に決定する。ルマ伝達関数モジュール422において、ルマ伝達統計値バッファ420Bおよびシーン変化検出器416からの2つの入力がある。RT BLKSTDモジュール428において、BLKSTDバッファ420Aおよびシーン変化検出器416から入力が来る。
【0054】
統計スライディングウィンドウは、シーンカット位置、最大ルックバックバッファサイズおよび最大ルックアヘッド遅延によって決定される。ルマ伝達関数モジュール422について統計スライディングウィンドウの位置を決定した後、シーンについてルマ伝達関数が決定される。RT BLKSTDモジュール428について統計スライディングウィンドウの位置を決定した後、シーンについてBLK−STDが決定される。ルマ順方向再構成モジュール430は、ルマ伝達関数モジュール422およびRT BLKSTDモジュール428から入力を受け取る。
【0055】
中心傾向スライディングウィンドウレベル内において、中心傾向スライディングウィンドウ432は、ルマ順方向再構成ルックアップテーブル430からの出力を格納する。
【0056】
中心傾向ルマ順方向再構成器によって行われる中心傾向ルマ順方向再構成ルックアップテーブル(LUT)モジュール434は、現在のシーン内に含まれるフレームからのデータを利用し(現在のシーン内に含まれないフレームからのデータは除外)、現在のフレームおよびルックバックフレームのルマ順方向再構成関数の中心傾向を測定する。中心傾向ルマ順方向再構成ルックアップテーブル(LUT)モジュール434は、中心傾向スライディングウィンドウ432からデータを受け取る。
【0057】
ルマ順方向再構成モジュール438は、メモリ436に格納された入力ルマ映像フレームを受け取り、モジュール434から中心傾向ルマ順方向再構成LUTを受け取り、ルマ順方向再構成438のための順方向ルックアップテーブルを生成する。
【0058】
中心傾向スライディングウィンドウレベル内において、ルマ逆方向再構成モジュール440は、順方向再構成関数の逆曲線を決定して、ルマ逆方向再構成近似を生成する。ルマ逆方向再構成近似は、リファレンスピクチャユニット(RPU)446に出力され得る。
【0059】
フレームベースのルマ順方向再構成LUT
フレームベースの統計スライディングウィンドウ解は、統計スライディングウィンドウからのフレーム統計値を利用する。統計スライディングウィンドウは、現在のフレームの画定とともに、画定する。この統計スライディングウィンドウついての基本設定は、A個のルックアヘッドフレームおよびL個のルックバックフレームを有することである。統計スライディングウィンドウ内のフレームは、現在のフレームの現在のシーン内にあるならば、含められる。統計スライディングウィンドウ内のフレームは、現在のフレームの現在のシーン内にないならば、除外される。この含める処理および除外する処理は、ルックバックフレームおよびルックアヘッドフレームの両方に適用される。言い換えると、この統計スライディングウィンドウ手法において、フレームは、現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内にあるならば、現在のシーンに存在すると考えられる。
【0060】
フレームベースの統計スライディングウィンドウ解は、ルマ順方向再構成LUTを与える。ルマ順方向再構成LUT解を利用して、中心傾向スライディングウィンドウ解が求められる。
【0061】
リアルタイムブロックベース標準偏差
本明細書において、ブロックベース標準偏差(BLKSTD)という用語は、2016年5月10日に出願された米国仮特許出願第62/334,099号、題名「Block−Based Content−Adaptive Reshaping for High Dynamic Range Images」(米国特許出願公開第2017/0221189号として公開)、において定義される。この出願の開示内容を全て本願に援用する。
【0062】
j番目の入力画像のp番目の画素を正規化値[0,1](または、[0,1))を有するI(p)と表す。このフレームにおける最小値、最大値および平均値は、
【数1】
[この文献は図面を表示できません]
として定義される。
【数2】
[この文献は図面を表示できません]
【0063】
入力画像I(p)は、複数の重複のない、サイズがu×uのブロックに分割される。k番目のブロック内の画素の集合は、θj,kとして表される。k番目のブロック内の画素の平均値は、
【数3】
[この文献は図面を表示できません]
として与えられる。
【0064】
次いで、サイズがu×uのk番目のブロックについてのブロックベース標準偏差stdj,kが以下のように決定される。
【数4】
[この文献は図面を表示できません]
【0065】
stdj,kは、j番目のフレームのk番目のブロック内の画素に対応づけられた標準偏差と見なされ得る。すなわち、j番目のフレームのk番目のブロック内の画素は、対応の標準偏差stdj,kを有する。この段階において、フレームjの画素についての標準偏差マップH(p)が決定され得る。フレームj内の画素pについて、H(p)は、当該画素に対応づけられた標準偏差の値を生成し得る。下限(ビット深度下限)を構築するために、H(p)内のいくつかの画素が無視され得る。以下の画素は、含まれなくてもよい。
・レターボックスに対応する部分は、その部分の画素が定数I(p)(例えば、黒画素に関するすべての画素)を有するので、考えなくてもよい。定数部分は、ゼロ標準偏差および高ビット深度を有する。これらの画素を使用してビット深度下限を決定すると、最終のビット深度がバイアスされ得る。
・フレームの右端部および下端部の画素であって、それらに対応するブロックが16×16よりも小さいサイズを有する画素は、除外され得る。
【0066】
有効な画素の画素インデックス集合をΩと表す。iをΩ内のインデックスとする。従って、有効な標準偏差測定値の集合は、
【数5】
[この文献は図面を表示できません]
として表される。
【0067】
フレームjについて、m番目の階級についてのノイズ測定値は、bj,mとして表され、以下の手順によって得られ得る。
【0068】
第1の段階において、入力画像画素強度は、等間隔W(例えば、W=65536/M)を有するM個の階級に区分けされ、ダイナミックレンジ全体をカバーし得る。次いで、階級における平均標準偏差は、以下のように求められ得る。
【0069】
m番目の階級(ここで、m=0、1、…、M−1)について、フレームjの元の画像の画素は、I(i),i∈Ωと特定され、
【数6】
[この文献は図面を表示できません]
の範囲の画素値を有する。個々の階級について、その階級内の画素についての平均標準偏差bj,mが求められる。この平均値をbj,mとして表すと、
【数7】
[この文献は図面を表示できません]
が生成される。このように、{bj,m}と表されるM個の階級のデータが求められ得る。
【0070】
ルマ順方向再構成LUTは、統計スライディングウィンドウ内に得られるパラメータを有するBLK−STDについて先ほど説明した方法と同様の方法で構築され得る。
【0071】
輝度階級mについてのフレームj−L(ルックバックフレーム)からフレームj+A(ルックアヘッドフレーム)の最小ノイズレベルがL+A+1個のフレームの統計値に基づいて決定される。シーンの開始におけるフレームが完全なL個のフレームを有さないならば、シーン内の利用可能なフレームが利用される。この統計スライディングウィンドウの開始フレームインデックスは、K=max(j−L,F)として表され、ここで、Fは、シーンの開始のフレーム番号である(例えば、F=0)。この統計スライディングウィンドウのルックアヘッドフレームインデックスは、
【数8】
[この文献は図面を表示できません]
として表され、ここで、Fは、シーンの終了のフレーム番号である。言い換えると、Kおよび
【数9】
[この文献は図面を表示できません]
は、シーンカット境界によって制御される。スライディングウィンドウにわたる平均ノイズ測定値(スライディングウィンドウについてのノイズパラメータ)は、
【数10】
[この文献は図面を表示できません]
である。
【0072】
統計スライディングウィンドウ内の最小値の最小レベル、平均値の平均(平均レベル)および最大値の最大レベルは、以下のように得られる。
【数11】
[この文献は図面を表示できません]
ここで、
【数12】
[この文献は図面を表示できません]
は、フレームfについての最小値であり、
【数13】
[この文献は図面を表示できません]
は、最小値の最小であり、
【数14】
[この文献は図面を表示できません]
ここで、
【数15】
[この文献は図面を表示できません]
は、フレームfについての最大値であり、
【数16】
[この文献は図面を表示できません]
は、最大値の最大であり、
【数17】
[この文献は図面を表示できません]
ここで、
【数18】
[この文献は図面を表示できません]
は、フレームfについての平均値であり、
【数19】
[この文献は図面を表示できません]
は、平均値の平均である。

スライディングウィンドウ内のビット深度下限
次いで、ノイズレベル(ノイズパラメータ)
【数20】
[この文献は図面を表示できません]
は、現在のフレームに必要なビット深度
【数21】
[この文献は図面を表示できません]
に、例えば、
【数22】
[この文献は図面を表示できません]
を介して変換される。ここで、f(・)は、実験で得られる関数であり得る。
必要なビット深度
【数23】
[この文献は図面を表示できません]
は、EDRおよびSDRビット深度BおよびBによって正規化され、必要な符号語の正規化量
【数24】
[この文献は図面を表示できません]
を得る。例えば、これは、以下を介して得られる。
【数25】
[この文献は図面を表示できません]
各階級に必要な符号語の正規化量を得た後、これをM個の階級からEDRドメイン内のすべての符号語に、例えば、
【数26】
[この文献は図面を表示できません]
を介して拡張され得る。すなわち、EDRドメイン内の各符号語(画素値)iについて、必要な符号語(SDRドメイン内)の正規化量は、EDRドメイン内の当該符号語を含む階級に必要な符号語の正規化量によって与えられ得る。
【数27】
[この文献は図面を表示できません]
は、必要な符号語の数の下限である。いずれの伝達曲線(量子化曲線)も輪郭アーチファクトの生成を避けるためにこの下限を満足すべきである。
【0073】
ルマ伝達関数は、M個の階級について、ユーザ(シェーダ)のプリファレンス入力である傾きS、オフセットOおよびパワーPを有するダイナミックトーンマッピング(DTM)曲線
【数28】
[この文献は図面を表示できません]
を使用して構築され得る。一般に、ルマ伝達関数は、最小値の最小レベル、平均値の平均レベルおよび最大値の最大レベルに依存し得る。また、ルマ伝達関数は、PQを介してガンマ関数(ETF)に変換され得る。フレームjについて、ルマ伝達関数は、以下に基づき得る。
【数29】
[この文献は図面を表示できません]
【0074】
SDRドメイン内で後方互換性であるために、マッピングされた範囲は、SMPTE範囲に拘束され得る。
【数30】
[この文献は図面を表示できません]
をそれぞれ最小値および最大値とする。すなわち、
【数31】
[この文献は図面を表示できません]
である。
【0075】
フレームが真のブラックであるならば、LUT内の最小値および最大値は、同じであり得る。LUT内の値は、SMPTE範囲
【数32】
[この文献は図面を表示できません]
に直接クリッピング(clip)され得る。
【数33】
[この文献は図面を表示できません]
【0076】
【数34】
[この文献は図面を表示できません]
は、
【数35】
[この文献は図面を表示できません]
と異なるならば、ルマ順方向再構成LUT範囲
【数36】
[この文献は図面を表示できません]
は、SMPTE範囲

【数37】
[この文献は図面を表示できません]
に線形にスケーリングされ得る。ここで、
【数38】
[この文献は図面を表示できません]
である。
【0077】
式(18)の定数は、SMPTE標準規格によって定義される。線形スケーリングは、ルマ順方向再構成LUTにおける要素に適用される。
【数39】
[この文献は図面を表示できません]
【0078】
出力値は、SMPTE範囲
【数40】
[この文献は図面を表示できません]
にクリッピングされる。
【0079】
目標とされるマッピング範囲の決定
【数41】
[この文献は図面を表示できません]
に基づいて、以下のようにルマ伝達関数を求めた後に極値が求められ得る。
【数42】
[この文献は図面を表示できません]
【0080】
正規化された、利用可能なルマ伝達関数符号語範囲を以下のように定義する。
【数43】
[この文献は図面を表示できません]
ここで、Bは、SDRビット深度である。これは、順方向再構成処理において使用され得る符号語バジェット(budget)である。
【0081】
1階級当たりの目標とされるビット深度T(J)(i)と
【数44】
[この文献は図面を表示できません]
との間の差分値は、入力符号語におけるビット深度として求められる。
【数45】
[この文献は図面を表示できません]
【0082】
1階級当たりの最大の値を選択する
個々の入力符号語について、2つの異なるビット深度、(1)ノイズ測定値からの
【数46】
[この文献は図面を表示できません]
および(2)ルマ伝達関数からの
【数47】
[この文献は図面を表示できません]
がある。2つの集合が以下のようにどちらの値がより大きいかに依存して構築される。
【数48】
[この文献は図面を表示できません]
【0083】
入力符号語iについて、ルマ伝達関数ビット深度
【数49】
[この文献は図面を表示できません]

【数50】
[この文献は図面を表示できません]
以下であるならば、これは、望ましくない帯状のアーチファクトが見られる可能性があることを意味する。従って、
【数51】
[この文献は図面を表示できません]
は、この入力符号語において以下のように使用される。
【数52】
[この文献は図面を表示できません]
【0084】
余分な割り当て符号語の決定
余分な割り当て符号語は、
【数53】
[この文献は図面を表示できません]
として決定され得る。
【0085】
余分な割り当て符号語を差し引く
これらの余分な符号語は、集合Ω(j)から差し引かれる対象となる。簡単な方法は、固定数の符号語
【数54】
[この文献は図面を表示できません]
を以下のように等しく引き算することである。
【数55】
[この文献は図面を表示できません]
【0086】
なお、この差し引きの後に、
【数56】
[この文献は図面を表示できません]
となる可能がある。この状況は、これらの画素に対しても余分な割り当て符号語を決定することによって、回避すべきである。
【0087】
曲線の平滑化
2つの階級幅、すなわち、2Wをカバーする簡単な移動平均フィルタが使用され得る。一つの例を以下に示す。
【数57】
[この文献は図面を表示できません]
【0088】
フレームレベル順方向再構成LUTの構築
SDRドメイン内の最小輝度値および最大輝度値をC,Cと表す。順方向再構成LUTは、SDRドメイン内の目標とする低いほうの輝度、すなわち、Cからのオフセットを用いて、累積加算を介して、平滑化された曲線に基づいて構築され得る。フレームjにおけるこのLUTをFLUTとして表す。このFLUTは、単調非減少である。
【0089】
中心傾向レベルルマ再構成LUT
フレーム統計値レベルLUT(FLUT)が適用されて、EDRフレームを再構成されるならば、フリッカー問題が時間ドメインに生じ得る。統計スライディングウィンドウ内の最大EDR値の最大レベルおよび最小EDR値の最小レベル、
【数58】
[この文献は図面を表示できません]
は、
【数59】
[この文献は図面を表示できません]
と異なり得るが、これにより、フレームjおよびフレームj+1について異なるフレーム統計値レベルLUTが生成されるので、フリッカー問題が生じる恐れがある。
【0090】
1つの解決方法は、以下のように統計スライディングウィンドウ内の最大EDR値および最小EDR値の平均を取ることである。
【数60】
[この文献は図面を表示できません]
【0091】
次いで、それらをルマ伝達関数、例えば、DTMアルゴリズムに入れる。この手法によって、可逆性に影響を与えるクリッピングされた情報が生じる。
【数61】
[この文献は図面を表示できません]

【数62】
[この文献は図面を表示できません]
よりも大きく、および/または
【数63】
[この文献は図面を表示できません]

【数64】
[この文献は図面を表示できません]
より小さく、そして
【数65】
[この文献は図面を表示できません]

【数66】
[この文献は図面を表示できません]
の情報を切り取る(clip out)可能性はかなり高い。当該情報は、逆方向再構成において回復できない。
【0092】
情報を保存するために、(10)〜(12)において定義するような統計スライディングウィンドウ内の以下の最小値、最大値および平均値に注目する。
【数67】
[この文献は図面を表示できません]
【0093】
フリッカーを低減するために、平均演算を現在フレームおよびルックバックフレームのFLUTに以下のように適用する。
【数68】
[この文献は図面を表示できません]
【0094】
【数69】
[この文献は図面を表示できません]
は、フレームfのフレーム統計値レベルLUTであり、
【数70】
[この文献は図面を表示できません]
は、中心傾向ルマ順方向再構成関数である。遅延を低減するために、ルックアヘッドフレームが再構成平均演算には利用されない。
【0095】
再構成された信号は、以下のようにFLUTを介して生成され得る。
【数71】
[この文献は図面を表示できません]
ここで、
【数72】
[この文献は図面を表示できません]
は、フレームj内の画素iの元のEDRルマであり、
【数73】
[この文献は図面を表示できません]
は、順方向再構成されたSDRルマである。
【0096】
第1のシステムにおけるルマ変調クロマ順方向再構成
図5は、クロマ再構成500の概要を示す。第1の例において、ルマ変調再構成関数510を元の拡張ダイナミックレンジ(EDR)データ512とともに使用して、再構成されたスタンダードダイナミックレンジ(SDR)出力514を決定する。
【0097】
図6は、Cbチャネルについてのクロマ順方向再構成600の第1の例を示す。Crチャネルは、同様に行われ得る。この例において、入力ルマ映像フレーム410が入力され、中心傾向ルマ順方向再構成LUT434が上記のように決定され、ルマ再構成が行われ(438)、再構成されたルマ610を生成する。
【0098】
フレーム統計値レベルにおいて、入力クロマ映像フレーム614が入力される。2つのトラックに沿って進行し、EDR上限616およびEDR重み628を決定し(拡張ダイナミックレンジ解析器によって行われる)、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックアヘッドフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)の解析を行う。
【0099】
EDR上限トラックにおいて、EDR上限が決定され(616)、そしてEDR上限バッファ618Bに収集され、上限の平均が求められる(620)。なお、平均演算以外の中心傾向特性が利用され得る。中心傾向ルマ順方向再構成LUT434および平均EDR上限を利用して、EDRからSDRへのマッピングが行われ(622)、そしてSDR上限が決定される(624)。
【0100】
EDR重みトラックにおいて、EDR重みが決定され(628)、そしてEDR重みバッファ618Aに格納され、EDR重みの平均が求められる(632)。例えば、中心傾向が求められ、そして中心傾向ルマ順方向再構成LUTおよび平均EDR重みを利用して、EDRからSDRへのマッピングが行われ(634)、そして、SDR重みが決定される(636)。622および634のEDRからSDRへのマッピング関数は、ブリッジマッピング器によって行われる。EDR重みの平均演算(632)は、求められ得る、数ある代表値のうちの一例にすぎない。
【0101】
SDR重み636およびSDR上限624を利用して、クロマ順方向再構成スケール多項式が決定される(626)。これは、クロマフレームソルバによって行われる。
【0102】
中心傾向スライディングウィンドウレベルにおいて、クロマ順方向再構成多項式626は、フレーム統計値レベルから中心傾向スライディングウィンドウ638に入力される。中心傾向スライディングウィンドウ638において、順方向再構成多項式曲線640の中心傾向が求められる。これをクロマ多項式線形非線形結合器と称する。中心傾向順方向再構成多項式曲線は、中心傾向曲線にフィッティングされる(646)。中心傾向曲線646からクロマMMR係数が決定される(648)。これは、クロマMMR決定器によって行われる。クロマMMR係数は、リファレンスピクチャユニット(rpu)224に出力される。
【0103】
中心傾向(例えば、線形/非線形組合せ)順方向再構成多項式曲線640を、再構成されたルマ610および入力クロマ映像フレーム614とともに利用して、クロマ順方向構成が決定される(642)。これをクロマ再構成器と称する。その結果、再構成されたクロマ644が得られ、これは、再構成されたルマ612とともにSDRデータ出力218を生じさせる。
【0104】
図7は、Cbチャネルについてのクロマ順方向再構成700の第2の例を示す。Crチャネルは、同様に行われ得る。図7は、EDR上限だけが統計的に解析される、図6の方法の一変形例を示す。この例において、入力ルマ映像フレーム410が入力され、中心傾向ルマ順方向再構成LUT434が上記のように決定され、ルマ再構成が行われ(438)、再構成されたルマ610が生成される。
【0105】
フレーム統計値レベルにおいて、入力クロマ映像フレーム614が入力される。この例において、拡張ダイナミックレンジ解析器が統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックアヘッドフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)を解析することによって、EDR上限616だけが統計的に解析される。
【0106】
EDR上限が決定され(616)、そしてEDR上限バッファ618B内に収集され、上限の平均が求められる(620)。なお、平均以外の中心傾向特性が利用され得る。中心傾向ルマ順方向再構成LUT434および平均EDR上限を利用して、EDRからSDR622へのマッピングが行われ、そしてSDR上限が決定される(624)。SDR上限624を利用して、クロマ順方向再構成スケール多項式626を決定する。これは、クロマフレームソルバによって行われる。
【0107】
中心傾向スライディングウィンドウレベルにおいて、クロマ順方向再構成多項式626は、フレーム統計値レベルから中心傾向スライディングウィンドウ638に入力される。中心傾向スライディングウィンドウ638において、順方向再構成多項式曲線640の中心傾向が求められる。これを、クロマ多項式線形非線形結合器と称する。中心傾向順方向再構成多項式曲線は、中心傾向曲線646にフィッティングされる。中心傾向曲線646からクロマMMR係数が決定される(648)。これは、クロマMMR決定器によって行われる。そして、クロマMMR係数は、リファレンスピクチャユニット(rpu)224に出力される。
【0108】
中心傾向(例えば、線形/非線形組合せ)順方向再構成多項式曲線640を、再構成されたルマ610および入力クロマ映像フレーム614とともに、利用して、クロマ順方向構成が決定される(642)。これをクロマ再構成器と称する。その結果、再構成されたクロマ644が得られ、これは、再構成されたルマ612とともに、SDRデータ出力218を生じさせる。
【0109】
フレームj内の画素iの順方向再構成されたSDRクロマ(チャネルCb)は、
【数74】
[この文献は図面を表示できません]
であり、フレームj内の画素iの元のEDRクロマ(チャネルCb)は、
【数75】
[この文献は図面を表示できません]
である。輝度変調クロマ順方向再構成が再構成されたSDRルマに基づいて行われ得る。
【数76】
[この文献は図面を表示できません]
【0110】
ここで、
【数77】
[この文献は図面を表示できません]
は、フレームj内の画素iの順方向再構成されたSDRクロマ(チャネルCb)であり、
【数78】
[この文献は図面を表示できません]
は、フレームj内の画素iの元のEDRクロマ(チャネルCb)である。以下に、チャネルCbを例にしてクロマ順方向再構成およびクロマ逆方向再構成を説明する。チャネルCrは、同じように処理され得る。
【0111】
フレームjのルマ変調スケール関数である
【数79】
[この文献は図面を表示できません]
は、
【数80】
[この文献は図面を表示できません]
のK次の多項式関数の以下のような形態を取り得る。
【数81】
[この文献は図面を表示できません]
【0112】
ここで、
【数82】
[この文献は図面を表示できません]
は、多項式係数であり、K=2(2次多項式)である。リファレンス多項式係数{αr,k}も決定され得る。リファレンス多項式は、学習データセットから学習された、輝度依存クロマスケールファクタ、2次多項式であり得る。
【0113】
コンテンツ適応性可逆的再構成関数
再構成されたSDRを利用して、最大スケールファクタを導出し、EDR可逆性を維持し得る。再構成されたSDRを決定するために、ルマ順方向再構成関数が利用され得る。最大スケールファクタは、リアルタイム決定において使用するために、時間ドメインに沿ってフィルタリングおよび平滑化され得る。
【0114】
図8は、コンテンツ依存多項式800を示す。クロマは、オーバーフローまたはアンダーフローする場合に、再構成されたドメインにクリッピングされ得る。この場合に、最大スケールファクタ(上限)が輝度範囲812に対して配置される。ゼロおよび上限によって境界づけられるような新たな多項式がリファレンス814と新たな多項式816との間の重み付け距離を最小化することによって決定され得る。重み付けファクタは、階級810内の画素数であり得る。
【0115】
EDRドメイン内の最大スケールファクタ
ルマは、M個の範囲に分割され、EDRルマヒストグラムに収集される。
【数83】
[この文献は図面を表示できません]
【0116】
ここで、Ψj,mは、
【数84】
[この文献は図面を表示できません]
間に値を有する画素の集合であり、フレームj内の画素iの元のEDRクロマは、
【数85】
[この文献は図面を表示できません]
である。
【0117】
階級内の最大クロマ値は、以下のように決定され得る。
【数86】
[この文献は図面を表示できません]
ここで、ηの実験値は、全範囲出力について0.85であり、ηは、SMPTE範囲出力について0.95である。
【0118】
階級のクロマスケールファクタの上限(EDR上限)は、全範囲については、
【数87】
[この文献は図面を表示できません]
と決定され、SMPTE範囲については、
【数88】
[この文献は図面を表示できません]
と決定され得る。ここで、qmaxの実験値は、10である。統計スライディングウィンドウ内のフレームのEDR上限は、収集され、得られたEDR上限の平均が以下のように求められる。
【数89】
[この文献は図面を表示できません]
ここで、
【数90】
[この文献は図面を表示できません]
は、統計スライディングウィンドウ内のフレームについてのEDR上限である。
【0119】
SDRドメイン内の最大スケールファクタ
EDR上限は、フレームj(現在のフレーム)のルマFLUTを使用して、SDRにマッピングされ得る。EDRルマにおけるx軸は、再構成されたSDRルマに変更され得る。Mは、[0,1]間のEDRドメインにおいて以下のように一様にサンプリングされる。
【数91】
[この文献は図面を表示できません]
ここで、m=0、1、…、ME−1である。サンプリングされた点
【数92】
[この文献は図面を表示できません]
は、EDRドメインからM個の階級を有するSDRドメインに以下のようにマッピングされ得る。
【数93】
[この文献は図面を表示できません]
【0120】
なお、Mは、Mよりも大きい。すなわち、階級のより高い精度は、階級のより低い精度にマッピングされる。
【0121】
次いで、n=0、1、…、MS−1について、n番目の階級内のインデックス
【数94】
[この文献は図面を表示できません]
は、
【数95】
[この文献は図面を表示できません]
であり得る。
【0122】
なお、いくつかの
【数96】
[この文献は図面を表示できません]
は、同じ階級内に存在し得る。いくつかの階級は、空であり得る。SDR上限は、EDR上限の最小を取ることによって以下のように求められ得る。
【数97】
[この文献は図面を表示できません]
【0123】
数列
【数98】
[この文献は図面を表示できません]
内の空の階級は、近傍の状態に応じて補間され得る。すなわち、ある空階級について左右の近傍が利用可能であるならば、最も近い左右近傍に基づいて双線形補間が適用され得る。
【数99】
[この文献は図面を表示できません]
の数列の端などのある空階級について左の近傍のみまたは右の近傍のみが利用可能であるならば、最も近い空でない階級の値がコピーされ、
【数100】
[この文献は図面を表示できません]
は、フレームjのSDR上限であり得る。
【0124】
順方向再構成多項式のフレーム統計値レベル生成
ルマの決定と同様に、クロマ再構成関数は、2つの異なるレベルで生成され得る。
【0125】
個のサンプルがリファレンス多項式曲線から以下のように得られ得る。
【数101】
[この文献は図面を表示できません]
【0126】
3つの点が決定され得る。
【数102】
[この文献は図面を表示できません]
【0127】
フレームベースの多項式係数が決定され得る。点Bがリファレンス多項式曲線上にあるか、それよりも上にある、すなわち、
【数103】
[この文献は図面を表示できません]
ここで、
【数104】
[この文献は図面を表示できません]
がSDR上限である、ならば、このフレームについてのリファレンス多項式
【数105】
[この文献は図面を表示できません]
が利用される。
【0128】
そうでないならば、順方向再構成2次多項式は、距離最適化問題を解くことによって求められ得る。多項式は、点Aおよび点Bと交差し、リファレンス曲線から最短の重み付け距離を有し得る。重みは、階級内の画素数によって決定され得る。統計スライディングウィンドウ内のフレームの平均重みが決定され、EDRドメイン内の得られた重みは、SDRドメインにマッピングされる。
【0129】
統計スライディングウィンドウ内のフレームについて、EDR画像における階級内の画素の数は、ヒストグラムΨj,mについて以下のように決定され得る。
【数106】
[この文献は図面を表示できません]
【0130】
ここで、Ψj,mは、(36)のように定義される。EDR重みの平均は、統計スライディングウィンドウにわたって以下のように求められ得る。
【数107】
[この文献は図面を表示できません]
【0131】
EDRドメインは、以下のようにSDRドメインにマッピングされ得る。
【数108】
[この文献は図面を表示できません]
【0132】
EDR重みは、以下のようにSDRドメインにマッピングされ得る。
【数109】
[この文献は図面を表示できません]
【0133】
空階級は、端部の階級を除いて、補間され得る。空の階級が両端にあるならば、当該階級は、補間されない。空の階級は、空でない階級間で補間され、最適化のために重み
【数110】
[この文献は図面を表示できません]
が取られ得る。補間の後、空でない階級は、
【数111】
[この文献は図面を表示できません]
に基づいて導出され得る。これは、両端の空の階級を除き得る。
【0134】
重みが得られた後、多項式係数は、以下のように最適化され得る。
【数112】
[この文献は図面を表示できません]
【0135】
探索が失敗したならば、1次多項式が利用され得る。係数は、最適化問題を解くことによって以下のように求められ得る(多項式は、点Cを通り、リファレンス曲線からの最短の重み付け距離を有する)。
【数113】
[この文献は図面を表示できません]
【0136】
また、新たな多項式は、リファレンス曲線からの重みなし距離によって得られ得る。この場合、EDR重みを収集しない。多項式係数は、以下のように得られ得る。
【数114】
[この文献は図面を表示できません]
【0137】
探索が失敗したならば、1次多項式が利用され得る。係数は、最適化問題を解くことによって以下のように求められ得る(多項式は、点Cを通り、リファレンス曲線からの最短の重みなし距離を有する)。
【数115】
[この文献は図面を表示できません]
【0138】
順方向再構成多項式の中心傾向スライディングウィンドウレベル生成
現在のフレームおよびルックバックフレームの多項式曲線の平均が求められ、新たな多項式がその平均曲線にフィッティングされ得る。
【0139】
中心傾向スライディングウィンドウ内の現在のフレームおよびルックバックフレームのフレーム係数がリファレンス係数{αr,k}と同じならば、最終の係数は、{αr,k}であり得る。そうでなければ、現在のフレームおよびルックバックフレームについて、多項式上のM個のサンプルが以下のように得られる。
【数116】
[この文献は図面を表示できません]
【0140】
多項式について、サンプルの平均が求められ得る。
【数117】
[この文献は図面を表示できません]
【0141】
係数
【数118】
[この文献は図面を表示できません]
を有する2次多項式が
【数119】
[この文献は図面を表示できません]
にフィッティングされ得る。このフィッティングによって、クロマ順方向再構成スケールファクタが平滑化される。
【0142】
なお、上記決定は、{x}がすべてのフレームについて同じである限り、中心傾向スライディングウィンドウ内の係数の平均を直接に求めることによって低減され得る。{yj,n}は、
【数120】
[この文献は図面を表示できません]
書き換えられ得る。ここで、
【数121】
[この文献は図面を表示できません]
である。
【数122】
[この文献は図面を表示できません]
は、以下のように書き換えられ得る。
【数123】
[この文献は図面を表示できません]
多項式の
【数124】
[この文献は図面を表示できません]
へのフィッティングは、以下のようになるように行われる。
【数125】
[この文献は図面を表示できません]
ここで、
【数126】
[この文献は図面を表示できません]
である。最適化問題は、以下の式で表され得る。
【数127】
[この文献は図面を表示できません]
【数128】
[この文献は図面を表示できません]
の最小二乗解は、以下のとおりである。
【数129】
[この文献は図面を表示できません]
【0143】
これは、多項式係数の平均を求めることが、多項式曲線の平均を求め、そして新たな多項式を当該平均にフィッティングすることに相当することを示す。この処理は、以下の平均算出手順によって単純化され得る。
【数130】
[この文献は図面を表示できません]
【0144】
クロマスケーリングファクタとして導出された多項式は、直接適用され得る。ルマ値がとり得る値は、有限であるので、多項式からの可能なルマ値を使用して1Dルックアップテーブル(LUT)が構築され得る。LUTは、以下のように決定され得る。
【数131】
[この文献は図面を表示できません]
ここで、
【数132】
[この文献は図面を表示できません]
であり、Lは、精度に応じて、1024または2048などであり得る。なお、Lは、(2*M)の倍数である。
【0145】
スケールファクタは、以下のように順方向再構成に適用され得る。
【数133】
[この文献は図面を表示できません]
ここで、
【数134】
[この文献は図面を表示できません]
または、単にフレームj内の画素iの元のEDRルマである
【数135】
[この文献は図面を表示できません]
のMSBを取ることによる。
【0146】
図9は、多項式が上限および下限を満足する限り上下に移動することを可能にするシェーダ制御900を示す。上限は、多項式910が交差する914として示している。低減された飽和(decreased saturation)912が入力され、多項式を上限914よりわずかに下方に引き下げ得る。また、上限920は、元の多項式916の低減された飽和918に加えて、多項式の増大された飽和(increased saturation)922を可能にし得る。
【0147】
逆方向再構成関数
2つの入力を有する3次クロマMMRが逆方向再構成のために以下のように利用される。
【数136】
[この文献は図面を表示できません]
【0148】
ここで、
【数137】
[この文献は図面を表示できません]
は、フレームj内の画素iの逆方向再構成されたEDRクロマ(チャネルCb)である。クロマMMR係数
【数138】
[この文献は図面を表示できません]
は、求められる値であり、rpuに送信され、格納されることになる。
【0149】
逆方向再構成関数について、システム開始時に、クロマMMR係数は、リファレンス順方向再構成多項式について導き出される。上限超えがないならば(すなわち、リファレンス順方向再構成多項式がSDR上限を超えないならば)、リファレンス多項式係数は、順方向再構成のために使用され、クロマリファレンスMMR係数は、逆方向再構成のために使用され得る。
【0150】
係数{αr,k}は、以下のスケールファクタを生成する。
【数139】
[この文献は図面を表示できません]
【0151】
ルマ階級の逆スケールファクタは、以下のように決定され得る。
【数140】
[この文献は図面を表示できません]
【0152】
サンプルに対する曲線フィッティングが行われ、以下のような次数Kの多項式が得られ得る。
【数141】
[この文献は図面を表示できません]
【0153】
【数142】
[この文献は図面を表示できません]
であるクロマMMR係数
【数143】
[この文献は図面を表示できません]
が決定され得る。ここで、
【数144】
[この文献は図面を表示できません]
であり、Aは、2016年5月19日に出願された、Q.Songらの米国仮出願シリアル番号62/338,638、「Chroma Reshaping for High Dynamic Range Images」(「638出願」と称す)に記載されるような変換行列である。この出願は、2017年5月17日にPCT出願シリアル番号PCT/US2017/033056としても出願されている。この出願の開示内容を本願に援用する。
【0154】
フレームについて、得られた順方向再構成多項式がリファレンス多項式と同じであるならば、mは、クロマMMR係数として利用され得る。
【0155】
そうでなく、順方向再構成多項式がリファレンス多項式と異なるならば、コンテンツ依存クロマMMR係数が利用され得る。
【0156】
EDR重みおよびSDR重みが得られたならば、最も右の空でない階級
【数145】
[この文献は図面を表示できません]
が求められ得る。
【0157】
階級インデックスは、dmaxによって以下のようにクリッピングされ得る。
【数146】
[この文献は図面を表示できません]
ここで、dmaxは、定数である。dmaxの実験値は、M=64の場合、50である。
【0158】
Dは、M個の階級のうちの最も右の空でない階級に対応するので、M個のサンプルに対して順方向再構成1D LUT
【数147】
[この文献は図面を表示できません]
をダウンサンプリングし得る。
【数148】
[この文献は図面を表示できません]
【0159】
このように、サンプルは、元のサンプルに類似し得る。すなわち、d=nについて
【数149】
[この文献は図面を表示できません]
である。ここで、
【数150】
[この文献は図面を表示できません]
である。
【0160】
逆スケールファクタは、以下のように決定され得る。
【数151】
[この文献は図面を表示できません]
【0161】
曲線フィッティングをサンプル
【数152】
[この文献は図面を表示できません]
に対して行うことによって、以下のようなK次の多項式が得られ得る。
【数153】
[この文献は図面を表示できません]
最適化問題は、以下のように表され得る。
【数154】
[この文献は図面を表示できません]
最小二乗解は、
【数155】
[この文献は図面を表示できません]
であり、ここで、
【数156】
[この文献は図面を表示できません]
である。
【0162】
なお、
【数157】
[この文献は図面を表示できません]
は、D(j)に依存し、
【数158】
[この文献は図面を表示できません]
は、
システム初期化時にD(j)=50、…、64について予め決定され得る(すなわち、(K+1)*64元の15個のテーブル)。次いで、フレームについて、
【数159】
[この文献は図面を表示できません]

【数160】
[この文献は図面を表示できません]
に乗算され、
【数161】
[この文献は図面を表示できません]
を得る。
【数162】
[この文献は図面を表示できません]
であるクロマMMR係数
【数163】
[この文献は図面を表示できません]
が得られ得る。ここで、
【数164】
[この文献は図面を表示できません]
である。
逆スケールファクタ
【数165】
[この文献は図面を表示できません]
の最終のクロマMMR係数
【数166】
[この文献は図面を表示できません]
へのそのような変換は、行列変換として表され得る。式(77)の第1の部分は、MMR係数
【数167】
[この文献は図面を表示できません]
が中心傾向再構成関数に固定の変換行列
【数168】
[この文献は図面を表示できません]
を乗算することによって得られ得ることを示す。ここで、
【数169】
[この文献は図面を表示できません]
は、多項式係数である。式(77)の第2の部分は、MMR係数
【数170】
[この文献は図面を表示できません]
の決定において単純化がなされ得ることを表す。すなわち、逆スケールファクタサンプル値
【数171】
[この文献は図面を表示できません]
が2つの変換行列
【数172】
[この文献は図面を表示できません]
と以下のように乗算され得る。
【数173】
[この文献は図面を表示できません]
EDR重みまたはSDR重みが決定されなかった場合、Dは、Mに設定され得、MMR係数は、上記と同様の手順を利用して決定され得る。
【0163】
第2の装置におけるルマ変調クロマ順方向再構成
図10は、モバイルデバイスなどの第2のデバイスのための、Cbチャネルについてのクロマ順方向再構成1000の第2の例を示す。Crチャネルは、同様に行われ得る。この例において、入力ルマ映像フレーム410が入力され、中心傾向ルマ順方向再構成LUT434が上記のように決定され、そしてルマ再構成が行われ(438)、再構成されたルマ610が生成される。
【0164】
入力クロマ映像フレーム614が入力される。EDR上限が、拡張ダイナミックレンジ解析器によって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックアヘッドフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)について行われる。EDR上限が決定され(616)、そしてEDR上限バッファ618B内に収集され、この例においては、上限の平均が求められ、中心傾向を決定する任意の処理が利用され得る。中心傾向ルマ順方向再構成LUT434およびモジュール620からの平均上限を利用して、EDRからSDRへのマッピングが行われる(622)。これは、ブリッジマッピング器によって行われる。そしてSDR上限が決定される(624)。
【0165】
クロマ順方向再構成多項式は、SDR上限出力を利用して、順方向再構成スケール多項式LUTから決定される(1010)。これは、クロマフレームソルバによって行われる。クロマCb順方向再構成多項式出力を利用して、クロマ順方向再構成が行われる(1012)。これは、クロマ再構成器によって行われる。その結果、再構成されたクロマ1014が得られる。再構成されたクロマ出力1014は、再構成されたルマ出力612と組み合わされて、SDRドメインにおけるデータを生成する(218)。さらに、SDR上限624からのデータを使用して、逆方向LUTからクロマMMR係数が得られ得る(1016)。これは、クロマMMR決定器によって行われる。クロマMMR係数は、RPU224に送信され得る。
【0166】
多項式係数は、所定の順方向再構成係数LUTから得られ、複雑性を低減し得る。順方向再構成係数LUTは、点Bの位置における係数を含み得る。順方向係数LUTの構築の一例は、‘638出願にその詳細を見出すことができる。得られた点Bに対応するインデックス(n,T)が求められ得る。多項式係数は、以下であり得る。
【数174】
[この文献は図面を表示できません]
【0167】
1DスケールファクタLUTは、フレームjについて多項式係数を使用して以下のように構築され得る。
【数175】
[この文献は図面を表示できません]
【0168】
ここで、
【数176】
[この文献は図面を表示できません]
である。スケールファクタは、以下のように順方向再構成に適用され得る。
【数177】
[この文献は図面を表示できません]
ここで、
【数178】
[この文献は図面を表示できません]
である。または、単にフレームj内の画素iの元のEDRルマである
【数179】
[この文献は図面を表示できません]
のMSBを取ることによる。
【0169】
逆方向再構成
逆方向再構成について、クロマMMR係数は、逆方向LUTから求められ得る。逆方向LUTは、点Bの位置のクロマMMR係数を含む。インデックスは、得られた点B(n,T)に対応し得る。クロマMMR係数は、kについてτ(n,T,k)であり得る。ここで、τ(・,・,・)は、逆方向再構成LUTである。逆方向再構成係数LUTの構築の一例は、‘638出願に見出だされ得る。
【0170】
飽和制御
順方向再構成の多項式係数が上記の手順で得られた後、シェーダは、飽和を手動で調節し得る。シェーダは、多項式曲線が上限または下限に接触するまで、定数係数
【数180】
[この文献は図面を表示できません]
を変更し得る。上限
【数181】
[この文献は図面を表示できません]
は、上記のように定義される。下限は、δに設定される。ここで、δ≧0である。
【0171】
手順は、以下のように説明され得る。
【数182】
[この文献は図面を表示できません]
【0172】
スケールファクタは、以下のように得られ得る。
【数183】
[この文献は図面を表示できません]
【0173】
n∈Ωについて
【数184】
[この文献は図面を表示できません]
かつ
n=0、1、…、Dについて
【数185】
[この文献は図面を表示できません]
であるならば、
【数186】
[この文献は図面を表示できません]
は、
【数187】
[この文献は図面を表示できません]
によって置き換えられる。
【0174】
クロマMMR係数は、新たな多項式係数を使用して求められ得る。一例において、δは、0.2に設定され、十分な逆方向再構成されたEDRを確保する
【0175】
【数188】
[この文献は図面を表示できません]
が上記の条件を満足しないならば、
【数189】
[この文献は図面を表示できません]
は、変更されないままである。シェーダは、飽和を制御するスライダを有し得る。
【0176】
均等物、拡張物、代替物、その他
上記記載において、実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
【0177】
本発明の様々な局面は、以下の列挙実施形態例(enumerated example embodiment:EEE)から理解され得る。
EEE1.
リアルタイム順方向再構成の方法であって、
現在のフレームと、少なくとも1つのルックバックフレームと、少なくとも1つのルックアヘッドフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは現在のフレームに合わせて画定する、工程と、
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの統計値を決定する工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値内にあるならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンに含める工程と、
前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックアヘッドフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、
前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、
前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記中心傾向スライディングウィンドウの前記少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する方法。

EEE2.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE3.
前記1組のクロマ多変量・重回帰(MMR)係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ルックアップテーブル(LUT)を決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE2に記載の方法。

EEE4.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE5.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE4に記載の方法。

EEE6.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE7.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE6に記載の方法。

EEE8.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE9.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE8に記載の方法。

EEE10.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE11.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE10に記載の方法。

EEE12.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE13.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE12に記載の方法。

EEE14.
リアルタイム順方向再構成の方法であって、
現在のフレームと、少なくとも1つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは前記現在のフレームに合わせて画定する、工程と、
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの統計値を決定する工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、
前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、
前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記シーン内の前記少なくとも1つのルマ順方向再構成関数の中心傾向に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する方法。

EEE15.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE16.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE15に記載の方法。

EEE17.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE18.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE17に記載の方法。

EEE19.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE20.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE19に記載の方法。

EEE21.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つの統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE22.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEEに21記載の方法。

EEE23.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE24.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE23に記載の方法。

EEE25.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE26.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE25に記載の方法。
図1
[この文献は図面を表示できません]
図2
[この文献は図面を表示できません]
図3A
[この文献は図面を表示できません]
図3B
[この文献は図面を表示できません]
図4
[この文献は図面を表示できません]
図5
[この文献は図面を表示できません]
図6
[この文献は図面を表示できません]
図7
[この文献は図面を表示できません]
図8
[この文献は図面を表示できません]
図9
[この文献は図面を表示できません]
図10
[この文献は図面を表示できません]