知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】電気－光伝達関数変換及び信号適法化
(51)【国際特許分類】
H04N 19/85 20140101AFI20241021BHJP
【ＦＩ】
H04N19/85
【請求項の数】
29
(21)【出願番号】P 2022506085
(86)(22)【出願日】2020-07-27
(65)【公表番号】
(43)【公表日】2022-09-30
(86)【国際出願番号】 US2020043789
(87)【国際公開番号】W WO2021021762
(87)【国際公開日】2021-02-04
【審査請求日】2023-06-01
(31)【優先権主張番号】19189052.4
(32)【優先日】2019-07-30
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/880,266
(32)【優先日】2019-07-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】スゥ，グワン－ミーン
(72)【発明者】
【氏名】カドゥ，ハルシャッド
(72)【発明者】
【氏名】ガドジル，ニーラジ ジェイ．
(72)【発明者】
【氏名】ソーン，チーン
(72)【発明者】
【氏名】リー，ヨン ユン
【審査官】岩井 健二
(56)【参考文献】
【文献】特開２０１６－２１３８０９（ＪＰ，Ａ）
【文献】国際公開第２０２０／０６８６６６（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０２３２０２（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１６５４９４（ＷＯ，Ａ２）
【文献】国際公開第２０１７／０５３８４６（ＷＯ，Ａ１）
【文献】国際公開第２０１７／０２４０４２（ＷＯ，Ａ２）
【文献】国際公開第２０１７／０１９８１８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
バックワードリシェイピング関数を決定する装置であって、電子プロセッサであり、
受信した映像データから一組のサンプルピクセルを決定し、
前記一組のサンプルピクセルから、第１の色空間の第１の色表現における第１の電気－光伝達関数に従った第１組のサンプルピクセルを画定し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを、マッピング関数を介して、前記第１の色空間の前記第１の色表現における第２の電気－光伝達関数に変換して、前記第１組のサンプルピクセルから前記第２の電気－光伝達関数に従った第２組のサンプルピクセルを生成し、
前記第１組のサンプルピクセル及び前記第２組のサンプルピクセルを、前記第１の色表現から前記第１の色空間の第２の色表現に変換し、
前記変換した第１組のサンプルピクセル及び前記変換した第２組のサンプルピクセルに基づいてバックワードリシェイピング関数を決定する、
ように構成された電子プロセッサ、
を有し、
前記電子プロセッサは、前記変換した第１組のサンプルピクセル内のピクセルにサンプルバックワードリシェイピング関数を適用することによって得られる予測値と、前記変換した第２組のサンプルピクセル内のピクセルと、の間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することによって、前記バックワードリシェイピング関数を決定するように構成される、
装置。
【請求項2】
前記受信した映像データは、第１のダイナミックレンジでの１つ以上の第１の画像を有し、前記第２組のサンプルピクセルは、第２のダイナミックレンジでの１つ以上の第２の画像に属し、前記第１のダイナミックレンジは前記第２のダイナミックレンジよりも低く、前記電子プロセッサは更に、－ 前記１つ以上の第１の画像内の第１の分布をしたコードワードから生成される第１のヒストグラムに基づく第１の累積密度関数と、
－ 前記１つ以上の第２の画像内の第２の分布をしたコードワードから生成される第２のヒストグラムに基づく第２の累積密度関数と、
－ 前記バックワードリシェイピング関数を決定するための、前記第１の累積密度関数及び前記第２の累積密度関数に基づくヒストグラム伝達関数と、
を決定するように構成される、
請求項１に記載の装置。
【請求項3】
前記電子プロセッサは更に、平均二乗誤差を最小化するための予測子を適用することによって前記予測値を決定するように構成される、請求項１又は２に記載の装置。
【請求項4】
前記電子プロセッサは更に、平均二乗誤差を最小化するための予測子を適用することによって前記予測値を決定するように構成され、前記電子プロセッサは、前記予測子を使用して、前記第１の分布をしたコードワードからの各コードワードを前記第２の分布をしたコードワードにマッピングして、前記ヒストグラム伝達関数を決定するように構成される、請求項２に記載の装置。
【請求項5】
最小平均二乗誤差の予測子の複数のパラメータが、マルチチャネル多重回帰モデルに基づいて決定される、請求項３に記載の装置。
【請求項6】
前記バックワードリシェイピング関数はルミナンスバックワードリシェイピング関数である、請求項２乃至４のいずれかに記載の装置。
【請求項7】
前記バックワードリシェイピング関数はクロマバックワードリシェイピング関数である、請求項５に記載の装置。
【請求項8】
前記電子プロセッサは更に、平滑化された等重量バックワードルックアップテーブルに基づいて前記バックワードリシェイピング関数を決定するように構成される、請求項１乃至７のいずれかに記載の装置。
【請求項9】
前記電子プロセッサは、前記一組のサンプルピクセルを３次元ピクセルアレイのサンプルピクセルｑｉｊｋとして決定するように構成され、ｉは、Ｍ個のサンプル有する対応する１次元ピクセルアレイｑｉのピクセル位置を示し、ｊ及びｋは、フレームインデックス及びピクセルの深さである、請求項１乃至８のいずれかに記載の装置。
【請求項10】
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１組のサンプルピクセルの範囲が所定の範囲内であることを強制するために、前記第１組のサンプルピクセルに信号適法化関数を適用することを含む、請求項１乃至９のいずれかに記載の装置。
【請求項11】
前記信号適法化関数は、－ 前記第１組のうち前記所定の範囲の外側にあるサンプルピクセルをクリッピングすることを有するクリッピング関数、
－ 区分線形関数、又は
－ Ｓ字曲線関数、
のうちの１つである、請求項１０に記載の装置。
【請求項12】
前記第１の電気－光伝達関数はハイブリッド対数ガンマである、請求項１乃至１１のいずれか一項に記載の装置。
【請求項13】
前記第２の電気－光伝達関数は知覚量子化器である、請求項１乃至１２のいずれか一項に記載の装置。
【請求項14】
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを画定することは、前記一組のサンプルピクセルから、第２の色空間の前記第１の色表現における第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、
前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルピクセルに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを生成し、前記第２の色空間は前記第１の色空間よりも小さい、
ことを含む、請求項１乃至１３のいずれか一項に記載の装置。
【請求項15】
前記電子プロセッサは、前記第２の色空間の前記第１の色表現における前記第３の電気－光伝達関数を、前記第１の色空間の前記第１の色表現における前記第１の電気－光伝達関数のコンテナに変換するように構成される、請求項１４に記載の装置。
【請求項16】
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを画定することは、前記第２の色空間の前記第１の色表現における前記第３の電気－光伝達関数に従った前記第３組のサンプルピクセルと、第３の色空間の前記第１の色表現における第４の電気－光伝達関数に従った第４組のサンプルピクセルとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルピクセルと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルピクセルとの、重み付けた組み合わせを含むようにする、
ことを含む、請求項１４又は１５に記載の装置。
【請求項17】
前記電子プロセッサは、前記第３の色空間の前記第４の電気－光伝達関数を、前記第１の色空間の前記第１の色表現における前記第１の電気－光伝達関数のコンテナに変換するように構成される、請求項１６に記載の装置。
【請求項18】
当該装置はエンコーダ又はデコーダである、請求項１乃至１７のいずれか一項に記載の装置。
【請求項19】
バックワードリシェイピング関数を決定する方法であって、受信した映像データから一組のサンプルピクセルを決定し、
前記一組のサンプルピクセルから、第１の色空間の第１の色表現における第１の電気－光伝達関数に従った第１組のサンプルピクセルを画定し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを、マッピング関数を介して、前記第１の色空間の前記第１の色表現における第２の電気－光伝達関数に変換して、前記第１組のサンプルピクセルから前記第２の電気－光伝達関数に従った第２組のサンプルピクセルを生成し、
前記第１組のサンプルピクセル及び前記第２組のサンプルピクセルを、前記第１の色表現から前記第１の色空間の第２の色表現に変換し、
前記変換した第１組のサンプルピクセル及び前記変換した第２組のサンプルピクセルに基づいてバックワードリシェイピング関数を決定する、
ことを有し、
前記バックワードリシェイピング関数を決定することは、前記変換した第１組のサンプルピクセル内のピクセルにサンプルバックワードリシェイピング関数を適用することによって得られる予測値と、前記変換した第２組のサンプルピクセル内のピクセルと、の間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することを含む、
方法。
【請求項20】
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１組のサンプルピクセルの範囲が所定の範囲内であることを強制するために、前記第１組のサンプルピクセルに信号適法化関数を適用することを含む、請求項１９に記載の方法。
【請求項21】
前記信号適法化関数は、－ 前記第１組のうち前記所定の範囲の外側にあるサンプルピクセルをクリッピングすることを有するクリッピング関数、
－ 区分線形関数、又は
－ Ｓ字曲線関数、
のうちの１つである、請求項２０に記載の方法。
【請求項22】
前記第１の電気－光伝達関数はハイブリッド対数ガンマである、請求項１９乃至２１のいずれか一項に記載の方法。
【請求項23】
前記第２の電気－光伝達関数は知覚量子化器である、請求項１９乃至２１のいずれか一項に記載の方法。
【請求項24】
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを画定することは、前記一組のサンプルピクセルから、第２の色空間の前記第１の色表現における第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、
前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルピクセルに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを生成し、前記第２の色空間は前記第１の色空間よりも小さい、
ことを含む、請求項１９乃至２３のいずれか一項に記載の方法。
【請求項25】
前記第２の色空間の前記第１の色表現における前記第３の電気－光伝達関数を、前記第１の色空間の前記第１の色表現における前記第１の電気－光伝達関数のコンテナに変換する、ことを更に有する請求項２４に記載の方法。
【請求項26】
前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルを画定することは、前記第２の色空間の前記第１の色表現における前記第３の電気－光伝達関数に従った前記第３組のサンプルピクセルと、第３の色空間の前記第１の色表現における第４の電気－光伝達関数に従った第４組のサンプルピクセルとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルピクセルが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルピクセルと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルピクセルとの、重み付けた組み合わせを含むようにする、
ことを含む、請求項２４又は２５に記載の方法。
【請求項27】
前記第３の色空間の前記第４の電気－光伝達関数を、前記第１の色空間の前記第１の色表現における前記第１の電気－光伝達関数のコンテナに変換する、ことを更に有する請求項２６に記載の方法。
【請求項28】
前記サンプルバックワードリシェイピング関数の前記予測値は、平均二乗誤差を最小化するための予測子を適用することによって決定される、請求項１９乃至２７のいずれか一項に記載の方法。
【請求項29】
命令を格納した非一時的なコンピュータ読み取り可能媒体であって、前記命令は、コンピュータのプロセッサによって実行されるときに、前記コンピュータに請求項１９乃至２８のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、２０１９年７月３０日に出願された米国仮特許出願第６２／８８０，２６６号及び２０１９年７月３０日に出願された欧州特許出願第１９１８９０５２．４号に対する優先権を主張するものであり、これらの各々をその全体にてここに援用する。
【0002】
この出願は、概して、高ダイナミックレンジ映像（ＨＤＲ）用の映像信号変換に関する。
【背景技術】
【0003】
ここで使用されるとき、用語“ダイナミックレンジ”（ＤＲ）は、例えば最も暗い黒（ダーク）から最も明るい白（ハイライト）まで、画像における強度（例えば、輝度、ルマ）の範囲を知覚する人間の視覚系（human visual system；ＨＶＳ）の能力に関するとし得る。この意味で、ＤＲは“シーン参照”強度に関する。ＤＲはまた、特定の幅の強度範囲を十分又は適切にレンダリングするディスプレイ装置の能力にも関し得る。この意味で、ＤＲは“ディスプレイ参照”強度に関する。ここでの記載のいずれかの時点において特定の意味を持つとして特定の意味が明示的に規定されない限り、この用語は、例えば交換可能に、いずれの意味でも使用され得ると推測されるべきである。
【0004】
ここで使用されるとき、高ダイナミックレンジという用語は、人間の視覚系（ＨＶＳ）のおよそ１４－１５桁の大きさに及ぶＤＲ幅に関係する。実際には、人間がその強度範囲内の広い範囲を同時に知覚できるＤＲは、ＨＤＲに対して幾分切り捨てられてしまい得る。ここで使用されるとき、エンハンストダイナミックレンジ（ＥＤＲ）又はビジュアルダイナミックレンジ（ＶＤＲ）という用語は、個別に、あるいは交換可能に、目の動きを含んでシーン又は画像にわたっての光順応変化を可能にする人間の視覚系（ＨＶＳ）によってシーン又は画像内で知覚可能なＤＲに関し得る。ここで使用されるとき、ＥＤＲは、５－６桁の大きさのＤＲに関係し得る。従って、ＨＤＲとされる真のシーンに対して幾分狭くなり得るが、ＥＤＲはそれでも広いＤＲ幅を表し、ＨＤＲとも称され得る。
【0005】
実際には、画像は１つ以上の色成分（例えば、ルマＹとクロマＣｂ及びＣｒ）を有し、各色成分が、ピクセル当たりｎビットの精度（例えば、ｎ＝８）で表される。線形ルミナンスコーディングを用いると、ｎ≦８の画像（例えば、カラーの２４ビットＪＰＥＧ画像）は標準ダイナミックレンジの画像とみなされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とみなされ得る。
【0006】
所与のディスプレイに関する参照電気－光伝達関数（electro-optical transfer function；ＥＯＴＦ）が、入力映像信号のカラー値（例えば、ルミナンス）の、ディスプレイによって生成されるスクリーンカラー値（例えば、スクリーンルミナンス）に対する関係を特徴付ける。例えば、ＩＴＵ勧告ＩＴＵ－Ｒ ＢＴ．１８８６は、陰極線管（ＣＲＴ）の測定特性に基づいてフラットパネルディスプレイ用の参照ＥＯＴＦを定めている。映像ストリームを所与として、そのＥＯＴＦに関する情報は典型的にメタデータとしてビットストリームに埋め込まれる。ここで使用されるとき、用語“メタデータ”は、符号化ビットストリームの一部として伝送されてデコーダが復号画像をレンダリングするのを支援する任意の補助情報に関する。そのようなメタデータは、以下に限られないが、ここに記載されるもののような、色空間又は色域情報、参照ディスプレイパラメータ、及び補助信号パラメータを含み得る。ここで、ＢＴ．１８８６、Ｒｅｃ．２０２０、ＢＴ．２１００、及びこれらに類するものは、国際電気通信連合（ＩＴＵ）により発表されたＨＤＲ映像の様々な態様に関する定義の集合を指す。
【0007】
大抵の消費者向けデスクトップディスプレイは、現在、２００－３００ｃｄ／ｍ２又はニットの輝度をサポートしている。大抵の消費者向けＨＤＴＶは３００－５００ニットの範囲に及び、一部のモデルは１０００ニット（ｃｄ／ｍ２）に達している。そのような従来ディスプレイは、このように、ＨＤＲ又はＥＤＲとの関係で標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる、低めのダイナミックレンジ（ＬＤＲ）を典型とする。キャプチャ機器（例えば、カメラ）とＨＤＲディスプレイ（例えば、ドルビーラボラトリーズ社からのＰＲＭ－４２００プロフェッショナル参照モニタ）との両方の進歩により、ＨＤＲコンテンツの利用可能性が増大するにつれて、ＨＤＲコンテンツは、カラーグレード化され、より高いダイナミックレンジ（例えば、１，０００ニットから５，０００ナイト以上）をサポートするＨＤＲディスプレイ上に表示されることになり得る。そのようなディスプレイは、高輝度能力（例えば、０－１０，０００ニット）をサポートする代わりのＥＯＴＦを用いて規定されることがある。そのようなＥＯＴＦの一例が、ＳＭＰＴＥ ＳＴ ２０８４：２０１４“High Dynamic Range EOTF of Mastering Reference Displays”に規定されている。一般に、限定ではなく、本開示の方法は任意のダイナミックレンジに関する。
【0008】
ここで使用されるとき、用語“フォワードリシェイピング”（forward reshaping）は、元のビット深度及び符号化フォーマット（例えば、ガンマ又はＳＭＰＴＥ ２０８４）からの画像を、より低い又は同じビット深度及び異なる符号化フォーマットの画像にマッピング（又は量子化）するプロセスを表し、これは、ある符号化法（例えばＡＶＣ、ＨＥＶＣ、及びこれらに類するものなど）を使用して、向上された圧縮を可能にする。受信器にて、リシェイピングされた信号を解凍した後、受信器は、逆リシェイピング関数を適用して、信号を元の高ダイナミックレンジに復元し得る。受信器は、ルックアップテーブル（ＬＵＴ）として、又は例えば関数のマルチピース多項式近似の係数といったパラメトリック形式にて、バックワードリシェイピング（backward reshaping）関数を受信し得る。
【0009】
このセクションに記載されたアプローチは、先に進められ得るアプローチであり、必ずしもこれまでに考案又は追求されたアプローチではない。従って、別段の断りがない限り、このセクションに記載されたアプローチのいずれも、それらがこのセクションに含まれていることのみを理由にして従来技術をなすと想定されるべきでない。同様に、１以上のアプローチに関して特定された問題は、別段の断りがない限り、このセクションに基づいて、何らかの従来技術において認識されていたと想定されるべきでない。
【発明の概要】
【0010】
本開示の様々な態様は、改良された電気－光伝達関数変換、信号適法化、及びバックワードリシェイピング関数のためのシステム及び方法に関する。
【0011】
本開示の例示的な一態様にて、装置が提供される。当該装置は電子プロセッサを含む。当該装置は、ターゲットディスプレイ上に映像をレンダリングするためのバックワードリシェイピング関数を決定するためのものである。
【0012】
電子プロセッサは、受信した映像データから一組のサンプルピクセルを決定し、該一組のサンプルピクセルから、第１の色空間の第１の色表現における第１の電気－光伝達関数に従った第１組のサンプルピクセルを画定し、第１組のサンプルピクセルを、マッピング関数を介して、第１の色空間の第１の色表現における第２の電気－光伝達関数に変換して、第１組のサンプルピクセルから第２の電気－光伝達関数に従った第２組のサンプルピクセルを生成し、第１組のサンプルピクセル及び第２組のサンプルピクセルを、第１の色表現から第１の色空間の第２の色表現に変換し、そして、変換した第１組のサンプルピクセル及び変換した第２組のサンプルピクセルに基づいてバックワードリシェイピング関数を決定するように構成される。電子プロセッサは、変換した第１組のサンプルピクセル内のピクセルにサンプルバックワードリシェイピング関数を適用することによって得られる予測ピクセル値と、変換した第２組のサンプルピクセル内のピクセルと、の間の差を最小化するように、サンプルバックワードリシェイピング関数を繰り返し適用及び調整することによって、バックワードリシェイピング関数を決定するように構成される。
【0013】
本開示の例示的な他の一態様にて、この装置は、信号を変換する方法及び／又はコンピュータのプロセッサによって実行されるときに該コンピュータに処理を実行させる命令を格納した非一時的なコンピュータ読み取り可能媒体として又はそれを備えて実装され得る。
【0014】
本開示の様々な態様は、変換の速さ、変換の効率、変換の精度、及びこれらに類するものにおける向上を提供し得る。斯くして、本開示の様々な態様は、少なくともＨＤＲ－ＴＶ画像レンダリング、信号処理、及びこれらに類するものの技術分野における画像の変換及び改良を提供する。
【図面の簡単な説明】
【0015】
添付の図面においては、別々の図を通して同じ又は機能的に同様の要素は似通った参照符号で指しており、それが、以下の詳細な説明と共に明細書に組み込まれて明細書の一部を形成して、態様を更に例示するとともにそれら態様の様々な原理及び利点を説明する役割を果たす。
【図1A】本開示の様々な態様に従った映像配信パイプラインの例示的なプロセスである。
【図1B】本開示の様々な態様に従ったコンテンツ適応リシェイピングのための例示的なプロセスである。
【図2A】本開示の様々な態様に従った予測アルゴリズム例の出力を示すプロットである。
【図2B】本開示の様々な態様に従った予測アルゴリズム例の出力を示すプロットである。
【図2C】本開示の様々な態様に従った予測アルゴリズム例の出力を示すプロットである。
【図3A】本開示の様々な態様に従って生成される予測関数に基づいてプロセスのための例示的なバックワードリシェイピング関数を決定することのプロセスフロー図である。
【図3B】本開示の様々な態様に従って生成される予測関数に基づいてプロセスのための例示的なバックワードリシェイピング関数を決定することのプロセスフロー図である。
【図3C】本開示の様々な態様に従って生成される予測関数に基づいてプロセスのための例示的なバックワードリシェイピング関数を決定することのプロセスフロー図である。
【図3D】本開示の様々な態様に従って生成される予測関数に基づいてプロセスのための例示的なバックワードリシェイピング関数を決定することのプロセスフロー図である。
【図4】本開示の様々な態様に従ったバックワードリシェイピング機能を決定する例示的な方法を示すフローチャートである。
【図5A】本開示の様々な態様に従った信号適法化のための例示的な区分方程式のプロットである。
【図5B】本開示の様々な態様に従った信号適法化のための例示的な近似Ｓ字曲線のプロットである。
【0016】
当業者が理解することには、図中の要素は、明瞭であるように示されており、必ずしも縮尺通りに描かれていない。例えば、本開示の態様の理解を高める助けとなるよう、図中の一部の要素の寸法が他の要素に対して誇張されていることがある。
【0017】
ここでの説明の利益を有する当業者に容易に明らかとなる詳細で本開示を不明瞭にしないよう、装置及び方法のコンポーネントは、適宜に図中の記号によって表されて、本開示の態様の理解に関連する特定の詳細のみを示している。
【発明を実施するための形態】
【0018】
概説
この概説は、本開示の一部の態様の基本的な説明を提示するものである。なお、この概説は、本開示の態様の広範な又は網羅的な要約ではない。また、言及しておくべきことには、この概説は、本開示の特に重要な態様又は要素を特定するものや、特に態様の範囲を定めるものや、全般的な開示として理解されることを意図していない。この概説は、単に、態様例に関係する一部の概念を要約及び単純化した形式で提示するものに過ぎず、以下に続く態様のより詳細な説明への概念的前提に過ぎないと理解されるべきである。なお、別々の態様がここに説明されるが、ここに説明される態様及び／又は部分的態様の任意の組み合わせが為され得る。
この概説は、本開示の一部の態様の基本的な説明を提示するものである。なお、この概説は、本開示の態様の広範な又は網羅的な要約ではない。また、言及しておくべきことには、この概説は、本開示の特に重要な態様又は要素を特定するものや、特に態様の範囲を定めるものや、全般的な開示として理解されることを意図していない。この概説は、単に、態様例に関係する一部の概念を要約及び単純化した形式で提示するものに過ぎず、以下に続く態様のより詳細な説明への概念的前提に過ぎないと理解されるべきである。なお、別々の態様がここに説明されるが、ここに説明される態様及び／又は部分的態様の任意の組み合わせが為され得る。
【0019】
ここに記載される技術は、映像コンテンツの表示、及び／又は（１つ以上の）映像ストリーミングサーバと（１つ以上の）映像ストリーミングクライアントとの間での映像コンテンツのストリーミングを含み得るものである映像アプリケーションにおける、メモリ帯域幅、データレート、及び／又は計算複雑性に対する要求を最小化するために使用されることができる。
【0020】
ここに記載される映像アプリケーションは、映像ディスプレイアプリケーション、仮想現実（ＶＲ）アプリケーション、拡張現実（ＡＲ）アプリケーション、自動車エンターテイメントアプリケーション、リモートプレゼンスアプリケーション、ディスプレイアプリケーション、及びこれらに類するもののうちのいずれか１つ以上を指し得る。映像コンテンツの例は、以下に限られないが、オーディオビジュアル番組、映画、映像番組、ＴＶ放送、コンピュータゲーム、ＡＲコンテンツ、ＶＲコンテンツ、自動車エンターテイメントコンテンツ、及びこれらに類するものを含み得る。
【0021】
映像ストリーミングクライアントの例は、必ずしも以下に限られるわけではないが、ディスプレイ装置、目付近にディスプレイを備えたコンピューティング装置、ヘッドマウントディスプレイ（ＨＭＤ）、モバイル装置、ウェアラブルディスプレイ装置、例えばテレビジョンなどのディスプレイを備えたセットトップボックス、ビデオモニタ、及びこれらに類するものを含み得る。
【0022】
ここで使用されるとき、“映像ストリーミングサーバ”は、１つ以上のディスプレイ上に全方向映像コンテンツの少なくとも一部（例えば、ユーザの視野又はビューポートなどに対応する）をレンダリングするために、全方向映像コンテンツを準備して１つ以上の映像ストリーミングクライアントにストリーミングする１つ以上のアップストリーム装置を指し得る。全方向映像コンテンツがレンダリングされるディスプレイは、１つ以上の映像ストリーミングクライアントの一部であってもよいし、１つ以上の映像ストリーミングクライアントと共に動作してもよい。
【0023】
映像ストリーミングサーバの例は、必ずしも以下に限られるわけではないが、（１つ以上の）映像ストリーミングクライアントから遠隔に位置するクラウドベースの映像ストリーミングサーバ、ローカルな有線又は無線ネットワーク上で（１つ以上の）映像ストリーミングクライアントに接続されたローカルな映像ストリーミングサーバ、ＶＲ装置、ＡＲ装置、自動車エンターテイメント装置、デジタルメディア装置、デジタルメディア受信器、セットトップボックス、ゲーム機（例えば、Ｘｂｏｘ（登録商標））、汎用パーソナルコンピュータ、タブレット、例えばアップルＴＶ（登録商標）又はＲｏｋｕ（登録商標）ボックスなどの専用デジタルメディア受信器などを含み得る。
【0024】
この開示及びその態様は、コンピュータ実装された方法、コンピュータプログラムプロダクト、コンピュータシステム及びネットワーク、ユーザインタフェース、及びアプリケーションプログラミングインタフェースによって制御されるハードウェア又は回路、並びに、ハードウェア実装された方法、信号処理回路、メモリアレイ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、及びこれらに類するものを含め、様々な形態で具現化されることができる。前述の概要は、単に本開示の様々な態様の一般的アイディアを与えることを意図したものであり、本開示の範囲をいかようにも限定するものではない。
【0025】
本開示の一部の態様において、ここに記載される機構は、以下に限られないが、クラウドベースのサーバ、モバイル装置、仮想現実システム、拡張現実システム、ヘッドアップディスプレイ装置、ヘルメット搭載ディスプレイ装置、ＣＡＶＥ型システム、壁サイズのディスプレイ、ビデオゲーム装置、ディスプレイ装置、メディアプレーヤ、メディアサーバ、メディア生産システム、カメラシステム、ホームベースのシステム、通信装置、映像処理システム、ビデオコーデックシステム、スタジオシステム、ストリーミングサーバ、クラウドベースのコンテンツサービスシステム、ハンドヘルド装置、ゲーム機、テレビジョン、シネマディスプレイ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、携帯無線電話、電子書籍リーダ、ＰＯＳ端末、デスクトップコンピュータ、コンピュータワークステーション、コンピュータサーバ、コンピュータキオスク、又は他の様々な種類の端末及び媒体処理ユニットのいずれか１つ以上を含む、媒体処理システムの一部を形成する。説明を容易にするために、ここに提示するシステム例の一部又は全てを、そのコンポーネント部分の各々の単一の例を用いて示す。一部の例は、システムの全てのコンポーネントを説明又は図示しないことがある。本開示の他の態様は、示されるコンポーネントの各々をより多く又はより少なく含むことができ、幾つかのコンポーネントを組み合わせてもよく、あるいは追加の又は代わりのコンポーネントを含んでもよい。
【0026】
映像配信処理パイプラインの例
図１Ａは、映像キャプチャから映像コンテンツ表示までの様々な段階を示す、映像配信パイプライン１００Ａのプロセスの一例を示している。画像生成ブロック１０５を用いて、映像フレーム１０２のシーケンスがキャプチャ又は生成される。映像フレーム１０２は、（例えば、デジタル・カメラによって）デジタル的にキャプチャされて、あるいは（例えば、コンピュータアニメーションを用いて）コンピュータによって生成されて、映像データ１０７を提供し得る。あるいは、映像フレーム１０２は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムがデジタルフォーマットに変換されて、映像データ１０７を提供する。制作フェーズ１１０にて、映像データ１０７が編集されて、映像制作ストリーム１１２を提供する。
図１Ａは、映像キャプチャから映像コンテンツ表示までの様々な段階を示す、映像配信パイプライン１００Ａのプロセスの一例を示している。画像生成ブロック１０５を用いて、映像フレーム１０２のシーケンスがキャプチャ又は生成される。映像フレーム１０２は、（例えば、デジタル・カメラによって）デジタル的にキャプチャされて、あるいは（例えば、コンピュータアニメーションを用いて）コンピュータによって生成されて、映像データ１０７を提供し得る。あるいは、映像フレーム１０２は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムがデジタルフォーマットに変換されて、映像データ１０７を提供する。制作フェーズ１１０にて、映像データ１０７が編集されて、映像制作ストリーム１１２を提供する。
【0027】
次いで、制作ストリーム１１２の映像データが、制作後の編集のために、ブロック１１５にてプロセッサに提供される。ブロック１１５の制作後編集は、映像制作者の創作意図に従って画像の質を高めたり特定の見た目の画像を達成したりするために、映像の特定の領域内の色又は輝度を調整又は修正することを含み得る。これは、“カラータイミング”又は“カラーグレーディング”と呼ばれることもある。他の編集（例えば、シーン選択及びシーケンス化、画像クロッピング、コンピュータ生成した視覚的特殊効果の付加など）をブロック１１５で実行してもよく、配信のための最終版の制作物１１７を産み出すことができる。制作後編集１１５の間、参照ディスプレイ１２５上でビデオ画像が眺められる。
【0028】
ポスト制作１１５に続いて、最終制作物１１７の映像データが、例えばテレビジョンセット、セットトップボックス、映画館などの復号再生へのダウンストリーム配信のために、符号化ブロック１２０に送達され得る。一部の態様において、符号化ブロック１２０は、符号化ビットストリーム１２２を生成するために、例えばＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）、及び他の配信フォーマットによって定義されるものなどの、オーディオビデオエンコーダを含み得る。受信器にて、符号化ビットストリーム１２２が復号ユニット１３０によって復号されて、信号１１７と同一もの又はそれをよく近似したものを表す復号信号１３２を生成する。受信器は、参照ディスプレイ１２５とは全く異なる特性を持ち得るターゲットディスプレイ１４０に取り付けられることがある。その場合、ディスプレイ管理ブロック１３５を使用して、ディスプレイマッピングされた信号１３７を生成することによって、復号信号１３２のダイナミックレンジをターゲットディスプレイ１４０の特性にマッピングし得る。
【0029】
加えて、オプションで、あるいは代わりに、符号化ビットストリーム１２２は更に、画像メタデータとともに符号化され、画像メタデータは、以下に限られないが、ＨＤＲディスプレイ装置上でのレンダリングに最適化され得るターゲットＨＤＲ画像と同じ又はそれを近似するバックワードリシェイピング画像を生成するため、信号１１７に対してバックワードリシェイピングを実行するためにダウンストリームデコーダによって使用されることができるバックワードリシェイピングメタデータを含む。本開示の一部の態様において、ターゲットＨＤＲ画像は、逆トーンマッピング、逆ディスプレイ管理などを実行する１つ以上の変換ツールを用いて、信号１１７から生成され得る。
【0030】
本開示の一部の態様において、ターゲットＨＤＲ画像は、制作後編集１１５にて映像データ１１２から直接生成され得る。制作後編集１１５の間、ターゲットＨＤＲ画像は、ターゲットＨＤＲ画像に対する制作後編集処理を実行している同一の又は異なるカラリストによって、高ダイナミックレンジをサポートする第２の参照ディスプレイ（図示せず）上で眺められる。
【0031】
信号リシェイピング
現在、例えばシリアルデジタルインタフェース（ＳＤＩ）などの映像配信用の多くのデジタルインタフェースは、成分当たり１２ビット／ピクセルに制限されている。さらに、例えばＨ．２６４（又はＡＶＣ）及びＨ．２６５（又はＨＥＶＣ）などの多くの圧縮標準は、成分当たり１０ビット／ピクセルに制限されている。従って、既存のインフラストラクチャ及び圧縮標準内で、約０．００１－１０，０００ｃｄ／ｍ２（又はニット）のダイナミックレンジを持つＨＤＲコンテンツをサポートするには、効率的な符号化及び／又は量子化が必要とされる。
現在、例えばシリアルデジタルインタフェース（ＳＤＩ）などの映像配信用の多くのデジタルインタフェースは、成分当たり１２ビット／ピクセルに制限されている。さらに、例えばＨ．２６４（又はＡＶＣ）及びＨ．２６５（又はＨＥＶＣ）などの多くの圧縮標準は、成分当たり１０ビット／ピクセルに制限されている。従って、既存のインフラストラクチャ及び圧縮標準内で、約０．００１－１０，０００ｃｄ／ｍ２（又はニット）のダイナミックレンジを持つＨＤＲコンテンツをサポートするには、効率的な符号化及び／又は量子化が必要とされる。
【0032】
ここで使用される用語“ＰＱ”は、知覚的輝度振幅量子化を指す。人間の視覚系は、増加する光レベルに対して非常に非線形に応答する。刺激を見る人間の能力は、その刺激の輝度、刺激の大きさ、刺激を構成する空間周波数、及び刺激を見ている特定の瞬間において眼が適応している輝度レベルによって影響される。本開示の態様において、知覚量子化関数は、線形の入力グレーレベルを、人間の視覚系におけるコントラスト感度閾値により良く一致する出力グレーレベルにマッピングする。一例のＰＱマッピング関数が、ＳＭＰＴＥ ＳＴ ２０８４：２０１４“High Dynamic Range EOTF of Mastering Reference Displays”（それをその全体にてここに援用する）に記載されており、そこでは、一定の刺激サイズを所与として、全ての輝度レベル（すなわち、刺激レベル）について、その輝度レベルでの最小の視認可能なコントラストステップが、最も感度の高い順応レベル及び最も感度の高い空間周波数（ＨＶＳモデルに従う）に従って選択される。伝統的なガンマ曲線（これは、例えば、物理的陰極線管（ＣＲＴ）装置の応答曲線を表し、同時に人間の視覚系の応答の仕方と非常におおまかな類似性を持つ）と比較して、ＰＱ曲線は、比較的単純な関数モデルを用いて、人間の視覚系の真の視覚応答を模倣する。
【0033】
図１Ｂは、本開示の一態様に従ったコンテンツ適応リシェイピングのためのプロセス１００Ｂの一例を示している。図１Ａと比較して、同じ参照符号を与えたアイテムは同じ要素を指し得る。入力フレーム１１７を所与として、フォワードリシェイピングブロック１５０が、入力及び符号化制約を分析し、入力フレーム１１７を再量子化出力フレーム１５２にマッピングするコードワードマッピング関数を生成する。例えば、入力１１７が、特定のＥＯＴＦに従ってガンマ符号化又はＰＱ符号化され得る。本開示の一部の態様において、リシェイピングプロセスに関する情報は、メタデータを使用して、ダウンストリーム装置（例えばデコーダなど）に通信され得る。符号化１２０に続いて、復号１３０におけるフレームが、例えば前述のディスプレイ管理プロセス１３５などの更なるダウンストリーム処理のために、フレーム１２２をＥＯＴＦドメイン（例えば、ガンマ又はＰＱ）に変換し戻すものであるバックワードリシェイピング関数によって処理され得る。
【0034】
上述のように、バックワードリシェイピング関数は理想的には、生成されたバックワードリシェイピング画像が、ディスプレイ装置上でのレンダリングに最適化され得るターゲット（例えば、ＨＤＲ）画像と同じ又はそれを近似するように構成される。換言すれば、ディスプレイ装置上に生成される画像の品質は、バックワードリシェイピング関数の精度に依存する。
【0035】
バックワードリシェイピング最適化 ― 最小平均二乗誤差予測子
以下のセクションでは、バックワードリシェイピング関数の最適化を説明する。図１Ａのシステムにおいて、累積密度関数（cumulative density function；ＣＤＦ）マッチングを利用してルマ信号チャネル予測子を構築する。その全体にてここに援用する米国特許第１０，２６４，２８７号に記載されているように、１つ以上のＳＤＲ画像におけるＳＤＲコードワードの分布から生成されるＳＤＲヒストグラムに基づいて、ＳＤＲ ＣＤＦが構築される。同様に、上記１つ以上のＳＤＲ画像に対応する１つ以上のＨＤＲ画像におけるＨＤＲコードワードの分布から生成されるＨＤＲヒストグラムに基づいて、ＨＤＲ ＣＤＦが構築される。次いで、ＳＤＲ ＣＤＦ及びＨＤＲ ＣＤＦに基づいてヒストグラム伝達関数が生成される。そして、バックワードリシェイピング関数を決定するために、ヒストグラム伝達関数を用いて、バックワードリシェイピングメタデータが決定され得る。
以下のセクションでは、バックワードリシェイピング関数の最適化を説明する。図１Ａのシステムにおいて、累積密度関数（cumulative density function；ＣＤＦ）マッチングを利用してルマ信号チャネル予測子を構築する。その全体にてここに援用する米国特許第１０，２６４，２８７号に記載されているように、１つ以上のＳＤＲ画像におけるＳＤＲコードワードの分布から生成されるＳＤＲヒストグラムに基づいて、ＳＤＲ ＣＤＦが構築される。同様に、上記１つ以上のＳＤＲ画像に対応する１つ以上のＨＤＲ画像におけるＨＤＲコードワードの分布から生成されるＨＤＲヒストグラムに基づいて、ＨＤＲ ＣＤＦが構築される。次いで、ＳＤＲ ＣＤＦ及びＨＤＲ ＣＤＦに基づいてヒストグラム伝達関数が生成される。そして、バックワードリシェイピング関数を決定するために、ヒストグラム伝達関数を用いて、バックワードリシェイピングメタデータが決定され得る。
【0036】
クロマチャネル情報がルマチャネルと干渉するとき、ＣＤＦに誤差が生じ得る。従って、各輝度範囲に対する予測誤差（平均二乗誤差又はＭＳＥに関して）を最小化するために、最小化平均二乗誤差（ＭＭＳＥ）予測子が使用され得る。
【0037】
ＭＭＳＥ予測子はＭＳＥに関しての１つのソリューションであるが、この予測子は単調非減少特性を保証するものではない。非単調非減少特性によって生み出されるアーチファクトを回避するために、ＭＭＳＥ予測子に対するＣＤＦマッチングを介して、単調非減少特性が強制される。曲線が滑らかであることを保証すべく、最終的な曲線平滑化も適用される。
【0038】
先ず、ソース信号をｓｉｊと定義し、参照信号をｒと定義する（ｉはフレームインデックスｊのピクセル位置）とともに、ソース信号及び参照信号のビット深度をそれぞれＢｓとＢｒと定義して、各ソース信号ビンｂに対して、同じソース信号ビンからマッピングされた参照信号の平均値が、ビンｂ内の値（Φと表す）を持つソース信号のセットを見つけることによって見出される。限定ではなく一例として、ビンの個数は、信号内の総コードワード（例えば、２Ｂｓ）として設定し得るが、他の実施形態では、計算上の複雑さを低減させるために、より少ない数のビンを選択してもよい。
を所与として、平均値は、
として表される。
【数1】
【数2】
【0039】
マッピングｔｂ，ｊ＝ｆｊ
ＭＭＳＥ（ｂ）がＭＭＳＥ予測子である。得られるＭＭＳＥ予測の一例（２００Ａ）を図２Ａに示す。
【0040】
バックワードリシェイピング最適化 ― 単調非減少
ＭＭＳＥ予測子が単独で使用される場合、マッピングは単調非減少ではない。図２Ａに示されるように、より大きいビンインデックスを有する一部のビンが、より小さいビンインデックスからのものよりも小さいマッピング値を持つ。換言すれば、単調非減少でない曲線では、２つのビンについて
を観察することができる。
ＭＭＳＥ予測子が単独で使用される場合、マッピングは単調非減少ではない。図２Ａに示されるように、より大きいビンインデックスを有する一部のビンが、より小さいビンインデックスからのものよりも小さいマッピング値を持つ。換言すれば、単調非減少でない曲線では、２つのビンについて
【数3】
【0041】
（上記の特性が生み出す）アーチファクトを回避するために、単調非減少（monotonically non-decreasing；ＭＮＤ）曲線は、全てのビンに対して、
という特性を持つべきである。
【数4】
【0042】
米国特許第１０，２６４，２７８号に記載されているように、ＣＤＦマッチングは、ＳＤＲヒストグラムに基づく累積密度関数（ＣＤＦ）及びＨＤＲヒストグラムに基づくＣＤＦを利用することによって、バックワードリシェイピング関数（又はＢＬＵＴ）を生成する。一実施形態において、ＣＤＦを構築するために、ソース信号のＳＤＲヒストグラムをなおも使用し得るが、式（２）のＭＭＳＥ予測関数を使用してＨＤＲ ＣＤＦを構築し得る。例えば、ＳＤＲヒストグラムを所与として、ヒストグラム伝達関数を決定するために、ＳＤＲヒストグラムの各要素が、ＭＭＳＥ予測関数を用いてＨＤＲヒストグラムにマッピングされる。２つのヒストグラムを所与として、ＣＤＦの構築及びＣＤＦマッチングアルゴリズムの残りの部分は、米国特許第１０，２６４，２７８号と同様のままである。このＣＤＦマッチングアルゴリズムからの出力ＢＬＵＴも、式（４）のＭＮＤ特性を満足することになる。
【0043】
【0044】
バックワードリシェイピング最適化 ― 曲線平滑化
ＣＤＦマッチングはＭＮＤを保証し得るが、マッピング関数は、８ピースの２次多項式で近似されることができるように十分に滑らかである必要がある。従って、この曲線に、以下のように平滑化フィルタが適用される。
ＣＤＦマッチングはＭＮＤを保証し得るが、マッピング関数は、８ピースの２次多項式で近似されることができるように十分に滑らかである必要がある。従って、この曲線に、以下のように平滑化フィルタが適用される。
【0045】
先ず、コードワードｂの移動平均の上限及び下限（それぞれ、ｂｕ及びｂｌ）が設定され、ここで、ｎは全体のフィルタタップの半分である。
次いで、第１の移動平均が適用される：
【数6】
【数7】
【0046】
次いで、第２の移動平均が適用される：
【数8】
【0047】
なお、ｎの値は、１０ビット信号に対して４とし得る。図２Ｃに示すように、結果として得られるグラフ２００Ｃに示す曲線は、先の図２Ｂの曲線よりも滑らかであり、８ピースの２次多項式を用いてそれをモデル化することを容易にする。
【0048】
ＭＭＳＥ予測子は、フォワードリシェイピング又はバックワードリシェイピングのいずれかの経路に適用され得る。ＭＭＳＥ予測子はまた、単にＨＬＧからＰＱではなく、多様なＥＯＴＦに適用され得る。
【0049】
バックワードリシェイピング最適化 ― ＢＬＵＴ類似性加重平滑化
シーン内の連続した映像フレームにおける突然の意図しない強度変化／目に見えるフラッシングを防止するために、各映像フレームに対するルマバックワードリシェイピング関数を時間ドメインで平滑化する必要がある。シーンカットを意識したバックワードルックアップテーブル（backward look up table；ＢＬＵＴ）平滑化を用いて、フラッシングを緩和することができる。しかしながら、自動シーンカット検出器の不完全さのために、自動検出されたシーンカットの瞬間に、目に見えるフラッシング問題がなおも発生することがある。従って、誤ったシーンカット検出の影響を受けない平滑化機構が必要である。隣接するＢＬＵＴの差異は既に異なるコンテンツを指し示すので、ここに記載されるプロセスは、類似の形状を有するＢＬＵＴを平均化し、類似しない傾向を有するＢＬＵＴを除外する。換言すれば、ＢＬＵＴ類似性加重平均を利用して、この一時的な安定性問題を解決する。
シーン内の連続した映像フレームにおける突然の意図しない強度変化／目に見えるフラッシングを防止するために、各映像フレームに対するルマバックワードリシェイピング関数を時間ドメインで平滑化する必要がある。シーンカットを意識したバックワードルックアップテーブル（backward look up table；ＢＬＵＴ）平滑化を用いて、フラッシングを緩和することができる。しかしながら、自動シーンカット検出器の不完全さのために、自動検出されたシーンカットの瞬間に、目に見えるフラッシング問題がなおも発生することがある。従って、誤ったシーンカット検出の影響を受けない平滑化機構が必要である。隣接するＢＬＵＴの差異は既に異なるコンテンツを指し示すので、ここに記載されるプロセスは、類似の形状を有するＢＬＵＴを平均化し、類似しない傾向を有するＢＬＵＴを除外する。換言すれば、ＢＬＵＴ類似性加重平均を利用して、この一時的な安定性問題を解決する。
【0050】
Ｔｊをフレームｊの非平滑化ＢＬＵＴであると定義し、フレームｊのｂ番目のＳＤＲルマコードワードにおける正規化されたＨＤＲコードワード値をＴｊ
ｂと定義する。ＳＤＲコードワードの総数はＮＳである。Ｔｊを平滑化するための中心フレームｊの各側に（合計で２Ｍ＋１フレームとなる）Ｍフレームの対称ウィンドウ（［ｊ－Ｍ，ｊ＋Ｍ］）を考え、フレームｊの平滑化出力ＢＬＵＴを：
とする。
【数9】
【0051】
整数ｍ∈［ｊ－Ｍ，ｊ＋Ｍ］とし、各ｊ番目のフレームに対する各ＳＤＲコードワードｂにおける正規化された二乗差に関して、ＢＬＵＴ類似性が測定される。ｊの位置になる中心フレームに対してｍ番目のフレームのＢＬＵＴに対するｂ番目のコードワードにおけるＢＬＵＴ類似性を、βｊ，ｍ
ｂとして定義すると、得られる定義は：
であり、言及しておけばβｊ，ｊ
ｂ＝０である。
【数10】
【0052】
コンテンツ依存重み付け係数αｊ
ｂが、ＢＬＵＴ類似性に対する乗数として使用され、各ｂ番目のコードワードに対して、ｊ番目のフレームのＳＤＲ画像ヒストグラムｈｊ
ｂによって、次のように決定される：
【数11】
【0053】
上の例において、ヒストグラム値の範囲を、各コードワードにおける実際のピクセル数よりも小さくするために、ヒストグラムの対数をとる。対数をとる際に１を加えることで、如何なるヒストグラムでも重み付け係数が有限にとどまることが保証される。
【0054】
ｊ番目のフレームのＢＬＵＴを平滑化するため、各ｍ番目のフレームの重みが使用され、ここで、ｍはその時間的近傍［ｊ－Ｍ，ｊ＋Ｍ］からのものである。この重みは、例えば、ヒストグラム及びＢＬＵＴ差の両方に基づく指数項又はガウシアン項として計算され得る。ｊ番目のフレームＢＬＵＴを平滑化するためのｍ番目のフレームＢＬＵＴの重みｗｊ，ｍは：
として計算され、ここで、γは平滑化が適切に作用するように経験的に決定される定数（例えば、１３０）である。従って、この重みはフレームに特有であり、そのフレーム内の全てのコードワードに対して同じである。ｍ∈［ｊ－Ｍ，ｊ＋Ｍ］であるような各Ｔｍ
ｂへの乗数として重みｗｊ，ｍを用いて、中心フレームｊの平滑ＢＬＵＴが：
として計算される。
【数12】
【数13】
【0055】
一部の態様において、１２フレーム（Ｍ＝１２）がＢＬＵＴ平滑化に使用される。結果として得られたｊ番目のフレームのＢＬＵＴが、次の曲線フィッティングのプロセスに使用される。
【0056】
多変量多重回帰（Multivariate-Multi-Regression；ＭＭＲ）最適化
映像処理においては、複数のカラーチャネルＭＭＲ予測子を使用することがあり、これは、第１のダイナミックレンジの入力信号が、それに対応する第２のダイナミックレンジのエンハンストダイナミックレンジ信号と、多変量ＭＭＲ演算子とを用いて予測されることを可能にする（例えば、その全体にてここに援用する米国特許第８，８１１，４９０号に記載されている予測子）。得られたデータを、バックワードリシェイピング関数の決定に利用することができる。以下、ＭＭＲ予測子に関する予測パラメータ（ＭＭＲ係数）を選択するプロセスを説明する。カラーマッピングペアが各ピクセルから又は３Ｄマッピングテーブルとして収集された後、ＭＭＲ係数が最小二乗法によって解かれる。ソース画像から参照画像へのマッピングが、次のように表され：
ここで、ｓｋ
ｙ，ｓｋ
Ｃ０、及びｓｋ
Ｃ１は、それぞれ、マッピングテーブル内のｋ番目のエントリのプレーンＹ、Ｃ０、及びＣ１のソース値を表し、ｒｋ
ｙ，ｒｋ
Ｃ０、及びｒｋ
Ｃ１は、それぞれ、マッピングテーブル内のｋ番目のエントリのプレーンＹ、Ｃ０、及びＣ１の参照マッピング値を表す。なお、Ｋは、マッピングテーブル内のエントリの総数である。
映像処理においては、複数のカラーチャネルＭＭＲ予測子を使用することがあり、これは、第１のダイナミックレンジの入力信号が、それに対応する第２のダイナミックレンジのエンハンストダイナミックレンジ信号と、多変量ＭＭＲ演算子とを用いて予測されることを可能にする（例えば、その全体にてここに援用する米国特許第８，８１１，４９０号に記載されている予測子）。得られたデータを、バックワードリシェイピング関数の決定に利用することができる。以下、ＭＭＲ予測子に関する予測パラメータ（ＭＭＲ係数）を選択するプロセスを説明する。カラーマッピングペアが各ピクセルから又は３Ｄマッピングテーブルとして収集された後、ＭＭＲ係数が最小二乗法によって解かれる。ソース画像から参照画像へのマッピングが、次のように表され：
【数14】
【0057】
平均参照クロマ値を用いて２つのベクトルが構築される。
ソース値を用いて行列が構築され、
ここで、ｐｋ
Ｔ＝［１ ｓ０
Ｙ ｓ０
Ｃ０ ｓ０
Ｃ１ ｓ０
Ｙ ｓ０
Ｃ０ ｓ０
Ｙ ｓ０
Ｃ１ ｓ０
Ｙ ｓ０
Ｃ０ ｓ０
Ｃ１ …］は、ＭＭＲ予測子によってサポートされる全ての項を含む。
【数15】
【数16】
【0058】
ＭＭＲは、以下の最適化問題を解くことによって計算され：
ここで、ｘＣ０及びｘＣ０は、それぞれ、Ｃ０及びＣ１に関するＭＭＲ係数である。
と表記して、線形問題：
を解くことによってＭＭＲ係数を計算することができる。
【数17】
【数18】
【数19】
【0059】
Ａ行列が非正則（singular）に近い（上の線形問題が悪条件（ill-conditioned）である）場合、問題が生じ得る。悪条件の問題に対して安定した解を得るために、以下が適用され得る。
【0060】
多変量多重回帰最適化 ― ガウス消去法
ＭＭＲ係数は、
により解くことができる。しかし、Ａの逆行列を計算することは時間を消費し得る。１つの解決策はガウス消去法を適用することである。
ＭＭＲ係数は、
【数20】
【0061】
ガウス消去法において、Ａ行列は上三角形の形態に変換される。次いで、ＭＭＲ係数を解くために逆置換が適用される。Ａ行列の一部の行が一部の他の行の線形結合に近いとき、Ａ行列は非正則に近い。これが意味することは、対応する（１つ以上の）ＭＭＲ項が一部の他のＭＭＲ項と線形に相関しているということである。これらの項を削除することは、問題がより条件の良いものにし、より安定な解を生じさせることになる。
【0062】
ＭＭＲ項の総数をＰとして、行列Ａ、ベクトルｂＣ０及びｂＣ１を、以下に示すように表記する。
【数21】
【0063】
説明を容易にするため、以下のプロセスをＣ０に関して説明する。なお、Ｃ１も同様に処理し得る。続く消去を、次の行列を参照して説明する：
表１に詳述されているように、εは小さい閾値であるとして、｜ａｍ，ｍ｜≦εである場合、行ｍ及び列ｍは無視されることになり、これはｍ番目のＭＭＲ項（例えば、集合ｘｍ
Ｃ０＝０）及び連立方程式からのｍ番目の方程式を除去することと等価であり、そうでない場合には、解法はその行の残りを除去することに進む。一部の態様において、所定の閾値εは約１ｅ－６である。次いで、所定の閾値εを用いてＭＭＲ係数を計算するために、上の式（２２）のｘＣ０を解くべく逆置換が適用される。従って、有意なＭＭＲ項を用いて線形問題Ａ ｘＣ０＝ｂＣ０及びＡ ｘＣ１＝ｂＣ１が解かれる一方で、有意でない項の係数はゼロとなる。上述のガウス消去プロセスの間にＭＭＲ項の線形相関が除去され、解を比較的安定なものにする。擬似コードでのプロセスの一例を表１に示す。
【数22】
【表1-1】
【表1-2】
【0064】
ＥＯＴＦ変換 ― フルデータポイント最適化
図３Ａは、図６を参照して更に詳細に後述するものであるコントローラ６００によって実装されるＥＯＴＦ変換プロセスを示すプロセス図３００Ａである。以下では、図３００Ａを、映像変換（特に、第１のＥＯＴＦから別のＥＯＴＦへの変換）用のバックワードリシェイピング関数を決定するための方法４００を示すフローチャートである図４に関連して説明する。以下の節では、ハイブリッド対数ガンマ（Hybrid Log-Gamma；ＨＬＧ）信号から知覚量子化器（Perceptual Quantizer；ＰＱ）信号への（特に、１，０００ニットでのＨＬＧ Ｒｅｃ．２０２０から１，０００ニットでのＰＱ Ｒｅｃ．２０２０への）ＥＯＴＦ変換の一例を記載することとする。しかしながら、理解されるべきことには、当該システムは必ずしも、これらの特定のタイプの信号間の変換に限定されるわけではない。
図３Ａは、図６を参照して更に詳細に後述するものであるコントローラ６００によって実装されるＥＯＴＦ変換プロセスを示すプロセス図３００Ａである。以下では、図３００Ａを、映像変換（特に、第１のＥＯＴＦから別のＥＯＴＦへの変換）用のバックワードリシェイピング関数を決定するための方法４００を示すフローチャートである図４に関連して説明する。以下の節では、ハイブリッド対数ガンマ（Hybrid Log-Gamma；ＨＬＧ）信号から知覚量子化器（Perceptual Quantizer；ＰＱ）信号への（特に、１，０００ニットでのＨＬＧ Ｒｅｃ．２０２０から１，０００ニットでのＰＱ Ｒｅｃ．２０２０への）ＥＯＴＦ変換の一例を記載することとする。しかしながら、理解されるべきことには、当該システムは必ずしも、これらの特定のタイプの信号間の変換に限定されるわけではない。
【0065】
先ず、ブロック４１０にて、コントローラ６００は、カラーグリッドからの合成データ（例えば、受信した映像データ）から第１組（第１のセット）のサンプルポイントを決定する。特に、合成データ（例えば、図１Ａの映像１１７）から、図３ＡにΦとして表す一組のサンプルポイント（ピクセル）が収集される。この文書において、用語“サンプルポイント”及び“サンプルピクセル”は、同じものを指し示すように交換可能に使用される。一組のサンプルポイントΦは、最初に、Ｍ個のサンプルを有する１Ｄサンプリング配列ｑｉを構築することによって定められ、ｉはピクセル位置を示すとして、正規化ドメインでのｉ番目のポイント（ｉ∈［０，Ｍ－１］）が以下のように示される。
【数23】
【0066】
次いで、１Ｄ配列ｑｉを用いて、３Ｄ空間における３Ｄサンプルポイント（以下では３Ｄ配列ｑｉｊｋと表記する）を構築し、ここで、ｊ及びｋは、それぞれ、ピクセルのフレームインデックス及び深度である。
【数24】
【0067】
従って、一組のサンプルポイントΦは、３Ｄ空間内で収集されたサンプルポイント｛ｑｉｊｋ｝である。
【0068】
図４に戻るに、ブロック４１５にて、コントローラ６００は、一組のサンプルポイントから、第１の色空間の第１の色表現における第１の電気－光伝達関数に従った第１組のサンプルポイントを画定する。例えば、ブロック３０２（図３Ａ）にて、一組のサンプルポイントΦは、Ｒｅｃ．２０２０色空間（ＲＧＢ）における電気－光伝達関数ＨＬＧ １０００ニットに従って扱われ（又は定義され）、それをΦＨＬＧ，ＲＧＢ，Ｒ２０２０と表記する。なお、Φの中の値はここでは変更されない。図４のブロック４２０にて、プロセッサ６００は、第１の電気－光伝達関数に従った第１組のサンプルポイントを、マッピング関数を介して、第１の色空間の第１の色表現における第２の電気－光伝達関数に変換して、第２の電気－光伝達関数に従った第２組のサンプルポイントを生成する。例えば、図３Ａのブロック３０４に示すように、一組のサンプルポイントΦＨＬＧ，ＲＧＢ，Ｒ２０２０が、ＩＴＵ－Ｒ ＢＴ．２１００を介して、Ｒｅｃ．２０２０ ＰＱ １０００ニットＲＧＢポイントに変換され、その結果をΦＰＱ，ＲＧＢ，Ｒ２０２０と表記する（ブロック３０６）。
【0069】
一部の態様において、ブロック４２５にて、コントローラ６００は、第１の電気－光伝達関数に従った第１組のサンプルピクセル（ポイント）及び第２の電気－光伝達関数に従った第２組のサンプルピクセル（ポイント）を、第１の色空間の第２の色表現に変換する。例えば、本例において、バックワードリシェイピング関数を得るために、サンプルポイントが、同じ色空間Ｒｅｃ．２０２０内で、ＲＧＢ色表現からＹＣｂＣｒ色表現に変換される。ここで、一組の処理されたサンプルピクセル（ポイント）ΦＨＬＧ，ＲＧＢ，Ｒ２０２０及びΦＰＱ，ＲＧＢ，Ｒ２０２０の両方が、第１の色表現ＲＧＢから、同じ色空間Ｒｅｃ．２０２０の第２の色表現ＹＣｂＣｒに変換される（それぞれ、図３Ａのブロック３０８及び３１０）。一組のサンプルピクセル（ポイント）ΦＨＬＧ，ＲＧＢ，Ｒ２０２０に対して、Ｒｅｃ．２０２０ ＨＬＧ ＹＣｂＣｒピクセル（ポイント）が、
として定義され、一組のサンプルピクセル（ポイント）全体がΦＨＬＧ，ＹＣｂＣｒ，Ｒ２０２０として定義される（ブロック３１２）。
【数25】
【0070】
一組の処理されたサンプルポイントΦＰＱ，ＲＧＢ，Ｒ２０２０に対して、Ｒｅｃ．２０２０ ＰＱ ＹＣｂＣｒポイントが、
として定義され、一組のサンプルポイント全体がΦＰＱ，ＹＣｂＣｒ，Ｒ２０２０として定義される（図３Ａのブロック３１４）。
【数26】
【0071】
バックワードリシェイピング関数式が、次のように定義され：
ここで、
は、各ＨＬＧピクセルの予測ＰＱ値である。
【数27】
【数28】
【0072】
図４に戻るに、ブロック４３０にて、コントローラ６００は、第１の電気－光伝達関数に従った変換された第１組のサンプルピクセル（ポイント）と、第２の電気－光伝達関数に従った変換された第２組のサンプルピクセル（ポイント）とに基づいて、バックワードリシェイピング関数を決定する。本例では、バックワードリシェイピング関数式を求めるために、以下の最適化問題が解かれる（ブロック３１６）。
【数29】
【0073】
最適化の式（３１）は、式（３０）のサンプルバックワードリシェイピング関数から得られる結果（変換された第１組のサンプルピクセル内のピクセルにサンプルバックワードリシェイピング関数を適用することによって得られる予測ＰＱ値）と、第２の電気－光伝達関数に従った第２組のサンプルポイント（２９）内のピクセルとの間の差を最小化するように、サンプルバックワードリシェイピング関数を繰り返し適用及び調整することによる段階的アプローチにて解かれ得る。上述のように、本開示の一部の態様によれば、バックワードリシェイピング関数は多項式関数とし得る。従って、上で説明した方法は、例えばエンコーダ側でフル変換を実行することなく、ＨＬＧ系とＰＱ系との間での変換を近似することを可能にする。上のプロセスを用いると、いくらかの予測誤差が存在し得ることが分かる。
【0074】
ＥＯＴＦ変換 ― 一般使用データポイント最適化
以下に説明する方法及びプロセスは、Ｒｅｃ．２０２０色空間の内部の小さい範囲を利用することによって、上述したバックワードリシェイピング関数決定の精度を改善するための一ソリューションを提供する。図３Ｂは、コントローラ６００（図６）によって実装される改良ＥＯＴＦ変換プロセスを示すプロセス図３００Ｂである。なお、プロセス図３００Ｂは、プロセス図３００Ａにおけるものと同様のステップ／ブロックを含んでおり、従って、同じラベル（特に、ブロック３０２、３０４、３０６、３０８、３１０、３１２、３１４、及び３１６）を付している。
以下に説明する方法及びプロセスは、Ｒｅｃ．２０２０色空間の内部の小さい範囲を利用することによって、上述したバックワードリシェイピング関数決定の精度を改善するための一ソリューションを提供する。図３Ｂは、コントローラ６００（図６）によって実装される改良ＥＯＴＦ変換プロセスを示すプロセス図３００Ｂである。なお、プロセス図３００Ｂは、プロセス図３００Ａにおけるものと同様のステップ／ブロックを含んでおり、従って、同じラベル（特に、ブロック３０２、３０４、３０６、３０８、３１０、３１２、３１４、及び３１６）を付している。
【0075】
図３Ｂに示す例では、受信したソースデータから一組のサンプルポイントを決定することに続いて、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントの生成は更に、ブロック３１８にて、一組のサンプルポイントから、第２の色空間（ここでは、ＰＱ １０００ニットＲｅｃ．７０９ ＲＧＢ）の第１の色表現における第３の電気－光伝達関数に従った第３組のサンプルポイントを生成し、第３の電気－光伝達関数に従った第３組のサンプルポイントに基づいて、第１の電気－光伝達関数に従った第１組のサンプルピクセルを生成することを含み、第２の色空間は第１の色空間よりも小さい。図３Ｂに示す例では、第２の色空間の第１の色表現における第３の電気－光伝達関数をΦＰＱ，ＲＧＢ，Ｒ７０９と表記する。上述のように、第２の色空間は第１の色空間よりも小さい。第２の色空間は、受信したデータの視覚的コンテンツに基づいて決定又は選択され得る。例えば、本例において、データは自然シーンのものとし得る。従って、Ｒｅｃ．７０９が選択されるのは、何故なら、例えばＲｅｃ．２０２０などの高精細度標準の色空間よりは小さいものの、Ｒｅｃ．７０９は自然シーンに必要な色の大部分を含むからである。特定のシーンにおいて通常使用される色を含んだ、より小さい色空間を使用することにより、ピクセル値の変換を近似するために予測子を使用するときに非線形性が低減され、予測誤差が低減され得る。
【0076】
ブロック３２０にて、コントローラ６００は、第２の色空間の第１の色表現における第３の電気－光伝達関数を、第１の色空間の第１の色表現における第１の電気－光伝達関数のコンテナに変換して、ブロック３０２の、第１の電気－光伝達関数に従った第１組のサンプルピクセル（ポイント）を生成する。本例では、第１組のサンプルポイントによって定義される第１の色空間の第１の色表現におけるコンテナは、Ｒｅｃ．２０２０ ＨＬＧ ＲＧＢであり、得られる一組のサンプルピクセル（ポイント）をΦＨＬＧ，ＲＧＢ，Ｒ２０２０と表記する（図３Ｂのブロック３０２）。そして、ブロック３０２における信号は、図３Ａの方法３００Ａの対応するブロック（ブロック３０４、３０６、３０８、３１０、３１２、３１４、及び３１６）と同様に処理される。
【0077】
本開示の一部の態様において、より広い色空間にデータを含めるために、コントローラ６００は、第１の電気－光伝達関数に従った第１組のサンプルポイントを画定する際に、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルポイント、及び（後述する）第３の色空間の第１の色表現における第４の電気－光伝達関数に従った第４組のサンプルポイントを補間し得る。結果として得られる第１の電気－光伝達関数に従った第１組のサンプルポイントは、故に、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントと、の重み付けた組み合わせを含む。なお、この補間は、第３組のサンプルポイント及び第４組のサンプルポイントの両方を、共通の色空間の共通の電気－光伝達関数に変換することを含む。
【0078】
例えば、本例では、Ｒｅｃ．７０９及びＲｅｃ．２０２０からサンプルポイントが補間され得る。図３Ｃは、コントローラ６００（図６）によって実装される（補間を利用する）改良ＥＯＴＦ変換プロセスを示している。なお、プロセス図３００Ｃは、プロセス図３００Ａにおけるものと同様のステップ／ブロックを含んでおり、従って、同じラベル（特に、ブロック３０２、３０４、３０６、３０８、３１０、３１２、３１４、及び３１６）を付している。なお、また、ブロック３２２及び３２４（並びに３２６及び３２８）で実行されるプロセスは、図３Ｂの方法３００Ｂのブロック３１８及び３２０で実行されるプロセスと同様である。
【0079】
ブロック３２２にて、コントローラ６００は、図３Ｂのブロック３１８と同様に、Ｒｅｃ．７０９ ＰＱ １０００ニットＲＧＢにおいてなどで一組のサンプルポイントΦを、Φ１
ＰＱ，ＲＧＢ，Ｒ７０９（第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルポイント）として画定する。次いで、ブロック３２４にて、コントローラ６００は、第３組のサンプルポイントΦを、Φ１
ＨＬＧ，ＲＧＢ，Ｒ２０２０としてＲｅｃ．２０２０ ＨＬＧコンテナに変換する。次いで、ブロック３２６にて、映像データの元のサンプルポイントΦの複製が、Ｒｅｃ．２０２０ ＰＱ １０００ニットＲＧＢ色空間においてなどでΦ２
ＰＱ，ＲＧＢ，Ｒ２０２０（第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイント）として画定される。次いで、ブロック３２８にて、セットΦ２
ＰＱ，ＲＧＢ，Ｒ２０２０が、Φ２
ＨＬＧ，ＲＧＢ，Ｒ２０２０としてＲｅｃ．２０２０ ＨＬＧコンテナに（例えば、第３組のサンプルの共通色空間Ｒｅｃ．２０２０の第１色表現（ＲＧＢ）のコンテナに）変換される。ブロック３３０にて、コントローラ６００は、全てのカラーチャネル内のデータポイントを、
のように重み付けて結合する。
【数30】
【0080】
上の式（３２）から得られたＨＬＧセットΦＨＬＧ，ＲＧＢ，Ｒ２０２０（ブロック３０２）が、次いで、Ｒｅｃ．２０２０ ＰＱ １０００ニットＲＧＢポイント（ブロック３０４）に変換され、得られたセットをΦＰＱ，ＲＧＢ，Ｒ２０２０（ブロック３０６）と表記する。次いで、ブロック３０８及び３１０にて、それぞれ、セットΦＨＬＧ，ＲＧＢ，Ｒ２０２０及びΦＰＱ，ＲＧＢ，Ｒ２０２０が、同じ色空間Ｒｅｃ．２０２０の第２の色表現ＹＣｂＣｒに変換され、得られたセットが、ブロック３１６にて、バックワードリシェイピング関数を計算するために使用される。
【0081】
信号適法化
上述の方法を更に改善するため、信号適法化関数／プロセスが実装され得る。例えば、後述するように、所定の範囲に適合するように入力を変更するように構成された信号適法化関数が、第１組のサンプルポイントΦに適用され得る。信号適法化は、望ましい法定範囲内に入るように範囲外の入力信号を補正することである。パイプライン（例えば、図１Ａのパイプライン１００Ａ）が処理中に範囲外の信号を映像データに導入することがあり、それが、最終的な映像信号に望ましくないアーチファクトをもたらし得る。後述するように、本開示の一部の態様において、信号適法化関数はハードクリッピングを実装する。本開示の一部の態様において、信号適法化関数は区分線形関数である。本開示の一部の態様において、信号適法化関数はＳ字曲線である。
上述の方法を更に改善するため、信号適法化関数／プロセスが実装され得る。例えば、後述するように、所定の範囲に適合するように入力を変更するように構成された信号適法化関数が、第１組のサンプルポイントΦに適用され得る。信号適法化は、望ましい法定範囲内に入るように範囲外の入力信号を補正することである。パイプライン（例えば、図１Ａのパイプライン１００Ａ）が処理中に範囲外の信号を映像データに導入することがあり、それが、最終的な映像信号に望ましくないアーチファクトをもたらし得る。後述するように、本開示の一部の態様において、信号適法化関数はハードクリッピングを実装する。本開示の一部の態様において、信号適法化関数は区分線形関数である。本開示の一部の態様において、信号適法化関数はＳ字曲線である。
【0082】
信号適法化 ― 入力信号適法化
ハードクリッピング法（所望範囲外の信号をクリッピングする）を用いて入力信号適法化が実装されることがある。実装するのは簡単であるが、最終的な視覚生成物は不十分であり得る。これを解決するために、法定範囲の境界付近でのソフトクリッピング又は段階的遷移が適用され得る。
ハードクリッピング法（所望範囲外の信号をクリッピングする）を用いて入力信号適法化が実装されることがある。実装するのは簡単であるが、最終的な視覚生成物は不十分であり得る。これを解決するために、法定範囲の境界付近でのソフトクリッピング又は段階的遷移が適用され得る。
【0083】
１つの方法は区分線形適法化を適用することである。区分線形適法化は、中間範囲で入力と適法化後の信号との間の線形関係を維持し、合法／非合法境界近くの信号に圧縮をかける。先ず、入力範囲を［ｘＬ，ｘＨ］と定義し、ピボット点を［ｘｐ１，ｘｐ２］と定義し、適法化関数をｆＬ
ｐｗｌ（）と定義すると、対応する適法化後の値は：
となる。
【数31】
【0084】
区分の式は、
として表され得る。
【数32】
【0085】
図５Ａは、入力範囲が［ｘＬ，ｘＨ］＝［－０．２，１．２］であり且つピボット点が［ｘｐ１，ｘｐ２］＝［０．２，０．８］である場合の、上の区分の式のプロット５００Ａである。プロット５００Ａから見て取れるように、ピボット点５０２Ａ及び５０２Ｂに一次の不連続性があり、これがグローバルなモデル問題を引き起こし得る。これは、次式：
によって特徴付けられ得るものであるＳ字曲線で区分線形を近似することによって解決され得る。
【数33】
【0086】
上の変数ａ１、ａ２、ａ３、及びａ４は４パラメータモデルを表す。所与の区分モデルｆＬｐｗｌ（ｘ）を用い、非線形最適化を介してこれらのパラメータが計算され得る。図５Ｂは、所与の区分パラメータ［ｘＬ，ｘＨ］＝［－０．２，１．２］及び［ｘｐ１，ｘｐ２］＝［０．２，０．８］による近似Ｓ字曲線（以下のパラメータ）のプロット５００Ｂを示している。
【数34】
【0087】
ＥＯＴＦ変換 ― 信号適法化
上の技術を用いて、図３Ａの方法３００Ａ（並びに図３Ｂ及び３Ｃそれぞれの方法３００Ｂ及び３００Ｃ）は、信号適法化を組み込むように更に改良され得る。図３Ｄは、コントローラ６００（図６）によって実装される改良ＥＯＴＦ変換プロセス（信号適法化を利用する）を示している。上述のＥＯＴＦ変換と同様に、一組のサンプルポイントΦが収集される（式（１）及び（２）に関して上述したように）。このサンプルポイントのセットが、非合法入力信号（ブロック３３２）として画定される。次に、コントローラ６００は、各サンプルポイントｑｉに適法化関数（上の式（３７）及び（３８）それぞれのｆＬ ｐｗｌ（ｘ）又はｆＬ ｓｇｍ（ｘ）のいずれか）を適用すること（ブロック３３４）によって、対応する適法化後のセットを構築して、適法化後の値ｑｉ Ｌ（ブロック３３６）を作り出す。
上の技術を用いて、図３Ａの方法３００Ａ（並びに図３Ｂ及び３Ｃそれぞれの方法３００Ｂ及び３００Ｃ）は、信号適法化を組み込むように更に改良され得る。図３Ｄは、コントローラ６００（図６）によって実装される改良ＥＯＴＦ変換プロセス（信号適法化を利用する）を示している。上述のＥＯＴＦ変換と同様に、一組のサンプルポイントΦが収集される（式（１）及び（２）に関して上述したように）。このサンプルポイントのセットが、非合法入力信号（ブロック３３２）として画定される。次に、コントローラ６００は、各サンプルポイントｑｉに適法化関数（上の式（３７）及び（３８）それぞれのｆＬ ｐｗｌ（ｘ）又はｆＬ ｓｇｍ（ｘ）のいずれか）を適用すること（ブロック３３４）によって、対応する適法化後のセットを構築して、適法化後の値ｑｉ Ｌ（ブロック３３６）を作り出す。
【数35】
【0088】
次式：
を用い、上の１Ｄ配列を使って３Ｄ空間における３Ｄサンプルポイントを構築する。
【数36】
【0089】
収集された適法化後のポイント｛ｑＬ
ｉｊｋ｝をセットΦＬと表記する。
【0090】
バックワードリシェイピング関数を得るために、ブロック３０８にて、セットΦのサンプルポイントがＲｅｃ．２０２０ ＨＬＧ ＹＣｂＣｒポイントにおいて、
として画定され、変換されたセットをΦｉｎ，ＹＣｂＣｒ，Ｒ２０２０と表記する。
【数37】
【0091】
ブロック３１０にて、適法化後のセットΦＬのサンプルポイントがＲｅｃ．２０２０ ＰＱ ＹＣｂＣｒにおいて、
として画定され、変換された適法化後のセットをΦｌｇ，ＹＣｂＣｒ，Ｒ２０２０と表記する。
【数38】
【0092】
次いで、入力非合法信号Φｉｎ，ＹＣｂＣｒ，Ｒ２０２０から合法信号Φｌｇ，ＹＣｂＣｒ，Ｒ２０２０へのバックワードリシェイピング関数が計算される（ブロック３１６）。図３Ａに関して上述したブロック３１６と同様に、バックワードリシェイピング関数式は、
のように定義され、ここで、
は予測値である。
【数39】
【数40】
【0093】
バックワードリシェイピング関数式を求めるために、以下の最適化問題：
が解かれる（ブロック３１６）。
【数41】
【0094】
ハードウェアデバイス例
図６は、本開示の一部の態様に従ったコントローラ６００のブロック図である。コントローラ６００は、ターゲットディスプレイ上に映像をレンダリングするためのバックワードリシェイピング関数を生成する上述の装置とし得る。コントローラ６００は、電子プロセッサ６０５、メモリ６１０、及び入力／出力インタフェース６１５を含む。電子プロセッサ６０５は、例えば、図４を参照して説明した方法を実行するように構成され得る。電子プロセッサ６０５は、（例えば、メモリ６１０及び／又は入力／出力インタフェース６１５から）情報を取得及び提供し、例えばメモリ６１０のランダムアクセスメモリ（“ＲＡＭ”）領域又はメモリ６１０の読み出し専用メモリ（“ＲＯＭ”）又は他の非一時的コンピュータ読み取り可能媒体（図示せず）に格納されることが可能な１つ以上のソフトウェア命令又はモジュールを実行することによって情報を処理する。ソフトウェアは、ファームウェア、１つ以上のアプリケーション、プログラムデータ、フィルタ、ルール、１つ以上のプログラムモジュール、及び他の実行可能な命令を含むことができる。電子プロセッサ６０５は、複数のコア又は個々の処理ユニットを含んでいてもよい。電子プロセッサ６０５は、とりわけ、ここに記載された制御プロセス及び方法に関係するソフトウェアを、メモリ６１０から取り出して実行するように構成される。
図６は、本開示の一部の態様に従ったコントローラ６００のブロック図である。コントローラ６００は、ターゲットディスプレイ上に映像をレンダリングするためのバックワードリシェイピング関数を生成する上述の装置とし得る。コントローラ６００は、電子プロセッサ６０５、メモリ６１０、及び入力／出力インタフェース６１５を含む。電子プロセッサ６０５は、例えば、図４を参照して説明した方法を実行するように構成され得る。電子プロセッサ６０５は、（例えば、メモリ６１０及び／又は入力／出力インタフェース６１５から）情報を取得及び提供し、例えばメモリ６１０のランダムアクセスメモリ（“ＲＡＭ”）領域又はメモリ６１０の読み出し専用メモリ（“ＲＯＭ”）又は他の非一時的コンピュータ読み取り可能媒体（図示せず）に格納されることが可能な１つ以上のソフトウェア命令又はモジュールを実行することによって情報を処理する。ソフトウェアは、ファームウェア、１つ以上のアプリケーション、プログラムデータ、フィルタ、ルール、１つ以上のプログラムモジュール、及び他の実行可能な命令を含むことができる。電子プロセッサ６０５は、複数のコア又は個々の処理ユニットを含んでいてもよい。電子プロセッサ６０５は、とりわけ、ここに記載された制御プロセス及び方法に関係するソフトウェアを、メモリ６１０から取り出して実行するように構成される。
【0095】
メモリ６１０は、１つ以上の非一時的コンピュータ読み取り可能媒体を含むことができ、プログラム記憶領域及びデータ記憶領域を含む。プログラム記憶領域及びデータ記憶領域は、ここに記載されるように、異なるタイプのメモリの組み合わせを含むことができる。メモリ６１０は、任意の非一時的コンピュータ読み取り可能媒体の形態をとり得る。
【0096】
入力／出力インタフェース６１５は、入力を受信し、システム出力を提供するように構成される。入力／出力インタフェース６１５は、例えば制作後１１５の映像データソース（図１Ａ）といった、コントローラ６００の内部及び外部の両方のデバイスから情報及び信号を取得し、それらのデバイスに情報及び信号を（例えば、１つ以上の有線及び／又は無線接続上で）提供する。コントローラ６００は、エンコーダ、デコーダ、又は両方を含むことができ、あるいはそれとして機能するように構成されることができる。
【0097】
等物、拡張、代替、及び寄せ集め
以上の明細書において、本開示の特定の態様を説明してきた。しかしながら、当業者が理解することには、以下の請求項に記載される開示の範囲から逸脱することなく、様々な変更及び変形を行うことができる。従って、明細書及び図面は、限定的な意味ではなく例示的な意味で見られるべきであり、そのような変更の全てが本教示の範囲に含まれることが意図される。
以上の明細書において、本開示の特定の態様を説明してきた。しかしながら、当業者が理解することには、以下の請求項に記載される開示の範囲から逸脱することなく、様々な変更及び変形を行うことができる。従って、明細書及び図面は、限定的な意味ではなく例示的な意味で見られるべきであり、そのような変更の全てが本教示の範囲に含まれることが意図される。
【0098】
ここに記載されたプロセス、システム、方法、発見的方法などに関して、理解されるべきことには、かかるプロセスのステップなどを特定の順序付けられたシーケンスに従って起こるように記載してきたが、かかるプロセスは、記載のステップをここに記載の順序以外の順序で実行して実施されてもよいものである。さらに理解されるべきことには、特定の複数のステップを同時に実行したり、他のステップを追加したり、ここに記載された特定のステップを省略したりしてもよい。換言すれば、ここでのプロセスの説明は、特定の態様を例示する目的で提供されており、決して請求項を限定するように解釈されるべきではない。
【0099】
さらに、この文書において、例えば第１及び第２、上及び下、並びにこれらに類するものなどの関係用語は、単に、１つのエンティティ又はアクションを別のエンティティ又はアクションから区別するためのみに使用されていることがあり、必ずしもそのようなエンティティ又はアクションの間の実際のそのような関係又は順序を要求したり意味したりしているわけではない。用語“有する”、“有している”、“持つ”、“持っている”、“含む”、“含んでいる”、“含有する”、“含有している”、又はこれらの任意の他のバリエーションは、非排他的な包含に及ぶことを意図しており、要素のリストを有する、持つ、含む、包含するプロセス、方法、物品、又は装置は、それらの要素のみを含むのではなく、明示的に列挙されていない他の要素、又はそのようなプロセス、方法、物品、又は装置に生来的な他の要素を含み得る。“ｃｏｍｐｒｉｓｅｓ …ａ”、“ｈａｓ …ａ”、“ｉｎｃｌｕｄｅｓ …ａ”、“ｃｏｎｔａｉｎｓ …ａ”によって始まる要素は、更なる制約なしに、当該要素を有する、持つ、含む、包含するプロセス、方法、物品、又は装置における更なる同じ要素の存在を排除しない。用語“ａ”及び“ａｎ”は、ここで別のことが明示的に記載されていない限り、１つ以上として定義される。用語“実質的に”、“本質的に”、“近似的に”、“約”、又はこれらの任意の他のバージョンは、当業者によって理解されるのと近いものとして定義され、該用語は、本開示の態様において１０％以内、５％以内、１％以内、又は０．５％以内であると定義され得る。ここで使用される用語“結合される”は、接続されるとして定義されるが、必ずしも直接的にではなく、また、必ずしも機械的にではない。ある特定のやり方で“構成”される装置又は構造は、少なくともそのやり方で構成されるが、列挙されないやり方でも構成され得る。
【0100】
理解されることには、本開示の一部の態様は、例えばマイクロプロセッサ、デジタル信号プロセッサ、カスタマイズされたプロセッサ、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、一般的な又は特殊化されたプロセッサ（又は“処理デバイス”）と、ここに記載される方法及び／又は装置の機能の一部、大部分、又は全てを特定の非プロセッサ回路と共に実装するように１つ以上のプロセッサを制御する特有の格納プログラム命令（ソフトウェア及びファームウェアの両方を含む）とで構成され得る。あるいは、一部の又は全ての機能が、格納プログラム命令を持たない状態マシンによって実装されたり、それら機能の各機能又は特定の機能の組み合わせがカスタムロジック論理として実装される１つ以上の特定用途向け集積回路（ＡＳＩＣ）にて実装されたりしてもよい。当然ながら、これら２つのアプローチの組み合わせを用いてもよい。
【0101】
さらに、本開示は、ここに記載されて特許請求される方法を実行するようにコンピュータ（例えば、プロセッサを有する）をプログラミングするためのコンピュータ読み取り可能コードを格納したコンピュータ読み取り可能記憶媒体として実装されることができる。このようなコンピュータ読み取り可能記憶媒体の例は、以下に限られないが、ハードディスク、ＣＤ－ＲＯＭ、光記憶装置、磁気記憶装置、ＲＯＭ（読み出し専用メモリ）、ＰＲＯＭ（プログラム可能読み出し専用メモリ）、ＥＰＲＯＭ（消去可能プログラム可能読み出し専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラム可能読み出し専用メモリ）、及びフラッシュメモリを含む。また、予期されることには、例えば利用可能な時間、現行技術、及び経済的考慮によって多大な努力及び数多くの設計選択が動機付けら得るにもかかわらず、当業者は、ここに開示された概念及び原理によって導かれるとき、そのようなソフトウェア命令及びプログラム並びにＩＣを、最小限の実験で容易に生成することが可能となる。
【0102】
請求項で使用される用語は全て、そうでないことの明示的な指し示しがここで行われていない限り、それらの最も広い合理的な構成及びここに記載される技術の当業者によって理解される通常の意味を与えることが意図される。特に、例えば“ａ”、“ｔｈｅ”、“ｓａｉｄ”などの単数形の冠詞の使用は、そうでないことの明示的な限定を請求項が記載していない限り、１つ以上の指し示される要素を記載しているように読まれるべきである。
【0103】
本開示の様々な態様は、以下の例示的な構成のうちのいずれか１つ以上をとり得る：
（１） 高ダイナミックレンジ映像データを生成する装置であって、メモリと、電子プロセッサとを有する。前記電子プロセッサは、合成されたデータから一組のサンプルポイントを決定し、前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、ように構成される。
（２） 前記電子プロセッサは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することによって、前記バックワードリシェイピング関数を決定するように構成される、（１）の装置。
（３） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに信号適法化関数を適用することを含む、（１）又は（２）の装置。
（４） 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、（１）乃至（３）のいずれか一の装置。
（５） 前記第２の電気－光伝達関数は知覚量子化器である（１）乃至（４）のいずれか一の装置。
（６） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、ことを含む、（１）乃至（５）のいずれか一の装置。
（７） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含む（６）の装置。
（８） 前記電子プロセッサは更に、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて、前記バックワードリシェイピング関数を決定するように構成される、（１）乃至（７）のいずれか一の装置。
（９） 前記最小平均二乗誤差予測子の複数のパラメータが、マルチチャネル多重回帰モデルに基づいて決定される、（８）の装置。
（１０） 前記電子プロセッサは更に、平滑化された等重量バックワードルックアップテーブルに基づいて前記バックワードリシェイピング関数を決定するように構成される、（１）乃至（９）のいずれか一の装置。
（１１） 当該装置はエンコーダである、（１）乃至（１０）のいずれか一の装置。
（１２） 第１の電気－光伝達関数に対応する信号を第２の電気－光伝達関数に対応する信号に変換する方法であって、合成されたデータから一組のサンプルポイントを決定し、前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、ことを有する方法。
（１３） 前記バックワードリシェイピング関数を決定することは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することを含む、（１２）の方法。
（１４） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに信号適法化関数を適用することを含む、（１２）又は（１３）の方法。
（１５） 前記信号適法化関数はハードクリッピングを実行する、（１４）の方法。
（１６） 前記信号適法化関数は区分線形関数である、（１４）の方法。
（１７） 前記信号適法化関数はＳ字曲線である、（１４）の方法。
（１８） 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、（１２）乃至（１７）のいずれか一の方法。
（１９） 前記第２の電気－光伝達関数は知覚量子化器である、（１２）乃至（１８）のいずれか一の方法。
（２０） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、ことを含む、（１２）乃至（１９）のいずれか一の方法。
（２１） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含む（２０）の方法。
（２２） 前記バックワードリシェイピング関数は、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて決定される関数である、（１２）乃至（２１）のいずれか一の方法。
（２３） 前記最小平均二乗誤差予測子の複数のパラメータが、マルチチャネル多重回帰モデルに基づいて決定される、（２２）の方法。
（２４） 前記マルチチャネル多重回帰（ＭＭＲ）モデルの解を計算することは、ガウス消去法を用いて、ＭＭＲモデルにおける悪条件（ill condition）を減らすことを有する、（２３）の方法。
（２５） 前記バックワードリシェイピング関数を決定することは、平滑化された等重量バックワードルックアップテーブルに基づく、（１２）乃至（２４）のいずれか一の方法。
（２６） 命令を格納した非一時的なコンピュータ読み取り可能媒体であって、前記命令は、コンピュータのプロセッサによって実行されるときに、前記コンピュータに（１２）乃至（２５）のいずれか一の方法を実行させる、非一時的なコンピュータ読み取り可能媒体。
（１） 高ダイナミックレンジ映像データを生成する装置であって、メモリと、電子プロセッサとを有する。前記電子プロセッサは、合成されたデータから一組のサンプルポイントを決定し、前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、ように構成される。
（２） 前記電子プロセッサは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することによって、前記バックワードリシェイピング関数を決定するように構成される、（１）の装置。
（３） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに信号適法化関数を適用することを含む、（１）又は（２）の装置。
（４） 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、（１）乃至（３）のいずれか一の装置。
（５） 前記第２の電気－光伝達関数は知覚量子化器である（１）乃至（４）のいずれか一の装置。
（６） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、ことを含む、（１）乃至（５）のいずれか一の装置。
（７） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含む（６）の装置。
（８） 前記電子プロセッサは更に、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて、前記バックワードリシェイピング関数を決定するように構成される、（１）乃至（７）のいずれか一の装置。
（９） 前記最小平均二乗誤差予測子の複数のパラメータが、マルチチャネル多重回帰モデルに基づいて決定される、（８）の装置。
（１０） 前記電子プロセッサは更に、平滑化された等重量バックワードルックアップテーブルに基づいて前記バックワードリシェイピング関数を決定するように構成される、（１）乃至（９）のいずれか一の装置。
（１１） 当該装置はエンコーダである、（１）乃至（１０）のいずれか一の装置。
（１２） 第１の電気－光伝達関数に対応する信号を第２の電気－光伝達関数に対応する信号に変換する方法であって、合成されたデータから一組のサンプルポイントを決定し、前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、ことを有する方法。
（１３） 前記バックワードリシェイピング関数を決定することは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することを含む、（１２）の方法。
（１４） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに信号適法化関数を適用することを含む、（１２）又は（１３）の方法。
（１５） 前記信号適法化関数はハードクリッピングを実行する、（１４）の方法。
（１６） 前記信号適法化関数は区分線形関数である、（１４）の方法。
（１７） 前記信号適法化関数はＳ字曲線である、（１４）の方法。
（１８） 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、（１２）乃至（１７）のいずれか一の方法。
（１９） 前記第２の電気－光伝達関数は知覚量子化器である、（１２）乃至（１８）のいずれか一の方法。
（２０） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、ことを含む、（１２）乃至（１９）のいずれか一の方法。
（２１） 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含む（２０）の方法。
（２２） 前記バックワードリシェイピング関数は、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて決定される関数である、（１２）乃至（２１）のいずれか一の方法。
（２３） 前記最小平均二乗誤差予測子の複数のパラメータが、マルチチャネル多重回帰モデルに基づいて決定される、（２２）の方法。
（２４） 前記マルチチャネル多重回帰（ＭＭＲ）モデルの解を計算することは、ガウス消去法を用いて、ＭＭＲモデルにおける悪条件（ill condition）を減らすことを有する、（２３）の方法。
（２５） 前記バックワードリシェイピング関数を決定することは、平滑化された等重量バックワードルックアップテーブルに基づく、（１２）乃至（２４）のいずれか一の方法。
（２６） 命令を格納した非一時的なコンピュータ読み取り可能媒体であって、前記命令は、コンピュータのプロセッサによって実行されるときに、前記コンピュータに（１２）乃至（２５）のいずれか一の方法を実行させる、非一時的なコンピュータ読み取り可能媒体。
【0104】
本発明の様々な態様が、以下の列挙実施形態例（enumerated example embodiment；ＥＥＥ）から理解され得る：
１． 高ダイナミックレンジ映像データを生成する装置であって、
メモリと、
電子プロセッサと、
を有し、
前記電子プロセッサは、
合成されたデータから一組のサンプルポイントを決定し、
前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、
ように構成される、
装置。
２． 前記電子プロセッサは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することによって、前記バックワードリシェイピング関数を決定するように構成される、ＥＥＥ１の装置。
３． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに、所定の範囲に適合するように入力を修正するように構成された信号適法化関数を適用することを含む、ＥＥＥ１又は２の装置。
４． 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、ＥＥＥ１乃至３のいずれか一の装置。
５． 前記第２の電気－光伝達関数は知覚量子化器である、ＥＥＥ１乃至４のいずれか一の装置。
６． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、
前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、
前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、
ことを含む、ＥＥＥ１乃至５のいずれか一の装置。
７． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含むＥＥＥ６の装置。
８． 前記電子プロセッサは更に、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて、前記バックワードリシェイピング関数を決定するように構成される、ＥＥＥ１乃至７のいずれか一の装置。
９． 当該装置はエンコーダである、ＥＥＥ１乃至８のいずれか一の装置。
１０． 第１の電気－光伝達関数に対応する信号を第２の電気－光伝達関数に対応する信号に変換する方法であって、
合成されたデータから一組のサンプルポイントを決定し、
前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、
ことを有する方法。
１１． 前記バックワードリシェイピング関数を決定することは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することを含む、ＥＥＥ１０の方法。
１２． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに、所定の範囲に適合するように入力を修正するように構成された信号適法化関数を適用することを含む、ＥＥＥ１０又は１１の方法。
１３． 前記信号適法化関数はハードクリッピングを実行する、ＥＥＥ１２の方法。
１４． 前記信号適法化関数は区分線形関数である、ＥＥＥ１２又は１３の方法。
１５． 前記信号適法化関数はＳ字曲線である、ＥＥＥ１２又は１３の方法。
１６． 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、ＥＥＥ１０乃至１５のいずれか一の方法。
１７． 前記第２の電気－光伝達関数は知覚量子化器である、ＥＥＥ１０乃至１６のいずれか一の方法。
１８． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、
前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、
前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、
ことを含む、ＥＥＥ１０乃至１７のいずれか一の方法。
１９． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含むＥＥＥ１８の方法。
２０． 前記バックワードリシェイピング関数は、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて決定される関数である、ＥＥＥ１０乃至１９のいずれか一の方法。
２１． 命令を格納した非一時的なコンピュータ読み取り可能媒体であって、前記命令は、コンピュータのプロセッサによって実行されるときに、前記コンピュータにＥＥＥ１０乃至２０のいずれか一の方法を実行させる、非一時的なコンピュータ読み取り可能媒体。
１． 高ダイナミックレンジ映像データを生成する装置であって、
メモリと、
電子プロセッサと、
を有し、
前記電子プロセッサは、
合成されたデータから一組のサンプルポイントを決定し、
前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、
ように構成される、
装置。
２． 前記電子プロセッサは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することによって、前記バックワードリシェイピング関数を決定するように構成される、ＥＥＥ１の装置。
３． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに、所定の範囲に適合するように入力を修正するように構成された信号適法化関数を適用することを含む、ＥＥＥ１又は２の装置。
４． 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、ＥＥＥ１乃至３のいずれか一の装置。
５． 前記第２の電気－光伝達関数は知覚量子化器である、ＥＥＥ１乃至４のいずれか一の装置。
６． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、
前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、
前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、
ことを含む、ＥＥＥ１乃至５のいずれか一の装置。
７． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含むＥＥＥ６の装置。
８． 前記電子プロセッサは更に、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて、前記バックワードリシェイピング関数を決定するように構成される、ＥＥＥ１乃至７のいずれか一の装置。
９． 当該装置はエンコーダである、ＥＥＥ１乃至８のいずれか一の装置。
１０． 第１の電気－光伝達関数に対応する信号を第２の電気－光伝達関数に対応する信号に変換する方法であって、
合成されたデータから一組のサンプルポイントを決定し、
前記一組のサンプルポイントから、第１の色空間の第１の電気－光伝達関数に従った第１組のサンプルポイントを画定し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、マッピング関数を介して第２の電気－光伝達関数に変換して、前記第２の電気－光伝達関数に従った第２組のサンプルポイントを生成し、
前記第１の電気－光伝達関数に従った前記第１組のサンプルポイント及び前記第２の電気－光伝達関数に従った第２組のサンプルポイントに基づいてバックワードリシェイピング関数を決定する、
ことを有する方法。
１１． 前記バックワードリシェイピング関数を決定することは、サンプルバックワードリシェイピング関数の結果と前記第２の電気－光伝達関数に従った前記第２組のサンプルポイントとの間の差を最小化するように、前記サンプルバックワードリシェイピング関数を繰り返し適用及び調整することを含む、ＥＥＥ１０の方法。
１２． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを、前記マッピング関数を介して、前記第２の電気－光伝達関数に変換することは、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントに、所定の範囲に適合するように入力を修正するように構成された信号適法化関数を適用することを含む、ＥＥＥ１０又は１１の方法。
１３． 前記信号適法化関数はハードクリッピングを実行する、ＥＥＥ１２の方法。
１４． 前記信号適法化関数は区分線形関数である、ＥＥＥ１２又は１３の方法。
１５． 前記信号適法化関数はＳ字曲線である、ＥＥＥ１２又は１３の方法。
１６． 前記第１の電気－光伝達関数はハイブリッド対数ガンマである、ＥＥＥ１０乃至１５のいずれか一の方法。
１７． 前記第２の電気－光伝達関数は知覚量子化器である、ＥＥＥ１０乃至１６のいずれか一の方法。
１８． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、
前記一組のデータポイントから、第２の色空間の第３の電気－光伝達関数に従った第３組のサンプルピクセルを生成し、
前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントに基づいて、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを生成し、前記第２の色空間は前記第１の色空間よりも小さい、
ことを含む、ＥＥＥ１０乃至１７のいずれか一の方法。
１９． 前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントを画定することは、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、第３の色空間の第４の電気－光伝達関数に従った第４組のサンプルポイントとを補間して、前記第１の電気－光伝達関数に従った前記第１組のサンプルポイントが、前記第２の色空間の前記第３の電気－光伝達関数に従った前記第３組のサンプルポイントと、前記第３の色空間の前記第４の電気－光伝達関数に従った前記第４組のサンプルポイントとの、重み付けた組み合わせを含むようにすることを含み、補間することは、前記第３組のサンプルポイント及び前記第４組のサンプルポイントが共通の色空間の共通の電気－光伝達関数に変換されることを含むＥＥＥ１８の方法。
２０． 前記バックワードリシェイピング関数は、最小平均二乗誤差予測子からのバックワードリシェイピング関数データに基づいて決定される関数である、ＥＥＥ１０乃至１９のいずれか一の方法。
２１． 命令を格納した非一時的なコンピュータ読み取り可能媒体であって、前記命令は、コンピュータのプロセッサによって実行されるときに、前記コンピュータにＥＥＥ１０乃至２０のいずれか一の方法を実行させる、非一時的なコンピュータ読み取り可能媒体。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5A】
【図5B】
【図6】