特表 2023-543181 ＨＤＲビデオのクラウド・ベースの符号化のためのトリム・パス補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-13

(54)【発明の名称】ＨＤＲビデオのクラウド・ベースの符号化のためのトリム・パス補正

(51)【国際特許分類】

   H04N 19/85 20140101AFI20231005BHJP

【ＦＩ】

H04N19/85

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023517839

(86)(22)【出願日】2021-09-17

(85)【翻訳文提出日】2023-03-17

(86)【国際出願番号】 US2021050957

(87)【国際公開番号】W WO2022061169

(87)【国際公開日】2022-03-24

(31)【優先権主張番号】20196876.5

(32)【優先日】2020-09-18

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/080,255

(32)【優先日】2020-09-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】20200781.1

(32)【優先日】2020-10-08

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/089,154

(32)【優先日】2020-10-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】カドゥ，ハルシャッド

(72)【発明者】

【氏名】スゥ，グワン－ミーン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA02

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

高ダイナミックレンジ（HDR）ビデオをエンコードするためのクラウド・ベースのシステムにおいて、各ノードはビデオ・セグメントとバンパー・フレームを受領する。ビデオ・セグメントを符号化するときの再整形関連のメタデータの量を最小限にするシーン・ベースの前方再整形関数を導出するために、各セグメントは、一次シーンおよび二次シーンに細分される。二次シーンの親シーンが2つ以上の近傍ノードによって処理される場合、初期の前方再整形関数とトリム・パス補正パラメータは、参照トーンマッピング関数と更新されたシーン・ベースのトリム・パス補正パラメータを使用して調整される。

【特許請求の範囲】

【請求項1】

コンピューティング・ノードにおける、エンコードされるべきビデオ・セグメントについてのトリム・パス補正のための方法であって、当該方法は：
現在コンピューティング・ノードにおいて、高ダイナミックレンジのビデオ・フレームを含む第1のビデオ・シーケンスを受領する段階と：
前記第1のビデオ・シーケンスにおける各ビデオ・フレームについて、第1の前方再整形関数およびフレーム・ベースのトリム・パス補正パラメータを生成する段階（455）であって、前方再整形関数は、フレーム・ピクセルを前記高ダイナミックレンジから前記高ダイナミックレンジよりも低い第2のダイナミックレンジにマッピングする、段階と；
現在コンピューティング・ノードおよび1つの近傍コンピューティング・ノードによって処理される親シーンの一部である、前記第1のビデオ・シーケンスにおけるサブシーンについて、
前記第1のビデオ・シーケンスにおけるフレームとバンパー・フレームを含むトリム・パス・パラメータ窓を決定する段階（457）であって、前記バンパー・フレームは前記近傍コンピューティング・ノードによって処理されるビデオ・フレームを含む、段階と；
前記トリム・パス・パラメータ窓におけるフレームの前記フレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータを計算する段階（459）と；
前記サブシーンにおけるフレームの前記第1の前方再整形関数に基づいて、シーン・ベースの前方再整形関数を生成する段階と；
前記サブシーンについて、前記シーン・ベースのトリム・パス補正パラメータおよび前記シーン・ベースの前方再整形関数に基づいて出力前方再整形関数を生成する段階とを含む、
方法。

【請求項2】

コンピューティング・ノードにおける、エンコードされるべきビデオ・セグメントについてのトリム・パス補正のための方法であって、当該方法は：
現在コンピューティング・ノードにおいて、前記ビデオ・セグメントの一部である第1のビデオ・シーケンスを受領する段階であって、前記第1のビデオ・シーケンスは高ダイナミックレンジのビデオ・フレームを含む、段階と：
前記第1のビデオ・シーケンスにおける各ビデオ・フレームについて、第1の前方再整形関数およびフレーム・ベースのトリム・パス補正パラメータを生成する段階（455）であって、前方再整形関数は、フレーム・ピクセルを前記高ダイナミックレンジから前記高ダイナミックレンジよりも低い第2のダイナミックレンジにマッピングするものであり、前記トリム・パス補正パラメータは、前記第1のビデオ・シーケンスのトリミング、回転、クロップ、反転、輝度・色・もしくは彩度の調整のうちの一つまたは複数に関する所与のトリム・パス・パラメータを修正するためのパラメータを表し、フレーム・ベースのトリム・パス補正パラメータが、フレームごとに、それについて該パラメータが生成されるところの対応するフレームに基づいて生成される、段階と；
現在コンピューティング・ノードおよび1つの近傍コンピューティング・ノードによって処理される親シーンの一部である、前記第1のビデオ・シーケンスにおけるサブシーンであって、前記サブシーンおよび前記第1のビデオ・シーケンスは現在コンピューティング・コードによって処理される、サブシーンについて、
前記第1のビデオ・シーケンスにおけるフレームとバンパー・フレームを含むトリム・パス・パラメータ窓を決定する段階（457）であって、前記バンパー・フレームは前記近傍コンピューティング・ノードによって処理されるビデオ・フレームを含む、段階と；
前記トリム・パス・パラメータ窓におけるフレームの前記フレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータを計算する段階（459）と；
前記サブシーンにおけるフレームの前記第1の前方再整形関数に基づいて、シーン・ベースの前方再整形関数を生成する段階と；
前記サブシーンについて、前記シーン・ベースのトリム・パス補正パラメータおよび前記シーン・ベースの前方再整形関数に基づいて出力前方再整形関数を生成する段階とを含む、
方法。

【請求項3】

前記第1のビデオ・シーケンスにおける前記サブシーンについて：
前記サブシーンにおけるフレームに前記出力前方再整形関数を適用して、前記第2のダイナミックレンジにおける出力ビデオ・サブシーンを生成する段階と；
前記出力ビデオ・サブシーンを圧縮して、前記第2ダイナミックレンジにおける符号化されたサブシーンを生成する段階とをさらに含む、
請求項１または２に記載の方法。

【請求項4】

前記第1のビデオ・シーケンスにおける高ダイナミックレンジ（HDR）フレームについて、フレーム・ベースのトリム・パス補正パラメータが：
前記HDRフレームの平均ルミナンス値；
前記HDRフレームと同じシーンを表すが前記第2のダイナミックレンジにある標準ダイナミックレンジ（SDR）フレームの低ルミナンス領域における第1のマージ点、および
前記SDRフレームの高ルミナンス領域における第2のマージ点
のうちの一つまたは複数を含む、請求項１ないし３のうちいずれか一項に記載の方法。

【請求項5】

前記シーン・ベースのトリム・パス補正パラメータを計算することが：

【数93】

を計算することを含み、ここで、Bはバンパー・フレームの数を表し、Lは前記トリム・パス・パラメータ窓におけるフレームの集合を表し、v_avg ^jはj番目のHDRフレームの平均ルミナンス値を表し、s_l ^m,jはj番目のHDRフレームの第１のマージ点を表し、s_h ^m,jはj番目のHDRフレームの第2のマージ点を表し、v_avg ^L、s_l ^m,Lおよびs_h ^m,Lは前記シーン・ベースのトリム・パス補正パラメータを表す、
請求項４に記載の方法。

【請求項6】

現在コンピューティング・ノードにおける処理されるすべてのサブシーンに前記シーン・ベースのトリム・パス補正パラメータを割り当てることをさらに含む、請求項５に記載の方法。

【請求項7】

前記サブシーンにおけるHDRフレームについて出力前方再整形関数を生成することが：
少なくとも前記サブシーンにおける平均ルミナンス値およびグローバルな最小および最大のHDRおよびSDRルミナンス値に基づいて、ピクセル値を、前記高ダイナミックレンジから前記第2のダイナミックレンジにおけるピクセル値にマッピングする参照トーンマッピング関数を生成する段階と；
前記第2のマージ点に基づいて高強度のマージ点を計算し；
前記高強度のマージ点から開始し、前記シーン・ベースの前方再整形関数を、前記参照トーンマッピング関数における対応するセクションに基づいて置き換えることによって、
前記出力前方再整形関数を生成する段階とを含む、
請求項４ないし６のうちいずれか一項に記載の方法。

【請求項8】

前記出力前方再整形関数を生成することが：
前記参照トーンマッピング関数に基づく差分トーンマッピング関数を生成し；
前記シーン・ベースの前方再整形関数に基づく差分シーン・ベース前方再整形関数を生成し；
前記高強度のマージ点から開始して、前記差分シーン・ベース前方再整形関数を前記差分トーンマッピング関数の対応する部分で置き換えることにより、更新された差分シーン・ベース前方再整形関数を生成し；
前記更新された差分シーン・ベース前方再整形関数を積分することにより前記出力前方再整形関数を生成することを含む、
請求項７に記載の方法。

【請求項9】

前記サブシーンにおける平均HDRルミナンス値および平均SDRルミナンス値が与えられて、前記参照トーンマッピング関数は：
前記平均HDRルミナンス値を前記平均SDRルミナンス値に；
前記高ダイナミックレンジにおける最大グローバル・ルミナンスを前記第2のダイナミックレンジにおける最大グローバル・ルミナンス値に；
前記高ダイナミックレンジにおける最小グローバル・ルミナンス値を前記第2のダイナミックレンジにおける最小グローバル・ルミナンス値にマッピングする、
請求項７または８に記載の方法。

【請求項10】

現在コンピューティング・ノードおよび1つの近傍コンピューティング・ノードによって処理される親シーンの一部である、前記第1のビデオ・シーケンスにおけるあるサブシーンについて：
前記近傍コンピューティング・ノードが現在コンピューティング・ノードよりも前にある場合、
前記トリム・パス・パラメータ窓は、前記第1のビデオ・シーケンスの最初のフレーム（C₀）の前にあるすべての（B）バンパー・フレームを、フレームC_s＝C₀＋Bの手前まで含み、
前記近傍コンピューティング・ノードが現在コンピューティング・ノードよりも後にある場合、
前記トリム・パス・パラメータ窓は、Cs＝CL-1－Bおよびすべてのその後のフレームを、前記第1のビデオ・シーケンスの最後のフレームの後のすべてのバンパー・フレームを含めて、含む、
請求項１ないし９のうちいずれか一項に記載の方法。

【請求項11】

現在コンピューティング・ノード、近傍先行ノード、および近傍後続ノードによって処理される親シーンの一部である、前記第1のビデオ・シーケンスにおけるあるサブシーンについて、さらに：
前記第1のビデオ・シーケンスにおけるフレームおよび前記近傍先行ノードと共有されるバンパー・フレームを含む第1のトリム・パス・パラメータ窓を決定する段階（462）と；
前記第1のビデオ・シーケンスにおけるフレームおよび前記近傍後続ノードと共有されるバンパー・フレームを含む第2のトリム・パス・パラメータ窓を決定する段階と；
前記第1のトリム・パス・パラメータ窓におけるフレームの前記フレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータの第1の集合を計算する段階と；
前記第2のトリム・パス・パラメータ窓におけるフレームの前記フレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータの第2の集合を計算する段階と；
前記シーン・ベースのトリム・パス補正パラメータの前記第1の集合および第2の集合に基づいて、補間されたフレーム・ベースのトリム・パス補正パラメータを計算する段階と；
前記サブシーンが前記第1のトリム・パス・パラメータ窓内にある場合、シーン・ベースのトリム・パス補正パラメータの前記第1の集合を前記サブシーンに割り当て；
前記サブシーンが前記第2のトリム・パス・パラメータ窓内にある場合、シーン・ベースのトリム・パス補正パラメータの前記第2の集合を前記サブシーンに割り当て；
前記サブシーンが前記第1と第2のトリム・パス・パラメータ窓の間にある場合、シーン・ベースのトリム・パス補正パラメータを、前記サブシーン内のフレームについての前記補間されたフレーム・ベースのトリム・パス補正パラメータに基づいて生成する段階とを含み、Lは前記ビデオ・セグメントにおけるフレーム数を表す、
請求項１ないし１０のうちいずれか一項に記載の方法。

【請求項12】

前記補間されたフレーム・ベースのトリム・パス補正パラメータを計算することは：

【数94】

を計算することを含み、
ここで、ρ^L1はシーン・ベースのトリム・パス補正パラメータの前記第1の集合におけるトリム・パス補正パラメータであり、ρ^L2はシーン・ベースのトリム・パス補正パラメータの前記第2の集合におけるトリム・パス補正パラメータであり、ρ^xは、前記第1のトリム・パス・パラメータ窓の最後のフレームa₀と前記第2のトリム・パス・パラメータ窓の最初のフレームa_nの間のx番目のフレームについての補間されたフレーム・ベースのトリム・パス補正パラメータを表す、
請求項１１に記載の方法。

【請求項13】

前記補間されたシーン・ベースのトリム・パス補正パラメータに基づいてシーン・ベースのトリム・パス補正パラメータ（ρ^A）を生成することが、

【数95】

を計算することを含み、a_sは前記サブシーンの開始フレームを表し、a_eは次のサブシーンの開始フレームを表す、
請求項１２に記載の方法。

【請求項14】

一つまたは複数のプロセッサで請求項１ないし１３のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を記憶している、非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項15】

プロセッサを有しており、請求項１ないし１３のうちいずれか一項に記載の方法を実行するように構成されている装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、2020年9月18日に出願された米国仮特許出願第63/080,255号；2020年9月18日に出願された欧州特許出願第20196876.5号；2020年10月8日に出願された米国仮特許出願第63/089,154号および2020年10月8日に出願された欧州特許出願第20200781.1号による優先権の利益を主張するものであり、これらはここに参照により本願に組み込まれる。

【0002】

技術
本開示は一般的には画像に関する。より具体的には、本発明のある実施形態は、クラウド・ベースの符号化アーキテクチャーにおいてHDRビデオを処理するためのトリム・パス補正に関する。

【背景技術】

【0003】

本願で使用されるところでは、「ダイナミックレンジ」（DR）という用語は、たとえば最も暗い灰色（黒）から最も明るい白（ハイライト）までの、画像における強度の範囲（たとえば、ルミナンス、ルーマ）を知覚する人間の視覚系（HVS）の能力に関連しうる。この意味で、DRは「シーン基準の（scene-referred）」強度に関する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングするディスプレイ装置の能力に関することもある。この意味で、DRは「ディスプレイ基準の（display-referred）」強度に関する。ここでの説明におけるいずれかの時点で特定の意味が特定の重要性をもつと明示的に指定されているのでない限り、この用語はどちらの意味でも、たとえば互換的に使用されうると推定されるべきである。

【0004】

ここで使用されるところでは、高ダイナミックレンジ（HDR）という用語は、人間の視覚系（HVS）の14～15桁にまたがるDR幅に関連している。実際上は、人間が強度範囲における広範な幅を同時に知覚しうるDRは、HDRに比べて多少切り捨てられることがある。ここで使用されるところでは、視覚ダイナミックレンジ（VDR）または向上ダイナミックレンジ（EDR）という用語は、個々にまたは交換可能に、シーンまたはイメージ全体にわたるいくらかの光順応変化を考慮して、シーンまたは画像内で目の動きを含む人間の視覚系（HVS）によって知覚可能なDRに関しうる。ここで使用されるところでは、VDRは5から6桁にわたるDRに関しうる。よって、おそらくは真のシーン基準のHDRと比べるとやや狭いが、それでもVDRまたはEDRは広いDR幅を表し、HDRと呼ばれることもある。

【0005】

実際上は、画像は一つまたは複数の色成分（たとえば、ルーマYおよびクロマCbとCr）を含み、各色成分はピクセルあたりnビット（たとえばn＝8）の精度で表される。たとえば、ガンマ・ルミナンス符号化を使用すると、n≦8（たとえばカラー24ビットJPEG画像）は標準ダイナミックレンジの画像と見なされ、n≧10は向上ダイナミックレンジの画像と見なされうる場合がある。HDR画像は、Industrial Light and Magicによって開発されたOpenEXRファイル・フォーマットなどの高精度（たとえば16ビット）の浮動小数点フォーマットを使用して記憶および配信されてもよい。

【0006】

現在、ほとんどの消費者向けデスクトップ・ディスプレイは、200から300cd/m²またはニトのルミナンスをサポートしている。ほとんどの消費者向けHDTVは300から500ニトの範囲であり、新しいモデルは1000ニト（cd/m²）に達する。そのような従来のディスプレイは、HDRに対して標準ダイナミックレンジ（SDR）とも呼ばれる低ダイナミックレンジ（LDR）の典型である。補足設備（たとえばカメラ）とHDRディスプレイ（たとえばドルビー・ラボラトリーズからのPRM-4200業務用参照モニター）の両方における進歩のため、HDRコンテンツの利用可能性が高まるにつれ、HDRコンテンツはカラーグレーディングされ、より高いダイナミックレンジ（たとえば1000ニトから5000ニトまたはそれ以上）をサポートするHDRディスプレイで表示されることがある。

【0007】

ここで使用されるところでは、「前方再整形（forward reshaping）」という用語は、もとのビット深さおよびもとの符号語分布または表現（たとえば、ガンマ、PQ、HLGなど）から、同じまたは異なるビット深さおよび異なる符号語分布または表現への、デジタル画像の、サンプルからサンプルへのまたは符号語から符号語へのマッピングのプロセスを表す。再整形は、固定ビットレートでの改善された圧縮性または改善された画像品質を許容する。たとえば、限定されるものではないが、10ビットのビデオ符号化アーキテクチャーにおける符号化効率を改善するために、10ビットまたは12ビットのPQ符号化されたHDRビデオに再整形が適用されてもよい。受信機において、受信信号（これは再整形されてもされなくてもよい）を圧縮解除した後、受信機は、「逆（または後方）再整形関数」を適用して、信号をもとの符号語分布に復元し、および／または、より高いダイナミックレンジを達成することができる。

【0008】

多くのビデオ配信シナリオでは、HDRビデオは、典型的には「クラウド・コンピューティング・サーバー」と呼ばれるマルチプロセッサ環境において符号化されることがある。そのような環境では、コンピューティングの容易さ、コンピューティング・ノード間の作業負荷バランス、およびビデオ品質の間のトレードオフによって、再整形関連のメタデータがフレームごとに更新されることが強制されることがあり、これは、特に低ビットレートでビデオを伝送する場合に、受け入れられないオーバーヘッドを生じる可能性がある。シーンを複数のコンピューティング・ノードに分割することは、サブシーンにおける時間的非一貫性を生じることがあり、それはトリム・パス・データがどのように出力ビデオに影響するかに影響しうる。ここで発明者によって理解されているように、クラウド・ベースの環境においてトリム・パス補正のための改善された技術が望まれている。
本セクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、本セクションにおいて記述されるアプローチはいずれも、本セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、このセクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。
下記の参考文献のそれぞれは、その全体が参照により援用される。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】米国特許第10,575,028号、H. Kadu et al.、"Coding of high-dynamic range video using segment-based reshaping"

【特許文献2】米国特許第8,811,490号、G-M. Su et al.、"Multiple color channel multiple regression predictor"

【特許文献3】国際公開第2019/217751号、Q. Song et al.、PCT特許出願第PCT/US2019/031620号、"High-fidelity full reference and high-efficiency reduced reference encoding in end-to-end single-layer backward compatible encoding pipeline"、2019年5月9日出願

【特許文献4】米国特許第10,264,287号、B. Wen et al.、"Inverse luma/chroma mappings with histogram transfer and approximation"

【特許文献5】米国特許第10,397,576号、H. Kadu and G-M. Su、"Reshaping curve optimization in HDR coding"

【特許文献6】米国仮特許出願第63/049,673号、G-M. Su et al., “Workload allocation and processing in cloud-based coding of HDR video”、2020年7月9日出願、2021年7月9日にPCT/US2021/040967としても出願。

【特許文献7】米国仮特許出願第No.63/080255号、H. Kadu et al.,“Recursive segment to scene segmentation for cloud-based coding of HDR video”、2020年9月18日出願

【特許文献8】米国特許第8,593,480号、A. Ballestad and A.Kostin,“Method and apparatus for image data transformation”

【図面の簡単な説明】

【0010】

本発明の実施形態は、限定ではなく例として、添付の図面の図に示されており、同様の参照番号は同様の要素を指す。

【0011】

【図1A】従来技術による、再整形関数を使用したHDRデータ用の例示的な単層エンコーダを示している。

【0012】

【図1B】従来技術による、図1Aのエンコーダに対応する例示的なHDRデコーダを示している。

【0013】

【図2】ある実施形態による、HDRビデオのクラウド・ベースのエンコードのための例示的なアーキテクチャーおよび処理パイプラインを示している。

【0014】

【図3A】ビデオ入力をセグメントに分割し、バンパー・フレームを3つのノードに割り当てる例を示している。

【0015】

【図3B】シーン・カットをマージして一次シーンのリストを生成する例を示している。

【0016】

【図3C】2つのコンピューティング・ノードに分割された一次シーンの例を示している。

【0017】

【図3D】ある実施形態による、更新されたトリム・パス補正パラメータを導出するために使用されるトリム・パス窓の例を示している。

【図3E】ある実施形態による、更新されたトリム・パス補正パラメータを導出するために使用されるトリム・パス窓の例を示している。

【0018】

【図4A】ある実施形態による、逐次反復的なセグメントからシーンへのセグメンテーション・プロセスの例を示している。

【0019】

【図4B】ある実施形態による、更新されたシーン・ベースのトリム・パス補正パラメータを生成する例示的なプロセスを示している。

【0020】

【図4C】ある実施形態による、トリム補正された前方再整形関数を生成する例示的なプロセスを示している。

【0021】

【図6A】本発明のある実施形態による、前方再整形関数のトリム・パス補正の例を示す。

【図6B】本発明のある実施形態による、前方再整形関数のトリム・パス補正の例を示す。

【0022】

【図5】本発明のある実施形態による、再整形を使用したシーン・ベースのエンコードのための例示的なエンコーダを示す。

【発明を実施するための形態】

【0023】

本願では、HDRビデオのクラウド・ベースのビデオ・コーディング〔符号化〕におけるトリム・パス補正のための方法が記載される。以下の記述では、説明のために、本発明の十全な理解を提供するよう、多数の個別的な詳細が記載される。しかしながら、これらの個別的な詳細なしに本発明が実施されてもよいことは明らかであろう。他方では、本発明を不必要に埋没させたり、不明瞭にしたり、難読化したりすることを避けるために、よく知られた構造や装置は網羅的な詳細さでは説明されていない。

【0024】

概要
本願に記載されている例示的実施形態は、HDR画像のクラウド・ベースの再整形およびコーディングに関する。ある実施形態では、HDRビデオをエンコードするためのクラウド・ベースのシステムにおいて、現在のノードは、高ダイナミックレンジのビデオ・フレームを含む第1のビデオ・シーケンスを受領する。次いで、ノード内の一つまたは複数のプロセッサが：
第1のビデオ・シーケンス内の各ビデオ・フレームについて、第1の前方再整形関数およびフレーム・ベースのトリム・パス補正パラメータを生成する段階（455）であって、前方再整形関数は、フレーム・ピクセルを高ダイナミックレンジから高ダイナミックレンジよりも低い第2のダイナミックレンジにマッピングする、段階と；
現在コンピューティング・ノードおよび1つの近傍コンピューティング・ノードによって処理される親シーンの一部である、第1のビデオ・シーケンスのサブシーンについて、
第1のビデオ・シーケンスのフレームとバンパー・フレームを含むトリム・パス・パラメータ窓を決定する段階（457）であって、バンパー・フレームは前記近傍コンピューティング・ノードによって処理されるビデオ・フレームを含む、段階と；
トリム・パス・パラメータ窓のフレームのフレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータを計算する段階（459）と；
前記サブシーンにおけるフレームの前記第1の前方再整形関数に基づいて、シーン・ベースの前方再整形関数を生成する段階と；
前記サブシーンについて、シーン・ベースのトリム・パス補正パラメータおよびシーン・ベースの前方再整形関数に基づいて出力前方再整形関数を生成する段階とを実行する。

【0025】

例示的なHDR符号化システム
図1Aおよび図1Bは、従来技術に基づき、画像再整形を用いた例示的な単一層の後方互換なコーデック・フレームワークを示す。より具体的には、図1Aは、上流のビデオ・エンコーダ内の一つまたは複数のコンピューティング・プロセッサで実装されうる例示的なエンコーダ・アーキテクチャーを示す。図1Bは、一つまたは複数の下流のビデオ・デコーダ内のやはり一つまたは複数のコンピューティング・プロセッサで実装されうる例示的なデコーダ・アーキテクチャーを示す。

【0026】

この枠組みの下では、参照HDRコンテンツ（120）および対応する参照SDRコンテンツ（125）（すなわち、HDRコンテンツと同じ画像を表すが、カラーグレーディングされ、標準ダイナミックレンジで表現されるコンテンツ）が与えられて、再整形されたHDRコンテンツ（134）が、エンコーダ・アーキテクチャーを実装する上流のエンコード装置によって、符号化されたビデオ信号（144）の単一層におけるSDRコンテンツとしてエンコードされ、伝送される。再整形され、その後圧縮されたSDRコンテンツは、ビデオ信号の単一層において、デコーダ・アーキテクチャーを実装する下流のデコード装置によって受領され、デコードされる。後方再整形メタデータ（152）も、再整形されたコンテンツと一緒にビデオ信号においてエンコードされ、伝送され、それにより、HDR表示装置が（再整形された）SDRコンテンツおよび後方再整形メタデータに基づいてHDRコンテンツを再構成できる。一般性を失うことなく、非後方互換なシステムにおけるようないくつかの実施形態では、再整形されたSDRコンテンツは、それ自体では閲覧可能ではなくてもよく、閲覧可能なSDRまたはHDRコンテンツを生成する後方再整形関数と組み合わせて閲覧されなければならない。後方互換性をサポートする他の実施形態では、後方再整形関数を用いることなく、レガシーSDRデコーダでも、受領されたSDRコンテンツを再生できる。

【0027】

図1Aに示されるように、HDR画像（120）、SDR画像（125）および目標ダイナミックレンジを与えられて、ステップ130が前方再整形関数を生成する。該生成された前方再整形関数を与えられて、前方再整形マッピング・ステップ（132）がHDR画像（120）に適用されて、再整形されたSDR基本層（134）が生成される。圧縮ブロック（142）（たとえば、AVC、HEVC、AV1などの任意の既知のビデオ符号化アルゴリズムに従って実装されたエンコーダ）は、ビデオ信号の単一層（144）においてSDR画像（134）を圧縮／エンコードする。さらに、後方再整形関数生成器（150）は、メタデータ（152）としてデコーダに伝送されうる後方再整形関数を生成することができる。いくつかの実施形態では、メタデータ（152）は、前方再整形関数（130）を表すことができ、よって、後方再整形関数（図示せず）を生成するのはデコーダに任される。

【0028】

最適な後方再整形関数を表す／指定する後方再整形メタデータの例は、必ずしもこれらのみに限定されないが：逆トーンマッピング関数、逆ルーマ・マッピング関数、逆クロマ・マッピング関数、ルックアップテーブル（LUT）、多項式、逆表示管理係数／パラメータなどのうちの任意のものを含みうる。さまざまな実施形態において、ルーマ後方再整形関数およびクロマ後方再整形関数は、合同してまたは別個に導出／最適化されてもよく、たとえば限定なしに、本開示で後述するような多様な技術を使用して導出されてもよい。

【0029】

再整形されたSDR画像（134）および目標HDR画像（120）に基づいて後方再整形関数生成器（150）によって生成される後方再整形メタデータ（152）は、ビデオ信号144の一部として、たとえば補足向上情報（supplemental enhancement information、SEI）メッセージングとして多重化されてもよい。

【0030】

いくつかの実施形態では、後方再整形メタデータ（152）は、全体的な画像メタデータの一部としてビデオ信号において搬送され、該メタデータは、ビデオ信号においてSDR画像がエンコードされる単一層とは別個にビデオ信号において搬送される。たとえば、後方再整形メタデータ（152）は、符号化ビットストリームにおける成分ストリームにおいてエンコードされてもよく、該成分ストリームは、SDR画像（134）がエンコードされる（符号化ビットストリームの）単一層と別個であってもなくてもよい。

【0031】

このように、後方再整形メタデータ（152）は、エンコーダ側で利用可能な強力な計算資源およびオフライン・エンコード・フロー（コンテンツ適応多重パス（content adaptive multiple passes）、先読み動作、逆ルーマ・マッピング、逆クロマ・マッピング、CDFベースのヒストグラム近似および／または転送（transfer）等を含むが、これらに限定されない）を利用するために、エンコーダ側で生成または予備生成されることができる。

【0032】

図1Aのエンコーダ・アーキテクチャーは、目標HDR画像（120）をビデオ信号中の符号化された／圧縮されたHDR画像に直接エンコードすることを避けるために使用されることができ；その代わりに、ビデオ信号中の後方再整形メタデータ（152）を使うことで、下流のデコード装置が（ビデオ信号中にエンコードされた）SDR画像（134）を、参照HDR画像（120）と同一であるか、またはそれをよく近似する／最適に近似する再構成された画像に後方再整形することができるようにすることができる。

【0033】

いくつかの実施形態では、図1Bに示されるように、単一層（144）における再整形されたSDR画像でエンコードされたビデオ信号および全体的な画像メタデータの一部としての後方再整形メタデータ（152）が、コーデック・フレームワークのデコーダ側で入力として受領される。圧縮解除ブロック（154）は、ビデオ信号の単一層（144）における圧縮されたビデオ・データをデコードされたSDR画像（156）に圧縮解除／デコードする。圧縮解除154は、典型的には、圧縮142の逆に対応する。デコードされたSDR画像（156）は、SDR表示装置のために最適化されていてもよい圧縮ブロック（142）および圧縮解除ブロック（154）における量子化誤差のもとで、SDR画像（134）と同じであってもよい。後方互換なシステムでは、デコードされたSDR画像（156）は、SDR表示装置上でレンダリングされるよう出力SDRビデオ信号において（たとえばHDMI（登録商標）インターフェースを通じて、ビデオ・リンクを通じて、などで）出力されてもよい。

【0034】

任意的に、代替的にまたは追加的に、同じまたは別の実施形態において、後方再整形ブロック158は、入力ビデオ信号から後方（または前方）再整形メタデータ（152）を抽出し、再整形メタデータ（152）に基づいて後方再整形関数を構築し、最適な後方再整形関数に基づいて、デコードされたSDR画像（156）に対して後方再整形演算を実行して、後方再整形された画像（160）（または再構成されたHDR画像）を生成する。いくつかの実施形態では、後方再整形画像は、参照HDR画像（120）と同一であるかまたはそれをよく近似する／最適に近似する、プロダクション品質またはほぼプロダクション品質のHDR画像を表す。後方再整形画像（160）は、HDR表示装置上でレンダリングされるよう、出力HDRビデオ信号において（たとえばHDMI（登録商標）インターフェースを通じて、ビデオ・リンクを通じて、などで）出力されてもよい。

【0035】

いくつかの実施形態では、HDR表示装置に特有の表示管理動作が、HDR表示装置上で後方再整形された画像（160）をレンダリングするHDR画像レンダリング動作の一部として、後方再整形された画像（160）に対して実行されてもよい。

【0036】

クラウド・ベースの符号化
既存の再整形技術は、フレーム・ベースであってもよく、すなわち、新しい再整形メタデータが新しいフレームごとに送信される、あるいはシーン・ベースであってもよく、すなわち、新しい再整形メタデータが新しいシーンごとに送信される。本明細書で使用されるところでは、ビデオ・シーケンス（フレーム／画像のシーケンス）についての用語「シーン」は、同様のルミナンス、色、およびダイナミックレンジ特性を共有する、ビデオ・シーケンス内の一連の連続するフレームに関連しうる。シーン・ベースの方法は、完全なシーンにアクセスできるビデオ・ワークフロー・パイプラインではうまく機能する。だが、コンテンツ・プロバイダーがクラウド・ベースのマルチプロセッシングを使用することは珍しくなく、その場合、ビデオ・ストリームをセグメントに分割した後、各セグメントはクラウド内の単一の計算ノードによって独立して処理される。本明細書で使用するところでは、「セグメント」という用語は、ビデオ・シーケンスにおける一連の連続するフレームを示す。セグメントはシーンの一部であってもよく、または一つまたは複数のシーンを含んでいてもよい。よって、シーンの処理は、複数のプロセッサにまたがって分割されることがある。

【0037】

特許文献１で論じられているように、ある種のクラウド・ベースのアプリケーションでは、ある種の品質制約条件の下で、セグメント・ベースの処理は、フレームごとに再整形メタデータを生成することを必要とし、望ましくないオーバーヘッドをもたらす可能性がある。これは、非常に低いビットレート（たとえば、1Mbit/s未満）のアプリケーションで問題になりうる。特許文献６は、ａ）シーンをセグメントに割り当てる単一のコンピューティング・ノード上で実装される発注者ステージと、ｂ）クラウド中の各ノードがセグメントのシーケンスをエンコードするエンコード・ステージとを含む2ステージのアーキテクチャーを使ってこの問題に対する解決策を提案した。シーンがセグメント化された後、提案されるシーンからセグメントの割り当てプロセスは、諸シーンの諸ノードへの初期のランダム割り当てと、それに続く、全ノードにわたる割り当てコストを最適化することに基づく洗練された割り当てとを用いた一つまたは複数の反復工程を含む。そのような実装では、各ノードにおいて処理されるビデオの全長は、すべてのノードにわたって変わりうる。

【0038】

特許文献７で論じられる実施形態は、代替的な解決策を提供した。各セグメントが別個のノードによって処理されるべくシーケンスがセグメントに分割された後、各ノードでは、各サブセグメントの対応する再整形関数を更新する必要を最小限にするように、各セグメントがサブセグメント（またはシーン）に細分され、こうして、再整形関連のメタデータを送信するために必要なオーバーヘッドが最小限にされる。

【0039】

いくつかの実施形態では、HDR信号（120）に基づく参照SDR信号（たとえば125）は、望ましい「見え方」をもたない場合がある。その場合、望ましい効果を達成するために、カラリストが「トリム・パラメータ」（一般にリフト・利得・ガンマ（lift, gain, and gamma、LGG）と呼ばれる）を調整する場合がある。このプロセスは「トリム・パス（trim pass）」と呼ばれる場合があり、その主な目的はディレクターの意図や見え方を維持することである。ここで使用されるところでは、「トリム・パス」という用語は、典型的にはマスターのダイナミックレンジより低いターゲット・ダイナミックレンジをもつディスプレイに表示されるシーケンスを生成するポストプロダクション・プロセスを表し、ビデオ・シーケンスのトリミング、回転、クロップ、反転、および輝度、色、彩度の調整を含みうる。たとえば、4000ニトでマスタリングされた映画がある場合、カラリストは400ニト、500ニトおよび1000ニトで「トリム」を生成することがある。そのようなトリム・パスは、SDR信号において芸術的意図を保持しうるが、再整形後は、暗い部分（低強度の領域）またはハイライト（高強度の領域）において不快なクリッピング・アーティファクトを導入することもある。そのようなアーティファクトは、ビデオからノードへのセグメンテーション・プロセスおよび／またはビデオ符号化プロセス（142）によってさらに誇張される場合がある。そのようなアーティファクトを減らすために、LGGの「トリム」データ自体を変更しようとすることができるが、スタジオはディレクターの承認後のデータの変更を許さず、そのような変更には追加のレビュー・プロセスが必要になるであろう。よって、発明者によって理解されているように、HDRからSDRへのマッピング・プロセスによって導入されるアーティファクトを減らすことができることが有益であろう。次に、そのような方法論について説明する。

【0040】

特許文献７において最初に開示されたように、図2は、ある実施形態によるHDRビデオのクラウド・ベースのエンコードのための例示的なアーキテクチャーおよび処理パイプラインを示す。典型的にはメザニン（mezzanine）ファイルと呼ばれる、コンテンツ配信のためのビデオ・ソース（202）と、作業ノードの集合とを与えられて、各ノード（たとえばノード205-N）は、次のようにして、処理されるべき、ビデオ・ピクチャー（またはフレーム）および対応するビデオ・メタデータ（207）を（たとえば、XMLファイルから）フェッチする。

【0041】

前処理段階210では、メザニン入力がセグメントに分割され、各セグメントが異なるコンピューティング・ノード（たとえばノード205-N）に割り当てられる。これらのセグメントは相互に排他的であり、つまり共通するフレームをもたない。各ノードは、セグメント内の最初のフレームの前にある、ある数のフレームと、セグメント内の最後のフレームの後にあるいくつかのフレームをも取得する。これらの前と後の重複フレームは、バンパー・フレーム（bumper frame）と呼ばれ、それぞれ前と次のノードとの時間的一貫性を維持するためにのみ使用される。バンパー・フレームはノードによってエンコードされない。一般性を失うことなく、ある実施形態では、これらのビデオ・セグメントは、おそらく最後のノードに割り当てられたセグメントを除いて、すべて等しい固定長であってもよい。例として、メザニン（305）をバンパー・フレーム（たとえば309）とともに3つのセグメント（307-1、307-2、307-3）に分配し、これらのフレームを異なるノードに割り当てるサンプルが図3Aに示されている。限定なしに、30秒の長さのセグメントと片側2秒の長さのバンパー・セクションについては、例示的実施形態は次の配置を含みうる：
・1800個のフレームをもつセグメント・セクションと120個のフレームをもつバンパー・セクション、60fps
・1500個のフレームをもつセグメント・セクションと100個のフレームをもつバンパー・セクション、50fps
・720個のフレームをもつセグメント・セクションと48個のフレームをもつバンパー・セクション、24fps

【0042】

前処理段階210が終わった後、各ノードはそのフレームへのアクセスを得て、2パスのアプローチが続く。
・パス1（段階215、220）では、セグメント内のシーンのリスト（222）が生成される。XMLファイルから抽出されたシーン・カット（209）と自動シーン・カット検出器（215）を使用して生成されたシーン・カットが段階220において組み合わされて、一次シーンの第1のリストが得られる。複数のノードにまたがって符号化される親シーンに属する一次シーンは、二次シーンに細分されてもよい。複数のノードにまたがって分散されたシーンにおける時間的一貫性を維持するために、バンパー・フレームと新規な再帰的シーン分割アルゴリズムも提供される。分割は追加のシーンを生成する。それがシーンの第1のリストに追加されて第2のリストが得られる。シーンのこの第2のリスト（222）はパス2に渡される。パス2における計算オーバーヘッドを低減するため、トリム・パス・データを補正するために必要とされる補助データ（212）もパス2に渡される。
・パス2（段階225、230、235）は、パス１から受け取ったシーンのリストを使用して、セグメント内の各シーンについて前方および後方再整形を実行する。前方再整形段階（225）において、トリム・パス・データ補正が実行される。シーン・ベースの前方再整形関数（227）を使用した前方再整形（225）は、再整形されたSDRセグメント（229）を生成し、後方再整形ユニット（235）は、HDR入力を再構成するためにデコーダによって使用されるメタデータ・パラメータを生成する。再整形されたSDR入力（229）は圧縮され（230）、圧縮されたビデオ・データと再整形されたメタデータが一緒に組み合わされて、圧縮されたビットストリーム（240）が生成される。

【0043】

議論の簡単のため、Lはセグメント内のフレーム数を表し、Bは各バンパー・セクション内のフレーム数を表すとする。メザニンにおけるi番目のフレームをf_iと表すとする。ある実施形態では、第1のノードはセグメント部分にあるフレームf₀～f_L-1をエンコードする。このノードは左バンパーをもたず、その右バンパーはフレーム範囲f_L～f_L+B-1にまたがっている。ノードNのセグメント部分は、フレームf_(N-1)L～f_NL-1を処理する。ここで、f_(N-1)L-B～f_i(N-1)L-1は左バンパーであり、f_NL～f_NL+B-1は右バンパーである。最後のノードは右バンパー・セクションをもたず、セグメント部分においてL個よりも少ないフレームをもつことがありうる。

【0044】

ノードNが与えられると、ノードN－1は左／前の近傍ノードであり、ノードN＋1は右／次またはその後の近傍である。Nに対して左／前のノードであるノードへの言及は、0からN－1のすべてのノードを表す。同様に、Nに対して右／次であるノードへの言及は、N＋1から最後のノードまでのすべてのノードを表す。ここで、前述の2つのパスについて詳しく説明する。

【0045】

パス1：セグメントからシーンの生成
このパスの主な目的は、ノードに割り当てられたセグメント内のシーンのリストを生成することである。このプロセスは、ノード・セグメントおよび両方のバンパー・セクションを含む、ノードに割り当てられたすべてのフレーム内のシーン・カットを検出することによって始まる。セグメント内のシーン・カットのみが、最終的にパス2によって、シーン・ベースのエンコードのために使用される。しかし、バンパー・セクション内のシーンは、それでも、近傍ノードとの時間的な一貫性を維持するために有用である。

【0046】

カラリストが指定したシーン・カット（209）が、XMLファイル（207）から読み込まれる。自動シーン・カット検出器（215）が、可能なシーン・カット位置を識別してもよい。カラリストおよび自動検出器からのこれらのシーン・カットは、一次シーンとして知られるシーンの第1のリストを取得するためにマージされる。セグメント境界上の一次シーンは、バンパー・フレームおよび新規なシーン分割手法を使用して分割される。セグメント境界上の一次シーンを分割すると、二次シーンまたはサブシーンと呼ばれる追加のシーンが作成される。シーンの第1のリストに二次シーンが追加されて、第2のリストが得られる。次いでこのリストは、シーン・ベースのエンコードのためにパス2によって使用される。シーンのリストとは別に、パス2は、二次シーンの前方再整形のために補助データ（212）をも必要とすることがある。各段階についての詳細は、次に説明する。

【0047】

カラリストやプロのカラーグレーダーは、通例、各シーンを1つの単位として処理する。目標（たとえば、適切なカラーグレーディング、フェードインとフェードアウトの挿入など）を達成するには、シーケンス内のシーン・カットを手動で検出する必要がある。この情報はXMLファイルに格納され、他の目的にも使用できる。すべてのノードは、そのセグメントのための有意なシーン・カットのみをXMLファイルから読む。これらのシーン・カットは、セグメント・セクション内またはバンパー・セクション内にありうる。

【0048】

XMLシーン・カットはカラリストによって定義されるが、完全に正確ではない。グレーディングの目的で、時にカラリストは、ディゾルブ・シーンの途中で、またはシーンのフェードインまたはフェードアウト部分の先頭にシーン・カットを導入する。これらのシーン・カットは、再整形フェーズにおいて考慮に入れられると、再構成されたHDRビデオにおいて点滅を引き起こすことがあり、通常は避けられるべきである。この理由で、ある実施形態では、自動シーン・カット検出器（automatic scene-cut detector、Auto-SCD）215も採用されている。

【0049】

自動シーン・カット検出器またはAuto-SCDは、連続するビデオ・ピクチャーの異なるセクションにおけるルミナンス・レベルの変化を使用して、シーン変化を検出する。当技術分野で知られている任意のシーン・カット検出器が前記自動検出器として使用できる。ある実施形態では、そのような自動検出器はビデオの一部をディゾルブ、フェードイン、またはフェードアウトすることに関知せず、それでもすべての真のシーン・カットを正しく検出できる。

【0050】

自動検出器に関する潜在的な問題は偽陽性である。カメラのパン、動き、隠蔽などによるシーン内の明るさの変化があることがあり、これらの明るさの変化もAuto-SCDによってシーン・カットとして検出されることがある。これらの誤検出を破棄するために、ある実施形態では、XMLファイルからのシーン・カットと、Auto-SCDからのシーン・カットが段階220で一緒にマージされる。当業者は、XMLファイルにシーン・カットが定義されていなければ、単に自動シーン検出器の出力を使用してもよいことを理解するであろう。同様に、他の実施形態では、XMLファイルに定義されたシーン・カットに厳密に依存してもよい。あるいはまた、2つより多くのシーン・カット検出器を使用して、それぞれが関心のある異なる属性を検出し、次いでそれらの結果全部の組み合わせに基づいて、一次シーンを定義してもよい（たとえば、それらの交わりまたは他の集合演算の組み合わせ、たとえばそれらの和集合、交わりなど）。

【0051】

Ψ_XML ^Nを、XMLファイルにおいて報告される、ノードNにおけるシーン開始フレームを表すフレーム・インデックスの集合とする。同様に、Ψ_Auto-SCD ^Nを、Auto-SCDによって報告される、ノードNにおけるシーン開始フレームを表すフレーム・インデックスの集合とする。ある実施形態では、これら2つの集合からのシーン・カットをマージすることは、これら2つの集合の交わりを取ることと等価である。
Ψ₁ ^N＝Ψ_XML ^N∩Ψ_Auto-SCD ^N (1)
ここで、Ψ₁ ^N＝はノードNにおけるシーンカット（またはシーン）の第1のリストを示す。これらのシーンは、一次シーンとも呼ばれる。図3Bは、例示的なシナリオを示している。この例では、XMLファイルは3つのシーン・カットを報告する。Auto-SCDも3つのシーン・カットを報告する；2つはXMLシーン・カットと同じだが、3つ目は異なる位置にある。報告された6つのシーン・カットの間では2つだけが共通であるため、ノード・セグメントはそれら2つの共通シーン・カットに従って、3つだけの一次シーン（310-1、310-2、310-3）に分割される。いくつかの実施形態では、XMLとAuto-SCDのシーン・カットは、たとえ異なるフレーム上で報告されても、2つのリストの間のシーン・カット・インデックスが所与の小さな許容範囲内で異なっている場合（±nフレーム、たとえばnは[0,6]内）、同じものとして認識されてもよい。

【0052】

図3Bに示されるように、一次シーン2（310-2）は完全にノードNにある。そのため、それはパス2において完全にノードNによって処理されることができる。逆に、一次シーン1（310-1）と3（310-3）はセグメント境界上にある。その親シーンは複数のノードにわたって分散されており、それらのノードによって独立して処理される。異なるノードによってエンコードされる境界フレームにおいて一貫した見え方を保証するために、一次シーン1と3には何らかの特別な扱いが必要である。次に、いくつかの代替的なシナリオを検討する。

【0053】

図3Cに示されるように、Pが2つのノードNとN＋1にまたがって分散した親シーンである単純なシナリオを考える。ノードNとN＋1は、親シーンの一部のみにアクセスできる。これらのノードが（バンパーなしで）親シーンのそれぞれの部分を処理し、エンコードすると想定する。再整形パラメータはフレームの異なる集合に対して計算されるため、ノードNのセグメント内の最後のフレーム、つまりf_(N+1)L-1とノードN＋1のセグメント内の最初のフレーム、つまりf_(N+1)Lについての再整形されたSDRおよび再構成されたHDRは、視覚的に異なるように見えることがある。そのような視覚的な違いは、通例、ちらつき、点滅、突然の明るさの変化という形で現れる。この問題は、ノードをまたいだ時間的非一貫性と呼ばれる。上記のシナリオにおける非一貫性の理由の一部は、再整形パラメータを計算する際の共通フレームがないことである。図3Cに示されるように、これらの統計を生成する際にバンパー・フレームが含められれば、ノードをまたぐ、よりなめらかな遷移が提供される。ただし、バンパー・セクションは親シーンと比較して比較的短いことがあるため、時間的な一貫性を保証するのに十分な長さではない可能性がある。ある実施形態では、これらの問題を解決するために、ノードNおよびN＋1における親シーンの部分が、二次シーンまたはサブシーンに分割される。シーン内の再整形統計があるノードから次のノードにかけて大きく変化しても、それらの統計はフレームごとに大きく変化しない。二次シーンは、再整形パラメータを評価するために、小さな近傍内の統計のみを使用する。そのため、これらの再整形パラメータは、あるサブシーンから次のサブシーンへとあまり変化しない。こうして、分割は時間的な一貫性を達成する。近傍のサブシーンは、前／次のノードにもありうることに注意されたい。

【0054】

分割は追加的なシーンを生じ、よってメタデータ・ビットレートを増加させることに注意しておくべきである。課題は、メタデータ・ビットレートを低く保つために、最小限の数の分割を使用して時間的一貫性を達成することである。バンパー・フレームは、分割の数を減らしながら良好な視覚的品質を達成する上で重要な役割を果たす。
1.バンパー・フレームは、分割アルゴリズムが前／次のノードが通過する分割を模倣するのを助ける。他のノード上の分割を模倣することによって得られる貴重な洞察は、分割の数を最小限にするのを助ける。
2.再整形パラメータを計算するためにバンパー・フレームを使用することによって、セグメント境界において、よりなめらかな遷移が達成できる。
特許文献７に最初に記載されたシーン分割アルゴリズムが、以下のサブセクションで説明されるが、当業者は、本稿で提案されるトリム・パス補正が使用されるシーン分割アルゴリズムとは独立であり、一次シーンおよび二次シーンを導出する方法に関わりなく適用可能であることを理解するであろう。議論は、マルチノード割り当てを考慮せずに親シーンを分割することから始め、次いで、その方法が、2つ以上の近傍ノードにまたがって分布する親シーンについてのシーン分割に拡張される。

【0055】

メザニンにおけるQ番目のインデックス・フレームからQ＋M－1フレームまでの範囲のM個のフレーム（M＞1）をもつ親シーンPがある場合を考える。図4Aは、ある実施形態による、一次シーンをサブシーンに分割する例示的なプロセス（400）を示す。このプロセスの目的は、一次シーンを「時間的安定性」または「時間的一貫性」のあるサブシーンに分割することである。各サブシーン内のすべてのフレームは、同じシーン・ベースの再整形関数を用いて再整形される。よって、時間的安定性は、所与のビットレートでビデオ品質を維持しながら、再整形メタデータの数を減らすことを許容する。

【0056】

プロセス400は初期化段階410で始まる。ここで、一次シーンPについての入力HDRおよびSDRフレーム（405）を与えられて、HDRおよびSDRヒストグラムh^vおよびh^sならびに個々の前方再整形関数（forward reshaping function）（FLUT）

【数1】

がシーンP内の各フレームについて計算される。例として、限定なしに、フレーム・ヒストグラムを与えられれば、累積密度関数（cumulative density function、CDF）マッチング（特許文献４～５）を適用して、HDRからSDRへの前方マッピング関数（FLUT）を生成できる。

【数2】

よって、j番目のフレームについて、この段階は

【数3】

を生成する。ここで、h_j ^vはHDRフレームjのヒストグラムを表す。

【0057】

ここに記載されるセグメンテーション方法は、フレーム・ベースの再整形関数がどのように生成されるかには関知しない。よって、ある実施形態では、そのような再整形関数は、既知の再整形技術のいずれかを使用して、対応するSDRビデオの可用性に依存することなく、利用可能なHDRビデオから直接生成されてもよい。

【0058】

シーンFLUT

【数4】

は、シーン内のすべてのフレームFLUTを平均することによってPについて構築される。次式において、bはFLUT内のインデックスを示す。ある実施形態では、FLUT値は正規化されてもよい。すなわち、

【数5】

である。

【数6】

【0059】

シーンFLUTと生成されたヒストグラムは、シーンP内の一つ一つのフレームについての「DC」値χ_jを予測するために使用される。フレームの高さと幅がそれぞれHとWである場合、そのDC値は

【数7】

のように計算される。

【0060】

ある実施形態では、一つ一つのフレームの、その前のフレームとのDC差は、

【数8】

と表され、分割の決定を行うための閾値の1つの集合として使用される。これらのDC差の値は初期化フェーズの間に1回計算され、分割プロセスの間に何度か使用される：

【数9】

【0061】

一つ一つのフレームのFLUTとその前のフレームのFLUTとの間の要素ごとの差の最大の絶対値は、初期化段階でも格納され、平滑性違反を検出するための閾値の追加的な集合として使用される。

【数10】

ここで、αとβは構成可能なパラメータであり、典型的な値はそれぞれ2.0と0.60である。

【0062】

二次シーン・カットC_gが、ソートされたサブシーン集合Ω_Pに収集される。ここで、gは集合内のインデックスである。フレーム・インデックスQ＋Mは、リスト末尾マーカーとして機能し、シーン・カットとしては使用されない。ある実施形態では、初期化時の二次シーン・カットは次のとおりである：

【数11】

【0063】

ある実施形態では、平滑性基準に違反するサブシーンを格納するために違反サブシーン集合Υが使用される。親シーンPの分割を開始するには、初期化時に、Υ＝{P}である。違反集合におけるシーンまたはサブシーンのみが後で分割される。まとめると、段階410で初期化段階は、

【数12】

違反集合Υ、およびソートされたシーン・カットの集合Ω_Pを生成する。

【0064】

段階415では、違反集合Υとソートされた二次シーン・カットの集合Ω_Pが入力として与えられると、新しいラウンドのサブシーン分割が開始される。違反集合Υ内のすべてのサブシーンを通じて逐次反復し、それらをどのように分割するかを決定する。

【0065】

P_gをフレーム範囲[C_g,C_g+1－1]にまたがる違反集合内のサブシーンとする。分割のためには、サブシーンFLUT

【数13】

をサブシーン内のすべてのフレームFLUT

【数14】

と比較し、最も類似したFLUTをもつインデックス位置C_sのものを、分割フレームとして選択する。

【数15】

ここで、数学的演算子｜・｜は絶対値を表す。

【0066】

分割後、サブシーンP_gは2つのサブシーンまたは二次シーンに分割され、新しい分割インデックスは正しい位置で二次集合に挿入される。

【数16】

違反集合内のすべてのサブシーンからのすべての新しい分割は、ソートされた仕方で集合Ω_Pに挿入される。違反集合Υは、その中のすべてのサブシーンを通じて逐次反復した後、空集合に設定される。更新された集合Ω_Pは、分割プロセスにおける次の段階に渡される。

【0067】

段階420では、更新された集合Ω_P内のすべての二次シーンについて新しいサブシーンFLUTが計算される。このとき、集合Ω_Pが、C₀からC_GまでのG＋1個の二次シーン・カットを含んでいるとする。

【数17】

この逐次反復ラウンドにはG個のサブシーンがあり、集合Ω_P内のフレーム・インデックスは昇順である、すなわち、

【数18】

【0068】

フレーム範囲[C_g,C_g+1－1]にまたがるサブシーンP_gを考える。g∈[0,G－1]についてのP_gについてサブシーンFLUT、つまり

【数19】

を構築するために、近傍のサブシーン間の小さな重複を許容するために、サブシーン重複パラメータθが導入される。

【数20】

重複フレームは、サブシーンと重複部分におけるFLUTを平均することによって、サブシーンP_gについての前方LUT（forward LUT）を推定するために使用される。

【数21】

【0069】

分割プロセスの現在のラウンドにおいて、DC値がλによって定義されるとする。これらのDC値は、後に段階425で、サブシーン境界における閾値違反を見つけるために使用される。

【数22】

とする。一次シーンP内のすべてのフレームについてのこれらの新しいDC値は、Ω_P内のすべてのサブシーンを通じて逐次反復して、それらにおける統計を計算した後に収集される。

【0070】

段階425では、サブシーン間の境界における時間的安定性違反が検出される。たとえば、{C_g-1,C_g－1}における二次シーンP_g-1および{C_g,C_g+1－1}における二次シーンP_gについて、C_gにおいて境界チェックが計算される必要がある。それらのチェックのいずれかが失敗した場合、サブシーンP_g-1とP_gの両方が違反集合Υに移される。サブシーンP_gとP_g+1については、C_g+1において境界チェックが計算される必要がある。
セグメントの最初のフレームC₀(Q)とセグメントの最後のフレームQ＋M－1＝C_G－1のほかは、各サブシーン境界C_gにおいて同じチェックが適用される。

【0071】

式（15）を使用すると、Ω_P内のすべてのサブシーンを通じて逐次反復した後、更新されたDC値（λ_j）が一次シーンPにおけるすべてのフレームについて利用可能になる。これらの値は、段階425と430において境界違反チェックを実行するために使用される。DC差Δ_Cgは、インデックスC_gをもつフレームとインデックスC_g－1をもつその前のフレームのDC値の差である。

【数23】

【0072】

違反チェック#1：

【数24】

絶対DC差｜Δ_Cg｜がDC閾値

【数25】

に負でないバイアスωを加えたものよりも大きい場合、サブシーンP_g-1とP_gの間の遷移点C_gに明るさの変化がある。これは閾値違反であり、これらのサブシーンは違反集合Υにアペンドされる。ここで、バイアスωは構成可能なパラメータを表し、デフォルト値は0.001（または8ビットでの1/4符号語）である。これは、次の2つのチェックよりも分割結果に大きな影響を与えるため、分割プロセスにおいて最も重要な違反チェックである。

【0073】

違反チェック#2：

【数26】

実数xについてのsign(x)（または符号）演算子は次のように定義される。

【数27】

正のDC差Δ_Cgは、DC値が前のフレームから現在のフレームにかけて増加したことを示す。同様に、負のDC差は、DC値が減少したことを示す。前のフレームから次のフレームへのDC値の増減の一般的な傾向は、サブシーンで分割した後も維持されるべきである。よって、閾値

【数28】

とDC差Δ_Cgが点C_gにおいて逆の符号をもつ場合は、サブシーンP_g-1とP_gの両方が、それらを違反集合Υに加えることによってさらに分割されるべきである。この基準は、フェードイン／アウト、ディゾルブするシーンまたは徐々に明るさが変化する任意のシーンにおいて時間的安定性を維持するのに役立つ。

【0074】

違反チェック#3：

【数29】

FLUT

【数30】

の間の要素ごとの差の絶対値の最大がCgにおける閾値

【数31】

よりも大きい場合、これらのサブシーンP_g-1とP_gは平滑性制約条件に違反し、よってΥに含めるべきである。

【0075】

すべての違反チェックはサブシーン境界においてである。違反がある場合は、両方のサブシーンが違反集合に入れられる。これにより、現在の分割ラウンドが終了する。段階430では、更新された違反集合が空でない場合、制御は、次の分割ラウンドのために、更新された集合ΩPおよびΥをもって、段階415に戻る。そうではなく、境界違反がなく、違反集合が空である場合、プロセスは終了し、段階440はサブシーンの最終的な二次集合を出力する。ある実施形態では、段階425において、Υ内の二次シーンが1フレームだけの長さである場合、それはそれ以上分割することはできないため、Υ集合から除去できる。あるいはまた、そのような単一フレームのシーンは段階415において無視されることができる。

【0076】

実際上は、親シーンは、2つ以上のノードにわたって処理される場合にのみ分割される。たとえば、ノードは左右のバンパー・セクションにおいてシーン・カットを探してもよい。そのようなシーン・カットが検出されない場合、そのセグメントの先頭または末尾は近傍ノードによっても処理されると推測でき、よって一つまたは複数の一次シーンが分割される必要がある。

【0077】

図3Cに示される、親シーンPが2つのノードによって処理されるシナリオを考える。ノード内の親シーンの各部分は、そのノードについての一次シーンである。1つのアプローチは、前述の分割アプローチを使用して独立して分割することである。その場合、欠けている統計のため、ノードNおよびN＋1における重複する領域におけるシーン・カットは互いに一致しないことがある。提案される分割アルゴリズムは、近傍ノード上の近傍のサブシーン内の二次シーン境界の良好な推定があれば、時間的非一貫性の解決においてはるかによく機能する。

【0078】

ある実施形態では、図3Cの例については、それら2つの一次シーンにおける2つの新しい同期サブシーン・カット（320）が、各ノードに1つずつ導入される。これらの同期カットは、一次シーンを次の2つの部分に分割する：
1.第1の部分（たとえば、ノードNにおける最初のカットと最初の同期カットの間）は現在のノードには見えるが、他方のノードには見えない。図3Cに示されるように、ある実施形態では、ノードN上の最初の同期カットは位置C_L-1－Bにあってもよく、Bは緩衝フレームの数を示し、C_L-1はセグメントの最後のフレームを示す。
2.第2の部分（たとえば、ノードNについての末尾の諸バンパー・フレームとノードN＋1についての初期の諸バンパー・フレーム）は、両方のノードにとって「見える」。図3Cに示されるように、ある実施形態では、ノードN＋1上の第2の同期カットは、位置C₀＋Bにあってもよい。ここで、C₀はセグメントの最初のフレームを示す。

【0079】

ある実施形態では、これらの初期同期分割は段階410の一部として実行されてもよく、これらの一次シーンに対して分割アルゴリズム400を適用することができる。唯一のマイナーな変更は初期化段階410にあり、各ノードについての集合Ω_Pは1つの追加的な同期シーンカット（320）を含む。その後、それ以上の分割を行う必要がないため、初期化後に直接段階420にジャンプできる。次に、アルゴリズムは通常どおり進行する。

【0080】

あるいはまた、もとのΩ_P集合が与えられている場合、一次シーンが完全に現在のノードにあるのではないことを検出したら、この同期細分は、式（9）を使用する代わりに、前述の規則（たとえば、ノードNについて、一次シーンがノードNで終了していない場合、位置C_L-1－Bにシーン・カットを追加する）を使用して実行されてもよい。

【0081】

これらの初期同期分割を用いると、孤立したノードNおよびN＋1によって計算されたサブシーン・カットは、合理的な程度に互いに整列されることが期待される。ノードNについては、Ψ₁ ^Nを、図3Bに示される、XMLシーン・カットとAuto-SCDシーン・カットをマージした後に得られるシーンの第1のリストを表すとする。これらのシーンは、一次シーンと呼ばれる。セグメント境界上にあるシーンは、二次シーンまたはサブシーンに分割される。二次シーンまたはサブシーンは、第1のリストにアペンドされる追加的なシーン・カットを生成する。これらの二次シーン・カットとは別に、セグメントの最初のフレームf_NLもシーン・カットである。ノードはセグメントの先頭からしかエンコードを開始できないため、そのフレームはシーン・カットとして扱われる。同様に、セグメントの最後のフレームf_(N+1)L-1はセグメントにおける最後のシーンの末尾である。たとえば、次の初期割り当てをもつノードNを考える：一次シーン1、2、および3。一次シーン1は二次シーンA、B、およびCに細分され、一次シーン2は変更されないままであり、一次シーン3は二次シーンD、E、およびFに分割されてもよい。Ψ_l ^NおよびΨ_r ^Nがそれぞれ、ノードNについての左右のセグメント境界の近くのシーン・カットの集合を示しているとする。すると、シーンの第2のリストΨ₂ ^Nは数学的に次のように表現できる。

【数32】

【0082】

セグメント長より長いシーンについては、左または右の別個の集合ではなく、二次シーン・カットの単一の集合が存在する可能性がある。S_kは、リストΨ₂ ^N内のk番目のシーンについての開始フレーム・インデックスを表すとする。リスト内にK個のシーンがあるとすると、リスト内の要素は

【数33】

のように表すことができる。ここで、S_Kはセグメントの最後のフレームの直後にあるダミーのシーン・カットを示す。それは、リストの終わりのマーカーとしてのみ使用される。
デフォルトでは、セグメントの最初のフレームはノードNについての新しいシーンの開始でもあるので、S₀＝f_NLである。シーンの第2のリストΨ₂ ^N（222）は、サブシーン関連の補助データとともにパス2に渡される。

【0083】

シーンの第2のリストΨ₂ ^Nは、セグメント内の一次および二次シーンについての詳細をもつ。一次シーンはパス1からの追加データは必要としない
が、二次シーンはパス1からの次の補助データを必要とする。
1.一つ一つの二次シーンについての左側と右側の重複フレーム数。
2.トリム・パス補正データ。これは下記のうちの一つまたは複数を含む：
a.各サブシーンについての平均HDRルーマ値
b.各サブシーンについての平均SDRルーマ値
c.各サブシーンについての低強度領域（暗部）におけるマージ点
d.各サブシーンについての高強度領域（ハイライト）におけるマージ点
まとめて、前記トリム・パス補正データは、トリム・パス・パラメータ、トリム・パラメータ、トリム・パス補正パラメータ、またはトリム補正パラメータと呼ばれることもある。

【0084】

「マージ点」という用語は、SDRまたはHDRドメインにおけるルミナンス値を指し、トリム・パス操作の潜在的な影響を補正するためにもとの前方再整形関数（FLUT）を修正する境界点として機能する。たとえば、

【数34】

〔便宜上、Lと書くこともある〕と記される連続するフレームの集合（または窓）内の低と高のマージ点s_l ^m,Lおよびs_h ^m,Lおよび[0,1)における正規化されたSDR値が与えられると、FLUTはSDRルミナンス範囲[0,s_l ^m,L]および[s_h ^m,L,1)において調整されうる。限定なしに、低強度および高強度ルミナンス領域の例は、それぞれ[0,0.5)および[0.5,1)内の正規化されたルミナンス値であってもよい。マージ点を生成する例示的方法は、特許文献５におよび本明細書の後のセクションで提供されている。

【0085】

提案されるアーキテクチャーには、シーンの2つの主なタイプ、つまり一次シーンおよび二次シーンがある。パス2は、すべてのシーンを処理して、そのシーン内の一つ一つのフレームについて、メタデータ・パラメータの同じ集合を生成する。パス2の前方フェーズでは、再整形パラメータがそのシーンの統計収集窓内のすべてのフレームから計算される。
・一次シーンについては、統計収集窓は一次シーン内のすべてのフレームを含む。一次シーン外のフレームは参照されない。
・逆に、二次シーンについては、統計収集窓は、その二次シーン内のすべてのフレームに加えて、前または次のサブシーンからのいくつかの重複フレームを含む。これらの追加フレームは重複フレーム（overlapping frame）と呼ばれる。

【0086】

原則として、一次シーンはどの近傍シーンとも重複をもたず、二次シーンは近傍の二次シーンと重複をもつことが許容されるだけである。つまり、サブシーンについての重複フレームは、近傍の一次シーンからくることは決してない。重複パラメータθ（式（13）を参照）はユーザーによって設定され、デフォルト値は1である。パス2における後方フェーズは、一次または二次シーンについてそのような重複は使用しない。

【0087】

前述のように、カラリストは、ディレクターの意図を満たすために、参照SDR（125）においてトリムを導入することがある。時に、トリムは、ハイライトのクリッピングおよび／または低強度値のつぶれにつながる。トリムの影響を受けたSDRからHDRを再構成すると、再構成されたHDRドメインにおいて望ましくないアーティファクトが導入される。これらのアーティファクトを減らすには、特許文献５および本明細書の後のセクションで論じられるように、トリム補正アルゴリズムは、（i）コンテンツにおける最小、最大、および平均（またはアベレージ）HDRおよびSDRルーマ値を使用して計算された参照ディスプレイ・マッピング（DM）曲線（ii）低および／または高強度領域におけるマージ点を必要とする。

【0088】

ここで使用されるところでは、「ディスプレイ・マッピング（display mapping）」（DM）曲線という用語は、（第1のダイナミックレンジでの）画像フレーム内のピクセル値を（第2の、異なるダイナミックレンジででの）ターゲット・ディスプレイ上のピクセル値にマッピングする関数を表す。たとえば、限定なしに、特許文献８で論じられているように、ビデオ・フレームにおける最小、最大、および平均ルミナンス値と、ターゲット・ディスプレイにおける対応する最小、平均、および最大ルミナンス値が与えられた場合、入力HDR値を対応するHDRまたはSDR値にマッピングするトーンマッピング曲線を決定できる。ある実施形態では、そのようなトーンマッピングまたはディスプレイ・マッピング（DM）曲線を使って、トリム・パスによるアーティファクトが低減されるようにもとの前方再整形関数が調整される必要があるHDR値の範囲をよりよく決定しうる。

【0089】

二次シーンにおけるトリム処理のために、参照DM曲線において使用される最小および最大のHDRおよびSDRルーマ値は、ビデオ・シーケンス全体についてグローバルに固定されている。つまり、各二次シーンにおける最小および最大のHDRまたはSDRルーマ値を計算する必要はない。ルーマの平均HDR値およびSDR値をそれぞれv_avgおよびs_avgで表すとする。低強度および高強度のSDR領域におけるマージ点をそれぞれs_l ^mおよびs_h ^mで表すとする。例として、セグメントPが2つのノードによって処理される図3Dのシナリオを考える。前記2つの同期シーン・カットの挿入後、ノードNはサブシーンA、B、Cを処理し、ノードN＋1はサブシーンD、E、Fを処理する。ノードNとN＋1は、トリム・パラメータを収集するために使用されるトリム・パラメータ窓L（345）における同じフレームの集合へのアクセスをもつ。Lにおける各フレーム・インデックスjについて、ルーマ平均値v_avg ^Y,jおよび2つのSDRマージ点s_l ^m,j、s_h ^m,j（後に、シーン・ベースのHDRマージ点v_l ^m、v_h ^mに変換される）が計算される。下記に示されるように、これらの平均値が平均されて、Lについての出力トリム・パラメータ・セットが得られる。

【数35】

ここで、Bはバンパー・フレームの数を表す。トリム・パラメータ窓Lについて、低強度と高強度のマージ点は次のように導出される。

【数36】

トリム・パラメータ・セットv_avg ^L、s_l ^m,L、s_h ^m,LはLにおけるすべてのフレームに対して計算されるため、両方のノードについて同じになる。これらの値は、両方のノード上の親シーン（たとえばシーンA、B、E、F）のすべてのサブシーンにコピーされる。同じ値のセットがすべてのサブシーンによって使用されるため、時間的安定性が維持される。

【0090】

ある実施形態では、トリム・パラメータ窓は次のように定義されうる：
・親シーンを後続の近傍ノードと共有する場合：
フレームC_sr＝C_L-1－Bから、フレームC_srを含め、ノード・セグメントの末尾にある諸バンパー・フレームの最後までのフレーム。ここで、Bはバンパー・フレームの数を表し、C_L-1はセグメントの最後のフレームを表す。
・親シーンを前の近傍ノードと共有する場合：
ノード・セグメントの開始前の諸バンパー・フレームの先頭からフレームC_sl＝C₀＋Bまでの、ただしC_slを含まないフレーム。ここで、C₀はセグメントの最初のフレームを表す。

【0091】

複数のノードにまたがる、より長い親シーンについては、トリム・パラメータはコピーまたは補間される。図3Eは、3つのコンピューティング・ノードによって処理される長い親シーンの例を示している。v_avg ^Y,L1、s_l ^m,L1、s_h ^m,L1を、L1（350）におけるトリム・パラメータの集合とする。ノードN－1内のすべてのサブシーンは、これらのパラメータのコピーを得る。L2（355）におけるトリム・パラメータをv_avg ^Y,L2、s_l ^m,L2、s_h ^m,L2とすると、ノードN＋1内のすべてのサブシーンはトリム補正のための値のL2集合を使用する。

【0092】

ノードNについては、任意のサブシーンについてのトリム値は次のように計算される。ρはトリム・セット内の3つのパラメータのいずれかを表すとする。a₀はノードNにおける開始トリム・パラメータ窓350の終了後の最初のフレーム（351）を表すとする。フレームa₀およびa₀より前のすべてのフレームはトリム・セットL1を使用する。a_n（353）はノードNにおける末尾のトリム窓355の最初のフレームを表すとする。フレームa_nおよびa_nから始まるすべてのフレームはトリム・セットL2を使用する。これらの2つのトリム・パラメータ窓の間の他のすべてのフレーム（すなわち、フレーム・インデックスj∈[a₀,a_n－1]をもつフレーム）、たとえばサブシーンA内のフレームについては、トリム・パラメータはトリム・セットL1とL2からの線形補間によって、アンカー・フレームa₀およびa_nからの距離に依存して計算される。たとえば、ある実施形態では、j番目のフレームについては、ρ^jトリム・パラメータは次のように計算されてもよい。

【数37】

ここで、ρ^L1およびρ^L2は対応するL1およびL2トリム・パラメータを表す（式(22)および(23)参照）。次いで、ノードNにおいて、前記2つのトリム・パラメータ窓内の、フレームa_s＞a₀およびa_e－1＜a_n内の任意のサブシーンAについては、サブシーンAにおけるシーン関連トリム・パラメータは、そのサブシーン内のフレーム・トリム・パラメータの平均を使って計算される。すなわち：

【数38】

【0093】

トリム・セット内の任意のパラメータについて同じ式が適用される。サブシーンをまたぐトリム・パラメータの補間は、ノードの両端で計算されたL1におけるトリム・パラメータ（すなわち、ρ^L1）およびL2におけるトリム・パラメータ（すなわち、ρ^L2）からの漸進的な遷移を保証する。補間なしでは、セグメントのエッジにおける異なるトリム・パラメータによって、あるサブシーンから次のサブシーンにかけて、前方再整形パラメータが大幅に変化し、そのことは、点滅または突然の明るさの変化を引き起こす可能性がある。

【0094】

式（24）は単純な線形補間を適用するが、二次、双線形、多項式、スプラインなどの当技術分野で知られている代替的な補間方法が使用されてもよい。

【0095】

図4Bは、ある実施形態による、更新されたシーン・ベースの補正トリム・パス・パラメータを生成する例示的なプロセス（450）の概要を示す。図4Bに示されるように、プロセスは段階455で、もとのトリム・パス補正パラメータ（たとえば各フレームについての平均SDRおよびHDR値とマージ点）にアクセスすることによって、開始する。一次シーンが完全に現在ノードで実行される場合、アクションは必要なく、プロセスは前方再整形（225）に進み、そこで、後述するように前方再整形関数がトリム・パス補正されてもよい（プロセス470を参照）。ノードがシーンが単一の近傍ノード（たとえば、先行ノードまたは後続ノード）と共有されていることを検出した場合、段階457で、ノードはその同期シーン・カットを使用して、トリム・パス・パラメータ窓（たとえば345）を定義し、トリム・パス補正パラメータの新しいセットLを生成する（たとえば、式(22)および(23)を参照）。新しいセットは、現在ノードにおけるすべての二次シーンについて、シーン・ベースの前方再整形関数（225）を生成するために使用される（段階459）。

【0096】

ノードが、一つまたは複数のシーンがその近傍ノード（たとえば、先行ノードと後続ノード）の両方と共有されていることを検出した場合、段階462で、ノードは、2つの同期シーン・カットを使用して、2つのトリム・パス・パラメータ窓（たとえば350と355）を定義し、更新されたトリム・パス補正パラメータの2つの新しいセット（L1およびL2）を決定する（たとえば、(22)および(23)を参照）。L1およびL2を使って、段階464で、ノードは、前記2つのトリム・パス・パラメータ窓の間のすべてのフレームについて、L1とL2の間の値をその距離に応じて補間することによって、更新されたトリム・パス・パラメータを生成する。次に（段階466）、次の割り当てが行われる：
・第1の同期フレームより前のすべての二次シーンについては、トリム補正パラメータのL1セットを使用する。
・第2の同期フレームより後のすべての二次シーンについては、トリム補正パラメータのL2セットを使用する。
・第1および第2の同期フレーム間の各二次シーンについては、その二次シーン内のすべてのフレームについて対応する補間された補正トリム・パラメータを平均することによって、新しいシーン・ベースのトリム補正セット（たとえばρ^A）を生成する（たとえば、式（25）を参照）。

【0097】

パス2：シーン・ベースのエンコード
図2に示されるように、すべてのノードは、ビットストリームにエンコードされるセグメントを割り当てられる。上記で説明したパス1は、近傍ノードをまたぐ時間的一貫性を維持しながら、再整形関連のメタデータのビットレートを最小化する一次および二次シーンのリストを生成する。パス2は、このリストを使用して、セグメント内のシーンをエンコードし、再整形されたSDR符号化ビットストリームを生成する。図3Aに示されるように、バンパー・フレーム（309）はエンコードされず、二次シーンの時間的安定性を維持するために、前方再整形パスにおいて統計を収集するために使用される。

【0098】

図2に示されるように、パス2は段階225、230、235を含む。シーンまたはサブシーン・レベルでの、同じ処理パイプラインの代替的なビューも図5に示されている。前方再整形のために、一つの主要な相違を除いて、一次シーンと二次シーンは同様の仕方で処理される：一次シーンは前方再整形において重複をもたないが、二次シーンは近傍のサブシーンといくらかの重複をもつ。後方再整形については、一次シーンと二次シーンについて、プロセスは全く同じである。後方再整形フェーズに重複はない。再整形メタデータ（reshaping metadata）と圧縮された基本層からなる複合ビットストリーム（240）が出力として生成される。次に各ブロックの詳細について説明する。

【0099】

セグメントからシーンへのリスト（segment to scene list）（222）が与えられて、図5はクラウドにおける各ノードでのシーン・ベースのエンコードのための例示的なアーキテクチャーを示している。限定なしに、図2のブロック225は、ブロック505とブロック132を使用して、示されているように分割されうる。k番目のシーンについての開始フレーム・インデックスをS_kと記すことにする。よって、シーンkが与えられると、ノードはフレームS_k、S_k＋1、S_k＋2、…、およびS_k+1－1を処理する必要がある。シーンについての参照HDRフレーム（504）と対応するSDRフレーム（502）は、対応するSDRおよびHDRシーン・バッファ（図示せず）に格納されうる。先に論じたように、バンパー・フレームは二次シーンについての統計データを生成するためにのみ使用され、一次シーンを処理するときには無視される。

【0100】

図5から、段階505では、入力SDRフレームとHDRフレームが、シーン・ベースの前方再整形関数を生成するために使用される。そのような関数のパラメータは、シーン全体について使用され（フレームごとに更新されるのではなく）、よって、メタデータ152のためのオーバーヘッドを削減する。次に、段階132では、前方再整形はHDRシーン（504）に適用されて、再整形された基本層229を生成し、それが圧縮ユニット（230）によって符号化されて、符号化されたビットストリーム144を生成する。最後に、段階235において、再整形されたSDRデータ229ともとのHDRデータ（504）が、下流のデコーダに一緒に送信されるべき、後方再整形関数のためのパラメータ152を生成するために使用される。これらの段階については、次により詳しく説明する。限定なしに、段階は3次元マッピングテーブル（three-dimensional mapping table、3DMT）表現と呼ばれるもののコンテキストで記述される。ここでは、動作を簡略化するために、各フレームは3次元マッピングテーブルとして表され、各色成分（たとえばY、Cb、またはCr）は「ビン」に細分され、画像を表現するために明示的なピクセル値を使用する代わりに、各ビン内のピクセル平均を使用する。3DMTの定式化の詳細は、特許文献３に見出すことができる。

【0101】

前方再整形関数（505）のシーン・ベースの生成は二つのレベルの動作からなる。まず各フレームについて統計が収集される。たとえばルーマについては、SDR（h_j ^s(b)）とHDR（h_j ^v(b)）フレーム両方についてのヒストグラムを計算し、それらをj番目のフレームについてのフレーム・バッファに格納する。ここで、bはビン・インデックスである。各フレームについての3DMT表現を生成した後、次のように表される「a/B」行列表現を生成する。

【数39】

ここで、chはクロマ・チャネル（たとえばCbまたはCr）を指し、(S_j ^F)^Tは参照HDRシーン・データと前方再整形関数のパラメトリック・モデルに基づく転置行列を表し、v_j ^F,chは、SDRシーン・データと前方再整形関数のパラメトリック・モデルに基づくベクトルを表す。

【0102】

現在のシーン内の各フレームの統計を与えられて、シーン・レベルのアルゴリズムを適用して、最適な前方再整形係数を計算できる。たとえば、ルーマについては、SDR（h^s(b)）およびHDRデータ（h^v(b)）についてのシーン・ベースのヒストグラムを、フレーム・ベースのヒストグラムを合計または平均することによって生成できる。たとえば、ある実施形態では、

【数40】

【0103】

両方のシーン・レベルのヒストグラムをもつと、ある実施形態では、限定なしに例として、累積密度関数（CDF）マッチング（特許文献４～５）を適用して、HDRからSDRへの前方マッピング関数（FLUT）を生成することができる。たとえば、

【数41】

しかしながら、任意の既知の再整形方法を適用して、もとの前方マッピング関数を生成することができる。ノードがトリム・パス補正を適用する必要性を検出した場合、この前方再整形関数は、参照DM曲線および次に論じられるトリム・パス補正方法を使用して補正される必要がある。

【0104】

フレーム・ベースのFLUTは典型的には、フレームの最小、平均、および最大のHDRおよびSDRルミナンス値に基づいて設計されているが、参照DM曲線は少し異なる仕方で構築される。一次シーンについては、参照DM曲線はシーン内のすべてのフレームについての最小および最大のHDRおよびSDRルミナンス値を使用する。二次シーンについては、参照DM曲線はグローバルな最小値および最大値を使用する。これらのグローバルな最小およびグローバルな最大のHDRおよびSDR値は、対応するフレーム・ベースの値よりも広いダイナミックレンジを定義しうる。ある実施形態では、これらの値は、データ伝送中の値の許容される正規の範囲を表すために事前選択されてもよい。たとえば、ある実施形態では、SMPTE範囲に基づいて定義されてもよく、よって、16ビットHDRデータと8ビットSDRデータについて、DM曲線は[4096,60160]内のHDR符号語を[16,235]内のSDR符号語にマッピングする。あるいはまた、可能な値の範囲全体を適用してもよい。これはたとえば、16ビットHDR範囲全体[0,65535]を10ビットSDR範囲全体[0,1023]にマッピングすることによる。

【0105】

一次シーンについては、SDRおよびHDRシーン・ヒストグラムを使用して、シーン内のクリッピング関連の歪みが測定される。たとえば、正規化されたSDRヒストグラム（たとえば、式（55）を参照）の値がある閾値（たとえば、8ビットSDRデータについては0.20、10ビットSDRデータについては0.05）よりも低い場合、および／または「分散ピーク（variance peak）」がない場合（式（56）～（58）を参照）、トリム補正は必要ない。すなわち、

【数42】

である。それ以外の場合で、トリム関連のクリッピングが検出される場合、トリム補正プロセスが有効にされる。範囲制約されたDM曲線

【数43】

はトリム補正において頻繁に使用され、次のように構築される。最初に、たとえばシーン内の最小、平均、および最大のHDRルーマ値、すなわちv_min ^Y、v_avg ^Y、v_max ^Yを使用して、参照DM曲線

【数44】

が構築される：

【数45】

ここで、DM_TONE_MAPPING()は、HDRルミナンス範囲[v_min ^Y,v_max ^Y]を対応するSDR範囲[s_min ^Y,s_max ^Y]にマッピングするトーンマッピング表現を指す（たとえば、特許文献８を参照）。差分FLUT

【数46】

およびDM曲線

【数47】

の値は、もとの対応するものから

【数48】

として導出される。ここで、iはFLUT配列内のインデックスを表す。インデックス範囲[v_min ^Y＋1,v_max ^Y]の外の値は0に設定される。次いで、差分DM曲線は、FLUT曲線のSDR範囲に制限（またはスケール）される。

【数49】

【0106】

この有界にされた差分DM曲線は、範囲制約された差分DM曲線と記される。この範囲制約された差分DM曲線の要素の累計（単純な積分演算に対応）は、範囲制約されたDM曲線を与える：

【数50】

【0107】

低強度トリム補正については、もとのFLUTおよびDM曲線は、v_min ^Yからマージ点までマージされる。他方、高強度トリム補正では、曲線は高マージ点から先が組み合わされる。マージ点は、トリム補正のエリアに依存して、FLUTとDMのマージ・プロセスの先頭／末尾をマークするFLUTインデックス値として定義できる。低強度領域における1つのマージ点、および／または高強度領域についての1つのマージ点があってもよい。

【0108】

特許文献５および後のセクション（「トリム・パス補正のためのマージ点の計算」参照）においてより詳細に述べるように、SDR符号語範囲に関するマージ点の初期推定から始める。これらの最初の推定値を、低強度および高強度領域についてそれぞれs_l ^m,1およびs_h ^m,1とする。FLUT曲線

【数51】

は、SDR符号語をHDR符号語に逆マッピングすることにより、HDR範囲における等価なマージ点、つまりv_l ^m,1およびv_h ^m,1を得るのに役立つ：

【数52】

これらの最初の推定値は、SDR範囲内のマージ点の第2の、より正確な推定値s_l ^m,2およびs_h ^m,2を得るために、範囲制約されたDM曲線を使用して洗練される。

【数53】

SDRドメインにおけるこれら第2の推定値は、次いで、等価なHDRマージ点値に逆マッピングされる。これらの第2のHDRマージ点v_l ^m,2およびv_h ^m,2が、最終的なマージのために使用される。

【数54】

【0109】

マージ中、クリッピングを避けるために、低または高強度領域では、差分FLUT曲線は範囲制約された差分DM曲線に置き換えられる。結果として得られるハイブリッド曲線のSDRマップされた範囲を、もとのFLUT曲線における範囲と同じに保つために、範囲制約された差分DM曲線は、示されるように適切にスケーリングされるべきである。
・低強度トリム補正：

【数55】

・高強度トリム補正：

【数56】

・インデックス位置の残りについて：

【数57】

最後に、更新されたまたはトリム補正された差分FLUT曲線

【数58】

の累計が、最終的なトリム補正されたルーマFLUTを提供する。

【数59】

【0110】

プロセスの例が図6Aに示される。プロット610と605はそれぞれもとのFLUTと参照DM曲線の例を示す。プロット615は、スケーリングおよび範囲制約されたDM曲線の例を与える。HDR値620は、トリム・パス補正のために使用される例示的なハイライト・マージ点を示す。次に、トリム・パス補正されたFLUTを生成するために、マージ点（620）の後では、もとのFLUT（610）におけるマッピング関数が、スケールされたDM曲線の対応する部分に基づいて置き換えられる。同様のアプローチは、暗部についてのマージ点より下のもとのFLUTを置き換えために適用できる（図示せず）。

【0111】

二次シーンについては、以前に生成された更新されたトリムパラメータ（プロセス450を参照）をもってプロセスが開始される。前に論じられたように（図4Bにおけるプロセス450を参照）、近傍ノードにおけるトリム・パラメータ窓における共通フレームのみを使用して、すべてのサブシーンについて新しいトリム補正パラメータ・セットが決定される。このトリム補正パラメータ・セットは、補助データ（212）から読み込まれ、そのサブシーンについてのトリム補正の際に使用される。

【0112】

現在のサブシーンについてのデータブロックから読み込まれたSDRマージ点が今、低強度の範囲と高強度の範囲についてそれぞれs_l ^mおよびs_h ^mであるとする。これらのマージ点のHDR等価物v_l ^mおよびv_h ^mは、逆マッピングを使用して決定できる。その後、これらのマージ点は、ハイブリッドFLUTおよびDM曲線を構築するために使用されうる。

【数60】

とする。

【0113】

ある実施形態では、参照DM曲線は、可能な最大範囲[0,2^BH－1]内の、HDR_minおよびHDR_maxと記される、グローバルな最小および最大の可能なHDRルーマ符号語の値に基づいて（たとえば、制約されたSMPTE範囲によって定義されたものとして）生成される。ここで、B^HはHDR符号語のビット深さである。ただし、平均値v_avg ^Yは、そのサブシーンについてのトリム補正パラメータ・セットから得られる。よって、

【数61】

ここで、HDR範囲[HDR_min,HDR_max]が[SDR_min,SDR_max]（たとえば、制約されたSMPTE範囲、完全な範囲[0,2^Bs－1]、または[0,2^Bs－1]内の他の任意の範囲；ここで、B_SはSDRシーケンスのビット深さを表す）にマッピングされる。

【0114】

時間的安定性のために、すべてのサブシーンについて同様のDM曲線を使用することが勧められる。固定の最小／最大値を選択すると、DM曲線がシーケンスを通じて一貫していることが許容され、有効な符号語範囲全体をカバーすることもできる。これらの最小／最大値は構成可能であり、シーケンス内で可能な最低／最高の可能な符号語の値に設定されるべきである。

【0115】

次に、差分DM曲線

【数62】

およびFLUT曲線

【数63】

は

【数64】

として導出される。

【0116】

低強度領域におけるトリム補正については、DM曲線はレガシー方法と同様にスケールされる。ある実施形態では、FLUTにおいて一定のオフセットを導入することを避けるために、低強度領域ではスケーリングが好ましい。高強度領域では、FLUT曲線は、スケーリングなしで、もとのDM曲線によって置き換えられる。
・低強度トリム補正：

【数65】

・高強度トリム補正：

【数66】

・インデックス位置の残りについて：

【数67】

【0117】

最後に、更新またはトリム補正された差分FLUT曲線

【数68】

の累計が、最終的なルーマFLUT T^Fを与える。

【数69】

【0118】

図6Aにおける曲線および高強度のみのマージ点に基づく例が図6Bに示される。DM曲線のスケーリングされたバージョンではなく、もとのDM曲線を使用する理由は、SDR範囲にわずかな変化がある場合にFLUTを修正することを避けるとともに、異なるノードによって処理される可能性のある連続するサブシーン間のよりよい時間的一貫性を維持するためである。

【0119】

図4Cは、ある実施形態によるこれらの段階の例示的なプロセス（470）を提供する。図4Cに示されているように、段階472では、プロセスは、トリム補正されるべきもとのFLUT、トリム補正のために使用されるもとのマージ点の集合（たとえば、式（23）または式（25）を参照）、およびシーン・ベースの最小、平均、および最大のHDRルミナンス値（たとえば、v_min ^Y、v_avg ^Y、v_max ^Y）にアクセスすることによって始まる。次に、ノードは、処理されるべきシーンが一次か二次かを識別する。一次シーンについては、トリム・パス補正が必要とされる場合、段階474で、参照DM曲線が生成される（式（29）を参照）。差分FLUTおよびDM曲線（段階476）を使用して、段階478では、ノードは、差分DM曲線および対応する範囲制約されたDM曲線を生成し（式（30）～（32）を参照）、範囲制約されたDM曲線のマッピングされたSDR範囲がもとのFLUTのものと同じになるようにする。範囲制約されたDM曲線が与えられて、段階480では、ノードは、第2の、より正確なマージ点の集合を生成する（式（35）を参照）。次いで、段階482で、新しいマージ点を使用して、もとの差分FLUT曲線が編集される。このとき、段階478で生成され、FLUT曲線のもとのSDR範囲に一致するために必要とされるようにスケーリングされた範囲制約された差分DM曲線からのセグメントを用いる（式（36）～（38）を参照）。最後に、段階485で、編集された差分FLUTからトリム補正されたFLUTが生成される。

【0120】

二次シーンについては、段階490で、シーン・ベースの平均ルミナンス値を使用するが、グローバルな最小および最大のHDRルミナンス値は使用せずに、参照DMが生成される（たとえば、HDR_min、v_avg ^Y、HDR_max）。一次シーンの場合と同様に、段階492で、差分FLUTと参照DM曲線が構築される。一次シーンの場合とは異なり、もとのマージ点は洗練されない。段階494は段階482に似ている；もとのマージ点を使用して、もとの差分FLUT曲線が編集され、このとき、段階492で生成された差分DM曲線からのセグメントを用いるが、低および高のマージ点の扱いが少し異なる。低強度マージ点については、差分参照DM曲線はSDRダイナミックレンジに一致するようにスケーリングされる（式（43））。高強度マージ点については、差分参照DM曲線は追加のスケーリングなしで使用される（式（44）を参照）。最後に、段階485で、編集された差分FLUTから、トリム補正されたFLUTが生成される。

【0121】

クロマ（たとえばch＝Cbまたはch＝Cr）については、やはり式（26）におけるa/Bフレーム・ベースの表現を平均化して、次式

【数70】

によって与えられるシーン・ベースのa/B行列表現を生成し、再整形関数の多色多重回帰（MMR）モデル（特許文献２～３）のためのパラメータを生成することができる。

【数71】

次いで、再整形されたSDR信号（229）は

【数72】

として生成されることができる。

【0122】

シーン・ベースの後方再整形関数（152）の生成も、フレーム・レベルとシーン・レベルの両方の動作を含む。ルーマ・マッピング関数は単一チャネル予測器であるため、単に前方再整形関数を逆にして後方再整形関数を得ることができる。クロマについては、再整形されたSDRデータ（229）ともとのHDRデータ（504）を使用して3DMT表現を形成し、新しいフレーム・ベースのa/B表現を

【数73】

として計算する。

【0123】

シーン・レベルでは、ルーマについては、特許文献３のヒストグラム重み付けBLUT構築を適用して後方ルーマ再整形関数を生成してもよい。クロマについては、やはりフレーム・ベースのa/B表現を平均して、シーン・ベースのa/B表現を計算できる。

【数74】

ここで、後方再整形マッピング関数についてのMMRモデル解が

【数75】

によって与えられる。その場合、デコーダでは、再構成されたHDR信号（160）は、

【数76】

として生成できる。

【0124】

トリム関連のクリッピングが、低強度または高強度の領域に存在しうる。これらのクリッピング・アーティファクトを修正するために、前に論じたように、トリムの影響を受けた前方再整形曲線（FLUT）がトリムなしのディスプレイ・マッピング（DM）曲線とマージされて、クリッピングを回避するハイブリッド曲線を構築する。このハイブリッド曲線を生成するための2つの重要なパラメータは、FLUT曲線とDM曲線についてのマージ点である。最初に、低強度領域について一つ、高強度領域について一つのこれらのマージ点（たとえば、s_l ^mおよびs_h ^m）は、SDR符号語範囲において計算される。次いで、上記および特許文献５で論じられているように、HDR範囲において等価なマージ点（たとえば、v_l ^mおよびv_h ^m）が、一つまたは複数の変換を使用して導出される。これらのHDRマージ点は、最終的には、ハイブリッドの（トリム補正された）FLUTを構築するために使用されるものになる。このセクションは、SDR符号語範囲におけるマージ点s_l ^mおよびs_h ^mを計算する例示的な方法を示す。

【0125】

トリム・パス補正のために必要とされるSDRおよびHDRヒストグラムともとのFLUTは、フレーム・ベース、シーン・ベース、または窓ベースであってもよい（たとえば、フレームの狭い窓内で計算される）が、マージ点は同じ仕方で評価される。

【数77】

をトリム関連のクリッピングによって影響を受けるFLUT曲線を表すものとし、h^s、h^vをそれぞれSDRおよびHDR符号語ヒストグラムとする。

【0126】

最初の段階は、h_sm ^sとして表される、SDRヒストグラムの移動平均フィルタリング・バージョンを使用して、SDRルーマ・ヒストグラムh^sにおけるピークを検出することである。ある実施形態では、もとのSDRヒストグラムと平滑化されたSDRヒストグラムの間の要素ごとの差分が、これらのピークの位置を推定するために使用されてもよい。

【数78】

ここで、B_SはSDR符号語のビット深さを表す。ヒストグラムh_pk ^sは、各要素をヒストグラム内のすべてのエントリーの和で割ることによって正規化されて、正規化されたヒストグラムを生成する

【数79】

【0127】

閾値（たとえば8ビットSDRについては0.20、10ビットSDRについては0.05）よりも高い正規化された値

【数80】

をもつ各SDRビンbは、有効なピークである。そのピークの位置τ_locはbである、すなわちτ_loc＝bであり、その激しさ（severity）τsevは

【数81】

である。これらのピークは、複数のピクセルが単一のSDR符号語にマッピングされていることを意味し、これはクリッピングの兆候である。これらのピークの位置は、潜在的なクリッピングの領域を、たとえば低／高強度領域において特定するのに役立つ。たとえば、ある実施形態では、SDR範囲は2つに分割され、半分（2^Bs-1）より下のピークは低強度ピークと見なされ、それ以外の場合は高強度のピークと見なされる。

【0128】

HDRからSDRへのマッピングのため、HDR符号語のビット深さはSDRのビット深さよりも高いので、複数のHDR符号語が単一のSDR符号語にマッピングされる。クリッピングされた領域では、ずっと多くの符号語が同じSDR符号語にマッピングされるため、クリッピングはこの多対一マッピングを悪化させる。任意のSDR符号語cについて、それに割り当てられているHDR符号語を見つけ、それらの符号語の分散を計算できる。

【数82】

とする。ここで、cは、全SDR符号語範囲からの任意のSDR符号語値を示す。次いで、cについてのドメイン横断分散σ_c ²を次のように計算できる。

【数83】

【0129】

ドメイン横断分散σ_c ²は、すべてのSDR符号語値において評価され、すべてのSDR符号語分散の和で割ることによって正規化され、

【数84】

が得られる。閾値より高い正規化分散値

【数85】

は、

【数86】

をもつ分散ピークとして指定される。

【0130】

SDRヒストグラムおよびドメイン横断分散配列におけるピークは集合内に収集され、低強度グループと高強度グループに分離される。jが集合内の任意のピークを表し、τ_loc ^j＜2^Bs-1であるとすると、それは低強度ピークであり、あるいはそうでない場合は、そのピークは高強度領域に属する。低強度領域については、マージ点s_l ^m,jはj番目のピークについて次のように推定される。

【数87】

ここで、ηはヒューリスティックに決定される定数（たとえば8ビットSDRについてはη＝25、10ビットSDRについてはη＝100）を表す。

【0131】

すると、SDR範囲における低マージ点s_l ^mは、2^Bs-1によって制限されるこれらのマージ点すべての最大値になる。

【数88】

高強度領域については、SDR範囲における高マージ点s_h ^mは次のように導出される。

【数89】

これらのSDRマージ点は、後で一つまたは複数の変換を使用して最終的なHDRマージ点を見つけるために使用される。

【0132】

例示的なコンピュータ・システム実装
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されるシステム、集積回路（IC）デバイス、たとえばマイクロコントローラ、フィールド・プログラマブル・ゲート・アレイ（FPGA）、または他の構成可能またはプログラマブルなロジック・デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび／またはICは、ここに記載されるような、HDRビデオのクラウド・ベースのビデオ符号化におけるトリム・パス補正に関する命令を実行、制御、または執行することができる。コンピュータおよび／またはICは、ここに記載されるようなHDRビデオのクラウド・ベースのビデオ符号化におけるトリム・パス補正に関する多様なパラメータまたは値の任意のものを計算することができる。画像およびビデオのダイナミックレンジ拡張実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらのさまざまな組み合わせで実装されうる。

【0133】

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを含む。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ等における一つまたは複数のプロセッサは、該プロセッサにとってアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述したようなHDRビデオのクラウド・ベースのビデオ符号化におけるトリム・パス補正のための方法を実装することができる。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されると、該データ・プロセッサに本発明の方法を実行させる命令を含む一組のコンピュータ読み取り可能な信号を担持する任意の非一時的かつ有形の媒体を含んでいてもよい。本発明によるプログラム・プロダクトは、幅広い多様な非一時的かつ有形の形のいずれかであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体等の物理的な媒体を含むことができる。プログラム・プロダクト上のコンピュータ読み取り可能信号は、任意的に、圧縮または暗号化されてもよい。

【0134】

構成要素（たとえば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記で言及されている場合、別段の指示がない限り、該構成要素への言及（「手段」への言及を含む）は、本発明の示されている例示的実施形態において機能を実行する開示された構造と構造的に等価でない構成要素を含む、記載された構成要素の機能を実行する（たとえば、機能的に同等である）任意の構成要素を、当該構成要素の等価物として含むものとして解釈されるべきである。

【0135】

等価物、拡張、代替物およびその他
このようにして、HDRビデオのクラウド・ベースのビデオ符号化におけるトリム・パス補正およびノード・ベースの処理に関連する例示的実施形態が記述されている。前述の明細において、本発明の実施形態は、実装によって変わりうる多数の個別的詳細を参照して記述されている。したがって、何が本発明であり、何が出願人によって本発明であると意図されているかの唯一かつ排他的な指標は、その後の訂正があればそれも含めて請求が認められる特定の形での、この出願から発行される一連のクレームである。そのようなクレームに含まれる用語について本稿に明示的に記載されている定義があれば、それは、そのクレームで使用されるそのような用語の意味を支配する。よって、クレームにおいて明示的に記載されていない限定、要素、特性、特徴、利点または属性は、いかなる仕方でもそのようなクレームの範囲を制限するべきではない。よって、明細書および図面は、制約する意味ではなく例解する意味で捉えられるべきである。

【0136】

本発明のさまざまな側面は、以下の箇条書き例示的実施形態（enumerated example embodiment、EEE）から理解されうる。
〔EEE１〕
コンピューティング・ノードにおける、エンコードされるべきビデオ・セグメントについてのトリム・パス補正のための方法であって、当該方法は：
現在コンピューティング・ノードにおいて、高ダイナミックレンジのビデオ・フレームを含む第1のビデオ・シーケンスを受領する段階と：
前記第1のビデオ・シーケンスにおける各ビデオ・フレームについて、第1の前方再整形関数およびフレーム・ベースのトリム・パス補正パラメータを生成する段階（455）であって、前方再整形関数は、フレーム・ピクセルを前記高ダイナミックレンジから前記高ダイナミックレンジよりも低い第2のダイナミックレンジにマッピングする、段階と；
現在コンピューティング・ノードおよび1つの近傍コンピューティング・ノードによって処理される親シーンの一部である、前記第1のビデオ・シーケンスにおけるサブシーンについて、
前記第1のビデオ・シーケンスにおけるフレームとバンパー・フレームを含むトリム・パス・パラメータ窓を決定する段階（457）であって、前記バンパー・フレームは前記近傍コンピューティング・ノードによって処理されるビデオ・フレームを含む、段階と；
前記トリム・パス・パラメータ窓におけるフレームの前記フレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータを計算する段階（459）と；
前記サブシーンにおけるフレームの前記第1の前方再整形関数に基づいて、シーン・ベースの前方再整形関数を生成する段階と；
前記サブシーンについて、前記シーン・ベースのトリム・パス補正パラメータおよび前記シーン・ベースの前方再整形関数に基づいて出力前方再整形関数を生成する段階とを含む、
方法。
〔EEE２〕
前記第1のビデオ・シーケンスにおける前記サブシーンについて：
前記サブシーンにおけるフレームに前記出力前方再整形関数を適用して、前記第2のダイナミックレンジにおける出力ビデオ・サブシーンを生成する段階と；
前記出力ビデオ・サブシーンを圧縮して、前記第2のダイナミックレンジにおける符号化されたサブシーンを生成する段階とをさらに含む、
EEE１に記載の方法。
〔EEE３〕
前記第1のビデオ・シーケンスにおける高ダイナミックレンジ（HDR）フレームについて、フレーム・ベースのトリム・パス補正パラメータが：
前記HDRフレームの平均ルミナンス値；
前記HDRフレームと同じシーンを表すが前記第2のダイナミックレンジにある標準ダイナミックレンジ（SDR）フレームの低ルミナンス領域における第1のマージ点、および
前記SDRフレームの高ルミナンス領域における第2のマージ点
のうちの一つまたは複数を含む、EEE１または２に記載の方法。
〔EEE４〕
前記シーン・ベースのトリム・パス補正パラメータを計算することが：

【数90】

を計算することを含み、ここで、Bはバンパー・フレームの数を表し、Lは前記トリム・パス・パラメータ窓におけるフレームの集合を表し、v_avg ^jはj番目のHDRフレームの平均ルミナンス値を表し、s_l ^m,jはj番目のHDRフレームの第１のマージ点を表し、s_h ^m,jはj番目のHDRフレームの第2のマージ点を表し、v_avg ^L、s_l ^m,Lおよびs_h ^m,Lは前記シーン・ベースのトリム・パス補正パラメータを表す、
EEE３に記載の方法。
〔EEE５〕
現在コンピューティング・ノードにおける処理されるすべてのサブシーンに前記シーン・ベースのトリム・パス補正パラメータを割り当てることをさらに含む、EEE４に記載の方法。
〔EEE６〕
前記サブシーンにおけるHDRフレームについて出力前方再整形関数を生成することが：
少なくとも前記サブシーンにおける平均ルミナンス値およびグローバルな最小および最大のHDRおよびSDRルミナンス値に基づいて、ピクセル値を、前記高ダイナミックレンジから前記第2のダイナミックレンジにおけるピクセル値にマッピングする参照トーンマッピング関数を生成する段階と；
前記第2のマージ点に基づいて高強度のマージ点を計算し；
前記高強度のマージ点から開始し、前記シーン・ベースの前方再整形関数を、前記参照トーンマッピング関数における対応するセクションに基づいて置き換えることによって、
前記出力前方再整形関数を生成する段階とを含む、
EEE３ないし５のうちいずれか一項に記載の方法。
〔EEE７〕
前記出力前方再整形関数を生成することが：
前記参照トーンマッピング関数に基づく差分トーンマッピング関数を生成し；
前記シーン・ベースの前方再整形関数に基づく差分シーン・ベース前方再整形関数を生成し；
前記高強度のマージ点から開始して、前記差分シーン・ベース前方再整形関数を前記差分トーンマッピング関数の対応する部分で置き換えることにより、更新された差分シーン・ベース前方再整形関数を生成し；
前記更新された差分シーン・ベース前方再整形関数を積分することにより前記出力前方再整形関数を生成することを含む、
EEE６に記載の方法。
〔EEE８〕
前記サブシーンにおける平均HDRルミナンス値および平均SDRルミナンス値が与えられて、前記参照トーンマッピング関数は：
前記平均HDRルミナンス値を前記平均SDRルミナンス値に；
前記高ダイナミックレンジにおける最大グローバル・ルミナンスを前記第2のダイナミックレンジにおける最大グローバル・ルミナンス値に；
前記高ダイナミックレンジにおける最小グローバル・ルミナンス値を前記第2のダイナミックレンジにおける最小グローバル・ルミナンス値にマッピングする、
EEE６または７に記載の方法。
〔EEE９〕
現在コンピューティング・ノードおよび1つの近傍コンピューティング・ノードによって処理される親シーンの一部である、前記第1のビデオ・シーケンスにおけるあるサブシーンについて：
前記近傍コンピューティング・ノードが現在コンピューティング・ノードよりも前にある場合、
前記トリム・パス・パラメータ窓は、前記第1のビデオ・シーケンスの最初のフレーム（C₀）の前にあるすべての（B）バンパー・フレームを、フレームC_s＝C₀＋Bの手前まで含み、
前記近傍コンピューティング・ノードが現在コンピューティング・ノードよりも後にある場合、
前記トリム・パス・パラメータ窓は、Cs＝CL-1－Bおよびすべてのその後のフレームを、前記第1のビデオ・シーケンスの最後のフレームの後のすべてのバンパー・フレームを含めて、含む、
EEE１ないし８のうちいずれか一項に記載の方法。
〔EEE１０〕
現在コンピューティング・ノード、近傍先行ノード、および近傍後続ノードによって処理される親シーンの一部である、前記第1のビデオ・シーケンスにおけるあるサブシーンについて、さらに：
前記第1のビデオ・シーケンスにおけるフレームおよび前記近傍先行ノードと共有されるバンパー・フレームを含む第1のトリム・パス・パラメータ窓を決定する段階（462）と；
前記第1のビデオ・シーケンスにおけるフレームおよび前記近傍後続ノードと共有されるバンパー・フレームを含む第2のトリム・パス・パラメータ窓を決定する段階と；
前記第1のトリム・パス・パラメータ窓におけるフレームの前記フレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータの第1の集合を計算する段階と；
前記第2のトリム・パス・パラメータ窓におけるフレームの前記フレーム・ベースのトリム・パス補正パラメータに基づいて、シーン・ベースのトリム・パス補正パラメータの第2の集合を計算する段階と；
前記シーン・ベースのトリム・パス補正パラメータの前記第1の集合および第2の集合に基づいて、補間されたフレーム・ベースのトリム・パス補正パラメータを計算する段階と；
前記サブシーンが前記第1のトリム・パス・パラメータ窓内にある場合、シーン・ベースのトリム・パス補正パラメータの前記第1の集合を前記サブシーンに割り当て；
前記サブシーンが前記第2のトリム・パス・パラメータ窓内にある場合、シーン・ベースのトリム・パス補正パラメータの前記第2の集合を前記サブシーンに割り当て；
前記サブシーンが前記第1と第2のトリム・パス・パラメータ窓の間にある場合、シーン・ベースのトリム・パス補正パラメータを、前記サブシーン内のフレームについての前記補間されたフレーム・ベースのトリム・パス補正パラメータに基づいて生成する段階とを含む、
EEE１ないし９のうちいずれか一項に記載の方法。
〔EEE１１〕
前記補間されたフレーム・ベースのトリム・パス補正パラメータを計算することは：

【数91】

を計算することを含み、
ここで、ρ^L1はシーン・ベースのトリム・パス補正パラメータの前記第1の集合におけるトリム・パス補正パラメータであり、ρ^L2はシーン・ベースのトリム・パス補正パラメータの前記第2の集合におけるトリム・パス補正パラメータであり、ρ^xは、前記第1のトリム・パス・パラメータ窓の最後のフレームa₀と前記第2のトリム・パス・パラメータ窓の最初のフレームa_nの間のx番目のフレームについての補間されたフレーム・ベースのトリム・パス補正パラメータを表す、
EEE１０に記載の方法。
〔EEE１２〕
前記補間されたシーン・ベースのトリム・パス補正パラメータに基づいてシーン・ベースのトリム・パス補正パラメータ（ρ^A）を生成することが、

【数92】

を計算することを含み、a_sは前記サブシーンの開始フレームを表し、a_eは次のサブシーンの開始フレームを表す、
EEE１１に記載の方法。
〔EEE１３〕
一つまたは複数のプロセッサでEEE１ないし１２のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を記憶している、非一時的なコンピュータ読み取り可能な記憶媒体。
〔EEE１４〕
プロセッサを有しており、EEE１ないし１２のうちいずれか一項に記載の方法を実行するように構成されている装置。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【国際調査報告】