特許 7543577 チェーンドリシェーピング関数の最適化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】チェーンドリシェーピング関数の最適化

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240826BHJP

   H04N 19/42 20140101ALI20240826BHJP

【ＦＩ】

H04N19/85

H04N19/42

【請求項の数】 15

(21)【出願番号】P 2023575544

(86)(22)【出願日】2022-06-01

(65)【公表番号】

(43)【公表日】2024-06-11

(86)【国際出願番号】 US2022031767

(87)【国際公開番号】W WO2022260902

(87)【国際公開日】2022-12-15

【審査請求日】2023-12-07

(31)【優先権主張番号】21178180.2

(32)【優先日】2021-06-08

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/208,190

(32)【優先日】2021-06-08

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】スゥ，グワン－ミーン

【審査官】岩井 健二

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２７８９６７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１６７６３７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２２１１８９（ＵＳ，Ａ１）

【文献】国際公開第２０２１／１０８７１９（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０５３４３２（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０２４０４２（ＷＯ，Ａ２）

【文献】国際公開第２０１７／０１１６３６（ＷＯ，Ａ１）

【文献】K. Minoo, et al.，Description of the reshaper parameters derivation process in ETM reference software，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JCTVC-W0031，23rd Meeting: San Diego, USA，2016年01月，pp.1-17

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

方法であって、
チェーンドリシェーピング関数のパイプラインへの入力として、入力ビデオ信号の入力画像を受信するステップであって、前記チェーンドリシェーピング関数のパイプラインはリシェーピング関数のチェーンを含む、ステップと、
前記入力ビデオ信号の入力画像から、２つ以上の基準色等級のための２つ以上の参照画像を生成するステップであって、前記２つ以上の参照画像の中の各々の参照画像は、前記２つ以上の基準色等級の中の各々の基準色等級に対応し、前記２つ以上の基準色等級は相互に及び前記入力画像の色等級と異なる、ステップと、
前記入力画像及び前記２つ以上の参照画像を使用して、チェーンドリシェーピング関数の前記パイプラインにおける前記２つ以上のチェーンドリシェーピング関数のための演算パラメータの２つ以上のセットを決定し、演算パラメータの各セットは前記２つ以上のチェーンドリシェーピング関数の中の各々のチェーンドリシェーピング関数を指定して、前記２つ以上のチェーンドリシェーピング関数の中の各々のチェーンドリシェーピング関数が、２つ以上のリシェーピング色等級における２つ以上のリシェープド画像において各々のリシェープド画像を生成するようにし、前記２つ以上のリシェーピング色等級の各々が、前記２つ以上の基準色等級のうちの対応する１つと同じであるか又はそれを近似する、ステップと、
前記２つ以上のリシェーピング色等級における前記２つ以上のリシェープド画像のうち、第１リシェーピング色等級における選択されたリシェープド画像を、画像メタデータと共にビデオ信号に符号化するステップであって、前記第１リシェーピング色等級は、前記第１リシェーピング色等級における前記選択されたリシェープド画像を生成する第１チェーンドリシェーピング関数に対応し、前記画像メタデータは、前記２つ以上のチェーンドリシェーピング関数のうちの第２又はそれ以降のチェーンドリシェーピング関数のための演算パラメータの１つ以上のセットを含み、前記第２又はそれ以降のチェーンドリシェーピング関数は、前記リシェーピング関数のチェーンの中の第１リシェーピング関数に続き、前記第２又はそれ以降のチェーンドリシェーピング関数は、第２リシェーピング色等級の再構成画像を生成し、前記ビデオ信号の受信装置は、前記画像メタデータと前記選択されたリシェープド画像を使用して前記第２リシェーピング色等級の再構成画像を生成するようにされる、ステップと、
を含む方法。

【請求項2】

前記ビデオ信号は、単一レイヤの後方互換性のある信号を表す、請求項１に記載の方法。

【請求項3】

前記入力ビデオ信号は、第１ビデオコーディングプロファイルに対応し、
前記２つ以上のリシェーピング色等級は、１つ以上の第２ビデオコーディングプロファイルに対応し、各第２ビデオコーディングプロファイルは前記第１ビデオコーディングプロファイルとは異なる、請求項１に記載の方法。

【請求項4】

前記２つ以上の第２ビデオコーディングプロファイルは、以下：iOS装置、Android装置、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、又は異なる表示機能を有するユーザ装置、のうちの１つ以上によってサポートされる少なくとも１つのビデオコーディングプロファイルを含む、請求項３に記載の方法。

【請求項5】

前記入力画像、前記２つ以上の参照画像、及び前記２つ以上のリシェープド画像は、以下：８ビット画像、１０ビット画像、１２ビット画像、ハイブリッドログガンマ（HLG）画像、知覚量子化（PQ）画像、高ダイナミックレンジ（HDR）画像、標準ダイナミックレンジ（SDR）画像、拡張ダイナミックレンジ（EDR）画像、Rec．２０２０色空間で表される画像、Rec．２１００色空間で表される画像、又はP３色空間で表される画像、のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項6】

各々の前記チェーンドリシェーピング関数を指定する演算パラメータの前記セットは、各々の前記チェーンドリシェーピング関数により生成されたリシェープド画像と前記２つ以上の参照画像における対応する参照画像との間の予測誤差を最小化することによって決定される、請求項１に記載の方法。

【請求項7】

前記２つ以上のチェーンドリシェーピング関数をそれぞれ指定する演算パラメータの前記２つ以上のセットは、前記２つ以上のチェーンドリシェーピング関数によりそれぞれ生成された前記２つ以上のリシェープド画像の各々と前記２つ以上の参照画像における対応する参照画像との間の予測誤差を最小化することによって、反復の合計回数によって決定され、
前記合計回数は、固定反復回数、前記予測誤差により表される歪みにおけるニーポイントに対応する反復回数、又は少なくとも一部がユーザ入力に基づいて選択される反復回数、のうちの１つから選択される、請求項１に記載の方法。

【請求項8】

前記反復の合計回数は、前記予測誤差における予測誤差のサブセットが生成される第１反復を含み、
前記予測誤差における予測誤差の前記サブセットは、前記第１反復の後の第２反復に使用される前記２つ以上の参照画像を修正するために使用される、請求項７に記載の方法。

【請求項9】

前記２つ以上の参照画像中のコードワードが、予測誤差の前記サブセットから計算される逆勾配、前記コードワードに対する修正を制限するために使用されるハード制約、又は前記コードワードの中で比較的飽和したコードワードに対する修正を制限するために使用されるソフト制約、のうちの１つにより修正される、請求項８に記載の方法。

【請求項10】

前記チェーンドリシェーピング関数の前記パイプラインが、前記入力ビデオ信号、及び前記２つ以上の基準色等級、のうちの少なくとも１つに関する事前知識に少なくとも部分的に基づいて決定される固定リシェーピング関数を含む、請求項１に記載の方法。

【請求項11】

チェーンドリシェーピング関数の前記パイプラインによって生成される前記２つ以上のリシェーピング色等級が、前記２つ以上の基準色等級における最終基準色等級を近似する最終リシェーピング色等級を含み、
前記最終基準色等級は、ビット深度、ダイナミックレンジ、色空間、空間解像度、ドメイン、又はビデオコーディングプロファイル、のうちの少なくとも１つにおいて、前記入力ビデオ信号と異なる、請求項１に記載の方法。

【請求項12】

方法であって、
ビデオ信号から、画像メタデータと共に、第１リシェーピング色等級におけるリシェープド画像を復号するステップであって、前記画像メタデータは、演算パラメータの２つ以上のセットを含み、演算パラメータの各セットは、２つ以上のチェーンドリシェーピング関数における各々のチェーンドリシェーピング関数を指定して、前記２つ以上のチェーンドリシェーピング関数における各々のチェーンドリシェーピング関数が、２つ以上の第２リシェーピング色等級における２つ以上のリシェープド画像における各々のリシェープド画像を生成するようにし、前記２つ以上の第２リシェーピング色等級が互いに及び前記第１リシェーピング色等級と異なる、ステップと、
前記２つ以上の第２リシェーピング色等級における第２リシェーピング色等級を決定するステップであって、前記第２リシェーピング色等級は、前記リシェープド画像を前記第２リシェーピング色等級で表示装置上でレンダリングするために、前記表示装置の能力に適合する、ステップと、
前記第２リシェーピング色等級における第２リシェープド画像を生成するために、前記ビデオ信号から復号された前記リシェープド画像に前記２つ以上のチェーンドリシェーピング関数のうちの少なくとも１つを適用するステップと、
前記表示装置上で、前記第２リシェープド画像から生成された表示画像をレンダリングするステップと、
を含む方法。

【請求項13】

演算パラメータの１つ以上の前記セットが、複数の多項式、１次元ルックアップテーブル（１DLUT）、３次元ルックアップテーブル（３DLUT）、クロスカラーチャネル予測子、マルチカラーチャネル重回帰（MMR）予測子、基底関数としてBスプライン関数を有する予測子、又はテンソル積Bスプライン（TPB）予測子、のうちの１つ以上を指定する、請求項１２に記載の方法。

【請求項14】

プロセッサを含み、請求項１～１３に記載の方法のうちのいずれか１つを実行するよう構成される機器。

【請求項15】

請求項１～１３のいずれかに記載の方法に従い１つ以上のプロセッサにより方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して画像処理動作に関連する。より具体的には、本発明の実施形態は、ビデオコーデックに関する。

【背景技術】

【0002】

本願明細書で使用されるとき、用語「ダイナミックレンジ（dynamic range （DR））」は、例えば最も暗い黒色（darks）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system （HVS））の能力に関連し得る。このシーンでは、DRは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、DRは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。

【0003】

本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range （HDR））」は、人間の視覚システム（HVS）の大きさの１４～１５倍又はそれより大きな程度に渡るDR幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。本願明細書で使用されるとき、用語「拡張ダイナミックレンジ（enhanced dynamic range （EDR））」又は「視覚ダイナミックレンジ（visual dynamic range （VDR））」は、個々に又は同義的に、目の動きを含む人間の視覚システム（HVS）によりシーン又は画像内で知覚可能なＤＲに関連し、何からの光適応がシーン又は画像に渡り変化することを可能にする。本願明細書で使用されるとき、EDRは、５～６桁の大きさに広がるDRに関連してよい。HDRと呼ばれる実際のシーンに比べておそらくやや狭いが、それにも関わらず、EDRは広いDR幅を表し、更にHDRと呼ばれ得る。

【0004】

実際には、画像は色空間の１つ以上の色成分）チャネル（例えば、ルマY及びクロマCb及びCr）を含み、各色成分はピクセル当たりnビット（例えば、n=８）の精度により表さNチャネルれる。非線形輝度コーディング（例えば、ガンマエンコーディング）を使用して、n≦８である画像（例えば、カラー２４ビットJPEG画像）は、標準ダイナミックレンジの画像であると考えられる。一方で、n＞８である画像は、拡張ダイナミックレンジの画像であると考えられてよい。

【0005】

所定のディスプレイに対する参照電気光学伝達関数（electro-optical transfer function （EOTF））は、入力ビデオ信号の色値（例えば、画像を表すコードワードのうちのあるコードワードで表される輝度、等）とディスプレイによって生成される出力スクリーン色値（例えば、画像をレンダリングするために使用されるディスプレイドライブ値のうちのあるディスプレイドライブ値で表されるスクリーン輝度、等）との関係を特徴づける。例えば、ITU Rec. ITU-RBT１８８６「Reference electro-optical transfer function for flat panel displays used in HDTV studio production」（March ２０１１）は、参照によりその全体がここに組み込まれ、平面パネルディスプレイの参照EOTFを定義する。ビデオストリームが与えられると、そのEOTFに関する情報は、（画像）メタデータとしてビットストリームに埋め込まれてよい。用語「メタデータ」は、本願明細書では、符号化ビットストリームの部分として送信される任意の補助情報に関連し、復号画像をレンダリングするためにデコーダを支援する。このようなメタデータは、限定ではないが、本願明細書に記載されるような、色空間又は全色域（gamut）情報、参照ディスプレイパラメータ、及び補助信号パラメータ、を含んでよい。

【0006】

用語「PQ」は、本願明細書で使用されるとき、知覚輝度振幅量子化を表す。人間の視覚システム（human visual system （HVS））は、非常に非線形な方法で、増大する光レベルに反応する。刺激を見る人間の能力は、該刺激の輝度、該刺激のサイズ、該刺激を構成する空間周波数、及び特定の瞬間に適応される目が該刺激を見ている輝度レベル、により影響を受ける。幾つかの実施形態では、知覚量子化関数は、線形入力グレイレベルを、人間の視覚システムにおいてコントラスト感度閾値により良好に一致する出力グレイレベルにマッピングする。例示的なPQマッピング関数は、参照によりその全体がここに組み込まれるSMPTE ST２０８４：２０１４「High Dynamic Range EOTF of Mastering Reference Displays」（以後「SMPTE」）に記載されており、固定刺激サイズが与えられると、輝度レベル（例えば、刺激レベル、等）毎に、該輝度レベルにおける最小可視コントラストステップが、該輝度レベルが最も敏感な適応レベル及び最も敏感な空間周波数に従い（HVSモデルに従い）選択される。

【0007】

２００～１０００cd/m^２又はニト（nit）の輝度をサポートするディスプレイは、低いダイナミックレンジ（lower dynamic range （LDR））を代表し、EDR（又はHDR）に対して、標準ダイナミックレンジ（standard dynamic range （SDR））とも呼ばれる。EDRコンテンツは、より高いダイナミックレンジ（例えば、１０００ニト～５０００ニト、又はそれ以上）をサポートするEDRディスプレイ上で表示されてよい。このようなディスプレイは、高輝度能力（例えば０～１００００ニト）をサポートする代替のEOTFを使用して定義されてよい。EOTFの例（例えば、HDR、Hybrid Log Gamma、又はHLG、等）は、SMPTE２０８４、及びRec. ITU-R BT.２１００, “Image parameter values for high dynamic range television for use in production and international programme exchange,”（０６/２０１７）で定義される。Rec.２０２０又はBT.２０２０色空間に関連する、参照により全体がここに組み込まれるITU Rec. ITU-R BT.２０２０-２, “Parameter values for ultra-high definition television systems for production and international programme exchange,” （October ２０１５）も参照のこと。ここで発明者によって認識されているように、多種多様なディスプレイ装置でレンダリングされる高品質のビデオコンテンツデータをコーディングするための改善された技術が望まれている。

【0008】

本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。同様に、１つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。
WO２０１８／００５７０５A１は、高ダイナミックレンジのビデオ信号を再構成する方法を開示している。デコーダは、入力ビットストリーム内のパラメータを受信して、予測関数を生成する。予測関数を使用して、各ノードが入力ノード値と出力ノード値によって特徴付けられる、第１予測ルックアップテーブルのためのノードの第１セットを生成する。次に、ノードの第１セットのうちの１つ以上の出力ノード値を変更して、第２予測ルックアップテーブルのためのノードの第２セットを生成し、第２ルックアップテーブルを使用して出力予測値を生成する。現在のノードと現在のノードの周囲のノードとの間の修正勾配の計算に基づいて、ノードの第１セットの中の現在のノードの出力ノード値を修正するための低複雑性の方法が提示されている。
WO２０１７／０１５５６４A１は、高ダイナミックレンジ（high dynamic range （HDR））及び／又は広色域（wide color gamut （WCG））データの少なくとも部分的な再生を可能にするために、符号化前にHDR及び／又はWCG画像データを表すデータに適応的な前処理を適用し、復号後にデータに補完的な後処理を適用するデジタルビデオデータの符号化方法を開示する。例示的な方法は、量子化前に１つ以上の色空間変換及び知覚伝達関数をデータに適用する。例示的な方法は、HDR及び／又はWCGデータを復元するために、復号後に逆知覚伝達関数及び逆色空間変換を適用する。伝達関数は、異なる伝達関数が、異なるフレームグループ、フレーム、又は単一フレーム内の処理ウィンドウを含むビデオデータセットに適用できるように適応的である。データセットに関する情報及び適用された伝達関数に関する情報は、メタデータとしてエンコーダからデコーダに渡される。
WO２０１２／１２５８０２A１は、ターゲットディスプレイに表示するために画像データを変換する方法を開示している。シグモイド伝達関数は、最小階調コントラストを制御する自由パラメータを提供する。伝達関数は、変化する周囲照明条件に適応するために動的に調整することができる。変換は、画像データに具現化された創造的意図を実質的に保持する方法で、ターゲットディスプレイに表示するために画像データを自動的に適応させるように選択することができる。画像データは、ビデオデータであってもよい。
Minoo, K. at al.: "Description of the reshaper parameters derivation process in ETM reference software", Joint Collaborative Team on Video Coding （JCT-VC） of ITU-T SG １６ WP ３ and ISO/IEC JTC １/SC ２９/WG １１, ２３rd Meeting: San Diego, USA, １９-２６ February ２０１６, document JCTVC-W００３１, date saved: １１ January ２０１６, XP０３０１１７７９８は、HEVC処理パイプラインで入力HDR信号を分析し、SDR互換性のあるリシェープドビデオ信号を生成し、リシェープドビデオ信号からHDR信号を再構成するためのリシェーピングパラメータを生成するリシェーピング処理を開示している。
Francois, E. et al: "HDR CE２-related: some experiments on ETM with dual grading input", Joint Collaborative Team on Video Coding （JCT-VC） of ITU-T SG １６ WP ３ and ISO/IEC JTC １/SC ２９/WG １１, ２３rd Meeting: San Diego, USA, １９-２６ February ２０１６, document JCTVC-W００８９, date saved: １５ February ２０１６, XP０３０１１７８６７は、デュアルグレーディングHDR分布シナリオを開示している。SDRとHDRの両方のバージョンがHDR分布システムの入力として与えられ、そこからSDR互換バージョンが生成される。

【発明の概要】

【0009】

本発明は、独立請求項に定められる。従属請求項は、本発明の幾つかの実施形態の任意の特徴に関するものである。

【図面の簡単な説明】

【0010】

本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。

【図1】チェーンドリシェーピング最適化を実行するための例示的な画像処理パイプラインを示す。

【0011】

【図2A】チェーンドリシェーピング関数の例示的なパイプラインを示す。

【図2B】チェーンドリシェーピング関数の例示的なパイプラインを示す。

【図2C】チェーンドリシェーピング関数の例示的なパイプラインを示す。

【図2D】チェーンドリシェーピング関数の例示的なパイプラインを示す。

【0012】

【図3A】リシェープドビデオ信号の例示的な歪みを示す。

【図3B】リシェープドビデオ信号の例示的な歪みを示す。

【図3C】リシェープドビデオ信号の例示的な歪みを示す。

【図3D】リシェープドビデオ信号の例示的な歪みを示す。

【図3E】リシェープドビデオ信号の例示的な歪みを示す。

【図3F】リシェープドビデオ信号の例示的な歪みを示す。

【0013】

【図4A】例示的な処理フローを示す。

【図4B】例示的な処理フローを示す。

【0014】

【図5】本願明細書に記載されるコンピュータ又はコンピューティング装置が実装され得る例示的なハードウェアプラットフォームの簡略ブロック図を示す。

【発明を実施するための形態】

【0015】

以下の詳細な説明を通じて、説明を目的として、本開示の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本開示を妨げ、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。

【0016】

＜要約＞
本願明細書は、チェーンドリシェーピング最適化（chained reshaping optimization （CRO））のための技術を記載する。リシェーピング関数のチェーンは、パイプラインに連結することができる。リシェーピング関数のチェーン内の各リシェーピング関数は、基準色等級（reference color grade）（又は参照ビデオ信号）を有し、基準色等級と同じ又は基準色等級に近いターゲット（又はリシェープド）色等級を近似して生成する。リシェーピング関数のチェーンは、複数のターゲット（又はリシェープド）色等級を生成するために使用できる。本明細書で使用されるとき、同じビデオコンテンツの異なる色等級は、ダイナミックレンジ、色空間又は色域、空間解像度、画像リフレッシュレート、クロマサンプリング形式、画像コンテナ、などの一部又は全部の異なる組み合わせであってもよい。特定の色等級は、ダイナミックレンジ、色空間又は色域、空間解像度、画像リフレッシュレート、クロマサンプリング形式、画像コンテナ、などの一部又は全部の特定の組み合わせで、ビデオ信号で伝送されるようなビデオデータを表してもよい。

【0017】

制約付き又は制約なしの最適化ソリューション／アルゴリズムを実装又は実行して、リシェーピング関数のチェーンを構成する最適化されたリシェーピング関数を見つけることができる。最適化ソリューション／アルゴリズムは、制約付き又は制約なし問題の式における反復ソリューション／アルゴリズムとして実装することができる。

【0018】

説明のみを目的として、HDR１０下位互換ビデオコーディング、SDR下位互換ビデオコーディング、HLG下位互換ビデオコーディングなどに関連する例示的な（例えば、ビットストリーム、ビデオコーディング、Dolby、サードパーティ独自、標準ベース、等）プロファイルに対応する又はそれを実装するビデオコーデックによって生成される色等級は、これらの技術の一部又はすべてを説明するための非限定的な実装例として、本明細書の一部の議論で使用される。種々の実施形態において、これら及び他のプロファイルは、入力ビデオ信号として、参照ビデオ信号又は色等級のいずれか、一部又は全部として、ターゲット又はリシェープドビデオ信号又は色等級のいずれか、一部又は全部として、使用することができることに留意されたい。

【0019】

例示的な（例えば、ビットストリーム、ビデオコーディング、Dolby、サードパーティ独自、標準ベース、等）プロファイルは、本明細書に記載されているようにビデオコーデックによってサポートされ又は実装され得るが、SMPTE ST２０９４、“Dynamic Metadata for Color Volume Transform （DMCVT）,” （２０１６）に見出すことができ、その全内容は本明細書に完全に記載されているかのように参照により本明細書に組み込まれる。本明細書に記載されているようなプロファイルは、限定されるものではないが、以下のいずれかを含むことができる：１０ビットHEVC（Main１０）プロファイルのような１０ビットコーデックによってサポートされるプロファイル、８ビットAVC（Main）プロファイルのような８ビットコーデックによってサポートされるプロファイル、知覚量子化を実装するビデオコードによってサポートされるプロファイル、Profile８．２ for Rec．７０９ SDRビデオ、Profile３２．２ for SDR Mobileビデオ、などのSDRビデオコーディングを実装するビデオコーデックによってサポートされるプロファイル、モバイルビデオやDVB放送ビデオなどのようなHybrid Log Gamma又はHLGビデオコーディングを実装したビデオコーデックでサポートされるプロファイル。これらの（例えば、ビットストリーム、ビデオコーディング、Dolby、サードパーティ独自、標準ベース、等）プロファイルは、様々なユーザ装置、様々なビデオコーデック、様々なダイナミックレンジ、様々な色空間、画像のコードワードが表現される様々なドメインなどをサポートするために使用できる。

【0020】

本明細書に記載されているようなチェーンリシェーピング関数最適化技術は、様々な色等級間の静的マッピング及び動的マッピングを提供するために使用できる。静的マッピングは事前に生成され、実行時に適用するために（例えば、入力画像の実際のコードワード分布又は他の特性、等に少なくとも部分的に基づいて）選択され、一方、動的マッピングは生成され、実行時にオンザフライで適用される。制限ではなく例として、これらの技術の一部又はすべてを実装又は適用して、例えば、リシェーピング関数のチェーン内で（例えば、順序付けされた、チェーンにされた、シーケンシャルな、指示された、等）リシェーピング関数を連結し、連結したリシェーピング関数をビデオ信号から復号された（例えば、ターゲット、リシェープド、等）色等級に適用することにより、パイプライン内のチェーンドリシェーピング関数によってサポートされる異なるターゲット（又はリシェープド）色等級間の静的マッピングを提供することができる。例えば、異なるプロファイル（例えば、Dolby Laboratories, Inc., Californiaなどから市販されているDolby VisionビデオコーディングソリューションによってサポートされているDolby Vision Profiles）に対応する色等級は、静的マッピングを介して変換できる。

【0021】

第１例では、HLG下位互換コーデックによってサポートされる第１（例えば、ビットストリーム、ビデオコーディング、Dolby、サードパーティ独自、標準ベースなど）プロファイル（例えば、Dolby Vision Profile ８．４など）は、ここでは、静的マッピングを介して、広く展開されているユーザ装置内のSDR下位互換コーデックによってサポートされる（例えば、ビットストリーム、ビデオコーディング、Dolby、サードパーティ独自、標準ベースなど）プロファイル（例えば、Dolby Vision Profile ８．２／９．２／３２．２など）に変換できる。より具体的には、入力としてのビデオ信号のHLG（Hybrid Log Gamma）基本層内の（例えば、第１プロファイル、Dolby Vision Profile ８．４など）ビデオ信号又は（入力）画像が与えられると、第１リシェーピング関数が構築されるか、又はHLG入力画像をSDR画像に変換するために使用できる。次に、SDR画像をPQ画像にさらに変換するために、第２の異なるリシェーピング関数が構築されるか、又は使用することができる。例えば、このPQ画像は、第１プロファイル又はBT．２１００色空間における入力画像を直接リシェーピングすることによる出力１０００ニトPQ画像と同一又は同等であってよい。

【0022】

第２例では、HDR１０下位互換コーデックによってサポートされる第２（例えば、ビットストリーム、ビデオコーディング、Dolby、サードパーティ独自、標準ベースなど）プロファイル（例えば、Dolby Vision Profile ８．１など）は、ここでは、静的マッピングを介して、HLG下位互換コーデックによってサポートされる（例えば、ビットストリーム、ビデオコーディング、Dolby、サードパーティ独自、標準ベースなど）プロファイル（例えば、Dolby Vision Profile ８．４など）に変換できる。より具体的には、入力としてのビデオ信号の１０００ニトのPQ基本層内の（例えば、第２プロファイル、Dolby Vision Profile ８．１など）ビデオ信号又は（入力）画像が与えられると、第１リシェーピング関数が構築されるか、又は入力１０００ニトのPQ画像を１０００ニトのHLG（基本層）画像に変換するために使用できる。次に、１０００ニトHLG（基本層）画像を４０００ニトPQ画像にさらに変換するために、第２の異なるリシェーピング関数が構築されるか、又は使用することができる。例えば、この４０００ニトPQ画像は、第２プロファイルにおける入力画像を直接リシェーピングすることによる出力４０００ニトPQ画像と同一又は同等であってよい。

【0023】

様々な実施形態において、これら及び他のリシェーピング関数のチェーン（リシェーピング関数のより長いチェーンを含むがこれに限定されない）は、複数のターゲット（又はリシェープド）色等級を生成するために最適化されて構築されるか又は使用され得ることに留意されたい。

【0024】

幾つかの運用シナリオでは、反復（最適化）アルゴリズムを使用して、順方向及び逆方向（リシェーピング）パスの可逆性をサポートすることができる。例えば、逆方向リシェーピングから生成される出力色等級（又は出力ビデオ信号）は、順方向リシェーピングの入力色等級（又は入力ビデオ信号）に近くなるように最適化できる。したがって、出力ビデオ信号は、最終的に（元の）入力ビデオ信号（又は元の入力ドメイン）に戻すことができる。

【0025】

幾つかの動作シナリオでは、リシェーピング関数のチェーンから（例えば、最後に、等）生成された出力色等級（又は出力又はリシェープドビデオ信号）は、同じドメインにない場合があり、又はリシェーピング関数のチェーンに入力された入力色等級（又は入力ビデオ信号）と同じではないか又は近似していない場合がある。これらの技術は、（例えば、最終、最適化、反復的に最適化された、等）出力色等級の調整をサポートする。さらに、必要に応じて又は代替的に、これらの技術は、中間色等級（例えば、SDR色等級など）と（元の）基準色等級（例えば、基準SDR色等級など）との間の偏差又は差を最小化することによって、リシェーピング関数のチェーンの一部又は全部により生成される各中間（ターゲット）色等級における比較的高いレベルの忠実度を確保するために実施することができる。さらに、必要に応じて又は代替的に、これらの技術の一部又は全部は、単層下位互換性（single-layer backward compatible （SLBC））コーデックをサポートするものを含むがそれに限定されない広範なビデオ配信及び表示アプリケーションで実施することができる。

【0026】

本明細書に記載される実施例は、チェーンドリシェーピング最適化に関連したビデオ画像の符号化に関する。チェーンドリシェーピング関数のパイプラインへの入力ビデオ信号の入力画像が受信され、チェーンドリシェーピング関数のパイプラインは、リシェーピング関数のチェーンを含む。入力ビデオ信号の入力画像から、２つ以上の基準色等級に対して２つ以上の基準画像が生成され、２つ以上の基準画像の各基準画像は、２つ以上の基準色等級の各々の基準色等級に対応する。入力画像及び２つ以上の参照画像は、チェーンドリシェーピング関数のパイプラインにおける２つ以上のチェーンドリシェーピング関数のための演算パラメータの２つ以上のセットを決定するために使用され、演算パラメータの各セットは、２つ以上のチェーンドリシェーピング関数における各々のチェーンドリシェーピング関数を指定し、２つ以上のチェーンドリシェーピング関数における各々のチェーンドリシェーピング関数は、２つ以上のリシェーピング色等級における２つ以上のリシェープド画像における各々のリシェープド画像を生成するために使用される。２つ以上のリシェーピング色等級における２つ以上のリシェープド画像のうち、選択されたリシェーピング色等級における選択されたリシェープド画像は、画像メタデータと共にビデオ信号に符号化され、画像メタデータは、２つ以上のチェーンドリシェーピング関数のうちの１つ以上のチェーンドリシェーピング関数のための演算パラメータの１つ以上のセットを含み、ビデオ信号の受信装置は、画像メタデータ及び選択されたリシェープド画像を使用して、選択されたリシェーピング色等級以外のリシェーピング色等級の再構成画像を生成するようにされる。

【0027】

本明細書に記載される実施例は、チェーンドリシェーピング最適化に関連したビデオ画像の復号に関する。リシェーピング色等級におけるリシェープド画像は、画像メタデータと共に、ビデオ信号から復号され、画像メタデータは、チェーンドリシェーピング関数のパイプライン内の１つ以上のチェーンドリシェーピング関数を各々指定する演算パラメータの１つ以上のセットを含む。１つ以上のチェーンドリシェーピング関数のうちの少なくとも１つは、第２リシェーピング色等級における第２リシェープド画像を生成するために、ビデオ信号から復号されたリシェープド画像に適用される。第２リシェープド画像から生成された表示画像を表示装置上でレンダリングする。

【0028】

＜例示的な画像処理パイプライン＞
図１は、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示すビデオ配信パイプライン（１００）の例示的な処理を示す。ビデオフレーム（１０２）のシーケンスは、画像生成ブロック（１０５）を用いてキャプチャ又は生成される。ビデオフレーム（１０２）は、デジタル方式、で（例えば、デジタルカメラ等により）キャプチャされ、又はコンピュータにより（例えば、コンピュータアニメーション等を、用いて）生成されてよく、ビデオデータ（１０７）を提供する。追加で、任意で又は代替として、ビデオフレーム（１０２）は、フィルムカメラによりフィルム上にキャプチャされてよい。フィルムは、デジタルフォーマットに変換されて、ビデオデータ（１０７）を提供する。プロダクション段階（１１０）において、ビデオデータ（１０７）は、ビデオプロダクションストリーム（１１２）を提供するために編集される。

【0029】

プロダクションストリーム（１１２）のビデオデータは、次に、ポストプロダクション編集（１１５）のためにプロセッサに提供される。ポストプロダクション編集（１１５）は、ビデオ制作者の創造的意図に従い画像品質を向上するため又は特定の外観を達成するために、画像の特定領域の色又は明るさの調整又は変更を含んでよい（例えば、自動的に、手動で、部分的に自動で部分的に手動で、等）。これは、時に、「色タイミング」又は「色グレーディング」と呼ばれる。他の編集（例えば、、シーン選択、順序付け、手動及び／又は自動シーンカット情報生成、画像クロッピング、コンピュータの生成した視覚特殊効果の追加、等）が、コンテンツマッピング及び／又はカラーグレーディングを介して、チェーンドリシェーピング関数のパイプラインなどへの元の入力ビデオ信号を生成するために、ポストプロダクション編集（１１５）において実行されてよい。

【0030】

元の入力ビデオ信号は、アップストリーミング装置（例えば、エンコーダ、トランスコーダ、プロダクションスタジオシステム、コンテンツ集約及び／又は配信サーバ、ストリーミングサーバなど）、又はポストプロダクションブロック（１１５）及び／又はその中のコーディングブロック（１２０）によって使用されて、画像の１つ、２つ又はそれ以上の基準色等級を生成するとともに、（例えば、予測誤差の最小化、制約なし若しくは制約あり最適化問題に対する閉じた形式の解などによって）１つ、２つ又はそれ以上の基準色等級と各々同じ又は厳密に近似する１つ、２つ又はそれ以上のリシェープド色等級を生成するために使用されるチェーンドリシェーピング関数を生成する。

【0031】

基準色等級及び／又はリシェープド色等級は、同じシーン又は意味的内容を描写する対応する参照画像の異なるセット又はシーケンスを含むことができるが、以下：異なるダイナミックレンジレベル、異なる色空間、異なるEOTF、異なる色空間タイプ、など、のうちの１つ又は複数において異なる場合がある。例えば、これらの基準色等級及び／又はリシェープド色等級は、異なるビデオコーデック及び／又は異なる画像処理能力及び／又はiOS装置、Android装置、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、異なる表示能力のテレビなどの異なるユーザ装置用に最適化されたユーザ知覚可能な視覚品質を有する画像を含むことができる。幾つかの動作シナリオでは、基準色等級を厳密に近似するリシェープド色等級は、一部又は全部のチェーンドリシェーピング関数の一部又は全部の演算パラメータとビデオ信号に符号化された色等級とを含むビデオ信号の受信装置によって、より効率的に（例えば、より少ない計算コストで、より少ない時間で、など）送信、復号又は再構成されてよい。例示的なリシェーピング動作は、G-Mによる米国特許１０,０８０,０２６「Signal reshaping approximation」に記載されている。その全体の内容は、ここに完全に記載されているかのように参照によりここに組み込まれている。

【0032】

幾つかの動作シナリオでは、コーディングブロック（１２０）は、ポストプロダクションブロック（１１５）から生成された元の入力ビデオ信号（例えば、入力色等級、HLGRec．２０２０ビデオ信号など）を受信する。コンテンツマッピング及び／又はカラーグレーディング／タイミングツールを使用して、元の入力ビデオ信号から１、２、又はそれ以上の基準色等級を生成することができる。入力ビデオ信号及び基準色等級の各々は、同じ視覚シーン又は意味コンテンツのセットを表す。基準色等級は、手動、自動、又は手動と自動の組み合わせの画像処理演算によって実行されるコンテンツマッピング及び／又はカラーグレーディングを介して、元の入力ビデオ信号から導出することができる。

【0033】

図示の目的のためだけに、元の入力ビデオ信号は、例えば、ポストプロダクションブロック（１１５）からコーディングブロック（１２０）によって受信され、HDR画像１１７の入力色等級を表す。リシェープド色等級によって近似される基準色等級における参照画像は、元の入力ビデオ信号内のHDR画像（１１７）から（例えば、Dolby Laboratories, Inc., San Francisco, Californiaなどから市販されているDolby Visionコーディングツールなどのビデオ符号化ツールの適切なプロファイルを使用して）コンテンツマッピングされてよい。幾つかの実施形態では、製作後編集１１５の間に、HDR画像１１７は、高ダイナミックレンジをサポートするHDR参照ディスプレイ１２５で、HDR画像１１７に対してポストプロダクション編集を実行しているカラリストにより閲覧される。

【0034】

コーディングブロック（１２０）は、入力ビデオ信号内の画像を中間及び／又は最終的なリシェープド色等級のリシェープド画像にマッピングするために使用されるパイプラインで、チェーンドリシェーピング関数のための演算パラメータの複数のセットを生成するために、本明細書に記載されているように、一部又は全部のチェーンド最適化演算を実装することができる。幾つかの動作シナリオでは、中間及び最終的なリシェープド色等級から選択された（例えば、単一の、等）選択されたリシェープド色等級（例えば、SDR色等級、モバイル装置用のSDR色等級、SDRテレビ用のSDR色等級など）は、コーディングブロック（１２０）により、符号化ビットストリーム（１２２）へと圧縮／符号化され得る。チェーンドリシェーピング関数（例えば、逆方向リシェーピング関数、逆リシェーピング関数など）のための演算パラメータの複数のセットの一部又は全部は、画像メタデータの一部として同じ符号化ビットストリームに含まれるか、符号化され得る。

【0035】

コーディングブロック１２０は、符号化ビットストリーム１２２を生成するために、ATSC、DVB、DVD、Blu-Ray（登録商標）、及び他の配信フォーマットにより定義されるような、オーディオ及びビデオエンコーダを含んでよい。

【0036】

一部の運用シナリオでは、符号化ビットストリーム１２２は、広範な種類のSDR表示装置（例えば、SDRディスプレイ、等）との後方互換性のあるビデオ信号（例えば、８ビットSDRビデオ信号、１０ビットSDRビデオ信号、等）を表してよい。非限定的な例では、再成形ＳＤＲ画像と共に符号化されたビデオ信号は、単一レイヤの下位互換性のあるビデオ信号であってよい。ここで、「単一レイヤの下位互換性のあるビデオ信号」は、単一の信号レイヤのＳＤＲディスプレイのために特に最適化された又はカラーグレーディングされたＳＤＲ画像を運ぶビデオ信号を表してよい。単一レイヤのビデオコーディング操作の例は、G-Mによる米国特許出願公開第２０１９/０１１００５４号「Encoding and decoding reversible production-quality single-layer video signals」に記載されている。その全体の内容は、ここに完全に記載されているかのように参照によりここに組み込まれている。

【0037】

チェーンドリシェーピング関数のための演算パラメータの複数のセットは、１つの色等級の復号画像から他の色等級の再構成画像を生成するために、ビデオ信号又は符号化ビットストリームの受信装置によって、復号され、予測動作に使用され得る。（上流）コーディングブロック（１２０）によって生成されるように、チェーンドリシェーピング関数のための演算パラメータの複数のセットを有する予測演算（例えば、逆方向リシェーピング演算、逆トーンマッピング演算など）を用いて、再構成画像に対して、１つ以上の異なるビデオ品質レベルを生成することができる。これらの異なるビデオ品質レベルは、エンコーダ側の中間及び／又は最終的なリシェープド色等級のような、１つ以上の異なる色等級に各々対応することができる。

【0038】

幾つかの動作シナリオでは、復号画像は、参照SDR色等級を近似するために、カラーグレーディングされたHDR画像（１１７）からアップストリームビデオエンコーダ（例えば、コーディングブロック（１２０）等を用いる）によって順方向にリシェーピングされたSDR画像を表す。再構成画像は、符号化ビットストリーム（１２２）内で送信される画像メタデータ内の演算パラメータの複数のセットで指定されたリシェーピング関数を使用して復号画像から生成され、基準SDR色等級以外の他の中間及び／又は最終基準色等級を近似する画像を表す。

【0039】

追加で、任意で、又は代替として、符号化ビットストリーム（１２２）は、下流のデコーダが復号画像又は逆方向リシェープド画像に対して表示管理操作を実行するために使用できる表示管理（display management （DM））メタデータを含むがこれに限定されない追加の画像メタデータにより符号化され、ターゲットディスプレイ上でのレンダリングに最適化された表示画像を生成する。これらの画像は、中間及び／又は最終基準色投球が比較的高い視覚品質を提供する参照ディスプレイと同じ表示機能を有していてもいなくてもよい。

【0040】

符号化ビットストリーム１２２は、次に、モバイル装置、ハンドセット、タブレットコンピュータ、復号及び再生装置、メディアソース装置、メディアストリーミングクライアント装置、テレビジョンセット（例えば、スマートＴＶ、等）、セットトップボックス、映画劇場、等のような受信機へと下流へ配信される。受信機（又は下流装置）では、符号化ビットストリーム（１２２）を復号ブロック（１３０）によって復号して復号画像１８２を生成する。これは、コーディングブロック（１２０）によってビットストリームに符号化された画像（例えば、順方向リシェープドSDR画像など）と同じであってもよく、コーディングブロック（１２０）によって実行される圧縮と復号ブロック（１３０）によって実行される伸長で発生する量子化誤差の影響を受ける。

【0041】

受信機が復号画像（１８２）のレンダリングをサポートするターゲットディスプレイ１４０で動作する（又は接続されているか、動作可能にリンクされている）運用シナリオでは、復号ブロック（１３０）は、コーディングビットストリーム（１２２）（例えば、その単一レイヤなど）から画像（１８２）を復号し、復号画像（１８２）（例えば、順方向リシェーピングSDR画像など）をターゲットディスプレイ（１４０）でのレンダリングに直接又は間接的に使用できる。

【0042】

幾つかの運用シナリオでは、ターゲットディスプレイ（１４０）はSDR参照ディスプレイ（１２５）と同様の特性を持ち、復号画像（１８２）は、ターゲットディスプレイ（１４０）で直接監視可能な順方向リシェープドSDR画像である。

【0043】

幾つかの実施例では、受信機は、復号画像（１８２）が最適化された参照ディスプレイとは異なる表示機能を持つターゲットディスプレイで動作する（又は、ターゲットディスプレイに接続又は動作可能にリンクされる）。画像メタデータ（又はコンポーザメタデータ）内の、チェーンドリシェーピング関数の演算パラメータの複数のセットの一部又はすべてを使用して、ターゲットディスプレイに最適化された復号画像（１８２）から画像を構成又は再構成できる。

【0044】

例えば、受信機は、復号画像（１８２）よりも高ダイナミックレンジ（例えば、１００ニト、２００ニト、３００ニト、５００ニト、１,０００ニト、４,０００ニト、１万ニト、又はそれ以上など）をサポートするHDRターゲットディスプレイ１４０-１で動作する場合がある。受信機は、符号化ビットストリーム１２２（例えば、その中のメタデータコンテナなど）から画像メタデータを抽出し、画像メタデータ（又はコンポーザメタデータ）内の演算パラメータの複数のセットを使用して、順方向リシェープドSDR画像などの復号画像（１８２）から画像１３２－１を構成又は再構成できる。

【0045】

幾つかの運用シナリオでは、再構成画像（１３２－１）は、受信機と連動して動作するターゲットディスプレイと同じか又は互換性のあるディスプレイ上で閲覧するために最適化された再構成された（例えば、HDR、EDR、１０００ニトの表示装置に最適化された画像、４０００ニトの表示装置に最適化された画像、等）の画像を表す。受信機は、ターゲットディスプレイ上でレンダリングするために再構成画像（１３２－１）を直接使用する場合がある。

【0046】

幾つかの運用シナリオでは、再構成画像（１３２－１）は、受信機と連動して動作するターゲットディスプレイ（１４０－１）と同じではない（例えば、参照、等の）ディスプレイ上で閲覧するのに最適化された再構成画像を表す。表示管理ブロック（例えば、１３５－１など）は、受信機、ターゲットディスプレイ（１４０－１）、又は別の装置内にあってもよく、ターゲットディスプレイ（１４０－１）の特性に適合したディスプレイマップド信号（１３７－１）を生成することによって、再構成画像（１３２－１）をターゲットディスプレイ（１４０－１）の特性にさらに調整する。表示画像又は調整された再構成画像は、ターゲットディスプレイ（１４０－１）上でレンダリングされてよい。

【0047】

＜チェーンドリシェーピング関数のパイプライン＞
図２Aは、チェーンドリシェーピング関数の例示的なパイプラインを示す。これらのチェーンドリシェーピング関数は、本明細書に記載されるような最適化方法又は手順を使用して生成又は構築することができる。

【0048】

チェーンドリシェーピング関数のパイプラインへの（元の）入力ビデオ信号（又はその中の入力画像）を、s_<０>と表す。入力信号（又はその中の入力画像）のi番目のピクセルは,s_<０>,iとして示され、入力色空間（又は入力ドメイン）の３つのチャネル、各々、（s^y _<０>,i, s^C０ _<０>,i, s^C１ _<０>,i）として示される。

【0049】

チェーンドリシェーピング関数のパイプラインは、一緒に連結されたK個のリシェーピング関数を含み、Kは１より大きい整数である。チェーンドリシェーピング関数のパイプラインの中のk番目のリシェーピング関数は、R_k（）と表され、r_<k+１>として表される対応する参照ビデオ信号（又はその中の対応する参照画像）を持つことができ、又は割り当てることができる。ここで、k=０、．．．、K－１である。

【0050】

k番目のリシェーピング関数R_k（）の参照信号（又はその中の参照画像）r_<k+１>のi番目のピクセルを、（r^y _<k+１>,i,r^C０ _<k+１>,i,r^C１ _<k+１>,i）と表す。k番目のリシェーピング関数R_k（）への入力ビデオ信号（又はその中の入力画像）及びk番目のリシェーピング関数R_k（）からの出力又はリシェープドビデオ信号（又はその中の出力又はリシェープド画像）を、各々、s_<k>及びs_<k+１>と表し、ここで、k=０、．．．、K－１である。k番目のリシェーピング関数R_k（）は、次のように、入力信号（又はその中の入力画像）s_<k>を出力信号（又はその中の出力画像）s_<k+１>に順方向にリシェーピングするために適用できる。

【数1】

【0051】

多くの運用シナリオでは、チェーンドリシェーピング関数のパイプラインからの最終出力又はリシェープドビデオ信号（又はその中の最終出力画像）は、次のように、最初又は元の入力ビデオ信号（又はその中の最初又は元の入力画像）と等しない。

【数2】

【0052】

k番目のリシェーピング関数の場合、その出力信号s_<k+１>は、次のように、参照信号r_<k+１>にできるだけ近い（例えば、エラー閾値／測定値などに応じて、最小化／最適化手順に従う）必要がある。

【数3】

【0053】

その結果、チェーンドリシェーピング関数のパイプライン全体における最適化リシェーピング関数の構成／生成は、次のように、個々のリシェーピング関数の個々の最適化問題の線形結合（に対する解）として定式化できる。

【数4】

ここで、u_kは、チェーンドリシェーピング関数のパイプライン内の対応する各リシェーピング関数に割り当てられた重み付け係数を表す。

【0054】

エンドツーエンドの最適化は、解決が比較的困難であり又は計算集約的である可能性があるが、順次最適化などのより優れた効率的な方法を使用して、この問題に取り組むことができる。

【0055】

図２Bは、先に述べたように、Dolby Vision Profile８.４からDolby Vision Profile８.２への変換を実装するために使用できる、チェーンドリシェーピング関数の（具体的な）パイプラインの例を示している。

【0056】

図２Bに示されるように、チェーンドリシェーピング関数のパイプラインへの第１又は元のビデオ信号s_<０>は、入力HLG（例えば、R.２０２０など）信号である。チェーンドリシェーピング関数のパイプライン内の第１リシェーピング関数R_０は、参照信号r_<１>を持っているか又は割り当てられており、参照信号r_<１>は、HLG－SDR API（Application Programming Interface）又は市販のツールキットを使用して入力HLG信号から導出又は変換することができる。

【0057】

出力又はリシェープドビデオ信号s_<１>は、チェーンドリシェーピング関数のパイプライン内の第１リシェーピング関数R_０を第１又は元の入力ビデオ信号s_<０>に適用することによって生成することができ、言い換えると、第１リシェーピング関数R_０に基づいて第１又は元の入力ビデオ信号s_<０>をリシェーピングすることによって生成することができる。図２Bに示すように、出力又はリシェープドビデオ信号s_<１>は、リシェープドSDR信号であってもよい。リシェープドSDR信号は、参照信号r_<１>と同じであってもよく又は厳密に近似していてもよい。

【0058】

リシェープドSDR信号（s_<１>）は、第２リシェーピング関数R_１への入力ビデオ信号として使用することができる。第２参照信号r_<２>は、基準PQ信号であってもよい。基準PQ信号は、HLG後方互換コーデックのようなビデオコーデックを使用して、又はBT.２１００規格のような関連するビデオコーディング規格又はその中で定義されるプロファイルを実装する他のビデオコーデックを使用して、第１又は元の入力ビデオ信号（又は入力HLGビデオ信号）から導出又は変換することができる。

【0059】

出力又はリシェープドビデオ信号s_<２>は、チェーンドリシェーピング関数のパイプライン内の第２リシェーピング関数R_１をリシェープドビデオ信号s_<１>に適用することによって、言い換えると、第１リシェーピング関数R_１に基づいてリシェープドビデオ信号s_<１>をリシェーピングすることによって生成することができる。出力又はリシェープドビデオ信号（s_<２>）は、PQ信号であってもよい。PQ信号は、第２参照信号r_<２>又は参照PQ信号と同じであってもよく又は厳密に近似していてもよい。

【0060】

図示のように、第１リシェーピング関数：

【数5】

から出力されたリシェープドSDRビデオ信号は、ビデオ信号内の基本層画像データとして符号化／表現されてもよい。第２リシェーピング関数：

【数6】

を指定するようなリシェーピング関数パラメータは、ビデオ信号に含まれる画像メタデータの一部として含まれ、ビデオ信号の受信装置によって使用されて、ビデオ信号の基本層画像データで表現されたSDRビデオ信号を、再構成PQ画像を有する再構成又はリシェープドPQビデオ信号に再構成又はリシェーピングすることができる。

【0061】

＜順次／チェーンド最適化＞
様々な予測子を使用して、例えば、順次最適化プロセスを使用して、ここで説明するようなチェーンドリシェーピング関数を構成又は生成できる。これらの予測子は、テンソル積Bスプライン（Tensor Product B－Spline （TPB））予測子や非TPB予測子などの高度な予測子であってよい。

【0062】

幾つかの運用シナリオでは、チェーンドリシェーピング関数のパイプライン全体でリシェーピング関数を構築するための最適化問題は、２つの最適化問題に分解できる。１つはルマチャネルに使用されるリシェーピング関数／マッピング（ルマリシェーピング関数と呼ばれることがある）を構成するための最適化問題であり、もう１つはクロマチャネルのリシェーピング関数／マッピング（クロマリシェーピング関数と呼ばれることがある）を構成するための最適化問題である。例えば、リシェーピング関数のパイプライン内のリシェーピング関数は、（ルマチャネル内の入力コードワード又は入力ルマコードワードをルマチャネル内の出力コードワード又は出力ルマコードワードにリシェーピングする）ルマリシェーピング関数／マッピングと、（ルマ及びクロマチャネル内の入力コードワード又は入力ルマ及びクロマコードワードをクロマチャネル内の出力コードワード又は出力クロマコードワードにリシェーピングする）クロマリシェーピング関数／マッピングを含むことができる。

【0063】

幾つかの運用シナリオでは、ルマチャネルの最適化問題を解決する際に、CDFマッチング技術を使用して、クロマ及び／又はルマリシェーピング関数／マッピング（例えば、マルチピース多項式、１次元ルックアップテーブル又は１D LUT、３次元ルックアップテーブル又は３D LUTの一部など）を構成又は生成することができる。追加で、任意で、又は代替として、クロマ及び／又はルマリシェーピング関数／マッピングは、マルチカラーチャネル多重回帰（multiple color channel multiple regression （MMR））予測ベース技術などのクロスカラーチャネル予測因子を使用して構成又は生成することができる。追加で、任意で、又は代替として、クロマ及び／又はルマリシェーピング関数／マッピングは、基底関数としてBスプライン（B－Spline）関数を使用するテンソル積Bスプライン（tensor product B－spline （TPB））予測ベース技術などのクロスカラーチャネル予測因子を使用して構成又は生成することができる。

【0064】

例示的な累積密度関数（cumulative density function （CDF））マッチング演算は、参照により本願明細書に全体が記載されたように本願明細書に組み込まれる２０１７年９月１１日出願のＰＣＴ出願番号ＰＣＴ／ＵＳ２０１７／５０９８０；２０１６年１０月５日出願の米国仮特許出願番号第６２／４０４,３０７号（米国特許出願公開番号第２０１８／００９８０９４号として２０１８年４月５日に公開された）に記載されている。MMRに基づく演算の例は、米国特許８,８１１,４９０に記載されており、その全内容は、参照によりここに完全に記載されているものとして組み込まれる。TPBに基づく演算の例は、米国仮出願番号第６２／９０８,７７０号（代理人整理番号第６０１７５－０４１７号）、２０１９年１０月１日出願、名称「TENSOR－PRODUCT B－SPLINE PREDICTOR」に記載されており、該出願は参照により、その全体が本明細書に完全に記載されているものとして援用される。

【0065】

第１例では、チェーンドリシェーピング関数のパイプラインにおけるk番目のリシェーピング関数のためのMMRベースのクロママッピング関数／マッピング（又はMMR予測子）は、以下のように構築又は生成することができる。

【0066】

入力ビデオ信号（又はその中の入力画像）のi番目のピクセルのためのMMR展開形式を、以下のように示す：

【数7】

【0067】

すべてのP個のピクセルのMMR展開形式は、次のように入力ベクトルに収集できる：

【数8】

【0068】

観測（又は基準／ターゲット）のクロマ信号又はベクトルは、次のように基準／ターゲットビデオ信号（又はその中の基準／ターゲット画像）のクロマコードワードに基づいて形成できる。ここで、chは、c０若しくはCbチャネルであるか、又はc１若しくはCrチャネルであるか、のいずれかである。

【数9】

【0069】

MMR係数は、m^ch _<k>として表され、次のようなマトリクス形式を使用して、出力又はリシェープドビデオ信号（又はその中の出力又はリシェープド画像）の出力又はリシェープドクロマコードワードを予測するために使用できる。

【数10】

【0070】

MMR係数m^ch _<k>は、次のように定式化された最適化問題を解くことによって最適化できる。

【数11】

【0071】

例えば、最適化されたMMR係数は、次のように式（９）の最適化問題の最小二乗解によって見付けられ又は生成される。

【数12】

【0072】

幾つかの運用シナリオでは、チェーンドリシェーピング関数のパイプライン内の各リシェーピング関数、例えばルマ及びクロマリシェーピング関数／そのマッピングは、k=０から開始してK－１まで、順次生成又は構築できる。例えば、チェーンドリシェーピング関数のパイプライン内の各リシェーピング関数内のクロマリシェーピング関数／マッピングは、以下の表１に示すような例示的な最適化手順を使用して、k=０から開始してK－１まで、順次生成又は構築できる。
［表１］

【表1】

【0073】

第２例では、チェーンドリシェーピング関数のパイプラインにおけるk番目のリシェーピング関数のためのTPBベースのクロママッピング関数／マッピング（又はTPB予測子）は、以下のように構築又は生成することができる。

【0074】

chカラーチャネルの場合、次の行列を構築できる。

【数13】

【0075】

TPBベースのクロマリシェーピング関数／マッピングのために最適化されたTPB演算パラメータは、m^ch,opt _<k>と表され、例えば、上記の式（８）と同様の式を使用して定式化された（グローバルな）TPB最適化問題の最小二乗解によって、次のように構築、生成又は取得することができる。

【数14】

【0076】

＜チェーンドリシェーピング関数の最適化＞
チェーンドリシェーピング関数のパイプラインにおけるリシェーピング関数の性能（例えば、再構成ビデオ信号の精度の向上、予測誤差の最小化、多様なビデオコーデックのサポートなど）を向上するために、様々な最適化アルゴリズム／方法を使用できる。様々な運用シナリオでは、これらの最適化アルゴリズム／方法で制約が使用される場合と使用されない場合がある。

【0077】

幾つかの運用シナリオでは、制約なしの信号調整のための逆方向誤差減算（BESA （Backward Error Subtraction for signal Adjustment））アルゴリズム／方法と呼ばれることがある反復アルゴリズム／方法を使用して、チェーンドリシェーピング関数のパイプラインでリシェーピング関数の性能を向上させることができる。BESAアルゴリズム／方法の例は、米国仮特許出願番号第６３／０１３,０６３号、「Reshaping functions for HDR imaging with continuity and reversibility constraints」、G－M. Su, ２０２０年４月２１日出願、米国仮特許出願番号第６３／０１３,８０７号、「Iterative optimization of reshaping functions in single－layer HDR image codec」、G－M. Su、H. Kadu、２０２０年４月２２日出願、に記載されており、それらの内容は、ここに完全に記載されているかのように、参照によりここに完全に組み込まれている。

【0078】

反復アルゴリズム／方法は、T回の反復で実行できる。ここで、Tは、（例えば、事前に設定された、構成された、動的に決定された、予算計上されたなど）１より大きい整数を表す。T反復の各反復（例えば、反復tであり、t=０、．．．、T－１である）では、まず最適化を順方向に実行して、チェーンドリシェーピング関数のパイプラインでリシェーピング関数を定義又は指定するリシェーピング関数係数を取得又は生成でき、その後、参照信号の変更を逆方向に実行できる。反復アルゴリズム／方法の目標は、エンドツーエンド誤差（例えば、予測された最終的なリシェープドビデオ信号と最終的な基準ビデオ信号との間の差、等）を最小化できるように、各反復tで参照信号r^（t） _<k>を変更することである。

【0079】

非限定的な実装例では、反復アルゴリズム／方法は、２つのforループで実装又は実行できる。２つのforループのうちの外側のforループでは、t=０、...、T－１のようにT回の反復に達するまで、反復回数（t）が１つずつ増加又はインクリメントされる。２つのforループのうちの内側のforループでは、第１リシェーピング関数R_０から最後のリシェーピング関数R_K－１まで、順方向最適化を実行できる。

【0080】

２つのforループのうちの内側のforループの各反復の最後に、最後から２番目の参照信号から第１参照信号r^（t） _<１>まで、逆方向参照信号修正を実行できる。幾つかの動作シナリオでは、最後の参照信号r^（t） _<K>は、固定されており、前述の逆方向参照信号修正は適用されない。これは、チェーンドリシェーピング関数のパイプラインからの出力（又は最後の参照信号）の忠実度を維持し、各反復で最終エラー又は最終コスト関数（値）を変更することによって発生する振動（したがって、収束しないか又は比較的遅く収束すること）を回避するためである。

【0081】

より具体的には、順方向最適化において、（例えば、各々、等）反復tにおいて、各リシェーピング関数（例えば、k番目のリシェーピング関数、等）は、
（１）k=０の場合に最初又は元の入力映像信号（又はその中の最初又は元の入力画像）であり、k≠０の場合に（直前の）先行するリシェーピング関数（例えば、（k－１）番目のリシェーピング関数、など）から出力される更新された入力ビデオ信号（又はその中の更新された入力画像）であるs^（t） _<K>、及び（２）（直前の）先行する反復の最後に実行される逆方向参照信号修正からの更新された参照ビデオ信号（又はその中の更新された参照画像）であるr^（t） _<K+１>に基づき、最適化リシェーピング関数係数{m^{（t）,ch,opt} _<K>}、及び予測信号s^（t） _<K+１>を取得するために最適化を実行することにより生成又は構成できる。これらの演算は、k=０からK－１までのチェーンドリシェーピング関数のパイプライン内のすべてのリシェーピング関数に対して順次実行することができる。

【0082】

各反復（t）の最後に、各カラーチャネルの予測誤差を次のように計算することによって、各kに対して逆方向参照信号修正を実行することができる。

【数15】

次に、予測誤差を使用して、対応する参照ビデオ信号（又はその中の参照画像）を次のように修正する。

【数16】

【0083】

これらの演算は、k=K－１から１までのすべての参照ビデオ信号（最後の参照ビデオ信号を除く）に対して順番に実行できる。

【0084】

幾つかの運用シナリオでは、関数f（）を使用して、参照ビデオ信号（又はその中の参照画像）を変更する方法を決定できる。この関数は、比較的大きなエラーを参照ビデオ信号に逆伝播させるために使用できる。各ピクセル（又はi番目のピクセル）に対して、関数f（）は次のように指定又は定義できる。

【数17】

ここで、εは、誤差が参照ビデオ信号又は（又はその中の参照画像を変更する必要があるほど十分に大きいかどうかを決定するための最小誤差閾値である。α^chは、収束速度係数（又はスケーリング係数）を表す。λは、修正の上限を表す。

【0085】

幾つかの運用シナリオでは、次のように、関数f（）で適応スケーリング係数を使用できる。ここで、反復インデックスtが増加すると、以下のようにスケーリング係数が減少する。

【数18】

ここで、βは０.９９、０.９８、又は別の数値などの割引係数（discount factor）である。

【0086】

反復最適化手順の例を次の表２に示す。
［表２］

【表2】

【0087】

＜最適化された反復回数の選択＞
図３Aは、図２Bに示すように、チェーンドリシェーピング関数のパイプラインでリシェーピング関数を構築するために使用される反復最適化アルゴリズム／方法の各反復における、第１リシェーピング関数R_０から出力される第１リシェープドSDRビデオ信号（又はその中のリシェープドSDR画像）の歪みの例を示す。図３Bは、反復最適化アルゴリズム／方法の各反復における、第２リシェーピング関数R_１から出力されるリシェープドHDRビデオ信号（又はその中のリシェープドHDR画像）の歪みの例を示す。

【0088】

図３Bに示すように、第２リシェーピング関数から出力されるリシェープドHDRビデオ信号の歪みは、反復回数が増加すると、一定レベル以下で飽和するまで徐々に減少する。対照的に図３Aに示すように、第１リシェーピング関数から出力されるリシェープドSDRビデオ信号の歪みは、反復回数が増加するき、一定レベル又はそれ以下で飽和することなく増加し続ける。

【0089】

中間のリシェープドビデオ信号の忠実度を向上させるために、反復回数が最終ラウンド（又はT回の反復）に達する前にリシェーピング係数を取得するか、又はチェーンドリシェーピング関数のパイプライン内の特定のリシェーピング関数を定義するために使用することができる。言い換えると、最終ラウンド（又はT回の反復）まで、表２に示す反復最適化アルゴリズム／方法を完了する代わりに、反復t^optでのリシェーピング係数を取得することができる。ここで、t^opt<Tである。

【0090】

第１例では、客観的な方法を使用して、最適な反復回数t^optを選択又は取り出すことができる。図３A及び図３Bに示すような反復に渡る歪みを示す収束曲線を使用して、第１リシェーピング関数R_０から出力される第１リシェープドビデオ信号の歪みと、第２リシェーピング関数R_１から出力される第２リシェープドビデオ信号の歪みとの間に最良のトレードオフを有する特定の反復インデックス（又は最適な反復回数t^opt）を識別、選択又は取り出すことができる。例えば、図３Bに示されるようなR_１歪みは、R１収束曲線上のニーポイントである反復#８のような特定の反復回数で飽和し始める。このニーポイントは、R_１収束曲線が絶対値で最大の１次微分変化を有する（又は絶対値又は大きさで最大の２次微分を有する）場所で識別又は見つけることができる。図３Aに示されるように、図３Aに示されるようなR_０歪みはまた、R_０収束曲線上の特定の反復回数（又はこの例では反復８）で比較的小さな歪みを有する。

【0091】

第２例では、主観的な方法を使用して、最適な反復回数t^optを選択又は取り出すことができる。例えば、各反復で生成又は取得されたリシェーピング係数の各セットをテスト画像のバッチに適用して、異なるリシェープドビデオ信号間の最適なトレードオフを主観的に決定するのを助けるために、ユーザ（又は人間）によってレビューできるリシェープド画像を生成することができる。これらの操作の一部は手動で実行されてもよく、これらの操作の他の一部は自動的に実行されてもよい。

【0092】

＜逆勾配ベースアルゴリズム＞
逆方向参照信号修正の一部として、幾つかの動作シナリオでは、例えば、入力ビデオ信号（又はその中の入力画像）の（例えば、比較的小さい、等）入力差をリシェーピング関数に与え、リシェーピング関数によって出力されるリシェープドビデオ信号（又はその中の出力画像）の中で生じる出力差を測定することによって、チェーンドリシェーピング関数のパイプライン内の（例えば、各々の、等）リシェーピング関数に対して逆勾配を計算することができる。入力差と出力差の間の比率は、リシェーピング関数の逆勾配として定義又は使用することができる。

【0093】

例えば、各ピクセルについて、次のように、各チャネルの入力画像のピクセル値（s^（t）y _<k>,i, s^（t）C０ _<k>,i, s^（t）C１ _<k>,i）に入力差Δを追加できる。

【数19】

ここで、左辺（left hand side （LHS））はデルタの加算されたピクセル値である。

【0094】

リシェーピング関数が、入力画像のピクセルに適用されて、リシェーピング関数から出力されるリシェープドビデオ信号の出力差を生成することができる。

【0095】

デルタの加算されたピクセル値（s'^（t）y _<k>,i, s'^（t）C０ _<k>,i, s'^（t）C１ _<k>,i）に対する入力画像のi番目のピクセルに対するMMR展開形式は、次のように与えることができる。

【数20】

【0096】

すべてのピクセルのMMR展開形式は、次のように行列形式に収集できる：

【数21】

【0097】

リシェーピングビデオ信号（又はその中のリシェープド画像）の出力差は、次のように表現又は計算できる。

【数22】

【0098】

各ピクセルの逆勾配は、次のように計算できる。

【数23】

【0099】

逆勾配g^（t）,ch _<k+１>,iは、次のように、リシェープドビデオ信号（又はその中のリシェープド画像）とその参照ビデオ信号（又はその中の参照画像）との間の計算誤差e^（t）,ch _<k+１>と共に使用されて、逆方向参照信号修正の一部として、次の反復のために更新された参照ビデオ信号を生成できる。

【数24】

【0100】

表２に示すものと同様の符号化手順／方法／フローを使用して、上記の式で更新された異なる参照ビデオ信号があるにもかかわらず、チェーンドリシェーピング関数のパイプラインの中のリシェーピング関数を生成又は構築できる。

【0101】

＜制約付き最適化＞
図３Aに示されているように、中間リシェープドビデオ信号における制約なし最適化、又は制約又は制限なしで中間リシェープドビデオ信号を最適化すると、歪みの発散が生じる可能性がある。制約は、本明細書に記載されているように、リシェーピング関数最適化処理において実施され、リシェーピング関数最適化処理によって構築されたチェーンドリシェーピング関数のパイプラインから生成される中間リシェープドビデオ信号の忠実度を向上又は保証することができる。

【0102】

幾つかの動作シナリオにおいて、本明細書に記載されているようなリシェーピング関数最適化は、ハード制約で実施又は実行することができる。このような最適化は、ハード制約最適化と呼ばれることがある。

【0103】

例えば、チェーンドリシェーピング関数のパイプラインで生成される中間リシェープドビデオ信号の誤差補正のレベルは、中間リシェープドビデオが近似又はターゲットとなる参照ビデオ信号への修正に制限／境界を設定することによって、次のように制約又は制御できる。

【数25】

ここで、r^ch,L _<k>及びr^ch,H _<k>は、各々許容値変更の下限と上限を表す。許容値変更の下限と上限は、参照ビデオ信号（又はその中の参照画像）内の実際のコードワード分布又は範囲に基づいて設定できる。乗算／除算スケーリング又は比率係数及び／又は加算／減算デルタを使用して、参照ビデオ信号（又はその中の参照画像）内の実際のコードワード分布又は範囲から決定されるグループコードワード値（例えば、最大、死作用、平均、中央、加重平均など）に関連して、これらの上限と下限を設定できる。これらの係数及び／又はデルタの値は、比例、固定などであることができる。例えば、上限は、（a）色空間又はその中の色チャネル内の最大の有効なコードワード値以下、及び（b）参照画像で決定された最大のコードワードから５％未満の差（又は固定値）、に設定できる。同様に、上限は、（a）色空間又はその中の色チャネル内の最小の有効なコードワード値以上、及び（b）参照画像で決定された最小のコードワードから５％未満の差（又は固定値）、に設定できる。

【0104】

表２に示すものと同様の符号化手順／方法／フローを使用して、上記の式（２２）において、（中間リシェープドビデオ信号で近似又はターゲットにするため）参照ビデオ信号に対する限定された修正を伴うが、チェーンドリシェーピング関数のパイプラインの中のリシェーピング関数を生成又は構築できる。

【0105】

飽和色の変化は中間色の変化よりも顕著であることが分かっている。したがって、中間リシェープドビデオ信号における飽和色に対する変化は、回避、制限、制限又は他の方法で減弱することができる。

【0106】

これらの飽和色に影響を与える信号修正は、比較的小さい又は狭い範囲又は程度で行うことができ、一方、中間色のような不飽和色に影響を与える信号修正は、比較的大きい又は広い範囲又は程度で行うことができる。

【0107】

幾つかの動作シナリオにおいて、本明細書に記載されているようなリシェーピング関数最適化は、飽和制約加重アルゴリズム又は方法を使用して実施又は実行することができる。

【0108】

例えば、各ピクセルの重み付け係数は、リシェーピング関数最適化処理（全体）に対して設定することができる。最終基準ビデオ信号r_<K>（又はその中の最終基準画像）の各ピクセルの彩度（値）は、次のように計算され、リシェーピング関数最適化処理（全体）において変更されないように保持することができる。

【数26】

【0109】

上式（２３）に示されているピクセルの彩度（値）は、次のように非線形減少関数又は関数形式を介して、ピクセル（又は中間リシェープドビデオ信号の対応するピクセル）の重み付け係数に変換されるか、又はそれを構成するために使用することができる。

【数27】

は、重み付け係数関数パラメータを表す。σの値の例は、０．０１、０．０１１などである。

【0110】

画素の重み付け係数は、中間リシェープドビデオ信号が近似する基準ビデオ信号を修正する際に使用できる。これらの重み付け係数を使用すると、画素の彩度が低いほど、画素の画素値に対する修正量が多くなる。換言すれば、彩度の高い画素は、比較的少ない修正量を有することができ、それによって、中間リシェープドビデオ信号における飽和色画素と中間色画素の両方の比較的高い忠実度を確保するのに役立つ。

【0111】

参照信号修正関数は、次のように重み付け係数で定義することができる。

【数28】

【0112】

表２に示すものと同様の符号化手順／方法／フローを使用して、上記の式（２５）において、（中間リシェープドビデオ信号で近似又はターゲットにするため）参照ビデオ信号に対する飽和加重修正を伴うが、チェーンドリシェーピング関数のパイプラインの中のリシェーピング関数を生成又は構築できる。

【0113】

図３Cは、図２Bに示すように、チェーンドリシェーピング関数のパイプラインでリシェーピング関数を構築するために使用される反復飽和加重最適化アルゴリズム／方法の各反復における、第１リシェーピング関数R_０から出力される第１リシェープドSDRビデオ信号（又はその中のリシェープドSDR画像）の歪みの例を示す。図３Dは、反復飽和加重最適化アルゴリズム／方法の各反復における、第２リシェーピング関数R_１から出力されるリシェープドHDRビデオ信号（又はその中のリシェープドHDR画像）の歪みの例を示す。

【0114】

図３Dに示すように、第２リシェーピング関数から出力されるリシェープドHDRビデオ信号の歪みは、反復回数が増加すると、一定レベル以下で飽和するまで徐々に減少する。図３Cに示すように、第１リシェーピング関数から出力されるリシェープドSDRビデオ信号の歪みは、反復回数が増加するとき増加し続け、反復#１５付近でピークに達し、その後飽和点付近まで減少し始める。したがって、HDR及びSDRリシェーピング関数の両方のリシェープドHDR及びSDRビデオ信号の歪みは収束する。さらに、図３C及び図３Bに示すような制約付き（例えば、飽和加重制約など）最適化における歪みは、図３A及び図３Bに示すような制約なし最適化における歪みと比較して、大きく又は顕著な増加はない。

【0115】

＜事前知識を組み込んだ最適化＞
幾つかの動作シナリオでは、本明細書に記載されているようなリシェーピング関数最適化は、チェーンドリシェーピング関数のパイプラインから生成される、異なる色等級（又はリシェープドビデオ信号）に関する事前知識を組み込むことができる。したがって、事前知識を組み込んだ（又は制約に基づく）アルゴリズム／方法は、チェーンドリシェーピング関数のパイプラインでリシェーピング関数を生成又は構築する目的で、そのような事前知識を組み込むように実装することができる。

【0116】

例えば、入力コンテンツを符号化又は表現する際に実際に使用されるコードワード値のうち、入力コンテンツを符号化又は表現するために使用される入力色空間又はドメイン内のコードワード値の全データ範囲の適切なサブセットを表すデータ範囲は、事前情報又は知識として利用可能である。データ範囲に関するこの事前知識は、本明細書に記載されるように、リシェーピング関数最適化における制約として実装され、入力コンテンツの色空間又はドメインから別の色空間又はドメイン内の中間又は最終コンテンツへの変換を容易にするために使用される。

【0117】

限定ではないが例示として、１つ以上の（追加の）リシェーピング関数を、データ範囲に関する事前知識に基づく変換／制約を考慮するために、チェーンドリシェーピング関数のパイプラインに実装することができる。これらの（追加の）リシェーピング関数は、リシェーピング関数パラメータを最適化せずに固定されることも、又はすべてのリシェーピング関数パラメータの中の最適化すべきリシェーピング関数パラメータの比較的少数（例えば、１、２など）のサブセットのみを使用して構成することもできる。同様に、出力データ範囲も同様に事前知識として知られており、固定リシェーピング関数を使用してチェーンドリシェーピング関数のパイプラインの最終段階又はその近くで制約／変換を実装するために使用することも、構成可能なリシェーピングパラメータのサブセットのみを有するリシェーピング関数を使用することもできる。

【0118】

図２Cは、チェーンドリシェーピング関数の例示的な事前知識を組み込まれたパイプラインを示す。これらのチェーンドリシェーピング関数のサブセットは、本明細書に記載されるような制約又は変換を有する最適化方法又は手順を使用して生成又は構築することができる。

【0119】

図２Cに示すように、（元の）入力ビデオ信号（又はその中の入力画像）s_<０>は、入力色空間（又は入力ドメイン）で表現／符号化され、チェーンドリシェーピング関数のパイプラインへの入力として提供される。チェーンドリシェーピング関数のパイプラインは、一緒に連結されたK個のリシェーピング関数を含み、Kは１より大きい整数である。これらのK個のリシェーピング関数は、チェーンドリシェーピング関数のパイプラインの両端にある２つの固定リシェーピング関数R_０（）とR_K－１（）を含む。各固定リシェーピング関数R_０（）とR_K－１（）は、最適化されるリシェーピング関数パラメータを持たないか、又は最適化される比較的少数のリシェーピング関数パラメータのサブセットを持つことができる。これらのKリシェーピング関数はまた、R_１（）とR_２（）のようなチェーンドリシェーピング関数のサブセットを含み、ここに記載されているように、リシェーピング関数最適化によって最適化されるか構築される。

【0120】

図２Dは、前述のように、HLG下位互換コーデックからSDR下位互換コーデックへの変換を実装するために使用され得る、チェーンドリシェーピング関数の（特定の）事前知識組み込みパイプラインの例を示す。

【0121】

図２Dに示されるように、適用可能なユースケースで携帯電話カメラによってキャプチャされた入力ビデオ信号（又はその中の画像）のような、入力コンテンツの中で表されるデータ範囲又は最大色に関する事前知識は、リシェーピング関数最適化に組み込まれ得る。事前知識に基づいて、既存の携帯電話カメラでキャプチャされた入力コンテンツ内の画像のデータ範囲又は最大色は、P３色空間又はドメインであることが分かっている場合があり、同時に、画像を含む入力ビデオ信号は、キャプチャ／格納された画像で実際に使用されるP３色空間又はドメインよりもはるかに大きなデータ範囲又は最大色を持つHLG R.２０２０画像データコンテナ（又はHLG R．２０２０色空間又はドメイン）に格納されることが分かっている場合がある。SMPTE EG４３２－１:２０１０、「Digital Source Processing-Color Processing for D-Cinema」（２０１０年１１月１０日）及びSMPTE RP４３１－２:２０１１、「D-Cinema Quality-Reference Projector and Environment」（２０１１年４月６日）は、その全体が参照により本明細書に組み込まれ、P３色空間の例を説明している。

【0122】

最適化されたリシェーピング関数パラメータ値は、チェーンドリシェーピング関数のパイプライン内のリシェーピング関数を定義又は指定し、入力コンテンツ内の制約又は事前知識を使用して生成又は構築され、チェーンドリシェーピング関数のパイプライン全体におけるリシェーピング関数の性能（例えば、リシェープド信号の忠実度の向上、予測誤差の低減等）を向上させることができる。

【0123】

例えば、図２Dに示すように、入力コンテンツ内のデータ範囲又は最大色の制約は、HLG R.２０２０色空間（又はドメイン）内の入力コンテンツ（名目上）のP３色空間（又はドメイン）への変換を実装する第１リシェーピング関数R_０などの固定リシェーピング関数を介して実施することができる。

【0124】

SDR参照ビデオ信号（又はSDR画像）は、HLG－to－SDR API又はツールキットを使用して、入力HLG R.２０２０信号から導出又は変換できる。

【0125】

チェーンドリシェーピング関数のパイプライン内の第２リシェーピング関数R_１は、２つの入力、つまり、（１）SDR参照ビデオ信号（又はその中のSDR画像）及び（２）リシェープドHLG P３ビデオ信号（又はその中のリシェープドHLG P３画像）、を受け取り、第２リシェーピング関数R_１によって表される予測モデルを介して、リシェープドHLG P３ビデオ信号（又はその中のリシェープドHLG P３画像）を、図２DのSDRとして表されるリシェープドSDRビデオ信号（又はその中のリシェープドSDR画像）にリシェーピングすることによって、SDR参照ビデオ信号（又はそのSDR画像）を近似しようとする。

【0126】

R.２０２０色空間（又はドメイン）内の中間PQ信号は、HLG後方互換コーデックのようなビデオコーデックを使用して、又はBT.２１００規格のような関連するビデオコーディング規格又はその中で定義されるプロファイルを実装する他のビデオコーデックを使用して、入力HLG R.２０２０ビデオ信号から導出又は変換することができる。

【0127】

その後、R.２０２０色空間（又はドメイン）における中間PQ信号は、HLG R.２０２０色空間（又はドメイン）における入力コンテンツ（名目上）のP３色空間（又はドメイン）への変換を実装する第１リシェーピング関数R_０のような固定リシェーピング関数によって、P３色空間（又はドメイン）で表される参照PQビデオ信号にリシェーピングすることができる。

【0128】

チェーンドリシェーピング関数のパイプライン中の第３リシェーピング関数R_２は、２つの入力、つまり、（１）P３色空間（又はドメイン）で表される参照PQビデオ信号と、（２）第２リシェーピング関数R_１から出力されるリシェープドSDRビデオ信号（又はその中のリシェープドSDR画像）、を受け取り、第３リシェーピング関数R_２で表される予測モデルを介してリシェープドSDRビデオ信号（又はその中のリシェープドSDR画像）を再構成又はリシェープドPQビデオ信号（図２DにおいてPQとして表される）又はP３色空間若しくはドメイン（その中の再構成又はリシェープドPQ画像）にリシェーピングすることによって、参照PQビデオ信号（又はその中の参照PQ画像）を近似しようとする。

【0129】

図示のように、第２リシェーピング関数R_１から出力されたリシェープドSDRビデオ信号は、ビデオ信号内の基本層画像データとして符号化／表現されてもよい。第３リシェーピング関数R_２を指定するようなリシェーピング関数パラメータは、ビデオ信号に含まれる画像メタデータの一部として含まれ、ビデオ信号の受信装置によって使用されて、ビデオ信号の基本層画像データで表現されたSDRビデオ信号を、再構成PQ画像を有する再構成又はリシェープドPQビデオ信号に再構成又はリシェーピングすることができる。

【0130】

幾つかの動作シナリオでは、予想される最終出力ビデオ信号は、再構成又はリシェープドPQ R.２０２０ビデオ信号であってもよい。第３リシェーピング関数R_２から生成された再構成PQビデオ信号は、固定リシェーピング関数又はP３色空間若しくはドメインからR.２０２０色空間若しくはドメインへの変換によってさらに変換することができる。追加で、任意で、又は代替として、３色空間又はドメインからR.２０２０色空間又はドメインへの固定リシェーピング関数又は変換を、P３色空間又はドメインからLMS色空間又はドメインのような別の色空間又はドメインへの全体的な変換（例えば、LMS変換又は変換など）の一部として結合又はカプセル化することができる。P３色空間又はドメインからR.２０２０色空間又はドメインへの固定リシェーピング関数又は変換の、全体的な変換への結合又はカプセル化は、例えば、画像メタデータ又はそこに含まれる表示管理（display management （DM））メタデータを介して、上流の符号化装置から下流の受信側復号装置に信号を送ることができる。

【0131】

最適化されるべき第１（非固定）リシェーピング関数のインデックスをk_sとして表し、ここでk_s>０であり、及び最適化されるべき最後の（非固定）リシェーピング関数のインデックスをk_eとして表し、ここでk_e<K－１である。上述した制約の有無にかかわらず、事前知識を組み込んだリシェーピング関数最適化手順の例を以下の表３に示す。
［表３］

【表3】

【0132】

図３Eは、リシェープドSDRビデオ信号を生成する図２Dの第２リシェーピング関数R_１の歪み（又は収束曲線）の例を示す。図３Fは、リシェープドPQ（又はHDR）ビデオ信号を生成する図２Dの第３リシェーピング関数R_２の歪み（又は収束曲線）の例を示す。

【0133】

＜例示的な処理フロー＞
図４Aは、実施形態による例示的な処理フローを示す。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、逆マッピング生成及び適用システム等）は、この処理フローを実行してよい。ブロック４０２において、画像処理システムは、チェーンドリシェーピング関数のパイプラインへの入力ビデオ信号の入力画像を受信する。チェーンドリシェーピング関数のパイプラインは、リシェーピング関数のチェーンを含む。

【0134】

ブロック４０４において、画像処理システムは、入力ビデオ信号から、２つ以上の基準色等級のための２つ以上の参照画像を生成する。２つ以上の参照画像の各参照画像は、２つ以上の基準色等級の各々の基準色等級に対応する。

【0135】

ブロック４０６において、画像処理システムは、入力画像及び２つ以上の参照画像を使用して、チェーンドリシェーピング関数のパイプラインにおける２つ以上のチェーンドリシェーピング関数のための演算パラメータの２つ以上のセットを決定する。演算パラメータの各セットは、２つ以上のチェーンドリシェーピング関数における各々のチェーンドリシェーピング関数を指定する。２つ以上のチェーンドリシェーピング関数における各々のチェーンドリシェーピング関数は、２つ以上のリシェーピング色等級における２つ以上のリシェープド画像における各々のリシェープド画像を生成するために使用される。

【0136】

ブロック４０８において、画像処理システムは、２つ以上のリシェーピング色等級における２つ以上のリシェープド画像のうち、選択されたリシェーピング色等級における選択されたリシェープド画像を、画像メタデータと共にビデオ信号に符号化する。画像メタデータは、２つ以上のチェーンドリシェーピング関数のうちの１つ以上のチェーンドリシェーピング関数に対する演算パラメータの１つ以上のセットを含む。ビデオ信号の受信装置は、画像メタデータと選択されたリシェープド画像とを用いて、選択されたリシェーピング色等級以外のリシェーピング色等級の再構成画像を生成するようにされる。

【0137】

実施形態では、ビデオ信号は単一レイヤの後方互換性信号を表す。

【0138】

実施形態では、入力ビデオ信号は第１ビデオコーディングプロファイルに対応し、２つ以上のリシェープド色等級は、１つ以上の第２ビデオコーディングプロファイルに対応し、各第２ビデオコーディングプロファイルは第１ビデオコーディングプロファイルとは異なる。

【0139】

実施形態では、２つ以上の第２ビデオコーディングプロファイルは、以下：iOS装置、Android装置、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、異なる表示機能を有するユーザ装置、のうちの１つ以上によってサポートされる少なくとも１つのビデオコーディングプロファイルを含む、等である。

【0140】

実施形態では、入力画像、２つ以上の参照画像、及び２つ以上のリシェープド画像は、以下：８ビット画像、１０ビット画像、１２ビット画像、ハイブリッドログガンマ（HLG）画像、知覚量子化（PQ）画像、高ダイナミックレンジ（HDR）画像、標準ダイナミックレンジ（SDR）画像、拡張ダイナミックレンジ（EDR）画像、Rec．２０２０色空間で表される画像、Rec．２１００色空間で表される画像、又はP３色空間で表される画像、のうちの少なくとも１つを含む、等である。

【0141】

実施形態では、各々のチェーンドリシェーピング関数を指定する演算パラメータのセットは、各々のチェーンドリシェーピング関数により生成されたリシェープド画像と２つ以上の参照画像における対応する参照画像との間の予測誤差を最小化することによって決定される。

【0142】

実施形態では、２つ以上のチェーンドリシェーピング関数を指定する演算パラメータの２つ以上のセットは、２つ以上のチェーンドリシェーピング関数により生成された２つ以上のリシェープド画像の各々と２つ以上の参照画像における対応する参照画像との間の予測誤差を最小化することによって、反復の合計回数によって決定され、
合計回数は、固定反復回数、予測誤差により表される歪みにおけるニーポイントに対応する反復回数、又は少なくとも一部がユーザ入力に基づいて選択される反復回数、のうちの１つから選択される。

【0143】

実施形態では、反復の合計回数は、予測誤差における予測誤差のサブセットが生成される第１反復を含み、第１予測誤差における予測誤差のサブセットは、第１反復後の第２反復に使用される２つ以上の参照画像を修正するために使用される。

【0144】

実施形態では、２つ以上の参照画像中のコードワードが、予測誤差のサブセットから計算される逆勾配、コードワードに対する修正を制限するために使用されるハード制約、コードワードの中で比較的飽和したコードワードに対する修正を制限するために使用されるソフト制約、等のうちの１つにより修正される。

【0145】

実施形態では、チェーンドリシェーピング関数のパイプラインが、入力ビデオ信号、及び２つ以上の基準色等級、のうちの少なくとも１つに関する事前知識に少なくとも部分的に基づいて決定される固定リシェーピング関数を含む。

【0146】

実施形態では、チェーンドリシェーピング関数のパイプラインによって生成される２つ以上のリシェーピング色等級が、２つ以上の基準色等級における最終基準色等級を近似する最終リシェーピング色等級を含み、最終基準色等級は、ビット深度、ダイナミックレンジ、色空間、空間解像度、ドメイン、又はビデオコーディングプロファイル、等のうちの少なくとも１つにおいて、入力ビデオ信号と異なる。

【0147】

図４Bは、実施形態による例示的な処理フローを示す。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、逆マッピング生成及び適用システム等）は、この処理フローを実行してよい。ブロック４５２では、画像処理システムは、画像メタデータとともに、リシェーピング色等級におけるリシェープド画像をビデオ信号から復号する。画像メタデータは、チェーンドリシェーピング関数のパイプライン内の１つ以上のチェーンドリシェーピング関数を各々指定する演算パラメータの１つ以上のセットを含む。

【0148】

ブロック４５４で、画像処理システムは、１つ以上のチェーンドリシェーピング関数のうちの少なくとも１つを、第２リシェーピング色等級における第２リシェープド画像を生成するために、ビデオ信号から復号されたリシェープド画像に適用する。

【0149】

ブロック４５６において、画像処理システムは、表示装置上で、第２リシェープド画像から生成された表示画像をレンダリングする。

【0150】

実施形態では、演算パラメータの１つ以上のセットが、複数の多項式、１次元ルックアップテーブル（１DLUT）、３次元ルックアップテーブル（３DLUT）、クロスカラーチャネル予測子、マルチカラーチャネル重回帰（MMR）予測子、基底関数としてBスプライン関数を有する予測子、又はテンソル積Bスプライン（TPB）予測子、等のうちの１つ以上を指定する。

【0151】

一実施形態では、ディスプレイ装置、モバイル装置、セットトップボックス、マルチメディア装置、等のようなコンピューティング装置は、前述の方法のうちのいずれかを実行するよう構成される。一実施形態では、機器は、プロセッサを含み、前述の方法のうちのいずれかを実行するよう構成される。一実施形態では、非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサにより実行されると、前述の方法のうちのいずれかの実行を生じるソフトウェア命令を格納している。

【0152】

一実施形態では、コンピューティング装置は、１つ以上のプロセッサと１つ以上の記憶媒体とを含み、該記憶媒体は、１つ以上のプロセッサにより実行されると、前述の方法のうちの何れかの実行を生じる命令のセットを格納している。

【0153】

別個の実施形態が本願明細書に記載されたが、本願明細書で議論した実施形態及び／又は部分的実施形態の任意の組み合わせは、更なる実施形態を形成するために結合されてよい。

【0154】

＜例示的なコンピュータシステムの実装＞
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ（field programmable gate array）、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び／又はＩＣは、本願明細書に記載したような拡張ダイナミックレンジを有する画像の適応型知覚量子化に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び／又はＩＣは、本願明細書に記載した適応型知覚量子化処理に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。

【0155】

本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の１つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のＨＤＲ画像の適応型知覚量子化に関連する方法を実施してよい。本発明ｂの実施形態は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の実施形態の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的媒体を含んでよい。本発明の実施形態によるプログラムプロダクトは、種々の形式のうちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。

【0156】

コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等）が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及（「手段」の言及を含む）は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する（例えば、機能的に均等な）任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。

【0157】

一実施形態によると、本願明細書に記載の木j通は、１つ以上の専用コンピューティング装置により実装される。専用コンピューティング装置は、技術を実行するためにハード結線されてよく、又は技術を実行するために永久的にプログラムされた１つ以上の特定用途向け集積回路（ASIC）又はフィールドプログラマブルゲートアレイ（FPGA）のようなデジタル電子装置を含んでよく、又はファームウェア、メモリ、他の記憶装置又はそれらの組み合わせの中のプログラム命令に従い技術を実行するためにプログラムされた１つ以上の汎用ハードウェアプロセッサを含んでよい。このような専用コンピューティング装置は、技術を達成するために、カスタムハードワイヤドロジック、ＡＳＩＣ、又はＦＰＧＡをカスタムプログラミングと結合してもよい。専用コンピューティング装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーク装置、又は技術を実装するためにハードワイヤ－ド及び／又はプログラムロジックを組み込む任意の他の装置であってよい。

【0158】

例えば、図５は、本発明の一実施形態が実装され得るコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２又は他の通信メカニズム、及び情報を処理するためにバス５０２に結合されたハードウェアプロセッサ５０４を含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであってよい。

【0159】

コンピュータシステム５００は、バス５０２に結合され、プロセッサ５０４により実行されるべき情報及び命令を格納するＲＡＭ（random access memory）又は他の動的記憶装置のようなメインメモリ５０６も含む。メインメモリ５０６は、プロセッサ５０４により実行されるべき命令の実行中に、時間変数又は他の中間情報を格納するためにも使用されてよい。このような命令は、プロセッサ５０４によりアクセス可能な非一時的記憶媒体に格納されるとき、コンピュータシステム５００を、命令で指定された動作を実行するようカスタマイズされた専用マシンにする。

【0160】

コンピュータシステム５００は、バス５０２に結合され、プロセッサ５０４のための静的情報及び命令を格納する、読み出し専用メモリ（ＲＯＭ）５０８又は他の静的記憶装置を更に含む。情報及び命令を格納するために、磁気ディスク又は光ディスクのような記憶装置５１０が設けられ、バス５０２に結合される。

【0161】

コンピュータシステム５００は、バス５０２を介して、コンピュータユーザに情報を表示する液晶ディスプレイのようなディスプレイ５１２に結合されてよい。英数字及び他のキーを含む入力装置５１４は、プロセッサ５０４に情報及びコマンド選択を通信するために、バス５０２に結合される。別の種類のユーザ入力装置は、プロセッサ５０４に方向情報及びコマンド選択を通信するための、及びディスプレイ５１２上のカーソルの動きを制御するための、マウス、トラックボール、又はカーソル方向キーのようなカーソル制御５１６である。この入力装置は、標準的に、第１軸（例えばｘ）及び第２軸（例えばｙ）の２軸の２つの自由度を有し、装置が平面内で位置を指定することを可能にする。

【0162】

コンピュータシステム５００は、コンピュータシステムと結合してコンピュータシステム５００を専用マシンにする又はプログラムする、カスタマイズされたハードワイヤドロジック、１つ以上のＡＳＩＣ又はＦＰＧＡ、ファームウェア及び／又はプログラムロジックを用いて、本願明細書に記載の技術を実装してよい。一実施形態によると、本願明細書に記載の技術は、プロセッサ５０４がメインメモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム５００により実行される。このような命令は、記憶装置５１０のような別の記憶媒体からメインメモリ５０６に読み込まれてよい。メインメモリ５０６に含まれる命令のシーケンスの実行は、プロセッサ５０４に本願明細書に記載の処理ステップを実行させる。代替の実施形態では、ハード結線回路が、ソフトウェア命令の代わりに又はそれと組合せて使用されてよい。

【0163】

用語「記憶媒体」は、本願明細書で使用されるとき、機械を特定の方式で動作させるデータ及び／又は命令を格納する任意の非一時的媒体を表す。そのような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含んでよい。不揮発性媒体は、例えば、記憶装置５１０のような光学又は磁気ディスクを含む。揮発性媒体は、メインメモリ５０６のような動的メモリを含む。記憶媒体の一般的形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、固体ドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、ホールのパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップ又はカートリッジを含む。

【0164】

記憶媒体は、伝送媒体と異なるが、それと関連して使用されてよい。伝送媒体は、記憶媒体の間で情報を転送する際に関連する。例えば、伝送媒体は、バス５０２を含むワイヤを含む、同軸ケーブル、銅線、光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような、音響又は光波の形式も取りうる。

【0165】

種々の形式の媒体は、実行のためにプロセッサ５０４に１つ以上の命令の１つ以上のシーケンスを運ぶ際に関連してよい。例えば、命令は、最初に、リモートコンピュータの磁気ディスク又は固体ドライブにより運ばれてよい。リモートコンピュータは、その動的メモリに命令をロードし、該命令をモデムを用いて電話線を介して送信できる。コンピュータシステム５００のローカルにあるモデムは、電話線でデータを受信し、赤外線送信機を用いてデータを赤外線信号に変換できる。赤外線検出器は、赤外線信号の中で運ばれたデータを受信し、適切な回路が該データをバス５０２に配置できる。バス５０２は、データをメインメモリ５０６に運び、そこからプロセッサ５０４が命令を読み出し実行する。メインメモリ５０６により受信された命令は、任意で、プロセッサ５０４による実行の前又は後に記憶装置５１０に格納されてよい。

【0166】

コンピュータシステム５００は、バス５０２に結合された通信インタフェース５１８も含む。通信インタフェース５１８は、ローカルネットワーク５２２に接続されるネットワークリンク５２０との２方向データ通信結合を提供する。例えば、通信インタフェース５１８は、ＩＳＤＮ（integrated services digital network）カード、ケーブルモデム、衛星モデム、又は対応する種類の電話線にデータ通信接続を提供するモデムであってよい。別の例として、通信インタフェース５１８は、互換ＬＡＮにデータ通信接続を提供するＬＡＮ（local area network）カードであってよい。無線リンクも実装されてよい。任意のこのような実装では、通信インタフェース５１８は、種々の種類の情報を表すデジタルデータストリームを運ぶ電気、電磁気、又は光信号を送受信する。

【0167】

ネットワークリンク５２０は、標準的に、１つ以上のネットワークを通じて他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を通じてホストコンピュータ５２４に又はＩＳＰ（Internet Service Provider）５２６により運用されるデータ機器に接続を提供してよい。ＩＳＰ５２６は、また、現在一般に「インターネット」５２８と呼ばれるワールドワイドパケットデータ通信ネットワークを通じて、データ通信サービスを提供する。ローカルネットワーク５２２及びインターネット５２８は、デジタルデータストリームを運ぶ電気、電磁気、又は光信号の両方を使用する。コンピュータシステム５００へ及びそれからのデジタルデータを運ぶ種々のネットワークを通じる信号及びネットワークリンク５２０上の信号及び通信インタフェース５１８を通じる信号は、伝送媒体の例示的な形式である。

【0168】

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、及び通信インタフェース５１８を通じて、プログラムコードを含むメッセージを送信しデータを受信できる。インターネットでは、例えば、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２、及び通信インタフェース５１８を通じて、適切なプログラムのための要求されたコードを送信してよい。

【0169】

受信したコードは、プロセッサ５０４により受信されるとプロセッサ５０４により実行され、及び／又は後の実行のために記憶装置５１０若しくは他の不揮発性記憶装置に格納される。

【0170】

＜均等物、拡張機能、代替案、等（Equivalents, Extensions, Alternatives and Miscellaneous）＞
以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明の実施形態の請求の範囲の単独及び排他的な指示、及び出願人が本発明の権利化される実施形態であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図4A】

【図4B】

【図5】