特許 5970501 階層的ＶＤＲ符号化における層分解

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5970501

(24)【登録日】2016年7月15日

(45)【発行日】2016年8月17日

(54)【発明の名称】階層的ＶＤＲ符号化における層分解

(51)【国際特許分類】

   H04N 19/126 20140101AFI20160804BHJP

   H04N 19/15 20140101ALI20160804BHJP

   H04N 19/187 20140101ALI20160804BHJP

   H04N 19/30 20140101ALI20160804BHJP

【ＦＩ】

   H04N19/126

   H04N19/15

   H04N19/187

   H04N19/30

【請求項の数】25

【全頁数】35

(21)【出願番号】特願2014-128782(P2014-128782)

(22)【出願日】2014年6月24日

(62)【分割の表示】特願2014-539163(P2014-539163)の分割

【原出願日】2012年11月1日

(65)【公開番号】特開2014-197893(P2014-197893A)

(43)【公開日】2014年10月16日

【審査請求日】2014年6月24日

(31)【優先権主張番号】61/555,978

(32)【優先日】2011年11月4日

(33)【優先権主張国】US

(31)【優先権主張番号】61/596,600

(32)【優先日】2012年2月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】スゥ，グワン−ミーン

(72)【発明者】

【氏名】キュ，シェン

(72)【発明者】

【氏名】ヒュルヤルカール，サミール エヌ

(72)【発明者】

【氏名】チェン，タオ

(72)【発明者】

【氏名】ギッシュ，ウォルター シー

(72)【発明者】

【氏名】クープフェル，フーベルト

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特表２００９−５２４３７１（ＪＰ，Ａ）

【文献】 特表２００２−５１０１７７（ＪＰ，Ａ）

【文献】 Martin Winken et al.，Bit-Depth Scalable Video Coding，IEEE International Conference on Image Processing, 2007. ICIP 2007.，２００７年 ９月１６日，Volume 1，pp.I-5-I-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力画像のシーケンス中の入力視覚的ダイナミックレンジ（VDR）画像を受領する段階であって、前記入力VDR画像は第一のビット深さを有する、段階と；
一つまたは複数の利用可能な高度量子化関数のうちから特定の高度量子化関数を選択する段階と；
前記特定の高度量子化関数を前記入力VDR画像に適用して、入力基本層画像を生成する段階であって、前記入力基本層画像は前記第一のビット深さより低い第二のビット深さを有する、段階と；
前記入力基本層画像から導出された画像データを圧縮して基本層（BL）ビデオ信号にする段階と；
前記入力VDR画像から導出された画像データの少なくとも一部を圧縮して一つまたは複数の向上層（EL）ビデオ信号にする段階であって、前記ELビデオ信号は少なくとも前記BLビデオ信号に基づく予測された画像に基づいて生成される、段階とを含む方法であって、
前記高度量子化方法が、前記入力VDR画像に比して前記一つまたは複数のELビデオ信号中にエンコードされるべき画像データの量を最小にすることを含む一つまたは複数の要因に基づいて選択される、
方法。

【請求項2】

請求項１記載の方法であって、さらに：
前記BLビデオ信号から、前記入力BL画像に対応するBL画像をデコードする段階と；
一つまたは複数の予測方法のうちから予測方法を選択する段階と；
その予測方法を使って、少なくとも部分的には前記BL画像に基づいて予測画像を生成する段階と；
前記予測画像および前記入力VDR画像に基づいて残差値を生成する段階と；
前記残差値に非線形量子化を適用して出力EL画像データを生成する段階であって、前記残差値はより高いビット深さの値を含み、前記出力EL画像データはより低いビット深さの値を含む、段階と；
前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号に入れる段階とを含む、
方法。

【請求項3】

前記予測方法は、前記高度量子化方法と前記予測方法との間の対応関係に基づいて選択される、請求項２記載の方法。

【請求項4】

前記高度量子化方法は、グローバル量子化、線形量子化、線形伸張、曲線ベースの量子化、確率密度関数（Pdf）最適化された量子化、ロイド・マックス量子化、パーティション・ベースの量子化、知覚的量子化または色チャネル横断／ベクトル量子化のうちの一つまたは複数を含む、請求項１記載の方法。

【請求項5】

請求項１記載の方法であって、前記入力画像のシーケンスは異なる第二のVDR入力画像を含み；当該方法はさらに：
前記一つまたは複数の利用可能な高度量子化方法のうちから異なる第二の特定の高度量子化方法を選択する段階と；
前記第二の特定の高度量子化方法を前記第二の入力VDR画像に適用して、第二の入力BL画像を生成する段階と；
前記第二の入力基本層画像から導出された第二の画像データを圧縮して前記BLビデオ信号に入れる段階と；
前記第二の入力VDR画像から導出された画像データの少なくとも一部を圧縮して前記一つまたは複数のELビデオ信号に入れる段階とを含む、
方法。

【請求項6】

請求項５記載の方法であって、さらに：
前記BLビデオ信号から、前記第二の入力BL画像に対応する異なる第二のBL画像をデコードする段階と；
前記一つまたは複数の予測方法のうちから異なる第二の予測方法を選択する段階と；
前記第二の予測方法を使って、少なくとも部分的には前記第二のBL画像に基づいて第二の予測画像を生成する段階と；
前記第二の予測画像および前記第二の入力VDR画像に基づいて異なる第二の残差値を生成する段階と；
前記第二の残差値に非線形量子化を適用して第二の出力EL画像データを生成する段階であって、前記第二の残差値はより高いビット深さの値を含み、前記第二の出力EL画像データはより低いビット深さの値を含む、段階と；
前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号に入れる段階とを含む、
方法。

【請求項7】

前記入力BL画像中の画像データは、VDRエンコーダ内の第一の8ビット・エンコーダによって圧縮されて前記BLビデオ信号中に入れられ、前記入力VDR画像中の画像データの前記少なくとも一部は前記VDRエンコーダ内の第二の8ビット・エンコーダによって圧縮されて前記一つまたは複数のELビデオ信号中に入れられる、請求項１記載の方法。

【請求項8】

前記第一の8ビット・エンコーダおよび前記第二の8ビット・エンコーダの少なくとも一方が、高度ビデオ符号化（AVC: advanced video coding）エンコーダ、動画像専門家グループ（MPEG: Moving Picture Experts Group）-2エンコーダまたは高効率ビデオ符号化（HEVC: High Efficiency Video Coding）エンコーダのうちの一つを含む、請求項７記載の方法。

【請求項9】

前記高度量子化方法は、前記入力VDR画像から決定される一つまたは複数の特性を含む一つまたは複数の因子に基づいて選択される、請求項１記載の方法。

【請求項10】

前記VDR画像が受領されたのち、手動のカラー・グレーディングが実行されない、請求項１記載の方法。

【請求項11】

前記入力BL画像から導出された前記画像データを保持するために第一の画像コンテナが使われ、前記入力VDR画像中の画像データの前記少なくとも一部を保持するために異なる第二の画像コンテナが使われる、請求項１記載の方法。

【請求項12】

前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方は、色空間中の一つまたは複数のチャネルにおいてピクセル値を含む、請求項１１記載の方法。

【請求項13】

前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方が、複数のサンプリング方式に関連付けられた複数の画像コンテナのうちから選択され、前記複数のサンプリング方式は4:4:4サンプリング方式、4:2:2サンプリング方式または4:2:0サンプリング方式のうちの任意のものを含む、請求項１１記載の方法。

【請求項14】

一つまたは複数の入力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力VDR画像を、一つまたは複数の出力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力VDR画像に変換することをさらに含む、請求項１記載の方法。

【請求項15】

前記入力VDR画像および前記一つまたは複数のELビデオ信号のうちの少なくとも一方が、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS）のアカデミー色エンコード規格（ACES）に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM）規格、sRGB色空間またはRGB色空間またはYCbCr色空間のうちの一つにおいてエンコードされた画像データを含む、請求項１記載の方法。

【請求項16】

前記入力VDR画像を処理して前記BLおよびELビデオ信号中に入れるための特定のプロファイルを決定する段階と；
前記入力VDR画像を処理して前記BLおよびELビデオ信号中に入れる際に前記特定のプロファイルに関係した一つまたは複数の動作を実行する段階とをさらに含む、
請求項１記載の方法。

【請求項17】

請求項１ないし１６のうちいずれか一項記載の方法を実行するエンコーダ。

【請求項18】

請求項１ないし１６のうちいずれか一項記載の方法を実行するシステム。

【請求項19】

エンコーダおよびデコーダを有するシステムであって：
前記エンコーダは：
入力画像のシーケンス中の入力視覚的ダイナミックレンジ（VDR）画像を受領する段階と；
一つまたは複数の利用可能な高度量子化方法のうちから特定の高度量子化方法を選択する段階と；
前記特定の高度量子化方法を前記入力VDR画像に適用して、入力基本層画像を生成する段階であって、前記入力VDR画像はより高いビット深さのVDR画像データを有し、前記入力基本層画像はより低い第二のビット深さのVDR画像データを有する、段階と；
前記入力基本層画像から導出された画像データを圧縮して基本層（BL）ビデオ信号にする段階と；
前記入力VDR画像から導出された画像データの少なくとも一部を圧縮して一つまたは複数の向上層（EL）ビデオ信号にする段階であって、前記ELビデオ信号は少なくとも前記BLビデオ信号に基づく予測された画像に基づいて生成される、段階とを実行するよう構成されており、
前記デコーダは：
前記一つまたは複数の向上層（EL）ビデオ信号に基づいて、前記入力VDR画像の入力画像データの少なくとも一部を生成する段階と；
前記BLビデオ信号に基づいてBL画像を生成する段階と；
前記BL画像および入力画像データの前記少なくとも一部に基づいて、前記入力VDR画像のより高いビット深さのバージョンを再構成する段階とを実行するよう構成されており、
前記高度量子化方法が、前記入力VDR画像に比して前記一つまたは複数のELビデオ信号中にエンコードされるべき画像データの量を最小にすることを含む一つまたは複数の要因に基づいて選択される、
システム。

【請求項20】

請求項１記載の方法であって、選択された高度量子化関数は線形伸張関数

【数10】

を有しており、ここで、v_jiは入力画像の前記シーケンス中のi番目の入力VDR画像のj番目のピクセルを表わし、s_jiは生成されたi番目の入力基本層画像のj番目のピクセルを表わし、v_L,iおよびv_H,iはi番目の入力VDR画像内のピクセルのうち最小および最大のピクセル値を表わし、c_L,iおよびc_H,iは生成されたi番目の入力基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。

【請求項21】

請求項１記載の方法であって、選択された高度量子化関数はシーン・ベースの適応関数

【数11】

を有しており、ここで、v_jiは入力画像の前記シーケンス中のあるシーン内のi番目の入力VDR画像のj番目のピクセルを表わし、s_jiは前記シーン内の生成されたi番目の入力基本層画像のj番目のピクセルを表わし、v_L,minおよびv_H,maxは前記シーン内の諸入力VDR画像内のピクセル値のうち最小および最大の値を表わし、c_L,minおよびc_H,maxは前記シーン内の生成された諸入力基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。

【請求項22】

請求項１記載の方法であって、選択された高度量子化関数はフレーム毎の適応関数

【数12】

を有しており、ここで、v_jiは入力画像の前記シーケンス中のある遷移シーン内のi番目の入力VDR画像のj番目のピクセルを表わし、s_jiは前記遷移シーン内の生成されたi番目の入力基本層画像のj番目のピクセルを表わし、v_L,iおよびv_H,iは前記遷移シーン内のi番目の入力VDR画像内のピクセル値のうち最小および最大の値を表わし、c_L,minおよびc_H,maxは前記遷移シーン内の生成された諸入力基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。

【請求項23】

前記遷移シーンがフェードイン・シーンまたはフェードアウト・シーンである、請求項２２記載の方法。

【請求項24】

入力画像のシーケンス中の入力視覚的ダイナミックレンジ（VDR）画像を受領する段階であって、前記入力VDR画像は第一のビット深さを有する、段階と；
一つまたは複数の利用可能な高度量子化関数のうちから特定の高度量子化関数を選択する段階と；
前記特定の高度量子化関数を前記入力VDR画像に適用して、入力基本層画像を生成する段階であって、前記入力基本層画像は前記第一のビット深さより低い第二のビット深さを有する、段階と；
前記入力基本層画像から導出された画像データを圧縮して基本層（BL）ビデオ信号にする段階と；
前記入力VDR画像から導出された画像データの少なくとも一部を圧縮して一つまたは複数の向上層（EL）ビデオ信号にする段階とを含む方法であって、
前記一つまたは複数の利用可能な高度量子化関数のうちから前記特定の高度量子化関数を選択する前記段階がさらに：
入力画像の前記シーケンス中の二つの相続く入力VDR画像を選択する段階と；
第一の適応関数を適用して、二つの対応する基本層（BL）画像の第一の組を計算する段階と；
第二の適応関数を適用して、二つの対応するBL画像の第二の組を計算する段階と；
前記第一の組のBL画像に基づいて第一の組のヒストグラムを計算する段階と；
前記第二の組のBL画像に基づいて第二の組のヒストグラムを計算する段階と；
前記第一の組のヒストグラムに基づいて第一の平均平方差を計算する段階と；
前記第二の組のヒストグラムに基づいて第二の平均平方差を計算する段階と；
前記第一の平均平方差を前記第二の平均平方差と比較する段階と；
前記第一の平均平方差が前記第二の平均平方差より小さい場合に前記第一の適応関数を選択する段階とを含む、
方法。

【請求項25】

前記第一の適応関数がフレーム毎ベースの適応関数であり、前記第二の適応関数がシーン・ベースの適応関数である、請求項２４記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は2011年11月4日に出願された米国仮特許出願第61/555,978号および2012年2月8日に出願された米国仮出願第61/596,600号の優先権を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。

【0002】

技術
本発明は概括的には画像処理に、詳細には階層的VDRコーデックを使った可変ダイナミックレンジ画像のエンコード、デコードおよび表現に関する。

【背景技術】

【0003】

ドルビー・ラボラトリーズ社その他によって開発されつつあるディスプレイ技術は、高ダイナミックレンジ（HDR: high dynamic range）をもつ画像を再生できる。そのようなディスプレイは、通常のディスプレイより現実世界のシーンをより忠実に表現する画像を再現できる。

【0004】

新たなHDRディスプレイ技術とともに後方互換性をサポートするために、多層ビデオ・エンコーダのような上流の装置から下流の装置にビデオ・データを送達するために複数の層〔レイヤー〕が使用されてもよい。それら複数の層の基本層（BL: base layer）において担持される標準ダイナミックレンジ（SDR: standard dynamic range）ビデオ・データは、SDRディスプレイ上での閲覧体験のために最適化され、一方、前記複数の層のうち前記基本層および向上層（EL: enhancement layer）の組み合わせにおいて担持される視覚的ダイナミックレンジ（VDR: visual dynamic range）ビデオ・データは、SDRディスプレイよりも大きなダイナミックレンジをもつVDRディスプレイの閲覧体験をサポートする。本稿での用法では、そのような画像データのエンコードおよびデコードに関わるコーデックは、SDRディスプレイのために最適化されたVDRコーデックと記される。

【0005】

BL画像データは、画像データ入力からのより高いビット深さ（たとえば色成分当たり12ビット以上）のHDR源画像から導出されるより低いビット深さ（たとえば色成分当たり8ビット）のSDR画像を含んでいてもよい。BL画像データ中にエンコードされるSDR画像は典型的には、SDR画像が比較的狭いまたは標準ダイナミックレンジの範囲内でできる限りリアルに見えるようカラリストによる色補正〔カラー・コレクション〕を含んでいる。たとえば、標準ダイナミックレンジの範囲内でリアルに見える画像を作り出すために、入力HDR画像中のピクセルの一部または全部に関係した色相情報がSDR画像において変更または補正されていてもよい。これらの色補正は、さまざまな色チャネルにおける非対称的なクリッピングにつながり、特にHDR源画像の比較的露出不足または露出過剰な領域において手動の色変更（manual color alterations）を導入する。色補正されたSDR画像により、SDRディスプレイはHDR源画像の暗い領域やハイライトにおける画像詳細を示すことができることがある。

【0006】

クリッピングは、結果として得られるピクセル値が目標表現範囲内になるよう色チャネルにおける限界外のピクセル値を変更／修正する色交替の型である。（目標表現範囲は、特定の型のSDRディスプレイによってサポートされる範囲内、あるいは一連のSDRディスプレイによってサポートされる範囲内、あるいは一連のVDRディスプレイによってサポートされる範囲内などのものであってもよい。）クリッピングは、色チャネルのうちのゼロ個、一個または複数において生じうる（たとえば、HDR画像のある部分におけるRGB色空間のR、G、Bピクセル値がトーン・マッピングされた画像においてクリッピングされていることがありうる）。クリッピングの量は、色チャネルによって変わることも、変わらないこともある（たとえば、緑についてはより多くのクリッピング、青についてはより少ないクリッピングなど）。

【発明の概要】

【発明が解決しようとする課題】

【0007】

SDR画像に導入されるクリッピングのような色補正のため、SDR画像は、その対応するVDR画像とは異なる、独立した源の画像内容を含むことになり、そのような色補正は、高ダイナミックレンジ画像を再構成するために下流の装置によって除去することが、込み入った処理および十分大きなビットレートなしには難しく、さらには不可能となる。画像データを下流の装置に伝送するために複数の層が使われる場合、色補正の逆を行なうことは、大量の追加的な画像データがたとえば向上層において下流の装置に伝送されることを要求することがありうる。

【課題を解決するための手段】

【0008】

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

【図面の簡単な説明】

【0009】

本発明は、限定ではなく例として、付属の図面の図において例示される。図面において、同様の参照符号は同様の要素を指す。

【図1A】ある例示的な実施形態に基づく、ベースライン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の左半分である。

【図1B】ある例示的な実施形態に基づく、ベースライン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の右半分である。

【図2A】ある例示的な実施形態に基づく、メイン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の左半分である。

【図2B】ある例示的な実施形態に基づく、メイン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の右半分である。

【図3】ある例示的な実施形態に基づく、YCbCr色空間において適応されるシーン適応性のダイナミックレンジ調整量子化を示す図である。

【図4】ＡおよびＢは、本発明の例示的な実施形態に基づく、例示的なプロセス・フローを示す図である。

【図5】本発明のある実施形態に基づく、本稿に記載されるコンピュータまたはコンピューティング装置が実装されうる例示的なハードウェア・プラットフォームを示す図である。

【図6】本発明のある実施形態に基づく、遷移シーケンスを検出し、二つの量子化方式の間で選択をするための例示的なフローを示す図である。

【発明を実施するための形態】

【0010】

階層式VDRコーデックを使って可変ダイナミックレンジ画像をエンコード、デコードおよび表現することに関する例示的な実施形態が本稿で記述される。以下の記述では、説明のために、数多くの個別的詳細が、本発明の十全な理解を与えるために記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に隠蔽し、埋没させ、あるいは曖昧にするのを避けるために、網羅的な詳細さでは記述されない。

【0011】

例示的な実施形態は、以下のアウトラインに従って本稿で記載される。
１．概観
２．階層式ビデオ送達
２．１ ベースライン・プロファイル
２．３ メイン・プロファイル
３．高度量子化
４．線形伸張
５．例示的な処理フロー
６．適応的なダイナミックレンジ調整
７．実装機構――ハードウェアの概観
８．等価物、拡張、代替その他
〈１．概観〉
この概観は、本発明のある例示的な実施形態のいくつかの側面の基本的な記述を提示する。この概観はその例示的な実施形態の包括的ないし網羅的な要約ではないことは注意しておくべきである。さらに、この概観は、その例示的な実施形態の何らかの特に有意な側面もしくは要素を特定するものと理解されることも、一般には本発明の、特にその例示的な実施形態の何らかの範囲を画定するものと理解されることも、意図されていない。この概観は単に、その例示的な実施形態に関係するいくつかの概念を凝縮された単純化された形式で提示するものであり、単に後続の例示的な諸実施形態のより詳細な説明への概念的な導入部として理解されるべきである。

【0012】

いくつかの実施形態では、階層式VDRコーデックは、圧縮されたVDR画像（たとえばビデオ画像）をVDR画像処理装置（たとえばVDRディスプレイ）に与えるために使用されてもよい。本稿での用法では、「階層式VDRコーデック」という用語は、SDRディスプレイ上で基本層がそれ自身として閲覧されないことがあるVDRコーデックを指しうる。本稿での用法では、用語「VDR」または「視覚的ダイナミックレンジ」は、標準的なダイナミックレンジより広いダイナミックレンジを指すことがあり、人間の視覚がある瞬間において知覚できる瞬時知覚可能なダイナミックレンジおよび色範囲までの広いダイナミックレンジを含みうるが、それに限られない。

【0013】

より高いビット深さ（たとえば12＋ビット）のVDR画像をサポートする本稿に記載される階層式VDRコーデックは、複数の層における二つ以上のより低いビット深さ（たとえば8ビット）のコーデックをもって実装されてもよい。それら複数の層は基本層および一つまたは複数の向上層を含む。

【0014】

他の技法とは対照的に、本稿に記載される技法のもとでの基本層画像データは、SDRディスプレイ上での最適化された閲覧をサポートしたり、標準ダイナミックレンジ内での人間の知覚に合致してSDR画像ができるだけ良好に見えるようにするものではない。その代わり、本稿に記載される技法のもとでの基本層画像データは、VDR画像データのより低いビット深さのバージョンの特定の構成（constitution）を含み、基本層ともとのVDR画像との間の残りの差は向上層において担持される。

【0015】

また、他の技法のもとでは、同じ源画像に関係するVDR画像データおよびSDR画像データは異なる画像内容を含む。たとえば、エンコーダへの入力SDR画像データは、エンコーダにとって入力VDR画像データからはわからないまたは決定可能でないアドホックな独立な変更を含んでいる。しばしば、カラリストによる色補正（color correction）またはカラー・グレーディング（color grading）は、SDR画像データがたとえばカラリストによってすでに変更されたあとにSDR画像データをVDR画像と比較することによって、法科学的に（forensically）解析される必要がある。

【0016】

これとは対照的に、本稿に記載される技法のもとでは、VDR画像データは、階層的な分解（hierarchical decomposition）、たとえば高度量子化（advanced quantization）に続く層構成の符号化（layered coding）を介して基本層（BL）画像データを導出するために使用されうる。高度量子化において適用される個別的な方法は既知であり、階層式VDRエンコーダによって合目的的に選択されさえする。高度量子化を実行するための特定の高度量子化器の選択／決定は、たとえば、VDRデコーダ側において再構成されるVDR画像の画像品質がどうでありうるかに基づいていてもよい。よって、本稿に記載される技法のもとでの高度量子化は、本稿に記載される階層式VDRコーデックによって事前に（たとえば基本層処理への入力の未圧縮の基本層データが生成される前に）知られており、制御され、実装される一つまたは複数の動作である。よって、VDR画像データと他の技法のもとで独立して変更または生成されているSDR画像データとの間の差を決定するための複雑な解析は、本稿に記載される技法のもとでは回避されるまたは無効にされることができる。

【0017】

本稿に記載される技法を実装するコーデックは、基本層（BL）画像データともとの入力VDR画像データとの間の統計的な冗長性をフルに活用する層間予測機能を含むよう構成されていてもよい。EL画像データは、異なる層の画像データにおける統計的な冗長性を活用することなく大量のVDR画像データを担持するのではなく、残差（または差分）画像データを（可能性としてはそれだけを）担持していてもよい。

【0018】

いくつかの実施形態では、向上層において担持されるべきVDR画像データの量をさらに最小化するために、予測が使用されてもよい。高度な階層式VDRエンコーダの特定の応用として、階層式VDRエンコーダによって、高度量子化と予測との間に対応関係が確立されてもよい。入力の未圧縮基本層データを導出するために使われた高度量子化の基本層処理への特定の適用に基づいて、階層式VDRエンコーダは、複数の利用可能な予測方法の間で特定の対応する予測方法を選択してもよい。一例では、高度量子化において線形量子化が使用される場合、一次多項式に基づく予測方法が予測のために使用されてもよい。もう一つの例では、高度量子化において量子化曲線（たとえばシグモイド曲線、μ則、人間知覚ベースの曲線など）が使用される場合、量子化曲線に対応する高次（二次以上）多項式ベースの予測方法が予測のために使用されてもよい。もう一つの例では、高度量子化において色横断（cross-color）（ベクトル）チャネル量子化（たとえば、一次カラー・グレーディング処理において使われた傾き／オフセット／パワー／色相／彩度）が使われる場合、対応する色横断チャネル予測が予測のために使われてもよい。さらにもう一つの例では、高度量子化において区分ごとの量子化が使われる場合、区分ごとの量子化に対応する予測方法が予測のために使われてもよい。対応する予測方法は、事前構成設定されていても、あるいは階層式VDRエンコーダによって動的に選択されてもよい。階層式VDRエンコーダは、前もって（たとえば高度量子化の結果を解析することなく）、高度量子化においてたとえば線形量子化、曲線による量子化、色横断チャネル量子化、区分ごとの量子化、ルックアップテーブル（LUT）ベースの量子化、異なる型の量子化の特定の組み合わせなどが使われているか、およびそれらのうちどの特定の型が使われているかを知っているからである。

【0019】

対照的に、カラリストによってなされるような基本層における入力SDR画像データへの色補正が独立に実行される他の技法のもとでは、基本層における入力SDR画像データおよび入力VDR画像データ両方の独立して異なる画像内容に対する高価な比較および解析なしには、予測のためにどの方法が適用されるべきかを決定することは困難である。

【0020】

このように、いくつかの実施形態では、VDRおよび独立して変更された入力基本層の内容における差を決定するための（たとえば予測動作における）複雑で高価な解析が、本稿に記載される技法のもとでは無効にされ、あるいは回避されることができる。階層式VDRコーデックは高度量子化および該高度量子化を予測と相関させる処理論理を実装してもよい。

【0021】

いくつかの実施形態では、階層式VDRコーデックはSDRディスプレイにおいて閲覧するために最適化された基本層画像データを与えるよう設計されていないものの、階層式VDRコーデックはそれでも、基本層最適化のあるVDRコーデック内の諸コンポーネントを広範に再利用してもよい。ある実施形態では、階層式VDRエンコーダは、入力VDR画像データから高度量子化を介して基本層処理への入力基本層画像を生成するために、SDRディスプレイのために最適化されたVDRコーデック・インフラストラクチャーに一つまたは複数のモジュールを追加したり、あるいは該インフラストラクチャーの一つまたは複数のモジュールを修正したりしてもよい。このように、階層式VDRエンコーダは、VDRのための画像内容の一つの入力およびSDRのための異なる画像内容のもう一つの入力というのではなく、入力VDR画像データからの画像内容の単一の入力を必要とするだけでありうる。たとえば、階層式VDRエンコーダにおける変換モジュールは、入力の16ビットRGB VDRデータを、基本層処理への入力基本層画像データとしての8ビットYCbCrに変換するために高度量子化を実装してもよい。

【0022】

ある例示的な実施形態では、階層式のVDRコーデックは、たとえば業界標準、独自仕様、業界標準からの拡張またはそれらの組み合わせにおいて定義されるVDR参照処理シンタックス、仕様および符号化アーキテクチャを広範にサポートするよう構成されていてもよい。ある例示的な実施形態では、階層式VDRコーデック（エンコーダおよび／またはデコーダ）の入力および出力の一つまたは複数は、SDRディスプレイのために最適化されたVDRコーデックのためのVDR仕様またはプロファイルによって規定されるものと同じまたは実質的に同様である。階層式VDRコーデックは、二つの（安価な）8ビット・デコーダを介して12＋ビットVDR画像を処理およびレンダリングするための媒体であってもよく、VDR画像についての知覚的に同様の画質を与えるために高価な12＋ビット・デコーダを使う必要をなくす。本稿での用法では、「N＋ビット画像」という用語は、色成分当たりNビット以上を使って表現され、少なくとも一つの色成分をもつ画像を指しうる。いくつかの実施形態では、コーデックにおける二つ以上のより低いビット深さのデコーダおよび／または二つ以上のより低いビット深さのエンコーダが、少なくともいくつかの動作について並列に作業してもよく、装置内において合同してVDR画像データのエンコードおよびデコードを実行してもよい。

【0023】

本稿に記載される実施形態の実際上の恩恵は、最終的なVDR品質のみを気にかけ、基本層画像データから構築されうるSDRバージョンは見もしない最終消費者に高品質のVDR画像データを提供することを含むが、それのみに限られない。

【0024】

いくつかの実施形態では、複合コーデック（これはVDRエンコーダまたはVDRデコーダでありうる）が複数のモードで動作するために使用されてもよい。複合コーデックのための動作モードの一つは、複合コーデックを階層式VDRコーデックとして動作させるよう構成してもよく、複合コーデックのための動作モードの異なる一つはSDRディスプレイ上で見るのに好適な基本層をエンコードすることをも許容してもよい。結果として、いくつかの例示的な実施形態では、VDR仕様のいずれかに準拠する符号化されたビットストリームが、複合VDRデコーダによって適正にデコードされうる。結果として、いくつかの例示的な実施形態では、VDR仕様のいずれかに準拠する符号化されたビットストリームが、複合VDRエンコーダによって適正に生成されうる。

【0025】

いくつかの例示的な実施形態では、他のアプリケーションのために必要とされるデータも、上流の装置から下流の装置に送達されるよう基本層および向上層の画像データとともに含められてもよい。いくつかの例示的な実施形態では、追加的な特徴および／または直交する（orthogonal）特徴が、本稿に記載される基本層および向上層によってサポートされてもよい。

【0026】

いくつかの例示的な実施形態では、本稿に記載される機構はメディア処理システムの一部をなす。メディア処理システムは、ハンドヘルド装置、ゲーム機、テレビジョン、ラップトップ・コンピュータ、ネットブック・コンピュータ、タブレット・コンピュータ、セルラー無線電話、電子書籍リーダー、ポイントオブセール端末、デスクトップ・コンピュータ、コンピュータ・ワークステーション、コンピュータ・キオスクまたは他のさまざまな種類の端末およびメディア処理ユニットのうちの任意のものを含むがこれに限定されない。

【0027】

本稿に記載される好ましい実施形態および一般的な原理および特徴に対するさまざまな修正が当業者にはすぐに明白となるであろう。よって、開示は示される実施形態に限定されることは意図されておらず、本稿に記載される原理および特徴と整合する最も広い範囲を与えられるべきものである。

【0028】

〈２．階層式ビデオ送達〉
いくつかの実施形態では、基本層および一つまたは複数の向上層が、たとえば上流の装置（たとえば図１のVDR画像エンコーダ１０２または図２のVDR画像エンコーダ２０２）によって、画像データを一つまたは複数のビデオ信号（または符号化されたビットストリーム）において下流の装置（たとえば図１のVDR画像デコーダ１５０）に送達するために使用されてもよい。画像データは、より高いビット深さ（たとえば12＋ビット）のVDR画像から量子化されて、基本層画像コンテナ（YCbCr 4:2:0画像コンテナ）において担持される、より低いビット深さの基本層画像データと、VDR画像と前記基本層画像データから生成される予測フレームとの間の残差値を含む向上層画像データとを含んでいてもよい。基本層画像データおよび向上層画像データは、下流の装置によって受領され、VDR画像のより高いビット深さ（12＋ビット）のバージョンを再構成するために使用されてもよい。

【0029】

いくつかの実施形態では、基本層画像データはSDRディスプレイ上で見るために最適化されたSDR画像を生成するためではなく、基本層画像データは、向上層画像データと一緒になって、VDRディスプレイ上で見るための高品質のVDR画像を再構成するために最適化されている。

【0030】

〈２．１ ベースライン・プロファイル〉
図１は、ある例示的な実施形態に基づくベースライン・プロファイルにおけるVDRコーデック・アーキテクチャを示している。本稿での用法では、用語ベースライン・プロファイルは、VDR符号化システムにおける最も単純なエンコーダ・プロファイルを指しうる。ある実施形態では、ベースライン・プロファイルは基本および向上符号化層におけるすべてのビデオ処理をYCbCr 4:2:0に制約する。ある例示的な実施形態では、予測は4:2:0サンプリング方式のもとでYCbCr空間を用いてなされてもよく、たとえば多項式/1D LUT予測方法が予測のために使用されてもよい。いくつかの実施形態では、VDR画像データを下流の装置に送達する上流の装置が本稿に記載される一つまたは複数の技法を実装するVDR画像エンコーダ１０２を有していてもよく、一方、VDR画像エンコーダ１０２からビデオ信号を受領し、処理する下流の装置が本稿に記載される一つまたは複数の技法を実装するVDR画像デコーダ１５０を有していてもよい。VDR画像エンコーダ１０２およびVDR画像デコーダ１５０のそれぞれは、一つまたは複数のコンピューティング装置によって実装されてもよい。

【0031】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）は入力VDR画像（１０６）を受領するよう構成されている。本稿での用法では、「入力VDR画像」は、該入力VDR画像を生じさせる、源画像のVDRバージョンを導出するために使用されうる広または高ダイナミックレンジ画像データを指しうる（たとえば、ハイエンドの画像取得装置によって捕捉された生の画像など）。入力VDR画像は高ダイナミックレンジ色範囲をサポートする任意の色空間にあってもよい。いくつかの実施形態では、入力VDR画像（１０６）は、VDR画像エンコーダ（１０２）がエンコードするために画像データを提供する、源画像に関する唯一の入力であり、本稿に記載される技法のもとでの基本層処理のための前記源画像に関する入力画像データは、高度量子化を使って入力VDR画像（１０６）に基づいて生成されうる。

【0032】

ある例示的な実施形態では、入力VDR画像は、図１に示されるように、RGB色空間における12＋ビットのRGB画像である。一例では、入力VDR画像において表現されている各ピクセルは、色空間（たとえばRGB色空間）について定義されているすべてのチャネル（たとえば赤、緑および青の色チャネル）についてピクセル値を含む。各ピクセルは任意的および／または代替的に、色空間におけるチャネルの一つまたは複数について、アップサンプリングまたはダウンサンプリングされたピクセル値を含んでいてもよい。いくつかの実施形態では、赤、緑、青のような三原色に加えて、たとえば広い色範囲をサポートするために、本稿で記載されるように、色空間において異なる原色が並行して使用されてもよい。そうした実施形態では、本稿に記載されるような画像データはそれらの異なる原色についての追加的なピクセル値を含み、本稿に記載される技法によって並行して処理されてもよい。

【0033】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）は、入力VDR画像のピクセル値を第一の色空間（たとえばRGB色空間）から第二の色空間（たとえばYCbCr色空間）に変換するよう構成されている。色空間変換はたとえば、VDR画像エンコーダ（１０２）においてRGB-2-YCbCrユニット（１０８）によって実行されてもよい。

【0034】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）またはその中のダウンサンプリング器（たとえば444-420ダウンサンプリング器１１０）は、YCbCr色空間におけるVDR画像（たとえば4:4:4サンプリング・フォーマットになっている）をダウンサンプリングして12＋ビットのダウンサンプリングされたVDR画像１１２（たとえば4:2:0サンプリング・フォーマット）にするよう構成されている。圧縮の効果を考えなければ、12ビット＋のダウンサンプリングされたVDR画像（１１２）のクロマ・チャネルにおける画像データの総量は、12ビット＋のダウンサンプリングされたVDR画像（１１２）のルミナンス・チャネルにおける画像データの総量の四分の一のサイズでありうる。

【0035】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）は、VDR画像（4:4:4サンプリング・フォーマット）からダウンサンプリングされたYCbCr画像データ（今の例では4:2:0サンプリング・フォーマットになっている）に対して高度量子化を実行して、YCbCr色空間における8ビットBL画像（１１４）を生成するよう構成されている。図１に示されるように、12＋ビットVDR画像（１１２）および8ビットBL画像（１１４）はいずれも、同じクロマ・ダウンサンプリング後に生成され、よって同じ画像内容を含む（たとえば、8ビットBL画像１１４が12＋ビットVDR画像１１２より粗く量子化されている）。

【0036】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）またはその中の第一のエンコーダ（１１６−１）は、YCbCr色空間内の8ビットBL画像（２１４）をエンコード／フォーマットして4:2:0サンプリング・フォーマットの基本層画像コンテナ中の画像データにするよう構成されていてもよい。いくつかの実施形態では、基本層画像コンテナ中の画像データは、SDRディスプレイ上で見るために最適化されたSDR画像を生成するためではなく、基本層画像コンテナ中の画像データは、VDRディスプレイのために最適化されたVDR画像に再構成されるべき複数層において担持されるべきVDR画像データのための全体的なビット要求を最小限にする目的で、より低いビット深さの画像コンテナ中の基本層画像データの最適な量を含むように最適化される。本稿での用法では、「より低いビット深さ」は、該より低いビット深さをもつ符号化空間において量子化された画像データを指す。より低いビット深さの一例は8ビットである。一方、「より高いビット深さ」は、該より高いビット深さをもつ符号化空間において量子化された画像データを指す。より高いビット深さの一例は12ビット以上である。特に、「より低いビット深さ」または「より高いビット深さ」の用語は、ピクセル値の下位ビットまたは上位ビットを指すのではない。

【0037】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）は、基本層画像コンテナ中の画像データに基づいて、基本層ビデオ信号を生成し、この基本層ビデオ信号が下流の装置内のビデオ・デコーダ（たとえばVDR画像デコーダ１５０またはその中の第一のデコーダ１５２−１）に対して出力されてもよい。

【0038】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）中のデコーダ（１２０）は基本層画像コンテナ中の画像データをデコードして、今の例では4:2:0サンプリング・フォーマットの、デコードされた基本層画像にする。デコードされた基本層画像は8ビットBL画像（１１４）とは異なっている。デコードされた基本層画像は、第一のエンコーダ（１１６−１）およびデコーダ（１２０）によって実行されたエンコードおよびデコード動作において導入された符号化変化、丸め誤差および近似を含んでいるからである。

【0039】

基本層ビデオ信号に含まれるものに加えて、VDR画像再構成データがVDR画像エンコーダによって下流の装置に、基本層とは別個の一つまたは複数の向上層において送達されてもよい。いくつかの実施形態では、YCbCr色空間におけるより高いビット深さのVDR画像（１１２）が、同じ画像フレームにおける近隣のサンプルから（イントラ予測を使って）、あるいは同じ層に属し、予測画像フレーム・バッファ内に動き補償された予測参照としてバッファリングされる過去のデコードされた画像フレームからのサンプルから（インター予測）、予測されてもよい。層間予測は、少なくとも部分的に他の層（たとえば基本層）からのデコードされた情報にも基づいていてもよい。

【0040】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット（１２２）を有する。予測処理ユニット（たとえば１２２）によって実装される予測は、VDRビデオ・デコーダ（たとえば図１の１５０）によってVDR画像を再構成する際のオーバーヘッドを軽減しうる。ある例示的な実施形態では、VDR画像エンコーダ（１０２）は、少なくとも部分的には12＋ビットVDR画像（１１２）およびデコードされた基本層画像に基づいて、イントラまたはインター予測（もしくは推定または他の方法）を通じて予測のための一組のマッピング・パラメータ（１３４）を決定するよう構成されている。予測処理ユニット（１２２）は該一組のマッピング・パラメータ（１３４）およびデコードされた基本層画像に基づいてYCbCr色空間内の12＋ビット予測画像を生成してもよい。本稿での用法では、マッピング・パラメータの例は、予測のために使用される多項式パラメータを含んでいてもよいが、これのみには限られない。

【0041】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）は、12＋ビットVDR画像（１１２）と予測処理ユニット（１２２）によって生成された予測画像との間の残差値（１３０）を生成するよう構成されている。ある色チャネル（たとえばルミナンス・チャネル）における残差値は、線形または対数領域における減算演算（たとえば１２６）によって生成される差であってもよい。代替的および／または任意的に、ある色チャネル（たとえばルミナンス・チャネル）における残差値は、線形または対数領域における除算演算によって生成される比であってもよい。さまざまな例示的な実施形態において、一つまたは複数の他の数学的表現および対応する演算が、12＋ビットVDR画像（１１２）と予測画像との間の残差値（１３０）を生成する目的のために使用されてもよい。

【0042】

ある実施形態では、高度量子化（または擬似カラー・グレーディング・プロセス）によって導入される相違のほかは、12＋ビットVDR画像（１１２）と8ビットBL画像（１１４）は同じ画像内容を含む。ある実施形態では、12＋ビットVDR画像（１１２）は、高度量子化（または擬似カラー・グレーディング・プロセス）によって導入される量子化ノイズまたは相違のほかは、8ビットBL画像（１１４）と同じクロマ情報を含む。ある実施形態では、12＋ビット画像（１１２）における中間トーン（midtone）および暗い領域は、高度量子化のもとで、基本層においてエンコードされてもよく、一方、12＋ビット画像（１１２）におけるハイライト領域は、同じ高度量子化のもとで、向上層においてエンコードされてもよい。

【0043】

追加的および／または任意的に、8ビットBL画像（１１４）から予測画像への処理経路における第一のエンコード・ユニット（１１６−１）、デコード・ユニット（１２０）または予測処理ユニット（１２２）によって、色補正／変更／歪み（たとえばクリッピング）が基本層処理のみに導入されることはない。ある例示的な実施形態では、予測画像は、処理経路に本来的に存在していることがありうる可能な歪み（たとえば基本層コーデックによって引き起こされる基本層歪み）のほかは、8ビットBL画像（１１４）と同じクロマ情報を含む。

【0044】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）内の非線形量子化器（NLQ: non-linear quantizer）１２８が一つまたは複数のNLQパラメータを使って、12＋ビット・デジタル表現中の残差値（１３０）を量子化して8ビット・デジタル表現（またはYCbCr色空間における8ビット残差値）にするよう構成されている。

【0045】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）またはその中の第二のエンコーダ（１１６−２）は、たとえば4:2:0サンプリング・フォーマットにおいて、向上層画像コンテナ中の8ビット残差値をエンコードするよう構成されている。向上層画像コンテナは論理的に、基本層における基本層画像コンテナとは別個である。

【0046】

ある例示的な実施形態では、VDR画像エンコーダ（１０２）は、向上層画像コンテナ中の8ビット残差値に基づいて、向上層ビデオ信号を生成する。該向上層ビデオ信号はビデオ・デコーダ（たとえばVDR画像デコーダ１５０またはその中の第二のデコーダ１５２−２）に出力されてもよい。

【0047】

ある例示的な実施形態では、前記一組のマッピング・パラメータ（１３４）およびNLQパラメータ（１３２）は補足向上情報（SEI: supplemental enhancement information）またはビデオ・ビットストリームにおいて（たとえば向上層において）利用可能な他の同様のメタデータ担体の一部として、下流の装置（たとえばVDR画像デコーダ１５０）に伝送されてもよい。

【0048】

第一のエンコーダ（１１６−１）、第二のエンコーダ（１１６−２）およびデコーダ（１２０）（および１５２−１、１５２−２）のうちの一つまたは複数は、H.264/AVC/HEVC、MPEG-2、VP8、VC-1および／またはその他のような複数のコーデックのうちの一つまたは複数を使って実装されてもよい。

【0049】

ある例示的な実施形態では、VDR画像デコーダ（１５０）は、基本層および一つまたは複数の向上層を含む複数の層（または複数のビットストリーム）において入力ビデオ信号を受領するよう構成されている。本稿での用法では、「多層」または「複数の層」の用語は、（ビデオ信号）相互の間で一つまたは複数の論理的な依存関係をもつビデオまたは画像信号を担持する二つ以上のビットストリームを指しうる。

【0050】

ある例示的な実施形態では、VDR画像デコーダ（１５０）内の第一のデコーダ（１５２−１）は、基本層ビデオ信号に基づいて、デコードされた基本層画像を生成するよう構成されている。いくつかの実施形態では、VDR画像デコーダ（１５０）内の第一のデコーダ（１５２−１）は、VDR画像デコーダ（１０２）内のデコーダ（１２０）と同じまたは実質的に同様であってもよい。同様に、VDR画像デコーダ（１５０）内のデコードされた基本層画像および前記デコードされた基本層画像は、それらのデコードされた基本層画像が同じVDR画像（たとえば１０６）を源とする限り、同じまたは実質的に同様であってもよい。

【0051】

ある例示的な実施形態では、VDRビデオ・デコーダ（１５０）は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット（１５８）を有する。予測処理ユニットによって実装される予測は、VDRビデオ・デコーダ（たとえば図１の１５０）においてVDR画像を効率的に再構成するために使用されてもよい。予測処理ユニット（１５８）は前記一組のマッピング・パラメータ（１３４）を受領し、少なくとも部分的には前記一組のマッピング・パラメータ（１３４）およびデコードされた基本層画像に基づいて、12＋ビット予測画像を生成するよう構成されている。

【0052】

ある例示的な実施形態では、VDR画像デコーダ（１５０）内の第二のデコーダ（１５２−２）が、一つまたは複数の向上ビデオ信号に基づいて、向上層画像コンテナ内の8ビット残差値を取り出すよう構成されている。

【0053】

ある例示的な実施形態では、VDR画像デコーダ（１５０）内の非線形量子化解除器（NLdQ: non-linear dequantizer）１５４が向上層を通じて一つまたは複数のNLQパラメータを受領し、前記一つまたは複数のNLQパラメータを使って8ビット残差値を量子化解除して12＋ビット・デジタル表現（またはYCbCr色空間における12＋ビット残差値）にするよう構成されている。

【0054】

ある例示的な実施形態では、VDR画像デコーダ（１５０）は、12＋ビット残差値（１３０）および予測処理ユニット（１５８）によって生成された12＋ビット予測画像に基づいて、再構成されたVDR画像（１６０）を生成するよう構成されている。ある色チャネル（たとえばルミナンス・チャネル）における再構成されたピクセル値は、線形または対数領域における加算演算（たとえば１６２）によって生成される和であってもよい。代替的および／または任意的に、ある色チャネル（たとえばルミナンス・チャネル）における再構成された値は、線形または対数領域における乗算演算によって生成される積であってもよい。さまざまな例示的な実施形態において、一つまたは複数の他の数学的表現および対応する演算が、残差値および予測画像から再構成されたピクセル値（１６０）を生成する目的のために使用されてもよい。

【0055】

〈２．３ メイン・プロファイル〉
図２は、ある例示的な実施形態に基づくメイン・プロファイルにおけるVDRコーデック・アーキテクチャを示している。本稿での用法では、用語メイン・プロファイルは、VDR符号化システムにおけるベースライン・プロファイルより高い複雑さを許容するプロファイルを指しうる。たとえば、メイン・プロファイルはYCbCrまたはRGB色空間の両方における動作を許容してもよく、4:2:0、4:2:2および4:4:4を含む多様なサブサンプリング・フォーマットにおける動作を許容してもよい。ある例示的な実施形態では、予測は4:4:4サンプリング方式のもとでRGB色空間においてなされてもよく、たとえば多項式/1D LUT予測方法が予測のために使用されてもよい。いくつかの実施形態では、VDR画像データを下流の装置に送達する上流の装置が図２に示されるVDR画像エンコーダ２０２を有していてもよく、一方、VDR画像データを受領し、処理する下流の装置がVDR画像デコーダ２５０を有していてもよい。VDR画像エンコーダ２０２およびVDR画像デコーダ２５０のそれぞれは、一つまたは複数のコンピューティング装置によって実装されてもよい。

【0056】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）は入力VDR画像（２０６）を受領するよう構成されている。入力VDR画像（２０６）は高ダイナミックレンジ色範囲をサポートする任意の色空間にあってもよい。

【0057】

ある例示的な実施形態では、入力VDR画像は、図２に示されるように、RGB色空間における12＋ビットのRGB画像である。一例では、入力VDR画像における各ピクセルは、RGB色空間において定義されている赤、緑および青の色チャネルについてピクセル値を含む。各ピクセルは任意的および／または代替的に、色空間におけるチャネルの一つまたは複数について、アップサンプリングまたはダウンサンプリングされたピクセル値を含んでいてもよい。

【0058】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）は、VDR画像２０６（今の例では4:4:4サンプリング・フォーマットになっている）内の12＋ビットRGB画像データに対して高度量子化を実行して、8ビットRGB VDRデータを生成するよう構成されている。

【0059】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）は、その8ビットRGB VDRデータを第一の色空間（今の例ではRGB色空間）から第二の色空間（たとえばYCbCr色空間）に変換するよう構成されている。色空間変換はたとえば、VDR画像エンコーダ（２０２）内のRGB-2-YCbCrユニット（２０８）によって実行されてもよい。

【0060】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）またはその中のダウンサンプリング器（たとえば444-420ダウンサンプリング器２１０）は、YCbCr色空間における8ビットVDRデータをダウンサンプリングして8ビットのダウンサンプリングされたBL画像２１４（たとえば4:2:0サンプリング・フォーマット）にするよう構成されている。

【0061】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）またはその中の第一のエンコーダ（２１６−１）は、8ビットのダウンサンプリングされたBL画像（２１４）をエンコードして基本層画像コンテナ中の画像データにするよう構成されている。ある例示的な実施形態では、基本層画像コンテナ中の画像データは、SDRディスプレイ上で見るために最適化されているのではなく、基本層画像コンテナ中の画像データは、前記より高いビット深さのVDR画像データをより低いビット深さの画像コンテナにおいて表現するための再構成可能な情報の最大量を含むとともに、向上層において担持される必要のあるVDR画像再構成データ（たとえば残差値２３０）の量を最小限にするように最適化される。

【0062】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）は、基本層画像コンテナ中の画像データに基づいて、基本層ビデオ信号を生成し、この基本層ビデオ信号が下流の装置内のビデオ・デコーダ（たとえばVDR画像デコーダ２５０またはその中の第一のデコーダ２５２−１）に対して出力されてもよい。

【0063】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）中のデコーダ（２２０）は基本層画像コンテナ中の画像データをデコードして、今の例では4:2:0サンプリング・フォーマットの、デコードされた基本層画像にする。デコードされた基本層画像は8ビットBL画像（２１４）とは異なっている。デコードされた基本層画像は、第一のエンコーダ（２１６−１）およびデコーダ（２２０）によって実行されたエンコードおよびデコード動作において導入された丸め誤差および近似のような変化および誤差を含んでいるからである。

【0064】

基本層ビデオ信号に加えて、VDR画像再構成データがVDR画像エンコーダによって下流の装置に、基本層とは別個の一つまたは複数の向上層において送達されてもよい。RGB色空間におけるVDR画像（２０６）は、同じ画像フレームにおける近隣のサンプルから（イントラ予測を使って）、あるいは同じ層に属し、予測画像フレーム・バッファ内に動き補償された予測参照としてバッファリングされる過去のデコードされた画像フレームからのサンプルから（インター予測）、予測されてもよい。層間予測は、少なくとも部分的に他の層（たとえば基本層）からのデコードされた情報にも基づいていてもよい。

【0065】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）またはその中のアップサンプリング器（たとえば420-440アップサンプリング器２１２）は、4:2:0サンプリング・フォーマットのデコードされた基本層画像をアップサンプリングして8ビットのアップサンプリングされた画像データ（今の例では4:4:4サンプリング・フォーマット）にするよう構成されている。

【0066】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）またはその中のYCbCr-2-RGBユニット（たとえば２３６）は、8ビットのアップサンプリングされた画像データを非予測色空間（今の例ではYCbCr色空間）から予測色空間（たとえばRGB色空間）に変換するよう構成されている。

【0067】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット（２２２）を有する。予測処理ユニット（たとえば２２２）によって実装される予測は、VDRビデオ・デコーダ（たとえば図２の２５０）によってVDR画像を再構成する際のオーバーヘッドを軽減しうる。ある例示的な実施形態では、VDR画像エンコーダ（２０２）は、少なくとも部分的には12＋ビットVDR画像（２０６）および予測色空間に変換されたアップサンプリングされた画像データに基づいて、イントラまたはインター予測（もしくは推定または他の方法）を通じて、予測のための一組のマッピング・パラメータ（２３４）を決定するよう構成されている。予測処理ユニット（２２２）は該一組のマッピング・パラメータ（２３４）および予測色空間に変換されたアップサンプリングされた画像データに基づいてRGB色空間内の12＋ビット予測画像を生成してもよい。

【0068】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）は、12＋ビットVDR画像（２０６）と予測画像との間の残差値（２３０）を生成する（RGB）よう構成されている。ある色チャネル（たとえばGチャネル）における残差値は、線形または対数領域における減算演算（たとえば１２６）によって生成される差であってもよい。代替的および／または任意的に、ある色チャネル（たとえばGチャネル）における残差値は、線形または対数領域における除算演算によって生成される比であってもよい。さまざまな例示的な実施形態において、他の数学的表現および対応する演算／マッピング／関数が、12＋ビットVDR画像（２０６）と予測画像との間の残差値（２３０）を生成する目的のために使用されてもよい。

【0069】

ある実施形態では、高度量子化（または擬似カラー・グレーディング・プロセス）によって導入される量子化相違またはノイズのほかは、12＋ビットVDR画像（２０６）は8ビットRGB VDRデータと同じクロマ情報を含む。ある実施形態では、12＋ビットVDR画像（２０６）における中間トーン（midtone）および暗い領域は、高度量子化のもとで基本層においてエンコードされてもよく、一方、12＋ビットVDR画像（２０６）におけるハイライト領域は、同じ高度量子化のもとで、向上層においてエンコードされてもよい。

【0070】

ある例示的な実施形態では、8ビットRGB VDRデータから予測画像への処理経路におけるRGB-2-YCbCrユニット（２０８）、ダウンサンプリング器（２１０）、第一のエンコード・ユニット（２１６−１）、デコード・ユニット（２２０）、アップサンプリング器（２１２）、YCbCr-2-RGBユニット（２３６）または予測処理ユニット（２２２）によって、追加的な色補正／変更／歪み（たとえばクリッピング）が導入されることはない。ある例示的な実施形態では、予測画像は、処理経路に本来的に存在していることがありうる可能な歪み（たとえば基本層コーデックによって引き起こされる基本層歪みまたはダウンサンプリングおよびアップサンプリングにおけるクロマの再フォーマットからくる誤差）のほかは、8ビットRGB VDRデータと同じクロマ情報を含む。

【0071】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）内の444-420ダウンサンプリングおよび非線形量子化ユニット（444-to-420およびNLQ）２２８が、一つまたは複数のNLQパラメータを使って、残差値（２３０）をダウンサンプリングおよび量子化して、4:4:4サンプリング・フォーマットの12＋ビット・デジタル表現から4:2:0サンプリング・フォーマットの8ビット・デジタル表現（または8ビットRGB残差値）にするよう構成されている。

【0072】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）またはその中の第二のエンコーダ（２１６−２）は、向上層画像コンテナ中の8ビット残差値をエンコードするよう構成されている。向上層画像コンテナは論理的に、基本層画像コンテナとは別個である。

【0073】

ある例示的な実施形態では、VDR画像エンコーダ（２０２）は、向上層画像コンテナ中の8ビット残差値に基づいて、向上層ビデオ信号を生成する。該向上層ビデオ信号はビデオ・デコーダ（たとえばVDR画像デコーダ２５０またはその中の第二のデコーダ２５２−２）に出力されてもよい。

【0074】

ある例示的な実施形態では、前記一組のマッピング・パラメータ（２３４）およびNLQパラメータ（２３２）は補足向上情報（SEI: supplemental enhancement information）またはビデオ・ビットストリームにおいて（たとえば向上層において）利用可能な他の同様のメタデータ担体の一部として、下流の装置（たとえばVDR画像デコーダ２５０）に伝送されてもよい。

【0075】

第一のエンコーダ（２１６−１）、第二のエンコーダ（２１６−２）およびデコーダ（２２０）（２５２−１および２５２−２）のうちの一つまたは複数は、H.264/AVC/HEVC、MPEG-2、VP8、VC-1および／またはその他のような複数のコーデックのうちの一つまたは複数を使って実装されてもよい。

【0076】

ある例示的な実施形態では、VDR画像デコーダ（２５０）は、基本層および一つまたは複数の向上層を含む複数の層（または複数のビットストリーム）において入力ビデオ信号を受領するよう構成されている。

【0077】

ある例示的な実施形態では、VDR画像デコーダ（２５０）内の第一のデコーダ（２５２−１）は、基本層ビデオ信号に基づいて、デコードされた（YCbCr）基本層画像を生成するよう構成されている。いくつかの実施形態では、VDR画像デコーダ（２５０）内の第一のデコーダ（２５２−１）は、VDR画像デコーダ（２０２）内のデコーダ（２２０）と同じまたは実質的に同様であってもよい。同様に、VDR画像デコーダ（２５０）内のデコードされた基本層画像および前記デコードされた基本層画像は、それらのデコードされた基本層画像が同じVDR画像（たとえば２０６）を源とする限り、同じまたは実質的に同様であってもよい。

【0078】

ある例示的な実施形態では、VDR画像デコーダ（２５０）またはその中のアップサンプリング器（たとえば444-420ダウンサンプリング器２２６）は、4:2:0サンプリング・フォーマットのデコードされた基本層画像をアップサンプリングして、今の例では4:4:4サンプリング・フォーマットの8ビットのアップサンプリングされた画像データにするよう構成されている。

【0079】

ある例示的な実施形態では、VDR画像デコーダ（２５０）またはその中のRGB-2-YCbCrユニット（たとえば２６４）は、8ビットのアップサンプリングされた画像データを、非予測色空間（今の例ではYCbCr色空間）から予測色空間（たとえばRGB色空間）に変換するよう構成されている。

【0080】

ある例示的な実施形態では、VDRビデオ・デコーダ（２５０）は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット（２５８）を有する。予測処理ユニットによって実装される予測は、VDRビデオ・デコーダ（たとえば図２の２５０）においてVDR画像を効率的に再構成するために使用されてもよい。予測処理ユニット（２５８）は前記一組のマッピング・パラメータ（２３４）を受領し、少なくとも部分的には前記一組のマッピング・パラメータ（２３４）および予測色空間における8ビットのアップサンプリングされた画像データに基づいて、12＋ビット予測画像を生成するよう構成されている。

【0081】

ある例示的な実施形態では、VDR画像デコーダ（２５０）内の第二のデコーダ（２５２−２）が、一つまたは複数の向上ビデオ信号に基づいて、向上層画像コンテナ内の8ビット（RGB）残差値を取得するよう構成されている。

【0082】

ある例示的な実施形態では、VDR画像デコーダ（２５０）内の非線形量子化解除器（NLdQ: non-linear dequantizer）２５４および420-to-440アップサンプリング器（２６８）が向上層を通じて一つまたは複数のNLQパラメータを受領し、前記一つまたは複数のNLQパラメータを使って4:2:0サンプリング・フォーマットの8ビット残差値を量子化解除およびアップサンプリングして4:4:4サンプリング・フォーマットの12＋ビット・デジタル表現（またはRGB色空間における12＋ビット残差値）にするよう構成されている。

【0083】

ある例示的な実施形態では、VDR画像デコーダ（２５０）は、12＋ビット残差値（２３０）および予測処理ユニット（２５８）によって生成された12＋ビット予測画像に基づいて、再構成されたVDR画像（２６０）を生成するよう構成されている。ある色チャネル（たとえばGチャネル）における再構成されたピクセル値は、線形または対数領域における加算演算（たとえば２６２）によって生成される和であってもよい。代替的および／または任意的に、ある色チャネル（たとえばGチャネル）における再構成された値は、線形または対数領域における乗算演算によって生成される積であってもよい。さまざまな例示的な実施形態において、他の数学的表現および対応する演算／関数／マッピングが、残差値および予測画像から、再構成されたピクセル値（２６０）を生成する目的のために使用されてもよい。

【0084】

追加的および／または任意的に、変換、量子化、エントロピー符号化、画像バッファリング、サンプル・フィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、多重分離、インターリーブ、アップスケーリング、ダウンスケーリング、動き補償、視差推定、視差補償、奥行き推定、奥行き補償、エンコード、デコードなどのうちの一つまたは複数が、本稿に記載されるビデオ・エンコーダまたはデコーダによって実行されてもよい。

【0085】

〈３．高度量子化〉
いくつかの実施形態では、VDR画像エンコーダ（図１の１０２または図２の２０２）によって実行されるような高度量子化が、基本層においてできるだけ多くの画像詳細を取り込む／保持するよう設計される。これは、向上層ビデオ信号中にエンコードされる必要のある残差値（たとえば図１の１３０または図２の２３０）の量を最小にする。さらに、基本層において取り込まれる／保持される画像詳細は、VDR画像デコーダ（たとえば１５０）のような下流の装置によってVDR画像を効率的に再構成する際の支援となる。正確な画像詳細の存在は、それがなければ不可逆圧縮処理の際に生成／増幅される視覚的なアーチファクトを軽減／削減／除去する。

【0086】

論じたように、他の技法によって生成される、SDRディスプレイのために最適化された基本層SDR画像とは異なり、本稿に記載される技法のもとでのデコードされた基本層画像はSDRディスプレイ上で見るためのものではない。むしろ、本稿に記載される技法のもとでのデコードされた基本層画像は、さらにVDR画像エンコーダにおいて残差値を生成するため、およびさらにVDR画像デコーダにおいてより高いビット深さのVDR画像を再構成するための中間画像データのはたらきをする。

【0087】

本稿に記載される技法のもとでは、SDRディスプレイ上での最良の閲覧経験を生成するために設計されたカラー・グレーディング・プロセスは必要とされず、無効にされたり、あるいは回避されたりしてもよい。向上層処理経路および基本層処理経路における非対称的な（または異なる）クリッピングを引き起こす外部制御された、あるいはユーザー制御された色補正は回避されるか無効にされる。向上層および基本層の両方の処理経路におけるクリッピング・レベルは、本稿に記載される技法のもとでは、VDR画像エンコーダによって完全に制御される。基本層画像データにおいて色クリッピングされるピクセルは、向上層画像データにおいても色クリッピングされうる。

【0088】

本稿に記載される技法は、基本層におけるSDR画像データおよび向上層におけるVDR画像データに関わる層間予測を含む予測のための計算量を軽減するために使用されてもよく、システム・オン・チップにフレンドリーである。たとえば、本稿に記載される予測プロセスは、本稿に記載されるような高度量子化（または擬似カラー・グレーディング）の逆として実装されてもよい。高度量子化は本稿に記載されるようなVDR画像エンコーダによって完全に制御されうるので、予測プロセスも完全に制御されうる。いくつかの実施形態では、クリッピング・レベルおよび色クリッピングのあるピクセルは、向上層処理経路および基本層処理経路において完全に制御されてもよく、それにより一次多項式マッピングのような計算効率のよい予測方法が、予測画像を生成および再構成するために十分となりうる。

【0089】

ある例示的な実施形態では、線形量子化器を介して、より高いビット深さ（たとえば16ビット）のVDRデータが（たとえば図１および図２における）高度量子化において直接量子化されて、より低いビット深さ（8ビット）の基本層画像データにされる。

【0090】

いくつかの例示的な実施形態では、一つまたは複数の線形または非線形量子化器がより高いビット深さ（たとえば12＋ビット）の画像データを量子化してより低いビット深さ（たとえば8ビット）の画像データにするために使用されてもよい。異なる色空間および／または異なる色チャネルにおける異なる量子化器が選択されてもよい。たとえば、（たとえばなめらかな領域における）輪郭生成アーチファクトおよび他のアーチファクトを軽減／削減／除去するために、ビデオ信号は、異なる色空間においておよび／または異なる高度量子化方法を用いて、量子化されてもよい。いくつかの実施形態では、本稿に記載される高度量子化は、線計量子化；線形伸張、曲線ベースの／非一様な量子化；フレーム、複数フレーム、シーン、複数シーンまたはフレーム内の一つまたは複数の区画などについてのヒストグラムに基づく確率密度関数（Pdf: probability-density-function）最適化された量子化（たとえばロイド・マックス（Lloyd-Max）量子化）；知覚的量子化；ベクトル量子化；上記の任意の組み合わせ（たとえば、知覚的量子化に続いて知覚的空間におけるPdf最適化された量子化）を含んでいてもよい。いくつかの実施形態では、特定の型の高度量子化は、予測方法の一つまたは複数の型と対応関係をもちうる。たとえば、一様量子化が高度量子化として適用されるときは、予測において使用される対応する型の予測方法は、一次多項式に基づいていてもよい。

【0091】

量子化は、個々のチャネル・ベースで、あるいは二つ以上のチャネルに対して同時に実行されうる。ある例示的な実施形態では、ベクトル量子化が二つ以上の色チャネルを横断して実行されてもよい。たとえば、座標系（たとえば3Dデカルト）が色空間内の色チャネルを軸として使ってセットアップされてもよい。回転のような空間変換が座標系において実行されて、色空間における前記二つ以上の色チャネルの組み合わせ（または該色チャネルの投影の和）として定義される新たな軸を生成してもよい。投影されて新たな軸の一つをなす前記二つ以上の色チャネルにおけるピクセル値は、新たな軸のその一つに対する量子化器によって一緒に量子化されてもよい。

【0092】

いくつかの実施形態では、個別的な高度量子化方法は、それが、VDRデコーダ側での圧縮された出力VDR画像データについて高い知覚的品質を維持しつつ、どのくらいよく出力多層VDR画像データを圧縮できるかに基づいて選択されてもよい。

【0093】

いくつかの実施形態では、個別的な高度量子化方法は、コーデックの弱点を補償するよう選択されてもよい。たとえば、コーデックは黒い領域を圧縮する際の性能がよくないことがあり、再構成されたVDR画像において輪郭生成アーチファクトを出力することさえありうる。本稿に記載される高度量子化は、再構成されたVDR画像において可視の輪郭生成アーチファクトがより少ない画像データを生成するよう特定の曲線（たとえば、シグモイド曲線、μ則、人間の知覚に基づく曲線など）を使ってもよい。

【0094】

本稿に記載される技法のもとでのVDRエンコーダは、VDRエンコーダによって処理されるべき画像内容についての唯一の入力として、入力VDR画像データを受けてもよい。該入力VDR画像データは向上層データ処理に与えられてもよいが、本稿に記載される基本層データ処理への入力画像データを生成するために、オンザフライで（たとえば入力VDRがVDRエンコーダに入力されるのと同じワイヤスピード（wire speed）で）実行されうる高度量子化が使われてもよい。

【0095】

いくつかの実施形態では、本稿に記載される8ビット量子化ステップ（たとえば図１の１２８または図２の２２８）に先立って、ビデオ（たとえばVDR）信号がよりSDR信号のように見えるようにする変換があってもよい。H.264のような既存のエンコーダがSDR信号を処理するために適応されていることがありうるためである。よりSDR信号のように見えるようにするようVDR信号のダイナミックレンジを動かす多様な高度量子化技法が使用されうる。ある例示的な実施形態では、反転可能なカラー・グレーディング方法（たとえば傾き（Slope）＋オフセット（Offset）＋パワー（Power）＋色相（Hue）＋彩度（Saturation）またはSOP＋HS）が、疎なデータを、目標とされる範囲に変換するために使用されてもよい。もう一つの例示的な実施形態では、ディスプレイ管理において使われるトーン・マッピング曲線が、よりSDR信号のように見えるようVDR信号を変換するために使われてもよい。ここで、用語「ディスプレイ管理」は、特定のディスプレイまたは特定の一連のディスプレイによってサポートされるダイナミックレンジにVDRビデオ信号を適応させるために実行される一つまたは複数の動作をいう。

【0096】

本稿に記載される高度量子化は、一つまたは複数の異なる仕方で実行されうる。高度量子化は、フレーム全体またはシーン全体が単一の設定を使って量子化されるグローバル量子化を実行してもよい。高度量子化はまた、各フレームが複数の重なり合わない領域に区分され、各重なり合わない領域がその独自の設定を使って量子化される、パーティション・ベースの（ローカル）量子化を実行してもよい。高度量子化は、各フレームが複数の重なり合わない領域に区分され、各重なり合わない領域がその独自の設定を使って量子化されるが、特定の重なり合わない領域についての量子化設定は一つまたは複数の重なっている領域から導出される解析データに基づいて決定される、パーティション・ベースの（ローカル）量子化を実行してもよい。高度量子化は、一つまたは複数の異なる色空間の任意のものにおいて適用されうる。高度量子化が適用されうる色空間の例は、RGB色空間、YCbCr色空間、YCoCg色空間、ACES色空間または他の色空間のうちの任意のものを含むが、それのみに限られるのではない。

【0097】

いくつかの実施形態では、量子化が適用される色空間は、予測が実行される色空間と同じに保たれる。これは、VDR画像エンコード・プロセスおよびVDR画像デコード・プロセスの両方においてそうであってもよい。画像レンダリングが行なわれる色空間が量子化が行なわれる色空間と異なる場合には、適宜色空間変換が実行されうる。

【0098】

〈４．線形伸張〉
ある例示的な実施形態では、図１および図２ではYCbCr色空間で、図３またはRGB色空間で示されるように、シーン適応性のダイナミックレンジ調整量子化方法が高度量子化において適用されてもよい。ある考えているシーン内の色チャネルiにおける最大値をv_i,maxと表わしてもよい。ある考えているシーン内の色チャネルiにおける最小値をv_i,minと表わしてもよい。最小および最大によって定義される範囲および／または該範囲内のデータ点の分布が、画像内容に基づいて、フレームごとに、複数フレームごとに、シーンごとに、複数シーンごとに、プログラムごとに、などで変えられてもよい。

【0099】

色チャネルiにおける処理すべきピクセル値はv_iと表わしてもよい。VDR（たとえばルミナンス）符号化空間が16ビット（すなわち図１および図２の12＋ビット）の場合、次の式が成り立ちうる：

【数1】

シーン適応性のダイナミックレンジ調整量子化方法は、範囲〔レンジ〕全体[v_i,min,v_i,max]を8ビットYCbCr709標準範囲〔レンジ〕[s_i,min,s_i,max]に、次のようにマッピングする。

【0100】

【数2】

ここで、s_iは、図１および図２に示される高度量子化によって生成される画像データ中の変換されたピクセル値を表わす。式(2)では、丸めround()演算が、出力が整数になることを保証する。丸めの次にクリッピング関数があってもよい。たとえば、負の値は0にクリッピングされてもよく、255より大きな正の値は255にクリッピングされてもよい。

【0101】

図３に示されるように、シーン適応性のダイナミックレンジ調整量子化は、8ビットのダイナミックレンジ全体をフルに利用するよう使用されてもよい。図３における量子化レンジ対フレーム・インデックス図の横軸は、フレーム・インデックス変数を表わす。各フレームにおける、プロット３０２によって示される線形伸張についての最小値s_i,minは、そのフレームにおける、プロット３０４によって示される最小値v_i,minと同じと設定されてもよい。しかしながら、各フレームにおける、プロット３０６によって示される線形伸張についての最大値s_i,maxは、そのフレームにおける、プロット３０８によって示される最大値v_i,maxより小さくないように設定されてもよい。図３に描かれるように、フレーム2200において、（線形伸張符号化技法以外の）他の符号化技法のもとでは、最大値は約140である。対照的に、本稿に記載される線形伸張技法を使うと、フレーム2200についての最大値は約225に拡大される。このように、本稿に記載される線形伸張は、他の符号化技法に比してより多くの量子化ステップを提供し、よってよりよい解像度詳細を提供する。示されるように、線形伸張および他の技法の両方について、クリッピングはフレーム2400付近のフレームにおいて現われはじめ、フレーム2600まで続く。

【0102】

〈５．例示的な処理フロー〉
図４のＡは、本発明のある例示的な実施形態に基づく例示的な処理フローを示している。いくつかの例示的な実施形態では、一つまたは複数のコンピューティング装置またはコンポーネントがこの処理フローを実行してもよい。ブロック４０２では、多層VDRビデオ・エンコーダ（たとえば図１の１０２）が入力画像のシーケンス中の入力視覚的ダイナミックレンジ（VDR）画像を受領する。

【0103】

ブロック４０４では、多層VDRビデオ・エンコーダ（１０２）は、一つまたは複数の利用可能な高度量子化方法のうちから特定の高度量子化方法を選択する。

【0104】

ブロック４０６では、多層VDRビデオ・エンコーダ（１０２）は、その特定の高度量子化方法を入力VDR画像に適用して、入力基本層画像を生成する。ある例示的な実施形態では、入力VDR画像はより高いビット深さのVDR画像データを含んでおり、入力基本層画像はより低いビット深さのVDR画像データを含んでいる。

【0105】

ブロック４０８では、多層VDRビデオ・エンコーダ（１０２）は入力基本層画像から導出された画像データを圧縮して基本層（BL）ビデオ信号にする。

【0106】

ブロック４１０では、多層VDRビデオ・エンコーダ（１０２）は、入力VDR画像から導出された画像データの少なくとも一部を圧縮して一つまたは複数の向上層（EL）ビデオ信号にする。

【0107】

ある例示的な実施形態では、多層VDRビデオ・エンコーダ（１０２）はBLビデオ信号から前記入力基本層画像に対応する基本層画像をデコードし；一つまたは複数の予測方法のうちから予測方法を選択し；その予測方法を使って、少なくとも部分的には前記基本層画像に基づいて予測画像を生成し；前記予測画像および前記入力VDR画像に基づいて残差値を生成し；前記残差値に非線形量子化を適用して出力EL画像データを生成し、前記残差値はより高いビット深さの値を含み、前記出力EL画像データはより低いビット深さの値を含み；前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号にする。

【0108】

ある例示的な実施形態では、前記予測方法は、前記高度量子化方法と前記予測方法との間の対応関係に基づいて選択される。

【0109】

ある例示的な実施形態では、前記高度量子化方法は、グローバル量子化、線形量子化、線形伸張、曲線ベースの量子化、確率密度関数（Pdf）最適化された量子化、ロイド・マックス量子化、パーティション・ベースの量子化、知覚的量子化、ベクトル量子化または他の型の量子化のうちの一つまたは複数を含む。

【0110】

ある例示的な実施形態では、前記入力画像のシーケンスは第二の異なるVDR入力画像を含み；多層VDRビデオ・エンコーダ（１０２）は、前記一つまたは複数の利用可能な高度量子化方法のうちから第二の異なる特定の高度量子化方法を選択し；その第二の特定の高度量子化方法を前記第二の入力VDR画像に適用して、第二の入力基本層画像を生成し；前記第二の入力基本層画像から導出された第二の画像データを圧縮して前記基本層（BL）ビデオ信号に入れ；前記第二の入力VDR画像から導出された画像データの少なくとも一部を圧縮して前記一つまたは複数の向上層（EL）ビデオ信号に入れる。

【0111】

ある例示的な実施形態では、多層VDRビデオ・エンコーダ（１０２）は、前記基本層ビデオ信号から前記第二の入力BL画像に対応する第二の異なるBL画像をデコードし；前記一つまたは複数の予測方法のうちから第二の異なる予測方法を選択し；その第二の予測方法を使って、少なくとも部分的には前記第二のBL画像に基づいて第二の予測画像を生成し；前記第二の予測画像および前記第二の入力VDR画像に基づいて第二の異なる残差値を生成し；前記第二の残差値に非線形量子化を適用して第二の出力EL画像データを生成し、前記第二の残差値はより高いビット深さの値を含み、前記第二の出力EL画像データはより低いビット深さの値を含み；前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号に入れる。

【0112】

ある例示的な実施形態では、前記入力基本層画像中の画像データは、VDRエンコーダ内の第一の8ビット・エンコーダによって圧縮されて前記BLビデオ信号中に入れられ、前記入力VDR画像中の画像データの前記少なくとも一部はVDRエンコーダ内の第二の8ビット・エンコーダによって圧縮されて前記一つまたは複数の向上層（EL）ビデオ信号中に入れられる。

【0113】

ある例示的な実施形態では、前記高度量子化方法は、前記入力VDR画像に比して前記一つまたは複数のELビデオ信号中にエンコードされるべき画像データの量を最小にすることを含むがそれに限られない一つまたは複数の要因に基づいて選択される。

【0114】

ある例示的な実施形態では、前記高度量子化方法は、前記入力VDR画像から決定される一つまたは複数の特性のうちの任意のものを含むがそれに限られない一つまたは複数の因子に基づいて選択される。

【0115】

ある例示的な実施形態では、前記VDR画像が多層VDRビデオ・エンコーダ（１０２）によって受領されたのち、カラリストによるカラー・グレーディングが無効にされる。

【0116】

ある例示的な実施形態では、前記入力基本層画像から導出された画像データを保持するために第一の画像コンテナが使われ、前記入力VDR画像中の画像データの前記少なくとも一部を保持するために第二の異なる画像コンテナが使われる。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方は、色空間中の一つまたは複数のチャネルにおいてピクセル値を含む。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方が、複数のサンプリング方式に関連付けられた複数の画像コンテナのうちから選択され、前記複数のサンプリング方式は4:4:4サンプリング方式、4:2:2サンプリング方式、4:2:0サンプリング方式または他のサンプリング方式のうちの任意のものを含む。

【0117】

ある例示的な実施形態では、多層VDRビデオ・エンコーダ（１０２）は、一つまたは複数の入力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力VDR画像を、一つまたは複数の出力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力VDR画像に変換する。

【0118】

ある例示的な実施形態では、前記入力VDR画像および前記一つまたは複数のELビデオ信号のうちの少なくとも一方は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS: Academy of Motion Picture Arts and Sciences）のアカデミー色エンコード規格（ACES: Academy Color Encoding Specification）に関連するRGB色空間、デジタル・シネマ・イニシアチブ（Digital Cinema Initiative）のP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM: Reference Input Medium Metric/Reference Output Medium Metric）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む。

【0119】

図４のＢは、本発明のある例示的な実施形態に基づく例示的な処理フローを示している。いくつかの実施形態では、一つまたは複数のコンピューティング装置またはコンポーネントがこの処理フローを実行してもよい。ブロック４５２では、多層ビデオ・デコーダ（たとえば図１の１５０）が、一つまたは複数の向上層（EL）ビデオ信号に基づいて、入力画像のシーケンス中の、VDR画像の画像データの少なくとも一部を生成する。

【0120】

ブロック４５４では、多層ビデオ・デコーダ（１５０）は、基本層（BL）ビデオ信号に基づいて基本層画像を生成する。前記基本層画像は、一つまたは複数の利用可能な高度量子化方法のうちから選択された特定の高度量子化方法によって生成された、前記VDR画像のより低いビット深さのVDR画像データを含んでいる。

【0121】

ブロック４５６では、多層ビデオ・デコーダ（１５０）は、前記基本層画像および画像データの前記少なくとも一部に基づいて、前記VDR画像のより高いビット深さバージョンを再構成する。

【0122】

ある例示的な実施形態では、多層ビデオ・デコーダ（１５０）は、一組のマッピング・パラメータを含むがこれに限られない予測メタデータを受領し；前記予測メタデータに基づいて予測方法を決定し；前記予測方法を使って、少なくとも部分的には前記基本層画像に基づいて予測画像を生成し；前記予測画像を前記一つまたは複数のELビデオ信号から導出される画像データの前記少なくとも一部と組み合わせることによって、前記VDR画像の前記より高いビット深さバージョンを再構成する。

【0123】

ある例示的な実施形態では、前記予測方法は前記高度量子化方法に対応する。

【0124】

ある例示的な実施形態では、前記高度量子化方法は、グローバル量子化、線形量子化、線形伸張、曲線ベースの量子化、確率密度関数（Pdf）最適化された量子化、ロイド・マックス量子化、パーティション・ベースの量子化、知覚的量子化、ベクトル量子化または他の型の量子化のうちの一つまたは複数を含む。

【0125】

ある例示的な実施形態では、前記基本層画像は、前記BLビデオ信号から、VDRデコーダ内の第一の8ビット・デコーダによって導出され、前記VDR画像中の画像データの前記少なくとも一部は、前記一つまたは複数の向上層（EL）ビデオ信号から、VDRデコーダ内の第二の8ビット・デコーダによって導出される。

【0126】

ある例示的な実施形態では、前記高度量子化方法は、源VDR画像に比して前記一つまたは複数のELビデオ信号から導出されるべき画像データの量を最小にすることを含むがそれに限られない一つまたは複数の要因に基づいて選択されたものである。

【0127】

ある例示的な実施形態では、前記基本層画像中の画像を保持するために第一の画像コンテナが使われ、前記VDR画像中の画像データの前記少なくとも一部を保持するために第二の異なる画像コンテナが使われる。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方は、色空間中の一つまたは複数のチャネルにおいてピクセル値を含む。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方が、複数のサンプリング方式に関連付けられた複数の画像コンテナのうちから選択され、前記複数のサンプリング方式は4:4:4サンプリング方式、4:2:2サンプリング方式、4:2:0サンプリング方式または他のサンプリング方式のうちの任意のものを含む。

【0128】

ある例示的な実施形態では、多層ビデオ・デコーダ（１５０）は、一つまたは複数の入力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数のVDR画像を処理する。

【0129】

ある例示的な実施形態では、前記VDR画像の前記より高いビット深さバージョンの少なくとも一部は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS: Academy of Motion Picture Arts and Sciences）のアカデミー色エンコード規格（ACES: Academy Color Encoding Specification）に関連するRGB色空間、デジタル・シネマ・イニシアチブ（Digital Cinema Initiative）のP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM: Reference Input Medium Metric/Reference Output Medium Metric）規格、sRGB色空間または国際電気通信連合（ITU）のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む。

【0130】

さまざまな例示的な実施形態において、エンコーダ、デコーダ、システム、装置または一つまたは複数の他のコンピューティング装置が、記載された上記の方法の任意のものまたはその一部を実行する。

【0131】

〈６．適応的なダイナミックレンジ調整〉
フェードインおよびフェードアウトは、ビデオ・プロダクションにおいて一般的に使われている特殊なシーン遷移効果である。フェードインでは、シーンがフル輝度になるまで明るさが徐々に増す。フェードアウト中は、シーンはフル輝度で始まり、徐々に消えていく。これらの遷移の際のルミナンスの変化のため、動き推定技法が最良の動きベクトルを正確に決定せず、その結果、大きな残差およびより非効率的なビデオ符号化につながることがある。

【0132】

線形伸張量子化器が適用されるある種の実施形態（たとえば、式(2)）では、シーン内の基本層（BL）量子化ステップに、比較的一定なVDRを維持することが望ましい。本稿で「シーン・ベースの適応」と表わすこのアプローチは、エンコーダからデコーダに伝送される必要のある量子化関係のメタデータの量を減らし、また、シーン内で比較的一定の輝度を維持する。これはその後の圧縮プロセスを助ける。しかしながら、そのようなアプローチは、フェードインまたはフェードアウトの間は好適でないことがある。本稿での用法では、「フレームごとの適応」がそのような遷移により好適でありうる。

【0133】

フェードインまたはフェードアウト遷移の間にF個のフレームがあるとする。ある種の色成分（たとえばルミナンスY）について、もとのVDRシーケンス中のi番目のフレームについて、その色成分についての最大値および最小値をそれぞれv_H,iおよびv_L,iと表わす（i＝0,…,F−1）。同様に、i番目のBLフレームにおける対応する色成分についての最大値および最小値をそれぞれc_H,iおよびc_L,iと表わす（i＝0,…,F−1）。線形伸張量子化方法を使うと、式(2)から、量子化された基本層ストリームのi番目のフレームにおけるj番目のピクセルの値は次のように表わせる。

【0134】

【数3】

ここで、v_jiはi番目のVDRフレームにおけるj番目のピクセルの値を表わし、Oは丸めオフセットを表わす（たとえばO＝0.5またはO＝0）。本稿での用法では、床関数

【数4】

はx以下の最大の整数を計算する。

【0135】

フェードアウト・シーンについては、最初のフレームが最大のダイナミックレンジをもつはずであり、つまり0＜i＜Fについて、v_H,0≧v_H,iである。

【0136】

フェードイン・シーンについては、最後のフレームが最大のダイナミックレンジをもつはずであり、つまり0≦i＜F−1について、v_H,F-1≧v_H,iである。

【0137】

上記の定式化を与えられると、生じる問題は、その後の符号化パフォーマンスを最適にするために、式(3)においていかにして{c_H,i｜i＝0,…,F−1}および{c_L,i｜i＝0,…,F−1}パラメータを適応的に調整しうるかということである。

【0138】

フル探索方法
ある実施形態では、{c_H,i｜i＝0,…,F−1}および{c_L,i｜i＝0,…,F−1}のあらゆる可能な組み合わせを試して、最良の全体的圧縮を提供する変数を選択してもよい。しかしながら、たとえc_L,i＝0と置いても、8ビット・データについて、c_H,iについて255^F通りの可能な組み合わせがあり、リアルタイム・エンコードにおいて試し、試験するのは現実的ではないことがある。

【0139】

等最大値法（Equal Max-value method）
もう一つの実施形態では、すべてのc_H,iの値（i＝0,…,F−1）をシーン依存の最大値c_H,maxに設定してもよい。ある実施形態では、c_H,maxは、一定輝度をもつ前または次のシーンのいずれか、つまりフェードインもフェードアウトもないシーンで使われている値を表わしていてもよい（たとえば、[0,F−1]内のすべてのiについてc_H,i＝c_H,max＝255）。同様に、c_L,iはフェードイン／フェードアウトなしで前または次のシーンで使われた最小値c_L,minに設定されてもよい（たとえば、[0,F−1]内のすべてのiについてc_L,I＝c_L,min＝0）。そのような実施形態では、フェードインまたはフェードアウト・シーン内のすべてのBLフレームは同じダイナミックレンジ[c_L,min c_H,max]をもつ。しかしながら、フレームごとのVDRからBLへの量子化ステップは異なることがある。式(3)より、フェードインおよびフェードアウト遷移についてのこの適応量子化アプローチ（フレーム毎適応とも称される）は、次のように表わされてもよい。

【0140】

【数5】

シーン・ベースの適応を適用するか（たとえば、シーン全体について一定の量子化を用いて式(2)または(3)を適用する）、あるいはフレーム毎適応を適用するか（たとえば式(4)を適用する）を検出する決定アルゴリズムについて次に述べる。

【0141】

決定アルゴリズム
ある実施形態では、二つの相続くVDRフレーム、たとえばフレームv_i-1およびv_iを考える。次いで、対応する量子化されたBLフレームs_i-1およびs_iのヒストグラムを比較することによって決定アルゴリズムが導出されてもよい。本アルゴリズムは、単一の色成分（たとえばルミナンス）について記述されているが、動作はすべての色成分について繰り返されてもよい。

【0142】

ステップ１：フレーム毎（fbf: frame-by-frame）適応量子化を想定し、BLピクセル値を計算
フレームv_i-1およびv_iを与えられて、式(4)を適用して対応するBLフレーム内のピクセル値を次のようにして計算してもよい。

【0143】

【数6】

一般性を失うことなく、BLストリームにおける8ビット色成分を想定すると、フレームs_i-1およびs_iについて、式(5)および(6)の出力を使ってそれぞれ256個のビンをもつ対応するヒストグラムをn＝0,1,…,255についてのH_i-1^fbf(n)およびH_i^fbf(n)として計算してもよい。本稿での用法では、用語ヒストグラムは、可能な相異なるピクセル値のそれぞれにはいる観察されるピクセルの数を数える関数を表わす。たとえば、H_i-1^fbf(20)＝10は、フレームi−1における10個のピクセルが値20をもつことを表わす。

【0144】

ステップ２：H_i-1^fbf(n)とH_i^fbf(n)の間の平均平方差を計算
ステップ１で計算されたヒストグラムを与えられて、それらの平均平方差を次のように計算してもよい。

【0145】

【数7】

上記のプロセスは、ここで、シーン・ベースの適応（sb）量子化を使う想定のもとで繰り返されてもよいだろう。

【0146】

ステップ３：フレームi−1およびフレームiの間での最小および最大のピクセル値を計算
v_Lmin＝min{v_L,i-1,v_L,i}
v_Hmax＝max{v_H,i-1,v_H,i}
次いで、フレームv_i-1およびv_iを与えられて、それらの値および式(3)を適用して、対応するBLピクセル値を次のように計算してもよい。

【0147】

【数8】

式(8)および(9)の出力を使って、n＝0,1,…,255について、フレーム・ヒストグラムH_i^sb(n)およびH_i-1^sbを計算してもよい。

【0148】

ステップ４：H_i-1^sb(n)とH_i^sb(n)の間の平均平方差を計算

【数9】

ステップ５：フレーム毎またはシーン・ベースの適応のいずれかを適用する適応的な決定は、二つの平均平方差の間の差に基づいていてもよい。

【0149】

D_i^fbf＜D_i^sbであれば、フレーム毎調整を使い、
そうでなければ、シーン・ベースの調整を使う。

【0150】

図６は、ここに記載される決定アルゴリズムのある実施形態を要約している。ステップ６１０では、プロセスは入力VDR画像のシーケンス内の二つの相続く画像（またはフレーム）にアクセスする。ここに記載した方法を使って、ステップ６２５および６３０は対応するBL画像の二つの代替的な表現を計算する。ステップ６２５はフレーム毎適応を使って（たとえば式(5)および(6)を使って）BLフレームを計算する。ステップ６３０はシーン・ベースの適応を使って（たとえば式(8)および(9)を使って）BL画像を計算する。これらの計算されたBL画像に基づいて、ステップ６２５および６３０は対応するヒストグラム（たとえばH_i-1^fbf(n)、H_i^fbf(n)、H_i^sb(n)、H_i-1^sb(n)）を計算してもよい。これらのヒストグラムを与えられて、ヒストグラムの各セットについて、ステップ６３５および６４０は第一および第二の平均平方差（たとえば式(7)のD_i^fbfおよび式(10)のD_i^sb）を計算してもよい。最後に、ステップ６５０において、二つの平均平方差を比較し、小さいほうの平均平方差をもつヒストグラムを与える方法を、量子化方法として選択してもよい。

【0151】

〈７．実装機構――ハードウェアの概観〉
ある実施形態によれば、本稿に記載される技法は、一つまたは複数の特殊目的コンピューティング装置によって実装される。特殊目的コンピューティング装置は、本技法を実行するよう固定構成とされていてもよいし、あるいは一つまたは複数の特定用途向け集積回路（ASIC）またはフィールド・プログラマブル・ゲート・アレイ（FPGA）のような、本技法を実行するよう持続的にプログラムされたデジタル電子デバイスを含んでいてもよいし、あるいはファームウェア、メモリ、他の記憶または組み合わせにおけるプログラム命令に従って本技法を実行するようプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的コンピューティング装置は、カスタムの固定構成論理、ASICまたはFPGAをカスタムのプログラミングと組み合わせて本技法を達成してもよい。特殊目的コンピューティング装置はデスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置または本技法を実装するために固定構成および／またはプログラム論理を組み込んでいる他の任意の装置であってもよい。

【0152】

たとえば、図５は、本発明の例示的な実施形態が実装されうるコンピュータ・システム５００を示すブロック図である。コンピュータ・システム５００は、情報を通信するためのバス５０２または他の通信機構と、情報を処理するための、バス５０２に結合されたハードウェア・プロセッサ５０４とを含む。ハードウェア・プロセッサ５０４はたとえば汎用マイクロプロセッサであってもよい。

【0153】

コンピュータ・システム５００は、ランダム・アクセス・メモリ（RAM）または他の動的記憶装置のような、情報およびプロセッサ５０４によって実行されるべき命令を記憶するための、バス５０２に結合されたメイン・メモリ５０６をも含む。メイン・メモリ５０６はまた、一時変数または他の中間的な情報を、プロセッサ５０４によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ５０４にとってアクセス可能な非一時的な記憶媒体に記憶されたとき、コンピュータ・システム５００を、前記命令において指定されている処理を実行するようカスタマイズされた特殊目的機械にする。

【0154】

コンピュータ・システム５００はさらに、バス５０２に結合された、静的な情報およびプロセッサ５０４のための命令を記憶するための読み出し専用メモリ（ROM）５０８または他の静的記憶装置を含む。磁気ディスクまたは光ディスクのような記憶装置５１０が提供され、情報および命令を記憶するためにバス５０２に結合される。

【0155】

コンピュータ・システム５００は、コンピュータ・ユーザーに対して情報を表示するための、液晶ディスプレイのようなディスプレイ５１２にバス５０２を介して結合されていてもよい。英数字その他のキーを含む入力装置５１４が、情報およびコマンド選択をプロセッサ５０４に伝えるためにバス５０２に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ５０４に伝えるとともにディスプレイ５１２上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール５１６である。この入力装置は典型的には、第一軸（たとえばx）および第二軸（たとえばy）の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。

【0156】

コンピュータ・システム５００は、本稿に記載される技法を実施するのに、カスタマイズされた固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム５００を特殊目的機械にするまたはプログラムするファームウェアおよび／またはプログラム論理を使ってもよい。ある実施形態によれば、本稿の技法は、プロセッサ５０４がメイン・メモリ５０６に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム５００によって実行される。そのような命令は、記憶装置５１０のような別の記憶媒体からメイン・メモリ５０６に読み込まれてもよい。メイン・メモリ５０６に含まれる命令のシーケンスの実行により、プロセッサ５０４は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。

【0157】

本稿で用いられる用語「記憶媒体」は、データおよび／または機械に特定の仕方で動作させる命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置５１０のような光学式または磁気ディスクを含む。揮発性媒体は、メイン・メモリ５０６のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、孔のパターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。

【0158】

記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられてもよい。伝送媒体は、記憶媒体間で情報を転送するのに参加する。たとえば、伝送媒体は同軸ケーブル、銅線および光ファイバーを含み、バス５０２をなすワイヤを含む。伝送媒体は、電波および赤外線データ通信の際に生成されるような音響波または光波の形を取ることもできる。

【0159】

さまざまな形の媒体が、一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ５０４に搬送するのに関与しうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム５００にローカルなモデムが、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス５０２上に載せることができる。バス５０２はそのデータをメイン・メモリ５０６に搬送し、メイン・メモリ５０６から、プロセッサ５０４が命令を取り出し、実行する。メイン・メモリ５０６によって受信される命令は、任意的に、プロセッサ５０４による実行の前または後に記憶装置５１０上に記憶されてもよい。

【0160】

コンピュータ・システム５００は、バス５０２に結合された通信インターフェース５１８をも含む。通信インターフェース５１８は、ローカル・ネットワーク５２２に接続されているネットワーク・リンク５２０への双方向データ通信結合を提供する。たとえば、通信インターフェース５１８は、対応する型の電話線へのデータ通信接続を提供するための、統合サービス・デジタル通信網（ISDN）カード、ケーブル・モデム、衛星モデムまたはモデムであってもよい。もう一つの例として、通信インターフェース５１８は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（LAN）カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース５１８は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、磁気的または光学的信号を送受信する。

【0161】

ネットワーク・リンク５２０は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク５２０は、ローカル・ネットワーク５２２を通じてホスト・コンピュータ５２４またはインターネット・サービス・プロバイダー（ISP）５２６によって運営されているデータ設備への接続を提供してもよい。ISP ５２６は、現在一般に「インターネット」５２８と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク５２２およびインターネット５２８はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。コンピュータ・システム５００に／からデジタル・データを搬送する、さまざまなネットワークを通じた信号およびネットワーク・リンク５２０上および通信インターフェース５１８を通じた信号は、伝送媒体の例示的な形である。

【0162】

コンピュータ・システム５００は、ネットワーク（単数または複数）、ネットワーク・リンク５２０および通信インターフェース５１８を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー５３０は、インターネット５２８、ISP ５２６、ローカル・ネットワーク５２２および通信インターフェース５１８を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。

【0163】

受信されたコードは、受信される際にプロセッサ５０４によって実行されても、および／または、のちの実行のために記憶装置５１０または他の不揮発性記憶に記憶されてもよい。

【0164】

〈８．等価物、拡張、代替その他〉
以上の明細書では、本発明の例示的な諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】