(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024069635
(43)【公開日】2024-05-21
(54)【発明の名称】異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法
(51)【国際特許分類】
H04N 19/85 20140101AFI20240514BHJP
【FI】
H04N19/85
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024044998
(22)【出願日】2024-03-21
(62)【分割の表示】P 2022069499の分割
【原出願日】2012-12-06
(31)【優先権主張番号】61/567,579
(32)【優先日】2011-12-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/674,503
(32)【優先日】2012-07-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/703,449
(32)【優先日】2012-09-20
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ミラー,ジョン スコット
(72)【発明者】
【氏名】ダリー,スコット
(72)【発明者】
【氏名】ネザマバディ,マハディ
(72)【発明者】
【氏名】アトキンス ロビン
(57)【要約】
【課題】異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法。
【解決手段】ハンドヘルド画像処理装置が、参照エンコードされた画像データを受領するよう構成されているデータ受領器を有する。該データは外部の符号化システムによってエンコードされている参照符号値を含む。参照符号値は参照グレーレベルを表わし、前記参照グレーレベルは、種々の光レベルにおいて諸空間周波数に適応された人間の視覚の知覚上の非線形性に基づく参照グレースケール表示関数を使って選択されている。画像処理装置はまた、前記参照符号値と当該画像処理装置の装置固有符号値との間の符号マッピングにアクセスするよう構成されたデータ変換器をも有する。前記装置固有符号値は当該画像処理装置固有のグレーレベルを生じるよう構成されている。前記符号マッピングに基づいて、データ変換器は、前記参照エンコードされた画像データを、前記装置固有符号値でエンコードされる装置固有の画像データにトランスコードするよう構成されている。
【選択図】
図5
【特許請求の範囲】
【請求項1】
画像処理装置において画像を処理する方法であって、
参照符号値を有する参照エンコードされた画像データを受領することであって、前記参照エンコードされた画像データは外部の符号化システムによってエンコードされており、前記参照符号値は参照グレーレベルを表わし、前記参照グレーレベルは、種々の光レベルにおいて諸空間周波数に適応された人間の視覚の知覚上の非線形性に基づく参照グレースケール表示関数を使って選択されている、画像データを受領することと、
前記参照符号値と当該画像処理装置の装置固有符号値との間の符号マッピングにアクセスすることであって、前記装置固有符号値は当該画像処理装置のために構成された装置固有グレーレベルを生じるよう構成されており、前記符号マッピングにアクセスすることは、前記符号マッピングに基づいて、前記参照エンコードされた画像データを、前記装置固有符号値でエンコードされた装置固有の画像データにトランスコードする、符号マッピングにアクセスすることと、
を含む、画像を処理する方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は2011年12月6日に出願された米国仮特許出願第61/567,579号、2012年7月23日に出願された米国仮特許出願第61/674,503号および2012年9月20日に出願された米国仮特許出願第61/703,449号の優先権を主張するものである。これらの出願の内容はみなここにあらゆる目的について全体において参照によって組み込まれる。
【0002】
本発明の技術
本発明は概括的には画像データに関する。より詳細には、本発明のある実施形態は、異なる表示機能の間での知覚上の非線形性に基づく画像データ交換に関する。
【背景技術】
【0003】
技術の進歩により現代のディスプレイ設計は、少し前のディスプレイにおいてレンダリングされる同じ内容に対して、さまざまな品質特性において著しい改善をもって画像およびビデオ内容をレンダリングできるようになっている。たとえば、いくつかのより新しいディスプレイは、通常のまたは標準的なディスプレイの標準ダイナミックレンジ(SDR: standard dynamic range)より高いダイナミックレンジ(DR: dynamic range)でコンテンツをレンダリングできる。
【0004】
たとえば、いくつかの現代の液晶ディスプレイ(LCD)は、能動LCD要素の液晶整列状態の変調とは別個に個々の部分が変調されうる光の場を与える照明ユニット(バックライト・ユニット、サイドライト・ユニットなど)をもつ。このデュアル変調手法は、ディスプレイの電気光学的構成における制御可能な介在層(たとえば個々に制御可能なLCD層の複数層)などにより拡張可能である(たとえばNは2より大きい整数であるとしてN変調層に)。
【0005】
対照的に、いくつかの既存のディスプレイは高ダイナミックレンジ(HDR: high dynamic range)より著しく狭いダイナミックレンジ(DR)をもつ。典型的な陰極線管(CRT)、一定の蛍光白色バックライトをもつ液晶ディスプレイ(LCD)またはプラズマ・スクリーン技術を使うモバイル装置、コンピュータ・パッド、ゲーム機、テレビジョン(TV)およびコンピュータ・モニタ装置は、そのDRレンダリング機能においてほぼ三桁に制約されることがある。よって、そのような既存のディスプレイは、時にHDRとの関連で「低ダイナミックレンジ(LDR: low dynamic range)」とも称される標準ダイナミックレンジ(SDR)の典型である。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】Peter G.J. Barten、Contrast Sensitivity of the Human Eye and its Effects on Image Quality (1999)
【非特許文献2】Scott Daly、Digital Images and Human Vision、A.B. Watson(編)、MIT Press (1993)
【発明の概要】
【発明が解決しようとする課題】
【0007】
HDRカメラによって捕捉された画像は、全部ではないまでも大半の表示装置のダイナミックレンジより有意に大きいシーン基準のHDR(scene-referred HDR)をもつことがある。シーン基準のHDR画像は大量のデータを含み、伝送および記憶を容易にするためにポストプロダクション・フォーマット(たとえば8ビットRGB、YCbCrまたは深い色のオプションをもつHDMI(登録商標)ビデオ信号;10ビット4:2:2サンプリング・レートをもつ1.5Gbps SDIビデオ信号;12ビット4:4:4もしくは10ビット4:2:2サンプリング・レートをもつ3Gbps SDI;および他のビデオもしくは画像フォーマット)に変換されることがある。ポストプロダクション画像はシーン基準のHDR画像よりずっと小さなダイナミックレンジをもつ。さらに、画像がエンドユーザーの表示装置にレンダリングのために送達される際、装置固有および/または製造業者固有の画像変換が途中で発生し、もとのシーン基準のHDR画像に比べレンダリングされた画像における視覚的に知覚できる大量の誤差を引き起こす。
【課題を解決するための手段】
【0008】
上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。
【図面の簡単な説明】
【0009】
本発明は、限定ではなく例として、付属の図面の図において例示される。図面において、同様の参照符号は同様の要素を指す。
【
図1】本発明のある例示的な実施形態に基づく、複数の光適応レベルにわたるコントラスト感度関数の曲線の例示的な族を示す図である。
【
図2】本発明のある例示的な実施形態に基づく、例示的な積分経路を示す図である。
【
図3】本発明のある例示的な実施形態に基づく、例示的なグレースケール表示関数を示す図である。
【
図4】本発明のある例示的な実施形態に基づく、ウェーバー割合を描く曲線である。
【
図5】本発明のある例示的な実施形態に基づく、種々のGSDFの装置による画像データの交換の例示的な枠組みを示す図である。
【
図6】本発明のある例示的な実施形態に基づく、例示的な変換ユニットを示す図である。
【
図7】本発明のある例示的な実施形態に基づく、例示的なSDRディスプレイを示す図である。
【
図8】AおよびBは、本発明のある例示的な実施形態に基づく、例示的なプロセス・フローを示す図である。
【
図9】本発明のある例示的な実施形態に基づく、本稿に記載されるコンピュータまたはコンピューティング装置が実装されうる例示的なハードウェア・プラットフォームを示す図である。
【
図10A】いくつかの例示的な実施形態に基づく、それぞれ一つまたは複数の異なるビット長さの一つの異なるものをもつ複数の符号空間における、JND単位での符号誤差の最大を示す図である。
【
図10B】いくつかの例示的な実施形態に基づく、符号誤差の分布を示す図である。
【
図10C】いくつかの例示的な実施形態に基づく、符号誤差の分布を示す図である。
【
図10D】いくつかの例示的な実施形態に基づく、符号誤差の分布を示す図である。
【
図10E】いくつかの例示的な実施形態に基づく、符号誤差の分布を示す図である。
【
図11】ある例示的な実施形態に基づく、関数モデルにおけるパラメータの値を示す図である。
【発明を実施するための形態】
【0010】
異なる機能のディスプレイの間の、知覚上のルミナンス非線形性に基づく画像データ交換に関係する例示的な実施形態が本稿で記述される。以下の記述では、説明のために、数多くの個別的詳細が、本発明の十全な理解を与えるために記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に隠蔽し、埋没させ、あるいは曖昧にするのを避けるために、網羅的な詳細さでは記述されない。
【0011】
例示的な実施形態は、本稿では以下のアウトラインに従って記述される。
【0012】
1.概観
2.コントラスト感度関数(CSF)モデル
3.知覚の非線形性
4.デジタル符号値とグレーレベル
5.モデル・パラメータ
6.可変空間周波数
7.関数モデル
8.参照GSDFに基づく画像データの交換
9.参照エンコードされた画像データの変換
10.例示的なプロセス・フロー
11.実装機構--ハードウェアの概観
12.付番実施例、等価物、拡張、代替、その他
【0013】
〈1.概観〉
この概観は、本発明のある実施形態のいくつかの側面の基本的な記述を提示する。この概観はその例示的な実施形態の諸側面の包括的ないし網羅的な要約ではないことは注意しておくべきである。さらに、この概観は、その例示的な実施形態の何らかの特に有意な側面もしくは要素を特定するものと理解されることも、一般には本発明の、特にその例示的な実施形態の何らかの範囲を画定するものと理解されることも、意図されていない。この概観は単に、その例示的な実施形態に関係するいくつかの概念を凝縮された単純化された形式で提示するものであり、単に後続の例示的な諸実施形態のより詳細な説明への概念的な導入部として理解されるべきである。
【0014】
人間の視覚は、二つのルミナンス値が互いに十分異なっていない場合、それら二つのルミナンス値の間の差を知覚しないことがある。人間の視覚は、ルミナンス値が少なくとも最小可知差異(JND: just noticeable difference)だけ異なる場合に差を知覚するのみである。人間の視覚の知覚の非線形性のため、個々のJNDの大きさは、ある範囲の光レベルにわたって一様な大きさではなく、一様にスケーリングされてもおらず、むしろ異なる個々の光レベルとともに変わる。さらに、知覚の非線形性のため、個々のJNDの大きさは、特定の光レベルにおいてある範囲の空間的周波数にわたって一様な大きさではなく、一様にスケーリングされてもおらず、むしろあるカットオフ空間周波数より下では異なる空間周波数とともに変わる。
【0015】
等しいサイズまたは線形にスケーリングされたサイズのルミナンス量子化きざみをもつエンコードされた画像データは、人間の視覚の知覚上の非一様性に一致しない。固定空間周波数での諸ルミナンス量子化きざみをもつエンコードされた画像データは、人間の視覚の知覚上の非一様性に一致しない。これらの技法のもとでは、量子化されたルミナンス値を表わすために符号語が割り当てられるとき、あまりに多くの符号語が、上記光レベルの範囲において特定の領域(たとえば明るい領域)に分布され、一方、上記光レベルの範囲の異なる領域(たとえば暗い領域)ではあまりに少ない符号語が分布されることがある。
【0016】
過剰分布領域では、符号語の多くは知覚的な差異を生じないことがあり、よって実際、無駄になる。不足分布領域では、二つの隣り合う符号語がJNDよりずっと大きな知覚的差異を生じ、可能性としては輪郭歪み(contour distortion)(バンド生成(banding)としても知られる)視覚的アーチファクトを生じる。
【0017】
本稿に記載される技法のもとでは、幅広い光レベル(たとえば0ないし12,000cd/m2)にわたってJNDを決定するために、コントラスト感度関数(CSF: contrast sensitivity function)モデルが使用されてもよい。ある例示的な実施形態では、特定の光レベルでの空間的周波数の関数としてのピークJNDが、その特定の光レベルでの人間の知覚の量子を表わすよう選択される。ピークJNDの選択は、近いが異なる諸ルミナンス値の背景を見るときの視覚的知覚可能性の高められたレベルに適応する人間の視覚の振る舞いに合致する
。これはビデオおよび画像表示の分野では時に先鋭化効果(crispening effect)および/またはホイットルの先鋭化効果(Whittle's Crispening effect)と称され、本稿でもそのように記述する。本稿での用法では、「光適応レベル(light adaptation level)」は、人間の視覚がその光レベルに適応されていると想定して、(たとえばピーク)JNDが選択/決定される光レベルを指すために使用されうる。本稿に記載されるピークJNDは、種々の光適応レベルにおいて、空間周波数を通じて変わる。
【0018】
本稿での用法では、用語「空間周波数」は、画像中の空間的な変調/変動のレートをいうことがある(ここで、時間に対してレートを計算するのではなく、レートは、空間的な距離との関係でまたは空間的な距離に対して計算される)。空間周波数を特定の値に固定しうる通常のアプローチとは対照的に、本稿で記載する空間周波数はたとえばある範囲内でまたはある範囲にわたって変わりうる。いくつかの実施形態では、ピークJNDは特定の空間周波数範囲(たとえば0.1ないし5.0、0.01ないし8.0サイクル/度またはより小さいもしくはより大きい範囲)内に限定されうる。
【0019】
CSFモデルに基づいて、参照グレースケール表示関数(GSDF: gray scale display function)が生成されうる。いくつかの実施形態では、娯楽ディスプレイ分野をよりよくサポートする参照GSDFを生成するために、CSFモデルについて非常に広い視野が想定される。GSDFは、一組の参照デジタル符号値(または参照符号語)、一組の参照グレーレベル(または参照ルミナンス値)および両組の間のマッピングを指す。ある例示的な実施形態では、各参照デジタル符号値はJND(たとえば光適応レベルにおけるピークJND)によって表わされる人間の知覚の量子に対応する。ある例示的な実施形態では、等しい数の参照デジタル符号値が人間の知覚の量子に対応しうる。
【0020】
GSDFは初期値からJNDを累積していくことによって得られる。ある例示的な実施形態では、中央符号語値(たとえば12ビット符号空間については2048)が参照デジタル符号への初期値として与えられる。参照デジタル符号の初期値は初期参照グレーレベル(たとえば100cd/m2)に対応しうる。参照デジタル符号の他の値についての他の参照グレーレベルが、参照デジタル符号が一つずつインクリメントされる際にはJNDを正に累積する(加算する)ことによって、参照デジタル符号が一つずつデクリメントされる際にはJNDを負に累積する(減算する)ことによって、得られる。ある例示的な実施形態では、コントラスト閾値のような量が、JNDの代わりに、GSDFにおける参照値の計算において使用されてもよい。GSDFの計算において実際に使用されるこれらの量は単位のない比として定義されてもよく、対応するJNDとは、既知のもしくは決定可能な乗数、除算因子および/またはオフセットだけ異なるのでもよい。
【0021】
符号空間は、GSDFにおけるすべての参照デジタル符号値を含むよう選択されてもよい。いくつかの実施形態では、すべての参照デジタル符号値が存在する符号空間は10ビット符号空間、11ビット符号空間、12ビット符号空間、13ビット符号空間、14ビット符号空間、15ビット符号空間またはより大きなもしくはより小さな符号空間の一つであってもよい。
【0022】
すべての参照デジタル符号値を収容するために大きな符号空間(>15ビット)が使用されてもよいが、ある特定の実施形態では、参照GSDFにおいて生成されるすべての参照デジタル符号値を収容するために、最も効率のよい符号空間(たとえば10ビット、12ビットなど)が使用される。
【0023】
参照GSDFは、たとえばHDRカメラ、スタジオ/システムまたは全部ではないまでも大半の表示装置のダイナミックレンジより有意に大きいシーン基準HDRをもつ他のシステムによって捕捉または生成された画像データをエンコードするために使われてもよい。エンコードされた画像データは幅広い多様な配送または伝送方法(たとえば8ビットRGB、YCbCr
または深い色のオプションをもつHDMI(登録商標)ビデオ信号;10ビット4:2:2サンプリング・レートをもつ1.5Gbps SDIビデオ信号;12ビット4:4:4もしくは10ビット4:2:2サンプリング・レートをもつ3Gbps SDI;および他のビデオもしくは画像フォーマット)で下流の装置に与えられてもよい。
【0024】
いくつかの実施形態では、参照GSDFにおける隣接する参照デジタル符号値がJND以内のグレーレベルに対応するため、参照GSDFに基づいてエンコードされた画像データにおいては、人間の視覚が区別できる詳細が完全にまたは実質的に保存されうる。参照GSDFをフルにサポートするディスプレイは可能性としては、バンド生成や輪郭歪みアーチファクトなしで画像をレンダリングしうる。
【0025】
参照GSDFに基づいてエンコードされた画像データ(または参照エンコードされた画像データ〔参照エンコード画像データ〕(reference encoded image data))は、参照GSDF中のすべての参照ルミナンス値をフルにサポートはしないことがあるより低機能の、幅広い多様なディスプレイをサポートするために使われてもよい。参照エンコードされた画像データはすべての知覚的詳細を、サポートされるルミナンス範囲(これはディスプレイがサポートするものの上位集合であるよう設計されてもよい)内に有するので、参照デジタル符号値は、特定のディスプレイがサポートできるできるだけ多くの詳細を保存し、できるだけ少ない視覚的に知覚可能な誤りを引き起こすような仕方で、ディスプレイ固有のデジタル符号値に最適かつ効率的にトランスコードされてもよい。追加的および/または任意的に、画像またはビデオ品質をさらに改善するよう、参照デジタル符号値からディスプレイ固有のデジタル符号値へのトランスコードとの関連で、またはその一環として、輪郭除去(decontouring)およびディザリング(dithering)が実行されてもよい。
【0026】
本稿に記載される技法は色空間依存ではない。RGB色空間、YCbCr色空間または異なる色空間で使用されうる。さらに、空間周波数とともに変化するJNDを使って参照値(たとえば、参照デジタル符号値および参照グレーレベル)を導出する諸技法は、ルミナンス・チャネルを含んでいてもいなくてもよい異なる色空間(たとえばRGB)における、ルミナンス・チャネル以外の異なるチャネル(たとえば赤、緑および青チャネルのうちの一つ)に適用されてもよい。たとえば、青の色チャネルに適用可能なJNDを使って参照グレーレベルの代わりに参照青値が導出されてもよい。このように、いくつかの実施形態では、グレースケールが色の代わりとされてもよい。追加的および/または任意的に、バーテン(Barten)のモデルの代わりに異なるCSFモデルが使用されてもよく、同じCSFモデルについて異なるモデル・パラメータが使用されてもよい。
【0027】
いくつかの実施形態では、本稿に記載される機構は、ハンドヘルド装置、ゲーム機、テレビジョン、ラップトップ・コンピュータ、ネットブック・コンピュータ、セルラー無線電話、電子書籍リーダー、ポイントオブセール端末、デスクトップ・コンピュータ、コンピュータ・ワークステーション、コンピュータ・キオスクまたはさまざまな他の種類の端末およびメディア処理ユニットを含むがこれに限られないメディア処理システムの一部をなす。
【0028】
本稿に記載される好ましい実施形態および一般的な原理および特徴へのさまざまな修正が当業者にとっては明白であろう。よって、本開示は示されている実施形態に限定されることは意図されておらず、本稿に記載される原理および特徴と整合する最も広い範囲を与えられるべきものである。
【0029】
〈2.コントラスト感度関数(CSF)モデル〉
レンダリングされる画像中の空間的な構造についての人間の視覚の感度は、コントラスト感度関数(CSF)をもって最もよく記述されうる。これは、コントラスト感度を空間周
波数(または人間の観察者によって知覚される画像中の空間的変調/変動のレート)の関数として記述するものである。本稿での用法では、コントラスト感度Sは、人間の視覚の神経信号処理における利得と考えられもよく、一方、コントラスト閾値CTはコントラスト感度の逆数から決定されてもよい。たとえば:
コントラスト感度=S=1/CT (1)
本稿での用法では、「コントラスト閾値」は、人間の目がコントラストの差を知覚するために必要な(相対)コントラストの最低値(たとえば最小可知差異)を指すまたは該最低値に関係しうる。いくつかの実施形態では、コントラスト閾値は、ある範囲のルミナンス値にわたって最小可知差異を光適応レベルで割ったものの関数として描かれてもよい。
【0030】
いくつかの実施形態では、コントラスト閾値は、いかなるCSFモデルも使わずに実験において直接測定されてもよい。しかしながら、いくつかの他の実施形態では、コントラスト閾値はCSFモデルに基づいて決定されてもよい。CSFモデルはいくつかのモデル・パラメータを用いて構築されてもよく、GSDFを導出するために使われてもよい。グレーレベルでのGSDFの量子化きざみは、ルミナンス値によって特徴付けられる光レベルおよび空間周波数に依存し、それらとともに変わる。ある例示的な実施形態は、非特許文献1に記載されるもの(以下、バーテンのモデルまたはバーテンのCSFモデル)または非特許文献2に記載されるもの(以下、デイリーのモデル)のような多様なCSFモデルの一つまたは複数に基づいて実装されてもよい。本発明の例示的な実施形態との関係で、参照グレースケール表示関数(GSDF)を生成するために使われるコントラスト閾値は、実験的に、理論的に、CSFモデルを用いて、あるいはそれらの組み合わせで導出されてもよい。
【0031】
本稿での用法では、GSDFは、複数のデジタル符号値(たとえば1,2,3,…,N)の複数のグレーレベル(L1,L2,L3,…,LN)へのマッピングを指しうる。ここで、表1に示されるように、デジタル符号値はコントラスト閾値のインデックス値を表わし、グレーレベルはコントラスト閾値に対応する。
【0032】
【表1】
ある実施形態では、デジタル符号値(たとえばi)に対応するグレーレベル(たとえばL
i)および隣接するグレーレベル(たとえばL
i+1)はコントラスト(たとえばC(i))との関係で次のように計算されてもよい。
【0033】
C(i)=(Li+1-Li)/(Li+1+Li)
=(Li+1-Lmean(i,i+1))/Lmean(i,i+1)
=~(1/2)ΔL/L (2)
ここで、C(i)はLiとLi+1を両端とするルミナンス範囲についてのコントラストを表わす。Lmean(i,i+1)は二つの隣接するグレーレベルLiとLi+1の算術平均である。コントラストC(i)は算術的に因子2によってウェーバー割合(Weber fraction)に関係している。ここで、ΔLは(Li+1-Li)を表わし、LはLi、Li+1の一方またはLiとLi+1の中間的な値を表わす。
【0034】
いくつかの実施形態では、GSDF生成器は、次のように、コントラストC(i)を、両端を含むLiとLi+1の間のあるルミナンス・レベルLにおけるコントラスト閾値(たとえばCT(i))に等しいまたはさもなければそれに比例する値に設定してもよい。
【0035】
C(i)=kCT(i) (3)
ここで、kは乗算定数を表わす。本発明の実施形態との関係で、GSDFにおけるグレーレベルを計算する目的でコントラスト閾値をコントラストと関係付けるために、他の記述的統計/定義(たとえば幾何平均、メジアム、モード、分散または標準偏差)および/またはスケーリング(×2、×3、スケーリング因子で割る、またはスケーリング因子をかけるなど)および/またはオフセット(+1、+2、-1、-2、オフセットを減算またはオフセットを加算など)および/または重み付け(たとえば二つの隣接するグレーレベルに同じまたは異なる重み因子を割り当てる)が使われてもよい。
【0036】
式(1)、(2)、(3)で計算されるように、コントラストまたはコントラスト閾値は相対値であり、よって無次元量でありうる。(よって、たとえばSも無次元量でありうる。)
【0037】
CSFモデルは、基本的なコントラスト閾値測定またはCSFモデルを描くCSFに基づく計算から構築されうる。人間の視覚は残念なことに複雑で、適応的で、非線形であり、よって人間の視覚を記述する単一のCSF曲線はない。その代わり、CSF曲線の族がCSFモデルに基づいて生成されうる。同じCSFモデルでも、モデル・パラメータの異なる値はCSF曲線の該族について異なるプロットを生じる。
【0038】
〈3.知覚の非線形性〉
図1は、複数の光適応レベルにまたがるCSF曲線の例示的な族を示している。あくまでも例解のために、
図1に描かれている最も上のCSF曲線は1000カンデラ毎平方メートル(cd/m
2または「ニト」)のルミナンス値での光適応レベルについてのものであり、他のより低い曲線は10倍ずつ低下していくルミナンス値での光適応レベルについてのものである。これらのCSF曲線から読み取れる注目すべき特徴は、ルミナンスが増すと(光適応レベルが増すと)、最大(またはピーク)コントラスト感度を含む全体的なコントラスト感度が増大するということである。
図1のCSF曲線上でコントラスト感度がピークになるピーク空間周波数はより高い空間周波数にシフトする。同様に、CSF曲線の横軸(空間周波数軸)との切片であるCSF曲線上の最大の知覚可能空間周波数(カットオフ周波数)も増大する。
【0039】
ある例示的な実施形態では、
図1に示されるCSF曲線の族を与えるCSF関数は、人間の知覚に関係するいくつかのキーとなる効果を考慮に入れるバーテンのCSFモデルを用いて導出されてもよい。バーテンのCSFモデルのもとでの例示的なCSF S(u)(または対応するコントラスト閾値m
tの逆数)は下記の式(4)に示されるように計算されてもよい。
【0040】
【数1】
上記の式(4)において使われる例示的なモデル・パラメータは下記に挙げる表現を含む。
・2(数因子)は双眼による視覚に対応する(単眼なら4);
・kは信号/雑音比を表わし、たとえば3.0;
・Tは目の積分時間を表わし、たとえば0.1秒;
・X
0は(たとえば正方形の)対象の角サイズを表わす;
・X
maxは目の積分領域の最大角サイズを表わす(たとえば12度);
・N
maxは確率和を介して累積される最大サイクル数を表わし、たとえば15サイクル;
・ηは目の量子効率を表わし、たとえば0.3;
・pは光子変換因子(photon conversion factor)を表わす;
・Eは網膜照度(illuminance)をたとえばトローランド(Troland)単位で表わす;
・Φ
0は神経雑音のスペクトル密度を表わし、たとえば3×10
-8秒・度
2;
・u
0は側方抑制についての最大空間周波数を表わし、たとえば7サイクル/度。
【0041】
光学変調伝達関数(optical modulation transfer function)Moptは次式のように与えられてもよい。
【0042】
【数2】
ここで、σはひとみおよび/または光レベルに関係したモデル・パラメータを表わす。
【0043】
上記で論じたバーテンのCSFモデルは、ルミナンスに対する知覚の非線形性を記述するために使用できる。知覚の非線形性を記述するために他のCSFモデルが使われてもよい。たとえば、バーテンのCSFモデルは、CSFの高空間周波数領域でのカットオフ空間周波数の低下を引き起こす遠近調節(accommodation)の効果を考慮に入れていない。遠近調節によるこの低下効果は、低下する視距離の関数として表わされてもよい。
【0044】
たとえば、1.5メートルを超える視距離については、バーテンのCSFモデルによって描かれる最大カットオフ空間周波数に到達しうるが、知覚の非線形性を記述するための適切なモデルとしてのバーテンのモデルの有効性に影響することはない。しかしながら、1.5メートルより短い距離については、遠近調節の効果が有意になりはじめ、バーテンのモデルの精度を低下させる。
【0045】
このように、0.5メートルのようなより近い視距離をもつタブレット・ディスプレイや0.125メートルほど近い視距離をもちうるスマートフォンについては、バーテンのCSFモデルは最適に調整されないことがありうる。
【0046】
いくつかの実施形態では、遠近調節効果を考慮に入れるデイリーのCSFモデルが使用されてもよい。ある特定の実施形態では、デイリーのCSFモデルが上記の式(4)のバーテンのCSF S(u)に部分的に基づいて、たとえば式(5)の光学変調伝達関数Moptを修正することによって、構成されてもよい。
【0047】
〈4.デジタル符号値とグレーレベル〉
表1に示されるようなGSDFは、人間の視覚におけるコントラスト閾値に結びつけられたグレーレベルを表わすのにデジタル符号値を使って知覚の非線形性をマッピングする。すべてのマッピングされたルミナンス値を含むグレーレベルは、人間の視覚の知覚的非線形性に合致するよう最適な間隔にされる仕方で分布されてもよい。
【0048】
いくつかの実施形態では、GSDFにおけるグレーレベルの最大数がルミナンス値の最大範囲に対して十分大きいとき、GSDFにおけるデジタル符号値は、グレー・レベル・ステップ遷移(たとえば、画像中の偽輪郭またはバンドとして見える;あるいは画像の暗い領域における色シフト)の可視性を引き起こすことなくグレーレベルの最低数(たとえば合計4096個未満のデジタル符号値)を達成するような仕方で使用されてもよい。
【0049】
他のいくつかの実施形態では、限られた数のデジタル符号値でも広いダイナミックレンジのグレーレベルを表わすために使用されうる。たとえば、GSDFにおけるグレースケール・レベルの最大数がグレースケール・レベルの最大範囲に対して十分大きくないとき(たとえば、0から12,000ニトのグレースケール・レベルの範囲に対する、8ビット表現のデジタル符号値)、該GSDFはそれでも、グレー・レベル・ステップ遷移の可視性を軽減するまたは最小にするようグレーレベルの最低数(たとえば合計256個未満のデジタル符号値)を達成するような仕方で使用されてもよい。そのようなGSDFでは、ステップ遷移の知覚可能な誤り/アーチファクトの量/度合いは、該GSDFにおいて比較的少数のグレーレベルの階層を通じて均等に分散されてもよい。本稿での用法では、用語「グレースケール・レベル」または「グレーレベル」は交換可能に使われることがあり、表現されたルミナンス値(GSDFにおいて表現された量子化されたルミナンス値)を指しうる。
【0050】
GSDFにおけるグレーレベルは、(異なるルミナンス値での)諸光適応レベルを通じてコントラスト閾値を積算または積分していくことによって導出されうる。いくつかの実施形態では、グレーレベル間の量子化きざみは、任意の二つの隣接するグレーレベル間の量子化きざみがJND内に収まるよう選ばれてもよい。特定の光適応レベル(またはルミナンス値)でのコントラスト閾値は、その特定の適応レベルにおける最小可知差異(JND)より大きくなくてもよい。グレーレベルはコントラスト閾値(またはJND)の割合(fraction)を積分または積算することによって導出されてもよい。いくつかの実施形態では、デジタル符号値の数は、ルミナンスの表現されるダイナミックレンジにおいてすべてのJNDを表現するのに十分なよりも多い。
【0051】
グレースケール・レベルを計算するために使用されるコントラスト閾値または逆にコントラスト感度は、特定の光適応レベル(またはルミナンス値)についての固定空間周波数以外の異なる空間周波数でCSF曲線から選択されてもよい。いくつかの実施形態では、コントラスト閾値のそれぞれは、光適応レベルについての(たとえばホイットルの先鋭化効果のため)ピーク・コントラスト感度に対応する空間周波数におけるCSF曲線から選択される。さらに、コントラスト閾値は、種々の光適応レベルについての種々の空間周波数におけるCSF曲線から選択されてもよい。
【0052】
GSDFにおけるグレーレベルを計算/積算する例示的な表式は次のようになる。
【0053】
【数3】
ここで、fは空間周波数を表わし、これは本稿に記載される技法のもとで、ある固定した数以外であってもよい。L
Aは光適応レベルを表わす。L
minはすべてのマッピングされたグレーレベルにおける最低ルミナンス値であってもよい。本稿での用法では、用語「ニト」またはその略「nt」は、同義または交換可能に、1カンデラ毎平方メートルと等価なまたは等しい画像強度、明るさ、ルーマおよび/またはルミナンスの単位を指しうる(1ニト=1nt=1cd/m
2)。いくつかの実施形態では、L
minは0の値をもっていてもよい。他のいくつかの実施形態では、L
minは0でない値(たとえば、ディスプレイ装置が一般に達成できるより低くてもよいある暗い黒レベル、10
-5ニト、10
-7ニトなど)をもっていてもよい。いくつかの実施形態では、L
minは中間的な値または最大値のような、最小初期値以外で減算または負の加算での積算計算を許容するもので置き換えられてもよい。
【0054】
いくつかの実施形態では、GSDFにおけるグレーレベルを導出するためのJNDの積算は、たとえば式(6)において示されるように総和によって実行される。他のいくつかの実施形態では、離散的な和の代わりに積分が使われてもよい。積分は、CSF(たとえば式(4))から決定された積分経路に沿って積分してもよい。たとえば、積分経路は、CSFについての(参照)ダイナミックレンジにおけるすべての光適応レベルについてのピーク・コントラスト感度(たとえば、異なる空間周波数に対応する異なるピーク感度)を含んでいてもよい。
【0055】
本稿での用法では、積分経路は、人間の知覚の非線形性を表現し、一組のデジタル符号値と一組の参照グレー・レベル(量子化されたルミナンス値)との間のマッピングを確立するために使われる可視的ダイナミックレンジ(VDR)曲線を指しうる。マッピングは、各量子化きざみ(たとえば表1における二つの隣接するグレーレベルのルミナンス差)が対応する光適応レベル(ルミナンス値)より上または下のJNDより小さいという基準を満たすことが求められてもよい。ある特定の光適応レベル(ルミナンス値)での積分経路の瞬時微分(ニト/空間的サイクルの単位での)はその特定の適応レベルにおけるJNDに比例する。本稿での用法では、「VDR」または「視覚的ダイナミックレンジ」は、標準的なダイナミックレンジより広いダイナミックレンジを指してもよく、人間の視覚がある瞬間に知覚できる、瞬間に知覚可能なダイナミックレンジおよび色範囲までの広いダイナミックレンジを含みうるが、それに限られない。
【0056】
本稿に記載される技法に基づいて、いかなる特定のディスプレイとも画像処理装置とも独立な参照GSDFが発展されてもよい。いくつかの実施形態では、光適応レベル(ルミナンス)、空間周波数および角サイズ以外の一つまたは複数のモデル・パラメータが一定(または固定)値に設定されてもよい。
【0057】
〈5.モデル・パラメータ〉
いくつかの実施形態では、CSFモデルは、幅広い範囲の表示装置をカバーする保守的なモデル・パラメータ値をもって構築される。保守的なモデル・パラメータ値の使用は、既存の標準的なGSDFより小さなJNDを提供する。よって、いくつかの実施形態では、本稿に記載される技法のもとでの参照GSDFは、これらの表示装置の要件を超える高い精度をもつルミナンス値をサポートすることができる。
【0058】
いくつかの実施形態では、本稿に記載されるモデル・パラメータは、視野(FOV: fiel
d-of-vision)パラメータを含む。FOVパラメータは45度、40度、35度、30度、25度の値またはスタジオ、劇場またはハイエンド娯楽システムにおいて使われるものを含め広い範囲の表示装置および閲覧シナリオをサポートする、より大きなもしくはより小さな別の値に設定されてもよい。
【0059】
本稿に記載されるモデル・パラメータは、角サイズ・パラメータを含んでいてもよい。これはたとえば視野に関係していてもよい。角サイズ・パラメータは、45度×45度、40度×40度、35度×35度、30度×30度、25度×25度の値またはスタジオ、広い範囲の表示装置および閲覧シナリオをサポートする、より大きなもしくはより小さな別の値に設定されてもよい。いくつかの実施形態では、参照GSDFを導出するために部分的に使われる角サイズ・パラメータはn度×m度に設定され、ここで、nおよびmはいずれも30から40までの間の数値であってもよく、nおよびmは等しくても等しくなくてもよい。
【0060】
いくつかの実施形態では、より多数のグレースケール・レベルをもち、よってより大きなコントラスト感度をもつ参照GSDFを生じるために、より大きな角サイズ(たとえば40度×40度)が使用される。該GSDFは、~30ないし40度という広い視野角を必要とすることがある広い範囲の閲覧および/または表示シナリオ(たとえば大画面ビデオ・ディスプレイ)をサポートするために使われてもよい。大きな角サイズのため増大した感度をもつ該GSDFは、大きく変わりうる閲覧および表示シナリオ(たとえば映画館)をサポートするために使用されてもよい。さらに大きな角サイズを選択することが可能であるが、角サイズをある角サイズ(たとえば40度)より著しく高く上げることがもたらす恩恵は比較的限られていることがある。
【0061】
いくつかの実施形態では、参照GSDFモデルは大きなルミナンス範囲をカバーする。たとえば、参照GSDFモデルによって表現されるグレーレベルまたは量子化されたルミナンス値は0または約0(たとえば10-7cd/m2)から12,000cd/m2の範囲にわたる。参照GSDFモデルにおける表現されるルミナンス値の下限は、10-7cd/m2またはより低いもしくはより高い値(たとえば0、10-5、10-8、10-9cd/m2など)でありうる。該GSDFは、種々の周辺光レベルをもつ広い範囲の閲覧および/または表示シナリオをサポートするために使用されうる。該GSDFは、(劇場、屋内または屋外における)種々の暗い黒レベルをもつ広い範囲の表示装置をサポートするために使用されうる。
【0062】
参照GSDFモデルにおける表現されるルミナンス値の上限は12,000cd/m2またはより低いもしくはより高い値(たとえば、6000-8000、8000-10000、10000-12000、12000-15000cd/m2など)であってもよい。GSDFは、高ダイナミックレンジをもつ広い範囲の閲覧および/または表示シナリオをサポートするために使用されてもよい。GSDFは、種々の最大ルミナンス・レベルをもつ広い範囲の表示装置(HDR TV、SDRディスプレイ、ラップトップ、タブレット、ハンドヘルド装置など)をサポートするために使用されてもよい。
【0063】
〈6.可変空間周波数〉
図2は、本発明のある例示的な実施形態に基づく、本稿に記載される参照GSDFにおける諸グレーレベルを得るための積分経路として使われてもよい例示的な積分経路(VDRと記される)を示している。諸実施形態において、VDR曲線は、ルミナンス値の高ダイナミックレンジにわたって人間の視覚のピーク・コントラスト感度を正確に捕捉するために使われる。
【0064】
図2に示されるように、ピーク・コントラスト感度は固定した空間周波数値において現われるのではなく、むしろ光適応レベル(ルミナンス値)が下がるにつれてより小さな空間周波数において現われる。これは、固定空間周波数をもつ技法(たとえばDICOM)が暗い光適応レベル(低いルミナンス値)について人間の視覚のコントラスト感度を有意に過
小評価することがあることを意味している。より低いコントラスト感度はより高いコントラスト閾値につながり、結果として量子化されたルミナンス値におけるより大きな量子化きざみを与える。
【0065】
医用デジタル撮像・通信(DICOM: Digital Imaging and Communications in Medicine)規格とは異なり、本稿に記載される技法のもとでのVDR曲線は、空間周波数モデル・パラメータを、4サイクル毎度のような固定値に固定しない。むしろ、VDR曲線は空間周波数とともに変化し、複数の光適応レベルにおいて人間の視覚のピーク・コントラスト感度を正確に捕捉する。VDR曲線は、人間の視覚の広い範囲の光適応レベルへの適応可能性に起因する先鋭化効果を適正に考慮に入れ、高精度の参照GSDFを生成するのを助ける。ここで、用語「高精度」は、ルミナンス値の量子化に起因する知覚的な誤りが、固定サイズの符号空間(たとえば10ビット、12ビットなどの一つ)の制約条件内で人間の視覚の非線形性を最良かつ最も効率よく捕捉する参照GSDFに基づいて除去されるまたは実質的に軽減されることを意味する。
【0066】
参照GSDF(たとえば表1)における諸グレーレベルを計算するために計算プロセスが使用されうる。ある例示的な実施形態では、計算プロセスは逐次反復的または再帰的であり、VDR曲線からコントラスト閾値(または変調閾値、たとえば式(4)におけるmt)を反復的に決定し、該コントラスト閾値を参照GSDFにおける一連のグレーレベルを得るために適用する。この計算プロセスは、次の式(7)を用いて実装されてもよい。
【0067】
【数4】
ここで、j-1、jおよびj+1は三つの隣り合うデジタル符号値へのインデックスを表わし;L
j-1、L
jおよびL
j+1はそれぞれデジタル符号値j-1、jおよびj+1がマッピングされるグレーレベルに対応する。L
maxおよびL
minはそれぞれ、あるJNDまたはJNDのある割合(fraction)にわたる最大ルミナンス値および最小ルミナンス値を表わす。JNDまたはその割合を使うことは、参照GSDFの高い精度を維持する。
【0068】
JNDに関連するコントラスト閾値mtは相対的な量として定義されてもよい。たとえば、LmaxとLminの差をLmaxまたはLminまたはLmaxとLminの中間(たとえばLmaxとLminの平均)のいずれかの特定のルミナンス値で割ったものである。いくつかの実施形態では、mtはLmaxとLminの差をLmaxまたはLminまたはLmaxとLminの中間のいずれかの特定のルミナンス値の乗数(たとえば2)で割ったものである。GSDFにおけるルミナンス値を複数のグレーレベルに量子化する際、LmaxおよびLminは該複数のグレーレベルにおける隣接するグレーレベルを指すことがありうる。結果として、Ljは、式(7)に示されるように、mtを通じてそれぞれLj-1およびLj+1に関係付けられてもよい。
【0069】
代替的な諸実施形態では、式(7)に示されるような線形の表式の代わりに、非線形の表式がJNDまたはコントラスト閾値をグレーレベルに関連付けるために使われてもよい。たとえば、上に示したコントラスト閾値についての単純な比の代わりに、標準偏差を平均で割ったものに基づく代替的な表式が使われてもよい。
【0070】
いくつかの実施形態では、参照GSDFは12ビット整数値として表現されるデジタル符号値をもって0から12,000cd/m2の範囲をカバーする。参照GSDFの精度をさらに改善するために、mtに割合値(fraction value)fが乗算されてもよい。さらに、中央デジタル値L2048
(デジタル符号値は少なくとも、SDIと互換な12ビット符号空間におけるように0および4096に限られることを注意しておく)が100cd/m2にマッピングされてもよい。式(7)は次の式(8)を与えうる。
【0071】
【数5】
ここで、割合値fは0.918177に設定される。この例示的な実施形態では、符号語(または整数値)16に設定されるデジタル符号についての最小の許容される値は、0(cd/m
2)に設定される。二番目に低いデジタル符号値17は5.27×10
-7cd/m
2となり、デジタル符号値4076は12,000cd/m
2になる。
【0072】
図3は、本発明のある例示的な実施形態に基づく、(対数ルミナンス値での)複数のグレーレベルと12ビット符号空間での複数のデジタル符号値との間のマッピングをする例示的なGSDFを示している。
【0073】
図4は、
図3の例示的なGSDFのグレーレベルに基づくウェーバー割合(デルタL/LまたはΔL/L)を描く曲線を示している。
図4に示される人間の視覚の知覚的な非線形性は、対数ルミナンス軸上のルミナンス値の関数として表わされている。人間の視覚の比較可能な視覚的な差(たとえばJND)は、より低いルミナンス値でのより大きなデルタL/L値に対応する。ウェーバー割合の曲線は高いルミナンス値については一定値(たとえば、より高いルミナンス値においてウェーバーの法則が満たされるウェーバー割合0.002)に漸近する。
【0074】
〈7.関数モデル〉
本稿に記載されるGSDF(参照GSDFまたは装置固有のGSDF)におけるデジタル符号値とグレーレベルとの間のマッピングを得るために、一つまたは複数の解析的な関数が使用されてもよい。該一つまたは複数の解析的な関数は、独自のもの、標準に基づくものまたは標準に基づく関数からの表式であってもよい。いくつかの実施形態では、GSDF生成器(たとえば
図5の504)は、前記一つまたは複数の解析的な関数(または公式)に基づいて、一つまたは複数の順ルックアップテーブル(LUT)および/または一つまたは複数の逆LUTの形のGSDFを生成してもよい。これらのLUTの少なくともいくつかは、参照画像データをエンコードする目的で参照グレーレベルと参照デジタル符号レベルの間で変換する際に使用されるために、多様な画像データ・コーデック(たとえば
図5の506)または幅広い多様な表示装置に提供されてもよい。追加的、任意的または代替的に、(係数が整数または浮動小数点表現である)前記解析的な関数のうち少なくともいくつかは、本稿に記載されるGSDFにおけるデジタル符号値とグレーレベルとの間のマッピングを得ることおよび/または画像データをエンコードする目的のためにグレーレベルとデジタル符号レベルの間で変換をすることにおいて使用されるために、画像データ・コーデックまたは幅広い多様な表示装置に直接提供されてもよい。
【0075】
いくつかの実施形態では、本稿に記載される解析的な関数は、次のように、対応するグレーレベルに基づいてデジタル符号値を予測するために使用されうる順関数を有する。
【0076】
【数6】
ここで、Dはデジタル符号の値(たとえば12ビット)を表わし、Lはニト単位のルミナンス値またはグレーレベルを表わし、nは式(9)によって与えられるlogD/logL曲線の中央セクションにおける傾きを表わしていてもよく、mはlogD/logL曲線の屈曲部〔ニー〕の鋭さを表わしていてもよく、c1、c2およびc3はlogD/logL曲線の端点および中点を定義していてもよい。
【0077】
いくつかの実施形態では、解析的な関数は、式(9)の順関数に対応する逆関数であり、次式のように、対応するデジタル符号値に基づいてルミナンス値を予測するために使用されてもよい。
【0078】
【数7】
式(9)を使って複数のルミナンス値に基づいて予測されるデジタル符号値は観察されるデジタル符号値と比較されてもよい。観察されるデジタル符号値は、先に論じたようなCSFモデルに基づく数値計算であってもよいが、それに限られない。ある実施形態では、予測されるデジタル符号値と観察されるデジタル符号値との間の偏差が計算され、式(9)におけるパラメータn、m、c
1、c
2およびc
3の最適な値を導出するためにこの偏差が最小にされてもよい。
【0079】
同様に、式(10)を使って複数のデジタル符号値に基づいて予測されるルミナンス値は観察されるルミナンス値と比較されてもよい。観察されるルミナンス値は、先に論じたようなCSFモデルに基づく数値計算を使って、あるいは人間の視覚の実験データを使って生成されてもよいが、それに限られない。ある実施形態では、予測されるルミナンス値と観察されるルミナンス値との間の偏差がパラメータn、m、c1、c2およびc3の関数として導出されてもよく、式(10)におけるパラメータn、m、c1、c2およびc3の最適な値を導出するためにこの偏差が最小にされてもよい。
【0080】
式(9)を用いて決定されるパラメータn、m、c1、c2およびc3の最適な値の組は、式(10)を用いて決定されるパラメータn、m、c1、c2およびc3の最適な値の組と同じであることもないこともある。二つの組の間に相違がある場合、デジタル符号値とルミナンス値との間のマッピングを生成するために、二つの組の一方または両方が使われうる。いくつかの実施形態では、パラメータn、m、c1、c2およびc3の最適な値の二つの組は、異なっている場合、たとえば式(9)および(10)の両方により順符号化および逆符号化演算を実行することによって導入される往復誤差(round trip error)の最小化に基づいて調和させられてもよい。いくつかの実施形態では、複数往復して、デジタル符号値および/またはルミナンス値またはグレーレベルにおける結果として生じる誤差を調べてもよい。いくつかの実施形態では、式(9)および(10)におけるパラメータの選択は少なくとも部分的には、一往復、二往復またはそれ以上において有意な誤差が生じないという基準に基づいていてもよい。有意な往復誤差の例は、0.0001%、0.001%、0.01%、0.1%、1%、2%または他の構成設定
可能な値より小さな誤差を含んでいてもよいが、そのいずれにも限定されるものではない。
【0081】
諸実施形態は、デジタル制御値を表わすために一つまたは複数の異なるビット長のうちの一つのビット長の符号空間を使うことを含む。式(9)および(10)におけるパラメータの最適化された値が、複数の符号空間のそれぞれについて得られてもよい。ここで、各符号空間は一つまたは複数の異なるビット長のうちの異なるものをもつ。式(9)および(10)の最適化された値に基づいて、符号誤差の分布(たとえば式(9)および(10)に基づくデジタル符号値における順変換誤差、逆変換誤差または往復誤差)が決定されてもよい。いくつかの実施形態では、二つのデジタル符号値における1の数値的な差は、それら二つのデジタル符号値によって表わされる二つのルミナンス値の間の光レベルにおけるコントラスト閾値に対応する(またはJNDに対応する)。
図10Aは、いくつかの例示的な実施形態に基づく、一つまたは複数の異なる精度の一つの異なるものをそれぞれもつ(異なるビット長をもつ)複数の符号空間における、JND単位での符号誤差の最大を示している。たとえば、本稿に記載される関数モデルに基づいて、無限または無制限のビット長の符号空間についての最大符号誤差は11.252である。これに対し、本稿に記載される関数モデルに基づくと、12ビット長(または4096)の符号空間についての最大符号誤差は11.298である。これは、デジタル符号値についての12ビット長の符号空間が、式(9)および(10)によって表わされる関数モデルでの優れた選択であることを示している。
【0082】
図10Bは、ある例示的な実施形態に基づく、式(9)によって指定される(ルミナンス値からデジタル符号値への)順変換による12ビット長(または4096)の符号空間についての符号誤差の分布を示している。
図10Cは、ある例示的な実施形態に基づく、式(10)によって指定される(デジタル符号値からルミナンス値への)戻り変換による12ビット長(または4096)の符号空間についての符号誤差の分布を示している。
図10Bおよび
図10Cはいずれも、12.5より小さい最大符号誤差を示している。
【0083】
図11は、ある例示的な実施形態に基づいて式(9)および(10)において使用されうるパラメータの値を示している。いくつかの実施形態では、図のように、本稿に記載される関数モデルの具体的実装におけるこれらの非整数値を表現/近似するために、整数ベースの公式が使用される。他のいくつかの実施形態では、本稿に記載される関数モデルの具体的実装におけるこれらの非整数値を表現/近似するために、一つまたは複数の精度(たとえば14-、16-または32ビット)の一つをもつ固定小数点、浮動小数点値が使用されてもよい。
【0084】
諸実施形態は、式(9)および(10)において与えられるもの(これはトーン・マッピング曲線であってもよい)以外の公式による関数モデルを使うことを含む。たとえば、次のようなナカ・ラシュトン(Naka-Rushton)公式による錐モデル(cone model)が、本稿に記載される関数モデルによって使用されてもよい。
【0085】
【数8】
ここで、Lはルミナンス値を表わし、n、mおよびσは錐モデルに関連するモデル・パラメータを表わし、L
dはデジタル符号値でエンコードされうる予測される値を表わす。偏差を最小化することを通じてモデル・パラメータを得る同様の諸方法が、式(11)についてのモ
デル・パラメータの最適な値を導出するために使われてもよい。
図10Dは、ある例示的な実施形態に基づく、式(11)によって指定される(ルミナンス値からデジタル符号値への)順変換による12ビット長(または4096)の符号空間についての符号誤差の分布を示している。ある実施形態では、
図10Dに示される最大符号誤差は25JNDである。
【0086】
もう一つの例では、関数モデルは次のような持ち上げミュー(Raised mu)公式で生成されてもよい。
【0087】
【数9】
ここで、xはルミナンス値を表わし、yは予測されるデジタル符号値を表わす。モデル・パラメータμの最適な値は、偏差を最小にすることを通じて得られる。
図10Eは、ある例示的な実施形態に基づく、式(12)によって指定される(ルミナンス値からデジタル符号値への)順変換による12ビット長(または4096)の符号空間についての符号誤差の分布を示している。ある実施形態では、
図10Dに示される最大符号誤差は17JNDである。
【0088】
本稿での用法では、いくつかの実施形態では、関数モデルは、ルミナンス値から符号値を予測するために、あるいは符号値からルミナンス値を予測するために使用されうる。関数モデルによって使用される公式は可逆であってもよい。同じまたは同様の処理論理が、これらの値の間の順変換および逆変換を実行するために実装されてもよい。いくつかの実施形態では、指数(exponent)のいずれかを含むがそれに限られないモデル・パラメータが、固定小数点値または整数ベースの公式によって表現されてもよい。このように、処理論理の少なくとも一部はハードウェアのみ、ソフトウェアのみまたはハードウェアとソフトウェアの組み合わせにおいて効率的に実装されうる。同様に、関数モデルまたはモデル公式(式(9)ないし(12)など)により生成されたLUTの少なくとも一部は、はハードウェアのみ、ソフトウェアのみまたはハードウェアとソフトウェアの組み合わせ(ASICまたはFPGAを含む)において効率的に実装されうる。いくつかの実施形態では、一つ、二つまたはより多くの関数モデルが単一のコンピューティング装置、複数のコンピューティング装置からなる構成、サーバーなどにおいて実装されてもよい。いくつかの実施形態では、予測される符号値の誤差は、ルミナンス値の可視ダイナミックレンジのフル・レンジにわたる目標値または観察される値の14個の符号値以内であってもよい。いくつかの実施形態では、これは、順変換および逆変換の両方について成り立つ。モデル・パラメータの同じまたは異なる組が順変換および逆変換において使用されてもよい。往復精度は、モデル・パラメータの最適値をもって最大化されうる。種々の符号空間が使用されうる。個別的な実施形態では、可視ダイナミックレンジのフル・レンジにわたる最小符号誤差をもってデジタル符号値を受け容れるために、12ビット長(4096)の符号空間が使用されてもよい。
【0089】
本稿での用法では、参照GSDFとは、CSFモデルに基づいて数値計算で(たとえば、デジタル符号値とルミナンス値との間のマッピングのいかなる関数表現も決定せずに)決定される、あるいは人間の視覚の研究からのデータで決定される関数モデル(そのモデル・パラメータはCSFモデルのもとで、目標または観察される値をもって決定されうる)のもとで関係付けられる参照デジタル符号値と参照グレーレベルを含むGSDFを指しうる。いくつかの実施形態では、装置GSDFも、本稿に記載される関数モデルで解析的に表現されうるデジタル符号値とグレーレベルとの間のマッピングを有していてもよい。
【0090】
〈8.参照GSDFに基づく画像データの交換〉
例解の目的のために、デジタル符号値は12ビット符号空間に存することが記載されてきた。しかしながら、本発明はそれに限定されない。異なる符号空間(たとえば12ビットとは異なるビット深さ)をもつデジタル符号値が参照GSDFにおいて使われてもよい。たとえば、10ビット整数値がデジタル符号を表わすために使われてもよい。デジタル符号の12ビット表現においてデジタル符号値4076をルミナンス値12000cd/m2にマッピングする代わりに、デジタル符号の10ビット表現ではデジタル符号値1019がルミナンス値12000cd/m2にマッピングされうる。このように、符号空間(ビット深さ)におけるこれらおよび他の変形が、参照GSDFにおけるデジタル符号値のために使用されうる。
【0091】
参照GSDFは画像取得装置または画像レンダリング装置の各型について個々に設計されていてもよい異なるGSDFを横断して画像データを交換するために使われてもよい。たとえば、特定の型の画像取得装置または画像レンダリング装置とともに実装されるGSDFは暗黙的または明示的に、標準的なGSDFまたは別の型の画像取得装置または画像レンダリング装置での装置固有のGSDFのモデル・パラメータに一致しないモデル・パラメータに依存することがある。
【0092】
参照GSDFは
図3および
図4に描かれている曲線形状に対応してもよい。一般に、GSDFの形状はGSDFを導出または設計するために使用されるパラメータに依存する。よって、参照GSDFは参照CSFモデルおよび該参照CSFモデルから参照GSDFを生成するために使われる参照モデル・パラメータに依存する。装置固有のGSDFの曲線形状は、特定の装置に依存し、該特定の装置がディスプレイであればそれはディスプレイ・パラメータおよび閲覧条件を含む。
【0093】
一例では、サポートされるルミナンス値の範囲が500cd/m
2未満に限られるディスプレイは、
図3に示されるような、高ルミナンス値領域での傾きの増大(これは人間の視覚がすべての周波数についての対数的振る舞いにシフトするときに起こる)を経験できないことがある。このディスプレイを
図3の曲線形状をもって駆動すると、グレーレベルの最適でない(たとえば最適より悪い)割り当てにつながることがあり、明るい領域に割り当てられるグレーレベルが多すぎ、暗い領域に割り当てられるグレーレベルが不十分になることがある。
【0094】
もう一つの例では、低コントラスト・ディスプレイは、さまざまな昼光条件において戸外で使われるよう設計される。このディスプレイのルミナンス範囲は、ほぼ、あるいはほとんど完全に、
図3の対数的振る舞い領域に現われることがある。この低コントラスト・ディスプレイを
図3の曲線形状をもって駆動すると、やはりグレーレベルの最適でない(最適より悪い)割り当てにつながることがあり、暗い領域に割り当てられるグレーレベルが多すぎ、明るい領域に割り当てられるグレーレベルが不十分になることがある。
【0095】
本稿に記載される技法のもとでは、参照GSDFをもってエンコードされた画像データにおける知覚的な情報を最適にサポートするために、各ディスプレイはその固有のGSDF(ディスプレイ・パラメータに依存するのみならず、たとえば実際の黒レベルに影響する閲覧条件にも依存する)を使ってもよい。参照GSDFは、知覚的な詳細をできるだけ多く保存するために、画像データの全体的なエンコードのための一つまたは複数の上流の(たとえばエンコードする)装置によって使用される。参照GSDFにおいてエンコードされた画像データは次いで一つまたは複数の下流の(たとえばデコードする)装置に送達される。ある例示的な実施形態では、参照GSDFに基づく画像データのエンコードは、その後その画像データをデコードおよび/またはレンダリングする特定の装置とは独立である。
【0096】
各装置(たとえばディスプレイ)は、装置固有のグレーレベルがサポートされる/最適
化されている固有のGSDFをもつ。該固有のグレーレベルはディスプレイのメーカーに知られていてもよく、あるいは装置固有のGSDF(これは標準ベースであってもなくてもよい)をサポートするようメーカーによって個別的に設計されていてもよい。装置のライン・ドライバは、装置に固有の量子化されたルミナンス値をもって実装されてもよい。装置にとって、最適化は、装置に固有の量子化されたルミナンス値に基づいてなされるのが最善でありうる。さらに、装置固有のグレーレベルの範囲の下限として使用されうる暗い黒レベル(たとえば最低の装置固有のグレーレベル)が、部分的には現周辺光レベルおよび/または装置の光反射能(これはメーカーに知られていてもよい)に基づいて設定されてもよい。ひとたび暗い黒レベルがそのように設定されたら、装置固有のグレーレベルが、装置のライン・ドライバにおける量子化きざみを暗黙的または明示的に累積する(たとえば積算/積分する)ことによって、取得または設定されてもよい。グレーレベルの導出および/または調整は、装置が同時並行して画像をレンダリングしているランタイムになされてもなされなくてもよい。
【0097】
このように、本稿に記載される技法のもとでは、本発明の諸実施形態は、参照GSDFを用いて画像データをエンコードすることおよびディスプレイ固有のGSDFを用いて該画像データをデコードおよびレンダリングすることを含んでいてもよいが、それに限られるものではない。
【0098】
本稿に記載される技法は、異なるGSDFをもつ多様な装置を横断して画像データを交換するために使われてもよい。
図5は、本発明のある例示的な実施形態に基づく、異なるGSDFの装置と画像データを交換する例示的な枠組み(500)を示している。
図5に示されるように、適応的なCSFモデル(502)が参照GSDF(504)を生成するために使用されてもよい。用語「適応的」は、CSFモデルが人間の視覚の非線形性および振る舞いに適応できることを指しうる。適応的なCSFモデルは少なくとも部分的には複数のCSFパラメータ(またはモデル・パラメータ)に基づいて構築されてもよい。該複数のモデル・パラメータはたとえば、光適応レベル、幅の度単位の表示領域、ノイズ・レベル、遠近調節(物理的な閲覧距離)、ルミナンスまたは色変調ベクトル(これはたとえば、適応的なCSFモデル(502)において使用される試験画像または画像パターンに関係していてもよい)を含む。
【0099】
上流の(たとえばエンコードする)装置は、参照GSDF(504)を用いてエンコードされるべき画像データを、該画像データまたはその派生物が下流の(たとえばデコードする)装置に伝送または配送される前に、受領してもよい。エンコードされるべき画像データは、最初、複数のフォーマット(標準ベースの、独自の、その拡張、など)のいずれであってもよく、および/または複数の画像源(カメラ、画像サーバー、有体の媒体など)のいずれから導出されてもよい。エンコードされるべき画像データの例は、生のまたは他の高ビット深さ画像(単数または複数)530を含むが、それに限られない。該生のまたは高ビット深さ画像はカメラ、スタジオ・システム、アート・ディレクター・システム、別の上流の画像処理システム、画像サーバー、コンテンツ・データベースなどに由来してもよい。画像データは、デジタル写真、ビデオ画像フレーム、3D画像、非3D画像、コンピュータ生成したグラフィックなどを含んでいてもよいが、それに限られない。画像データは、シーン基準の画像、装置基準の画像またはさまざまなダイナミックレンジをもつ画像を含んでいてもよい。エンコードされるべき画像データの例は、編集、ダウンサンプリングおよび/または圧縮されて、メタデータと一緒に、画像受領システム(さまざまなメーカーのディスプレイのような下流の画像処理システム)への配送のための符号化されたビットストリームにされるべきもとの画像の高品質バージョンを含んでいてもよい。生のまたは他の高ビット深さ画像は、プロフェッショナル、アート・スタジオ、放送局、ハイエンド・メディア・プロダクション・エンティティなどによって使用される高いサンプリング・レートのものであってもよい。エンコードされるべき画像データは、完全にまたは部分
的に、コンピュータ生成されてもよく、あるいはさらには、完全にまたは部分的に、古い映画およびドキュメンタリーのような既存の画像源から得られてもよい。
【0100】
本稿での用法では、句「エンコードされるべき画像データ」は一つまたは複数の画像の画像データを指しうる。該エンコードされるべき画像データは、浮動小数点または固定小数点画像データを含んでいてもよく、いかなる色空間にあってもよい。ある例示的な実施形態では、前記一つまたは複数の画像はRGB色空間にあってもよい。別の例示的な実施形態では、前記一つまたは複数の画像はYUV色空間にあってもよい。一例では、本稿に記載される画像中の各ピクセルは、当該色空間において定義されるすべてのチャネル(たとえばRGB色空間における赤、緑および青の色チャネル)について浮動小数点ピクセル値を有する。別の例では、本稿に記載される画像中の各ピクセルは、当該色空間において定義されるすべてのチャネルについて固定小数点ピクセル値(たとえばRGB色空間における赤、緑および青の色チャネルについての16ビットまたはより多数/少数のビットの固定小数点ピクセル値)を有する。各ピクセルは任意的および/または代替的に、色空間におけるチャネルの一つまたは複数についてのダウンサンプリングされたピクセル値を有していてもよい。
【0101】
いくつかの実施形態では、エンコードされるべき画像データを受領するのに応答して、枠組み(500)における上流の装置は、該画像データによって指定されるまたは該画像データから決定されるルミナンス値を、参照GSDFにおける参照デジタル符号値にマッピングし、エンコードされるべき画像データに基づいて、参照デジタル符号値を用いてエンコードされた、参照エンコードされた画像データを生成する。エンコードされるべき画像データに基づくルミナンス値から参照デジタル符号値へのマッピング動作は、対応する参照グレー・レベル(たとえば表1に示されるようなもの)が、参照GSDFにおける他のいかなる参照ルミナンス値に比べても、エンコードされるべき画像データによって指定されるまたは該画像データから決定されるルミナンス値によく一致するまたは近似するような参照デジタル符号値を選択し、前記ルミナンス値を、参照エンコードされた画像データにおいて前記参照デジタル符号値で置き換えることを含んでいてもよい。
【0102】
追加的、任意的または代替的に、前処理および後処理段階(これは色空間変換、ダウンサンプリング、アップサンプリング、トーン・マッピング、カラー・グレーディング、圧縮解除、圧縮などを含んでいてもよいがそれに限られない)が参照エンコードされた画像データを生成することの一部として実行されてもよい。
【0103】
ある例示的な実施形態では、枠組み(500)は、参照エンコードされた画像データをエンコードおよび/またはフォーマットして一つまたは複数の符号化されたビットストリームまたは画像ファイルにするよう構成されているソフトウェアおよび/またはハードウェア・コンポーネント(たとえばエンコードまたはフォーマット・ユニット(506))を有していてもよい。符号化されたビットストリームまたは画像ファイルは、標準に基づくフォーマット、独自フォーマットまたは少なくとも部分的に標準に基づくフォーマットに基づく拡張フォーマットであってもよい。追加的および/または任意的に、符号化されたビットストリームまたは画像ファイルは、該参照エンコードされた画像データを生成するために使われた参照GSDF、前処理または後処理に関係する関係パラメータ(たとえば、モデル・パラメータ;表1、
図3および
図4に示されるような最小ルミナンス値、最大ルミナンス値、最小デジタル符号値、最大デジタル符号値など;複数のCSFのうちのあるCSFを同定する同定フィールド;参照閲覧距離)の一つまたは複数を含むメタデータを有していてもよい。
【0104】
いくつかの実施形態では、枠組み(500)は、一つまたは複数の別個の上流の装置を有していてもよい。たとえば、枠組み(500)における前記一つまたは複数の上流の装
置の少なくとも一つが、参照GSDFに基づいて画像データをエンコードするよう構成されていてもよい。上流の装置は、
図5の502、504および506に関係する機能を実行するよう構成されたソフトウェアおよび/またはハードウェア・コンポーネントを有していてもよい。前記符号化されたビットストリームまたは画像ファイルは、上流の装置(
図5の502、504および506)によって、ネットワーク接続、デジタル・インターフェース、有体の記憶媒体などを通じて出力され、処理またはレンダリングのために他の画像処理装置に画像データ・フロー(508)において送達されてもよい。
【0105】
いくつかの例示的な実施形態では、枠組み(500)はさらに一つまたは複数の下流の装置を、一つまたは複数の別個の装置として有する。下流の装置は、前記画像データ・フロー(508)から、前記一つまたは複数の上流の装置によって出力された符号化されたビットストリームまたは画像ファイルを受領する/アクセスするよう構成されていてもよい。たとえば、下流の装置は、符号化されたビットストリームまたは画像ファイルをデコードおよび/または再フォーマットし、その中の参照エンコードされた画像データを復元/取得するよう構成されたソフトウェアおよび/またはハードウェア・コンポーネント(たとえばデコードまたは再フォーマット・ユニット(510))を有していてもよい。
図5に示されるように、下流の装置は、多様な表示装置の組を有していてもよい。
【0106】
いくつかの実施形態では、表示装置(図示せず)は、参照GSDFをサポートするよう設計および/または実装されていてもよい。表示装置が参照GSDFにおけるすべてのグレーレベルをサポートするならば、高精度HDR画像レンダリングが提供されてもよい。表示装置は、人間の視覚が検出しうるよりも細かいレベルの、あるいはそれと同じレベルの詳細さで画像をレンダリングしてもよい。
【0107】
いくつかの実施形態では、装置固有のGSDFにおける表示装置のネイティブなデジタル符号値(これは表示システムにおけるデジタイズされた電圧値、たとえばデジタル駆動レベル(digital drive level)またはDDLとして実装されてもよい)は、参照GSDFのものとは異なる装置固有のグレー・レベル(またはルミナンス値)に対応してもよい。装置固有のグレーレベルはsRGB、Rec.709または相補的な密度(complementary densities)に関係する表現を使ったものを含め他の規格をサポートするよう設計されていてもよい。追加的、任意的または代替的に、装置固有のグレーレベルは、ディスプレイ駆動の本質的なDAC特性に基づいていてもよい。
【0108】
いくつかの実施形態では、表示装置A(512-A)は可視ダイナミックレンジ(VDR)ディスプレイの装置固有のGSDF A(514-A)をサポートするよう設計および/または実装されていてもよい。GSDF A(514-A)は装置固有のデジタル符号値についての12ビットのビット深さ(12ビット符号空間)、10,000:1のコントラスト比(CR)および>P3色範囲に基づいていてもよい。GSDF A(514-A)は、参照GSDF(504)の範囲全体における第一の部分範囲(たとえば0から5,000cd/m2)内のグレーレベルをサポートしていてもよい。代替的または任意的に、GSDF A(514-A)は、参照GSDF(504)内の範囲全体(たとえば0から12,000cd/m2)をサポートしていてもよいが、参照GSDF(504)の全部より少ない参照グレーレベルを有していてもよい。
【0109】
いくつかの実施形態では、表示装置B(512-B)はVDRより狭いダイナミックレンジのための装置固有のGSDF B(514-B)をサポートするよう設計および/または実装されていてもよい。たとえば、表示装置B(512-B)は標準ダイナミックレンジ(SDR)ディスプレイであってもよい。本稿での用法では、用語「標準ダイナミックレンジ」および「低ダイナミックレンジ」および/またはそれらの対応する略語「SDR」および「LDR」は同義および/または交換可能に使用されうる。いくつかの実施形態では、GSDF B(514-B)は、装置固有のデジタル符号値についての8ビットのビット深さ、500-5,000:1のコン
トラスト比(CR)およびRec.709において定義されている色範囲をサポートしていてもよい。いくつかの実施形態では、GSDF B(514-B)は、参照GSDF(504)の第二の部分範囲(たとえば0から2,000cd/m2)内のグレーレベルを提供していてもよい。
【0110】
いくつかの実施形態では、表示装置C(512-C)はSDRよりさらに狭いダイナミックレンジのための装置固有のGSDF C(514-C)をサポートするよう設計および/または実装されていてもよい。たとえば、表示装置C(512-C)はタブレット・ディスプレイであってもよい。いくつかの実施形態では、GSDF C(514-C)は、装置固有のデジタル符号値についての8ビットのビット深さ、100-800:1のコントラスト比(CR)およびRec.709において定義されているよりも小さな色範囲をサポートしていてもよい。いくつかの実施形態では、GSDF C(514-C)は、参照GSDF(504)の第三の部分範囲(たとえば0から1,200cd/m2)内のグレーレベルを提供していてもよい。
【0111】
いくつかの実施形態では、表示装置(たとえば表示装置D(512-D))がSDRよりずっと狭い非常に限られたダイナミックレンジのための装置固有のGSDF(たとえばGSDF D(514-D))をサポートするよう設計および/または実装されていてもよい。たとえば、表示装置D(512-D)は電子ペーパー・ディスプレイであってもよい。いくつかの実施形態では、GSDF D(514-D)は、装置固有のデジタル符号値についての6ビット以下のビット深さ、10:1以下のコントラスト比(CR)およびRec.709において定義されているよりもずっと小さな色範囲をサポートしていてもよい。いくつかの実施形態では、GSDF D(514-D)は、参照GSDF(504)の第四の部分範囲(たとえば0から100cd/m2)内のグレーレベルをサポートしていてもよい。
【0112】
画像レンダリングにおける精度は、表示装置AないしD(512-Aないし-D)のそれぞれできれいに(gracefully)スケールダウンされうる。いくつかの実施形態では、装置固有のGSDF AないしD(514-Aないし-D)のそれぞれにおけるグレーレベルの部分集合は、その表示装置によってサポートされるグレーレベルの範囲における知覚的に感知できる誤りを均等に分布させるような仕方で、参照GSDF(504)におけるサポートされる参照グレーレベルに相関付けられるまたはマッピングされるのでもよい。
【0113】
いくつかの実施形態では、装置固有のGSDF(たとえば514-Aないし-Dの一つ)をもつ表示装置(たとえば512-Aないし-Dの一つ)が、参照GSDFに基づいてエンコードされた、参照エンコードされた画像データを受領/抽出する。応答して、表示装置またはその中の変換ユニット(516-Aないし-Dの一つ)が、参照エンコードされた画像データにおいて指定されている参照デジタル符号値を、表示装置にネイティブな装置固有のデジタル符号値にマッピングする。これは、いくつかの仕方のうちの一つで実行されてもよい。一例では、参照デジタル符号値から装置固有のデジタル符号値へのマッピングは、他のいかなる装置固有のグレーレベルに比べても、参照グレー・レベル(参照デジタル符号値に対応する)によく一致するまたは近似する装置固有グレー・レベル(装置固有のデジタル符号値に対応する)を選択することを含む。もう一つの例では、参照デジタル符号値から装置固有のデジタル符号値へのマッピングは、(1)参照GSDFに関連付けられた参照グレー・レベル(参照デジタル符号値に対応する)に基づいてトーン・マッピングされたルミナンス値を決定し、(2)他のいかなる装置固有のグレーレベルに比べても、トーン・マッピングされたルミナンス値によく一致するまたは近似する装置固有グレー・レベル(装置固有のデジタル符号値に対応する)を選択することを含む。
【0114】
その後、表示装置またはその中のドライバ・チップ(518-Aないし-Dの一つ)は、ディスプレイ固有の符号値に対応する装置固有のグレーレベルを用いて画像をレンダリングするために、ディスプレイ固有のデジタル符号値を使ってもよい。
【0115】
一般には、参照GSDFは、ディスプレイ固有のGSDFのベースとなっているものとは異なるCSFモデルに基づいていてもよい。参照GSDFと装置固有のGSDFとの間の変換/マッピングが必要である。たとえ同じCSFモデルが参照GSDFおよび装置固有GSDFの両方を生成するために使われたとしても、それらのGSDFを導出する際にモデル・パラメータの異なる値が使われていることがありうる。参照GSDFについてはモデル・パラメータ値は幅広い多様な下流の装置のために詳細を保存するために保守的に設定されていてもよく、一方、装置固有のGSDFについては、モデル・パラメータ値は固有の設計/実装および該表示装置が画像をレンダリングするときの閲覧条件を反映してもよい。特定の表示装置の閲覧条件パラメータ(たとえば周辺光レベル、表示装置の光反射能など)は参照GSDFを導出するために使われたモデル・パラメータ値とは異なるので、参照GSDFと装置固有のGSDFとの間の変換/マッピングはいまだ必要である。ここで、閲覧条件パラメータは、表示品質(たとえばコントラスト比など)に影響し、黒レベル(たとえば最低グレー・レベルなど)を高めるものを含んでいてもよい。本稿に記載される技法のもとでの参照GSDFと装置固有のGSDFとの間の変換/マッピングは、画像レンダリングにおける品質を改善する(たとえば、高い値の領域におけるルミナンス値を増大させることによってコントラスト比を改善するなど)。
【0116】
〈9.参照エンコードされた画像データの変換〉
図6は、本発明のいくつかの実施形態に基づく例示的な変換ユニット(たとえば516)を示している。変換ユニット(516)は、
図5に示される複数の変換ユニット(たとえば516-Aないし-D)の一つ(たとえば516-A)であってもよいが、それだけに限定されるものではない。いくつかの実施形態では、変換ユニット(516)は、参照GSDF(REF GSDF)についての第一の定義データおよび装置固有のGSDF(たとえばGSDF-A(
図5の514-A))についての第二の定義データを受領してもよい。本稿での用法では、「装置固有」および「ディスプレイ固有」は、装置がディスプレイである場合、交換可能に使用されうる。
【0117】
受領された定義データに基づいて、変換ユニット(516)は参照GSDFをディスプレイ固有のGSDFと縦続させて変換ルックアップテーブル(変換LUT)を形成する。二つのGSDFの間の縦続は、それら二つのGSDFにおけるグレーレベルを比較し、グレーレベルを比較した結果に基づいて、参照GSDFにおける参照デジタル符号値とディスプレイ固有GSDFにおけるディスプレイ固有のデジタル符号値との間のマッピングを確立することを含んでいてもよい。
【0118】
より具体的には、参照GSDFにおける参照デジタル符号値が与えられるとき、その対応する参照グレーレベルが参照GSDFに基づいて決定されてもよい。そのようにして決定された参照グレーレベルは、ディスプレイ固有GSDFにおける装置固有のグレーレベルを位置特定するために使用されてもよい。ある例示的な実施形態では、位置特定される装置固有のグレーレベルは、ディスプレイ固有のGSDFにおける他のいかなるディスプレイ固有のグレーレベルに比べても参照グレーレベルによく一致または近似しうるものである。もう一つの例示的な実施形態では、トーン・マッピングされたルミナンス値が、参照グレーレベルに作用するグローバルまたはローカルなトーン・マッピング演算子によって得られてもよく、位置特定される装置固有のグレーレベルは、ディスプレイ固有のGSDFにおける他のいかなるディスプレイ固有のグレーレベルに比べてもトーン・マッピングされたルミナンス値によく一致または近似しうるものである。
【0119】
装置固有のグレーレベルを用いて、対応するディスプレイ固有のデジタル符号値が、ディスプレイ固有のGSDFから同定されてもよい。変換LUTにおいて、参照デジタル符号値およびディスプレイ固有の符号値からなるエントリーが追加または定義されてもよい。
【0120】
上記の各ステップは、参照GSDFにおける他の参照デジタル符号値について反復されても
よい。
【0121】
いくつかの実施形態では、少なくとも部分的に変換LUTに基づいて処理がなされる画像データが受領され処理される前に、変換LUTが事前構築されて記憶されてもよい。代替的な実施形態では、変換LUTを用いて処理されるべき画像データが解析されてもよい。解析の結果が、参照デジタル符号値と装置固有のデジタル符号値との間の対応関係をセットアップするまたは少なくとも調整するために使われてもよい。たとえば、画像データがルミナンス値の格別の集中または分布を示す場合、変換LUTは、ルミナンス値の集中した領域において大量の詳細を保存するようセットアップされてもよい。
【0122】
いくつかの実施形態では、変換ユニット(516)は、参照GSDFおよびディスプレイ固有GSDF(514-A)の両方における量子化きざみ(たとえば、隣り合うデジタル符号値の間のルミナンス値の差またはΔL)を比較するよう構成された一つまたは複数のソフトウェアおよび/またはハードウェア・コンポーネント(比較サブユニット(602))を有する。たとえば、参照GSDFにおけるある参照デジタル符号値における量子化きざみは参照ルミナンス値差(参照GSDF ΔL)であってもよく、一方、ディスプレイ固有GSDFにおけるあるディスプレイ固有デジタル符号値における量子化きざみはディスプレイ固有ルミナンス値差(ディスプレイ固有GSDF ΔL)であってもよい。ここで、前記ディスプレイ固有デジタル符号値は前記参照デジタル符号値に対応する(または変換LUTユニットにおいてそれとペアをなす)。いくつかの実施形態では、比較サブユニット(602)はこれら二つのルミナンス値差を比較する。この処理は本質的には、ΔL値に基づいて、または任意的および/または代替的に二つのGSDF曲線の相対的な傾きに基づいて実行されうる試験である。
【0123】
ディスプレイ固有GSDFにおけるルミナンス値についての量子化きざみは典型的には参照GSDFのものより大きい。(たとえば高ビット深さ領域などに対応する)参照GSDFからの一つまたは複数の参照グレーレベルが(たとえば低ビット深さ領域などに対応する)ディスプレイ固有のGSDFからのディスプレイ固有のグレーレベルにマージされるからである。そうした場合、バンド生成アーチファクトを除去するためにディザリングが使われる。全体的なディザリングの一部として、(空間および/または時間において)ローカルな周囲の出力ピクセルに対してもディザリングが実行される。ある意味では、人間の目は低域通過フィルタとして表現されてもよい。少なくともこの意味において、本稿に記載されるようにローカルな周囲のピクセルを平均化することは、ディスプレイ固有のGSDFにおける大きな量子化きざみのために通常なら存在しうるはずのバンド生成視覚アーチファクトを軽減および/または除去する、所望される出力グレーレベルを生成する。
【0124】
より一般的でない場合においては、参照GSDFについてのルミナンス値についての量子化きざみは時にディスプレイ固有のGSDFのものより大きいことがある。輪郭除去(decontouring)アルゴリズムに基づくプロセスが使用されて、たとえば近隣の入力ピクセルを平均することによって、入力グレーレベルに基づいて出力グレーレベルを合成する。
【0125】
対応して、参照GSDF ΔLがディスプレイ固有のGSDF ΔLより大きいという
図6における「Y」経路の場合には、輪郭除去アルゴリズム・フラグが、変換LUTにおける、前記参照デジタル符号値および前記ディスプレイ固有デジタル符号値を有するエントリーについてセットされる。
【0126】
参照GSDF ΔLがディスプレイ固有のGSDF ΔLより小さいという
図6における「N」経路の場合には、ディザ・アルゴリズム・フラグが、変換LUTにおける、前記参照デジタル符号値および前記ディスプレイ固有デジタル符号値を有するエントリーについてセットされる。
【0127】
参照GSDF ΔLがディスプレイ固有のGSDF ΔLに等しい場合には、輪郭除去アルゴリズム・フラグもディザ・アルゴリズム・フラグも、変換LUTにおける、前記参照デジタル符号値および前記ディスプレイ固有デジタル符号値を有するエントリーについてセットされない。
【0128】
輪郭除去およびディザ・アルゴリズム・フラグは、変換LUTにおいてエントリーと一緒に記憶されてもよいし、あるいは変換LUTの外部にあるが動作上変換LUTとリンクしている関係したデータ構造に記憶されてもよい。
【0129】
いくつかの実施形態では、変換ユニット(516)は、高ビット深さまたは浮動小数点の入力画像の形であってもよい参照エンコードされた画像データを受領し、参照GSDFにおいて指定されている参照デジタル符号値をディスプレイ固有GSDFにおいて指定されるディスプレイ固有のデジタル符号値にマッピングするよう構成される。それらのGSDFの間でデジタル符号値をマッピングすることに加えて、変換ユニット(516)は、先に論じたアルゴリズム・フラグ(輪郭除去アルゴリズム・フラグまたはディザ・アルゴリズム・フラグ)の設定に基づいて輪郭除去またはディザを実行するよう構成されていてもよい。
【0130】
先述したように、参照GSDFはディスプレイ固有GSDFより大量の詳細を含む可能性が高い。よって、
図6の「Y」経路は発生しないことがありうる、あるいは発生する頻度がより低いことがありうる。いくつかの実施形態では、「Y」経路および関係した処理は、変換ユニットの実装を簡略化するために省略されてもよい。
【0131】
いくつかの実施形態では、参照エンコードされた画像データにおけるピクセルについて決定された参照デジタル符号値が与えられて、変換ユニット(516)は、変換LUTにおいて対応するディスプレイ固有のデジタル符号値を検索し、前記参照デジタル符号値を、前記対応するディスプレイ固有のデジタル符号値で置き換える。追加的および/または任意的に、変換ユニット(516)は、輪郭除去またはディザ・アルゴリズムが当該ピクセルについて実行されるべきかどうかを、変換LUTにおける前記参照デジタル符号値および前記ディスプレイ固有のデジタル符号値を含むエントリーについてのアルゴリズム・フラグの存在/設定に基づいて、判定する。
【0132】
輪郭除去アルゴリズムもディザ・アルゴリズムも実行されるべきでないと判定される場合(すなわち、いずれのアルゴリズムを実行するための指示もフラグもなし)、輪郭除去やディザは当面はそのピクセルについて実行されない。
【0133】
輪郭除去アルゴリズムが実行されるべきであると判定される場合、変換ユニット(516)は一つまたは複数の輪郭除去アルゴリズム(Decontour Algo.)を実行してもよい。前記一つまたは複数の輪郭除去アルゴリズムを実行することは、入力のローカル近傍ピクセルの画像データを受領し、該ローカル近傍ピクセルの画像データを輪郭除去アルゴリズムに入力することを含んでいてもよい。
【0134】
ディザ・アルゴリズムが実行されるべきであると判定される場合、変換ユニット(516)は一つまたは複数のディザ・アルゴリズム(Dithering Algo.)を実行してもよい。
【0135】
当該ピクセルは、なおも輪郭除去またはディザに関わることがある。それは、変換ユニット(516)が近傍ピクセルに関して輪郭除去またはディザが実行される必要があると判定する場合である。一例では、当該ピクセルの装置固有の(出力)グレーレベルがローカルな近傍ピクセルをディザリングするために使われてもよい。もう一つの例では、当該ピクセルの参照(入力)グレーレベルがローカルな近傍ピクセルを輪郭除去するために使
用されてもよい。
【0136】
いくつかの実施形態では、変換ユニット(516)は、以上のステップの処理結果を下流の処理ユニットまたはサブユニットに対して出力する。処理結果は、ディスプレイ固有のGSDF(たとえばGSDF-A)内のデジタル符号値をもってエンコードされたディスプレイ固有のビット深さの出力画像のフォーマットにおけるディスプレイ固有のエンコードされた画像データを含む。
【0137】
図7は、8ビット画像処理を実装する例示的なSDRディスプレイ(700)を示している。SDRディスプレイ(700)またはその中のVDRデコード・ユニットは、エンコードされた入力を受領する。エンコードされた入力は、複数の画像データ・コンテナ・フォーマットの一つでありうる画像データ・コンテナ内に参照符号化された画像データを含む。VDRデコード・ユニット(702)はエンコードされた入力をデコードし、その中から参照エンコードされた画像データを決定/取得する。参照エンコードされた画像データはある色空間(たとえばRGB色空間、YCbCr色空間など)における個々のピクセルについての画像データを有していてもよい。個々のピクセルについての画像データは参照GSDFにおける参照デジタル符号値をもってエンコードされていてもよい。
【0138】
追加的および/または任意的に、SDRディスプレイ(700)は、SDRディスプレイ(700)についてのディスプレイ・パラメータを維持するディスプレイ管理ユニット(704)を有する。ディスプレイ・パラメータは、少なくとも部分的には、SDRディスプレイ(700)に関連付けられたディスプレイ固有のGSDF(たとえば
図5のGSDF-B)を定義してもよい。ディスプレイ固有のGSDFを定義するディスプレイ・パラメータは、SDRディスプレイ(700)によってサポートされる最大(max)および最小(min)グレーレベルを含んでいてもよい。ディスプレイ・パラメータはまた、SDRディスプレイによってサポートされる原色(primaries)、ディスプレイ・サイズ(size)、SDRディスプレイの画像レンダリング面の光反射能、周辺光レベルをも含んでいてもよい。ディスプレイ・パラメータのいくつかは固定値をもって事前に構成設定されていてもよい。ディスプレイ・パラメータのいくつかはリアルタイムにまたはほぼリアルタイムにSDRディスプレイ(700)によって測定されてもよい。ディスプレイ・パラメータのいくつかは、SDRディスプレイ(700)のユーザーによって構成設定可能であってもよい。ディスプレイ・パラメータのいくつかはデフォルト値をもって事前に構成設定されていてもよく、測定またはユーザーによって上書きされてもよい。ディスプレイ管理ユニット(704)は、参照GSDFに基づいてディスプレイ固有のグレーレベルの知覚的非線形性を確立/整形し、追加的および/または任意的に、ディスプレイ固有のグレーレベルを確立/整形することの一環としてトーン・マッピングを実行してもよい。たとえば、参照GSDFに基づいてディスプレイ固有のグレーレベルの知覚的非線形性を確立/整形する目的のために、
図5に示されるような変換LUTおよび/または他の関係したメタデータ(たとえばディザおよび輪郭除去処理フラグなど)が、ディスプレイ管理ユニット(704)によって確立されてもよい。先に論じたような処理の縦続は、ディスプレイ管理ユニット(704)を用いて、変換LUTおよび/または参照GSDFおよびディスプレイ固有のGSDFの一方または両方に関係する他の関係メタデータ(712)を生成するために実装されてもよい。変換LUTおよび/または他の関係したメタデータ(712)は、SDRディスプレイ(700)内の他のユニットまたはサブユニットによってアクセスされ、使用されてもよい。さらに、変換LUTおよび/または他の関係したメタデータは、知覚的非線形性を反転させるためのメタデータ(714)として、あるいは該メタデータを導出するために使われてもよい。本稿での用法では、知覚的非線形性を反転させるとは、ディスプレイ固有のデジタル符号値をディスプレイ固有のデジタル駆動レベル(たとえば、表示装置におけるデジタイズされた電圧レベル)に変換することを含みうる。
【0139】
追加的および/または任意的に、SDRディスプレイ(700)は
図5および
図6に示されるような変換ユニット(516)と、8ビット知覚的量子化器(706)とを含む。いくつかの実施形態では、SDRディスプレイ(700)またはその中の変換ユニット(516)および8ビット知覚的量子化器(706)は、参照エンコードされた画像データを、ディスプレイ固有のGSDF(たとえば
図5のGSDF-AまたはGSDF-B)に関連付けられたディスプレイ固有のデジタル符号値をもってエンコードされたディスプレイ固有のビット深さの出力画像に変換し、該ディスプレイ固有のビット深さの出力画像を、8ビット符号空間における知覚的にエンコードされた画像データに量子化する。本稿での用法では、用語「知覚的にエンコードされた」は、参照GSDFのもとになるCSFのような人間の視覚の知覚的なモデルに基づくエンコードの型を指しうる。
【0140】
追加的および/または任意的に、SDRディスプレイ(700)は、8ビット・ルミナンス表現において知覚的にエンコードされた画像データに対して画像処理動作の0個、一つまたは複数を実行しうるがそれに限られないビデオ後処理ユニット(708)を有する。これらの画像処理動作は、圧縮、圧縮解除、色空間変換、ダウンサンプリング、アップサンプリングまたはカラー・グレーディングを含みうるがこれに限られない。これらの動作の結果は、SDRディスプレイ(700)の他の部分に出力されてもよい。
【0141】
ある例示的な実施形態では、SDRディスプレイ(700)は、画像処理動作の結果におけるディスプレイ固有のデジタル符号値をディスプレイ固有のデジタル駆動レベル(たとえばデジタイズされた電圧レベル)に変換するよう構成されている8ビット逆知覚的量子化器(710)を有する。逆知覚的量子化器(710)によって生成された(またはデジタル符号値から変換し戻された)ディスプレイ固有のデジタル駆動レベルは、特に、SDRディスプレイ(700)においてサポートされることのできるいくつかの型のルミナンス非線形性の一つをサポートしてもよい。一例では、逆知覚的量子化器(710)は、ディスプレイ固有のデジタル符号値を、Rec.709に関連するルミナンス非線形性をサポートするディスプレイ固有のデジタル駆動レベルに変換する。もう一つの例では、逆知覚的量子化器(710)は、ディスプレイ固有のデジタル符号値を、線形ルミナンス領域または対数ルミナンス領域に関連するルミナンス非線形性をサポートするディスプレイ固有のデジタル駆動レベルに変換する(これは局所的な減光動作と統合するのが比較的容易でありうる)。もう一つの例では、逆知覚的量子化器(710)は、ディスプレイ固有のデジタル符号値を、その特定のディスプレイ(700)についてディスプレイ固有のグレーレベルの最適な配置をもち、可能性としてはそのディスプレイ(700)に固有の閲覧条件について調整されたディスプレイ固有のCSF(またはその関連付けられたGSDF)をサポートするディスプレイ固有のデジタル駆動レベルに変換する。
【0142】
〈10.例示的なプロセス・フロー〉
図8Aは、本発明のある実施形態に基づく例示的なプロセス・フローを示している。いくつかの実施形態では、枠組み(500)内の一つまたは複数のコンピューティング装置のような一つまたは複数のコンピューティング装置またはコンポーネントがこのプロセス・フローを実行してもよい。ブロック802では、コンピューティング装置がエンコードされるべき画像データを受領する。
【0143】
ブロック804では、コンピューティング装置は、一組の参照デジタル符号値と一組の参照グレーレベルとの間の参照マッピングに基づいて、エンコードされるべき画像データをエンコードして、参照エンコードされた画像データにする。ここで、エンコードされるべき画像データ中のルミナンス値は前記一組の参照デジタル符号値によって表わされる。前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、ある特定の光レベルにおいて適応された人間の視覚のピーク・コントラスト感度に反比例してもよい。
【0144】
ブロック806では、コンピューティング装置は参照エンコードされた画像データを出力する。
【0145】
ある実施形態では、コンピューティング装置は、コントラスト感度関数(CSF)に基づいて参照グレースケール表示関数(GSDF)を決定する。該参照GSDFは、前記一組の参照デジタル符号値と前記一組の参照グレーレベルとの間の参照マッピングを指定する。CSFモデルは、一つまたは複数のモデル・パラメータを含み、該モデル・パラメータは:25度×25度から30度×30度までの間、30度×30度から35度×35度までの間、35度×35度から40度×40度までの間、40度×40度から45度×45度までの間または45度×45度超のうちの一つまたは複数を含む範囲にはいる角サイズを有していてもよい。
【0146】
ある実施形態では、コンピューティング装置は、前記一組の参照グレーレベルによってサポートされるルミナンス値の範囲内の中間ルミナンス値を、前記一組の参照デジタル符号値を収容する符号空間における中間デジタル符号値に割り当て、積算または積分計算の一つまたは複数を実行することによって、複数のサブマッピングを導出する。各サブマッピングは、前記一組の参照デジタル符号値における参照デジタル符号値を前記一組の参照グレーレベルにおける参照グレーレベルにマッピングする。前記中間ルミナンス値は、50ニト未満、50ニトから100ニトまでの間、100ニトから500ニトまでの間、または500ニト以上の一つまたは複数を含む範囲内で選択されてもよい。
【0147】
ある例示的な実施形態では、前記一組の参照グレーレベルは、500ニト未満、500ニトから1000ニトまでの間、1000ニトから5000ニトまでの間、5000ニトから10000ニトまでの間、10000ニトから15000ニトまでの間または15000ニト超の値を有する上限をもつダイナミックレンジをカバーする。
【0148】
ある実施形態では、ピーク・コントラスト感度は、ルミナンス値変数、空間周波数変数または一つまたは複数の他の変数の一つまたは複数を含むモデル・パラメータを有するコントラスト感度関数(CSF)モデルに基づいて決定された複数のコントラスト感度曲線のうちのあるコントラスト感度曲線から決定される。
【0149】
ある実施形態では、前記複数のコントラスト感度曲線のうちの少なくとも二つのコントラスト感度曲線に基づいて決定された少なくとも二つのピーク・コントラスト感度が、二つの異なる空間周波数値で現われる。
【0150】
ある実施形態では、コンピューティング装置は、入力ビデオ信号からのエンコードされるべき画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力画像を、出力ビデオ信号に含まれる参照エンコードされた画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力画像に変換する。
【0151】
ある実施形態では、エンコードされるべき画像データは、高解像度の高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS: Academy of Motion Picture Arts and Sciences)のアカデミー色エンコード規格(ACES: Academy Color Encoding Specification)に関連するRGB色空間、デジタル・シネマ・イニシアチブ(Digital Cinema Initiative)のP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM: Reference Input Medium Metric/Reference Output Medium Metric)規格、sRGB色空間、国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間などのうちの一つにおいてエンコードされた画像データを含む。
【0152】
ある実施形態では、二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、その特定の光レベルにおける最小可知差異閾値より小さい。
【0153】
ある例示的な実施形態では、前記特定の光レベルは前記二つのルミナンス値の間(両端含む)のルミナンス値である。
【0154】
ある実施形態では、前記一組の参照デジタル符号値は、12ビット未満;12ビットから14ビットまでの間;少なくとも14ビット;14ビットまたはそれ以上のビット深さをもつ符号空間における整数値を有する。
【0155】
ある実施形態では、前記一組の参照グレーレベルは一組の量子化されたルミナンス値を有していてもよい。
【0156】
図8Bは、本発明のある実施形態に基づくもう一つの例示的なプロセス・フローを示している。いくつかの実施形態では、枠組み(500)内の一つまたは複数のコンピューティング装置のような一つまたは複数のコンピューティング装置またはコンポーネントがこのプロセス・フローを実行してもよい。ブロック852では、コンピューティング装置は、一組の参照デジタル符号値と一組の装置固有のデジタル符号値との間のデジタル符号マッピングを決定する。ここで、前記一組の参照デジタル符号値は参照マッピングにおいて、一組の参照グレーレベルにマッピングされており、一方、前記一組の装置固有のデジタル符号値は装置固有マッピングにおいて、一組の装置固有グレーレベルにマッピングされている。
【0157】
ブロック854では、コンピューティング装置は、前記一組の参照デジタル符号値でエンコードされた参照エンコードされた画像データを受領する。前記参照エンコードされた画像データ中のルミナンス値は前記一組の参照デジタル符号値に基づく。前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、ある特定の光レベルにおいて適応された人間の視覚のピーク・コントラスト感度に反比例してもよい。
【0158】
ブロック856では、コンピューティング装置は、前記デジタル符号マッピングに基づいて、前記一組の参照デジタル符号値でエンコードされた前記参照エンコードされた画像データを、前記装置固有のデジタル制御符号でエンコードされた装置固有の画像データにトランスコードする。前記装置固有の画像データ中のルミナンス値は前記一組の装置固有のデジタル符号値に基づく。
【0159】
ある実施形態では、コンピューティング装置は、前記一組の参照デジタル符号値と前記一組の装置固有のデジタル符号値との間の対応関係の集合を決定する。ここで、前記対応関係の集合における対応関係は、前記一組の参照デジタル符号値における参照デジタル符号値を装置固有のデジタル符号値に関係付ける。コンピューティング装置はさらに、前記参照デジタル符号値における第一のルミナンス差と、前記装置固有のデジタル符号値における第二のルミナンス差を比較し、前記第一のルミナンス差と前記第二のルミナンス差の比較に基づいて、当該参照デジタル符号値についてディザが実行されるべきか、輪郭除去が実行されるべきか、何の動作も実行されるべきでないかについてのアルゴリズム・フラグを記憶する。
【0160】
ある実施形態では、コンピューティング装置は、あるピクセルについての参照エンコードされた画像データから参照デジタル符号値を決定し、さらに、その参照デジタル符号値についてアルゴリズム・フラグがセットされているかどうかを判定する。輪郭除去につい
てアルゴリズム・フラグがセットされていることを判別するのに応答して、コンピューティング装置はそのピクセルに対して輪郭除去アルゴリズムを実行する。あるいはまた、ディザについてアルゴリズム・フラグがセットされていることを判別するのに応答して、コンピューティング装置はそのピクセルに対してディザ・アルゴリズムを実行する。
【0161】
ある実施形態では、コンピューティング装置は、前記一組の装置固有のデジタル制御符号でエンコードされた装置固有画像データに基づいて、ディスプレイ上に一つまたは複数の画像をレンダリングする。ここで、ディスプレイは、可視ダイナミックレンジ(VDR)ディスプレイ、標準ダイナミックレンジ(SDR)ディスプレイ、タブレット・コンピュータ・ディスプレイまたはハンドヘルド装置ディスプレイの一つであってもよいが、それに限られない。
【0162】
ある実施形態では、装置固有のグレースケール表示関数(GSDF)が、前記一組の装置固有のデジタル符号値と前記一組の装置固有グレーレベルとの間の装置固有のマッピングを指定する。
【0163】
ある実施形態では、装置固有マッピングは、一つまたは複数のディスプレイ・パラメータおよび0個以上の閲覧条件パラメータに基づいて導出される。
【0164】
ある実施形態では、前記一組の装置固有のグレーレベルは、100ニト未満、100ニト以上500ニト未満、500ニトから1000ニトまでの間、1000ニトから5000ニトまでの間、5000ニトから10000ニトまでの間または10000ニト超の値を有する上限をもつダイナミックレンジをカバーする。
【0165】
ある実施形態では、コンピューティング装置は、入力ビデオ信号からの参照エンコードされた画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力画像を、出力ビデオ信号に含まれる装置固有画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力画像に変換する。
【0166】
ある実施形態では、装置固有の画像データは、高解像度の高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS: Academy of Motion Picture Arts and Sciences)のアカデミー色エンコード規格(ACES: Academy Color Encoding Specification)に関連するRGB色空間、デジタル・シネマ・イニシアチブ(Digital Cinema Initiative)のP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM: Reference Input Medium Metric/Reference Output Medium Metric)規格、sRGB色空間、国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいて画像レンダリングをサポートする。
【0167】
ある実施形態では、前記一組の装置固有のデジタル符号値は8ビット;8ビット超12ビット未満;12ビットまたはそれ以上のビット深さをもつ符号空間における整数値を有する。
【0168】
ある実施形態では、前記一組の装置固有グレーレベルは一組の量子化されたルミナンス値を有していてもよい。
【0169】
さまざまな実施形態において、エンコーダ、デコーダ、システムなどが、以上の記載された方法の任意のものまたは一部を実行する。
【0170】
〈11.実装機構--ハードウェアの概観〉
ある実施形態によれば、本稿に記載される技法は、一つまたは複数の特殊目的コンピューティング装置によって実装される。特殊目的コンピューティング装置は、本技法を実行
するよう固定構成とされていてもよいし、あるいは一つまたは複数の特定用途向け集積回路(ASIC)またはフィールド・プログラマブル・ゲート・アレイ(FPGA)のような、本技法を実行するよう持続的にプログラムされたデジタル電子デバイスを含んでいてもよいし、あるいはファームウェア、メモリ、他の記憶または組み合わせにおけるプログラム命令に従って本技法を実行するようプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的コンピューティング装置は、カスタムの固定構成論理、ASICまたはFPGAをカスタムのプログラミングと組み合わせて本技法を達成してもよい。特殊目的コンピューティング装置はデスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置または本技法を実装するために固定構成および/またはプログラム論理を組み込んでいる他の任意の装置であってもよい。
【0171】
たとえば、
図9は、本発明の例示的な実施形態が実装されうるコンピュータ・システム900を示すブロック図である。コンピュータ・システム900は、情報を通信するためのバス902または他の通信機構と、情報を処理するための、バス902に結合されたハードウェア・プロセッサ904とを含む。ハードウェア・プロセッサ904はたとえば汎用マイクロプロセッサであってもよい。
【0172】
コンピュータ・システム900は、ランダム・アクセス・メモリ(RAM)または他の動的記憶装置のような、情報およびプロセッサ904によって実行されるべき命令を記憶するための、バス902に結合されたメイン・メモリ906をも含む。メイン・メモリ906はまた、一時変数または他の中間的な情報を、プロセッサ904によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ904にとってアクセス可能な非一時的な記憶媒体に記憶されたとき、コンピュータ・システム900を、前記命令において指定されている処理を実行するようカスタマイズされた特殊目的機械にする。
【0173】
コンピュータ・システム900はさらに、バス902に結合された、静的な情報およびプロセッサ904のための命令を記憶するための読み出し専用メモリ(ROM)908または他の静的記憶装置を含む。磁気ディスクまたは光ディスクのような記憶装置910が提供され、情報および命令を記憶するためにバス902に結合される。
【0174】
コンピュータ・システム900は、コンピュータ・ユーザーに対して情報を表示するための、液晶ディスプレイのようなディスプレイ912にバス902を介して結合されていてもよい。英数字その他のキーを含む入力装置914が、情報およびコマンド選択をプロセッサ904に伝えるためにバス902に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ904に伝えるとともにディスプレイ912上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール916である。この入力装置は典型的には、第一軸(たとえばx)および第二軸(たとえばy)の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。
【0175】
コンピュータ・システム900は、本稿に記載される技法を実施するのに、カスタマイズされた固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム900を特殊目的機械にするまたはプログラムするファームウェアおよび/またはプログラム論理を使ってもよい。ある実施形態によれば、本稿の技法は、プロセッサ904がメイン・メモリ906に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム900によって実行される。そのような命令は、記憶装置910のような別の記憶媒体からメイン・メモリ906に読み込まれてもよい。メイン・メモリ906に含まれる命令のシ
ーケンスの実行により、プロセッサ904は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。
【0176】
本稿で用いられる用語「記憶媒体」は、データおよび/または機械に特定の仕方で動作させる命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および/または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置910のような光学式または磁気ディスクを含む。揮発性媒体は、メイン・メモリ906のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、孔のパターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。
【0177】
記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられてもよい。伝送媒体は、記憶媒体間で情報を転送するのに参加する。たとえば、伝送媒体は同軸ケーブル、銅線および光ファイバーを含み、バス902をなすワイヤを含む。伝送媒体は、電波および赤外線データ通信の際に生成されるような音響波または光波の形を取ることもできる。
【0178】
さまざまな形の媒体が、一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ904に搬送するのに関与しうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム900にローカルなモデムが、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス902上に載せることができる。バス902はそのデータをメイン・メモリ906に搬送し、メイン・メモリ906から、プロセッサ904が命令を取り出し、実行する。メイン・メモリ906によって受信される命令は、任意的に、プロセッサ904による実行の前または後に記憶装置910上に記憶されてもよい。
【0179】
コンピュータ・システム900は、バス902に結合された通信インターフェース918をも含む。通信インターフェース918は、ローカル・ネットワーク922に接続されているネットワーク・リンク920への双方向データ通信結合を提供する。たとえば、通信インターフェース918は、対応する型の電話線へのデータ通信接続を提供するための、統合サービス・デジタル通信網(ISDN)カード、ケーブル・モデム、衛星モデムまたはモデムであってもよい。もう一つの例として、通信インターフェース918は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク(LAN)カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース918は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、電磁的または光学的信号を送受信する。
【0180】
ネットワーク・リンク920は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク920は、ローカル・ネットワーク922を通じてホスト・コンピュータ924またはインターネット・サービス・プロバイダー(ISP)926によって運営されているデータ設備への接続を提供してもよい。ISP 926は、現在一般に「インターネット」928と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク922およびインターネット928はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。コンピュータ・システム900に/
からデジタル・データを搬送する、さまざまなネットワークを通じた信号およびネットワーク・リンク920上および通信インターフェース918を通じた信号は、伝送媒体の例示的な形である。
【0181】
コンピュータ・システム900は、ネットワーク(単数または複数)、ネットワーク・リンク920および通信インターフェース918を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー930は、インターネット928、ISP 926、ローカル・ネットワーク922および通信インターフェース918を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。
【0182】
受信されたコードは、受信される際にプロセッサ904によって実行されても、および/または、のちの実行のために記憶装置910または他の不揮発性記憶に記憶されてもよい。
【0183】
〈12.付番実施例、等価物、拡張、代替、その他〉
本発明の付番実施例(EEE: enumerated example embodiment)は、異なる機能のディスプレイを横断しての知覚的ルミナンス非線形性に基づく画像データ交換との関係で上記してきた。このように、本発明の実施形態は、下記の表2において列記される例の一つまたは複数に関係しうる。
【0184】
表2 付番実施例
〔EEE1〕
エンコードされるべき画像データを受領する段階と;
一組の参照デジタル符号値と一組の参照グレーレベルとの間の参照マッピングに基づいて、受領された画像データをエンコードして、参照エンコードされた画像データにする段階であって、受領された画像データ中のルミナンス値は前記一組の参照デジタル符号値によって表わされており、受領された画像データ中の二つの参照グレーレベルの間のルミナンス差は前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされ、二つの隣り合う参照デジタル符号値の間のルミナンス差は、ある特定の光レベルにおいて適応されている人間の視覚のピーク・コントラスト感度に反比例する、段階と;
前記参照エンコードされた画像データを出力する段階とを含む、
方法。
〔EEE2〕
EEE1記載の方法であって、コントラスト感度関数(CSF)に基づいて参照グレースケール表示関数(GSDF)を決定する段階をさらに含み、該参照GSDFは、前記一組の参照デジタル符号値と前記一組の参照グレーレベルとの間の前記参照マッピングを指定する、方法。
〔EEE3〕
EEE2記載の方法であって、前記CSFモデルは、一つまたは複数のモデル・パラメータを含み、該一つまたは複数のモデル・パラメータは、25度×25度から30度×30度までの間、30度×30度から35度×35度までの間、35度×35度から40度×40度までの間、40度×40度から45度×45度までの間または45度×45度超のうちの一つまたは複数を含む範囲にはいる角サイズを有する、方法。
〔EEE4〕
EEE1記載の方法であって:
前記一組の参照グレーレベルによってサポートされるルミナンス値の範囲内の中間ルミナンス値を、前記一組の参照デジタル符号値を収容する符号空間における中間デジタル符号値に割り当てる段階と;
積算または積分計算の一つまたは複数を実行することによって、複数のサブマッピングを導出する段階であって、各サブマッピングは、前記一組の参照デジタル符号値における参照デジタル符号値を前記一組の参照グレーレベルにおける参照グレーレベルにマッピングする、段階とをさらに含む、
方法。
〔EEE5〕
EEE4記載の方法であって、前記中間ルミナンス値は、50ニト未満、50ニトから100ニトまでの間、100ニトから500ニトまでの間、または500ニト超の一つまたは複数を含む範囲内で選択される、方法。
〔EEE6〕
EEE1記載の方法であって、前記一組の参照グレーレベルは、500ニト未満、500ニトから1000ニトまでの間、1000ニトから5000ニトまでの間、5000ニトから10000ニトまでの間、10000ニトから15000ニトまでの間または15000ニト超の値を有する上限をもつダイナミックレンジをカバーする、方法。
〔EEE7〕
前記ピーク・コントラスト感度は、ルミナンス値変数、空間周波数変数または一つまたは複数の他の変数の一つまたは複数を含むモデル・パラメータを有するコントラスト感度関数(CSF)モデルに基づいて決定された複数のコントラスト感度曲線のうちのあるコントラスト感度曲線から決定される、EEE1記載の方法。
〔EEE8〕
前記複数のコントラスト感度曲線のうちの少なくとも二つのコントラスト感度曲線に基づいて決定された少なくとも二つのピーク・コントラスト感度が、二つの異なる空間周波数値で現われる、EEE7記載の方法。
〔EEE9〕
入力ビデオ信号からのエンコードされるべき前記画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力画像を、出力ビデオ信号に含まれる前記参照エンコードされた画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力画像に変換する段階をさらに含む、EEE1記載の方法。
〔EEE10〕
前記エンコードされるべき画像データが、高解像度の高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS)のアカデミー色エンコード規格(ACES)標準に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM)規格、sRGB色空間、国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む、EEE1記載の方法。
〔EEE11〕
二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間の前記ルミナンス差は、前記特定の光レベルにおける最小可知差異(JND)閾値より小さい、EEE1記載の方法。
〔EEE12〕
前記特定の光レベルは前記二つのルミナンス値の間(両端含む)のルミナンス値である、EEE1記載の方法。
〔EEE13〕
前記一組の参照デジタル符号値は、12ビット未満;12ビットから14ビットまでの間;少なくとも14ビット;または14ビットまたはそれ以上のビット深さをもつ符号空間における整数値を有する、EEE1記載の方法。
〔EEE14〕
前記一組の参照グレーレベルは一組の量子化されたルミナンス値を有する、EEE1記載の方法。
〔EEE15〕
前記参照GSDFが、少なくとも部分的には一つまたは複数の関数を用いて表現される関数モデルに基づいて決定される、EEE1記載の方法。
〔EEE16〕
前記関数モデルが、一つまたは複数のモデル・パラメータを有しており、前記モデル・パラメータの値が、予測される符号値と目標符号値との間の偏差を最小にすることを通じて最適化される、EEE15記載の方法。
〔EEE17〕
一組の参照デジタル符号値と一組の装置固有のデジタル符号値との間のデジタル符号マッピングを決定する段階であって、前記一組の参照デジタル符号値は参照マッピングにおいて、一組の参照グレーレベルにマッピングされており、前記一組の装置固有のデジタル符号値は装置固有マッピングにおいて、一組の装置固有グレーレベルにマッピングされている、段階と;
前記一組の参照デジタル符号値でエンコードされた参照エンコードされた画像データを受領する段階であって、前記参照エンコードされた画像データ中のルミナンス値は前記一組の参照デジタル符号値に基づき、前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、ある特定の光レベルにおいて適応された人間の視覚のピーク・コントラスト感度に反比例する、段階と;
前記デジタル符号マッピングに基づいて、前記一組の参照デジタル符号値でエンコードされた前記参照エンコードされた画像データを、前記一組の装置固有のデジタル制御符号でエンコードされた装置固有の画像データにトランスコードする段階であって、前記装置固有の画像データ中のルミナンス値は前記一組の装置固有のデジタル符号値に基づく、段階とを含む、
方法。
〔EEE18〕
EEE17記載の方法であって:
前記一組の参照デジタル符号値と前記一組の装置固有のデジタル符号値との間の対応関係の集合を決定する段階であって、前記対応関係の集合における対応関係は、前記一組の参照デジタル符号値における参照デジタル符号値を装置固有のデジタル符号値に関係付ける、段階と;
前記参照デジタル符号値における第一のルミナンス差と、前記装置固有のデジタル符号値における第二のルミナンス差を比較する段階と;
前記第一のルミナンス差と前記第二のルミナンス差の比較に基づいて、当該参照デジタル符号値についてディザが実行されるべきか、輪郭除去が実行されるべきか、何の動作も実行されるべきでないかについてのアルゴリズム・フラグを記憶する段階とを含む、
方法。
〔EEE19〕
あるピクセルについての前記参照エンコードされた画像データから参照デジタル符号値を決定する段階と;
その参照デジタル符号値についてアルゴリズム・フラグがセットされているかどうかを判定する段階とをさらに含む、
EEE17記載の方法。
〔EEE20〕
輪郭除去についてアルゴリズム・フラグがセットされていることを判別するのに応答して、そのピクセルに対して輪郭除去アルゴリズムを実行する段階をさらに含む、EEE19記載の方法。
〔EEE21〕
ディザについてアルゴリズム・フラグがセットされていることを判別するのに応答して、そのピクセルに対してディザ・アルゴリズムを実行する段階をさらに含む、EEE19
記載の方法。
〔EEE22〕
前記一組の装置固有のデジタル制御符号でエンコードされた前記装置固有画像データに基づいて、ディスプレイ上に一つまたは複数の画像をレンダリングする段階をさらに含み、前記ディスプレイは、可視ダイナミックレンジ(VDR)ディスプレイ、標準ダイナミックレンジ(SDR)ディスプレイ、タブレット・コンピュータ・ディスプレイまたはハンドヘルド装置ディスプレイの一つである、EEE17記載の方法。
〔EEE23〕
装置固有のグレースケール表示関数(GSDF)が、前記一組の装置固有のデジタル符号値と前記一組の装置固有グレーレベルとの間の前記装置固有のマッピングを指定する、EEE17記載の方法。
〔EEE24〕
前記装置固有マッピングは、一つまたは複数のディスプレイ・パラメータおよび0個以上の閲覧条件パラメータに基づいて導出される、EEE17記載の方法。
〔EEE25〕
前記一組の装置固有のグレーレベルは、100ニト未満、100ニト以上500ニト未満、500ニトから1000ニトまでの間、1000ニトから5000ニトまでの間、5000ニトから10000ニトまでの間または10000ニト超の値を有する上限をもつダイナミックレンジをカバーする、EEE17記載の方法。
〔EEE26〕
入力ビデオ信号からの前記参照エンコードされた画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力画像を、出力ビデオ信号に含まれる前記装置固有画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力画像に変換する段階をさらに含む、EEE17記載の方法。
〔EEE27〕
前記装置固有の画像データは、高解像度の高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS)のアカデミー色エンコード規格(ACES)標準に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM)規格、sRGB色空間、国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間のうちの一つにおける画像レンダリングをサポートする、EEE17記載の方法。
〔EEE28〕
二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間の前記ルミナンス差は、前記特定の光レベルにおける最小可知差異閾値より小さい、EEE17記載の方法。
〔EEE29〕
前記特定の光レベルは前記二つのルミナンス値の間(両端含む)のルミナンス値である、EEE17記載の方法。
〔EEE30〕
前記一組の装置固有のデジタル符号値は、8ビット;8ビット超12ビット未満;または12ビットまたはそれ以上のビット深さをもつ符号空間における整数値を有する、EEE17記載の方法。
〔EEE31〕
前記一組の装置固有グレーレベルは一組の量子化されたルミナンス値を有する、EEE17記載の方法。
〔EEE32〕
前記参照マッピングおよび前記装置固有マッピングの少なくとも一方が、少なくとも部分的には、一つまたは複数の関数を用いて表現される関数モデルに基づいて決定される、EEE17記載の方法。
〔EEE33〕
前記関数モデルが、一つまたは複数のモデル・パラメータを有しており、前記モデル・パラメータの値が、予測される符号値と目標符号値との間の偏差を最小にすることを通じて最適化される、EEE32記載の方法。
〔EEE34〕
EEE1ないし16のうちいずれか一項記載の方法を実行するエンコーダ。
〔EEE35〕
EEE17ないし33のうちいずれか一項記載の方法を実行するデコーダ。
〔EEE36〕
EEE1ないし33のうちいずれか一項記載の方法を実行するシステム。
〔EEE37〕
エンコーダおよびデコーダを有するシステムであって、
前記エンコーダは:
エンコードされるべき画像データを受領する段階と;
一組の参照デジタル符号値と一組の参照グレーレベルとの間の参照マッピングに基づいて、受領された画像データをエンコードして、参照エンコードされた画像データにする段階であって、前記エンコードされるべき画像データ中のルミナンス値は前記一組の参照デジタル符号値によって表わされており、前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、ある特定の光レベルにおいて適応されている人間の視覚のピーク・コントラスト感度に反比例する、段階と;
前記参照エンコードされた画像データを出力する段階とを実行するよう構成されており、
前記デコーダは:
一組の参照デジタル符号値と一組の装置固有のデジタル符号値との間のデジタル符号マッピングを決定する段階であって、前記一組の装置固有のデジタル符号値は装置固有マッピングにおいて、一組の装置固有グレーレベルにマッピングされている、段階と;
前記参照エンコードされた画像データを受領する段階と;
前記デジタル符号マッピングに基づいて、前記一組の参照デジタル符号値でエンコードされた前記参照エンコードされた画像データを、前記一組の装置固有のデジタル制御符号でエンコードされた装置固有の画像データにトランスコードする段階であって、前記装置固有の画像データ中のルミナンス値は前記一組の装置固有のデジタル符号値に基づく、段階とを実行するよう構成されている、
システム。
〔EEE38〕
画像デコーダであって:
一組の参照デジタル符号値と一組の装置固有のデジタル符号値との間のデジタル符号マッピングを決定するマッピング決定器であって、前記一組の参照デジタル符号値は参照マッピングにおいて、一組の参照グレーレベルにマッピングされており、前記一組の装置固有のデジタル符号値は装置固有マッピングにおいて、一組の装置固有グレーレベルにマッピングされている、マッピング決定器と;
前記一組の参照デジタル符号値でエンコードされた参照エンコードされた画像データを受領する受領器であって、前記参照エンコードされた画像データ中のルミナンス値は前記一組の参照デジタル符号値に基づき、前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、ある特定の光レベルにおいて適応された人間の視覚のピーク・コントラスト感度に反比例する、受領器と;
前記デジタル符号マッピングに基づいて、前記一組の参照デジタル符号値でエンコードされた前記参照エンコードされた画像データを、前記一組の装置固有のデジタル制御符号でエンコードされた装置固有の画像データにトランスコードするトランスコーダであって、前記装置固有の画像データ中のルミナンス値は前記一組の装置固有のデジタル符号値に
基づく、トランスコーダとを有する、
デコーダ。
〔EEE39〕
EEE38記載のデコーダであって:
前記一組の参照デジタル符号値と前記一組の装置固有のデジタル符号値との間の対応関係の集合を決定する段階であって、前記対応関係の集合における対応関係は、前記一組の参照デジタル符号値における参照デジタル符号値を装置固有のデジタル符号値に関係付ける、段階と;
前記参照デジタル符号値における第一のルミナンス差と、前記装置固有のデジタル符号値における第二のルミナンス差を比較する段階と;
前記第一のルミナンス差と前記第二のルミナンス差の比較に基づいて、アルゴリズム・フラグを記憶する段階であって、前記アルゴリズム・フラグは、当該参照デジタル符号値についてディザが実行されるべきか、輪郭除去が実行されるべきか、何の動作も実行されるべきでないかをフラグする機能を果たす、段階とを実行するよう構成されている、
デコーダ。
〔EEE40〕
あるピクセルについての前記参照エンコードされた画像データから参照デジタル符号値を決定する段階と;
その参照デジタル符号値についてアルゴリズム・フラグがセットされているかどうかを判定する段階とを実行するようさらに構成されている、
EEE38記載のデコーダ。
〔EEE41〕
輪郭除去についてアルゴリズム・フラグがセットされていることを判別するのに応答して、そのピクセルに対して輪郭除去機能を実行するようさらに構成されている、EEE40記載のデコーダ。
〔EEE42〕
ディザについてアルゴリズム・フラグがセットされていることを判別するのに応答して、そのピクセルに対してディザ処理を実行するようさらに構成されている、EEE40記載のデコーダ。
〔EEE43〕
前記一組の装置固有のデジタル制御符号でエンコードされた前記装置固有画像データに基づいて、ディスプレイ上に一つまたは複数の画像をレンダリングする段階を実行するようさらに構成されており、前記ディスプレイは、可視ダイナミックレンジ(VDR)ディスプレイ、標準ダイナミックレンジ(SDR)ディスプレイ、タブレット・コンピュータ・ディスプレイまたはハンドヘルド装置ディスプレイの一つである、EEE38記載のデコーダ
〔EEE44〕
装置固有のグレースケール表示関数(GSDF)が、前記一組の装置固有のデジタル符号値と前記一組の装置固有グレーレベルとの間の前記装置固有のマッピングを指定する、EEE38記載のデコーダ。
〔EEE45〕
前記装置固有マッピングは、一つまたは複数のディスプレイ・パラメータおよび0個以上の閲覧条件パラメータに基づいて導出される、EEE38記載のデコーダ。
〔EEE46〕
前記一組の装置固有のグレーレベルは、100ニト未満、100ニト以上500ニト未満、500ニトから1000ニトまでの間、1000ニトから5000ニトまでの間、5000ニトから10000ニトまでの間または10000ニト超の値を有する上限をもつダイナミックレンジにまたがる(たとえば、をカバーする)、EEE38記載のデコーダ。
〔EEE47〕
入力ビデオ信号からの前記参照エンコードされた画像データを用いて表現される、受領
される、伝送されるまたは記憶される一つまたは複数の入力画像を、出力ビデオ信号に含まれる前記装置固有画像データを用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力画像に変換する変換器をさらに有する、EEE38記載のデコーダ。
〔EEE48〕
前記装置固有の画像データは、高解像度の高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS)のアカデミー色エンコード規格(ACES)標準に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM)規格、sRGB色空間、国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間のうちの一つにおける画像レンダリングをサポートする、EEE38記載のデコーダ。
〔EEE49〕
二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間の前記ルミナンス差は、前記特定の光レベルにおける最小可知差異(JND)閾値より小さい、EEE38記載のデコーダ。
〔EEE50〕
前記特定の光レベルは前記二つのルミナンス値の間(両端含む)にあるルミナンス値である、EEE38記載のデコーダ。
〔EEE51〕
前記一組の装置固有のデジタル符号値は、8ビット;8ビット超12ビット未満;または12ビットまたはそれ以上のビット深さをもつ符号空間における整数値を有する、EEE38記載のデコーダ。
〔EEE52〕
前記一組の装置固有グレーレベルは一組の量子化されたルミナンス値を有する、EEE31記載のデコーダ。
〔EEE53〕
前記参照マッピングおよび前記装置固有マッピングの少なくとも一方が、少なくとも部分的には、一つまたは複数の関数を用いて表現される関数モデルに基づいて決定される、EEE38記載のデコーダ。
〔EEE54〕
前記関数モデルが、一つまたは複数のモデル・パラメータを有しており、前記モデル・パラメータの値が、予測される符号値と目標符号値との間の偏差を最小にすることを通じて最適化される、EEE53記載のデコーダ。
〔EEE55〕
命令がエンコードされ記憶されている非一時的なコンピュータ可読記憶媒体であって、前記命令は、コンピュータまたはそのプロセッサで実行されたときに、前記コンピュータまたは前記プロセッサをして画像をデコードするプロセスを執行、実行または制御させる、またはそのように制御する、またはそのようにプログラムするものであり、前記画像デコード・プロセスは:
一組の参照デジタル符号値と一組の装置固有のデジタル符号値との間のデジタル符号マッピングを決定する段階であって、前記一組の参照デジタル符号値は参照マッピングにおいて、一組の参照グレーレベルにマッピングされ、前記一組の装置固有のデジタル符号値は装置固有マッピングにおいて、一組の装置固有グレーレベルにマッピングされる、段階と;
前記一組の参照デジタル符号値でエンコードされた参照エンコードされた画像データを受領する段階であって、前記参照エンコードされた画像データ中のルミナンス値は前記一組の参照デジタル符号値に基づき、前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、ある特定の光レベルにおいて適応された人間の視覚のピーク・コントラスト感度に反比例する、段階と;
前記デジタル符号マッピングに基づいて、前記一組の参照デジタル符号値でエンコードされた前記参照エンコードされた画像データを、前記一組の装置固有のデジタル制御符号でエンコードされた装置固有の画像データにトランスコードする段階であって、ルミナンス。
〔EEE56〕
一組の参照デジタル符号値と一組の装置固有のデジタル符号値との間のデジタル符号マッピングを決定する手段であって、前記一組の参照デジタル符号値は参照マッピングにおいて、一組の参照グレーレベルにマッピングされており、前記一組の装置固有のデジタル符号値は装置固有マッピングにおいて、一組の装置固有グレーレベルにマッピングされている、手段と;
前記一組の参照デジタル符号値でエンコードされた参照エンコードされた画像データを受領する手段であって、前記参照エンコードされた画像データ中のルミナンス値は前記一組の参照デジタル符号値に基づき、前記一組の参照デジタル符号値における二つの隣り合う参照デジタル符号値によって表わされる二つの参照グレーレベルの間のルミナンス差は、ある特定の光レベルにおいて適応された人間の視覚のピーク・コントラスト感度に反比例する、手段と;
前記デジタル符号マッピングに基づいて、前記一組の参照デジタル符号値でエンコードされた前記参照エンコードされた画像データを、前記一組の装置固有のデジタル制御符号でエンコードされた装置固有の画像データにトランスコードする手段であって、前記装置固有の画像データ中のルミナンス値は前記一組の装置固有のデジタル符号値に基づく、手段とを有する、
デジタル・デコード・システム。
〔EEE57〕
参照符号値でエンコードされた参照エンコードされた画像データを受領する段階であって、前記参照符号値は一組の参照グレーレベルを表わし、前記一組のグレーレベルにおける隣接するグレーレベルの第一の対は第一の光レベルにおいて適応された人間の視覚の第一のピーク・コントラスト感度に関係し、前記一組のグレーレベルにおける隣接するグレーレベルの第二の対は第二の異なる光レベルにおいて適応された人間の視覚の第二のピーク・コントラスト感度に関係する、段階と;
参照符号値と装置固有符号値との間の符号マッピングにアクセスする段階であって、前記装置固有符号値は一組の装置固有グレーレベルを表わす、段階と;
前記符号マッピングに基づいて、前記参照エンコードされた画像データを、前記装置固有制御符号でエンコードされた装置固有の画像データにトランスコードする段階とを含む、
方法。
〔EEE58〕
EEE57記載の方法であって、前記一組の参照グレーレベルは、500ニト未満、500ニトから1000ニトまでの間、1000ニトから5000ニトまでの間、5000ニトから10000ニトまでの間、10000ニトから15000ニトまでの間または15000ニト超の値を有する上限をもつダイナミックレンジをカバーする、方法。
〔EEE59〕
前記一組の参照グレーレベルは、40度より大きい視野をサポートする人間の視覚モデルに基づいて構成される、EEE57記載の方法。
〔EEE60〕
前記一組の参照グレーレベルは、カットオフ空間周波数より低い可変空間周波数に関係する、EEE57記載の方法。
〔EEE61〕
前記符号マッピングは、知覚的に認識できる誤りを、前記装置固有グレーレベルによってカバーされるダイナミックレンジにおいて均等に分布させるよう構成される、EEE57記載の方法。
〔EEE62〕
前記一組のグレーレベルにおける隣接するグレーレベルの前記第一の対の第一のルミナンス値差は、ある乗算定数により前記第一のピーク・コントラスト感度と逆関係にあり、隣接するグレーレベルの前記第二の対の第一のルミナンス値差は、同じ乗算定数により前記第二のピーク・コントラスト感度と逆関係にある、EEE57記載の方法。
〔EEE63〕
前記参照符号値における参照符号値と該参照符号値によって表わされる参照グレーレベルは異なる数値をもつ、EEE57記載の方法。
〔EEE64〕
EEE57記載の方法であって、前記符号マッピングに基づいて、前記参照エンコードされた画像データを、前記装置固有の制御符号でエンコードされた装置固有の画像データにトランスコードする段階が:
ある参照符号値における二つの隣り合う参照符号値の間の第一のルミナンス値差を決定する段階と;
前記参照符号値に対応する装置固有符号値における二つの隣り合う装置固有符号値の間の第二のルミナンス値差を決定する段階と;
前記第一のルミナンス値差と前記第二のルミナンス値差の比較に基づいて、前記装置固有画像データ中の少なくとも一つのピクセルに対してディザ・アルゴリズムまたは輪郭除去アルゴリズムの一方を適用する段階とを含む、
方法。
〔EEE65〕
画像処理装置であって:
参照符号値を有する参照エンコードされた画像データを受領するよう構成されたデータ受領器であって、前記参照エンコードされた画像データは外部の符号化システムによってエンコードされており、前記参照符号値は参照グレーレベルを表わし、前記参照グレーレベルは、種々の光レベルにおいて諸空間周波数に適応された人間の視覚の知覚上の非線形性に基づく参照グレースケール表示関数を使って選択されている、データ受領器と;
前記参照符号値と当該画像処理装置の装置固有符号値との間の符号マッピングにアクセスするよう構成されたデータ変換器であって、前記装置固有符号値は当該画像処理装置のために構成された装置固有グレーレベルを生じるよう構成されており、前記データ変換器は、前記符号マッピングに基づいて、前記参照エンコードされた画像データを、前記装置固有符号値でエンコードされた装置固有の画像データにトランスコードするよう構成されている、データ変換器とを有しており、
前記画像処理装置は:ゲーム機、テレビジョン、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ネットブック・コンピュータ、コンピュータ・ワークステーション、セルラー無線電話、電子書籍リーダー、ポイントオブセール端末およびコンピュータ・キオスクの少なくとも一つである、
画像処理装置。
【0185】
次の表3は、デジタル・ビデオ符号値を表示の点における絶対的な線形ルミナンス・レベルに変換するための知覚的曲線EOTFの計算を記述する。また、絶対的な線形ルミナンスをデジタル符号値に変換するための逆OETFも含めてある。
【0186】
表3 知覚的曲線EOTFのための例示的な仕様
例示的な式の定義:
D=知覚的曲線のデジタル符号値、SDIリーガル符号なし整数、10または12ビット
b=デジタル信号表現中の成分毎のビット数、10または12
V=規格化された知覚的曲線の信号値、0≦V≦1
Y=規格化されたルミナンス値、0≦Y≦1
L=絶対ルミナンス値、0≦L≦10,000cd/m
2
例示的なEOTFデコードの式
【数10】
例示的なOETFエンコードの式
【数11】
例示的な定数
【数12】
注:
1.演算子INTは0から0.4999…の範囲では端数部分について0の値を返し、0.5から0.9999…の範囲では端数部分について+1の値を返す。すなわち、四捨五入である。
2.すべての定数は丸めの懸念を避けるため12ビット有理数の厳密な倍数として定義される。
3.R、GまたはB信号成分は上述したY信号成分と同じ仕方で計算される。
【0187】
次の表4は10ビットについての例示的な値を示す。
【0188】
表4 10ビットについての値の例示的なテーブル
【0189】
【0190】
【0191】
【0192】
【0193】
【0194】
【0195】
【0196】
【0197】
【0198】
【0199】
【0200】
以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
【0201】
いくつかの態様を記載しておく。
〔態様1〕
画像処理装置であって:
参照符号値を有する参照エンコードされた画像データを受領するよう構成されたデータ受領器であって、前記参照エンコードされた画像データは外部の符号化システムによってエンコードされており、前記参照符号値は参照グレーレベルを表わし、前記参照グレーレベルは、種々の光レベルにおいて諸空間周波数に適応された人間の視覚の知覚上の非線形性に基づく参照グレースケール表示関数を使って選択されている、データ受領器と;
前記参照符号値と当該画像処理装置の装置固有符号値との間の符号マッピングにアクセスするよう構成されたデータ変換器であって、前記装置固有符号値は当該画像処理装置のために構成された装置固有グレーレベルを生じるよう構成されており、前記データ変換器は、前記符号マッピングに基づいて、前記参照エンコードされた画像データを、前記装置固有符号値でエンコードされた装置固有の画像データにトランスコードするよう構成されている、データ変換器とを有する、
画像処理装置。
〔態様2〕
標準ダイナミックレンジ表示装置である、態様1記載の画像処理装置。
〔態様3〕
40度から25度までの間の中間水平角サイズおよび25度以下の狭い水平角サイズの一方をサポートするよう構成されている、態様1記載の画像処理装置。
〔態様4〕
1.5メートルから0.5メートルまでの中間閲覧距離および0.5メートル以下の短い閲覧距離の一方をサポートするよう構成されている、態様1記載の画像処理装置。
〔態様5〕
参照符号値でエンコードされた参照エンコードされた画像データを受領する段階であって、前記参照符号値は一組の参照グレーレベルを表わす、段階と;
参照符号値と装置固有符号値との間の符号マッピングにアクセスする段階であって、前記装置固有符号値は一組の装置固有グレーレベルを表わす、段階と;
前記符号マッピングに基づいて、前記参照エンコードされた画像データを、前記装置固有制御符号でエンコードされた装置固有の画像データにトランスコードする段階とを含んでおり、
前記組の相続く参照グレーレベルの間の第一の量子化きざみは、第一の光レベルにおいて空間周波数に適応した人間の視覚のコントラスト感度に関係する、
方法。
〔態様6〕
前記第一の量子化きざみサイズは、前記第一の光レベルに対して空間周波数に適応した人間の視覚のピーク・コントラスト感度に関係する、態様5記載の方法。
〔態様7〕
前記第一の量子化きざみサイズは、前記第一の光レベルにおける最小可知差異閾値より小さい、態様5記載の方法。
〔態様8〕
第二の量子化きざみが、第二の光レベルにおいて空間周波数に適応した人間の視覚のコントラスト感度に関係し、前記第一および第二の量子化きざみサイズが異なる、態様5記載の方法。
〔態様9〕
前記第二の量子化きざみサイズは、前記第一の光レベルに対して空間周波数に適応した人間の視覚のピーク・コントラスト感度に関係する、態様8記載の方法。
〔態様10〕
前記第一の光レベルは前記第二の光レベルより小さく、前記第一のきざみサイズは前記第二のきざみサイズより大きい、態様8記載の方法。
〔態様11〕
前記一組の参照グレーレベルが1000ニトから15000ニトまでの間の値を有する上限をもつダイナミックレンジをカバーする、態様5記載の方法。
【外国語明細書】