特許 5926960 ＬＥＤ／ＬＣＤベースの高ダイナミックレンジディスプレイのための信号生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5926960

(24)【登録日】2016年4月28日

(45)【発行日】2016年5月25日

(54)【発明の名称】ＬＥＤ／ＬＣＤベースの高ダイナミックレンジディスプレイのための信号生成

(51)【国際特許分類】

   G09G 3/36 20060101AFI20160516BHJP

   G02F 1/133 20060101ALI20160516BHJP

   G09G 3/20 20060101ALI20160516BHJP

   G09G 3/34 20060101ALI20160516BHJP

【ＦＩ】

   G09G3/36

   G02F1/133 535

   G09G3/20 612U

   G09G3/20 642J

   G09G3/34 J

【請求項の数】19

【全頁数】14

(21)【出願番号】特願2011-550125(P2011-550125)

(86)(22)【出願日】2010年2月9日

(65)【公表番号】特表2012-517622(P2012-517622A)

(43)【公表日】2012年8月2日

(86)【国際出願番号】US2010000359

(87)【国際公開番号】WO2010093433

(87)【国際公開日】20100819

【審査請求日】2012年12月14日

【審判番号】不服2014-20637(P2014-20637/J1)

【審判請求日】2014年10月10日

(31)【優先権主張番号】61/151,691

(32)【優先日】2009年2月11日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ザイ，ジェフ

(72)【発明者】

【氏名】ルラッチ，ジョーン

【合議体】

【審判長】 森 竜介

【審判官】 堀 圭史

【審判官】 関根 洋之

(56)【参考文献】

【文献】 特開２００９−１４７４６（ＪＰ，Ａ）

【文献】 特開２００８−１３９８７１（ＪＰ，Ａ）

【文献】 特開２００２−９９２５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G09G3/36

G02F1/133

G09G3/20

G09G3/34

(57)【特許請求の範囲】

【請求項1】

表示装置であって、
発光要素のマトリックスを有するバックライトユニットと、
異なる色の光をそれぞれ減衰する少なくとも２つの異なる遮断器を含む、繰り返し構成にグループ化された複数の光遮断器を有するフロントエンドユニットと、
画像信号を受け取り、前記画像信号を処理して、前記バックライトユニットのための最終バックライト駆動信号と、前記フロントエンドユニットのための最終フロントエンド駆動信号とを求めるアルゴリズムを有する信号処理システムとを有し、
前記アルゴリズムは、少なくとも１回の差低減反復段階を用いて、前記最終バックライト駆動信号と前記最終フロントエンド駆動信号とを求め、前記少なくとも１回の差低減反復段階は、ディスプレイ目標画像輝度値と、少なくとも一組の中間駆動信号に相関する少なくとも１つの予想画像輝度値と、前記輝度値間の差とに応じたものであり、
前記アルゴリズムは、クリッピング誤差に応じるように構成され、前記クリッピング誤差は、不十分な輝度と相関した前記バックライトユニットの中間駆動信号により生じ、前記不十分な輝度と前記ディスプレイ目標画像輝度値との間の差異である、
表示装置。

【請求項2】

前記アルゴリズムは反復的傾斜降下アルゴリズムである、請求項１に記載の表示装置。

【請求項3】

前記アルゴリズムは、前記バックライトユニットの点広がり関数と、量子化したバックライト駆動信号との間の畳み込みを用いる、請求項１に記載の表示装置。

【請求項4】

前記アルゴリズムは、
前記発光要素に対応するＭ行Ｎ列の、前記バックライトユニットのための量子化されたバックライト駆動信号のバックライトマトリックスＬと、前記点広がり関数に対応する点広がりマトリックスＰ、及び
最大解像度バックライト輝度マトリックスＢを生成するＬとＰの積、を生成またはアクセスするように構成された、請求項３に記載の表示装置。

【請求項5】

前記アルゴリズムは、輝度マトリックスと色ｐのための規格化したフロントエンド駆動信号との積に応じて、前記色ｐの前記最終フロントエンド駆動信号を生成するように構成された、請求項４に記載の表示装置。

【請求項6】

少なくとも前記色ｐのディスプレイ出力輝度Ｏｐの項は、次式で表され：

【数17】

ここで、ＩｐとＤｐは、それぞれ前記色ｐのディスプレイ目標画像輝度値と、前記色ｐの規格化フロントエンド駆動信号である、請求項５に記載の表示装置。

【請求項7】

前記アルゴリズムは、前記ディスプレイ目標画像輝度値と、前記色ｐのディスプレイ出力輝度との間の差の最小二乗を求め、前記最小二乗を低減する、請求項６に記載の表示装置。

【請求項8】

前記アルゴリズムは、出力誤差を求め、色ｐの最終フロントエンド駆動信号を決定するのに用いるように構成され、前記出力誤差は少なくとも次の項を含み、

【数18】

ここで、Ｉｐ、Ｄｐ、およびＯｐは、それぞれ前記色ｐのディスプレイ目標画像輝度値と、前記色ｐの規格化フロントエンド駆動信号と、ディスプレイ出力輝度である、請求項４に記載の表示装置。

【請求項9】

前記アルゴリズムは、量子化誤差に応じて構成され、
前記量子化誤差は、前記フロントエンドユニットの輝度量子化レベルと、前記ディスプレイ目標画像輝度値との間の差である、請求項５に記載の表示装置。

【請求項10】

前記アルゴリズムは、集合体出力誤差Ｊを求め、少なくとも３色の最終フロントエンド駆動信号を決定するのに用いるように構成され、前記集合体出力誤差は前記アルゴリズムにより低減され、少なくとも次の項を含み、

【数19】

ここで、Ｉｓは３色ｒ、ｇ、ｂの入力高ダイナミックレンジ画像輝度であり、Ｏｓは前記３色のディスプレイ出力輝度である、請求項４に記載の表示装置。

【請求項11】

画像信号にアクセスするステップと、
前記画像信号に応じてバックライトユニットの個別のバックライト要素のための中間バックライト駆動信号を生成するステップと、
前記中間バックライト駆動信号を、前記バックライトユニットの点広がり関数と畳み込むステップと、
前記畳み込むステップに応じて少なくとも１つの新しいバックライト駆動信号を求めるステップと、
クリッピング誤差を決定するステップであって、前記クリッピング誤差は、不十分な輝度と相関した前記バックライトユニットの中間駆動信号により生じ、前記不十分な輝度とディスプレイ目標画像輝度値との間の差異である、ステップと、
個別の光遮断器を有するフロントエンドユニットの複数の光遮断信号に関連し、前記少なくとも１つの新しいバックライト駆動信号に関連するディスプレイ誤差を決定するステップであって、前記フロントエンドユニットは前記バックライトユニットより解像度が高く、前記ディスプレイ誤差は前記クリッピング誤差に応じるステップと、
他の生成された中間バックライト駆動信号と他の光遮断信号に対してディスプレイ誤差を低減する、遮断信号と新しいバックライト駆動信号との組み合わせで表示装置を駆動するステップとを有する、方法。

【請求項12】

前記画像信号から個別の光遮断器の目標ディスプレイ出力にアクセスするステップと、
前記生成するステップにおいて、前記ディスプレイ目標画像輝度値の平方根を含むファクタを用いて、中間バックライト駆動信号を求めるステップとをさらに有する、請求項１１に記載の方法。

【請求項13】

前記バックライト要素に対応するＭ行Ｎ列のバックライトマトリックスＬを生成するステップと、
少なくとも部分的に前記マトリックスＬとマトリックスＰとから、最大解像度バックライト輝度マトリックスＢを生成するステップとをさらに有する、請求項１１に記載の方法。

【請求項14】

前記最大解像度バックライト輝度マトリックスＢを前記画像信号と比較するステップと、
それぞれｓｉｇｎ（Ｉ−ＰＬ^＊）とｓｉｇｎ（ＰＬ^＊−Ｉ）に対応する対角要素を有する対角マトリックスＵとＶを生成するステップであって、マトリックスＬ^＊は新しいバックライト駆動信号の繰り返しを表し、マトリックスＩは前記画像信号のディスプレイ目標画像輝度値を表すステップをさらに有する、請求項１３に記載の方法。

【請求項15】

前記比較するステップと対角行列生成ステップを、所定繰り返し回数であるη回繰り返すステップをさらに有する、請求項１４に記載の方法。

【請求項16】

前記マトリックスＬのバックライト駆動信号を量子化するステップをさらに有する、請求項１５に記載の方法。

【請求項17】

繰り返し終了後のマトリックスＬ^＊を用いて最終的最大解像度バックライトを決定するステップと、
前記最終的最大解像度バックライトに応じて最終的光遮断信号を選択して、駆動ステップで用いるステップとをさらに有する、請求項１６に記載の方法。

【請求項18】

量子化誤差を決定するステップであって、前記量子化誤差は前記フロントエンドユニットの輝度量子化レベルと前記ディスプレイ目標画像輝度値との間の差であるステップと、
前記クリッピング誤差と量子化誤差をコスト関数に用いて、前記コスト関数を前記ディスプレイ誤差を決定するときのファクタとして用いるステップとをさらに有する、請求項１７に記載の方法。

【請求項19】

前記最大解像度バックライト輝度マトリックスＢを前記画像信号と比較するステップと、
前記ディスプレイ誤差を決定し、遮断信号と新しいバックライト駆動信号の組み合わせを選択するステップとをさらに有する、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高ダイナミックレンジディスプレイの分野に属し、その画像の処理及び表示方法に関する。

【背景技術】

【0002】

高ダイナミックレンジディスプレイ（ＨＤＲ）ディスプレイは、コントラストが非常に高く、黒が非常に暗く白が非常に明るい画像を表示できるものである。かかるタイプのディスプレイは、一様でないバックライトを用いてＨＤＲ画像を表示する。特に、入力画像に基づき、画面の各エリアでバックライトの強さを調節することができる。

【0003】

かかるディスプレイにおける主な課題の１つは、（ＲＧＢ、ＹＣｂＣｒなどの）３つのコンポーネントデータからディスプレイが必要とする４つのコンポーネントデータに入力画像をいかに変換するかということである。これは特に、強度情報の形式で一コンポーネントを提供する発光ダイオードバックライトレイヤ（ＬＥＤレイヤ）と、強度及び色情報の３つのコンポーネントを提供するＬＣＤレイヤとを有するものに当てはまる。

【0004】

高ダイナミックレンジ（ＨＤＲ）ディスプレイは、別フォーマットのデジタル画像として近年注目を集めている。従来の低ダイナミックレンジ（ＬＤＲ）画像フォーマットは、ＩＴＵ−ＲレコメンデーションＢＴ７０９（Ｒｅｃ．７０９としても知られている）に従うディスプレイとして設計されており、２桁のダイナミックレンジしか実現できない。しかし、現実のシーンのダイナミックレンジはもっと高く、日中は１０桁くらいになる。人間の視覚系（ＨＶＳ）は５桁を感知することができる。

【0005】

こうしたＨＤＲディスプレイは、近年市場に投入されたものであり、いわゆるＬＥＤ−ＬＣＤ技術に基づいている。従来のＬＣＤディスプレイの一様なバックグラウンドを個別制御されたＬＥＤのマトリックスで置き換え、各ＬＥＤは画面の小さなエリアだけを照明するものである。ＬＥＤレイヤのＬＥＤ数はＬＣＤレイヤの画素数よりもずっと少ないが、各ＬＥＤの明るさは広範囲の値にわたり調節できる。結果として、ＬＥＤレイヤはダイナミックレンジが非常に高いが解像度を低いバックライトを提供する。前面のＬＣＤパネルは従来のＬＣＤディスプレイと同じものであり、液晶セルが各画素の色を制御し、ＬＥＤレイヤが提供する強度を微調整する。

【0006】

ＨＤＲディスプレイでは、画像とディスプレイとの間に簡単な１対１対応があるわけではないので、入力画像の３つの色コンポーネントを４つのコンポーネントに変換するのは、簡単なプロセスではない。さらに、複数のソリューションがある。いろいろなソリューションによって画質が異なるので、最適なソリューションを見つけるべきである。

【0007】

最近詳細されたＨＤＲディスプレイ（例えば、BrightSide、BrightSide Technologies Inc.,１３１０ Kootenay Street, Vancouver, B.C., Canada）はほとんどプロトタイプなので、駆動信号発生問題についてはほとんど改善されていない。ＨＤＲディスプレイに関する原論文（非特許文献１）では、計算を複雑にしないように単純なクロストーク法（cross-talking method）が提案されている。単純なクロストーク法のフローチャートを図１に示す。図１では、強度特性ＩのＨＲＤ画像を最初に求める（ブロック１０１）。強度特性Ｉの平方根に関連する、バックライトの目標強度を決定する（ブロック１０２）。画像をバックライトの解像度にダウンサンプリングして、バックライト信号を求める（ブロック１０３）。ＬＣＤ応答関数を用いるＬＣＤ信号を求めて、バックライト値と目標強度とを補正する。このクロストーク法は非常に高速であるが、表示エラーも非常に大きい。また、局所的なコントラストが大きくてもうまくいかない（fail）。端的に言うと、かかる画面にＨＤＲ画像を表示するのは簡単ではない。ＬＥＤレイヤの解像度が低く、ＬＥＤ間のクロストークがあるため、各画素の出力を個別に制御できない。バックライトが間違っていると画質が低下し、偽輪郭やＬＥＤパターンが見えるなどの視覚的アーティファクトが発生する。

【0008】

非特許文献２では、この問題を解決する２つの方法が提案されている。第１の方法はディスプレイの特性と人間の視覚系を考慮していない。第２の方法では、常にバックライトを所望の出力レベルより明るくして、線形最適化器を利用して問題を解決する。この方法は非常に複雑であり、仮定が現実的ではない。

【0009】

上記の問題を考慮して、高ダイナミックレンジディスプレイと、それにおける画像の処理・表示に関する方法とを開発して、ＨＤＲディスプレイがＩＴＵ−ＲリコメンデーションＢＴ７０９標準に準拠し、ＨＶＳにふさわしく、過度に計算が複雑な信号処理を必要とせず、またはそうした信号処理を使わないようにする必要がある。
［関連出願への相互参照］
本出願は、２００９年２月１１日出願の米国仮出願第６１／１５１，６９１号の利益を主張するものである。

【先行技術文献】

【非特許文献】

【0010】

【非特許文献1】Seetzen, H., et al.、「High dynamic range display systems」、ACM Press, p. ７６０-７６８. ２００４

【非特許文献2】Feng Li, Xiaofan Feng, Ibrahim Sezan, Scott Daly、「Deriving LED Driving Signal for Area-Adaptive LED Backlight in HDR」、SID Symposium Digest of Technical Papers, ３８ #１,１７９４-１７９７ (２００７)

【発明の概要】

【課題を解決するための手段】

【0011】

表示装置は、発光要素のマトリックスを有するバックライトユニットと、異なる色の光を減衰する少なくとも２つの異なる遮断器を含む、繰り返し構成にグループ化された複数の光遮断器を有しするフロントエンドユニットと、画像信号を受け取り、前記画像信号を処理して、前記バックライトユニットのための最終バックライト駆動信号と、前記フロントエンドユニットのための最終フロントエンド駆動信号とを求める信号処理システムとを有し、前記アルゴリズムは反復的傾斜降下アルゴリズムである。前記アルゴリズムは、少なくとも１回の差低減反復段階を用いて、前記最終的駆動信号を求めることができ、前記少なくとも１回の差低減反復段階は、ディスプレイ目標画像輝度値（Ｉ）と、少なくとも一組の中間駆動信号に相関する少なくとも１つの予想画像輝度値（Ｏ）と、前記輝度値間の差とに応じたものでもよい。前記アルゴリズムは、前記バックライトユニットの点広がり関数とバックライト駆動信号との間の畳み込みを有し、前記バックライト駆動信号は量子化できる。前記発行要素に対応するＭ行Ｎ列の、前記バックライトユニットのためのバックライト駆動信号のバックライトマトリックスと、前記点広がり関数に対応する点広がりマトリックス、及び最大解像度バックライト輝度マトリックスＢを生成するＬとＰの積を生成、またはそれにアクセスできる。前記アルゴリズムは、輝度マトリックスと色ｐのための規格化したフロントエンド駆動信号との積に応じて、前記色ｐの前記最終的フロントエンド駆動信号を生成するように構成されてもよい。少なくともある色ｐのディスプレイ出力輝度Ｏｐの項は、前記輝度マトリックスＢ、前記色ｐの入力高ダイナミックレンジ画像Ｉｐ、および規格化可能な前記色ｐのフロントエンド駆動信号Ｄｐの関数として表せる。前記表示装置は、前記アルゴリズムにより、前記入力高ダイナミックレンジ画像と前記色ｐのディスプレイ出力輝度との間の差の最小二乗を求め、それを最小化することにより、前記最終的駆動信号を最適化できる。前記アルゴリズムは、出力誤差を求め、色ｐの最終的フロントエンド駆動信号を決定するときに用いるようにさらに構成できる。出力誤差は、前記色ｐの入力高ダイナミックレンジ画像輝度Ｉｐと、前記色ｐの規格化したフロントエンド駆動信号と、ディスプレイ出力輝度Ｏｐと、ＬおよびＰの積との関数である、少なくとも項Ｊｐを含む。前記アルゴリズムは、最終的駆動信号を最適化するのに、クリッピング誤差と量子化誤差を決定、及び／またはそれに応じることができる。前記アルゴリズムは、さらに、少なくとも項
（外１）

を含む集合的出力誤差を決定し低減できる。ここで、Ｉｓは３色ｒ、ｇ、ｂの入力高ダイナミックレンジ画像輝度であり、Ｏｓは前記３色のディスプレイ出力輝度である。前記アルゴリズムは、少なくとも３色の最終的フロントエンド駆動信号を決定するのに集合的出力誤差を用いることができる。

【0012】

高ダイナミックレンジ表示装置の動作方法は、画像信号にアクセスする段階と、前記画像信号に応じてバックライトユニットの個別のバックライト要素のための中間バックライト駆動信号を生成する段階と、前記中間バックライト駆動信号を、前記バックライトユニットの点広がり関数と畳み込む段階と、前記畳み込む段階に応じて少なくとも１つの新しいバックライト駆動信号を求める段階と、個別の光遮断器を有するフロントエンドユニットの複数の光遮断信号に関連し、前記少なくとも１つの新しいバックライト駆動信号に関連するディスプレイ誤差を決定する段階であって、前記フロントエンドユニットは前記バックライトユニットより解像度が高い段階と、他の生成された中間バックライト駆動信号と他の光遮断信号に対してディスプレイ誤差を低減する、遮断信号と新しいバックライト駆動信号との組み合わせで表示装置を駆動する段階とを有する。本方法は、前記画像信号から前記個別遮断器のための目標ディスプレイ出力にアクセスする段階と、前記生成段階において、前記目標ディスプレイ出力の平方根を含むファクタを用いて、中間バックライト駆動信号を求める段階とを含んでもよい。目標ディスプレイ出力は規格化してもよい。本方法は、さらに、前記バックライト要素に対応するＭ行Ｎ列のバックライトマトリックスＬを生成する段階と、少なくとも部分的に前記マトリックスＬとマトリックスＰとから、最大解像度バックライト輝度マトリックスＢを生成する段階と、前記最大解像度バックライト輝度マトリックスＢを前記画像信号と比較する段階と、それぞれｓｉｇｎ（Ｉ−ＰＬ^＊）とｓｉｇｎ（ＰＬ^＊−Ｉ）に対応する対角要素を有する対角マトリックスＵとＶを生成する段階であって、マトリックスＬは新しいバックライト駆動信号の繰り返しを表し、マトリックスＩは前記画像信号の目標ディスプレイ出力を表す段階を含んでもよく、前記比較段階と対角行列生成段階を、所定繰り返し回数であるη回繰り返してもよい。繰り返し終了後のマトリックスＬを用いて最終的最大解像度バックライトを決定してもよい。最終的光遮断信号を、最終的な最大解像度バックライトに応じて決定することもできる。本方法は、さらに、クリッピング誤差と量子化誤差とを決定する段階であって、前記クリッピング誤差は不十分な輝度と関連した前記バックライトユニットのための中間駆動信号により生じ、前記不十分な輝度と前記目標ディスプレイ出力との間の差であり、前記量子化誤差は前記フロントエンドユニットの輝度量子化レベルと前記目標ディスプレイ出力との間の差である段階と、前記クリッピング誤差及び／または量子化誤差をコスト関数に用いて、前記コスト関数を前記ディスプレイ誤差を決定するときのファクタとして用いる段階とをさらに有してもよい。また、本発明は、前記最大解像度バックライト輝度マトリックスＢを前記画像信号と比較する段階と、前記ディスプレイ誤差を決定し、遮断信号と新しいバックライト駆動信号の組み合わせを選択する段階とをさらに有してもよい。

【図面の簡単な説明】

【0013】

添付した図面を参照して、例を挙げて本発明を説明する。

【図1】先行技術によるＨＤＲディスプレイのためのＨＤＲ信号の処理方法を示すブロック図である。

【図2】本発明による方法を示すブロック図である。

【図3】本発明によるＨＤＲシステムを示すブロック図である。

【発明を実施するための形態】

【0014】

ＬＥＤ−ＬＣＤ（発光ダイオードと液晶ディスプレイ）に基づくＨＤＲディスプレイを駆動するのに必要なビデオ信号を生成するやり方を開示する。提案のやり方は、ＨＤＲ画像およびディスプレイを特徴付ける数学的モデルに依存する。各入力ＨＤＲ画像について、入力画像（すなわち、理想的な出力）とディスプレイ出力との間の差を最小化するため、ＬＥＤとＬＣＤの値をディスプレイ特性モデルを用いて同時に最適化（jointly optimized）する。最適化問題において人間の視覚系（ＨＶＳ）を考慮してもよい。例示の第１の実施形態では、反復最適化法を用いて最適化問題を解く。

【0015】

例示の他の一実施形態では、複雑でなく同様の画質が得られる簡略化方式を提案する。

【0016】

本発明の原理により、ＬＥＤ／ＬＣＤ最適化問題を解く反復的方法を提案する。ＬＣＤの応答曲線は指数関数としてモデル化でき、ＬＥＤの応答曲線は線形関数としてモデル化できる。ディスプレイのＬＥＤレイヤの出力は、ＬＥＤ値と点広がり関数の畳み込みとしてモデル化できる。所望の出力と実際の出力の間の差の尺度を提供する歪み関数を定義できる。この歪み関数においてＨＶＳの特性を考慮することができる。（反復的傾斜降下アルゴリズムなどを用いて）歪み関数を最小化することにより、ＬＥＤ信号とＬＣＤ信号を求められる。

【0017】

提案するアルゴリズムを簡略化したものは、１〜２回の反復のみであり、複雑性が低下し、同様のレベルの画質を維持できる。

【0018】

本発明によるＨＤＲデバイスに関して重要な点は、ディスプレイは画素に分解したＬＣＤフロントエンドパネルを有することである。フロントＬＣＤパネルの各画素はその駆動信号により光を遮断する。ＨＤＲディスプレイの場合、フロントＬＣＤパネルは一般のＬＣＤディスプレイのものと同じであってもよい。しかし、バックライトは一様ではなく、コントラストと輝度が高い。バックライトは規則的に配列されたＬＥＤのマトリックスにより提供される。ＬＥＤの応答は、１つのＬＥＤをオンにして、光度計でそのまわりの光強度を測定することにより、実験的に求められる。測定した強度マトリックスは、通常、画像アプリケーションの分野では点広がり関数と呼ぶ。バックライトの一般的なモデルは、ＬＥＤ値（ＬＥＤレイヤを駆動する量子化した値）と、ＬＥＤの点広がり関数との間の畳み込みとして得られる。便宜上、このモデルをマトリックス形式で次のように記述する：

【数1】

ＬＣＤパネルの画素構成はＭ行Ｎ列であり、ＢとＬはサイズがＭＮ×１のベクトルである。ＰはサイズがＭＮ×ＭＮの点広がり関数マトリックスである。ＬはＬＥＤマトリックスであり、Ｌの各要素は、ＬＥＤの位置に対応するときは規格化したＬＥＤ値であり、それ以外では０である。マトリックスＢは各画素位置におけるバックライトの強度である。これらのマトリックスは定式化を容易にするように構成されていることに留意されたい。実際にはこれらのマトリックスを構成する必要はない。後で説明するように、計算をより効率的にするため、画面サイズＭ×Ｎのマトリックスを用いる。

【0019】

バックライトを計算したら、出力が入力ＨＤＲ画像にできるだけ近くなるように、ＬＣＤレイヤを調節しなければならない。そのため、事前に計算したバックライトと入力ＨＤＲ画像とからディスプレイ出力を記述する式を求め、以下に示す：

【数2】

ここで、Ｏｇ、Ｉｇ、およびＤｇは、それぞれディスプレイ出力（緑チャンネル）、入力ＨＤＲ画像（緑チャンネル）、および規格化ＬＣＤ信号（緑チャンネル）である。（本発明によるＬＣＤパネルは、カラーディスプレイの場合、例えば、赤、緑、および青のチャンネルを有する。しかし、便宜上、緑「ｇ」のコンポーネントを用いるが、赤と青についても式は同じである。）これらはすべて辞書式順序のサイズＭＮ×１のベクトルである。入出力信号は両方とも線形であり、ガンマ補正はしていないことに留意されたい。

【0020】

（外２）

は要素ごとの乗算（element-wise multiplication）を示す。関数ｓｉｇｎ（）は要素ごとの符号関数を示し、次のように定義される：

【数3】

次に、出力誤差を生成する。これは、理想的な出力（すなわち、入力画像）と実際の出力（すなわち、表示画像）との間の差を示す（measure）。前出のＬＥＤとＬＣＤ出力モデルに基づき、入力ＨＤＲ画像とディスプレイ出力との間の差の平方を計算する次式を提案する。

【数4】

この式は次のように読むことができる：各画素について、バックライトが所望の出力値より高ければ（すなわち、ある画素についてＰＬ＞Ｉｇであれば）、その画素の誤差はＬＣＤレイヤ量子化誤差（すなわち、Ｉｇ−ＰＬ＿Ｄｇ）である。（この式とこの他の式において、Ｔはマトリックスの転置を示す記号である。）バックライトが所望の出力値より低ければ（すなわち、ＰＬ＜Ｉｇであれば）、出力画像をクリッピング（clipped）し、ＬＣＤは輝度を高くしない。この場合、誤差は理想的出力とクリッピングされた値との間の差（すなわち、Ｉｇ−ＰＬ）である。

【0021】

上記の式において、ベクトルＬとＤは規格化されている。つまり、その各要素は０と１の間の実数である。しかし、デジタルシステムにおいては、LとDを量子化しなければならない。ＬとＤに線形量子化と逆量子化を適用した結果として、Ｌ^＊とＤ^＊を定義する。その場合、式（４）は：

【数5】

式（２）と同様に、式（４）と（５）を赤「ｒ」と青「ｂ」の色コンポーネントに適用してもよい。

【0022】

最適化問題は、それぞれＬＥＤベクトルとＬＣＤベクトルを表すマトリックスＬ^＊とＤ^＊として定義できる。これらを最適化して入力ＨＤＲ画像とディスプレイ出力との間の差の平方を最小化する必要がある。この最適化問題を直接解くのは非常に難しい。簡略化したやり方では、最初に、変数の数を減らす。ｓｉｇｎ（ＰＬ^＊−Ｉ_ｇ）とｓｉｇｎ（Ｉ_ｇ−ＰＬ^＊）が互いに補完的であることを考慮すると、式（５）は次のように書き換えられる：

【数6】

ここで｜｜は要素ごとの絶対値関数を規定している。式（５）において、量子化誤差
(外３)

は、量子化誤差が一様分布していれば、ＰＬ^＊／４ｑにより近似できる。ｑはＬＣＤパネルの量子化レベル数である。自然なＨＤＲ画像にはこの仮定が非常によく当てはまることが分かっている。目的関数は次の式のＬ^＊にのみ依存することが分かる：

【数7】

Ｊを最適化するため、Ｌ^＊に関するＪの偏導関数を求め、傾斜降下法で用いて、次式において最適化問題を反復的に解く。（次式には色コンポーネントは示されていないが、これはこの式がすべての色コンポーネントに適用可能であることを反映している。）

【0023】

【数8】

式（７）の右辺は不連続関数であり、Ｊの導関数は場所によっては定義できない。この問題を解くため、１回の反復の間にｓｉｇｎ（Ｉ−ＰＬ^＊）とｓｉｇｎ（ＰＬ^＊−Ｉ）が変化しないか、少ししか変化しないような小さなλを選択する。このように、Ｌ^＊（ｎ）をｓｉｇｎ（Ｉ−ＰＬ^＊）とｓｉｇｎ（ＰＬ^＊−Ｉ）に変えて、ベクトルを一定にして、問題を簡単化する。その場合、式（７）は：

【数9】

となる。ここで、ＵとＶは、それぞれ対角成分がｓｉｇｎ（Ｉ−ＰＬ）とｓｉｇｎ（ＰＬ−Ｉ）に等しい対角マトリックスである。これにより、要素ごとの乗算がなくなり、偏微分の計算が容易になる。各繰り返しにおいて、目的関数を更新し、式（８）により偏微分を計算する。式（８）を拡張すると次のように記述できる：

【数10】

上記の式は、各反復においてＬ^＊をいかに更新するかを記述している。Ｌ^＊とＤ^＊を計算する手順を図２に示したが、以下の通りである：
ステップ１。ブロック２０１において、強度特性がＩのＨＤＲ画像を最初に求める。

【0024】

ステップ２。ブロック２０２において、バックライトすなわちＬＥＤ値Ｌ^＊の初期値（initial guess or estimate）を求める。初期値を求める方法は、あるフロントエンド要素（画素）に対して、最も近いバックライト要素またはＬＥＤ要素などに必要な光強度を考慮することである。つまり、この推定は図１に示した方法であってもよい。ここで、これにより推定値は、規格化した出力画像強度の平方根に対応する値に設定できる。

【0025】

ステップ３。ブロック２０３において、バックライトすなわちＬＥＤ値の、バックライトユニットの点広がり関数特性との畳み込みを行い、最大解像度（full resolution）バックライトＢ＝ＰＬ^＊（ｎ）を求める。

【0026】

ステップ４。ブロック２０４において、最大解像度バックライトを、入力ＨＤＲ画像と比較して、マトリックスＵとＶを計算する。

【0027】

ステップ５。ブロック２０５において、ＬＥＤ値Ｌのバックライトを式（１０）で決定する。

【0028】

ステップ６。ブロック２０６において、Ｌを量子化して、バックライトすなわちＬＥＤ値Ｌを求める。フローチャート中の逆量子化は、離散値すなわちデジタル値から連続値へ行くプロセスである。

【0029】

ステップ７。ブロック２０７において、ｎをｎ＋１に設定する。（ｎ＞ｐｒｅｓｅｔ＿η）であるとき、プロセスはステップ８に進む。ηのプリセット値に達していなければ、プリセット値に達するまで、ブロック２０３から２０７の処理をさらに行う。

【0030】

ステップ８。ブロック２０８において、Ｌ^＊は既知であり、一定なので、最終的な最大解像度バックライトＰＬ^＊_ｉを計算する。各画素ｉについて、バックライトＰＬ^＊_ｉが入力ＨＤＲ画像Ｉ_ｉより大きければ、ＬＣＤフロントエンドのＤ^＊_ｉをその最大値に設定する。バックライトＰＬ^＊_ｉが入力ＨＤＲ画像Ｉ_ｉより大きくなければ、差を最小化する最もよいＤ^＊_ｉを選択する。これをすべての色コンポーネントに適用することに留意されたい。

【0031】

ステップ９。ブロック２０９において、結果として得られたＤ^＊_ｉとバックライトを利用する。

【0032】

本発明の重要な特徴にはコスト関数（すなわち、式４）を含むものもある。ここで、画素は、バックライトが入力画像より大きいかどうかに応じて２つのグループに分類される。量子化誤差とクリッピング誤差は両方ともコスト関数で考慮されている。さらに、量子化の近似（すなわち、式６）を用いることにより、コスト関数を簡略化できる。コスト関数の簡略化の仮定は、符号ベクトル（sign vectors）が１回の反復中一定である（すなわち、式９）ことを条件とすることによる。

【0033】

本発明の実施形態では、２つ以上の色コンポーネントのＬＥＤ値を最適化してもよい。３つの色コンポーネントを使う場合、式（４）は次のようになる：

【数11】

コスト関数では、Ｌ２ノルムの替わりにＬｐノルムを用いることができる。

【0034】

【数12】

ここで、Ｌｐノルムは次式で定義される：

【数13】

Ｌ１ノルムは、クローズフォーム解（close-form solution）を有し、通常はより安定しているので、特に興味深く、次のように表せる：

【数14】

この場合、Ｌ^＊は次のように更新されている：

【数15】

コスト関数において、絶対誤差ではなく相対誤差を考慮することにより、人間の視覚系を考慮することができる。対角成分がベクトルＩの要素の逆数であるサイズＭＮ×ＭＮの対角マトリックスＦを、次のように定義できる：

【数16A】

コスト関数は次のように書き換えられる：

【数16B】

コスト関数は式（９）と同様に最適化できる。

【0035】

本発明の原理によるＨＤＲディスプレイシステムをここに開示する。これの概略を図３に示した。このシステムは、入力画像を受け取り、ビデオ信号または駆動信号３０２を発生するビデオ信号発生器３０１を含む。ビデオまたは駆動信号３０２は、上記の通り、ＨＤＲディスプレイ３０３を駆動するものである。ＨＤＲディスプレイはＬＥＤバックライトユニットを含み得る。しかし、本発明は、他の種類の発光源の配列を有するバックライトユニットを有するディスプレイも含み、適用可能である。さらに、ＨＤＲディスプレイはＬＣＤフロントエンドを含み得る。しかし、本発明は、他の種類の光遮断または減衰要素の配列を有するフロントエンドユニットを有するディスプレイも含み、適用可能である。

【0036】

上記を考慮して、前記は単に本発明の原理を例示するものであり、言うまでもなく当業者は、ここに明示的に説明はしていないが、本発明の原理を化体し、その精神と範囲に入る多数の別の構成を工夫することができる。

【図1】

【図2】

【図3】