(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0024】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【0025】
図1には、本明細書で開示する技術を適用することができる画像表示装置100の構成例を模式的に示している。
【0026】
アンテナ101には、地上波ディジタル放送や衛星ディジタル放送などの伝送電波が入力される。チューナー102は、アンテナ101から供給され信号のうち所望の電波を選択的に増幅し、周波数変換する。ディジタル復調部103は、周波数変換された受信信号を検波するとともに、送信時(放送局側)のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
【0027】
図10には、本明細書で開示する技術を適用することができる画像表示装置100の他の構成例を示している。
図1に示した装置構成と同一の構成要素については、同一の参照番号を付している。メディア再生部111は、ブルーレイ・ディスクやDVD(Digital Versatile Disc)などの記録メディアに記録された信号を再生する。ディジタル復調部103は、再生信号を検波するとともに、記録時のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
【0028】
また、
図11には、本明細書で開示する技術を適用することができる画像表示装置100のさらに他の構成例を示している。
図1に示した装置構成と同一の構成要素については、同一の参照番号を付している。通信部121は、例えばネットワーク・インターフェース・カード(NIC)として構成され、インターネットなどのIP(Internet Protocol)ネットワーク経由で配信される画像ストリームを受信する。ディジタル復調部103は、受信信号を検波するとともに、送信時のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
【0029】
また、
図12には、本明細書で開示する技術を適用することができる画像表示装置100のさらに他の構成例を示している。
図1に示した装置構成と同一の構成要素については、同一の参照番号を付している。HDMI(登録商標)(High Definition Multimedia Interface)インターフェース部131は、例えばブルーレイ・ディスク・プレイヤーなどのメディア再生装置で再生された画像信号をHDMI(登録商標)ケーブル経由で受信する。ディジタル復調部103は、受信信号を検波するとともに、送信時のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
【0030】
図2には、液晶表示方式の表示部105の内部構成例を模式的に示している。但し、液晶表示方式はあくまで例示であり、表示部105は他の方式であってもよい。
【0031】
ビデオ・デコーダー202は、入力端子201を介してディジタル復号部104から入力される画像信号に対して、クロマ処理などの信号処理を行ない、液晶表示パネル207の駆動に適した解像度のRGB画像信号に変換し、水平同期信号H及び垂直同期信号Vとともに制御信号生成部203に出力する。
【0032】
制御信号生成部203は、ビデオ・デコーダー202から供給されるRGBデータに基づいて画像信号データを生成し、水平同期信号H及び垂直同期信号Vとともにビデオ・エンコーダー204に供給する
。本実施形態では、制御信号生成部203は、低ダイナミック・レンジ又は標準的なダイナミック・レンジの画像を高ダイナミック・レンジの画像に変換する処理(後述)も実施するものとする。
【0033】
ビデオ・エンコーダー204は、水平同期信号H及び垂直同期信号Vに同期して、データ・ドライバー205及びゲート・ドライバー206を動作させるための各制御信号を供給する。
また、ビデオ・エンコーダー204は、バックライト208の発光ダイオード・ユニットを画像信号の明るさに応じて個別に制御する光量制御信号を生成して、バックライト駆動制御部209に供給する。
【0034】
データ・ドライバー205は、画像信号に基づく駆動電圧を出力する駆動回路であり、ビデオ・エンコーダー204から伝送されたタイミング信号並びに画像信号に基づいてデータ線へ印加する信号を生成して出力する。また、ゲート・ドライバー206は、順次駆動するための信号を生成する駆動回路であり、ビデオ・エンコーダー204から伝送されたタイミング信号に応じて、液晶表示パネル207内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。
【0035】
液晶表示パネル207は、例えば格子状に配列された複数の画素を有する。ガラスなどの透明板の間に所定の配向状態を有する液晶分子が封入されており、外部からの信号の印加に応じて画像を表示する。上述したように、液晶表示パネル207への信号の印加はデータ・ドライバー205及びデータ・ドライバー206によって実行される。
【0036】
バックライト208は、液晶表示パネル207の後方に配設された面照明装置であり、液晶表示パネル207を後方から光を照射して、液晶表示パネル207に表示される画像を視認可能にする。バックライト208は、液晶表示パネル207の直下に光源を配置する直下型構造や、導光板の周囲に光源を配置するエッジライト型構造でもよい。バックライト208の光源として、R、G、又はBのLED(Light Emitting Diode)や白色LED、レーザー光源を利用することができる。
【0037】
バックライト駆動制御部209は、制御信号生成部204から供給される光量制御信号に応じて、バックライト208の発光ダイオード・ユニット毎に明るさを個別に制御する。バックライト駆動制御部209は、電源210からの電力を供給する量に応じて各発光ダイオード・ユニットの光量を制御することができる。また、画面を複数の点灯領域に分けておき、バックライト駆動制御部209は、点灯領域の場所と表示信号に応じてバックライト208の明暗を領域毎に制御する部分駆動技術(後述)を適用してもよい。
【0038】
図19には、表示部105のうち液晶表示パネル207及びバックライト208と、これらの駆動部の構成を詳細に示している。また、
図20には、
図19中の駆動回路の一部分の概念図を示している。ここで示す構成例では、表示部105の部分駆動が可能であることを想定している。
【0039】
液晶表示パネル207は、第1の方向に沿ってM
0個、第2の方向に沿ってN
0個の、合計M
0×N
0個の画素がマトリクス状に配列された表示領域11を備えている。具体的には、例えば、画像表示用解像度としてHD−TV規格を満たすものであり、マトリクス状に配列された画素(ピクセル)の数M
0×N
0を(M
0,N
0)で表記したとき、例えば、(1920,1080)である。また、部分駆動を行なう場合には、マトリクス状に配列された画素から構成された表示領域11(
図19において、一点鎖線で示す)がP×Q個の仮想の表示領域ユニット12(境界を点線で示す)に分割されている。(P,Q)の値は、例えば、(19,12)である。但し、図面の簡素化のため、
図19における表示領域ユニット12(及び、後述する光源ユニット42(
図21を参照のこと))の数は、この値と異なる。各表示領域ユニット12は複数(M×N)の画素から構成されており、1つの表示領域ユニット12を構成する画素の数は、例えば、約1万である。
【0040】
各画素は、それぞれが異なる色を発光する複数の副画素を1組として構成されている。より具体的には、各画素は、赤色発光副画素(副画素[R])、緑色発光副画素(副画素[G])、及び、青色発光副画素(副画素[B])の3つの副画素(サブピクセル)から構成されている。図示の表示部105は、線順次駆動される。より具体的には、液晶表示パネル207は、マトリクス状に交差する走査電極(第1の方向に沿って延びている)とデータ電極(第2の方向に沿って延びている)とを有し、走査電極に走査信号を入力して走査電極を選択、走査し、データ電極に入力されたデータ信号(制御信号に基づく信号である)に基づいて画像を表示させ、1画面を構成する。
【0041】
バックライト208は、液晶表示パネル207の後方に配設されて表示領域11を背面から照明する面照明装置であり、液晶表示パネル207の直下に光源を配置する直下型構造や、導光板の周囲に光源を配置するエッジライト型構造でもよい。また、部分駆動を行なう場合には、バックライト208は、P×Q個の仮想の表示領域ユニット12に対応して個別に配置されたP×Q個の光源ユニット42(
図21を参照のこと)からなる。各光源ユニット42は、光源ユニット42に対応する表示領域ユニット12を背面から照明する。そして、光源ユニット42に備えられた光源は、個別に制御される。また、光源ユニット42毎に導光板が配設されるものとする。
【0042】
なお、現実には液晶表示パネル207の直下にバックライト208が配置されるが、
図19では、便宜上、液晶表示パネル207とバックライト208を別々に描いた。
図21には、直下型のバックライト208の構成例を模式的に示している。
図21に示す例では、バックライト208は、遮光隔壁体2101によってそれぞれ仕切られた複数の光源ユニット42で構成される。各光源ユニット42は、複数種類の単色光源を所定個数で組み合わせた単位発光モジュールを備えている。図示の例ではRGBの3原色からなる発光ダイオード41R、41G、41Bを1組とした発光ダイオード・ユニットで単位発光モジュールが構成されるものとする。例えば、赤色発光ダイオード41Rは赤色(例えば、波長640nm)を発光し、緑色発光ダイオード41Gは緑色(例えば、波長530nm)を発光し、青色発光ダイオード41Bは青色(例えば、波長450nm)を発光する。
図21は平面図で分かりづらいが、遮光隔壁体2101は各単色光源の実装面と直交して立設されており、各単位発光モジュール間の照射光の漏れを低減して良好な階調制御を実現する。なお、
図21に示す例では、遮光隔壁体2101で仕切られる各光源ユニット42は4角形であるが、光源ユニットの形状は任意である。例えば、3角形やハニカム形状であってもよい。
【0043】
図19及び
図20に示すように、外部(例えば、ビデオ・エンコーダー204)から入力される画像信号に基づいて液晶表示パネル207及びバックライト208を駆動する駆動部は、パルス幅変調制御方式に基づき、バックライト40を構成する赤色発光ダイオード41R、緑色発光ダイオード41G及び青色発光ダイオード41Bのオン/オフ制御を行なうバックライト駆動制御部
209と、光源ユニット駆動回路80と、液晶表示パネル駆動回路90で構成される。
【0044】
バックライト駆動制御部
209は、演算回路71と、記憶装置(メモリー)72で構成される。なお、部分駆動を行なう場合には、各表示領域ユニット12に対応する入力信号の内の最大値x
U-maxを有する表示領域ユニット内最大入力信号に基づいて、対応する表示領域ユニット12に対応した光源ユニット42の発光状態を制御する。
【0045】
また、光源ユニット駆動回路80は、演算回路81と、記憶装置(メモリー)82と、LED駆動回路83と、フォトダイオード制御回路84と、FETからなるスイッチング素子85R、85G、85Bと、発光ダイオード駆動電源(定電流源)86で構成される。
【0046】
また、液晶表示パネル駆動回路90は、タイミング・コントローラー91といった周知の回路で構成される。液晶表示パネル207には、液晶セルを構成するTFTからなるスイッチング素子を駆動するための、ゲート・ドライバー、ソース・ドライバーなど(いずれも図示しない)が備えられている。ある画像表示フレームにおける各発光ダイオード41R、41G、41Bの発光状態は、フォトダイオード43R、43G、43Bによってそれぞれ測定され、フォトダイオード43R、43G、43Bからの出力はフォトダイオード制御回路84に入力され、フォトダイオード制御回路84及び演算回路81において発光ダイオード41R、41G、41Bの例えば輝度及び色度としてのデータ(信号)とされ、かかるデータがLED駆動回路83に送られ、次の画像表示フレームにおける発光ダイオード41R、41G、41Bの発光状態が制御される、といったフィードバック機構が形成されている。また、発光ダイオード41R、41G、41Bの下流には、電流検出用の抵抗体r
R、r
G、r
Bが、発光ダイオード41R,41G,41Bと直列にそれぞれ挿入されている。そして、抵抗体r
R、r
G、r
Bを流れる電流が電圧に変換され、抵抗体r
R、r
G、r
Bにおける電圧降下が所定の値となるように、LED駆動回路83の制御下で、発光ダイオード駆動電源86の動作が制御される。ここで、
図5には、発光ダイオード駆動電源(定電流源)86を1つしか描いていないが、実際には、発光ダイオード41R,41G,41Bのそれぞれを駆動するための発光ダイオード駆動電源86が配されている。
【0047】
部分駆動を行なう場合には、マトリクス状に配列された画素から構成された表示領域がP×Q個の表示領域ユニットに分割されている。この状態を「行」及び「列」で表現すると、Q行×P列の表示領域ユニットに分割されていると言うことができる。また、表示領域ユニット12は複数(M×N)の画素から構成されるが、この状態を「行」及び「列」で表現すると、N行×M列の画素から構成されていると言うことができる。
【0048】
各画素は、副画素[R](赤色発光サブピクセル)、副画素[G](緑色発光サブピクセル)、及び、副画素[B](青色発光サブピクセル)の3つの副画素(サブピクセル)を1組として構成される。副画素[R,G,B]のそれぞれの輝度を、例えば0〜255の2
8段階で階調制御することができる。この場合、液晶表示パネル駆動回路90に入力される入力信号[R,G,B]の値x
R、x
G、x
Bは、それぞれ2
8段階の値をとることになる。また、各光源ユニットを構成する赤色発光ダイオード41R、緑色発光ダイオード41G及び青色発光ダイオード41Bの発光時間を制御するためのパルス幅変調出力信号の値S
R、S
G、S
Bも、0〜255の2
8段階の値をとることになる。但し、これに限定するものではなく、例えば、10ビット制御とし、0〜1023の2
10段階にて行なうこともできる(8ビットの数値での表現を、例えば4倍すればよい)。
【0049】
画素のそれぞれに、光透過率L
tを制御する制御信号が駆動部から供給される。具体的には、副画素[R,G,B]に各々の光透過率L
tを制御する制御信号[R,G,B]が液晶表示装置駆動回路90から供給される。すなわち、液晶表示パネル駆動回路90では、入力された入力信号[R,G,B]から制御信号[R,G,B]が生成され、この制御信号[R,G,B]が副画素[R,G,B]に供給(出力)される。なお、バックライト208又は光源ユニット42の光源輝度Yを1画像表示フレーム毎に変化させるので、制御信号[R,G,B]は、基本的に、入力信号[R,G,B]の値をγ補正した値に対して、光源輝度Yの変化に基づく補正(補償)を行なった値を有する。そして、液晶表示パネル駆動回路90を構成するタイミング・コントローラー91から、液晶表示パネル207のゲート・ドライバー及びソース・ドライバーに、制御信号[R,G,B]が送出され、制御信号[R,G,B]に基づいて各副画素を構成するスイッチング素子が駆動され、液晶セルを構成する透明電極に所望の電圧が印加されることによって、各副画素の光透過率(開口率)L
tが制御される。ここで、制御信号[R,G,B]の値が大きいほど、副画素[R,G,B]の光透過率(副画素の開口率)L
tが高くなり、副画素[R,G,B]の輝度(表示輝度y)の値が高くなる。すなわち、副画素[R,G,B]を通過する光によって構成される画像(通常、一種、点状である)は明るい。
【0050】
表示輝度y及び光源輝度Yの制御は、表示部105の画像表示における1画像表示フレーム毎、表示領域ユニット毎、光源ユニット毎に行なわれる。また、1画像表示フレーム内における液晶表示パネル207の動作とバックライト208の動作は同期させられる。
【0051】
図19及び
図20には、液晶ディスプレイを利用した表示部105の構成例を示したが、液晶ディスプレイ以外のデバイスを用いても、同様に本明細書で開示する技術を実現することができる。例えば、TFT基板上でMEMSシャッターを駆動するMEMSディスプレイ(例えば、特許文献5を参照のこと)を本明細書で開示するに適用することができる。
【0052】
また、本明細書で開示する技術は、RGBの3原色画素構造など、特定の画素配置構造に限定されない。例えば、RGBの3原色画素以外の1以上の色を含んだ画素構造、具体的には、RGBの3原色画素に白画素を含んだRGBWの4色画素構造や、RGBの3原色画素に黄色画素を含んだRGBYの4色画素構造であってもよい。
【0053】
図23(A)〜(D)には、画素配置構造を例示している。
図23(A)は、1画素がRGBの3種類のサブ画素で構成され、解像度は1920×RGB(3)×1080である。また、
図23(B)は、1画素がRG又はBWの2種類のサブ画素で構成され、解像度は1920×RGBW(4)×2160である。また、
図23(C)は、2画素がRGBWRの5個のサブ画素で構成され、解像度は2880×RGBW(4)×2160である。また、(D)は、1画素がRGBの3種類のサブ画素で構成され、解像度は3840×RGB(3)×2160である。また、本明細書で開示する技術は、特定の解像度に限定されない。
【0054】
また、バックライト208は、液晶表示パネル207の直下に光源を配置する直下型構造(前述)の他に、導光板の周囲に光源を配置するエッジライト型構造であってもよい。後者のエッジライト型であれば、バックライト208を薄型化することが容易である。出射光の最大輝度の位置が互いに異なる複数の導光板を重畳して配置して、表示領域毎の明暗制御を実現する、多層構造導光板を利用したエッジライト型のバックライト(例えば、特許文献6を参照のこと)を利用してもよい。
【0055】
図22には、1層構造の導光板の断面図を示している。導光板2200の背面には背面反射板2210が重畳されるとともに、内面には照射光を拡散する無数のドット・パターン2201が形設されている。また、導光板2200の表面には、光学フィルム2220が重畳されている。また、導光板2200の側面からは、複数のLED2230から照明光が入射される。入射光は、背面反射板2210で反射しながら導光板2200内を伝搬するとともにドット・パターン2201によって拡散され、光学フィルム
2220を通過して表面から外部に照射される。
【0056】
図24には、多層構造導光板を利用したエッジライト型のバックライト2400の断面構成例を模式的に示している。また、
図25には、バックライト2400の発光面(光の出射面)を上から見た様子を示している。
【0057】
バックライト2400は、重畳して配置された3層の導光板2402、2404、2406と、拡散反射パターン2403、2405、2407と、反射シート2409と、LEDなどからなる光源2412、2413、2414、2415、2416、2417(以下、総称して「光源2410」ともいう。)と、層間反射シート2430と、光学シート2440を備えている。なお、各部を支持する部材などが必要であるが、図面の簡素化のため、省略している。
【0058】
発光面の上から、導光板2402、2404、2406の順に重畳して配置される。
図25に示すように、各導光板2402、2404、2406の対向する側端面には、光源ブロック2410A及び2410Bがそれぞれ配設されている。光源2410は、R、G、又はBのLEDや白色LED、レーザー光源である。
図24に示す例では、導光板2402の対向する側端面に光源2412及び2413がそれぞれ設置されている。同様に、導光板2404の対向する側端面に光源2414及び2415がそれぞれ設置され、導光板2406の対向する側端面に光源2416及び2417がそれぞれ設置されている。
【0059】
本実施形態では、
図1並びに
図10〜
図12で表示部105として用いられる画像表示装置100は、HDR画像を表示する能力を有することを想定している。
【0060】
一方、画像表示装置100への入力画像は、家庭内のテレビ受像機の多くが一般的な輝度表示にしか対応していないことを考慮して、基本的にはSDR画像である。例えば、本来はHDR画像として製作されたコンテンツの輝度ダイナミック・レンジを圧縮して編集されたSDR画像は、階調が損なわれ、臨場感が失われている。画像表示装置100の表示部105が高輝度表示に対応している場合、入力されたSDR画像をHDR画像のように視聴するには、輝度ダイナミック・レンジを伸長処理して、実空間の明るさに近づける処理を行なえばよい。
【0061】
しかしながら、コンテンツの供給元から、圧縮の定義情報が不完全な形でしか伝えられない、あるいは全く伝えられない場合、受信側では伸長する正確な方法を把握することができない。例えば、knee圧縮の定義情報が正確でない若しくは不明のままKnee伸長を行なうと、圧縮された高輝度信号情報を復元することができず、編集時のKnee圧縮を復元できないという弊害がある。また、元々低輝度ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジで製作されたコンテンツを高ダイナミック・レンジの画像に変換しようとする場合も、自然な高輝度信号情報を表現することは困難である。
【0062】
そこで、本明細書では、自然な高輝度信号情報を表現しながら、低ダイナミック・レンジ又は標準的なダイナミック・レンジの画像を高ダイナミック・レンジの画像に変換する方法について提案する。
図3には、その処理手順を概略的に示している。
【0063】
入力画像の高輝度信号情報を復元する処理は、判定処理310と、調整処理320で構成される。判定処理310では、入力画像の高輝度信号情報の縮退度合いを判定する。また、調整処理320では、判定処理310による判定結果に基づいて、入力画像を実空間の明るさに近づけように調整する。調整処理320は、輝度補正処理321と、輝度信号補正処理322と、色信号補正処理323を含んでいる。以下、各処理について説明する。
【0064】
判定処理:
例えば、入力画像に輝度圧縮に関する情報を記述したメタデータが付加されている場合、メタデータの内容に基づいて、入力画像の高輝度信号情報の縮退度合いを判定するようにしてもよい。但し、以下では、メタデータなどの情報が全くない場合についての判定処理方法について説明する。
【0065】
判定処理310では、入力画像の輝度信号レベルに基づいて、その高輝度信号情報の縮退度合いを判定する。
【0066】
例えば、入力画像が白輝度100nitのマスター・モニターで編集された場合を想定する。元の画像が0〜20nit程度の暗い画像の場合、100nitに抑えるために圧縮は行なわず、元のダイナミック・レンジのままである。一方、元の画像が0〜1000nit程度の明るい画像の場合、高輝度成分が圧縮され、0〜100nitのダイナミック・レンジに収められる。
【0067】
逆に考えると、0〜20nit程度の暗い入力画像は、編集の過程で圧縮は行なわれていないと推定することができる。また、マスター・モニターのダイナミック・レンジに近い0〜90nit程度の入力画像は少しだけ圧縮されたと推定することができる。また、マスター・モニターのダイナミック・レンジの限界に等しい0〜100nitの入力画像は高輝度成分が相当圧縮されていると推定され、元の高ダイナミック・レンジを復元するには輝度信号レベルを大幅に向上させる必要がある。
【0068】
したがって、判定処理310では、例えば以下の(1)〜(4)のいずれか1つ又は2以上の組み合わせを指標にして、入力画像の元の画像の明るさを推定し、高輝度信号情報の縮退度合いを判定するようにする。
【0069】
(1)入力画像内の最大輝度信号レベル
(2)入力画像内の最大輝度信号レベル値近傍の量
(3)入力画像内の輝度信号の平均値
(4)入力画像内の黒(低輝度信号)レベル値近傍の量
【0070】
上記の(1)〜(4)の各判定処理は、例えば入力画像の輝度信号ヒストグラムを用いて判定することができる。あるいは、R、G、Bなどの入力信号、又は、これらを加工した例えばHSV/HSL/HSIなどのV/L/Iなどのヒストグラムを用いて、上記(1)〜(4)の判定処理を行なうこともできる。ここで、
図13に示すような輝度信号ヒストグラムの入力画像を想定して説明する。
【0071】
(1)の入力画像内の最大輝度信号レベルとは、入力画像内の最大輝度信号値に対する所定レベル(例えば90%)の輝度信号値のことを意味する。
図13に例示した輝度信号ヒストグラムでは、参照番号1301で示す輝度信号値が最大輝度信号レベルに相当する。判定処理310では、例えば
図14で示すような最大輝度信号レベルに対する高輝度信号情報の縮退度合いK
1を記述したテーブルを参照して、入力画像に対する最大輝度信号レベルに基づく縮退度合いK
1を判定する。ここで求めた高輝度信号情報の縮退度合いK
1は、入力画像に対する最大輝度信号レベルに基づくバックライト208のゲイン量に相当する。なお、
図14に示す例では、最大輝度信号レベルに基づく高輝度信号情報の縮退度合いK
1のテーブルは、参照番号1401で示す曲線のように、最大輝度信号レベルが低い範囲では最大輝度信号レベルに応じて高輝度信号情報の縮退度合いK
1が単調増加し、最大輝度信号レベルがある所定値以上になると高輝度信号情報の縮退度合いK
1が一定値となるが、これは一例に過ぎない。
【0072】
また、(2)の入力画像内の最大輝度信号レベル値近傍の量とは、入力画像内の最大輝度信号近傍の画素(例えば、最大輝度信号の80%以上の輝度信号値を持つ画素)の量のことを意味する。
図13に例示した輝度信号ヒストグラムでは、参照番号1302で示す画素数が最大輝度信号レベル値近傍の量に相当する。判定処理310では、例えば
図15で示すような最大輝度信号レベル値近傍の量に対する高輝度信号情報の縮退度合いK
2を記述したテーブルを参照して、入力画像に対する最大輝度信号レベル値近傍の量に基づく高輝度信号情報の縮退度合いK
2を判定する。ここで求めた縮退度合いK
2は、入力画像に対する最大輝度信号レベル値近傍の量に基づくバックライト208のゲイン量に相当する。なお、
図15に示す例では、最大輝度信号レベル値近傍の量に基づく高輝度信号情報の縮退度合いK
2のテーブルは、参照番号1501で示す曲線のように、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK
2が単調減少するが、これは一例に過ぎない。
【0073】
また、(3)の入力画像内の輝度信号の平均値は、入力画像内の画素が持つ輝度信号値の算術平均を意味する。
図13に例示した輝度信号ヒストグラムでは、参照番号1303で示す輝度信号レベルが輝度信号の平均値に相当する。但し、算術平均に代えて、中央値や最頻値を輝度信号の平均値に用いてもよい。判定処理310では、例えば
図16で示すような輝度信号の平均値に対する高輝度信号情報の縮退度合いK
3を記述したテーブルを参照して、入力画像に対する輝度信号の平均値に基づく高輝度信号情報の縮退度合いK
3を判定する。ここで求めた縮退度合いK
3は、入力画像に対する輝度信号の平均値に基づくバックライト208のゲイン量に相当する。なお、
図16に示す例では、輝度信号の平均値に基づく高輝度信号情報の縮退度合いK
3のテーブルは、参照番号1601で示す曲線のように、輝度信号の平均値の増加に従って高輝度信号情報の縮退度合いK
3が単調減少するが、これは一例に過ぎない。
【0074】
また、(4)の入力画像内の黒(低輝度信号)レベル値近傍の量とは、入力画像内の黒近傍の画素(例えば、輝度信号値が所定値以下となる画素)の量のことを意味する。
図13に例示した輝度信号ヒストグラムでは、参照番号1304で示す画素数が黒レベル値近傍の量に相当する。判定処理310では、例えば
図17で示すような黒レベル値近傍の量に対する高輝度信号情報の縮退度合いK
4を記述したテーブルを参照して、入力画像に対する黒レベル値近傍の量に基づく高輝度信号情報の縮退度合いK
4を判定する。ここで求めた縮退度合いK
4は、入力画像に対する黒レベル値近傍の量に基づくバックライト208のゲイン量に相当する。
【0075】
なお、
図17に示す例では、黒レベル値近傍の量に基づく高輝度信号情報の縮退度合いK
4のテーブルは、参照番号1701で示す曲線のように、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK
4が単調減少するが、これは一例に過ぎない。例えば入力画像の黒レベル値を重視したいときには、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK
4が単調減少するテーブルを使用すればよい。逆に、入力画像の明るさを重視したいときには、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK
4が増加するテーブル(図示しない)を使用すればよい。例えば、入力画像のシーン判定結果や、コンテンツのカテゴリー、コンテンツに付随するメタデータ、コンテンツの視聴環境などに応じて、使用するテーブルを適応的に切り換えて用いるようにしてもよい。
【0076】
調整処理:
調整処理320では、輝度補正321、輝度信号補正322、色信号補正323を順に行なう。
【0077】
まず、輝度補正321として、判定処理310により判定された高輝度信号情報の縮退度合い(K
1、K
2、K
3、K
4)に応じて、すべての階調にわたり、輝度を向上させる。例えば、表示部105が
図2に示したように液晶表示パネル207で構成される場合、高輝度信号情報の縮退度合いに応じて、バックライト208のゲイン量を向上させる。具体的には、輝度補正321の処理として、各指標(1)〜(4)について求めた縮退度合いを例えば掛け合わせて、バックライトのゲイン量K(=K
1×K
2×K
3×K
4)を算出して、バックライト駆動制御部209に出力する。
【0078】
但し、算出したゲイン量をそのまま与えると、表示部105の最大輝度(ハードウェア限界)を超えるおそれがある。そこで、輝度補正321の処理時には、表示部105が持つ最大輝度を示す情報を参照して、これを超えないゲイン量Kをバックライト駆動制御部209に出力するようにする。
【0079】
また、表示部105において、バックライト208の部分駆動と突き上げ技術を適用する場合、暗部で抑えた電力を輝度の高い領域に配分して集中的に発光させて、部分的に白表示を行った場合の輝度を、部分駆動と突き上げ技術を適用しない場合の最大輝度よりも高くすることができる(後述)。そこで、輝度補正321の処理時には、入力画像を解析して、部分駆動と突き上げを行なった時の最大輝度に基づいて、バックライト208のゲイン量Kを決定するようにしてもよい。
【0080】
輝度補正321の処理として、バックライト208のゲイン量Kを向上させると、すべての階調にわたり入力画像の輝度が向上する。
図4には、入力画像の輝度401をすべての階調にわたり、参照番号402に示すように向上させた様子を示している。同図では、輝度補正処理前の輝度信号レベルと輝度の関係401を点線で示し、処理後の輝度信号レベルと輝度の関係402を実線で示している。また、便宜上、各関係401、402を直線で描いているが、指数関数などの曲線であってもよい。
【0081】
入力画像は、高輝度信号側の情報が圧縮されているので、高輝度信号側の輝度を主に復元させたい。輝度補正321では、基本的に、バックライト208のゲイン量Kを向上させるだけである。したがって、
図4に示したように、単純な線形スケーリングにより、低輝度域から高輝度域にわたってほぼ均一に輝度を向上させることしかできない。ところが、コンテンツ制作側で画像の輝度ダイナミック・レンジを変換する際には、低輝度域の情報を維持しながら、高輝度域のダイナミック・レンジを大きく圧縮する処理が行なわれていることが推察される。そこで、続く輝度信号補正322では、縮退されている階調と縮退されていない階調に対して信号カーブを最適化する。輝度信号補正322は、YCC、RGB、HSVのいずれの色空間で行なってもよい、
【0082】
具体的には、輝度信号補正322では、低輝度並び中輝度側において、輝度補正の程度に応じて(バックライト208のゲイン量に応じて)、輝度信号を縮退させるという信号処理を行なう。
図5には、輝度補正後の入力画像の輝度501を輝度信号補正により参照番号502に示すように補正している様子を示している。
【0083】
図5に示したように、例えば輝度信号の信号カーブを使用して最適化する際、色相が変化することがある。この色相変化を完全に若しくはある程度補正する必要がある場合は、続く色信号補正323で、輝度信号を補正したことに伴い色相が変化したときに、その変化を逆補正して、元の色相を維持するようにする。色信号補正323では、例えば、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する。
【0084】
図6には、色信号補正323として、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する機能的構成を模式的に示している。
【0085】
輝度信号補正322では、バックライト208のゲイン向上などにより輝度補正321を行なった後の輝度信号Yを入力して、輝度信号Y+ΔYを出力する。
【0086】
また、色信号補正323では、輝度信号Y並びにクロマ信号Cb、Crを入力するとともに、輝度信号補正ΔYを入力して、輝度信号Yとクロマ信号Cの比が一定となるように入力クロマ信号Cb、Crを補正する。具体的には、下式(1)、(2)に従って、入力クロマ信号Cb、Crを出力クロマ信号Cb´、Cr´に補正する。
【0089】
図6に示した機能的構成は、YCC空間で輝度信号補正及び色信号補正を行なう例である。RGB空間で輝度信号補正及び色信号補正を行なう機能構成例を
図18に示しておく。
【0090】
輝度信号補正322では、下式(3)に従って、RGB画像信号から、輝度信号Yを算出した後、
図5を参照しながら説明したように、輝度信号の信号カーブを最適化する処理を行ない、補正後の輝度信号Y´を出力する。
【0092】
そして、
色信号補正323では、補正後の輝度信号Y´に基づく補正係数w
r、w
g、w
bを、RGBの各色成分に掛け合わせて、色信号補正を行なう。
【0093】
このようにして、低ダイナミック・レンジ又は標準的なダイナミック・レンジに圧縮された画像をあたかも高ダイナミック・レンジの画像に変換して、実空間の明るさに近づけることができる。また、
図3、
図6、並びに
図18に示した輝度信号補正及び色信号補正処理を行なうことで、元々低ダイナミック・レンジ又は標準的なダイナミック・レンジで製作されたコンテンツを高ダイナミック・レンジの画像に変換しようとする場合にも、自然な高輝度信号情報を表現することが可能である。
【0094】
部分駆動と突き上げ:
上述したような、画像の高輝度信号情報の復元により実空間の明るさに近づける技術に、部分駆動及び突き上げ技術を組み合わせることで、ダイナミック・レンジをさらに向上させることができる。部分駆動は、バックライトの点灯場所を制御する技術であり、信号レベルの高い領域に相当するバックライトは明るく点灯させる一方、信号レベルの低い領域に相当するバックライトは暗く点灯させることで、輝度コントラストを向上させることができる(例えば、特許文献3を参照のこと)。また、暗部で抑えた電力を信号レベルの高い領域に配分して集中的に発光させること、例えば、(バックライト全体の出力電力は一定のまま)部分的に白表示を行った場合の輝度を高くする輝度突き上げをおこなうことによって、さらに高いコントラストを実現することができる(例えば、特許文献4を参照のこと)。
【0095】
説明の簡素化のため、左半分が輝度信号レベル1%の黒領域と、右半分が輝度信号レベル100%の入力画像を例にとって、
図7〜
図9を参照しながら部分駆動の動作例について説明する。
【0096】
図7に示す例では、画面全体にわたり、バックライト208のゲインを100%とし、液晶表示パネル207の左半分の輝度信号レベルを1%、右半分の輝度信号レベルを100%にして、描画している。また、バックライト208を画面全体にわたり100%で点灯したときの出力電力は、最大の400Wとする。
【0097】
図8に示す例では、
図7と同じ輝度の画像(左半分が輝度信号レベル1%の黒領域と、右半分が輝度信号レベル100%)を描画するために、輝度信号を上げることによって、バックライト208の電力を低下させている。液晶表示パネル207の左半分の輝度信号レベルを100%に吊り上げることで、左半分のバックライトのゲインを1%に低下させている。一方、右半分の輝度信号レベルは100%、バックライトのゲインは100%のままである。バックライト208の左半分の電力が1%になることから、全体での電力はほぼ200Wとなる。
【0098】
バックライト208の電力は、全体で最大の400W以下であればよい。したがって、
図8に示したように、バックライト208の左半分で節電して得た余剰の電力を右半分に利用することができる。
図9に示す例では、液晶表示パネル207の左半分の輝度信号レベルを100%、左半分のバックライトのゲインを1%にしている。一方、右半分の輝度信号レベルは100%であるが、バックライトのゲインを200%に吊り上げることができる。これによって、高輝度のダイナミック・レンジが約2倍に向上する。また、バックライト208全体での電力は最大の400Wを超えないようにすることができる。
【産業上の利用可能性】
【0099】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【0100】
本明細書で開示する技術によれば、低ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジにKnee圧縮された画像を、Knee圧縮の定義情報なしに、実空間の明るさに近い高ダイナミック・レンジを持つ画像に変換することができる。また、本明細書で開示する技術は、元々低輝度ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジで製作されたコンテンツを高ダイナミック・レンジの画像に変換しようとする場合にも適用することができ、自然な高輝度信号情報を表現することができる。
【0101】
本明細書で開示する技術は、テレビ受信機や、パーソナル・コンピューターなどの情報機器で利用されるモニター・ディスプレイ、ゲーム機、プロジェクター、プリンター、スマートフォン、タブレットなどの多機能端末といった、HDR画像を表示又は出力するさまざまな装置に適用することができる。
【0102】
また、本明細書で開示する技術は、静止画並びに動画のいずれについても適用して、入力画像の圧縮された高輝度信号情報を復元して、実空間の明るさに近づけることができる。
【0103】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0104】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
を具備する画像処理装置。
(2)前記調整部は、前記判定部による判定結果に基づいて輝度を補正する輝度補正部と、階調に応じて輝度信号を補正する輝度信号補正部と、輝度信号の補正に伴う色相の変化を補正する色信号補正部を備える、
上記(1)に記載の画像処理装置。
(3)前記輝度補正部は、前記判定部が判定した高輝度信号情報の縮退度合いに応じて、すべての階調にわたり、輝度を向上させる、
上記(2)に記載の画像処理装置。
(4)前記輝度信号補正部は、縮退されている階調と縮退されていない階調に対して信号カーブを最適化する、
上記(2)に記載の画像処理装置。
(5)前記色信号補正部は、前記輝度信号補正部により輝度信号を補正したことに伴い色相が変化したときにその変化を逆補正して元の色相を維持する、
上記(2)に記載の画像処理装置。
(6)前記色信号補正部は、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する、
上記(2)に記載の画像処理装置。
(7)前記判定部は、入力画像の輝度信号レベルに基づいて、その高輝度信号情報の縮退度合いを判定する、
上記(1)に記載の画像処理装置。
(8)前記判定部は、入力画像内の最大輝度信号レベル、入力画像内の最大輝度信号レベル値近傍の量、入力画像内の輝度信号の平均値、入力画像内の黒レベル値近傍の量のうち少なくとも1つに基づいて高輝度信号情報の縮退度合いを判定する、
上記(1)に記載の画像処理装置。
(9)入力画像の高輝度信号情報の縮退度合いを判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて、入力画像を調整する調整ステップと、
を有する画像処理方法。
(10)入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
調整された画像を表示する表示部と、
を具備する画像表示装置。