(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0015】
〈HDRディスプレイ〉
本実施の形態にかかる表示システムは、HDRの映像を表示する表示システムである。
図1に、表示システムの全体構成を示す。表示システムは、プロジェクタ10と、インターフェース部30と、処理装置40とを備えている。
【0016】
プロジェクタ10は、HDR対応のディスプレイ(表示装置)であり、動画又は静止画の映像を表示する。例えば、プロジェクタ10は、16ビットのRGBの表示信号に基づいて、映像を表示する。すなわち、プロジェクタ10のRGBの各画素では、0〜65535の階調表示が行われる。なお、以下の説明において、データ、又は信号のビット数は、RGBの各画素の階調値を示す値となる。
【0017】
プロジェクタ10は、背面投射型のプロジェクタ(リアプロジェクタ)であり、投射部11と、投射レンズ12と、ミラー13と、スクリーン14とを備えている。なお、本実施の形態では、HDR対応のディスプレイが背面投射型のプロジェクタ10であるとして説明するが、反射型のプロジェクタ、あるいは、プラズマディスプレイ、液晶ディスプレイ、有機EL(Electroluminescent)ディスプレイなどの他のディスプレイ(表示装置)であってもよい。
【0018】
投射部11は、スクリーン14上に映像を投射するため、表示信号に基づいて投射光を生成する。例えば、投射部11は、光源、及び空間変調器を備えている。光源は、ランプ又はLED(Light Emitting Diode)などである。空間変調器はLCOS(Liquid Crystal On Silicon)パネル、透過型液晶パネル、又は、DMD(Digital Mirror Device)などである。投射部11は、光源からの光を空間変調器で変調する。そして、空間変調器で変調された光が、投射レンズ12から投射光として出射される。投射レンズ12からの投射光は、ミラー13でスクリーン14の方向に反射されている。投影レンズ12は、複数のレンズを有しており、投射部11からの映像をスクリーン14上に拡大投影する。
【0019】
処理装置40は、例えばパーソナルコンピュータ(PC)等であり、CPU(Central Processing Unit)、メモリ、グラフィックカード、キーボード、マウス、入出力ポート(入出力I/F)等を備えている。映像入出力に関する入出力ポートは、例えば、HDMI(High Definition Multimedia Interface)、DisplayPort、DVI(Digital Visual Interface)、SDI(Serial Digital Interface)等である。処理装置40は、メモリやハードディスクなどに、映像ファイルを格納している。あるいは、処理装置40は、デジタルカメラであってもよい。処理装置40がデジタルカメラである場合、処理装置40は、撮像素子で取得した映像に対して所定の処理を行う。
【0020】
インターフェース部30は、処理装置40とプロジェクタ10との間にインターフェースを有している。すなわち、インターフェース部30を介して、処理装置40とプロジェクタ10との間でデータが伝送される。具体的には、インターフェース部30は処理装置40の出力ポート、プロジェクタ10の入力ポート、及び、出力ポートと入力ポートを接続するAV(Audio Visual)ケーブル等を備えている。
【0021】
処理装置40は、インターフェース部30に伝送される伝送データを生成する。具体的には、処理装置40は、メモリ等に映像ファイルを格納している。処理装置40は、映像ファイルに基づいて、インターフェース部30のインターフェースの規格に準拠した伝送データを生成する。そして、処理装置40は、インターフェース部30を介して、プロジェクタ10に伝送データを出力する。すなわち、インターフェース部30は、処理装置40で生成された伝送データをプロジェクタ10に伝送する。プロジェクタ10は、入力された伝送データに基づいて、表示信号を生成する。そして、プロジェクタ10は、表示信号に基づいて、映像を表示する。
【0022】
ここで、処理装置40のグラフィックカード、又はインターフェース部30のインターフェースによって、インターフェース部30で伝送されるビット数(ビット幅)が制限される。例えば、HDMI(High Definition Multimedia Interface)、DisplayPort、DVI(Digital Visual Interface)、SDI(Serial Digital Interface)等の汎用インターフェースでは、8ビット(256階調)又は12ビット(4096階調)の低ビットデータまでしか伝送することができない場合がある。一方、プロジェクタ10で表示することができるHDR映像は16ビット、又は32ビットの高ビットデータである。そのため、本実施形態では処理装置40がインターフェース部30のインターフェース規格に準拠した低ビットの映像データ(表示階調データ)を含む伝送データを生成している。
【0023】
以下の説明において、インターフェース部30で伝送することができるビット数(ビット幅)のデータを低ビットのデータ(例えば8ビット又は12ビット)とし、低ビットデータより高いビット数(ビット幅)のデータを高ビットのデータ(例えば、16ビット又は32ビット)として説明を行う。すなわち、インターフェース部30が8ビットのデータを伝送可能な場合、8ビットデータは、低ビットのデータとなり、8ビットよりも大きいデータは、高ビットのデータとなる。また、インターフェース部30が12ビットのデータを伝送可能な場合、12ビットデータは、低ビットのデータとなり、12ビットよりも大きいデータは、高ビットのデータとなる。プロジェクタ10は高ビットの映像、すなわちHDR映像を表示する。よって、プロジェクタ10は広いダイナミックレンジでキャプチャされたカメラ映像やHDRで作成されたCG映像を正しく表示することができる。
【0024】
図2に表示システムにおける処理を模式化したブロック図を示す。処理装置40とプロジェクタ10とは、2つのインターフェース30a、30bを介して接続されている。処理装置40は、エンコーダ41とマッピング部42を備えている。処理装置40には、例えば、映像ファイルに含まれる画像データ、及び撮影環境データが入力される。なお、処理装置40は、画像データ、及び撮影環境データをメモリ等に格納して、メモリから読み出すようにしてもよい。
【0025】
画像データは、16bit TIFFや、Open EXR等のフォーマットで記録されている。画像データは、汎用AVインターフェースのサポート外のフォーマットでメモリ等に格納されている。画像データは、例えば、16ビット又は32ビットの高ビットデータである。画像データは、画素毎に、16ビット階調又は32ビット階調のデータを含んでいる。例えば16ビット階調のデータを8ビット階調にすることで、階調値が256分の1に圧縮されてしまい、階調性が悪化する。したがって、汎用のインターフェース30a、又はインターフェース30bを介してそのまま伝送すると、画質が劣化してしまう。撮影環境データは、撮影環境を示すデータである。例えば、画像データがデジタルカメラで取得したデータである場合、撮影環境データは、デジタルカメラのシャッタスピード、F値、ISO感度等を示すメタデータである。
【0026】
エンコーダ41は、撮影環境データ、及び画像データをエンコードして、伝送データを生成する。より具体的には、エンコーダ41は、撮影環境データ、及び画像データに基づいて、一つの映像データを生成する。映像データには、高ビットの階調データが含まれている。すなわち、映像データに含まれる階調データは、高ビットのデータである。さらに、エンコーダ41は、高ビットの映像データに基づいて、インターフェース部30の規格に応じた伝送データを生成する。伝送データは、インターフェース部30で伝送可能な低ビットデータである。
【0027】
マッピング部42は、インターフェース部30のインターフェースに応じて、マッピング処理を行う。なお、マッピング部42の処理については後述する。そして、伝送データがインターフェース部30を介して伝送される。
【0028】
本実施の形態では、インターフェース部30が2つのインターフェース30a、30bを有している。インターフェース30a、30bはそれぞれ映像、及び音声を伝送可能なAVインターフェースである。例えば、インターフェース30aは、HDMIであり、インターフェース30bは、DVIである。このように、2つのインターフェース30a、30bを、異なる規格とすることが可能である。また、インターフェース30a、30bはそれぞれHDMI、DisplayPort,DVI、及びSDI等のいずれか1つであればよい。もちろん、インターフェース30a、30bは、HDMI、DisplayPort,DVI、又はSDI以外の汎用インターフェースであってもよい。すなわち、インターフェース30a、30bはそれぞれ低ビットのビデオデータを送信する汎用インターフェースである。
【0029】
また、インターフェース30aとインターフェース30bは同じ規格であってもよい。例えば、処理装置40にHDMI出力端子が2つある場合、一方のHDMI出力端子がインターフェース30aとなり、他方のHDMI出力端子がインターフェース30bとなってもよい。この場合、もちろん、プロジェクタ10にも2つのHDMI入力端子が設けられている。インターフェース30a、30bは、物理的に2つのインターフェースであれば、同じ規格であっても異なる規格であってもよい。換言すると、インターフェース部30はプロジェクタ10と処理装置40とを接続する2本のAVケーブルを有している。
【0030】
プロジェクタ10は、処理部21、表示素子22、D−Range制御部23、絞り(アパーチャ)24、及び光源25を備えている。処理部21は、プロセッサやメモリ等を備えており、伝送データに対して所定の処理を行う。処理部21は、インターフェース部30を介して伝送された2つの伝送データに基づいて、表示信号、及び制御信号を生成する。
【0031】
処理部21で生成された表示信号は、表示素子22に出力される。表示素子22は、投射部11に設けられた空間変調器などを有しており、表示信号に基づいて光を変調する。すなわち、表示素子22は、複数の画素を備えており、表示信号に基づいて、各画素を駆動する。これにより、プロジェクタ10は、所望の映像を表示する。
【0032】
さらに、処理部21で生成された制御信号は、D−Range制御部23に入力される。D−Range制御部23は、制御信号に基づいて、プロジェクタ10のダイナミックレンジを制御する。具体的には、D−Range制御部23は、絞り24、及び光源25を制御する。例えば、D−Range制御部23は、投射レンズ12に設けられている絞り24の開口の大きさを制御する。絞り24は、スクリーンにおける輝度を動画像の1フレーム単位で制御する。
【0033】
また、D−Range制御部23は、投射部11に設けられている光源25の発光量を制御する。光源25は、スクリーンにおける輝度を動画像の1フレーム単位で制御する。なお、表示装置としてプロジェクタ10の代わりに液晶ディスプレイなどを用いた場合、D−Range制御部23はローカルディミング的に光源25の光量を制御してもよい。この場合、投射部11には独立に制御可能な複数の光源25が設けられている。そして、1フレームの映像の一部を高輝度とし、他の一部を低輝度とする。D−Range制御部23が制御信号に基づいて、絞り24、及び光源25を制御することにより、所望の輝度で映像が表示される。よって、より高画質で映像を表示することができる。なお、D−Range制御部23は、絞り24、光源25の一方のみを制御するようにしてもよい。
【0034】
次に、処理装置40のエンコーダ41での処理について
図3を用いて説明する。
図3は、エンコーダ41での処理を示すブロック図である。エンコーダ41は、ファイルI/O51、信号処理部52、HDR(High Dynamic Range)変換部53、伝送変換部54、SDR(Standard Dynamic Range)変換部55、及び付加データ算出部56を備えている。ここでは、表示する映像ファイルがカメラで撮影したRAWデータファイルとなっているとして説明する。
【0035】
ファイルI/O51は、カメラが撮影したRAWデータファイルをメモリ等から読み出す。ファイルI/Oは、RAWデータファイルから画像データ、及びメタデータを抽出する。なお、画像データは、10〜16ビットの固定小数点方式のデータ(10〜16bit fixed)である。画像データが16ビットの場合、各画素は16ビット(0〜65535)の値を取る。また、画像データは、ガンマ補正が行われていないデータである。メタデータは、撮影時のデジタルカメラのシャッタスピード、F値、ISO感度を示すデータである。すなわち、メタデータは、
図2の撮影環境データに相当する。
【0036】
ファイルI/O51で抽出された画像データは、信号処理部52に入力される。信号処理部52は必要に応じて、画像データに信号処理を施す。具体的には、信号処理部52は、ホワイトバランス(White balance)処理、色変換(color conversion)処理を行う。ホワイトバランス処理では、あるターゲットの色温度とするために、RGBの入力に、所定のゲイン値を乗じる。すなわち、信号処理部52はRの入力にRのゲインを乗じる。同様に、信号処理部52はGの入力にGのゲイン値を乗じ、Bの入力にBのゲイン値を乗じる。これにより、ホワイトバランスを補正することができる。色変換は、3*3のマトリクス計算によるRGBの数値セットをRGBの別の数値セットに変換する。
【0037】
信号処理部52での処理が施された画像データは、HDR変換部53に入力される。また、RAWデータファイルから抽出されたメタデータは、HDR変換部53に入力される。HDR変換部53は、メタデータ、及び画像データに基づいて、HDRの映像データを生成する。HDR映像データは16〜32ビットの固定小数点方式のデータ(16-32bit fixed)である
。HDR変換部53は、デジタルカメラで撮影した時のダイナミックレンジに対応するHDR映像データを生成する。
【0038】
例えば、HDR変換部53は、メタデータから明るさ(cd/m2)−階調値のリファレンスデータを決める。そして、HDR変換部53は、リファレンスデータに基づいて、HDR信号に変換する。リファレンスデータは、一番明るいシーンでの設定(F値、シャッタスピード、ISO)を基準する、つまり、後述のHDRデータの最大輝度値を規定するため、撮像条件として輝度が一番高い条件を基準とする方法を用いて設定される。また、キャリブレーションされたカメラであれば、規定された明るさ(輝度)の条件下での撮像条件を基準にする、等の他の方法を用いてもよい。
【0039】
入力されたメタデータのISO感度が200、F値が2.8、シャッタスピードが1/512であるとする。また、基準となるメタデータ(基準設定)では、ISO感度が400、F値が4.0.シャッタスピードが1/64であるとする。カメラのセンサに入る光量は基準設定に対して、ISO感度で1/2倍、F値で2倍、シャッタスピードで1/8倍となるため、合計1/8倍となる。
【0040】
RAWデータファイルに含まれる画像データが12ビットとする。そして、R(赤色)の画素データが4020(/4095)、G(緑色)の画素データが250(/4095)、B(青色)の画素データが1920(/4095)であるとする。HDR変換部53は、ビット幅を16ビットに拡張して(すなわち、16倍して)、光量比の1/8倍している。したがって、トータルで2倍の値となる。すなわち、16ビットのHDR映像では、R=8040(/65535)、G=500(/65535)、B
=3840(/65535)となる。このようにすることで、入力信号の欠落が生じない。
【0041】
HDR変換部53はHDR映像データを伝送変換部54に出力する。伝送変換部54は、HDR映像データに対して伝送変換処理を施す。例えば、伝送変換部54は、ガンマ(Gamma)処理、ガマット(Gamut)処理、ノーマライゼーション(normalization)処理を行う。
【0042】
ガンマ処理では、例えば、1次元のLUT(Look Up Table)によって、ガンマ補正を行う。ガマット処理では、3次元のLUTにより、カラーガマット(色域)変換を行う。ノーマライゼーション処理では、出力ビット数に入力ビット数を合わせる処理を行う。例えば、入力が16ビットで出力が12ビットの場合、入力を1/16倍して出力する。あるいは、12ビットの最大値である4095でクリッピングして出力する。
【0043】
伝送変換部54で伝送変換されたHDR映像データは、SDR変換部55に入力される。SDR変換部55は、映像データをSDR変換する。すなわち、SDR変換部55は、高ビットのHDR映像データを、低ビットのSDR映像データに変換する。
【0044】
本実施の形態では、16ビットのHDR映像データを12ビットのSDR映像データとして出力する例について説明する。SDR変換部55は、16ビットの入力を14ビットに圧縮して、12ビットでクリッピングして出力する。
図4は、SDR変換部55における処理を説明するための図である。
図4において、横軸は入力値であり、縦軸は出力値となっている。HDR映像データが0〜16384の場合、SDR映像データは、HDR映像データの1/4倍した値の整数部となる。HDR映像データが16384〜65535の場合、SDR映像データは、4095にクリッピングされる。このようにすることで、16ビット(0〜65535)のHDR映像データが12ビット(0〜4095)のSDR映像データに変換される。SDR変換部55は、SDR映像データをoutput1として、マッピング部42に出力する。
SDR映像データoutput1はsRGB等の汎用フォーマットになっている。さらに、SDR変換部55は、SDR映像データPを付加データ算出部56に出力する。
【0045】
なお、SDR変換部55が
図4では12ビットのSDR映像データを出力するとして説明したが、8ビットのSDR映像データを出力するようにしてもよい。すなわち、SDR変換部55の出力は、インターフェース部30で伝送可能な伝送データのビット数に応じて設定することができる。例えば、インターフェース部30で8ビットの伝送データを伝送可能な場合、SDR変換部55は、8ビットのSDR映像データを生成する。この場合、圧縮率、及びクリッピングする値を適宜変更することで、所定のビット数のSDR映像を生成することができる。
【0046】
図3の説明に戻る。SDR映像データPは、付加データ算出部56に入力される。さらに、付加データ算出部56には、伝送変換部54からのHDR映像データQが入力されている。付加データ算出部56は、HDR映像データQ、及びSDR映像データPに基づいて、付加データを生成する。付加データは、SDR映像データに付加されるデータである。
【0047】
上記のように、インターフェース部30が12ビットの伝送データを伝送可能である場合、16ビットのHDR映像データを12ビットのSDR映像データにしている。付加データ算出部56が12ビットの付加データを生成している。
【0048】
以下の式に示すように、付加データ算出部56はSDR映像データP、及びHDR映像データQに基づいて付加データoutput2を生成する。
IF(P<4095)
Output2=Q-P*4
ELSE
Output2 = ((float)Q/16384.0) * 1024.0 (整数部のみ出力)
【0049】
Pが4095よりも小さい場合、output2は0〜3の整数値(差分値)となる。Pが4095以上の場合、output2は、1024〜4095の整数値(ゲイン値)となる。このように付加データ算出部56は12ビットの付加データを生成する。付加データ算出部56は、付加データをoutput2として、マッピング部42に出力する。
【0050】
なお、条件分岐IFにおける値(4095)は、output2のビット幅(12ビット)の最大値となっている。P<4095の場合、Pに圧縮比率(ここでは4)を乗じた値をQから減算することで、output2を算出することができる。output1(SDR映像データ)が12ビットで、HDR映像データが16ビットである。HDR映像データとSDR映像データのレンジ差を4倍とするため、圧縮比率を4にしている。すなわち、12ビット+2ビット(4倍)=14ビットであり、入力16ビットに対して2ビット圧縮して14ビットとしている。このように、16ビット(65535)を14ビット(16383)に圧縮しているため、本実施の形態では圧縮比率が4(=65535/16383)となっている。
【0051】
なお、ELSEにおける1024は、クリッピングによる圧縮比率から算出されたゲイン係数でゲイン比率が1.0になる値となっている。本実施形態ではクリッピングで14ビットから12ビットに圧縮しており、output1,2が12ビットなので、4096/(16383/4095)=1024となっている。すなわち、output1,2のビット幅の最大値(4095)をクリッピングによる圧縮比率(16383/4095)で除した値となっている。もちろん、上記の式における値は、HDR映像データ、及びSDR映像データのビット数に応じて適宜変更することができる。例えば、
図4のようなグラフに基づいて、SDR映像データを生成する場合、グラフ中の値に応じて、式の値を適宜変更することができる。
【0052】
次に、マッピング部42の処理について、
図5を用いて説明する。
図5は、マッピング部42、及びインターフェース部30での処理を模式的に示すブロック図である。マッピング部42は、インターフェース部30に応じて、SDR映像データoutput1、付加データoutput2をマッピングする。上記のように、マッピング部42は、SDR映像データoutput1、付加データoutput2が入力される。また、インターフェース部30には、2つのインターフェース30a、30bが設けられている。
【0053】
したがって、
図5では、SDR映像データoutput1、及び付加データoutput2がそのまま伝送データに含まれる。SDR映像データoutput1がインターフェース30aを介して伝送され、付加データoutput2がインターフェース30bを介して伝送される。インターフェース部30は、SDR映像データoutput1、及び付加データoutput2を並列に伝送する。すなわち、SDR映像データoutput1、及び付加データoutput2は同時に伝送される。
【0054】
このように2つのインターフェース30a、30bを介して伝送される2つの伝送データinput1、input2は、SDR映像データoutput1と、付加データoutput2とを含んでいる。すなわち、インターフェース30aで伝送される第1の伝送データinput1がSDR映像データoutput1を含み、インターフェース30bで伝送される第2の伝送データinput2が付加データoutput2を含んでいる。また、2つの伝送データは、フレームや画素アドレスに関する情報を含んでいる。インターフェース部30を介して伝送された2つの伝送データinput1、input2は、プロジェクタ10に入力される。
【0055】
図6を用いて、プロジェクタ10における処理について説明する。
図6は、プロジェクタ10の処理を説明するためのブロック図である。
図6に示すように、プロジェクタ10は、処理部21、表示素子22、D−Range制御部23、絞り24、及び光源25を備えている。処理部21は、デコーダ26と、パラメータ算出部27とを備えている。
【0056】
インターフェース部30を介してプロジェクタ10に入力された伝送データは、SDR映像データPと付加データRを含んでいる。上記したように、第1の伝送データがSDR映像データPを含み、第2の伝送データが付加データRを含んでいる。デコーダ26は、SDR映像データPと付加データRをデコードして、HDR映像データSを生成する。デコーダ26は、以下の式により、HDR映像データSを生成する。
【0057】
IF(R<1024)
S=R+P*4
ELSE
S = 4095.0 * ((float)R/1024.0) (整数部のみ出力)
【0058】
Rが1024よりも小さい場合は、Pも4095よりも小さくなるため、HDR映像データSは0〜16383の値となる。Rが1024以上の場合は、Pも4095以上となるため、HDR映像
データSは16384〜65535の値となる。このようにHDR映像データSは0〜65536の16ビットのデータとなる。よって、処理装置40におけるHDR映像データQと同等のHDR映像データSが復元される。
【0059】
なお、第1の伝送データ、及び第2の伝送データにはフレームや画素アドレスに関する情報が付加されているため、デコーダ26は、同じフレームで同じ画素アドレスにおけるSDR映像データPと付加データRを合成して、HDR映像データSを生成することができる。デコーダ26は、SDR映像データP及び付加データRをデコードしてHDR映像データSを生成する。ここで、HDR映像データSは、16ビットのデータである。パラメータ算出部27は、HDR映像データに基づいて、表示信号と、制御信号を生成する。
図7を用いて、パラメータ算出部27における処理を説明する。
【0060】
パラメータ算出部27は、HDR映像データを上位ビット側のデータと下位ビット側のデータに分割する。具体的には、パラメータ算出部27は、16ビットのHDR映像データの上位4ビットをD−rangeパラメータとする。そして、パラメータ算出部27は、D−rangeパラメータに基づいて、制御信号を生成する。さらに、パラメータ算出部27は、HDR映像データの下位12ビットに基づいて表示信号を生成する。すなわち、パラメータ算出部27は、MSB(Most Significant bit)側の4ビットと、LSB(Least significant bit)側の12ビットに分割する。そして、パラメータ算出部27は、MSB側の4ビットに基づいて、制御信号を生成し、LSB側の12ビットに基づいて、表示信号を生成する。
【0061】
パラメータ算出部27で生成された表示信号は、表示素子22に入力される。表示素子22は、表示信号に基づいて、映像を表示する。表示素子22はマトリクス状に配列された複数の画素を備えており、各画素が表示信号に基づいて駆動される。これにより、RGBの各画素が12ビットの階調表示を行い、所望の映像を表示することができる。
【0062】
制御信号は、D−Range制御部23に入力される。D−Range制御部23は、上記のように、絞り24、光源25を制御する。制御信号に基づいて、絞り24、及び光源25の出力が制御される。絞り24の開口を広くすることで、輝度が高くなり、狭くすることで輝度が低くなる。また、光源25の出力を上げる
ことで、輝度が高くなり、光源25の出力を下げることで、輝度が低くなる。このように、絞り24、及び光源25は、制御信号によって、表示される映像の輝度を調整する輝度調整部となる。もちろん、絞り24、及び光源25のいずれか一方のみによって、輝度を調整してもよい。制御信号は、例えば、1フレーム毎に絞り24、及び光源25を制御する。制御信号は、4ビットであるため、D−Range制御部23は、フレームの輝度を16段階で調整することができる。
【0063】
なお、上記の説明では、パラメータ算出部27がHDR映像データを上位4ビットと、下位12ビットに分けているが、パラメータ算出部27が分割するビット位置は、表示素子22、絞り24、光源25の性能に応じて設定すればよい。例えば、表示素子22の各画素が8ビットの階調で表示を行い、絞り24、光源25が8ビットで輝度調整できるのであれば、パラメータ算出部27がHDR映像データを上位8ビットと下位8ビットに分割すればよい。
【0064】
さらに、表示素子22の各画素がHDR映像データと同じビット数で階調表示可能であれば、D−Range制御部23がHDR映像データを分割しなくてもよい。すなわち、16ビットの階調表示可能な表示素子22であれば、処理部21が16ビットのHDR映像データに基づいて16ビットの表示信号を生成する。この場合、D−Range制御部23等は不要となる。
【0065】
このように、処理装置40は、HDR映像データから、SDR映像データ、及びSDR映像データに付加される付加データを生成している。インターフェース30aがSDR映像データを含む第1の伝送データを、インターフェース30bが付加データを含む第2の伝送データを伝送している。したがって、インターフェース30a、インターフェース30bがそれぞれSDR映像データフォーマットにしか対応していない場合でも、プロジェクタ10側でHDR映像を表示することができる。よって、汎用的なインターフェースを用いて、HDR映像を表示することができる。これにより、汎用性を高くすることができる。
【0066】
さらにプロジェクタ10では、制御信号に基づいて、ダイナミックレンジを
制御するD−Range制御部23を備えている。制御信号は、SDR映像データ、及び付加データに応じて生成される。具体的には、デコーダ26が生成したHDR映像データの上位ビット側のデータによって、制御信号が生成される。よって、D−Range制御部23が、表示映像の輝度を容易に調整することができるようになる。よって、ダイナミックレンジを適切に調整することができる。
【0067】
〈汎用ディスプレイ〉
次に、プロジェクタ10がHDR対応ではない汎用ディスプレイである例について、
図8を用いて説明する。
図8は、表示システムの主要部分の構成を示すブロック図である。なお、
図8では、
図2、
図3等と同様の構成について省略して図示している。
【0068】
図8では、
図1、
図2で示したプロジェクタ10がHDR映像を表示することができない汎用ディスプレイとなっている。すなわち、プロジェクタ10がSDR映像データよりも高いビット数(多階調)の映像表示を行うことができない。この場合、
図8に示すように、インターフェース部30に設けられた一つのインターフェース30aによって、SDR映像データを含む伝送データを伝送すればよい。
【0069】
具体的には、
図8に示すように、SDR変換部55からはSDR映像データoutput1がマッピング部42に入力され、付加データ算出部56からは付加データoutput2がマッピング部42に入力される。これは、
図4、
図6と同様である。マッピング部42は、SDR映像データoutput1に対応する第1の伝送データのみをインターフェース30aに出力する。すなわち、インターフェース部30は付加データoutput2に対応する第2の伝送データをプロジェクタ10に伝送しない。SDR映像データoutput1は、単独で、SDR映像が表示可能な低ビット映像データである。例えば、SDR映像データoutput1は、sRGBフォーマットとなっている。
【0070】
インターフェース30aは、上記のようにHDMI等の汎用インターフェースである。よって、SDR映像データを伝送することができる。そして、プロジェクタ10は、SDR映像データから表示信号を生成して、SDR映像を表示する。すなわち、インターフェース30aの規格に応じた低ビットの映像を表示する。付加データが無い場合でも、プロジェクタ10は、SDR映像データoutput1に基づいて、SDR映像を表示する。
【0071】
このように、プロジェクタ10がSDR映像にしか対応していない汎用ディスプレイである場合でも、汎用I/Fであるインターフェース30aがSDR映像データoutput1を伝送する。よって、汎用性を高くすることができる。すなわち、処理装置40は、プロジェクタ10がHDR対応、非対応に関わら
ず、SDR映像データとそれに付加される付加データを生成している。そして、インターフェース部30の構成に応じて適切な伝送データを送るように、マッピング部42がマッピングを行っている。
【0072】
HDR対応のプロジェクタ10の場合、インターフェース部30は、SDR映像データと付加データを含む伝送データを伝送する。プロジェクタ10は、SDR映像データと付加データに基づいて、HDR映像データを生成する。これにより、プロジェクタ10がHDR映像を表示することができる。一方、HDR非対応のプロジェクタ10の場合、インターフェース部30は、付加データを伝送せずに、SDR映像データを含む伝送データをプロジェクタ10に伝送する。プロジェクタ10は、SDR映像データに基づいて、表示信号を生成している。処理装置40側のエンコード処理を共通化することができる。インターフェース部30の構成に応じて、処理を変更する必要がないため、汎用性を高くすることができる。すなわち、処理装置40をHDRディスプレイ、及び汎用ディスプレイのいずれにも接続することができる。
【0073】
上記の例では、SDR映像データは、4095でクリッピングした値となっている。すなわち、SDR変換部55がHDR映像データからSDR映像データを生成する場合、SDR変換部55は、HDR映像データの階調値を、所定のビット数だけ圧縮するとともに、圧縮した値をインターフェース30aのビット数に応じた値でクリッピングした値に変換している。例えば、
図4に示すように、HDR映像データの階調値が16384〜65535の場合、SDR映像データの階調値は4095となる。SDR映像データの階調値が4095の場合プロジェクタ10では白表示が行われる。このようにすることで、適切なレンジでSDR映像を表示することができる。
【0074】
〈CGデータ〉
図9を用いて、処理装置40で処理される映像ファイルがCGファイルの場合について説明する。
図9では、映像ファイルがopen EXRデータファイルの場合の例を示している。
図9は、処理装置40の主要部分の構成を示すブロック図である。
図9は、エンコーダ41の一部を示すブロック図である。なお、HDR変換部53以降の構成、及び処理については、
図3等と同様であるため、説明を省略する。
【0075】
ファイルI/O51は、open EXRデータファイルを読み出して、32ビット浮動小数点(float)の画像データを抽出する。そして、ファイルI/O51は、画像データをHDR変換部53に出力する。また、HDR変換部53には、絶対的な輝度を示すD−rangeパラメータが
図3のメタデータの代わりに入力される。
【0076】
CGデータの場合、映像データのダイナミックレンジが無限大(実際には32ビット浮動小数点で表現できる範囲)である。D−rangeパラメータはダイナミックレンジをあるダイナミックレンジ内のデータにするためのパラメータである。
【0077】
HDR変換部53は、D−rangeパラメータと32ビット浮動小数点(32bit float)の画像データから、HDR映像データを生成する。HDR映像データは、
図3と同様に16〜32ビットの固定少数点のデータである。このように、open EXRデータファイル等のCGデータでも同様の処理を行うことができる。よって、汎用性を向上することができる。
【0078】
D−rangeパラメータを用いて、HDR変換部53がHDR映像データを生成するための処理について、
図10を参照して説明する。
図10は、CGデータを用いた場合のHDR変換部53で処理を説明するための図である。CGデータでは、D−rangeパラメータを用いて絶対輝度を表現することができる。D−rangeパラメータとして、シーンの最大輝度が10000cd/m
2(1.0/32bit float, range 0.0-1.0)と設定されているとする。また、プロジェクタ10の最大輝度は2500cd/m
2(65535/16bit)とする。
【0079】
図10では、絶対輝度でのマッチングを行う処理を示している。すなわち、プロジェクタ10の最大輝度が2500cd/m
2であるため、入力が0〜0.25(=2500cd/m
2)までは、入力と出力(HDR映像データ)がリニアに変化する。例えば、入力が0.25(2500cd/m
2)のとき、出力されるHDR映像データの階調値は65535となる。そして、入力が0.25より大きくなると、HDR映像データの階調値は65535でクリッピングされる。すなわち、入力が0.25より大きく、1.0以下である場合、HDR映像データの階調値は65535で一定となる。このように、
図10では、プロジェクタ10で出力できる輝度以上の入力をクリッピングしている。
【0080】
HDR変換部53がHDR映像データを生成するための別の処理について、
図11を参照して説明する。
図11では、入力と出力がリニアに変化している。D−rangeパラメータとして、シーンの最大輝度が10000cd/m
2(1.0/32bit float, range 0.0-1.0)と設定されているとする。また、プロジェクタ10の最大輝度は2500cd/m
2(65535/16bit)とする。したがって、入力の1/4倍が出力となるように輝度レンジを圧縮する。例えば、入力が0.25(2500cd/m
2)であると、出力されるHDR映像データの階調値は16384となる。入力が1.0(10000cd/m
2)であると、出力されるHDR映像データの階調値は65535(最大値)となる。このように、D−rangeパラメータの最大輝度と、プロジェクタ10の最大輝度の比で輝度レンジを圧縮している。
【0081】
HDR変換部53がHDR映像データを生成するための別の処理について、
図12を参照して説明する。
図12は、
図10での処理と
図11での処理を組み合わせた処理を行っている。具体的には、規定値である2000cd/m
2までは、
図10に示すように、絶対輝度をマッチングさせている。2000cd/m
2より上の輝度では、輝度レンジを圧縮している。したがって、
図12のように、傾きが異なる2つの直線で、HDR映像データを生成することができる。もしくは、圧縮されている方を非線形の関数でHDR映像データを生成することも可能となる。
【0082】
規定値を2000cd/m
2としたため、入力が0〜0.20(=2000cd/m
2)の範囲では、入力と出力(HDR映像データ)がリニアに変化する。例えば、入力が0.20(2000cd/m
2)のとき、出力されるHDR映像データの階調値は52429となる。入力が0〜0.20(=2000cd/m
2)の範囲では、入力と出力の関係が
図10と一致する。
【0083】
そして、入力が0.20より大きくなると、輝度レンジが圧縮されるため、直線又は非線形で出力を求めることができる。したがって、入力が1.0(10000cd/m
2)のとき、出力されるHDR映像データの階調値は65535となる。このように、
図10〜
図12に示された処理によって、D−rangeパラメータを有するCGデータから、HDR映像データを生成する。もちろん、HDR変換部53は、その他の処理により、HDR映像データを生成してもよい。
【0084】
〈3次元画像フォーマット〉
次に、インターフェース部30が3次元(3D)画像フォーマットを伝送可能な場合について、
図13を用いて説明する。
図13は、3D画像を伝送可能なインターフェース部30とマッピング部42における処理を示す図である。なお、インターフェース部30とマッピング部42以外の構成、及び処理については、上記の説明と重複するため説明を省略する。
【0085】
インターフェース部30のインターフェース30aは、3D画像フォーマットを伝送可能である。ここで、3D画像フォーマットは、
図13に示すように左画像と右画像とを含むサイドバイサイドフォーマットである。すなわち、3D画像は、左画像と右画像とを合成することで生成される
。インターフェース部30はサイドバイサイドフォーマットの3D画像を伝送する。3D画像はHDR画像よりも低い低ビット数のSDR画像である。
【0086】
例えば、3D画像の解像度と、HDR
画像の解像度が同じである。この場合、左画像と右画像もHDR画像と同じ解像度となる。マッピング部42は、SDR映像データoutput1を、左画像及び右画像の一方に割り当て、付加データoutput2を左画像及び右画像の他方に割り当てる。
図13では、マッピング部42が、左画像にSDR映像データoutput1に割り
当て、右画像に付加データoutput2を割り当てている。この場合、マッピング部42は3Dエンコーダとすることができる。
【0087】
インターフェース部30は、左画像に割り当てられたSDR映像データoutput1と、右画像に割り当てられた付加データoutput2を一つの伝送データとして伝送する。したがって、SDR映像データoutput1と、付加データoutput2とが同時に伝送される。
【0088】
例えば、3D画像の画素アドレス(x,y)に対応する左画像の画素アドレスを(x
L,y
L)とし、右画像の画素アドレスを(x
R,y
R)とする。HDR画像における画素アドレス(x,y)のSDR映像データoutput1を(x
L,y
L)のデータとし、付加データoutput2を(X
R,Y
R)のデータとする。そして、左画像と右画像を伝送可能な1つのインターフェース30aが、HDR映像データoutput1、及び、付加データoutput2を伝送する。プロジェクタ10は、3D画像中の画素アドレス(x
L,y
L)に割り当てられたHDR映像データと、画素アドレス(x
R,y
R)に割り当てられた付加データとを用いて、画素アドレス(x,y)HDR映像データを生成する。
【0089】
プロジェクタ10の処理部は、左画像と右画像の同じ画素アドレスを用いて、その画素アドレスのHDR映像データを生成する。1つのインターフェース30aを有する表示システム100であれば、HDR映像を表示することができるようになる。すなわち、3D画像を表示可能なインターフェース30aが一つ以上あれば、HDR映像をプロジェクタ10が表示することができるようになる。よって、より汎用性を高くすることができる。
【0090】
〈高解像度画像フォーマット〉
図14は、高解像度画像フォーマットを伝送可能なインターフェース部30を備えた場合の処理を説明するための図である。
図14は、高解像度画像を伝送可能なインターフェース部30とマッピング部42における処理を示す図である。なお、インターフェース部30とマッピング部42以外の構成、及び処理については、上記の説明と重複するため説明を省略する。
【0091】
図14では、高解像度画像が4K解像度(横4096×縦2160)であり、HDR映像の解像度が2K(横2048×縦1080)であるとして説明する。4K画像の画素アドレスの範囲は、X=1〜4096となり、Y=1〜2160となる。プロジェクタ10の解像度は、2Kである。2K画像の画素アドレスの範囲は、X=1〜2048となり、Y=1〜1080となる。インターフェース部30のインターフェース30aは、4Kの解像度の画像を伝送可能である。すなわち、インターフェース30aは、プロジェクタ10の解像度よりも高い高解像度フォーマットの伝送データを伝送可能である。
【0092】
本実施の形態では、SDR映像データoutput1と付加データoutput2を4K画像の異なる画素アドレスに分散させて伝送する。例えば、高解像度画像を左上、右上、左下、右下に四等分している。左上領域61では、画素アドレスがX=1〜2048、Y=1〜1080となる。右上領域62では、画素アドレスがX=2049〜4096、Y=1〜1080となる。左下領域63では画素アドレスが
X=1〜2048、Y=1081〜2160となる。右下領域64では、画素アドレスがX=2049〜4096、Y=1081〜2160となる。このように、4つの領域61〜64は、それぞれ2K画像分の画素数を有している。
【0093】
そして、マッピング部42が高解像度画像の左上領域61にSDR映像データoutput1を割り当てている。また、マッピング部42が高解像度画像の右上領域62、
左下領域63、及び
右下領域64に付加データoutput2を割り当てている。
図14では、右上領域62に付加データoutput2-1が割り当てられている。左下領域63に付加データoutput2-2が割り当てられている。右下領域64に付加データoutput2-3が割り当てられている。
【0094】
インターフェース部30は、4K画像を伝送可能なインターフェース30aを有している。インターフェース30aは、4K画像の全画素分のデータを伝送する。したがって、インターフェース30aは、SDR映像データoutput1と、付加データoutput2-1〜output2-3を伝送することができる。この場合、SDR映像データoutput1と付加データoutput2は交互に伝送される。そして、プロジェクタ10が異なる画素アドレスに分散した
SDR映像データoutput1と付加データoutput2-1〜output2-3をデコードして、HDR映像データを生成する。
【0095】
プロジェクタ10の処理部は、4分割した領域の対応する画素アドレスのSDR映像データoutput1と、付加データoutput2-1〜output2-3を用いて、HDR映像データを生成する。例えば、画素アドレス(1,1)のSDR映像データと、画素アドレス(2001,1)の付加データoutput2-1と、画素アドレス(1,1001)の付加データoutput2-2と、画素アドレス(2001,1001)付加データoutput2-3とを用いて、画素アドレス(1,1)のHDR映像データを生成する。このように、4K画像における4画素分のデータを用いて、HDR映像における1画素分の映像データを生成する。
【0096】
このようにすることで、SDR映像に対応するインターフェース30aが一つしか設けられていない場合でも、HDR映像を表示することができる。さらに、
図14の構成では、付加データをより多ビットとすることができる。ここでは、付加データをSDR映像データの3倍のビット数とすることができる。高解像度フォーマットの場合、差分データとして扱える量が2ポート出力の場合より大きくすることができる。(2K入力で4K出力の場合は、2K2ポートの3倍の差分値データを転送できる)そのため、差分値入力(output2)のビット幅を大きく取ることができる。
【0097】
もちろん、SDR映像データoutput1と付加データoutput2とが同じビット幅となっていてもよい。この場合、マッピング部42が
SDR映像データoutput1を4K画像の半分に割り当て、付加データoutput2をもう半分に割り当てる。これにより、より多ビットのHDR映像データを伝送することができる。
【0098】
1つのインターフェース30aを有する表示システム100であれば、HDR映像を表示することができるようになる。すなわち、高解像度画像フォーマットを伝送可能なインターフェース30aがあれば、低解像度のHDR映像をプロジェクタ10が表示することができるようになる。よって、より汎用性を高くすることができる。
【0099】
このように、処理装置40がHDR映像データに基づいて、HDR映像データの階調ビット数よりも小さいビット数のSDR映像データを含む伝送データを生成している。さらに、処理装置40は、HDR映像データから、SDR映像データ、及びSDR映像データに付加される付加データを生成している。そして、インターフェース部30は、伝送データを伝送している。プロジェクタ10は、インターフェース部30を介して伝送された伝送データに基づいて表示信号を生成し、表示信号に基づいて映像を表示している。これにより、汎用性を高くすることができる。
【0100】
また、いずれの場合においても、HDR映像データからSDR映像データ、及び付加データを生成する処理は同じである。エンコーダ41での処理を共通化することができる。よって、より汎用性を向上することができる。すなわち、マッピング部42における処理を変えるだけでよいため、処理、及び構成を簡素化することができる。
【0101】
(ダイナミックレンジ制御1)
次に、ダイナミックレンジ制御の一例(ダイナミックレンジ制御1)について説明する。
図15は本制御例を行うためプロジェクタ10の構成を示すブロック図である。
図15に示すプロジェクタ10の基本的構成は、
図6と同様であるため、適宜説明を省略する。例えば、SDR映像データP、
付加データRからHDR映像データSを生成する方法については、上記と同様であるため、説明を省略する。
【0102】
絞り24、光源25の少なくとも一方が調光デバイスとして機能する。ここで、光源25が、表示素子22の全面を同時に照射するような光源の場合、絞り24は、開口率を変化させても画素単位では調光できない。すなわち、絞り24、および光源25はローカルディミングできないため、フレーム毎に制御される。つまり、絞り24はフレーム単位で開口率が変化する。したがって、1フレーム内で絞り24の開口率は一定となる。
【0103】
そして、パラメータ算出部27は、調光デバイスの分解能に応じた制御信号を生成する。ここでは、絞り24が、4ビットの分解能を有する調光デバイスとして機能する例について説明する。具体的には、絞り24は、16段階で開口率を制御することができる。絞り24は、4ビットの制御信号に基づいて、開口率を制御する。
【0104】
図16は、制御信号と絞り24の開口率(射出光量)との関係を示す表である。
図16に示すように、4ビットの制御信号(IN)の値に応じて、絞り24の開口率(OUT)が変化している。制御信号の値が15の時に、絞り24の開口率が最大となる。なお、絞り24の開口率の最大値を1として正規化している。制御信号の値が小さくなるにしたがって、絞り24の開口率が小さくなっていく。そして、制御信号の値が0の場合、絞りの開口率が0.1となる。すなわち、制御信号の値が15の場合の明るさは、制御信号の値が0の場合の10倍となる。
【0105】
制御信号は、例えば、1フレーム内で最大の値を取るHDR映像データSの上位4ビットとすることができる。すなわち、最大値を取る画素の上位4ビットの値が制御信号となる。あるいは、制御信号は、1フレーム内のHDR映像データSの平均値の上位4ビット
にしてもよい。あるいは、局所的な平均値の上位4ビットを、制御信号としてもよい。このように、最大値又は平均値などにより制御信号が決定される。なお、制御信号の決定手法は、ディスプレイ用途に応じたものとなる。
【0106】
そして、パラメータ算出部27が制御信号の値を決定したら、各画素の表示信号を設定する。パラメータ算出部27は、画素毎に、16ビットのHDR映像データSを12ビットの表示信号(4096階調値)に変換する。例えば、16ビットのHDR映像データSの下位12ビットに基づいて、12ビットの表示信号を生成する。これにより、表示素子22は、12ビットの表示信号の12ビットの階調値に基づいて画素毎に光を変調する。
【0107】
パラメータ算出部27が、HDR映像データSに基づいて、制御信号、及び表示信号を生成している。HDR映像データSは16ビット
であるが、RGB表示素子22は、4096階調(12ビット)の駆動制御が可能であるため、表示素子22に出力される表示信号も12ビットとなっている。
【0108】
図17を基にして、HDR映像データSと明るさの関係について説明する。
図17では、横軸がHDR映像データSであり、縦軸が表示画像の明るさ(相対値)となっている。
図17において、制御信号の値に応じて、HDR映像データSと明るさの関係が異なる直線で示されている。具体的には、それぞれの直線に制御信号の値(
図17における0〜4、14、15)が付されている。
【0109】
HDR映像データSの16ビット階調に対して、制御信号の値が4096階調毎に1ずつ増加して対応しているとする。例えば、上記した1フレーム内におけるHDR映像データの最大値により制御信号を決定する場合について考える。HDR映像データSの最大値が0〜4095の場合、制御信号の値が0となり、HDR映像データSの最大値が4096〜8191の場合、制御信号の値が1となる。そして、各制御信号の値において、0から最大の明るさまでを12ビットの階調で表現する。制御信号の値が0の場合、0〜4095を12ビットに割り当て、制御信号の値が1の場合、0〜8191を12ビットに割り当てる。ここでは、1フレーム毎に絞り24が調光しているため、1フレーム期間の全画素の階調が1つの制御信号の値に基づいた1つの直線で表現される。
【0110】
例えば、パラメータ算出部27は、以下に示す計算により、表示信号と制御信号を生成する。まず、パラメータ算出部27は、制御信号として使用するHDR映像データSのMSB4ビットから
図16の右列の明るさデータB1を取得する。そして、パラメータ算出部27は、それぞれの画素データのMSB4ビットの明るさデータB2と比較して、制御する明るさとの比(B2/B1)を算出する。パラメータ算出部27は、HDR映像データSのLSB12ビットの信号に算出した比の値をかけることで表示信号を決定する。
【0111】
たとえば、画素1が1111000000000000で、画素2が00001111111111111であったとする。なお、最も明るい画素では、HDR映像データSが1111111111111111となっている。
図16によれば、画素1では、明るさB
2は1.0で、画素2では明るさB
2は0.1となる。よって、画素2の明るさの比(B2/B1)は、(0.1/1.0)=0.1となる。ここで、下位13ビットを抜き出して計算して12ビットに変換することで、画素1と画素2の表示信号を算出する。画素1の表示信号としては、4096(1000000000000)×1.0/2=2048(100000000000)となり、画素2の表示信号としては、4095(0111111111111)×0.1/2≒205(000011001101)となる。このような計算が、
図17の12分の階調を振り直す処理に対応する。
【0112】
制御信号の値が大きくなるほど、直線の傾きが急峻になる。言い換えると、制御信号の値が
大きくなるほど、明るさのダイナミックレンジを広くすることができる。例えば、制御信号の値が15の時、最大の明るさでの表示が可能となる。すなわち、明るさが0〜1のダイナミックレンジを12ビット階調で表示することができる。また、制御信号の値が0の時、明るさ0〜0.1のダイナミックレンジを12ビット階調で表示することができる。よって、低輝度階調をより細かく表現することができる。
【0113】
このように、低輝度階調に多くの階調を割り当てることができるため、低輝度階調に敏感な人間の目にとってより適切な表示を行うことができる。
【0114】
なお、絞り24ではなく、光源25によってD−range制御を行う方が、最大光量と最小光量の比(コントラスト)をより大きくすることができる。さらには、1フレーム毎のD−range制御ではなく、1フレームを複数に分割した領域毎のD−range制御を行うことも可能である。また、制御信号のビット数は4ビットに限られるものではない。絞り24や光源25の性能に応じて、制御信号のビット数を設定すればよい。
【0115】
上記の説明では、制御信号に対する絞り24の開口率を線形にしているが、非線形となっていてもよい。調光デバイスによる調光が信号に対して非線形の場合の制御について、
図18を用いて説明する。非線形の場合、ルックアップテーブル(LUT)を用いて、表示信号を生成する。
【0116】
具体的には、パラメータ算出部27がまず、HDR映像データSの上位4ビットに応じて、制御信号を生成する。そして、パラメータ算出部27は、上記したように制御信号をD−Range制御部23に出力する。D−Range制御部23による制御は、上記と同様であるため説明を省略する。
【0117】
さらに、パラメータ算出部27は、制御信号をLUT選択部28に出力する。LUT選択部28は、制御信号の値に応じて、LUTを選択するための選択信号を出力する。制御信号のビット数に応じた数のLUTが予めメモリなどに格納されている。例えば、制御信号が4ビットの場合、LUT選択部28には、16個のLUTが格納されている。そして、LUT選択部28は、予め格納された複数のLUTの中から制御信号の値に対応するLUTを選択する。
【0118】
LUTには、HDR映像データSと表示信号とが対応付けられている。LUT演算部29は、HDR映像データSに基づいて、12ビットの表示信号を生成する。すなわち、LUT演算部29は、選択されたLUTを参照して、HDR映像データSの値を12ビットの値に変換する。これにより、12ビットの表示信号が生成される。
【0119】
また、制御信号は、調光デバイスの分解能に応じたビット数とすることができる。例えば、調光デバイスの分解能が1ビットの場合、例えば、絞り24や光源25が2段階で調光する場合、制御信号も1ビットとすることできる。また、絞り24、及び光源25の両方を調光デバイスとして用いてもよい。この場合、制御信号を絞り24、及び光源25に割り当てればよい。
【0120】
さらに、調光デバイスがない汎用ディスプレイで表示を行う場合、LUTが固定となる。すなわち、HDR映像データSの値に関わらず、LUT選択部28
は1つのLUTを選択する。LUTは、HDR映像データSをSDR映像データに変換するためのトーンマッピングデータとなる。そして、表示素子22のビット数に応じた表示信号を生成すればよい。
【0121】
上記の処理は、プロジェクタ10が行っても、処理装置40が行ってもよい。処理装置40が行う場合、接続されたプロジェクタ10の性能に応じて、処理装置40が処理を行う。プロジェクタ10から出力されるEDID(Extended Display Identified Data)を用いて、プロジェクタ10の機種を特定する。そして、特定された機種に応じて、表示信号、及び制御信号のビット数が決定される。2ポートを介して、処理装置40が制御信号、及び表示信号をプロジェクタ10に伝送すればよい。
【0122】
(ダイナミックレンジ制御2)
次に、別のダイナミックレンジの制御例(ダイナミックレンジ制御2)について、
図19、
図20を用いて説明する。
図19は、表示システム100の全体構成を示す図である。ダイナミックレンジ制御2では、
図1の表示システム100に液晶パネル15が追加されている。すなわち、投射部11からの光が、液晶パネル15を介して、スクリーン14に投影されている。なお、液晶パネル15以外の構成、及び基本的な制御については、上記と同様であるため説明を省略する。
【0123】
液晶パネル15は、ローカルディミング可能な調光デバイスとして機能する。例えば、液晶パネル15は複数の画素を有している。そして、液晶パネル15は、画素毎に投射部11からスクリーン14に通過する通過光量を制御する。さらに、液晶パネル15は、制御信号に応じて画素毎に透過光量を制御する。液晶パネル15の画素が、投射部11の画素と対応している。よって、液晶パネル15が制御信号に応じて画素を階調制御することで、ダイナミックレンジを広くすることができる。ここで、液晶パネル15は、RGBのカラー表示に対応したものではない。液晶パネル15は、以下に説明するように、RGB信号ではなく、輝度信号(Y)に応じて輝度変調を行う。なお、
図19では、透過型の液晶パネル15を使用しているが、特開2007−310045号公報に示すように反射型の液晶パネル15を使用してもよい。
【0124】
デコーダ26は、HDR映像データSを第1変換部71に出力する。HDR映像データSは16ビットのRGB信号である。第1変換部71は、HDR映像データSを輝度信号(Y)と色差信号(CbCr)に変換する。HDR映像データSが16ビットであるため、輝度信号(Y)と色差信号(CbCr)も16ビットとなっている。第1変換部71は16ビットの輝度信号(Y)と色差信号(CbCr)をパラメータ算出部27に出力する。
【0125】
パラメータ算出部27は、輝度信号(Y)に応じて、制御信号を生成する。ここでは、輝度信号(Y)のMSB側のビットに応じて、制御信号を生成する。すなわち、制御信号が4ビットである場合、輝度信号(Y)のMSB側の4ビットに応じて、制御信号を作成する。制御信号のビット数は、液晶パネル15の階調数に応じた値となる。
【0126】
パラメータ算出部27は、制御信号をD−Range制御部23に出力する。D−Range制御部23は、制御信号に基づいて、液晶パネル15の各画素を駆動するための駆動信号を出力する。これにより、液晶パネル15の各画素が駆動される。すなわち、液晶パネル15は、輝度信号(Y)に応じて輝度変調を行う。したがって、液晶パネル15は、駆動信号に基づいて、各画素の輝度(階調)を制御する。
【0127】
さらに、パラメータ算出部27は、12ビットの輝度信号(Y)と16ビットの色差信号(CbCr)を、第2変換部72に出力する。第2変換部72は、輝度信号(Y)と色差信号(CbCr)をRGBの表示信号に変換する。すなわち、第2変換部72は、輝度信号(Y)と色差信号(CbCr)に基づいて、表示信号を生成する。なお、パラメータ算出部27から出力される輝度信号(Y)は、表示信号のビット数に合わせて、12ビットとなっている。表示素子22は、上記の通り、12ビットの表示信号に応じて、カラー画像表示を行う。
【0128】
表示素子22の投射部11は、液晶パネル15を介して、スクリーン14上に画像を投射する。液晶パネル15は、上記の通り、階調制御を行っている。これにより、投射部11からの投射光の光量が液晶パネル15において制御される。よって、ダイナミックレンジを広くすることができる。また、液晶パネル15をより多階調とすることで、より精細に画像を表示することができる。例えば、HDR映像データSが16ビットである場合において、表示信号を12ビットのRGB信号とし、液晶パネル15を8ビットの輝度信号(Y)としてもよい。この場合、合計20ビットを用いて、HDR映像データSを表現すればよい。
【0129】
輝度信号(Y)はリニアであっても、ガンマ値がかかっていてもよい。液晶パネル15と投射部11とを用いた場合のガンマ補正について、
図21を用いて説明する。
図21において、横軸が入力値、縦軸が光出力(輝度)となっている。本制御例では、プロジェクタ10のガンマ値が2.2であるとして説明を行う。
【0130】
本実施の形態では、入力されるHDR映像データSを2つに分割している。そして、
図21に示すように、投射部11のガンマ特性を1.1とし、液晶パネル15のガンマ特性を1.1としている。そして、投射部11に入力される表示信号、及び液晶パネル15に入力される駆動信号がガンマ値を調整して生成される。表示信号と駆動信号の生成には、例えば、ルックアップテーブルを用いることができる。
【0131】
なお、投射部11、及び液晶パネル15のガンマ特性はこれらの値に限られない。すなわち、第1の出力特性におけるガンマ値と第2の出力特性におけるガンマ値との和が、プロジェクタ10のガンマ値に等しければよい。このようにガンマ特性を考慮して、パラメータ算出部27が駆動信号、及び表示信号を生成すればよい。
【0132】
図22は、液晶パネル15の変調を暗部側の所定範囲に限定した場合の一例を示している。
図22に示した例では、プロジェクタ10のガンマ特性のガンマ値が2.2で規定されていた場合において、投射レンズ12の出力特性のガンマ値を2.2(ただし、入力が0.25以下の場合のガンマ値は1.2)とし、液晶パネル15のガンマ値を1とした例である。また、液晶パネル15のガンマ特性では、入力値が0.25以上の場合、光出力量が一律に最大となっている。このように、液晶パネル15の出力特性は、入力値が予め定められた値以上である場合、出力が最大値に固定されてもよい。これにより、液晶パネル15の全階調を入力値が0.25以下のガンマの領域に割り当てることができるようになり、暗部側の階調をより細かい階調で表現できる。なお、各実施の形態、及び実施例は、適宜組み合わせることが可能である。
【0133】
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0134】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。