(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態を図に基づき説明する。
【0019】
<表示装置の概要>
図1は、本実施形態に係る表示装置の概略構成図である。すなわち、本実施形態の表示装置であるディスプレイパネル10は、表示エリア(センサエリア)11と、表示用H(水平)方向の走査を行う選択スイッチ12と、表示用V(垂直)方向を走査するVドライバ13と、ディスプレイドライバ14と、センサドライバ15と、複数のフォトセンサPSとを備えている。
【0020】
表示エリア(センサエリア)11は、図示しないバックライトからの光を変調して表示光を出射する。複数のフォトセンサPSは、表示エリア11の周辺に配置されており、センサドライバ15によって駆動している。ディスプレイドライバ14とセンサドライバ15とは集積回路化されており、基板上にチップ部品として実装される。
【0021】
選択スイッチ12は、ディスプレイドライバ14から供給される表示駆動用の表示信号および制御クロックに基づいて、Vドライバ13と共に表示エリア11内の各画素の液晶素子を線順次駆動するものである。
【0022】
表示エリア11の周辺には、複数のフォトセンサPSが配置されている。フォトセンサPSはダイオード構成やトランジスタ構成から成り、例えば、表示エリア11に形成される駆動素子と同一基板上に形成される。
【0023】
ディスプレイパネル10はケーブルによって外部のインタフェース(例えば、ディスプレイインタフェース、CPUインタフェース)とバックライトコントローラとに接続され、これらからの制御信号や映像信号によって駆動することになる。
【0024】
図1に示す例では、表示エリア11の隅部に対応して4つのフォトセンサPSが設けられているが、少なくとも2つのフォトセンサが設けられていればよく、1つは外光の光量を検出する第1のフォトセンサ、他の1つは遮光時の暗電流を検出する第2のフォトセンサとなる。本実施形態では、これらのフォトセンサによる検出結果に基づき、バックライトの光量を制御部(バックライトコントローラ)が制御することになる。
【0025】
図2は、本実施形態に係る他の表示装置の概略構成図である。
図2に示す表示装置であるディスプレイパネル10は、先に説明した
図1に示すディスプレイパネル10とフォトセンサPSの配置が異なること以外は同様である。すなわち、
図2に示すディスプレイパネル10では、フォトセンサPSが表示エリア11内に配置され、表示エリア11内に配置されたフォトセンサPSによって外光の光量を検出する。
【0026】
図2に示す例では、表示エリア11内の4つのフォトセンサPSが設けられているが、少なくとも2つのフォトセンサが設けられていればよい。そのうち1つフォトセンサPSは表示エリア11内に配置され、他の1つのフォトセンサPSは表示エリア11もしくは表示エリア11の周辺に設けられている。
【0027】
ここで、表示エリア11内に配置されるフォトセンサPSは、外光の光量を検出する第1のフォトセンサ、表示エリア11内もしくは表示エリア11の周辺に設けられる他のフォトセンサPSは遮光時の暗電流を検出する第2のフォトセンサとなる。本実施形態では、これらのフォトセンサによる検出結果に基づき、バックライトの光量を制御部(バックライトコントローラ)が制御することになる。
【0028】
次に、上記表示装置における2つのフォトセンサの具体的な適用例について説明する。
【0029】
<第1実施形態:コンパレータ特性の個体差の影響を無くすための構成>
本実施形態は、表示エリアの近傍もしくは表示エリア内で同一基板上に形成されるフォトセンサであって、外光の光量を検出する第1のフォトセンサと遮光時の暗電流を検出する第2のフォトセンサとの出力を演算する構成において、第1のフォトセンサと第2のフォトセンサとを切り替えて同一のコンパレータ(比較器)を用いて検出結果を保持しておき、差分演算回路でこれらの差分を求める回路構成となっている。
【0030】
ここで、
図23に示す従来例では、暗電流は自動的に除去されるが、
図22の方法を用いた場合には出力側で暗電流の除去が必要になる。暗電流を除去するためには、フォトセンサを2個配置し片側のセンサを光が当たらないようにカラーフィルタ(Black)で遮光する。遮光したセンサの出力は暗電流分のみとなるため、光を当てたセンサの出力との差分を演算する事で、明電流だけを算出することができるようになる。
【0031】
しかし、従来の構造をLTPSで実現した場合、コンパレータは個体差が大きく、出力に差が出てしまうという問題がある。
【0032】
そこで、本実施形態では、
図3に示すように、調光側、遮光側のそれぞれのフォトセンサPS1、PS2の出力に切り替えスイッチSW1、SW2をつけて、同じコンパレータ102を用いて時分割で読み出すことで、コンパレータ102の誤差を除去することが可能となり、さらには回路面積削減の効果を得ることもできる。
【0033】
<第1実施形態に係る表示装置による表示制御方法>
上記のように、本実施形態に係る表示装置には、外光の光量を検出する第1のフォトセンサPS1と、遮光時の暗電流を検出する第2のフォトセンサPS2とが設けられており、これらの検出結果と所定の基準値との比較を一つのコンパレータ102で行う構成である。このため、第1のフォトセンサPS1と第2のフォトセンサPS2とを切り替えるとともに、コンパレータ102を時分割で動作させる。
【0034】
先ず、第1のフォトセンサPS1の切り替えスイッチSW1をOFF、第2のフォトセンサPS2の切り替えスイッチSW2をONにする。この状態で、第2のフォトセンサPS2のリセットを1度ON/OFFして検出を開始する。第2のフォトセンサPS2には黒のカラーフィルタが設けられていることから、遮光時の暗電流の計測となる。検出結果はコンパレータ102の一方の入力に送られる。また、コンパレータ102の他方の入力には第2のフォトセンサPS2を選択した際に用いる所定の基準値が入力されている。
【0035】
そして、検出開始から第2のフォトセンサPS2の検出値が所定の基準値を超えるまでの時間(例えば、ステップ数)をカウントし、差分演算回路104のメモリに記憶する。
【0036】
次に、第2のフォトセンサPS2の切り替えスイッチSW2をOFF、第1のフォトセンサPS1の切り替えスイッチSW1をONにする。この状態で、第1のフォトセンサPS1のリセットを1度ON/OFFして検出を開始する。第1のフォトセンサPS1は周辺の光を受けることができ、明光時の電流を計測することになる。検出結果はコンパレータ102の一方の入力に送られる。また、コンパレータ102の他方の入力には第1のフォトセンサPS1を選択した際に用いる所定の基準値が入力されている。
【0037】
そして、検出開始から第1のフォトセンサPS1の検出値が所定の基準値を超えるまでの時間(例えば、ステップ数)をカウントし、差分演算回路104のメモリに記憶する。
【0038】
次に、差分演算回路104のメモリに記憶された第1のフォトセンサPS1での検出結果と第2のフォトセンサPS2での検出結果とを読み出し、差分演算回路104によって第1のフォトセンサPS1での検出結果から第2のフォトセンサPS2での検出結果を差し引く演算を行う。これにより、明光時の検出結果から暗電流の分を差し引いた結果を得ることができる。そして、この演算結果に基づき、表示エリア11(
図1参照)に照射されるバックライトの光量をバックライトコントローラによって制御する。例えば、周辺の光量が多いほどバックライトの光量を増加し、反対に外光の光量が少ないほどバックライトの光量を減少させる。
【0039】
このように、2つのフォトセンサPS1、PS2についての検出結果を一つのコンパレータ102によって比較し、その値を用いて演算することから、コンパレータ102の特性ばらつきによる影響を
低減することができ、正確な光量検出を行うことが可能となる。
【0040】
<第2実施形態:フォトセンサ特性の個体差の影響を無くすための構成>
図4は、第2実施形態に係る表示装置の主要部を説明する回路図である。この表示装置は、外光の光量を検出する第1のフォトセンサPS1、遮光時の暗電流を検出する第2のフォトセンサPS2、第1のフォトセンサPS1と第2のフォトセンサPS2とを切り替える切り替えスイッチSW1、SW2、コンパレータ102を備える点で第1実施形態(
図3参照)と同様であるが、第1のフォトセンサPS1および第2のフォトセンサPS2とに共通する出力線に接続される付加容量Cが可変となっている点、コンパレータ102の基準値が可変となっている点で相違する。
【0041】
本実施形態の表示装置における付加容量Cは、第1のフォトセンサPS1が選択された場合と第2のフォトセンサPS2が選択された場合とで切り替え可能となっている。また、本実施形態の表示装置におけるコンパレータ102の基準値も、第1のフォトセンサPS1が選択された場合と第2のフォトセンサPS2が選択された場合とで切り替え可能となっている。
【0042】
ここで、第1のフォトセンサPS1と第2のフォトセンサPS2とによって光量の検出を行う場合、第1のフォトセンサPS1と第2のフォトセンサPS2とで素子の特性に個体差があると、その出力の精度が低下してしまう原因となる。
【0043】
そこで、本実施形態では、フォトセンサPS1、PS2の素子の個体差を調整する手段として、上記のような付加容量Cの可変およびコンパレータ102の基準値の可変を行うことができる構成をとっている。
【0044】
このような構成では、表示装置について初期キャリブレーションを行い、その値をフィードバックすることで、フォトセンサPS1、PS2の素子の個体バラツキを吸収させることができる。例えば、初期キャリブレーション(例えば、製品出荷時のキャリブレーション)において、第1のフォトセンサPS1で暗電流を検出した際の検出結果と、第2のフォトセンサPS2で暗電流を検出した際の検出結果とが一致するよう付加容量Cもしくは基準値を調整する。
【0045】
具体的には、付加容量Cの調整を行う場合、先ず、コンパレータ102の基準値をref1の一定にするとともに第1のフォトセンサPS1で一定の付加容量C(ここでは、C1と言う。)にした場合の暗電流を検出し、コンパレータ102による比較結果を求める。
【0046】
次いで、先と同じコンパレータ102の基準値ref1を用い、第2のフォトセンサPS2で暗電流を検出してコンパレータ102による比較結果を求める。この際、付加容量Cを可変して、先に検出した第1のフォトセンサPS1での比較結果と一致する付加容量C(ここでは、C2と言う。)を決定する。
【0047】
また、基準値の調整を行う場合、先ず、付加容量CをC1に固定するとともにコンパレータ102の基準値をref1の一定に設定する。そして、第1のフォトセンサPS1で暗電流を検出し、コンパレータ102による比較結果を求める。次いで、先と同じ付加容量C1において第2のフォトセンサPS2で暗電流を検出してコンパレータ102による比較結果を求める。この際、コンパレータ102の基準値を可変して、先に検出した第1のフォトセンサPS1での比較結果と一致する基準値(ここでは、ref2と言う。)を決定する。
【0048】
そして、第1のフォトセンサPS1に対応する付加容量C1もしくは基準値ref1と、第2のフォトセンサPS2に対応する付加容量C2もしくは基準値ref2とを記憶しておき、実際の光量計測の際に適用する。
【0049】
<第2実施形態に係る表示装置による表示制御方法>
上記のように、本実施形態に係る表示装置には、外光の光量を検出する第1のフォトセンサPS1と、遮光時の暗電流を検出する第2のフォトセンサPS2とが設けられており、これらの検出結果と所定の基準値との比較を一つのコンパレータ102で行う構成である。このため、第1のフォトセンサPS1と第2のフォトセンサPS2とを切り替えスイッチSW1、SW2によって切り替えるとともに、コンパレータ102を時分割で動作させる。また、予め、第1のフォトセンサPS1に対応する付加容量C1もしくは基準値ref1と、第2のフォトセンサPS2に対応する付加容量C2もしくは基準値ref2とが記憶されていることを前提とし、これらを切り替えて測定を行う。
【0050】
先ず、第1のフォトセンサPS1の切り替えスイッチSW1をOFF、第2のフォトセンサPS2の切り替えスイッチSW2をONにする。また、予め記憶してある第2のフォトセンサPS2に対応する付加容量C2もしくは基準値ref2を設定し、この状態で、第2のフォトセンサPS2のリセットを1度ON/OFFして検出を開始する。第2のフォトセンサPS2には黒のカラーフィルタが設けられていることから、遮光時の暗電流の計測となる。検出結果はコンパレータ102の一方の入力に送られる。また、コンパレータ102の他方の入力には第2のフォトセンサPS2を選択した際に用いる所定の基準値ref2が入力されている。
【0051】
そして、検出開始から第2のフォトセンサの検出値が所定の基準値ref2を超えるまでの時間(例えば、ステップ数)をカウントし、差分演算回路104のメモリに記憶する。
【0052】
次に、第2のフォトセンサPS2の切り替えスイッチSW2をOFF、第1のフォトセンサPS1の切り替えスイッチSW1をONにする。また、予め記憶してある第1のフォトセンサPS1に対応する付加容量C1もしくは基準値ref1を設定し、この状態で、第1のフォトセンサPS1のリセットを1度ON/OFFして検出を開始する。第1のフォトセンサPS1は周辺の光を受けることができ、明光時の電流を計測することになる。検出結果はコンパレータ102の一方の入力に送られる。また、コンパレータ102の他方の入力には第1のフォトセンサPS1を選択した際に用いる所定の基準値ref1が入力されている。
【0053】
そして、検出開始から第1のフォトセンサPS1の検出値が所定の基準値ref1を超えるまでの時間(例えば、ステップ数)をカウントし、差分演算回路104のメモリに記憶する。
【0054】
次に、差分演算回路104のメモリに記憶された第1のフォトセンサPS1での検出結果と第2のフォトセンサPS2での検出結果とを読み出し、差分演算回路104(
図3参照)によって第1のフォトセンサPS1での検出結果から第2のフォトセンサPS2での検出結果を差し引く演算を行う。これにより、明光時の検出結果から暗電流の分を差し引いた結果を得ることができる。そして、この演算結果に基づき、表示エリア11(
図1参照)に照射されるバックライトの光量をバックライトコントローラによって制御する。例えば、外光の光量が多いほどバックライトの光量を増加し、反対に外光の光量が少ないほどバックライトの光量を減少させる。
【0055】
このように、2つのフォトセンサPS1、PS2について、各々付加容量C1、C2もしくは基準値ref1、ref2を設定して検出を行い、その検出結果を一つのコンパレータ102によって比較することから、2つのフォトセンサPS1、PS2で特性ばらつき、およびコンパレータ102の特性ばらつきによる影響を
低減することができ、正確な光量検出を行うことが可能となる。
【0056】
なお、2つのフォトセンサPS1、PS2の特性ばらつきを抑制する構成として、上記の付加容量Cもしくは基準値の切り替えのほか、以下のようなものが考えられる。
【0057】
(1)2つのフォトセンサ(もしくはそのうちのいずれか一方)の素子サイズを可変する機能を備え、これらのフォトセンサの素子サイズを外部より制御できる回路を内蔵する。
図5は、第2のフォトセンサの素子サイズを変更できる構成を示す回路図である。第2のフォトセンサPS2を並列で複数設けておき、これらのいくつを設けるかをスイッチによって選択できるようにしておく。この選択は、予め初期キャリブレーションで求めておき、第2のフォトセンサPS2を用いた光量(暗電流)検出の際に適用する。選択する素子サイズは、予め不揮発性メモリに記録した値に設定するようにしてもよい。また、スイッチの代わりにヒューズを設け、選択する素子サイズに合わせてヒューズを焼き切るようにしてもよい。
(2)表示エリアと同一基板上に形成されるフォトセンサであって、フォトセンサの素子特性に合わせてフォトセンサの素子の電源電圧を変化できる構成。
(3)2つのフォトセンサ(もしくはそのうちいずれか一方)のリセット時にフォトセンサに与える電圧を可変する機能を備え、フォトセンサに与える電圧を外部より制御できる回路を内蔵する。そして、予め初期キャリブレーションでリセット時に与える電圧を求めておき、フォトセンサを用いた光量(暗電流)検出の際に適用する。
【0058】
<第3実施形態:温度や外光照度による分解能低下を回避する構成>
本実施形態は、
図4、
図5に示す構成の表示装置を用いて、温度や外光照度によるフォトセンサの分解能低下を回避する手法である。
【0059】
LTPSでは、
図6に示すように、暗電流(トランジスタリーク)の特性に激しい温度特性を持っている。したがって、
図4や
図5に示す表示装置の構成において、フォトセンサの素子に流れる電流を容量にチャージしてコンパレータを通して時間として出力するセンサ回路の場合、高温側で暗電流が増大してしまうと容量にチャージされる電荷が増えるため、出力時間が短くなり検出分解能が低下するという問題がある。
【0060】
そこで、本実施形態では、
図4、
図5に示す表示装置に用いられる外部から容量選択可能な付加容量Cを利用し、温度や外光照度によるフォトセンサの分解能低下を回避する。
【0061】
すなわち、高温時や高照度時に付加容量Cにすぐに電荷が溜まってしまい、分解能が低下するような状況では、外部からの制御で付加容量Cを増加させ、付加容量Cに電荷がチャージされる時間を延ばすようにして、フォトセンサの分解能を上げるようにする。また、逆に電流が少ない低温や低照度時には、付加容量Cを小さくするようにして、付加容量Cに電荷がチャージする時間を制御し、測定時間を短縮するようにしている。
【0062】
このような付加容量Cの切り替え制御は、先に説明した第2のフォトセンサPS2による暗電流の検出および第1のフォトセンサPS1による周辺光量の検出を行う前のイニシャライズ期間に行う。イニシャライズ期間としては、例えば、表示エリア11(
図1参照)で画像を表示する際の垂直ブランキング期間が挙げられる。
【0063】
<第3実施形態に係る表示装置による表示制御方法>
次に、本実施形態の表示装置による具体的に表示制御方法を説明する。前述したように、LTPSの暗電流は激しい温度特性を持っている。このため、
図4に示す表示装置において、遮光測定側のフォトセンサ(第2のフォトセンサPS2)と明光測定側のフォトセンサ(第1のフォトセンサPS1)とを別々に用いて測定し、その出力の差分を演算して明電流を測定する場合、分解能を確保するために付加容量Cを可変させれば良いが、温度変化が大きいため付加容量Cの設定幅を大きくしなければならず、最適な容量を選ぶことが困難である。
【0064】
そこで、本実施形態では、次のような方法によって最適な付加容量Cの選択を行い、表示制御を実現している。
【0065】
先ず、遮光測定側である第2のフォトセンサPS2をキャリブレーション時と同じ設定で測定し、その値と比較することで暗電流の変化を測定することができる。つまり、キャリブレーション時は一定の温度環境下で暗電流の検出を行っていることから、第2のフォトセンサPS2での暗電流の検出値とキャリブレーション時の検出値との比較によって、これを温度変化に換算することができる。
【0066】
図7は、これを前提とした本実施形態の表示制御方法の流れを説明する図である。初めに、イニシャライズとして、第2のフォトセンサの選択、キャリブレーション時のコンパレータ基準値および付加容量の選択を行う。その後、第2のフォトセンサによって遮光時の電流を測定する(第1計測ステップ)。
【0067】
次に、イニシャライズとして、第2のフォトセンサの選択、キャリブレーション時のコンパレータ基準値の選択、第1ステップでの第2のフォトセンサによる測定結果とキャリブレーション時の測定結果との比率から、暗電流量を推測して最適容量を選択し、その後、もう一度第2のフォトセンサで遮光時の電流を測定する(第2計測ステップ)。
【0068】
次いで、イニシャライズとして、第1のフォトセンサの選択、キャリブレーション時のコンパレータ基準値の選択、上記最適容量の選択を行い、その後、第1のフォトセンサによって周辺光量を測定する(第3計測ステップ)。そして、上記測定結果から以下の演算式によって照度を算出する。
【0069】
Lout=L0×SL×Sbk/(Sbk−SL)/Sc
ここで、
Lout:出力照度[lx]
Sbk:キャリブレーション時の第2のフォトセンサによる遮光時の暗電流によるコンパレータ出力値[時間(例えば、step)]
SL:キャリブレーション時の第1のフォトセンサによる一定照度L0[lx]を当てたときの電流によるコンパレータ出力値[時間(例えば、step)]
【0070】
また、上記式のScは次のようになる。
Sc=St×SRTbk/(Stbk−St)
ここで、
St:実際の測定で光を当てた際の第1のフォトセンサの電流値によるコンパレータ出力値[時間(例えば、step)]
Stbk:実際の測定で遮光時の第2のフォトセンサの電流値によるコンパレータ出力値[時間(例えば、step)]
SRTbk:キャリブレーション時と同じ付加容量に設定した状態で実際の測定を行った場合の遮光時の第2のフォトセンサの電流値によるコンパレータ出力値[時間(例えば、step)]
【0071】
そして、上記第1計測ステップ〜第3計測ステップを1サイクルとして、上記演算式により連続的に照度の算出を行う。これにより、温度や外光照度による分解能低下を回避して正確な照度を求めることが可能となる。
【0072】
本実施形態の表示装置では、上記実施形態によって求めた照度を用いて、表示エリア11(
図1参照)に照射するバックライトの光量をバックライトコントローラによって制御する。例えば、求めた照度が明るいほどバックライトの光量を多く、反対に求めた照度が暗いほどバックライトの光量を少なく調整する。
【0073】
本実施形態による照度の算出およびバックライトの光量制御は、表示エリア11に画像を表示するタイミングと独立して行ってもよいが、画像表示に悪影響を与えないように、および表示画像の内容や表示駆動自体がセンサに影響を与えないように、ならびにシステム構成の容易性の観点から一定の処理については画像表示のタイミングに合わせて行うことが望ましい。
【0074】
図8は、表示エリアへの画像表示とフォトセンサでの検出のタイミングを示す図である。表示エリアへの画像表示は、垂直ブランキング期間と表示期間とを1フィールドとして繰り返し行われる。
図8に示す例では4つのフォトセンサが設けられており、各フォトセンサは、上記説明した第1計測ステップ〜第3計測ステップを繰り返し実行する。第1計測ステップ〜第3計測ステップの1サイクルは図中破線枠で示される。この際、各ステップにおけるイニシャライズを画像表示における垂直ブランキング期間で行う。これにより、画像表示への影響を与えないように、および表示画像の内容や表示駆動自体がセンサに悪影響を与えないようにすることができる。
【0075】
また、各フォトセンサにおいて、検出期間(active)の長さは光量によって異なっている。これは受光光量によってコンパレータ出力値に差が出るためである。
【0076】
図9は、イニシャライズ期間の動作タイミングを説明する図である。先に説明したように、各フォトセンサは、各計測ステップにおけるイニシャライズを画像表示の垂直ブランキング期間内で行っている。すなわち、イニシャライズとしては、差分演算回路のメモリのリセットおよび各種データの入力である。入力するデータは、第1のフォトダイオードと第2のフォトセンサのうちいずれを選択するかの情報、選択するコンパレータ基準値の情報、選択する付加容量の情報である。
【0077】
そして、各フォトセンサによって検出した値を用いて表示エリアの外光の光量(照度)を算出し、この光量(照度)に基づき
図1に示すバックライトコントローラがバックライトの光量を制御することになる。
【0078】
<電子機器>
本実施形態に係る表示装置は、
図10に示すようにフラット型のモジュール形状のものを含む。例えば絶縁性の基板上に、液晶素子、薄膜トランジスタ、薄膜容量、受光素子等からなる画素をマトリックス状に集積形成した画素アレイ部を設ける、この画素アレイ部(画素マトリックス部)を囲むように接着剤を配し、ガラス等の対向基板を貼り付けて表示モジュールとする。この透明な対向基板には必要に応じて、カラーフィルタ、保護膜、遮光膜等を設けてもよい。表示モジュールには、外部から画素アレイ部への信号等を入出力するためのコネクタとして例えばFPC(フレキシブルプリントサーキット)を設けてもよい。
【0079】
以上説明した本実施形態に係る表示装置は、
図11〜
図15に示す様々な電子機器、例えば、デジタルカメラ、ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置、ビデオカメラなど、電子機器に入力された映像信号、若しくは、電子機器内で生成した映像信号を、画像若しくは映像として表示するあらゆる分野の電子機器の表示装置に適用することが可能である。以下に、本実施形態が適用される電子機器の一例について説明する。
【0080】
図11は、本実施形態が適用されるテレビを示す斜視図である。本適用例に係るテレビは、フロントパネル120やフィルターガラス130等から構成される映像表示画面部110を含み、その映像表示画面部110として本実施形態に係る表示装置を用いることにより作成される。
【0081】
図12は、本実施形態が適用されるデジタルカメラを示す斜視図であり、(A)は表側から見た斜視図、(B)は裏側から見た斜視図である。本適用例に係るデジタルカメラは、フラッシュ用の発光部111、表示部112、メニュースイッチ113、シャッターボタン114等を含み、その表示部112として本実施形態に係る表示装置を用いることにより作製される。
【0082】
図13は、本実施形態が適用されるノート型パーソナルコンピュータを示す斜視図である。本適用例に係るノート型パーソナルコンピュータは、本体121に、文字等を入力するとき操作されるキーボード122、画像を表示する表示部123等を含み、その表示部123として本実施形態に係る表示装置を用いることにより作製される。
【0083】
図14は、本実施形態が適用されるビデオカメラを示す斜視図である。本適用例に係るビデオカメラは、本体部131、前方を向いた側面に被写体撮影用のレンズ132、撮影時のスタート/ストップスイッチ133、表示部134等を含み、その表示部134として本実施形態に係る表示装置を用いることにより作製される。
【0084】
図15は、本実施形態が適用される携帯端末装置、例えば携帯電話機を示す図であり、(A)は開いた状態での正面図、(B)はその側面図、(C)は閉じた状態での正面図、(D)は左側面図、(E)は右側面図、(F)は上面図、(G)は下面図である。本適用例に係る携帯電話機は、上側筐体141、下側筐体142、連結部(ここではヒンジ部)143、ディスプレイ144、サブディスプレイ145、ピクチャーライト146、カメラ147等を含み、そのディスプレイ144やサブディスプレイ145として本実施形態に係る表示装置を用いることにより作製される。
【0085】
<表示撮像装置>
本実施形態に係る表示装置は、以下のような表示撮像装置に適用可能である。また、この表示撮像装置は、先に説明した各種電子機器に適用可能である。
図16には、表示撮像装置の全体構成を表すものである。この表示撮像装置は、I/Oディスプレイパネル2000と、バックライト1500と、表示ドライブ回路1200と、受光ドライブ回路1300と、画像処理部1400と、アプリケーションプログラム実行部1100とを備えている。
【0086】
I/Oディスプレイパネル2000は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル(LCD(Liquid Crystal Display))からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能(表示機能)を有すると共に、後述するようにこのI/Oディスプレイ2000に接触または近接する物体を撮像する機能(撮像機能)を有するものである。また、バックライト1500は、例えば複数の発光ダイオードが配置されてなるI/Oディスプレイパネル2000の光源であり、後述するようにI/Oディスプレイ2000の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。
【0087】
表示ドライブ回路1200は、I/Oディスプレイパネル2000において表示データに基づく画像が表示されるように(表示動作を行うように)、このI/Oディスプレイパネル2000の駆動を行う(線順次動作の駆動を行う)回路である。
【0088】
受光ドライブ回路1300は、I/Oディスプレイパネル2000において受光データが得られるように(物体を撮像するように)、このI/Oディスプレイパネル2000の駆動を行う(線順次動作の駆動を行う)回路である。なお、各画素での受光データは、例えばフレーム単位でフレームメモリ1300Aに蓄積され、撮像画像として画像処理部14へ出力されるようになっている。
【0089】
画像処理部1400は、受光ドライブ回路1300から出力される撮像画像に基づいて所定の画像処理(演算処理)を行い、I/Oディスプレイ2000に接触または近接する物体に関する情報(位置座標データ、物体の形状や大きさに関するデータなど)を検出し、取得するものである。なお、この検知する処理の詳細については後述する。
【0090】
アプリケーションプログラム実行部1100は、画像処理部1400による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、I/Oディスプレイパネル2000上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部1100で生成される表示データは表示ドライブ回路1200へ供給されるようになっている。
【0091】
次に、
図17を参照してI/Oディスプレイパネル2000の詳細構成例について説明する。このI/Oディスプレイパネル2000は、表示エリア(センサエリア)2100と、表示用Hドライバ2200と、表示用Vドライバ2300と、センサ読み出し用Hドライバ2500と、センサ用Vドライバ2400とを有している。
【0092】
表示エリア(センサエリア)2100は、バックライト1500からの光を変調して表示光を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子(表示素子)である液晶素子と後述する受光素子(撮像素子)とがそれぞれマトリクス状に配置されている。
【0093】
表示用Hドライバ2200は、表示ドライブ回路1200から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Vドライバ2300と共に表示エリア2100内の各画素の液晶素子を線順次駆動するものである。
【0094】
センサ読み出し用Hドライバ2500は、センサ用Vドライバ2400と共にセンサエリア2100内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。
【0095】
次に、
図18を参照して、表示エリア2100における各画素の詳細構成例について説明する。この
図18に示した画素3100は、表示素子である液晶素子と受光素子とから構成されている。
【0096】
具体的には、表示素子側には、水平方向に延在するゲート電極3100hと垂直方向に延在するドレイン電極3100iとの交点に薄膜トランジスタ(TFT;Thin Film Transistor)などからなるスイッチング素子3100aが配置され、このスイッチング素子3100aと対向電極との間に液晶を含む画素電極3100bが配置されている。そしてゲート電極3100hを介して供給される駆動信号に基づいてスイッチング素子3100aがオン・オフ動作し、オン状態のときにドレイン電極3100iを介して供給される表示信号に基づいて画素電極3100bに画素電圧が印加され、表示状態が設定されるようになっている。
【0097】
一方、表示素子に隣接する受光素子側には、例えばフォトダイオードなどからなる受光用のセンサ3100cが配置され、電源電圧VDDが供給されるようになっている。また、この受光センサ3100cには、リセットスイッチ3100dとコンデンサ3100eが接続され、リセットスイッチ3100dによってリセットされながら、コンデンサ3100eにおいて受光量に対応した電荷が蓄積されるようになっている。そして蓄積された電荷は読み出しスイッチ3100gがオンとなるタイミングで、バッファアンプ3100fを介して信号出力用電極3100jに供給され、外部へ出力される。また、リセットスイッチ3100dのオン・オフ動作はリセット電極3100kにより供給される信号により制御され、読み出しスイッチ3100gのオン・オフ動作は、読出し制御電極3100kにより供給される信号により制御される。
【0098】
次に、
図19を参照して、表示エリア2100内の各画素とセンサ読み出し用Hドライバ2500との接続関係について説明する。この表示エリア2100では、赤(R)用の画素3100と、緑(G)用の画素3200と、青(B)用の画素3300とが並んで配置されている。
【0099】
各画素の受光センサ3100c,3200c,3300cに接続されたコンデンサに蓄積された電荷は、それぞれのバッファアンプ3100f,3200f,3300fで増幅され、読み出しスイッチ3100g,3200g,3300gがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Hドライバ2500へ供給される。なお、各信号出力用電極には定電流源4100a,4100b,4100cがそれぞれ接続され、センサ読み出し用Hドライバ2500で感度良く受光量に対応した信号が検出されるようになっている。
【0100】
次に、表示撮像装置の動作について詳細に説明する。
【0101】
まず、この表示撮像装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。
【0102】
この表示撮像装置では、アプリケーションプログラム実行部1100から供給される表示データに基づいて、表示用ドライブ回路1200において表示用の駆動信号が生成され、この駆動信号により、I/Oディスプレイ2000に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト1500も表示ドライブ回路1200によって駆動され、I/Oディスプレイ2000と同期した点灯・消灯動作がなされる。
【0103】
ここで、
図20を参照して、バックライト1500のオン・オフ状態とI/Oディスプレイパネル2000の表示状態との関係について説明する。
【0104】
まず、例えば1/60秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間(1/120秒間)にバックライト1500が消灯し(オフ状態となり)、表示が行われない。一方、各フレーム期間の後半期間には、バックライト1500が点灯し(オン状態となり)、各画素に表示信号が供給され、そのフレーム期間の画像が表示されるようになっている。
【0105】
このように、各フレーム期間の前半期間は、I/Oディスプレイパネル2000から表示光が出射されない無光期間である一方、各フレーム期間の後半期間は、I/Oディスプレイパネル2000から表示光が出射される有光期間となっている。
【0106】
ここで、I/Oディスプレイパネル2000に接触または近接する物体(例えば、指先など)がある場合、受光ドライブ回路1300による線順次受光駆動により、このI/Oディスプレイパネル2000における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路1300へ供給される。受光ドライブ回路1300では、1フレーム分の画素の受光信号が蓄積され、撮像画像として画像処理部14へ出力される。
【0107】
そして画像処理部1400では、この撮像画像に基づいて、以下説明する所定の画像処理(演算処理)を行い、I/Oディスプレイ2000に接触または近接する物体に関する情報(位置座標データ、物体の形状や大きさに関するデータなど)が検出される。