(58)【調査した分野】(Int.Cl.,DB名)
タッチパネルディスプレイに対するユーザのタッチ入力位置を示す第1の表示データを、第1の処理部から第1のパスを介して取得するとともに、前記第1の表示データを用いて前記第1の処理部より処理量の多い表示画像生成処理を実行する第2の処理部から、第2のパスを介して第2の表示データを取得し、前記第1の表示データに基づく第1の表示情報と、前記第2の表示データに基づく第2の表示情報を前記タッチパネルディスプレイに表示させる制御を行う表示制御部を備え、
前記表示制御部は、前記タッチパネルディスプレイに表示している表示画像の背景色に応じて、前記第1の表示情報の描画色を決定し、表示させる
表示制御装置。
前記表示制御部は、前記第1の表示情報と前記第2の表示情報の両方を表示させる場合と、前記第2の表示情報のみを表示させる場合を、前記タッチパネルディスプレイの表示領域によって区別する
請求項1乃至5のいずれかに記載の表示制御装置。
前記表示制御部は、前記第1の表示情報と前記第2の表示情報の両方を表示させる場合と、前記第2の表示情報のみを表示させる場合を、アプリケーションによって区別する
請求項1乃至6のいずれかに記載の表示制御装置。
タッチパネルディスプレイに対するユーザのタッチ入力位置を示す第1の表示データを、第1の処理部から第1のパスを介して取得するとともに、前記第1の表示データを用いて前記第1の処理部より処理量の多い表示画像生成処理を実行する第2の処理部から、第2のパスを介して第2の表示データを取得し、前記第1の表示データに基づく第1の表示情報と、前記第2の表示データに基づく第2の表示情報を前記タッチパネルディスプレイに表示させる制御を行い、前記第2の表示情報の描画設定に応じて、前記第1の表示情報の描画色を決定し、表示させる
表示制御方法。
【発明を実施するための形態】
【0032】
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.本技術が適用されるタッチパネルの構造の説明
2.LCDモジュールの第1の実施の形態
3.LCDモジュールの第2の実施の形態
4.LCDモジュールの第3の実施の形態
5.パーソナルコンピュータの構成例
6.携帯電話端末の構成例
7.変形例
【0033】
<1.本技術が適用されるタッチパネルの構造の説明>
初めに、
図2および
図3を参照して、以下に後述する本技術が適用可能なタッチパネルディスプレイの構造について説明する。
【0034】
タッチパネルディスプレイの構造は、
図2に示すように、外付け型と内蔵型に大きく分類される。
【0035】
外付け型のタッチパネルディスプレイは、LCDパネルの表面にタッチパネルを貼り付けた形態のものである。
図1に示したタッチパネルディスプレイ11は、タッチパネル21とLCDパネル22で構成されており、外付け型に相当する。外付け型では、画像の表示パネルとタッチパネルが別々に構成されるので、画像の表示パネルは、LCDパネル以外に、PDPパネル、OLEDパネル等でもよい。
【0036】
一方、内蔵型のタッチパネルディスプレイは、LCDパネルのパネル内部にタッチパネル機能が形成されている構造であり、さらに、インセル型とオンセル型に分類することができる。
【0037】
インセル型は、タッチパネル機能をTFT-LCDセル内に内蔵したものであり、オンセル型は、偏光板とカラーフィルタを設けたガラス基板の間にタッチパネル機能を内蔵したものである。
【0038】
インセル型の検出方式には、
図3に示されるように、マイクロスイッチを用いた接触型、静電容量の変化を検出する容量型、光を検出する光学型などがあり、容量検出と光検出の両方を用いるハイブリッド型も存在する。
【0039】
一方、オンセル型の検出方式には、抵抗値(電圧値)の変化を検出する抵抗型と、静電容量の変化を検出する容量型が存在する。
【0040】
タッチパネルディスプレイは以上のような各種の構造に分類することができるが、本技術は、外付け型、内蔵型、オンセル型若しくはインセル型問わず、全ての構造に対して適用することができる。ただし、以下の各実施の形態では、容量型の検出方式を用いたインセル型(内蔵型)のタッチパネルディスプレイが採用されている例について説明する。また、以下で説明する内蔵型のタッチパネルディスプレイは、LCDパネルのパネル内部にタッチパネル機能が形成されているものであるが、OLEDパネルのパネル内部にタッチパネル機能が形成されているものなどでも同様に本技術が適用できる。内蔵型のタッチパネルディスプレイには、タッチセンサ機能を備えつつ、視認性の向上、タッチ判別領域の高密度化、センサ信号のS/N比の向上、ディスプレイの厚みを薄型化することができる、などのメリットがある。特に、タッチ領域の高密度化とセンサ信号のS/N比向上によって、内蔵型のタッチパネルディスプレイでは、指が近づいただけで検知できるようになり、プロキシミティセンシングなどの新しい操作体験が実現可能となる。
【0041】
<2.LCDモジュールの第1の実施の形態>
本技術が適用されたLCDモジュールの第1の実施の形態について説明する。
【0042】
図4は、本技術が適用されたLCDモジュール80と、それを制御するホスト処理部14のブロック図を示している。このLCDモジュール80とホスト処理部14は、
図1と同様に、例えば、パーソナルコンピュータの一部として構成される。
【0043】
LCDモジュール80は、タッチパネルディスプレイ81と、ドライバIC82および83を備える。ホスト処理部14は、LCDモジュール80を制御する、
図1と同様のホスト側の処理部であり、ホスト処理部14についての説明は、上述した説明と重複するので省略する。
【0044】
タッチパネルディスプレイ81は、上述した内蔵型かつインセル型であって、例えば容量型の検出方式を採用したタッチパネルディスプレイであり、タッチセンサ部91とディスプレイモジュール部92を備える。
【0045】
ドライバIC82は、タッチパネルドライバ101、検出回路102、および座標変換回路103を備え、タッチセンサ部91を制御する。
【0046】
タッチセンサ部91は、タッチパネルディスプレイ81の表示面を2次元の行列状に複数の領域に分割した各領域で検出されるセンサ信号を、タッチパネルドライバ101の駆動制御により、所定の順序で検出回路102に出力する。タッチパネルドライバ101は、タッチセンサ部91を駆動制御する。
【0047】
検出回路102は、タッチパネルドライバ101の駆動制御に応じて、タッチパネルディスプレイ81の所定の位置(各領域)におけるユーザのタッチの有無に応じた静電容量値を示すアナログのセンサ信号を検出(取得)し、デジタルの信号にAD変換する。
【0048】
検出回路102は、デジタルのセンサ信号を、座標変換回路103に供給するとともに、ラスタ形式のセンサデータとして、ドライバIC83にも出力する。
【0049】
座標変換回路103は、検出回路102が検出した所定の位置のデジタルのセンサ信号を、タッチパネルディスプレイ81のX座標位置とY座標位置で表される2次元座標位置に変換し、生座標情報として、ホスト処理部14に出力する。
【0050】
ドライバIC83は、LCDドライバ111、メモリ112、タイミングコントローラ113、および設定記憶部114を備え、ディスプレイモジュール部92を制御する。
【0051】
LCDドライバ111は、メモリ112に記憶された表示情報を表示させるため、2次元状に複数配列されたディスプレイモジュール部92の各画素(内のトランジスタ)を所定の順序で駆動する。
【0052】
メモリ112は、ディスプレイモジュール部92で表示する表示情報の表示データを記憶する。メモリ112には、
図1のメモリ42と同様にホスト処理部14から供給された表示情報Aの表示データと、ホスト処理部14を介さずにドライバIC82の検出回路102から直接供給されたセンサデータに対応する表示情報Bの表示データが記憶される。
【0053】
ドライバIC82の検出回路102から直接供給されるセンサデータは、ユーザのタッチ箇所を示すデジタルのセンサ信号であり、タッチ位置は特定されるが、どのような色で表示させるかを示す色情報は有していない。そのため、メモリ112は、検出回路102から供給されたセンサデータが示す表示位置に、設定記憶部114に記憶されている色情報が示す色で描画する表示データを生成し、供給されたセンサデータに対応する表示情報Bの表示データとして記憶する。
【0054】
ここで、表示情報Bは、タッチセンサ部91で検出されたユーザのタッチ位置を素早くフィードバックした第1の表示情報であり、ホスト処理部14を介して供給される表示情報Aは、タッチセンサ部91で検出されたユーザのタッチ位置がホスト処理部14でキャリブレーション等された第2の表示情報である。
【0055】
メモリ112において、ドライバIC82からセンサデータに基づく表示情報Bの描画情報の更新と、ホスト処理部14のグラフィックスコントローラ53からの表示情報Aの描画情報の更新は、それぞれ異なるタイミング周期で並行して実行される。ドライバIC82からの表示情報Bの描画情報の更新は、ホスト処理部14で実行するようなキャリブレーションやフィルタリングなどの複雑な演算を行う必要がないので、表示情報Aの描画情報の更新周期よりも短い周期で実行される。したがって、タッチセンサ部91でユーザのタッチが検出された場合、初めに、そのタッチに対応する表示情報Bがディスプレイに描画され、その後、ホスト処理部14でキャリブレーション等の演算を行った表示情報Aがディスプレイに描画(再描画)されることになる。
【0056】
タイミングコントローラ113は、ホスト処理部14から供給された表示情報Aの表示データを取得してメモリ112に記憶させる。
【0057】
設定記憶部114は、ドライバIC82からのセンサデータに基づく表示情報Bを生成するための、タッチ位置を描画するときの描画色を決定する色情報を記憶する。この色情報は、例えば、CPU51で実行される所定のアプリケーション上で設定することにより、設定記憶部114に予め記憶される。
【0058】
なお、ドライバIC82からのセンサデータに基づく表示情報Bをメモリ112に記憶させずに、LCDドライバ111が、ドライバIC82からのセンサデータを取得して表示情報Bを生成し、ディスプレイモジュール部92に直接描画してもよい。
【0059】
<ユーザのタッチ入力に対する表示例>
図5は、
図4のホスト処理部14とLCDモジュール80により、ユーザがタッチしたディスプレイ上の位置を、点で描画する表示例を示している。
【0060】
ユーザは、
図5に示すように、タッチパネルディスプレイ81のディスプレイ上を指でタッチし、時刻t1から時刻t4にかけて、左から右方向にスライドする操作(入力)を行ったとする。
【0061】
時刻t1において、ユーザが、タッチパネルディスプレイ81のディスプレイ上の所定の位置X1をタッチすると、ユーザがタッチした瞬間に、タッチ位置X1のセンサデータが、ドライバIC82からドライバIC83に供給される。そして、ドライバIC83により、時刻t1における表示情報B1として、ユーザがタッチした位置X1と同じ位置に点B1が描画(表示)される。
【0062】
タッチ位置X1の生座標情報は、ホスト処理部14に供給され、ホスト処理部14でキャリブレーション演算などが実行されて、表示情報A1の表示データとしてドライバIC83に供給される。そして、時刻t1から所定時間経過後の、ユーザが位置X1より左側の位置X2をタッチしている時刻t2において、位置X2に表示情報B2として描画される点B2とともに、表示情報A1の表示データに基づく点A1が、位置X1に描画される。すなわち、ホスト処理部14を介して生成された点A1(表示情報A1)は、時刻t1から遅れて、位置X2をタッチしている時刻t2に表示される。
【0063】
同様に、時刻t3では、ユーザがタッチしている位置X3に表示情報B3としての点B3が描画されるとともに、ホスト処理部14により生成されて、遅れて表示される点A2が、位置X2に描画される。
【0064】
時刻t4では、ユーザがタッチしている位置X4に表示情報B4としての点B4が描画されるとともに、ホスト処理部14により生成されて、遅れて表示される点A3が、位置X3に描画される。
【0065】
比較のため、同様のタッチ、スライド操作を、従来の表示制御方法で描画した場合について説明する。
【0066】
図6は、同様のタッチ、スライド操作を、従来の表示制御方法で描画した場合の表示例を示している。
【0067】
従来の表示制御方法では、ユーザのタッチ位置を示すセンサデータを、ドライバIC82から、ホスト処理部14を介さずに、直接、ドライバIC83に供給するパスは存在しない。ユーザがタッチしたタッチ位置X1の生座標情報は、ホスト処理部14に供給されて、キャリブレーション演算されてから、ドライバIC83に供給されるので、位置X1に点A1が描画されるまで、キャリブレーション演算等による処理遅延が生じる。そのため、ユーザがタッチ位置X1をタッチした瞬間の時刻t1では、
図6に示すように、ディスプレイには何も描画されない。
【0068】
そして、時刻t1から所定時間遅れた時刻t2に、位置X1に点A1が描画されるが、上述したように、時刻t2では、ユーザは指の位置をスライドさせ、ユーザの指は位置X2に移動している。同様に、ユーザが位置X3をタッチしている時刻t3では、それより少し前の時刻t2にタッチしていた位置X2に点A2が描画され、ユーザが位置X4をタッチしている時刻t4では、それより少し前の時刻t3にタッチしていた位置X3に点A3が描画される。
【0069】
このように、従来の表示制御方法によれば、ユーザのタッチ位置を示すセンサデータを、ドライバIC82から、ホスト処理部14を介さずに、直接、ドライバIC83に供給するパスが存在しないため、検出されたタッチに対応する描画のタイミングに遅れが生じる。
【0070】
一方、本技術を適用したLCDモジュール80の表示制御によれば、ホスト処理部14からの表示データに基づいて表示情報Aを描画する前に、まず、ドライバIC82からホスト処理部14を介さずにドライバIC83に直接供給されるセンサデータに基づいて表示情報Bが描画される。これにより、ユーザが感じる表示情報Aの描画の遅れを軽減することができる(ユーザが表示情報Aの描画の遅れを感じにくい)。
【0071】
このように、本技術を適用したLCDモジュール80の表示制御によれば、ユーザのタッチ入力に対して素早いフィードバックを提供することができ、ホスト処理部14を経由した描画遅延に由来する操作性の低下を抑制することができる。すなわち、タッチパネルディスプレイの操作性を向上させることができる。
【0072】
<3.LCDモジュールの第2の実施の形態>
次に、LCDモジュールの第2の実施の形態について説明する。
【0073】
図7は、第2の実施の形態のLCDモジュール80と、それを制御するホスト処理部14のブロック図を示している。
【0074】
第2の実施の形態のLCDモジュール80は、ドライバIC82に、座標補正回路104が新たに追加されている点が、
図4に示した第1の実施の形態と異なる。
【0075】
第1の実施の形態では、ユーザがタッチしたタッチパネルディスプレイ81の2次元座標位置が、生座標情報としてホスト処理部14に出力され、ホスト処理部14で、生座標位置の平均値や標準偏差などの補正演算を行ってユーザのタッチ位置を正確に計算するキャリブレーションが行われた。
【0076】
第2の実施の形態においては、上述した第1の実施の形態ではホスト処理部14で行っていた、生座標情報に基づいてユーザの正確なタッチ位置を計算するキャリブレーションを、座標補正回路104が行う。座標補正回路104は、補正演算後のユーザのタッチ位置を示す補正座標値を、補正座標情報として、ホスト処理部14とドライバIC83に出力する。
【0077】
第2の実施の形態の構成は、キャリブレーション用の補正データを記憶するホスト側の記憶装置がライトプロテクトされていたり、接続されるホスト側が不特定である場合に有用である。
【0078】
<4.LCDモジュールの第3の実施の形態>
次に、LCDモジュールの第3の実施の形態について説明する。
【0079】
図8は、第3の実施の形態のLCDモジュール80と、それを制御するホスト処理部14のブロック図を示している。
【0080】
第3の実施の形態のLCDモジュール80では、第1及び第2の実施の形態でドライバIC82とドライバIC83の2つのドライバICで構成されていたものが、一つのドライバLSI(Large Scale Integration) 121によって構成されている点が異なり、それ以外は同様である。
【0081】
ドライバLSI121は、例えば、公知の相補型MOS集積回路製造技術によって、単結晶シリコンを用いた一個の半導体基板に形成される。
【0082】
ドライバLSI121において、座標補正回路104を省略した構成が、
図4の第1の実施の形態と対応し、座標補正回路104を付加した構成が、
図7の第2の実施の形態と対応する。
【0083】
図9は、第3の実施の形態のドライバLSI121を機能的にさらに詳細にしたブロック図である。
図9を参照して、ドライバLSI121を用いた表示制御についてさらに説明する。
【0084】
ドライバLSI121は、AD変換回路141、容量値保存レジスタ142、ラスタライザ143、フレームメモリ146、座標変換回路144、システムインタフェース145、設定記憶部147、および表示データ生成部148を少なくとも有する。
【0085】
例えば、AD変換回路141、容量値保存レジスタ142、及びラスタライザ143は、
図8の検出回路102の機能に相当する。
【0086】
また、座標変換回路144、システムインタフェース145、フレームメモリ146、設定記憶部147、及び表示データ生成部148は、それぞれ、
図8の座標変換回路103、タイミングコントローラ113、メモリ112、設定記憶部114、及びLCDドライバ111に対応する。平均値計算部151、標準偏差計算部152、及びヒステリシス計算部153は、
図8の座標補正回路104に対応する。
【0087】
なお、
図9では、
図8のタッチパネルドライバ101に対応する部分は省略されている。
【0088】
AD変換回路141は、タッチセンサ部91からのアナログのセンサ信号を検出し、デジタルのセンサ信号にAD変換して、容量値保存レジスタ142と平均値計算部151に供給する。平均値計算部151、標準偏差計算部152、及びヒステリシス計算部153が省略されている場合には、デジタルのセンサ信号が、平均値計算部151ではなく座標変換回路144に供給される。
【0089】
容量値保存レジスタ142は、AD変換回路141から供給されたセンサ信号であるデジタルの静電容量値を記憶する。ラスタライザ143は、容量値保存レジスタ142に記憶されているデジタルの静電容量値をラスタ形式に変換し(ラスタライズし)、フレームメモリ146に格納する。
【0090】
座標変換回路144は、AD変換回路141から供給されたセンサ信号としてのデジタルの静電容量値に基づいて、ユーザがタッチしたディスプレイ上の2次元座標位置を計算する。
【0091】
システムインタフェース145は、座標変換回路144から供給される、ユーザのタッチ位置を示す2次元座標位置を、不図示のシステムバスを介して、パーソナルコンピュータ等のホスト処理部14に出力する。
【0092】
システムインタフェース145は、ホスト処理部14から供給される各種の制御情報を、ドライバLSI121内の内部レジスタ(不図示)に格納する。
【0093】
また、システムインタフェース145は、ホスト処理部14から供給される、ディスプレイモジュール部92のディスプレイで表示させる表示データを取得し、フレームメモリ146に格納する。
【0094】
フレームメモリ146は、一画面分の表示データを保持可能な記憶容量を有する。
【0095】
フレームメモリ146は、ラスタライザ143またはシステムインタフェース145から表示データが供給された場合、現在保持している表示データに上書きする形で、供給された表示データを記憶する。フレームメモリ146で保持されている表示データは、表示データ生成部148によって、最適なタイミングで読み出される。
【0096】
ラスタライザ143から供給されたデジタルの静電容量値は、設定記憶部147に記憶されている設定情報に基づいて、タッチ位置を所定の色で表した表示情報Bの表示データに変換されて、フレームメモリ146に格納される。
【0097】
一方、システムインタフェース145からは、ユーザのタッチ位置を示す2次元座標位置がホスト処理部14のCPU51でキャリブレーション演算等されることにより生成された表示情報Aの表示データが供給され、フレームメモリ146に格納される。
【0098】
設定記憶部147は、ディスプレイ上のタッチ位置を、表示情報Bとして表示する際の描画色を規定する設定情報を記憶する。
【0099】
表示データ生成部148は、フレームメモリ146に記憶されている表示データを読み出し、ディスプレイモジュール部92のドレイン線(データ線)に、表示データに対応する電圧を印加することにより、ディスプレイモジュール部92の各画素(内のトランジスタ)を駆動する。これにより、フレームメモリ146に記憶されている表示データに対応する画像(表示情報)が、ディスプレイモジュール部92のディスプレイに表示される。
【0100】
平均値計算部151、標準偏差計算部152、及びヒステリシス計算部153が設けられている場合、ユーザのタッチを示す各静電容量値の平均、標準偏差、ヒステリシスが計算されることにより、ユーザのタッチ位置を正確に補正した補正座標値が計算され、座標変換回路144に供給される。
【0101】
以上のように構成されるLCDモジュール80の第3の実施の形態において、タッチセンサ部91で検出されたセンサ信号は、
図10において太線の破線で示されるパス162により表示情報Bとなってディスプレイに表示されるとともに、
図10において太線の実線で示されるパス161により表示情報Aとなってディスプレイに表示される。
【0102】
太線の実線のパス161は、ホスト処理部14のCPU51およびグラフィックスコントローラ53を経由するパスであり、太線の破線のパス162は、ホスト処理部14を介さずに、ドライバLSI121内で処理されるパスである。換言すれば、太線の実線のパス161は、タッチセンサ部91で検出されたセンサ信号に対してキャリブレーションの演算等を行う、表示情報を生成するための処理量(演算量)の多いパスであり、太線の破線のパス162は、タッチセンサ部91で検出されたセンサ信号から表示情報を生成するための処理量(演算量)の少ないパスである。
【0103】
キャリブレーション演算などを行った正確な表示情報Aを描画する前に、ホスト側プロセッサを経由しないパス162により生成した表示情報Bを描画することで、ユーザがタッチ入力を行ってからタッチパネルディスプレイ81に描画されるまでの遅延時間を抑制することができる。
【0104】
<表示情報Bの表示制御処理>
図11のフローチャートを参照して、ホスト側プロセッサを経由しないパス162により、ユーザのタッチ入力に対応する表示情報Bをディスプレイモジュール部92のディスプレイに表示させる表示制御処理について説明する。
【0105】
初めに、ステップS1において、AD変換回路141は、タッチセンサ部91からの静電容量値を示すアナログのセンサ信号を検出し、デジタルの信号にAD変換し、容量値保存レジスタ142に供給する。容量値保存レジスタ142は、AD変換回路141から供給された、静電容量値を示すデジタルのセンサ信号を記憶する。
【0106】
ステップS2において、ラスタライザ143は、容量値保存レジスタ142に記憶されているデジタルの静電容量値をラスタ形式に変換し、フレームメモリ146に格納する。ラスタライザ143から供給されたデジタルの静電容量値は、設定記憶部147に記憶されている設定情報に基づいて、タッチ位置を所定の色で表した表示情報Bの表示データに変換されて、フレームメモリ146に格納される。
【0107】
ステップS3において、表示データ生成部148は、フレームメモリ146に記憶されている表示データを読み出し、ディスプレイモジュール部92の各画素(内のトランジスタ)を駆動する。
【0108】
以上の処理により、ディスプレイモジュール部92のディスプレイに表示されている表示画像のうち、ユーザがタッチしたディスプレイ上の所定の位置が、表示情報Bとして、所定の色で表示される。
【0109】
<表示情報Aの表示制御処理>
次に、
図12のフローチャートを参照して、ホスト側プロセッサを経由するパス161により、ユーザのタッチに対応する表示情報Aをディスプレイモジュール部92のディスプレイに表示させる表示制御処理について説明する。
【0110】
初めに、ステップS11において、AD変換回路141は、タッチセンサ部91からの静電容量値を示すアナログのセンサ信号を検出し、デジタルの信号にAD変換し、座標変換回路144に供給する。ステップS11の処理は、
図11のステップS1の処理と合わせて一つの処理として実行される。
【0111】
なお、キャリブレーション演算を行う場合には、AD変換回路141からのセンサ信号に対して平均値計算部151等がキャリブレーション演算を行い、キャリブレーション演算後のセンサ信号が、座標変換回路144に供給される。
【0112】
ステップS12において、座標変換回路144は、AD変換回路141から供給されたセンサ信号としてのデジタルの静電容量値に基づいて、ユーザがタッチしたディスプレイ上の2次元座標位置を計算する。
【0113】
ステップS13において、システムインタフェース145は、座標変換回路144から供給された、ユーザのタッチ位置を示す2次元座標位置を、不図示のシステムバスを介して、ホスト処理部14に出力する。
【0114】
ステップS14において、システムインタフェース145は、ホスト処理部14に供給したユーザのタッチ位置を示す2次元座標位置に対してキャリブレーション等の演算を行うことにより生成された、表示情報Aの表示データを取得し、フレームメモリ146に格納する。
【0115】
ステップS15において、表示データ生成部148は、フレームメモリ146に記憶されている表示データを読み出し、ディスプレイモジュール部92の各画素(内のトランジスタ)を駆動する。このステップS15の処理と、上述したステップS3の処理は、同じ一つの処理である。
【0116】
図12の処理によれば、ユーザがタッチしたディスプレイ上の所定の位置が、ホスト側のCPU51およびグラフィックスコントローラ53の表示制御により、表示情報Aとして、所定の色で表示される。
【0117】
図1に示した従来のLCDモジュール10では、
図12を参照して説明した、ホスト側プロセッサを経由したパス161による、表示情報Aを表示させる表示制御処理のみが実行される。
【0118】
これに対して、本技術を適用したLCDモジュール80では、
図11を参照して説明した、ホスト側プロセッサを経由しないパス162による、表示情報Bを表示させる表示制御処理も、さらに実行される。
【0119】
パス162による表示制御処理は、ホスト側プロセッサを介さない処理であるため、パス161による表示制御処理よりも早く、タッチ検出に対して即座に表示させることができる。これにより、ユーザのタッチ検出から、ディスプレイに描画(表示)するまでの時間差を短縮し、ユーザが感じる描画の遅れを軽減することができる。
【0120】
なお、ホスト側プロセッサを介さないパスは、上述したパス162の他、
図13において太線の破線で示すパス163でもよい。すなわち、AD変換したデジタルのセンサ信号から求めた2次元座標値を、表示情報Bの表示データとして生成して表示させてもよい。
【0121】
<5.パーソナルコンピュータの構成例>
本技術は、例えば、コンピュータ、携帯電話端末、タブレット端末、携帯用ゲーム機、携帯用音楽映像再生装置などの、内蔵型のタッチパネルディスプレイを有する電子機器に適用することができる。
図14と
図15で、コンピュータと携帯電話機の全体構成について示す。
【0122】
図14は、本技術が適用されたLCDモジュール80と、それを制御するホスト処理部14を含むコンピュータ(パーソナルコンピュータ)のブロック図である。
【0123】
CPU201は、各種プログラムに従って、コンピュータのシステム全体を制御する。ROM202は、CPU201が使用するブートプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
【0124】
コンピュータはまた、文字・数値・各種指示等の入力を行うためのキーボード204、カーソルの移動や範囲選択等を行うためのマウス205、コントローラ、スキャナ、プリンタ等の外部機器と接続するためのインタフェース(I/F)206を備える。なお、コンピュータが、ノート型やターミナル型ではなく、タブレット型である場合には、キーボード204やマウス205は省略される。
【0125】
さらに、コンピュータは、画像の表示を制御するグラフィックボード207、ネットワークに接続するためのネットワークカード、モデム等で構成される通信装置208、タッチパネル機能を備えたディスプレイ209、データ記憶装置としてのハードディスク210を備える。ハードディスク210には、オペレーティングシステム(OS)、各種デバイスのデバイスドライバ、および、ワードプロセッサ・表計算ソフト等の各種アプリケーションプログラムが記憶されている。
【0126】
図4のグラフィックスコントローラ53と画像メモリ54は、
図14のグラフィックボード207内に配置されており、LCDモジュール80は、
図14のディスプレイ209に対応する。
【0127】
<6.携帯電話端末の構成例>
図15は、本技術が適用されたLCDモジュール80と、それを制御するホスト処理部14を含む高機能型の携帯電話端末(スマートフォン)のブロック図である。
【0128】
図15において、通信アンテナ221は、例えば内蔵アンテナであり、携帯電話網や公衆無線通信網を通じた通話や電子メールの送受信、上述したタッチ検出に基づく情報入力制御プログラムを含む各種アプリケーションプログラムのダウンロード、インターネット等と通信するための信号電波の送受信を行う。
【0129】
アンテナ回路222は、アンテナ切替器やマッチング回路、フィルタ回路等からなり、送受信回路部223は、携帯電話網や公衆無線通信網を通じた送受信信号の周波数変換、変調と復調等を行う。
【0130】
スピーカ236は、例えば、音楽再生や受話音出力、リンガ音(着信音)出力等に用いられる。マイクロホン237は、外部音声の集音や送話音声の集音等に用いられる。音声信号処理部235は、スピーカ236用の増幅回路、マイクロホン237用の増幅回路、制御・演算部224から供給される圧縮符号化された音声データを伸張復号化する伸張復号化回路、当該伸張復号化後のデジタル音声データをアナログ音声信号に変換するデジタル/アナログ変換回路、マイクロホン237から入力されたアナログ音声信号をデジタル音声データに変換するアナログ/デジタル変換回路、当該デジタル音声データを圧縮符号化する圧縮符号化回路などからなる。
【0131】
映像信号処理部231は、制御・演算部224から供給される圧縮符号化された映像データを伸張復号化する伸張復号化回路、当該伸張復号化後のデジタル映像や後述するデジタル放送受信モジュール229にて受信されたデジタル放送映像などを、タッチパネルディスプレイ233へ表示させるディスプレイパネル駆動回路などからなる。
【0132】
また、映像信号処理部231は、制御・演算部224から供給されるデスクトップ画像や各種メニュー画像、タッチパネルディスプレイ233上の位置に対応した仮想タッチエリア画像などを表示するための表示データも生成し、それらの画像をタッチパネルディスプレイ233上に表示させる。
【0133】
タッチパネルディスプレイ233は、ユーザによる入力操作を検出可能なタッチセンサ部を有する。タッチパネル信号処理部232は、タッチパネルディスプレイ233からのタッチ検出位置やタッチ軌跡、タッチ継続時間、タッチ時間間隔などを計測し、その計測したデータをタッチ検出データとして制御・演算部224へ送出する。なお、タッチパネルディスプレイ233の表示面へのタッチ入力は、ユーザの指等の他、端末に付属のスタイラス等で行うこともできる。また、タッチパネルディスプレイ233及びタッチパネル信号処理部232は、いわゆるマルチタッチに対応している。
【0134】
キー操作部240は、携帯電話端末の筐体上に設けられたハードキーとその周辺回路などからなる。キー操作部240は、ユーザによるハードキーの押下操作を電気信号へ変換し、その操作入力信号を増幅及びアナログ/デジタル変換し、そのアナログ/デジタル変換後の操作入力データを制御・演算部224へ送る。
【0135】
外部入出力端子部239は、例えばケーブルを通じてデータ通信を行う際のケーブル接続用コネクタと外部データ通信用インタフェース回路や、電源ケーブル等を通じて内部電池を充電する際の充電端子とその充電用インタフェース回路などからなる。
【0136】
また、外部メモリI/F部230は、外部メモリ等の記憶媒体が着脱される外部メモリ用スロットと当該外部メモリデータ通信用インタフェース回路などからなる。
【0137】
近距離無線通信モジュール228は、無線LANやブルートゥース(登録商標)などの近距離無線電波用の通信アンテナと、近距離無線通信回路とからなる。
【0138】
デジタル放送受信モジュール229は、いわゆるデジタルテレビジョン放送やデジタルラジオ放送などの受信用アンテナとチューナとからなる。当該デジタル放送受信モジュール229は、1チャンネルのデジタル放送の受信のみならず、同時に複数チャンネルのデジタル放送を受信可能となされている。また、当該デジタル放送受信モジュール229は、デジタル放送に多重されたデータも受信可能となされている。なお、当該デジタル放送受信モジュール229にて受信されたデジタル放送データは、例えば制御・演算部224により圧縮等された後、メモリ部225等に記憶(つまり録画)することも可能となされている。
【0139】
カメラ部234は、静止画像や動画像の撮影のための撮像素子,光学系等とその周辺回路、および、撮影補助光を出射するためのライトの駆動回路などからなる。当該カメラ部234による撮影時の静止画データや動画像データは、プレビュー映像データとして映像信号処理部231に送られる。これにより、当該カメラ撮影時に、タッチパネルディスプレイ233にはプレビュー映像が表示される。また、カメラ部234にて撮影された静止画データや動画像データを記録する場合、当該撮影された静止画データや動画像データは、制御・演算部224に送られて圧縮された後、メモリ部225や外部メモリI/F部230に接続された記憶媒体に記憶される。
【0140】
非接触通信モジュール227は、非接触通信アンテナを通じて、例えばいわゆるRFID(Radio Frequency-Identification:電波方式認識)や非接触型ICカード等で用いられる非接触通信を行う。
【0141】
GPS(Global Positioning System)モジュール226は、GPSアンテナを有し、GPS測地衛星からのGPS信号を用いて自端末の現在位置の緯度及び経度を求める。このGPSモジュール226により得られたGPSデータ(緯度,経度を表す情報)は制御・演算部224へ送られる。これにより、制御・演算部224は、自端末の現在位置や移動などを知ることができる。
【0142】
各種センサ部238は、携帯電話端末の状態を検知するための端末状態検知センサ等の各種検知用センサとその周辺回路からなる。各種センサ部238は、一例として傾きセンサ、加速度センサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。各種センサ部238による検知信号は、制御・演算部224に送られる。これにより、制御・演算部224は、携帯電話端末の状態(傾き、加速度、方位、温度、湿度、照度等)を知ることができる。
【0143】
メモリ部225は、この端末の内部に設けられている内蔵メモリと着脱可能なカード状メモリなどからなる。着脱可能なカード状メモリとしては、いわゆるSIM(Subscriber Identity Module)情報等を格納するカードなどを挙げることができる。内蔵メモリは、ROM(Read Only Memory)とRAM(Random Access Memory)とからなる。ROMは、OS(Operating System)、制御・演算部224が各部を制御するための制御プログラム、各種の初期設定値、辞書データ、文字予測変換辞書データ、各種音データ、各種アプリケーションプログラム等を格納している。このROMは、NAND型フラッシュメモリ(NAND-type flash memory)或いはEEPROM(Electrically Erasable Programmable Read-Only Memory)のような書き換え可能なROMを含み、電子メールデータ、電話帳やメールアドレス帳のデータ、静止画像や動画像コンテンツのデータ、その他、各種のユーザ設定値等を保存可能となされている。RAMは、制御・演算部224が各種のデータ処理を行う際の作業領域、バッファ領域として随時データを格納する。
【0144】
制御・演算部224は、CPU(中央処理ユニット)からなり、送受信回路部223、映像信号処理部231、音声信号処理部235、GPSモジュール226、非接触通信モジュール227、近距離無線通信モジュール228、デジタル放送受信モジュール229、外部メモリI/F部230、カメラ部234、各種センサ部238、外部入出力端子部239、キー操作部240、タッチパネル信号処理部232など各部を制御し、必要に応じて各種の演算を行う。また、制御・演算部224は、メモリ部225に記憶されている制御プログラムや各種アプリケーションプログラムを実行する。
【0145】
その他、携帯電話端末は、時間や時刻を計測する時計部、各部へ電力を供給するバッテリとその電力をコントロールするパワーマネージメントICなど、一般的な携帯電話端末に設けられる各構成要素についても当然ながら備えている。
【0146】
<7.変形例>
<第1の変形例>
上述した実施の形態では、タッチパネルディスプレイ81においてユーザのタッチが検出されたとき、ホスト側プロセッサを経由した表示情報Aを表示する前に、ホスト側プロセッサを介さずにLCDモジュール80内で処理した表示情報Bを表示させる例について説明した。以下では、ホスト側プロセッサを介さずにLCDモジュール80内で表示情報Bを表示させる場合の変形例(応用例)について説明する。
【0147】
図16は、第1の変形例に対応するタッチパネルディスプレイ81の表示例を示している。
【0148】
タッチパネルディスプレイ81においてユーザのタッチが検出され、ドライバIC82の検出回路102から、タッチ位置に対応するセンサデータがドライバIC83に供給された場合、ドライバIC83は、表示画像の色(背景色)に応じて、表示情報Bの描画色を自動で決定(変更)し、表示情報Bを描画する。例えば、ドライバIC83は、背景色と対照な色(補色)を、表示情報Bの描画色として決定して、描画する。
【0149】
図16のAは、携帯電話端末301のタッチパネルディスプレイ81に白色の背景画像が表示されている場合、ドライバIC83が、表示情報Bとして、ユーザがスタイラス311でタッチしたタッチ位置を黒色で描画する例を示している。
【0150】
図16のBは、携帯電話端末301のタッチパネルディスプレイ81に黒色の背景画像が表示されている場合、ドライバIC83が、表示情報Bとして、ユーザがスタイラス311でタッチしたタッチ位置を白色で描画する例を示している。
【0151】
<第2の変形例>
図17は、第2の変形例に対応するタッチパネルディスプレイ81の表示例を示している。
【0152】
第2の変形例は、表示情報Bを描画する場合の色や大きさを予め設定しておき、設定された色や大きさで表示情報Bを描画する例である。
【0153】
図17のAは、表示情報Bを描画する場合の色や大きさを設定する設定画面の例を示している。
【0154】
図17のAに示すような設定画面がタッチパネルディスプレイ81に表示され、ユーザが表示情報Bを描画する場合の色や大きさを選択する。ユーザによって選択された色および大きさは、設定情報として、設定記憶部114に保存される。なお、
図17のAの設定画面では、表示情報Bの色の違いを模様(パターン)の違いで表している。
【0155】
図17のBに示すように、ユーザがタッチパネルディスプレイ81上の所定の位置をスタイラス311でタッチした場合に、ドライバIC83は、設定記憶部114に記憶されている設定情報が示す色と大きさで、表示情報Bを描画する。これにより、ユーザが選択した任意の色と大きさで表示情報Bを描画することができる。
【0156】
<第3の変形例>
図18は、第3の変形例に対応するタッチパネルディスプレイ81の表示例を示している。
【0157】
第3の変形例は、スタイラス311等を用いて文字や絵を描画するアプリケーション等において、文字や絵を描画する際の色や大きさが設定されている場合、その設定された色や大きさを用いて表示情報Bを描画する例である。
【0158】
図18のAは、文字や絵を描画するアプリケーションにおける、文字や絵を描画する際の色や大きさを設定する設定画面の例を示している。ここで設定される色および大きさは、ホスト処理部14のCPU51で実行されるアプリケーションによって生成される表示画像に反映されるため、ホスト側プロセッサを経由した表示情報Aの色および大きさに相当する。
【0159】
図18のBに示すように、ユーザがタッチパネルディスプレイ81上の所定の位置をスタイラス311でタッチした場合に、ドライバIC83は、表示情報Aの描画色および大きさとして設定されているのと同一の色と大きさで、表示情報Bを描画する。これにより、ホスト側プロセッサを介さずに描画する表示情報Bと、ホスト側プロセッサを経由して描画される表示情報Aの描画色および色が同一となる。
【0160】
なお、本技術によれば、スタイラス311や指などを用いて文字や絵を描画する際、表示情報Bがタッチパネルディスプレイ81上に先に描画され、次に、表示情報Aが、表示情報Bに置き換わる形で描画される。その際、置換の方法としては、瞬時に表示情報Aに置き換わっても良いが、表示情報Bに表示情報Aを重畳する際の透過率が徐々に変化することで、表示情報Bから表示情報Aに徐々に置換されるように表示制御しても良い。
【0161】
<第4の変形例>
図19は、第4の変形例に対応するタッチパネルディスプレイ81の表示例を示している。
【0162】
第4の変形例は、タッチパネルディスプレイ81のタッチ入力領域を、表示情報Aと表示情報Bを描画することで、ユーザのタッチ入力に対して素早いフィードバックを提供する領域と、表示情報Aのみを描画する領域を分ける例である。
【0163】
例えば、
図19に示されるタッチパネルディスプレイ81のタッチ入力領域のうち、所定の領域321については、ドライバIC83は、ホスト側プロセッサを介さずに生成される表示情報Bと、ホスト側プロセッサを経由して生成される表示情報Aの両方を描画する。一方、領域321以外の領域322については、ホスト側プロセッサを経由した表示情報Aのみが描画される。
【0164】
<第5の変形例>
図20は、第5の変形例に対応するタッチパネルディスプレイ81の表示例を示している。
【0165】
第5の変形例は、表示情報Aと表示情報Bを描画し、ユーザのタッチ入力に対して素早いフィードバックを提供するかどうかを、アプリケーションによって区別する例である。
【0166】
例えば、ドライバIC83は、
図20のAに示すように、アプリケーションソフトαでは、表示情報Aと表示情報Bを描画するが、
図20のBに示すように、アプリケーションソフトβでは、ホスト側プロセッサを経由した表示情報Aのみを描画する。ドライバIC83は、例えば、ホスト側プロセッサを経由しない表示情報Bの描画を有効とするか否かのフラグをアプリケーションソフトから取得することで、表示情報Bを描画するかどうかを切り替えることができる。
【0167】
以上説明した変形例は、それぞれを個別に採用することができるほか、2つ以上の機能を併用して実行することも可能である。
【0168】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【0169】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0170】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【0171】
例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0172】
なお、本技術は以下のような構成も取ることができる。
(1)
タッチパネルディスプレイに対するユーザのタッチ入力位置を示す第1の表示データを、第1の処理部から第1のパスを介して取得するとともに、前記第1の表示データを用いて前記第1の処理部より処理量の多い表示画像生成処理を実行する第2の処理部から、第2のパスを介して第2の表示データを取得し、前記第1の表示データに基づく第1の表示情報と、前記第2の表示データに基づく第2の表示情報を前記タッチパネルディスプレイに表示させる制御を行う表示制御部
を備える表示制御装置。
(2)
前記第1の表示データを用いて前記第1の表示情報を表示する際の描画色を記憶する設定記憶部をさらに備え、
前記表示制御部は、前記設定記憶部に設定されている描画色で、前記第1の表示情報を表示させる
前記(1)に記載の表示制御装置。
(3)
前記第1の表示データを用いて前記第1の表示情報を表示する際の描画色を設定する設定部をさらに備え、
前記設定記憶部は、前記設定部で設定された前記描画色を記憶する
前記(1)または(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記タッチパネルディスプレイに表示している表示画像の背景色に応じて、前記第1の表示情報の描画色を決定し、表示させる
前記(1)乃至(3)のいずれかに記載の表示制御装置。
(5)
前記表示制御部は、前記第2の表示情報の描画設定に応じて、前記第1の表示情報の描画設定を決定し、表示させる
前記(1)乃至(4)のいずれかに記載の表示制御装置。
(6)
前記表示制御部は、前記第1の表示情報と前記第2の表示情報の透過率を徐々に変化させることにより、前記第1の表示情報を前記第2の表示情報に置き換える
前記(1)乃至(5)のいずれかに記載の表示制御装置。
(7)
前記表示制御部は、前記第1の表示情報と前記第2の表示情報の両方を表示させる場合と、前記第2の表示情報のみを表示させる場合を、前記タッチパネルディスプレイの表示領域によって区別する
前記(1)乃至(6)のいずれかに記載の表示制御装置。
(8)
前記表示制御部は、前記第1の表示情報と前記第2の表示情報の両方を表示させる場合と、前記第2の表示情報のみを表示させる場合を、アプリケーションによって区別する
前記(1)乃至(7)のいずれかに記載の表示制御装置。
(9)
前記第1の表示データは、前記タッチ入力位置のセンサデータである
前記(1)乃至(8)のいずれかに記載の表示制御装置。
(10)
前記第1の表示データは、前記タッチ入力位置のセンサデータに対してキャリブレーション演算した後のデータである
前記(1)乃至(9)のいずれかに記載の表示制御装置。
(11)
前記タッチパネルディスプレイと、
音声の集音を行うマイクロホンと、
音声出力を行うスピーカと
をさらに備える
前記(1)乃至(10)のいずれかに記載の表示制御装置。
(12)
タッチパネルディスプレイに対するユーザのタッチ入力位置を示す第1の表示データを、第1の処理部から第1のパスを介して取得するとともに、前記第1の表示データを用いて前記第1の処理部より処理量の多い表示画像生成処理を実行する第2の処理部から、第2のパスを介して第2の表示データを取得し、前記第1の表示データに基づく第1の表示情報と、前記第2の表示データに基づく第2の表示情報を前記タッチパネルディスプレイに表示させる制御を行う
表示制御方法。
(13)
コンピュータに、
タッチパネルディスプレイに対するユーザのタッチ入力位置を示す第1の表示データを、第1の処理部から第1のパスを介して取得するとともに、前記第1の表示データを用いて前記第1の処理部より処理量の多い表示画像生成処理を実行する第2の処理部から、第2のパスを介して第2の表示データを取得し、前記第1の表示データに基づく第1の表示情報と、前記第2の表示データに基づく第2の表示情報を前記タッチパネルディスプレイに表示させる制御を行う
処理を実行させるためのプログラム。