(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0010】
以下、
図4を参照して本発明の端末装置が行うユーザ補助表示の概要について説明する。
図4は本発明の端末装置が行うユーザ補助表示の態様を示す図である。本発明の端末装置は、
図4に示すように、ユーザの指(スタイラス)の先端と、タッチパネルとの距離Dが、所定の距離以下に接近した場合に、ユーザの指(スタイラス)の先端から伸びるタッチパネル面と垂直な線分と、タッチパネル面との交点(点B)が所定のキー(
図4ではキー「M」)の表示領域内に存在する場合、当該所定のキー(キー「M」)の当初の表示位置から所定の距離ずらした位置に補助表示(キー「M」)を表示させることを特徴とする。詳細は後述するが、距離D、点Bは、タッチパネル表面の静電容量や赤外線量により計測することができる。
図4の例では、キー「M」が当初表示された位置より、画面上方向にずれた位置に表示されている。これによりユーザは、押そうとするキーが自身の指に隠れて見えにくくなること無く、キー入力を行うことが可能となるため、キーの誤入力を防ぐことができる。
【0011】
<端末装置>
図4では、携帯端末を例示したが、本発明は、携帯端末に限らず、タッチパネルを介して入力操作を行うことができる電子機器(携帯端末、タブレット型コンピュータ、PDA、電子書籍端末、デジタルオーディオプレーヤー、ゲーム機など)であれば、どんなものにでも適用可能である。従って、本明細書において「端末装置」という場合、タッチパネルを介して入力操作を行うことができる電子機器全般を示すものとして用いる。なお、以下の実施例1〜実施例8では、端末装置の例として、携帯端末を示して説明を進める。
【0012】
<操作指のタッチパネルへの接近度合いを示す物理情報>
本発明では、ユーザの操作指の先端とタッチパネルとの距離Dが所定の距離以下に接近した場合に所定のキーに対して補助表示を行う。ここで距離Dは、静電容量や赤外線量などの物理量の最大値から予測することができる。以下の実施例では、静電容量を用いた例を説明するが、指の接近を検知できる物理量であれば、必ずしも静電容量を用いなくても良く、任意の物理量に代替可能である。
【実施例1】
【0013】
以下、
図5から
図13を参照して、実施例1の携帯端末1について説明する。
図5は実施例1から実施例8の携帯端末の構成を示すブロック図である。
図6は実施例1から実施例8の携帯端末の動作を示すフローチャートである。
図7は本実施例のホバー位置補正部12の構成を示すブロック図である。
図8は本実施例のホバー位置補正部12の動作を示すフローチャートである。
図9は本実施例のホバー位置補正部12の動作を例示する図である。
図10は本実施例のユーザ補助表示制御部14の構成を示すブロック図である。
図11は本実施例のユーザ補助表示制御部14の動作を示すフローチャートである。
図12、
図13は補助表示のバリエーションを例示する図である。
【0014】
図5に示す通り、本実施例の携帯端末1は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。なお、本実施例および後述する他の実施例の携帯端末は、これ以外にも通常の携帯端末が備えるアンテナ、送信機、受信機、スピーカ、レシーバ、データ処理回路、電源部、UIMなどを備えているが、本発明の説明と関係がないため、説明および図示を略する。
【0015】
<ホバー位置検出部11>
ホバー位置検出部11は、操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量が最大値となるタッチパネル上の位置(以下、ホバー位置という)を検出する(S11)。例えば、ホバー位置検出部11は、静電容量センサを備え、タッチパネル表面の静電容量を所定のピッチで計測することで静電容量分布を取得し、静電容量が最大となる点をホバー位置(点B)であるものとして検出する。この方法では、指の位置が遠くても、必ず静電容量が最大となる点がホバー位置として検出されるため、閾値を定めておき、静電容量の最大値が閾値を超過する場合に限り、静電容量が最大となる点をホバー位置として検出することとすればよい。ホバー位置検出部11は、静電容量以外の物理量(赤外線など)の分布を測定して、操作指のタッチパネルへの接近度合いを検知しても良い。
【0016】
<ホバー位置補正部12>
図9に示すように、ホバー位置検出部11が検出したホバー位置(点B)と、ユーザが押そうと意識している点(点A)には若干のずれがある。これは人間がボタンやタッチパネルを指先で押下しようとするときに最初に接触する指の部分と、ボタンやタッチパネルが押される直前におけるタッチパネル上の操作指の接近度合いを示す物理量の分布におけるピーク位置を生じさせる指の部分が若干異なっていることが原因である。具体的には、タッチパネルなどに最初に接触する指の部分は指の腹の領域のうち、指先端に近い箇所であり、物理量の分布におけるピーク位置を発生させる指の部分は、指の腹の領域のうち、タッチパネルなどに最初に接触する指の部分よりも若干指の付け根側にシフトしている。従って
図9に示すように、点Aよりも画面下側方向に1〜数ミリ程度シフトした位置に点Bが存在することが多い。そこで、ホバー位置補正部12は、ホバー位置検出部11が検出したホバー位置(点B)を予め定めた所定の距離補正して、補正済みホバー位置(点A)を出力する(S12)。より詳細には、
図7に示すように、ホバー位置補正部12は、位置補正部121と、設定値記憶部122とを備える。設定値記憶部122には、座標補正量が記憶されている。例えば座標補正量はピクセル単位で指定することができ、12ピクセル等とすることができる。設定値記憶部122に記憶される座標補正量は、端末の工場出荷までにメーカー側が設定しておくこととしても良いし、座標補正量がユーザの操作感覚にフィットするまで都度校正されるようにするため、ユーザが適宜更新できることとしてもよい。位置補正部121は、座標補正量を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS121)。
【0017】
<対象キー特定部13>
対象キー特定部13は、補正済みホバー位置(点A)の座標と、各キーの表示座標領域とを比較して、補正済みホバー位置(点A)の座標を含む表示領域に対応するキーを対象キーとして特定する(S13)。
【0018】
<ユーザ補助表示制御部14>
ユーザ補助表示制御部14は、対象キーを表す補助表示を対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成、出力する(S14)。表示制御信号の内容は、例えば、
図12Aに示すように、対象キーを画面上方にシフトさせた位置に補助表示を表示させるものであればよい。これに限られず、
図12Bに示すように、対象キーを画面左上方にシフトさせた位置に補助表示を表示させても良いし、
図12Cに示すように、対象キーを画面右上方にシフトさせた位置に補助表示を表示させても良い。シフトさせる方向は、手と画面の位置関係から考えれば、画面上方であることが好ましいが、例えば操作指が右手親指である場合には、右手親指の第一関節が視線を遮る場合があるため、
図12Bのように対象キーを画面左上方にシフトさせた位置に補助表示を表示したほうがユーザにとって見やすい表示となる。反対に、操作指が左手親指である場合には、左手親指の第一関節が視線を遮る場合があるため、
図12Cのように対象キーを画面右上方にシフトさせた位置に補助表示を表示したほうがユーザにとって見やすい表示となる。また、ユーザ補助表示制御部14は、特定された対象キーの表示のみを補助表示の内容とする表示制御信号を生成することに限られず、
図13に示すように、対象キーに含まれるキー候補すべてを表示する補助表示としても良い。
図13の例では、あ行、か行、さ行、た行、な行、…などの各行のキー候補の入力を受け付ける代表キーのみが表示されている場合に、例えば、な行の代表キーが対象キーとなった場合には、な行に含まれるキー候補である「な」「に」「ぬ」「ね」「の」を、「な」キーを中心として、「な」キーの左右上下方向に「に」「ぬ」「ね」「の」キーを表示させた補助表示全体を、上方向にシフトさせた位置に表示している。また、補助表示は対象キーと異なる位置に表示させるだけでなく、対象キーよりも大きく拡大させて表示しても良いし、色を変えたり、反転表示させたりして表示させても良い。従ってユーザ補助表示制御部14は、補助表示の表示位置座標、拡大率、色変更の有無、変更後の色の指定、反転表示の有無等に加え、対象キーが複数のキー候補を含む場合には、それらを全て含む補助表示を表示させる旨を示す表示制御信号を生成する。詳細には、ユーザ補助表示制御部14は、
図10に示すように表示制御部141と、表示パラメータ記憶部142とを備える。表示パラメータ記憶部142には、表示パラメータ(補助表示の表示位置座標、拡大率、色変更の有無、変更後の色の指定、反転表示の有無、複数のキー候補を含む場合の補助表示の内容など)を記憶している。表示パラメータ記憶部142に記憶される表示パラメータは、端末の工場出荷までにメーカー側が設定しておくこととしても良いし、補助表示の内容をユーザの嗜好に合わせることができるように、ユーザが適宜更新できることとしてもよい。表示制御部141は、表示パラメータ記憶部142に記憶された表示パラメータを参照して、表示制御信号を生成、出力する(SS141)。
【0019】
<ディスプレイ15>
ディスプレイ15は、ユーザ補助表示制御部14が出力した表示制御信号に従って画面表示を実行する。
【0020】
<変形例1>
なおホバー位置補正部12はユーザの操作性を高めるために備えることが望ましいが、必須ではない。このため、本実施例の変形例として、ホバー位置補正部12を省略した携帯端末1’も実現可能である。
図5に示すように本変形例の携帯端末1’は、ホバー位置検出部11と、対象キー特定部13’と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。
【0021】
この場合、ホバー位置検出部11は、操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量が最大値となるタッチパネル上の位置(ホバー位置)を検出し(S11)、対象キー特定部13’は、ホバー位置(点B)の座標を含む表示領域に対応するキーを対象キーとして特定する(S13’)。ユーザ補助表示制御部14は、対象キーを表す補助表示を対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成する(S14)。ディスプレイ15は、表示制御信号に従って画面表示を実行する。
【0022】
<変形例2>
なお、実施例1、変形例1では、ユーザ補助表示制御部14は、表示パラメータとして予め設定された補助表示の表示位置座標に従って補助表示を表示させる旨を示す表示制御信号を生成することとしたが、これに限られず、例えば対象キーの当初の表示位置から指の軸方向に所定の距離シフトした位置に補助表示を表示することとしても良い。このような機能を実現するため、変形例1をさらに変形した変形例2として、ユーザ補助表示制御部14をユーザ補助表示制御部14’とした携帯端末1’’について説明する。本変形例の携帯端末1’’は、ホバー位置検出部11と、対象キー特定部13’と、ユーザ補助表示制御部14’と、ディスプレイ15とを備える。本変形例のユーザ補助表示制御部14’は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布から操作指の軸方向を予測して、当該予測した操作指の軸方向をシフト方向として、対象キーの表示位置をシフト方向に予め定めた所定の距離シフトさせた位置に補助表示を表示させる旨を示す表示制御信号を生成する(S14’)。操作指のタッチパネルへの接近度合いを示す物理量の分布から、操作指の軸方向を予測する具体的な方法については、実施例3において詳細に述べる。
【0023】
このように本実施例の携帯端末1、変形例1の携帯端末1’および変形例2の携帯端末1’’によれば、ユーザ補助表示制御部14(14’)が、特定された対象キーを表す補助表示を対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成、出力するため、ユーザの指によって、ユーザが押そうとするキーが隠れて見えなくなってしまうことを防ぎ、ユーザが入力しやすいキー表示をすることができる。
【実施例2】
【0024】
以下、
図5および、
図14から
図17を参照して、実施例2の携帯端末2について説明する。
図14は本実施例のホバー位置補正部22の構成を示すブロック図である。
図15は本実施例のホバー位置補正部22の動作を示すフローチャートである。
図16、
図17は静電容量分布と補正量の関係を例示する図である。
【0025】
図5に示す通り、本実施例の携帯端末2は、ホバー位置検出部11と、ホバー位置補正部22と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。ホバー位置検出部11と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するホバー位置補正部22について説明する。
【0026】
<ホバー位置補正部22>
実施例1で説明したように、ホバー位置検出部11が検出したホバー位置(点B)と、ユーザが押そうと意識している点(点A)には若干のずれがある。このずれは指の物理的形状を原因として生じるずれである。このずれは、操作指のタッチパネルに対する角度によって変化する。例えば、
図16のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が小さい場合には、点Aと点Bにはずれが生じている。一方、
図17のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が垂直に近づいてくると、点Aと点Bとのずれは小さくなる。ユーザの操作指の軸方向とタッチパネル面とのなす角については、例えば
図16、17に示すように、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の形状に着目すれば、予測可能である。例えば
図16のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が小さい場合、物理量の分布が最大値を中心としてゆるやかな上に凸の曲線を形成するのに対し、
図17のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が垂直に近づいてくると、物理量の分布が最大値を中心として急峻な上に凸の曲線を形成する。従って、本実施例のホバー位置補正部22は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布の微分値を取得し、当該微分値と対応して予め定まる座標補正量を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(S22)。詳細には、例えば
図14に示す通り、ホバー位置補正部22は、位置補正部221と、補正パラメータ算出部222と、静電容量分布取得部223とを備える。静電容量分布取得部223は、静電容量分布を取得する(SS223)。補正パラメータ算出部222は、静電容量分布から座標補正量を算出する(SS222)。例えば、補正パラメータ算出部222は、予め微分値と座標補正量とを対にしてテーブルとして記憶しておき、静電容量分布の微分値を計算し、当該微分値とテーブルとを参照して、座標補正量を算出することとすればよい。位置補正部221は、当該座標補正量を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS221)。
【0027】
このように本実施例の携帯端末2によれば、実施例1の効果に加え、ホバー位置補正部22が、ユーザの操作指の軸方向とタッチパネル面とのなす角を考慮して、ホバー位置を補正するため、より高精度にユーザの押そうとするキーの特定をおこなうことができる。
【実施例3】
【0028】
以下、
図5および、
図18から
図23を参照して、実施例3の携帯端末3について説明する。
図18は本実施例のホバー位置補正部32の構成を示すブロック図である。
図19は本実施例のホバー位置補正部32の動作を示すフローチャートである。
図20は操作指が親指である場合の、補正量と補正方向について例示する図である。
図21は操作指が人差し指である場合の、補正量と補正方向について例示する図である。
図22は静電容量分布と指の幅、指の軸方向との関係について説明する図である。
図23は静電容量分布から指の幅、指の軸方向を検知する処理の例を説明する図である。
【0029】
図5に示す通り、本実施例の携帯端末3は、ホバー位置検出部11と、ホバー位置補正部32と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。ホバー位置検出部11と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するホバー位置補正部32について説明する。
【0030】
<ホバー位置補正部32>
実施例1で説明したように、ホバー位置検出部11が検出したホバー位置(点B)と、ユーザが押そうと意識している点(点A)には若干のずれがある。このずれは指の物理的形状を原因として生じるずれである。このずれは、実施例2のように指のタッチパネルに対する角度に影響されるだけでなく、指の大きさによっても影響を受ける。例えば操作指が親指のように大きな指であれば、ずれの量もこれに比例して大きくなる。操作指が小さくなればずれの量もこれに比例して小さくなる。従って、
図20のように親指を操作指としている場合と、
図21のように人差し指を操作指としている場合とでは、厳密にはずれ量は異なり、親指を操作指としている場合のずれ量d
1は人差し指を操作指としている場合のずれ量d
2よりも大きくなる。また、ずれが生じる向きは、厳密には指の軸方向である。従って、
図21のように、人差し指を画面右上方向きにしている場合には、ずれが生じる向きもこれと同じく画面右上方向きとなる。
図22に示すように、操作指の大きさ(指の幅)、操作指の向き(指の軸方向)は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の形状に着目すれば、予測可能である。具体的には、例えば
図23に示すように、タッチパネルをいくつかの方形領域に区切る(
図23の例では、縦8×横5の40マス)。これらの方形領域内における静電容量などの物理量の平均値が所定の値を超える方形領域を検出する(
図23では黒塗りの方形領域)。これらの検出された方形領域のうち、領域内平均値がもっとも大きくなる方形領域の中心座標(
図23では点P)と、領域内平均値がもっとも小さくなる方形領域の中心座標(
図23では点O)とを結ぶ線分の角度から、指の軸方向を求めることができる。次に、方形領域内における静電容量などの物理量の平均値が所定の値を超えるとして検出された方形領域(
図23では黒塗りの方形領域)の個数を横方向に、行ごとにカウントする。
図23の例では、上から5行目から下の行に向かって順に1マス、3マス、3マス、2マス検出されている。これら行ごとにカウントされた個数の最大値を指の幅(指の大きさ)を表すものと扱うことができる。より厳密には、前述の指の軸方向とされた角度(画面短手方向に対してなす角)をθとして、行ごとにカウントされた個数の最大値にsinθをかけたものを指の幅(指の大きさ)を表すものと扱えばよい。
図23の例では、線分OPが画面短手方向に対してなす角は45度、行ごとにカウントされた個数の最大値は3であるから、3×sin45≒2.12を指の大きさを表す値とすることができる。従って、本実施例のホバー位置補正部32は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布から操作指の大きさ、および操作指の軸方向を予測して、当該予測した操作指の大きさに基づいて予め定まる座標補正量、および操作指の軸方向によって定まる補正方向を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(S32)。詳細には、例えば
図18に示す通り、ホバー位置補正部32は、位置補正部321と、補正パラメータ算出部322と、静電容量分布取得部323とを備える。静電容量分布取得部323は、静電容量分布を取得する(SS323)。補正パラメータ算出部322は、静電容量分布から座標補正量および補正方向を算出する(SS322)。例えば、補正パラメータ算出部322は、予め指の幅と座標補正量とを対にしてテーブルとして記憶しておき、例えば前述の方法で算出した指の幅とテーブルとを参照して、座標補正量を算出する。また、補正パラメータ算出部322は、例えば前述の方法で算出した指の軸方向をそのまま補正方向とする。位置補正部321は、当該座標補正量と、補正方向とを用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS321)。
【0031】
このように本実施例の携帯端末3によれば、実施例1の効果に加え、ホバー位置補正部32が、ユーザの操作指の大きさや指の軸方向を考慮して、ホバー位置を補正するため、より高精度にユーザの押そうとするキーの特定をおこなうことができる。
【実施例4】
【0032】
以下、
図5および、
図24から
図26を参照して、実施例4の携帯端末4について説明する。
図24は本実施例のホバー位置補正部42の構成を示すブロック図である。
図25は本実施例のホバー位置補正部42の動作を示すフローチャートである。
図26は本実施例のホバー位置補正部42に記憶される検出除外領域を例示する図である。
【0033】
図5に示す通り、本実施例の携帯端末4は、ホバー位置検出部11と、ホバー位置補正部42と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。ホバー位置検出部11と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するホバー位置補正部42について説明する。
【0034】
<ホバー位置補正部42>
携帯端末等、小型の端末装置の場合、ユーザの把持の仕方によっては、タッチパネルの有る領域に常に手指が接近した状態となる場合がある。例えば
図26のようにユーザが左手で携帯端末を把持している場合、図中黒塗りで示した左手親指、薬指、小指付近のタッチパネル領域は、常に手指が接近した状態になる可能性がある。これらの常に手指が接近した領域は、実際にはホバー位置ではないにも関わらず、ホバー位置として誤認識される可能性がある。誤認識を防ぐためには、例えば画面の左右端の所定幅の領域を、検出除外領域と設定しておき、この検出除外領域における指の接近度合いを示す物理量の分布の変化に着目する。検出除外領域において、物理量の分布の変化量が大きくなければ、検出除外領域において検出されている物理量は、操作指の接近を意味するものでなく、把持する手指の接近を意味するものと捉えることができる。そこで、本実施例のホバー位置補正部42は、予め定めた検出除外領域内の指の接近度合いを示す物理量の分布の変化量を取得して、当該物理量の分布の変化量が予め定めた閾値未満であれば、検出除外領域内で検出されたホバー位置を削除する(S42)。詳細には、例えば
図24に示す通り、ホバー位置補正部42は、位置補正部421と、領域内静電容量変化検出部422と、検出除外領域座標記憶部423とを備える。検出除外領域座標記憶部423には、例えば画面の左右端の所定幅の領域を予め検出除外領域座標として記憶しておく。領域内静電容量変化検出部422は、静電容量分布を取得し、検出除外領域座標記憶部423に記憶された検出除外領域座標を参照して、当該取得した静電容量分布の検出除外領域内での変化量を検出する(SS422a)。静電容量分布の検出除外領域内での変化量が所定の閾値未満であれば(SS422bY)、位置補正部421は、検出除外領域内でホバー位置が検出された場合、当該検出されたホバー位置を削除する(SS421a)。一方、静電容量分布の検出除外領域内での変化量が所定の閾値以上であれば(S422bN)、位置補正部421は、実施例1〜3の位置補正部と同様に、所定の座標補正量や、補正方向を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS421b)。
【0035】
このように本実施例の携帯端末4によれば、実施例1の効果に加え、ホバー位置補正部42が、検出除外領域を考慮して、ホバー位置を削除、補正するため、実際にはホバー位置ではない点の誤認識を防ぐことができる。
【実施例5】
【0036】
以下、
図5および、
図27から
図29を参照して、実施例5の携帯端末5について説明する。
図27は本実施例のユーザ補助表示制御部54の構成を示すブロック図である。
図28は本実施例のユーザ補助表示制御部54の動作を示すフローチャートである。
図29は本実施例のユーザ補助表示制御部54の動作例を示す図である。
【0037】
図5に示す通り、本実施例の携帯端末5は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部54と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部54について説明する。
【0038】
<ユーザ補助表示制御部54>
ユーザの操作指が大きくなればなるほど(携帯端末が小型化すればするほど)、ユーザの指に隠れるキーの数は増大する。従って、ユーザの操作指が端末と比較して大きい場合には、対象キーのみを補助表示の対象としても、対象キーの左右上下のキーがユーザの指に隠れてしまい、ユーザが入力しにくく感じる場合がある。この場合、例えば、
図29に示すように、ユーザの指の大きさに応じて、対象キーの左右のキー等も補助表示の対象とすることで、ユーザが入力しにくく感じる場面を減らすことができる。そこで本実施例のユーザ補助表示制御部54は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得して、当該物理量の分布から指の大きさ(指の幅)を検出し、当該検出された指の大きさ(指の幅)に応じて予め定まる表示キーの個数に応じて補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S54)。詳細には、
図27に示す通り、ユーザ補助表示制御部54は、表示制御部541と、表示キー決定部542と、静電容量分布取得部543とを備える。静電容量分布取得部543は、静電容量分布を取得する(SS543)。表示キー決定部542は、取得された静電容量分布から指の大きさ(指の幅)を検出し、当該検出された指の大きさ(指の幅)に応じて予め定まる表示キーの個数に応じて補助表示を決定する(SS542)。静電容量分布から指の大きさ(指の幅)を検出する具体的方法については既に述べた。表示制御部541は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS541)。
【0039】
このように本実施例の携帯端末5によれば、実施例1の効果に加え、ユーザ補助表示制御部54が、ユーザの指の大きさを考慮して、表示キーの個数を調整して補助表示を決定するため、より一層ユーザが入力しやすいキー表示をすることができる。
【実施例6】
【0040】
以下、
図5および、
図30から
図32を参照して、実施例6の携帯端末6について説明する。
図30は本実施例のユーザ補助表示制御部64の構成を示すブロック図である。
図31は本実施例のユーザ補助表示制御部64の動作を示すフローチャートである。
図32はホバー高さと拡大率の関係を例示する図である。
【0041】
図5に示す通り、本実施例の携帯端末6は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部64と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部64について説明する。
【0042】
<ユーザ補助表示制御部64>
ユーザが対象キーを既に見つけておりタッチパネルを押そうとする寸前の状態であるか、それともユーザが操作指をタッチパネル近傍で水平移動させて、押そうとするキーを模索している状態なのかは指の接近度合いで推し量ることができる。例えば、
図32に示すように、高さH(高さHに対応する静電容量などの値)をホバー位置検出の限界高さ(値)とし、高さh(高さhに対応する静電容量などの値)をキー押下寸前の高さ(値)として設定する(ただし、H>h)。この場合、操作指先端が高さH以下かつ高さh以上の領域に侵入してきた場合、キー模索中であるものとみなし、操作指先端が高さh以下の領域に侵入してきた場合に、キー押下寸前であるものとみなす。このように設定すれば、例えば、操作指先端が高さH以下かつ高さh以上の領域に侵入してきた場合は、キー模索中であるから対象キーを等倍表示した補助表示を対象キーと同じ位置に表示したうえで、前述同様に、対象キーと異なる位置に補助表示を表示し、操作指先端が高さh以下の領域に侵入してきた場合は、キー押下寸前であるから対象キーを拡大表示した補助表示を対象キーと同じ位置に表示したうえで、前述同様に、対象キーと異なる位置に補助表示を表示するものとすればさらにユーザを適切に補助する補助表示を行うことができる。そこで、本実施例のユーザ補助表示制御部64は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得して、当該物理量の分布から操作指先端のホバー高さを検出し、当該検出された操作指先端のホバー高さに応じて予め定まる表示キー拡大率に応じて対象キーを拡大表示して対象キーと同じ位置に表示させる第1の補助表示、および対象キーと異なる位置に表示する第2の補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S64)。詳細には、
図30に示す通り、ユーザ補助表示制御部64は、表示制御部641と、拡大率決定部642と、静電容量分布取得部643とを備える。静電容量分布取得部643は、静電容量分布を取得する(SS643)。拡大率決定部642は、取得された静電容量分布から操作指先端のホバー高さを検出し、当該検出された操作指先端のホバー高さに応じて予め定まる表示キー拡大率に応じて対象キーを拡大表示して対象キーと同じ位置に表示させる第1の補助表示、および対象キーと異なる位置に表示する第2の補助表示を決定する(SS642)。表示制御部641は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS641)。
【0043】
このように本実施例の携帯端末6によれば、実施例1の効果に加え、ユーザ補助表示制御部64が、操作指先端のホバー高さを考慮して、表示キーの拡大率を調整して補助表示を決定するため、より一層ユーザが入力しやすいキー表示をすることができる。
【実施例7】
【0044】
以下、
図5および、
図33から
図35を参照して、実施例7の携帯端末7について説明する。
図33は本実施例のユーザ補助表示制御部74の構成を示すブロック図である。
図34は本実施例のユーザ補助表示制御部74の動作を示すフローチャートである。
図35は透過度と移動速度(滞留時間)の関係について例示する図である。
【0045】
図5に示す通り、本実施例の携帯端末7は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部74と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部74について説明する。
【0046】
<ユーザ補助表示制御部74>
ユーザが対象キーを既に見つけておりタッチパネルを押そうとする寸前の状態であるか、それともユーザが操作指をタッチパネル近傍で水平移動させて、押そうとするキーを模索している状態なのかは、操作指の動く速度で推し量ることもできる。ユーザが比較的速く操作指を動かしている場合には、ユーザはキーを探索中であると考えられるし、操作指が殆ど停止している場合には、タッチパネルを押そうとする寸前の状態であると推定できる。そこで
図35Aに示すように操作指の移動速度と透過度の関係を決めておき、移動速度が増大するに従って、補助表示の透過度を高くして、補助表示の後ろに表示されている画面表示を見やすくしておくことでユーザがキー探索を行いやすくすることができる。一方、移動速度が0に近づくにつれて補助表示の透過度を0に近づけ、より完全な状態の補助表示を表示して、押そうとするキーの判別を行いやすくしてユーザがキー操作を行いやすくすることができる。これ以外にも、例えば
図35Bのように操作指の滞留時間と透過度の関係を決めておき、滞留時間が殆どない状態では、補助表示の透過度を高くして、補助表示の後ろに表示されている画面表示を見やすくしておくことでユーザがキー探索を行いやすくすることができる。滞留時間が蓄積するに従って、補助表示の透過度を0に近づけ、より完全な状態の補助表示を表示して、押そうとするキーの判別を行いやすくしてユーザがキー操作を行いやすくすることができる。そこで、本実施例のユーザ補助表示制御部74は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の変化量を取得して、当該変化量から操作指の移動速度、または操作指の滞留時間を検出し、当該検出された操作指の移動速度、または操作指の滞留時間に応じて予め定まる表示キー透過度に応じて補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S74)。詳細には、
図33に示す通り、ユーザ補助表示制御部74は、表示制御部741と、透過度決定部742と、静電容量変化量取得部743とを備える。静電容量変化量取得部743は、静電容量分布の変化量を取得する(SS743)。透過度決定部742は、取得された静電容量分布の変化量から操作指の移動速度、または操作指の滞留時間を検出し、当該検出された操作指の移動速度、または操作指の滞留時間に応じて予め定まる表示キー透過度に応じて補助表示を決定する(SS742)。表示制御部741は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS741)。
【0047】
このように本実施例の携帯端末7によれば、実施例1の効果に加え、ユーザ補助表示制御部74が、操作指の移動速度や滞留時間を考慮して、表示キーの透過度を調整して補助表示を決定するため、より一層ユーザが入力しやすいキー表示をすることができる。
【実施例8】
【0048】
以下、
図5および、
図36から
図39を参照して、実施例8の携帯端末8について説明する。
図36は本実施例のユーザ補助表示制御部84の構成を示すブロック図である。
図37は本実施例のユーザ補助表示制御部84の動作を示すフローチャートである。
図38、
図39は静電容量分布と最適な補助表示の表示位置の関係について例示する図である。
【0049】
図5に示す通り、本実施例の携帯端末8は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部84と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部84について説明する。
【0050】
<ユーザ補助表示制御部84>
前述した通り、ユーザがタッチパネルを押下しようとするとき、ユーザの手によって端末画面の一部が遮られ、画面表示が見づらくなる。このとき、画面の遮蔽度合いはユーザの手の状態によって変化する。例えば
図38ではユーザは操作指の軸方向とタッチパネル面とのなす角を比較的浅い角度にしてタッチ操作を行っているのに対し、
図39ではユーザは操作指の軸方向とタッチパネル面とのなす角を垂直に近い角度にしてタッチ操作を行っている。この場合、
図39のユーザの手の甲は
図38のユーザの手の甲と比較して、ユーザの視線を遮りやすい位置にある。例えば、
図38の点Cの位置に補助表示を行った場合に、
図38の手の状態であれば、補助表示がユーザの手に遮蔽されないが、
図39の手の状態で、点Cの位置に補助表示を行ったとしても、補助表示がユーザの手の甲に隠れてしまい、見えなくなってしまうという事態が生じる。
図39の場合は、さらに画面上方にシフトした点C’の位置に補助表示を行うべきである。ユーザの操作指の軸方向とタッチパネル面とのなす角については、前述したように、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の形状に着目すれば、予測可能である。
図38のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が小さい場合、物理量の分布が最大値を中心としてゆるやかな上に凸の曲線を形成するのに対し、
図39のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が垂直に近づいてくると、物理量の分布が最大値を中心として急峻な上に凸の曲線を形成する。そこで、本実施例のユーザ補助表示制御部84は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布における微分値を取得し、当該微分値と対応して予め定まる補助表示位置に応じて補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S84)。詳細には、
図36に示す通り、ユーザ補助表示制御部84は、表示制御部841と、表示位置補正量決定部842と、静電容量分布取得部843とを備える。静電容量分布取得部843は、静電容量分布を取得する(SS843)。表示位置補正量決定部842は、取得された静電容量分布における微分値を取得し、当該微分値と対応して予め定まる補助表示位置に応じて補助表示を決定する(SS842)。表示制御部841は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS841)。
【0051】
このように本実施例の携帯端末8によれば、実施例1の効果に加え、ユーザ補助表示制御部84が、ユーザの手が画面をどの程度遮っているかを考慮して、補助表示位置を調整するため、より一層ユーザが入力しやすいキー表示をすることができる。
【0052】
以上のように、本発明の実施例として8つの例を記載したが、これ以外にも、例えば、変形例1の携帯端末1’のユーザ補助表示制御部14をユーザ補助表示制御部54、64、74、84のいずれかに置き換えた携帯端末も実施可能である。同様に、ホバー位置補正部22とユーザ補助表示制御部54、64,74、84のいずれかを組み合わせた携帯端末も実施可能である。同様に、ホバー位置補正部32とユーザ補助表示制御部54、64、74、84のいずれかを組み合わせた携帯端末も実施可能である。同様に、ホバー位置補正部42とユーザ補助表示制御部54、64、74、84のいずれかを組み合わせた携帯端末も実施可能である。
【0053】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【0054】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【0055】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0056】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0057】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
【0058】
なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。