(58)【調査した分野】(Int.Cl.,DB名)
前記微調整後に、ユーザが指を引き寄せる操作をしたことに応答して、前記軌跡の終点の既定の範囲を切り取り、指の近傍に表示するステップを、さらに含む請求項2記載の方法。
前記微調整後に、ユーザが指を引き寄せる操作をしたことに応答して、前記軌跡の終点の既定の範囲を切り取り、指の近傍に表示する手段を、さらに含む請求項6記載の装置。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明はかかる事情に鑑みてなされたものであり、直感性に優れたオブジェクト選択操作が行える方法、装置、及びコンピュータ・プログラムを提供することを課題とする。
また別の課題は、遠方にある任意の位置にあるオブジェクトを選択操作する方法、装置、及びコンピュータ・プログラムを提供することを課題とする。
また別の課題は、オブジェクト指示手段の動作速度に応じて、オブジェクト選択のためのカーソルの経路を拡大する方法、装置、及びコンピュータ・プログラムを提供することを課題とする。
また別の課題は、遠方オブジェクトを含む領域を引き寄せ、その領域内オブジェクトの選択操作可能とする方法、装置、及びコンピュータ・プログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために本発明は、表示機能を有するタッチパネルとデータ通信することが可能に接続してある情報処理装置により、表示されているオブジェクトを選択する方法であって、ユーザがタッチパネル上で指を所定の速度以上で移動させることに応答して、軌跡拡大モードに入るステップと、軌跡拡大モードにおいて前記指の移動速度に応じて指の軌跡を拡大して表示するステップと、拡大した軌跡の終点にあるオブジェクトを選択状態にするステップとを含む方法として実現される。
【0007】
また、前記選択状態において、ユーザがタッチパネル上で指をおいたまま移動させることに応答して、軌跡の終点を微調整するステップを含むようにする。
【0008】
また、前記微調整後に、ユーザが指を引き寄せる操作をしたことに応答して、前記軌跡の終点の既定の範囲を切り取り、指の近傍に表示するようにする。
【0009】
さらに、前記表示するステップが、拡大した軌跡に加えて指の軌跡も合わせて表示するようにする。
【0010】
上記方法の各ステップをコンピュータ・ハードウェアによる手段として実現した装置として実現する。
【0011】
上記方法の各ステップをコンピュータに実行させるコンピュータ・プログラムとして実現する。
【0012】
最後に、上記コンピュータ・プログラムを、コンピュータ可読記録媒体に記録したコンピュータ可読記録媒体として実現する。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態に係る、オブジェクトを表示し、指示し、選択するための装置について、図面に基づいて具体的に説明する。以下の実施の形態は、特許請求の範囲に記載された発明を限定するものではなく、実施の形態の中で説明されている特徴的事項の組み合わせの全てが解決手段の必須事項であるとは限らないことは言うまでもない。
【0015】
また、本発明は多くの異なる態様にて実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきではない。
【0016】
以下の実施の形態では、コンピュータシステムにコンピュータ・プログラムを導入した装置について説明するが、当業者であれば明らかな通り、本発明はその一部をコンピュータで実行することが可能なコンピュータ・プログラムとして実施することができる。したがって、本発明は、データ通信することが可能に接続してある所の表示装置で表示されているオブジェクトを指示し、選択する装置というハードウェアとしての実施の形態と、ソフトウェアとしての実施の形態と、ソフトウェアとハードウェアとの組み合わせの実施の形態をとることができる。コンピュータ・プログラムは、ハードディスク、DVD、CD、光記憶装置、磁気記憶装置等の任意のコンピュータで読み取ることが可能な記録媒体に記録することができる。
【0017】
本発明の実施の形態によれば、機械的なスイッチ、ボタンを必要とすることなく、遠隔に表示された所望のオブジェクトをユーザビリティ良く指示することができる。
【0018】
(実施の形態1)
図1は、本発明の実施の形態1に係る情報処理装置の構成を示すブロック図である。本発明の実施の形態1に係る情報処理装置1は、少なくともCPU(中央演算装置)11、メモリ12、記憶装置13、I/Oインタフェース14、ビデオインタフェース15、ディスクドライブ16、通信インタフェース17及び上述したハードウェアを接続する内部バス18で構成されている。
【0019】
CPU11は、内部バス18を介して情報処理装置1の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置13に記憶されたコンピュータ・プログラム100に従って、種々のソフトウェア的機能を実行する。メモリ12にはコンピュータ・プログラム100の実行時にロードモジュールが展開され、コンピュータ・プログラム100の実行時に発生する一時的なデータ等が記憶される。
【0020】
記憶装置13は、内蔵型の固定型記憶装置で、ROM等で構成されている。記憶装置13に記憶されたコンピュータ・プログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM等の可搬型記録媒体90から、可搬型ディスクドライブ16によりダウンロードされ、実行時には記憶装置13からメモリ12へ展開して実行される。もちろん、通信インタフェース17を介して接続されている外部コンピュータからダウンロードされたコンピュータ・プログラムであっても良い。
【0021】
通信インタフェース17は内部バス18に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。
【0022】
I/Oインタフェース14は、タッチパネル21と接続され、データの入力を受け付ける。また、ビデオインタフェース15は、タッチパネル21と一体となったディスプレイ22と接続され、オブジェクトの画像を表示する。オブジェクトの通常選択においてはタッチパネル21とディスプレイ22の一体化が好ましいが必須ではない。本発明特有のオブジェクト指示機構はタッチパネル21とディスプレイ22が分離されていても支障なく機能することに留意されたい。ユーザはディスプレイ22に表示されているオブジェクトを本発明特有の方法、構成により指示、選択する。
【0023】
図2は、本発明の実施の形態1に係るタッチパネル21の構成を示すブロック図である。
図2に示すように、実施の形態1に係るタッチパネル21は、少なくともタッチパネル部(ディスプレイ)200、発振回路41、検出位置制御回路42、演算回路43、X軸入力側スイッチ44、Y軸入力側スイッチ45、X軸出力側スイッチ46、Y軸出力側スイッチ47、制御回路48を備えている。
【0024】
図2は典型的なタッチパネルの構造を図示するものであり種々の方式が知られている。タッチパネル21の位置検出方法はマトリクス・スイッチ方式以外に、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式、またこれらの混合が知られている。静電容量方式の場合はタッチパネルと指またはポインタとの静電容量を用いた距離の測定に加えて他点接触検出も可能である。
【0025】
タッチパネル部200は、X軸方向の位置を検出するためのX軸電極線と、Y軸方向の位置を検出するためのY軸電極線がマトリックス上に配置されたタッチパネルである。発振回路41は、パルス信号を発生する発振回路である。検出位置制御回路42は、タッチパネル部200のX軸電極線又はY軸電極線のうち、いずれを接続するかを制御する制御回路である。
【0026】
演算回路43は、タッチパネル部200からの信号を検出して、指による接触位置又は近接位置を演算する回路である。X軸入力側スイッチ44は、X軸電極線の入力端へパルス信号を入力するためのスイッチであり、Y軸入力側スイッチ45は、Y軸電極線の入力端へパルス信号を入力するためのスイッチである。また、X軸出力側スイッチ46は、X軸電極線の出力端を演算回路43に接続するためのスイッチであり、Y軸出力側スイッチ47は、Y軸電極線の出力端を演算回路43に接続するためのスイッチである。
【0027】
制御回路48は、タッチパネル21の全体の動作を制御するとともに、検出位置制御回路42に対して、複数の電極を所定の本数接続した状態で指の接触位置又は近接位置の検出を指示する。位置検出が行われた場合、検出された位置付近の電極を個別接続し、その他の電極を所定の本数接続した状態とするよう指示を行う。
【0028】
タッチパネル21からの出力信号として、例えば接触状態である、近接状態である、離隔状態である等に関する情報を取得する場合、指とタッチパネル21との間の距離も、静電電圧の変動により推算することができる。また指の動きの傾斜角度も推算することができる。
【0029】
図3は、本発明の実施の形態1に係る情報処理装置1の機能ブロック図である。
図3において、情報処理装置1の接触状態検知部101は、タッチパネル21からの出力信号を受信して、指先とタッチパネル21との垂直距離、指の接触状態に関する情報を抽出する。指の接触状態に関する情報とは、例えば指が接触状態である、近接状態である、離隔状態である等に関する情報であり、タッチパネル21の各センサからの出力信号により判断することができる。なお近接状態の場合、指とタッチパネル間の静電容量等を用いてその距離を算出する。
【0030】
接触状態検知部101は指の接触状態を検知し、指がそのまま移動している場合にはその信号を速度判定部105に送信する。また必要に応じて描画部102へオブジェクト、指の軌跡44の描画を指示する。
【0031】
描画部102は、指の接触状態、指の移動速度、選択操作に関する情報に応じて、ディスプレイ22にオブジェクトを描画する。例えば、指の移動速度が所定の速度を超えた場合にスケール判断部103の指示により拡大した指の軌跡をディスプレイ22に描画する。その他、選択操作などによりオブジェクトの表示属性を変化させる。表示属性とは色、形状、点滅、明度などを指す。
【0032】
スケール判断部103は、速度判断部105で計測された指の移動速度が所定の速度を超えた場合に、軌跡拡大モードであると判定し、指の軌跡を拡大し、指の移動速度に応じて指の軌跡を拡大して描画するよう、描画部102に指示する。ここで、所定の移動速度とは、例えば5dot/ms である。指の移動情報は選択/操作判断部104に送信される。
【0033】
選択/操作判断部104はスケール判断部から送信された指の動き情報に基づきオブジェクトの選択、操作を行い、必要に応じて描画部102へオブジェクトの描画を指示する。
【0034】
なお、本実施の形態1では、軌跡拡大モードの判定に指の移動速度を用いているが、移動速度に加えて他の信号を判定条件に入れても良い。他の判定条件の例として、タッチパネル上の所定の位置を他の指で押さえ状態である。外部スイッチをソフト的、ハード的に設けて、それらがONであること。その他、センサ情報が特定の信号を出力していることを条件にする等、種々考えられる。
【0035】
図4に本発明の実施形態1に係る情報処理装置1と親指との俯瞰図を示す。ユーザはディスプレイ22の到達不能な所に表示されているオブジェクト50を選択したいと思っている。そこで親指をタッチパネル上でタッチしたまま始点Sから終点Eへスライドさせる。本発明の特有の態様によれば、指の移動速度が所定の速度を超える場合には指の軌跡拡大モードに入る。そして拡大された指の軌跡52が始点S終点E’としてディスプレイ22に表示される。好ましくは指の移動速度に応じて軌跡のスケールを拡大するようにする。また拡大軌跡52の表示と共に実際の指の移動軌跡54(始点S終点E)を表示するようにしても良い。
【0036】
以下、移動速度および軌跡52の描画方法について説明する。移動速度vはx軸方向の移動速度をVx、y軸方向の移動速度をVyとして次式で表さられる。
v=√(Vx^2+Vy^2)
【0037】
ここで所定の移動速度をCとして、指の移動速度がv>Cのとき、軌跡52で次に描画される点座標(X,Y)は次式で表される。ただしv≦Cの場合、すなわちユーザが指をゆっくり動かした場合には軌跡拡大モードに入らない。
X=X’+a・Vx/Cx (|Vx|>Cxのとき)
Y=Y’+a・Vy/Cy (|Vy|>Cyのとき)
【0038】
ここで座標(X’、Y’)は軌跡52の直前の点座標である。またaは軌跡全体の拡大率を表すスケール係数である。Cx、Cyは各軸方向固有のスケール倍率を適用するための正の固定値である。具体的にはCxはx軸方向の所定の限界速度を表し、Cyはy軸方向の所定の限界速度を表す。これらの限界速度を超えた時に座標値が計算される。
【0039】
なお軸方向の移動速度Vx、Vyは負の値も在り得ることに留意されたい。この軌跡の座標の計算方法は一例であって、この他、種々変形が可能である。
【0040】
図5は、スマートフォンにおける本発明の動作例である。親指を始点SからEへすばやく移動すると、始点Sから終点E’への拡大された軌跡52が親指の移動速度に応じて拡大表示される。終点E’にオブジェクトが存在している場合にはそのオブジェクト56を選択状態とする。もしくは終点E’に一番近いオブジェクトが選択状態となり、拡大軌跡もそれに合わせて補正する。
【0041】
図6に拡大軌跡の微調整方法を図示する。
図5の状態から指をタッチパネル上に置いたまま移動させると、
図6に示されるように描画された拡大軌跡の終点E’の位置を微調整することができる。終点E’の位置が移動する毎に拡大軌跡が再描画される。そして終点E’の位置に存在するオブジェクトが選択状態となる。
【0042】
図7にオブジェクトの選択例を示す。
図6の状態から、ユーザが指を離して、タッチパネルをタップすると、そのオブジェクトが最終的に選択される。
【0043】
図8に領域の引き寄せの例を図示する。
図6の微調整後の状態から、指で引き寄せる操作を行うと、終点E’の周囲が切り取られて手元(
図8では親指の可動範囲)に表示される。なお「引き寄せる」操作と「微調整」の操作は指の移動速度で判断する。既定の速度以上で移動した場合には「引き寄せ」操作であると判断する。切り取る領域の大きさは指の可動範囲を考慮して予め決めておく。
【0044】
さらに手元に引き寄せられた領域から選択したいオブジェクトを選択することができる。その他引き寄せる際に、切り取り領域を拡大もしくは縮小するようにしても良い。
【0045】
図9に、本発明の軌跡拡大モード時の状態遷移図を示す。状態は大きく分けて4つの状態、軌跡指定、カーソル微調整、引き寄せ領域表示、オブジェクト選択からなる。ここでカーソルとは拡大した軌跡の終点E’を意味する。まず軌跡指定中に指が停止すると、カーソル位置の微調整状態となり、ここで引き寄せ操作が行わると引き寄せ領域表示状態となる。各状態において指がタッチパネルを離れるとオブジェクトの選択状態となる。ここでタップイベントによりオブジェクトが最終的に選択され、軌跡拡大モードは終了する。
【0046】
図10に、軌跡指定中の処理のフローチャートを示す。まずステップ1010で指がタッチパネル状にあるかを判断する。ここで指がタッチパネルを離れると処理はオブジェクト選択状態へ移る。ステップ1010の判断がYESの場合、ステップ1020で指が移動を停止したかを判断する。停止した場合には処理はオブジェクト選択状態へ移る。
【0047】
ステップ1020の判断がNOの場合にはステップ1030で軌跡の記録を行う。移動後のカーソル位置、すなわち前述した座標(X’、Y’)が計算され、その位置、時刻を記録する。次にステップ1050で拡大した軌跡の表示を行う。そして処理はステップ1010へ戻る。
【0048】
図11に、カーソル位置微調整処理のフローチャートを示す。まずステップ1110で指がタッチパネル状にあるかを判断する。ここで指がタッチパネル状にある場合には処理はオブジェクト選択状態へ移る。ステップ1110の判断がNOの場合、ステップ1120で指が移動したかを判断する。移動していない場合には処理はステップ1110に戻る。
【0049】
ステップ1120の判断がYESの場合にはステップ1130で指の座標取得、移動方向取得、移動速度の算出を行う。次にステップ1150で取得した移動速度が所定の値を上回る場合には引き寄せ操作がなされたと判断し、処理は引き寄せ操作の処理に移る。なお移動速度の閾値超えに加えて、移動方向として軌跡の始点方向への移動もしくは、タッチパネルの下隅(手元)への移動を条件としても良い。
【0050】
図12に、オブジェクトの選択処理のフローチャートを示す。まずステップ1210でタップイベントの取得に成功したかを判断する。成功しなかった場合にはステップ1220でタイムアウトしたか判断し、している場合には軌跡拡大モードをキャンセルする。タイムアウトしていない場合には処理はステップ1210へ戻る。
【0051】
ステップ1210の判断においてタップイベントの取得に成功した場合には、ステップ1230でタップイベントを軌跡終点上のオブジェクトに転送する。これによりオブジェクトが最終的に選択されることになる。次にステップ1250で拡大した軌跡または引き寄せた領域表示を消し、拡大軌跡モードを終了する。
【0052】
図13に、引き寄せ領域表示処理のフローチャートを示す。まずステップ1310で切り取り領域の算出を行う。次にステップ1320で算出領域を手元に表示する。そして処理はオブジェクト選択処理へ移る。
【0053】
図14に、ステップ1310のより詳細なフローチャートを示す。まずステップ1410で切り取られる領域(矩形領域A)をディスプレイ22における座標として求める。この座標から後に手元に表示するウィンドウの縦、横のサイズが決定される。
【0054】
次にステップ1420で矩形領域Aのコンテンツ内の位置Bを決定する。これはディスプレイ22がスマートフォン等のように表示面積が小さい場合には広いコンテンツの一部を表示しているケースが多い。そのコンテンツ内のどこに矩形領域Aが位置しているかを位置Bとして取得する。
【0055】
図15に、ステップ1320のより詳細なフローチャートを示す。まずステップ1510で矩形領域Aと同一サイズのウィンドウを手元に作成する。
【0056】
次にステップ1520で作成したウィンドウ内にディスプレイ22に表示しているものと同じコンテンツを表示する。この時ウィンドウ内の表示開始位置をコンテンツ内の位置Bから表示する。このようにすることでウィンドウ内も同一のコンテンツが手元に表示され、かつ引き寄せ後のウィンドウ内での同様にオブジェクトの操作選択が可能となる。
【0057】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。