(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-88110(P2018-88110A)
(43)【公開日】2018年6月7日
(54)【発明の名称】入力装置、情報処理装置および動作方法
(51)【国際特許分類】
G06F 3/0338 20130101AFI20180511BHJP
G06F 3/038 20130101ALI20180511BHJP
G06F 3/0489 20130101ALI20180511BHJP
G06F 3/0481 20130101ALI20180511BHJP
【FI】
G06F3/0338 411
G06F3/038 350D
G06F3/0489 120
G06F3/0481 120
【審査請求】有
【請求項の数】18
【出願形態】OL
【全頁数】21
(21)【出願番号】特願2016-230782(P2016-230782)
(22)【出願日】2016年11月29日
(11)【特許番号】特許第6220035号(P6220035)
(45)【特許公報発行日】2017年10月25日
(71)【出願人】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100106699
【弁理士】
【氏名又は名称】渡部 弘道
(72)【発明者】
【氏名】高見 啓佑
(72)【発明者】
【氏名】小杉 和宏
(72)【発明者】
【氏名】森 英俊
(72)【発明者】
【氏名】山▲ざき▼ 充弘
【テーマコード(参考)】
5B087
5E555
【Fターム(参考)】
5B087AA09
5B087AB02
5B087AB07
5B087AC02
5B087AC05
5B087AE09
5B087BC02
5B087BC08
5B087BC12
5B087BC13
5B087BC16
5B087BC26
5B087DD03
5B087DD06
5B087DD09
5E555AA06
5E555AA12
5E555BA03
5E555BB03
5E555BC04
5E555CA06
5E555CA19
5E555CB16
5E555CB55
5E555CB56
5E555CB59
5E555CB62
5E555CC26
5E555DA01
5E555DB06
5E555DC08
5E555DC19
5E555DD06
5E555EA08
5E555EA14
5E555FA00
(57)【要約】
【課題】電子機器にポインティング・スティックに対するフリック操作の方向から連想が可能な応答動作をさせる。
【解決手段】ポインティング・スティック100に対して、カーソル操作とフリック操作をすることができる。システムは、ポインティング・スティックに対する圧力の大きさと操作時間からいずれかの操作を認識する。システムがカーソル操作を認識したときはマウス・カーソル15を移動させる。システムがフリック操作を認識したときは、その方向に応じてあらかじめ定義された応答動作をする。応答動作は、操作に方向性のあるキーの押下に対応する動作とすることができる。操作に方向性のあるキーは、カーソル・キー17のような方向性を示す表示がされたキーとすることができる。応答動作は、ディスプレイの表示を移動させる動作や入出力デバイスに対するユーザの操作量の増減をする動作とすることができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理装置であって、
マウス・カーソルを表示することが可能なディスプレイと、
キーボードと、
カーソル操作とフリック操作が可能な操作部に対する圧力を検出して検出圧力を出力するポインティング・スティックと、
前記カーソル操作に対する前記検出圧力から前記マウス・カーソルを移動させるためのカーソル情報を出力し、前記フリック操作に対する前記検出圧力から前記フリック操作の方向を認識し、前記情報処理装置に前記フリック操作の方向から連想が可能な応答動作をさせるためのフリック情報を出力するコントローラと
を有する情報処理装置。
【請求項2】
前記応答動作が、操作に方向性のあるキーの押下に対応する動作である請求項1に記載の情報処理装置。
【請求項3】
前記操作に方向性のあるキーが、方向性を示す表示がされたキーである請求項2に記載の情報処理装置。
【請求項4】
前記応答動作が、前記ディスプレイの表示を移動させる動作である請求項2に記載の情報処理装置。
【請求項5】
前記応答動作が、入出力デバイスに対するユーザの操作量を増減する動作である請求項2に記載の情報処理装置。
【請求項6】
前記応答動作が、前記ポインティング・スティックに対して前記フリック操作の方向に存在する所定のキーの押下に対応する動作である請求項1に記載の情報処理装置。
【請求項7】
前記応答動作が、前記フリック操作の前後左右方向を前記ディスプレイの上下左右方向に対応させて前記ディスプレイの表示を前記フリック操作の方向に移動させる動作である請求項1に記載の情報処理装置。
【請求項8】
前記コントローラが、前記フリック操作に対する前記検出圧力からフリック操作の強度を認識し、前記情報処理装置に前記フリック操作の強度から変化量の連想が可能な応答動作をさせるためのフリック情報を出力する請求項1に記載の情報処理装置。
【請求項9】
前記フリック操作の強度が前記操作部に力を加えてから指を離すまでの時間に相当する請求項8に記載の情報処理装置。
【請求項10】
前記フリック操作の強度が前記操作部に対する押圧力に相当する請求項8に記載の情報処理装置。
【請求項11】
画面を指示するポインターを表示することが可能なディスプレイを備える電子機器の入力装置であって、
ポインター操作とフリック操作が可能な操作部に対する押圧力を検出して検出圧力を出力するポインティング・スティックと、
前記ポインター操作に対する検出圧力から前記ポインターを移動させるためのポインター情報を出力し、前記フリック操作に対する検出圧力から前記フリック操作の方向を認識し、前記電子機器に前記フリック操作の方向から連想が可能な応答動作をさせるためのフリック情報を出力するコントローラと
を有する入力装置。
【請求項12】
情報処理装置であって、
マウス・カーソルを表示することが可能なディスプレイと、
操作面に対する垂直方向の押圧に対してそれぞれ検出圧力を出力する複数の圧力センサを含むポインティング・スティックと、
前記操作面に対する静止操作の検出圧力から前記マウス・カーソルを移動させるためのカーソル情報を出力し、前記操作面に対する移動操作の検出圧力から該移動操作の方向を認識して、前記情報処理装置に前記移動操作の方向から連想が可能な応答動作をさせるための操作信号を出力するコントローラと
を有する情報処理装置。
【請求項13】
前記コントローラは、前記検出圧力のベクトル和が前記移動操作を開始してから所定の時間以内に所定値以上の2つのピーク値を含むときに前記操作信号を出力する請求項12に記載の情報処理装置。
【請求項14】
前記コントローラは、1番目の前記ピーク値が2番目の前記ピーク値より大きいときに前記操作信号を出力する請求項13に記載の情報処理装置。
【請求項15】
前記コントローラは、前記移動操作の開始を示す前記検出圧力の座標と前記移動操作の終了を示す前記検出圧力の座標から前記移動操作の方向を認識する請求項12に記載の情報処理装置。
【請求項16】
前記コントローラは、前記操作面に対する前記移動操作の検出圧力から移動操作の強度を認識して、前記情報処理装置に前記移動操作の強度から変化量の連想が可能な応答動作をさせるための操作信号を出力する請求項12に記載の情報処理装置。
【請求項17】
前記移動操作の強度が、前記移動操作中の前記検出圧力のスカラー和に相当する請求項16に記載の情報処理装置。
【請求項18】
カーソル操作とフリック操作が可能なポインティング・スティックからの入力で情報処理装置が動作する方法であって、
前記ポインティング・スティックから検出圧力を受け取るステップと、
前記検出圧力から前記カーソル操作を認識してマウス・カーソルを移動させるステップと、
所定の大きさの前記検出圧力を受け取ってから所定時間以内に前記フリック操作を認識するステップと、
前記フリック操作の方向を認識するステップと、
前記フリック操作の方向から連想が可能な応答動作をするステップと
を有する方法。
【請求項19】
前記カーソル操作または前記フリック操作の前に所定のキーが押下されているか否かを判断するステップと、
前記所定のキーが押下されているときに前記フリック操作を認識する処理をしないで前記マウス・カーソルを移動させるステップと
を有する請求項18に記載の方法。
【請求項20】
前記フリック操作の前に所定のキーが押下されているか否かを判断するステップと、
第1の方向の前記フリック操作を認識するステップと、
前記所定のキーが押下されているときに前記第1の方向のフリック操作に応じて第1の応答動作をするステップと、
前記所定のキーが押下されていないときに前記第1の方向のフリック操作に応じて第2の応答動作をするステップと
を有する請求項18に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報処理装置に入力するポインティング・スティックの機能を拡大する技術に関し、さらには、ポインティング・スティックで直感的な操作を実現する技術に関する。
【背景技術】
【0002】
コンピュータは、ディスプレイの画面に表示するマウス・カーソルを移動させるポインティング・デバイスを備える。ポインティング・デバイスは、マウス・ボタンとの協働で、オブジェクトの選択、画面の表示の変更、および入力などを行う。ポインティング・デバイスには、マウスまたはタッチパッドなどの他にポインティング・スティックがある。
【0003】
ポインティング・スティックは、トラック・ポイント(登録商標)とも呼ばれキーボードのGHBキーの間に設けられる。ポインティング・スティックは、指をキーのホーム・ポジションに置いたまま操作できること、マウスのように操作スペースを必要としないこと、電車や自動車などで膝の上でもコンピュータを保持しながら操作し易いことなどの理由で主としてラップトップ型パーソナル・コンピュータ(ラップトップPC)に採用されている。
【0004】
ポインティング・スティックは、マウス・カーソルを移動する方向と移動速度に対応する信号を生成するために、操作ポストに加えられた力を圧力センサまたは歪みゲージで検出する。特許文献1は、圧力センサ式のポインティング・スティックの操作による処理を増加させる発明を開示する。同文献には、操作面の周辺部に対してタップ操作をしたときの圧力センサの検出圧力を処理して、カーソル・キーの代用、コンビネーション・キーの代用、またはマウス・カーソルのジャンプ移動などをすることを記載する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2016−66133号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の発明は、操作面の周辺部に定義した所定の操作位置に対するタップ操作にさまざまな動作を関連付けているが、タップ操作の位置とそれに応じた動作の関係をユーザが直感的に理解しにくい面がある。また、タップ操作に関連付けた処理が多くなると、ユーザがキーを関連付けたタップ操作の位置を正確に押圧することが難しくなる。ラップトップPCのユーザは、タブレット端末やスマートフォンのタッチスクリーンに対するタッチ操作に慣れていることが多い。
【0007】
タッチ操作がされたタブレット端末は、タッチスクリーンに対する指の移動方向、および移動速度に応じて画面がスクロールしたり、ファイルが移動したりする。このときユーザは、これから操作しようとする指の移動方向および移動速度から、続いて起きるタブレット端末の挙動を直感的に連想することができる。したがって、このような連想を利用した操作をポインティング・スティックでも実現できるとラップトップPCの利便性が向上する。
【0008】
さらにポインティング・スティックは、キーボードに対する指のホーム・ポジションを崩さないで操作できるため、多くの操作ができるようになると、ラップトップPCの操作性が一層向上する。本発明の目的は、上記のような背景のもとで、ポインティング・スティックの操作性の向上と機能の拡大を図ることにある。
【課題を解決するための手段】
【0009】
本発明にかかる情報処理装置は、マウス・カーソルを表示することが可能なディスプレイと、キーボードと、カーソル操作とフリック操作が可能な操作部に対する圧力を検出して検出圧力を出力するポインティング・スティックと、カーソル操作に対する検出圧力からマウス・カーソルを移動させるためのカーソル情報を出力し、フリック操作による対する検出圧力からフリック操作の方向を認識し、情報処理装置にフリック操作の方向から連想が可能な応答動作をさせるためのフリック情報を出力するコントローラとを有する。
【0010】
ポインティング・スティックは、圧力センサ式と歪みゲージ式のいずれであってもよい。応答動作は、操作に方向性のあるキーの押下に対応する動作とすることができる。このとき操作に方向性のあるキーは、方向性を示す表示がされたキーとすることができる。操作に方向性があるキーの押下に対応する応答動作は、ディスプレイの表示を移動させる動作とすることができる。このときディスプレイの表示の移動には、ウィンドウにおけるページの表示位置の移動、デスクトップ画面におけるファイルやウィンドウの移動、およびマウス・カーソルの移動などを含む。
【0011】
操作に方向性があるキーの押下に対応する応答動作は、入出力デバイスに対するユーザの操作量を増減する動作とすることができる。具体的には、スピーカの音量調整およびディスプレイの輝度調整とすることができる。応答動作は、ポインティング・スティックに対してフリック操作の方向に存在する所定のキーの押下に対応する動作とすることができる。応答動作は、フリック操作の前後左右方向をディスプレイの上下左右方向に対応させてディスプレイの表示をフリック操作の方向に移動させる動作とすることができる。
【0012】
コントローラは、フリック操作に対する検出圧力からフリック操作の強度を認識し、情報処理装置にフリック操作の強度から変化量の連想が可能な応答動作をさせるためのフリック情報を出力することができる。このときフリック操作の強度は、操作部に力を加えてから指を離すまでの時間に相当する値とすることができる。さらにフリック操作の強度は、操作部に対する押圧力に相当する値とすることができる。
【発明の効果】
【0013】
本発明により、以下のいずれか1つまたは複数の効果を奏することができた。本発明により、ポインティング・スティックで指の移動方向から応答動作が連想できる操作感を実現することができた。さらに本発明により、ポインティング・スティックで指の移動速度や押圧力から応答動作が連想できる操作感を実現することができた。さらに本発明により、ポインティング・スティックで、ホーム・ポジションを維持しながらより多くの操作を実現することができた。
【図面の簡単な説明】
【0014】
【
図1】ラップトップPC10に搭載するポインティング・スティック100の概要を説明するための図である。
【
図2】圧力センサ151〜157の配置を説明するための図である。
【
図3】ポインティング・スティック100の構成を説明するための図である。
【
図4】カーソル操作されたポインティング・スティック100がカーソル情報を生成する様子を説明するための図である。
【
図5】フリック操作されたポインティング・スティック100がフリック情報を生成する様子を説明するための図である。
【
図6】フリック操作がされたときに圧力センサ151〜157のベクトル和が変化する様子を説明するための図である。
【
図7】コントローラ300の構成を説明するための図である。
【
図8】フリック操作をカーソル操作から識別する方法を説明するための図である。
【
図9】コントローラ300の動作手順を示すフローチャートである。
【
図10】フリック操作の方向に存在するキーをエミュレーションする応答動作を説明するための図である。
【
図11】仮想デスクトップ間でウィンドウを移動させる応答動作を説明する図である。
【
図12】歪みゲージ式の圧力センサの構造を説明するための図である。
【発明を実施するための形態】
【0015】
[ポインティング・スティック]
本実施の形態にかかるポインティング・スティックは、ディスプレイを備える情報処理装置や電子機器全般に適用可能であるが、本明細書ではラップトップPC10に搭載する場合を例示して説明する。
図1はラップトップPC10に搭載する圧力センサ式のポインティング・スティックの概要を説明する図である。
図1(A)は、ラップトップPC10に搭載するキーボード11とマウス・カーソル15を表示したディスプレイ13の平面を模式的に示した図である。
図1(B)はポインティング・スティック100の周辺を示す断面図である。図に示すキーボード11のキー配列は例示であり、本発明は各種の規格に基づいた配置を採用することができる。
【0016】
キーボード11は、Gキー、Hキー、Bキーの間にポインティング・スティック100を配置している。FキーとJキーには、表面に触覚で所在を知覚できるように突起を形成している。左手と右手の人差し指をそれぞれ突起で知覚したFキーとJキーに置くことで、ユーザはキーボード11に対するすべての指を所定のキーの上に置くことができる。このときの各指の位置をホーム・ポジションという。
【0017】
そして、いずれかの指がホーム・ポジションのキーに触れていれば、他の指がホーム・ポジションから離れた位置のキーを操作しても再びホーム・ポジションに戻してタッチタイピングをすることができる。キーボード11は、4個の矢印キーで構成したカーソル・キー17を含む。カーソル・キー17は、操作の際にホーム・ポジションを維持できないか、または維持することが困難なキーの例示である。機械式のマウス・ボタン19a〜19cは、外付けマウスの左ボタン、中央ボタンおよび右ボタンに対応する機能を備える。
【0018】
ポインティング・スティック100は複数の圧力センサ151〜157(
図2)と操作カバー101と制御回路を実装する印刷回路基板(PCB)105を含む。ポインティング・スティック100は、操作カバー101の頂部に形成された操作面103に加えられる垂直方向の押圧力を複数の圧力センサ151〜157が検出してマウス・カーソル15の移動方向と単位時間当たりの移動量(移動速度)に対応する周知のカーソル情報と、本実施の形態にかかるフリック情報を生成する。
【0019】
カーソル情報およびフリック情報の生成方法については後に詳しく説明する。PCB105は金属プレート107に固定される。操作カバー101の頂部は平面的に円形の操作面103を構成している。操作面103は、周辺のキーの頂部とほぼ同じかそれらより低くなっている。操作カバー101は、周囲がGキー、Hキー、Bキーで囲まれており側面には指が入らないため操作面103に対して上から下へ向かう垂直方向の押圧操作だけができるようになっている。
【0020】
図2は、PCB105に取り付けられた圧力センサ151〜157の平面的な配置を説明するための図である。
図2(A)は平面図で、
図2(B)は操作カバー101を取り外した状態の側面図である。圧力センサの数は3個以上であれば特に限定する必要はないが、
図2では一例として4個の圧力センサ151〜157を示している。圧力センサ151〜157の検出原理は特に限定する必要はないが、一例として圧電素子を採用することができる。
【0021】
各圧力センサ151〜157は立方体の筐体の内部に圧電素子を備え、ロッド151a〜157aに対して垂直に加えられた圧力に対応する電圧信号を出力する。圧力センサ151〜157はすべて同一規格のものを採用することが望ましい。本実施例では圧力センサ151〜157が、PCB105の平面に定義したX−Y座標の原点に対して対称になるように、操作カバー101の中心軸158に対して放射状に配置している。
【0022】
図3は、ポインティング・スティック100の構成を説明するための図である。ポインティング・スティック100は、操作カバー101と
図2のように配置した圧力センサ151〜157とコントローラ300(
図7)を実装するPCB105を含んでいる。
図3(A)は、操作カバー101をPCB105側から見た裏側の平面図で、
図3(B)は操作カバー101の断面図で、
図3(C)は圧力センサ151〜157を操作カバー101で覆って構成したポインティング・スティック100を指61で押圧操作する様子を示す図である。
【0023】
操作カバー101は、一例としてアルミニウム合金で形成しており、天井部128の表面に操作面103が形成され裏面に圧力センサ151〜157のロッド151a〜157aに圧力を加える圧力面131〜137が形成されている。操作カバー101は中心軸158に対称になるように製作されている。圧力面131a〜137aは、操作カバー101をPCB105に取り付けた状態で、PCB105に平行になる平面である。天井部128の周囲には脚部125が延びている。脚部125の内壁と圧力面131〜137は、圧力センサ151〜157を収納する収納部141〜147を構成する。
【0024】
脚部125には操作カバー101をPCB105に固定するためのタッピング加工されたネジ穴126、127が形成されている。脚部125は、PCB105の裏面からネジでスプリング・ワッシャを介して圧力面131〜137とロッド151a〜157aの受圧面に隙が空かないように固定される。操作カバー101が固定されたときに圧力センサ151〜157にはわずかなほぼ均等の圧力が加わり、操作面103に加えられた押圧力で圧力面131〜137がわずかに変位しても敏感に反応できるようにしている。
【0025】
[フリック操作とカーソル操作]
ユーザは、操作面103に対してマウス・カーソル15の移動させるためのカーソル操作および指の移動方向から連想できる応答動作をさせるためのフリック操作をすることができる。システムは、操作面103に対するカーソル操作とフリック操作を圧力センサ151〜157の検出圧力と時間だけから認識する。したがって、あらかじめいずれの操作をするかをシステムに設定しておく必要はない。
【0026】
カーソル操作は、指61を操作面103から離さないようにしながら指の姿勢または重心を変えて所定の押圧位置を作用点にする。カーソル操作は、操作面103に対して指をスライドさせない点において静止操作ということができる。これに対して、フリック操作では指61が操作面103を押圧しながら短時間で移動してフリック操作の方向に離れる。フリック操作は操作面103に対して指をスライドさせる点において移動操作ということができる。
【0027】
カーソル操作では、ユーザが操作面103の押圧位置と押圧力により操作の意図を伝えると、システムがマウス・カーソル15の移動方向と単位時間当たりの移動量(移動速度)の情報を含むカーソル情報を生成する。カーソル情報は、ディスプレイ13に表示したマウス・カーソル15の移動、および画面のスクロール、画面の拡大、画面の縮小または画面の回転などのような表示画面の変更などに利用することができる情報である。
【0028】
フリック操作では、ユーザが操作面103の一方の端(開始端)から他方の端(終了端)まで押圧を加えながら指を素早く動かすときの移動方向(フリック操作の方向)と、押圧力または移動速度に対応する強度(フリック操作の強度)でシステムに操作の意図を伝えることができる。フリック操作を認識したシステムは、フリック操作の方向および強度を特定してそれに対応する応答動作をする。フリック操作の認識と応答動作については後に説明する。
【0029】
[カーソル操作と検出圧力の関係]
図4は、カーソル操作でポインティング・スティック100がカーソル情報を生成する様子を説明する図である。カーソル操作をするユーザは、操作面103の所定の押圧位置が作用点になるように指61の姿勢を変化させて重心位置をずらし、操作面103に垂直方向の力を加える。圧力センサ151〜157は、それぞれ操作面103の作用点に加えられた力に応じた検出圧力Pa〜Pdを出力する。
【0030】
検出圧力Pa〜Pdと圧力センサ151〜157の座標を、Pa(1,0)、Pb(−1,0)、Pc(0,1)、Pd(0,−1)とすれば、各検出圧力Pa〜Pdからベクトル和を計算することができる。一例ではx方向の圧力成分PxをPx=Pa−Pbで計算し、y方向の圧力成分PyをPy=Pc−Pdで計算する。PxとPyからベクトル和Prの角度θをマウス・カーソル15の移動方向に対応させ、ベクトル和Prの絶対値を単位時間当たりの移動量Lに対応させることができる。
【0031】
コントローラ300(
図7)は、マウス・カーソル15の移動量Lとベクトル和Prの絶対値をL=M(Pr)の関数を使って操作感が良好になるように関連付けることができる。移動量Lをたとえばパルス数とすれば、コントローラ300は1パルスに一定の移動距離を対応させることでマウス・カーソル15の移動速度を反映させることができる。コントローラ300は、移動量のx軸方向の成分Lx=M(Fr)×Px/Prとy軸方向の成分Ly=M(Pr)×Py/Prをユーザ・ファンクション311(
図7)に送る。
【0032】
Lx、Lyを受け取ったユーザ・ファンクション311はたとえばマウス・カーソル15を現在の位置から角度θの方向に単位時間にL=M(Pr)だけ移動させることができる。圧力センサ151〜157がx軸およびy軸上に存在しない場合、および圧力センサの数が3個または5個のときは、各圧力センサの検出圧力をx軸方向の成分とy軸方向の成分に分解およびベクトル合成して同様に計算することができる。
【0033】
[フリック操作と検出圧力の関係]
図5は、操作面103に矢印A方向のフリック操作をする様子を説明するための図である。
図6は、フリック操作でベクトル和Prが変化する様子を示す図である。ユーザは、操作面103から指61を離した状態または操作面103に指61を触れていても押圧力を加えていない状態でフリック操作を開始する。
図5ではフリック操作の方向が、中心軸158を通っているが、中心軸158から外れてもよい。
【0034】
ユーザは、操作面103の開始端103aから終了端103bまで直線的に指61を素早く移動させる。フリック操作は、指61が完全に操作面103から離れることで終了する。開始端103aは、システムが最初に所定値以上の圧力を検出する操作面103の押圧位置に相当し、終了端103bは圧力を検出しなくなる直前の押圧位置に相当する。
【0035】
このときベクトル和Prが、開始端103aではPr1になり終了端103bではPr2になるとする。ベクトル和Prの方向は、作用点が開始端103aから中心軸158まで移動する間は開始端103aを向き、作用点が中心軸158から終了端103bまで移動する間は終了端103bを向く。ベクトル和Prの絶対値は、作用点が開始端103aから中心軸158まで移動する間はPr1からゼロに向かって徐々に小さくなり、作用点が中心軸158から終了端103bまで移動する間はゼロからPr2に向かって徐々に大きくなる。
【0036】
システムは、フリック操作の方向が必ず中心軸158を通る場合は開始端103aまたは終了端103bのいずれかの座標からフリック操作の方向を認識することができる。システムは、フリック操作の方向が中心軸158から外れる場合は、開始端103aの座標および終了端103bの座標を結ぶ方向からフリック操作の方向を認識することができる。フリック操作の方向を2つの座標で検出すると、1つの座標よりもユーザの意図を正確に認識できる。コントローラ300は、一例として開始端103aから終了端103bまでの、指61の移動時間または移動中の検出圧力Pa〜Pdのスカラー和の最大値でフリック操作の強度を認識することができる。
【0037】
[コントローラ]
図7は、ポインティング・スティック100の信号を処理するコントローラ300の構成を説明するための図である。コントローラ300は、A/D変換部301、操作モード判定部303、バッファ305、カーソル情報生成部307、およびフリック情報生成部309で構成されている。操作モード判定部303、カーソル情報生成部307、およびフリック情報生成部309は、主としてプロセッサとファームウェアで構成することができる。コントローラ300は、圧力センサ151〜157から検出圧力を受け取ってユーザ・ファンクション311にカーソル情報およびフリック情報を出力する。
【0038】
ユーザ・ファンクション311は、ラップトップPC10のCPU、システム・メモリ、およびI/Oコントローラなどのハードウェアと、デバイス・ドライバ、OSおよびアプリケーション・プログラムなどのソフトウェアで構成され、コントローラ300から受け取ったカーソル情報でマウス・カーソル15を移動させ、フリック情報で応答動作をする。A/D変換部301は、圧力センサ151〜157が出力する検出圧力(アナログ信号)を圧力データ(ディジタル信号)に変換して操作モード判定部303とバッファ305に送る。
【0039】
A/D変換部301は、一例において圧力センサ151〜157が出力する検出圧力のベクトル和Prまたはスカラー和が閾値Th1(
図8)を超えてから操作モード判定部303とバッファ305に圧力データを送る。操作モード判定部303は、判定時間S1またはS2(
図8)の間にフリック操作を認識したときに、バッファ305から取り出した圧力データをフリック情報生成部309に送るとともにバッファ305をクリアする。
【0040】
操作モード判定部303は、判定時間S1またはS2の間にフリック操作を認識しないときに、バッファ305から取り出した圧力データをカーソル情報生成部307に送り、その後ベクトル和Prまたはスカラー和が閾値Th1未満になるまでA/D変換部301から受け取った圧力データをカーソル情報生成部307に送る。操作モード判定部303は、ベクトル和Prまたはスカラー和が閾値Th1未満になったと判断したときに圧力データの出力を停止するとともにバッファ305をクリアする。
【0041】
カーソル情報生成部307は、受け取った圧力データからカーソル情報を生成してユーザ・ファンクション311に出力する。フリック情報生成部309は、受け取った圧力データからフリック情報を生成してユーザ・ファンクション311に送る。フリック情報は、
図6で説明したフリック操作の方向を示す情報を含む。フリック情報は、フリック操作の強度を示す情報を含むようにしてもよい。
【0042】
[フリック操作の検出方法]
図8は、フリック操作の検出方法の一例を説明するための模式的な図である。
図8は、時刻t0でフリック操作を開始したときのベクトル和Prを示す典型的な波形201と、現在の位置から所定の位置までマウス・カーソル15を移動させるカーソル操作をしたときのベクトル和Prを示す典型的な波形203を示している。波形201は、指61の作用点が開始端103aの近辺に存在する状態に対応するピーク波形201aと終了端103bの近辺に存在する状態に対応するピーク波形201bを含む。
【0043】
ベクトル和Prに対して一例として閾値Th1、Th2(Th2>Th1)を設定する。閾値Th1は、カーソル操作およびフリック操作を認識する最低の検出圧力に相当する。閾値Th1は、操作面103から指が離れているときに発生するノイズに相当する圧力や圧力センサ151〜157に残留している圧力と、ユーザの意図的な操作による検出圧力を区別する目的で設定する。閾値Th2(Th2>Th1)は、フリック操作の圧力要素を判断するために設定する。
【0044】
波形201はベクトル和Prが、時刻t1で閾値Th1を超え、時刻t2で閾値Th2を超え、時刻t3で最初のピーク波形201aのピーク値Pr1に到達する。さらに、時刻t4で閾値Th2まで下降し、時刻t5でピーク波形201a、201bを連絡するボトムまで下降し、時刻t6で2番目のピーク波形201bのピーク値Pr2に到達し、時刻t7で閾値Th1未満になる。時刻t3では指61の重心が開始端103aの近辺に存在し、時刻t6では終了端103bの近辺に存在する。自然なフリック操作では、ピーク値Pr1はPr2より大きくなる。
【0045】
これに対して、波形203は、時刻t8で閾値Th1を超え、時刻t9で閾値Th2を超え、時刻t10でピーク値Pr3に到達し、時刻t11で閾値Th1未満になっている。マウス・カーソル15をある位置から他の位置まで移動させる間は、作用点がほとんど変化しないため、波形203には波形201のような大きな2つのピーク波形201a、201bは存在しない。
【0046】
また、ベクトル和Prの立ち上がり速度は波形201に比べて遅い。操作モード判定部303は、押圧操作の圧力要素と時間要素だけで操作モードを判断する。操作モード判定部303は一例において、時間要素としての判定時間S1(S1>Sm)、判定時間S2(S2>S1)のいずれかを設定して、ベクトル和Prの絶対値と立ち上がり速度でフリック操作とカーソル操作を区別することができる。
【0047】
判定時間S1、S2は、ベクトル和Prが閾値Th1を超えたときに、フリック操作の存否を判断するまでの時間に相当する。また不感時間Smはノイズの検出を防ぐために設定したベクトル和Prが閾値Th1を超えてからの時間に相当する。不感時間Smの間にベクトル和Prが閾値Th2を超え、さらに閾値Th1未満になったときは、コントローラ300はノイズと判断して、カーソル情報およびフリック情報のいずれも出力しない。
【0048】
判定時間S1、S2の間は、カーソル操作が行われてもユーザ・ファンクション311にカーソル情報が送られないため、カーソル操作を開始してからマウス・カーソル15が移動するまで時間遅れが生ずる。したがって、判定時間S1、S2はできるだけ短いことが望ましい。操作モード判定部303は一例において、Pr1≧Th2で、かつ、(Pr1/(t3−t1))<Thx1であることを判定時間S1の間に検出したときに、フリック操作を認識する。
【0049】
ピーク波形201aの上昇速度を示すPr1/(t3−t1)の値は、波形203の上昇速度を示すPr3/(t10−t1)、またはPr2/(t9−t1)よりもはるかに大きい。操作モード判定部303は他の例において、判定時間S2の間に、2つのピーク値Pr1、Pr2(Pr1,Pr2>Th2)を検出したときにフリック操作を認識するようにしてもよい。さらに操作モード判定部303は他の例において、Pr1≧Th2で、かつ、(t7−t1)<Thx2であることを判定時間S2の間に認識したときにフリック操作を認識することができる。
【0050】
フリック操作を認識したときの時間(t3−t1)、時間(t6−t3)などは、操作面103上を移動する指61の移動速度に対応する。フリック情報生成部309は、検出圧力Pa〜Pdのスカラー和の最大値に加えて移動速度からフリック操作の強度情報を生成することができる。フリック操作の強度の利用方法については後に説明する。
【0051】
図9は、コントローラ300の動作手順を説明するためのフローチャートである。ブロック401で、ポインティング・スティック100には指61が触れていないか圧力が加わっていない。ユーザ・ファンクション311は、フリック操作の方向と強度を含むフリック情報に応答動作を関連付けている。コントローラ300は一例において、以下の手順でカーソル情報およびフリック情報を出力する。
【0052】
ブロック403でベクトル和Prが閾値Th1を越え、かつ不感時間Smが経過したときにA/D変換部301は、カーソル操作またはフリック操作のいずれかが行われたと判断して圧力データをバッファ305および操作モード判定部303に送る。前述のように判定時間S1、S2の間は、カーソル操作をしてもカーソル情報生成部207はカーソル情報を出力しない。判定時間S1、S2の間にカーソル操作が認識されたときは、判定時間S1、S2が経過した際にそれまで蓄積された圧力データの積分値がカーソル情報生成部307に送られる。
【0053】
カーソル操作に対してマウス・カーソル15の移動に時間遅れがあると、図形の描画や製図作業などの微細なマウス・カーソル15の移動が求められる作業に支障をきたす場合がある。他方マウス・カーソル15で描画をする場合は、マウス・カーソル15の移動から区別するためにマウス・ボタン19aまたは19cの押下を伴うことが一般的である。ブロック405で操作モード判定部303は、ユーザ・ファンクション311からマウス・ボタン19aまたは19cが押下された通知を受け取っているか否かを判断する。
【0054】
マウス・ボタン19a、19cが現在も押下されている場合、または押下されてから所定の時間以内であると判断したときは、判定時間S1、S2の経過を待たないでカーソル操作として扱うためにブロック453に移行する。通知を受け取っていないときは、ブロック407に移行する。ブロック407で操作モード判定部303は、一例として
図8を参照して説明したような方法で判断時間S1、S2の間にフリック操作を認識したときはブロック409に移行し、認識しないときはブロック451に移行する。
【0055】
ブロック451で動作モード判定部303は、判定時間S1、S2が経過したと判断したときはブロック453に移行し、経過しないときはブロック407に戻る。ブロック409でフリック情報生成部309は、フリック操作の方向および強度を含むフリック情報を出力する。ブロック411で、ユーザ・ファンクション311は、フリック情報に関連付けておいた所定の応答動作をする。ブロック453でカーソル情報生成部307は、マウス・カーソル15の移動方向と移動量を含むカーソル情報を出力する。ブロック455で、ユーザ・ファンクション311は、カーソル情報に応じてマウス・カーソル15を移動させる。
【0056】
[応答動作]
応答動作は、フリック操作の方向からユーザが連想できるラップトップPC10の動作に相当する。フリック操作は方向を示す情報に加えて、さらに強度を示す情報を含むことができる。応答動作はフリック操作から連想が可能であるため、ユーザの操作の負担を軽減する。フリック操作の方向は第1の特徴として、ユーザに操作に方向性のあるキーを連想させることができる。キーが行う操作の方向は、画面の表示の移動方向および入出力デバイスの操作量の増減とすることができる。
【0057】
ここに、画面の表示の移動は、ウィンドウ内のページのスクロール、ウィンドウの移動、アイコンの移動およびマウス・カーソル15の移動を含む。デュアル・ディスプレイを採用する場合は、ウィンドウやアイコンを、デスクトップ間で移動させることができる。入出力デバイスの操作量としては、スピーカの音量、カメラのズームおよびディスプレイ輝度などを挙げることができる。
【0058】
操作に方向性のあるキーは、方向性のある操作が割り当てられたキーおよび方向性の刻印または表示があるキーが相当する。方向性のある刻印がされたキーとしては、一例として4個のキーで構成するカーソル・キー17を挙げることができる。カーソル・キー17は、それぞれ矢印方向にマウス・カーソル15を移動させたり、画面をスクロールさせたりする。あるいはカーソル・キー17は、修飾キーとのコンビネーション・キーとして矢印方向にウィンドウを移動させたり、ウィンドウ・サイズを変更したりする。したがって、上下左右方向のフリック操作に4個のカーソル・キー17の押下を関連付けることができる。
【0059】
カーソル・キー17は、特にホーム・ポジションを維持しながら操作することが困難であるため、ポインティング・スティック100に対するフリック操作でエミュレーションすることで、タッチタイピングが可能になる。方向性のある刻印がされたキーの他の例としては、ページ・アップダウン・キー、スピーカの音量調整キー、およびディスプレイ輝度の調整キーを挙げることができる。具体的には、フリック操作の前後方向に、スピーカの音量や輝度の増減を関連付けることができる。
【0060】
このとき、フリック操作の強度を1回のフリック操作に対するマウス・カーソル17の移動量、スクロールする画面の移動量、輝度の変化量、または音量の変化量などの変化量に関連付けることができる。具体的には、強度が高いほど1回のフリック操作による音量の変化量を大きくすることができる。なおユーザ・ファンクション311は、フリック操作で、キーまたはコンビネーション・キーにすでに割り当てられている既存の入力イベントをエミュレーションするだけでなく、キーに割り当てのない入力やコマンドとして処理することもできる。
【0061】
フリック操作の方向は第2の特徴として、ユーザにキーボード11上の所定の位置に配置された特定のキーを連想させることができる。ポインティング・スティック100に対する各キーの相対位置は固定されているため、応答動作をキーボード11上でのフリック操作の方向に存在するキーに関連付けるとホーム・ポジションを維持しながら容易に応答動作が割り当てられたキーの押下に相当する処理をすることができる。たとえば、
図10に示すようにF1キー、F7キー、F12キーに、応答動作を割り当てているときに、F1キー、F7キー、F12キーにそれぞれ向かう矢印Aで示したフリック操作の方向を、当該キーの押下として処理することができる。
【0062】
キーボード11の前後左右方向とディスプレイ13の上下左右方向(前方向が下方向)は、ユーザが無意識に対応付けることができる。したがってフリック操作の方向は第3の特徴として、ユーザに特定のキーとの関連付けをすることなく、ディスプレイ13が表示する画面の表示の移動方向を連想させることができる。画面の表示の移動は、ウィンドウ内のページのスクロール、ウィンドウの移動、アイコンの移動およびマウス・カーソル15の移動などとすることができる。
【0063】
また、応答動作は、キーやコンビネーション・キーに割り当てられた動作だけでなく、複数のキーやマウス・カーソル15の操作で実現する処理に相当する動作とすることができる。このような応答動作はたとえば、デスクトップ上でファイルを移動する動作とすることができる。
図11は、リアル・デスクトップ250上に、仮想デスクトップ253a〜253cを構築し、仮想デスクトップ253aを選択したときに、仮想デスクトップ253a上で動作するウィンドウ251a〜251dが表示された状態を示している。
【0064】
いま、ウィンドウ251aを仮想デスクトップ253bに移動させようとすれば、一例において、最初にマウス・カーソル15をウィンドウ251aに移動させてマウス・ボタン19cをクリックし、ポップアップ・メニューを表示する。つぎにマウス・カーソル15を操作して、ポップアップ・メニューのなかから仮想デスクトップ253bを選択して、マウス・ボタン19aをクリックする。
【0065】
このように仮想デスクトップ間でのウィンドウの移動には、複数の操作が必要となる。本実施の形態では、ウィンドウ251aを始点として仮想デスクトップ253bを通過する矢印A方向のフリック操作で、ウィンドウ251aを仮想デスクトップ253bに移動させる。具体的には、ポインティング・スティック100に対してカーソル操作をしてマウス・カーソル15をウィンドウ251aに移動させて活性化してから仮想デスクトップ253bに向かってフリック操作をする。
【0066】
またフリック操作と、中央ボタン19bやCtrlキーといった特定の修飾キーを組み合わせると、1つの方向のフリック操作に2つの応答動作を割り当てることができる。一例としては、修飾キーの押下のない左方向のフリック操作に対してウィンドウ内のページの左方向へのスクロールを関連付け、修飾キーの押下を伴う左方向のフリック操作に対してウィンドウの拡大を関連付けることができる。
【0067】
フリック操作は、カーソル操作によるマウス・カーソル15の移動や、画面のスクロールを補完してもよい。たとえば、マウス・カーソル15を画面の一方の端から他方の端まで移動させたり、長いページの画面をスクロールするときは、操作面103に強い力を加えたり、中央ボタン19bを同時に押下したりする必要がある。カーソル操作では、画面をスクロールする間、指61が操作面103の特定の押圧位置を押圧し続ける。このとき画面の表示位置は押圧力に応じた速度で変化する。
【0068】
押圧力に対するスクロール量を大きくすると微調整ができないため、押圧力に対するスクロール量には制限を伴う。結果として1ページが長い画面ではカーソル操作で画面のスクロールをすると時間がかかる。これに対してフリック操作を併用する場合は、1回のフリック操作で画面を大きくスクロールしてから、カーソル操作で微調整をすることで、ホーム・ポジションを維持しながら短時間で所望の位置を表示することができるようになる。
【0069】
[歪みゲージ式ポインティング・スティック]
本発明は、歪みゲージ式のポインティング・スティックにも適用できる。
図12は、歪みゲージ式のポインティング・スティック500を説明する断面図と斜視図である。斜視図は、ゴム製のキャップ511と中間部材512を取り外した様子を示している。セラミック製の操作ポスト513には、中間部材512を介してゴム製のキャップ511が嵌め込まれている。
【0070】
操作ポスト513は、センサPCB515に接着剤で貼り付けられている。センサPCB515は、中央に開口部が形成されたスペーサ519を介在してシールド・カバー503に取り付けられている。センサPCB515の裏側には直交するように4個の歪みセンサ516が貼り付けられている。スペーサ519により形成された空間により、操作ポスト513に対して水平方向または垂直方向に加えられた力でセンサPCB515が歪み、歪みセンサ516の電気抵抗が変化する。
【0071】
歪みセンサ516は、演算増幅器やブリッジ回路などで構成されたロジック回路に接続される。マウス・カーソル15を移動させるために、キャップ511の上面に対して水平方向にカーソル操作をすると操作ポスト513に曲げ応力が加えられる。このとき、キャップ511には指61の摩擦を確保するために垂直方向の力も加わるが、垂直方向の力はマウス・カーソル15の移動には寄与しない。センサPCB515には、操作ポスト513に対する曲げ応力の大きさと方向に応じた歪みが生じて歪みセンサ516の電気抵抗がそれぞれ変化する。このとき対向する1対の歪みセンサでは一方が延び他方が縮む。
【0072】
キャップ511にカーソル操作がされたときにロジック回路は、歪みセンサ516の電気抵抗の変化に対応するアナログ信号から、マウス・カーソル15の移動方向、および移動速度に対応するカーソル情報を生成してユーザ・ファンクション311に出力する。キャップ511の上面が垂直に押下されたときは、4個の歪みセンサ516の電気抵抗が均等に変化する。このときロジック回路は、カーソル情報とは異なる情報を出力することができる。
【0073】
ポインティング・スティック500に対するフリック操作は、キャップ511に置いた指61を水平方向に弾くようにしておこなう。フリック操作をすると、キャップ511に水平方向の力が短時間だけ加わり、指61がキャップ511から離れると、センサPCB515の弾力で操作ポスト513は中立位置に戻る。このときの曲げ応力に対応する歪みゲージの出力のベクトル和は、
図7のピーク波形201aに近似した1個の波形になる。また、カーソル操作に対するベクトル和の波形は、波形203に近似したものになる。したがってロジック回路は、ポインティング・スティック100と同様の方法で、フリック操作の発生の認識、フリック操作の方向と強度の特定をすることができる。
【0074】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【0075】
10 ラップトップPC
11 キーボード
13 ディスプレイ
15 マウス・カーソル
17 カーソル・キー
19a〜19c マウス・ボタン
100 ポインティング・スティック
101 操作カバー
103 印刷回路基板(PCB)
103 操作面
151〜157 圧力センサ
300 コントローラ
【手続補正書】
【提出日】2017年8月3日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置であって、
マウス・カーソルを表示することが可能なディスプレイと、
キーボードと、
カーソル操作とフリック操作が可能な操作部に対する圧力を検出して検出圧力を出力するポインティング・スティックと、
前記カーソル操作に対する前記検出圧力から前記マウス・カーソルを移動させるためのカーソル情報を出力し、前記フリック操作に対する前記検出圧力から前記フリック操作の方向と強度を認識し、前記情報処理装置に前記フリック操作の方向から連想が可能な応答動作および前記フリック操作の強度から変化量の連想が可能な応答動作をさせるためのフリック情報を出力するコントローラと
を有する情報処理装置。
【請求項2】
前記応答動作が、操作に方向性のあるキーの押下に対応する動作である請求項1に記載の情報処理装置。
【請求項3】
前記操作に方向性のあるキーが、方向性を示す表示がされたキーである請求項2に記載の情報処理装置。
【請求項4】
前記応答動作が、前記ディスプレイの表示を移動させる動作である請求項1に記載の情報処理装置。
【請求項5】
前記応答動作が、入出力デバイスに対するユーザの操作量を増減する動作である請求項1に記載の情報処理装置。
【請求項6】
前記応答動作が、前記ポインティング・スティックに対して前記フリック操作の方向に存在する所定のキーの押下に対応する動作である請求項1に記載の情報処理装置。
【請求項7】
前記応答動作が、前記フリック操作の前後左右方向を前記ディスプレイの上下左右方向に対応させて前記ディスプレイの表示を前記フリック操作の方向に移動させる動作である請求項1に記載の情報処理装置。
【請求項8】
前記フリック操作の強度が前記操作部に力を加えてから指を離すまでの時間に相当する請求項1に記載の情報処理装置。
【請求項9】
前記フリック操作の強度が前記操作部に対する押圧力に相当する請求項1に記載の情報処理装置。
【請求項10】
画面を指示するポインターを表示することが可能なディスプレイを備える電子機器の入力装置であって、
ポインター操作とフリック操作が可能な操作部に対する押圧力を検出して検出圧力を出力するポインティング・スティックと、
前記ポインター操作に対する検出圧力から前記ポインターを移動させるためのポインター情報を出力し、前記フリック操作に対する検出圧力から前記フリック操作の方向と強度を認識し、前記電子機器に前記フリック操作の方向から連想が可能な応答動作および前記フリック操作の強度から変化量の連想が可能な応答動作をさせるためのフリック情報を出力するコントローラと
を有する入力装置。
【請求項11】
情報処理装置であって、
マウス・カーソルを表示することが可能なディスプレイと、
操作面に対する垂直方向の押圧に対してそれぞれ検出圧力を出力する複数の圧力センサを含むポインティング・スティックと、
前記操作面に対する静止操作の検出圧力から前記マウス・カーソルを移動させるためのカーソル情報を出力し、前記操作面に対する移動操作の検出圧力から該移動操作の方向を認識して、前記検出圧力のベクトル和が前記移動操作を開始してから所定の時間以内に所定値以上の2つのピーク値を含むときに前記情報処理装置に前記移動操作の方向から連想が可能な応答動作をさせるための操作信号を出力するコントローラと
を有する情報処理装置。
【請求項12】
前記コントローラは、1番目の前記ピーク値が2番目の前記ピーク値より大きいときに前記操作信号を出力する請求項11に記載の情報処理装置。
【請求項13】
情報処理装置であって、
マウス・カーソルを表示することが可能なディスプレイと、
操作面に対する垂直方向の押圧に対してそれぞれ検出圧力を出力する複数の圧力センサを含むポインティング・スティックと、
前記操作面に対する静止操作の検出圧力から前記マウス・カーソルを移動させるためのカーソル情報を出力し、前記操作面に対する移動操作の開始を示す前記検出圧力の座標と前記移動操作の終了を示す前記検出圧力の座標から前記移動操作の方向を認識して、前記情報処理装置に前記移動操作の方向から連想が可能な応答動作をさせるための操作信号を出力するコントローラと
を有する情報処理装置。
【請求項14】
情報処理装置であって、
マウス・カーソルを表示することが可能なディスプレイと、
操作面に対する垂直方向の押圧に対してそれぞれ検出圧力を出力する複数の圧力センサを含むポインティング・スティックと、
前記操作面に対する静止操作の検出圧力から前記マウス・カーソルを移動させるためのカーソル情報を出力し、前記操作面に対する移動操作の検出圧力から該移動操作の方向と強度を認識して、前記情報処理装置に前記移動操作の方向と前記移動操作の強度から変化量の連想が可能な応答動作をさせるための操作信号を出力するコントローラと
を有する情報処理装置。
【請求項15】
前記移動操作の強度が、前記移動操作中の前記検出圧力のスカラー和に相当する請求項14に記載の情報処理装置。
【請求項16】
カーソル操作とフリック操作が可能なポインティング・スティックからの入力で情報処理装置が動作する方法であって、
前記ポインティング・スティックから検出圧力を受け取るステップと、
前記検出圧力から前記カーソル操作を認識してマウス・カーソルを移動させるステップと、
所定の大きさの前記検出圧力を受け取ってから所定時間以内に前記フリック操作を認識するステップと、
前記フリック操作の方向を認識するステップと、
前記フリック操作の方向から連想が可能な応答動作をするステップと
を有する方法。
【請求項17】
前記カーソル操作または前記フリック操作の前に所定のキーが押下されているか否かを判断するステップと、
前記所定のキーが押下されているときに前記フリック操作を認識する処理をしないで前記マウス・カーソルを移動させるステップと
を有する請求項16に記載の方法。
【請求項18】
前記フリック操作の前に所定のキーが押下されているか否かを判断するステップと、
第1の方向の前記フリック操作を認識するステップと、
前記所定のキーが押下されているときに前記第1の方向のフリック操作に応じて第1の応答動作をするステップと、
前記所定のキーが押下されていないときに前記第1の方向のフリック操作に応じて第2の応答動作をするステップと
を有する請求項16に記載の方法。