(58)【調査した分野】(Int.Cl.,DB名)
自身の先端によって入力位置を指し示すポインタを表示する画像表示部と、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定するポインタ位置決定手段と、
各時点で前記先端が決定された位置となるように前記ポインタを表示させるポインタ表示手段と、
当該指の各時点での接触位置に応じた位置に前記ポインタを表示させ、さらに当該指を接触させたまま押し込む一連の操作によって検出される前記押圧力が、所定閾値以上であるか否かを判定する押圧力判定手段と、
前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる動作制御手段と
を有することを特徴とするユーザインタフェース装置。
ユーザの操作から見て、当該指を前記ポインタに接触させて該ポインタを保持した上で、当該指を該ポインタに押し込みながら移動させた際、前記動作制御手段は、当該指の移動に合わせて移動する前記先端の位置の軌跡に対応した、前記ポインタによる入力結果を表示させることを特徴とする請求項2に記載のユーザインタフェース装置。
前記ポインタ位置決定手段は、当該指の接触位置が前記ポインタの表示位置範囲と重畳した当初の時点での当該指の接触位置を、同時点での前記先端の位置に変換する並進変換を算出し、その後の各時点で、当該指の接触位置を該並進変換によって変換した結果の位置を、該ポインタの前記先端の位置とすることを特徴とする請求項1又は2に記載のユーザインタフェース装置。
前記ポインタによる入力結果は、前記画像表示部の画面に表示された所定の対象が、前記ポインタの先端による作用を受けて変化した結果であることを特徴とする請求項2から4のいずれか1項に記載のユーザインタフェース装置。
前記ポインタ表示手段は、当該指による所定の操作に応じて、前記ポインタとして、右利き用のポインタと左利き用のポインタとを表示し分けることを特徴とする請求項2から6のいずれか1項に記載のユーザインタフェース装置。
前記動作制御手段は、前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置を自身の表示位置範囲内に含むオブジェクトに関連付けられた動作を発動させることを特徴とする請求項1に記載のユーザインタフェース装置。
自身の先端によって入力位置を指し示すポインタを表示する画像表示部と、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定するポインタ位置決定手段と、
各時点で前記先端が決定された位置となるように前記ポインタを表示させるポインタ表示手段と、
当該指の各時点での接触位置に応じた位置に前記ポインタを表示させ、さらに当該指を接触させたまま押し込む一連の操作によって検出される前記押圧力が、所定閾値以上であるか否かを判定する押圧力判定手段と、
前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる動作制御手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
自身の先端によって入力位置を指し示すポインタを表示する画像表示部と、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における動作発動方法であって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定する第1のステップと、
各時点で前記先端が決定された位置となるように前記ポインタを表示させる第2のステップと、
当該指の各時点での接触位置に応じた位置に前記ポインタを表示させ、さらに当該指を接触させたまま押し込む一連の操作によって検出される前記押圧力が、所定閾値以上であるか否かを判定する第3のステップと、
第3のステップで真の判定がなされた際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる第4のステップと
を有することを特徴とする動作発動方法。
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述したような従来技術を用いても、携帯型情報機器において、ディスプレイ画面(上のタッチパネル)の端・隅付近に指を接触させて、又は細かな表示位置範囲を有するオブジェクトに指を接触させて、所望の操作を行うことは困難であった。さらに、文字、図形といった入力情報の細部にわたる入力を、指で行うことも困難であった。
【0008】
実際、携帯型情報機器では、他の道具を用いず随時手軽に、指によって、オブジェクトの選択、手書き入力等の操作を行いたい場合が少なくない。また、例えば、手書き入力を、指を用いた他の操作の前後で行う状況も頻繁に発生する。従って、特許文献2に開示されたようなポインティングデバイスを用いず、直接指で操作を行うことが、多くの場合に求められる。
【0009】
一方で、携帯型情報機器では、その携帯性故に、指での操作を行うタッチパネルの面積も限られている。その結果、表示されるリンク等のオブジェクトにおける表示位置範囲も、小さなサイズとなりがちである。従って、例えば、多数のリンクが密に並んでいる中から、指で所望の1つを選択するのは非常に困難となる。
【0010】
さらに、タッチパネル面積の制限故に、例えば、手書き入力の場合、できる限り小さなサイズの文字又は図形を入力することによって、所望の情報量を確保したい場合も多い。しかしながら、例えば特許文献1に記載されたような指による軌跡の入力では、指の接触地点、すなわち描かれる軌跡の最先端位置が、この指に隠れて視認できない。その結果、小さなサイズの文字又は図形の細部を、指によって正確に、意図した通りに入力することが困難となってしまう。
【0011】
以上に述べた問題は、指をタッチパネルに接触させて、オブジェクトの選択・発動や手書き入力等のための操作を行う携帯型情報機器のすべてに当てはまるものである。そこで、本発明は、タッチパネルに対する指での操作によっても、指の届き難い箇所又は細部において所望の位置を指定することができるユーザインタフェース装置、動作発動方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明によれば、自身の先端によって入力位置を指し示すポインタを表示する画像表示部と、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、
各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、
当該指の各時点での接触位置に応じた位置にポインタを表示させ、さらに当該指を接触させたまま押し込む一連の操作によって検出される押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段と
を有するユーザインタフェース装置が提供される。
【0013】
この本発明のユーザインタフェース装置によれば、押圧力判定手段が真の判定を行った際、動作制御手段は、ポインタの先端の位置を自身の表示位置範囲内に含むオブジェクトに関連付けられた動作を発動させることも好ましい。
【0014】
また、本発明のユーザインタフェース装置によれば、当該指の接触位置がポインタの表示位置範囲と重畳したか否かを判定する接触位置判定手段を更に有しており、
ポインタ位置決定手段は、接触位置判定手段が真の判定を行った際、当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定し、
動作制御手段は、先端の位置の軌跡であって、押圧力判定手段により真の判定がなされた区間となる軌跡に対応した、ポインタによる入力結果を表示させる
ことも好ましい。
【0015】
また、ポインタによる入力結果が表示される上記の実施形態において、ユーザの操作から見て、当該指をポインタに接触させて該ポインタを保持した上で、当該指を該ポインタに押し込みながら移動させた際、動作制御手段は、当該指の移動に合わせて移動する先端の位置の軌跡に対応した、ポインタによる入力結果を表示させることも好ましい。
【0016】
さらに、ポインタによる入力結果が表示される上記の実施形態において、ポインタ位置決定手段は、当該指の接触位置がポインタの表示位置範囲と重畳した当初の時点での当該指の接触位置を、同時点での先端の位置に変換する並進変換を算出し、その後の各時点で、当該指の接触位置を該並進変換によって変換した結果の位置を、ポインタの先端の位置とすることも好ましい。
【0017】
また、ポインタによる入力結果が表示される上記の実施形態において、ポインタによる入力結果は、
画像表示部の画面に表示された所定の対象が、ポインタの先端による作用を受けて変化した結果であることも好ましい。
【0018】
さらに、ポインタによる入力結果が表示される上記の実施形態において、ポインタによる入力結果は、先端の位置の軌跡を含む筆跡イメージであることも好ましい。
【0019】
また、ポインタによる入力結果が表示される上記の実施形態において、ポインタ表示手段は、当該指による所定の操作に応じて、ポインタとして、右利き用のポインタと左利き用のポインタとを表示し分けることも好ましい。
【0020】
本発明によれば、さらに、自身の先端によって入力位置を指し示すポインタを表示する画像表示部と、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、
各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、
当該指の各時点での接触位置に応じた位置にポインタを表示させ、さらに当該指を接触させたまま押し込む一連の操作によって検出される押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段と
してコンピュータを機能させるユーザインタフェース装置用のプログラムが提供される。
【0021】
本発明によれば、さらにまた、自身の先端によって入力位置を指し示すポインタを表示する画像表示部と、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における動作発動方法であって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定する第1のステップと、
各時点で先端が決定された位置となるようにポインタを表示させる第2のステップと、
当該指の各時点での接触位置に応じた位置にポインタを表示させ、さらに当該指を接触させたまま押し込む一連の操作によって検出される押圧力が所定閾値以上であるか否かを判定する第3のステップと、
第3のステップで真の判定がなされた際、ポインタの先端の位置に関連付けられた動作を発動させる第4のステップと
を有する動作発動方法が提供される。
【発明の効果】
【0022】
本発明のユーザインタフェース装置、動作発動方法及びプログラムによれば、タッチパネルに対する指での操作によっても、指の届き難い箇所又は細部において所望の位置を指定することができる。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0025】
本発明によるユーザインタフェース装置では、ディスプレイの画面に表示されたポインタが接触した指によって保持され、この指の接触位置の移動に合わせて、入力位置となるポインタの先端が移動する。さらに、指によるポインタ(タッチパネル)に対する押圧力が所定閾値以上である場合に、ポインタの先端の位置が指定され、この先端の位置に関連付けられた動作が発動する点に特徴を有する。
【0026】
また、本発明によるユーザインタフェース装置では、ユーザの指がタッチパネルに接触することによって情報が入力される。そのため、当該装置の多くは、手で携帯して操作可能である、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。
【0027】
図1(A)及び(B)は、本発明によるポインタを用いた指による操作を示す、携帯型情報機器1の前面図、及び指による操作の概略図である。
【0028】
図1(A)によれば、携帯型情報機器1は、ポインタ104を表示するディスプレイ101と、ディスプレイ101の画面上に配置されたタッチパネル100とを備えている。ここで、ポインタ104は、自身の先端104eによって入力位置を指し示す、ユーザインタフェースのためのイメージである。また、携帯型情報機器1は、指によりタッチパネル100に与えられた押圧力p
Cを検出する押圧力検出部103(
図5参照)も備えている。
【0029】
ここで最初に、ポインタ104を用いて、多数のリンク(オブジェクト)109が密集して表示されている中から、指で所望の1つを選択する実施形態を説明する。尚、ポインタ104は、
図1(A)に示した形態に限定されるものではない。例えば、矢印状でもよく、指の接触位置105とは異なる位置を指し示すものであればよい。
【0030】
図1(A)によれば、ユーザは、指をポインタ104(タッチパネル100)に接触させる。すなわち、指の接触位置105をポインタ104の表示位置範囲と重畳させる。これにより、指がポインタ104を保持する。ここで「保持」とは、指がタッチパネル100に接触している限り、ポインタ104が指の移動に伴い指と一体となって移動する状態を指す。
【0031】
次いで、ユーザは、指を接触させたまま移動(スライド)させ、指と共に移動するポインタ104の先端104eを、所望のリンク109の表示位置範囲内に置く。その後、指が、接触位置105(タッチパネル100)を押圧力p
Cで押し込む。
【0032】
この押圧力p
Cが所定の押圧力閾値p
TH以上である場合に、後述する動作制御部125(
図5)が、先端104eの位置を自身の表示位置範囲内に含むリンク109に関連付けられた動作を発動させる。具体的には、リンク109のハイパーテキスト機能が発動し、所望のリンク先の文書又は画像等を閲覧することが可能となる。
【0033】
以上、本実施形態によれば、指の接触位置105から離隔した先端104eをもって、画面上の位置を指定し、リンク109等のオブジェクトの機能を発動させる。その結果、ディスプレイ101の画面に表示された細部において、さらには画面の端・隅付近等の指の届き難い箇所においても、所望の位置を指定し、所望の機能を発動させることが容易となる。
【0034】
尚、以上の実施形態では、ポインタ104は、指が接触する前から表示されている。これに対する変更態様として、ポインタ104は、指がディスプレイ101の画面(タッチパネル100)に接触した際に表示されることも好ましい。この場合、指の接触位置105から所定の並進ベクトル分だけ変位した位置が、表示されるポインタ104における先端104eの位置となる。また、上記の押圧力閾値p
THは、例えば、0.5N(ニュートン)乃至2.0Nの範囲内の値に設定可能である。
【0035】
次いで、ポインタ104を用いて、手書き入力を指で行う実施形態を説明する。
図1(B)は、この手書き入力の様子を示している。尚、
図1(B)において、ポインタ104は筆記具のイメージであり、先端104eがペン(筆)先となっている。また、ディスプレイ101の画面全体を、メモ用紙イメージが占めている。このメモ用紙イメージは、ポインタ104の先端(ペン先)104eによる作用を受けて変化する(文字等が描かれる)対象であるが、画面の一部をなす所定の領域を占めるものであってもよい。
【0036】
図1(B)によれば、最初に、ユーザは、指をポインタ104(タッチパネル100)に接触させる。すなわち、指の接触位置105をポインタ104の表示位置範囲と重畳させる。これにより、指がポインタ104を保持する。
【0037】
この保持の際、ユーザは、先端104eが指で隠れることなく視認できるような位置、例えばポインタ104の中程の位置、に指を接触させる。次いで、ユーザは、指を接触させたまま移動(スライド)させ、指と共に移動するポインタ104の先端104eを、文字の書き始めの所望の位置に置く。
【0038】
次いで、ユーザは、指をポインタ104(タッチパネル100)に押し込みながら移動(スライド)させる。これに伴って、ポインタ104(ポインタ104の先端104e)も移動する。その結果、先端104eの位置が、指が押し込まれた区間として、ある軌跡をなす。この際、この(指が押し込まれた区間である)軌跡を含む筆跡イメージ106が、画面に表示される。この筆跡イメージ106は、ポインタ104による入力結果となる。
【0039】
この際、指の接触位置105と、筆跡イメージ106を発生させている先端104eとは、所定の距離だけ離隔している。従って、ユーザは、先端104eを、指に遮られることなく常に視認することができる。
【0040】
さらに、筆跡イメージ106は、一度表示されると所定のコマンドが発生しない限り画面に残存し、ポインタ104の先端104eが移動すると共に、この先端104eを追うように伸長することも好ましい。これにより、ユーザは、意図した文字、図形等の情報を、画面(メモ用紙イメージ)に書き残すことができる。ユーザは、意図した情報を書き記した後、指をタッチパネル100から離すか、指を接触させながらも押し込みを止める。これにより、手書き動作が終了する。
【0041】
尚、上記の手書き入力によって形成された筆跡イメージ106は、手書き文字データとして、携帯型情報機器1内のメモリに保存されることができる。
【0042】
以上に述べたように、指がポインタ104を保持して手書き動作が発動する条件は、
a)指の接触位置105がポインタ104の表示位置範囲と重畳し、その後、指がタッチパネル100に接触し続け、
b)指による押し込みの際の、タッチパネル100に対する押圧力p
Cが、所定の押圧力閾値をp
THとして、次式
(1) p
C≧p
TH
を満たすことである。尚、押圧力閾値p
THは、例えば、0.5N乃至2.0Nの範囲内の値に設定可能である。
【0043】
上記の条件b)を設けることによって、ユーザの指等が意図せずにタッチパネル100に触れて意図しない書き込みが生じてしまう、といった誤動作を回避することが可能となる。すなわち、ユーザの意図する通りの手書き動作を発動させることが容易となる。さらに、指による押し込み(条件b))を止めさえすれば、指を接触させたままでも、手書き動作を発動させずに、ポインタ104を次の手書き開始位置まで移動させることが可能となる。
【0044】
さらに、後述する触覚応答機構部102(
図5)が、指に、手書き動作が発動している間、触覚応答を与えることも好ましい。ここで、手書き動作が発動している間とは、上述した条件a)及びb)が満たされている間であり、筆跡イメージ106が新たに伸長しつつ表示されている間である。これにより、ユーザは、実際に筆記具で紙等の媒体に筆記又は描画している感覚を指から体感でき、リアルな操作感を得ることができる。
【0045】
また、指による押圧力p
Cの閾値p
THを、ユーザが適宜設定し、調整できることも好ましい。これにより、ユーザは、手書き動作を発動させずに指を接触させたまま移動させる操作と、手書きを行う操作とを自らの感覚、好みに合わせて、確実に実行し分けることができる。この際、閾値p
THを変化させるための、押圧力閾値調整用のスライドスイッチイメージ107が表示され、使用されてもよい。
【0046】
以上に述べたように、本実施形態によれば、ポインタ104に指を接触させることによりこのポインタ104が保持され、指の接触位置105の移動に合わせて、ポインタの先端104eが移動する。ここで、接触位置105と先端104eとは互いに一定の位置関係をもって離隔しながら並進する。これにより、ユーザは、この入力位置となる先端104eを、指に遮られることなく常に視認することができる。その結果、例え小さなサイズの文字又は図形であっても、入力情報を細部にわたって意図通りに入力することができる。
【0047】
また、水彩画イメージ等をポインタ104によって生成できるお絵かき動作においても、入力位置となる先端104eを、指に遮られることなく常に視認することができる。その結果、より細かいペン(筆)操作を行うことができ、所望の入力結果(水彩画イメージ等)を得ることが容易となる。
【0048】
さらに、接触位置105と先端104eとは互いに一定の位置関係をもって離隔している。従って、例えば画面の端辺付近又は隅付近等、指先が届き難い領域にも、ポインタ104の先端104eを及ぼすことができる。その結果、画面の概ね全ての領域に、筆記又は描画等、所望の入力結果を表示させることが可能となる。
【0049】
図2(A)及び(B)は、指による押圧力p
C値と、ポインタによる入力結果(筆跡イメージ106)の表示との関係を説明するための携帯型情報機器1の前面図及びグラフである。
【0050】
図2(A)によれば、ディスプレイ101の画面内に、点2aから始まり、点2b、点2c、点2d、点2e、点2f、点2gを順次介して、点2hに至る、ポインタ104の先端104eの位置の道程(軌跡)の実施例が示されている。この道程のうち、点2bから点2cまでの軌跡が、ひらがなの「の」を表す筆跡イメージ106として画面に表示されている。
【0051】
また、点2eから点2fまでの軌跡と、点2gから点2hまでの軌跡とが、ひらがなの「り」を表す筆跡イメージ106として画面に表示されている。尚、この実施例では、ポインタ104の先端104eが点2dに達した時点で、ユーザは、ポインタ104を保持し直している(持ち替えている)。
【0052】
この先端104eの位置の道程(軌跡)における、指によるタッチパネル100に対する押圧力p
Cの大きさの変遷を、
図2(B)に示す。
図2(B)によれば、指による押圧力p
Cは、先端104eの位置が点2aから点2bに向かって進行するにつれて大きくなり、点2bで所定の押圧力閾値p
THに達する。
【0053】
その後、押圧力p
Cは、先端104eの位置が点2bから点2cに至るまでの間、上述した式(1)p
C≧p
THの条件を満たす。これに応じて、点2bから先端104eの位置までの軌跡を含む筆跡イメージ106が、先端104eの移動と共に伸長しつつ描かれていく。次いで、先端104eの位置が点2cに達した段階で、ひらがなの「の」を表す筆跡イメージ106の描写が完了する。
【0054】
その後、押圧力p
Cは、ポインタ104の先端104eの位置が点2cから離れるにつれて低下し、先端104eの位置が点2dに達した段階でゼロとなる。これは、ユーザがポインタ104を持ち替える(保持し直す)際に、指をポインタ104(タッチパネル100)から離隔させたことによる。この持ち替えの後、押圧力p
Cは、先端104eの位置が点2eに向かうにつれて大きくなり、点2eで所定の押圧力閾値p
THに達する。
【0055】
その後、押圧力p
Cは、先端104eの位置が点2eから点2fに至るまでの間、上述した式(1)p
C≧p
THの条件を満たす。これに応じて、点2eから先端104eの位置までの軌跡を含む筆跡イメージ106が、先端104eの移動と共に伸長しつつ描かれていく。次いで、先端104eの位置が点2fに達した段階で、ひらがなの「り」の左部分を表す筆跡イメージ106が描写される。
【0056】
さらに、押圧力p
Cは、先端104eの位置がさらに進行して点2gから点2hに至るまでの間、上述した式(1)p
C≧p
THの条件を満たす。これに応じて、点2gから先端104eの位置までの軌跡を含む筆跡イメージ106が、先端104eの移動と共に伸長しつつ描かれていく。次いで、先端104eの位置が点2hに達した段階で、ひらがなの「り」の右部分を表す筆跡イメージ106が描写され、ひらがなの「り」の描写が完了する。
【0057】
以上に述べたように、本発明によれば、先端104eの位置の軌跡であって、指による押圧力p
Cが所定閾値p
TH以上である区間となる軌跡(点2b−点2c、点2e−点2f、点2g−点2h)に対応した入力結果(筆跡イメージ106)が表示される。その結果、誤動作が発生し難くなり、ユーザの意図する通りの手書き動作が発動可能となる。また、指をタッチパネル100に接触させたままで、手書き動作を発動させたり、させなかったりといった選択が可能となる。すなわち、画面に垂直方向での指の動きをほとんど抑えた操作で、画面を指でなぞりながら、手書き動作が可能となる。
【0058】
図3(A)は、指がポインタ104を保持した場合における、指の接触位置105と先端104e位置との関係を示す概略図である。また、
図3(B)は、指がポインタ104を持ち替える(保持し直す)場合を示す概略図である。さらに、
図3(C)は、右利き用及び左利き用のポインタ104をそれぞれ取り扱う場合を示す概略図である。
【0059】
図3(A)に示すように、指の接触位置105が、最初に、ポインタ104の表示位置範囲と重畳する。ここで、この表示位置範囲は、
図3(A)において、ポインタ104のイメージを規定する外郭線内の領域となる。指は、ポインタ104の先端104eがこの指で隠れて見えなくなることのないように、先端104eから離隔した位置に接触させられる。
【0060】
ここで、画面にxy直交座標系を設け、指の接触位置105の座標を(x
C0,y
C0)とし、ポインタ104の先端104eの位置の座標を(x
P0,y
P0)とする。すると、座標(x
C0,y
C0)から座標(x
P0,y
P0)への並進移動の座標変換(並進変換)f
Tを決定することができる。具体的には、
(1) Δx=x
P0−x
C0
(2) Δy=y
P0−y
C0
として、並進変換f
Tは、
(3) f
T:(x,y)→(x+Δx,y+Δy)
と算出される。
【0061】
次いで、ユーザが、指を接触させながら移動させ、その結果、接触位置105の座標が、(x
C1,y
C1)にまで変化する。この際のポインタ104の先端104eの位置は、(x
C1,y
C1)を並進変換f
Tによって並進移動させることによって決定される。具体的には、この際の先端104eの位置の座標(x
P1,y
P1)は、次式
(4) x
P1=x
C1+Δx
(5) y
P1=y
C1+Δy
によって算出される。
【0062】
指の接触位置105が座標(x
C1,y
C1)の位置まで移動した際の、ポインタ104の先端104eは、上記の算出された座標(x
P1,y
P1)の位置にまで移動させられる。これにより、ユーザは、指によってポインタ104を保持した感覚を得ながら、ポインタ104の先端104eを意図通りに移動させることができる。
【0063】
次に、ユーザがポインタ104を持ち替える(保持し直す)場合での、ポインタ104の先端104eの位置を決定する方法を説明する。
【0064】
図3(B)によれば、最初に、指が、接触位置105でポインタ104に接触する。ユーザはその後、ポインタ104を持ち替えるため、指をポインタ104(タッチパネル100)から離隔させ、再びポインタ104に接触させる。この際の指の接触位置105′は、接触位置105とは異なる点となっている。
【0065】
指が最初に接触位置105でポインタ104に接触した際、すなわち保持した際、ポインタ104の先端104eの位置は、上述したように、式(3)で表される並進変換f
T:(x,y)→(x+Δx,y+Δy)で求められる。この並進変換f
Tは、指が離隔せず接触している間、記憶されて、先端104eの位置の算出に用いられる。
【0066】
次いで、指が持ち替えのためにポインタ104(タッチパネル100)から離隔すると、記憶されていた並進変換f
Tは、消去(リセット)される。その後、指が再び接触位置105′で接触すると、新たな並進変換f
T′が改めて決定される。この並進変換f
T′は、接触位置105′の座標を(x
C0′,y
C0′)とし、ポインタ104の先端104eの位置の座標を(x
P0,y
P0)とすると、
(6) Δx′=x
P0−x
C0′
(7) Δy′=y
P0−y
C0′
として、
(8) f
T′:(x,y)→(x+Δx′,y+Δy′)
と算出される。
【0067】
その後、ユーザが、指を接触させながら移動させた場合の、ポインタ104の先端104eの位置は、この並進変換f
T′を用いて決定される。このように、ユーザは、ポインタ104を持ち替えることができ、その結果、随時、指の接触位置105とポインタ104の先端104e位置との関係を、操作しやすいように調整することができる。
【0068】
次に、ユーザが、右利き用及び左利き用のポインタ104をそれぞれ取り扱うことが可能な実施形態を説明する。
【0069】
図3(C)に示した実施形態によれば、画面に、ポインタを切り替えるための切り替えスイッチイメージ108が表示されている。ユーザが、指で切り替えスイッチイメージ108の「R」部を、所定の閾値p
TH以上の押圧力p
Cで押し込むと、右利き用のポインタ104が所定の位置に表示される。この右利き用のポインタ104は、画面を正面から見た場合にペン(筆)先(先端104e)が左下を向く形で、斜めに伸長している。このため、ユーザの右手の指で筆記・描画を行うのに適した仕様となっている。ユーザは、好ましくは右手の指を、表示されたポインタ104に接触させることによって、ポインタ104を保持することができる。
【0070】
一方、ユーザが、指で切り替えスイッチイメージ108の「L」部を、所定の閾値p
TH以上の押圧力p
Cで押し込むと、左利き用のポインタ104′が所定の位置に表示される。この左利き用のポインタ104′は、画面を正面から見た場合にペン(筆)先(先端104e′)が右下を向く形で、斜めに伸長している。このため、ユーザの左手の指で筆記・描画を行うのに適した仕様となっている。ユーザは、好ましくは左手の指を、表示されたポインタ104′に接触させることによって、ポインタ104′を保持することができる。
【0071】
尚、既に右利き用(左利き用)のポインタ104(104′)が表示されている状況において、切り替えスイッチイメージ108の「L」部(「R」部)を押し込んだ場合、ポインタ104(104′)が、自身のペン(筆)先(先端104e′)の向きを左下(右下)に変えて、ポインタ104′(104)に変換されることも好ましい。
【0072】
また、以上に述べたような切り替えスイッチイメージ108を用いずに、指による所定の操作でポインタの切り替えを行うことも可能である。例えば、右利き用(左利き用)のポインタ104(104′)を、指で、所定時間内に所定閾値p
TH以上の押圧力p
Cで2度押し込むことにより、左利き用(右利き用)のポインタ104′(104)に変換させるように設定されていてもよい。
【0073】
図4(A)及び(B)は、本発明によるポインタを用いた情報入力(動作発動)の他の実施形態を示す、携帯型情報機器1の前面図である。
【0074】
図4(A)によれば、携帯型情報機器1は、ポインタ204を表示するディスプレイ101と、ディスプレイ101の画面上に配置されたタッチパネル100とを備えている。本実施形態では、ポインタ204は手術用のメスのイメージであり、先端204eが刃先となっている。また、ディスプレイ101の画面には、患者の左腕イメージ206が表示されている。この左腕イメージ206は、ポインタ204の先端(刃先)204eによる作用を受けて変化する(切開される)対象である。
【0075】
最初に、ユーザは、指の接触位置205をポインタ(メスイメージ)204の表示位置範囲と重畳させる。これにより、指がポインタ204を保持する。次いで、ユーザは、指を接触させたまま移動させ、指と共に移動するポインタ204の先端(刃先)204eを、所望の切開開始位置に置く。
【0076】
次いで、ユーザは、指を、ポインタ204(タッチパネル100)に所定閾値p
TH以上の押圧力p
Cで押し込みながら移動させる。これに伴って、ポインタ204の先端204eも移動する。これにより、この先端204eの位置は、指が押し込まれた(p
C≧p
THである)区間となる軌跡をなす。この際、この軌跡を含む切開イメージ207が、画面に表示される。
【0077】
ここで、指の接触位置205と、切開イメージ207を発生させている先端(刃先)204eとは、所定の距離だけ離隔している。従って、ユーザは、先端(刃先)204eを、指に遮られることなく常に視認することができる。
【0078】
本実施形態では、ユーザの操作から見て、指を、ポインタ204に押し込みながら移動させることによって、切開イメージ207が表示される。すなわち、ある程度の力を対象に加えて初めて切開が可能となる。これにより、ユーザは、対象イメージに対して、リアルな操作感を得ながら作用を及ぼすことができる。
【0079】
図4(B)によれば、携帯型情報機器1は、ポインタ304を表示するディスプレイ101と、ディスプレイ101の画面上に配置されたタッチパネル100とを備えている。本実施形態では、ポインタ304は化石発掘用のスコップのイメージであり、先端304eが刃先となっている。また、ディスプレイ101の画面には、発掘現場の地層イメージ306が表示されている。この地層イメージ306は、ポインタ304の先端(刃先)204eによる作用を受けて変化する(掘削される)対象である。
【0080】
最初に、ユーザは、指の接触位置305をポインタ(スコップイメージ)304の表示位置範囲と重畳させる。これにより、指がポインタ304を保持する。次いで、ユーザは、指を接触させたまま移動させ、指と共に移動するポインタ304の先端(刃先)304eを、所望の掘削開始位置に置く。
【0081】
次いで、ユーザは、指を、ポインタ304(タッチパネル100)に所定閾値p
TH以上の押圧力p
Cで押し込みながら移動させる。これに伴って、ポインタ304の先端304eも移動する。これにより、この先端304eの位置は、指が押し込まれた(p
C≧p
THである)区間となる軌跡をなす。この際、この軌跡を含む掘削跡イメージ307が、画面に表示される。尚、掘削跡イメージ307は、その位置によっては、地層イメージ306の内部に前もって埋もれていた化石イメージの一部が露出した部分を含んでいてもよい。
【0082】
ここで、指の接触位置305と、掘削跡イメージ307を発生させている先端(刃先)304eとは、所定の距離だけ離隔している。従って、ユーザは、先端(刃先)304eを、指に遮られることなく常に視認することができる。
【0083】
以上に述べたように、本実施形態では、ユーザの操作から見て、指を、ポインタ304に押し込みながら移動させることによって、掘削跡イメージ307が表示される。すなわち、ある程度の力を対象に加えて初めて掘削が可能となる。これにより、ユーザは、対象イメージに対して、リアルな操作感を得ながら作用を及ぼすことができる。
【0084】
図5は、本発明による携帯型情報機器1の一実施形態を概略的に示す斜視図及び機能構成図である。
【0085】
図5によれば、携帯型情報機器1は、タッチパネル100と、ディスプレイ101と、触覚応答機構部102と、押圧力検出部103と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【0086】
ディスプレイ101は、画面にポインタ104(、204、304)を表示する。また、タッチパネル100は、ディスプレイ101の画面上に配置されており、ユーザの指の接触位置105を時間経過に応じて逐次出力する。このタッチパネル100としては、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【0087】
触覚応答機構部102は、タッチパネル100に接触した指に対して、タッチパネル100を振動させることにより触覚応答を与える。例えば、ユーザが指を所定閾値p
TH以上の押圧力p
Cで押し込んで、ポインタによる入力結果(筆跡イメージ106等)が新たに伸長しつつ表示される際に、所定の強度の振動が指に与えられる。触覚応答機構部102は、例えば、PZT(チタン酸ジルコン酸鉛)等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【0088】
押圧力検出部103は、指によってタッチパネル100に与えられる押圧力p
Cを検出する。押圧力検出部103は、例えば、タッチパネル100の四隅下に設置されており、指を押し付けられて撓んだタッチパネル100が自身に及ぼす押圧の合計を、押圧力p
Cとして検出する。押圧力検出部103は、例えば、PZT等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部102を設ける代わりに又は設けると共に、この押圧力検出部103を触覚応答機構部として利用することも可能である。
【0089】
プロセッサ・メモリは、タッチパネル100から出力される指の接触位置信号と、押圧力検出部103から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指によるポインタ104(、204、304)に対する操作を認知する。次いで、この操作の内容に合わせて、ポインタによる入力結果(筆跡イメージ106、切開イメージ207、掘削跡イメージ307)を表示させる。
【0090】
同じく
図5によれば、このプロセッサ・メモリは、接触位置判定部121と、ポインタ位置決定部122と、ポインタ表示部123と、押圧力判定部124と、動作制御部125と、触覚応答制御部126と、表示制御部111と、アプリケーション処理部112とを有している。
【0091】
接触位置判定部121は、タッチパネル100から出力される指の接触位置信号を入力し、指の接触位置105がポインタ104の表示位置範囲と重畳したか否かを判定する。また、この判定結果を、ポインタ位置決定部122に出力する。さらに、指のタッチパネル100に対する接触の有無に関する情報も、ポインタ位置決定部122に逐次出力する。
【0092】
ポインタ位置決定部122は、接触位置判定部121から真の判定、すなわち指の接触位置105がポインタ104の表示位置範囲と重畳したとの判定を入力した際、その後の指の各時点での接触位置105に応じて、ポインタ104の先端104eの位置を逐次決定する。
【0093】
この際、ポインタ位置決定部122は、重畳した当初の時点での接触位置105の座標(x
C0,y
C0)を同時点でのポインタ104の先端104eの位置の座標(x
P0,y
P0)に変換する並進変換f
Tを決定する。次いで、その後の各時点で、指の接触位置105をこの並進変換f
Tによって変換した結果の位置を、先端104eの位置とする。また、ポインタ位置決定部122は、決定した先端104eの位置情報をポインタ表示部123及び動作制御部125に逐次出力する。
【0094】
一方で、ポインタ位置決定部122は、接触位置判定部121から指の接触位置が存在しない、すなわち指がタッチパネル100に接触していないとの情報を入力した際、その時点で、先端104eの位置の決定を停止する。この場合、先端104eの位置は、この決定停止直前の位置を維持する。
【0095】
ポインタ表示部123は、ポインタ位置決定部122から、先端104eの位置情報を入力する。さらに、この入力した位置情報を用い、各時点で先端104eが決定された位置となるようにポインタ104を表示させることを、表示制御部111に指示する。
【0096】
押圧力判定部124は、押圧力検出部103から出力される押圧力信号を入力し、指による押圧力p
Cが所定の押圧力閾値p
TH以上であるか否かを判定する。また、この判定結果を、動作制御部125に出力する。
【0097】
動作制御部125は、ポインタ位置決定部122から先端104eの位置情報を入力し、さらに押圧力判定部124から判定結果を入力する。動作制御部125は、次いで、これらの入力された位置情報及び判定結果に基づき、ポインタ104の先端104eの位置の軌跡であって、押圧力判定部124により真の判定(p
C≧p
TH)がなされた区間となる軌跡を決定する。
【0098】
動作制御部125は、さらに、この決定された軌跡に対応した、ポインタ104による入力結果(筆跡イメージ106等)を表示するように、表示制御部111に指示する。この際、動作制御部125は、この指示と同時に、触覚応答制御部126に対して、触覚応答を発動させるように指示を行うことも好ましい。尚、上記のポインタ104による入力結果は、動作制御部125によって決定されてもよく、または表示制御部111によって、決定された軌跡に基づきアプリケーション処理部112からの情報を受けて決定されてもよい。触覚応答制御部126は、動作制御部125から入力した、触覚応答発動の指示に基づき、触覚応答(例えば振動)を指に対して与えるべく触覚応答機構部102を制御する。
【0099】
表示制御部111は、アプリケーション処理部112からアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ101に表示させる。また、表示制御部111は、ポインタ表示部123から、ポインタ104を表示させる指示情報を入力し、各時点で先端104eが決定された位置となるように、ポインタ104をディスプレイ101に表示させる。さらに、表示制御部111は、動作制御部125から、ポインタ104による入力結果(筆跡イメージ106等)を表示させる指示情報を入力し、先端104eの軌跡に対応したポインタ104による入力結果をディスプレイ101に表示させる。
【0100】
図6は、本発明による動作発動(情報入力)方法の一実施形態を示すフローチャートである。
【0101】
図6によれば、最初に、ディスプレイ101にポインタ104(、204、304)が表示される(ステップS601)。次いで、タッチパネル100によって、指の接触が検知される(ステップS602)。次いで、接触位置判定部121によって、指の接触位置105がポインタ104の表示位置範囲と重畳したか否かの判定がなされる(ステップS603)。
【0102】
ステップ603で指の接触位置105がポインタ104の表示位置範囲と重畳したと判定された際、ポインタ位置決定部122によって、並進変換f
Tが決定される(ステップS604)。並進変換f
Tは、重畳した当初の時点での接触位置105の座標(x
C0,y
C0)を同時点でのポインタ104の先端104e位置の座標(x
P0,y
P0)に変換するものである。一方、ポインタ104の表示位置範囲と重畳していないと判定された際、ステップS602に戻って、指の接触の検知が行われる。
【0103】
並進変換f
Tの決定(ステップS604)の後、ポインタ104による入力結果を表示するためのループに入り(ステップS605)、接触位置判定部121によって、指の接触位置105が測定される(ステップS606)。次いで、ポインタ位置決定部122により、指の接触位置105に応じて、ポインタ104の先端104eの位置が決定される(ステップS607)。具体的には、指の接触位置105を、決定された並進変換f
Tによって変換した結果の位置が、先端104eの位置とされる。
【0104】
次いで、ポインタ表示部123によって、先端104eがステップS607で決定された位置となるように、ポインタ104が表示される(ステップS608)。次いで、押圧力検出部103が、指による押圧力p
Cを測定する(ステップS609)。
【0105】
次いで、押圧力判定部122によって、押圧力p
Cが所定の押圧力閾値p
TH以上であるか否かが判定される(ステップS610)。所定の押圧力閾値p
TH以上であると判定された場合、動作制御部125によって、先端104eの位置の軌跡であってp
C≧p
THである区間の軌跡に対応した、ポインタ104による入力結果(筆跡イメージ106等)が表示される(ステップS611)。その後、接触位置判定部121によって、指の接触の有無が測定される(ステップS612)。一方、ステップS610で所定の押圧力閾値p
TH未満であると判定された場合、ステップS611を経ずに、ステップS612に移行する。
【0106】
次いで、接触位置判定部121によって、指が接触しているか否かが判定される(ステップ613)。ここで、指が接触していると判定された場合、以上に述べたステップS605乃至ステップS613からなる入力結果表示(動作制御)ループが繰り返される。一方、指が接触していない(指の接触位置が存在しない)と判定された場合、本情報入力方法は終了する。尚、
図3(B)に示したように、ユーザの指がポインタ104を持ち替えた場合、以上に述べたフローが一旦終了して、再度開始され、ステップS604で、並進変換f
Tが更新される。
【0107】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。