【文献】
池田 泉,外2名,“牽引力錯覚と映像錯覚による空中投映物体との接触感提示手法”,情報処理学会 研究報告,日本,情報処理学会,2015年 2月23日,pp.1−6
(58)【調査した分野】(Int.Cl.,DB名)
前記制御手段は、前記ハプティックの発生期間において、前記発生期間直前の動作データを外挿データとして外挿し、該外挿データに基づいて、前記マウス・カーソルを動作させるよう制御する、
ことを特徴とする請求項1に記載の情報処理装置。
前記ハプティックフィードバック手段は、前記ユーザ操作により、前記マウス・カーソルが前記ディスプレイの所定の表示領域に位置したときに、前記ハプティックを提供する、
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。
前記ハプティックフィードバック手段は、前記ユーザ操作により、前記マウス・カーソルが一のディスプレイから他のディスプレイに遷移したときに、前記ハプティックを提供する、
ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。
前記ハプティックフィードバック手段は、前記ユーザ操作により、前記マウス・カーソルが、アクセス頻度の高いオブジェクトのアクセス領域に差し掛かったときに、前記ハプティックを提供する、
ことを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。
【背景技術】
【0002】
近年、ノートブック型パーソナルコンピュータや携帯端末等の機器では、ユーザの持ち運びなどの利便性を考慮して小型化、かつ軽量化の傾向が進んでいる。また、ディスプレイの高精細化、機器の小型化、軽量化などに伴い、画面を注視しながら機器の操作を行うユーザの負担はまずます大きくなる。そこで、機器の使用の際に、目視以外の手段で操作内容をユーザが確認できる手段が求められている。
【0003】
目視以外の手段でユーザが操作内容を確認できる手段の一つとして、ハプティックデバイスによるフィードバックがある。これは、携帯電話を始めとした機器にハプティックデバイスを内蔵し、所定のイベントが起こった際に、ユーザに対してハプティック(Haptics(振動や衝撃)を提供できるものである。更にハプティックのパターンはイベントごとに設定することができ、ユーザはイベントを目視で確認しなくてもハプティックでどのようなイベントが起こっているかを知ることできる技術が公開されている。
【0004】
特許文献1では、携帯機器などであるイベントが発生したときに、イベントの内容に応じて該イベントが起こっていることをハプティックでユーザに知らせることができる技術が公開されている。
【0005】
さて、一般的に各種機器は入力装置として、タッチパネルやトラックポイント(登録商標)などのポインティングデバイスを備えている。ハプティックの発生期間において、ユーザの入力操作が行われると、ハプティックがその入力信号に影響を及ぼす場合がある。
【0006】
例えば、トラックポイント(登録商標)の入力信号に、ハプティックによる入力ノイズが含まれてしまうと、マウス・カーソルがユーザの意図しない動きを引き起こしてしまうことがある。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について詳細に説明する。
【0015】
まず、本実施形態の情報処理装置1の構成について
図1を用いて説明する。尚、情報処理装置1の構成は、
図1に示したものと必ずしも同じ構成である必要はなく、本実施形態を実現できるハードウェア、機能を備えていればそれで十分である。
【0016】
情報処理装置1は、所定のプログラムを実行することにより、情報処理装置1の全体の制御を実現するための制御部100と、ユーザの操作に基づいてデータを出力する入力装置110と、所定の条件に基づいてハプティックを提供するハプティック部130と、液晶、および有機ELなどのパネルを用いたディスプレイを備えた表示部150と、ネットワーク及び外部機器との接続を可能とする通信I/F170と、情報処理装置1が読出すプログラムや、各種データを不揮発に記憶する記憶部180と、カーソルなどの入力ポインタの位置情報を取得する位置座標取得部190と、入力装置110の操作などで出力されるデータなどを一時的に保存する保存部200と、を備えている。
【0017】
情報処理装置1の制御部100は、所定のプログラムを実行することにより、情報処理装置1の全体の制御を実現する。情報処理装置1を構成する種々の機能と連動し、所定のプログラムに基づいて処理を実行する。制御部100は、種々のプログラムを読み出す読み出し専用メモリであるROMと、作業用メモリとして使用するRAM、CPUで構成することが可能である。
【0018】
情報処理装置1の入力装置1は、ポインティングデバイスであり、本実施形態では圧力センサ120を備えている。また、図示していないが入力装置1を構成する他の要素としては、操作面を備えるカバー部材、制御回路を実装した印刷制御基板などがある。入力装置のカバー操作面に力をかけると、圧力センサがその力を検出し、検出した力に基づいてマウス・カーソルの動作データを生成し、信号として出力する。尚、入力装置は、圧力センサを用いるものに限定されず、ユーザの入力装置に対する操作を検出し、その検出したデータからマウス・カーソルを動かすことができればどのような構成でもよい。例えば、タッチパネルであっても良い。
【0019】
ここで、本実施形態で用いる圧力センサの詳細な説明をする。
図3は本実施形態で用いる圧力センサの原理について説明する図である。
図3(a)は入力装置11の概略図である。本実施形態で用いる圧力センサは4つの圧力センサをカバー(cap)が覆い、図示していないが制御回路を実装した印刷制御基板を含んで構成されている。尚、ここで4つの圧力センサ12は全て同規格のものとする。カバー(cap)は、薄く硬い材料の一例としてアルミニウム合金などで形成されているが、これに限定されない。
【0020】
次に
図3(b)で本実施形態の圧力センサの原理について説明する。例えば、ユーザが表示画面上のマウス・カーソルを水平方向にスクロールするような操作時に、圧力センサにかかる力の大きさ、および力の方向を検知する場合を考えてみる。圧力センサ120(U、R、D、L)は、
図3(b)のように配置されている。まず、ユーザの操作によりかけられる力を水平x方向、水平y方向の2方向の成分におけるベクトルとして考える。
【0021】
4つの圧力センサ120(U、R、D、L)で、水平x方向の力をL、およびRで検知し、水平y方向の力をU、およびDで検知する。各圧力センサにかかる圧力をFU、FR、FD、FLとすると、ユーザの操作におけるマウス・カーソルの移動方向のベクトル和は、
【0023】
と求めることができる。ユーザが入力装置を操作することで、マウス・カーソルはRの方向に向かって移動することとなる。そして、最終的に出力される合成圧力であるRの大きさは、
【0025】
と求めることができる。求められた合成圧力Rは単位時間当たりに出力される力である。圧力センサ120にかけられる圧力に応じて合成圧力Rの値は変化する。数1、および数2を用いて、ユーザが操作するマウス・カーソルの移動量、速度が算出されることになる。
【0026】
情報処理装置1のハプティック部130は予め設定されたイベントが発生した場合に、ハプティックを提供する。ハプティック部130が備えるハプティックデバイスは、SMA(Shape Memory Alloy)、ピエゾセンサを用いたEMP(Eccentric Rotating Mass)、LRA(Linear resonant actuator)、ERM(Electro Mechanic polymer)など、を用いることが可能である。ハプティック部130の配置は、特に限定はしないが、ユーザが入力装置130を用いている際に少なくとも手の一部が触れている位置に配置することが好ましい。例えば、ノートPCを用いているのであれば、キーボードのホームポジション近くや、パームレストなどに配置することができる。
【0027】
また、ハプティック部130は入力装置110に内蔵するような構成も可能である。いずれの場合にしても、制御部100と連動させて、ハプティックフィードバックを提供できるような構成であればよい。ハプティック部130は、入力装置110の操作に基づき、ハプティックを発生させるイベントが発生した際には、所定のハプティック発生タイミングに基づいてハプティックを発生させる。尚、ハプティック発生タイミングをイベントごとに定めて、ハプティックの振動期間、振動強度などを変化させることもできる。
【0028】
情報処理装置1の表示部150は、液晶、および有機ELなどのパネルを用いたディスプレイ160を備えて構成される。
【0029】
情報処理装置1の通信I/F170は、外部の機器やコンピュータ等の電子機器との間で各種情報をネットワークを介して入出力するためのインターフェースである。通信I/F170は、例えばUSBポートやLANポート、無線LANポートなどがあり、外部の機器とデータの送受信が行えればどのようなものでも構わない。
【0030】
情報処理装置1の記憶部180は、情報処理装置1が読出すプログラムや、各種データを不揮発に記憶する。記憶部180は、例えば電源が切断されたときに種々のデータの記録を保持することが可能なHDDで構成することができる。
【0031】
情報処理装置1の位置座標取得部190は、表示画面上のマウス・カーソルの位置座標の情報を取得する。位置座標取得部190は、専用のアプリケーションから構成されており、マウス・カーソルの位置座標は制御部100からの命令に基づいてアプリケーションが位置座標を取得する。
【0032】
情報処理装置1の保存部200は、入力装置110からのマウス・カーソルの動作データ、および位置座標取得部190により取得されたマウス・カーソルの位置座標情報などを保存する。保存されたデータは制御部100の命令に基づいて、読み出すことが可能である。保存部200は記憶部180と同様にHDDやメモリなどで構成可能である。
【0033】
次に、本発明を実施するための形態について、動作の観点から図面を参照して説明する。
図2は本実施形態の情報処理装置の機能ブロックを示すものである。本実施形態にかかる情報処理装置1は、表示手段10と、入力手段11と、ハプティックフィードバック手段12と、制御手段13と、を備えている。
【0034】
情報処理装置1の表示手段10は、マウス・カーソルをディスプレイに表示する。表示手段10は、制御部100と、入力装置110と、表示部150と、位置座標取得部200により実現が可能である。
【0035】
情報処理装置1の入力手段11は、操作面に対するユーザ操作を圧力センサで検出し、圧力センサの検出に基づいて前記マウス・カーソルを動作させる動作データを生成する。尚、ユーザ操作を検出する手段の一つとして、本実施形態では圧力センサを用いているが、ユーザ操作を検出できれば圧力センサに限定されない。生成された動作データは出力信号として保存部200に伝送され、必要に応じて制御部で動作データを読み出し、所定の処理を行う。
【0036】
入力手段11は、制御部100、入力装置110、保存部200により実現が可能である。
【0037】
情報処理装置1のハプティックフィードバック手段12は、マウス・カーソルにイベントが生じたときに、ハプティックを提供する。具体的には、マウス・カーソルのイベントが生じると、ハプティックタイミングの通知パルスを生成し、その通知パルスの期間の間、所定のハプティックを生成及び提供する。ここで、マウス・カーソルのイベントとハプティックフィードバックについて説明する。例えば、マウス・カーソルの形が変化したとき、マウス・カーソルの位置座標が所定のディスプレイ境界に差し掛かったとき、マウス・カーソルが一のディスプレイから他のディスプレイに移動したとき、マウス・カーソルの位置座標がユーザのアクセス頻度の高いオブジェクトのアクセス領域に差し掛かったときに、ハプティックを提供しても良い。また、例えば、マウス・カーソルの移動方向や移動量に対応してハプティックを提供しても良い。具体的には、マウス・カーソルの動き出しや停止のタイミング、マウス・カーソルの移動方向が大きく変化したタイミング、マウス・カーソルの単位時間当たりの移動量が大きい場合(移動速度が速い場合)に、ハプティックを提供しても良い。
【0038】
イベントの内容に応じて、ハプティックタイミングの通知パルスのパルス幅や周期を変更してもよい。ハプティックフィードバック手段12は、制御部100、ハプティック部130により実現が可能である。
【0039】
情報処理装置1の制御手段13は、ハプティックフィードバックの発生期間では、センサの出力に基づいて生成された前記動作データを補正して、マウス・カーソルを動作させるよう制御する。上述したように、ハプティックの発生期間では、ハプティックの発生に起因するノイズが入力装置の出力に重畳されることが想定される。
【0040】
そのため、ハプティック発生期間で使用する動作データを補正する必要がある。ここでの動作データの補正とは、例えば、所定のイベントが発生する直前の動作データを読み出し、ハプティック発生期間は、この動作データを外挿データとして使用しても良い。また、ハプティック発生の期間は意図的にマウス・カーソルの動作を停止されるようにする、または、前記外挿データに更に変化を与えるようにして、マウス・カーソルの移動速度を減速、もしくは加速させても良い。
【0041】
いずれの場合でも、マウス・カーソルの動作に対する、ハプティックの発生に起因するノイズの悪影響を低減することができるため、ユーザが意図しないマウス・カーソルの誤動作を抑制できる。
【0042】
次に、本実施形態のマウス・カーソルの移動動作とハプティックの関係について説明する。
図4は、マウス・カーソルの移動動作とハプティックの関係を示し、
図5は、あるオブジェクトに対する所定の操作を行うときのマウス・カーソルとハプティックの関係を示す。
【0043】
図4はユーザがある所定のWEBサイトなどにおけるコンテンツをマウス・カーソル移動させながら閲覧している状況を示している。
図4(a)でユーザが所定のコンテンツにマウス・カーソルを移動させたとき、マウス・カーソルが矢印から図に示す形に変化したとする。
図4(b)はイベント発生期間における入力装置から出力される動作データ、ハプティック発生によるノイズ、ハプティックタイミングの通知パルスを示したものである。
【0044】
マウス・カーソルが矢印から図に示す形に変化したとき、ハプティックタイミングの通知パルスが生成される。これにより、ハプティックの発生が起こると伴に、ハプティックの発生に起因するノイズが入力装置からの出力に影響を与えてしまう。尚、ノイズの影響を受けた動作データは図に示しているものよりも、不規則な曲線となるため、マウス・カーソルの動きはユーザの意図に沿わない動きとなってしまう。
【0045】
また、ハプティックタイミングの通知パルスは図に示している通り、数ms〜100msの間で定義されており、この周期を一定間隔で繰り返すように設定されている。イベントの滞在期間が長い場合は、一定間隔でハプティックが繰り返され、イベントの滞在期間が短い場合は、一回のハプティックで完結する場合が多い。例えばイベント期間が1秒であれば、ハプティックタイミングの周期は2〜3回繰り返されることになる。
【0046】
次に、
図5はユーザがあるオブジェクトを操作する場合を想定している。
図5(a)でユーザが所定のオブジェクトに操作を加えようとしたとき、マウス・カーソルが矢印から図に示す形に変化した。
図5(b)は
図4(b)と同内容なので説明は省略する。
【0047】
マウス・カーソルが矢印から図に示す形に変化したとき、ハプティックタイミングの通知パルスが生成される。これにより、ハプティックの発生が起こると伴に、ハプティックの発生に起因するノイズが入力装置からの動作データに影響を与えてしまう。尚、ノイズの影響を受けた動作データは図に示しているものよりも、不規則な曲線となるため、マウス・カーソルの動きはユーザの意図に沿わない動きとなってしまう。
【0048】
図4、および
図5のいずれの場合においても、マウス・カーソルの形が変化したことをイベントとして検知し、ハプティックを発生させている。ハプティック発生期間でのマウス・カーソルの動作は説明した通り、ユーザの意図に沿わない動きとなってしまう可能性があるため、
図6のようにハプティック発生期間の動作データを変更する。
【0049】
図6は、本発明の実施形態にかかるマウス・カーソルの動作データの差し替え方法の一例を示す図である。ハプティックの発生期間において、入力装置からの出力により生成された動作データをそのまま使用してしまうと前述した通り、ハプティックのノイズが入力装置からの出力に重畳された動作データとなってしまうため、
図6のようにデータの差し替えを行う。
【0050】
図6の直線Aでのハプティック発生期間での動作データは、ある一定の値を示している。これはハプティックが起こる直前(図では10ms前)の動作データをハプティック発生期間で一定値として適用している。つまり、ハプティック発生期間では、出力される動作データは一切見ずに、過去の動作データを採用する。尚、ここでハプティックが起こる直前の動作データは10ms前に限定されず、所定のしきい値を定めて選定してもよい。つまり、ユーザが滑らかなマウス・カーソル操作を継続させるためには、ハプティック発生期間で出力される動作データにできるだけ近い値の動作データを採用することが好ましいからである。外挿データはハプティック直前のデータの一定値とする方法のほか、より滑らかに動作を繋ぐため、直前のデータの変化率を保った直線、あるいは曲率を維持した曲線とする方法などがある。
図6の直線Bでのハプティック発生期間での動作データは、ハプティックが起こる直前の動作データの変化率を保った値を示している。
【0051】
また、動作データの差し替え方法においては、他にハプティック発生期間では意図的にマウス・カーソルの動作を止めてしまうような方法もある。これはハプティック発生によるノイズでの予期せぬ動作を引き起こさないようにする効果がある。また、ハプティック発生期間では、過去の動作データを差し替えた後で更にマウス・カーソルの動作速度を減速、および加速させるように効果を与えることもできる。マウス・カーソルの動作速度を加速、および減速させる方法として、動作データに対して規定の係数k(減速であればk<1、加速であればk>1)の積と取ることで算出が可能であることは周知であるため説明は省略する。
【0052】
いずれにしても、動作データの差し替えを行うことで、ハプティック発生期間でのノイズによるマウス・カーソルの予期せぬ動作が起こることを回避できるため、ユーザの操作性向上に期待できる。
【0053】
次に、本発明の実施形態にかかるフローチャートを説明する。
図7は第1の実施形態として、ハプティックイベント発生に伴う動作データの差し替えについての処理について説明する。尚、
図7、8、9でイベント内容もそれぞれ異なるものとしている。
【0054】
(ハプティックイベント発生に伴う動作データの差し替え)
圧力センサからの出力により生成された動作データに基づいてマウス・カーソルを動作させる(ステップ1)。マウス・カーソル動作中にマウス・カーソルの形が変化した(ステップ2)場合、イベントが発生したと検知し、ハプティックを発生させる(ステップ3)。ここで、ハプティック発生期間をハプティックタイミングの通知パルスにより確認する(ステップ4)。
【0055】
ハプティックタイミングの通知パルスを参照し、ハプティック発生期間のマウス・カーソルの動作をハプティック発生直前の動作データに基づいて行わせる(ステップ5)。尚、ハプティック発生期間の動作データの出力は一切見ないため、所定の機能で保持するようにしてもよい。
【0056】
次に、
図8の第2の実施形態として、ハプティックイベント発生に伴い、ハプティック期間のマウス・カーソル動作を意図的に止める処理について説明する。
【0057】
(ハプティック期間のマウス・カーソル動作を意図的に停止)
圧力センサからの出力により生成された動作データに基づいてマウス・カーソルを動作させる(ステップ6)。マウス・カーソル動作中にマウス・カーソルがディスプレイの所定の領域に位置した(ステップ7)場合、イベントが発生したと検知し、ハプティックを発生させる(ステップ8)。尚、ここでディスプレイの所定の領域とは、例えば境界領域、または他のディスプレイへの遷移などである。ここで、ハプティック発生期間をハプティックタイミングの通知パルスにより確認する(ステップ9)。
【0058】
ハプティックタイミングの通知パルスを参照し、ハプティック発生期間のマウス・カーソルの動作を意図的に停止させる(ステップ10)。尚、ここでの意図的な停止とは、現在入力装置から出力されてきている動作データに対して係数0の積を取ることで動作速度を0としてもよいし、また過去の動作データへの差し替えを行った後で、動作データに対して係数0の積を取ることで動作速度0とするように算出してもよい。
【0059】
次に、
図9の第3の実施形態として、ハプティックイベント発生に伴い、ハプティック期間のマウス・カーソル動作速度を減速する処理について説明する。
【0060】
圧力センサからの出力により生成された動作データに基づいてマウス・カーソルを動作させる(ステップ11)。マウス・カーソル動作中にマウス・カーソルが所定のオブジェクトのアクセス領域に位置した(ステップ12)場合、イベントが発生したと検知し、ハプティックを発生させる(ステップ13)。尚、ここでの所定のオブジェクトとは、ユーザが頻繁にアクセスしているアイコンなどを指しており、任意に設定することが可能である。ここで、ハプティック発生期間をハプティックタイミングの通知パルスにより確認する(ステップ14)。
【0061】
ハプティックタイミングの通知パルスを参照し、ハプティック発生期間のマウス・カーソルの動作データをハプティック発生直前の動作データに差し替える(ステップ15)。差し替えられた動作データにおいてマウス・カーソルの動作速度を減少させるよう動作データの値を変更する(ステップ16)。変更された動作データに基づいてマウス・カーソルを移動させる(ステップ17)。
【0062】
マウス・カーソルの移動速度の減速、加速については上述した通りである。また所定のオブジェクトのアクセス領域に差し掛かった際にハプティックが発生し、意図的にマウス・カーソルの動作速度を減速させるなどの処理を行うことで、個人に特化した操作性の向上へ繋げることができる。
【0063】
以上、本実施を好適な形態で行う実施例を説明した。ここでは特定の具体例を示して説明を行ったが、特許請求の範囲の趣旨及び範囲から逸脱しない範囲で、本具体例の様々な修正、および形態変更などが可能である。
【0064】
実施形態の変更の1例としては、ハプティック部130を入力装置110に組み込んだ形で構成することが可能である。ユーザがマウス・カーソルなどを操作する際には入力装置を用いるため、操作している際にハプティックが発生した際などは、入力装置自体にハプティックをフィードバックすることが好ましいと考えられる。
【0065】
また、入力装置110を構成するセンサは圧力センサに限定されない。ユーザが操作した力を検出できれば問題ないので、例えば歪みゲージ型のセンサ、もしくはタッチセンサなどにも適用できる。
【0066】
本発明により、ユーザの操作性に影響を与えるハプティックの入力ノイズを確実に除去できる情報処理装置を提供することができた。
【解決手段】本発明に係る情報処理装置は、マウス・カーソルをディスプレイに表示する表示手段と、ユーザ操作を検出し、ユーザ操作に応じて、マウス・カーソルを動作させる動作データを生成する入力手段と、マウス・カーソルの動作応じて、ハプティックを提供するハプティックフィードバック手段と、動作データに基づいてマウス・カーソルの動作を制御する制御手段と、を備え、制御手段は、ハプティックの発生期間において、動作データを補正してマウス・カーソルの動作の制御を行う、ことを特徴とする。