(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025010370
(43)【公開日】2025-01-20
(54)【発明の名称】触覚提示装置
(51)【国際特許分類】
G06F 3/041 20060101AFI20250109BHJP
G06F 3/01 20060101ALI20250109BHJP
B06B 1/04 20060101ALI20250109BHJP
【FI】
G06F3/041 480
G06F3/01 560
B06B1/04 S
【審査請求】有
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2024192664
(22)【出願日】2024-11-01
(62)【分割の表示】P 2024001652の分割
【原出願日】2019-11-27
(31)【優先権主張番号】P 2019028905
(32)【優先日】2019-02-20
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】303018827
【氏名又は名称】Tianma Japan株式会社
(71)【出願人】
【識別番号】520272868
【氏名又は名称】武漢天馬微電子有限公司
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】東 晴江
(72)【発明者】
【氏名】芳賀 浩史
(72)【発明者】
【氏名】重村 幸治
(72)【発明者】
【氏名】山本 裕紹
(57)【要約】
【課題】振動面にタッチしているユーザの指に対して適切な触覚を提示する。
【解決手段】触覚提示装置は、タッチ面と、タッチ面に対して相対的位置が固定された表示装置と、タッチ面を面内の一軸に沿って振動させるアクチュエータと、アクチュエータの一軸に沿った振動を制御して、タッチ面に表示されたオブジェクトの選択操作時に前記タッチ面に接触している指に対する触覚を提示する、制御装置と、を含む。制御装置は、指に対する触覚を提示するための振動の開始方向が、表示画像の上から下に向かう方向又はその反対方向に対して、マイナス43°からプラス43°の範囲内にあるように、アクチュエータを制御する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
タッチ面と、
前記タッチ面に対して相対的位置が固定された表示装置と、
前記タッチ面を面内の一軸に沿って振動させるアクチュエータと、
前記アクチュエータの前記一軸に沿った振動を制御して、前記タッチ面に表示されたオブジェクトの選択操作時に前記タッチ面に接触している指に対する触覚を提示する、制御装置と、
を含み、
前記制御装置は、前記指に対する触覚を提示するための振動の開始方向が、表示画像の上から下に向かう方向又はその反対方向に対して、マイナス43°からプラス43°の範囲内にあるように、前記アクチュエータを制御する、
触覚提示装置。
【請求項2】
請求項1に記載の触覚提示装置であって、
前記制御装置は、前記指に対する触覚を提示するための振動の開始方向が、前記表示画像の上から下に向かう方向又はその反対方向に対して、マイナス19°からプラス19°の範囲内にあるように、前記アクチュエータを制御する、
触覚提示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、触覚提示装置に関する。
【背景技術】
【0002】
近年、スマートフォン及びカーナビゲーション等、タッチパネルを搭載する電子機器が普及している。ユーザが、タッチパネルを介して表示されるユーザインタフェースに含まれるアイコン等のオブジェクトを操作した場合、電子機器は、当該オブジェクトに対応する機能を作動させる。
【0003】
タッチパネルの表面は一様に硬いため、ユーザの指がタッチパネルのどの部分に触れても同じ触覚を与える。そのため、オブジェクトの存在を知覚させる、又は、オブジェクトに対応する機能が作動した場合そのための操作を受け付けたことを知覚させる、フィードバックを、ユーザに提供する技術が知られている。当該技術は、タッチパネルの面内方向においてタッチパネルを振動させることで、タッチしている指に触覚を提示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開第2012/0262394号
【特許文献2】特開2013-97438号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明者らは、振動面の面内振動の向きとタッチしている指の軸との関係に応じてユーザが知覚する刺激の強さが変化することを、発見した。具体的には、指の長軸(指が延びる方向に沿った軸)方向と垂直な方向における振動は、平行な方向における同一の振動よりも弱い刺激しかユーザに知覚させることができないことが分かった。指に与えられる刺激が弱まると、ユーザが所定の触覚(例えばクリック感)を知覚しづらくなる。
【課題を解決するための手段】
【0006】
本開示の一態様の触覚提示装置は、向きが固定されたタッチ面と、前記タッチ面を面内の一軸に沿って振動させるアクチュエータと、前記アクチュエータの前記一軸に沿った振動を制御して、前記タッチ面に接触している指に対する触覚を提示する、制御装置と、を含む。前記制御装置は、前記指に対する触覚を提示するための振動の開始方向が、鉛直方向を前記タッチ面に射影した方向又はその反対方向に対して、マイナス43°からプラス43°の範囲内にあるように、前記アクチュエータを制御する。
【0007】
本開示の他の一態様の触覚提示装置は、タッチ面と、前記タッチ面を面内の一軸に沿って振動させるアクチュエータと、前記アクチュエータの前記一軸に沿った振動を制御して、前記タッチ面に接触している指に対する触覚を提示する、制御装置と、を含む。前記制御装置は、前記タッチ面に接触している前記指を前記タッチ面に射影した向きを推定し、前記射影した向きに応じて前記振動の強度を変化させるように前記アクチュエータを制御する。
【0008】
本開示のさらに他の一態様の触覚提示装置は、タッチ面と、前記タッチ面に対して相対的位置が固定された表示装置と、前記タッチ面を面内の一軸に沿って振動させるアクチュエータと、前記アクチュエータの前記一軸に沿った振動を制御して、前記タッチ面に接触している指に対する触覚を提示する、制御装置と、を含む。前記制御装置は、前記指に対する触覚を提示するための振動の開始方向が、表示装置に表示された画像の上下方向に対して、マイナス43°からプラス43°の範囲内にあるように、前記アクチュエータを制御する。
【0009】
本開示のさらに他の一態様の触覚提示装置は、タッチ面と、前記タッチ面を面内の一軸に沿って振動させるアクチュエータと、前記タッチ面の振動の中立の位置を規定するバネと、前記アクチュエータの前記一軸に沿った振動を制御して、前記タッチ面に接触している指に対する触覚を提示する、制御装置と、を含む。前記アクチュエータはソレノイドであり、前記制御装置は前記ソレノイドに第1及び第2の駆動パルスを印加し、前記第1及び第2の駆動パルスの電圧振幅は等しく、前記第2の駆動パルスの幅は前記第1の駆動パルスの幅より狭い。
【0010】
本開示のさらに他の一態様の触覚提示装置は、向きが固定されたタッチ面と、前記タッチ面を面内の一軸に沿って振動させるアクチュエータと、前記アクチュエータの前記一軸に沿った振動を制御して、前記タッチ面に接触している指に対する触覚を提示する、制御装置と、を含み、前記制御装置は、前記指に対する触覚を提示するための振動の開始方向が、前記指の先端から根元への方向をタッチ面に射影した方向又はその反対方向に対して、マイナス43°からプラス43°の範囲内にあるように、前記アクチュエータを制御する、触覚提示装置。
【発明の効果】
【0011】
本開示の一態様の触覚提示装置は、振動面にタッチしているユーザの指に対して適切な触覚を提示することができる。
【図面の簡単な説明】
【0012】
【
図1】実施形態1の電子機器の構成の一例を示す図である。
【
図2】実施形態1において、ユーザの指がタッチパネルのタッチ面において、オブジェクト画像に対応する領域をタッチする様子を示す。
【
図3】実施形態1において、電子機器が実行する処理例を説明するフローチャートである。
【
図4A】実施形態1において、指の長軸と振動方向(振動軸)とが略平行である状態を示す。
【
図4B】実施形態1において、指の長軸と振動方向(振動軸)とが略垂直である状態を示す。
【
図5】実施形態1において、測定においてリニアソレノイドアクチュエータに加えられた駆動電圧及び振動子の振動を模式的に示す。
【
図6】測定で使用されたアクチュエータの振動の方向を示す。
【
図7】実施形態1において、測定における主観評価結果を示す。
【
図8】実施形態1において、
図7に示す評価結果の分散分析表を示す。
【
図9】実施形態1において、四つの振動方向それぞれの心理尺度値及びヤードスティックY
0.01の関係を示す。
【
図10】実施形態1において、測定結果のグラフを示し、振動が「一番強い」と感じられた振動方向の度数分布及び振動が「一番弱い」と感じられた振動方向の度数分布を示す。
【
図11】実施形態1において、測定結果のグラフを示し、振動が「一番強い」と感じられた振動方向の度数分布及び度数分布にフィッティングした正規分布曲線を示す。
【
図12】実施形態2の電子機器の構成の一例を示す図である。
【
図13】実施形態3の制御装置の論理構成例を模式的に示す。
【
図14A】実施形態3において、指の長軸と面内振動方向との間の角度に応じて触覚制御部により制御される、ラテラルアクチュエータの加速度の例を示す。
【
図14B】実施形態3において、指の長軸と面内振動方向との間の角度に応じて触覚制御部により制御される、ラテラルアクチュエータの加速度の例を示す。
【
図14C】実施形態3において、指の長軸と面内振動方向との間の角度に応じて触覚制御部により制御される、ラテラルアクチュエータの加速度の例を示す。
【
図15】実施形態3において、実施形態1で説明した測定結果の他のグラフを示す。
【
図16A】実施形態3において、タッチ面に接触している指及びその接触領域を示す。
【
図16B】実施形態3において、指の接触領域及び接触領域にフィッティングされた楕円の長径に平行な軸を示す。
【
図17】実施形態3において、タッチ面と鉛直方向(重力の方向)との関係を示す。
【
図18】実施形態3において、電子機器の内蔵カメラにより撮像されたユーザの顔画像と、タッチ面との間の関係を模式的に示す。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して本開示の実施形態を説明する。本実施形態は本開示を実現するための一例に過ぎず、技術的範囲を限定するものではないことに注意すべきである。
<実施形態1>
図1は、実施形態1の電子機器10の構成の一例を示す図である。電子機器10(触覚提示装置)は、触覚提示パネル100及び制御装置110を備える。触覚提示パネル100及び制御装置110は接続線を介して接続されている。
【0014】
触覚提示パネル100は、ユーザに対して、少なくとも一つのオブジェクト(画像)を含むUI(ユーザインタフェース)を提示し、UIを介した操作を受け付ける。また、触覚提示パネル100は、UIに含まれるオブジェクトの操作を知覚させるための触覚をユーザに提供する。
【0015】
触覚提示パネル100は、タッチパネル101、液晶ディスプレイ103、キャリア104、ベース105、ラテラルアクチュエータ106、及び板バネ107を含んで構成されている。触覚提示パネル100の構成要素は、例えば、任意の筐体内に格納されてよい。タッチパネル101及び液晶ディスプレイ103は、UIを表示する表示画面を実現する構成であり、キャリア104、ラテラルアクチュエータ106、及び板バネ107は機械振動を実現する構成である。
【0016】
ベース105は、触覚提示パネル100の土台となる部材である。ベース105には、ラテラルアクチュエータ106及び板バネ107が設置される。また、ベース105上には、ラテラルアクチュエータ106及び板バネ107による動作によって振動するキャリア104が設けられる。キャリア104は、ラテラルアクチュエータ106によって、ベース105に対して特定の一軸に沿って振動する(lateral motionとも呼ぶ)。ラテラルアクチュエータ106及び板バネ107によって実現されるキャリア104の振動は機械振動である。以下の説明において、触覚提示のための振動は、一回以上の往復運動である。
【0017】
ラテラルアクチュエータ106は、触覚提示パネル100のタッチ面に平行な一軸に沿った動きを発生させる装置である。タッチ面は、指が接触するタッチパネル101の主面であって、指に触覚を提示する(フィードバックする)触覚提示面である。板バネ107は、ラテラルアクチュエータ106の動きに合わせて振動を発生させるための機構として用いられる。板バネ107は、タッチ面の振動の中立の位置を規定する。キャリア104は、表示画面を構成する部材を積層する土台となる部材である。キャリア104上には、液晶ディスプレイ103及びタッチパネル101が設けられる。
図1は、触覚提示パネル100の構成の一例を示し、触覚提示パネル100は他の構成を有してもよい。例えばキャリア104は省略されてよく、液晶ディスプレイ103がラテラルアクチュエータ106や板バネ107と直接に接続されてもよい。
【0018】
液晶ディスプレイ103及びタッチパネル101は、ベース105と略平行となるように設置される。液晶ディスプレイ103の前側にタッチパネル101が配置されている。以下において、触覚提示パネル100を使用するユーザが位置する側を、前側と呼ぶ。前側の反対側を、後側と呼ぶ。
【0019】
タッチパネル101は、その前面であるタッチ面にタッチしたユーザの指の位置を検知する。タッチパネル101は任意タイプのタッチパネルを使用することができ、例えば、抵抗膜タイプ、表面静電容量タイプ又は投影静電容量タイプのタッチパネルを使用することができる。また、タッチパネルの機能と静電気により触覚を提示する機能とを併せ持つパネルが使用されてもよい。
【0020】
液晶ディスプレイ103は、オブジェクトを含むUI画像を表示する。液晶ディスプレイと異なる任意のタイプのディスプレイ、例えば、OLED(Organic Light Emitting Diode)ディスプレイやマイクロLEDディスプレイを使用することができる。
【0021】
制御装置110は、プログラムを実行する1以上の演算装置と1以上の記憶装置を含むことができる。演算装置は、例えば、プロセッサ、GPU(Graphics Processing Unit)、及びFPGA(Field Programmable Gate Array)等を含むことができる。記憶装置は、制御装置110が使用するプログラム及びデータを格納する。記憶装置は、揮発性又は不揮発性メモリを含むことができる。記憶装置は、プログラムが使用するワークエリアを含む。
【0022】
制御装置110は、触覚提示パネル100を制御するための機能部(モジュール)として動作する。具体的には、制御装置110は、表示制御部111及び触覚制御部として動作する。表示制御部111は、表示画面へのUIの表示を制御する。具体的には、表示制御部111は、UIの設定情報を記憶装置から取得し、当該情報に基づいて、少なくとも一つのオブジェクトを含むUIが表示されるように液晶ディスプレイ103を制御する。
【0023】
タッチ検知部115は、タッチパネル101からの出力に基づいてタッチパネル101へのユーザの指の接触を検知し、また、タッチパネル101上のユーザの指のタッチ位置を特定する。タッチ検知部115は、例えば、特定のオブジェクト画像と対応する位置におけるタッチを検知した場合、機械振動の発生要求を触覚制御部113に出力する。触覚制御部113は、タッチ検知部115に応答して、機械振動を発生させるためにラテラルアクチュエータ106を制御する。
【0024】
ラテラルアクチュエータ106に印加される駆動パルスは、第一パルスと第二パルスからなり、第一パルスと第二パルスは同一の電圧振幅を持つ。ラテラルアクチュエータは、第一パルスの印加によってタッチ面を初期状態から一方向にシフトさせた後、第一パルスの印加終了によって、逆方向へのシフトを開始し往復運動を始める。
【0025】
続いて、所定の無印加時間の後に第二パルス印加することによって、タッチ面が初期状態に戻ったところでシフトを停止させる。ユーザに対してクリック感など歯切れのよい触覚を提示するために、ラテラルアクチュエータが初期状態から一往復のみのシフトで停止するように、無印加時間と第二パルス幅を設定してもよい。また、ラテラルアクチュエータが初期状態から複数回往復したところで停止するように、前述の一往復のみの場合より無印加時間を長く設定してもよい。こうすれば、振動の継続時間が長い触覚を提示することができる。
【0026】
触覚提示パネル100は、さらに、力センサを含んでもよい。力センサは、触覚提示パネル100(タッチパネル101)の主面に垂直な方向に対してユーザに加えられた力を検知する。触覚制御部113は、例えば、タッチパネル101上で特定領域がタッチされ、かつ、力センサにより検知された値が閾値を超える場合に、ラテラルアクチュエータ106を振動させる。なお、制御装置110が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。
【0027】
次に、電子機器10が実行する処理例について説明する。
図2は、ユーザの指205がタッチパネル101のタッチ面150において、オブジェクト画像201に対応する領域をタッチする様子を示す。電子機器10は、ユーザの指205(他の指示体でも同様)が特定のオブジェクト画像201の領域にタッチすると、振動方向(互いに反対の2方向)161において、タッチパネル101(触覚提示パネル100)を振動させる。これにより、ユーザの指205に対して、例えば、クリック感を与えることができる。
【0028】
図3は、電子機器10が実行する処理例を説明するフローチャートである。表示制御部111は、操作状態等に基づいてUI画像を選択し、液晶ディスプレイ103を制御して新たなUI画像を表示させる(ステップS101)。表示制御部111は、タッチパネル101の面内振動によって触覚を与えるオブジェクト画像の領域の位置情報を、記憶装置に格納する。
【0029】
タッチ検知部115は、検知処理を実行する(ステップS102)。検知処理は、タッチパネル101へのユーザの指のタッチを検知し、タッチパネル101におけるタッチ領域の位置を特定する。具体的には、タッチ検知部115は、タッチパネル101から、ユーザの指の接触を示す信号を検知する。例えば、タッチ検知部115は、タッチパネル101の静電容量の変化を信号として検知する。
【0030】
タッチ検知部115は、タッチパネル101上のユーザの指の接触位置を示す座標を算出する。例えば、静電容量の変化が検知された電極の位置に基づいて座標が算出される。タッチ検知部115は、記憶装置に算出された座標を格納する。タッチ検知部115は、触覚制御部113に、タッチパネル101がタッチされたことを通知する。
【0031】
触覚制御部113は、触覚提示のオブジェクトがタッチされている場合(S103:YES)、触覚提示処理を実行する(S104)。具体的には、タッチ検知部115からの通知を受けると、触覚制御部113は、記憶装置から触覚を提示するオブジェクト画像の位置情報と、タッチ領域の位置情報とを取得し、これらを比較する。タッチ領域が、オブジェクト画像の領域と少なくとも部分的に重なっている場合、触覚制御部113は、触覚提示パネル100(タッチパネル101)を面内の一軸に沿って振動させ、ユーザに機械振動によるフィードバックを提供する。
【0032】
具体的には、触覚制御部113は、ラテラルアクチュエータ106を制御することによって機械振動を発生させる。これによって、キャリア104が、特定の一軸に沿って(特定の方向に)振動する。キャリア104の上に、液晶ディスプレイ103及びタッチパネル101が設置されており、キャリア104と共に、液晶ディスプレイ103及びタッチパネル101が振動する。
【0033】
タッチ検知部115は、表示制御部111に、タッチパネル101がタッチされたことを通知する。表示制御部111は、記憶装置からタッチ領域の位置情報を取得し、タッチ領域の位置と、現在表示されているUI画像との関係を特定する。UI画像切り替えのオブジェクトが選択されている場合(S105:YES)、表示制御部111は、新たなUI画像に切り替える(S101)。
【0034】
次に、触覚制御部113及びラテラルアクチュエータ106による、触覚の提示についついて説明する。触覚制御部113は、タッチパネル101(触覚提示パネル100)を、タッチ面(主面)に沿った一軸に沿って振動させることで、タッチしている指に触覚(例えばクリック感)を与える。発明者らの検討から、タッチ面の面内振動方向と指の長軸(延びる指に沿った軸)との間の、タッチ面の法線方向において見た角度に応じて、ユーザが感じる触覚強度が変化することがわかった。なお、以下の説明において、指の軸と面内振動方向(面内振動軸)との角度についての説明は、タッチ面の法線方向において見た角度、つまり、タッチ面に射影された指の軸と振動方向(振動軸)との間の角度を意味する。
【0035】
例えば、
図4Aは、指205の長軸と振動方向161A(振動軸)とが略平行である状態、つまり、指205が延びる方向に沿った長軸と振動方向161Aとの角度が略0°又は180°である状態を示す。
図4Bは、指205の長軸と振動方向(振動軸)161Bとが略垂直である状態、つまり、指205が延びる方向に沿った長軸と振動方向161Bとの角度が略90°又は270°である状態を示す。発明者らの研究によれば、同一の振動に対して、ユーザは、
図4Aが示す状態において、
図4Bが示す状態よりも強い触覚を感じることが分かった。
【0036】
発明者らは、触覚提示パネルの振動軸と指の長軸との間の角度に応じてユーザが感じる触覚強度についての測定を行った。以下において、その測定結果を説明する。測定に使用した装置は、ラテラルアクチュエータとして、リニアソレノイドアクチュエータを使用した。
図5は、測定においてリニアソレノイドアクチュエータに加えられた駆動電圧及びタッチ面の水平方向の変位を模式的に示す。振動子は、一回の触覚提示のために、一回の往復運動を行った。
【0037】
測定は、指がタッチ面にタッチしている状態で、
図5に示すような駆動電圧をリニアソレノイドアクチュエータに加えた。リニアソレノイドアクチュエータは、一回の往復運動によって触覚(クリック感)を評価者に与えた。具体的には、リニアソレノイドアクチュエータは、駆動電圧に従って、タッチ面を初期状態から一方向にシフトさせた後、初期状態に戻すように逆方向にシフトさせる。
【0038】
さらに具体的には、測定に用いた駆動電圧は、電圧を13Vとした二つの矩形波パルスであり、まず10.0ms幅の第一パルスを印加した後、4.1msの無印加時間をおいて、第一パルスよりも短い、2.1ms幅の第二パルスを印加した。リニアソレノイドアクチュエータは、第一パルスの印加によって、タッチ面を初期状態から一方向にシフトさせた後、第一パルスの印加終了によって、逆方向へのシフトを開始する。続く第二パルスの印加によって、タッチ面が初期状態に戻ったところでシフトを停止させる。
【0039】
つまり、一回の触覚提示動作において、タッチ面は、初期状態から一方向にシフトした後、逆方向にシフトして初期状態に戻る。測定は、この一回の触覚提示動作によってユーザが感じた強度を評価した。なお、以下に説明する測定結果は、同様の振動を与えることができる任意タイプのラテラルアクチュエータによっても得ることができる。
【0040】
図6は、測定で使用されたアクチュエータの振動の方向を示す。測定は、
図6に示すように、指205の先端から根元に向かう方向を基準として、振動(往復運動)を開始する方向が、時計回りに、0°、90°、180°及び270°の振動を与えた。複数の評価者が、それぞれ、各角度の振動における強度を主観で評価した。評価は、シェッフェの一対比較法を使用し、先の角度における振動の強度に対する、後の角度における振動の強度を評価した。
【0041】
図7は、測定による主観評価結果を示す。評点は、先の角度における振動よりも後の角度における振動が強い場合に2、後の振動がわずかに強い場合に1、差がない場合0、後の振動がわずかに弱い場合に-1、後の振動が弱い場合に-2とした。心理尺度値は、(平均評価値(先)-平均評価値(後))/2で与えられる。
図8は、
図7に示す評価結果の分散分析表を示す。本実験結果から、「残差E」に対して、「対象の主効果α」は、危険率1%で有意差があることが分かる。
【0042】
図9は、四つの振動方向それぞれの心理尺度値及びヤードスティックY
0.01の関係を示す。ヤードスティックY
0.01は、下記数式で表わされる。下記式において、qはスチューデント化された範囲、V
Eは残差Eの不偏分散、mは評価対象数(=4)、rは評価者数である。本実験の評価者の数である。
【0043】
【0044】
上記の測定による評価結果から、指の長軸方向の変位の振動(0°及び180°)と、指の短軸方向(長軸に垂直な方向)の変位の振動(90°及び270°)との間に、危険率1%で有意差が認められた。つまり、指の長軸方向の変位の振動が、指の短軸方向の変位の振動よりも強いと知覚されることが分かった。一方、0°での振動と180°での振動との間において、知覚強度の有意差は認められなかった。
【0045】
さらに、発明者らは、ユーザが振動をより強く感じる振動方向について検討を行った。評価者は、振動が「一番強い」と感じられる振動方向、及び、振動が「一番弱い」と感じられる振動方向を主観評価により決定した。測定は、各評価者が決定した最も強い振動方向及び最も弱い振動方向と、タッチされた指の長軸方向との間の関係を測定した。
【0046】
図10は、測定結果のグラフを示し、振動が「一番強い」と感じられた振動方向の度数分布及び振動が「一番弱い」と感じられた振動方向の度数分布を示す。グラフは、さらにそれぞれの度数分布にフィッティングした正規分布曲線を示す。
図10のグラフにおいて、確率密度が逆転する(正規分布曲線が交差する)振動方向の角度は、43°である。指の長軸に沿って先端から根元への向かう方向に対して、往復運動(振動)の開始方向がなす角度が、0°±43°の範囲において、振動刺激が強いと感じられる場合が相対的に多いことが分かった。また、上述のように、0°での振動と180°での振動との間において、知覚強度の有意差は認められないことから、180°±43°の範囲において、同様であると言える。
【0047】
図11は、測定結果のグラフを示し、振動が「一番強い」と感じられた振動方向の度数分布及び度数分布にフィッティングした正規分布曲線を示す。正規分布曲線が示す分布の中央50%の範囲は、0°±19°の範囲である。指の長軸に沿って先端から根元への向かう方向に対して、往復運動の開始方向がなす角度が、0°±19°の範囲において、振動刺激が強いと感じられる場合がより多いことが分かった。上述のように、0°での振動と180°での振動との間において、知覚強度の有意差は認められないことから、180°±19°の範囲において、同様であると言える。
【0048】
上記測定結果から、触覚フィードバックのための往復運動(振動)の開始方向と、指の長軸に沿った一方向との間の角度が所定の角度範囲内にある場合、好適な触覚フィードバックを指に与えることができることが分かる。タッチパネルを含む多くの電子機器が使用されている中で、タッチ面の向きが固定されて設置されており、ユーザがタッチ面に正対して使用することが前提となっている電子機器が存在する。ATM(Automatic Teller Machine)や駅に設置された切符券売機等は、このような電子機器の例である。
【0049】
ユーザが正対して使用することを前提とする電子機器においては、ユーザは一般的に人差し指か中指でタッチ面にタッチする。また、タッチ面に接触している指の先端は、一般的に、タッチ面の上辺を向いて、つまり、指の先端から根元への方向をタッチ面に射影した方向は、鉛直方向をタッチ面に射影した方向に略一致する。
【0050】
従って、ATMや発券機のように、固定されており、正対するユーザの指によるタッチが想定されているタッチ面(触覚提示面)を有する触覚提示装置の例において、触覚提示のための振動の開始方向は、鉛直方向をタッチ面に射影した方向(0°)又はその反対方向(180°)に対して、マイナス43°からプラス43°の範囲内にある。つまり、振動軸は、鉛直軸をタッチ面に射影した軸からマイナス43°からプラス43°の範囲内にある。
【0051】
より好ましい例において、触覚提示のための振動の開始方向は、鉛直方向をタッチ面に射影した方向(0°)又はその反対方向(180°)に対して、マイナス19°からプラス19°の範囲にある。つまり、振動軸は、鉛直軸をタッチ面に射影した軸からマイナス19°からプラス19°の範囲内にある。このような振動により、上述のように、より多くのユーザに対して適切な触覚を提示することができる。
【0052】
上述のように、触覚提示装置である電子機器10は、向きが固定されたタッチ面150と、タッチ面150を面内の一軸に沿って振動させるラテラルアクチュエータ106と、ラテラルアクチュエータ106の一軸に沿った振動を制御して、タッチ面に接触している指に対する触覚を提示する、制御装置110と、を含むことができる。
【0053】
制御装置110は、指に対する触覚を提示するための振動の開始方向が、鉛直方向をタッチ面に射影した方向又はその反対方向に対して、マイナス43°からプラス43°の範囲内にあるように、ラテラルアクチュエータを制御してもよい。また、制御装置110は、指に対する触覚を提示するための振動の開始方向が、鉛直方向をタッチ面に射影した方向又はその反対方向に対して、マイナス19°からプラス19°の範囲内にあるように、ラテラルアクチュエータを制御してもよい。
【0054】
上記構成は、携帯端末のようにタッチ面の向きが固定されていないが、表示画面及びその表示画像の向きが、タッチ面に対して固定されている装置に適用することができる。表示画像の表示画面に対する向きは、例えば、常に又は初期設定において、固定され得る。鉛直方向をタッチ面に射影した方向及びその反対方向は、それぞれ、表示画像(表示画面)の上から下に向かう方向及びその反対方向と、言い換えることができる。装置の一般的な使用において、表示画像の上から下へ向かう方向は、鉛直方向を表示画面に射影した方向と略平行である。したがって、本構成は、ユーザに適切な触覚を提示できる。
【0055】
<実施形態2>
図12は、実施形態2の電子機器10の構成の一例を示す図である。実施形態1と同じ構成に関しては説明を省略する。触覚提示パネル100は、タッチパネル101、液晶ディスプレイ103、キャリア104、ベース105、ラテラルアクチュエータ106、及び板バネ107を含んで構成されている。
【0056】
キャリア104上には、液晶ディスプレイ103及びタッチパネル101が設けられる。
図12は、触覚提示パネル100の構成の一例を示し、触覚提示パネル100は他の構成を有してもよい。例えば、キャリア104は省略されてよく、液晶ディスプレイ103がラテラルアクチュエータ106や板バネ107と直接に接続されてもよい。
【0057】
液晶ディスプレイ103及びタッチパネル101は、ベース105と略並行となるように設置される。液晶ディスプレイ103の前側にタッチパネル101が配置されている。以下において、触覚提示パネル100のUIが提示される側を、前側と呼ぶ。前側の反対側を、後側と呼ぶ。
【0058】
タッチパネル101は、液晶ディスプレイ103に接着剤(OCAやOCR)で固定され、液晶ディスプレイ103と一緒にタッチパネル101が変位する構成でもよく、タッチパネル101と液晶ディスプレイ103が分離され、タッチパネル101のみが変位する構成でもよい。
【0059】
液晶ディスプレイ103は、オブジェクトを含むUI画像を表示する。液晶ディスプレイ103は、実施形態1のように液晶ディスプレイを使用してもよく、液晶ディスプレイと異なる任意のタイプのディスプレイ、例えば、OLEDディスプレイやマイクロLEDディスプレイを使用してもよい。
【0060】
制御装置110は、実施形態1の構成要素に追加して、表示方向判定部116を有している。表示方向判定部116は、電子機器10の傾きを検出し、表示画面に対するUI画像(表示)の上下方向を判定する。表示方向判定部116が表示の上下方向を判定する方法は、例えば3軸方向の加速度を感知するの3軸加速度センサを使用する従来技術を用いることができる。表示制御部111は、表示方向判定部116の判定結果に基づいて、液晶ディスプレイ103を制御して、表示画面にUI画像を表示させる。
【0061】
実施形態2のような、タッチパネルを含み、表示画面に表示したUIを介した操作を受け付ける電子機器を使用する場合、ユーザは一般的に指の先端を表示画像の上方向に向けてタッチ面に接触する。すなわち、指の先端から根元への方向をタッチ面に射影した方向は、表示の上下方向に略一致する。
【0062】
従って、実施形態1で説明した測定結果から、好適な触覚フィードバックをユーザの指に与えるとき、表示画面に表示したUIに対してユーザのタッチ操作が想定されているタッチ面(触覚提示面)を有する触覚提示装置の例において、触覚提示のための振動の開始方向は、表示画像の上から下に向かう方向(0°)又はその反対方向(180°)に対して、マイナス43°からプラス43°の範囲内にある。つまり、振動軸は、表示の上下方向の軸102からマイナス43°からプラス43°の範囲内にある。
【0063】
より好ましい例において、触覚提示のための振動の開始方向は、表示画像の上から下に向かう方向(0°)又はその反対方向(180°)に対して、マイナス19°からプラス19°の範囲内にある。つまり、振動軸は、表示の上下方向の軸102からマイナス19°からプラス19°の範囲内にある。このような振動により、実施形態1と同様に、より多くのユーザに対して適切な触覚を提示することができる。
【0064】
上述のように、触覚提示装置である電子機器10は、タッチ面と、タッチ面に対して相対的位置が固定された液晶ディスプレイ103と、タッチ面を面内の一軸に沿って振動させるラテラルアクチュエータ106と、ラテラルアクチュエータ106の一軸に沿った振動を制御して、タッチ面に接触している指に対する触覚を提示する、制御装置110と、を含むことができる。
【0065】
制御装置110は、指に対する触覚を提示するための振動の開始方向が、表示画像の上から下に向かう方向又はその反対方向に対して、マイナス43°からプラス43°の範囲内にあるように、ラテラルアクチュエータを制御してもよい。また、制御装置110は、指に対する触覚を提示するための振動の開始方向が、表示画像の上から下に向かう方向又はその反対方向に対して、マイナス19°からプラス19°の範囲内にあるように、ラテラルアクチュエータを制御してもよい。
【0066】
なお、本実施形態の表示装置は、電子機器10の傾きが可変であり、表示の上下方向が変化する構成となっている。この場合は、表示方向の変化に応じて、振動方向も変化させることになる。これを実現するには、例えば、特許第6489120号に記載の従来技術を用いて、タッチ面と平行な複数の軸に沿って可動部(キャリア)が振動する構成とすることができる。または、
図12において、ベース105の前側または後側に、ラテラルアクチュエータ106の振動方向と直交する方向に振動するようにアクチュエータを備えた第2のベースを追加することでも実現できる。
【0067】
<実施形態3>
実施形態1において説明したように、触覚提示パネルの面内振動方向と指の長軸との間の角度によって、感じられる触覚強度が変化する。具体的には、触覚強度は、振動方向が指の長軸と平行な場合に強く、振動方向が指の長軸とが垂直な場合に弱い。また、振動方向が指の長軸と平行な方向から垂直な方向に変化するに応じて、触覚強度が減少する。
【0068】
本実施形態の触覚提示装置は、タッチ面に接触している指をタッチ面に射影した向きを推定し、推定した向きに基づいて面内振動(lateral motion)の強度を制御する。面内振動の強度が増加すると、指の角度が固定されている場合に、当該指からユーザが知覚する触覚(刺激)の強度が増加する。触覚提示装置は、例えば、振動の変位(振幅)、速度及び/又は加速度を増減することで、振動強度を増減することができる。
【0069】
図12は、本実施形態の制御装置110の論理構成例を模式的に示す。実施形態1の構成要素に追加して、指方向推定部117が含まれている。指方向推定部117は、タッチ面に接触している指の長軸の方向又は面内振動軸と指の長軸との間の角度を検出し、指の方向を推定する。指方向推定部117が指の長軸の方向を検出する方法の例は後述する。触覚制御部113は、指方向推定部117が検出した指の長軸の方向に基づいて、ラテラルアクチュエータ106を制御する。
【0070】
図14A、14B及び14Cは、それぞれ、指の長軸と面内振動方向との間の角度に応じて触覚制御部113により制御される、ラテラルアクチュエータ106の加速度の例を示す。
図14A、13B及び13Cのグラフにおいて、それぞれ、横軸は指の長軸と面内振動軸との間の角度を示す。縦軸は加速度を示す。したがって、0°及び180°以外の各角度に対して、指の長軸の二つの方向が対応する。指方向推定部117は、実施形態1で説明したように、振動開始方向と指の先から根元への方向との間の角度を検出し、触覚制御部113が検出された角度(0°~360°)に応じてラテラルアクチュエータ106の振動強度を制御してもよい。
【0071】
図14Aに示す制御例は、刺激を知覚しやすい0°及び180°のときに最小の加速度を与え、刺激を知覚しにくい90°のときに最大の加速度を与える。加速度は、0°から90°まで比例増加し、90°から0°まで比例減少する。
図14Aの例において、増減の比例定数は同一であるが、これらは異なってもよい。
【0072】
図14Bに示す制御例は、刺激を知覚しやすい0°及び180°のときに最小の加速度を与え、刺激を知覚しにくい90°のときに最大の加速度を与える。加速度は、0°から19°まで一定であり、19°から69°まで比例増加し、69°から90°ま・BR>ナ一定である。また、加速度は、90°から111°まで一定であり、111°から161°まで比例減少し、161°から180°まで一定である。
図14Bの例において、加速度の変化は、90°を中心として対称である。なお、増減の比例係数は異なっていてもよい。
【0073】
角度19°及び161°は、実施形態1で説明した、振動刺激が他の角度よりも強いと感じられる範囲を規定した値に対応する。角度69°及び111°は、以下のように決められている。
図15は、実施形態1で説明した測定結果の他のグラフを示す。グラフは、振動が「一番弱い」と感じられた振動開始方向の度数分布及び度数分布にフィッティングした正規分布曲線を示す。正規分布曲線が示す分布の中央50%の範囲は、90°±21°の範囲である。この範囲において、振動の刺激が弱いと感じられる場合がより多い。そのため、当該範囲で最も高い加速度が与えられている。90°での振動と270°での振動との間において、知覚強度の有意差は認められないことから同様のことが、-90°±21°についても言える。
【0074】
図14Cに示す制御例は、刺激を知覚しやすい0°及び180°のときに最小の加速度を与え、刺激を知覚しにくい90°のときに最大の加速度を与える。加速度は0°から90°まで増加し、90°から180°まで減少する。加速度の増減率は一定ではなく、所定の関数に従っている。
図14Cの例において、加速度の変化は曲線で示されている。
図14Cの例において、加速度の変化は、90°を中心として対称であるが、非対称であってもよい。
【0075】
上述のように、制御装置110は、指をタッチ面に射影した向きがラテラルアクチュエータ106の振動軸と垂直である場合に、平行である場合よりも振動強度が強くなるように、ラテラルアクチュエータ106を制御することができる。また、
図14A、14B、14Cの例のように、制御装置110は特定の方向の範囲において、振動に水平な方向から垂直な方向に向かって振動強度を漸増するようにラテラルアクチュエータ106を制御してもよい。
【0076】
次に、指の長軸の方向を検出する方法の例を説明する。一つの公知の方法は、タッチパネル101のタッチ面150における指の接触面から、指の向きを推定する。例えば、タッチパネル101は、静電容量タイプのタッチパネルである。
図16Aは、タッチ面150に接触している指205及びその接触領域220を示す。タッチ検知部115は、指205の接触領域220の形状の情報を記憶装置に格納する。
【0077】
指方向推定部117は、記憶装置から接触領域220の情報を取得し、接触領域220に対して楕円をフィッティングする。指方向推定部117は、フィッティングされた楕円の長径が、指の長軸と平行であると推定する。
図16Bは、指205の接触領域220及び接触領域220にフィッティングされた楕円の長径に平行な軸225を示す。指方向推定部117は、タッチ面150における、軸225の角度の情報を記憶装置に格納する。触覚制御部113は、タッチ面150における振動軸165と上記推定された指の長軸225との間の角度θに基づいて、ラテラルアクチュエータ106を制御する。
【0078】
指方向推定部117は、軸225において、指の先端から根元に向かう方向を判定してもよい。例えば、実施形態1で説明したATM機や券売機のように、タッチ面150が固定されている場合、タッチ面150で予め定義されている基準方向、例えば、タッチ面150の上辺から下辺へ向かう方向、を参照して、指の先端から根元に向かう方向を決定してもよい。また、後述するように、電子機器10が可搬型であり、鉛直方向を基準とするタッチ面150(の基準方向)の向きが判定可能である場合、指方向推定部117は、これらの方向に基づき、指の先端から根元に向かう方向を決定できる。
【0079】
指の長軸の方向を検出する他の方法は、電子機器10に実装されている3軸加速度センサ(重力センサ)の出力に基づいて指をタッチ面150に射影した向きを推定する。
図17は、タッチ面150と鉛直方向(重力の方向)との関係を示す。電子機器10は、携帯端末であり、ユーザが自由にその向きを変えることができる。
【0080】
図17に示すように、タッチ面150をxy平面、タッチ面150の法線がz軸と定義されている。本例において、ラテラルアクチュエータ106の振動方向161(振動軸)は、y軸に平行である。電子機器10に搭載された加速度センサにより検出される重力は、ベクトルgで表わされている。指方向推定部117は、3軸それぞれの加速度の値から、ベクトルgに対するタッチ面150の向きを推定することができる。指方向推定部117は、ベクトルgのxy平面成分g
xyを、タッチされる指の先端から根元への方向と推定する。
【0081】
触覚制御部113は、xy平面成分gxyとy軸との間の角度θ(0°~180°)に基づいて、ラテラルアクチュエータ106を制御する。触覚制御部113は、実施形態1で説明したように、xy平面成分gxyとy軸に沿った振動開始方向との間の角度を、0°~360°の範囲置いて特定し、その角度に基づいて、ラテラルアクチュエータ106を制御してもよい。
【0082】
指の長軸の方向を検出する他の方法は、電子機器10に実装されたカメラで撮像したユーザの顔の向きに基づき、タッチ面に射影された指の向きを推定する。
図18は、電子機器10の内蔵カメラ108により撮像されたユーザの顔画像230と、タッチ面150との間の関係を模式的に示す。
【0083】
指方向推定部117は、カメラ108で撮像したユーザの顔画像230の認識処理を行い、顔画像230の上下方向の軸235を決定する。軸235は、例えば、顔画像230における二つの目の位置から特定できる。また軸235に沿った顔画像230上下は、顔画像230の目とそれら以外のパーツとの関係から特定できる。指方向推定部117は、軸235の角度の情報を記憶装置に格納する。また、必要であれば、軸235に沿った顔の上下の情報が格納される。
【0084】
触覚制御部113は、タッチ面150における振動軸165と顔画像230の軸235との間の角度θ(0°~180°)に基づいて、ラテラルアクチュエータ106を制御する。触覚制御部113は、実施形態1で説明したように、顔画像230の軸235において下に向かう方向と、振動軸165に沿った振動開始方向との間の角度を、0°~360°の範囲置いて特定し、その角度に基づいて、ラテラルアクチュエータ106を制御してもよい。
【0085】
以上、本願の実施形態を説明したが、本開示が上記の実施形態に限定されるものではない。当業者であれば、上記の実施形態の各要素を、本開示の範囲において容易に変更、追加、変換することが可能である。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。
【符号の説明】
【0086】
10 電子機器、100 触覚提示パネル、101 タッチパネル、103 液晶ディスプレイ、104 キャリア、105 ベース、106 ラテラルアクチュエータ、107 板バネ、108 カメラ、110 制御装置、111 表示制御部、113 触覚制御部、115 タッチ検知部、117 指方向推定部、150 タッチ面、161、161A、161B 振動方向、165 振動軸、201 オブジェクト画像、205 指、220 接触領域、225 長軸、230 顔画像、235 顔画像の上下方向軸