特許 7317494 電子機器及び電子機器の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-21

(45)【発行日】2023-07-31

(54)【発明の名称】電子機器及び電子機器の制御方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230724BHJP

   G06F 3/0488 20220101ALI20230724BHJP

   G06F 3/041 20060101ALI20230724BHJP

【ＦＩ】

G06F3/01 560

G06F3/0488

G06F3/041 480

G06F3/041 600

【請求項の数】 7

(21)【出願番号】P 2018221310

(22)【出願日】2018-11-27

(65)【公開番号】P2019194833

(43)【公開日】2019-11-07

【審査請求日】2021-11-22

(31)【優先権主張番号】P 2018085251

(32)【優先日】2018-04-26

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】303018827

【氏名又は名称】Ｔｉａｎｍａ Ｊａｐａｎ株式会社

(73)【特許権者】

【識別番号】520272868

【氏名又は名称】武漢天馬微電子有限公司

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】楊 一平

(72)【発明者】

【氏名】芳賀 浩史

(72)【発明者】

【氏名】佐々木 晴江

(72)【発明者】

【氏名】杉本 大輔

(72)【発明者】

【氏名】浅井 卓也

(72)【発明者】

【氏名】重村 幸治

【審査官】▲高▼瀬 健太郎

(56)【参考文献】

【文献】特表２０１７－５１３１６５（ＪＰ，Ａ）

【文献】特開２０１５－０９７０７６（ＪＰ，Ａ）

【文献】特開２０１８－０３６８１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０４１

(57)【特許請求の範囲】

【請求項1】

少なくとも一つのオブジェクトを含むユーザインタフェースを表示する表示画面を備える電子機器であって、
前記ユーザインタフェースを表示する表示機構と、
前記表示画面におけるユーザの接触箇所の座標を検知する座標検知機構と、
任意のオブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構と、
前記表示画面に対するユーザの押下操作による力を計測する計測機構と、
前記力に基づいて作動契機を検知して、機械振動を発生させる第二フィードバック提示機構と、
前記力の基準値となるベースラインを更新する更新機構と、を備え、
前記更新機構は、
前記計測機構によって計測された前記力の値をバッファに格納し、
前記座標検知機構によって前記表示機構へのユーザの接触が検知された場合、又は、前記計測機構によって前記ユーザの押下操作が検知された場合、前記バッファに格納される力の値を破棄し、
前記バッファに格納される前記力の値の蓄積数が一定数より多い場合、前記力の値を用いて前記ベースラインを更新することを特徴とする電子機器。

【請求項2】

請求項１に記載の電子機器であって、
前記第二フィードバック提示機構は、
前記オブジェクトの位置における前記力が閾値より大きい場合、前記作動契機として検知し、
前記オブジェクトに対する操作を受け付けたことを知覚させるために、前記機械振動を発生させることを特徴とする電子機器。

【請求項3】

請求項２に記載の電子機器であって、
前記第一フィードバック提示機構は、
複数の電極がパターニングされた基板、及び前記電極に電圧を印加する回路から構成され、
前記表示画面における特定のオブジェクトの位置に対応する電極に電圧を印加することによって静電触覚を提示することを特徴とする電子機器。

【請求項4】

請求項２に記載の電子機器であって、
前記第二フィードバック提示機構は、前記力の向きと垂直な方向と略平行な方向に振動する機械振動を発生させることを特徴とする電子機器。

【請求項5】

請求項１に記載の電子機器であって、
前記第二フィードバック提示機構及び前記表示機構は、前記機械振動の減衰を低減する接続機構により接続されることを特徴とする電子機器。

【請求項6】

請求項１に記載の電子機器であって、
前記座標検知機構及び前記第二フィードバック提示機構は、独立して動作することを特徴とする電子機器。

【請求項7】

少なくとも一つのオブジェクトを含むユーザインタフェースを表示する表示画面を有する電子機器の制御方法であって、
前記電子機器は、
前記ユーザインタフェースを表示する表示機構と、
前記表示画面におけるユーザの接触箇所の座標を検知する座標検知機構と、
任意のオブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構と、
前記表示画面に対するユーザの押下操作による力を計測する計測機構と、
前記力に基づいて作動契機を検知して、機械振動を発生させる第二フィードバック提示機構と、
前記力の基準値となるベースラインを更新する更新機構と、を有し、
前記電子機器の制御方法は、
前記第一フィードバック提示機構が、前記ユーザインタフェースの設定情報に基づいて、触覚を提示するオブジェクトを特定するステップと、
前記第一フィードバック提示機構が、前記表示画面における前記特定されたオブジェクトの位置に触覚を提示するステップと、
前記第二フィードバック提示機構が、前記特定されたオブジェクトの位置における前記力が閾値より大きい場合、前記作動契機として検知し、前記特定のオブジェクトに対する操作を受け付けたことを知覚させるために、前記機械振動を発生させるステップと、
前記更新機構が、前記計測機構によって計測された前記力の値をバッファに格納するステップと、
前記更新機構が、前記座標検知機構によって前記表示機構へのユーザの接触が検知された場合、又は、前記計測機構によって前記ユーザの押下操作が検知された場合、前記バッファに格納される力の値を破棄するステップと、
前記更新機構が、前記バッファに格納される前記力の値の蓄積数が一定数より多い場合、前記力の値を用いて前記ベースラインを更新するステップと、
を含むことを特徴とする電子機器の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザインタフェースに含まれるオブジェクトに関するフィードバックを提供する電子機器に関する。

【背景技術】

【0002】

近年、スマートフォン及びカーナビゲーション等、タッチパネルを搭載する電子機器が普及している。

【0003】

ユーザが、タッチパネルを介して表示されるユーザインタフェースに含まれるアイコン等のオブジェクトを操作した場合、電子機器は、当該オブジェクトに対応する機能を作動させる。

【0004】

タッチパネルの表面は一様に硬いため、ユーザがタッチパネルのどの部分に触れても同じ触覚を持つ。そのため、オブジェクトに対応する機能を作動せることなく、オブジェクトの存在を知覚させるフィードバックをユーザに提供することが望ましい。また、オブジェクトに対応する機能が作動した場合、機能を作動させるための操作を受け付けたことを知覚させるフィードバックをユーザに提供することが望ましい。

【0005】

上記課題を解決するための技術として特許文献１に記載の技術が知られている。特許文献１には、（１）ＧＵＩオブジェクト３１０のホットスポットまたは境界と交差し、圧力値が作動しきい値未満である場合、装置は、ユーザ２がＧＵＩオブジェクト３１０を「感じとる」ことができるように、力覚フィードバック３０２を提供することが開示されている。（２）その後、ユーザ２はＧＵＩオブジェクト３１０をより強く押して、作動しきい値３２１を超えるように圧力値を増加させる。それによりＧＵＩオブジェクト３１０は作動され、ＧＵＩオブジェクト３１０が選択され作動したことをユーザ２に通知するために、力覚フィードバック３０４および視覚フィードバック３０５が提供されることが記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００８－３３７３９号公報

【文献】特開２０１６－９５８３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の技術には以下のような課題が存在する。

【0008】

（課題１）特許文献１に記載の装置では、オブジェクトの存在を知覚させるフィードバック及びオブジェクトが選択されたことを知覚させるためのフィードバックが、機械的な振動として提供される。そのため、オブジェクトの存在を通知する振動が提供された後、ユーザがオブジェクトを押下する場合、当該振動がノイズとして混入することによって、オブジェクトの押下を検知できない可能性がある。

【0009】

前述のノイズの混入を排除するために、機械的な振動を小さくすることが考えられる。しかし、機械的な振動を小さくした場合、ユーザがボタンの存在を明確に知覚できない可能性がある。

【0010】

（課題２）特許文献１に記載の装置は、タッチパネルにおけるユーザの指の位置を検知し、指がオブジェクトに配置されたことが確認できた場合にフィードバックを提供している。指の移動速度が速い場合、オブジェクトの表示位置及びフィードバックにより知覚されるオブジェクトの位置にズレが生じる。これは、位置を検知するための処理等の実行による遅延が発生するためである。

【0011】

図９は、従来のタッチパネルにおけるオブジェクト９０１の表示位置とフィードバックにより知覚されるオブジェクト９０１の位置との間のズレを示す図である。ここでは、指の移動速度は、画面の端で極小値をとり、オブジェクト９０１の中央で極大値をとる場合を想定している。極大値は７００ｍｍ／秒より大きいものとする。また、オブジェクト９０１のサイズは４０．０ｍｍとする。

【0012】

図９に示すグラフでは、視覚フィードバックにより知覚されるオブジェクト９０１の表示位置を「視覚」のラベルで示し、触覚フィードバックにより知覚されるオブジェクト９０１の位置を「触覚」のラベルで示す。「視覚」のラベルに示すパルス波形は表示画面の位置におけるオブジェクト９０１の輝度を表す。「触覚」のラベルに示すパルス波形は表示画面の位置における刺激（振動）の強さを表す。

【0013】

オブジェクト９０１を通過する際の指の移動速度を極大値の７００ｍｍ／秒とした場合、図９に示すように、視覚フィードバックにより知覚されるオブジェクト９０１の位置と、触覚フィードバックにより知覚されるオブジェクト９０１の位置との間には、３８．５ｍｍのズレが発生した。

【0014】

このズレの発生によって、触覚フィードバックの提供を受けたユーザが押下等の操作を行っても、当該押下操作がオブジェクト９０１の領域の外で行われることがある。そうなると、ユーザによる押下操作がオブジェクト９０１に対する操作として認識されないという課題がある。

【0015】

本開示は、上記課題を解決するための電子機器及びその制御方法を提供する。

【課題を解決するための手段】

【0016】

本願において開示される発明の代表的な一例を示せば以下の通りである。少なくとも一つのオブジェクトを含むユーザインタフェースを表示する表示画面を備える電子機器であって、前記ユーザインタフェースを表示する表示機構と、前記表示画面におけるユーザの接触箇所の座標を検知する座標検知機構と、任意のオブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構と、前記表示画面に対するユーザの押下操作による力を計測する計測機構と、前記力に基づいて作動契機を検知して、機械振動を発生させる第二フィードバック提示機構と、前記力の基準値となるベースラインを更新する更新機構と、を備え、前記更新機構は、前記計測機構によって計測された前記力の値をバッファに格納し、前記座標検知機構によって前記表示機構へのユーザの接触が検知された場合、又は、前記計測機構によって前記ユーザの押下操作が検知された場合、前記バッファに格納される力の値を破棄し、前記バッファに格納される前記力の値の蓄積数が一定数より多い場合、前記力の値を用いて前記ベースラインを更新する。

【発明の効果】

【0017】

本開示によれば、（課題１）及び（課題２）を解決できるフィードバックの提供手段を有する電子機器を実現できる。

【図面の簡単な説明】

【0018】

【図1】第１の実施形態の電子機器の構成の一例を示す図である。

【図2A】第１の実施形態の静電触覚パネルの構造及び動作を説明する図である。

【図2B】第１の実施形態の静電触覚パネルの構造及び動作を説明する図である。

【図3】第１の実施形態の電子機器が実行する処理を説明するフローチャートである。

【図4A】第１の実施形態の押下検知部が実行するタッチ検知処理を説明するフローチャートである。

【図4B】第１の実施形態の押下検知部が実行する押下検知処理を説明するフローチャートである。

【図5】第１の実施形態の電子機器の表示画面の操作に伴う触覚の提示の一例を示す図である。

【図6】第１の実施形態の電子機器におけるオブジェクトの表示位置とフィードバックにより知覚されるオブジェクトの位置との間のズレを示す図である。

【図7A】第２の実施形態の触覚提示装置の構成の一例を示す図である。

【図7B】第２の実施形態の触覚提示装置の構成の一例を示す図である。

【図8】第４の実施形態の制御装置が実行するベースライン更新処理を説明するフローチャートである。

【図9】従来のタッチパネルにおけるオブジェクトの表示位置とフィードバックにより知覚されるオブジェクトの位置との間のズレを示す図である。

【発明を実施するための形態】

【0019】

以下、本開示の実施形態を、図面を用いて説明する。以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0020】

（第１の実施形態）
図１は、第１の実施形態の電子機器１０の構成の一例を示す図である。

【0021】

電子機器１０は、触覚提示装置１００、制御装置１１０、及び記憶装置１２０を備える。触覚提示装置１００及び制御装置１１０は接続線を介して接続され、また、制御装置１１０及び記憶装置１２０は接続線を介して互いに接続される。

【0022】

触覚提示装置１００は、ユーザに対して、少なくとも一つのオブジェクトを含むＵＩ（ユーザインタフェース）を提示し、ＵＩを介した操作を受け付ける。また、触覚提示装置１００は、ＵＩに含まれるオブジェクトを知覚させるためのフィードバック及びオブジェクトに対する操作を受け付けたことを知覚させるためのフィードバックを提供する。

【0023】

触覚提示装置１００は、静電触覚パネル／タッチパネル１０１、力センサ１０２、液晶ディスプレイ（ＬＣＤ）１０３、キャリア１０４、ベース１０５、ラテラルアクチュエータ１０６、及び板バネ１０７から構成される。なお、触覚提示装置１００の各構成は、任意の筐体内に格納される。静電触覚パネル／タッチパネル１０１、力センサ１０２、及び液晶ディスプレイ１０３は、ＵＩを表示する表示画面を実現する構成であり、キャリア１０４、ラテラルアクチュエータ１０６、及び板バネ１０７は機械振動を実現する構成である。

【0024】

ベース１０５は、触覚提示装置１００の土台となる部材である。ベース１０５には、ラテラルアクチュエータ１０６及び板バネ１０７が設置される。また、ベース１０５上には、ラテラルアクチュエータ１０６及び板バネ１０７による動作によって振動するキャリア１０４が設けられる。キャリア１０４は、ベース１０５に対して特定の方向に振動する。ラテラルアクチュエータ１０６及び板バネ１０７によって実現されるキャリア１０４の振動を機械振動とも記載する。

【0025】

ラテラルアクチュエータ１０６は、表示画面に平行な方向（例えば、ｘ軸方向又はｙ軸方向）への動きを発生させる装置である。板バネ１０７は、ラテラルアクチュエータ１０６の動きに合わせて振動を発生させるための機構として用いられる。

【0026】

キャリア１０４は、表示画面を構成する部材を積層する土台となる部材である。キャリア１０４上には、液晶ディスプレイ１０３、力センサ１０２、及び静電触覚パネル／タッチパネル１０１が設けられる。

【0027】

第１の実施形態では、表示装置の表示画面の水平方向に略平行な方向に振動するように構成される。

【0028】

液晶ディスプレイ１０３、力センサ１０２、及び静電触覚パネル／タッチパネル１０１は、ベース１０５と略平行となるように設置される。

【0029】

静電触覚パネル／タッチパネル１０１は、静電触覚パネル２００（図２参照）及びタッチパネルから構成される。静電触覚パネル２００は、ユーザがＵＩをドラッグした場合に、静電気力を用いてオブジェクトのテクスチャ感を与える。タッチパネルは、表示画面上のユーザの指の位置を検知する。静電触覚パネル２００の構造及び動作については図２Ａ及び図２Ｂを用いて説明する。

【0030】

力センサ１０２は、ユーザの指が表示画面に対して与える力を計測する。第１の実施形態では、表示画面の垂直方向に略平行な向きの力を計測する。すなわち、力センサ１０２は、押下方向の力を計測する。液晶ディスプレイ１０３は、ＵＩに対応する画像を表示する。なお、力センサ１０２は、力の基準値（ゼロ点）となるベースラインと、計測した値（計測値）との差（相対値）を出力する。以下の説明では、「力の計測」は相対値を算出することを意味し、また、「計測した力の値」は前述の相対値を意味する。

【0031】

制御装置１１０は、プログラムを実行する演算装置である。演算装置は、プロセッサ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等である。記憶装置１２０は、制御装置１１０が使用するプログラム及びデータを格納する。記憶装置１２０は、例えば、メモリである。記憶装置１２０は、プログラムが使用するワークエリアを含む。なお、プログラムは、予め電子機器１０にインストールしてもよいし、プログラムを記録した記憶媒体からインストールしてもよい。

【0032】

制御装置１１０は、触覚提示装置１００を制御するための機能部（モジュール）として動作する。具体的には、制御装置１１０は、表示制御部１１１、レイアウト解析部１１２、静電式触覚制御部１１３、押下検知部１１４、機械振動式触覚制御部１１５として動作する。

【0033】

表示制御部１１１は、表示画面へのＵＩの表示を制御する。具体的には、表示制御部１１１は、ＵＩの設定情報を記憶装置１２０から取得し、当該情報に基づいて、少なくとも一つのオブジェクトを含むＵＩが表示されるように液晶ディスプレイ１０３を制御する。ＵＩの設定情報には、オブジェクトのレイアウト及びオブジェクトの属性等が含まれる。また、オブジェクトの属性は、フィードバックを提供するか否かを示す情報が含まれる。

【0034】

レイアウト解析部１１２は、ＵＩの設定情報を解析し、ＵＩに含まれるオブジェクトのレイアウト及びオブジェクトの属性を特定する。レイアウト解析部１１２は、オブジェクトのレイアウト及びオブジェクトの属性を静電式触覚制御部１１３に出力する。

【0035】

静電式触覚制御部１１３は、表示画面上の特定のオブジェクトの位置にテクスチャ感を与えるように静電触覚パネル／タッチパネル１０１を制御する。

【0036】

押下検知部１１４は、静電触覚パネル／タッチパネル１０１からの出力に基づいて表示画面へのユーザの指の接触を検知し、また、表示画面上のユーザの指の位置（接触位置）を特定する。また、押下検知部１１４は、力センサ１０２が計測した力、表示画面上のユーザの指の位置、及びＵＩの設定情報に基づいて、オブジェクトの押下イベントを検知する。オブジェクトの押下イベントとは、ユーザがオブジェクトを押下する動作を示す。押下検知部１１４は、オブジェクトの押下イベントを検知した場合、オブジェクトの操作を受け付けたことをユーザに知覚させるために、機械振動の発生要求を機械振動式触覚制御部１１５に出力する。

【0037】

機械振動式触覚制御部１１５は、機械振動を発生させるためにラテラルアクチュエータ１０６を制御する。

【0038】

なお、制御装置１１０が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。

【0039】

第１の実施形態の電子機器１０は、上記構成によって実現される、ＵＩを表示する表示機構、オブジェクトをユーザに知覚させるための局所的な触覚を提示する第一フィードバック提示機構、表示画面におけるユーザの接触箇所の座標を検知する座標検知機構、表示画面に対するユーザの押下操作による力を計測する計測機構、及びオブジェクトに対する操作を受け付けたことを知覚させるために、機械振動を発生させる第二フィードバック提示機構を有することを特徴とする。

【0040】

表示機構を実現する構成は、例えば、液晶ディスプレイ（ＬＣＤ）１０３及び表示制御部１１１である。第一フィードバック提示機構を実現する構成は、例えば、静電触覚パネル／タッチパネル１０１及び静電式触覚制御部１１３である。座標検知機構を実現する構成は、例えば、静電触覚パネル／タッチパネル１０１及び押下検知部１１４である。計測機構を実現する構成は、例えば、力センサ１０２である。第二フィードバック提示機構を実現する構成は、例えば、キャリア１０４、ベース１０５、ラテラルアクチュエータ１０６、板バネ１０７、及び機械振動式触覚制御部１１５である。

【0041】

図２Ａ及び図２Ｂは、第１の実施形態の静電触覚パネル２００の構造及び動作を説明する図である。第１の実施形態では、フィードバックを提供するデバイスとして特許文献２に記載の静電触覚パネル２００を用いる。

【0042】

静電触覚パネル２００は、複数の電極２１０及び複数の電極２１１がパターニングされた基板と、複数の電極２１０及び複数の電極２１１のそれぞれに電圧を供給する回路（図示省略）から構成される。基板は絶縁層２０１及び電極層２０２の二つの層を構成する。

【0043】

電極２１０及び電極２１１は、互いに直交するパタンとなるように配置される。また、電極２１０及び電極２１１の交差部分は、絶縁膜を介して交差する。また、電極２１０及び電極２１１の上層には絶縁膜が形成される。これによって、ユーザが表示画面を触った場合に、指と各電極２１０、２１１との間が電気的に絶縁される。

【0044】

ここで、液晶ディスプレイ１０３に、図２Ａに示すような位置に表示されるオブジェクト２２０にテクスチャ感を与える場合の静電触覚パネル２００の動作について説明する。

【0045】

静電式触覚制御部１１３は、オブジェクト２２０が重なる電極２１０、２１１を特定し、特定された電極２１０、２１１に電圧を印加するための制御信号を静電触覚パネル２００に出力する。静電触覚パネル２００の回路は、制御信号に基づいて、特定された電極２１０、２１１に必要な周波数の電圧信号を出力する。これによって、オブジェクト２２０の部分、すなわち、表示画面の局所的な範囲にテクスチャ感を与えることができる。このように、テクスチャ感を局所的に提示することができるため、複数の指で同時にＵＩをドラッグした場合、オブジェクト２２０をドラッグする指にはテクスチャ感が提示され、オブジェクト２２０以外をドラッグする指にはテクスチャ感が提示されない。また、複数のユーザが同時にＵＩをドラッグした場合、オブジェクト２２０をドラッグする指のユーザにはテクスチャ感が提示され、オブジェクト２２０以外をドラッグする指のユーザにはテクスチャ感が提示されない。

【0046】

なお、電圧を印加しない電極２１０、２１１は、電極同士の容量結合によって電圧が誘起されるのを防ぐために接地している。なお、接地する代わりに直流電圧又は特定の周波数以上の電圧を印加してもよい。

【0047】

オブジェクト２２０が重なる電極２１０、２１１に電圧を印加することによって与えられるテクスチャ感について図２Ｂを用いて説明する。

【0048】

ユーザが、表示画面の最上層に位置する静電触覚パネル／タッチパネル１０１を操作する場合、表示画面の水平方向に摩擦力Ｆｒが発生し、また、表示画面の垂直方向に力Ｆｎが発生する。

【0049】

ユーザがオブジェクト２２０を指でなぞる操作（ドラッグ操作）を行った場合、オブジェクト２２０上の摩擦力は他の部分とは異なるため、ユーザにオブジェクト２２０のテクスチャ感を与えることができる。ドラッグ操作の場合、力Ｆｎは十分小さい。

【0050】

静電触覚パネル／タッチパネル１０１上のオブジェクト２２０を指で押下する操作を行った場合、摩擦力Ｆｒは小さくなり、力Ｆｎが大きくなる。

【0051】

なお、複数の電極２１０及び複数の電極２１１は、指等の物体の接触を検知するために用いてもよい。この場合、複数の電極２１０及び複数の電極２１１を時分割又は空間分割することによって、静電触覚を提示するための電極と、物体の接触を検知するための電極とを分けることができる。これによって、静電触覚パネル及びタッチパネルが一体となった静電触覚パネル／タッチパネル１０１を実現できる。押下検知部１１４は、タッチパネルに対する操作によって電極２１０、２１１間に生じた静電容量に基づいて、指の接触を検知し、また、接触位置を特定できる。

【0052】

なお、静電触覚パネルに光学式タッチセンサを取り付けることによって、静電触覚パネル及びタッチパネルが一体となった静電触覚パネル／タッチパネル１０１を実現できる。

【0053】

次に、電子機器１０が実行する処理について説明する。図３は、第１の実施形態の電子機器１０が実行する処理を説明するフローチャートである。

【0054】

表示制御部１１１は、操作状態等に基づいて表示画面に表示するＵＩを選択し、選択されたＵＩの設定情報に基づいて液晶ディスプレイ１０３を制御することによってＵＩを更新する（ステップＳ１０１）。

【0055】

次に、レイアウト解析部１１２は、選択されたＵＩの設定情報を記憶装置１２０から取得し（ステップＳ１０２）、ＵＩにおけるオブジェクトのレイアウトを解析する（ステップＳ１０３）。

【0056】

次に、レイアウト解析部１１２は、解析の結果に基づいて、静電触覚パネル２００の電極２１０、２１１に電圧を印加するための静電電極パタンデータを選択する（ステップＳ１０４）。静電電極パタンデータには、電圧の大きさ及び周波数が規定されている。レイアウト解析部１１２は、解析の結果とともに静電電極パタンデータを静電式触覚制御部１１３に出力する。

【0057】

静電式触覚制御部１１３は、解析の結果及び静電電極パタンデータに基づいて、静電触覚パネル２００の所定の電極２１０、２１１に電圧を印加することによって、静電触覚を提示する（ステップＳ１０５）。

【0058】

その後、押下検知部１１４は、検知処理を開始する（ステップＳ１０６）。検知処理では、静電触覚パネル／タッチパネル１０１へのユーザの指の接触を検知するタッチ検知処理と、静電触覚パネル／タッチパネル１０１に対する押下操作を検知する押下検知処理とが実行される。

【0059】

表示制御部１１１は、ユーザの操作等によって、ＵＩの切替えタイミングが発生したことを検知した場合、ステップＳ１０１に戻る。

【0060】

図４Ａは、第１の実施形態の押下検知部１１４が実行するタッチ検知処理を説明するフローチャートである。

【0061】

押下検知部１１４は、静電触覚パネル／タッチパネル１０１へのユーザの指の接触を示す信号を検知する（ステップＳ２０１）。ユーザの指の接触を示す信号を検知するタイミングは任意に設定される。

【0062】

例えば、押下検知部１１４は、静電触覚パネル／タッチパネル１０１の静電容量の変化を信号として検知する。なお、力センサ１０２の値の変化を信号として検知してもよい。

【0063】

次に、押下検知部１１４は、静電触覚パネル／タッチパネル１０１上のユーザの指の接触位置を示す座標を算出する（ステップＳ２０２）。例えば、静電容量の変化が検知された電極２１０、２１１の位置に基づいて座標が算出される。

【0064】

次に、押下検知部１１４は、記憶装置１２０に算出された座標を格納する（ステップＳ２０３）。その後、押下検知部１１４は、ステップＳ２０１に戻る。

【0065】

なお、前回算出された座標は、今回算出された座標を上書きすることによって削除してもよいし、履歴データとして管理してもよい。

【0066】

図４Ｂは、第１の実施形態の押下検知部１１４が実行する押下検知処理を説明するフローチャートである。

【0067】

押下検知部１１４は、力センサ１０２が計測した力の値を取得する（ステップＳ２１１）。力センサ１０２が力を計測するタイミングは任意に設定できる。タッチ検知処理及び押下検知処理の実行周期は、同一でもよいし、異なっていてもよい。

【0068】

このとき、押下検知部１１４は、記憶装置１２０から接触位置（押下位置）の座標を取得する。

【0069】

押下検知部１１４は、力の値及び閾値の比較結果及び接触位置の座標に基づいて、オブジェクトの押下イベントが発生したか否かを判定する（ステップＳ２１２）。例えば、押下検知部１１４は、力の値が閾値より大きく、かつ、接触位置の座標がオブジェクトの座標と一致するか否かを判定する。前述の条件を満たす場合、押下検知部１１４は、オブジェクトの押下イベントが発生したと判定する。力の値のみを用いた判定処理では、外部振動等に起因する押下イベントの誤検知によるフィードバックの提供が行われる可能性がある。本開示では、接触状態及び力の値を用いた判定処理を実行することによって、押下イベントの誤検知を抑止できる。

【0070】

オブジェクトの押下イベントが発生していないと判定された場合、押下検知部１１４は、ステップＳ２１１に戻る。

【0071】

オブジェクトの押下イベントが発生したと判定された場合、押下検知部１１４は、機械振動式触覚制御部１１５に、機械振動によるフィードバックの提供を指示する（ステップＳ２１３）。その後、押下検知部１１４は、ステップＳ２１１に戻る。

【0072】

機械振動式触覚制御部１１５は、押下検知部１１４から指示を受け付けた場合、ラテラルアクチュエータ１０６を制御することによって機械振動を発生させる。これによって、キャリア１０４が特定の方向に振動する。

【0073】

なお、タッチ検知処理及び押下検知処理は別々のスレッドとして並列で実行される。通常、静電触覚パネル／タッチパネル１０１では、押下操作より、ドラッグ操作が頻繁に行われる。そのため、タッチ検知処理及び押下検知処理を同一のスレッドとして実行した場合、押下検知処理の終了まで、タッチ検知処理を実行できない。したがって、操作効率が低下する。しかし、二つの検知処理を別々のスレッドとして実行することによって、操作効率を向上させることができる。

【0074】

図５は、第１の実施形態の電子機器１０の表示画面の操作に伴う触覚の提示の一例を示す図である。

【0075】

図５に示すように、表示画面の上層に位置する静電触覚パネル／タッチパネル１０１に二つのオブジェクト２２０が表示されている。ユーザの指は、状態（Ａ）から状態（Ｄ）に示すように遷移するものとする。

【0076】

状態（Ａ）は、ユーザが表示画面に表示されたオブジェクト２２０を探すために、静電触覚パネル／タッチパネル１０１を指でなぞるドラッグ操作を開始した状態を示す。この時点では、静電式触覚制御部１１３によって、各オブジェクト２２０に静電触覚が提示されている。したがって、ユーザの指がオブジェクト２２０上を通過するとき、ユーザは、オブジェクト２２０の存在をテクスチャ感として知覚できる。

【0077】

状態（Ｂ）は、ドラッグ操作によって特定のオブジェクト２２０まで指を移動させた状態を示す。状態（Ｃ）は、ユーザがオブジェクト２２０を押下した状態を示す。なお、状態（Ｃ）では、指は停止された状態であるため、静電触覚による刺激は小さくなる。この場合、押下検知部１１４がオブジェクトの押下イベントの発生を検知する。

【0078】

状態（Ｄ）は、押下イベントの発生の検知に伴って、オブジェクト２２０の操作を受け付けたことを知覚させるための機械振動が発生した状態を示す。

【0079】

本開示のＵＩでは、ユーザは、表示画面から指を離すことなく、オブジェクトの探索から押下までの一連の動作を行うことができる。すなわち、シームレスなＵＩを提供することができる。

【0080】

次に、第１の実施形態で説明した電子機器１０による効果について説明する。

【0081】

（効果１）ユーザは、静電触覚によるフィードバックの提供を受けることによってオブジェクト２２０の位置を知覚できる。したがって、ユーザは、視覚に頼ることなくオブジェクト２２０の位置を把握することができる。

【0082】

（効果２）オブジェクト２２０の位置を知覚させるための静電触覚は、ユーザの操作前から、オブジェクト２２０の位置に局在した状態で提示される。図６は、第１の実施形態の電子機器１０におけるオブジェクト２２０の表示位置とフィードバックにより知覚されるオブジェクト２２０の位置との間のズレを示す図である。図６に示すように、第１の実施形態の電子機器１０では、視覚フィードバックにより知覚されるオブジェクト２２０の位置と、触覚フィードバックにより知覚されるオブジェクト２２０の位置との間にズレは発生しない。したがって、（課題２）を解決することができる。

【0083】

（効果３）電子機器１０は、オブジェクト２２０を知覚させるために静電触覚を提示し、オブジェクト２２０の操作を知覚させるために機械振動による触覚を提示する。二つの触覚はそれぞれ異なる機構によって提供されるため、ユーザは触覚の違いを容易に区別することができる。

【0084】

（効果４）機械振動は、表示画面の水平方向に略平行な方向に振動するため、垂直方向の力の計測に与える影響を低減できる。これによって、オブジェクト２２０を知覚させた状態で、当該オブジェクト２２０の押下イベントを適切に検知することができる。したがって、（課題１）を解決することができる。

【0085】

（効果５）機械振動を発生させるためには、大きな電力が必要となる。そのため、従来の装置では、フィードバックの提供に要する電力が大きいという問題がある。一方、本開示の電子機器１０では、静電触覚によるフィードバックを併用しているため、従来の装置より消費電力を低減することができる。

【0086】

（効果６）従来の装置では、オブジェクト２２０の位置を知覚させるフィードバック及びオブジェクト２２０の操作を受け付けたことを知覚させるフィードバックの両方に機械振動を用いていたが、本開示の電子機器１０は、オブジェクト２２０の操作を受け付けたことを知覚させるフィードバックにのみ機械振動を用いている。そのため、機械振動を発生させるための構成の寿命が伸びるという効果がある。

【0087】

（第２の実施形態）
第２の実施形態では、触覚提示装置１００の構成が異なる。第１の実施形態では、ディスプレイ型の力センサ１０２を用いていたが、第２の実施形態では、小型の力センサを用いる。

【0088】

図７Ａ及び図７Ｂは、第２の実施形態の触覚提示装置１００の構成の一例を示す図である。

【0089】

図７Ａ及び図７Ｂでは、静電触覚パネル／タッチパネル１０１に液晶ディスプレイ１０３が積層されているものとする。

【0090】

ベース１０５には、キャリア１０４が表示画面の水平方向と略平行な方向に振動するように板バネ１０７が設置される。また、ベース１０５には、キャリア１０４が表示画面の水平方向と略平行な方向に力を加えるラテラルアクチュエータ１０６が設置される。

【0091】

キャリア１０４には、表示画面の水平方向に略平行となるようにはり（梁）１０８が片持ばりの構成で設置され、はり１０８の所定の位置にひずみゲージが設置され、これらを構成要素とする小型の力センサ１０２が設置される。はり１０８は、ユーザによる表示画面の押下に伴って、表示画面の垂直方向にたわむ。

【0092】

静電触覚パネル／タッチパネル１０１を設置した枠には、キャリア１０４に固定するための柱１０９が設けられている。

【0093】

図７Ｂに示すように、キャリア１０４は、ラテラルアクチュエータ１０６及び板バネ１０７によって、表示画面の水平方向の略平行な方向に振動する。

【0094】

なお、第２の実施形態の電子機器１０の制御方法は第１の実施形態の電子機器１０の制御方法と同一であるため説明を省略する。

【0095】

ディスプレイ型の力センサ１０２の代わりに、小型の力センサ１０２を用いて触覚提示装置１００を構成することによって、表示画面に表示されるＵＩの表示品質を向上させることができる。

【0096】

図７Ａ及び図７Ｂに示すような構造の場合、ラテラルアクチュエータ１０６が発生する振動が効率的に静電触覚パネル／タッチパネル１０１に伝わるため、静電触覚パネル／タッチパネル１０１に大きな加速度を発生させることができる。

【0097】

構造の特徴は次のとおりである。ラテラルアクチュエータ１０６はベース１０５に強く結合され、ラテラルアクチュエータ１０６にはリンケージが強く結合され、リンケージとキャリア１０４は強く結合されている。ここで、強く結合されるとは、結合部において振動方向に遊びなく結合されていることを意味する。本実施形態では各要素はお互いがネジで強く固定されている。さらに、キャリア１０４と台座１３０は強く結合され、台座１３０とはり１０８は強く結合され、はり１０８と柱１０９は強く結合され、柱と静電触覚パネル／タッチパネル１０１は強く結合される。

【0098】

以上のように、ラテラルアクチュエータ１０６から静電触覚パネル／タッチパネル１０１までの間は振動方向に遊びなく結合されているため、ラテラルアクチュエータ１０６が発生する振動は、減衰することなく効率的に、静電触覚パネル／タッチパネル１０１に伝えることが可能となる。

【0099】

（第３の実施形態）
第３の実施形態では、オブジェクトの位置を知覚させるためのフィードバックを提供する方式が第１の実施形態と異なる。具体的には、静電触覚パネル２００を別の部材に変更する。

【0100】

一つの候補としては、静電触覚パネル２００の代わりに温度ディスプレイを採用することが考えられる。温度ディスプレイは、表面の温度を変化させることができるディスプレイである。オブジェクトの位置を知覚させるフィードバックを提供する構成としては、小型の温度ディスプレイを配列して、表示画面を構成することが考えられる。オブジェクトの表示位置に対応する温度ディスプレイの温度を他の温度ディスプレイの温度と異なるように制御することによって、オブジェクトの位置を知覚させるフィードバックを提供できる。

【0101】

一つの候補としては、静電触覚パネル２００の代わりに、磁気流体及び電磁石のアレイを使用して流体を作動させることによって任意の位置にフィードバックを提供するディスプレイを採用する。オブジェクトの表示位置に対応する流体の局所粘度に影響を与える制御を行うことによって、オブジェクトの位置を知覚させるフィードバックを提供できる。

【0102】

一つの候補としては、静電触覚パネル２００の代わりに、表面に凹凸を形成するディスプレイを採用する。当該ディスプレイは、微細孔を有する層に、透明のポリマ層を積載し、微細孔から流体を注入することによって表面に凹凸を形成する。オブジェクトの表示位置に対応する微細孔に流体を注入する制御を行うことによって、オブジェクトの位置を知覚させるフィードバックを提供できる。

【0103】

なお、第３の実施形態の電子機器１０の制御方法は、オブジェクト２２０を知覚させるフィードバックを提供するための制御処理以外は、第１の実施形態の電子機器１０の制御方法と同様であるため説明を省略する。

【0104】

（第４の実施形態）
第４の実施形態では、制御装置１１０がベースラインを更新する。力センサ１０２へ加わる力の大きさは、気温及び気圧等の環境、並びに電子機器１０の使用頻度等によって変化するため、ベースラインを周期的に更新する必要がある。

【0105】

ベースラインを更新するためには、制御装置１１０は、力センサ１０２に力が加わっていない状態において力センサ１０２が計測した値（計測値）を一定数蓄積する必要がある。したがって、制御装置１１０は、力センサ１０２に力が加わっていない状態を正しく判別し、計測値を蓄積する必要がある。力センサ１０２に力が加わった状態で計測された計測値を用いてベースラインを更新した場合、押下イベント等を正しく検知することができない。

【0106】

図８は、第４の実施形態の制御装置１１０が実行するベースライン更新処理を説明するフローチャートである。

【0107】

ここでは、押下検知部１１４によってベースライン更新処理が実行されるものとする。なお、制御装置１１０は、ベースライン更新処理を実行するベースライン更新部を備える構成でもよい。

【0108】

なお、ベースライン更新処理の実行周期は、検知処理の実行周期と同一でもよいし、また、異なっていてもよい。

【0109】

押下検知部１１４は、力センサ１０２の計測値を取得し、バッファに格納する（ステップＳ３０１）。なお、バッファは記憶装置１２０に含まれるものとする。

【0110】

押下検知部１１４は、計測された力の値に基づいて、静電触覚パネル／タッチパネル１０１が押下されているか否かを判定する（ステップＳ３０２）。例えば、押下検知部１１４は、力の値が閾値より大きいか否かを判定する。閾値はステップＳ２１２で使用した閾値と同一でもよいし、また、異なっていてもよい。

【0111】

静電触覚パネル／タッチパネル１０１が押下されていると判定された場合、押下検知部１１４はバッファをクリアする（ステップＳ３０４）。その後、押下検知部１１４はステップＳ３０１に戻る。

【0112】

静電触覚パネル／タッチパネル１０１が押下されていないと判定された場合、押下検知部１１４は、静電触覚パネル／タッチパネル１０１にユーザの指が接触しているか否かを判定する（ステップＳ３０３）。例えば、押下検知部１１４は、信号が検知されているか否かを判定する。また、押下検知部１１４は、タッチ検知処理を実行し、実行結果に基づいて判定を行ってもよい。

【0113】

静電触覚パネル／タッチパネル１０１にユーザの指が接触していると判定された場合、押下検知部１１４はバッファをクリアする（ステップＳ３０４）。その後、押下検知部１１４はステップＳ３０１に戻る。

【0114】

静電触覚パネル／タッチパネル１０１にユーザの指が接触していないと判定された場合、押下検知部１１４は、蓄積されている計測値の数が閾値より大きいか否かを判定する（ステップＳ３０５）。すなわち、ベースラインを更新するために必要な数の計測値が蓄積されたか否かが判定される。

【0115】

蓄積されている計測値の数が閾値以下であると判定された場合、押下検知部１１４はステップＳ３０１に戻る。

【0116】

蓄積されている計測値の数が閾値より大きいと判定された場合、押下検知部１１４は、バッファに蓄積された計測値を用いてベースラインを算出し、算出されたベースラインを設定する（ステップＳ３０６）。その後、押下検知部１１４はステップＳ３０１に戻る。例えば、押下検知部１１４は計測値の平均値をベースラインとして算出する。

【0117】

以上の処理によってベースラインの更新タイミングを適切に制御できる。これによって、押下イベント等を正しく検知することができる。

【0118】

以上、本願の実施形態を説明したが、本開示が上記の実施形態に限定されるものではない。当業者であれば、上記の実施形態の各要素を、本開示の範囲において容易に変更、追加、変換することが可能である。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。

【0119】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、ハードウェアで実現してもよい。

【符号の説明】

【0120】

１０ 電子機器
１００ 触覚提示装置
１０１ 静電触覚パネル／タッチパネル
１０２ 力センサ
１０３ 液晶ディスプレイ
１０４ キャリア
１０５ ベース
１０６ ラテラルアクチュエータ
１０７ 板バネ
１０８ はり
１０９ 柱
１１０ 制御装置
１１１ 表示制御部
１１２ レイアウト解析部
１１３ 静電式触覚制御部
１１４ 押下検知部
１１５ 機械振動式触覚制御部
１２０ 記憶装置
１３０ 台座
２００ 静電触覚パネル
２０１ 絶縁層
２０２ 電極層
２１０、２１１ 電極
２２０、９０１ オブジェクト

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】