特許 6654743 電子機器、電子機器の操作制御方法および操作制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6654743

(24)【登録日】2020年2月4日

(45)【発行日】2020年2月26日

(54)【発明の名称】電子機器、電子機器の操作制御方法および操作制御プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200217BHJP

   G06F 3/041 20060101ALI20200217BHJP

   G06F 3/16 20060101ALI20200217BHJP

   G06F 3/023 20060101ALI20200217BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/041 480

   G06F3/16 610

   G06F3/023 460

【請求項の数】10

【全頁数】33

(21)【出願番号】特願2015-155208(P2015-155208)

(22)【出願日】2015年8月5日

(65)【公開番号】特開2016-95832(P2016-95832A)

(43)【公開日】2016年5月26日

【審査請求日】2018年7月15日

(31)【優先権主張番号】特願2014-225799(P2014-225799)

(32)【優先日】2014年11月6日

(33)【優先権主張国】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２６年６月５日サンディエゴにおいて開催された国際情報ディスプレー学会（ＳＩＤ）２０１４年国際会議で発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２６年６月２７日日本経済新聞朝刊第６面に掲載

【前置審査】

(73)【特許権者】

【識別番号】519380923

【氏名又は名称】天馬微電子有限公司

(74)【代理人】

【識別番号】100079164

【弁理士】

【氏名又は名称】高橋 勇

(72)【発明者】

【氏名】芳賀 浩史

(72)【発明者】

【氏名】山口 雄司

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特開２０１３−０７３６０１（ＪＰ，Ａ）

【文献】 特開２００３−０６７１１９（ＪＰ，Ａ）

【文献】 特開２０１０−１０２５０８（ＪＰ，Ａ）

【文献】 特開２００５−２１６１１０（ＪＰ，Ａ）

【文献】 特開２０１２−１７８１０３（ＪＰ，Ａ）

【文献】 特表２０１３−５１４２３７（ＪＰ，Ａ）

【文献】 特開２００７−３１０４９６（ＪＰ，Ａ）

【文献】 特開２００９−２４１９２４（ＪＰ，Ａ）

【文献】 特開２００４−１４７１３５（ＪＰ，Ａ）

【文献】 特開２００４−２５５７０３（ＪＰ，Ａ）

【文献】 特開２００７−２２２２６（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１０８２０３（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／１７６５３２（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００３／００７１８５９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／０２３１５５０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０２６０１６４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０３０７７８９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０３２０４３６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０２３

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

ユーザによる操作対象範囲を含む操作画面を表示する視覚表示部と、前記操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容を検出するタッチ座標検出部と、前記操作画面上で当該ユーザが知覚可能な触覚を提示する触覚提示部とを備えた電子機器であって、
前記操作画面上に前記表示オブジェクトに対応した触覚を前記触覚提示部を介してユーザに提示する触覚提示制御手段と、
前記タッチ座標検出部によって前記表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が１秒間以上続いたか否かを検出する操作内容取得手段と、
当該状態が前記１秒間以上続いた場合に、当該表示オブジェクトの意味を理解することのできる音を予め備えられた音出力部を介して外部出力する音出力制御手段とを有し、
前記操作内容取得手段は、前記タッチ位置の時間的な変化の検出にかかわらず、前記表示オブジェクトに対応する位置で前記操作画面上を叩く動作を検出した場合に、当該表示オブジェクトに対応づけられた所定の機能を実行するように制御されること、を特徴とする電子機器。

【請求項2】

前記触覚提示部は、前記操作画面上の第１の領域と第２の領域とで、同時に異なる触覚を提示可能に構成されていることを特徴とする請求項１記載の電子機器。

【請求項3】

前記表示オブジェクトの表示位置に基づいて、当該位置に対して、当該ユーザがタッチ操作を行うよりも前の時点で、当該ユーザが知覚可能な触覚を提示させるよう、前記触覚提示部を駆動する触覚提示制御手段を備えること、を特徴とする請求項２に記載の電子機器。

【請求項4】

前記触覚提示部が、
支持基板と、前記支持基板上の第１の方向に延在している互いに平行な複数のＸ電極と、前記支持基板上の第２の方向に延在しかつ前記Ｘ電極と互いに絶縁されている互いに平行な複数のＹ電極とを備え、
前記各Ｘ電極のうち外部から入力された対象領域に該当するＸ電極に対して第１の周波数の電圧信号を印加し、前記各Ｙ電極のうち前記対象領域に該当するＹ電極に対して第２の周波数の電圧信号を印加する駆動回路を備えると共に、
前記第１および第２の周波数がいずれも５００［Ｈｚ］以上であり、
前記第１および第２の周波数の差の絶対値が１０［Ｈｚ］より大きく１０００［Ｈｚ］未満である期間を有すること、を特徴とする請求項３に記載の電子機器。

【請求項5】

前記操作内容取得手段が前記表示オブジェクト上に前記タッチ位置を検出した場合に、前記操作対象範囲全体を直接的に振動させるよう、前記触覚提示部に替えて予め備えられた振動提示部の動作を制御する振動提示制御手段を備えること、を特徴とする請求項１に記載の電子機器。

【請求項6】

前記操作内容取得手段が、
前記表示オブジェクトに対応する位置で前記操作画面を押し込むという動作を検出した場合に、当該表示オブジェクトに対応づけられた所定の機能を実行するように制御されること、を特徴とする請求項１に記載の電子機器。

【請求項7】

ユーザによる操作対象範囲を含む操作画面を表示する視覚表示部を備えた電子機器を操作制御する方法であって、
アプリケーション実行手段が処理を実行して得られる内容である前記操作画面を操作画面表示制御手段が作成して前記視覚表示部に表示させ、
この操作画面上の前記操作対象範囲内に当該ユーザが知覚可能な前記操作画面に対応した触覚を触覚提示制御手段が触覚提示部を介して提示し、
前記操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容をタッチ座標検出部が検出し、
前記表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が１秒間以上続いたか否かを操作内容取得手段が検出し、
当該状態が１秒間以上続いた場合に、当該表示オブジェクトの意味を理解することのできる音を音出力制御手段が予め備えられた音出力部を介して外部出力し、
前記操作内容取得手段が、前記タッチ位置の時間的な変化の検出にかかわらず、前記表示オブジェクトに対応する位置で前記操作画面上を叩く動作があったか否かを検出し、
この叩く動作が検出された場合に、前記操作内容取得手段が、当該表示オブジェクトに対応する前記操作内容を前記アプリケーション実行手段に実行させること、を特徴とする操作制御方法。

【請求項8】

前記触覚提示部が触覚を提示する工程が、
前記操作画面上の前記表示オブジェクトの表示位置に基づいて、当該位置に前記触覚提示部が当該ユーザが知覚可能な触覚を提示するものであること、を特徴とする請求項７に記載の操作制御方法。

【請求項9】

ユーザによる操作対象範囲を含む操作画面を表示する視覚表示部と、前記操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容を検出するタッチ座標検出部と、前記操作画面上で当該ユーザが知覚可能な触覚を提示する触覚提示部とを備えた電子機器にあって、
前記電子機器が備えるプロセッサに、
処理を実行して得られる内容である前記操作画面を作成して前記視覚表示部に表示させる手順、
この操作画面上の前記操作対象範囲内に当該ユーザが知覚可能な前記操作画面に対応した触覚を前記触覚提示部を介して提示する手順、
前記操作対象範囲内に表示されている前記表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容を検出する手順、
前記表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が１秒間以上続いたか否かを検出する手順、
および当該状態が前記１秒間以上続いた場合に、当該表示オブジェクトの意味を理解することのできる音を音出力制御手段が予め備えられた音出力部を介して外部出力する手順を実行させ、
前記タッチ位置の時間的な変化の検出にかかわらず、前記表示オブジェクトに対応する位置で前記操作画面上を叩く動作があったか否かを検出し、
この叩く動作が検出された場合に、当該表示オブジェクトに対応する前記操作内容を実行する手順をさらに実行させること、を特徴とする操作制御プログラム。

【請求項10】

前記触覚提示部に触覚を提示させる手順が、
前記操作画面上の前記表示オブジェクトに対応する位置に当該ユーザが知覚可能な触覚を提示させるものであること、を特徴とする請求項９に記載の操作制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は電子機器、電子機器の操作制御方法およびプログラムに関し、特に視覚に障害のある人でも容易に操作することを可能とする電子機器等に関する。

【背景技術】

【0002】

従来より、指で入力可能なタッチパネルが搭載された表示装置は、入力に応じて表示内容や機器の動作を制御するシステムに組み込まれることで、使い勝手の良いインタラクティブな操作性の実現に貢献している。このため、スマートフォンやタブレット端末などのような、タッチパネルが組み込まれた電子機器が急速に普及している。

【0003】

また、この種の電子機器の中で、不特定多数によって操作されることを前提とする公共性の高い用途の機器にも、そのようなタッチパネル付き表示装置を備えたものが多くなっている。より具体的には、駅にある券売機、銀行などにあるＡＴＭ（現金自動預け払い機、Automated Teller Machine）、コンビニエンスストア店頭などにあるマルチメディアキオスク端末装置（例：株式会社ローソンの「Ｌｏｐｐｉ（登録商標）」、株式会社ファミリーマートの「Ｆａｍｉポート（登録商標）」など）、あるいは飲料水の自動販売機などがそうである。

【0004】

その一方で、タッチパネル付き表示装置の表面は一様に硬く、画面上に表示されているどの部分を触っても同じ触覚を持つ。そのため、タッチパネルのどこを触れば有効な入力が可能であるか、また有効な入力がなされたか否かを、視覚に頼ることなく（当該パネルを見ずに）知覚することは事実上不可能である。

【0005】

視覚に障害のある人でも、テレビジョン受信機のリモコン、従来型の携帯電話端末（フィーチャーフォン）、パーソナルコンピュータのキーボードなどのように、各々独立した操作キーを備えた機器であれば、操作キーの位置や配置を覚えさえすれば操作することは可能ではある。しかしながら、視覚に障害のある人が、タッチパネル付き表示装置を備えた電子機器を操作することはほとんど不可能である。特に、前述した券売機やＡＴＭなどのような機器で、視覚障害者がそれらの機器を利用しやすくするための対策が求められている。

【0006】

特許文献１には、タッチパネル付き表示装置の前面の特定の位置に電極を埋め込み、その電極に特定の周波数の電圧信号を印加することによって、その電極を埋め込んだ箇所を電気的に振動させ、これを利用して当該装置表面に触れたユーザの指に触覚（テクスチャ感、ざらざら感）を提示するという技術が記載されている。

【0007】

しかしながら、この技術では、電極に電圧信号を伝えるための配線にまでテクスチャ感が与えられることとなる。特に、多くの箇所にテクスチャ感を与えようとして多くの電極を埋め込むと、複雑な配線が必要となり、必要のない箇所にテクスチャ感が与えられることが多くなる。

【0008】

さらに、この技術では、あらかじめ電極の埋め込まれている箇所にしかテクスチャ感を提示することができない。表示オブジェクトに対応してテクスチャ感を提示する位置や個数を変更することは、電極の再配置を伴うので、事実上不可能である。

【0009】

また、他にこれに関連する技術文献として、以下の各々もある。特許文献２には、タッチパネルを振動させて操作するユーザの指先にフィードバックを与えるという技術で、当該タッチパネルを小型化かつ省電力化するという技術が記載されている。特許文献３には、タッチパネルが振動し、指を離した時点でユーザが触れていたキーの内容を入力内容とするという技術が記載されている。

【0010】

特許文献４には、プリンタやコピーなどの機能を合わせたいわゆる複合機において、タッチパネルにユーザが触れる位置と時間に応じて当該機器の設定操作を行う際、その設定内容を音声によって読み上げ、かつその設定に応じたパターンに従って当該タッチパネルを振動させるという技術が記載されている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０１１−２４８８８４号公報

【特許文献2】特開２００９−１６９６１２号公報

【特許文献3】特開２００３−０１６５０２号公報

【特許文献4】特開２０１４−１３１１３３号公報

【特許文献5】国際公開第２０１１／０５２４８４号明細書

【特許文献6】米国特許出願公開第２００８／０２０４４２０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0012】

前述した特許文献１に記載した先行技術に示した触覚提示装置を備えたタッチパネル付き表示装置によれば、ユーザは視覚に頼らなくても、タッチ入力の対象である表示オブジェクトの所在を触覚のみで探り当てることは一応できる。

【0013】

しかしながら、実際に当該機器を視覚に頼らずに操作するには、各表示オブジェクトの配置と、それら各々に対応する操作内容とを、あらかじめ記憶している必要がある。なぜなら、触覚を通じて知ることができるのは「表示オブジェクトの所在」のみであり、各々の表示オブジェクトがどのような操作内容に対応しているかを視覚に頼らずにその場で知る方法は無いからである。

【0014】

券売機やＡＴＭなどのような公共性の高い用途に利用される機器で、視覚障害者がそれらの機器を利用しやすくするための対策が求められていることは前述の通りであるが、それらの機器において、表示オブジェクトの配置とそれらに対応する操作内容は、各々の機器ごと、あるいは同一の機器でもその入力操作を行う場面ごとに、千差万別である。パーソナルコンピュータのキーボードのいわゆるＱＷＥＲＴＹ配列などのように、それらの機器全てで、また入力操作を行う場面の全てで、操作体系を統一された共通のフォーマットとすることは現実的に可能なことではない。

【0015】

従って、それらの機器ごとに異なる表示オブジェクトの配置と操作内容とを、ユーザが予め記憶するということは極めて困難である。視覚障害者が当該機器を利用しやすくするための対策として、これではまだ不十分であり、さらに特許文献１に記載した先行技術には、前述したような「必要のない箇所にテクスチャ感が与えられる」という問題や、「位置や個数の変更が事実上不可能である」という問題などもある。以上のような点を解決する技術は、残る特許文献２〜４のいずれにも記載されていない。

【0016】

本発明の目的は、視覚に障害のある人でも、表示オブジェクトに対応した位置に提示された触覚（テクスチャ感）を利用して容易に利用することを可能とする電子機器、電子機器の操作制御方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0017】

上記目的を達成するため、本発明に係る電子機器は、ユーザによる操作対象範囲を含む操作画面を表示する視覚表示部と、操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容を検出するタッチ座標検出部と、操作画面上で当該ユーザが知覚可能な触覚を提示する触覚提示部とを備えた電子機器であって、操作画面上に表示オブジェクトに対応した触覚を触覚提示部を介してユーザに提示する触覚提示制御手段と、タッチ座標検出部によって表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が１秒間以上続いたか否かを検出する操作内容取得手段と、当該状態が１秒間以上続いた場合に、当該表示オブジェクトの意味を理解することのできる音を予め備えられた音出力部を介して外部出力する音出力制御手段とを有すること、を特徴とする。そして、操作内容取得手段は、タッチ位置の時間的な変化の検出にかかわらず、表示オブジェクトに対応する位置で操作画面上を叩く動作を検出した場合に、表示オブジェクトに対応づけられた所定の機能を実行するように制御される。

【0018】

上記目的を達成するため、本発明に係る電子機器の操作制御方法は、ユーザによる操作対象範囲を含む操作画面を表示する視覚表示部を備えた電子機器を操作制御する方法であって、アプリケーション実行手段が処理を実行して得られる内容である操作画面を操作画面表示制御手段が作成して視覚表示部に表示させ、この操作画面上の操作対象範囲内に当該ユーザが知覚可能な操作画面に対応した触覚を触覚提示制御手段が触覚提示部を介して提示し、操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容をタッチ座標検出部が検出し、表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が１秒間以上続いたか否かを操作内容取得手段が検出し、当該状態が１秒間以上続いた場合に、当該表示オブジェクトの意味を理解することのできる音を音出力制御手段が予め備えられた音出力部を介して外部出力すること、を特徴とする。そして、操作内容取得手段が、タッチ位置の時間的な変化の検出にかかわらず、表示オブジェクトに対応する位置で操作画面上を叩く動作があったか否かを検出し、叩く動作が検出された場合に、操作内容取得手段が、表示オブジェクトに対応する操作内容をアプリケーション実行手段に実行させる。

【0019】

上記目的を達成するため、本発明に係る電子機器の操作制御プログラムは、ユーザによる操作対象範囲を含む操作画面を表示する視覚表示部と、操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容を検出するタッチ座標検出部と、操作画面上で当該ユーザが知覚可能な触覚を提示する触覚提示部とを備えた電子機器にあって、電子機器が備えるプロセッサに、処理を実行して得られる内容である操作画面を作成して視覚表示部に表示させる手順、この操作画面上の操作対象範囲内に当該ユーザが知覚可能な操作画面に対応した触覚を触覚提示部を介して提示する手順、操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容を検出する手順、表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が１秒間以上続いたか否かを検出する手順、および当該状態が１秒間以上続いた場合に、当該表示オブジェクトの意味を理解することのできる音を音出力制御手段が予め備えられた音出力部を介して外部出力する手順を実行させること、を特徴とする。そして、タッチ位置の時間的な変化の検出にかかわらず、表示オブジェクトに対応する位置で操作画面上を叩く動作があったか否かを検出し、叩く動作が検出された場合に、表示オブジェクトに対応する操作内容を実行する手順をさらに実行させる。

【発明の効果】

【0020】

本発明は、上記した通り、表示オブジェクトに対応した触覚を提示し、タッチ位置の時間に伴う変化が閾値以下である状態が１秒間以上続いた場合に表示オブジェクトに対応する音を出力するように構成したので、表示オブジェクトの配置とそれに対応する操作内容とをユーザが予め記憶していなくても、ユーザがその触覚を感知して操作を行うことが可能となる。これによって、視覚に障害のある人でも容易に利用しうる電子機器、電子機器の操作制御方法およびプログラムを提供することができる。

【0021】

一方、本発明は、タッチ位置の時間に伴う変化が閾値以下である状態が１秒間以上続いた場合に表示オブジェクトに対応する音を出力するように構成したので、視覚に障害が無い人が表示オブジェクトに対してタップ等の操作をした場合には、音が出力されない。このため視覚に障害が無い人にとっては、本来不要な音が出力されない状態で入力操作ができるので快適に利用できる。
このように、本発明は視覚に障害のある人も無い人も、容易にあるいは快適に利用しうる電子機器、電子機器の操作制御方法およびプログラムを提供することができる。

【図面の簡単な説明】

【0022】

【図1】第１の実施形態に係る電子機器の構成について示す説明図である。

【図2】図１に示した電子機器で、統括制御部のより詳しい構成について概念的に示す説明図である。

【図3】図１に示した電子機器で、触覚提示部のより詳しい構成について概念的に示す説明図である。

【図4】図３に示した触覚提示部の駆動方法について示す説明図である。

【図5】図３および図４で示した触覚提示部の断面モデルについて示す説明図である。

【図6】図３〜４に示した触覚提示装置で、指に働く引力の周波数に対する触覚の変化をユーザが知覚するために必要な電圧信号の振幅の閾値の関係を測定したグラフである。

【図7】図１〜２に示した電子機器で、統括制御部（特に操作内容取得手段）が行う動作について示すフローチャートである。

【図8】図１〜２に示した電子機器の操作方法について示す説明図である。図８（ａ）は操作画面表示制御手段が操作画面を視覚表示部（操作対象範囲）に表示させた状態、図８（ｂ）は操作対象範囲上にユーザが指を置いてサーチを行っている状態、図８（ｃ）はユーザが操作対象範囲上の特定の位置を長押ししている状態、図８（ｄ）はユーザが操作対象範囲上の特定の位置をタップしている状態を各々示す。

【図9】関連技術に係る電子機器の動作を示すフローチャートである。

【図10】指の速度の測定に用いた装置およびユーザの手の写真である。図１０（ａ）はユーザが操作対象領域をサーチしていない時の写真、図１０（ｂ）はユーザが対象領域をサーチしている時の写真である。

【図11】指先の速度の時刻変化を測定した結果を示すグラフである。

【図12】関連技術に係る電子機器における表示オブジェクトの位置と触覚の位置とのズレを説明する図である。図１２（ａ）は指を右方向に動かした場合の表示オブジェクトの位置と触覚が発生するときに指が存在する位置とを示した図であり、図１２（ｂ）は指を左右方向に動かした場合の表示オブジェクトの位置と触覚が発生するときに指が存在する位置とを示した図である。

【図13】第１の実施形態に係る電子機器の動作を示すフローチャートである。

【図14】第１の実施形態に係る電子機器における表示オブジェクトの位置と触覚の位置とのズレを説明する図である。図１４（ａ）は指を右方向に動かした場合の表示オブジェクトの位置と触覚が発生する位置とを示した図であり、図１４（ｂ）は指を左右方向に動かした場合の表示オブジェクトの位置と触覚が発生する位置とを示した図である。

【図15】本発明の第２の実施形態に係る電子機器の構成について示す説明図である。

【図16】図１５に示した電子機器で、統括制御部のより詳しい構成について概念的に示す説明図である。

【図17】図１５〜１６に示した電子機器で、統括制御部（特に操作内容取得手段）が行う動作について示すフローチャートである。

【図18】本発明の第３の実施形態に係る電子機器の構成について示す説明図である。

【図19】図１８に示した電子機器を搭載した移動体を説明する図である。

【発明を実施するための形態】

【0023】

（第１の実施形態）
以下、本発明の第１の実施形態の構成について図１に基づいて説明する。
本発明の第１の実施形態に係る電子機器１００は、ユーザによる操作対象範囲６１を含む操作画面を表示する視覚表示部２０と、操作対象範囲内に表示されている表示オブジェクト６２ａ、６２ｂ、…に対して当該ユーザが行ったタッチ操作の内容を検出するタッチ座標検出部３０と、操作画面上で当該ユーザが知覚可能な触覚を提示する触覚提示部４０とを備えた電子機器である。ここで、電子機器１００は、操作画面上に表示オブジェクトに対応した触覚を触覚提示部を介してユーザに提示する触覚提示制御手段１３と、タッチ座標検出部によって表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が予め設定した時間以上続いたか否かを検出する操作内容取得手段１４と、当該表示オブジェクトに対応する感覚刺激情報を予め備えられた感覚刺激情報出力部（音出力部５０）を介して外部出力する感覚刺激情報出力制御手段（音出力制御手段１５）とを有する。この感覚刺激情報は、音として構成することができる。

【0024】

ここで、触覚提示部４０は、操作画面上の第１の領域と第２の領域とで、同時に異なる触覚を提示可能に構成されている。また、統括制御部１０は、作成された操作画面上の表示オブジェクトに対応する位置に対して、当該ユーザがタッチ操作を行うよりも前の時点で、当該ユーザが知覚可能な触覚を提示させるよう、触覚提示部４０を駆動する触覚提示制御手段１３を備える。

【0025】

そして、操作内容取得手段１４は、表示オブジェクトに対応する位置で操作画面上を叩く動作が検出された場合に、当該表示オブジェクト６２ａ、６２ｂ、…に対応づけられた所定の機能を実行するように制御される。

【0026】

以上の構成を備えることにより、この電子機器１００は、視覚に障害のある人でも、提示された触覚（テクスチャ感）を利用して容易に利用できるものとなる。
以下、これをより詳細に説明する。

【0027】

図１は、本発明の第１の実施形態に係る電子機器１００の構成について示す説明図である。電子機器１００は、視覚表示部２０と、タッチ座標検出部３０と、触覚提示部４０と、これら全体の動作を統括制御する統括制御部１０とを備える。視覚表示部２０は、典型的には液晶ディスプレイ装置であり、統括制御部１０によって行われた処理の結果としての操作画面をユーザに対して表示する。

【0028】

タッチ座標検出部３０は、典型的には液晶ディスプレイ装置である視覚表示部２０の額縁部分に配設した光学式のタッチセンサであり、視覚表示部２０に表示された操作画面に対してユーザが行うタッチなどの操作を受け付け、当該操作画面上でその操作が行われた点を座標入力情報として統括制御部１０に入力する。

【0029】

触覚提示部４０は、視覚表示部２０の表面に貼られた触覚提示パネルである。視覚表示部２０、タッチ座標検出部３０、および触覚提示部４０は、共通した操作対象範囲６１を持つ。操作対象範囲６１は、視覚表示部２０が操作画面を表示する範囲であり、かつタッチ座標検出部３０がユーザが行う操作を受け付ける範囲でもある。なお、図１では下から視覚表示部２０、触覚提示部４０、タッチ座標検出部３０の順で積層されている形で図示しているが、操作対象範囲６１が共通して機能してさえいれば、その順序は特に問わない。

【0030】

より具体的な構成については後述するが、触覚提示部４０は、操作対象範囲６１の中の（操作ボタンなど）特定の表示オブジェクト６２ａ、６２ｂ、…の個々に対応した位置に触覚（テクスチャ感）を提示し、ユーザが当該表示オブジェクトの位置を触覚のみで判別可能とする。

【0031】

統括制御部１０は、典型的にはコンピュータプログラムを実行する主体としてのプロセッサであり、操作制御プログラムが実行されることによって次段で説明する各動作手段として機能する。また、統括制御部１０には音出力部５０も併設されている。音出力部５０は、典型的にはスピーカーやイヤホンなどであり、統括制御部１０によって行われた処理の結果としての音をユーザに対して出力する。なお、統括制御部１０が、視覚表示部２０とタッチ座標検出部３０および触覚提示部４０と同一の筐体内にある必要はない。

【0032】

図２は、図１に示した電子機器１００で、統括制御部１０のより詳しい構成について概念的に示す説明図である。統括制御部１０は、操作制御プログラムが実行されることにより、アプリケーション実行手段１１、操作画面表示制御手段１２、触覚提示制御手段１３、操作内容取得手段１４、および音出力制御手段１５の各々として機能する。また、統括制御部１０は、操作制御プログラムの動作に必要な各種データ（後述する時刻パラメータ、タッチ位置ベクトルなど）を一時的に記憶する一時記憶手段１６も併設されている。

【0033】

アプリケーション実行手段１１は、視覚表示部２０およびタッチ座標検出部３０によって行われるユーザの入力操作に対応する一般的な動作を行い、その結果としての操作画面を視覚表示部２０に表示させる。また、視覚表示部２０に表示された操作画面の内容に応じて、触覚提示部４０にも動作指令を与える。また、音出力制御手段１５に対して再生すべき音を指定し、当該音を再生するように指令を与える。

【0034】

ここでいう一般的な動作とは、電子機器１００が券売機や自販機などである場合には、ユーザが選択した物の販売などである。また、電子機器１００が銀行ＡＴＭである場合には、ユーザの操作に応じた入出金、振込、振替などの処理である。もちろん、電子機器１００にはそれらの動作を行うための特有の機構なども備えられているが、それらはここで詳しく説明する必要の無いものであるので、特に図示していない。

【0035】

操作画面表示制御手段１２は、アプリケーション実行手段１１の行っている動作に対応した操作画面を視覚表示部２０に表示させる。触覚提示制御手段１３は、その操作画面の中で特定の表示オブジェクト６２ａ、６２ｂ、…に対応した位置に触覚（テクスチャ感）を提示するよう、触覚提示部４０を制御する。

【0036】

操作内容取得手段１４は、表示された操作画面に対してユーザがタッチ座標検出部３０に入力した操作の内容である座標入力情報から、ユーザが意図する操作内容を検出し、検出された操作内容をアプリケーション実行手段１１に渡す。音出力制御手段１５は、アプリケーション実行手段１１からの出力を受け、アプリケーション実行手段１１によって指定された音を音出力部５０を介して出力する。

【0037】

（第１の実施形態：触覚提示部について）
図３は、図１に示した電子機器１００で、触覚提示部４０のより詳しい構成について概念的に示す説明図である。触覚提示部４０は、平面状の支持基板４１上のｘ方向に延在する複数のＸ電極４２と、支持基板４１上でＸ電極４２と直交するｙ方向に延在する複数のＹ電極４３と、Ｘ電極４２の各々に接続されたＸ電極駆動回路４４と、Ｙ電極４３の各々に接続されたＹ電極駆動回路４５と、Ｘ電極駆動回路４４およびＹ電極駆動回路４５の各々に接続された制御部４６とによって構成されている。

【0038】

Ｘ電極４２とＹ電極４３とはその交差部で絶縁膜を介して交差し、両者の電気的な絶縁が保たれている。また、Ｘ電極４２とＹ電極４３の上には絶縁膜が形成され、ユーザが電子機器１００表面を上から指で触った場合に、Ｘ電極４２と指、およびＹ電極４３と指との間を電気的に絶縁している。

【0039】

制御部４６は、触覚提示制御手段１３から入力されたテクスチャ感を提示しようとする対象領域についての情報に基づいてＸ電極駆動回路４４およびＹ電極駆動回路４５を制御する。Ｘ電極駆動回路４４およびＹ電極駆動回路４５は、制御部４６から入力された制御情報に応じて、Ｘ電極４２もしくはＹ電極４３のうちの必要な範囲の電極に、必要な周波数の電圧信号を印加する。

【0040】

図４は、図３に示した触覚提示部４０の駆動方法について示す説明図である。ここで、各々のＸ電極４２およびＹ電極４３には、各電極ごとに異なる記号によって区別するものとする。即ち、図４に示す例では、支持基板４１上に２８本のＸ電極４２と４６本のＹ電極４３とが形成されているが、それら各々のＸ電極４２を下から上方向にＸ_００〜Ｘ_２７といい、各々のＹ電極４３を右から左方向にＹ_０３〜Ｙ_４８という。

【0041】

また、テクスチャ感を提示しようとする領域を対象領域４７とする。対象領域４７は、Ｘ電極４２ではＸ_１１〜Ｘ_１４の範囲、Ｙ電極４３ではＹ_２４〜Ｙ_２７の範囲である。制御部４６は、外部から与えられた対象領域４７の情報に基づいて、Ｘ電極駆動回路４４およびＹ電極駆動回路４５に制御信号を与える。

【0042】

この制御信号を受けて、Ｘ電極駆動回路４４はＸ_１１〜Ｘ_１４に周波数ｆ_１＝１０００Ｈｚの電圧信号を印加し、Ｙ電極駆動回路４５はＹ_２４〜Ｙ_２７に周波数ｆ_２＝１２４０Ｈｚの電圧信号を印加する。ここで、Ｘ電極駆動回路４４およびＹ電極駆動回路４５は、それらに該当しないＸ電極４２およびＹ電極４３について、電極同士の容量結合によって電圧が誘起されることを防ぐため、図４に示した例では接地している。または、接地するかわりに直流電圧、もしくは２２４０Ｈｚ以上の周波数の電圧信号を印加してもよい（この点について理由は後述する）。

【0043】

Ｘ電極４２およびＹ電極４３に上記の信号を印加し、触覚提示部４０の表面を指でなぞるとＸ_１１〜Ｘ_１４とＹ_２４〜Ｙ_２７が交差する対象領域４７のみでテクスチャ感が知覚される。この電圧信号を印加する電極を任意に選択することで、任意の所定の領域にテクスチャ感を提示することができる。また、全てのＸ電極および全てのＹ電極を選択することで、Ｘ電極とＹ電極の交差部全てを内包する領域全体にテクスチャ感を提示することもできる。

【0044】

発明者らは、実験によって、Ｘ_１１〜Ｘ_１４の電極上の領域から対象領域４７を除いた領域ではテクスチャ感が提示されず、またＹ_２４〜Ｙ_２７電極上の領域から対象領域４７を除いた領域でもテクスチャ感が提示されないことを確認した。即ち、人間の指は電極に印加する電圧信号の周波数が１０００Ｈｚや１２４０Ｈｚの場合にはテクスチャ感を知覚しない性質であることを、発明者らは確認した。

【0045】

一方、対象領域４７では、ｆ_１＝１０００Ｈｚの電圧信号が印加されたＸ電極とｆ_２＝１２４０Ｈｚの電圧信号が印加されたＹ電極とが互いに隣接しているので、波動の分野で知られるうなりが生じている。以下、うなりによってテクスチャ感が提示される機構について説明する。

【0046】

図５は、図３および図４で示した触覚提示部４０の断面モデルについて示す説明図である。前述の通り、複数のＸ電極４２と複数のＹ電極４３とは、平面状の支持基板４１（図５上には示されない）上で隣り合うように配置されている。ここで、Ｘ電極４２およびＹ電極４３のうち、対象領域４７内に配置された２つのＸ電極４２と２つのＹ電極４３とに対向する位置に、指をモデル化した電極４８が一つ配置されている。人体には接地効果があるので、この電極４８は抵抗値Ｒを有する抵抗４９を介して接地されているものとしてモデル化することができる。

【0047】

今、対象領域４７内のＸ電極４２に、Ｖ_１＝Ａｃｏｓ（２πｆ_１ｔ）で表される電圧信号Ｖ_１を印加する。電圧信号Ｖ_１の振幅はＡ、周波数はｆ_１であり、ｔは時刻を表す。また、対象領域４７内のＹ電極４３に、Ｖ_２＝Ａｃｏｓ（２πｆ_２ｔ）で表される電圧信号Ｖ_２を印加する。電圧信号Ｖ_２の振幅は電圧信号Ｖ_１の振幅と等しいＡ、周波数はｆ_２である。

【0048】

電極４８と対象領域４７内のＸ電極４２の各々との間は静電容量Ｃを有する平行平板コンデンサとしてモデル化することができ、電極４８と対象領域４７内のＹ電極４３の各々との間は静電容量Ｃを有する平行平板コンデンサとしてモデル化することができる。

【0049】

このとき、電極４８に現れる電圧Ｖ_Ｐは、抵抗値Ｒが十分高いとき、Ｖ_Ｐ＝（Ｖ_１＋Ｖ_２）／２となる。

【0050】

ひとつのＸ電極４２と指をモデル化した電極４８との間に働く静電気力を図３に示すようにＦ_ｅ１とあらわす。Ｆ_ｅ１は、平行平板コンデンサの電極間に働く力として知られている公式を適用すると、次のように求められる。ここでεはＸ電極上の絶縁膜の誘電率、Ｓは平行平板コンデンサの電極面積である。

【0051】

【数1】

【0052】

同様に、ひとつのＹ電極４３と指をモデル化した電極４８との間に働く静電気力を図３に示すようにＦ_ｅ２とあらわすとＦ_ｅ２は次のように求められる。

【0053】

【数2】

【0054】

静電気力Ｆ_ｅ１と静電気力Ｆ_ｅ２とを人の指先で区別できない程度に電極の間隔が細かいのであれば、Ｆ_ｅ１およびＦ_ｅ２の個々の力を合計した力がマクロ的に指に働くものとみなすことができる。指をモデル化した電極４８に働くすべての力の合計Ｆは、図３よりＦ＝２（Ｆ_ｅ１＋Ｆ_ｅ２）であるから、前記のＶ_１、Ｖ_２、数１および数２の値を用いることで、次のように得ることができる。

【0055】

【数3】

【0056】

〔数３〕より、モデル化した電極４８に働くすべての力の合計Ｆは、値域が［０、Ａ^２Ｃ^２／（εＳ）］で周波数が（ｆ_１＋ｆ_２）である周期関数に、値域が［０、２］で、周波数が（ｆ_１−ｆ_２）の絶対値である周期関数を乗算して得られるものであることがわかる。その包絡線の周波数は（ｆ_１−ｆ_２）の絶対値となる。

【0057】

この基本形態では、周波数ｆ_１＝１０００Ｈｚ、周波数ｆ_２＝１２４０Ｈｚとしているため、その差の絶対値は２４０Ｈｚとなる。このため指に働く引力Ｆは、〔数３〕に示すように２４０Ｈｚで変化する。従って、人間が触覚提示部４０の表面を指でなぞると、２４０Ｈｚの周波数で摩擦力の変化が生じる。２４０Ｈｚは人間の皮膚の機械受容器が感度を有する周波数であるので、テクスチャ感の知覚をもたらすことができる。

【0058】

さらに発明者らは、電圧信号の周波数に対するテクスチャ感の知覚の有無を実験によって確認した。支持基板４１上の全てのＸ電極４２およびＹ電極４３に同一の電圧信号を印加し、テクスチャ感の有無を確認した結果、電圧信号の周波数が５Ｈｚより大きく５００Ｈｚ未満の範囲内にある場合にテクスチャ感が知覚され、電圧信号の周波数がこの範囲内にない場合にはテクスチャ感が知覚されないことが確認された。

【0059】

また、支持基板４１上の全てのＸ電極４２に周波数ｆ_１の電圧信号を印加し、全てのＹ電極４３に周波数ｆ_２の電圧信号を印加し、ｆ_１とｆ_２との差の絶対値に対するテクスチャ感の知覚の有無を実験的に確認した。その結果、ｆ_１とｆ_２との差の絶対値が１０Ｈｚより大きく１０００Ｈｚ未満の場合テクスチャ感が知覚され、ｆ_１とｆ_２との差の絶対値が１０Ｈｚ以下または１０００Ｈｚ以上の場合テクスチャ感が知覚されないことが確認された。

【0060】

これらの結果から、Ｘ電極に印加する電圧信号の周波数をｆ_１とし、Ｙ電極に印加する電圧信号の周波数をｆ_２とした場合、ｆ_１およびｆ_２を共に５００Ｈｚ以上とし、ｆ_１とｆ_２との差の絶対値が１０Ｈｚより大きく１０００Ｈｚ未満となるようにｆ_１とｆ_２を設定すれば、周波数ｆ_１の電圧信号を与えたＸ電極と周波数ｆ_２の電圧信号を与えたＹ電極とが交差する領域にテクスチャ感を提示し、他の領域にはテクスチャ感を提示しない触覚提示部４０が実現可能となる。

【0061】

さらに、〔数３〕とその考察に記載した事項から、指に働く引力の周波数がテクスチャ感の知覚に作用していると考えられたので、発明者らは指に働く引力の周波数と触覚の知覚との関係を確認する実験を行った。図６は、図３〜４に示した触覚提示部４０で、指に働く引力の周波数に対する触覚の変化をユーザが知覚するために必要な電圧信号の振幅の閾値の関係を測定したグラフである。

【0062】

図６のグラフは、支持基板４１上の全てのＸ電極４２と全てのＹ電極４３に、同一の電圧信号を周波数を変えながら印加し、触覚の変化を知覚するのに必要な振幅の閾値を測定した結果である。下軸は全てのＸ電極４２と全てのＹ電極４３に印加した電圧信号の周波数、左軸は触覚の変化を知覚するのに必要な電圧信号の振幅の閾値を示している。

【0063】

この実験では、操作者の指に働く引力の周波数は印加した電圧信号の周波数ｆ_１の２倍となる。この関係を導出するためには、図５に示した抵抗Ｒ４９の抵抗値を無限大を除いた有限な値、極端にはゼロと置き、Ｘ電極４２およびＹ電極４３に印加する電圧信号の周波数を共にｆ_１と置いて静電気力Ｆを求めればよい。図６では、指に働く引力の周波数を上軸に示している。即ち、指に働く引力の周波数と知覚に必要な振幅の閾値との関係は図６の上軸と左軸とによって表される。

【0064】

図６のグラフより、指に働く引力の周波数が２００Ｈｚ付近のとき、閾値が最小値となることがわかる。即ち、人間の皮膚の受容器は、指に働く引力の周波数が２００Ｈｚ付近で、最も高い感度でテクスチャ感を知覚するといえる。また、この図６のグラフより、閾値と周波数の関係のグラフの谷底は指に働く引力の周波数が２００Ｈｚ付近であることだけでなく、グラフの谷の始まりと終わりは各々１０Ｈｚ付近と１０００Ｈｚ付近であることもわかる。

【0065】

即ち、引力の周波数が１０〜１０００Ｈｚの範囲内でテクスチャ感が知覚される。この範囲外の周波数ではテクスチャ感が知覚されず、摩擦感が知覚される。

【0066】

以上の実験での作用は、次の通り説明できる。支持基板４１上の所定のＸ電極４２に周波数ｆ_１の電圧信号を印加し、所定のＹ電極４３に周波数ｆ_１と異なる周波数ｆ_２の電圧信号を印加すると、当該Ｘ電極と当該Ｙ電極の交差部を含む対象領域４７では周波数（ｆ_１−ｆ_２）の絶対値の引力が指に働く。

【0067】

このため、周波数（ｆ_１−ｆ_２）の絶対値を１０Ｈｚより大きく１０００Ｈｚ未満とすれば、所定のＸ電極４２と所定のＹ電極４３の交差部を含んでなる対象領域４７にテクスチャ感を提示することができる。

【0068】

当該交差部を含んでなる対象領域４７を除いた前記Ｘ電極上の領域では、平行平板コンデンサの電極間に働く力の公式から、周波数ｆ_１の２倍の周波数の引力が指にはたらき、当該交差部を含んでなる対象領域４７を除いた前記Ｙ電極上の領域では周波数ｆ_２の２倍の周波数の引力が指に働く。

【0069】

このためｆ_１およびｆ_２を共に５００Ｈｚ以上とすることで所定のＸ電極と所定のＹ電極の交差部を含んでなる対象領域４７を除く所定のＸ電極上の領域又は所定のＹ電極上の領域では共に１０００Ｈｚ以上の引力が指に働き、テクスチャ感が提示されない。従って、対象領域４７を第１の領域と称し、他の領域を第２の領域と称すと、当該触覚提示部を第１の領域と第２の領域とで、同時に異なる触覚を提示可能なように構成することもできる。

【0070】

既存の触覚提示装置（前述の特許文献１）では、テクスチャ感を提示するための各電極に対して独立した複数の配線を引き回すためのスペースが必要であり、その結果テクスチャ感を提示するための電極同士の間隔が広くなり、触覚提示装置の空間解像度が低い、という問題点を有している。その点、この触覚提示部４０では、テクスチャ感を提示するための電極が配線を兼ねているので、空間解像度を高めることができる。

【0071】

さらにこの形態によれば、電極の形状が視認されにくくなるため、視覚表示部２０と重ね合わせて利用する場合にも、表示装置本来の表示品位の低下を抑制することができる。そして、既存の触覚提示装置では、配線が引き回された領域に本来不要なテクスチャ感が提示されるという問題を有しているが、この形態によればこの問題も解消される。

【0072】

以上で説明した例では対象領域４７が１つのみであるが、この例は対象領域が複数箇所である場合にも容易に拡張できる。即ち、Ｘ電極とＹ電極の各々に印加される周波数の差の絶対値が、各々の対象領域においては１０〜１０００Ｈｚの範囲内（望ましくは２００Ｈｚ付近）、対象領域以外においてはその範囲外となるよう、電圧信号を印加する電極番号とその周波数とを決定すればよい。

【0073】

このように、この触覚提示部４０は、Ｘ電極４２およびＹ電極４３の上の触覚提示面上の任意の領域に、他の領域と異なる触覚を提示することが可能である。その領域の位置あるいは触覚提示の有無は、Ｘ電極４２およびＹ電極４３に印加する電圧信号によって自在に制御可能である。また、その電圧信号の波形および振幅を変更することによって、多様な触覚を提示することが可能である。

【0074】

第１の実施形態で用いた触覚提示部は次の特徴を有する触覚提示装置で構成される。即ち、支持基板４１と、支持基板上の第１の方向に延在している互いに平行な複数のＸ電極４２と、支持基板上の第２の方向に延在しかつＸ電極と互いに絶縁されている互いに平行な複数のＹ電極４３とを備え、各Ｘ電極のうち外部から入力された対象領域４７に該当するＸ電極に対して第１の周波数の電圧信号を印加し、各Ｙ電極のうち対象領域に該当するＹ電極に対して第２の周波数の電圧信号を印加する駆動回路を備えると共に、第１および第２の周波数がいずれも５００［Ｈｚ］以上であり、第１および第２の周波数の差の絶対値が１０［Ｈｚ］より大きく１０００［Ｈｚ］未満である期間を有する触覚提示装置である。

【0075】

（第１の実施形態：操作内容取得手段について）
図７は、図１〜２に示した電子機器１００で、統括制御部１０（特に操作内容取得手段１４）が行う動作について示すフローチャートである。ここで説明する動作において、操作内容取得手段１４が検出する入力操作と、その操作の検出条件についてまず説明する。

【0076】

まず、電子機器１００で、視覚表示部２０が操作画面を表示する範囲であり、かつタッチ座標検出部３０がユーザが行う操作を受け付ける範囲でもあり、さらに触覚提示部４０が操作画面の中の（操作ボタンなど）特定の表示オブジェクト６２ａ、６２ｂ、…に対応した位置に触覚（テクスチャ感）を提示する対象でもある範囲のことを、操作対象範囲６１と呼ぶことにする。

【0077】

そして、ユーザの指が操作対象範囲６１に触れることを「タッチダウン」という。タッチダウンの最中、タッチ座標検出部３０によって座標入力情報が検出される。またユーザの指が操作対象範囲６１から離れることを「タッチアップ」という。

【0078】

ユーザの指が操作対象範囲６１を軽く叩く動作を「タップ」という。タップの発生条件は、「タッチダウンの発生後１秒以内に、タッチアップが、タッチ位置の変化を伴わずに行われた」ということである。ここで、人間が自分の指で行う操作の誤差などに起因するタッチ位置の変動の影響を抑制するため、タッチダウンとタッチアップの各々の発生時点におけるタッチ位置の変化が、タップ検出閾値Ｓより小さければ「タッチ位置が変化していない」と判断する。

【0079】

ユーザの指が操作対象範囲６１を触りながら移動し続ける、即ちステップＳ１０２の処理によって触覚（テクスチャ感）が提示されている表示オブジェクト６２ａ、６２ｂ、…を手探りで探す動作を「サーチ」という。サーチの継続条件は、「１秒以上の静止を伴わずに、タッチ位置を変化させ続けている」ということである。ここでも、操作の誤差などに起因するタッチ位置の変動の影響を抑制するため、位置検出の処理が行われる１サイクル（典型的には１／１２０秒間）のタッチ位置の移動が静止検出閾値ｖ_ｍより小さければ「静止している」と判断する。

【0080】

タップ検出閾値Ｓが「１秒間のタッチ位置の変化」を判断するための閾値であるのに対して、静止検出閾値ｖ_ｍは「１サイクル（１／１２０秒間）のタッチ位置の変化」を判断するための閾値であるという点で違いがある。もちろんこの「１秒間」「１／１２０秒間」などの時間的条件は、必要に応じて変更可能な設計事項である。

【0081】

ユーザの指が操作対象範囲６１上の特定の位置で１秒以上静止させる動作を「長押し」という。長押しの発生条件は「同じ位置にタッチした状態が１秒以上継続された」ということである。ここでも、「サーチ」の判定と同様の条件で、タッチ位置が静止しているか否かを判断する。

【0082】

アプリケーション実行手段１１がユーザによる入力操作を受け付ける状態になると、操作画面表示制御手段１２がその入力操作を受け付ける状態の操作画面を視覚表示部２０（操作対象範囲６１）に表示させ（ステップＳ１０１）、また触覚提示制御手段１３がそれに対応してその操作対象範囲６１中の特定の表示オブジェクト６２ａ、６２ｂ、…に対応した位置に触覚（テクスチャ感）を提示するよう触覚提示部４０を制御する（ステップＳ１０２）。

【0083】

そして操作内容取得手段１４は、時刻パラメータｋ＝０、タッチ位置ベクトルｒ_０＝（０，０）と初期設定して一時記憶手段１６に記憶し（ステップＳ１０３）、操作対象範囲６１内でのタッチダウンの発生を待ち受ける状態となる（ステップＳ１０４）。もちろんこのｒ_０の初期値は設定例の一つに過ぎない。

【0084】

タッチダウンが発生しなければ（ステップＳ１０４がノー）、その待ち受け状態を継続する。タッチダウンが発生すれば（ステップＳ１０４がイエス）、操作内容取得手段１４は、時刻パラメータｎ＝０と初期設定して（ステップＳ１０５）、ｎの値をインクリメント（１つ増加）して一時記憶手段１６に記憶し（ステップＳ１０６）、現在の時刻パラメータｎの値においてのタッチ位置であるタッチ位置ベクトルｒ_ｎを取得し、同時にこれを一時記憶手段１６に記憶する（ステップＳ１０７）。

【0085】

そして操作内容取得手段１４は、現在の時刻パラメータ（ｎ）におけるタッチ位置ベクトルｒ_ｎと、一時記憶手段１６に記憶されている現在より一つ前の時刻パラメータ（ｎ−１）におけるタッチ位置ベクトルｒ_ｎ−１との間の距離が、静止検出閾値ｖ_ｍより小さいか否か、即ち｜ｒ_ｎ−ｒ_ｎ−１｜＜ｖ_ｍか否かを判定する（ステップＳ１０８）。

【0086】

典型的にはこの位置検出の処理は１秒間に１２０回の頻度で行われるので、ｒ_ｎ−１は換言すればｒ_ｎよりも１／１２０秒前の時刻におけるタッチ位置であり、｜ｒ_ｎ−ｒ_ｎ−１｜は１／１２０秒間におけるタッチ位置の移動速度であると考えることができる。これが静止検出閾値ｖ_ｍより小さいか否かを判断するということは、人間が自分の指で行う操作の誤差などに起因するタッチ位置の変動を考慮に含めつつ、タッチ位置が変化せずに静止した状態であるか否かを判断するということを意味する。

【0087】

静止していないと判断されたら（ステップＳ１０８がノー）、操作内容取得手段１４は、時刻パラメータｋ＝０にリセットして一時記憶手段１６に記憶し（ステップＳ１０９）、タッチアップの発生を待ち受ける状態となる（ステップＳ１１０）。タッチアップが発生しなければ（ステップＳ１１０がノー）、ステップＳ１０６からの処理を繰り返す。

【0088】

タッチアップが発生すれば（ステップＳ１１０がイエス）、操作内容取得手段１４は、タッチアップが発生した時点のタッチ位置ベクトルであるｒ_ｎと、一時記憶手段１６に記憶されているタッチダウンが発生した時点のタッチ位置ベクトルであるｒ_１との間の距離が、タップ検出閾値Ｓより小さいか否か、即ち｜ｒ_ｎ−ｒ_１｜＜Ｓか否かを判定する（ステップＳ１１１）。これがイエスであれば、操作内容取得手段１４は引き続いて時刻パラメータｋ＜１２０であるか否かを判定する（ステップＳ１１２）。ステップＳ１１１およびＳ１１２のいずれかがノーであればステップＳ１０３に処理が戻り、初期設定から操作内容取得手段１４による処理をやり直すこととなる。

【0089】

この、タッチダウンとタッチアップの各々の発生時点におけるタッチ位置の変化が、タップ検出閾値Ｓより小さいか否かを判断するということは、前述のような操作の誤差などに起因するタッチ位置の変動を考慮に含めつつ、タッチダウンからタッチアップまでの間でタッチ位置が変化していない状態であるか否かを判断するということを意味する。そして時刻パラメータｋ＜１２０であるか否かを判断するということは、位置検出の処理は１秒間に１２０回の頻度で行われるので、タッチダウンからタッチアップまでの時刻が１秒以内であるか否かを判断するということを意味する。

【0090】

ステップＳ１１１およびＳ１１２の両方がイエスであれば、「タッチダウンの発生後１秒以内に、タッチアップが、タッチ位置の変化を伴わずに行われた」ことという「タップの発生条件」を満たしたこととなるので、操作内容取得手段１４はアプリケーション実行手段１１に、その座標位置においてタップ操作が発生したことを通知して（ステップＳ１１３）ステップＳ１０３に処理を戻す。

【0091】

ステップＳ１０８がイエス、即ち静止している状態でタッチが継続されている状態と判断されたら、操作内容取得手段１４は時刻パラメータｋの値をインクリメントして一時記憶手段１６に記憶し（ステップＳ１１４）、ｋ＞１２０であるか否か、即ちタッチが１秒以上継続されたか否かを判定する（ステップＳ１１５）。これがノーであれば、ステップＳ１１０に進んでタッチアップの発生を待ち受ける。

【0092】

ステップＳ１１５がノーとなるという状態は、即ちユーザが操作対象範囲６１に触れながら、ステップＳ１０２の処理によって触覚（テクスチャ感）が提示されている箇所を手探りで探している状態、即ち「１秒以上の静止を伴わずに、タッチ位置を変化させ続けている」という「サーチの継続条件」を満たしている。従って、この状態では、時刻パラメータｋのリセットは伴わない。

【0093】

ステップＳ１１５がイエスであれば、「同じタッチ位置にタッチした状態が１秒以上継続された」という「長押しの発生条件」を満たすので、操作内容取得手段１４は、アプリケーション実行手段に対して、長押しの発生条件が満たされたことおよびそのタッチ座標を送信する。アプリケーション実行手段１１はそのタッチ座標に基づいて表示オブジェクトに対応した音を出力するよう音出力制御手段１５に指示してから（ステップＳ１１６）、時刻パラメータｋを０にリセットして（ステップＳ１１７）、ステップＳ１０６からの処理を繰り返す。指示を受けた音出力制御手段１５は、その音を音出力部５０を介して出力する。以後、この動作は電子機器１００が動作を終了するまで繰り返される。

【0094】

（第１の実施形態：具体的な操作方法）
以上で説明した動作によって実現される電子機器１００の操作方法について説明する。図８は、図１〜２に示した電子機器１００の操作方法について示す説明図である。図８（ａ）は操作画面表示制御手段１２が操作画面を視覚表示部２０（操作対象範囲６１）に表示させた状態、図８（ｂ）は操作対象範囲６１上にユーザが指を置いてサーチを行っている状態、図８（ｃ）はユーザが操作対象範囲６１上の特定の位置を長押ししている状態、図８（ｄ）はユーザが操作対象範囲６１上の特定の位置をタップしている状態を各々示す。

【0095】

操作画面表示制御手段１２が視覚表示部２０（操作対象範囲６１）に表示させた操作画面には、複数の表示オブジェクト６２ａ、６２ｂ、…が表示されている。表示オブジェクトは単数でも複数でもよく、また表示させる項目およびそれらの配置や位置関係なども任意に決定することができる。たとえば０〜９の数字を入力するテンキーとしてもよいし、アルファベットやカナ文字などを入力するものとしてもよいし、「ＯＫ」もしくは「キャンセル」を入力するものとしてもよい。

【0096】

ただし、各々の表示オブジェクト６２ａ、６２ｂ、…が表示された位置は、同時にタッチ座標検出部３０が表示項目に対応する入力操作を受け付ける位置となり、さらに触覚提示部４０が触覚（テクスチャ感）を提示する位置ともなる。図８（ａ）に示した例では、表示オブジェクト６２ａ、６２ｂ、…としてテンキーが表示されている。

【0097】

図８（ｂ）に示した例は、ユーザが、操作対象範囲６１を指６３で触りながら移動しつつ、触覚（テクスチャ感）が提示されている表示オブジェクト６２ａ、６２ｂ、…を手探りでサーチしているという状態である。この時のユーザは、触覚によって表示オブジェクト６２ａ、６２ｂ、…の所在を探り当てることはできるが、どの表示オブジェクトがどの入力内容（文字など）に対応するかまではわからない。

【0098】

そこでユーザは、図８（ｃ）に示すように、表示オブジェクト６２ａ、６２ｂ、…の一つが探り当てられた位置で指６３の移動を止め、同じタッチ位置で１秒以上静止させる。すると図７のステップＳ１１５〜１１７で示した「長押し」が検出され、音出力制御手段１５がその表示オブジェクトに対応する内容の音を出力する。たとえばこれがテンキーのうちの「１」を入力するキーに相当するものであれば、「イチ」の音が音出力部５０から出力されることとなる。

【0099】

そして出力された音がユーザの意図したものであれば、図８（ｄ）に示すように、ユーザはその位置を軽く叩く、即ち「タップ」の操作を行う。するとその内容、この例では「１」を入力するという操作内容が、アプリケーション実行手段１１によって動作しているソフトウェアに渡されることとなる。「１」がユーザの意図した内容でなければ、ユーザはそのまま図８（ｂ）に示す指の移動、即ちサーチを継続する。

【0100】

上で示したように、第１の実施形態の電子機器は、操作内容取得手段１４が、表示オブジェクトに対応する位置で操作画面上を叩く動作を検出した場合に、アプリケーション実行手段１１を介して、当該表示オブジェクトに対応づけられた所定の機能（この例では動作しているソフトウェアに「１」を入力するという操作）を実行するように制御される。

【0101】

上の例では、数字「１」が書かれたボタンの表示オブジェクトを長押しすると「イチ」の音が出力される例を説明したが、出力される音は人間が発声器官を通じて発する音を模した音に限定されるものではない。例えば、モールス符号の「・−−−−」というような、音の発生と停止とで構成されるパターンを出力してもよい。あるいは、表示オブジェクトのボタンの機能が特定の楽曲を再生することに割り当てられている場合は、その楽曲の一部あるいは全部を音として出力してもよい。

【0102】

また、上の例では、数字「１」が書かれたボタンの表示オブジェクトを長押しすると「イチ」の音が出力される例を説明したが、出力される情報は音に限定されるものではなく、あらゆる感覚器を刺激する情報（感覚刺激情報）、すなわち、聴覚、触覚、味覚、視覚、嗅覚を刺激する情報を用いることができる。例えば、ユーザの視覚障害の程度が、文字は読めないが明暗は認識できる程度である、という場合は、モールス符号に準じて画面の明暗を制御することで、ユーザは表示オブジェクトの意味を理解することができる。

【0103】

あるいは、画面をモールス符号に準じて振動させても、ユーザは表示オブジェクトの意味を理解することができる。あるいは味覚提示手段を備え、表示オブジェクトに対応した味覚を提示することで、ユーザは表示オブジェクトの意味を理解することができる。あるいは嗅覚提示手段を備え、表示オブジェクトに対応した匂いを提示することで、ユーザは表示オブジェクトの意味を理解することができるものとしてもよい。

【0104】

してみれば、本発明の電子機器は、以下のように表現される。
即ち、ユーザによる操作対象範囲を含む操作画面を表示する視覚表示部と、前記操作対象範囲内に表示されている表示オブジェクトに対して当該ユーザが行ったタッチ操作の内容を検出するタッチ座標検出部と、前記操作画面上で当該ユーザが知覚可能な触覚を提示する触覚提示部とを備えた電子機器であって、
前記操作画面上に前記表示オブジェクトに対応した触覚を前記触覚提示部を介してユーザに提示させる触覚提示制御手段と、
前記タッチ座標検出部によって前記表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め与えられた閾値以下で且つその状態が所定時間以上続いたか否かを検出する操作内容取得手段と、
当該状態が前記所定時間以上続いた場合に当該表示オブジェクトに対応する、感覚刺激情報を、予め備えられた感覚刺激情報出力部を介して外部出力する感覚刺激情報出力制御手段とを有すること、を特徴とするものである。

【0105】

（第１の実施形態の全体的な動作と効果）
次に、第１の実施形態の全体的な動作について説明する。
本実施形態に係る電子機器の操作制御方法は、ユーザによる操作対象範囲６１を含む操作画面を表示する視覚表示部２０を備えた電子機器１００を操作制御する方法であって、アプリケーション実行手段１１が処理を実行して得られる内容である操作画面を操作画面表示制御手段１２が作成して視覚表示部２０に表示させ（図７：ステップＳ１０１）、この操作画面上の操作対象範囲６１内に当該ユーザが知覚可能な操作画面に対応した触覚を触覚提示制御手段１３が触覚提示部４０を介して提示し（図７：ステップＳ１０２）、操作対象範囲６１内に表示されている表示オブジェクト６２ａ、６２ｂ、…に対して当該ユーザが行ったタッチ操作の内容をタッチ座標検出部３０が検出し（図７：ステップＳ１０７）、表示オブジェクト上で検出されるタッチ位置の時間的な変化が予め設定した閾値以下で且つその状態が予め設定した時間以上続いたか否かを操作内容取得手段１４が検出し（図７：ステップＳ１０８，１１５）、当該状態が予め設定した時間以上続いた場合に当該表示オブジェクトに対応する感覚刺激情報を感覚刺激情報出力制御手段（音出力制御手段１５）が予め備えられた感覚刺激情報出力部（音出力部５０）を介して外部出力する（図７：ステップＳ１１６）。この感覚刺激情報は、音として構成することができる。

【0106】

ここで、前述の触覚提示部４０が触覚を提示する工程は、操作画面上の表示オブジェクト６２ａ、６２ｂ、…に対応する位置に触覚提示部４０が当該ユーザが知覚可能な触覚を提示するものである（図７：ステップＳ１０２）。また、操作内容取得手段１４が表示オブジェクト６２ａ、６２ｂ、…に対応する位置で操作画面上を叩く動作があったか否かを検出し（図７：ステップＳ１１０〜１１２）、これが検出された場合に、操作内容取得手段１４が、当該表示オブジェクトに対応する操作内容をアプリケーション実行手段１１に実行させる（図７：ステップＳ１１３）。

【0107】

ここで、上記各動作ステップについては、これをコンピュータで実行可能にプログラム化し、これらを前記各ステップを直接実行する統括制御部１０が備えるプロセッサに実行させるようにしてもよい。本プログラムは、非一時的な記録媒体、例えば、ＤＶＤ、ＣＤ、フラッシュメモリ等に記録されてもよい。その場合、本プログラムは、記録媒体からコンピュータによって読み出され、実行される。
この動作により、本実施形態は以下のような効果を奏する。

【0108】

前述の通り、先行技術に示した触覚提示装置を電子機器に応用すれば、ユーザは視覚に頼らなくても、タップ入力の対象である表示オブジェクトの所在を探り当てることはできる。しかしながら、実際に当該機器を視覚に頼らずに操作するには、各表示オブジェクトの配置と、それら各々に対応する操作内容とを、あらかじめ記憶している必要がある。特に視覚障害者が当該電子機器を利用しやすくするための対策として、これではまだ不十分である。

【0109】

本実施形態では、ユーザが、操作キーに対応する位置にタッチの情報を使わずに予め触覚が提示されている表示オブジェクトの所在を探り当てたら、その表示オブジェクトに対応する操作内容が、音によって読み上げられる。これによって、各表示オブジェクトの配置と操作内容とを記憶していないユーザでも、その電子機器を視覚に頼ることなく容易に操作できるようになる。また、ユーザが複数の指で同時に操作対象範囲に触れた場合でも、この例と同じように操作できるので、この点でも操作性を向上させることができる。

【0110】

（第１の実施形態と、後述の第２の実施形態とに共通する効果）
また、本発明は、タッチ位置の時間に伴う変化が閾値以下である状態が続いた場合に表示オブジェクトに対応する音を出力するように構成したので、視覚に障害が無いユーザが表示オブジェクトに対してタップ等の操作をした場合には、音が出力されない。このため視覚に障害が無いユーザにとっては、本来不要な音が出力されない状態で入力操作ができるので快適に利用できる。
このように、本発明は視覚に障害のあるユーザが使用する場合と、そうでないユーザが使用する場合との間で機器設定の変更などを必要とせず、どちらのユーザにとっても容易にあるいは快適に利用しうる電子機器、電子機器の操作制御方法およびプログラムを提供することができる。

【0111】

（第１の実施形態に特有の効果）
また、本実施形態では、表示オブジェクトの位置の情報に基づいて、表示オブジェクトの位置にテクスチャ感を局在化して提示する構成としたため、先行技術の課題の一つであるタイムラグに起因した位置ズレの問題が解消される。例えば、前述の特許文献４には「入力操作の内容に応じて」音声出力とパネルの振動を行うという技術が記載されているが、これはタッチパネルを介して行われた入力操作を判定し、その結果に応じてパネルを振動させるものである。即ち、その判定に起因するタイムラグによって、操作キーの位置と触覚が発生する位置との間にズレが生じる問題が存在していた。

【0112】

これに対して本実施形態では、触覚を提示するためにタッチパネルを介して行われた入力操作の情報を必要としない。第１の実施形態の触覚提示部は、操作画面上の第１の領域と第２の領域とで、同時に異なる触覚を提示可能に構成されているため、ユーザが表示オブジェクトに対してタッチ操作をするよりも前の時点で、当該ユーザが知覚可能な触覚を表示オブジェクトの位置に提示させるよう、触覚提示部を駆動する触覚提示制御手段を備えることで、表示オブジェクトの位置にあらかじめ他と異なる触覚を提示することが可能となる。このため位置ズレの問題が発生しない。従って、ユーザが素早くサーチした場合であっても、表示オブジェクトの位置とテクスチャ感の位置は常に一致しており、操作性が顕著に向上する。

【0113】

（第１の実施形態の効果の追加）
表示オブジェクトの位置と触覚が発生する位置との間にズレが生じる問題は、本願発明者の思考や実験を通して見出された課題である。以下に詳細に述べる。

【0114】

図９は、特許文献３の記載に基づいて本発明者が作成したフローチャートである。このフローチャートは、特許文献３に記載された、「表示部に取引選択画面を表示し、タッチパネルに触れた顧客の指の位置が表示部に表示されたキーのエリアに入ったとき、振動発生部によりタッチパネルを振動させ」の工程をあらわす。当該工程は次のステップを順に経る。

【0115】

・視覚表示部（表示部）に操作キー（キー）に対応する表示オブジェクトを含む取引選択画面を表示する（Ｓ３０１）。
・ユーザ（顧客）が画面（タッチパネル面）を指でタッチする（Ｓ３０２）。
・タッチ座標検出部がタッチを検出しタッチ座標を検出する（Ｓ３０３）。
・タッチ座標と表示オブジェクトの位置（エリア）とを比較する（Ｓ３０４）。
・タッチ座標が表示オブジェクトのエリア範囲内であればアクチュエータ（振動発生部）を駆動する信号を発生する。（Ｓ３０５）
・アクチュエータがタッチパネル面を振動させる（Ｓ３０６）。

【0116】

上記ステップを順に経るため、ユーザが操作キーをサーチによって探す場合、ユーザの指が表示オブジェクトの範囲に入ってからタッチ面が振動するまでに所定の時間が経過する。この時間のことをディレイとかタイムラグと呼ぶ。このタイムラグ（すなわち、ステップＳ３０２の処理が終わってから、ステップＳ３０３〜Ｓ３０５の処理を経て、ステップＳ３０６において実際にタッチ面が振動し始めるまでの時間）は、現行のスマートフォンの応答時間を参考にすると、５５ミリ秒以上であると推定される。

【0117】

一方、ユーザが操作キーの位置をサーチする場合、ユーザの指の速度は７００ｍｍ/秒を超えることが、本発明者等の実験でわかった。タイムラグと指の速度との積は３８．５ｍｍであり、この値が表示オブジェクトの位置と触覚が発生する時に指が存在する位置とのズレを表す。

【0118】

ユーザの指の速度の測定について図１０および図１１を用いて説明する。図１０は、第１の実施形態の電子機器であって、対角１０．４インチの視覚表示部および触覚提示部を有するものを示す。この電子機器に、表示オブジェクトとして９個の正方形のボタンを３行３列の形態で表示した。それらの表示オブジェクトの位置に、触覚提示部を用いて触覚を提示した。この状態を、図１０（ａ）に、ユーザがサーチしていない時として示す。

【0119】

この電子機器を用いて、ユーザにボタンの位置を触覚で探す（サーチする）というタスクを与え、その時の指の動きを動画で撮影し、指先の速度を求めた。このタスクの最中に撮影した写真を図１０（ｂ）に、ユーザがサーチしている時として示す。

【0120】

図１１は、測定された指先の速度の時刻変化を示す図である。測定された指先の最高速度は７００ｍｍ/秒を超える。ユーザは、指を画面の左右方向に走査しサーチしながら、その左右方向への走査の位置を徐々に画面の上下方向に移動させた。ユーザの指先が画面の左右端に達した時に指先の速度は極小値をとり、ユーザの指が画面中央付近の時に指先の速度は極大値をとった。

【0121】

これらの結果に基づき、表示オブジェクトの位置と触覚が発生する時に指が存在する位置とのズレを図１２のように可視化した。図１２（ａ）は、関連技術に基づき本発明者が書き起こした、ステップＳ３０１〜Ｓ３０６を順に経る電子機器において、指を右方向（移動方向６３１）に動かしサーチした場合の表示オブジェクト６２１の位置と触覚が発生する時に指が存在する位置とを相対的に示したものである。視覚によって知覚される表示オブジェクト６２１の位置を「視覚」のラベルで示した。画面の一例として、表示オブジェクト６２１を黒の四角形で表示し、背景の色を白色で表示した場合、視覚のラベルで示されたパルス波形は、その横軸が位置に対応し縦軸が表示オブジェクト６２１の輝度に対応する。また触覚で知覚される位置を「触覚」のラベルで示した。触覚のラベルで示されたパルス波形は、その横軸が位置に対応し縦軸が知覚された振動の強さに対応する。尚、本例の表示オブジェクト６２１は、タップ入力で使用するボタンとしている。

【0122】

図１２（ａ）から理解できる通り、触覚が発生する時に指が存在する位置は表示オブジェクト６２１が存在する位置である視覚に対して３８．５ｍｍ右側にずれる。タップ入力の対象である表示オブジェクト６２１の左右方向のサイズが３８．５ｍｍより小さい場合、触覚で知覚されたタップ入力のボタンの位置と表示オブジェクト６２１の位置との関係において、両者の間に図形演算でいうところの積が存在しないため、触覚で知覚されたボタンの位置をタップしてもそのボタンの機能は実行されないという問題が生じる。

【0123】

図１２（ｂ）は、指を右方向（移動方向６３１）および左方向（移動方向６３２）に動かしてサーチする場合の表示オブジェクト６２２の位置と、触覚が発生する時に指が存在する位置とを相対的に示したものである。右方向にサーチした場合に指によって触覚が知覚される位置を「触覚(1)」のラベルで示している。図で触覚が知覚される場合は縦軸の振動の強さが大きくなり、触覚が知覚されない場合は振動の強さが小さくなるため、指を右方向に動かしてサーチする場合は位置に対してパルス状の変化を示す。同様に、左方向にサーチした場合に触覚が知覚される位置を「触覚(2)」のラベルで示した。

【0124】

図１２（ｂ）から理解できる通り、指を右方向に動かしてサーチした場合、触覚が発生する時に指が存在する位置は視覚に対して３８．５ｍｍ右側にずれる。一方、指を左方向に動かしてサーチした場合、触覚が発生する時に指が存在する位置は視覚に対して３８．５ｍｍ左側にずれる。タップ入力の対象である表示オブジェクト６２２の左右方向のサイズが７７．０ｍｍより小さい場合、右方向にサーチして知覚されたタップ入力のボタンの位置と、左方向にサーチして知覚されたタップ入力のボタンの位置との関係において、両者の間に図形演算でいうところの積が存在しない。つまり右方向にサーチして知覚されたボタンの位置と左方向にサーチして知覚されたボタンの位置とが大きく異なることとなり、ユーザは戸惑い、タップ入力に支障が生じる。

【0125】

このように、特許文献３のような関連技術を用いて、表示オブジェクトの表示と触覚の提示とを行う場合、表示と触覚の提示の間にタイムラグ（ディレイ）が存在する。このため、上述のように、触覚提示位置をサーチする際に、表示位置と実際に振動が発生し触覚を感じる位置との間に大きな位置ズレが発生する。この位置ズレは、ユーザビリティを著しく低下させていた。

【0126】

一方、本実施形態に係る電子機器におけるフローチャートを図１３に示す。本実施形態の電子機器は、図１乃至図８を用いた構造および動作を有し、次のステップを順に経る工程を有する。

【0127】

・視覚表示部２０に操作キーに対応する表示オブジェクトを表示する（Ｓ３１１）。
・表示オブジェクトに対応する位置に局在化された触覚（テクスチャ感）を提示するように触覚提示パネル（触覚提示部４０）を駆動する（Ｓ３１２）。
・ユーザが操作対象範囲６１をタッチする（Ｓ３１３）。

【0128】

本実施形態の電子機器１００は、面上に異なる触感を同時に提示可能な触覚提示部４０を有する。このため、上記フローチャートに示すように、ユーザが操作対象範囲６１に触るよりも前の時点から触覚提示部４０を駆動することが可能となる。この結果、関連技術の課題の一つであるタイムラグに起因した位置ズレの問題を解消することができる。

【0129】

図１４は、前述のステップＳ３１１〜Ｓ３１３を順に経る、本実施形態の電子機器１００における、表示オブジェクトの位置と触覚の位置とのズレを説明する図である。図１４（ａ）は指を右方向（移動方向６３１）に動かした場合の表示オブジェクト６２１の位置と触覚が発生する位置とを示した図であり、図１４（ｂ）は指を右方向（移動方向６３１）および左方向（移動方向６３２）に動かした場合の表示オブジェクト６２１の位置と触覚が発生する位置とを示した図である。図１２と同様に図１４でも、視覚によって知覚される表示オブジェクト６２１の位置を「視覚」のラベルで示し、その横軸は位置に対応し縦軸は表示オブジェクト６２１の輝度に対応する。また触覚で知覚される位置を「触覚」のラベルで示し、その横軸は位置に対応し縦軸は知覚されたテクスチャ感の強さに対応する。本実施形態では、表示オブジェクトの位置に局在化されたテクスチャ感を提示しているため、位置に対してパルス状の変化を示す。

【0130】

前述の通り、本実施形態の触覚提示部４０は、操作画面上の第１の領域と第２の領域とで、同時に異なる触覚を提示可能に構成されている。この触覚提示部４０と、ユーザが表示オブジェクトに対してタッチ操作をするよりも前の時点で、当該ユーザが知覚可能な触覚を表示オブジェクトの位置に提示させるよう、触覚提示部４０を駆動する触覚提示制御手段１３とを備えることで、表示オブジェクトの位置にあらかじめ他と異なる触覚を提示することが可能となる。このため位置ズレの問題が発生しない。

【0131】

これらの図から理解できるように、本実施形態の電子機器１００では、表示オブジェクトの位置と触覚が発生する位置とのズレがゼロである。その理由は、ユーザが操作対象範囲６１に触るよりも前の時点から、触覚提示部４０の表示オブジェクトの領域が駆動されているからである。あるいはタッチ位置と表示オブジェクトの位置との比較動作が不要であるからである。従って、ユーザが素早くサーチした場合であっても、表示オブジェクトの位置と触覚が発生する位置とは一致し、操作性が顕著に向上する。

【0132】

以上で説明した本実施形態による動作では、ユーザが当該機器に対して行っている操作の内容が、全て音出力部を介して出力されることになる。例えば銀行などのＡＴＭで暗証番号を入力する時などのように、操作の内容を他者に聞かれたら困る場合も考えられるが、そのような場合にはイヤホンなどを利用して、音出力を他者に聞かれないようにすることもできる。

【0133】

本発明の電子機器は、別の側面から次の特徴を有する電子機器ともいえる。すなわち、本発明の電子機器は、
・面の一部の領域の触感を変更可能な触覚提示部、言い換えると、面上に異なる触感を同時に提示可能な触覚提示部と、
・触覚提示部に対するユーザの接触を検出するタッチ検出部と、
・前記触覚提示部の所定の領域の触感を変更することで提示された触覚オブジェクトと、
を備え、
・ユーザが当該触覚オブジェクトに接触するよりも前の時点で、当該触覚オブジェクトを提示させるよう、前記触覚提示部を駆動する触覚提示制御手段を備え、
・前記触覚オブジェクトに対して所定のタッチ動作が検出された場合、前記触覚オブジェクトに対応づけられた動作が実行される
という特徴を有する。
このように、本発明において視覚提示部を省略することも可能である。その場合、「表示オブジェクト」を「触覚オブジェクト」に代える。

【0134】

（第２の実施形態）
本発明の第２の実施形態に係る電子機器２００は、前述した第１の実施形態の構成に替えて、統括制御部２１０が、操作内容取得手段２１４が表示オブジェクト６２ａ、６２ｂ、…上にタッチ位置を検出した場合に、操作対象範囲６１全体を直接的に振動させるよう、触覚提示部に替えて予め備えられた振動提示部２４０の動作を制御する振動提示制御手段２１３を備えるものとした。

【0135】

この構成によれば、第１の実施形態と同一の効果をより低コストに得ることができ、また既存の機器に対してもソフトウェアの追加および置換のみでその効果を得ることが可能となる。
以下、これをより詳細に説明する。

【0136】

図１５は、本発明の第２の実施形態に係る電子機器２００の構成について示す説明図である。電子機器２００は、前述した第１の実施形態に係る電子機器１００と共通する構成および内容を多く含むので、共通する点については第１の実施形態と同一の呼称および参照番号で示す。この電子機器２００は、第１の実施形態と共通する視覚表示部２０を備えると共に、第１の実施形態とは異なる振動提示部２４０と、第１の実施形態とは異なるタッチ座標検出部２３０と、第１の実施形態とは異なる統括制御部２１０とを備える。

【0137】

タッチ座標検出部２３０は、典型的には液晶ディスプレイ装置である視覚表示部２０の表面に配設したタッチパネルである。このタッチパネルの周辺に機械的振動子をとりつけることで、タッチパネルに振動提示の機能を付与した。このため本電子機器２００は、タッチパネルが触覚提示部を兼ねる構成である。

【0138】

第１の実施形態における触覚提示部４０は、操作対象範囲６１の中の特定の表示オブジェクト６２ａ、６２ｂ、…の個々に対応した位置に触覚（テクスチャ感）を提示するものである。これに対して振動提示部２４０は、操作対象範囲６１全体、即ちユーザが操作のためにタッチする面全体を直接的に振動させ、ユーザに対して触覚を提示するものである。具体的には、ピエゾ振動子、あるいは携帯電話端末用のバイブレータで使用されている小型モーターなどを利用して実現することができる。

【0139】

図１６は、図１５に示した電子機器２００で、統括制御部２１０のより詳しい構成について概念的に示す説明図である。統括制御部２１０は、操作制御プログラムが実行されることにより、アプリケーション実行手段１１、操作画面表示制御手段１２、振動提示制御手段２１３、操作内容取得手段２１４、および音出力制御手段１５の各々として機能する。振動提示制御手段２１３および操作内容取得手段２１４以外は、第１の実施形態と共通である。また、統括制御部２１０は、第１の実施形態と共通する音出力部５０および一時記憶手段１６も併設されている。

【0140】

振動提示制御手段２１３は、アプリケーション実行手段１１からの動作指示により、振動提示部２４０を制御して操作対象範囲６１全体を振動させ、ユーザに対して振動を提示する。

【0141】

図１７は、図１５〜１６に示した電子機器２００で、統括制御部２１０（特に操作内容取得手段２１４）が行う動作について示すフローチャートである。この図１７も、図７で示した第１の実施形態と共通する動作を多く含むので、共通する動作については同一の参照番号で示す。操作内容取得手段２１４が検出する「タッチダウン」「タッチアップ」「長押し」「サーチ」「タップ」の各々の動作の定義とそれら各々の検出条件もまた、第１の実施形態と同一である。

【0142】

アプリケーション実行手段１１がユーザによる入力操作を受け付ける状態になると、操作内容取得手段２１４は図７のステップＳ１０１〜ステップＳ１０４と同一の動作を、ステップＳ１０２を省略して行う。

【0143】

そしてタッチダウンが発生すれば（ステップＳ１０４がイエス）、操作内容取得手段２１４は、図７のステップＳ１０５〜ステップＳ１０７と同一の動作を行う。操作内容取得手段２１４は、タッチダウンが発生したという情報とステップＳ１０７で取得したタッチ位置ベクトルｒ_ｎとをアプリケーション実行手段に送信する。アプリケーション実行手段は、ステップＳ１０７で取得したタッチ位置ベクトルｒ_ｎの座標が表示オブジェクト６２ａ、６２ｂ、…に該当する位置であるか否かについて判断する（ステップＳ２０１）。

【0144】

ｒ_ｎの座標が表示オブジェクトに該当すれば（ステップＳ２０１がイエス）、アプリケーション実行手段１１は振動提示制御手段２１３に対して振動を発生させるよう指示してから（ステップＳ２０２）ステップＳ１０８以降の処理に進む。指示を受けた振動提示制御手段２１３は、振動提示部２４０を介して操作対象範囲６１全体を振動させる。

【0145】

ｒ_ｎの座標が表示オブジェクトに該当しなければ（ステップＳ２０１がノー）そのままステップＳ１０８以降の処理に進む。ステップＳ１０８以降の処理は、図７で説明した第１の実施形態の動作と同一である。

【0146】

以上で説明した本実施形態に係る電子機器２００によれば、前述した第１の実施形態に係る電子機器１００と同一の効果を、表示オブジェクト個々の位置に対応した位置に触覚（テクスチャ感）を提示する触覚提示部を備えていない機器においても得ることができる。即ち、ピエゾ振動子や携帯電話端末用バイブレータなどを備えていればよいので、より低コストに本願発明の効果を得ることができる。また、既存の機器に対しても、ソフトウェアの追加および置換のみで本実施形態を実施してその効果を得ることが可能となる。

【0147】

（第３の実施形態）
本発明の第３の実施形態に係る電子機器は、前述した第１の実施形態に対して視覚表示部と触覚提示部とが空間的に分離している点が主な相違点である。視覚表示部と触覚提示部が空間的に分離しているため、操作の対象をあらわす視覚オブジェクトの寸法と触覚オブジェクトの寸法とを一致させる必要は無く、視覚表示部に表示される表示オブジェクトの相対的な位置と触覚提示部に提示される触覚オブジェクトの相対的な位置とが略一致するように制御されればよい。本実施形態は、視覚に障害が無いユーザによる利用を想定し、自動車内の運転手向けのインタフェース機器に本発明を適用した例である。

【0148】

以下、図１８および図１９を参照して、当該インタフェース機器について、空調装置の温度設定操作を例に用いて詳細に説明する。

【0149】

図１８は第３の実施形態に係る電子機器３００の構成について示す説明図であり、図１９は電子機器３００を搭載した移動体である。電子機器３００は、前述した第１の実施形態に係る電子機器１００と共通する構成および内容を多く含むので、それらの共通する点については第１の実施形態と同一の呼称および参照番号で示す。

【0150】

この電子機器３００は、第１の実施形態と共通する触覚提示部４０とタッチ座標検出部３０とを操作対象範囲６１に備える。一方、視覚表示部３２０は、触覚提示部４０やタッチ座標検出部３０とは一体化されず、任意の場所に配置可能に構成される。視覚表示部３２０は、可視光に対して透明なスクリーンと投影光学系とで構成されるプロジェクタ型の表示装置である。視覚表示部３２０を操作対象範囲６１と独立に配置することができるため、視覚表示部３２０と操作対象範囲６１とのそれぞれを、ユーザが最も使いやすい位置に配置可能である。その結果、ユーザビリティが向上する効果が得られる。

【0151】

図１９に示すように、視覚表示部３２０は運転席前方のダッシュボード上に配設され、ユーザに対するヘッドアップディスプレイとして機能する。一方、触覚提示部４０とタッチ座標検出部３０とを含んで構成される操作対象範囲６１はユーザが右腕を肘掛けに載せたときに右手の指が位置する場所付近に配置される。

【0152】

触覚提示部４０には、視覚表示部３２０に表示された表示オブジェクト３６２ａ、３６２ｂに対応する触覚オブジェクト７０ａ、７０ｂが提示される。表示オブジェクト３６２ａは、視覚表示部３２０の画面の下半分かつ左半分の領域に表示される。これに対応する触覚オブジェクト７０ａは、操作対象範囲６１の下半分かつ左半分の領域に表示される。表示オブジェクト３６２ｂは、視覚表示部３２０の画面の下半分かつ右半分の領域に表示される。これに対応する触覚オブジェクト７０ｂは、操作対象範囲６１の下半分かつ右半分の領域に表示される。

【0153】

本実施形態は第１の実施形態と異なり、視覚表示部３２０は触覚提示部４０と一体化されていないため、表示オブジェクト３６２ａの縁と触覚オブジェクト７０ａの縁とを一致させるという概念は存在しない。そのため、本実施形態では、視覚表示部３２０に表示された表示オブジェクト３６２ａ、３６２ｂそれぞれの相対的な位置関係と触覚提示部４０に提示された触覚オブジェクト７０ａ、７０ｂそれぞれの相対的な位置関係とが大まかに一致するように、統括制御部３１０によって制御、駆動される。あるいは、視覚表示部３２０および表示オブジェクト３６２ａ、３６２ｂを平面視して得られる図形と、操作対象範囲６１および触覚オブジェクト７０ａ、７０ｂを平面視して得られる図形とがほぼ相似の関係となるように、統括制御部３１０が制御、駆動する。

【0154】

統括制御部３１０には実施形態１同様に操作内容取得手段が含まれるが、その働きは実施形態１と異なる。すなわち、本実施形態の操作内容取得手段は、触覚オブジェクト７０ａ、７０ｂに対応する位置で操作対象範囲６１を叩く動作（タップ操作）が検出された場合に、触覚オブジェクト７０ａ、７０ｂに対応付けられた所定の機能を実行するように制御される。

【0155】

触覚オブジェクト７０ａ、７０ｂの領域には、第１の実施形態と同様に、ユーザによる入力操作を受け付ける状態になると、テクスチャ感が局在的に提示される。すなわち、触覚提示部４０はユーザが触覚オブジェクト７０ａ、７０ｂの領域に接触するよりも前の時点で、触覚オブジェクト７０ａ、７０ｂの領域にテクスチャ感を提示するように駆動される。

【0156】

統括制御部３１０には空調装置３７０が接続される。視覚表示部３２０には温度表示領域３６２ｃが設けられている。

【0157】

次に、図１８に示す「Ｄｏｗｎ」と書かれた表示オブジェクト３６２ａを、ユーザが選択し入力する場合について説明する。本実施形態ではユーザは視覚表示部３２０を視認し表示オブジェクト３６２ａ、３６２ｂの位置および機能を認識し、操作対象範囲６１を操作する。操作対象範囲６１には表示オブジェクト３６２ａ、３６２ｂに対応する位置に触覚オブジェクト７０ａ、７０ｂが提示されているため、操作対象範囲６１を視認することなくタップ操作をすべき位置を知ることができる。

【0158】

設定温度を下げたい意思を持ったユーザは、視覚表示部３２０を視認することで、設定温度を下げる表示オブジェクト３６２ａが左下にあり、設定温度を上げる表示オブジェクト３６２ｂが右下にあることを認識する。その後、ユーザは操作対象範囲６１をサーチすることで、左右に並ぶ触覚オブジェクト７０ａ、７０ｂを知覚し、触覚オブジェクト７０ａの位置でタップ操作をする。この操作により設定温度が例えば１目盛分下がる。

【0159】

本実施形態では空調装置３７０の設定温度の制御について説明したが、本発明はこれに限定されず、多様な付帯機器を動作、制御するために適用できる。

【0160】

（第３の実施形態の効果）
第３の実施形態の電子機器３００およびこれを搭載した移動体における効果を説明する。ひとつの効果は、視覚表示部３２０と操作対象範囲６１とのそれぞれを、ユーザが最も使いやすい位置に配置することでユーザビリティが向上する効果が得られることである。

【0161】

ユーザは運転中、前方に注意する義務を負う。図１９に示した移動体の例では、ユーザが注意をはらうために目配りする視線の極めて近くに視覚表示部３２０が設けられており、かつ操作対象範囲を視認することなく設定温度を下げたり上げたりできる。そのため、ユーザは前方注意義務の履行に専念しつつ空調装置３７０の操作を行うことが可能となり、安全運転を継続することが可能となる。

【0162】

他の効果は、ユーザが触覚オブジェクト７０ａ、７０ｂをサーチで探りあてる際、ユーザによって知覚される触覚オブジェクト７０ａ、７０ｂの位置が、指の速度に関わらず一定であり、ユーザがタップ操作をすべき位置を正しく知ることができることである。

【0163】

この理由は、第1の実施形態と同様、触覚提示部４０はユーザが触覚オブジェクト７０ａ、７０ｂの領域に接触するよりも前の時点で、触覚オブジェクト７０ａ、７０ｂの領域にテクスチャ感を提示するように駆動されるからである。このため、触覚オブジェクト７０ａ、７０ｂの位置とユーザによって知覚される触覚オブジェクト７０ａ、７０ｂの位置とのずれが生じない。

【0164】

一方、関連技術を適用した場合、ユーザの指のタッチ座標を検出し、検出された座標があらかじめ決められた所定の領域（タップ操作を受け付ける領域）内であるかどうかを比較し、タッチ座標が当該領域内であればアクチュエータを駆動する信号を発生し、タッチ面を振動させるという工程を経るため、ユーザの指が当該領域に入ってからタッチ面が振動するまでにタイムラグが生じる。このため、当該領域と、触覚が発生するときに指が存在する位置とが、指の速度に応じてずれる問題が生じる。つまりユーザが触覚で知覚したタップ操作を受け付ける領域の位置と実際にタップ操作を受け付ける領域の位置とが異なる問題が生じる。

【0165】

尚、触覚を局在化して提示する触覚提示部４０は、実施形態１で説明した構成、すなわちＸＹ電極をマトリクス状に配設した構成に限定されない。たとえば、特許文献１に記載された、複数のセグメント電極を基板上に配設した構成を用いることができる。あるいは特許文献５に記載された、複数の形状記憶合金を基板上に配設した構成を用いることができる。あるいは特許文献６に記載された、触知ピンをマトリクス状に配列した構成を用いることができる。あるいは、当該文献から類推できる構成、例えばピエゾ振動子を複数個面上マトリクス状に配列した構成を用いることができる。

【0166】

（実施形態の拡張）
以上で説明した第１乃至第３の実施形態は、その趣旨を改変しない範囲で、種々の拡張が可能である。以下、この拡張について説明する。

【0167】

以上で説明した各実施形態は、ユーザが「タップ」の操作を行った場合に、その操作内容がアプリケーション実行手段１１によって動作しているソフトウェアに渡されるというものであった。第１および第２の実施形態のいずれにおいても、「タップ」のかわりに「押し込み」、即ち「長押し」の操作で同じタッチ位置で静止していた指をそのままの静止状態でさらに押す力を強めるという操作に置き換えることもできる。

【0168】

この場合は、操作対象範囲（視覚表示部２０、タッチ座標検出部３０、および触覚提示部４０）にさらに荷重センサを追加して、押す力が強まったことを検出したら「押し込み」が発生したと判定するようにしてもよい。また、操作対象範囲に接触している指の面積を操作内容取得手段１４（または２１４）が検知することができる構成として、その面積が拡大したことを検出したら「押し込み」が発生したと判定するようにしてもよい。この例の電子機器は、操作内容取得手段１４が、表示オブジェクトに対応する位置で操作画面を押し込む動作を検出した場合に、アプリケーション実行手段１１を介して、当該表示オブジェクトに対応づけられた所定の機能を実行するように制御される。

【0169】

これまで本発明について図面に示した特定の実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、本発明の効果を奏する限り、本発明の構成要素として、これまで知られたいかなる構成であっても採用することができる。

【産業上の利用可能性】

【0170】

本発明は、タッチパネルを搭載した電子機器全般に対して適用可能である。前述したような券売機、ＡＴＭ、マルチメディアキオスク端末装置などのみならず、個人によって所有および使用されることを前提とするスマートフォン、タブレット端末、ノートブック型パーソナルコンピュータなどにおいても、視覚障害者が利用しやすいものとするための対策が求められることがあるので、本発明を適用する意義がある。

【符号の説明】

【0171】

１００、２００、３００ 電子機器
１０、２１０、３１０ 統括制御部
１１ アプリケーション実行手段
１２ 操作画面表示制御手段
１３ 触覚提示制御手段
１４、２１４ 操作内容取得手段
１５ 音出力制御手段
１６ 一時記憶手段
２０、３２０ 視覚表示部
３０、２３０ タッチ座標検出部
４０ 触覚提示部
４１ 支持基板
４２ Ｘ電極
４３ Ｙ電極
４４ Ｘ電極駆動回路
４５ Ｙ電極駆動回路
４６ 制御部
４７ 対象領域
４８ 電極
４９ 抵抗
５０ 音出力部
６１ 操作対象範囲
６２ａ、６２ｂ、３６２ａ、３６２ｂ 表示オブジェクト
３６２ｃ 温度表示領域
６３ 指
７０ａ、７０ｂ 触覚オブジェクト
２１３ 振動提示制御手段
２４０ 振動提示部
３７０ 空調装置
６２１、６２２ 表示オブジェクト
６３１、６３２ 移動方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】