特開 2016-170752 タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-170752(P2016-170752A)

(43)【公開日】2016年9月23日

(54)【発明の名称】タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160826BHJP

   G06F 3/048 20130101ALI20160826BHJP

   G06F 3/0488 20130101ALI20160826BHJP

   G06F 3/041 20060101ALI20160826BHJP

【ＦＩ】

   G06F3/01 310Z

   G06F3/048 656A

   G06F3/048 620

   G06F3/041 480

   G06F3/041 600

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】15

(21)【出願番号】特願2015-51812(P2015-51812)

(22)【出願日】2015年3月16日

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）第１９回日本バーチャルリアリティ学会大会 予稿集 平成２６年 ９月１７日発行 （２）第１９回日本バーチャルリアリティ学会大会にて展示発表 平成２６年 ９月１９日発表 （３）第１９回一般社団法人情報処理学会シンポジウム インタラクション２０１５予稿集 平成２７年 ２月２６日発行 （４）第１９回一般社団法人情報処理学会シンポジウム インタラクション２０１５にてインタラクティブ発表 平成２７年 ３月 ６日発表

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】フレルバータル ソガルラグチャー

(72)【発明者】

【氏名】中井 優理子

(72)【発明者】

【氏名】梶本 裕之

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555BA06

5E555BB06

5E555CA13

5E555CA32

5E555CB10

5E555CB31

5E555CB59

5E555CC05

5E555CC12

5E555DA24

5E555DB60

5E555DC24

5E555DC25

5E555DC73

5E555FA14

5E555FA30

(57)【要約】

【課題】タッチパネル上で行われた操作に追従して、ユーザが精度良く認識しやすい状態で触覚を提示することが可能な、タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末を提供する。
【解決手段】タッチパネルに接続された触覚提示装置において、タッチパネル上の操作位置周辺の表示情報を切り出す切り出し処理部２５と、切り出された操作位置周辺の表示情報を左右反転させて、複数の触覚刺激子で構成された触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部２６と、生成された刺激子特定情報で特定される触覚刺激子からに刺激要因を出力させることで、表示対象情報への操作に対応した触覚をユーザに提示する触覚提示制御部３３とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルに接続された触覚提示装置において、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、
触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、
前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、
前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部と
を備えることを特徴とする、タッチパネル操作に対応する触覚提示装置。

【請求項2】

前記切り出し処理部は、ユーザによりスライド操作が行われると、前記スライド操作により移動する、操作位置周辺の表示情報を順次切り出し、
前記刺激子特定情報生成部は、前記切り出し処理部で順次切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための刺激子特定情報を順次生成し、
前記触覚提示制御部は、前記刺激子特定情報生成部で順次生成された刺激子特定情報に基づいて、該当する触覚刺激子から順次刺激要因を出力させることで、前記スライド操作に追従して変化する、前記表示情報への操作に対応した触覚をユーザに提示する
ことを特徴とする請求項１に記載の、タッチパネル操作に対応する触覚提示装置。

【請求項3】

前記触覚ディスプレイは、前記タッチパネルを人間の指でタッチ操作したときに、当該タッチパネルに接触する指面積に該当する面積を有する
ことを特徴とする請求項１または２に記載の、タッチパネル操作に対応する触覚提示装置。

【請求項4】

前記触覚ディスプレイは、タッチパネルの裏面側に、前記タッチパネルと逆方向を向くように設置されている
ことを特徴とする請求項１〜３いずれか１項に記載の、タッチパネル操作に対応する触覚提示装置。

【請求項5】

前記切り出し処理部は、前記操作による前記タッチパネルへの押圧の強さを検出し、検出した押圧の強さの情報に基づいて、切り出す表示情報の面積を変更する
ことを特徴とする請求項１〜４いずれか１項に記載の、タッチパネル操作に対応する触覚提示装置。

【請求項6】

所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置におけるタッチパネル操作に対応する触覚提示方法であって、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理ステップと、
前記切り出し処理ステップで切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成ステップと、
前記刺激子特定情報生成ステップで生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御ステップと
を有することを特徴とする、タッチパネル操作に対応する触覚提示方法。

【請求項7】

所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置に、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理機能と、
前記切り出し処理機能で切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成機能と、
前記刺激子特定情報生成機能で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御機能と
を実行させるための、タッチパネル操作に対応する触覚提示用プログラム。

【請求項8】

所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルと、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、
触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、
前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、
前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部と
を備えることを特徴とする触覚提示装置を搭載した携帯端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タッチパネルに表示された表示対象情報上をユーザがタッチ操作したときに、操作した指と異なる指に、当該操作に対応する触覚を提示する、タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末に関する。

【背景技術】

【0002】

スマートフォンやタブレット端末などのタッチパネルが搭載されたデバイスの普及に伴い、その操作の快適さや正確さの向上が重要な課題となっている。タッチパネルを用いることで、選択対象のアイコンが表示された部分を指で直接タッチ操作するなどの直観的操作が可能になり、操作の快適性が向上する一方、クリック感などの触覚フィードバックが欠如し、入力精度が低下することが知られている。

【0003】

そこで、タッチパネル上でタッチ操作を行ったときに、パネルに触れた指（以降、「操作指」と称する）の指先にアイコンを操作した触覚をフィードバックさせることで、クリック感を提示する技術がある。例えば、タッチパネル上に透明電極を設置し、表示されたアイコンに対応する位置の電極に微弱電流を流すことで、タッチ操作時に操作指に電気刺激を与え、アイコン操作に対応した触覚を提示するものがある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１０６７４３号公報

【非特許文献】

【0005】

【非特許文献1】Fukushima, S. and Kajimoto, H. Palm Touch Panel: Providing Touch Sensation Through the Device, In Proceedings of ITS '11 (2011), 79-82.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上述した技術において触覚提示手段として用いる電極はタッチパネルの表面に設置されるため、視覚的に遮らないように透明なものにする必要があり、構成部品が限定されて製造上の制約が大きいという問題があった。

【0007】

これに鑑み、タッチパネルの裏面全体を覆うように、触覚提示手段としての電極を敷き詰めた触覚ディスプレイを配置し、タッチパネルの持ち手に、操作したアイコン等の位置を触覚で提示するデバイスがある。このデバイスでは電極は透明である必要はなく、構成の自由度が高くなる。

【0008】

しかし、タッチパネルの裏面全体を覆うように電極を敷き詰めたデバイスは、製造コストがかかるという問題があった。またこのデバイスは、ユーザが操作したアイコンの位置を持ち手側に提示することはできるが、提示される触覚の感覚が、タッチパネル上での操作指の動きに追従していないため、持ち手側で表示物の形状等を認識することが困難であるという問題があった。

【0009】

本発明は上記事情に鑑みてなされたものであり、タッチパネル上で行われた操作に追従して、ユーザが精度良く認識しやすい状態で触覚を提示することが可能な、タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するための、本発明のタッチパネル操作に対応する触覚提示装置は、所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルに接続され、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部とを備えることを特徴とする。

【0011】

また本発明のタッチパネル操作に対応する触覚提示方法は、所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置におけるタッチパネル操作に対応する触覚提示方法であって、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理ステップと、前記切り出し処理ステップで切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成ステップと、前記刺激子特定情報生成ステップで生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御ステップとを有することを特徴とする。

【0012】

また本発明のタッチパネル操作に対応する触覚提示用プログラムは、所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置に、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理機能と、前記切り出し処理機能で切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成機能と、前記刺激子特定情報生成機能で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御機能とを実行させることを特徴とする。

【0013】

また本発明の触覚提示装置を搭載した携帯端末は、所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルと、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部とを備えることを特徴とする。

【発明の効果】

【0014】

本発明のタッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末は、タッチパネル上で行われた操作に対応して、ユーザが精度良く認識しやすい状態で触覚を提示することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態による触覚提示装置を利用したスマートフォンの外観斜視図である。

【図2】本発明の一実施形態による触覚提示装置を利用したスマートフォンの構成を示すブロック図である。

【図3】本発明の一実施形態による触覚提示装置を利用したスマートフォンをユーザが把持している状態を、スマートフォンの裏側から見た外観斜視図である。

【図4】本発明の一実施形態による触覚提示装置を利用したスマートフォンをユーザが把持している状態を、スマートフォンの表側から見た外観斜視図である。

【図5】本発明の一実施形態による触覚提示装置の動作を示すフローチャートである。

【図6】本発明の一実施形態による触覚提示装置を利用したスマートフォンのタッチパネル上に表示対象情報が表示された状態を示す正面図である。

【図7】本発明の一実施形態による触覚提示装置を利用したスマートフォンの、（ａ）タッチパネル上で、ユーザがスライド操作を開始した状態を示す正面図、（ｂ）電気触覚ディスプレイの通電状態を示す正面図である。

【図8】本発明の一実施形態による触覚提示装置を利用したスマートフォンの、（ａ）タッチパネル上で、ユーザがスライド操作を行っている状態を示す正面図、（ｂ）電気触覚ディスプレイの通電状態を示す正面図である。

【図9】本発明の一実施形態による触覚提示装置を利用したスマートフォンの、（ａ）タッチパネル上で、ユーザがスライド操作を行っている状態を示す正面図、（ｂ）電気触覚ディスプレイの通電状態を示す正面図である。

【図10】本発明の一実施形態による触覚提示装置を利用したスマートフォンの、（ａ）タッチパネル上で、ユーザがスライド操作を行っている状態を示す正面図、（ｂ）電気触覚ディスプレイの通電状態を示す正面図である。

【図11】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験に用いる表示対象情報の図形を示す。

【図12】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。

【図13】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。

【図14】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの判定速度を検証する実験の結果の例である。

【図15】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験に用いる表示対象情報の図形を示す。

【図16】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。

【図17】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。

【図18】本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの判定速度を検証する実験の結果の例である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態として、タッチパネル操作に対応する触覚提示装置を搭載したスマートフォンについて、詳細に説明する。

【0017】

〈一実施形態による触覚提示装置を搭載したスマートフォンの構成〉
本実施形態による触覚提示装置を搭載したスマートフォンの構成を、図１を参照して説明する。図１は、スマートフォン１を裏面側から見た外観斜視図である。スマートフォン１には、端末本体２の裏面側の中央よりやや上の位置に、複数の電極がマトリックス状に配置された電気触覚ディスプレイ３が設置されている。端末本体２の表面側には、後述するタッチパネル２１が設置されており、電気触覚ディスプレイ３は、端末本体２の裏面側に、タッチパネル２１と逆方向を向くように設置されている。端末本体２と電気触覚ディスプレイ３とは、ＵＳＢシリアル通信可能な状態で接続されている。

【0018】

端末本体２および電気触覚ディスプレイ３の詳細な機能構成について、図２のブロック図を参照して説明する。端末本体２は、タッチパネル２１と、入力情報取得部２２と、表示制御部２３と、キャプチャ処理部２４と、切り出し処理部２５と、刺激子特定情報生成部としての提示位置情報生成部２６と、送信部２７とを有する。

【0019】

タッチパネル２１は、所定形状の表示対象情報を表示するとともに、ユーザによるタッチ操作に関する情報を入力する。入力情報取得部２２は、タッチパネル２１から入力された情報を取得する。表示制御部２３は、入力情報取得部２２で取得された入力情報に基づいて指定された表示対象情報を、タッチパネル２１上の所定位置に表示させる。キャプチャ処理部２４は、表示対象情報が表示されたタッチパネル２１の画面全体の表示情報をキャプチャする。

【0020】

切り出し処理部２５は、入力情報取得部２２で取得された入力情報に基づいて、タッチパネル２１上の、ユーザによるタッチ操作位置を特定する。そして、特定したタッチ操作位置周辺の表示情報を、キャプチャ処理部２４でキャプチャされた画面全体の表示情報から切り出す。ここで「タッチ位置周辺の表示情報」とは、タッチ操作位置を含む所定領域の表示情報であり、「所定領域」とは、当該タッチ操作位置を中心として、人間がタッチパネル２１をタッチ操作したときに押圧される範囲相当として予め設定される大きさの領域である。

【0021】

提示位置情報生成部２６は、切り出し処理部２５で取得された所定領域の表示情報を、左右反転させて電気触覚ディスプレイ３により触覚で提示させるために、後述する電極群３１内で通電させる電極を特定するための通電電極特定情報（本発明の刺激子特定情報）を生成する。

【0022】

送信部２７は、提示位置情報生成部２６で生成された通電電極特定情報を、電気触覚ディスプレイ３に送信する。

【0023】

電気触覚ディスプレイ３は、電極群３１と、受信部３２と、触覚提示制御部３３とを有する。

【0024】

電極群３１は、人間の人差し指の末節を当てたときに当該人差し指が接触する程度の面積の平面に、複数の触覚刺激子としての電極がマトリックス状に並べられて構成されている。また電極群３１は、各電極への通電（電極からの刺激要因である電気刺激の出力）をON/OFF操作するための複数のスイッチがそれぞれ設置されている。電極群３１は、受信部３２は、端末本体２から送信された通電電極特定情報を受信する。触覚提示制御部３３は、受信部３２で受信された通電電極特定情報で特定される電極に電気を流すように、電極群３１のスイッチを制御する。

【0025】

〈一実施形態による触覚提示装置を搭載したスマートフォンの動作〉
次に、本実施形態によるスマートフォン１を利用して、ユーザによるタッチパネル２１への操作に追従して、電気触覚ディスプレイ３による触覚提示を行う場合の動作について説明する。本実施形態においてユーザは、図３に示すように、右手の人差し指の末節を電極群３１に接触させつつスマートフォン１を把持し、図４に示すように当該右手の親指でタッチパネル２１の操作を行う。ここで、タッチパネル２１への操作を行う親指を「操作指」と称し、電気刺激による触覚提示を受ける人差し指を「提示指」と称する。

【0026】

上述したようにスマートフォン１を把持したユーザがタッチパネル２１の操作を行ったときに、端末本体２で実行される処理について、図５のフローチャートを参照して説明する。

【0027】

まず、ユーザによりタッチパネル２１の操作で表示対象情報が指定されると（Ｓ１の「YES」）、当該操作内容を示す情報が入力情報取得部２２で取得される。そして、取得された情報に基づいて、指定された表示対象情報が表示制御部２３の制御によりタッチパネル２１の所定位置に表示される（Ｓ２）。ここでは、図６に示すように、左上から右下に向かう斜線Ａが、表示対象情報として指定され、タッチパネル２１の上部に表示されたものとする。

【0028】

次に、キャプチャ処理部２４により、斜線Ａが表示されたタッチパネル２１の、画面全体の表示情報がキャプチャされる（Ｓ３）。

【0029】

次に、斜線Ａが表示されたタッチパネル２１上の斜線Ａの表示近辺で、ユーザの操作指により新たにタッチ操作が行われると（Ｓ４の「YES」）、切り出し処理部２５により、タッチパネル２１上の当該タッチ操作位置（タッチ操作の中心座標）がタッチ操作位置として特定される（Ｓ５）。

【0030】

さらに切り出し処理部２５において、特定されたタッチ操作位置を含む所定領域内の表示情報が、キャプチャ処理部２４でキャプチャされた画面全体の表示情報から切り出される（Ｓ６）。ここでは、ユーザが斜線Ａの近辺でタッチ操作をしていることにより、当該所定領域内には、斜線Ａの一部が含まれている。

【0031】

次に、提示位置情報生成部２６において、切り出し処理部２５で切り出された表示情報を、左右反転させて電気触覚ディスプレイ３により触覚で提示させるために、該当する電極群３１内の電極、つまり、電極群３１内で通電させる電極を特定するための通電電極特定情報が生成される（Ｓ７）。生成された通電電極特定情報は、送信部２７から電気触覚ディスプレイ３に送信される（Ｓ８）。

【0032】

電気触覚ディスプレイ３では、端末本体２から送信された通電電極特定情報が受信部３２で受信され、当該通電電極特定情報で特定される電極に電気を流すように、触覚提示制御部３３により電極群３１のスイッチが制御される。このように所定電極のスイッチが通電制御されることにより、ユーザの提示指に、斜線Ａの該当部分の形状をした凹凸を触ったときのような感覚を提示することができる。

【0033】

次に端末本体２において、タッチパネル２１への操作指のタッチ状態が継続されているときには（Ｓ９の「YES」）、ステップＳ５に戻り、ステップＳ５〜Ｓ８の処理が繰り返される。ここで、ユーザがタッチパネル２１上の斜線Ａの表示付近で操作指をタッチさせたままスライドさせたときの処理について説明する。

【0034】

例えば、図７（ａ）に示すように、タッチパネル２１上に表示された斜線Ａから離れた位置がタッチされ、タッチ位置情報を含む所定領域内に斜線Ａの部分形状情報が存在しないときには、電気触覚ディスプレイ３の電極群３１はいずれも通電されない（図７（ｂ））。

【0035】

その後、ユーザがタッチパネル２１をタッチしたまま操作指をスライドさせ、図８（ａ）に示すように操作指の左下部分に斜線Ａの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の右下部分に触覚提示されるために、電極群３１の中の、図８（ｂ）に黒丸で示す電極が通電される。

【0036】

さらに、ユーザが操作指をスライドさせ、図９（ａ）に示すように操作指の中心付近に斜線Ａの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の中心部分に触覚提示されるように、電極群３１の中の、図９（ｂ）に黒丸で示す電極が通電される。

【0037】

さらに、ユーザが操作指をスライドさせ、図１０（ａ）に示すように操作指の右上付近に斜線Ａの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の左上部分に触覚提示されるように、電極群３１の中の、図１０（ｂ）に黒丸で示す電極が通電される。

【0038】

つまり、図７→図８→図９→図１０のように、操作指で表示情報上を右上から左下に向かって斜め方向にスライド操作すると、電気触覚ディスプレイ３に接触した提示指に、左下から右上に向かって斜め方向に表示情報が移動するように順次接触提示される。同様にして、例えば操作指で表示情報上を左から右に向かって横方向にスライド操作したときには、操作指の押圧部分の右側から左側に向かって表示情報が移動するように接触していくことになり、この動作に追従して触覚ディスプレイにおいて右側から左側に向かって表示情報の左右反転した情報が移動するように順次触覚提示され、提示指でも操作指と同様に指の右側から左側に向かって表示情報が移動するように触覚が認識される。

【0039】

このように、操作指による操作の動きに追従して提示指に触覚提示される情報が順次更新されることにより、提示指は固定されているにもかかわらず、あたかも提示指で表示情報の形状をした凹凸上をスライドしながら触っているかのような感覚を得ることができる。

【0040】

つまり、画面に表示されている情報を触ることで当該情報の形状を触覚として認識することができるため、例えば視覚障害者がスマートフォンに表示された情報の形状を認識することができる。

【0041】

上述した実施形態において、タッチパネル２１にユーザのタッチ操作による押圧の強さを検出する手段を搭載し、検出した押圧の強さの情報に基づいて、表示情報を切り出す領域の面積および提示する面積を変えるようにしてもよい。例えば、強くタッチ操作したときには表示情報を切り出す領域の面積および提示する面積を広くし、弱くタッチ操作したときには表示情報を切り出す領域の面積および提示する面積を狭くすることで、タッチ操作の強さにも追従して提示指への触覚提示を行うことができる。

【0042】

また上述した実施形態においては、触覚ディスプレイを複数の電極で構成した場合について説明したが、ピエゾ素子等の圧電素子やMEMS(Micro Electro Mechanical Systems)技術を利用して構成し、触覚刺激を提示するようにしてもよい。

【0043】

また、本実施形態の触覚提示装置の切り出し処理部、提示位置情報生成部、および触覚提示制御部の各機能をプログラム化してコンピュータに組み込むことにより、当該コンピュータを触覚提示装置として構築することも可能である。

【0044】

〈触覚ディスプレイにより触覚提示された形状の認識精度に関する検証実験〉
上述したように、操作指による操作に追従して電気触覚ディスプレイ３から提示指に触覚提示された情報により、タッチパネル２１上に表示された情報の形状を認識する場合、ユーザは、操作指の動作と提示指の触知覚を融合して表示対象情報の形状を認識する必要がある。そこで、この認識処理の精度が十分であるかを検証するため、以下の実験を行った。

【0045】

［検証実験（１）］
検証実験（１）では、図１１の（ａ）横線、（ｂ）左下から右上に向かう斜線、（ｃ）縦線、（ｄ）左上から右下に向かう斜線、の角度が異なる４種類の図形情報を、表示対象情報として用いた。

【0046】

実験は２パターンの条件で行い、１つは上述した実施形態で説明したように、ユーザがスマートフォン１を把持した手の親指を操作指とし、同じ手の人差し指を提示指として、片手で操作、提示を行う片手実験であり、もう１つは、スマートフォン１を把持した手と異なる手の指を操作指とし、スマートフォン１を把持した手の人差し指を提示指として、両手を用いて操作、提示を行う両手実験である。

【0047】

被験者は、２２歳〜２７歳（平均２３歳）の男性６人であり、全員日常的にスマートフォンを扱っている。

【0048】

また、タッチパネル２１上と電気触覚ディスプレイ３上とで、提示図形の物理的なサイズが一致するように調整し、例えば、タッチパネル２１上で１cm操作指を動かしたときに、電気触覚ディスプレイ３上の提示図形も１cm動くようにした。

【0049】

そして、被験者が視覚的に認識できない状態で、タッチパネル２１上の所定位置（電気触覚ディスプレイ３と同程度の面積を有するように提示した四角形の枠内）に上記の４種類の図形を順次提示させ、被験者がタッチパネル２１上の当該枠内をスライド操作したときに、これに追従して電気触覚ディスプレイ３で行われた触覚提示により、被験者がどの図形を認識したかを回答させた。

【0050】

電気触覚ディスプレイ３による触覚提示は、上記４種類の図形をランダムに５回行うことにより、１セットの実験で２０回行った。

【0051】

また順序効果による影響をなくすため、被験者ごとに片手実験と両手実験とで提示する図形の順序を変えた。

【0052】

当該検証実験（１）により得られた、図形情報ごとの、被験者の回答の正当率を図１２および図１３に示す。図１２は片手実験により得られた検証結果であり、図１３は両手実験により得られた検証結果である。

【0053】

片手実験においては、（ａ）横線の正答率が８７％、（ｂ）左下から右上に向かう斜線の正答率が９３％、（ｃ）縦線の正答率が８７％、（ｄ）左上から右下に向かう斜線の正答率が９７％と、いずれも高値であった。

【0054】

また両手実験においては、（ａ）横線の正答率が７０％、（ｂ）左下から右上に向かう斜線の正答率が８０％、（ｃ）縦線の正答率が７３％、（ｄ）左上から右下に向かう斜線の正答率が８０％と、片手実験よりはやや劣るものの、やはりいずれも高値であった。

【0055】

また、当該検証実験（１）において、実験開始から被験者が回答するまでの平均回答時間を、片手実験、両手実験それぞれについて算出した結果を、図１４に示す。当該結果では、片手実験の平均回答時間は３．９秒であったのに対し、両手実験の平均回答時間は６．７秒であり、片手で操作した場合のほうが両手で操作した場合よりも早く図形を認識できることが判った。

【0056】

［検証実験（２）］
検証実験（２）では、図１５の（ｅ）四角形、（ｆ）円、（ｇ）三角形、（ｈ）バツ印、の角度が異なる４種類の図形情報を、表示対象情報として用いた。

【0057】

被験者が、２２歳〜２４歳（平均２３歳）の男性４人である他は、検証実験（１）と同様の条件で実施した。

【0058】

当該検証実験（２）により得られた、図形情報ごとの、被験者の回答の正当率を図１６および図１７に示す。図１６は片手実験により得られた検証結果であり、図１７は両手実験により得られた検証結果である。

【0059】

片手実験においては、（ｅ）四角形の正答率が８５％、（ｆ）円の正答率が９５％、（ｇ）三角形の正答率が９５％、（ｈ）バツ印の正答率が１００％と、いずれも高値であった。

【0060】

また両手実験においては、（ｅ）四角形の正答率が８０％、（ｆ）円の正答率が８５％、（ｇ）三角形の正答率が８５％、（ｈ）バツ印の正答率が１００％と、片手実験よりはやや劣るものの、やはりいずれも高値であった。

【0061】

また、当該検証実験（２）において、実験開始から被験者が回答するまでの平均回答時間を、片手実験、両手実験それぞれについて算出した結果を、図１８に示す。当該結果では、片手実験の平均回答時間は６．１秒であったのに対し、両手実験の平均回答時間は７．９６秒であり、片手で操作した場合のほうが両手で操作した場合よりも早く図形を認識できることが判った。

【0062】

上述した検証実験（１）および（２）により、本願発明によるスマートフォンを用いて、操作指による操作に追従して提示指に触覚提示された情報により、タッチパネル上に表示された情報の形状をユーザが認識する場合において、いずれの形状の図形においても認識精度が高いことが立証された。特に、認識間違いをしやすいと考えられた、（ｂ）左下から右上に向かう斜線と（ｄ）左上から右下に向かう斜線とにおいても、高い正答率（それぞれ８０％）が得られ、認証精度の高さが証明された。

【符号の説明】

【0063】

１…スマートフォン
２…端末本体
３…電気触覚ディスプレイ
２１…タッチパネル
２２…入力情報取得部
２３…表示制御部
２４…キャプチャ処理部
２５…切り出し処理部
２６…提示位置情報生成部（刺激子特定情報生成部）
２７…送信部
３１…電極群
３２…受信部
３３…触覚提示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】