特表-14097499IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ パナソニックIPマネジメント株式会社の特許一覧
再表2014-97499タッチパネルの制御方法、装置、プログラムおよびストレージ
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2014年6月26日
【発行日】2017年1月12日
(54)【発明の名称】タッチパネルの制御方法、装置、プログラムおよびストレージ
(51)【国際特許分類】
   G06F 3/01 20060101AFI20161216BHJP
   G06F 3/041 20060101ALI20161216BHJP
   G06F 3/0488 20130101ALI20161216BHJP
【FI】
   G06F3/01 310Z
   G06F3/041 590
   G06F3/041 480
   G06F3/048 620
   G06F3/041 595
【審査請求】有
【予備審査請求】未請求
【全頁数】68
【出願番号】特願2014-552874(P2014-552874)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2013年4月9日
(31)【優先権主張番号】61/739,125
(32)【優先日】2012年12月19日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
【住所又は居所】大阪府大阪市中央区城見2丁目1番61号
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】荒木 昭一
【住所又は居所】日本国大阪府門真市大字門真1006番地 パナソニック株式会社内
(72)【発明者】
【氏名】廣瀬 良文
【住所又は居所】日本国大阪府門真市大字門真1006番地 パナソニック株式会社内
(72)【発明者】
【氏名】藤畝 健司
【住所又は居所】日本国大阪府門真市大字門真1006番地 パナソニック株式会社内
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA08
5E555BA04
5E555BB04
5E555CA12
5E555CB13
5E555DA24
5E555EA25
5E555FA14
(57)【要約】
入力結果の確認を可能とする触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネル(101)と、パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部(103)と、パネル(101)で同時に検出される複数のタッチ位置の検出順序と空間順序に基づいて、設定情報記憶部(104)に記憶されている空間順序と対応する設定情報を決定する順序入力判定部(105)と、決定された設定情報と対応する空間順序のタッチ位置を振動を提示する第1のタッチ位置とし、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する振動提示位置決定部(107)と、第1のタッチ位置に所定の振動を提示し、かつ第2のタッチ位置に前記所定の振動を提示しないようにパネル(101)の振動をタッチ位置別に同時に制御する多点同時振動制御部(109)とを備える。
【特許請求の範囲】
【請求項1】
タッチパネル表面またはその近傍にマルチタッチ入力された、第1タッチ入力と第2タッチ入力を含む少なくとも2つの入力を検出し、
前記第1タッチ入力が入力された位置である第1位置と、前記第2タッチ入力が入力された位置である第2位置を検出し、
前記第1タッチ入力と前記第2タッチ入力の検出順序を判定し、
前記第1位置と前記第2位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、
前記第1位置の近傍と前記第2位置の近傍の一方を振動させるステップにおいて、第1タッチ入力と第2タッチ入力のうち新しく検出された1つに対応する位置近傍を振動させる、
タッチパネルの制御方法。
【請求項2】
マルチタッチが入力できるように構成されたタッチパネルと、
複数のアクチュエータと、
プロセッサを有し、
前記プロセッサは、
タッチパネル表面またはその近傍にマルチタッチ入力された、第1タッチ入力と第2タッチ入力を含む少なくとも2つの入力を検出し、
前記第1タッチ入力が入力された位置である第1位置と、前記第2タッチ入力が入力された位置である第2位置を検出し、
前記第1タッチ入力と前記第2タッチ入力の検出順序を判定し、
前記第1位置と前記第2位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、
前記第1位置の近傍と前記第2位置の近傍の一方を振動させるステップにおいて、第1タッチ入力と第2タッチ入力のうち新しく検出された1つに対応する位置近傍を振動させる、制御を行うように構成された
タッチパネル制御装置。
【請求項3】
ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、
前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、
前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、
タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、
前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、
算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、算出した前記空間順序に対応する設定情報を決定する順序入力判定部と、
前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第1のタッチ位置とし、前記複数のタッチ位置のうち第1のタッチ位置以外のタッチ位置を第2のタッチ位置として決定する振動提示位置決定部と、
前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部と
を備える触覚入出力装置。
【請求項4】
前記順序入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、
前記第1のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する提示振動決定部とを、
さらに備える請求項3記載の触覚入出力装置。
【請求項5】
ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、
パネルと、
前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、
前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、
タッチ入力する設定情報をタッチ位置の移動方向と対応付けて記憶する設定情報記憶部と、
前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記設定情報記憶部に記憶されている移動方向とを比較して、算出した移動方向に対応する設定情報を決定する移動入力判定部と、
前記移動入力判定部により決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、および移動速度の少なくとも1つに基づいて変更する設定情報変更部と、
前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する振動提示条件決定部と、
前記第1のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成する提示振動決定部と、
前記第1のタッチ位置に振動を提示し、前記第2の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部と
を備える触覚入出力装置。
【請求項6】
前記振動提示条件決定部は、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、タッチ位置の移動中および/または前記移動の停止位置近傍で前記タッチ位置が継続する場合、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する
請求項5記載の触覚入出力装置。
【請求項7】
ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、
パネルと、
前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、
前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、
機器の設定情報を複数の選択モードに階層化してタッチ位置の空間順序と対応付けて記憶する設定情報階層化記憶部と、
前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の検出順序と空間順序を算出し、
前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報階層化記憶部に記憶されている第N階層の選択モードの設定項目の空間順序とに基づいて、前記選択されたタッチ位置の空間順序と一致する前記設定項目を決定して第N+1階層の選択モードへ移行し、
さらに、第1の入力パターンが検出されたとき第1階層の選択モードへ移行し、第2の入力パターンが検出されたとき第N−1階層の選択モードへ移行する階層化情報入力判定部と、
前記階層化情報入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、
階層ごとおよび/または選択モードごとに、振動を提示する第1のタッチ位置、および振動を提示しない第2のタッチ位置を決定する階層別振動提示条件決定部と、
前記第1のタッチ位置に提示する振動を示す触感信号を、前記第1の入力パターン、前記第2の入力パターン、前記設定情報の設定値、または階層値Nの少なくとも1つに基づいて決定する提示振動決定部と、
前記第1のタッチ位置に振動を提示し、前記第2の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部
とを備える触覚入出力装置。
【請求項8】
前記第2の入力パターンは、各選択モードにおいて、選択肢の数と同数のタッチ位置が検出されており、かつ前記タッチ位置とは別にタッチ位置が検出される入力パターンである
請求項7記載の触覚入出力装置。
【請求項9】
ユーザによるタッチ入力に応じてパネルを振動させ、
前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、
前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、
前記空間順序と関連付けられた設定情報を決定し、
前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第1のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定し、
前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、
触覚入出力方法。
【請求項10】
さらに、
決定された前記設定情報の設定値を変更し、
前記第1のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する、
請求項9記載の触覚入出力方法。
【請求項11】
ユーザによるタッチ入力に応じてパネルを振動させ、
前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、
前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、
前記タッチ位置の移動方向に対応する設定情報を決定し、
決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、および移動速度の少なくとも1つに基づいて変更し、
前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定し、
前記第1のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成し、
前記第1のタッチ位置に振動を提示し、前記第2の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、
触覚入出力方法。
【請求項12】
ユーザによるタッチ入力に応じてパネルを振動させ、
前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法のためのコンピュータプログラムであって、
前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、
前記空間順序と関連付けられた設定情報を決定し、
前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第1のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定し、
前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、触覚入出力方法を
コンピュータに実行させるためのコンピュータプログラム。
【請求項13】
ユーザによるタッチ入力に応じてパネルを振動させ、
前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御するためのコンピュータプログラムが格納されたストレージであって、
前記パネルの複数の位置で同時に検出されるタッチ位置を取得するインストラクションと、
前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出するインストラクションと、
前記空間順序と関連付けられた設定情報を決定するインストラクションと、
前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第1のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定するインストラクションと、
前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御するインストラクションと
を含むコンピュータプログラムが格納されたストレージ。
【請求項14】
タッチパネル表面またはその近傍にマルチタッチ入力された、第1タッチ入力と第2タッチ入力を含む少なくとも2つの入力を検出するインストラクションと、
前記第1タッチ入力が入力された位置である第1位置と、前記第2タッチ入力が入力された位置である第2位置を検出するインストラクションと、
前記第1タッチ入力と前記第2タッチ入力の検出順序を判定するインストラクションと、
前記第1位置と前記第2位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行するインストラクションと、
前記第1位置の近傍と前記第2位置の近傍の一方を振動させるステップにおいて、第1タッチ入力と第2タッチ入力のうち新しく検出された1つに対応する位置近傍を振動させるインストラクションと、
を含むコンピュータプログラムが格納されたストレージ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、タッチ位置が検出可能なパネルに対してタッチ操作による入力が行われた際に、タッチ操作による入力が受け付けられたことを、パネルを振動させることによりユーザに出力するものである。特に、複数の指でタッチ操作を行った際に、複数の指おのおのに同時に異なる振動を提示することにより、入力が受け付けられたことをユーザに提示する触覚入出力装置および電子機器に関する。
【背景技術】
【0002】
近年、スマートフォン、タブレット、車載用ナビゲーション機器、パソコン、ゲーム機、ATM、券売機など様々な機器に、タッチパネルやタッチパッドが搭載されている。これらの機器では、ユーザがタッチパネルに触れた位置を検出し、タッチ位置に表示されているGUIを操作する。一般に、タッチパネルは機械的なボタンスイッチとは異なり、GUIを操作したときにボタンスイッチを押したような感覚が得られないため、GUIを操作したときにタッチパネルを振動させることにより、入力を受け付けた結果をユーザに認識させる技術が実用化されている。
【0003】
特許文献1には、タッチパネルを振動させる振動パターンによってタッチパネルに触れている操作者の指先に触角を通じて情報の提供、また触れた状態の指先を表示されている所定のボタン位置まで誘導することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3888099号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1には、振動パターンによってタッチパネルに触れている操作者の指先に触角を通じて情報の提供、また触れた状態の指先を表示されている所定のボタン位置まで誘導することが開示されている。しかしながら、特許文献1記載の技術によれば、操作対象のボタン位置まで指を誘導する必要があるため、素早い入力操作ができないという課題があった。そこで、本発明は、パネル振動によってユーザが入力結果の確認を可能とする触覚入出力装置を提供する。
【課題を解決するための手段】
【0006】
本発明の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、前記空間順序に対応する設定情報を決定する順序入力判定部と、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第1のタッチ位置とし、前記複数のタッチ位置のうち第1のタッチ位置以外のタッチ位置を第2のタッチ位置として決定する振動提示位置決定部と、前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
【0007】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、記録媒体またはストレージで実現されてもよく、システム、方法、集積回路、コンピュータプログラム記録媒体およびストレージの任意な組み合わせで実現されてもよい。
【0008】
開示された実施の形態が提供する更なる利益や利点は、明細書および図面から明らかになる。それらの利益や利点は、さまざまな実施の形態や明細書および図面の特徴によって個々にもたらされる場合があり、1つ以上の利益や利点を得るために、全てが必ずしも提供される必要はない。
【発明の効果】
【0009】
本発明の一態様に係る触覚入出力装置の効果の一つは、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより受け付けられた設定情報を適切にユーザに確認させることができる。
【図面の簡単な説明】
【0010】
図1図1は、実施の形態1における触覚入出力装置の構成を示すブロック図である。
図2図2は、実施の形態1における触覚入出力装置の構造を示す図である。
図3図3は、実施の形態1における触覚入出力装置で用いる設定情報の一例を示す図である。
図4図4は、実施の形態1における触覚入出力装置の動作を示すフローチャートである。
図5A図5Aは、コンテンツを選択するタッチ入力とパネルの振動位置の一例を示す図である。
図5B図5Bは、音量を上げるタッチ入力とパネルの振動位置の一例を示す図である。
図5C図5Cは、音量を下げるタッチ入力とパネルの振動位置の一例を示す図である。
図6A図6Aは、再生または一時停止するタッチ入力とパネルの振動位置の一例を示す図である。
図6B図6Bは、コンテンツを巻戻しするタッチ入力とパネルの振動位置の一例を示す図である。
図6C図6Cは、コンテンツを早送りするタッチ入力とパネルの振動位置の一例を示す図である。
図7A図7Aは、触感信号の一例を示す図である。
図7B図7Bは、触感信号の一例を示す図である。
図8図8は、実施の形態1における多点同時振動制御部の構成の一例を示すブロック図である。
図9図9は、アクチュエータからパネル上のある位置に振動が伝播する経路を示す図である。
図10A図10Aは、TSPの一例を示す図である。
図10B図10Bは、TSP応答の一例を示す図である。
図10C図10Cは、TSPの逆関数の一例を示す図である。
図10D図10Dは、TSP応答から算出されるインパルス応答の一例を示す図である。
図11図11は、実施の形態1における多点同時振動制御部の動作を示すフローチャートである。
図12図12は、実施の形態1における多点同時振動制御部の処理動作を説明するための図である。
図13図13は、フィルタの一例を示す図である。
図14図14は、駆動信号の一例を示す図である。
図15図15は、各タッチ位置におけるパネルの振動の実験結果を示す図である。
図16図16は、実施の形態2における触覚入出力装置の構成を示すブロック図である。
図17図17は、実施の形態2における触覚入出力装置の動作を示すフローチャートである。
図18図18は、実施の形態2における触覚入出力装置で用いる設定情報の一例を示す図である。
図19A図19Aは、トラック設定を下げるタッチ入力の一例を示す図である。
図19B図19Bは、トラック設定を上げるタッチ入力の一例を示す図である。
図20図20は、実施の形態2における触覚入出力装置の構成を示すブロック図である。
図21図21は、階層化された設定情報の一例を示す図である。
図22図22は、実施の形態2における触覚入出力装置の動作を示すフローチャートである。
図23図23は、階層化された設定情報の一例を示す図である。
【発明を実施するための形態】
【0011】
本発明の一態様に係るタッチパネルの制御方法は、タッチパネル表面またはその近傍にマルチタッチ入力された、第1タッチ入力と第2タッチ入力を含む少なくとも2つの入力を検出し、前記第1タッチ入力が入力された位置である第1位置と、前記第2タッチ入力が入力された位置である第2位置を検出し、前記第1タッチ入力と前記第2タッチ入力の検出順序を判定し、前記第1位置と前記第2位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、前記第1位置の近傍と前記第2位置の近傍の一方を振動させるステップにおいて、第1タッチ入力と第2タッチ入力のうち新しく検出された1つに対応する位置近傍を振動させる。
【0012】
この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。
【0013】
本発明の一態様に係るタッチパネル制御装置は、マルチタッチが入力できるように構成されたタッチパネルと、複数のアクチュエータと、プロセッサを有し、前記プロセッサは、タッチパネル表面またはその近傍にマルチタッチ入力された、第1タッチ入力と第2タッチ入力を含む少なくとも2つの入力を検出し、前記第1タッチ入力が入力された位置である第1位置と、前記第2タッチ入力が入力された位置である第2位置を検出し、前記第1タッチ入力と前記第2タッチ入力の検出順序を判定し、前記第1位置と前記第2位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、前記第1位置の近傍と前記第2位置の近傍の一方を振動させるステップにおいて、第1タッチ入力と第2タッチ入力のうち新しく検出された1つに対応する位置近傍を振動させる制御を行なうように構成されている。
【0014】
この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。
【0015】
本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、前記空間順序に対応する設定情報を決定する順序入力判定部と、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第1のタッチ位置とし、前記複数のタッチ位置のうち第1のタッチ位置以外のタッチ位置を第2のタッチ位置として決定する振動提示位置決定部と、前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
【0016】
この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指(どの空間順序のタッチ位置)に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したGUIを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
【0017】
本発明の別の一態様に係る触覚入出力装置は、さらに、前記順序入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、前記第1のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する提示振動決定部とを備える。
【0018】
この構成によれば、ユーザは受け付けられた設定情報の設定値を触覚信号による振動によって確認することができる。
【0019】
本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、パネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の移動方向と対応付けて記憶する設定情報記憶部と、前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記設定情報記憶部に記憶されている移動方向とを比較して、対応する設定情報を決定する移動入力判定部と、前記移動入力判定部により決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、移動速度の少なくとも1つに基づいて変更する設定情報変更部と、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する振動提示条件決定部と、前記第1のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成する提示振動決定部と、前記第1のタッチ位置に振動を提示し、前記第2の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
【0020】
この構成によれば、複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できる。
【0021】
本発明の別の一態様に係る触覚入出力装置では、前記振動提示条件決定部は、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、タッチ位置の移動中および/または前記移動の停止位置近傍で前記タッチ位置が継続する場合、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0022】
この構成によれば、移動入力の停止後においても、受け付けられた設定情報や設定値を振動により確認することができる。
【0023】
本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、パネルと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記機器の設定情報を複数の選択モードに階層化してタッチ位置の空間順序と対応付けて記憶する設定情報階層化記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報階層化記憶部に記憶されている第N階層の選択モードの設定項目の空間順序とに基づいて、前記選択されたタッチ位置の空間順序と一致する前記設定項目を決定して第N+1階層の選択モードへ移行し、さらに、第1の入力パターンが検出されたとき第1階層の選択モードへ移行し、第2の入力パターンが検出されたとき第N−1階層の選択モードへ移行する階層化情報入力判定部と、前記階層化情報入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、前記階層ごとおよび/または選択モードごとに、振動を提示する第1のタッチ位置、および振動を提示しない第2のタッチ位置を決定する階層別振動提示条件決定部と、前記第1のタッチ位置に提示する振動を示す触感信号を、前記第1の入力パターン、前記第2の入力パターン、前記設定情報の設定値、または階層値Nの少なくとも1つに基づいて決定する提示振動決定部と、前記第1のタッチ位置に振動を提示し、前記第2の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
【0024】
この構成によれば、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、ユーザは、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができる。
【0025】
本発明の別の一態様に係る触覚入出力装置では、前記第2の入力パターンは、各選択モードにおいて、選択肢の数と同数のタッチ位置が検出されており、かつ前記タッチ位置とは別にタッチ位置が検出される入力パターンである。
【0026】
この構成によれば、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、ユーザは、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができる。
【0027】
本発明の別の一態様に係る触覚入出力方法は、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、前記空間順序と関連付けられた設定情報を決定し、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第1のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定し、前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。
【0028】
この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指(どの空間順序のタッチ位置)に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したGUIを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
【0029】
本発明の別の一態様に係る触覚入出力方法は、さらに、決定された前記設定情報の設定値を変更し、前記第1のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する。
【0030】
この構成によれば、ユーザは受け付けられた設定情報の設定値を触覚信号による振動によって確認することができる。
【0031】
本発明の別の一態様に係る触覚入出力方法は、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記タッチ位置の移動方向に対応する設定情報を決定し、決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、移動速度の少なくとも1つに基づいて変更し、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定し、前記第1のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成し、前記第1のタッチ位置に振動を提示し、前記第2の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。
【0032】
本構成によれば、複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できる。
【0033】
本発明の一態様に係るコンピュータプログラムは、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法のためのコンピュータプログラムであって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、前記空間順序と関連付けられた設定情報を決定し、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第1のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定し、前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、触覚入出力方法をコンピュータに実行させるためのコンピュータプログラムである。
【0034】
この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指(どの空間順序のタッチ位置)に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したGUIを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
【0035】
本発明の別の一態様に係るストレージは、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御するためのコンピュータプログラムが格納されたストレージであって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するインストラクションと、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出するインストラクションと、前記空間順序と関連付けられた設定情報を決定するインストラクションと、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第1のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定するインストラクションと、前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御するインストラクションとを含むコンピュータプログラムが格納されたストレージである。
【0036】
この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指(どの空間順序のタッチ位置)に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したGUIを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
【0037】
本発明の別の一態様に係るストレージは、タッチパネル表面またはその近傍にマルチタッチ入力された、第1タッチ入力と第2タッチ入力を含む少なくとも2つの入力を検出するインストラクションと、前記第1タッチ入力が入力された位置である第1位置と、前記第2タッチ入力が入力された位置である第2位置を検出するインストラクションと、前記第1タッチ入力と前記第2タッチ入力の検出順序を判定するインストラクションと、前記第1位置と前記第2位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行するインストラクションと、前記第1位置の近傍と前記第2位置の近傍の一方を振動させるステップにおいて、第1タッチ入力と第2タッチ入力のうち新しく検出された1つに対応する位置近傍を振動させるインストラクション、とを含むコンピュータプログラムが格納されたストレージである。
【0038】
この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。
【0039】
本明細書において、マルチタッチとは、パネルに同時に接触している状態を有する複数のタッチを意味する。換言すれば、マルチタッチとは、ある時点においてパネルに接触している複数のタッチを意味する。つまり、マルチタッチとは、パネル上の複数の位置に対する複数のタッチであって、時間的に重複する複数のタッチを意味する。したがって、マルチタッチは、同時に開始された複数のタッチだけではなく、異なる時刻に開始され、ある時点において同時に検出される複数のタッチを含む。具体的には、第1タッチが開始された後に、第1タッチが継続された状態で第2タッチが開始された場合、第2タッチの開始時点において、第1タッチと第2タッチとはマルチタッチに相当する。
【0040】
(本発明の基礎となった知見)
発明者らは、タッチパネルを縦横に水平振動させることで指をGUI画面上に表示されたボタンまで誘導する技術では、素早い入力操作ができないという課題を発見した。また、複数の設定情報を入力する場合や、階層メニューなど複雑な操作においては、頻繁に指を誘導する必要があり、入力操作が煩雑になるという課題を発見した。
【0041】
本発明は、例えば、ユーザが複数のタッチ位置を同時に検出できるパネルを操作して複数の設定情報から1つを選択する場合、検出した複数のタッチ位置の空間順序に基づいて、あらかじめ記憶されている設定情報の各々とタッチ位置の空間順序との対応を特定し、ユーザが選択する設定情報に対応する空間順序のタッチ位置にある指を一旦パネルから離して所定の時間内に再度パネルにタッチする入力(以下、タップ入力と呼ぶ)を検出して、タップ入力したタッチ位置に振動を提示し、かつタップ入力したタッチ位置以外のタッチ位置に振動を提示しないことにより、すなわち、ユーザのどの指に振動を提示させるかを制御することにより受け付けられた設定情報を確認させることにより、パネルを注視することなく、パネル上の任意の位置にタッチして、複数の設定情報の選択とパネル振動による入力結果の確認を可能とする触覚入出力装置を提供する。あらかじめアイコンやGUI(Graphical User Interface)などにより入力領域を設定して、その入力領域の位置のみでユーザに入力させる代わりに、パネル上の任意の位置で、パネルを注視することなく、複数の設定情報の選択とパネル振動による入力結果の確認ができる。
【0042】
以下本発明の実施の形態について、図面を参照しながら説明する。
【0043】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0044】
(実施の形態1)
実施の形態1は、タッチ入力するパネルを注視することなくパネルを振動させる触覚フィードバックに基づいて機器を操作することを目的とする。具体的には、ユーザが複数のタッチ位置を同時に検出できるパネルを操作して複数の設定情報から1つを選択する場合に、タッチ位置の空間順序に対応して記憶されている設定情報を、対応する空間順序のタッチ位置でユーザが指をタップすることにより選択する際に、タップした指のタッチ位置にのみ振動を提示し、タップした指の位置以外のタッチ位置に振動を提示しないことにより、すなわち、ユーザのどの指(どの空間順序のタッチ位置)に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザが容易に確認でき、かつタッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したGUI(例えば、アイコンやボタン)を選択させるのではなく、パネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできるよう考慮したものである。
【0045】
図1は、本発明の実施の形態における触覚入出力装置の構成を示すブロック図である。
【0046】
本実施形態の触覚入出力装置100は、パネル101、アクチュエータ102、タッチ情報取得部103、設定情報記憶部104、順序入力判定部105、設定情報変更部106、振動提示位置決定部107、提示振動決定部108、多点同時振動制御部109を備える。各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサ190などのプログラム実行部が、ハードディスクまたは半導体メモリなどのストレージや記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。以下、各構成要素について説明する。
【0047】
<パネル101>
パネル101は振動を伝達する部材であり、ユーザのタッチ操作を受け付け、振動することによりタッチ操作が受け付けられたことをユーザに通知する。パネルの材質としては、ガラス、ポリカ、アクリル、ABSなどユーザのタッチ操作に対して耐久性のあるものが好ましい。しかしながらこれらに限定されるものではなく、ユーザに振動がフィードバックできる部材であればよい。
【0048】
なお、パネル101の形状、大きさ、厚さ、硬さおよび固定方法などは、特に限定される必要はない。ただし、パネル101の形状、大きさ、厚さ、硬さおよび固定方法などに依存して、アクチュエータ102からパネル101上の各位置(以後、「点」とも呼ぶ)までの振動の伝達特性は変化する。
【0049】
<アクチュエータ102>
アクチュエータ102は、パネル101を振動させ、ユーザに触覚を提示する。アクチュエータ102として、例えば、圧電素子、振動モータ、ボイスコイル、人工筋肉などを用いることができる。
【0050】
図2は、アクチュエータ102のパネル101への配置の一例である。アクチュエータ102は、例えば、接着剤など(図示しない。アクチュエータ102が圧電素子の場合、エポキシ系の接着剤などを用いればよい。)でパネル101に固定する。
【0051】
本実施の形態では、アクチュエータ102の数を、パネル101をタッチ操作するタッチ位置の数以上とする例で説明する。これにより、同時に検出されるアクチュエータ102の数M(Mは2以上の整数)と同数のタッチ位置に対して、互いに異なる振動を提示することができる。本実施の形態においては、図2に示すように、アクチュエータ102の数は4、タッチ位置の数は2(指1および指2)とした。
【0052】
アクチュエータ102の配置位置は、特に限定される必要はない。例えば、複数のアクチュエータ102は、パネル101を効率良く振動させることができるように配置されればよい。また、アクチュエータ102の数を4としたが、これに限るものではない。
【0053】
<タッチ情報取得部103>
タッチ情報取得部103は、パネル101に対するユーザの複数のタッチ位置を取得する。
【0054】
説明の便宜上、図2に示すように、例えば2本の指、指1および指2でタッチ操作されている場合、指1および指2の2つのタッチ位置をそれぞれP(x、y)、P(x、y)で表す。図2では、紙面に対してパネル101の左上隅を原点Oとする2次元平面のxy座標を用いてタッチ位置を表す。
【0055】
タッチ情報取得部103としては、例えば静電容量方式や抵抗膜方式などのマルチタッチパネルを用いることができる。例えば、タッチ情報取得部103が静電容量方式のマルチタッチパネルで構成される場合、タッチ情報取得部103は、マルチタッチによる静電容量の変化に基づいて複数のタッチ位置を取得する。また例えば、タッチ情報取得部103が感圧方式のマルチタッチパネルで構成される場合、タッチ情報取得部103は、マルチタッチによる圧力の変化に基づいて、複数のタッチ位置を取得する。
【0056】
なお、マルチタッチの検出は、静電容量方式あるいは感圧方式のマルチタッチパネルに限定される必要はない。どのような方式のマルチタッチ検出方式であっても構わない。例えば、指の位置をCCDやCMOSカメラで撮影して画像処理により取得してもよい。あるいはパネル101を透明のアクリル部材としてパネル101の側壁から赤外光を入射すると全反射の性質によりパネル101内に赤外光が閉じ込められるが、タッチ操作によるパネル101のひずみにより漏れた赤外光を、赤外フィルタを備えたカメラにより検出するFTIR(Frustrated Total Internal Reflection)方式などを用いてもよい。
【0057】
<設定情報記憶部104>
設定情報記憶部104は機器の設定情報として、設定項目、入力項目、入力項目の選択による設定値の増減値、設定値などを、タッチ数やタッチ位置の空間順序などタッチ入力に関する情報を対応付けて記憶するものでハードディスクや半導体メモリなどのメモリからなる。
【0058】
<順序入力判定部105>
順序入力判定部105はパネル101で同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報記憶部104に記憶されている空間順序とを比較して、対応する設定項目を決定する。
【0059】
<設定情報変更部106>
設定情報変更部106は順序入力判定部105で決定された設定項目の設定値を変更する。
【0060】
<振動提示位置決定部107>
振動提示位置決定部107は、前記決定された設定項目と対応する空間順序のタッチ位置を振動を提示する第1のタッチ位置とし、同時に検出されている第1のタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。すなわち、順序入力判定部105により決定された機器の設定項目に対応する順序のタッチ位置を振動させる第1のタッチ位置として決定し、かつ同時にその他のタッチ位置を振動を提示しない第2のタッチ位置として決定する。これによりユーザは、ユーザが決定した設定項目が機器に受け付けられたことを、パネル101にタッチしている複数のタッチ位置、すなわち複数のタッチしている指の中から、どの指に振動を感じたかにより確認することができる。
【0061】
<提示振動決定部108>
提示振動決定部108は、前記第1のタッチ位置に提示する振動を示す触感信号を前記設定項目の設定値に基づいて決定する。
【0062】
<多点同時振動制御部109>
多点同時振動制御部109は前記第1のタッチ位置に前記触感信号が示す振動を提示し、かつ前記第2の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。
【0063】
<動作>
上記のように構成された本実施の形態1の触覚入出力装置100の動作を図3図15に基づいて説明する。
【0064】
図4は本発明の実施の形態における触覚入出力装置100の動作を示すフローチャートであり、これに基づいて本実施の形態1における触覚入出力装置100の動作を詳細に説明する。
【0065】
本実施の形態1では、例えば、図5Aに示すように、モニタ110に表示される映像コンテンツ111を再生制御する電子機器10に触覚入出力装置100を搭載した例で説明する。ここでは、モニタ110と触覚入出力装置100は物理的に離れたコントローラに搭載されている例で説明する。コントローラとしては、例えば、タッチパネルやタッチパッドを搭載したリモートコントローラや、ネットワーク接続されたタブレットやスマートフォンの形態をとることができる。この例により、モニタ110に表示されている映像コンテンツ111を注視した状態で、ユーザの手元のパネル101を注視することなく、例えば音量設定や再生設定の操作を可能とする本実施の形態の動作について説明する。
【0066】
(ステップS101:タッチ情報取得)
タッチ情報取得部103は、パネル101に対するユーザの複数のタッチ位置を取得する。
【0067】
図5Aの例では、指1のパネル101上のx軸上のタッチ位置xを時刻t1で取得する。タッチ位置xは例えば10msなどのサンプリング間隔で時系列情報として取得する。図5Bの例では、指1のパネル101上のx軸上のタッチ位置xを時刻t1で取得した後、パネル101上で指1のタッチ位置xが検出されている状態で、時刻t2でタッチ位置xとは異なる指2による別のx軸上のタッチ位置xを検出する。図5Cの例では、パネル101上で時刻t1で検出された指2のx軸上のタッチ位置xが検出されている状態で、時刻t2においてx軸上のタッチ位置xとは異なる指1による別のx軸上のタッチ位置xを検出する。
【0068】
(ステップS102:順序入力判定)
順序入力判定部105はパネル101で継続して検出されるタッチ位置およびパネル101で同時に検出される別のタッチ位置により算出されるタッチ位置の空間順序に基づいて、設定情報記憶部104にあらかじめタッチ位置の空間順序と対応付けて記憶されている入力項目を決定する。
【0069】
設定情報記憶部104には、機器の設定情報として、設定項目、入力項目、入力項目の選択による設定値の増減値、設定値などが、タッチ数やタッチ位置の空間順序などタッチ入力に関する情報を対応付けて記憶されている。
【0070】
図3に設定情報の一例を示す。図3に示すように、機器の設定項目は、例えば、機器が映像や音楽などのコンテンツを再生する機器の場合にはコンテンツ選択、音量設定、早送り/巻戻しなどの再生設定があり、それぞれ設定値としては音量レベルや巻戻し速度・早送り速度などを表す数値を記憶する。ユーザがタッチ入力により選択する入力項目として、コンテンツ選択については、指1本でタッチ入力した第1順序のタッチ位置を入力項目である「タッチ位置座標」と対応づけて記憶する。音量設定については、第1順序のタッチ位置による入力項目である「音量DOWN」、第2順序のタッチ位置による入力項目である「音量UP」として、同時に検出される2つのタッチ位置の空間順序と対応付けて記憶する。また、再生設定については、第1順序のタッチ位置による入力項目を「巻戻し」、第2順序のタッチ位置による入力項目を「再生/一時停止」、第3順序のタッチ位置による入力項目を「早送り」として、同時に検出される3つのタッチ位置の空間順序と対応づけて記憶する。
【0071】
なお、一度に選択できる入力項目の数は、単純にはタッチ情報取得部103で検出可能なタッチ数であるが、同時に利用するタッチ位置を組み合わせることにより、タッチ数より多くの設定項目を設定することもできる。
【0072】
順序入力判定部105は、タッチ位置の検出順序と空間順序に基づいて図3に示す[1]〜[6]の入力判定を行う。ここでは、検出順序が最新であるタッチ位置の空間順序に対応付けられた入力項目を選択する例で説明する。
【0073】
<コンテンツ選択の入力判定>
入力判定[1]について、図3図5A用いてコンテンツ選択の入力判定について説明する。タッチ情報取得部103により検出されるタッチ数が1のとき、図3に示すように設定情報記憶部104に記憶されているコンテンツ選択の入力と判定し、図5Aに示すように、指1での入力である第1順序のタッチ位置xと対応づけて図3に示すように記憶されている入力項目であるタッチ位置座標を選択する。
【0074】
<音量設定の入力判定>
入力判定[2]および入力判定[3]について、図3図5Bおよび図5Cを用いて音量設定の入力判定について説明する。タッチ情報取得部103により検出されるタッチ数が2のとき、図3に示すように設定情報記憶部104に記憶されている音量設定を選択する。次に、2つのタッチ位置の検出順序と空間順序を判定して音量設定を変更する例を説明する。ここでは、第1順序のタッチ位置による入力項目を「音量DOWN」、第2順序のタッチ位置による入力項目を「音量UP」として記憶する例で説明する。図5Bおよび図5Cを用いて、パネル101上でタッチ位置の検出順序および空間順序の判定を、本実施の形態では水平方向(パネルの長軸方向)であるx座標上で実行する例で説明するが、これに限定されずどの方向の座標上で判定できる。例えば、垂直方向であるy座標上で実行してもよい。
【0075】
入力判定[3]について説明する。図5Bでは、指1によるタッチ位置xが継続して検出されている状態から、指2によりパネル101上で別のタッチ位置xが検出された状態を示しており、検出順序はx、xであり、最新のタッチ位置はxと判定する。このとき、最新のタッチ位置xはx<xを満たしており、x座標上で座標値の小さいものからタッチ位置を順序付けると、xは第1順序のタッチ位置、xは第2順序のタッチ位置と順序付けられ、指2による最新のタッチ位置xによる入力は第2順序のタッチ位置による入力であると判定し、「音量UP」の入力項目を選択したと決定する。
【0076】
入力判定[2]について説明する。図5Cの場合、指2によるタッチ位置xが継続して検出されている状態から、指1によりパネル101上で別のタッチ位置xが検出された状態を示しており、検出順序はx、xであり、最新のタッチ位置はxと判定する。指1による最新タッチ位置xはx<xを満たしており、x座標上で座標値の小さいものからタッチ位置を順序付けると、別のタッチ位置xは第1順序のタッチ位置、xは第2順序のタッチ位置と順序付けられ、指1による最新タッチ位置x2による入力は第1順序のタッチ位置による入力であると判定し、「音量DOWN」の入力項目を選択したと決定する。
【0077】
<再生設定の入力判定>
入力判定[4]〜入力判定[6]について、図3図6A図6Bおよび図6Cを用いて、再生設定の判定について説明する。タッチ情報取得部103により検出されるタッチ数が3のとき、図3に示すように設定情報記憶部104に記憶されている再生設定を選択する。次に、3つのタッチ位置の検出順序と空間順序を判定して再生設定を変更する例を説明する。ここでは、第1順序のタッチ位置による入力項目を「巻戻し」、第2順序のタッチ位置による入力項目を「再生/一時停止」の切り替え、第3順序のタッチ位置による入力項目を「早送り」として記憶する例で説明する。図6A図6Bおよび図6Cを用いて、パネル101上でタッチ位置の検出順序および空間順序の判定をx座標上で実行する例で説明する。
【0078】
入力判定[5]について説明する。図6Aはユーザが「再生/一時停止」の入力を行う例である。まず、指1、指2、指3がそれぞれタッチ位置x、x、xで検出されている。このとき、タッチ数が3であるから、順序入力判定部105は、設定情報記憶部104に図3に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ111を再生するために、指2を一旦パネル101から離し、所定の時間内(例えば200ms以内)に再度パネル101にタッチする入力を行う。この入力を以下「タップ入力」と呼ぶ。このとき、指1および指3によるタッチ位置xおよびxが継続して検出されている状態から、指2による別のタッチ位置xが検出されることになり、検出順序はxのタッチ位置が最新となる。また、タッチ位置x、x、xの順序関係は、x<x<xであり、ユーザによる指2によるタップ入力は最新の検出順序のタッチ位置xで、第2順序のタッチ位置となり、図3に示すように設定情報記憶部104に記憶されている「再生/一時停止」の入力項目が選択されたと判定する。
【0079】
入力判定[4]について説明する。図6Bはユーザが「巻戻し」の入力を行う例である。まず、指1、指2、指3がそれぞれタッチ位置x、x、xで検出されている。このとき、タッチ数が3であるから、順序入力判定部105は、設定情報記憶部104に図3に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ111を巻戻しするために、指1を一旦パネル101から離し、所定の時間内(例えば200ms以内)に再度パネル101にタッチするタップ入力を行う。このとき、指2および指3によるタッチ位置xおよびxが継続して検出されている状態から、指1による別のタッチ位置xが検出されることになり、検出順序はxのタッチ位置が最新となる。また、タッチ位置x、x、xの順序関係は、x<x<xとなり、ユーザによる指1によるタップ入力は最新の検出順序のタッチ位置xで、第1順序のタッチ位置となり、図3に示すように設定情報記憶部104に記憶されている「巻戻し」の入力項目が選択されたと判定する。
【0080】
入力判定[6]について説明する。図6Cはユーザが「早送り」の入力を行う例である。まず、指1、指2、指3がそれぞれタッチ位置x、x、xで検出されている。このとき、タッチ数が3であるから、順序入力判定部105は、設定情報記憶部104に図3に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ111を早送りするために、指3を一旦パネル101から離し、所定の時間内(例えば200ms以内)に再度パネル101にタッチするタップ入力を行う。このとき、指1および指2によるタッチ位置xおよびxが継続して検出されている状態から、指3による別のタッチ位置xが検出されることになり検出順序はxのタッチ位置が最新となる。また、タッチ位置x、x、xの順序関係は、x<x<xとなり、ユーザによる指3によるタップ入力は最新の検出順序のタッチ位置xで、第3順序のタッチ位置となり、図3に示すように設定情報記憶部104に記憶されている「早送り」の入力項目が選択されたと判定する。
【0081】
(ステップS103:設定情報変更)
設定情報変更部106は順序入力判定部105で決定された設定項目の設定値を前記最新のタッチ位置のタッチ時に変更する。
【0082】
<コンテンツ選択の設定値変更>
図3図5A用いてコンテンツ選択の設定値変更について説明する。ステップS102で選択された入力項目であるタッチ位置座標に基づいて、図3の入力判定[1]の設定値である選択枠表示座標を変更する(図5Aの選択枠表示112の位置座標)。ここでは、図5Aに示すタッチ位置座標xに基づいて、モニタ110に表示されているコンテンツA,B,またはCの選択状況を選択枠表示112により表示し、例えばタッチ位置xをパネル101から指1を離した際にコンテンツ選択を確定する。
【0083】
<音量設定の設定値変更>
図3図5Bおよび図5Cを用いて、タッチ情報取得部103により取得されたタッチ数が2のときの音量設定の設定値を変更する例について説明する。まず、図5Bに示すように、ステップ102Sで順序入力判定部105により判定される指2による最新のタッチ位置xは第2順序のタッチ位置であり、対応する入力項目である「音量UP」が選択されたとき、図3に示す設定値の増減値を用いて設定値を変更する。具体的には、第2順序のタッチ位置でのタップ入力が検出されたとき、設定値の増減値により設定値を増減させる。「音量UP」の設定値の増減値ΔVは+1であり、音量レベルをV=V+ΔVに従って1増加させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示する。図3の例では、音量設定の設定値は音量レベルが[0,49]であり、現状の設定値がレベル15であるから、このとき音量レベルの設定値は15+1=16となる。次に、図5Cに示すように、ステップ102Sで順序入力判定部105により判定される指2による最新のタッチ位置xは第1順序であり、対応する入力項目として「音量DOWN」が選択される。このとき、設定値の増減値ΔVは−1であり、音量レベルV=V+ΔVに従って1減少させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示する。
【0084】
<再生設定の設定値変更>
図3図6A図6Bおよび図6Cを用いて、タッチ情報取得部103により取得されたタッチ数が3のときの再生設定の設定値を変更する例について説明する。ステップ102Sにより、順序入力判定部105により、図6Aのように指2による第2順序のタッチ位置xによる入力項目である「再生/一時停止」が選択されたとき、図3に示す入力項目の設定値を設定する。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示する。具体的には、再生の時には1、一時停止の時には2を設定値に設定する。再生と一時停止は交互に設定する。すなわち、現在の設定値が1(再生)であれば2(一時停止)に、設定値が2(一時停止)であれば1(再生)に設定値を設定する。図3の再生設定の入力項目が第2順序のときの設定値は0になっているが、これは早送りまたは巻戻しのときに設定する。次に図6Bのように指1による第1順序のタッチ位置xによる入力項目である「巻戻し」が選択されたとき、設定値の増減値により設定値を増減させる。「巻戻し」の設定値の増減値は+1であり、巻戻し速度のレベルを1増加させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示する。巻戻し速度のレベルは1〜4の4段階であり、この間の値を設定する。図3に示すように現在の巻戻し速度の設定値は0であるが、これは現在の機器の動作が早送りなので0に設定されており、今回のタッチ位置xによる入力により設定値は1に設定される。図6Bの巻戻しと同様に、図6Cにおける指3によるタッチ位置xが第3順序のタッチ位置であるとき、入力項目としては「早送り」が選択され、設定値の増減値は+1であり、早送り速度の設定値を1増加させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示する。
【0085】
(ステップS104:振動提示位置選択)
振動提示位置決定部107は前記最新の検出順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記最新の検出順序のタッチ位置が検出される以前より検出されているタッチ位置を振動を提示しない第2のタッチ位置として決定する。すなわち、順序入力判定部105により決定された機器の入力項目に対応する空間順序のタッチ位置を振動させる第1のタッチ位置として決定し、かつ同時にその他のタッチ位置を振動を提示しない第2のタッチ位置として決定する。これによりユーザは、ユーザが選択した入力項目が機器に受け付けられたことを、パネル101にタッチしている複数のタッチ位置、すなわち複数のタッチしている指の中から、どの指に振動を感じたかにより確認することができる。
【0086】
なお、コンテンツの「巻戻し」や「早送り」の入力において、最新のタッチ位置がタップ入力された後、その位置で継続してタッチ位置が検出される場合、所定の時間間隔で、設定値に対応する回数の刺激信号を提示してもよい。また、コンテンツにシーンチェンジ、人物情報などのインデックスが提供されている場合、シーンチェンジや人物情報が出現するタイミングで振動を提示してもよい。また、「巻戻し」または「早送り」の方向を提示するため、複数のタッチ位置が継続して検出されているとき、「巻戻し」の場合、第2順序、第1順序のタッチ位置の順序で振動を提示し、「早送り」の場合、第1順序、第2順序のタッチ位置の順序で、所定の時間間隔で振動を提示してもよい。
【0087】
(ステップS105:提示振動決定)
提示振動決定部108は前記第1のタッチ位置に提示する振動を示す触感信号を前記設定項目の設定値および/または設定値の増減値に基づいて決定する。
【0088】
例えば、タッチ情報取得部103により取得されたタッチ位置の数で2あり、順序入力判定部105により図3に示した判定基準により「音量DOWN」または「音量UP」の設定項目が選択され、その設定値の増減値が+1または−1であるため、ユーザが前記最新のタッチ位置に指でタップ入力した際に、前記設定値が1だけ増減したことをユーザに伝えるために、例えば図7Aに示す触感信号を生成する。図7Aは、周波数fcの正弦波のr周期分の信号に基づいて前記触感信号をs(n)生成しており、式(1)に示すように、r周期がちょうど半周期になるような変調周波数fmを用いて正弦波を変調したものである。
【0089】
【数1】
【0090】
ここで、Tsは、サンプリング周期を表す。図7Aの例では、fc=200Hz、r=10であるので、変調周波数fmは10Hzである。このように生成された触感信号は、物理的なスイッチを1回クリックしたような触感を提示するための信号(以下、1回刺激信号と呼ぶ。)として用いることができ、これにより、ユーザは前記設定値が1だけ増減したことを触覚により確認できる。
【0091】
同様に、図7Bはr周期がちょうど1周期になるような変調周波数fmを用いて正弦波を変調したものであり、物理的なスイッチを2回連続してクリックしたような触感を提示するための信号(以下、2回刺激信号と呼ぶ。)として用いることができる。例えば図3に示すように、早送り速度の設定値が2であるとき、図7Bに示すような物理的なスイッチを2回クリックしたような触感を提示することにより、ユーザがタッチ入力により設定した早送り速度の設定値が2であることを触覚により確認することができる。
【0092】
なお、触感信号は、必ずしも上記のように生成された信号である必要はない。例えば、式(1)に示すような変調が行われる必要はない。つまり、触感信号として、正弦波が用いられてもよい。
【0093】
なお、周波数fcは、人間が触覚により感知できる周波数であればどのような周波数であってもよい。例えば、周波数fcは、パネル101の振動特性に基づいて決定されればよい。
【0094】
例えば、周波数fcは、パネル101の共振周波数と一致するように決定されてもよい。周波数fcがこのように決定されることにより、アクチュエータ102によってパネル101に与えられた振動の減衰を少なくすることができ、効率良く触感を呈示することができる。
【0095】
(ステップS106:多点同時振動制御)
多点同時振動制御部109は前記第1のタッチ位置に前記触感信号が示す振動を提示し、前記第2のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動してパネル101の振動をタッチ位置別に同時に制御する。
【0096】
多点同時振動制御部109の具体的な構成と動作の一例については後述する。
【0097】
上記の構成と動作により、本実施の形態1にかかる触覚入出力装置100は、ユーザが複数のタッチ位置を同時に検出できるパネル101を操作して、複数の設定情報から1つを選択する場合に、タッチ情報取得部103により検出される複数のタッチ位置の検出順序と空間順序に基づいて、順序入力判定部105により、ユーザがタップ入力した最新の検出順序に対応するタッチ位置の空間順序により、設定情報記憶部104にあらかじめタッチ位置の空間順序と対応付けて記憶されている設定情報を選択し、振動提示位置決定部108により、選択された設定情報に対応する空間順序のタッチ位置を振動を提示する第1のタッチ位置とし、第1のタッチ位置以外のタッチ位置に振動を提示しない第2のタッチ位置として決定し、多点振動制御部109により、アクチュエータ102を駆動して、タップした指のタッチ位置である第1のタッチ位置に提示振動決定部108により設定情報の設定値と関連した振動を提示し、タップした指の位置以外のタッチ位置に前記振動を提示しない。
【0098】
これにより、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指(どの空間順序のタッチ位置)に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したGUIを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
【0099】
<多点同時振動制御部109の構成と動作の一例の説明>
ここで、ステップS106の動作にかかる、第1の実施の形態の構成要素である多点同時振動制御部109の構成と動作の一例を説明する。図8は多点同時振動制御部のより詳細な構成を表すブロック図を示す。本実施の形態の多点同時振動制御部109は、伝達特性記憶部201、伝達特性取得部202、フィルタ算出部203、触感信号記憶部204、フィルタ処理部205を備える。以下、各構成要素と動作について説明する。
【0100】
<伝達特性記憶部201>
伝達特性記憶部201は、例えば、ハードディスクあるいは半導体メモリである。伝達特性記憶部201は、パネル101上の各点について、各アクチュエータ102から当該点までの伝達特性を記憶している。つまり、伝達特性記憶部201は、パネル101上の複数の位置および複数のアクチュエータ102について、位置とアクチュエータ102との組合せに対応付けて伝達特性を記憶している。
【0101】
伝達特性は、システムにおける入力と出力との関係を示す。ここでは、アクチュエータの駆動信号が入力に相当し、パネル上の1点における振動が出力に相当する。一般的に、伝達特性G(ω)は、系への入力X(ω)に対する系からの出力Y(ω)の比で表わされる(G(ω)=Y(ω)/X(ω))。例えば、入力X(ω)がインパルスである場合(X(ω)=1)、伝達特性G(ω)は、出力Y(ω)(インパルス応答)と一致する。
【0102】
そこで、本実施の形態では、伝達特性記憶部201は、パネル101上の各点について、各アクチュエータ102から当該点までのインパルス応答を伝達特性として記憶している。なお、インパルス応答は、時間領域で表されてもよいし、周波数領域で表わされてもよい。つまり、伝達特性記憶部201には、インパルス応答の時間波形が記憶されてもよいし、インパルス応答のスペクトルが記憶されてもよい。
【0103】
ここで、パネル101上の各点は、例えば、パネル101上の各分割領域の代表点(例えば、中心あるいは重心など)であればよい。分割領域は、例えば、パネル101上の領域を10mm単位で格子状に分割して得られる。なお、分割領域の形状は、必ずしも矩形状である必要はなく、その他の形状であっても構わない。また、分割領域の大きさはすべての分割領域で同一である必要はない。例えば、パネル101上の位置によって分割領域の大きさが異なってもよい。
【0104】
ここで、各分割領域が小さいほど(つまり、分割領域の数が多いほど)、触感呈示の分解能を向上させことができるが、伝達特性を記憶するための記憶容量は増大する。つまり、分解能と記憶容量とはトレードオフの関係にあるため、必要な分解能あるいは許容される記憶容量などに基づいて、各分割領域の大きさが決定されればよい。
【0105】
以下に、伝達特性記憶部201に記憶される伝達特性について、さらに詳細に説明する。
【0106】
ここでは、伝達特性記憶部201は、M(Mは2以上の整数)個のアクチュエータ102(A、A、・・・、A)の各々から、パネル101上のN(Nは2以上の整数)個の位置(P(x,y)、P(x,y)、・・・、P(x,y))の各々までのM×N個の伝達特性を記憶しているとして説明する。
【0107】
図9は、アクチュエータ102からパネル101上のある位置に振動が伝播する経路を示す。
【0108】
図9に示すように、位置Pにおける振動は、アクチュエータAから位置P(x,y)に直接到達する振動、およびパネル101の端で反射して位置P(x,y)に到達する振動などが合成された振動である。したがって、伝達特性には、アクチュエータAからパネル上のある位置Pまでのあらゆる経路の伝播の特性が含まれる。
【0109】
なお、伝達特性は、時間領域で表現されてもよいし、周波数領域で表現されてもよい。時間領域で表現された伝達特性と周波数領域で表現された伝達特性とは、情報としては等価であり、互いに変換することができる。
【0110】
アクチュエータAから位置P(x,y)までの伝達特性は、例えば、アクチュエータAにインパルスを入力したときの位置P(x,y)における振動(インパルス応答)を計測することで取得することができる。インパルス応答は、アクチュエータAから位置P(x,y)までの系の特性を完全に表現することができる。そこで、本実施の形態では、伝達特性としてインパルス応答を用いる。
【0111】
なお、通常、インパルスが直接印加された場合、インパルスの継続時間が非常に短いために、インパルス応答のSN比が低くなるという傾向がある。そこで、インパルスの代わりにTSP(Time Stretched Pulse)を用いてインパルス応答が測定されてもよい。これにより、SN比が高いインパルス応答を伝達特性として得ることができる。以下に、TSPを用いてインパルス応答を測定する方法について説明する。
【0112】
TSPは、式(2)に示すように、インパルスの位相を周波数の2乗に比例して変化させることにより、インパルスよりも時間軸が引き伸ばされた信号である。図10Aは、TSPの一例を示す。
【0113】
【数2】
【0114】
式(2)において、H(n)は、周波数領域におけるTSPを表す。jは、虚数単位(−1の平方根)を表す。kは、定数であり伸縮の度合いを表す。nは、離散化された周波数単位を表す。H*は、Hの複素共役を表す。
【0115】
式(2)に示すTSPを逆フーリエ変換して得られる信号を用いて、アクチュエータAが駆動され、パネル101上の位置P(x,y)での振動(以降、「TSP応答」と呼ぶ)が計測される。計測方法は限定される必要はないが、例えばドップラー変位計などを用いて振動(TSP応答)が計測される。図10Bは、TSP応答の一例を示す。
【0116】
計測されたTSP応答を用いて、インパルス応答が算出される。具体的には、式(2)に示すTSPの逆関数を用いて畳み込み演算を行なうことにより、インパルス応答が算出される。
【0117】
【数3】
【0118】
式(3)において、H−1(n)は、TSPの逆関数を表す。図10Cは、TSPの逆関数の一例を示す。また、図10Dは、図10BのTSP応答から算出されるインパルス応答の一例を示す。
【0119】
以上のように、TSPを用いて、アクチュエータAから位置P(x,y)までのインパルス応答が計測される。このような計測を、M個のアクチュエータ102(A、A、・・・、A)とN個の位置(P(x,y)、P(x,y)、・・・、P(x,y))との全ての組合せについて行うことにより、M×N個の伝達特性が得られる。このようにして得られたM×N個の伝達特性が伝達特性記憶部201に記憶される。
【0120】
なお、伝達特性の計測方法は上述の方法に限るものではない。例えば、伝達特性は、M系列信号を用いて計測されてもよい。また例えば、伝達特性は、ガウス乱数を用いて計測されてもよい。
【0121】
<伝達特性取得部202>
伝達特性取得部202は、伝達特性記憶部201に記憶されている複数の伝達特性の中から、タッチ情報取得部103により取得された各タッチ位置に対応する伝達特性を取得する。つまり、伝達特性取得部202は、各アクチュエータ102から各タッチ位置までの伝達特性を伝達特性記憶部201から読み出す。
【0122】
<フィルタ算出部203>
フィルタ算出部203は、フィルタ取得部の一例である。フィルタ算出部203は、任意の触感信号に対するフィルタ処理によって所望の駆動信号を生成するためのフィルタを取得する。ここで、所望の駆動信号とは、振動を提示する第1のタッチ位置でパネル101が任意の触感信号に従って振動し、かつ振動を提示しない第2のタッチ位置でパネル101が振動しないように各アクチュエータ102を駆動するための信号である。
【0123】
つまり、フィルタ算出部203は、伝達特性取得部202により取得された伝達特性を用いて、タッチ情報取得部103が取得した複数のタッチ位置のうち、第1のタッチ位置にのみ触感を呈示し、第2のタッチ位置(振動を提示しないタッチ位置)に触感を呈示しないためのフィルタを算出する。より具体的なフィルタの算出方法については後述する。
【0124】
<触感信号記憶部204>
触感信号記憶部204は、例えば、ハードディスクあるいは半導体メモリである。触感信号記憶部204は、提示振動決定部108により生成された触感信号を記憶しており、図7Aおよび図7Bの各々は、触感信号の一例である。
【0125】
触感信号は、ユーザに触感を呈示できればどのような信号であってもよいが、例えば、パネル101の振動特性に基づいて決定されてもよい。具体的には、触感信号は、例えば、パネル101の共振周波数あるいはその近傍の周波数の信号であってもよい。これにより、エネルギー効率を向上させることが可能となる。
【0126】
本実施の形態では、触感信号は、提示振動決定部108により、設定情報の設定値に基づいてオンラインで生成しているが、生成した信号を触感信号記憶部204に記憶し、アクチュエータ102の駆動信号をフィルタ処理部205により生成する。なお、提示振動決定部108は、逆に、触感信号記憶部204にあらかじめ図7Aおよび図7Bに示すような設定情報の設定値に応じた触感信号を記憶しておき、それらを設定値に基づいて選択する構成としてもよい。
【0127】
<フィルタ処理部205>
フィルタ処理部205は、フィルタ算出部203により算出された各アクチュエータ102のためのフィルタを用いて、触感信号記憶部204に記憶されている触感信号をフィルタ処理(フィルタリング)することにより、各アクチュエータ102を駆動するための駆動信号を生成する。
【0128】
各アクチュエータ102は、このようにフィルタ処理部205により生成された駆動信号に従って、パネル101を振動させる。その結果、複数のタッチ位置のうち第1のタッチ位置においてのみ触感信号に基づく振動が発生し、振動を提示しない第2のタッチ位置において振動が抑制される。これにより、多点同時振動制御部109により、振動提示位置においてユーザに触感を呈示し、振動を提示しない第2のタッチ位置において触感を呈示しないことが可能となる。
【0129】
<動作>
次に、以上のように構成された多点同時振動制御部109の各構成要素の動作に関して具体的に説明する。図11は、実施の形態1における触覚入出力装置100の処理動作を示すフローチャートである。図12は、実施の形態1における触覚入出力装置100の処理動作を説明するための図である。
【0130】
(ステップS201:伝達特性を取得)
次に、伝達特性取得部202は、振動提示位置決定部107により決定された第1のタッチ位置および第2のタッチ位置に対応する伝達特性を伝達特性記憶部201から取得する。伝達特性取得部202は、例えば図12に一例を示すように、アクチュエータA、A、A、Aの各々からタッチ位置Pまでの伝達特性g11、g12、g13、g14と、アクチュエータA、A、A、Aの各々からタッチ位置Pまでの伝達特性g21、g22、g23、g24とを伝達特性記憶部201から読み出す。ここでは、例えば第1のタッチ位置(提示位置)をP、第2のタッチ位置(非提示位置)をPとする。
【0131】
(ステップS202:フィルタを算出)
続いて、フィルタ算出部203は、提示位置において触感を提示し、かつ、非呈示位置において触感を提示しないためのフィルタを算出する。具体的には、フィルタ算出部203は、各アクチュエータ102から提示位置までの伝達特性と、各アクチュエータ102から非呈示位置までの伝達特性とを用いてフィルタを算出する。例えば、フィルタ算出部203は、タッチ位置Pにおいて触感を提示し、タッチ位置Pにおいて触感を提示しないためのフィルタを、伝達特性g11、g12、g13、g14、g21、g22、g23、g24を用いて算出する。
【0132】
以下に、より具体的なフィルタの算出方法の一例を示す。
【0133】
ここでは、アクチュエータAからタッチ位置Pまでの伝達特性(インパルス応答)gijを、式(4)のように表す。また、アクチュエータAのための駆動信号を生成するためのフィルタhを、式(5)のように表す。また、すべてのアクチュエータA〜Aへの入力に対するタッチ位置Pにおける応答(出力)dを、式(6)のように表す。
【0134】
【数4】
【0135】
【数5】
【0136】
【数6】
【0137】
式(4)において、Lは、インパルス応答の長さを示す。式(5)において、Lは、フィルタの長さ(フィルタ長)を示す。このフィルタ長が長いほど、より細かな制御が可能となる。
【0138】
ここで、アクチュエータA〜Aへの入力およびフィルタh〜hと、1つのタッチ位置Pにおける応答dとの関係を考える。1つのアクチュエータAへの入力に対する1つのタッチ位置Pにおける応答は、フィルタhと伝達特性gijとの畳み込み演算によって算出される。そして、1つのアクチュエータAへの入力に対する1つのタッチ位置Pにおける応答を全てのアクチュエータA〜Aについて重ね合わせることにより、すべてのアクチュエータA〜Aへの入力に対する1つのタッチ位置Pにおける応答dを算出することができる。つまり、応答dは、フィルタhと伝達特性gijとを用いて式(7)のように表すことができる。
【0139】
【数7】
【0140】
式(7)に示すように、アクチュエータA〜Aへの入力に対するタッチ位置P〜Pにおける応答d〜dは、各アクチュエータAから各タッチ位置Pまでの伝達特性gijと、算出すべきフィルタhとの畳み込み演算結果の和で表される。
【0141】
ここで、複数のタッチ位置P〜Pのうち、タッチ位置P(0<k≦N)における応答dのみがインパルス(d(0)=1、d(1)=0、d(2)=0、・・・、d(M)=0)となり、他のタッチ位置P(0<l≦N、l≠k)における応答が零(d(0)=0、d(1)=0、d(2)=0、・・・、d(M)=0)となるようなフィルタhを算出できれば、所望のフィルタを得ることができる。つまり、このように算出されるフィルタhを用いて任意の触感信号に対してフィルタ処理を行うことにより、タッチ位置Pでのみ当該任意の触感信号に従って触感を呈示し、他のタッチ位置P(l≠k)では触感を呈示しないための駆動信号を生成することができる。
【0142】
そこで、フィルタ算出部203は、各アクチュエータ102から呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和がインパルスを示し、かつ、各アクチュエータ102から非呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和が零を示すように、フィルタを算出する。
【0143】
上述のようなフィルタの算出方法は特に限定するものではないが、Gの一般逆行列G*を算出することにより、式(8)のようにフィルタを算出することができる。つまり、Gの一般逆行列G*とインパルスを示すDとから、所望のフィルタを示すHを算出することができる。
【0144】
【数8】
【0145】
一般に、アクチュエータの数(M)がタッチ位置の数(N)以上であれば、式(8)を解くことができる。なお、任意のタッチ位置の組合せに対して安定的に式(8)を解くためには、各位置において、複数のアクチュエータ102からの伝達特性gijが同じゼロ点を持たないようにすることが望ましい。例えば、タッチ位置の数が2つの場合は、図12に示すようにパネル101の長辺側の端部に2個ずつアクチュエータ102を配置することにより、任意の2点における伝達特性が異なるようにアクチュエータ102を配置することができる。
【0146】
なお、ゼロ点とは、周波数領域において、伝達特性のレベルが0または0に限りなく近くなる周波数のことである。つまり、入力にゼロ点の周波数成分が含まれていても、出力には、その周波数成分がほとんど含まれない。
【0147】
したがって、全てのアクチュエータ102からある位置までの伝達特性が同じ周波数でゼロ点を有する場合、どのような信号が入力されても、その位置においてその周波数ではパネル101は振動しない。つまり、特定の周波数において振動を制御することができなくなる。したがって、制御対象となる各周波数において、少なくとも1つのアクチュエータ102からの伝達特性が、ゼロ点ではない特性を有するようにしておくことが望ましい。
【0148】
図13は、フィルタの一例を示す。具体的には、図13は、図12において、タッチ位置Pが提示位置と決定された場合に算出されたフィルタを示す。
【0149】
(ステップS203:触感信号をフィルタ処理)
次に、フィルタ処理部205は、触感信号記憶部204に記憶されている触感信号に対して、ステップS202において算出されたフィルタを用いてフィルタ処理を行なうことにより、各アクチュエータ102を駆動するための駆動信号を生成する。具体的には、フィルタ処理部205は、触感信号S(n)とフィルタh(n)との畳み込み演算を行なうことにより、アクチュエータAのための駆動信号を生成する。
【0150】
ここでは、触感信号S(n)としては、提示振動決定部108により設定値に応じて決定され、触感信号記憶部204に記憶されている、タッチ位置Pに提示する図7Aに示す触感信号をフィルタ処理する例で説明する。
【0151】
ここで、フィルタ処理についてより詳細に説明する。
【0152】
フィルタ処理部109は、式(9)に示すように、アクチュエータAを駆動するための駆動信号u(n)を生成する。つまり、フィルタ処理部109は、触感信号s(n)と、フィルタ算出部107により算出されたフィルタh(n)との畳み込み演算を行うことにより、駆動信号u(n)を生成する。
【0153】
【数9】
【0154】
図14は、駆動信号の一例を示す。つまり、図14は、式(9)に従ってフィルタ処理部205によって生成された駆動信号の一例を示す。より具体的には、図14は、図13に示すフィルタを用いて、図7Aに示す触感信号を処理することにより生成された駆動信号を示す。
【0155】
(ステップS204:アクチュエータを駆動)
次に、アクチュエータAは、ステップS203で生成された駆動信号u(n)を用いて駆動される。つまり、アクチュエータAは、駆動信号u(n)に従ってパネル101を振動させる。
【0156】
なお、アクチュエータの種類によっては、高電圧の駆動信号を必要とする場合がある。そのような場合には、アクチュエータ102は、駆動信号を増幅するためのアンプを備えてもよい。
【0157】
図15は、各タッチ位置におけるパネル101の振動の実験結果を示す。具体的には、図15は、図15に示す駆動信号を用いてアクチュエータ102が駆動された場合のタッチ位置PおよびPにおけるパネル101の振動を示す。
【0158】
タッチ位置Pでは、振動のピーク間の差(以後、「振幅強度」と呼ぶ)が約30μmとなっており、強く振動していることが分かる。一方、タッチ位置Pでは、振幅強度が約1μmとなっており、人が感知できない程度でしか振動していないことが分かる。
【0159】
なお、図15では、タッチ位置P、Pにおける振動特性を示したが、タッチ位置P、P以外の位置でも振動が生じている。しかしながら、タッチ位置P、P以外の位置はユーザにタッチされていない位置であるので、どのような振動が生じていてもユーザに触感が提示されることがない。
【0160】
上記の構成と動作により、本実施の形態1における多点同時振動制御部109によれば、振動を提示する第1のタッチ位置に触感を提示し、振動を提示しない第2のタッチ位置において触感を提示しないことができる。したがって、複数のタッチ位置のうち、触感の提示が必要なタッチ入力に対してのみ触感を提示することができる。
【0161】
なお、多点同時振動制御部109の変形例1として、実施の形態1では、時間領域においてフィルタの算出を行ったが、これを周波数領域で算出することにより、処理負荷を低減できることは言うまでもない。また、人間が触覚として感じる周波数帯域に処理を限定することによりさらに処理負荷を低減できることもいうまでもない。
【0162】
また、多点同時振動制御部109の変形例2として、フィルタを算出するまでの処理を、オンラインではなくオフラインで実施することにより、処理負荷を低減できることはいうまでもない。
【0163】
なお、多点同時振動制御部109の変形例3として、あらかじめ複数のタッチ位置の組み合わせパターンのすべてについて、駆動信号を算出して記憶しておき、タッチ位置の組み合わせパターンによって選択することにより、さらに処理負荷を低減でき、より処理能力の低い計算資源でもタッチ位置ごとに異なる振動を提示できることはいうまでもない。
【0164】
さらに、多点同時振動制御部109の変形例4として、例えば、第1のタッチ位置P図7Aの振動を提示し、第2のタッチ位置Pには図7Aの振動を提示しないための駆動信号1と、Pを第1のタッチ位置として図7Bの振動を提示し、Pを第2のタッチ位置として図7Bの振動を提示しないための駆動信号2とを加算した駆動信号によりアクチュエータ102を駆動することで、P図7Aの振動を提示し、かつP図7Bの振動を同時に提示することができることはいうまでもない。
【0165】
なお、ここで説明した多点同時触感制御部109の構成と動作は一例であり、他の構成と動作とすることもできる。例えばパネルがフレキシブルなディスプレイで構成されており、その表面を局所的に振動させるアクチュエータを備えたものであってもよい。
【0166】
以上のように、第1の実施の形態の触覚入出力装置100によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指(どの空間順序のタッチ位置)に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したGUIを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
【0167】
(実施の形態2)
実施の形態2は、第1の実施の形態における複数のタッチ位置を選択的にタップするタップ入力の判定に加え、さらに複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できるよう考慮したものである。
【0168】
図16は、本発明の実施の形態2における触覚入出力装置の構成を示すブロック図である。第1の実施の形態の構成を示すブロック図と同一の構成要素には同一の番号を付し、実施の形態1と異なる構成要素である移動入力判定部301、振動提示条件決定部302の構成と動作を中心に説明する。
【0169】
<移動入力判定部301>
移動入力判定部301は、パネル101へのタッチ入力に対してタッチ情報取得部103により検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の同一方向への移動および前記移動方向に対するタッチ位置の空間順序を算出する。設定情報記憶部104には、前記移動方向に対応づけて設定情報が記憶されており、前記移動方向に基づいて、前記設定情報記憶部104に記憶されている移動方向とを比較して、対応する設定情報を決定する。
【0170】
<振動提示条件決定部302>
振動提示条件決定部302は、前記複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0171】
上記のように構成された本実施の形態2の触覚入出力装置100の動作を図17図19に基づいて説明する。
【0172】
図17は、実施の形態2の触覚入出力装置100の動作を示すフローチャートである。
【0173】
ここでは、カーナビゲーションなどの車載システムに本実施の形態2の触覚入出力装置100を搭載した例で本実施の形態2の動作を説明する。図18にユーザが入力する設定項目の一例を示す。ここでは、地図スクロール、音量設定、トラック設定を例として、図18に示す[1]〜[10]の入力を判定し、受け付けられた入力の結果を触覚によりフィードバックする手順の一例について説明する。車載システムの構成の一例としては、図19Aに示すように、地図などを表示するモニタ110の上部に透明な素材からなるパネル101を配置する構成であってもよく、また、モニタ110とは別にセンターコンソールやアームレストにパネル101を配置する構成であってもよい。実施の形態2は、いずれの構成であっても、ユーザはパネル101を注視することなく入力操作できるよう考慮したものである。
【0174】
(ステップS301:タッチ情報取得)
タッチ情報取得部103は、パネル101に対するユーザの複数のタッチ位置を時系列情報として取得する。例えば図19Aに示すように、2本の指、指1および指2でパネル101にタッチしているとき、時刻tにおける指1によるタッチ位置P(x(t),y(t))、指2によるタッチ位置P(x(t),y(t))を、例えば20msなど所定のサンプリング間隔Δtごとに取得する。
【0175】
(ステップS302:移動入力判定)
移動入力判定部301は、パネル101で検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の同一方向への移動および前記移動方向に対するタッチ位置の空間順序を算出する。設定情報記憶部104には、前記移動方向に対応づけて設定情報が記憶されており、前記移動方向に基づいて、前記設定情報記憶部104に記憶されている移動方向とを比較して、対応する設定情報を決定する。
【0176】
タッチ位置の移動方向は次のように算出する。ここでは、ステップS301で取得するタッチ位置の時系列情報により、指をパネル101上にタッチしたままタッチ位置を移動させるときの移動方向を算出する。具体的には、サンプリング間隔Δtごとのタッチ位置Pの移動方向を表す移動ベクトルはv1(x(t)−x(t−1),y(t)−y(t−1))、タッチ位置Pの移動ベクトルはv2(x(t)−x(t−1),y(t)−y(t−1))で算出する。
【0177】
タッチ位置P,Pの移動方向の同一性は、例えば、移動ベクトルv1、v2のなす角θのcosの値が所定の閾値より小さいときに同一であると判定する。
【0178】
タッチ位置の移動距離は次のように算出する。ユーザが指1でパネル101にタッチした時刻(t=0、移動開始位置P(x(0),y(0))から時刻t(タッチ位置P(x(t)、y(t)))までのタッチ位置の移動距離d(t)を、式(10)により求める。ここで、時刻tで取得したタッチ位置P(x(t)、y(t))と、時刻(t−Δt)で取得したタッチ位置P(x(t−1)、y(t−1))が同じであるとき、あるいは、P(x(t)、y(t))とP(x(t−1)、y(t−1))の距離が所定の距離より小さいとき、指1のなぞりによるタッチ位置Pの移動は停止したと判定する。タッチ位置の移動が停止したと判定されたとき、移動開始位置をP(x(0),y(0))で初期化する。また、タッチ位置の移動が停止したと判定された時刻を基点として、サンプリング間隔Δtごとに、タッチ位置の移動が停止したのと同じ位置にタッチが静止しているかを確認し静止時間t1sを記録し更新する。指2によるタッチ位置Pの移動距離d(t)も式(10)により同様に算出し、Pの静止時間t2sも同様に記録し、更新する。
【0179】
【数10】
【0180】
移動方向に対するタッチ位置の空間順序は次のようにして算出する。移動ベクトルv1、v2いずれかを含む直線上にタッチ位置P,Pを射影し、移動方向を正としてタッチ位置P、Pを順序づける。移動ベクトルv1、v2の選択は任意でよいが、例えば、上記手順で算出した移動距離が大きいほうの移動ベクトルを選択すればよい。
【0181】
以下、上記の手順で算出したタッチ位置の移動方向、移動距離、移動方向に対するタッチ位置の空間順序、タッチ位置の静止時間に基づいて、ユーザのタッチ入力を判定する手順について説明する。ここでは、一例として、図18に示す[1]から[10]のいずれの入力であるかを判定する手順について説明する。
【0182】
<地図スクロールの入力判定>
入力判定[1]は、タッチ情報検出部103で検出されるタッチ数1であり、かつタッチ位置Pが移動ベクトルv1の方向へ移動している場合であり、設定項目として「地図スクロール」が選択される。具体的な入力項目としては、タッチ位置の移動距離だけ地図をスクロールする「移動距離スクロール」が選択される。
【0183】
入力判定[2]は、タッチ情報検出部103で検出されるタッチ数1であり、かつタッチ位置Pが移動ベクトルv1の方向へ移動し、移動距離が所定の閾値D以上で、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合であり、設定項目として地図スクロールが選択される。具体的な入力項目としては、タッチ位置が所定の距離だけ移動したあと静止を継続する場合に地図を連続的にスクロールする「連続スクロール」が選択される。
【0184】
<音量設定の入力判定>
入力判定[3]および入力判定[5]は、タッチ情報検出部103で検出されるタッチ数が2であり、かつ、タッチ位置が移動しない場合であり、ステップS303の順序入力判定に進む。設定項目として「音量設定」が選択される。
【0185】
<トラック設定の入力判定>
入力判定[7]〜[10]は、タッチ情報検出103で検出されるタッチ数は入力判定[3]〜[6]と同様に2であるが、タッチ位置の移動方向v1とv2が同一かつ、タッチ位置の移動距離が所定の閾値D以上のときであり、設定項目としては「トラック設定」が選択される。トラック設定とは、例えばオーディオ操作において、アルバムのトラックを次のトラックに移動する、あるいは前のトラックに移動する入力操作である。
【0186】
入力判定[7]は、タッチ数が2、かつタッチ位置の移動方向v1とv2が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値D以上のとき、入力項目として「トラックDOWN」が選択される。図19Aにトラック設定を下げるタッチ入力の一例を示す。指1、指2はそれぞれ、時刻(t−n)において、同時にパネル101にタッチしており、タッチ位置P,Pはそれぞれx(t−n)、x(t−n)である。nはサンプリング回数であり、現在時刻tからnサンプル前を表している。指1、指2のタッチ位置P,Pの移動方向はそれぞれ、v1=x(t)−x(t−n)、v2=x(t)−x(t−n)、である。図19Aの例の場合、タッチ位置P,Pは所定の座標軸xについて平行に同一方向に移動し、その方向はマイナス方向であり、かつPの移動距離|v1|またはPの移動距離|v2|が所定の閾値D以上であるとき、入力項目として「トラックDOWN」が選択される。
【0187】
入力判定[8]は、タッチ数が2、かつタッチ位置の移動方向v1とv2が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値D以上、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合、入力項目として「連続トラックDOWN」が選択される。
【0188】
入力判定[9]は、タッチ数が2、かつタッチ位置の移動方向v1とv2が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値D以上のとき、入力項目として「トラックUP」が選択される。図19Bにトラック設定を上げるタッチ入力の一例を示す。指1、指2はそれぞれ、時刻(t−n)において、同時にパネル101にタッチしており、タッチ位置P,Pはそれぞれx(t−n)、x(t−n)である。nはサンプリング回数であり、現在時刻tからnサンプル前を表している。指1、指2のタッチ位置P,Pの移動方向はそれぞれ、v1=x(t)−x(t−n)、v2=x(t)−x(t−n)、である。図19Aの例の場合、タッチ位置P,Pは所定の座標軸xについて平行に同一方向に移動し、その方向はプラス方向であり、かつPの移動距離|v1|またはPの移動距離|v2|が所定の閾値D以上であるとき、入力項目として「トラックUP」が選択される。
【0189】
入力判定[10]は、タッチ数が2、かつタッチ位置の移動方向v1とv2が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値D以上、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合、入力項目として「連続トラックUP」が選択される。
【0190】
なお、ここでは移動距離の閾値を用いて入力判定をする例で説明したが、さらに移動速度を用いて判定してもよい。移動速度を用いることにより、より詳細な入力項目の選択と設定値の設定が可能となる。
【0191】
(ステップS303:順序入力判定)
順序入力判定部105は、実施の形態1におけるステップS102と同様に、ユーザがパネル101をタップ入力することを検出し、すなわち、パネル101で継続して検出されるタッチ位置およびパネル101で同時に検出される別のタッチ位置により算出されるタッチ位置の空間順序に基づいて、設定情報記憶部104にあらかじめタッチ位置の空間順序と対応付けて記憶されている入力項目を決定する。
【0192】
実施の形態2では、タッチ情報検出部103で検出されるタッチ数が2であり、かつ、タッチ位置が移動しないとき、図18の入力判定[3]〜[6]に示す音量設定と判定する。
【0193】
入力判定[3]および入力判定[5]は、タッチ情報検出部103で検出されるタッチ数が2であり、かつ、タッチ位置が移動しない場合であり、設定項目として「音量設定」が選択される。この入力判定[3]および[5]は、実施の形態1における音量設定と同一の動作であるため説明を省略する。
【0194】
入力判定[4]および入力判定[6]は、タッチ情報検出部103で検出されるタッチ数が2であり、かつ、タッチ位置が移動せず、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合であり、それぞれタッチ位置の空間順序が、第1順序であるとき、入力項目として「連続音量DOWN」が選択され、第2順序であるとき、入力項目として「連続音量UP」が選択される。
【0195】
ステップS303により、タップ入力と移動入力を判定することにより、同じタッチ数でも異なる入力操作を簡単に実行することができる。
【0196】
(ステップS304:設定情報変更)
設定情報変更部106は移動入力判定部301および順序入力判定部105で決定された設定項目の設定値を変更する。
【0197】
<地図スクロールの設定値変更>
図18を用いて地図スクロールの設定値変更について説明する。
【0198】
入力判定[1]と判定された場合、タッチ位置Pの移動方向v1へ移動距離|v1|だけモニタ110に表示される地図の表示領域を移動する。表示領域の移動は、例えば、地図の座標系でモニタ110に表示する領域を指定すればよいが、例えば、表示する領域を長方形で指定する場合、長方形の左上の頂点の座標を地図表示の基準座標として、表示基準座標を−v1の方向へ移動することにより地図をスクロールさせることができる。
【0199】
入力判定[2]と判定された場合、タッチ位置Pが所定の距離D以上移動したあと静止を継続する場合に地図を連続的にスクロールする「連続スクロール」が選択された場合、前記地図の表示基準座標を所定の時間間隔で−αv1の方向へ連続的に移動させる。ここでαは移動量を制御する係数であり、例えば、タッチ位置Pの単位時間当たりの移動距離である移動速度によって変更してもよい。これにより、速い速度でタッチ位置Pを移動させたあとタッチ位置を静止させた場合は、αの値を大きくして表示基準位置の移動量を大きくし、逆に遅い速度でタッチ位置Pを移動させた場合は、αを小さくして表示基準位置の移動量を小さくすることにより、ユーザの意図に応じてスクロールの移動量を簡単に設定することができる。
【0200】
<音量設定の設定値変更>
図18を用いて音量設定の設定値変更について説明する。
【0201】
入力設定[3]と判定された場合、すなわち2点あるタッチ位置のうち、第1順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量DOWN」が選択される。このとき、設定値の増減値ΔVは−1であり、音量レベルV=V+ΔVに従って1減少させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0202】
入力設定[4]と判定された場合、すなわち2点あるタッチ位置のうち、第1順序のタッチ位置がタップ入力されたあと、所定の時間Ts以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量DOWN」が選択される。このとき、設定値の増減値ΔVは−1であり、所定の時間間隔、例えばTsごとに音量レベルV=V+ΔVに従って1減少させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0203】
入力設定[5]と判定された場合、すなわち2点あるタッチ位置のうち、第2順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量UP」が選択される。このとき、設定値の増減値ΔVは+1であり、音量レベルV=V+ΔVに従って1増加させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0204】
入力設定[6]と判定された場合、すなわち2点あるタッチ位置のうち、第2順序のタッチ位置がタップ入力されたあと、所定の時間Ts以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量UP」が選択される。このとき、設定値の増減値ΔVは+1であり、所定の時間間隔、例えばTsごとに音量レベルV=V+ΔVに従って1増加させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0205】
<トラック設定の設定値変更>
図18を用いてトラック設定の設定値変更について説明する。ここでは例えばオーディオ操作における音楽タイトルのトラック番号Ntを設定する例で説明する。
【0206】
入力判定[7]と判定された場合、すなわち、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値D以上のとき、入力項目として「トラックDOWN」が選択される。このとき、設定値の増減値ΔNtは−1であり、トラック番号をNt=Nt+ΔNtに従って1減少させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0207】
入力判定[8]は、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値D以上、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合、入力項目として「連続トラックDOWN」が選択される。このとき、設定値の増減値ΔNtは−1であり、所定の時間間隔、例えばTsごとにトラック番号をNt=Nt+ΔNtに従って1減少させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0208】
入力判定[9]は、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値D以上のとき、入力項目として「トラックUP」が選択される。このとき、設定値の増減値ΔNtは+1であり、トラック番号をNt=Nt+ΔNtに従って1増加させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0209】
入力判定[10]は、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値D以上、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合、入力項目として「連続トラックUP」が選択される。このとき、設定値の増減値ΔNtは+1であり、所定の時間間隔、例えばTsごとにトラック番号Nt=Nt+ΔNtに従って1増加させる。このとき、モニタ110に設定値表示部113を表示しユーザに設定値を提示してもよい。
【0210】
なお、さらにタッチ位置PまたはPの移動速度を用いてトラック番号を設定する時間間隔Tsを変更してもよい。これにより、速い速度でタッチ位置P、Pを移動させたあとタッチ位置を静止させた場合は、Tsを短くしてトラック番号を短い時間間隔で変更し、逆に遅い速度でタッチ位置P、Pを移動させた場合は、Tsを長くしてトラック番号をゆっくり変更することにより、ユーザの意図に応じてトラック番号の変更を簡単に設定することができる。
【0211】
なお、タッチ位置の移動距離は、ユーザによって入力しやすい移動距離にはバラツキがある場合、移動距離による入力判定を、移動距離の累積距離を用いて判定してもよい。具体的には、複数回のタッチ位置の移動による移動距離の累積値が所定の閾値D以上であるかにより入力を判定すればよい。
【0212】
(ステップS305:振動提示条件決定)
振動提示条件決定部302は、タッチ位置が移動する移動入力の場合、前記複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0213】
振動提示条件決定部302は、最新タッチ位置の空間順序を判定する順序入力の場合、決定された入力項目に対応する空間順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記タッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0214】
図18に、入力判定[1]〜入力判定[10]のときに振動を提示する第1のタッチ位置を示し、以下、振動提示条件について説明する。
【0215】
<地図スクロール時の振動提示条件>
入力判定[1]と判定された場合、すなわち、タッチ位置の移動距離による「移動距離地図スクロール」と判定された場合、振動提示位置はタッチされている1点として決定する。
【0216】
振動提示条件は、タッチ位置の移動距離によって決定する。例えばタッチ位置の移動量による地図の移動量と地図の縮尺によって決定する。すなわち、振動提示条件決定部302は、例えば現在の地図の縮尺を取得し、地図が100mを基準として表示されているならば、タッチ位置Pの移動距離が地図上での距離100mに相当するごとに、タッチ位置Pに振動を提示してもよい。これにより、モニタ110に表示されている地図を注視しなくとも、地図をどれだけ移動させたかを触覚により認識することができる。
【0217】
なお、変形例として、地図の領域を移動させずに固定した場合、地図上でタッチ位置を移動させたときに所定の距離ごとに振動を提示することにより、例えば目的地間の距離や中間地点までの距離などを触覚により認識することができる。
【0218】
また、変形例として、例えば、タッチ位置を移動させ始めたときに、例えば音声案内により基準距離を案内することにより、振動が提示される回数を数えることで、100m、200m、300mなどと、触覚により距離を把握することができる。さらに、300mごと、500mごとなど所定の距離ごとに、音声案内を併用してもよい。音声による頻繁なフィードバックは場合によってわずらわしく感じることがあるが、振動フィードバックと併用することにより、必要な情報を適切な伝達形態で伝えることができる。入力判定[2]と判定された場合、すなわち、タッチ位置の移動距離と移動後のタッチ位置の静止時間により「連続スクロール」と判定された場合、振動提示位置はタッチされている1点として決定する。
【0219】
振動提示条件は、タッチ位置の移動距離とタッチ位置の静止時間によって決定する。例えば、自動でスクロールしている地図が所定の距離移動するごとにタッチ位置を振動させることによりユーザに移動距離を触感によりフィードバックしてもよいし、静止時間が所定の閾値Ts経過するごとに振動させてもよい。ユーザが地図が移動する速度をあらかじめ知っていれば、提示される振動の回数により経過時間を認識し、地図の大まかな移動距離を知ることができる。
【0220】
なお、変形例としては、地図の移動にともなってあらかじめ記憶させてある施設などがモニタ110に表示された際、あるいは、ネットワークやVICS(登録商標)などにより関連情報が取得された地図の位置にきたときに振動を提示してもよい。これにより、地図を移動させている過程で地図を注視する必要がなく、例えば車載システムであれば運転に集中することができる。またコンテンツの再生中であれば、コンテンツに集中することができる。
【0221】
なお、変形例としては、映像や音楽などコンテンツのリストを連続スクロールさせ、ジャンルの切り替わりや、アルバムの切り替わりごとに振動を提示してもよい。
【0222】
なお、変形例として、タッチ位置の移動方向により電子ブックのページを連続的に進める、あるいは戻す操作をするときに、あらかじめマークしたページ、内容が更新されたページなどが表示された際に振動を提示してもよい。
【0223】
なお、変形例として、同時に検出される2つのタッチ位置の移動により地図をスクロールする際に、地図の移動方向または指の移動方向に対して先頭のタッチ位置を振動させることにより、地図の移動方向やタッチ位置の移動方向がユーザの意図通りに受け付けられているかを確認できるようにしてもよい。また、2つのタッチ位置を同時に所定の距離移動させた後に停止させ、停止位置でタッチを継続した場合に、地図の移動方向に対して先頭のタッチ位置を所定の時間間隔で振動させて、地図の移動方向を提示してもよい。また、地図上に周辺施設などのランドマークや目的地がモニタ110上に表示されたときに振動を提示してもよい。
【0224】
<音量設定時の振動提示条件>
入力設定[3]と判定された場合、すなわち2点あるタッチ位置のうち、第1順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量DOWN」が選択される。このとき、第1順序のタッチ位置を振動を提示する第1のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第2のタッチ位置として決定する。これにより、ユーザは振動が提示される指の空間順序により、「音量DOWN」が選択されたことを触覚により認識することができる。
【0225】
入力設定[4]と判定された場合、すなわち2点あるタッチ位置のうち、第1順序のタッチ位置がタップ入力されたあと、所定の時間Ts以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量DOWN」が選択される。このとき、第1順序のタッチ位置を振動を提示する第1のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第2のタッチ位置として決定し、さらに所定の時間Ts以上タッチ位置が継続して検出されるごとに前記第1のタッチ位置に振動を提示することを決定する。ユーザは振動が提示される指の空間順序と継続的な振動の提示により、「連続音量DOWN」が選択されたことを触覚により認識することができる。
【0226】
入力設定[5]と判定された場合、すなわち2点あるタッチ位置のうち、第2順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量UP」が選択される。このとき、第2順序のタッチ位置を振動を提示する第1のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第2のタッチ位置として決定する。これにより、ユーザは振動が提示される指の空間順序により、「音量UP」が選択されたことを触覚により認識することができる。
【0227】
入力設定[6]と判定された場合、すなわち2点あるタッチ位置のうち、第2順序のタッチ位置がタップ入力されたあと、所定の時間Ts以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量UP」が選択される。このとき、第2順序のタッチ位置を振動を提示する第1のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第2のタッチ位置として決定し、さらに所定の時間Ts以上タッチ位置が継続して検出されるごとに前記第1のタッチ位置に振動を提示することを決定する。ユーザは振動が提示される指の空間順序と継続的な振動の提示により、「連続音量UP」が選択されたことを触覚により認識することができる。
【0228】
なお、ここでは、第1順序のタッチ位置に「音量DOWN」、第2順序のタッチ位置に「音量UP」という入力項目を割り当て、2点タッチされているうち最新のタッチ位置の入力項目を選択するという例で説明したが、これに限らず、任意の設定項目を設定し得る。例えば電子ブックの「ページ送り」、「ページ戻し」に対応づけてもよいし、TVチャンネルのアップ、ダウン、コンテンツリストまたはメニュー項目などのアップ、ダウンに対応づけてもよい。
【0229】
<トラック設定時の振動提示条件>
入力判定[7]と判定された場合、すなわち、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値D以上のとき、入力項目として「トラックDOWN」が選択される。このとき、図18の空間順序(第1のタッチ位置)に示すように、タッチ位置を移動方向に対して順序付けて先頭のタッチ位置を振動を提示する第1のタッチ位置とし、その他のタッチ位置(ここではP)は振動を提示しない第2のタッチ位置と決定する。図19Aの例で説明すると、タッチ位置PとPはx軸に対して同一のマイナス方向に移動しており、その移動方向に対して先頭のタッチ位置はPとなり、このタッチ位置を振動を提示する第1のタッチ位置と決定する。これにより、斜線が記された指1に振動が提示され、指2には振動が提示されないことになり、その結果、ユーザは、x軸のマイナス方向にタッチ位置PとPを移動させて入力したことが機器に受け付けられたことを、移動方向の先頭のタッチ位置Pに振動が提示され、その他のタッチ位置(ここではP)に振動が提示されないことにより、容易に入力が受け付けられた方向を知ることができる。
【0230】
入力判定[8]は、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値D以上、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合、入力項目として「連続トラックDOWN」が選択される。このとき、入力判定[7]の場合と同様に、タッチ位置PとPはx軸に対して同一のマイナス方向に移動しており、その移動方向に対して先頭のタッチ位置はPとなり、タッチ位置Pを振動を提示する第1のタッチ位置とし、その他のタッチ位置(ここではP)は振動を提示しない第2のタッチ位置と決定する。これにより、入力判定[7]の場合と同様に、機器に受け付けられた移動方向をタッチ位置Pに振動を提示し、タッチ位置Pに振動を提示しないことによりユーザ認識させるとともに、所定の時間間隔Tsでタッチ位置Pに振動を提示することにより、トラック番号が連続して減少していることをユーザに認識させることができる。
【0231】
入力判定[9]は、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値D以上のとき、入力項目として「トラックUP」が選択される。このとき、図18の空間順序(第1のタッチ位置)に示すように、タッチ位置を移動方向に対して順序付けて先頭のタッチ位置を振動を提示する第1のタッチ位置とし、その他のタッチ位置(ここではP)は振動を提示しない第2のタッチ位置と決定する。図19Bの例で説明すると、タッチ位置PとPはx軸に対して同一のプラス方向に移動しており、その移動方向に対して先頭のタッチ位置はPとなり、このタッチ位置を振動を提示する第1のタッチ位置と決定する。これにより、斜線が記された指2に振動が提示され、指1には振動が提示されないことになり、その結果、ユーザは、x軸のプラス方向にタッチ位置を移動させて入力したことが機器に受け付けられたことを、移動方向の先頭のタッチ位置Pに振動が提示され、その他のタッチ位置(ここではP)に振動が提示されないことにより、容易に入力が受け付けられた方向を知ることができる。
【0232】
入力判定[10]は、タッチ数が2、かつタッチ位置PとPの移動方向v1とv2が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値D以上、かつタッチ位置の静止時間t1sが所定の閾値Ts以上の場合、入力項目として「連続トラックUP」が選択される。このとき、入力判定[9]の場合と同様に、タッチ位置PとPはx軸に対して同一のプラス方向に移動しており、その移動方向に対して先頭のタッチ位置はPとなり、タッチ位置Pを振動を提示する第1のタッチ位置とし、その他のタッチ位置(ここではP)は振動を提示しない第2のタッチ位置と決定する。これにより、入力判定[9]の場合と同様に、機器に受け付けられた移動方向をタッチ位置Pに振動を提示し、タッチ位置Pに振動を提示しないことによりユーザ認識させるとともに、所定の時間間隔Tsでタッチ位置Pに振動を提示することにより、トラック番号が連続して増加していることをユーザに認識させることができる。
【0233】
なお、さらにタッチ位置PまたはPの移動速度を用いてトラック番号を設定する時間間隔Tsを変更し、変更した時間間隔で触覚を提示するようにしてもよい。これにより、速い速度でタッチ位置P、Pを移動させたあとタッチ位置を静止させた場合は、Tsを短くしてトラック番号を短い時間間隔で変更され、逆に遅い速度でタッチ位置P、Pを移動させた場合は、Tsを長くしてトラック番号をゆっくり変更されるが、変更した時間間隔に合わせて触覚を提示することにより、ユーザの意図に応じてトラック番号の変更をわかりやすく通知することができる。
【0234】
また、Tsがかなり短い場合、トラック番号ごとに振動を提示すると、トラック番号の切り替わりを識別しづらくなることもあるため、実施の形態1のコンテンツの早送り、巻戻しと同様に、トラック番号についても早送り、巻戻しのレベルを設定し、そのレベル値を振動によりフィードバックしてもよい。
【0235】
なお、タッチ入力の結果をパネル101の振動によりユーザに通知するとき、タッチ位置が移動中でであっても振動を知覚することはできるが、タッチ位置の移動が停止したときまたは移動速度が小さいときに振動を提示することにより、より容易にユーザは各タッチ位置での振動を知覚させることができる。すなわち、移動入力の結果を振動でフィードバックする際にも、移動中の振動提示だけでなく、移動の停止時に振動をフィードバックすることで、より容易に振動を知覚して受け付けられた入力について知ることができる。
【0236】
なお、実施の形態2では、振動提示条件決定部302で決定する振動提示条件として、複数のタッチ位置を移動させた後に静止状態を維持することで、設定値を連続的に変化させるという例で説明したが、これにかぎらず、例えば、静止状態に移行したあとは、所定の時間間隔で現在の設定値を振動により知らせるようにしてもよい。
【0237】
なお、ここでは、複数のタッチ位置を同一方向に移動させる例で説明したが、例えば、2点タッチした状態で、一方のタッチ位置は静止しており、他方のタッチ位置をx軸のプラス方向またはマイナス方向に移動させたときに、移動させたタッチ位置のみを振動させ、かつ設定項目としては、「早送り」あるいは「巻戻し」、「トラック番号の増加」あるいは「トラック番号の減少」などを実行してもよい。移動させたタッチ位置への振動提示は、タッチ位置の移動中でもよいし、移動の停止時およびその前後でもよい。移動の停止時およびその前後は、ユーザはより振動を感じやすく、入力結果の確認がより容易である。
【0238】
(ステップS306:提示振動決定)
提示振動決定部108は前記第1のタッチ位置に提示する振動を示す触感信号を、ステップS304で決定した設定値と設定値の増減値、およびステップS305で決定した振動提示条件に基づいて決定する。
【0239】
実施の形態1と同様に、図7Aおよび図7Bに示すような1回刺激信号や2回刺激信号の触感信号を用いて、設定値や設定値の増減値を提示する。例えば設定値の増減値が1であれば1回刺激信号に決定し、トラック番号の早送りや巻戻しなどの2段階以上の設定値を知らせるときは図7Bに示す2回刺激信号、さらには1回刺激信号を繰り返すことで得られる3回刺激信号などの触感信号に決定する。
【0240】
(ステップS307:多点同時振動制御)
多点同時振動制御部109は前記第1のタッチ位置に前記触感信号が示す振動を提示し、前記第2のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動してパネル101の振動をタッチ位置別に同時に制御する。
【0241】
ステップS307は実施の形態1のステップS106と同じ動作のため説明は省略する。
【0242】
上記の構成と動作により、本実施の形態2にかかる触覚入出力装置100は、実施の形態1に、移動入力判定部301を追加し、複数のタッチ位置をタッチしたまま同一方向へ移動させる移動入力を判定し、振動提示条件決定部302により移動方向に対して先頭のタッチ位置を判定し、多点同時振動制御部109により、移動方向に対して先頭のタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しない。これにより、ユーザは、機器が受け付けた移動入力の方向や地図や音楽トラックなど操作対象の進行方向を触覚により確認できる。また、GUIを目視してタッチすることなく、パネル上の任意の位置で、複数のタッチ位置に基づく移動入力と順序入力より、機器の設定を操作できる。
【0243】
(実施の形態3)
実施の形態3は、空調やオーディオなど、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができるよう考慮したものである。
【0244】
図20は、本発明の実施の形態3における触覚入出力装置の構成を示すブロック図である。第1の実施の形態の構成を示すブロック図と同一の構成要素には同一の番号を付し、実施の形態1と異なる構成要素である設定情報階層化記憶部401、階層化入力判定部402、階層別振動提示条件決定部403の構成と動作を中心に説明する。
【0245】
<設定情報階層化記憶部401>
設定情報階層化記憶部401は、機器の設定情報を階層化してタッチ位置の空間順序と対応付けて記憶する。図21に階層化して記憶された設定情報の一例を示す。実施の形態3では、空調機能とオーディオ機能を備えたシステムを例として説明する。ここでは、図21に示すように、選択モード1〜選択モード7の7つの選択モードが3つの階層に階層化されて記憶されている例で説明する。
【0246】
第1階層は、空調設定またはオーディオ設定を選択する選択モード1からなる。
【0247】
第2階層は、温度設定または風量設定を選択する選択モード2、および、音量設定またはトラック設定を選択する選択モード3からなる。
【0248】
第3階層は、温度DOWNまたは温度UPを選択する選択モード4、風量DOWNまたは風量UPを選択する選択モード5、音量DOWNまたは音量UPを選択する選択モード6、および、トラックDOWNまたはトラックUPを選択する選択モード7からなる。
【0249】
<階層化情報入力判定部402>
階層化情報入力判定部402は、タッチ情報取得部103で取得される複数のタッチ位置の時系列情報に基づいて、前記設定情報階層化記憶部401に記憶されているN階層に階層化された選択モードを選択して、目的の設定項目を決定する。
【0250】
具体的には、パネル101に入力される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出して、第1の入力パターンが検出されたとき第1階層の選択モードへ移行し、第2の入力パターンが検出されたとき第N−1階層の選択モードへ移行し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、設定情報階層化記憶部401にあらかじめ記憶されている第N階層の選択モードの設定項目の空間順序とに基づいて、前記タッチ位置の空間順序と一致する前記設定項目を決定して第N+1階層の選択モードへ移行する。
【0251】
<階層別振動提示条件決定部403>
階層別振動提示条件決定部403は、複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第1のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0252】
上記のように構成された本実施の形態3の触覚入出力装置100の動作を図21図23に基づいて説明する。
【0253】
図22は、実施の形態2の触覚入出力装置100の動作を示すフローチャートである。
【0254】
ここでは、カーナビなどの車載システムに本実施の形態3の触覚入出力装置100を搭載した例で本実施の形態3の動作を説明する。図18にユーザが入力する設定項目の一例を示す。ここでは、地図スクロール、音量設定、トラック設定を例として、図18に示す[1]〜[10]の入力を判定し、受け付けられた入力の結果を触覚によりフィードバックする手順の一例について説明する。車載システムの構成の一例としては、図19Aに示すように、地図などを表示するモニタ110の上部に透明な素材からなるパネル101を配置する構成であってもよく、また、モニタ110とは別にセンターコンソールやアームレストにパネル101を配置する構成であってもよい。実施の形態2は、いずれの構成であっても、ユーザはパネル101を注視することなく入力操作できるよう考慮したものである。
【0255】
(ステップS401:タッチ情報取得)
タッチ情報取得部103は、パネル101に対するユーザの複数のタッチ位置を時系列情報として取得する。例えば図19Aに示すように、2本の指、指1および指2でパネル101にタッチしているとき、時刻tにおける指1によるタッチ位置P(x(t),y(t))、指2によるタッチ位置P(x(t),y(t))を、例えば20msなど所定のサンプリング間隔Δtごとに取得する。
【0256】
(ステップS402:階層化入力判定)
階層化情報入力判定部402は、タッチ情報取得部103で取得される複数のタッチ位置の時系列情報に基づいて、前記設定情報階層化記憶部401に記憶されているN階層に階層化された選択モードを選択して、目的の設定項目を決定する。
【0257】
具体的には、パネル101に入力され、タッチ情報取得部103により取得される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、設定情報階層化記憶部401にあらかじめ記憶されている第N階層の選択モードの設定項目の空間順序とに基づいて、前記タッチ位置の空間順序と一致する前記設定項目を決定して第N+1階層の選択モードへ移行する。また、前記複数のタッチ位置の時系列情報に基づいて、第1の入力パターンが検出されたとき第1階層の選択モードへ移行し、第2の入力パターンが検出されたとき第N−1階層の選択モードへ移行する。
【0258】
さらに具体的には、第N階層において、タッチ位置が1つでタッチの継続時間が所定の時間内(例えば100ms〜500ms以内)である場合、あるいは、少なくとも1つのタッチ位置が継続されているときに、別の位置に新たな1つのタッチ位置が検出される場合(以下、「シングルタップ入力」と呼ぶ。)を「選択入力」として判定し、新たなタッチ位置の空間順序に対応する第N階層の選択モードの設定項目を選択し、第N+1階層へ移行する。
【0259】
また、前記第1の入力パターンとして、例えば、2つ以上のタッチ位置が所定の時間内(例えば100ms〜500msの時間内)に2回検出される場合(以下、「ダブルタップ入力」と呼ぶ。)を「初期選択入力」として判定し、第1階層の選択モード1に戻る。
【0260】
また、前記第2の入力パターンとして、例えば、第N階層の選択モードにおいて、選択肢の数と同数のタッチ位置が継続して検出され、同時に別の新たなタッチ位置が少なくとも1つ検出される場合を「戻り入力」として判定し、第N−1階層の選択モードに戻る。
【0261】
階層化情報入力判定部402は、上記手順に基づいて、「選択入力」、「初期選択入力」、「戻り入力」を判定し、ユーザが目的としている設定項目を決定する。
【0262】
以下、図21を用いて、階層化された設定項目から目的の設定項目を決定する手順の一例について説明する。ここでは、選択モード1〜選択モード7は、空調調整またはオーディオ調整、温度調整または風量調整など、各選択モードはすべて2つの選択肢からなる例で説明する。ただし、選択肢の数は2に限るものではなく、片手または両手によるタッチ操作により、より多くの選択肢から選択してもよい。
【0263】
以下、図21を用いて、「選択入力」および「初期選択入力」の2種類のタッチ入力のみで空調設定およびオーディオ設定を実施する手順の一例を説明する。図23は、「選択入力」、「初期選択入力」に加え、「戻り入力」の3種類のタッチ入力で設定項目を決定する一例であり、これについては後述する。
【0264】
<第1階層、選択モード1での設定項目選択>
階層化情報入力判定部402は、ダブルタップ入力が検出された場合、「初期選択入力」と判定して、第1階層の選択モード1に移行する。選択モード1は空調に関する設定項目を選択する、またはオーディオに関する設定項目を選択するモードである。ユーザは空調設定を選択する場合は第1順序である指1でシングルタップ入力を実行し、オーディオ設定を選択する場合は第2順序である指2でシングルタップ入力を実行する。階層化情報入力判定部402は、少なくとも1つのタッチ位置が継続して検出されているとき、別の位置に新たな1つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序を判定する。新たなタッチ位置の空間順序の判定は、実施の形態1のステップS102で、図5Bおよび図5Cを用いて説明した音量設定の入力判定と同様に、新たなタッチ位置の空間順序が第1順序であるか第2順序であるかを判定する。階層化情報入力判定部402は、新たなタッチ位置の空間順序が第1順序である場合、図21に示すように、設定情報階層化記憶部401に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、空間順序が一致する空調設定を選択し、第2階層の選択モード2に移行する。同様に、新たなタッチ位置の空間順序が第2順序である場合、図21に示すようにオーディオ設定を選択し、第2階層の選択モード3に移行する。
【0265】
<第2階層、選択モード2での設定項目選択>
選択モード2は、空調設定における、温度設定または風量設定を選択するモードである。選択モード1と同様に、ユーザは温度設定を選択する場合は第1順序である指1でシングルタップ入力を実行し、風量設定を選択する場合は第2順序である指2でシングルタップ入力を実行する。階層化情報入力判定部402は、少なくとも1つのタッチ位置が継続して検出されているとき、別の位置に新たな1つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序が第1順序であるとき、図21に示すように、設定情報階層化記憶部401に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、第1順序と対応付けられて記憶されている温度設定を選択し、第3階層の選択モード4に移行する。また、新たなタッチ位置の空間順序が第2順序であるとき、図21に示すように風量設定を選択し、第3階層の選択モード5へ移行する。
【0266】
<第2階層、選択モード3での設定項目選択>
選択モード3は、オーディオ設定における、音量設定またはトラック設定を選択するモードである。選択モード1と同様に、ユーザは音量設定を選択する場合は第1順序である指1でシングルタップ入力を実行し、トラック設定を選択する場合は第2順序である指2でシングルタップ入力を実行する。階層化情報入力判定部402は、少なくとも1つのタッチ位置が継続して検出されているとき、別の位置に新たな1つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序が第1順序であるとき、図21に示すように、設定情報階層化記憶部401に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、第1順序と対応付けられて記憶されている音量設定を選択し、第3階層の選択モード6に移行する。また、新たなタッチ位置の空間順序が第2順序であるとき、図21に示すようにトラック設定を選択し、第3階層の選択モード7へ移行する。
【0267】
<第3階層、選択モード4および選択モード5での設定項目選択>
選択モード4は、空調設定における、設定温度を下げる設定(温度DOWN設定)または設定温度を上げる設定(温度UP設定)を選択するモードである。選択モード1と同様に、ユーザは温度DOWN設定を選択する場合は第1順序である指1でシングルタップ入力を実行し、温度UP設定を選択する場合は第2順序である指2でシングルタップ入力を実行する。階層化情報入力判定部402は、第1階層および第2階層での選択入力の判定と同様に、新たなタッチ位置の空間順序が第1順序であるとき、図21に示すように、第1順序と対応付けられて記憶されている温度DOWN設定を選択する。また、新たなタッチ位置の空間順序が第2順序であるとき、図21に示すように温度UP設定を選択する。
【0268】
選択モード5は、空調設定における、設定風量を下げる設定(風量DOWN設定)または設定風量を上げる設定(風量UP設定)を選択するモードである。選択モード1と同様に、ユーザは風量DOWN設定を選択する場合は第1順序である指1でシングルタップ入力を実行し、風量UP設定を選択する場合は第2順序である指2でシングルタップ入力を実行する。階層化情報入力判定部402は、選択モード4での選択入力の判定と同様に、新たなタッチ位置の空間順序が第1順序であるとき、図21に示すように、第1順序と対応付けられて記憶されている風量DOWN設定を選択する。また、新たなタッチ位置の空間順序が第2順序であるとき、図21に示すように風量UP設定を選択する。
【0269】
<第3階層、選択モード6および選択モード7での設定項目選択>
選択モード6は、オーディオ設定における、設定音量を下げる設定(音量DOWN設定)または設定音量を上げる設定(音量UP設定)を選択するモードである。選択モード1と同様に、ユーザは音量DOWN設定を選択する場合は第1順序である指1でシングルタップ入力を実行し、音量UP設定を選択する場合は第2順序である指2でシングルタップ入力を実行する。階層化情報入力判定部402は、選択モード4での選択入力の判定と同様に、新たなタッチ位置の空間順序が第1順序であるとき、図21に示すように、第1順序と対応付けられて記憶されている音量DOWN設定を選択する。また、新たなタッチ位置の空間順序が第2順序であるとき、図21に示すように音量UP設定を選択する。
【0270】
選択モード7は、オーディオ設定における、設定トラックを前に戻す設定(前トラック設定)または設定トラックを次に進める設定(次トラック設定)を選択するモードである。選択モード1と同様に、ユーザは前トラック設定を選択する場合は第1順序である指1でシングルタップ入力を実行し、次トラック設定を選択する場合は第2順序である指2でシングルタップ入力を実行する。階層化情報入力判定部402は、選択モード6での選択入力の判定と同様に、新たなタッチ位置の空間順序が第1順序であるとき、図21に示すように、第1順序と対応付けられて記憶されている前トラック設定を選択する。また、新たなタッチ位置の空間順序が第2順序であるとき、図21に示すように次トラック設定を選択する。
【0271】
(ステップS403:設定情報の変更)
設定情報変更部106は階層情報入力判定部402で決定された設定項目の設定値を変更する。第1階層、第2階層では設定項目を選択するのみであり、第3階層の選択モード4〜選択モード7で決定された設定項目の設定情報を変更する。
【0272】
設定情報の変更は、実施の形態2のステップS304で説明した音量設定およびトラック設定と同様の手順により実行される。
【0273】
<第3階層、選択モード4および選択モード5での設定情報変更>
選択モード4で温度DOWN設定と判定された場合、すなわち2点あるタッチ位置のうち、第1順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図18の音量設定の設定値の増減値と同様に、温度設定の増減値ΔT=−1として、設定値である温度レベルTを、T=T+ΔTに従って1減少させる。設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。
【0274】
選択モード4で温度UP設定と判定された場合、すなわち2点あるタッチ位置のうち、第2順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図18の音量設定の設定値の増減値と同様に、温度設定の増減値ΔT=+1として、設定値である温度レベルTを、T=T+ΔTに従って1増加させる。
【0275】
選択モード5で風量DOWN設定と判定された場合、または、風量UP設定と判定された場合はそれぞれ、選択モード4で温度DOWN設定と判定された場合、または、温度UP設定と判定された場合と同様に、風量の設定値の増減値ΔWをΔW=―1または+1として、風量レベルWをW=W+ΔWに従って設定値を変更する。
【0276】
設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。
【0277】
<第3階層、選択モード6および選択モード7での設定情報変更>
選択モード6で音量DOWN設定と判定された場合、すなわち2点あるタッチ位置のうち、第1順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図18の音量設定の設定値の増減値と同様に、音量設定の増減値ΔV=−1として、音量レベルV=V+ΔVに従って1減少させる。
【0278】
選択モード6で音量UP設定と判定された場合、すなわち2点あるタッチ位置のうち、第2順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図18の音量設定の設定値の増減値と同様に、温度設定の増減値ΔV=+1として、設定値である温度レベルTを、V=V+ΔVに従って1増加させる。
【0279】
選択モード7で前トラック設定と判定された場合、または、次トラック設定と判定された場合はそれぞれ、図18のトラック設定と同様に、トラック番号の増減値ΔNtをΔNt=―1または+1として、トラック番号NtをNt=Nt+ΔNtに従って設定値を変更する。
【0280】
設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。
【0281】
(ステップS404:階層別に振動提示条件決定)
階層別振動提示条件決定部403は、階層ごと、および選択モードごとに、振動を提示する第1のタッチ位置、および振動を提示しない第2のタッチ位置を決定する。
【0282】
<第1階層での振動提示条件>
階層別振動提示条件決定部403は、図21に示すように、ダブルタップ入力が検出され、「初期選択入力」と判定された場合、検出された複数のタッチ位置に対して、各タッチ位置に所定の時間内に1回ずつ振動を提示することを決定する。例えば、ダブルタップが検出された2つのタッチ位置に対して、まず、第1順序のタッチ位置を振動を提示する第1のタッチ位置とし、第2順序のタッチ位置を振動を提示しない第2のタッチ位置とした後、所定の時間後、例えば250ms後に、第2順序のタッチ位置を振動を提示する第1のタッチ位置とし、第1順序のタッチ位置を振動を提示しない第2のタッチ位置とする。これにより、ユーザは、受け付けられたタッチ位置の数を認識することができ、すなわち、選択項目の数と選択モード1に移行したことを認識することができる。
【0283】
なお、同時に複数のタッチ位置が継続されている場合、あるタッチ位置に振動を提示して、別のタッチに振動を提示するまでのインターバルを250ms以上に設定することにより、ユーザはより容易に各指に順に振動が提示されたことを認識できる。
【0284】
また、実施の形態3では選択モードに移行したことを振動により通知するため、ユーザはダブルタップ入力後、そのままタッチ位置を継続することが望ましく、また、例えば、2点タッチの場合、1つのタッチ位置をパネル101で継続したまま、他のタッチ位置でシングルタップ入力することにより、一方の指が支点になるので、容易にシングルタップ入力ができ、かつ2つの選択肢のうちどちらを選択しているのかを容易に認識することができる。
【0285】
また、階層別振動提示条件決定部403は、図21に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第1順序のタッチ位置の設定項目であるか、第2順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第1のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0286】
<第2階層での振動提示条件>
階層別振動提示条件決定部403は、図21に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第1順序のタッチ位置の設定項目であるか、第2順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第1のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0287】
これにより、ユーザは振動が提示されるタッチ位置にある指の空間順序により、選択モード2では、温度設定(第1順序)が選択されたのか、あるいは風量設定(第2順序)が選択されたのかを触覚により認識することができる。また、選択モード3では、音量設定(第1順序)が選択されたのか、あるいはトラック設定(第2順序)が選択されたのかを触覚により認識することができる。
【0288】
<第3階層での振動提示条件>
階層別振動提示条件決定部403は、図21に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第1順序のタッチ位置の設定項目であるか、第2順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第1のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第2のタッチ位置として決定する。
【0289】
これにより、ユーザは振動が提示されるタッチ位置にある指の空間順序により、選択モード4では、温度DOWN設定(第1順序)が選択されたのか、あるいは温度UP設定(第2順序)が選択されたのかを触覚により認識することができる。また、選択モード5では、風量DOWN設定(第1順序)が選択されたのか、あるいは風量UP設定(第2順序)が選択されたのかを触覚により認識することができる。また、選択モード6では、音量DOWN設定(第1順序)が選択されたのか、あるいは音量UP設定(第2順序)が選択されたのかを触覚により認識することができる。また、選択モード7では、前トラック設定(第1順序)が選択されたのか、あるいは次トラック設定(第2順序)が選択されたのかを触覚により認識することができる。
【0290】
(ステップS405:提示振動決定)
提示振動決定部108は前記第1のタッチ位置に提示する振動を示す触感信号を、ステップS403で決定した設定値と設定値の増減値、およびステップS404で決定した振動提示条件に基づいて決定する。
【0291】
実施の形態1と同様に、図7Aおよび図7Bに示すような1回刺激信号や2回刺激信号の触感信号を用いて、選択入力が受け付けられたこと、また、設定値、設定値の増減値をユーザに提示する。例えば設定値の増減値が1であれば1回刺激信号に決定し、第2階層で選択入力が検出された際には、図7Bに示す2回刺激信号などの触感信号に決定し、第2階層での選択入力であることをユーザに提示する。すなわち刺激信号の回数と選択している階層数Nを同一にすることにより、第N階層での選択入力であることをユーザに提示する。
【0292】
<第1階層での提示振動>
提示振動決定部108は、ステップS402によりダブルタップ入力が検出され、第1階層の選択モード1に移行する「初期選択入力」と判定され、ステップS404により、検出された複数のタッチ位置に対して、各タッチ位置に所定の時間内に1回ずつ振動を提示すると決定された際に、例えば図7Aに示す1回刺激信号を触感信号として決定する。これにより、ユーザは、受け付けられたタッチ位置の数を認識することができ、すなわち、選択項目の数と選択モード1に移行したことを認識することができる。また、ステップS402によりシングルタップ入力が検出され、「選択入力」と判定された場合、例えば図7Aに示す1回刺激信号を触感信号として決定する。これにより、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第1順序のタッチ位置の設定項目であるか、第2順序のタッチ位置の設定項目であるかをユーザに通知することができる。
【0293】
<第2階層での提示振動>
提示振動決定部108は、第2階層の選択モード2または選択モード3のいずれにおいても、ステップS402によりシングルタップ入力が検出され、「選択入力」と判定された場合、第2階層において、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第1順序のタッチ位置の設定項目であるか、第2順序のタッチ位置の設定項目であるかをユーザに通知するため、例えば図7Bに示す2回刺激信号を触感信号として決定する。
【0294】
<第3階層での提示振動>
提示振動決定部108は、第3階層の選択モード4から選択モード7のいずれにおいても、ステップS402によりシングルタップ入力が検出され、「選択入力」と判定された場合、例えば設定値の増減値が1であれば1回刺激信号に決定する。これにより、ユーザがシングルタップ入力したタッチ位置に、1回刺激信号によりパネル101を振動させることにより、設定値が1だけ増減したことを通知する。
【0295】
なお、例えば選択モード5で、風量レベルを設定する場合など設定値が数段階の離散値をとる場合、例えば風量レベルが5段階程度であれば、シングルタップ入力したタッチ位置が所定の時間継続した場合に、1回刺激信号〜5回刺激信号によりパネル101を振動させ、現在の設定値を触覚によりフィードバックしてもよい。
【0296】
さらに、設定値が変更された後、同じタッチ位置が継続的に検出される場合、所定の時間間隔ごとに設定値を振動によりフィードバックしてもよい。
【0297】
また、設定値の振動によるフィードバックが所定の時間、あるいは所定の回数継続した後に、タッチ位置が継続して検出されていても振動を停止させてもよい。
【0298】
なお、各階層で、タッチ位置が継続して検出されており、かつ所定の時間以上、次の階層へ移行する入力が実行されない場合、ユーザが選択を迷っている判断して、音声等により、設定項目の名称を提示してもよい。あるいは、各タッチ位置に1回ずつ順に振動を提示することを所定の時間間隔で繰り返すことにより、選択肢の数とタッチ位置として受け付けられているタッチ位置をユーザにフィードバックしてもよい。
【0299】
また、各階層で、タッチ位置の数と設定項目の選択肢の数が一致しない場合、例えば所定の時間経過後に、設定値を通知する振動とは周波数や振幅の異なる別の振動を提示することにより、あるいは音声等により、不一致をユーザに通知してもよい。
【0300】
(ステップS406:多点同時振動提示)
多点同時振動制御部109は、ステップS404で決定された第1のタッチ位置に、ステップS405で決定された触感信号が示す振動を提示し、ステップS404で決定された第2のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号によりアクチュエータ102を駆動してパネル101の振動をタッチ位置別に同時に制御する。
【0301】
ステップS406は実施の形態1のステップS106と同じ動作のため説明は省略する。
【0302】
上記の構成と動作によれば、実施の形態3にかかる触覚入出力装置100は、図21に示すような階層化された設定項目を容易に選択し、入力結果を触覚により確認することができる。図21の例では、まずユーザは、2本の指によるダブルタップ入力により選択モード1に移行させる。このとき、ダブルタップ入力の後、パネル101上で静止している各指に、1回ずつ振動を提示することにより、受け付けられたタッチ数と選択項目の数が一致していることを触覚により確認できる。次に、選択モード1において、空調設定またはオーディオ設定を選択するために、タッチした2本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第1順序のとき空調設定が選択され、空間順序が第2順序のとき、オーディオ設定が選択される。このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは容易に確認することができる。
【0303】
選択モード1で空調が選択された場合、第2階層である選択モード2に移行する。選択モード2においては、選択モード1と同様に、温度設定または風量設定を選択するために、タッチした2本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第1順序のとき温度設定が選択され、空間順序が第2順序のとき、風量設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。選択モード2において、温度設定が選択された場合、第3階層である選択モード4に移行する。選択モード2において、風量設定が選択された場合、第3階層である選択モード5に移行する。選択モード4においては、温度DOWN設定または温度UP設定を選択するために、タッチした2本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第1順序のとき温度DOWN設定が選択され、空間順序が第2順序のとき、温度UP設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。また、選択モード5においては、風量DOWN設定または風量UP設定を選択するために、タッチした2本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第1順序のとき風量DOWN設定が選択され、空間順序が第2順序のとき、風量UP設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。
【0304】
選択モード1でオーディオが選択された場合、第2階層である選択モード3に移行する。選択モード3においては、選択モード1と同様に、音量設定またはトラック設定を選択するために、タッチした2本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第1順序のとき音量設定が選択され、空間順序が第2順序のとき、トラック設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。選択モード3において、音量設定が選択された場合、第3階層である選択モード6に移行する。選択モード3において、トラック設定が選択された場合、第3階層である選択モード7に移行する。選択モード6においては、音量DOWN設定または音量UP設定を選択するために、タッチした2本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第1順序のとき音量DOWN設定が選択され、空間順序が第2順序のとき、音量UP設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。また、選択モード7においては、トラックDOWN設定またはトラックUP設定を選択するために、タッチした2本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第1順序のときトラックDOWN設定が選択され、空間順序が第2順序のとき、トラックUP設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。
【0305】
なお、上記ステップS401〜S406では、新たな設定項目を選択する際、例えば、温度を設定した後、次にオーディオの音量を設定するような場合、一旦ダブルタップ入力により第1階層の選択モード1に戻り、各選択モードに移行する例で説明した。
【0306】
ここでは、第N階層から第N−1階層に戻る「戻り入力」を考慮した設定項目の決定手順の一例について説明する。具体的には、ステップS402において、階層化情報入力判定部402は、第N階層の選択モードにおいて、選択肢の数と同数のタッチ位置が継続して検出され、同時に別の新たなタッチ位置が少なくとも1つ検出される場合を「戻り入力」として判定し、第N−1階層の選択モードに戻る。
【0307】
以下、図23を用いて、シングルタップ入力による「選択入力」、ダブルタップ入力による「初期選択入力」、各選択モードにおける選択肢の数だけタッチ位置が継続して検出されている状態で、少なくとも1つの別のタッチ位置が検出される場合の「戻り入力」を判定することにより、階層化された設定情報の決定手順の一例について説明する。
【0308】
図23の例では、まず、2つのタッチ位置で同時にダブルタップ入力を行うことにより、選択モード1に移行する。次に、1つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「1点ダブルタップ入力」による「選択入力」と判定し、振動によるフィードバックは2回刺激信号を用いて、第2階層に移行することをユーザに確認させる。
【0309】
第1階層で空調設定が選択された場合、第2階層の選択モード2に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第3のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第2階層から第1階層へ戻ることを振動によりユーザに確認させるため、1回刺激信号を用いて第3のタッチ位置にのみ振動を提示することによりユーザに通知する。選択モード2において、温度設定または風量設定を選択するために、1つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「1点ダブルタップ入力」による「選択入力」と判定し、別のタッチ位置に3回刺激信号を用いて振動をフィードバックすることにより、第3階層に移行することをユーザに確認させる。
【0310】
第2階層で温度設定が選択された場合、第3階層の選択モード4に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第3のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第3階層から第2階層へ戻ることを振動によりユーザに確認させるため、2回刺激信号を用いて第3のタッチ位置のみを振動させることによりユーザに通知する。選択モード3において、温度DOWN設定または温度UP設定を選択するために、1つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に1回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
【0311】
第2階層で風量設定が選択された場合、第3階層の選択モード5に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第3のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第3階層から第2階層へ戻ることを振動によりユーザに確認させるため、2回刺激信号を用いて第3のタッチ位置のみを振動させることによりユーザに通知する。選択モード5において、風量DOWN設定または風量UP設定を選択するために、1つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に1回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
【0312】
第1階層でオーディオ設定が選択された場合、第2階層の選択モード3に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第3のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第2階層から第1階層へ戻ることを振動によりユーザに確認させるため、1回刺激信号を用いて第3のタッチ位置のみに振動を提示することによりユーザに通知する。選択モード3において、音量設定またはトラック設定を選択するために、1つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「1点ダブルタップ入力」による「選択入力」と判定し、別のタッチ位置に3回刺激信号を用いて振動をフィードバックすることにより、第3階層に移行することをユーザに確認させる。
【0313】
第2階層で音量設定が選択された場合、第3階層の選択モード6に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第3のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第3階層から第2階層へ戻ることを振動によりユーザに確認させるため、2回刺激信号を用いて第3のタッチ位置のみを振動させることによりユーザに通知する。選択モード6において、音量DOWN設定または音量UP設定を選択するために、1つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に1回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
【0314】
第2階層でトラック設定が選択された場合、第3階層の選択モード7に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第3のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第3階層から第2階層へ戻ることを振動によりユーザに確認させるため、2回刺激信号を用いて第3のタッチ位置のみを振動させることによりユーザに通知する。選択モード7において、前トラック設定または次トラック設定を選択するために、1つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に1回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
【0315】
なお、ここでは、選択モードの選択肢が2であり、2つのタッチ位置が検出されている状態で、別の第3のタッチ位置が検出されたときに「戻り入力」と判定する例で説明したが、これに限らず、例えば、同時にタッチ位置の空間順序を判定し、例えば、(選択肢数+1)番目のタッチ位置が最も右側(x軸の座標値が最大)であれば、次の階層の選択モードへ移行し、(選択肢数+1)番目のタッチ位置が最も左側(x軸の座標値が最小)であれば、1つ前の階層に戻るなどとしてもよい。
【0316】
以上の構成と動作により、本実施の形態3にかかる触覚入出力装置100は、階層化情報入力判定部402により、シングルタップ入力による「選択入力」、ダブルタップ入力による「初期選択入力」、各選択モードにおける選択肢の数だけタッチ位置が継続して検出されている状態で、少なくとも1つの別のタッチ位置が検出される場合の「戻り入力」を判定することにより、階層化されて記憶されている設定項目を選択し、階層別振動提示条件決定部403により、階層ごとまたは選択モードごとに、振動を提示する第1のタッチ位置、および振動を提示しない第2のタッチ位置を決定して、多点同時振動制御部109により、設定項目を選択したタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しない。これにより、ユーザは、複数の機器の機能が混在したシステムにおいても、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、タッチ入力用のパネルを注視せずに入力設定ができる。
【0317】
なお、実施の形態1から実施の形態3においては、タッチ位置が検出されない場合は、アクチュエータ102の駆動を停止し、パネル101を振動させないことが好ましい。ただし、タッチ位置が離れた後に、入力状態や機器の状態を振動によりフィードバックしてもよい。
【0318】
なお、実施の形態1から実施の形態3においては、タッチ位置の時系列情報に基づいて、検出順序、移動方向、空間順序を算出したが、これに限らず、例えばタッチパネルドライバからオペレーティングシステムに通知されるタッチ数、タッチ番号、タッチ開始イベント、タッチ継続イベント、タッチ終了イベントなどのタッチイベントを併用して算出してもよい。
【0319】
また、実施の形態1から実施の形態3では、タッチ位置の検出時、タッチ位置の移動時、タッチ位置の移動後の停止時に振動を提示する例で説明したが、これに限らず、タッチの押圧が所定の閾値以上のとき、タッチ位置での指の接触面積が所定の閾値以上のとき、あるいは他のマルチタッチジェスチャーが検出されたときに振動を提示してもよい。
【0320】
上記説明した実施の形態1から実施の形態3に係る触覚入出力装置は、タッチ入力により機器を操作する際に、入力するタッチパネルやタッチパッドを注視することなく、機器の設定操作ができるので、モニタのコンテンツを注視しながら手元のタッチリモートコントローラを操作する際にはリモコンを注視することなく操作する、あるいはモニタをできるだけ注視しないで操作することが望まれるカーナビゲーションなどの車載システムに応用できる。また、設定項目とタッチ位置の空間順序を対応づけ、選択された設定項目に対応するタッチ位置のみを振動させることにより、機器に受け付けられた設定項目をユーザが触覚により容易に確認できるので、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、TV用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に応用できる。また、洗濯機、電子レンジなどのタッチパネルが搭載された家電機器の触覚入出力装置、また、家電機器を制御する携帯電話やタブレット端末などでタッチパネルが搭載されている機器の触覚入出力装置としても応用できる。
【0321】
以上、例示的な各実施の形態について説明したが、本願の請求の範囲は、これらの実施の形態に限定されるものではない。添付の請求の範囲に記載された主題の新規な教示および利点から逸脱することなく、上記各実施の形態においてさまざまな変形を施してもよく、上記各実施の形態の構成要素を任意に組み合わせて他の実施の形態を得てもよいことを、当業者であれば容易に理解するであろう。したがって、そのような変形例や他の実施の形態も本開示に含まれる。
【産業上の利用可能性】
【0322】
本発明にかかる触覚入出力装置は、カーナビゲーションシステムの他、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、TV用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に利用可能である。
【符号の説明】
【0323】
1 指
2 指
3 指
10 電子機器
100 触覚入出力装置
101 パネル
102 アクチュエータ
103 タッチ情報取得部
104 設定情報記憶部
105 順序入力判定部
106 設定情報変更部
107 振動提示位置決定部
108 提示振動決定部
109 多点同時振動制御部
110 モニタ
111 映像コンテンツ
112 選択枠表示
113 設定値表示部
190 プロセッサ
201 伝達特性記憶部
202 伝達特性取得部
203 フィルタ算出部
204 触感信号記憶部
205 フィルタ処理部
301 移動入力判定部
302 振動提示条件決定部
401 設定情報階層化記憶部
402 階層化情報入力判定部
403 階層別振動提示条件決定部
図1
図2
図3
図4
図5A
図5B
図5C
図6A
図6B
図6C
図7A
図7B
図8
図9
図10A
図10B
図10C
図10D
図11
図12
図13
図14
図15
図16
図17
図18
図19A
図19B
図20
図21
図22
図23

【手続補正書】
【提出日】2014年10月23日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
タッチパネルへのマルチタッチ入力として、第1タッチ入力と第2タッチ入力を検出し、
前記第1タッチ入力の前記タッチパネルにおける第1位置と、前記第2タッチ入力の前記タッチパネルにおける第2位置を判定し、
前記第1タッチ入力と前記第2タッチ入力の(i)各タッチタイプ、(ii)検出順序、(iii)前記第1位置及び前記第2位置、(iv)前記第1位置及び前記第2位置それぞれの時系列変化、のすくなくともいずれか1つ又は複数の組み合わせを含む、マルチタッチ入力の状態情報を判定し、
前記状態情報に基づいて、前記タッチパネルにおいて触感を提示する触感位置を決定し、
前記タッチパネルに接続されるアクチュエータにより、前記触感位置近傍を振動させる、
タッチパネルの制御方法。
【請求項2】
マルチタッチ入を受けるタッチパネルと、
複数のアクチュエータと、
1以上のプロセッサを有し、
前記1以上のプロセッサは、
タッチパネルへのマルチタッチ入力として、第1タッチ入力と第2タッチ入力を検出し、
前記第1タッチ入力の前記タッチパネルにおける第1位置と、前記第2タッチ入力の前記タッチパネルにおける第2位置を判定し、
前記第1タッチ入力と前記第2タッチ入力の(i)各タッチタイプ、(ii)検出順序、(iii)前記第1位置及び前記第2位置、(iV)前記第1位置及び前記第2位置それぞれの時系列変化、のいずれか1つ又は複数の組み合わせで示されるマルチタッチ入力の状態情報を判定し、
前記状態情報に基づいて、前記タッチパネルにおいて触感を提示する触感位置を決定し、
前記タッチパネルに接続されるアクチュエータにより、前記触感位置近傍を振動させる
置。
【請求項3】
前記複数のアクチュエータは、前記タッチパネルに対して互いに異なる位置に設置され、
前記タッチパネルの複数の位置で略同時に検出される複数のタッチ位置を検出するセンサと、
前記状態情報が示す、互いに異なる複数の前記マルチタッチ入力の状態それぞれに対して設定情報を記憶する記憶部と、を更に備える、
請求項2に記載の装置。
【請求項4】
前記1以上のプロセッサは、さらに、
前記複数のタッチ位置及び前記複数のタッチ位置それぞれの時系列変化の組み合わせを含む前記状態情報判定し、
前記記憶部に記憶されている設定情報の中から、前記複数のタッチ位置に対応する設定情報を選択し
選択された設定情報対応する前記複数のタッチ位置の1つを、前記触感位置に設定し、
前記触感位置に、第1所定値以上の振幅の振動を提示させ、前記触感位置に設定されていない他のタッチ位置に、第2所定値未満の振幅の振動を提示させる駆動信号をそれぞれの前記複数のアクチュエータに対して設定し、設定された前記駆動信号前記複数のアクチュエータを駆動して前記複数のタッチ位置に対する触感を略同時に制御する
請求項3に記載の装置。
【請求項5】
前記1以上のプロセッサは、さらに、
前記状態情報の時系列変化に応じて、選択する前記設定情報を変更
前記触感位置振動を示す触感信号を変更後の前記設定情報に基づいて決定する、
求項4に記載の装置。
【請求項6】
前記1以上のプロセッサは、さらに、
記複数のタッチ位置の時系列変化に基づいて、前複数のタッチ位置それぞれの移動の有無、移動距離、移動回数、および移動速度の少なくとも1つを含む移動情報を算出し、当該移動情報を、前記設定情報に対応づけられて記憶されている移動情報との比較から、設定する設定情報を変更
前記複数のタッチ位置の移動方向が互いに略一致する場合、前記移動方向に対して先頭に位置する1つのタッチ位置を前記触感位置に設定、前触感位置に設定されていない他のタッチ位置は、振動を抑制した触感抑制位置として決定
前記触感位置に提示する振動を示す触感信号を、変更後の前記設定情報に基づいて生成
前記触感位置に、第1所定値以上の振幅の振動を提示させ、前記触感抑制位置に、第2所定値未満の振幅の振動を提示させる駆動信号をそれぞれの前記複数のアクチュエータに対して設定し、設定された前記駆動信号前記複数のアクチュエータを駆動して前記複数のタッチ位置に対する触感同時に制御する
請求項3に記載の装置。
【請求項7】
前記1以上のプロセッサは、さらに、
前記状態情報に基づいて、複数のレイヤに階層化された前記設定情報を選択し
前記状態情報の時系列変化に応じて、前記設定情報の複数のレイヤのうち1つのレイヤを選択し、選択されたレイヤごとに設定された設定項目に基づき、前記複数のタッチ位置それぞれに対して、触感位置及び前記触感抑制位置を決定する、
請求項3に記載の装置。
【請求項8】
既に検出されている複数のタッチ位置とは異なる位置に新たな入力が検出された場合には、1階層上のレイヤを選択し直す、
請求項7記載の装置。
【請求項9】
請求項1に記載のタッチパネル制御方法を、前記タッチパネルに接続されたコンピュータに実行させるためのプログラム。
【請求項10】
請求項1に記載のタッチパネル制御方法を、前記タッチパネルに接続されたコンピュータに実行させるためのプログラムが格納されたストレージ。
【請求項11】
マルチタッチ入力を受けるタッチパネルと、
複数のアクチュエータと、
タッチパネルへのマルチタッチ入力として、第1タッチ入力と第2タッチ入力を検出する検出部と、
前記第1タッチ入力の前記タッチパネルにおける第1位置と、前記第2タッチ入力の前記タッチパネルにおける第2位置を判定し、
前記第1タッチ入力と前記第2タッチ入力の(i)各タッチタイプ、(ii)検出順序、(iii)前記第1位置及び前記第2位置、(iv)前記第1位置及び前記第2位置それぞれの時系列変化、のいずれか1つ又は複数の組み合わせで示されるマルチタッチ入力の状態情報を判定する判定部と、
前記状態情報に基づいて、前記タッチパネルにおいて触感を提示する触感位置を決定し、
前記タッチパネルに接続されるアクチュエータにより、前記触感位置の近傍を振動させる制御部と、を備える装置。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
本発明の一態様に係るタッチパネルの制御方法は、タッチパネルへのマルチタッチ入力として、第1タッチ入力と第2タッチ入力を検出し、前記第1タッチ入力の前記タッチパネルにおける第1位置と、前記第2タッチ入力の前記タッチパネルにおける第2位置を判定し、前記第1タッチ入力と前記第2タッチ入力の(i)各タッチタイプ、(ii)検出順序、(iii)前記第1位置及び前記第2位置、(iv)前記第1位置及び前記第2位置それぞれの時系列変化、のすくなくともいずれか1つ又は複数の組み合わせを含む、マルチタッチ入力の状態情報を判定し、前記状態情報に基づいて、前記タッチパネルにおいて触感を提示する触感位置を決定し、前記タッチパネルに接続されるアクチュエータにより、前記触感位置の近傍を振動させる。
また、本発明の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、前記空間順序に対応する設定情報を決定する順序入力判定部と、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第1のタッチ位置とし、前記複数のタッチ位置のうち第1のタッチ位置以外のタッチ位置を第2のタッチ位置として決定する振動提示位置決定部と、前記第1のタッチ位置に所定の振動を提示し、かつ前記第2の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
【国際調査報告】