特許 7403928 ディスプレイ装置、情報処理システム、振動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-15

(45)【発行日】2023-12-25

(54)【発明の名称】ディスプレイ装置、情報処理システム、振動方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231218BHJP

   G06F 3/041 20060101ALI20231218BHJP

【ＦＩ】

G06F3/01 560

G06F3/041 480

G06F3/041 580

【請求項の数】 8

(21)【出願番号】P 2020067002

(22)【出願日】2020-04-02

(65)【公開番号】P2021163385

(43)【公開日】2021-10-11

【審査請求日】2022-12-22

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】北村 一博

【審査官】滝谷 亮一

(56)【参考文献】

【文献】特開２０１６－０７６２３７（ＪＰ，Ａ）

【文献】特開２０１９－０４０２７４（ＪＰ，Ａ）

【文献】特表２０１０－５０６３０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４１

(57)【特許請求の範囲】

【請求項1】

ディスプレイに表示する画面を生成する本体装置と通信するディスプレイ装置であって、
入力手段が前記ディスプレイに近接した時の近接座標を検出する座標検出部と、
前記近接座標に対応する振動パターンを前記本体装置から受信する通信部と、
前記入力手段がディスプレイに更に接近した場合、前記振動パターンで前記ディスプレイを振動させる振動制御部と、
を有することを特徴とするディスプレイ装置。

【請求項2】

前記振動制御部は、前記入力手段がディスプレイにタッチした場合、前記振動パターンで前記ディスプレイを振動させることを特徴とする請求項１に記載のディスプレイ装置。

【請求項3】

前記近接座標と前記入力手段がディスプレイにタッチしたタッチ座標に所定差以上のずれがある場合、前記通信部が前記本体装置から受信した前記振動パターンを破棄することを特徴とする請求項２に記載のディスプレイ装置。

【請求項4】

前記座標検出部が前記近接座標を検出してから、前記入力手段がディスプレイにタッチするまでに一定時間が経過した場合、前記振動制御部は、前記通信部が受信した前記振動パターンで前記ディスプレイを振動させないことを特徴とする請求項３に記載のディスプレイ装置。

【請求項5】

前記振動パターンを破棄した場合、前記通信部は前記タッチ座標に対応する振動パターンを前記本体装置から受信し、
前記振動制御部はタッチ座標に対応する前記振動パターンで前記ディスプレイを振動させることを特徴とする請求項３に記載のディスプレイ装置。

【請求項6】

前記座標検出部が前記近接座標を検出したと判断するために使用される、前記ディスプレイと前記入力手段の距離に関する閾値の設定を受け付ける調整画面を表示することを特徴とする請求項１～５のいずれか１項に記載のディスプレイ装置。

【請求項7】

ディスプレイに表示する画面を生成する本体装置と、前記ディスプレイに画像を出力するディスプレイ装置とを有する情報処理システムであって、
前記ディスプレイ装置は、
入力手段が前記ディスプレイに近接した時の近接座標を検出する座標検出部と、
前記近接座標に対応する振動パターンを前記本体装置から受信する通信部と、
前記入力手段がディスプレイに更に接近した場合、前記振動パターンで前記ディスプレイを振動させる振動制御部と、を有し、
前記本体装置は、
前記近接座標に対応した前記振動パターンを前記ディスプレイ装置に送信することを特徴とする情報処理システム。

【請求項8】

ディスプレイに表示する画面を生成する本体装置と通信するディスプレイ装置が行う振動方法であって、
入力手段が前記ディスプレイに近接した時の近接座標を検出するステップと、
前記近接座標に対応する振動パターンを前記本体装置から受信するステップと、
前記入力手段がディスプレイに更に接近した場合、前記振動パターンで前記ディスプレイを振動させるステップと、
を有することを特徴とする振動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレイ装置、情報処理システム、及び、振動方法に関する。

【背景技術】

【0002】

ユーザ操作に対して触感による応答を行うハプテック技術が知られている。ハプテック技術は触覚を通じて情報を伝達する技術である。例えば、タッチパネルを有するディスプレイ装置では、タッチパネルへのタッチ操作を受け付けると、タッチ操作が行われた座標に応じた振動パターンでディスプレイを振動させる。ユーザは振動パターンを指先で感じ取り、自分がどのボタンをタッチしたのか等を、ディスプレイを見なくても把握できる。

【0003】

ハプテック技術に関しては、ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までに遅延があるということが技術的課題になっている。図１を用いて説明する。

【0004】

図１は、本体装置がディスプレイ装置に表示したナビ画面の一例である。図２は、本体装置とディスプレイ装置の構成例を示す図である。ナビ画面には各種のボタンやアイコンなどが表示されている。例えば、領域２０１～２０４にはソフトキーが表示されている。領域２０１～２０３は肯定的なキー入力エリア（ユーザが望む操作を進めるキー）であるが、領域２０４は否定的なキー入力エリア（誤操作などのため操作を戻すキー）である。ハプテック技術が適用された場合、ユーザが領域２０１～２０３をタッチした場合はディスプレイ装置１０が振動パターンＡでディスプレイを振動させ、ユーザが領域２０４をタッチした場合は振動パターンＢで振動させることで、ユーザがタッチしたボタンが何かを触感でユーザに伝達できる。また、その他のエリアはマルチタッチに対応しており、１点目のタッチにはディスプレイ装置１０が何も応答しないが２点目のタッチにはジェスチャー操作（拡大・縮小など）の開始を意味する振動パターンＣでディスプレイを振動させることで、ジェスチャーが行われていることをユーザに伝達できる。この他、ソフトキーが配置されていない場所にユーザがタッチした場合、ディスプレイ装置１０は無効を意味する振動パターンＤでディスプレイを振動させることもできる。

【0005】

本体装置５０は、複数の異なる振動パターンからユーザがタッチした座標に応じた振動パターンをディスプレイ装置１０に通知する。ディスプレイ装置１０はこの振動パターンでディスプレイを振動する。この一連の処理を瞬時に行う必要があるが、図２に示すように、現状のシステム構成では困難であった。

【0006】

図２を参照して説明する。情報処理システム１００はケーブルなどを介して通信できるディスプレイ装置１０と本体装置５０を有している。ユーザがタッチした座標はディスプレイ装置１０から本体装置５０に送信され、タッチ座標に応じた振動パターンの決定は本体装置５０側で行われる。本体装置５０は決定した振動パターンをディスプレイ装置１０に送信し、ディスプレイ装置１０が振動パターンでディスプレイを振動させることができる。このように、ユーザのタッチから実際に振動するまで遅延があり、情報処理システム１００の処理が鈍い印象をユーザに与えてしまう場合があった。

【0007】

ハプテック技術に関し、ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までの遅延を抑制する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、タッチパネルへのタッチが発生すると、ディスプレイ装置がタッチ座標を本体装置に送信し、タッチ座標に応じた振動パターンを取得しておき、その後、同じ座標に対するユーザのプッシュ操作が発生すると、保存されている振動パターンで振動デバイスを振動させる情報処理システムが開示されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１９－４０２７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、従来の技術は、ユーザがディスプレイを押下しなければディスプレイを振動させることができないという問題があった。すなわち、ユーザがディスプレイにタッチしただけでディスプレイ装置がディスプレイを振動させる場合は遅延が生じるおそれがある。

【0010】

本発明は、上記課題に鑑み、ユーザによるディスプレイの押下（タッチ）からタッチ座標に応じた振動パターンによる振動までの遅延を抑制する情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題に鑑み、本発明は、ディスプレイに表示する画面を生成する本体装置と通信するディスプレイ装置であって、入力手段が前記ディスプレイに近接した時の近接座標を検出する座標検出部と、前記近接座標に対応する振動パターンを前記本体装置から受信する通信部と、前記入力手段がディスプレイに更に接近した場合、前記振動パターンで前記ディスプレイを振動させる振動制御部と、を有することを特徴とする。

【発明の効果】

【0012】

ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までの遅延を抑制する情報処理システムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】本体装置がディスプレイ装置に表示したナビ画面の一例である。

【図2】本体装置とディスプレイ装置の構成例を示す図である。

【図3】ディスプレイにタッチするユーザの指先と情報処理システムが行う処理の概略を説明する図である。

【図4】情報処理システムの車両への搭載例を示す図である。

【図5】情報処理システムの構成例を示す図である。

【図6】ディスプレイユニットの断面図の一例である。

【図7】ディスプレイユニット、ディスプレイ制御部、及び、本体装置が有する機能を説明する図である。

【図8】振動応答コントローラの構成図の一例である。

【図9】タッチパネルコントローラと振動応答コントローラの機能をブロック状に分けて説明する機能ブロック図の一例である。

【図10】ディスプレイ装置がタッチ座標に応じた振動パターンでディスプレイを振動させる動作又は処理の比較例を説明する図である。

【図11】ユーザの指先とタッチパネルとの距離と、基本信号の関係を説明する図である。

【図12】本実施形態において、ディスプレイ装置が振動パターンを先読みしてタッチ座標に応じた振動パターンでディスプレイを振動させる動作又は処理を説明する図である。

【図13】ディスプレイ装置が振動パターンでディスプレイを振動させる処理の流れを説明するフローチャート図の一例である。

【図14】ディスプレイが表示する閾値Ａの調整画面の一例である。

【発明を実施するための形態】

【0014】

以下、本発明を実施するための形態の一例として情報処理システムと情報処理システムが行う振動方法について図面を参照しながら説明する。

【0015】

＜処理の概略＞
まず、図３を用いて情報処理システム１００がディスプレイを振動させる処理の概略について説明する。図３はディスプレイにタッチするユーザの指先９と情報処理システム１００が行う処理の概略を説明する図である。

【0016】

(1)本実施形態のディスプレイ装置１０は、タッチパネルに含まれる機能として近接センサーを有している。近接センサーはユーザがタッチパネルにタッチしなくても、どの位の距離に指先９があるかと指先９の座標を検出する。図３（ａ）に示すように、ディスプレイ装置１０はタッチパネルが検出する距離情報（後述する基本信号）と閾値Ａの比較結果に応じて、近接座標を本体装置５０に送信する。近接座標は、ユーザがタッチしていないがディスプレイから一定距離以内に指先が接近した時の座標である。この一定距離を以下、先読み距離Ｌという。

【0017】

(2) 本体装置５０は現在、表示している画面において、近接座標がタッチされた場合の振動パターンを決定する。図３（ｂ）に示すように、本体装置５０は振動パターンをディスプレイ装置１０に送信する。この間、ユーザの指先９はディスプレイに接近するか、又は、ディスプレイにタッチする（離れる場合もある）。

【0018】

(3) ユーザがディスプレイにタッチすると、ディスプレイ装置１０は(2)で保持している振動パターンでディスプレイを振動させる（図３（ｃ））。ユーザがディスプレイにタッチした時にはディスプレイ装置１０が振動パターンを保持している場合、ユーザによるタッチからタッチ座標に応じた振動パターンによる振動までの遅延を大きく抑制できる。ユーザがディスプレイにタッチした時にディスプレイ装置１０が振動パターンを保持していない場合でも、ディスプレイ装置１０はユーザがタッチする前から振動パターンを要求済みなので、タッチを検出してから振動パターンを要求するよりも、タッチ座標に応じた振動パターンによる振動までの遅延を抑制できる。

【0019】

このように、本実施形態の情報処理システム１００は、ユーザの指先９が先読み距離Ｌに達した場合にタッチパネルが検出する近接座標を利用して、ディスプレイ装置１０が振動パターンを先読みすることで、ユーザがタッチしてからタッチ座標に応じた振動パターンで振動するまでの遅延を抑制できる。

【0020】

＜用語について＞
入力手段はタッチパネルに座標を入力できるものをいう。本実施形態では指先を例に説明するが、電子ペンが入力手段でもよい。

【0021】

タッチパネルとはディスプレイに表示されたメニューを指やペンでユーザが押すことによってコンピュータを操作する入力装置である。

【0022】

タッチとは触れることをいう。押下、プッシュと称してもよい。また、一定以上の圧力が検出された場合にのみタッチと称してもよい。

【0023】

＜構成例＞
図４は、情報処理システム１００の車両への搭載例を示す図である。情報処理システム１００は、例えば、図４に示すように、ディスプレイ２３を車室内に向けて、車両のセンターコンソールやダッシュボード等に設置される。センターコンソールやダッシュボード内にはディスプレイ装置１０と本体装置５０とが収納されている。ディスプレイ装置１０と本体装置５０の収納場所はどこでもよい。

【0024】

情報処理システム１００は車両に搭載されており、進行方向を案内する機能を有する場合にはナビゲーション装置と呼ばれる場合がある。情報処理システム１００は出発地から目的地までの経路を検索して道路地図に設定し、ディスプレイ２３に表示された電子地図に経路と現在地を表示したり、経路に基づいて進路変更の手前で音声案内や電子地図上のアニメーションなどで適切な進路を案内したりする。この他、情報処理システム１００は、ＡＶ(Audio Visual)の再生機能、インターネットとの通信機能、スマートフォンとの通信機能等を有していてよい。

【0025】

この情報処理システム１００の機能のうち経路の検索を、ネットワークを介して接続したサーバ装置が行ってもよい。サーバ装置は経路情報や電子地図などを情報処理システム１００に送信する。

【0026】

また、情報処理システム１００がスマートフォンと通信する場合、スマートフォンに搭載されるアプリがナビ画面等を生成し、このアプリが生成するナビ画面をディスプレイ装置１０が通信で取得して表示することができる。このようなアプリとしてCarPlay（登録商標）やAndroid Auto（登録商標）等が知られている。

【0027】

このようにスマートフォン等と連携する場合、情報処理システム１００はディスプレイオーディオ（又はコネクティッドオーディオ）と呼ばれる装置であってもよい。ディスプレイオーディオはナビゲーションの機能を搭載せずに主にＡＶ機能と通信機能を提供する装置である。

【0028】

また、情報処理システム１００は、車載された状態と携帯可能な状態の切り替えが可能であってよい。つまり、情報処理システム１００は、車両に対し脱着可能であってよい。

【0029】

＜情報処理システムの構成＞
図５は情報処理システム１００の構成例を示す図である。情報処理システム１００は、主にディスプレイ装置１０と本体装置５０とを有し、それらがインタフェース６１，６２とケーブル６３を介して通信可能に接続されている。符号６４はディスプレイ装置１０内のケーブル又は配線であり、符号６５は本体装置５０内のケーブル又は配線である。

【0030】

ディスプレイ装置１０は主にディスプレイ制御部３０とディスプレイユニット２０を有している。ディスプレイ制御部３０はコンピュータやマイコンと呼ばれる装置であり、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置など有する。記憶装置に記憶されているプログラムはＲＡＭに展開されそれをＣＰＵが実行することで、本実施形態で説明する機能を提供する。ディスプレイ制御部３０は車室側にディスプレイユニット２０を有している。詳細は後述するが、ディスプレイユニット２０は、ユーザの指先９によるタッチ、指先９との距離に関する情報（後述の基本信号）、及び、接近からタッチまでの座標等を取得する。また、ディスプレイユニット２０はディスプレイ制御部３０からの制御を受けて、振動により情報をユーザに伝達する。

【0031】

ディスプレイ制御部３０と本体装置５０は例えばＵＡＲＴ（Universal Asynchronous Receiver Transmitter）で通信する。したがって、インタフェース６１、６２はデータの送信時にはＵＡＲＴのシリアライザ（パラレル信号をシリアル信号に変換する）であり、インタフェース６１，６２はデータの受信時にはデシリアライザ（シリアル信号をパラレル信号に変換する）である。なお、ＵＡＲＴの他、通信にはSPI又はI2C等が使用されてよい。

【0032】

本体装置５０は、コンピュータやマイコンと呼ばれる装置であり、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置など有する。記憶装置に記憶されているプログラムはＲＡＭに展開されＣＰＵが実行することで、本実施形態で説明する機能を提供する。本体装置５０は、ナビゲーション機能、ＡＶ機能、インターネットとの通信機能、スマートフォンとの通信機能など、様々な機能を提供しうる。

【0033】

＜ディスプレイユニットの構造＞
続いて、図６を参照してディスプレイユニット２０について説明する。図６は、ディスプレイユニット２０の断面図を示す。図６に示すように、ディスプレイユニット２０は車室側から、保護ガラス２１（又は保護フィルムでもよい）、タッチパネル２２、及び、ディスプレイ２３がほぼ重なって配置されている。また、ディスプレイ２３のディスプレイ装置１０側にはボイスコイルなどのアクチュエータ２４がディスプレイ２３に接した状態で配置されている。アクチュエータ２４を除くディスプレイユニット２０は、車両に固定されていない浮いた状態（収納スペースに対し振動可能な空間がある）であり、アクチュエータ２４により支持されている。このため、アクチュエータ２４が振動するとディスプレイユニット２０の全体が空間内で振動し、ユーザの指先９に触感を介して振動を伝えることができる。なお、ボイスコイルを用いた振動方式は一例であって、振動モータ、圧電素子、又は、エレクトロ・アクティブポリマなどで振動させてもよい。

【0034】

また、タッチパネルの方式には、抵抗膜方式、静電容量方式、表面型静電容量方式、投影型静電容量方式、超音波表面弾性波方式、赤外光学方式、電磁誘導方式などがある。本実施形態では近接した指先９を検出が可能な方式であればよい。例えば、静電容量方式、表面型静電容量方式、投影型静電容量方式、又は、赤外光学方式等がある。

【0035】

＜情報処理システムが有する各種の機能＞
次に、図７を参照して情報処理システム１００が有する各種の機能を説明する。図７は、ディスプレイユニット２０、ディスプレイ制御部３０、及び、本体装置５０が有する機能を示す。これまで説明したように、情報処理システム１００は、主に、ディスプレイユニット２０、ディスプレイ制御部３０、及び、本体装置５０を有している。

【0036】

まず、本体装置５０ではオペレーティングシステム５１と、オペレーティングシステム５１上で稼働する複数のアプリケーション５２が動作する。アプリケーション５２は、オペレーティングシステム５１を介して、ディスプレイ制御部３０にデータを送信したり、タッチパネルが検出する情報を受け取ったりする。また、各アプリケーション５２はアクチュエータ２４を駆動させる振動パターンをディスプレイ制御部３０に送信する。

【0037】

本体装置５０で動作するアプリケーション５２は、様々であるが、例えば、地図アプリ（ナビアプリ）、テレビアプリ、ラジオアプリ、インターネットとの通信アプリ、電話アプリ、スマホ連携アプリなどである。

【0038】

ディスプレイ制御部３０は、表示コントローラ３１、タッチパネルコントローラ３２、及び、振動応答コントローラ３３を有している。表示コントローラ３１は、本体装置５０で動作するオペレーティングシステム５１又はアプリケーション５２が送信する画面データに応じてディスプレイ２３に画像を表示する。したがって、どのよう画面が表示されるかは、実行されているアプリケーション５２によって様々である。

【0039】

タッチパネルコントローラ３２はタッチパネルから、タッチパネルが検出する基本信号を受信できる。基本信号とは、静電容量の大きさ又は静電容量が扱いやすい信号に変換された信号である。タッチパネルコントローラ３２は、例えば、ある容量がいっぱいになるまでの時間、容量を満たすための単位容量の数などで基本信号を常に検出している。基本信号は後述するようにタッチパネル２２からユーザの指先９までの距離と相関しており、距離情報と見なすことができる。タッチパネルコントローラ３２は基本信号に基づいて、ユーザのタッチの有無、及び、ユーザの指先９がディスプレイ２３に対し先読み距離Ｌまで近接したことを検出する。

【0040】

また、タッチパネルコントローラ３２は、タッチパネル２２からの基本信号で、ユーザの指先９がタッチしたことを検出した場合、ユーザの指先９がタッチしたタッチ座標（ディスプレイにおける座標）を検出する。同様に、タッチパネル２２からの基本信号で、ユーザの指先９が先読み距離Ｌに接近したことを検出した場合、ユーザの指先９の近接座標を検出する。

【0041】

タッチの発生、又は、ユーザの指先９が先読み距離Ｌに接近した場合、タッチパネルコントローラ３２はタッチパネル２２が検出する座標を本体装置５０のオペレーティングシステム５１に出力する。座標だけでなく、タッチ検出又はユーザの指先９が先読み距離Ｌに接近したことも通知される。オペレーティングシステム５１は例えばハードウェア割り込みの仕組みを使って、タッチパネルコントローラ３２からの通知を検出する。オペレーティングシステム５１は通知された情報をタッチパネルコントローラ３２から取得して、現在アクティブのアプリケーション５２に通知する。アクティブとは、ディスプレイに画面を表示している状態をいう。オペレーティングシステム５１はタッチパネルコントローラ３２との通信を行う専用のアプリケーション５２に情報を通知してもよい。

【0042】

情報を通知されたアプリケーション５２は、タッチ検出の場合はタッチ座標に応じた処理を行う。ユーザの指先９が先読み距離Ｌに接近したことが通知された場合、アプリケーション５２は振動パターンを決定することができる。

【0043】

振動応答コントローラ３３は、アクチュエータ２４に振動パターンの交流電圧を印加してディスプレイ２３を振動させる。振動応答コントローラ３３は様々な交流電圧を印加でき、交流電圧の波形を異ならせることで振動状態を変化させることができる。振動パターンはオペレーティングシステム５１を介してアプリケーション５２から指示される。アプリケーション５２は、ユーザがタッチしたタッチ座標又はユーザの指先９が先読み距離Ｌに接近した時の近接座標に応じて適切な振動パターンをタッチパネルコントローラ３２に送信する。

【0044】

タッチパネルコントローラ３２は、アプリケーション５２から送信された振動パターンを保存しておき、タッチを検出すると、すでに受け取っている振動パターンによるアクチュエータ２４の駆動を振動応答コントローラ３３に要求する。こうすることで、レスポンスのよい情報伝達を実現できる。

【0045】

なお、タッチパネルコントローラ３２は、近接座標とタッチ座標を比較して、所定差以上のずれがある場合は、保持している振動パターンでの振動を振動応答コントローラ３３に要求しない。近接座標とタッチ座標とが一定以上異なる場合、振動パターンがタッチ座標に対応したものとは限らなくなるためである。この場合は、タッチ座標に対してタッチパネルコントローラ３２がアプリケーション５２から改めて取得した振動パターンによる振動を振動応答コントローラ３３に要求する。

【0046】

＜振動応答コントローラの構成例＞
図８は、振動応答コントローラ３３の構成図の一例である。振動応答コントローラ３３は、信号処理部３３ａ、高電圧発生回路３３ｂ、フィルタ３３ｃ、及び、増幅回路３３ｄを有している。アクチュエータ２４を駆動する場合、信号処理部３３ａは高電圧発生回路３３ｂに、アプリケーション５２から送信された振動パターンに応じた高電圧を発生させる。電圧はＰＷＭ信号のデューティー比で指示され、信号処理部３３ａはフィードバック制御により目的の高電圧を生成する。

【0047】

また、信号処理部３３ａはアプリケーション５２から送信された振動パターンに対応するＰＷＭ信号をフィルタ３３ｃに出力する。このフィルタ３３ｃはローパスフィルタであるためアナログ信号を生成する。こうするとＰＷＭ信号の生成回路はデジタル回路だけで構成してアナログ信号を生成できる。増幅回路３３ｄは高電圧発生回路３３ｂが発生した電圧でアナログ信号を増幅する。増幅されたアナログ信号がアクチュエータ２４（ボイスコイルなど）に入力されるので、アクチュエータ２４はアプリケーション５２から指示された振動パターンで振動することができる。

【0048】

＜機能について＞
図９を参照して、タッチパネルコントローラ３２と振動応答コントローラ３３の詳細な機能を説明する。図９はタッチパネルコントローラ３２と振動応答コントローラ３３の機能をブロック状に分けて説明する機能ブロック図の一例である。

【0049】

まず、タッチパネルコントローラ３２は座標検出部４１、判断部４２、第一通信部４３、振動パターン保持部４４、及び、第二通信部４５を有している。タッチパネルコントローラ３２が有するこれらの機能は、ディスプレイ装置１０が有する記憶装置からＲＡＭ上に展開されたプログラムの命令をＣＰＵが実行することで実現される機能又は手段である。

【0050】

座標検出部４１は基本信号をタッチパネルの全体から所定の周期で検出しており、基本信号が基準を満たす（ノイズでないと見なせる）座標があるとその座標を検出する。ノイズと見なせるほど基本信号が小さい場合、基本信号が基準を満たすまでは座標を破棄する。基本信号が基準を満たす場合、座標検出部４１は座標を第一通信部４３に通知する。

【0051】

なお、座標検出部４１はマルチタッチに対応しており、タッチ時だけでなくタッチされる前においても同時に複数の座標を検出することができる。

【0052】

判断部４２は、基準を満たす基本信号を閾値Ａ及び閾値Ｂ（閾値Ａ＜閾値Ｂ）と比較して、ユーザの指先９が先読み距離Ｌまで接近したのか否か、及び、タッチしたのか否かを判断する。判断部４２は、閾値Ａ＜基本信号の判断結果を座標検出部４１に通知する。これにより、座標検出部４１は、この判断時、又は前後に取得した座標を、ユーザの指先９が先読み距離Ｌに達した時の近接座標として第一通信部４３に通知する。

【0053】

また、判断部４２は、閾値Ｂ＜基本信号の判断結果を座標検出部４１及び第二通信部４５に通知する。これにより、座標検出部４１は、この判断時、又は前後に取得した座標を、タッチ座標として第一通信部４３に通知する。

【0054】

第一通信部４３は、座標検出部４１が取得した座標（ノイズ以上の基本信号の座標）、ユーザの指先９が先読み距離Ｌに接近したこと（及び近接座標）、及び、タッチ検出（及びタッチ座標）をアプリケーション５２に通知する。第一通信部４３はタッチ座標又は近接座標に対応する振動パターンをアプリケーション５２から受信し、振動パターン保持部４４に送出する。

【0055】

振動パターン保持部４４はアプリケーション５２から受信した振動パターンを、タッチ検出されるまで保持しておく。振動パターンの受信よりもタッチ検出の方が先の場合もある。

【0056】

第二通信部４５は、判断部４２から閾値Ｂ＜基本信号の判断結果（タッチ検出）を取得すると、振動パターン保持部４４に記憶されている振動パターンと振動要求を振動応答コントローラ３３に送信する。タッチ検出時に振動パターンが振動パターン保持部４４に記憶されていない場合、振動パターンを受信したタイミングで振動パターンと振動要求を振動応答コントローラ３３に送信する。

【0057】

なお、判断部４２は、近接座標とタッチ座標を比較して、所定差以上のずれがある場合は、振動パターン保持部４４が保持している振動パターンを破棄してよい。この場合、第一通信部４３が、再度、タッチ座標に対応した振動パターンをアプリケーション５２から取得する。

【0058】

振動応答コントローラ３３は、振動制御部４６、及び、第三通信部４７を有する。振動応答コントローラ３３が有するこれらの機能は、ディスプレイ装置１０が有する記憶装置からＲＡＭ上に展開されたプログラムの命令をＣＰＵが実行することで実現される機能又は手段である。

【0059】

第三通信部４７は、タッチパネルコントローラ３２と通信し、振動パターンや振動要求を受信する。振動制御部４６は、タッチパネルコントローラ３２から受信した振動パターンでアクチュエータ２４を駆動させる。

【0060】

＜動作又は処理＞
続いて、図１０～図１２を参照して情報処理システム１００の動作を説明する。まず、本実施形態を説明するにあたって、参考になる比較例を説明する。なお、比較例は従来技術や公知技術とは限らないことに注意されたい。

【0061】

図１０は、ディスプレイ装置１０がタッチ座標に応じた振動パターンでディスプレイ２３を振動させる動作又は処理の比較例を説明する図である。

【0062】

S1：ユーザがタッチパネルにタッチすると、基本信号が閾値Ｂ以上になったと判断部４２が判断し、タッチが検出される。

【0063】

S2：第一通信部４３はタッチ座標及びタッチ検出を本体装置５０に送信する。

【0064】

S3：本体装置５０のアプリケーション５２はタッチ座標に応じた振動パターンをディスプレイ装置１０に送信する。

【0065】

S4：ディスプレイ装置１０は振動パターンを受信して、この振動パターンでアクチュエータ２４を駆動する。

【0066】

したがって、ユーザがディスプレイ２３にタッチしてからディスプレイ２３が振動するまでの遅延が大きくなってしまう。

【0067】

次に、図１１を参照して、本実施形態で使用する基本信号と閾値Ａ、閾値Ｂを説明する。図１１は、ユーザの指先とタッチパネルとの距離と、基本信号の関係を説明する図である。横軸を時間、縦軸を基本信号の大きさとする。基本信号が大きいことはユーザの指先９とタッチパネルの距離が小さいこと（近いこと）を意味し、基本信号が小さいことはユーザの指先９とタッチパネルの距離が大きいこと（遠いこと）を意味する。図１１に示すライン２１０は、ユーザの指先９がタッチパネルに徐々に接近し、タッチした場合の基本信号の変化を示している。

【0068】

時刻ｔ１…基本信号がノイズ以上の大きさになり始めたので、座標検出部４１が座標の取得を開始する。したがって、判断部４２が指先９の接近を検出し始める。

【0069】

時刻ｔ２…基本信号が閾値Ａを超えた。したがって、タッチパネルコントローラ３２は振動パターンの取得を開始する。

【0070】

時刻ｔ３…ユーザの指先９がタッチパネルにタッチし、基本信号が閾値Ｂを超えた。タッチする/しないでは基本信号のレンジが異なるため、タッチにより基本信号が跳ね上がる。従来は時刻ｔ３で、タッチパネルコントローラ３２が振動パターンの取得を開始していた。

【0071】

時刻ｔ２と時刻ｔ３の差を時間Ｔとすると、僅かな時間ではあるが、実際のタッチより先行してタッチパネルコントローラ３２が振動パターンを入手できるので、レスポンスを改善できることが分かる。

【0072】

図１２は、本実施形態において、ディスプレイ装置１０が振動パターンを先読みしてタッチ座標に応じた振動パターンでディスプレイを振動させる動作又は処理を説明する図である。

【0073】

S11：ユーザがタッチパネルに指先９を接近させる。座標検出部４１はノイズ以上の基本信号を検出するので、座標の検出を開始する。

【0074】

S12：タッチパネルコントローラ３２の第一通信部４３は座標を随時、本体装置５０に送信する。随時とは、取得したタイミングや周期的など、本体装置５０が処理に座標を利用できる頻度で送信することをいう。本体装置５０からの要求に対して送信してもよい。例えば、操作性を向上させるため、本体装置５０が座標に最も近いボタンを大きくする等の処理が可能になる。

【0075】

S13：次に、判断部４２は基本信号が閾値Ａを超えたと判断する。

【0076】

S14：第一通信部４３は、指先が先読み距離Ｌに達した旨及び近接座標を本体装置５０に送信する。具体的には閾値Ａを超えた時の近接座標を指定し、振動パターンを要求する。閾値Ａを超えた時の近接座標は、基本信号が閾値Ａを超えたと判断部４２が判断する直前に、座標検出部４１が取得した座標でもよいし、直後に座標検出部４１が取得した座標でもよい。

【0077】

S15：次に、判断部４２は基本信号が閾値Ｂを超えたと判断する。すなわちタッチを検出する。タッチ検出の方が振動パターンの受信より先の場合、第二通信部４５は振動パターンの受信を待機する。

【0078】

S16：アプリケーション５２は近接座標に応じた振動パターンをディスプレイ装置１０に送信する。タッチパネルコントローラ３２の第一通信部４３は振動パターンを受信し、振動パターン保持部４４に保存する。第二通信部４５は振動要求と振動パターンを振動応答コントローラ３３に送信する。

【0079】

S17：振動応答コントローラ３３は振動パターンでアクチュエータ２４を駆動させる。これにより、ディスプレイ２３が振動し、ユーザに振動による情報伝達が行われる。

【0080】

このように、本実施形態の情報処理システム１００は、ユーザの指先９が接近した時点で振動パターンの先読みを行うので、タッチしてから振動するまでの遅延を抑制できる。また、ユーザの指先９が接近した時点で振動パターンを取得する処理は、本体装置５０で必要な仕様変更が少なく、本体装置５０とディスプレイ装置１０の仕様すり合わせで開発者が対応できるというメリットもある。

【0081】

＜ディスプレイ装置の処理の流れ＞
図１３は、ディスプレイ装置１０が振動パターンでディスプレイを振動させる処理の流れを説明するフローチャート図である。なお、一部の処理はシーケンス図と共通である。

【0082】

座標検出部４１はノイズ以上の基本信号を検出した否かを判断する（Ｓ１０１）。ステップＳ１０１の判断がＹｅｓの場合、タッチパネルコントローラ３２の第一通信部４３は座標を随時、本体装置５０に送信する（Ｓ１０２）。

【0083】

ステップＳ１０１の判断がＮｏの場合、座標検出部４１は座標を検出しないで、ステップＳ１０１の判断を繰り返す。

【0084】

次に、判断部４２は、基本信号が閾値Ａを超えたか否かを判断する（Ｓ１０３）。ステップＳ１０３の判断がＹｅｓの場合、第一通信部４３はユーザの指先９が先読み距離Ｌまで接近した時の近接座標と振動パターンの要求を本体装置５０に送信する（Ｓ１０４）。ステップＳ１０３の判断がＮｏの場合、座標検出部４１はステップＳ１０の判断を繰り返す。

【0085】

次に、第一通信部４３は振動パターンを既に受信しているか否かを判断する（Ｓ１０５）。振動パターンの要求を本体装置５０に送信した直後は、Ｎｏと判断される。

【0086】

ステップＳ１０５の判断がＮｏの場合、第一通信部４３は振動パターンを本体装置５０から受信したか否かを判断する（Ｓ１０６）。したがって、振動パターンを受信するまではステップＳ１０５とステップＳ１０６の判断が繰り返される。フローチャート図では作図の都合上、振動パターンを受信するまでステップＳ１０７のタッチ検出が行われていないが、タッチ検出は振動パターンの受信とは非同期に行われている点に注意されたい。タッチ検出が先の場合は、振動パターンの受信までタッチパネルコントローラ３２が待機する（振動パターンがないと振動できない）。

【0087】

ステップＳ１０５の判断がＹｅｓの場合、又は、ステップＳ１０６の判断がＹｅｓの場合、判断部４２は基本信号が閾値Ｂを超えたか否か、すなわち、タッチ検出されたか否かを判断する（Ｓ１０７）。

【0088】

なお、ステップＳ１０７では必ずしもタッチが検出されなくてもよい。この場合、例えば、タッチ検出の直前の大きさ（閾値Ｂよりわずかに小さい大きさ）に基本信号が達したら判断部４２がタッチと見なす。こうすることで、更にレスポンスを改善できる。ユーザが実際にはディスプレイ２３にタッチしなかった場合、ディスプレイ２３が振動してもユーザに伝わらないのでデメリットは少ない。

【0089】

ステップＳ１０７の判断がＮｏの場合、判断部４２は基本信号が閾値Ａを超えてから一定時間が経過したか否かを判断する（Ｓ１０８）。つまり、いったんは指先９が接近したが、実際にタッチされるまでに一定時間以上が経過したかどうかを判断する。この場合、タッチされても近接座標とタッチ座標に関係がない可能性があるので、図１３の処理を終了する。この場合、基本信号に応じて再度、図１３の処理が実行される。

【0090】

一定時間が経過するまでは、判断部４２はステップＳ１０７の判断を繰り返す。

【0091】

そして、ステップＳ１０７の判断がＹｅｓになると、判断部４２は近接座標とタッチ座標の差が所定差以内かどうかを判断する（Ｓ１０９）。所定差は、アプリケーション５２が表示するおよそのボタンの大きさで決定されている。例えば、ボタンの縦横の長さが１ｃｍだとすると、±５ｍｍのずれで、振動パターンがタッチ座標に対応したものでなくなってしまう。この場合、所定差は４～５ｍｍである。したがって、近接座標とタッチ座標の差が所定差以内かどうかを判断することで、振動パターンがタッチ座標に対応したものである可能性が高い場合に、先読みした振動パターンで振動できる。ステップＳ１１０の判断がＮｏの場合、判断部４２は振動パターンを破棄する（Ｓ１１０）。

【0092】

振動パターンを破棄した場合、第一通信部４３はタッチ座標を指定して、振動パターンをアプリケーション５２から取得する（Ｓ１１１）。こうすることで、遅延は生じてもタッチ座標に対応した振動パターンで振動できる。

【0093】

ステップＳ１１０の判断がＹｅｓの場合、又は、ステップＳ１１１で振動パターンを受信すると、振動制御部４６は振動パターンでアクチュエータ２４を駆動させる（Ｓ１１２）。

【0094】

このように、近接座標とタッチ座標の差や、近接からの経過時間で、振動パターンの信頼性を評価することで、タッチ座標に対応した振動パターンで振動できる。

【0095】

＜閾値Ａの調整について＞
閾値Ａを小さくすると、近接座標とタッチ座標のずれが小さくなるので先読みの精度が向上するが、近接検出からタッチ検出までの時間差が短くなり、先読み効果は弱くなる。そこで、実機の操作感でチューニングすることが好ましい。

【0096】

図１４は、ディスプレイが表示する閾値Ａの調整画面２３０の一例である。調整画面２３０は距離に関する閾値の設定を受け付ける。調整画面２３０は「振動パターンを取得する距離を入力して下さい」というメッセージ２３１、及び、スライダ２３２を有している。スライダ２３２の左端は閾値Ａが最小であること、すなわち、指先９が遠方にある段階で近接座標を検出することを意味する。スライダ２３２の右端は閾値Ａが最大であること、すなわち、指先９がタッチした段階で近接座標を検出することを意味する。ユーザはスライダ２３２を左右に移動させ、実際にタッチパネル２２を操作する。振動の応答性などを確かめて、再度、スライダ２３２の位置を調整できる。

【0097】

なお、調整画面２３０はディスプレイ装置１０が本体装置５０と通信しないで表示してもよいし、本体装置５０が表示してもよい。ユーザが設定した閾値Ａは、判断部４２が保持しておく。

【0098】

＜主な効果＞
以上説明したように、本実施形態の情報処理システム１００は、タッチパネルが検出する近接座標を利用して、ディスプレイ装置１０が振動パターンを先読みすることで、ユーザがタッチしてからタッチ座標に応じた振動パターンで振動するまでの遅延を抑制できる。

【0099】

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0100】

例えば、情報処理システム１００は車両に搭載されるだけではなく、バイク、自転車又は船など移動体に搭載されてよい。

【0101】

また、本実施形態では、ディスプレイ装置１０と本体装置５０が別々の装置で通信する例を説明したが、ディスプレイ装置１０と本体装置５０が一体の１つの装置であっても、装置内の処理として本実施形態を適用できる。

【0102】

また、図９などの構成例は、情報処理システム１００の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、情報処理システム１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

【符号の説明】

【0103】

１０ ディスプレイ装置
２０ ディスプレイユニット
３１ 表示コントローラ
３２ タッチパネルコントローラ
３３ 振動応答コントローラ
５０ 本体装置
５１ オペレーティングシステム
５２ アプリケーション
１００ 情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】