(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5793595
(24)【登録日】2015年8月14日
(45)【発行日】2015年10月14日
(54)【発明の名称】複数作動ハンドヘルド装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20150928BHJP
G06F 3/041 20060101ALI20150928BHJP
【FI】
G06F3/01 310Z
G06F3/041 480
【請求項の数】21
【外国語出願】
【全頁数】16
(21)【出願番号】特願2014-84641(P2014-84641)
(22)【出願日】2014年4月16日
(62)【分割の表示】特願2011-528060(P2011-528060)の分割
【原出願日】2009年9月22日
(65)【公開番号】特開2014-167807(P2014-167807A)
(43)【公開日】2014年9月11日
【審査請求日】2014年5月16日
(31)【優先権主張番号】12/237,334
(32)【優先日】2008年9月24日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】500390995
【氏名又は名称】イマージョン コーポレーション
【氏名又は名称原語表記】IMMERSION CORPORATION
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100111235
【弁理士】
【氏名又は名称】原 裕子
(72)【発明者】
【氏名】グラント、 ダニー エイ.
(72)【発明者】
【氏名】ヒューベル、 ロバート ダブリュー.
【審査官】
山崎 慎一
(56)【参考文献】
【文献】
特開2007−206556(JP,A)
【文献】
特開2002−149312(JP,A)
【文献】
特開2007−236765(JP,A)
【文献】
特開2006−53629(JP,A)
【文献】
特開平11−338470(JP,A)
【文献】
特表2007−527061(JP,A)
【文献】
米国特許出願公開第2006/0044280(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/041
(57)【特許請求の範囲】
【請求項1】
筐体と、
前記筐体に結合されるプロセッサであって、メモリに記憶されるソフトウェアプログラムを処理するように構成されるプロセッサと、
前記筐体に結合されるタッチスクリーンであって、楽器の1つ以上の仮想弦を表示するように構成され、前記タッチスクリーン上の前記仮想弦との相互作用に関係付けられるセンサ信号が前記プロセッサに提供されるタッチスクリーンと、
少なくとも1つのアクチュエータであって、前記少なくとも1つのアクチュエータの1つが前記タッチスクリーンに結合され且つ前記筐体内に配置され、前記タッチスクリーンに第1の触覚効果を出力するように構成され、前記第1の触覚効果は前記仮想弦との相互作用及び前記楽器の種類に基づき、前記少なくとも1つのアクチュエータの1つは前記タッチスクリーンに局所化された前記第1の触覚効果を出力するように構成される少なくとも1つのアクチュエータと、
を備え
前記プロセッサは、前記少なくとも1つのアクチュエータの1つにアクチュエータ信号を出力するようにさらに構成され、前記アクチュエータ信号は第2の触覚効果を前記筐体に出力させるように構成され、前記第2の触覚効果はバックグラウンド触覚効果を含む、携帯装置。
【請求項2】
前記少なくとも1つのアクチュエータの1つは、前記相互作用が終了したことを前記センサ信号が示すと前記タッチスクリーンに第3の触覚効果を出力するように構成される、請求項1に記載の携帯装置。
【請求項3】
前記少なくとも1つのアクチュエータの1つは、前記相互作用が前記仮想弦からの既定の距離を含むと前記タッチスクリーンに第3の触覚効果を出力するように構成される、請求項1に記載の携帯装置。
【請求項4】
前記少なくとも1つのアクチュエータの1つは、前記相互作用が前記仮想弦からの既定の距離を含み且つ既定の時間の後であると前記タッチスクリーンに第3の触覚効果を出力するように構成される、請求項1に記載の携帯装置。
【請求項5】
前記少なくとも1つのアクチュエータは少なくとも2つのアクチュエータを含み、前記少なくとも2つのアクチュエータの第2のアクチュエータは、前記筐体に結合され、前記アクチュエータ信号を受信して前記筐体に第2の触覚効果を出力するように構成される、請求項1に記載の携帯装置。
【請求項6】
前記プロセッサは、前記相互作用が左から右方向に1つ以上の前記仮想弦を横断する移動を含むときに前記第1の触覚効果を出力し、前記相互作用が右から左方向に1つ以上の前記仮想弦を横断する移動を含むときに第3の触覚効果を出力するようにさらに構成され、前記第1の触覚効果及び前記第3の触覚効果は異なる触覚効果である、請求項1に記載の携帯装置。
【請求項7】
筐体に結合されるタッチスクリーンを介して楽器の1つ以上の仮想弦を表示するステップと、
前記タッチスクリーンと接触するオブジェクトの位置を感知するステップと、
前記タッチスクリーンにおける前記1つ以上の仮想弦の1つとの相互作用に関連して発生する触覚イベントを識別するステップと、
少なくとも1つのアクチュエータの1つに第1のアクチュエータ信号を送信するステップであって、前記少なくとも1つのアクチュエータの1つは前記触覚イベントを決定した後で前記タッチスクリーンに第1の触覚効果を与えるように構成され、前記第1の触覚効果は前記楽器の種類に基づき且つ前記触覚イベントに対応し、前記少なくとも1つのアクチュエータの1つは前記タッチスクリーンに局所化された前記第1の触覚効果を出力するように構成されるステップと、
バックグラウンド触覚イベントを決定するステップと、
前記少なくとも1つのアクチュエータの1つに第2のアクチュエータ信号を送信するステップであって、前記第2のアクチュエータ信号は第2の触覚効果を前記筐体に引き起こすように構成され、前記第2の触覚効果はバックグラウンド触覚イベントに対応するステップと
を含む、方法。
【請求項8】
前記相互作用の結果に基づいて第2の触覚イベントを識別するステップと、前記アクチュエータに第3のアクチュエータ信号を送信するステップであって、前記第3のアクチュエータ信号は前記第2の触覚イベントに基づくステップとを更に含む、請求項7に記載の方法。
【請求項9】
前記アクチュエータに第3のアクチュエータ信号を送信するステップであって、前記第3のアクチュエータ信号は、前記相互作用が前記仮想弦からの既定の距離内のドラッグを含むことを示す第3の触覚効果に基づくステップを更に含む、請求項7に記載の方法。
【請求項10】
前記アクチュエータに第3のアクチュエータ信号を送信するステップであって、前記第3のアクチュエータ信号は、前記相互作用が前記仮想弦からの既定の距離内且つ既定の時間の後のドラッグを含むことを示す第3の触覚効果に基づくステップを更に含む、請求項7に記載の方法。
【請求項11】
前記少なくとも1つのアクチュエータは少なくとも2つのアクチュエータを含み、前記少なくとも2つのアクチュエータの第2のアクチュエータは、前記第2のアクチュエータ信号を受信して前記筐体に前記第2の触覚効果を出力するように構成される、請求項7に記載の方法。
【請求項12】
前記触覚イベントは、左から右方向に1つ以上の前記仮想弦を横断する移動を含む、請求項7に記載の方法。
【請求項13】
前記タッチスクリーンにおける前記1つ以上の仮想弦の1つとの相互作用に関連して発生する第2の触覚イベントを識別するステップであって、前記触覚イベントは右から左方向に1つ以上の前記仮想弦を横断する移動を含むステップと、
少なくとも1つのアクチュエータの1つに第3のアクチュエータ信号を送信するステップであって、前記少なくとも1つのアクチュエータの1つは前記第2の触覚イベントを決定した後で前記タッチスクリーンに前記第2の触覚イベントに対応する第2の触覚効果を与えるように構成され、前記少なくとも1つのアクチュエータの1つは前記タッチスクリーンに局所化された前記第2の触覚効果を出力するように構成されるステップと
を更に含む、請求項7に記載の方法。
【請求項14】
筐体に結合されるタッチスクリーンを介して楽器の1つ以上の仮想弦を表示するためのプログラムコードと、
前記タッチスクリーンと接触するオブジェクトの位置を感知するためのプログラムコードと、
前記タッチスクリーンにおける前記1つ以上の仮想弦の1つとの相互作用に関連して発生する触覚イベントを識別するためのプログラムコードと、
少なくとも1つのアクチュエータの1つに第1のアクチュエータ信号を送信するためのプログラムコードであって、前記少なくとも1つのアクチュエータの1つは前記触覚イベントを決定した後で前記タッチスクリーンに第1の触覚効果を与えるように構成され、前記第1の触覚効果は前記楽器の種類に基づき且つ前記触覚イベントに対応し、前記少なくとも1つのアクチュエータの1つは前記タッチスクリーンに局所化された前記第1の触覚効果を出力するように構成されるプログラムコードと、
バックグラウンド触覚イベントを決定するためのプログラムコードと、
前記少なくとも1つのアクチュエータの1つに第2のアクチュエータ信号を送信するためのプログラムコードであって、前記第2のアクチュエータ信号は第2の触覚効果を前記筐体に出力させるように構成され、前記第2の触覚効果は前記バックグラウンド触覚イベントに対応するプログラムコードと
を含む、コンピュータ可読媒体。
【請求項15】
前記相互作用の結果に基づいて第2の触覚イベントを識別するためのプログラムコードと、前記少なくとも1つのアクチュエータの1つに第3のアクチュエータ信号を送信するためのプログラムコードであって、前記第3のアクチュエータ信号は前記第2の触覚イベントに基づくプログラムコードとを更に含む、請求項14に記載のコンピュータ可読媒体。
【請求項16】
前記少なくとも1つのアクチュエータの1つに第3のアクチュエータ信号を送信するためのプログラムコードであって、前記第3のアクチュエータ信号は、前記相互作用が前記仮想弦からの既定の距離内のドラッグを含むことを示す第3の触覚効果に基づくプログラムコードを更に含む、請求項14に記載のコンピュータ可読媒体。
【請求項17】
前記少なくとも1つのアクチュエータの1つに第3のアクチュエータ信号を送信するためのプログラムコードであって、前記第3のアクチュエータ信号は、前記相互作用が前記仮想弦からの既定の距離内且つ既定の時間の後のドラッグを含むことを示す第2の触覚効果に基づくプログラムコードを更に含む、請求項14に記載のコンピュータ可読媒体。
【請求項18】
前記バックグラウンド触覚イベントは、前記仮想弦との前記相互作用の正しいタイミングに対応するイベント、再生される音符の音声に対応するイベント、音符ストリークに対応するイベント、又は注意を逸らすイベントに対応するイベントの1つを含む、請求項14に記載のコンピュータ可読媒体。
【請求項19】
前記少なくとも1つのアクチュエータは少なくとも2つのアクチュエータを含み、前記少なくとも2つのアクチュエータの第2のアクチュエータは、前記第2のアクチュエータ信号を受信して前記筐体に前記第2の触覚効果を出力するように構成される、請求項14に記載のコンピュータ可読媒体。
【請求項20】
前記触覚イベントは、左から右方向に1つ以上の前記仮想弦を横断する移動を含む、請求項14に記載のコンピュータ可読媒体。
【請求項21】
前記タッチスクリーンにおける前記1つ以上の仮想弦の1つとの相互作用に関連して発生する第2の触覚イベントを識別するためのプログラムコードであって、前記触覚イベントは右から左方向に1つ以上の前記仮想弦を横断する移動を含むプログラムコードと、
少なくとも1つのアクチュエータの1つに第3のアクチュエータ信号を送信するためのプログラムコードであって、前記少なくとも1つのアクチュエータの1つは前記第2の触覚イベントを決定した後で前記タッチスクリーンに第2の触覚イベントに対応する第2の触覚効果を与えるように構成され、前記少なくとも1つのアクチュエータの1つは前記タッチスクリーンに局所化された前記第2の触覚効果を出力するように構成されるプログラムコードと
を更に含む、請求項14に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、複数作動ハンドヘルド装置に関する。
【0002】
(関連出願の相互参照)
本出願は、2008年9月24日付けで出願の「Multiple Actuation Handheld Device」と題された米国特許出願第12/237,334号への優先権を主張する。その全体は、参照によって本明細書に援用される。
【背景技術】
【0003】
携帯型ゲームは、携帯装置がより洗練されると共に、インターネット速度の改善により、ますます普及してきている。このような持ち運び可能な携帯装置には、携帯ビデオゲームコンソール(例えば、Playstation(R)Portable、Nintendo DS Lite(R))だけでなく、スマートホン(例えば、Blackberry(R)、iPhone(R))も含まれる。
【0004】
さらに、既存の携帯装置の多くは、ゲームのプレー中にユーザがアバター又は他のオブジェクトと相互作用する1つ以上のタッチスクリーンを組み込んでいる。しかしながら、既存の携帯装置はどれも、ユーザが装置でゲームをプレーしているときにタッチスクリーンを介して触覚を出力する能力を有していない。
【発明の概要】
【0005】
装置は、筐体と、筐体に結合されるプロセッサとを有する。プロセッサは、メモリに記憶されるソフトウェアプログラムを処理するように構成される。タッチスクリーンは、筐体に結合されて、グラフィカルオブジェクトを表示するように構成される。このタッチスクリーンとユーザの相互作用に関連付けられるセンサ信号が、プロセッサに提供される。第1のアクチュエータが、タッチスクリーンに結合されて、筐体の中に配置される。第1のアクチュエータは、プロセッサから第1の起動信号を受信すると、タッチスクリーンに第1の触覚効果を出力するように構成される。第2のアクチュエータは、筐体に結合されて、プロセッサから第2の起動信号を受信すると、筐体に第2の触覚効果を出力するように構成される。第1の起動信号は、フォアグラウンドイベント(foreground event)に関連付けられ、第2の起動信号は、ソフトウェアプログラムで生ずるバックグラウンドイベント(background event)に関連付けられる。
【0006】
装置は、筐体と、筐体に結合されるプロセッサとを備える。プロセッサは、メモリに記憶されるソフトウェアプログラムを処理するように構成される。タッチスクリーンは、筐体に結合されて、グラフィカルオブジェクトを表示するように構成される。このタッチスクリーンとユーザの相互作用に関連付けられるセンサ信号が、プロセッサに提供される。アクチュエータが、タッチスクリーンに結合されて、筐体の中に配置される。アクチュエータは、ソフトウェアプログラムで生ずるフォアグラウンドイベントに関連付けられる第1の起動信号をプロセッサから受信すると、タッチスクリーンに第1の触覚効果を出力するように構成される。アクチュエータは、ソフトウェアプログラムで生ずるバックグラウンドイベントに関連付けられる第2の起動信号をプロセッサから受信すると、筐体に第2の触覚効果を出力するように構成される。
【0007】
携帯装置を動作させる方法は、携帯装置の筐体のタッチスクリーンを介してグラフィカル環境を表示することを含む。方法は、タッチスクリーンと接触するユーザの入力の位置を感知することを含む。方法は、グラフィカル環境内の相互作用に関連して発生する触覚イベントを識別すること、及びアクチュエータに起動信号を送信することを含む。このアクチュエータは、触覚イベントがフォアグラウンドイベントであると決定すると、触覚イベントに対応する触覚効果をタッチスクリーンに与える。携帯装置を動作させる方法は、携帯装置の筐体のタッチスクリーンを介してグラフィカル環境を表示することを含む。方法は、タッチスクリーンと接触するユーザの入力の位置を感知すること、及びグラフィカル環境内の相互作用に関連して発生する触覚イベントを識別することを含む。方法は、アクチュエータに起動信号を送信することを含む。このアクチュエータは、触覚イベントがバックグラウンドイベントであると決定すると、触覚イベントに対応する触覚効果を筐体に与える。
【0008】
一実施形態では、フォアグラウンドイベントは、タッチスクリーンとユーザの相互作用の結果として発生する。一実施形態では、タッチスクリーンに結合されるセンサが、ユーザがタッチスクリーンに接触していることを示す場合に、第1のアクチュエータは、第1の触覚効果だけを出力する。一実施形態では、第1のアクチュエータは、第1の触覚効果を出力し、第2のアクチュエータは、実質的に同時に又は異なる時間に、第2の触覚効果を出力する。
【0009】
本明細書に組み込まれ且つその一部を構成する添付の図面は、1つ以上の例示的な実施形態を示し、例示的な実施形態の記載と共に、実施形態の原理及び実装を説明する役割を果たす。
【図面の簡単な説明】
【0010】
【
図1】先行技術による携帯ゲーム装置の斜視図を示す。
【
図2】実施形態による二重作動タッチスクリーンのブロック図を示す。
【
図3】実施形態によるタッチスクリーン上に表示される仮想弦を有するタッチスクリーンのビューを示す。
【発明を実施するための形態】
【0011】
本明細書では、複数作動ハンドヘルド携帯装置との関連において、例示的な実施形態が記載される。当業者であれば、以下の記載が単なる例示であって、如何なる意味においても限定することを意図していないことを理解するであろう。本開示の利益を有するこうした当業者には、他の実施形態が容易に示唆されるであろう。次に、添付の図面に示される例示的な実施形態の実装への参照が、詳細に行われる。同じ又は同様の事項を参照するために、図面及び以下の記載を通じて、同じ参照符号が使用される。
【0012】
簡潔のため、本明細書に記載される実施形態の定型的な特徴の全ては示され且つ記載されない。勿論、任意のこのような実装の開発において、例えば、応用及び事業に関連する制約の順守等の開発者固有の目的を達成するために、多くの実装固有の決定が行われなければならないこと、及びこうした固有の目的が実施形態ごとに及び開発者ごとに変化することが理解されるであろう。さらに、このような開発努力は、複雑であり時間がかかる場合があるが、本開示の利益を有する当業者にとっては、日常的な作業の遂行であることが理解されるであろう。
【0013】
本開示によれば、本明細書に記載される構成要素、処理工程、及び/又はデータ構造は、様々な種類のオペレーティングシステム、コンピュータプラットホーム、コンピュータプログラム、及び/又は汎用マシンを使用して実装されてもよい。さらに、当業者であれば、例えば、配線接続装置、FPGA(field programmable gate array)又はASIC(application specific integrated circuit)等の非汎用的な装置が、本明細書に開示される発明概念の範囲及び精神から逸脱することなく使用されてもよいことを理解するであろう。「実施形態」という用語は、1つ以上の実施形態を含むのであって、1つのみの実施形態に限定されないことが理解される。一連の処理ステップを含む方法は、コンピュータ又はマシンによって実装され、こうした処理ステップは、マシンによって読取り可能な一連の命令として記憶され得、それらは、コンピュータメモリ装置(例えば、ROM(Read Only Memory)、PROM(Programmable Read Only Memory)、EEPROM(Electrically Eraseable Programmable Read Only Memory)、FLASHメモリ、及びジャンプドライブ等)、磁気記憶媒体(例えば、テープ、及び磁気ディスクドライブ等)、光学記憶媒体(例えば、CD−ROM、DVR−ROM、紙カード及び紙テープ等)及び他の種類のプログラムメモリ等の有形媒体に記憶されてもよい。
【0014】
図1は、先行技術による携帯ゲーム装置の斜視図を示す。
図1に示されるように、携帯ゲーム装置10は、底部12、及びヒンジ16で底部12に旋回可能に取り付けられる上部14を有する。装置10は、底部12にインタラクティブタッチスクリーン18を有し、それを用いてユーザは、指、スタイラス又はギターピックを使用してスクリーン18に物理的に触れることによって、表示されたグラフィカルアイテム、オブジェクト又はキャラクタを選択し又は相互作用することが出来る。また、装置10は、アイテム、オブジェクト、キャラクタ又は他の情報をユーザに対して表示する上部14におけるディスプレイ20も有する。必須ではないが、上部14のディスプレイ20は、ディスプレイ20に物理的に触れることによって、ユーザがディスプレイ20に表示されるアイテムと相互作用することが出来るタッチスクリーンであってもよい。
【0015】
さらに、装置10は、方向パッド26及び/又は選択ボタンを有してもよい。スタイラス24は、表示されたアイテムと相互作用するためにタッチスクリーン18と共に使用されてもよい。
図1においてスタイラス24はペン型のデザインを有するが、スタイラス24は、以下でより詳細に検討されるように、例えば、ギターピック等の他のデザインを有してもよい。上記の記載及び以下の検討は、
図1における携帯型ゲーム装置に関連するが、二重作動システムは、本明細に例示されていないゲーム機能を有するスマートホン又は他の種類の電子装置に適用可能であることに留意するべきである。
【0016】
図2は、実施形態による複数アクチュエータハンドヘルド装置のブロック図を示す。
図2に示されるように、装置100は、筐体102、1つ以上のタッチスクリーン104、タッチスクリーン104に結合される1つ以上のアクチュエータ106、並びにタッチスクリーン104及びアクチュエータ106に結合される1つ以上のプロセッサ110を有する。好ましくは、メモリ114がプロセッサ110に結合され、プロセッサ110は、メモリ114から情報を記憶及び取得することが出来る。このような情報は、限定されないが、触覚効果プロファイル、ゲームデータ、ソフトウェアデータ等を含んでもよい。
【0017】
さらに、
図2に示されるように、装置100は、タッチスクリーン104に結合されるセンサ108を有し、センサ108は、タッチスクリーン104に沿ってユーザの指、スタイラス24又は他の入力手段の位置及び/又は移動を監視する。好ましくは、センサ108は、スタイラス24の圧力、位置及び/又は移動を示すセンサ信号をプロセッサ110に提供し、ソフトウェアプログラムを実行するプロセッサ110は、それに応じてタッチスクリーン104を介して示されるディスプレイを更新する。実施形態では、タッチスクリーン104は、一体部品としてその中にセンサ108を組み込んでいるので、センサ108は別個の部品ではない。しかし、検討のために、センサ108は、本明細書において別個の部品として言及される。タッチスクリーン技術は、当分野において周知であるので、本明細書では詳述されない。
【0018】
アクチュエータ106(以後、スクリーンアクチュエータと呼ぶ)は、プロセッサ110から起動信号を受信すると、1つ以上の触覚効果をタッチスクリーン104に出力するように構成される。アクチュエータ106は、1つ以上の触覚効果を装置上の1つ以上のタッチスクリーン104(利用可能な場合)に出力するように構成されてもよいと考えられる。実施形態では、アクチュエータ106によって出力される触覚効果がタッチスクリーン104に局所化されてそこから送信される限り必須ではないが、アクチュエータ106は、タッチスクリーン104と直接接触する。言い換えれば、スクリーンアクチュエータ104からのこのような触覚効果は、好ましくは、タッチスクリーン104に局所化されて、筐体において顕著に感じられない。従って、スクリーンアクチュエータ106が起動されるときに、筐体102を把持するユーザの手が触覚効果を全く感じないか、少なくとも大幅には感じないことが好ましい。しかし、ユーザは、指又はスタイラス24を介してタッチスクリーン104に直接接触するときに、アクチュエータ106から触覚効果を感じるであろう。実施形態では、装置は、複数のタッチスクリーンに対して複数のアクチュエータを有することが出来る。ここで、複数の中の1つ以上のアクチュエータが、適切なタッチスクリーンに触覚効果を出力することが出来る。例えば、2つ以上のタッチスクリーンを有する装置でプレー中のユーザは、グラフィカルキャラクタを一方のタッチスクリーンから他方へ動かすことが出来る。第1のタッチスクリーンに結合される1つ以上のアクチュエータは、キャラクタがそこに表示されている間、そのタッチスクリーンに触覚効果を出力することが出来る。ユーザが第1のタッチスクリーンから第2のタッチスクリーンにキャラクタを移動させると、第2のタッチスクリーンに結合される1つ以上のアクチュエータは、第2のタッチスクリーンに触覚効果を出力して、キャラクタがスクリーン間を移動する場合にユーザへの触覚体験を継続することが出来る。第1及び第2のタッチスクリーンに出力される触覚効果は、異なる効果で同一のものであってもよく、且つ/又は同時若しくは異なる時間であってもよいことが考えられる。
【0019】
実施形態では、装置100は、プロセッサに結合され、プロセッサ110から起動信号を受信すると触覚効果を出力する1つ以上のアクチュエータ112を有してもよい。アクチュエータ112(以後、筐体アクチュエータと呼ぶ)は、好ましくは、このアクチュエータ112によって出力される触覚効果がタッチスクリーン104の代わりに筐体102を介して送信されるように、筐体102の内部に結合される。実施形態では、筐体アクチュエータ112は、筐体102の外部に取り付けられる外部装置又は周辺機器の一部である。筐体アクチュエータ112によって出力される触覚効果は、ユーザの手がタッチスクリーン104と相互作用するのではなく、ユーザの手が装置100を把持することによって感知される。アクチュエータ112が筐体102を介して触覚効果を出力することが開示されているが、触覚効果プロファイル(例えば、振幅、持続時間、及び/又は周波数)は、触覚効果がタッチスクリーン104を介しても感知されるように調節されることが可能である。また、2つのアクチュエータ(例えば、スクリーンアクチュエータ106及び筐体アクチュエータ112)が記載されているが、2つ以上のアクチュエータが装置において使用され得ることにも留意するべきである。実施形態では、装置において1つのアクチュエータのみが使用され得るが、アクチュエータは、筐体102及びタッチスクリーン104に結合されており、所望のときにタッチスクリーン104及び/又は筐体102に触覚効果を選択的に出力することが出来る。
【0020】
上記のアクチュエータは、限定されないが、回転質量(ERM)アクチュエータ、リニア共振アクチュエータ(LRA)、圧電アクチュエータ、音声コイルアクチュエータ、電子活性ポリマ(EAP)アクチュエータ、形状記憶合金、ページャモータ、可動磁石アクチュエータ、E−coreアクチュエータ等を含む多様な種類のものであり得る。タッチスクリーンと共に使用可能なアクチュエータアセンブリのいくつかの例は、2004年8月17日付けで出願の米国特許出願第10/919,798号及び2005年5月12日付けで出願の第11/128,717号と共に米国特許第7,148,875号に記載されている。
【0021】
アクチュエータ106及び112は、同時に又は異なる時間に同一又は異なる触覚効果を出力することが可能である。装置の二重作動能力は、広範囲の触覚の感覚を可能にし、以下に検討されるようにプレーするゲームに現実感を与える。特に、装置は、ゲームプレー中により愉快な(又は没入間のある)体験をユーザに提供する触覚効果を選択的に出力するために、スクリーンアクチュエータ106及び筐体アクチュエータ112を利用することが出来る。
【0022】
アクチュエータ106及び112は、グラフィカル環境内で発生する触覚イベントに応答してそれぞれの触覚効果を出力する。本明細書において、触覚イベントとは、それに関連付けられる触覚効果を潜在的に有し、ユーザに触覚効果の形態で出力することが出来る装置の動作中に発生する任意の相互作用、動作、衝突、又は他のイベントのことをいう。例示目的で、触覚イベントは、ユーザが制御しているグラフィカル車両がゲームプレー中に風の乱流を体験すると発生してもよく、この触覚イベントに関連付けられる例示の触覚効果は振動である。別の例では、触覚イベントは、ミサイルがゲームにおけるユーザのキャラクタと衝突すると発生してもよく、この触覚イベントに関連付けられる例示の触覚効果は、衝撃又はパルスである。また、触覚イベントは、ゲームプレーに間接的に関連付けられてもよいが、それでもなお、ユーザがゲームをプレーしている間に重要な装置情報(例えば、テキストメッセージの受信、歌曲ダウンロードの完了、バッテリレベルの低下等)をユーザに提供する。
【0023】
実施形態では、装置100は、好ましくは、スクリーンアクチュエータ106又は筐体アクチュエータ112が起動されて触覚効果をユーザに出力するかどうかを決定するために、ユーザ感知入力に伴ってビデオゲーム内で発生する動作を考慮に入れる。特に、装置100は、触覚イベントがフォアグラウンドイベント又はバックグラウンドイベントと見なされるかどうかに基づいて、起動すべきアクチュエータを決定する。触覚イベントがフォアグラウンド又はバックグラウンドイベントかどうかは、ソフトウェアコードで書かれることが可能であり、ソフトウェアコードを処理すると、プロセッサ110は、どのアクチュエータを動作させるべきかを自動的に指示する。また、プロセッサ110は、触覚イベントがタッチスクリーン104へのユーザ入力の直接的な結果であるかどうかに基づいて、触覚イベントがフォアグラウンド又はバックグラウンドイベントかどうかを決定することが考えられる。そうであれば、触覚効果は、タッチスクリーンと相互作用する手に感知される場合に、より明白な効果を有してもよい。
【0024】
例えば、ユーザのスタイラス24とタッチスクリーン104上のグラフィカルオブジェクトとの間の相互作用、例えば、タッチスクリーン104上でスタイラス24を移動させることによって砂の中でビデオゲームキャラクタをドラッグすること等がフォアグラウンドイベントと見なされてもよい。言い換えれば、フォアグラウンド触覚効果は、好ましくは、ユーザがタッチスクリーン104と接触する相互作用により最良に利用される。動作中に、センサ108は、ユーザが砂の中でキャラクタをゆっくりと動かすことを監視して、プロセッサにこのような感知情報を提供する。それに応じて、ソフトウェアプログラムと併せてプロセッサ110は、スクリーンアクチュエータ106に触覚効果(例えば、振動性テクスチャの触覚効果)に関連付けられる起動信号を出力し、起動信号は、好ましくは、触覚効果プロファイル(例えば、振幅、周波数、持続時間)の情報を伝達する。起動信号を受信すると、スクリーンアクチュエータ106は、タッチスクリーン104に触覚効果を出力し、触覚効果は、ユーザの指又はスタイラス24を把持する手によって直接感知される。
【0025】
実施形態では、装置100は、ユーザの入力に基づいて、出力される触覚効果を実質的に同時に更新する。例えば、例示では、スクリーンアクチュエータ106は、増加していく割合でタッチスクリーン104上で移動するユーザのスタイラス24を監視するセンサ108に応じて、周波数及び/又は振動を増加させる信号をセンサ108から受信するであろう。この例示では、タッチスクリーン104は、触覚効果を拡大するより高速に且つ/又はより大きな強度で振動を開始することで、ユーザにゲームプレー中に現実的な触覚応答を与えてもよい。
【0026】
実施形態では、スクリーンアクチュエータ106は、タッチスクリーン104へのユーザ入力の感知された移動に応じて、完全に異なる触覚効果を出力してもよい。例えば、上述のように、振動は、ユーザがスクリーン上で砂の中でキャラクタを移動させるのに応じて、スクリーンアクチュエータ106によって出力されてもよい。例えば、スクリーンアクチュエータ106は、ユーザのキャラクタが砂の中のグラフィカル障害物と衝突するのに応じてタッチスクリーン106への衝撃、衝突又は破裂を出力するように命令される。スクリーン及び筐体アクチュエータのいずれか又は両方は、限定されないが、テクスチャ、戻り止め(detent)、及び突起(bumb)等の位置に基づく効果と共に振動及びパルス等の時間に基づく効果を含む触覚効果を出力する能力を有することに留意するべきである。
【0027】
実施形態では、装置100は、好ましくは、筐体に触覚効果を出力する能力を有する。上述のように、筐体アクチュエータ112は、装置100の筐体102に触覚効果を出力するように構成され、触覚効果は、好ましくは、装置100を把持する手に感知される。必須ではないが、筐体アクチュエータ112は、バックグラウンドイベントと見なされる触覚イベントに対して触覚効果を出力することが好ましい。プロセッサ110は、触覚イベントがフォアグラウンド及び/又はバックグラウンドイベントであるかどうかを決定することが好ましい。実施形態では、触覚イベントがバックグラウンド及び/又はフォアグラウンドイベントであるかどうかの決定は、ソフトウェアコードで書かれ、プロセッサ110は、ソフトウェアコードに基づいていずれのアクチュエータを起動すべきかを自動的に選択する。バックグラウンドイベントの例示は、ミサイルがグラフィカルキャラクタに衝突するような、タッチスクリーン104に表示される2つのオブジェクト間の相互作用であってもよい。プロセッサ110は、このような情報を処理して、必要な触覚プロファイル(例えば、振幅、周波数、持続時間)を有するアクチュエータ112に起動信号を送信する。このような信号を受信すると、筐体アクチュエータ112は、対応する触覚効果を筐体102に出力する。次に、ユーザが装置102を把持している手で触覚効果を感知することによって、愉快且つ現実的な体験がユーザに提供される。触覚イベントは、ユーザのキャラクタに弾丸が発射される場合のパルスのような、触覚効果がユーザ依存である場合に、バックグラウンドイベントと見なされることが考えられる。対照的に、キャラクタに衝突する弾丸がプロセッサによってフォアグラウンドイベントと見なされることにより、アクチュエータ106は、タッチスクリーン104に1つ以上の触覚効果を出力してもよい。ソフトウェアにおけるバックグラウンドルーチンに基づく又はプレー中のゲームに直接は関連しない触覚イベント(例えば、着信テキストメッセージ、ダウンロード完了)は、プロセッサ110によって自動的にバックグラウンドイベントと見なされてもよい。
【0028】
グラフィカルギアシフタがタッチスクリーン104を介して表示される例示が提供され、ギアシフトは、2つ以上の位置をシフトされることが可能である。例示において、表示されたギアシフタは、タッチスクリーン104に沿って指又はスタイラスを介してシフタを移動させることによって、ユーザにより操作されてもよい。例示では、プロセッサ110は、ユーザが表示されたシフタをシフトしたセンサ情報が提供されて、フォアグラウンドイベント及びバックグラウンドイベントが発生したことを決定する。プロセッサ110は、好ましくは、シフタの新しい位置を示すためにタッチスクリーン上に表示されたギアシフタを更新する。それによって、プロセッサ110は、タッチスクリーン104に触覚効果を出力するためのスクリーンアクチュエータ106への起動信号及び筐体に触覚効果を出力するための筐体アクチュエータ112への起動信号を出力する。それに応じて、アクチュエータ106は、タッチスクリーン104に触覚効果を出力する。ここで、触覚効果は、ユーザの接触している指又はスタイラスで感知される。スクリーンアクチュエータ106によって出力される触覚効果は、好ましくは、仮想シフタの移動(「フォアグラウンドイベント」)に応じた衝撃又はクリックである。さらに、筐体アクチュエータ112は、装置100を把持しているユーザの手で感知される低周波及び/又は振幅の振動を出力する。例示において、ユーザがシフトアップを続けると車両はゲームプレー中により速くなり、スクリーンアクチュエータ106はクリック又は衝撃を出力して、筐体アクチュエータ112はより高い周波数及び/又は振幅の振動を出力する。対照的に、ユーザがシフトダウンを続けた場合、スクリーンアクチュエータ106はクリック又は衝撃を出力するが、筐体アクチュエータ112はより低い周波数及び/又は振幅の振動を出力するであろう。
【0029】
上記の例示は限定的ではなく、ビデオゲームソフトウェアと共にプロセッサ110は、フォアグラウンドイベント及びバックグラウンドイベントとしてゲーム内のどのイベント及び相互作用が指定されるべきかを処理すると考えられることに留意するべきである。しかし、上述のように、必須ではないが、ユーザの手又はスタイラスがタッチスクリーン104と接触している間に感知されるフォアグラウンドイベントが動作に指定されることが好ましい。また、フォアグラウンドイベントが筐体アクチュエータ112に専用であり、バックグラウンドイベントがスクリーンアクチュエータ106に専用であることも考えられる。
【0030】
また、アクチュエータ106、112の双方が、ゲーム内の相互作用に応じて、少なくとも部分的に同時に同一又は異なる触覚効果を出力することが可能であることも考えられる。例えば、ソフトウェアによって命令されるプロセッサ110は、キャラクタがたるの山と衝突することをタッチスクリーン104が示す場合の触覚効果を出力するスクリーンアクチュエータ106を起動してもよい。その後、たるが地面に落下すると、ソフトウェアによって命令されるプロセッサ110は、これはバックグラウンド触覚イベントであると決定して、イベントに対応する触覚効果を筐体102に出力するために筐体アクチュエータ112を起動する。
【0031】
実施形態では、プロセッサ110は、ユーザの手又はスタイラスがタッチスクリーン104と接触していることをセンサ108が示すかどうかに基づいて、どちらのアクチュエータが触覚効果を出力するかを決定してもよい。従って、動作がアクチュエータ106、112の何れか又は双方であり得るような場合、プロセッサ110は、ユーザがタッチスクリーン104に接触していないと判断される場合、筐体アクチュエータ112のみを起動してもよい。動作が確かにフォアグラウンドイベントであるが、ユーザがタッチスクリーン104に接触していないと判断される場合、装置100のバッテリ寿命を維持するためにこのプロセスが使用されてもよい。
【0032】
別の実施形態では、装置は、フォアグラウンド及びバックグラウンドイベントがプレーされるゲームの種類に基づいて明確に区別されるように構成される。一例は、ユーザが音楽の演奏をシミュレートすることを可能にする偽ギターとして装置100が使用されるGuitar Heroであり、コントローラ上のフレットボタンに対応する色音符によってスクリーン20に表される。装置100と共に使用するGuitar Heroのゲームを明確のため簡単に解説する。
【0033】
Guitar Heroのようなゲームにおいて、スクリーンアクチュエータ106は、ユーザが表示された弦を軽くかき鳴らすと、本物の弦を弾く感覚をユーザに与える触覚効果をタッチスクリーン104に出力することが出来る。タッチスクリーン104は、仮想表示された弦の上で演奏する感覚をシミュレートするために、タッチスクリーン104に対して分離した触覚効果をユーザに提供する、そこに結合される1つ以上のスクリーンアクチュエータ106を有してもよい。
図3に示される実施形態では、4本の仮想弦116、118、120及び122を表示するタッチスクリーン104が示されるが、より多い又は少ない本数の弦が表示されることが考えられる。タッチスクリーン104は、タッチスクリーン104の表面に沿って移動するときにユーザの指又はスタイラスの位置を追跡して、位置、速度及び/又は加速度情報をプロセッサ110に提供する。ユーザの指が弦116と接触すると、スクリーンアクチュエータ106が衝撃を出力し又は触覚効果を出し、触角効果はユーザが1本以上の弦を弾いたことを知らせることが考えられる。同一又は異なる触覚効果が、弦118、120及び/又は122に当てはまり得る。実施形態では、スクリーンアクチュエータ106は、ユーザが1本以上の弦を弾いたことを知らせるために一連の衝撃又は破裂を出力し、それぞれの衝撃又は破裂は弦が弾かれることを表す。特に、タッチスクリーン104上でユーザがユーザの指又はスタイラスをそれぞれの表示された弦の上を移動させることをセンサ108が追跡するとき、スクリーンアクチュエータ106は衝撃又は破裂を出力する。指が左から右(矢印98Aで示される)に1本以上の弦の上を移動するときに第1の触覚効果が出力され、指が右から左(矢印98Bで示される)に1本以上の弦の上を移動するときに第2の触覚効果が出力されるように指の移動方向が追跡されることが考えられる。
【0034】
追加的に又は代替的に、装置は、ユーザの指が表示された弦(弦116で示される)の上にある場合に第1の触覚効果を出力するように構成されてもよく、指(99Bとして示される)が弦116の開放をシミュレートするために弦116から既定の距離だけ離れてドラッグされる場合に第2の触覚効果が出力される。実施形態では、2つの触覚効果を分離してそれらが混合したように感じることを防ぐために、時間オフセット遅延(例えば、50ms又はその他の期間)が、好ましくは、第2の触覚効果の再生に加えられる。第2の触覚効果は、タッチスクリーン104上で感知される衝撃又はクリック(すなわち、弦が当初の位置に戻ること)及び/又は筐体102への振動(すなわち、ギター本体で感知される振動の唸り)であり得る。これは、より明瞭な感覚を提供し、本物のギターの弦が開放された後に元の位置に戻るときに生じるのと同じ種類の時間差の体験を生成する。
【0035】
追加的又は代替的に、装置は、第2の触覚効果を生成するためにタッチスクリーン104からの圧力センサ情報を利用してもよい。例えば、第1の触覚効果が出力されると(指が位置99Bに向かって弦116の上を移動したとき)、アクチュエータ106は、ユーザの指が位置99Bに到達し又はタッチスクリーン104から圧力を徐々に緩め始める(よって、仮想弦を徐々に開放する)まで第2の触覚効果を出力するのを待機してもよい。特に、センサ108は、タッチスクリーン104に加えられる圧力量に関する情報をプロセッサ110に提供し、プロセッサ110は、圧力データが閾値を過ぎると起動信号を出力する。しかしながら、ユーザによって触覚効果が感知されることを確実にするためにユーザの指がスクリーン104上にまだある間に第2の触覚効果が生ずることが好ましい。上記の第1及び第2の触覚効果は、互いと同一であり、又は互いとは異なってもよいことに留意するべきである。
【0036】
追加的又は代替的に、筐体アクチュエータ112は、スクリーンアクチュエータ106と共に起動されてもよいが、スクリーンアクチュエータ106によって出力されるものとは異なる又は変化した触覚効果を出力する。特に、筐体アクチュエータ112は、低周波振動を筐体に出力するように命令する信号を受信してもよい。振動は、再生される音符の音声を模倣し又は演奏される(すなわち、和音がかき鳴らされる)ギターの現実的な感覚を提供するのみであり得る。実施形態では、筐体アクチュエータ112によって出力される触覚効果は、低振幅から始まり、ギター演奏の「流れる」体験をシミュレートするために、ユーザがゲームの正しいタイミングを継続して掴むと振幅が増加してもよい。代替的に、ユーザのタイミングが外れている場合、ユーザへの指摘として任意の又は全てのアクチュエータ(筐体アクチュエータと共にスクリーンアクチュエータ)によって不調和の触覚効果が出力され得る。実施形態では、スクリーン及び筐体アクチュエータ106、112によって出力される触覚効果は、ビデオゲーム内でユーザによって選択されるギターの種類に応じて変化してもよい(例えば、「ソリッドボディー」ギターの本体におけるより小さな振動に対して「ホロウボディー」ギター用の本体におけるより大きな振動)。
【0037】
実施形態では、スクリーン及び/又は筐体アクチュエータ106、112は、ユーザがプレー中に音符を弾くのに成功すると、ボタン押下又はかき鳴らしイベントの触覚的確認を出力するようにプロセッサ110によって命令されてもよい。言い換えると、ボタンがスクリーン20に表示された状態で、ユーザがコントローラ200の正しいボタンを押すのに成功すると、ボタン押下又はかき鳴らし効果の確認を提供するために、触覚効果がアクチュエータ106、112によって出力されるであろう。
【0038】
実施形態では、装置は、ユーザが既定数の正しい音符を押すのに成功したことを示すために、いずれか又は双方のアクチュエータ106、112から1つ以上の触覚効果を出力するように構成されてもよい。例えば、ゲームには、ユーザが連続して既定数の正しい音符を押すのに成功する場合に、「音符ストリーク」(note streak)という概念が存在する。装置は音符ストリークの記録が達成された後にプレーヤに報償を与えるために、いずれか又は双方のアクチュエータ106、112から1つ以上の触覚効果を出力してもよい。また、ユーザがより多くの正しい音符を当て続けると振幅が増加する触覚効果が、いずれか又は双方のアクチュエータ106、112によって出力され得る。この増加した振幅は、筐体102又はタッチスクリーンで感知される。ユーザが音符を外すとすぐに効果は初期化されて、ユーザは効果のストリークが終了したことを知る。代替的に、装置は、ユーザが1つ以上の誤ったボタンを押すと、別の触覚効果を出力するように構成されてもよい。
【0039】
あるゲーム概念は、直接対決のプレー又は「戦闘モード」である。ここで、2人のプレーヤは、所定の時間内で最も多くの音符を当てるのに成功するように互いに競争する。戦闘モードの特徴は、一方のプレーヤが競争中に他のプレーヤの注意を逸らす妨害アイテムを送り出すことである。例えば、戦闘モードでは、送り出された1つの妨害アイテムは、他方のプレーヤの画面を発火させることで、ユーザが所定時間に渡って音符を見るのを妨げて、その期間中は音符を正しく当てる能力を抑制する。妨害アイテムは、装置100の間で使用され得る。この送り出された妨害アイテムは、受信者の装置100のタッチスクリーン106及び/又は筐体102を制御不能に振動させ、又はスクリーンに表示された音符と同期していない不規則な1つ又は複数の拍子をもたらす触覚効果を出力し、又は触覚効果を一時的に完全に無効にする。
【0040】
図4は、実施形態による二重アクチュエータ装置の動作の流れ図を示す。
図4に示されるように、装置100は、選択的に相互作用するグラフィカル仮想環境が1つ以上のディスプレイスクリーンに表示されることを可能にするソフトウェアプログラムを実行する。特に、装置は、300にあるように、タッチスクリーンディスプレイを介してグラフィカル環境を表示する。センサ(タッチスクリーンとは別体又は一体)は、302にあるように、ユーザがスタイラス又は指を使用してタッチスクリーンに接触するときのユーザによる入力を継続的に監視する。触覚イベントがグラフィカル環境内で発生すると、304にあるように、装置のプロセッサ110は、触覚効果が出力されるべきかどうかを決定する。これは、プロセッサによって実行されるソフトウェア及びソフトウェアがその特定の触覚イベントに適用される触覚効果を提供するかどうかに依存する。そうだとすれば、プロセッサ及び/又はソフトウェアは、関連する触覚効果がフォアグラウンドイベント(306にあるように)又はバックグラウンドイベント(312にあるように)であるべきかどうかを決定する。
【0041】
触覚効果がフォアグラウンドイベントであると見なされる場合(306)、選択ステップは、ユーザの指又はスタイラスがタッチスクリーンと接触しているかどうかを決定することになる(301にあるように)。上記のように、この決定は、触覚効果がユーザによって感知されることが確実にされるときにのみタッチスクリーン104に触覚効果を出力することにより、装置100のバッテリパワーを潜在的に節約することが出来る。代替的に、ユーザがタッチスクリーン104と接触していないと決定すると、プロセッサは、その代わりに筐体に触覚効果を出力するように筐体アクチュエータ112に命令するように構成されてもよい。ユーザがタッチスクリーン104と接触していると決定される場合、タッチスクリーン104に所望の触覚効果を出力するためにプロセッサからスクリーンアクチュエータ106に起動信号が送信される。実施形態では、ユーザの指又はスタイラスがタッチスクリーンと接触していないと決定される場合、触覚イベントがバックグラウンドイベントと見なされるかどうかが決定される(312にあるように)。触覚イベントがバックグラウンドイベントと見なされない場合、装置100は、好ましくは、いずれのアクチュエータにも触覚効果を出力するよう命令せずに、装置100は、ユーザのタッチスクリーン104への入力を感知し続ける(302)。しかしながら、触覚イベントがバックグラウンドイベントであると見なされる場合、プロセッサは、筐体102に触覚効果を出力するために、筐体アクチュエータ112に起動信号を送信する(316)。
【0042】
実施形態及び応用が示され且つ記載されているが、本開示の利益を有する当業者には、上記以上のより多くの変形が本明細書に開示された発明概念から逸脱することなく可能であることが明らかであろう。従って、本発明は、添付の請求項の精神を除いては限定されるものではない。