(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0006】
本発明の実施形態に係る触覚効果は、上述のように通知を提供することに加え、モバイル装置に動作を作成又は動作を制御するためにも用いられてよい。例えば、触覚効果は、ユーザーに通知/情報を提供するために、モバイル装置を特定の方法で動作させることができる、又は、モバイル装置が面から落下して破損するのを防ぐように制御されることができる。
【0007】
図1は、本発明の一の実施形態に係る触覚を利用可能なシステム10のブロック図である。システム10は、タッチ感知式表面11又はハウジング15内に搭載されたその他の種類のユーザーインターフェイスを含み、また、メカニカルキー/ボタン13を含み得る。
【0008】
システム10の内部には、システム10で触覚効果を生成し、プロセッサ又はコントローラー12を含む触覚フィードバックシステムが存在する。プロセッサ12には、メモリ20、及び、アクチュエータ18に結合されるアクチュエータ駆動回路16が結合される。プロセッサ12は任意の種類の汎用プロセッサであり得る、もしくは、特定用途向けIC(ASIC)のような、触覚効果を提供するために特別に設計されたプロセッサであってもよい。プロセッサ12は、システム10全体を操作する同じプロセッサでも、又は、別々のプロセッサでもあり得る。プロセッサ12は、どの触覚効果を再生するか、及び効果が再生される順序を、高レベルのパラメータに基づいて決定可能である。一般的に、特定の触覚効果を定義する高レベルのパラメータとしては、強度、周波数、及び期間が含まれる。特定の触覚効果を決定するために、ストリーミングモータコマンド(streaming motor command)のような低レベルのパラメータも使用可能である。触覚効果が生成される際にこれらのパラメータのいくつかの変化が含まれる場合、もしくはユーザーのインタラクションに基づいたこれらのパラメータの1つの変化が含まれる場合、触覚効果は「動的」であると見なされ得る。一の実施形態における触覚フィードバックシステムは、システム10上で振動30、31を生成する。
【0009】
プロセッサ12は、アクチュエータ18に必要な電流と電圧(すなわち「モータ信号」)とを供給して所望の触覚効果を起こすために用いられる電子部品及び電気回路を含むアクチュエータ駆動回路16へと制御信号を出力する。システム10は1以上のアクチュエータ18を含み得て、各々のアクチュエータは、いずれも共通のプロセッサ12に結合される個別の駆動回路16を含み得る。
【0010】
メモリ20は、ランダムアクセスメモリ(RAM)又はリードオンリーメモリ(ROM)等の任意の種類の格納装置又はコンピュータ読み取り可能媒体であってよい。メモリ20はプロセッサ12によって実行される命令を格納する。以下に詳述するとおり、メモリ20は、これらの命令のうち、プロセッサ12によって実行された際に、動作制御を有する触覚効果を生成する命令である動作制御モジュール22を含む。メモリ20は、プロセッサ12の内部にも位置し得て、また、内部メモリと外部メモリとの任意の組み合わせであり得る。
【0011】
システム10は、プロセッサ12に結合され、触覚効果の生成に必要なパラメータ又は基準を決定するためにプロセッサ12によって利用可能なデータを提供するセンサ25を更に含む。プロセッサ12と通信するセンサ25は、システム10の配向、他の物体からの距離、もしくは潜在的な接触点(床等の衝撃面への距離(又はそこまでにかかる時間))を決定する上で役立ち得る。システム10は、1つのセンサ25又は複数のセンサ25を含み得る。センサ25は、加速度計、ジャイロセンサ、距離、位置、又は配向センサ(例えばレーダー、超音波、磁力計)、位置センサ(例えばグローバルポジショニングシステム(GPS)、信号三角測量)、画像センサ(例えばカメラ)、ソナーの組み合わせとして用いられ得る音声センサ(例えばスピーカー、マイク)、等を含み得る。センサ25は、システムが持ち歩かれる際に測定を行う動作センサ又はセンサのアレイでもあり得て、測定は、直近の物質世界の仮想マップを生成するためにプロセッサ12によって用いられることができる。
【0012】
アクチュエータ18は、例えば電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ(ERM)、リニア共振アクチュエータ(LRA)、圧電アクチュエータ、広帯域アクチュエータ、電気活性ポリマー(EAP)アクチュエータ、静電摩擦ディスプレイ、又は超音波振動発生器であり得る。代替的な実施形態において、システム10は、アクチュエータ18に加えて、1以上の追加のアクチュエータを含んでよい(
図1には図示せず)。アクチュエータ18は、駆動信号を受けて、振動触知触覚効果、静電摩擦触覚効果、又は変形触覚効果等の触覚効果を出力するように構成される触覚出力装置の一例である。
【0013】
アクチュエータ18に加えて、またはアクチュエータ18に代えて、システム10は、静電摩擦(ESF)や超音波表面摩擦(USF)を用いる装置、超音波触覚変換器で音響放射圧を誘導する装置、触覚基盤と可撓性又は変形可能表面、もしくは形状変形装置を用い、ユーザーの身体に取り付けられ得る装置、空気ジェットを利用したエアパフ等の投射型触覚出力を提供する装置、等のような、非機械又は非振動装置であり得る他の種類の触覚出力装置(図示せず)を含み得る。
【0014】
システム10は、携帯電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、コンピュータタブレット/パッド、ゲームコンソール、リモコン等の任意の種類の手持ち/モバイル装置、又は、1以上のアクチュエータを含む触覚効果システムを含む任意のその他の種類の装置であり得る。システム10は、リストバンド、ヘッドバンド、眼鏡、指輪、レッグバンド、衣服に一体化されたアレイ等のウェアラブルデバイス、又は、ユーザーが身体に装着し得る、又はユーザーが手に持つことができる、触覚を利用可能な、その他の任意の種類の装置であり得る。システム10のユーザーインターフェイスはタッチ感知式表面、又はその他の任意の種類のユーザーインターフェイス、例えばマウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド又はゲームコントローラ等であり得る。1以上のアクチュエータを有する実施形態において、各アクチュエータは、装置上に幅広い触覚効果を作り出すために異なる回転能力を有し得る。
図1に図示されるすべての要素がシステム10のそれぞれの実施形態に含まれるわけではない。多くの実施形態では、これらの要素のサブセットのみが必要となる。更に、システム10は、離間して結合された触覚を利用可能な装置上で動作を制御するための触覚効果を生成する信号を制御及び提供する中央制御部であり得る。
【0015】
一の実施形態において、システム10の動作を制御/停止するために、1以上のアクチュエータ18又はその他の触覚出力装置の組み合わせが用いられてよい。動作は、システム10に特定の動作をさせるよう、もしくは、触覚効果による通知が生成され得る場合にシステム10が動作しないよう、制御可能であり、動作は、別の種類の触覚効果による通知を生成するために用いられ得る。例えば、特定の通知は、一のイベントに対してはシステム10を前進及び後退させ、別のイベントに対しては左右に移動させるかもしれない。システム10は動作していること、例えばダッシュボードから落下しそうであること、を感知でき、アクチュエータ18又はESF等のその他任意の種類の触覚出力装置を用いて、落下を防止するために相殺することが可能だろう。更に、アクチュエータ18を制御するため、システム10は、ユーザーによる装置の配向に基づいて、触覚の強度をインテリジェントに調整し得る(例えば、装置が裏返しにされている場合には、ユーザーを妨害しないよう触覚効果を弱くする(例えば強度を下げる))。
【0016】
図2は、多様な実施形態に従って実装可能である、システム10の例示的な動作のいくつかを図示する。動作全般は、アクチュエータ、又はERM、圧電、LRA、又はESFといったシステム10のその他の触覚出力装置を制御することにより実装される。動作は201に示す回転動作、202に示す歩行動作、203に示す直進動作、204に示す揺動動作を含む。揺動動作のために、システム10の筐体15は、湾曲した形状に固定されているか、平板形状と湾曲した形状との間で変形可能であるかのいずれかで、湾曲している。
【0017】
図2に示すような、本発明の実施形態に係るシステム10の動作の制御には、数多くの用途がある。例えば、ユーザーはしばしば、その他の用事があるとき、画面を下にしてモバイル装置をテーブルに置く。この環境で触覚効果による通知(例えば振動)が発生すると、装置は普通、ブルブルと音を立て、ランダムで不愉快な、望まれない形でテーブルの上を動き回る。装置の動作を制御することにより、実施形態は、触覚通知に付随する不愉快なイベント(例えば必要以上に注意を惹く醜悪なブルブル音)を排除でき、また、ユーザーがより高い優先順位を割り当てた特定のイベントをユーザーに認識させることができる(例えば、優先順位の低い通知には装置全体を動作させない振動、優先順位の高い通知には装置全体の動作)。更に、落下を防止するためにアクチュエータで装置の動作を相殺することは、装置の破損を防ぎ得る。
【0018】
落下を防止するための予防的相殺の一例は、自動車のダッシュボードに関するものである。装置を受け台に保持するため、又は滑らかな面から滑り落ちるのを防止するためのサードパーティ製の周辺機器は、装置向けに市販されているアクセサリのかなりの部分を占める。実施形態は、作動制御、ESF、又はその他の技術の組み合わせにより、装置が受け台や面から落下することを防止するために相殺できる。
【0019】
更に、
図2の204に示すような湾曲した装置では、実施形態の更に別の用途が可能である。例えば、ユーザーがインタラクションを開始するために、装置の一つの湾曲の軸に沿って装置を揺らす又は傾けると、アクチュエータを利用してその動作の速度を緩める、又は完全に停止させることができるだろう。逆に、通話の着信又はその他の通知を表すために、アクチュエータを利用して装置を前後に搖動させることができ、1往復の揺動がメッセージの着信を表すことができる。振動の数及び/又は速度は、着信メッセージの種類をユーザーに示すために用いることができるだろう。通知の種類は、揺動の頻度又は強度、もしくはその他のパラメータで表すことができるだろう。
【0020】
図2に示すような自律動作は、見失ったテレビのリモコンやゲームのコントローラーを、自力で「ホームベース」に戻らせる、又は、残充電量が少ない場合には充電器に向かわせることができる。実施形態はゲームにおいて、コントローラー以外にも用途がある。例えば、ボードゲームは自律動作するインテリジェントなコマを有してよく、また、携帯電話は、ユーザーがコースを描いて、装置を他の装置と競わせるようなレーシングゲームを含んでよい。更に、実施形態は、例えば装置の画面上に経路を描いてその形のとおりに動かすことによって、動くおもちゃの機能とモバイル装置の機能との間を橋渡しすることで、新規なスタイルのゲームを可能にする。
【0021】
図3は、一の実施形態に係る面300上に置かれたシステム10を図示する。実施形態は、面300に対する滑動動作(302)の状態を決定する。システム10はその後、面からの落下を防止するために、動作を停止できる。動作の方向を変更する、又は動作を停止するためにアクチュエータが用いられてよい、もしくは、ESF触覚出力装置を用いて、システム10と面300との間の静摩擦305の量を増加させて滑動動作を停止させてよい。
【0022】
システム10は、動作の特定のパターンを感知して、アクチュエータが、装置を移動させるような環境変化によるものと、ユーザーが装置に触れて継続的な動作を起こした(湾曲した装置の場合等)ことによるものとの両方の装置の動作を停止させるべきかを決定できるだろう。環境変化の一例は、装置を端部へと移動させ、潜在的にダッシュボードに設置されたホルダーから落下させる、運転による振動である。これらの状況において、アクチュエータが起動して装置の動作を相殺し停止させるだろう。更に、システム10が充電を必要としていることが判明すると、それはインテリジェントに非使用時を決定し、充電器へと移動できるだろう。更に、動作は、装置の下部にある、移動する面(例えば、装置の下からシートが引き抜かれる、又は、装置が上に置かれた本の表紙がわずかに開いている)によっても起こるだろう。また、動作は面に対する衝撃や、装置に滑動を開始させるような振動によっても起こるだろう(例えば、自動車のモータが振動を発生させる、又は、誰かがテーブルに膝をぶつける)。動作を発生させるその他の例としては、風が装置を吹き飛ばす又は搖動させる、又は、わずかに傾斜した面上にある場合に他の物体が装置にぶつかって滑動を開始させることが挙げられる。動作の検出は、装置の加速を決定することを含んでよい。装置が加速している場合、落下するか、遠すぎる場所へと移動することが考えられる。
【0023】
図4は、一の実施形態に係る、通知を目的としてシステム/装置10を動かして動作制御付き触覚効果を提供する際の
図1の動作制御モジュール22の機能のフロー図である。一の実施形態において、以下の
図4、
図5、及び
図6の機能はメモリ又は他のコンピュータ読み取り可能媒体又は有形媒体に格納されたソフトウェアによって実装され、プロセッサによって実行される。その他の実施形態において、この機能はハードウェア(例えば、特定用途向けIC(ASIC)、プログラム可能ゲートアレイ(PGA)、フィールドプログラム可能ゲートアレイ(FPGA)等を用いる)又はハードウェアとソフトウェアとの任意の組み合わせによって行われ得る。
【0024】
402において、着信している通知が存在するかどうかが決定される。例えば、システム10上で通知を必要とする、通話の着信、カレンダーの新規の予定、又は新規のテキストメッセージの着信があり得る。着信している通知がない場合、機能は終了する。
【0025】
着信している通知が存在する場合、404において装置の状態が決定される。例えばセンサ25を加速度計として利用して、装置が動作中であるかどうかが決定され得る。406においては、動作は検出されない。408においては、動作が検出される。
【0026】
動作が検出されない場合、制御された方法で、又は「所望の動作」で装置を動かすために、412において触覚効果が出力/再生される。例えば、システム10が湾曲した筐体を有する場合、触覚出力装置はシステム10を搖動させて着信している通知を知らせることができる。別の実施形態において、
図2の201に示すように、1以上の明確に配置されたアクチュエータがシステム10を回転させることができる。
【0027】
動作が検出される場合、410において、該動作が停止に向かって徐々に減弱しているかどうかが検出される。そうであれば、414においてアクチュエータが起動して動作を停止させる。そうでなければ、416において通知を提供するために標準の触覚効果が再生される。410で開始する機能の目的は、通知を知らせることよりもむしろ、人間によるインタラクションによって装置が移動しているかどうか(すなわち、その動作が意図されたものであるかどうか)を決定することである。例えば、湾曲した装置が1つの端部において押されて画面を上向きに回転させることによってチェックされる場合、指を離すと前後に搖動するかもしれない。410で開始する機能は、不愉快さと偽通知を防ぐためにその動作を停止させるだろう。これらの実施形態では、「所望の動作」は現在の動作を停止させること(例えば、揺動を停止させること)である。これらの実施形態において、触覚出力装置は動作を停止させて所望の動作を実現できる。
【0028】
図5は、一の実施形態に係る、システム/装置10を充電器に向かって移動させる際の動作制御付き触覚効果を提供する際の
図1の動作制御モジュール22の機能のフロー図である。
【0029】
502において、装置が未使用状態であるかどうかが決定される。504において、残充電量が少ないかどうかが決定される。センサ25は、充電量を決定するために、充電池の充電状態(state of charge、SoC)測定として機能できる。装置が未使用状態でないか、又は残充電量が少なくない場合、機能は終了する。
【0030】
506において、充電プラットフォームが近くにあるかどうかが決定される。充電プラットフォームは、装置が接触してさえいれば充電が可能なワイヤレスのパッド又はマットであってよい。充電プラットフォームは、操作が簡単なプラグイン型であってもよい。センサ25は、例えば無線信号を用いてプラットフォームが近くにあるかどうかを決定できる。近くに充電プラットフォームがない場合、機能は終了する。
【0031】
508において、1以上のアクチュエータがデバイス上で起動し、装置をプラットフォームの近くに移動する。例えば、アクチュエータは
図2の202及び203と同様の動作を起こす。その後充電が開始する。
【0032】
510において、満充電が検出される。512において、1以上のアクチュエータが起動して、例えば
図2の201に示されるように回転させることによって装置の配向を変えることで、充電状態を示す。
【0033】
上述のように、モバイル装置が凹凸のある面上に、又は面の端部付近に置かれている場合、振動触覚効果又はその他の動作による効果の形をとった通知は、装置を面から落下させ、装置を破損させるおそれがある。したがって、本発明の一部の実施形態において、表面レベルと、面と地面との間の距離とを感知することを受けて、全ての通知をオフにし得るように、触覚効果は動作「制御」される。
【0034】
図6は、本発明の一の実施形態に係る、システム10が面から落下することを防ぐための動作制御の一例を図示する。
図6に示すとおり、装置/システム10はテーブル710又はその他の略平板な面の上、又は端部付近に置かれている。センサ25はシステム10の位置、ならびに床720からの距離を検出できる。一部の実施形態において、センサ25は近接センサ及びジャイロスコープとして機能し、その位置を決定する。触覚効果による通知が生成された場合にシステム10がテーブル710から落下するおそれがあると決定されると、また、床720までの距離を任意で考慮し、システム10は、通知が開始される前、または開始時に、触覚効果をオフにするか、又は触覚効果を抑制する。
【0035】
図7は、本発明の別の実施形態に係る、システム10が面から落下することを防ぐための動作制御の一例を図示する。
図7に示すとおり、装置/システム10は財布715、又はその他の種類の凹凸のある面の上に置かれている。センサ25はシステム10の位置、ならびに床720からの距離を検出できる。
図6と同様に、システム10は触覚効果による通知がシステム10をテーブル710から落下させると考えられるかどうかを決定し、そうである場合には、通知が開始される前、または開始時に、触覚効果をオフにする。
【0036】
図8は、一の実施形態に係る、システム10が面から落下することを防ぐための動作制御付き触覚効果を提供する際の
図1の動作制御モジュール22の機能のフロー図である。
【0037】
802において、モジュール22はセンサ25と共に、面上に置かれているシステム10の現在の位置と配向を決定する。例えば、システム10はテーブルの端部又はその他の略平板な面、又は凹凸のある面上に角度を有して置かれ得る。
【0038】
804において、モジュール22はセンサ25からの入力によって、システム10の現在置かれた場所から、床又は接触する可能性のあるその他の物体までの距離を決定する。
【0039】
806において、モジュール22は、システム10によって生成される可能性がある1以上の触覚効果による通知を決定し、802及び804における決定に基づき、それぞれについて、触覚効果がシステム10を面から落下させるおそれがあるかどうかを決定する。
【0040】
808において、モジュール22は804における決定に基づき、システム10が現在の面から落下した場合に破損すると考えられるかどうかを決定する。
【0041】
810において、システム10を面から落下させると考えられる各触覚効果について、システム10が移動するまで、触覚効果が少なくとも一時的にオフにされる。別の実施形態においては、触覚効果は、808において面からの落下がシステム10を破損させると決定された場合にのみオフにされる。
【0042】
上述の内容に加え、一の実施形態においては、ユーザーに動作の動機の心理的モデルを提供するために、システム10の動作は視覚フィードバックと組み合わせられる。
図9は、本発明の実施形態による、動作と組み合わせられた例示的視覚フィードバックのいくつかを図示する。901及び902に示されるように、湾曲した装置において、システム10は人間、動物、又はマンガ的な顔を表示することによって擬人化されることができる。ディスプレイの動作は、顔の動作(例えば、方向を示す、又は首を振る)又は表情で表された感情(例えば、怒りや退屈)のいずれかにマッピングされてよい。例えば、「退屈した」電話は低速で搖動し、「怒った」電話ははるかに高速で揺動するかもしれない。
【0043】
システム10はまた、その動作の身体的モデルを提供するアニメーションを表示することもできる。例えば、システム10が動いていく方向に向かって画面の端部を押している仮想的なキャラクターが表示されてよい。同様に、湾曲した装置について903で示されるように、システム10がゆっくりと揺動している際に、シーソーで遊んでいる2人のキャラクターが表示されてもよい。平板で湾曲していない装置について904で示されるように、帆、車輪、その他の動作機構も同様に、動作をサポートするために示されてよいだろう。
【0044】
開示のとおり、
図2の204に示すようにシステム10が湾曲した筐体を有する場合、一の実施形態についての動作は揺動である。一の実施形態において、筐体の長手軸に沿って質量を移動させる高帯域の振動触知トランスデューサーである、Tactile Labs Inc.製の「Haptuator」が、筐体の中央に設置され、湾曲を横切って動作する。一の実施形態にける、Haptuator実装における最適な駆動信号は、8〜10Hzの周波数を有する正弦曲線である。しかしながら、最適な周波数は最終的に、システムの動態(例えば、装置の質量)に依存する。
【0045】
別の実施形態において、ERMは、揺動を起こすために、湾曲した筐体の一方に配置される。一の実施形態における動作は、ERMがわずかに側面に寄っている場合に最大になる。装置を搖動させるために、例えば装置の両側に1つずつアクチュエータを配置する等、複数のERMアクチュエータを用いて、システムの自然な共振周波数と同調するように触覚効果を再生することもできる。更には、コイン型ERMはその回転軸が湾曲した電話の長手軸に沿うような形で配向されることが可能なため、ERMの配向も重要な要因である。一の実施形態によるERM実装における最適な信号は、40msのパルスを有する6Hzのトレインパルスである。しかしながら、最適な周波数はシステムの動態に依存する。その他の実施形態は、例えば変形可能表面、空気ジェット等を用いて揺動動作を生成し得る。
【0046】
その他の実施形態は、加速度計でループを閉じることにより、転動に対する拡張された制御を提供する。加速度計は、装置の実際の動作を感知することを可能にし、触覚効果にとってのより最適なタイミングを可能にする。例えば、転動が方向転換する時点を検出して、その瞬間にERMに適用されるパルスを、転動を最大化するように生成できる。
【0047】
更に、上述のとおり、システム10が湾曲した装置である場合、一の実施形態において触覚効果は、システム10の揺動を可能な限り早く停止することで動作を制御する。例えば、ユーザーがメールの状態をチェックするためにシステム10において「傾き」動作を開始し、その後システム10を放した場合、その後しばらくの間搖動が続くだろう。装置における揺動に対抗することによってアクチュエータがシステムからエネルギーを除去して、触覚効果を用いてこの揺動を素早く抑制させることが可能である。
【0048】
開示されるとおり、実施形態は触覚効果を用いて装置の動作を制御する。触覚効果は例えば、装置を移動させること、装置の動きを止めること、また、効果が装置を面から落下させるおそれがある場合にはオフにされることが可能である。
【0049】
いくつかの実施形態が、本稿において具体的に図示及び/又は記載されている。しかしながら、開示された実施形態の変形及び変異が、本発明の精神及び意図される範囲から逸脱することなく、上述の記載によって網羅され、添付される請求の範囲に包含されることが理解される。