【解決手段】刺激信号に基づく通知イベントが決定される。触覚効果は、通知イベントに基づいて、触覚出力装置上に表現される。システム及びコンピュータ可読媒体が、周囲環境的な刺激信号に基づいて、触覚出力装置上に触覚効果を表現するために、更に提供される。
【発明を実施するための形態】
【0006】
実施形態によって、装置ユーザは、通知又は警告を受信することが可能となるが、そこでは、警告の与え手との既存の関係を必要とせず、且つデータ接続を必要としない。周囲環境における刺激は、装置によって感知することが可能である。一実施形態において、装置は刺激を認識し、且つ認識された刺激に基づいて、通知又は警告を提供することが可能である。一実施形態において、装置は、刺激に埋め込まれた情報を復号し、且つ復号された刺激に基づいて、警告を提供することが可能である。一部の実施形態において、データ接続は、警告情報を増強するために、使用することが可能である。一部の実施形態において、装置ユーザと警告の与え手との間の関係は、事前に確立することが可能であるが、その関係とは、警告情報を更に増強可能なタイプの警告について、装置の保持者に対する好みを設定するものである。
【0007】
ユーザに対して注意を引きそうな警告を生成することは、望ましい、又は重要であるかもしれない。このことは、既存の関係が存在しない場合においてさえも、且つユーザの装置上で利用可能なデータが存在しない場合においてさえも当てはまる。例えば、店は、買物客に、特売又は特別な販売促進の警告を出すことを望むかもしれない。救急隊員は、救急車又は救急避難状況の存在について、局所的エリアにいる人々に警告を出すことを望むかもしれない。劇場は、ショーの始まり又は休憩時間の終わりに、出席者に警告を出すことを望むかもしれない。通常、放送警告を達成するには、公共の呼びかけシステム、サイレン、又は他の従来的な仕組み(家の電灯を断続的に点滅させるなど)が使用されるかもしれない。しかしながら、一部の環境では、これは、ユーザ間での望ましいレベルの注意を提供しないかもしれない。一部の場合において、そのような警告は、警告としての有効性を喪失し得るが、その理由は、ユーザがそのような警告に慣れ、且つそれらを無視すると共に、単なる背景ノイズとして扱い始めるからである。例えば、ニューヨーク市におけるサイレンは、時として、いたるところに存在し得る。また、警告は、従来のシステムに制限され、且つ装置には伝わらない。
【0008】
対照的に、本明細書で説明される実施形態は、現存する放送メディア(例えば、音声)の内部で情報を符号化し、その結果、スマート装置は、この情報を、一対多数通信のニーズにおける使用に適した通知フレームワークの中に変換することが可能である。一部の実施形態において、通知フレームワークは、以下で説明するように、触覚出力装置上で表現される通知イベントを提供することが可能である。通知は、局所的なエリア(例えば、モール又は市街路)のための放送メディアのエリアに制限することが可能であるが、一部の実施形態において、通知は、より大きな聴衆に到達するための、既存のメディア・ストリーム(例えば、放送テレビ)によって転送することが可能である。
【0009】
一部の種類の通知又は警告は、通知の仕組みに依存して、利用可能であり得る。商標が示された警告は、商業的用途に関連することが可能であり、これらの警告は、特別な店又は商標に対する取引及び販売のための周囲エリア内で、ユーザに通知する、又は警告を出すためのものである。場所に基づいた注意警告は、エリア付近内での、一部の特別なイベントの周囲エリア内のユーザに対して、通知又は警告を提供することが可能である。例えば、劇場内のユーザに、ショーが始まろうとしていることを通知することは可能であるが、これは単に、触覚効果を提供するための触覚警告システムを誘発する刺激の周囲エリアに居合わせることによる。別の例において、小鳥のさえずり音の横断歩道信号は、横断歩道の状態に関連するユーザの装置に対して、警告を誘発することが可能である。別の例において、モール内の店は、モール音楽システムに、派手な特売の通知を再生させることが可能であるが、この通知は、音楽に埋め込まれたメッセージを通して、人の通行を店に駆り立てるように意図されている。この例では、モール音楽システムは、モール内の選択スピーカにおいて(例えば、特売を行っている店の近くで)、モール音楽に埋め込まれた警告刺激を再生するように構成することが可能であり、その結果、ウェアラブル装置又は携帯装置を備えたモール内のユーザは、警告を取得することが可能であるが、その警告は、ユーザの場所に基づいており、且つユーザを店に導くものである。緊急警告は、警告刺激の周囲エリア内の、又は警告刺激の放送エリア内の(例えば、テレビ又はラジオの放送出力の周囲エリア内の)ユーザに、避難又は脅威のような、緊急状況に関連する警告を提供することが可能である。救急車サイレンは、符号を含むことが可能であり、この符号は、周囲範囲内の全てのユーザに、付加的な警告を提供するであろう。これは、耳の不自由なユーザ、又は音声が乱されたユーザに恩恵を与えるであろう。例えば、車両センサは、サイレン刺激を受信し、且つ座席、ハンドル、又は携帯装置を通して、触覚警告を運転者に提供する。これらのタイプの警告に加えて、他の警告は、ユーザのために適切に装備された物理的インターフェースからの警告又は通知を含むことが可能であるが、これは、既存装置の関係を必要とすることなく、ユーザのウェアラブル装置、携帯装置、又はパーソナル装置によって実施される。例えば、スマート光スイッチは、ユーザ対話の間、不可聴音を発するスピーカを装備することが可能であろう。この不可聴音は、ユーザのウェアラブル装置によって受信され、且つ警告としての触覚効果を刺激するために使用されることが可能である。ここで警告とは、恐らく、スイッチが自動的に光を消し、それによって、室内の任意のユーザの装置に、必要ならばスイッチを再び関与させるように注意を与えるものである。
【0010】
通知又は警告は、複数の上記分類例、別の分類例に入れることが可能であるか、又はいずれの分類に入れることも可能でない。一部の実施形態において、警告は、本明細書で説明されるような周囲技術を用いて、1つの装置へ送信される任意の情報であるとして理解され得るが、ここで1つの装置は、情報を受信し、且つ通知装置を用いて、情報を提供することが可能である。警告は、緊急通知と考えることが可能である。
【0011】
一部の実施形態において、通知の原因となる周囲刺激は、ユーザの装置を誘発して、クラウドサービスに接続し、且つユーザのプロファイル、若しくは好み、又は警告放送との関係に基づいて、個人的な多モードの通知及び/又はアクションを提供することが可能である。例えば、通知を受信した後、ユーザのプロファイルは、ユーザが受信するかもしれない、どんなタイプの特別な提案も変えるかもしれず、又は、送信されるべき電子メール、更新されるべきソーシャル・ネットワーキング・サイト、起こるべきクレジットカード活動、誘発するべきサービス、又は他の下りの活動を、引き起こすかもしれない。一部の実施形態において、ユーザの好みは、ユーザの装置上でキャッシュに入れることが可能であり、その結果、データ接続が利用できない場合、個人化された通知が提供されることも可能である。
【0012】
一部の実施形態において、ユーザは、商標が示された通知又は場所に基づく通知のような、いくつかの種類の通知に対して、オプトイン(opt−in)する、又はオプトアウト(opt−out)することが可能である。緊急警告は、オプトアウトすることが禁止されるかもしれない。しかしながら、一部の実施形態において、これらさえも、オプトアウトされるかもしれない。オプトインの好みによって、ユーザは、クラウド又はサーバへのデータ接続を通して、個別化された提案を受信することが可能である。
【0013】
一部の実施形態において、通知は、装置の画面及び/又はスピーカを介して、ユーザの装置に提供することが可能である。一部の実施形態において、通知は、ユーザの装置に関連付けられる触覚出力装置を介して、提供することが可能である。
【0014】
図1は、本発明の一実施形態に係る通知システム10のブロック図である。システム10は、触覚出力装置18を含む装置30を含むことが可能である。システム10の内部には、システム10上で触覚を生成する触覚フィードバックシステムがある。一実施形態において、触覚効果は、触覚出力装置18によって生成される。システム10は、電話又はタブレットのような携帯型装置、スマートウォッチ又はスマートグラスのようなウェアラブル装置、若しくは、他の装置と共同して作動するスマートウォッチ又はスマートグラスのような、別の装置と共同して作動する付属装置であり得る。システム10は、ディスプレイ及び/又はスピーカ(図示せず)を含むことが可能である。システム10はまた、自動車座席、ハンドル、ディスプレイ、ベル、笛、又は知覚され得る触覚効果を提供することが可能な任意の装置のような、ユーザの近くにある、又はユーザと接触している装置であり得る。
【0015】
触覚フィードバックシステムは、プロセッサ又はコントローラ12を含む。プロセッサ12には、メモリ20及び触覚出力装置駆動回路16が結合され、触覚出力装置駆動回路16は、装置30上に配置された触覚出力装置18に結合される。触覚出力装置18は、任意のタイプの触覚出力装置を含むことが可能であり、ここで任意のタイプの触覚出力装置は、モータ、アクチュエータ、静電摩擦(ESF:electrostatic friction)装置、超音波(USF:ultrasonic frequency)装置、及び触覚フィードバックをユーザに提供するために使用可能である他の任意の触覚出力装置を含む。
【0016】
そのような他の触覚出力装置18は、フレキシブル材料、準硬質材料、又は硬質材料を含んでもよい。ここで、そのような他の触覚出力装置18は、スマート流体アクチュエータ、流動学的な流体アクチュエータ、マクロ・ファイバ複合体(MFC:Macro−Fiber Composite)アクチュエータ、形状記憶合金(SMA:Shape Memory Alloy)アクチュエータ、ピエゾアクチュエータ、及び微小電気機械システム(MEMS:Micro−Electro−Mechanical System)アクチュエータを含む。
【0017】
プロセッサ12は、任意のタイプの汎用プロセッサであってもよく、又は特定用途向け集積回路(ASIC:application−specific integrated circuit)のような、触覚効果を提供するように限定的に設計されたプロセッサであり得るであろう。プロセッサ12は、システム10全体を動作させるのと同じプロセッサであってもよく、又は別個のプロセッサであってもよい。プロセッサ12は、どんな効果が再生されるべきかを、及び効果が再生される順序を、高レベルパラメータに基づいて決定することが可能である。触覚効果は、「動的」と考えてもよい。このことは、触覚効果が、触覚出力装置の間で、触覚効果の生成における何らかの変化を含む場合に当てはまり、若しくは、携帯型装置又はウェアラブル装置30とのユーザ対話に基づく、触覚効果の生成における変化を含む場合に当てはまり、又は、受信された刺激に基づいて触覚効果に対するパラメータを指定するユーザの好みのような、システム10の何らかの他の様相に基づく、触覚効果の生成における変化を含む場合に当てはまる。
【0018】
プロセッサ12は、触覚出力装置駆動回路16に制御信号を出力する。触覚出力装置駆動回路16は、電子部品及び回路構成を含むが、これらは、望ましい触覚効果を引き起こすべく、触覚出力装置18に必要な電流及び電圧を供給するために使用される。システム10は、1つ以上の触覚出力装置18を含んでもよく、且つ各触覚出力装置18は、別個の駆動回路16を含んでもよく、これら全ては、共通のプロセッサ12に結合される。メモリ装置20は、任意のタイプの記憶装置であり得るか、若しくは、ランダムアクセスメモリ(RAM:random access memory)又は読み出し専用メモリ(ROM:read−only memory)のような、コンピュータ可読媒体であり得る。メモリ20は、プロセッサ12によって実行される命令を格納する。命令の中で、メモリ20は、周囲に誘発される触覚効果モジュール22を含む。ここで触覚効果モジュール22は命令であり、該命令は、プロセッサ12によって実行される場合、以下で詳細に開示されるように、周囲刺激に基づいて、触覚効果を提供する触覚出力装置18のための駆動信号を生成する。メモリ20はまた、プロセッサ12の内部に配置してもよく、又は内部メモリ及び外部メモリの任意の組み合わせであってもよい。
【0019】
システム10は、周囲環境の様相を感知できる1つ以上のセンサ17を含む。例えば、センサ17は、環境条件を取り込むための温度センサ/湿度センサ/大気圧センサと、装置のモーション、速度、加速度及び方位を特徴付けるための加速度計、ジャイロスコープ、及び磁力計を備えた内部場測定ユニット(IMU:inner field measurement unit)と、音声情報を取り込むためのマイクロフォンと、視覚情報を取り込むための光学センサと、他の装置から/他の装置へ、無線で情報を受信する/送信するための無線送信器とを含むことが可能である。一般に、センサ17は、以下に制限されるものではないが、加速度計、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、ファイバ光学センサ、屈曲センサ(又は曲げセンサ)、感圧抵抗器、荷重計、LuSense CPS2 155、小型圧力変換器、ピエゾセンサ、ひずみ計、線形位置タッチセンサ、線形ポテンショメータ(又はスライダ)、線形可変差動変圧器、コンパス、傾斜計、磁気タグ(又は無線周波数識別タグ)、ロータリエンコーダ、ロータリ・ポテンショメータ、ジャイロスコープ、オンオフ・スイッチ、マイクロフォン、光度計、高度計、生物モニタ、カメラ、又は光依存性抵抗器のような周囲入力の様相を感知するように、構成された又は適合された任意の感知装置を含むことが可能である。代替の実施形態において、システム10は、センサ17(
図1に示されていない)に加えて、1つ以上の付加的センサを含むことが可能である。これらの実施形態の幾つかにおいて、センサ17及び1つ以上の付加的センサは、センサアレイの一部、又は他の一部のタイプのセンサの集合の一部であってもよい。センサの集合は、同じ装置上に見出す必要はない。例えば、センサ入力データは、装置の周辺装置(例えば、スマートウォッチ又はウェアラブル装置)に関連付けられたセンサのような、装置に関連付けられた複数のセンサからのデータを含むことが可能である。センサ17は、センサ情報をプロセッサ12に提供することが可能である。センサ17からのセンサ情報は、従来の有線技術又は無線技術によって、プロセッサ12に提供することが可能である。
【0020】
一部の実施形態において、触覚出力装置18は、システム10の任意選択的な特徴であり、且つシステムに関連付けられた通知は、システム10に関連付けられたディスプレイ又はスピーカを介して、提供することが可能である。
【0021】
図2は、本発明の一実施形態に係る通知システムのブロック図である。環境的刺激源205は、伝送媒体210に対して出力することが可能である。スマートウォッチ及び電話のような装置220及び230は、システム10に対応することが可能であり、且つ伝送媒体を通して、刺激を受信することが可能である。任意選択的に、装置220及び230は、互いに通信することが可能であるが、それは、1つの装置が、別の装置の付属品であるような場合である。任意選択的に、装置220及び230は、240において、クラウドベースのサーバ又はリモートサーバに対して通信することが可能である。一部の実施形態において、情報は、(例えば、クラウドにおける)サービスから取得してもよく、又はクラウド・コンピューティング環境で機能してもよい。クラウド・コンピューティング環境(即ち、「クラウド」)は、コンピューティング・サービスが所有されておらず、要求に応じて提供される環境であり得る。例えば、情報は、ネットワーク化されたクラウドの中の複数の装置上に常駐してもよく、且つ/又はクラウド内の複数の装置に格納することが可能である。一部の実施形態において、リモートサーバは、情報を装置220又は230に提供するために、使用することが可能である。
【0022】
図3は、一実施形態に係る通知を提供するためのフローチャートである。一実施形態において、
図3(及び以下の
図4、
図5及び
図9)のフローチャートの機能は、メモリ又は、他のコンピュータ可読媒体、又は有形の媒体に格納されたソフトウェアによって履行され、且つプロセッサによって実行される。他の実施形態において、機能は、ハードウェアによって(例えば、特定用途向け集積回路(ASIC:application−specific integrated circuit)、プログラマブル・ゲート・アレイ(PGA:programmable gate array)、フィールドプログラマブル・ゲート・アレイ(FPGA:field programmable gate array)などを使用することによって)、又はハードウェアとソフトウェアの任意の組み合わせによって実施してもよい。
【0023】
305では、プログラムが、
図1のシステム装置10のような装置上で使用するために提供される。プログラムは、装置のオペレーティング・システム・プログラムの統合部分のような、装置に本来属したものであってもよい。プログラムは、もともとの機器製造者によって提供されるものであるか、又はユーザによってインストールされるアプリケーションのような、サードパーティ作成者によって提供されるものである。サードパーティ・アプリケーションは、そのようなアプリケーションのための市場で提供されるかもしれない。
【0024】
310では、刺激が、装置10のような装置によって感知される。装置は、連続的な感知状態にあることが可能である。刺激は、装置上に配置されたセンサが感知可能な任意の周囲刺激であり得る。一部の実施形態において、刺激は、マイクロフォンによって感知される音声波であり得る。一部の実施形態において、刺激は、光学センサ(例えば、カメラ又はスキャナ)によって感知される光学入力であり得る。一部の実施形態において、刺激は、加速度計、ジャイロスコープ、又は圧力センサによって感知される装置10の運動であり得る。一部の実施形態において、刺激は、圧力プロファイルに関連する圧力変化であり得る。例えば、装置10は、特定の静的圧力プロファイルを有する表面(例えば、エンボス加工された表面)と直接接触することが可能であるか、又はユーザは、特定の圧力プロファイルを有する表示行為を構築することが可能であろう。このプロファイルは、その後ユーザに戻って提供される通知イベントを識別するために使用することが可能であろう。一部の実施形態において、刺激は人間によって知覚できるが、一方で他の実施形態において、刺激は人間によって知覚できないかもしれない。例えば、音声信号については、音声信号の音の高低は、通常の人間の聴力の感度範囲(これは、およそ16〜17,000Hzである)外にあるかもしれないが、マイクロフォンセンサの感度の範囲内にある。
【0025】
315では、刺激を処理することが可能である。一部の実施形態において、刺激は、刺激をフィンガープリントすることによって、処理することが可能である。例えば、音声信号は、サンプリングすると共に、フィンガープリントすることが可能である。音声をフィンガープリントすることによって、音声は、音声信号のフィンガープリントを音声フィンガープリントのデータベースと比較する場合に、認識することが可能である。任意の適切な技術を、フィンガープリント法に対して使用することが可能である。例えば、音声をフィンガープリントすることは、以下と同様なプロセスによって行うことが可能である。先ず、音声信号は、可能なサンプル数の減らすために、少なめにサンプリングすることが可能である。次に、サンプルのスペクトログラムを計算することが可能である。次に、更に信号の複雑さを減らすために、スペクトログラムについて、周波数帯域フィルタリングを実施することが可能である。フィルタリングによって、スペクトログラムに対して、対数的に間隔が空けられたビン(bins)を作り出すことが可能である。更に複雑さを減らすために、ウェーブレット分解を使用することが可能であるが、これは、例えば、標準的なハール(Haar)ウェーブレット分解を適用することによって行う。あまり情報に寄与しないウェーブレットは捨てる一方で、より大きなウェーブレットは取っておくことが可能である。これらのフィンガープリントは、最小ハッシング及び局所敏感ハッシングによって、更に減らすことが可能である。
【0026】
同様なフィンガープリント法の技術は、光学的な、又は他の周囲センサ刺激に対して、使用することが可能である。一部の実施形態において、パターン認識又は他の適切なアルゴリズムを使用することが可能である。例えば、車道における一連の隆起は、1つのパターンを作り出すことが可能であるが、このパターンを、加速度計又は圧力センサによって感知すると共に、ユーザの速度を決定するために処理するか、又は近づいている交差点についての警告を生成するために処理することが可能である。例えば、エンボス加工された表面は、特定の圧力プロファイルを有することが可能であり、このプロファイルは、装置10に関連付けられた圧力感知装置によって、検出することが可能である。
【0027】
一部の実施形態において、埋め込まれたステガノグラフィ情報を含む刺激を復号するための逆ステガノグラフィ・アルゴリズムを適用することによって、刺激を処理することが可能である。ステガノグラフィ情報符号化は、視覚情報及び聴覚情報に適用することが可能である。ステガノグラフィ・アルゴリズムは、人間には知覚できない方法で、刺激の部分をデータで置き換えることが可能である。例えば、音声ファイルは、信号情報を周期的な間隔でメッセージ情報に置き換えることによって、自身の中に隠されたステガノグラフィ署名を有することが可能である。置き換えられた信号情報は、例えば、表現された場合、音声ファイルに最小限の影響を与えるように、最下位2ビットを含むことが可能である。逆の操作もまた、ステガノグラフィ的に符号化された署名を引き出すために、使用することが可能である。ステガノグラフィ・パターンが見つかるまで、音声を取り込み、且つサンプリングすることが可能である。情報を、ステガノグラフィ・パターンから取り込み、且つ埋め込まれたメッセージを決定するために使用することが可能である。ステガノグラフィ・データは、取り込まれた音声信号の不可逆性に理由を与えるために、頑健にすることが可能である。当業者は理解することであろうが、音声刺激、映像刺激、又は他の適用可能な刺激の中に署名又はメッセージを埋め込むために、他の任意の利用可能な技術を、ステガノグラフィの代わりに用いることが可能である。
【0028】
処理はまた、フィンガープリントされた刺激を取り挙げるステップと、刺激を分類するために、それをデータベースと比較するステップとを含むことが可能である。例えば、フィンガープリントされた音は、その音が何であるかを決定するために、使用することが可能である。サイレンの音を、フィンガープリントすると共に、サイレンと一致するフィンガープリントのデータベースと比較することが可能である。ステガノグラフィ的に埋め込まれたメッセージの場合、処理はまた、メッセージを分析するステップと、それを一組の既知メッセージと比較するステップ、又はメッセージを提供するステップとを含むことが可能である。
【0029】
320では、通知イベントは、処理された刺激に基づいて決定される。通知イベントは、装置30のような装置の出力機構に送信された通知を含むことが可能である。出力機構は、ディスプレイ、スピーカ、触覚出力装置などを含むことが可能である。例えば、フィンガープリントされた音声刺激については、認識された音声信号は、装置ユーザに警告を出すための、特別な触覚効果に対応することが可能である。例えば、認識されたサイレン信号は、振動触覚効果が決定されると共に装置上で出力されることを、引き起こすことが可能である。ステガノグラフィ的に埋め込まれたメッセージを使用する実施形態において、通知イベントは、埋め込まれたメッセージに基づいて決定することが可能である。例えば、メッセージは、バイト符号、テキスト、振動パターンなどを含むことが可能である。例えば、メッセージは、触覚効果、音声出力に対して相互参照可能な符号を含み、及び/又は通知イベントとしての出力信号を表示することが可能である。1つ以上の通知イベントを、処理された刺激に基づいて、作り出すことが可能である。一部の実施形態において、フィンガープリントされた音声刺激又はステガノグラフィ的に埋め込まれたメッセージに基づいて、どんなタイプの通知イベント又は触覚効果が決定されるべきかに対して、ユーザは好みを設定することが可能である。一部の実施形態において、装置に関連付けられたディスプレイ、又は装置に関連付けられたスピーカは、調整された情報を提供することが可能である。例えば、サイレンに呼応して、触覚効果を電話上で決定することが可能である。ここで電話は、電話のディスプレイ上に「緊急」通知を表示することが可能であり、且つ電話上で、又は接続されたブルートゥース(登録商標)・スピーカ上で警報音を再生することが可能である。
【0030】
325では、通知イベント又は触覚効果は、
図1の装置30のような装置上で提供される。通知イベントが触覚効果である実施形態において、通知イベントを、装置の中の触覚出力装置上で、触覚効果を再生する又は表現することによって、提供することが可能である。一部の実施形態において、
図1の触覚出力装置18のような触覚出力装置は、ウェアラブル装置に配置するか、又は近くに配置することが可能である。
【0031】
図4は、一実施形態に係る、埋め込まれたステガノグラフィ・メッセージを備えた通知を提供するためのフローチャートである。405では、入力信号が受信される。410では、通知は、信号に含まれるように決定される。通知は、メッセージであるか、若しくはメッセージの探索テーブルに対する符号であるか、又はデータベースのような同様の仕組みであることが可能である。一部の実施形態において、メッセージ又は警告は、安全のために暗号化することが可能である。
【0032】
415では、通知(即ち、メッセージ又は符号)を信号の中に埋め込むために、ステガノグラフィ・アルゴリズムが適用され、それによって、入力信号の中にステガノグラフィ的に埋め込まれたメッセージを含む通知信号刺激を作り出す。任意の適切なステガノグラフィ・アルゴリズムを、使用することが可能である。例えば、音声信号については、最下位ビット符号化、パリティ符号化、位相符号化、拡散スペクトル、エコーハイディングによる埋め込み、又は他の適切なアルゴリズムを用いたステガノグラフィ・アルゴリズムを使用することが可能である。
【0033】
420では、埋め込まれたステガノグラフィ符号化を備えた通知信号刺激が送信される。信号が音声ファイルである場合、送信は、スピーカを介して行うことが可能である。送信は、データ送信器(及び、信号が視覚ファイルである場合はディスプレイ)を介して、遂行することが可能である。他の実施形態は、他の適切な伝送媒体を使用することが可能である。
【0034】
図5は、一実施形態に係る、埋め込まれたステガノグラフィ・メッセージを含む通知信号刺激を、受信すると共に復号するためのフローチャートである。505では、埋め込まれたステガノグラフィ・メッセージ(即ち、メッセージ又は符号としての通知情報)を有する入力刺激が受信される。510では、逆ステガノグラフィ・アルゴリズムを、適用することが可能である。逆アルゴリズムは、ステガノグラフィ刺激を作り出すために使用されるタイプのアルゴリズムに基づいて、選択することが可能である。アルゴリズムは、逆アルゴリズムを如何にして適用するかを決定するために、刺激をサンプリングすることが可能である。一部の実施形態において、復号されたメッセージは、それが暗号化された場合には、解読することが可能である。
【0035】
515では、触覚効果のような通知イベントは、ステガノグラフィ・メッセージから決定することが可能である。通知イベントは、通知メッセージに基づくことが可能であるか、若しくは、通知メッセージによって指定することが可能であるか、又は、通知メッセージを通知イベントに関連させる(例えば、符号を触覚効果に関連させる)テーブル又はデータベースの中で探索することが可能である。ユーザの好みは、好みを指定することを可能にするが、ここで好みは、通知メッセージを通知イベントに関連させる探索エントリを、挿入する又は変更することが可能である。520では、任意選択的なリモートデータ「クラウド」探索は、クラウド、サーバから、若しくは、以前のクラウド又はサーバ応答に由来するローカルキャッシュからの、いずれかで起こることが可能である。例えば、受信されたメッセージは、サーバに配置された好みに関連させると共に、リモートの好みに基づいて通知イベントを送達することが可能である。例えば、メッセージは、店で再生する音楽の中の割引券提案に対応する符号「0xFFFF」であることが可能であり、ここで、店で再生する音楽は、自身の中に通知メッセージとして埋め込まれたステガノグラフィ・メッセージを有する。「0xFFFF」は、ユーザが割引券に注意を払うように、ユーザの装置上で局所的に探索されると共に、「この店で特売提案。詳しくは、付随物を参照ください。」のメッセージを提供することが可能である。クラウド探索によって、「0xFFFF」は、クラウド中に、又はサーバ上に格納された、ユーザの好み、オプトイン情報、又は市場調査情報のような付加的データに対して相互参照することが可能であるが、これは、「タオルが、本日、まさにあなたPhilのために特売中で、2つ以上買うと、各25%安くなります。」のような、カスタマイズされたメッセージを指定するためである。クラウドベースの探索を用いて、他の装置情報もまた、個人化された応答を生成するために、データ接続によって、クラウド又はサーバに送信することが可能である。例えば、(電話及び他の携帯装置において代表的である)装置の国際携帯機器識別(IMEI:International Mobile Equipment Identity)番号、電話番号、GPS位置、又は他の利用可能なデータを、クラウド又はサーバに提供することが可能である。
【0036】
525では、通知イベントを提供することが可能である。例えば、通知イベントが警告である場合、警告をユーザの装置に送信して、振動のような触覚効果を引き起こすことが可能であり、且つメッセージを、装置のディスプレイ上に、任意選択的に表示することが可能である。
【0037】
図6は、一実施形態に係る周囲音声通知システムを示すシステム図である。要素605は、波形図によって表された音声信号である。要素605は、
図2の環境的刺激源205に対応するスピーカ205に渡される。放送スピーカ205は、伝送媒体210の中で、音としての音声信号を送信するが、ここで伝送媒体210は、空気、水、固体などであり得る。
図1のシステム10に対応する装置の中に配置されたマイクロフォンセンサは、音声を受信する。装置は、要素620において、音声をフィンガープリントするためのモジュールを有する。通知識別子が、フィンガープリントされた音声及び通知情報(例えば、通知イベント識別子を通知メッセージに関連付ける情報)に基づいて、モジュール630において決定される。モジュール640では、触覚効果のような通知イベントは、通知イベント識別子に基づいて、決定することが可能である。一部の実施形態において、触覚通知モジュール640は、イマージョン社(Immersion Corp)による「本能的警告フレームワーク(Instinctive Alerts Framework)」を使用することが可能である。一部の実施形態において、通知イベントは、システム10に関連付けられたスピーカ又はディスプレイに送信される音声出力又は表示出力に対応することが可能である。一部の実施形態において、通知イベントは、(電話若しくは、ウェアラブル装置又は他の周辺装置などの付属装置上のアクチュエータのような)システム10に関連付けられた、
図1の触覚出力装置18上で再生され得る触覚効果に対応することが可能である。一部の実施形態において、通知イベントに関連するメッセージは、装置のディスプレイ上に表示することが可能である(図示せず)。
【0038】
図7は、一実施形態に係る周囲音声通知システムを示すシステム図である。要素705は、波形図によって表される音声信号である。705の音声信号は、埋め込まれたステガノグラフィ通知メッセージを有する。要素705は、
図2の環境的刺激源205に対応するスピーカ205に渡される。放送スピーカ205は、伝送媒体210の中で、音としての音声信号を送信するが、ここで伝送媒体210は、空気、水、固体などである。
図1のシステム10に対応する装置の中に配置されたマイクロフォンセンサは、音声を受信する。装置は、埋め込まれた通知メッセージを取り出すべく、要素720において逆ステガノグラフィ・アルゴリズムを適用するためのモジュールを有する。メッセージは、それが安全のために暗号化された場合、解読することが可能である。通知イベント識別子は、埋め込まれたメッセージ及び通知情報(例えば、通知イベント識別子を通知メッセージに関連させる情報)に基づいて、モジュール630において決定される。モジュール640では、通知イベントは、通知イベント識別子に基づいて、決定することが可能である。一部の実施形態において、通知イベントは、システム10に関連付けられたスピーカ又はディスプレイに送信される音声出力又は表示出力に対応することが可能である。一部の実施形態において、通知イベントは、(電話若しくは、ウェアラブル装置又は他の周辺装置などの付属装置上のアクチュエータのような)システム10に関連付けられた、
図1の触覚出力装置18上で再生され得る触覚効果に対応することが可能である。一部の実施形態において、通知イベントに関連するメッセージは、装置のディスプレイ上で表示することが可能である(図示せず)。
【0039】
図8は、一実施形態に係る周囲音声通知システムを示すシステム図である。要素705は、波形図によって表される音声信号である。705の音声信号は、埋め込まれたステガノグラフィ・メッセージを有する。要素705は、
図2の環境的刺激源205に対応するスピーカ205に渡される。放送スピーカ205は、伝送媒体210の中で、音としての音声信号を送信するが、ここで伝送媒体210は、空気、水、固体などであり得る。
図1のシステム10に対応する装置の中に配置されたマイクロフォンセンサは、音声を受信する。装置は、埋め込まれたメッセージを取り出すべく、要素720において逆ステガノグラフィ・アルゴリズムを適用するためのモジュールを有する。メッセージは、それが安全のために暗号化された場合、解読することが可能である。通知イベント識別子は、埋め込まれたメッセージ及び通知情報(例えば、通知イベント識別子をメッセージに関連させる情報)に基づいて、モジュール630において決定される。モジュール835は、クラウドサーバ又は他のリモートサーバに対して接続を確立することが可能であり、ここでクラウドサーバ又は他のリモートサーバは、クラウド警告情報を決定するためのメッセージを使用する。クラウドベースの情報は、ステガノグラフィ・メッセージを受信するユーザに特有の情報を含むことが可能である。モジュール840では、触覚効果のような通知イベントは、クラウド警告情報に基づいて決定することが可能である。一部の実施形態において、通知イベントは、システム10に関連付けられたスピーカ又はディスプレイに送信される音声出力又は表示出力に対応することが可能である。一部の実施形態において、通知イベントは、(電話若しくは、ウェアラブル装置又は他の周辺装置などの付属装置上のアクチュエータのような)システム10に関連付けられた、
図1の触覚出力装置18上で再生され得る触覚効果に対応することが可能である。一部の実施形態において、通知イベントに関連するメッセージは、装置のディスプレイ上で表示することが可能である(図示せず)。
【0040】
図9は、一実施形態に係る周囲音声通知システムを示すシステム図である。特に、
図9は、音声信号を、埋め込まれたステガノグラフィ・メッセージ又はステガノグラフィ署名を備えた音声信号に変換するためのシステムを示す。要素605は音声信号である。モジュール905はステガノグラフィ・アルゴリズムであり、このステガノグラフィ・アルゴリズムは、メッセージ、署名、又は他の通知情報を音声ストリームの中に埋め込むための、汎用プロセッサ又は専用プロセッサを用いて履行することが可能である。モジュール905はまた、埋め込みに先立って、メッセージ又は署名を暗号化するための暗号化モジュールを含むことが可能である。一部の実施形態において、署名は、マイクロコントローラ、FPGAなどのようなチップに焼き込むことが可能であり、このチップは、音声信号を受信し、署名を適用し、且つ音声を送信することが可能である。要素705は、埋め込まれたステガノグラフィ・メッセージ又はステガノグラフィ署名を備えた音声信号である。例えば、横断歩道での小鳥のさえずり音は、焼き込まれたメッセージ又は署名を備えたモジュール905によって変更することが可能であり、それによって、変更された小鳥のさえずり音を提供する。この音は聞いても区別がつかないが、しかしステガノグラフィ署名を含む。
【0041】
一部の実施形態において、自動コンテンツ認識(ACR:automatic content recognition)は触覚効果を刺激と同期させるために使用することが可能である。ACR技術は、通常、第2画面アプリケーションをメディア放送に同期させるために使用される。触覚効果又は触覚トラックは、ACR技術を用いて、同期させることが可能である。パターン認識技術は、音声信号のタイミング要素を指定する、音声信号中の透かしを検出するために使用することが可能である。タイミング要素は、プレゼンテーション(即ち、ストリーム配信される、再生される、若しくは、視覚又は音声の警告要素として表示される)のメディア要素のタイムスタンプを推定するために、使用することが可能である。例えば、歌は透かしを含むことが可能であるが、ここで該透かしはその歌の間を通して変化する。透かしWは、歌の中の時間tに予期することが可能である。透かしWが見つかると、音声を伴うメディアは、その時、時間tに同期させることが可能である。加えて、メディアに対する触覚トラックは、同じタイムスタンプ推定に同期させることが可能である。別の実施形態において、符号化された透かしは、メディアのタイムスタンプを含むことが可能である(即ち、メディアのためのタイムスタンプは、メディアの中の透かしとして符号化される)。
【0042】
別の実施形態において、フィンガープリント法は、触覚効果を、放送音声音波のような音声刺激に同期させるために使用することが可能である。フィンガープリント法は、上で説明したように、特別な刺激(例えば、音声トラック)を識別するために、使用することが可能である。フィンガープリント法は更に、フィンガープリントされた刺激の部分に関連付けられたタイムスタンプを識別するために、使用することが可能である。例えば、マイクロフォンによって受信されるような音声刺激の部分を、刺激の既知部分と比較し、それによって、フィンガープリントされた部分が音声源の中でどこにあるかを見つけることが可能である。ファイルに関するこの情報を用いて、タイムスタンプを、ファイルから引き出すことが可能である。別の実施形態に矛盾しない別の例において、マイクロフォンによって受信されるような音声刺激の部分を、探索テーブル(又はデータベースなど)と比較し、それによって、音声刺激に関連付けられたタイムスタンプを有する同じ部分を見つけることが可能である。
【0043】
実施形態では、刺激に対する触覚トラックを再生するために、ACR技術を使用することが可能である。例えば、歌は、
図3のフローに従って認識することが可能である。そこでは、タイムスタンプが推定され、且つ触覚トラックが、歌に同期されて(触覚効果の警告要素として)再生される。例えば、歌は、合衆国の国歌、スポーツイベントでのファイトソング、又は他の一部の認識可能な歌であり得るであろう。触覚トラックを、刺激に埋め込む必要はないが、しかし装置上に存在する、若しくは、クラウド又はサーバからダウンロードする、又は、ストリーム再生することが可能である。触覚トラックの代わりに、独特な触覚効果(又は警告)を、刺激のタイミング推定(例えば、音声トラック)に基づいて、誘発することが可能である。
【0044】
一部の実施形態において、映像を、音声トラック及び触覚トラックに同期させることが可能である。トラックは、非同期である場合があり、そして透かし又はフィンガープリントに従って同期させる場合がある。例えば、映画からのクリップを、再生することが可能であろう。クリップ用に推定されたタイムスタンプを決定するために、音声ストリームに対して透かしを入れる、又はフィンガープリントすることが可能であり、且つ映画全体に対して関連付けられた触覚トラックを、音声クリップの推定されたタイムスタンプに従って、関連する時間へ飛ばすことが可能である。
【0045】
別の実施形態において、
図1の装置10のような装置は、符号によって識別される、埋め込まれた一組の触覚効果を有することが可能である。触覚トラック又は特定の触覚効果を作り出す代わりに、ステガノグラフィ技術又は他の技術を用いて、情報を音声トラックに埋め込むことが可能である。埋め込まれた情報は、触覚効果符号及び、強度、持続期間、相対的タイミングなどのような関連付けられたパラメータを含むことが可能である。触覚再生システムが、埋め込まれた効果の符号及びパラメータを検出する場合、触覚再生システムは、その効果の符号及びパラメータに従って触覚効果を準備し、且つその触覚効果を、指定された相対的タイミングで送達することが可能である。
【0046】
図10は、一部の実施形態に係る、同期する触覚効果を例示するフローチャートである。1010では、音声入力が受信される。上で開示したように、音声入力信号は、任意選択的に、ある音の高低範囲にあってもよく、ここでこの音の高低範囲は、人間の聴力に対する通常範囲外にある。音声信号は、タイムコード、触覚効果符号、及びパラメータを指定する、埋め込まれた署名又は透かしを有してもよい。一部の実施形態において、タイムコード情報は、音声信号のフィンガープリントから推定することが可能である。1020では、パターン、フィンガープリント、透かし、又は署名を、音声信号の中で検出することが可能である。1030では、タイムコードは、パターン、フィンガープリント、透かし、又は署名から推定することが可能である。一部の実施形態において、触覚効果に対する効果符号が、透かし又は署名に埋め込まれているような場合、1030は飛ばすことが可能である。1040では、触覚トラックが使用される場合、触覚トラックを、推定されたタイムコードへ飛ばすことが可能である。触覚効果がタイムコードに一致する場合、触覚効果を、推定されたタイムコードに対して、取り出すことが可能である。触覚効果符号が使用される場合、その時は、触覚効果を、触覚効果符号に従って探索することが可能であり、且つ任意選択的なパラメータを、触覚効果を再生するために、設定することが可能である。1050では、触覚効果は、
図1の触覚出力装置18のような触覚出力装置上で再生される。
【0047】
図10のフローの使用法の一例は、ユーザがテレビで映画を見ている場合である。ユーザの腕のウェアラブル装置に、異なる映画に関連する一部の触覚トラックを埋め込むことが可能である。映画の中の特定の音声透かしを取り込み、且つこれを識別するとすぐに、ACRシステムは、触覚トラックをメディアに同期させ、且つウェアラブル装置上で、関連する触覚トラック/効果の再生を開始する。別の例は、ユーザが、自身のタブレット上でスタンリー・カップの最終ゲームを見ている場合であり、ここでタブレットは、本明細書で説明したような触覚再生特徴に関して、増強されている。ゲームの流れに関連する触覚効果のパラメータが、透かしとして、ゲームの音声信号に埋め込まれる。音声信号を解析する場合、システムは、特定のパラメータを用いて、透かしを検出し、且つ触覚効果を再生する。
【0048】
開示したように、実施形態は、触覚効果警告のような通知イベントを生成するためのシステムを提供するが、ここで通知イベントは、スマートフォン、スマート装置、又は他の周辺装置上で、視覚又は音声の警告を伴うことが可能である。環境的な周囲条件は、装置上のセンサによって検出される刺激を提供することが可能である。刺激は、パターン認識情報、フィンガープリント情報、透かし情報、又は署名情報に対して、処理することが可能である。情報を、既知のパターン又はフィンガープリントのデータベースに一致させることが可能であるか、若しくは透かし埋め込みの場合、又は署名埋め込みの場合には、警告又は触覚情報を指定する情報を取り出すことが可能である。処理された情報は、通知システムに渡すことが可能であり、ここで通知システムは、通知イベントを装置上で生じさせる。一部の実施形態は、以前の関係又はデータ接続を必要としない。一部の実施形態は、データ接続及び/又は、以前の関係から確立された好みを使用しそれによって、警告出力を増強する、又は警告出力をカスタマイズすることが可能である。一部の実施形態は、これらの技術を用いて、触覚効果情報を音声信号に同期させることが可能である。
【0049】
一部の実施形態は、本明細書において具体的に例示される、且つ/又は説明される。しかしながら、当然のことながら、開示された実施形態の変更例及び変形例は、上記の教示によって包含され、且つ添付された請求項の範囲内にあり、本発明の趣旨及び意図する範囲から外れるものではない。