特開 2017-84328 周囲に誘発される通知

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-84328(P2017-84328A)

(43)【公開日】2017年5月18日

(54)【発明の名称】周囲に誘発される通知

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170414BHJP

   H04M 1/00 20060101ALI20170414BHJP

【ＦＩ】

   G06F3/01 560

   H04M1/00 R

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

【外国語出願】

【全頁数】20

(21)【出願番号】特願2016-116688(P2016-116688)

(22)【出願日】2016年6月10日

(31)【優先権主張番号】14/926,280

(32)【優先日】2015年10月29日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】ウルリッチ クリストファー ジェイ．

(72)【発明者】

【氏名】サボウン ジャマル

【テーマコード（参考）】

5E555

5K127

【Ｆターム（参考）】

5E555AA57

5E555AA58

5E555BA04

5E555BA06

5E555BB04

5E555BB06

5E555BC01

5E555CA42

5E555CA44

5E555CA47

5E555CB71

5E555CB74

5E555CB78

5E555DA24

5E555DD08

5E555EA13

5E555EA21

5E555EA25

5E555FA00

5K127AA11

5K127AA36

5K127BA03

5K127CA10

5K127CA19

5K127CA25

5K127CA31

5K127CB37

5K127GD03

5K127GE02

5K127JA15

(57)【要約】

【課題】触覚出力装置上に触覚効果を表現する方法が、センサから受信された周囲環境的な刺激信号に基づいて提供される。
【解決手段】刺激信号に基づく通知イベントが決定される。触覚効果は、通知イベントに基づいて、触覚出力装置上に表現される。システム及びコンピュータ可読媒体が、周囲環境的な刺激信号に基づいて、触覚出力装置上に触覚効果を表現するために、更に提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

触覚効果を表現する方法であって、
少なくとも１つのセンサから周囲環境的な刺激信号を受信するステップと、
前記刺激信号に基づいて、通知イベントを決定するステップと、
前記通知イベントに基づいて、触覚出力装置上で触覚効果を表現するステップと、
を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記刺激信号は、音声入力、モーション入力、又は視覚入力を含む、方法。

【請求項3】

請求項２に記載の方法であって、
前記音声入力は、人間の聴力に対する通常範囲外にある、方法。

【請求項4】

請求項１に記載の方法であって、
前記通知イベントは、警告と関連付けられる、方法。

【請求項5】

請求項１に記載方法であって、
前記決定するステップは、
前記刺激信号のフィンガープリントを取るステップと、
前記フィンガープリントをフィンガープリントのデータベースと比較するステップと、
前記フィンガープリントに基づいて、前記通知イベントを選択するステップと、
を含む方法。

【請求項6】

請求項１に記載の方法であって、
前記決定するステップは、
前記刺激信号に埋め込まれたステガノグラフィ・メッセージを検出するステップと、
前記ステガノグラフィ・メッセージを復号されたメッセージに復号するステップと、
前記復号されたメッセージに基づいて、前記通知イベントを選択するステップと、
を含む、方法。

【請求項7】

請求項１に記載の方法であって、
前記刺激信号に対してタイムコードを推定するステップと、
前記推定されたタイムコードに基づいて、表現するために前記触覚効果を選択するステップと、
を更に含む、方法。

【請求項8】

請求項１に記載の方法であって、
前記少なくとも１つのセンサは、周辺装置に関連付けられる、方法。

【請求項9】

触覚効果を表現するためのシステムであって、
少なくとも１つのセンサから周囲環境的な刺激信号を受信するように構成された受信モジュールと、
前記刺激信号に基づいて、通知イベントを決定するように構成された処理モジュールと、
前記通知イベントに基づいて、触覚効果を表現するように構成された触覚出力装置と、
を含む、システム。

【請求項10】

請求項９に記載のシステムであって、
前記刺激信号は、音声入力、モーション入力、又は視覚入力を含む、システム。

【請求項11】

請求項１０に記載のシステムであって、
前記音声入力は、人間の聴力に対する通常範囲側にある、システム。

【請求項12】

請求項９に記載のシステムであって、
前記通知イベントは、警告に関連付けられる、システム。

【請求項13】

請求項９に記載のシステムであって、
前記処理モジュールは、
前記刺激信号のフィンガープリントを取り、
前記フィンガープリントをフィンガープリントのデータベースと比較し、
前記フィンガープリントに基づいて、前記通知イベントを選択する、
ように更に構成される、システム。

【請求項14】

請求項９に記載のシステムであって、
前記処理モジュールは、
前記刺激信号に埋め込まれたステガノグラフィ・メッセージを検出し、
前記ステガノグラフィ・メッセージを復号されたメッセージに復号し、
前記復号されたメッセージに基づいて、前記通知イベントを選択する、
ように更に構成される、システム。

【請求項15】

請求項９に記載のシステムであって、
前記刺激信号に対してタイムコードを推定するように構成された、タイムコード推定モジュールを更に含み、
前記処理モジュールは、前記推定されたタイムコードに基づいて、前記触覚効果を決定するように更に構成される、システム。

【請求項16】

請求項９に記載のシステムであって、
前記少なくとも１つのセンサは、周辺装置に関連付けられる、システム。

【請求項17】

触覚効果を表現するために、格納された命令を備えるコンピュータ可読媒体であって、
前記表現することは、
少なくとも１つのセンサから、周囲環境的な刺激信号を受信するステップと、
前記刺激信号に基づいて、通知イベントを決定するステップと、
前記通知イベントに基づいて、触覚出力装置上に触覚効果を表現するステップと、
を含む、コンピュータ可読媒体。

【請求項18】

請求項１７に記載のコンピュータ可読媒体であって、
前記刺激信号は、音声入力、モーション入力、又は視覚入力を含む、コンピュータ可読媒体。

【請求項19】

請求項１８に記載のコンピュータ可読媒体であって、
前記音声入力は、人間の聴力に対する通常範囲外にある、コンピュータ可読媒体。

【請求項20】

請求項１７に記載のコンピュータ可読媒体であって、
前記触覚効果は、警告に関連付けられる、コンピュータ可読媒体。

【請求項21】

請求項１７に記載のコンピュータ可読媒体であって、
前記決定するステップは、
前記刺激信号のフィンガープリントを取るステップと、
前記フィンガープリントをフィンガープリントのデータベースと比較するステップと、
前記フィンガープリントに基づいて、前記通知イベントを選択するステップと、
を含む、コンピュータ可読媒体。

【請求項22】

請求項１７に記載のコンピュータ可読媒体であって、
前記決定するステップは、
前記刺激信号に埋め込まれたステガノグラフィ・メッセージを検出するステップと、
前記ステガノグラフィ・メッセージを復号されたメッセージに復号するステップと、
前記復号されたメッセージに基づいて、前記通知イベントを選択するステップと、
を更に含む、コンピュータ可読媒体。

【請求項23】

請求項１７に記載のコンピュータ可読媒体であって、
前記刺激信号に対してタイムコードを推定するステップと、
前記推定されたタイムコードに基づいて、表現するべき前記触覚効果を選択するステップと、
を更に含む、コンピュータ可読媒体。

【請求項24】

請求項１９に記載のコンピュータ可読媒体であって、
前記少なくとも１つのセンサは、周辺装置に関連付けられる、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、通知システムに関する。より具体的には、一実施形態は、周囲入力に基づいて通知を出力することが可能な通知システムに関する。

【背景技術】

【0002】

ユーザは、自身の電話又は他の電子装置上で、警告を受信することがある。通常、ユーザは警告を送信する実体と関係を有するであろう。そして、警告は、通常、何らかのデジタル的に受信された情報に基づいて生成されるであろう。例えば、ユーザは、気象アプリケーションをインストールすることが可能である。気象アプリケーションは、気象状態サーバとデジタル的につながり、警告を受信し、且つアプリケーションを通して警告をユーザに伝えるが、これは、電話がビーッという音を出す、又は振動するのを誘発することによって実施される。

【0003】

従来のシステムは、警告の与え手との確立された関係に基づいて警告を提供し、且つ警告を生成する情報を受信するために、装置のデータ能力を使用する。

【発明の概要】

【0004】

実施形態は、触覚出力装置上で触覚効果を表現する方法を含む。周囲環境的な刺激信号は、センサから受信することが可能である。刺激信号に基づく通知イベントは、決定することが可能である。触覚効果は、通知イベントに基づいて、触覚出力装置上に表現することが可能である。他の実施形態は、触覚出力装置上に触覚効果を表現するためのシステム及びコンピュータ可読媒体を含む。

【図面の簡単な説明】

【0005】

【図1】本発明の一実施形態に係る通知システムのブロック図である。

【図2】本発明の一実施形態に係る通知システムのブロック図である。

【図3】一実施形態に係る通知を提供するためのフローチャートである。

【図4】一実施形態に係る埋め込まれたステガノグラフィ・メッセージを備えた通知を提供するためのフローチャートである。

【図5】一実施形態に係る埋め込まれたステガノグラフィ・メッセージを含む通知信号刺激を、受信すると共に復号するためのフローチャートである。

【図6】一実施形態に係る周囲音声通知システムを例示するシステム図である。

【図7】一実施形態に係る周囲音声通知システムを例示するシステム図である。

【図8】一実施形態に係る周囲音声通知システムを例示するシステム図である。

【図9】一実施形態に係る周囲音声通知システムを例示するシステム図である。

【図10】一部の実施形態に係る、同期する触覚効果を例示するフローチャートである。

【発明を実施するための形態】

【0006】

実施形態によって、装置ユーザは、通知又は警告を受信することが可能となるが、そこでは、警告の与え手との既存の関係を必要とせず、且つデータ接続を必要としない。周囲環境における刺激は、装置によって感知することが可能である。一実施形態において、装置は刺激を認識し、且つ認識された刺激に基づいて、通知又は警告を提供することが可能である。一実施形態において、装置は、刺激に埋め込まれた情報を復号し、且つ復号された刺激に基づいて、警告を提供することが可能である。一部の実施形態において、データ接続は、警告情報を増強するために、使用することが可能である。一部の実施形態において、装置ユーザと警告の与え手との間の関係は、事前に確立することが可能であるが、その関係とは、警告情報を更に増強可能なタイプの警告について、装置の保持者に対する好みを設定するものである。

【0007】

ユーザに対して注意を引きそうな警告を生成することは、望ましい、又は重要であるかもしれない。このことは、既存の関係が存在しない場合においてさえも、且つユーザの装置上で利用可能なデータが存在しない場合においてさえも当てはまる。例えば、店は、買物客に、特売又は特別な販売促進の警告を出すことを望むかもしれない。救急隊員は、救急車又は救急避難状況の存在について、局所的エリアにいる人々に警告を出すことを望むかもしれない。劇場は、ショーの始まり又は休憩時間の終わりに、出席者に警告を出すことを望むかもしれない。通常、放送警告を達成するには、公共の呼びかけシステム、サイレン、又は他の従来的な仕組み（家の電灯を断続的に点滅させるなど）が使用されるかもしれない。しかしながら、一部の環境では、これは、ユーザ間での望ましいレベルの注意を提供しないかもしれない。一部の場合において、そのような警告は、警告としての有効性を喪失し得るが、その理由は、ユーザがそのような警告に慣れ、且つそれらを無視すると共に、単なる背景ノイズとして扱い始めるからである。例えば、ニューヨーク市におけるサイレンは、時として、いたるところに存在し得る。また、警告は、従来のシステムに制限され、且つ装置には伝わらない。

【0008】

対照的に、本明細書で説明される実施形態は、現存する放送メディア（例えば、音声）の内部で情報を符号化し、その結果、スマート装置は、この情報を、一対多数通信のニーズにおける使用に適した通知フレームワークの中に変換することが可能である。一部の実施形態において、通知フレームワークは、以下で説明するように、触覚出力装置上で表現される通知イベントを提供することが可能である。通知は、局所的なエリア（例えば、モール又は市街路）のための放送メディアのエリアに制限することが可能であるが、一部の実施形態において、通知は、より大きな聴衆に到達するための、既存のメディア・ストリーム（例えば、放送テレビ）によって転送することが可能である。

【0009】

一部の種類の通知又は警告は、通知の仕組みに依存して、利用可能であり得る。商標が示された警告は、商業的用途に関連することが可能であり、これらの警告は、特別な店又は商標に対する取引及び販売のための周囲エリア内で、ユーザに通知する、又は警告を出すためのものである。場所に基づいた注意警告は、エリア付近内での、一部の特別なイベントの周囲エリア内のユーザに対して、通知又は警告を提供することが可能である。例えば、劇場内のユーザに、ショーが始まろうとしていることを通知することは可能であるが、これは単に、触覚効果を提供するための触覚警告システムを誘発する刺激の周囲エリアに居合わせることによる。別の例において、小鳥のさえずり音の横断歩道信号は、横断歩道の状態に関連するユーザの装置に対して、警告を誘発することが可能である。別の例において、モール内の店は、モール音楽システムに、派手な特売の通知を再生させることが可能であるが、この通知は、音楽に埋め込まれたメッセージを通して、人の通行を店に駆り立てるように意図されている。この例では、モール音楽システムは、モール内の選択スピーカにおいて（例えば、特売を行っている店の近くで）、モール音楽に埋め込まれた警告刺激を再生するように構成することが可能であり、その結果、ウェアラブル装置又は携帯装置を備えたモール内のユーザは、警告を取得することが可能であるが、その警告は、ユーザの場所に基づいており、且つユーザを店に導くものである。緊急警告は、警告刺激の周囲エリア内の、又は警告刺激の放送エリア内の（例えば、テレビ又はラジオの放送出力の周囲エリア内の）ユーザに、避難又は脅威のような、緊急状況に関連する警告を提供することが可能である。救急車サイレンは、符号を含むことが可能であり、この符号は、周囲範囲内の全てのユーザに、付加的な警告を提供するであろう。これは、耳の不自由なユーザ、又は音声が乱されたユーザに恩恵を与えるであろう。例えば、車両センサは、サイレン刺激を受信し、且つ座席、ハンドル、又は携帯装置を通して、触覚警告を運転者に提供する。これらのタイプの警告に加えて、他の警告は、ユーザのために適切に装備された物理的インターフェースからの警告又は通知を含むことが可能であるが、これは、既存装置の関係を必要とすることなく、ユーザのウェアラブル装置、携帯装置、又はパーソナル装置によって実施される。例えば、スマート光スイッチは、ユーザ対話の間、不可聴音を発するスピーカを装備することが可能であろう。この不可聴音は、ユーザのウェアラブル装置によって受信され、且つ警告としての触覚効果を刺激するために使用されることが可能である。ここで警告とは、恐らく、スイッチが自動的に光を消し、それによって、室内の任意のユーザの装置に、必要ならばスイッチを再び関与させるように注意を与えるものである。

【0010】

通知又は警告は、複数の上記分類例、別の分類例に入れることが可能であるか、又はいずれの分類に入れることも可能でない。一部の実施形態において、警告は、本明細書で説明されるような周囲技術を用いて、１つの装置へ送信される任意の情報であるとして理解され得るが、ここで１つの装置は、情報を受信し、且つ通知装置を用いて、情報を提供することが可能である。警告は、緊急通知と考えることが可能である。

【0011】

一部の実施形態において、通知の原因となる周囲刺激は、ユーザの装置を誘発して、クラウドサービスに接続し、且つユーザのプロファイル、若しくは好み、又は警告放送との関係に基づいて、個人的な多モードの通知及び／又はアクションを提供することが可能である。例えば、通知を受信した後、ユーザのプロファイルは、ユーザが受信するかもしれない、どんなタイプの特別な提案も変えるかもしれず、又は、送信されるべき電子メール、更新されるべきソーシャル・ネットワーキング・サイト、起こるべきクレジットカード活動、誘発するべきサービス、又は他の下りの活動を、引き起こすかもしれない。一部の実施形態において、ユーザの好みは、ユーザの装置上でキャッシュに入れることが可能であり、その結果、データ接続が利用できない場合、個人化された通知が提供されることも可能である。

【0012】

一部の実施形態において、ユーザは、商標が示された通知又は場所に基づく通知のような、いくつかの種類の通知に対して、オプトイン（ｏｐｔ−ｉｎ）する、又はオプトアウト（ｏｐｔ−ｏｕｔ）することが可能である。緊急警告は、オプトアウトすることが禁止されるかもしれない。しかしながら、一部の実施形態において、これらさえも、オプトアウトされるかもしれない。オプトインの好みによって、ユーザは、クラウド又はサーバへのデータ接続を通して、個別化された提案を受信することが可能である。

【0013】

一部の実施形態において、通知は、装置の画面及び／又はスピーカを介して、ユーザの装置に提供することが可能である。一部の実施形態において、通知は、ユーザの装置に関連付けられる触覚出力装置を介して、提供することが可能である。

【0014】

図１は、本発明の一実施形態に係る通知システム１０のブロック図である。システム１０は、触覚出力装置１８を含む装置３０を含むことが可能である。システム１０の内部には、システム１０上で触覚を生成する触覚フィードバックシステムがある。一実施形態において、触覚効果は、触覚出力装置１８によって生成される。システム１０は、電話又はタブレットのような携帯型装置、スマートウォッチ又はスマートグラスのようなウェアラブル装置、若しくは、他の装置と共同して作動するスマートウォッチ又はスマートグラスのような、別の装置と共同して作動する付属装置であり得る。システム１０は、ディスプレイ及び／又はスピーカ（図示せず）を含むことが可能である。システム１０はまた、自動車座席、ハンドル、ディスプレイ、ベル、笛、又は知覚され得る触覚効果を提供することが可能な任意の装置のような、ユーザの近くにある、又はユーザと接触している装置であり得る。

【0015】

触覚フィードバックシステムは、プロセッサ又はコントローラ１２を含む。プロセッサ１２には、メモリ２０及び触覚出力装置駆動回路１６が結合され、触覚出力装置駆動回路１６は、装置３０上に配置された触覚出力装置１８に結合される。触覚出力装置１８は、任意のタイプの触覚出力装置を含むことが可能であり、ここで任意のタイプの触覚出力装置は、モータ、アクチュエータ、静電摩擦（ＥＳＦ：ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ）装置、超音波（ＵＳＦ：ｕｌｔｒａｓｏｎｉｃ ｆｒｅｑｕｅｎｃｙ）装置、及び触覚フィードバックをユーザに提供するために使用可能である他の任意の触覚出力装置を含む。

【0016】

そのような他の触覚出力装置１８は、フレキシブル材料、準硬質材料、又は硬質材料を含んでもよい。ここで、そのような他の触覚出力装置１８は、スマート流体アクチュエータ、流動学的な流体アクチュエータ、マクロ・ファイバ複合体（ＭＦＣ：Ｍａｃｒｏ−Ｆｉｂｅｒ Ｃｏｍｐｏｓｉｔｅ）アクチュエータ、形状記憶合金（ＳＭＡ：Ｓｈａｐｅ Ｍｅｍｏｒｙ Ａｌｌｏｙ）アクチュエータ、ピエゾアクチュエータ、及び微小電気機械システム（ＭＥＭＳ：Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）アクチュエータを含む。

【0017】

プロセッサ１２は、任意のタイプの汎用プロセッサであってもよく、又は特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のような、触覚効果を提供するように限定的に設計されたプロセッサであり得るであろう。プロセッサ１２は、システム１０全体を動作させるのと同じプロセッサであってもよく、又は別個のプロセッサであってもよい。プロセッサ１２は、どんな効果が再生されるべきかを、及び効果が再生される順序を、高レベルパラメータに基づいて決定することが可能である。触覚効果は、「動的」と考えてもよい。このことは、触覚効果が、触覚出力装置の間で、触覚効果の生成における何らかの変化を含む場合に当てはまり、若しくは、携帯型装置又はウェアラブル装置３０とのユーザ対話に基づく、触覚効果の生成における変化を含む場合に当てはまり、又は、受信された刺激に基づいて触覚効果に対するパラメータを指定するユーザの好みのような、システム１０の何らかの他の様相に基づく、触覚効果の生成における変化を含む場合に当てはまる。

【0018】

プロセッサ１２は、触覚出力装置駆動回路１６に制御信号を出力する。触覚出力装置駆動回路１６は、電子部品及び回路構成を含むが、これらは、望ましい触覚効果を引き起こすべく、触覚出力装置１８に必要な電流及び電圧を供給するために使用される。システム１０は、１つ以上の触覚出力装置１８を含んでもよく、且つ各触覚出力装置１８は、別個の駆動回路１６を含んでもよく、これら全ては、共通のプロセッサ１２に結合される。メモリ装置２０は、任意のタイプの記憶装置であり得るか、若しくは、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）又は読み出し専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）のような、コンピュータ可読媒体であり得る。メモリ２０は、プロセッサ１２によって実行される命令を格納する。命令の中で、メモリ２０は、周囲に誘発される触覚効果モジュール２２を含む。ここで触覚効果モジュール２２は命令であり、該命令は、プロセッサ１２によって実行される場合、以下で詳細に開示されるように、周囲刺激に基づいて、触覚効果を提供する触覚出力装置１８のための駆動信号を生成する。メモリ２０はまた、プロセッサ１２の内部に配置してもよく、又は内部メモリ及び外部メモリの任意の組み合わせであってもよい。

【0019】

システム１０は、周囲環境の様相を感知できる１つ以上のセンサ１７を含む。例えば、センサ１７は、環境条件を取り込むための温度センサ／湿度センサ／大気圧センサと、装置のモーション、速度、加速度及び方位を特徴付けるための加速度計、ジャイロスコープ、及び磁力計を備えた内部場測定ユニット（ＩＭＵ：ｉｎｎｅｒ ｆｉｅｌｄ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）と、音声情報を取り込むためのマイクロフォンと、視覚情報を取り込むための光学センサと、他の装置から／他の装置へ、無線で情報を受信する／送信するための無線送信器とを含むことが可能である。一般に、センサ１７は、以下に制限されるものではないが、加速度計、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、ファイバ光学センサ、屈曲センサ（又は曲げセンサ）、感圧抵抗器、荷重計、ＬｕＳｅｎｓｅ ＣＰＳ２ １５５、小型圧力変換器、ピエゾセンサ、ひずみ計、線形位置タッチセンサ、線形ポテンショメータ（又はスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁気タグ（又は無線周波数識別タグ）、ロータリエンコーダ、ロータリ・ポテンショメータ、ジャイロスコープ、オンオフ・スイッチ、マイクロフォン、光度計、高度計、生物モニタ、カメラ、又は光依存性抵抗器のような周囲入力の様相を感知するように、構成された又は適合された任意の感知装置を含むことが可能である。代替の実施形態において、システム１０は、センサ１７（図１に示されていない）に加えて、１つ以上の付加的センサを含むことが可能である。これらの実施形態の幾つかにおいて、センサ１７及び１つ以上の付加的センサは、センサアレイの一部、又は他の一部のタイプのセンサの集合の一部であってもよい。センサの集合は、同じ装置上に見出す必要はない。例えば、センサ入力データは、装置の周辺装置（例えば、スマートウォッチ又はウェアラブル装置）に関連付けられたセンサのような、装置に関連付けられた複数のセンサからのデータを含むことが可能である。センサ１７は、センサ情報をプロセッサ１２に提供することが可能である。センサ１７からのセンサ情報は、従来の有線技術又は無線技術によって、プロセッサ１２に提供することが可能である。

【0020】

一部の実施形態において、触覚出力装置１８は、システム１０の任意選択的な特徴であり、且つシステムに関連付けられた通知は、システム１０に関連付けられたディスプレイ又はスピーカを介して、提供することが可能である。

【0021】

図２は、本発明の一実施形態に係る通知システムのブロック図である。環境的刺激源２０５は、伝送媒体２１０に対して出力することが可能である。スマートウォッチ及び電話のような装置２２０及び２３０は、システム１０に対応することが可能であり、且つ伝送媒体を通して、刺激を受信することが可能である。任意選択的に、装置２２０及び２３０は、互いに通信することが可能であるが、それは、１つの装置が、別の装置の付属品であるような場合である。任意選択的に、装置２２０及び２３０は、２４０において、クラウドベースのサーバ又はリモートサーバに対して通信することが可能である。一部の実施形態において、情報は、（例えば、クラウドにおける）サービスから取得してもよく、又はクラウド・コンピューティング環境で機能してもよい。クラウド・コンピューティング環境（即ち、「クラウド」）は、コンピューティング・サービスが所有されておらず、要求に応じて提供される環境であり得る。例えば、情報は、ネットワーク化されたクラウドの中の複数の装置上に常駐してもよく、且つ／又はクラウド内の複数の装置に格納することが可能である。一部の実施形態において、リモートサーバは、情報を装置２２０又は２３０に提供するために、使用することが可能である。

【0022】

図３は、一実施形態に係る通知を提供するためのフローチャートである。一実施形態において、図３（及び以下の図４、図５及び図９）のフローチャートの機能は、メモリ又は、他のコンピュータ可読媒体、又は有形の媒体に格納されたソフトウェアによって履行され、且つプロセッサによって実行される。他の実施形態において、機能は、ハードウェアによって（例えば、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、プログラマブル・ゲート・アレイ（ＰＧＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などを使用することによって）、又はハードウェアとソフトウェアの任意の組み合わせによって実施してもよい。

【0023】

３０５では、プログラムが、図１のシステム装置１０のような装置上で使用するために提供される。プログラムは、装置のオペレーティング・システム・プログラムの統合部分のような、装置に本来属したものであってもよい。プログラムは、もともとの機器製造者によって提供されるものであるか、又はユーザによってインストールされるアプリケーションのような、サードパーティ作成者によって提供されるものである。サードパーティ・アプリケーションは、そのようなアプリケーションのための市場で提供されるかもしれない。

【0024】

３１０では、刺激が、装置１０のような装置によって感知される。装置は、連続的な感知状態にあることが可能である。刺激は、装置上に配置されたセンサが感知可能な任意の周囲刺激であり得る。一部の実施形態において、刺激は、マイクロフォンによって感知される音声波であり得る。一部の実施形態において、刺激は、光学センサ（例えば、カメラ又はスキャナ）によって感知される光学入力であり得る。一部の実施形態において、刺激は、加速度計、ジャイロスコープ、又は圧力センサによって感知される装置１０の運動であり得る。一部の実施形態において、刺激は、圧力プロファイルに関連する圧力変化であり得る。例えば、装置１０は、特定の静的圧力プロファイルを有する表面（例えば、エンボス加工された表面）と直接接触することが可能であるか、又はユーザは、特定の圧力プロファイルを有する表示行為を構築することが可能であろう。このプロファイルは、その後ユーザに戻って提供される通知イベントを識別するために使用することが可能であろう。一部の実施形態において、刺激は人間によって知覚できるが、一方で他の実施形態において、刺激は人間によって知覚できないかもしれない。例えば、音声信号については、音声信号の音の高低は、通常の人間の聴力の感度範囲（これは、およそ１６〜１７，０００Ｈｚである）外にあるかもしれないが、マイクロフォンセンサの感度の範囲内にある。

【0025】

３１５では、刺激を処理することが可能である。一部の実施形態において、刺激は、刺激をフィンガープリントすることによって、処理することが可能である。例えば、音声信号は、サンプリングすると共に、フィンガープリントすることが可能である。音声をフィンガープリントすることによって、音声は、音声信号のフィンガープリントを音声フィンガープリントのデータベースと比較する場合に、認識することが可能である。任意の適切な技術を、フィンガープリント法に対して使用することが可能である。例えば、音声をフィンガープリントすることは、以下と同様なプロセスによって行うことが可能である。先ず、音声信号は、可能なサンプル数の減らすために、少なめにサンプリングすることが可能である。次に、サンプルのスペクトログラムを計算することが可能である。次に、更に信号の複雑さを減らすために、スペクトログラムについて、周波数帯域フィルタリングを実施することが可能である。フィルタリングによって、スペクトログラムに対して、対数的に間隔が空けられたビン（ｂｉｎｓ）を作り出すことが可能である。更に複雑さを減らすために、ウェーブレット分解を使用することが可能であるが、これは、例えば、標準的なハール（Ｈａａｒ）ウェーブレット分解を適用することによって行う。あまり情報に寄与しないウェーブレットは捨てる一方で、より大きなウェーブレットは取っておくことが可能である。これらのフィンガープリントは、最小ハッシング及び局所敏感ハッシングによって、更に減らすことが可能である。

【0026】

同様なフィンガープリント法の技術は、光学的な、又は他の周囲センサ刺激に対して、使用することが可能である。一部の実施形態において、パターン認識又は他の適切なアルゴリズムを使用することが可能である。例えば、車道における一連の隆起は、１つのパターンを作り出すことが可能であるが、このパターンを、加速度計又は圧力センサによって感知すると共に、ユーザの速度を決定するために処理するか、又は近づいている交差点についての警告を生成するために処理することが可能である。例えば、エンボス加工された表面は、特定の圧力プロファイルを有することが可能であり、このプロファイルは、装置１０に関連付けられた圧力感知装置によって、検出することが可能である。

【0027】

一部の実施形態において、埋め込まれたステガノグラフィ情報を含む刺激を復号するための逆ステガノグラフィ・アルゴリズムを適用することによって、刺激を処理することが可能である。ステガノグラフィ情報符号化は、視覚情報及び聴覚情報に適用することが可能である。ステガノグラフィ・アルゴリズムは、人間には知覚できない方法で、刺激の部分をデータで置き換えることが可能である。例えば、音声ファイルは、信号情報を周期的な間隔でメッセージ情報に置き換えることによって、自身の中に隠されたステガノグラフィ署名を有することが可能である。置き換えられた信号情報は、例えば、表現された場合、音声ファイルに最小限の影響を与えるように、最下位２ビットを含むことが可能である。逆の操作もまた、ステガノグラフィ的に符号化された署名を引き出すために、使用することが可能である。ステガノグラフィ・パターンが見つかるまで、音声を取り込み、且つサンプリングすることが可能である。情報を、ステガノグラフィ・パターンから取り込み、且つ埋め込まれたメッセージを決定するために使用することが可能である。ステガノグラフィ・データは、取り込まれた音声信号の不可逆性に理由を与えるために、頑健にすることが可能である。当業者は理解することであろうが、音声刺激、映像刺激、又は他の適用可能な刺激の中に署名又はメッセージを埋め込むために、他の任意の利用可能な技術を、ステガノグラフィの代わりに用いることが可能である。

【0028】

処理はまた、フィンガープリントされた刺激を取り挙げるステップと、刺激を分類するために、それをデータベースと比較するステップとを含むことが可能である。例えば、フィンガープリントされた音は、その音が何であるかを決定するために、使用することが可能である。サイレンの音を、フィンガープリントすると共に、サイレンと一致するフィンガープリントのデータベースと比較することが可能である。ステガノグラフィ的に埋め込まれたメッセージの場合、処理はまた、メッセージを分析するステップと、それを一組の既知メッセージと比較するステップ、又はメッセージを提供するステップとを含むことが可能である。

【0029】

３２０では、通知イベントは、処理された刺激に基づいて決定される。通知イベントは、装置３０のような装置の出力機構に送信された通知を含むことが可能である。出力機構は、ディスプレイ、スピーカ、触覚出力装置などを含むことが可能である。例えば、フィンガープリントされた音声刺激については、認識された音声信号は、装置ユーザに警告を出すための、特別な触覚効果に対応することが可能である。例えば、認識されたサイレン信号は、振動触覚効果が決定されると共に装置上で出力されることを、引き起こすことが可能である。ステガノグラフィ的に埋め込まれたメッセージを使用する実施形態において、通知イベントは、埋め込まれたメッセージに基づいて決定することが可能である。例えば、メッセージは、バイト符号、テキスト、振動パターンなどを含むことが可能である。例えば、メッセージは、触覚効果、音声出力に対して相互参照可能な符号を含み、及び／又は通知イベントとしての出力信号を表示することが可能である。１つ以上の通知イベントを、処理された刺激に基づいて、作り出すことが可能である。一部の実施形態において、フィンガープリントされた音声刺激又はステガノグラフィ的に埋め込まれたメッセージに基づいて、どんなタイプの通知イベント又は触覚効果が決定されるべきかに対して、ユーザは好みを設定することが可能である。一部の実施形態において、装置に関連付けられたディスプレイ、又は装置に関連付けられたスピーカは、調整された情報を提供することが可能である。例えば、サイレンに呼応して、触覚効果を電話上で決定することが可能である。ここで電話は、電話のディスプレイ上に「緊急」通知を表示することが可能であり、且つ電話上で、又は接続されたブルートゥース（登録商標）・スピーカ上で警報音を再生することが可能である。

【0030】

３２５では、通知イベント又は触覚効果は、図１の装置３０のような装置上で提供される。通知イベントが触覚効果である実施形態において、通知イベントを、装置の中の触覚出力装置上で、触覚効果を再生する又は表現することによって、提供することが可能である。一部の実施形態において、図１の触覚出力装置１８のような触覚出力装置は、ウェアラブル装置に配置するか、又は近くに配置することが可能である。

【0031】

図４は、一実施形態に係る、埋め込まれたステガノグラフィ・メッセージを備えた通知を提供するためのフローチャートである。４０５では、入力信号が受信される。４１０では、通知は、信号に含まれるように決定される。通知は、メッセージであるか、若しくはメッセージの探索テーブルに対する符号であるか、又はデータベースのような同様の仕組みであることが可能である。一部の実施形態において、メッセージ又は警告は、安全のために暗号化することが可能である。

【0032】

４１５では、通知（即ち、メッセージ又は符号）を信号の中に埋め込むために、ステガノグラフィ・アルゴリズムが適用され、それによって、入力信号の中にステガノグラフィ的に埋め込まれたメッセージを含む通知信号刺激を作り出す。任意の適切なステガノグラフィ・アルゴリズムを、使用することが可能である。例えば、音声信号については、最下位ビット符号化、パリティ符号化、位相符号化、拡散スペクトル、エコーハイディングによる埋め込み、又は他の適切なアルゴリズムを用いたステガノグラフィ・アルゴリズムを使用することが可能である。

【0033】

４２０では、埋め込まれたステガノグラフィ符号化を備えた通知信号刺激が送信される。信号が音声ファイルである場合、送信は、スピーカを介して行うことが可能である。送信は、データ送信器（及び、信号が視覚ファイルである場合はディスプレイ）を介して、遂行することが可能である。他の実施形態は、他の適切な伝送媒体を使用することが可能である。

【0034】

図５は、一実施形態に係る、埋め込まれたステガノグラフィ・メッセージを含む通知信号刺激を、受信すると共に復号するためのフローチャートである。５０５では、埋め込まれたステガノグラフィ・メッセージ（即ち、メッセージ又は符号としての通知情報）を有する入力刺激が受信される。５１０では、逆ステガノグラフィ・アルゴリズムを、適用することが可能である。逆アルゴリズムは、ステガノグラフィ刺激を作り出すために使用されるタイプのアルゴリズムに基づいて、選択することが可能である。アルゴリズムは、逆アルゴリズムを如何にして適用するかを決定するために、刺激をサンプリングすることが可能である。一部の実施形態において、復号されたメッセージは、それが暗号化された場合には、解読することが可能である。

【0035】

５１５では、触覚効果のような通知イベントは、ステガノグラフィ・メッセージから決定することが可能である。通知イベントは、通知メッセージに基づくことが可能であるか、若しくは、通知メッセージによって指定することが可能であるか、又は、通知メッセージを通知イベントに関連させる（例えば、符号を触覚効果に関連させる）テーブル又はデータベースの中で探索することが可能である。ユーザの好みは、好みを指定することを可能にするが、ここで好みは、通知メッセージを通知イベントに関連させる探索エントリを、挿入する又は変更することが可能である。５２０では、任意選択的なリモートデータ「クラウド」探索は、クラウド、サーバから、若しくは、以前のクラウド又はサーバ応答に由来するローカルキャッシュからの、いずれかで起こることが可能である。例えば、受信されたメッセージは、サーバに配置された好みに関連させると共に、リモートの好みに基づいて通知イベントを送達することが可能である。例えば、メッセージは、店で再生する音楽の中の割引券提案に対応する符号「０ｘＦＦＦＦ」であることが可能であり、ここで、店で再生する音楽は、自身の中に通知メッセージとして埋め込まれたステガノグラフィ・メッセージを有する。「０ｘＦＦＦＦ」は、ユーザが割引券に注意を払うように、ユーザの装置上で局所的に探索されると共に、「この店で特売提案。詳しくは、付随物を参照ください。」のメッセージを提供することが可能である。クラウド探索によって、「０ｘＦＦＦＦ」は、クラウド中に、又はサーバ上に格納された、ユーザの好み、オプトイン情報、又は市場調査情報のような付加的データに対して相互参照することが可能であるが、これは、「タオルが、本日、まさにあなたＰｈｉｌのために特売中で、２つ以上買うと、各２５％安くなります。」のような、カスタマイズされたメッセージを指定するためである。クラウドベースの探索を用いて、他の装置情報もまた、個人化された応答を生成するために、データ接続によって、クラウド又はサーバに送信することが可能である。例えば、（電話及び他の携帯装置において代表的である）装置の国際携帯機器識別（ＩＭＥＩ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｅｑｕｉｐｍｅｎｔ Ｉｄｅｎｔｉｔｙ）番号、電話番号、ＧＰＳ位置、又は他の利用可能なデータを、クラウド又はサーバに提供することが可能である。

【0036】

５２５では、通知イベントを提供することが可能である。例えば、通知イベントが警告である場合、警告をユーザの装置に送信して、振動のような触覚効果を引き起こすことが可能であり、且つメッセージを、装置のディスプレイ上に、任意選択的に表示することが可能である。

【0037】

図６は、一実施形態に係る周囲音声通知システムを示すシステム図である。要素６０５は、波形図によって表された音声信号である。要素６０５は、図２の環境的刺激源２０５に対応するスピーカ２０５に渡される。放送スピーカ２０５は、伝送媒体２１０の中で、音としての音声信号を送信するが、ここで伝送媒体２１０は、空気、水、固体などであり得る。図１のシステム１０に対応する装置の中に配置されたマイクロフォンセンサは、音声を受信する。装置は、要素６２０において、音声をフィンガープリントするためのモジュールを有する。通知識別子が、フィンガープリントされた音声及び通知情報（例えば、通知イベント識別子を通知メッセージに関連付ける情報）に基づいて、モジュール６３０において決定される。モジュール６４０では、触覚効果のような通知イベントは、通知イベント識別子に基づいて、決定することが可能である。一部の実施形態において、触覚通知モジュール６４０は、イマージョン社（Ｉｍｍｅｒｓｉｏｎ Ｃｏｒｐ）による「本能的警告フレームワーク（Ｉｎｓｔｉｎｃｔｉｖｅ Ａｌｅｒｔｓ Ｆｒａｍｅｗｏｒｋ）」を使用することが可能である。一部の実施形態において、通知イベントは、システム１０に関連付けられたスピーカ又はディスプレイに送信される音声出力又は表示出力に対応することが可能である。一部の実施形態において、通知イベントは、（電話若しくは、ウェアラブル装置又は他の周辺装置などの付属装置上のアクチュエータのような）システム１０に関連付けられた、図１の触覚出力装置１８上で再生され得る触覚効果に対応することが可能である。一部の実施形態において、通知イベントに関連するメッセージは、装置のディスプレイ上に表示することが可能である（図示せず）。

【0038】

図７は、一実施形態に係る周囲音声通知システムを示すシステム図である。要素７０５は、波形図によって表される音声信号である。７０５の音声信号は、埋め込まれたステガノグラフィ通知メッセージを有する。要素７０５は、図２の環境的刺激源２０５に対応するスピーカ２０５に渡される。放送スピーカ２０５は、伝送媒体２１０の中で、音としての音声信号を送信するが、ここで伝送媒体２１０は、空気、水、固体などである。図１のシステム１０に対応する装置の中に配置されたマイクロフォンセンサは、音声を受信する。装置は、埋め込まれた通知メッセージを取り出すべく、要素７２０において逆ステガノグラフィ・アルゴリズムを適用するためのモジュールを有する。メッセージは、それが安全のために暗号化された場合、解読することが可能である。通知イベント識別子は、埋め込まれたメッセージ及び通知情報（例えば、通知イベント識別子を通知メッセージに関連させる情報）に基づいて、モジュール６３０において決定される。モジュール６４０では、通知イベントは、通知イベント識別子に基づいて、決定することが可能である。一部の実施形態において、通知イベントは、システム１０に関連付けられたスピーカ又はディスプレイに送信される音声出力又は表示出力に対応することが可能である。一部の実施形態において、通知イベントは、（電話若しくは、ウェアラブル装置又は他の周辺装置などの付属装置上のアクチュエータのような）システム１０に関連付けられた、図１の触覚出力装置１８上で再生され得る触覚効果に対応することが可能である。一部の実施形態において、通知イベントに関連するメッセージは、装置のディスプレイ上で表示することが可能である（図示せず）。

【0039】

図８は、一実施形態に係る周囲音声通知システムを示すシステム図である。要素７０５は、波形図によって表される音声信号である。７０５の音声信号は、埋め込まれたステガノグラフィ・メッセージを有する。要素７０５は、図２の環境的刺激源２０５に対応するスピーカ２０５に渡される。放送スピーカ２０５は、伝送媒体２１０の中で、音としての音声信号を送信するが、ここで伝送媒体２１０は、空気、水、固体などであり得る。図１のシステム１０に対応する装置の中に配置されたマイクロフォンセンサは、音声を受信する。装置は、埋め込まれたメッセージを取り出すべく、要素７２０において逆ステガノグラフィ・アルゴリズムを適用するためのモジュールを有する。メッセージは、それが安全のために暗号化された場合、解読することが可能である。通知イベント識別子は、埋め込まれたメッセージ及び通知情報（例えば、通知イベント識別子をメッセージに関連させる情報）に基づいて、モジュール６３０において決定される。モジュール８３５は、クラウドサーバ又は他のリモートサーバに対して接続を確立することが可能であり、ここでクラウドサーバ又は他のリモートサーバは、クラウド警告情報を決定するためのメッセージを使用する。クラウドベースの情報は、ステガノグラフィ・メッセージを受信するユーザに特有の情報を含むことが可能である。モジュール８４０では、触覚効果のような通知イベントは、クラウド警告情報に基づいて決定することが可能である。一部の実施形態において、通知イベントは、システム１０に関連付けられたスピーカ又はディスプレイに送信される音声出力又は表示出力に対応することが可能である。一部の実施形態において、通知イベントは、（電話若しくは、ウェアラブル装置又は他の周辺装置などの付属装置上のアクチュエータのような）システム１０に関連付けられた、図１の触覚出力装置１８上で再生され得る触覚効果に対応することが可能である。一部の実施形態において、通知イベントに関連するメッセージは、装置のディスプレイ上で表示することが可能である（図示せず）。

【0040】

図９は、一実施形態に係る周囲音声通知システムを示すシステム図である。特に、図９は、音声信号を、埋め込まれたステガノグラフィ・メッセージ又はステガノグラフィ署名を備えた音声信号に変換するためのシステムを示す。要素６０５は音声信号である。モジュール９０５はステガノグラフィ・アルゴリズムであり、このステガノグラフィ・アルゴリズムは、メッセージ、署名、又は他の通知情報を音声ストリームの中に埋め込むための、汎用プロセッサ又は専用プロセッサを用いて履行することが可能である。モジュール９０５はまた、埋め込みに先立って、メッセージ又は署名を暗号化するための暗号化モジュールを含むことが可能である。一部の実施形態において、署名は、マイクロコントローラ、ＦＰＧＡなどのようなチップに焼き込むことが可能であり、このチップは、音声信号を受信し、署名を適用し、且つ音声を送信することが可能である。要素７０５は、埋め込まれたステガノグラフィ・メッセージ又はステガノグラフィ署名を備えた音声信号である。例えば、横断歩道での小鳥のさえずり音は、焼き込まれたメッセージ又は署名を備えたモジュール９０５によって変更することが可能であり、それによって、変更された小鳥のさえずり音を提供する。この音は聞いても区別がつかないが、しかしステガノグラフィ署名を含む。

【0041】

一部の実施形態において、自動コンテンツ認識（ＡＣＲ：ａｕｔｏｍａｔｉｃ ｃｏｎｔｅｎｔ ｒｅｃｏｇｎｉｔｉｏｎ）は触覚効果を刺激と同期させるために使用することが可能である。ＡＣＲ技術は、通常、第２画面アプリケーションをメディア放送に同期させるために使用される。触覚効果又は触覚トラックは、ＡＣＲ技術を用いて、同期させることが可能である。パターン認識技術は、音声信号のタイミング要素を指定する、音声信号中の透かしを検出するために使用することが可能である。タイミング要素は、プレゼンテーション（即ち、ストリーム配信される、再生される、若しくは、視覚又は音声の警告要素として表示される）のメディア要素のタイムスタンプを推定するために、使用することが可能である。例えば、歌は透かしを含むことが可能であるが、ここで該透かしはその歌の間を通して変化する。透かしＷは、歌の中の時間ｔに予期することが可能である。透かしＷが見つかると、音声を伴うメディアは、その時、時間ｔに同期させることが可能である。加えて、メディアに対する触覚トラックは、同じタイムスタンプ推定に同期させることが可能である。別の実施形態において、符号化された透かしは、メディアのタイムスタンプを含むことが可能である（即ち、メディアのためのタイムスタンプは、メディアの中の透かしとして符号化される）。

【0042】

別の実施形態において、フィンガープリント法は、触覚効果を、放送音声音波のような音声刺激に同期させるために使用することが可能である。フィンガープリント法は、上で説明したように、特別な刺激（例えば、音声トラック）を識別するために、使用することが可能である。フィンガープリント法は更に、フィンガープリントされた刺激の部分に関連付けられたタイムスタンプを識別するために、使用することが可能である。例えば、マイクロフォンによって受信されるような音声刺激の部分を、刺激の既知部分と比較し、それによって、フィンガープリントされた部分が音声源の中でどこにあるかを見つけることが可能である。ファイルに関するこの情報を用いて、タイムスタンプを、ファイルから引き出すことが可能である。別の実施形態に矛盾しない別の例において、マイクロフォンによって受信されるような音声刺激の部分を、探索テーブル（又はデータベースなど）と比較し、それによって、音声刺激に関連付けられたタイムスタンプを有する同じ部分を見つけることが可能である。

【0043】

実施形態では、刺激に対する触覚トラックを再生するために、ＡＣＲ技術を使用することが可能である。例えば、歌は、図３のフローに従って認識することが可能である。そこでは、タイムスタンプが推定され、且つ触覚トラックが、歌に同期されて（触覚効果の警告要素として）再生される。例えば、歌は、合衆国の国歌、スポーツイベントでのファイトソング、又は他の一部の認識可能な歌であり得るであろう。触覚トラックを、刺激に埋め込む必要はないが、しかし装置上に存在する、若しくは、クラウド又はサーバからダウンロードする、又は、ストリーム再生することが可能である。触覚トラックの代わりに、独特な触覚効果（又は警告）を、刺激のタイミング推定（例えば、音声トラック）に基づいて、誘発することが可能である。

【0044】

一部の実施形態において、映像を、音声トラック及び触覚トラックに同期させることが可能である。トラックは、非同期である場合があり、そして透かし又はフィンガープリントに従って同期させる場合がある。例えば、映画からのクリップを、再生することが可能であろう。クリップ用に推定されたタイムスタンプを決定するために、音声ストリームに対して透かしを入れる、又はフィンガープリントすることが可能であり、且つ映画全体に対して関連付けられた触覚トラックを、音声クリップの推定されたタイムスタンプに従って、関連する時間へ飛ばすことが可能である。

【0045】

別の実施形態において、図１の装置１０のような装置は、符号によって識別される、埋め込まれた一組の触覚効果を有することが可能である。触覚トラック又は特定の触覚効果を作り出す代わりに、ステガノグラフィ技術又は他の技術を用いて、情報を音声トラックに埋め込むことが可能である。埋め込まれた情報は、触覚効果符号及び、強度、持続期間、相対的タイミングなどのような関連付けられたパラメータを含むことが可能である。触覚再生システムが、埋め込まれた効果の符号及びパラメータを検出する場合、触覚再生システムは、その効果の符号及びパラメータに従って触覚効果を準備し、且つその触覚効果を、指定された相対的タイミングで送達することが可能である。

【0046】

図１０は、一部の実施形態に係る、同期する触覚効果を例示するフローチャートである。１０１０では、音声入力が受信される。上で開示したように、音声入力信号は、任意選択的に、ある音の高低範囲にあってもよく、ここでこの音の高低範囲は、人間の聴力に対する通常範囲外にある。音声信号は、タイムコード、触覚効果符号、及びパラメータを指定する、埋め込まれた署名又は透かしを有してもよい。一部の実施形態において、タイムコード情報は、音声信号のフィンガープリントから推定することが可能である。１０２０では、パターン、フィンガープリント、透かし、又は署名を、音声信号の中で検出することが可能である。１０３０では、タイムコードは、パターン、フィンガープリント、透かし、又は署名から推定することが可能である。一部の実施形態において、触覚効果に対する効果符号が、透かし又は署名に埋め込まれているような場合、１０３０は飛ばすことが可能である。１０４０では、触覚トラックが使用される場合、触覚トラックを、推定されたタイムコードへ飛ばすことが可能である。触覚効果がタイムコードに一致する場合、触覚効果を、推定されたタイムコードに対して、取り出すことが可能である。触覚効果符号が使用される場合、その時は、触覚効果を、触覚効果符号に従って探索することが可能であり、且つ任意選択的なパラメータを、触覚効果を再生するために、設定することが可能である。１０５０では、触覚効果は、図１の触覚出力装置１８のような触覚出力装置上で再生される。

【0047】

図１０のフローの使用法の一例は、ユーザがテレビで映画を見ている場合である。ユーザの腕のウェアラブル装置に、異なる映画に関連する一部の触覚トラックを埋め込むことが可能である。映画の中の特定の音声透かしを取り込み、且つこれを識別するとすぐに、ＡＣＲシステムは、触覚トラックをメディアに同期させ、且つウェアラブル装置上で、関連する触覚トラック／効果の再生を開始する。別の例は、ユーザが、自身のタブレット上でスタンリー・カップの最終ゲームを見ている場合であり、ここでタブレットは、本明細書で説明したような触覚再生特徴に関して、増強されている。ゲームの流れに関連する触覚効果のパラメータが、透かしとして、ゲームの音声信号に埋め込まれる。音声信号を解析する場合、システムは、特定のパラメータを用いて、透かしを検出し、且つ触覚効果を再生する。

【0048】

開示したように、実施形態は、触覚効果警告のような通知イベントを生成するためのシステムを提供するが、ここで通知イベントは、スマートフォン、スマート装置、又は他の周辺装置上で、視覚又は音声の警告を伴うことが可能である。環境的な周囲条件は、装置上のセンサによって検出される刺激を提供することが可能である。刺激は、パターン認識情報、フィンガープリント情報、透かし情報、又は署名情報に対して、処理することが可能である。情報を、既知のパターン又はフィンガープリントのデータベースに一致させることが可能であるか、若しくは透かし埋め込みの場合、又は署名埋め込みの場合には、警告又は触覚情報を指定する情報を取り出すことが可能である。処理された情報は、通知システムに渡すことが可能であり、ここで通知システムは、通知イベントを装置上で生じさせる。一部の実施形態は、以前の関係又はデータ接続を必要としない。一部の実施形態は、データ接続及び／又は、以前の関係から確立された好みを使用しそれによって、警告出力を増強する、又は警告出力をカスタマイズすることが可能である。一部の実施形態は、これらの技術を用いて、触覚効果情報を音声信号に同期させることが可能である。

【0049】

一部の実施形態は、本明細書において具体的に例示される、且つ／又は説明される。しかしながら、当然のことながら、開示された実施形態の変更例及び変形例は、上記の教示によって包含され、且つ添付された請求項の範囲内にあり、本発明の趣旨及び意図する範囲から外れるものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】

2017084328000001.pdf