知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2017-531930(P2017-531930A)
(43)【公表日】2017年10月26日
(54)【発明の名称】セカンドスクリーン触覚
(51)【国際特許分類】
H04N 21/435 20110101AFI20170929BHJP
H04N 21/436 20110101ALI20170929BHJP
G06F 3/01 20060101ALI20170929BHJP
【ＦＩ】
H04N21/435
H04N21/436
G06F3/01 560
【審査請求】未請求
【予備審査請求】未請求
【全頁数】26
(21)【出願番号】特願2017-500807(P2017-500807)
(86)(22)【出願日】2015年7月6日
(85)【翻訳文提出日】2017年3月3日
(86)【国際出願番号】US2015039233
(87)【国際公開番号】WO2016007426
(87)【国際公開日】20160114
(31)【優先権主張番号】62/021,663
(32)【優先日】2014年7月7日
(33)【優先権主張国】US
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＸＢＯＸ
２．ＰｌａｙＳｔａｔｉｏｎ
(71)【出願人】
【識別番号】500390995
【氏名又は名称】イマージョン コーポレーション
【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100107401
【弁理士】
【氏名又は名称】高橋 誠一郎
(74)【代理人】
【識別番号】100120064
【弁理士】
【氏名又は名称】松井 孝夫
(74)【代理人】
【識別番号】100154162
【弁理士】
【氏名又は名称】内田 浩輔
(74)【代理人】
【識別番号】100182257
【弁理士】
【氏名又は名称】川内 英主
(74)【代理人】
【識別番号】100202119
【弁理士】
【氏名又は名称】岩附 秀幸
(72)【発明者】
【氏名】ラクロイ，ロバート
【テーマコード（参考）】
5C164
5E555
【Ｆターム（参考）】
5C164UA04S
5C164UA43S
5C164UB04P
5C164UB41S
5C164UB71S
5C164UB86P
5C164YA12
5E555AA76
5E555BA19
5E555BA87
5E555BA88
5E555BB05
5E555BB06
5E555BC01
5E555DA24
5E555FA00
(57)【要約】
マルチデバイスシステムが、少なくとも１つのメディアサーバーシステムと、表示スクリーンを備える１次視聴デバイスと、触覚出力デバイスを備える２次デバイスとを備える。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、これらのオーディオビデオコンテンツ及び触覚コンテンツを転送するように構成されている。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。１次視聴デバイスは、少なくとも１つのメディアサーバーシステムから受信されたオーディオビデオコンテンツを出力するように構成されている。２次デバイスは、少なくとも１つのメディアサーバーシステムから受信された触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも１つのメディアサーバーシステムであって、該少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、該オーディオビデオコンテンツ及び該触覚コンテンツを転送するように構成され、該触覚コンテンツは、該オーディオビデオコンテンツに関連付けられている、少なくとも１つのメディアサーバーシステムと、
表示スクリーンを備える１次視聴デバイスであって、前記少なくとも１つのメディアサーバーシステムから受信された前記オーディオビデオコンテンツを出力するように構成されている、１次視聴デバイスと、
触覚出力デバイスを備える２次デバイスであって、ユーザー入力を受信するように構成され、前記少なくとも１つのメディアサーバーシステムから受信された前記触覚コンテンツを、前記触覚出力デバイスを介して触覚効果として出力するように構成されている、２次デバイスと、
を備える、マルチデバイスシステム。
表示スクリーンを備える１次視聴デバイスであって、前記少なくとも１つのメディアサーバーシステムから受信された前記オーディオビデオコンテンツを出力するように構成されている、１次視聴デバイスと、
触覚出力デバイスを備える２次デバイスであって、ユーザー入力を受信するように構成され、前記少なくとも１つのメディアサーバーシステムから受信された前記触覚コンテンツを、前記触覚出力デバイスを介して触覚効果として出力するように構成されている、２次デバイスと、
を備える、マルチデバイスシステム。
【請求項2】
前記２次デバイスは、表示スクリーンを備え、前記オーディオビデオコンテンツを出力するように構成されている、請求項１に記載のマルチデバイスシステム。
【請求項3】
前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツを含む第１の信号を前記１次視聴デバイスに転送し、前記触覚コンテンツを含む第２の信号を前記２次デバイスに転送する、請求項１に記載のマルチデバイスシステム。
【請求項4】
前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記１次視聴デバイスに転送し、前記１次視聴デバイスは、少なくとも前記触覚コンテンツを前記２次デバイスに転送する、請求項１に記載のマルチデバイスシステム。
【請求項5】
前記１次視聴デバイスは、前記２次デバイスに前記触覚コンテンツを転送するが、前記オーディオビデオコンテンツは転送しない、請求項４に記載のマルチデバイスシステム。
【請求項6】
前記１次視聴デバイスは、前記触覚コンテンツ及び前記オーディオビデオコンテンツの双方を前記２次デバイスに転送する、請求項４に記載のマルチデバイスシステム。
【請求項7】
前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記２次デバイスに転送し、前記２次デバイスは、少なくとも前記オーディオビデオコンテンツを前記１次視聴デバイスに転送する、請求項１に記載のマルチデバイスシステム。
【請求項8】
前記２次デバイスは、前記１次視聴デバイスに前記オーディオビデオコンテンツを転送するが、前記触覚コンテンツは転送しない、請求項７に記載のマルチデバイスシステム。
【請求項9】
前記２次デバイスは、前記触覚コンテンツ及び前記オーディオビデオコンテンツの双方を前記１次視聴デバイスに転送する、請求項７に記載のマルチデバイスシステム。
【請求項10】
前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方の前記ソースを備える単一のサーバーを備える、請求項１に記載のマルチデバイスシステム。
【請求項11】
前記少なくとも１つのメディアサーバーシステムは、第１のメディアサーバー及び第２のメディアサーバーを備え、該第１のメディアサーバーは、前記オーディオビデオコンテンツのソースを備え、前記第２のメディアサーバーは、前記触覚コンテンツのソースを備える、請求項１に記載のマルチデバイスシステム。
【請求項12】
前記２次デバイスは、ユーザーによって保持されるか又はユーザーに結合されるように構成されている、請求項１に記載のマルチデバイスシステム。
【請求項13】
前記２次デバイスは、タブレットコンピューター又はモバイルフォンである、請求項１２に記載のマルチデバイスシステム。
【請求項14】
前記１次視聴デバイス及び前記２次デバイスの双方はそれぞれ、前記触覚コンテンツが、前記１次視聴デバイス上にレンダリングされている前記オーディオビデオコンテンツと十分に同期して前記２次デバイス上にレンダリングされることを確保する再生ロケーターを備える、請求項１に記載のマルチデバイスシステム。
【請求項15】
少なくとも１つのメディアサーバーシステムであって、該少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、該触覚コンテンツは、該オーディオビデオコンテンツに関連付けられている、少なくとも１つのメディアサーバーシステムと、
表示スクリーンを備え、前記オーディオビデオコンテンツを出力するように構成されている１次視聴デバイスと、
触覚効果をユーザーに出力するように構成された触覚出力デバイスを備える２次デバイスであって、ユーザー入力を受信するように構成されている、２次デバイスと、
を備え、
前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツを前記１次視聴デバイス及び前記２次デバイスのうちの少なくとも一方に転送するように構成され、前記１次視聴デバイスは、前記少なくとも１つのメディアサーバーシステムから受信された前記オーディオビデオコンテンツを出力するように構成され、前記２次デバイスは、前記少なくとも１つのメディアサーバーシステムから受信された前記触覚コンテンツを出力するように構成され、前記触覚コンテンツは、前記触覚出力デバイスを介して前記触覚効果として出力される、マルチデバイスシステム。
表示スクリーンを備え、前記オーディオビデオコンテンツを出力するように構成されている１次視聴デバイスと、
触覚効果をユーザーに出力するように構成された触覚出力デバイスを備える２次デバイスであって、ユーザー入力を受信するように構成されている、２次デバイスと、
を備え、
前記少なくとも１つのメディアサーバーシステムは、前記オーディオビデオコンテンツ及び前記触覚コンテンツを前記１次視聴デバイス及び前記２次デバイスのうちの少なくとも一方に転送するように構成され、前記１次視聴デバイスは、前記少なくとも１つのメディアサーバーシステムから受信された前記オーディオビデオコンテンツを出力するように構成され、前記２次デバイスは、前記少なくとも１つのメディアサーバーシステムから受信された前記触覚コンテンツを出力するように構成され、前記触覚コンテンツは、前記触覚出力デバイスを介して前記触覚効果として出力される、マルチデバイスシステム。
【請求項16】
１次視聴デバイスにおいてオーディオビデオコンテンツを受信するステップであって、該１次視聴デバイスは表示スクリーンを備える、ステップと、
２次デバイスにおいて触覚コンテンツを受信するステップであって、該２次デバイスは、ユーザー入力を受信するように構成され、触覚効果をユーザーに出力するように構成された触覚出力デバイスを備え、前記触覚コンテンツは前記オーディオビデオコンテンツに関連付けられている、ステップと、
前記オーディオビデオコンテンツを前記１次視聴デバイス上に出力するステップと、
前記触覚コンテンツを前記２次デバイス上に出力するステップであって、前記触覚コンテンツは、前記触覚出力デバイスを介して前記触覚効果として出力される、ステップと、
を含む、触覚効果をオーディオビデオコンテンツの視聴者に伝達する方法。
２次デバイスにおいて触覚コンテンツを受信するステップであって、該２次デバイスは、ユーザー入力を受信するように構成され、触覚効果をユーザーに出力するように構成された触覚出力デバイスを備え、前記触覚コンテンツは前記オーディオビデオコンテンツに関連付けられている、ステップと、
前記オーディオビデオコンテンツを前記１次視聴デバイス上に出力するステップと、
前記触覚コンテンツを前記２次デバイス上に出力するステップであって、前記触覚コンテンツは、前記触覚出力デバイスを介して前記触覚効果として出力される、ステップと、
を含む、触覚効果をオーディオビデオコンテンツの視聴者に伝達する方法。
【請求項17】
少なくとも１つのメディアサーバーシステムが、前記オーディオビデオコンテンツを含む第１の信号を前記１次視聴デバイスに転送し、前記触覚コンテンツを含む第２の信号を前記２次デバイスに転送する、請求項１６に記載の方法。
【請求項18】
少なくとも１つのメディアサーバーシステムが、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記１次視聴デバイスに転送し、前記１次視聴デバイスは、少なくとも前記触覚コンテンツを前記２次デバイスに転送する、請求項１６に記載の方法。
【請求項19】
少なくとも１つのメディアサーバーシステムが、前記オーディオビデオコンテンツ及び前記触覚コンテンツの双方を含む信号を前記２次デバイスに転送し、前記２次デバイスは、少なくとも前記オーディオビデオコンテンツを前記１次視聴デバイスに転送する、請求項１６に記載の方法。
【請求項20】
前記２次デバイス上に出力される前記触覚コンテンツを、前記１次視聴デバイス上に出力される前記オーディオビデオコンテンツと同期させるステップを更に含む、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］本出願は、２０１４年７月７日に出願された米国仮特許出願第６２／０２１，６６３号の恩典を主張し、その特許出願は引用することによりその全体が本明細書の一部をなす。
【0002】
本発明の実施の形態は、包括的には、マルチメディアコンテンツの処理及び提示に関し、特に、触覚効果を用いてオーディオビデオコンテンツを向上させることに関する。
【背景技術】
【0003】
「セカンドスクリーン」という用語は、コンピューティングデバイスを用いて、テレビ等の第１のデバイス若しくは１次デバイス又は第１のスクリーン若しくは１次スクリーン上で視聴されているコンテンツの向上された視聴エクスペリエンスを提供することを指す。言い換えると、セカンドスクリーンは、テレビ視聴者が鑑賞している番組を向上させるためにテレビ視聴者によって用いられる第２の電子デバイスである。セカンドスクリーンは、多くの場合、タブレット又はスマートフォンがＴＶコンパニオンデバイスとなるような異なる方法で視聴者がテレビ番組とインタラクトすることを特殊な補完ａｐｐが可能にすることができるスマートフォン又はタブレットコンピューターである。例えば、これらの２次ディスプレイのうちの幾つかは、ニュース又は現在の出来事の放送等の視覚的な放送についてのリアルタイムチャットを可能にする。セカンドスクリーン現象は、ＴＶを視聴者にとってよりインタラクティブなものにする試みを表す。
【0004】
ビデオゲーム業界において一般に用いられる触覚効果は、ユーザーエクスペリエンスを向上させるとともに、仮想環境をユーザーにとってよりインタラクティブなものにする触知的な合図（cues）を提供することができる。例えば、振動効果、すなわち振動触知触覚効果は、特定のイベントをユーザーに警告する合図を電子デバイスのユーザーに提供することに役立つこともできるし、シミュレーションされた環境又は仮想的な環境内でより大きな感覚的没入を生み出すリアル感のあるフィードバックを提供することもできる。
【0005】
しかしながら、触覚効果は、通常、テレビ等の１次視聴デバイスに放送されず、別の方法で提供もされない。したがって、本発明の実施の形態は、セカンドスクリーンを用いてユーザーの視聴エクスペリエンスを更に向上させることに関係したものである。より詳細には、本発明の実施の形態は、マルチデバイス環境において触覚効果を用いてオーディオビデオコンテンツを向上させることに関係したものである。
【発明の概要】
【0006】
本発明の実施の形態は、マルチデバイスシステムであって、少なくとも１つのメディアサーバーシステムと、表示スクリーンを備える１次視聴デバイスと、触覚出力デバイスを備える２次デバイスとを備える、マルチデバイスシステムに関する。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソース(source)を備え、これらのオーディオビデオコンテンツ及び触覚コンテンツを転送するように構成されている。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。１次視聴デバイスは、少なくとも１つのメディアサーバーシステムから受信されたオーディオビデオコンテンツを出力するように構成されている。２次デバイスは、ユーザー入力を受信するように構成され、少なくとも１つのメディアサーバーシステムから受信された触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。
【0007】
本発明の実施の形態は、マルチデバイスシステムであって、少なくとも１つのメディアサーバーシステムと、表示スクリーンを備え、オーディオビデオコンテンツを出力するように構成された１次視聴デバイスと、ユーザー入力を受信するように構成され、触覚効果をユーザーに出力するように構成された触覚出力デバイスを備える２次デバイスとを備える、マルチデバイスシステムにも関する。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツのソースを備え、これらのオーディオビデオコンテンツ及び触覚コンテンツを転送するように構成されている。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。少なくとも１つのメディアサーバーシステムは、オーディオビデオコンテンツ及び触覚コンテンツを１次視聴デバイス及び２次デバイスのうちの少なくとも一方に転送するように構成されている。１次視聴デバイスは、少なくとも１つのメディアサーバーシステムから受信されたオーディオビデオコンテンツを出力するように構成され、２次デバイスは、少なくとも１つのメディアサーバーシステムから受信された触覚コンテンツを出力するように構成され、触覚コンテンツは、触覚出力デバイスを介して触覚効果として出力される。
【0008】
本発明の実施の形態は、触覚効果をオーディオビデオコンテンツの視聴者に伝達する方法にも関する。オーディオビデオコンテンツが、１次視聴デバイスにおいて受信され、この１次視聴デバイスは、表示スクリーンを備える。触覚コンテンツが、２次デバイスにおいて受信され、この２次デバイスは、ユーザー入力を受信するように構成され、触覚効果をユーザーに出力するように構成された触覚出力デバイスを備える。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。オーディオビデオコンテンツは、１次視聴デバイス上に出力又はレンダリングされ、触覚コンテンツは、２次デバイス上に出力又はレンダリングされる。触覚コンテンツは、触覚出力デバイスを介して触覚効果として出力される。
【0009】
本発明の上述の特徴及び利点並びに他の特徴及び利点は、添付の図面に示されるような本発明の実施形態の以下の説明から明らかであろう。本明細書に組み込まれるとともに本明細書の一部をなす添付の図面は更に、本発明の原理を説明するとともに、当業者が本発明を実施及び使用することを可能にする役割を果たす。図面は一定縮尺ではない。
【図面の簡単な説明】
【0010】
【図1】メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーがオーディオビデオコンテンツを１次視聴デバイスに配信するとともに触覚コンテンツを２次デバイスに配信するマルチデバイスシステムの説明図である。
【図3】本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーはオーディオビデオコンテンツを１次視聴デバイスに配信するとともに触覚コンテンツを２次デバイスに配信し、再生ロケーター信号がオーディオビデオコンテンツ及び触覚コンテンツの同期を確保するのに利用される。
【図5】本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、２つのメディアサーバー、１次視聴デバイス、及び２次デバイスを備え、第１のメディアサーバーはオーディオビデオコンテンツを１次視聴デバイスに配信し、第２のメディアサーバーは触覚コンテンツを２次デバイスに配信し、再生ロケーター信号がオーディオビデオコンテンツ及び触覚コンテンツの同期を確保するのに利用される。
【図7】本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーはオーディオビデオコンテンツ及び触覚コンテンツを２次デバイスに配信し、２次デバイスは少なくともオーディオビデオコンテンツを１次視聴デバイスに配信する。
【図9】本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、２つのメディアサーバー、１次視聴デバイス、及び２次デバイスを備え、第１のメディアサーバーがオーディオビデオコンテンツを２次デバイスに配信し、第２のメディアサーバーが触覚コンテンツを２次デバイスに配信し、２次デバイスが少なくともオーディオビデオコンテンツを１次視聴デバイスに配信する。
【図11】本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、メディアサーバー、１次視聴デバイス、及び２次デバイスを備え、メディアサーバーはオーディオビデオコンテンツ及び触覚コンテンツを１次視聴デバイスに配信し、１次視聴デバイスは少なくとも触覚コンテンツを２次デバイスに配信する。
【図13】本発明の別の実施形態によるマルチデバイスシステムの説明図であり、このマルチデバイスシステムは、２つのメディアサーバー、１次視聴デバイス、及び２次デバイスを備え、第１のメディアサーバーはオーディオビデオコンテンツを１次視聴デバイスに配信し、第２のメディアサーバーは触覚コンテンツを１次視聴デバイスに配信し、１次視聴デバイスは少なくとも触覚コンテンツを２次デバイスに配信する。
【図15】本発明の一実施形態による、触覚効果をオーディオビデオコンテンツの視聴者に伝達する方法のフロー図である。
【図16】本発明の別の実施形態によるマルチデバイスシステムを示す図であり、このマルチデバイスシステムの１次視聴デバイス及び２次デバイスは互いにインタラクトすることができる。
【図22】マルチデバイスシステムの１次視聴デバイス及び２次デバイスが互いにインタラクトすることができる別の例を示す図であり、ボールが２次デバイスのスクリーン上に表示され、グローブ、すなわち標的が１次視聴デバイスのスクリーン上に表示されている。
【発明を実施するための形態】
【0011】
ここで本発明の特定の実施形態を、同様の参照符号が同一又は機能的に類似した要素を示す図面を参照して説明する。以下の詳細な説明は本来例示的なものでしかなく、本発明又は本発明の用途及び使用を限定するように意図されていない。さらに、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている、明示又は暗示されるいかなる理論にも制限されることは意図されていない。
【0012】
本発明の実施形態は、触覚コンテンツをオーディオビデオコンテンツの視聴者に伝達するマルチデバイスシステムに関する。より詳細には、オーディオビデオコンテンツと、このオーディオビデオコンテンツに関連付けられた触覚コンテンツは、少なくとも１つのメディアサーバーシステムに記憶されているか、又はこの少なくとも１つのメディアサーバーシステムが発信元である。オーディオビデオコンテンツは、このコンテンツに対するビデオコンポーネント及びオーディオコンポーネントの双方を含むテレビ番組、映画、スポーツ放送、ニュース放送、ユーザーが作成したコンテンツ、又は他の番組を含むが、これらに限定されるものではない。オーディオビデオコンテンツに「関連付けられた」触覚コンテンツは、本明細書において用いられるとき、このオーディオビデオコンテンツの内容に付随し、この内容を向上させ、補足し、又は補完するためにこのオーディオビデオコンテンツに相関、関連、リンク、又は別の方法で関係する任意の触覚効果又は触知効果を含むが、これらに限定されるものではない。オーディオビデオコンテンツは、ＴＶ等の１次視聴デバイス上にレンダリング又は出力され、触覚コンテンツは、スマートフォン又はタブレットコンピューター等の２次デバイス上にレンダリング又は出力される。例えば、ユーザーは、１次視聴デバイス、すなわちＴＶにおいてビデオを鑑賞し、２次デバイス、すなわちスマートフォン若しくはタブレットコンピューターを保持するか又は２次デバイス、すなわちウェアラブルデバイスを自身の身体に取り付けているか若しくは結合している。このウェアラブルデバイスは、ユーザーの手首に結合される腕時計、ユーザーの腕に結合されるアームバンド又は別の身体部分に結合されるウェアラブルデバイス等であるが、これらに限定されるものではない。１次視聴デバイスにおいてビデオを鑑賞している間、２次デバイスは、触知効果又は触覚効果をユーザーに伝達するように構成されている。触覚効果は、１次視聴デバイスにおいて鑑賞されているビデオに関係又は関連付けられ、このため、システムは、マルチデバイス環境においてユーザーにとって触覚的に向上されたメディアエクスペリエンスをもたらす。
【0013】
より詳細には、図１及び図２を参照すると、本発明の一実施形態によるマルチデバイスシステム１００が示されている。図１はシステム１００の概略説明図である一方、図２はシステム１００のブロック図である。システム１００は、メディアサーバー１０２、１次視聴デバイス１３０、及び２次デバイス１１０を備える。メディアサーバー１０２は、オーディオビデオコンテンツ又はオーディオビデオデータと、関連付けられた触覚コンテンツ又は触覚データとのソース(source)である。メディアサーバー１０２は、オーディオビデオコンテンツを１次視聴デバイスに送信又は送出するために１次視聴デバイス１３０と通信する。オーディオビデオコンテンツは、メディアサーバー１０２からオーディオビデオ信号１０６として送信される。オーディオビデオ信号１０６は、例えば、無線又はケーブルによる放送基準信号とすることもできるし、オーバーザトップテクノロジー（ＯＴＴ：Over the Top Technology）ユニキャストタイプ信号、例えば、スマートテレビ（SmartTV）へのネットフリックス（Netflix）とすることもできる。メディアサーバー１０２は、触覚コンテンツを２次デバイスに送信又は送出するために２次デバイス１１０とも通信する。触覚コンテンツは、メディアサーバー１０２から触覚信号１０４として送信される。メディアサーバー１０２は、例えば、放送ネットワークサービスサーバー、ケーブル通信サービスサーバー、衛星通信サービスサーバー、クラウドビデオストリーミングサービスサーバー、ゲーミングコンソールサーバー、又は他の任意のタイプのサーバーとすることができる。メディアサーバー１０２は、当業者に既知の有線通信手段又は無線通信手段を用いて１次視聴デバイス１３０及び２次デバイス１１０と通信する。加えて、メディアサーバー１０２は、リモート配置されたデバイス内に示され、このデバイスからの信号が有線接続又は無線接続を通じて通信されるようになっているが、メディアサーバー１０２は、代替的に、２次デバイス１１０又は１次視聴デバイス１３０内に配置することもできるし、２次デバイス１１０又は１次視聴デバイス１３０上に備えることもできる。
【0014】
１次視聴デバイス１３０は、メディアサーバー１０２から受信されたオーディオビデオコンテンツを出力するように構成されたテレビジョン、すなわちＴＶ等のオーディオビデオ表示デバイスである。図２のブロック図に示すように、１次視聴デバイス１３０は、受信機１３２、サウンドデバイス１４６、及び表示スクリーン１４０を備える。受信機１３２は、オーディオビデオ信号１０６を受信し、このオーディオビデオ信号１０６を、画像及び音に処理することができる電気信号に変換する。サウンドデバイス１４６は、例えば、１次視聴デバイス１３０に内蔵又は結合されたスピーカーとすることができ、電気信号を音波に変換して、ビデオ画像とともにオーディオを再生することができる。１次視聴デバイス１３０は、このように、サウンドデバイス１４６を介してオーディオを出力する。表示スクリーン１４０は、電気信号を可視光に変換するように構成され、ビデオをユーザーに出力する任意のタイプの媒体とすることができる。この任意のタイプの媒体は、モニター、テレビスクリーン、プラズマディスプレイ、ＬＣＤ、プロジェクター、又は他の任意の表示デバイスを含むが、これらに限定されるものではない。１次視聴デバイス１３０は、このように、表示スクリーン１４０を介してビデオを出力する。ＴＶ以外のオーディオビデオ表示デバイスは、限定されるものではないがスマートフォン、ゲームコンソール、パーソナルデジタルオーガナイザー、ノートブックコンピューター及び表示スクリーンが結合された他のタイプのコンピューターを含めて、１次視聴デバイス１３０として用いることができる。利用されるメディアサーバー１０２のタイプに応じて、１次視聴デバイス１３０は、インターネットからストリーミング信号を受信する内蔵式の有線モデム又は無線モデム１４８を備えることができる。代替的に、モデム１４８は、内蔵式ではなく１次視聴デバイス１３０に結合することができる。
【0015】
２次デバイス１１０は、メディアサーバー１０２から受信された触覚コンテンツを、ユーザーによって感知又は知覚される触覚効果として出力するように構成されている。触覚効果を知覚するために、２次デバイス１１０は、ユーザーによって保持されるデバイス、ユーザーに取り付けられるデバイス若しくはユーザーに結合されるデバイス、又はこれら以外で、触覚効果又は触知効果をユーザーに伝達することができる表面を有するデバイスである。一実施形態では、２次デバイスは、タッチスクリーン、タッチパッド、コンピューター周辺機器、制御ボタン、トリガー、ジョイスティック又はサムスティック等のユーザー入力要素を介してユーザーの入力又は制御を受信するように構成されているか又は受信することが可能である。例えば、一実施形態では、２次デバイス１１０は、触覚効果レンダリング能力を備えるモバイルフォン又はタブレットコンピューターである。例えば、２次デバイス１１０は、Ａｐｐｌｅ（商標）Ｉｐａｄ（商標）、Ｋｉｎｄｌｅ（商標）Ｆｉｒｅ（商標）、及びＳａｍｓｕｎｇ（商標）Ｇａｌａｘｙ Ｔａｂ（商標）等のよく知られており市場において入手可能なタブレットコンピューターとすることができる。２次デバイス１１０の他の適したデバイスは、携帯情報端末（ＰＤＡ）、コンピューター、ゲーミング周辺機器、及び触覚コンテンツを出力するように構成されているとともにユーザー入力も受信するように構成されているか又は受信することが可能な当業者に既知の他のデバイスを含むが、これらに限定されるものではない。
【0016】
図２のブロック図に示すように、２次デバイス１１０は、受信機１１２、プロセッサ１１４、メモリ１１６、少なくとも１つの触覚出力デバイス１１８、表示スクリーン１２０、及びサウンドデバイス１２６を備える。２次デバイス１１０は、メモリ１１６に記憶されてプロセッサ１１４によって実行されるソフトウェアアプリケーションを実行する。プロセッサ１１４は、任意のタイプの汎用プロセッサとすることもできるし、触覚効果信号を提供するように特に設計されたプロセッサとすることもできる。メモリ１１６は、限定されるものではないがランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）等の任意のタイプの記憶デバイス又はコンピューター可読媒体とすることができる。メモリ１１６は、プロセッサの内部に配置することもできるし、内部メモリ及び外部メモリの任意の組み合わせとすることもできる。サウンドデバイス１２６は、例えば、２次デバイス１１０がこのサウンドデバイス１２６を介してオーディオを出力することができるような、２次デバイス１１０に内蔵又は結合されたスピーカーとすることができる。この実施形態では、２次デバイス１１０は、表示スクリーン１２０を介してビデオを出力することもできる。ディスプレイ１２０は、２次デバイス１１０に結合することもできるし、当業者に知られているように、２次デバイス１１０及びディスプレイ１２０を組み合わせて単一のデバイスにすることもできる。一実施形態では、表示スクリーン１２０は、ユーザー入力を受信するように構成されたタッチスクリーンである。加えて、利用されるメディアサーバー１０２のタイプに応じて、２次デバイス１１０は、ストリーミング信号をインターネットから受信する内蔵式の有線モデム又は無線モデム１２８を備えることができる。代替的に、モデム１２８は、内蔵式ではなく２次デバイス１１０に結合することができる。
【0017】
動作時において、２次デバイス１１０の受信機１１２は、触覚信号１０４を受信し、触覚信号１０４を認識する。触覚信号１０４は、その後、プロセッサ１１４に転送又は送信される。触覚信号１０４は、例えば、直接的な触覚効果ストリーム又はどの触覚効果を実施しなければならないのかを示す一組のコマンドを含むことができる。メディアサーバー１０２からの触覚信号１０４の受信に応答して、プロセッサ１１４は、１つ又は複数の触覚効果をユーザーに提供又は出力するように触覚出力デバイス１１８に命令する。プロセッサ１１４は、いかなる触覚効果を触覚出力デバイス１１８に送出するのか及び触覚効果をいかなる順序で送出するのかを決定することができる。例えば、触覚信号１０４は、メディアサーバー１０２から２次デバイス１１０にストリーミングされる電圧の大きさ及び継続時間を含むことができる。別の例では、触覚信号１０４は、触覚出力デバイス１１８によって出力される触覚効果のタイプ（例えば、振動、ジョルト(jolt)、デテント(detent)、ポップ等）等の高レベルコマンドをプロセッサ１１４に提供することができ、それによって、プロセッサ１１４は、出力される触覚効果の特定の特性（例えば、大きさ、周波数、継続時間等）に関して触覚出力デバイス１１８に命令する。プロセッサ１１４は、触覚効果のタイプ、大きさ、周波数、継続時間、又は他の特性を、このプロセッサに結合されたメモリ１１６から取り出すことができる。
【0018】
触覚フィードバックは、ユーザーエクスペリエンスを向上させる。運動感覚効果（能動（active）触覚フィードバック及び抵抗触覚フィードバック等）及び／又は触知効果（振動、テクスチャ、及び熱等）は、本明細書において用いられるとき、「触覚フィードバック」又は「触覚効果」と総称される。この集合的な触覚効果は、複数のモダリティ(modality)、例えば、ビデオ、オーディオ、及び触覚が同時に関与しているので、オーディオビデオコンテンツへのより大きな没入感をユーザーに提供する。例えば、振動効果、すなわち振動触知触覚効果は、特定のイベントをユーザーに警告する合図をユーザーに提供することに役立つこともできるし、シミュレーションされた環境又は仮想的な環境内でより大きな感覚的没入を生み出すリアル感のあるフィードバックを提供することもできる。ユーザーが１次デバイス１３０を介してオーディオビデオコンテンツを視聴している間に２次デバイス１１０によって有利に出力することができる触覚効果の例は、以下のものを含むが、これらに限定されるものではない。（１）幾つかの加速度計、ジャイロスコープ、及び他のセンサーが、対象物体（例えば、バスケットボール）の動的性質の測定を行っており、これらの測定が、アルゴリズムを通じて意味のある触覚効果データに変換されている、ライブスポーツイベントにおけるミキシングブース(mixing booth)；（２）オーディオビデオコンテンツを観察し、例えば、２人のホッケー選手がスクリーン上で衝突するのが見えたときのボディチェックの感触を表す触覚効果の作成といった触覚効果データの生成をいつ行うのが適切であるのかを判断するオーディオ及びビデオの解析機器及びアルゴリズム；（３）触覚効果データの作成を容易にするツールを用いてアーティストによって生成された手細工(hand-crafted)の触覚効果、例えば、触覚感覚は、一連の巨大な爆発が機銃掃射を用いて散りばめられているハリウッドアクション映画のアーティストによって設計される；並びに（４）対象物体に向けられ、それらの物体の動的性質を測定し、測定データを意味のある触覚効果データに変換するアルゴリズムに測定データを供給する非接触測定機器、例えば、木槌によって打たれているゴングを対象としたレーザー振動計であって、ゴングの動作及び打撃によって生成された発振をピックアップし、振動計データを触覚感覚に変換するアルゴリズムを実行する機器に振動計データを供給する振動計。２次デバイス１１０のプロセッサ１１４は、触覚コンテンツをレンダリングしている特定のタイプの２次デバイス用に最適化するように触覚コンテンツを更に調整又は調節するソフトウェアアルゴリズムを実行している場合がある。
【0019】
触覚出力デバイス１１８によって提供される触覚効果は、デテント又は振動等の一時的な効果を含むことができるが、これらに限定されるものではない。触覚出力デバイス１１８は、力学的及び／又は非力学的なアクチュエーターとすることができる。可能な力学的アクチュエーターは、偏心質量体がモーターによって移動される偏心回転質量体（「ＥＲＭ」）アクチュエーター、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエーター（「ＬＲＡ」）、圧電アクチュエーター、偏心質量体がモーターによって移動される電磁モーター、振動触知アクチュエーター、慣性アクチュエーター、及びここで説明したアクチュエーターの任意の組み合わせを含むが、これらに限定されるものではない。可能な非力学的アクチュエーターは、静電摩擦（ＥＳＦ）アクチュエーター、超音波表面摩擦（ＵＳＦ）アクチュエーター、及びここで説明したアクチュエーターの任意の組み合わせを含むが、これらに限定されるものではない。別の実施形態では、触覚出力デバイス１１８は、運動感覚触覚フィードバックを用いることができ、例えば、２次デバイス１１０のハウジングの剛性／ダンピングを変化させるソレノイド、ハウジング内のサイズを変化させる小さなエアバッグ、又は形状変化材料を含む。
【0020】
図１及び図２の実施形態では、システム１００は、メディアサーバー１０２が触覚信号１０４及びオーディオビデオ信号１０６をそれぞれ２次デバイス１１０及び１次視聴デバイス１３０に直接送信又は通信することを意味する「メディアサーバー駆動型」である。メディアサーバー駆動型の実施形態では、触覚的に向上されたコンテンツの視聴を所望するユーザーは、２次デバイス１１０及び１次視聴デバイス１３０のスイッチ又は電源をオンにする。例えば、１次視聴デバイス１３０は、ＴＶのＣＰＵ上で動作しているａｐｐを用いてセットトップボックスを介して、又は直接的な無線によるデジタル放送を通じて、メディアサーバー１０２からオーディオビデオ信号１０６の供給を受けることができる。２次デバイス１１０は、メディアサーバー１０２とのデータ接続を確立する。一実施形態では、２次デバイス１１０は、コンテンツに関連付けられたａｐｐ（例えば、触覚コンテンツのソース／所有者によって作成されたａｐｐ）を必要とする場合もあるし、２次デバイスのブラウザーを介して特定のＨＴＴＰアドレスに接続することが必要な場合もある。メディアサーバー１０２は、オーディオビデオ信号１０６を１次視聴デバイス１３０にストリーミング又は別の方法で送信するとき、メディアサーバー１０２は、同時に触覚信号１０４も２次デバイス１１０にストリーミング又は別の方法で供給する。
【0021】
本発明の一実施形態では、マルチデバイスシステムは、２次デバイス上に出力されている触覚コンテンツと、１次視聴デバイス上に出力されているオーディオビデオコンテンツとの同期を確保する手段を備えることができる。より詳細には、図３及び図４を参照すると、本発明の一実施形態によるマルチデバイスシステム３００が示されている。図３はシステム３００の概略説明図である一方、図４はシステム３００のブロック図である。システム３００は、メディアサーバー３０２、１次視聴デバイス３３０、及び２次デバイス３１０を備える。マルチデバイスシステム１００と同様に、マルチデバイスシステム３００は、メディアサーバー駆動型であり、メディアサーバー３０２は、オーディオビデオ信号３０６を１次視聴デバイスに送信又は送出するために１次視聴デバイス３３０と直接通信し、触覚信号３０４を２次デバイスに送信又は送出するために２次デバイス３１０とも直接通信するようになっている。上記で説明したマルチデバイスシステム１００の構成要素と同様に、図４のブロック図に示すように、１次視聴デバイス３３０は、受信機３３２、サウンドデバイス３４６、及び表示スクリーン３４０を備える一方、２次デバイス３１０は、受信機３１２、プロセッサ３１４、メモリ３１６、少なくとも１つの触覚出力デバイス３１８、表示スクリーン３２０、及びサウンドデバイス３２６を備える。一方、この実施形態では、１次視聴デバイス３３０及び２次デバイス３１０は、それぞれのデバイス上に出力されているコンテンツの同期を確保するために通信する。再生ロケーター信号(playback locator signal)３５０が、１次視聴デバイス３３０と２次デバイス３１０との間で通信される。再生ロケーター信号３５０は、メディアサーバー３０２を通過する通信パスを含む任意の手段を通じて有線又は無線で通信することができる。一実施形態では、再生ロケーター信号３５０は、知覚できない変更をオーディオ信号及び／又はビデオ信号に加えてタイミング情報を符号化し、１次視聴デバイスから放送することによって通信することができる。
【0022】
より詳細には、２次デバイス３１０は、再生ロケーター(playback locator)３２２を備え、１次視聴デバイス３３０は、再生ロケーター３４２を備える。再生ロケーター３２２、３４２は、それぞれ触覚信号３０４、オーディオビデオ信号３０６の時間的基準点を求めるように機能する。この時間的基準点は、例えば、タイムコード、カウンター、消費されたメディア再生の秒数、メディアファイルにおける現在の時間的再生位置、又は再生位置の他の任意の表示とすることができる。１次視聴デバイス３３０の再生ロケーター３４２は、２次デバイス３１０の再生ロケーター３２２に時折再生位置を通信し、この逆方向の通信についても同様である。２次デバイス３１０は、受信された再生位置のロケーション情報を用いて、触覚信号３０４の触覚部分が、１次視聴デバイス３３０上にレンダリングされているオーディオビデオ信号３０６と十分に同期してレンダリングされることを確保する。
【0023】
マルチデバイスシステムは、触覚信号及びオーディオビデオ信号の双方を配信する単一のサーバーのみを用いて示されているが、本発明の別の実施形態では、触覚コンテンツを２次デバイスに配信し、オーディオビデオコンテンツを１次視聴デバイスに配信する２つの別個の又は分離したサーバーを備えることができる。言い換えると、本明細書において説明する１つ又は複数のメディアサーバーは、メディアサーバーシステムとみなすことができる。より詳細には、図５及び図６を参照すると、本発明の一実施形態によるマルチデバイスシステム５００が示されている。図５はシステム５００の概略説明図である一方、図６はシステム５００のブロック図である。システム５００は、第１のメディアサーバー５０２Ａ、第２のメディアサーバー５０２Ｂ、１次視聴デバイス５３０、及び２次デバイス５１０を備える。オーディオビデオコンテンツ及び触覚コンテンツは、このように、分離した別個のメディアサーバー５０２Ａ、５０２Ｂから供給される。メディアサーバー５０２Ｂは、オーディオビデオ信号５０６を１次視聴デバイスに送信又は送出するために１次視聴デバイス５３０と直接通信し、メディアサーバー５０２Ａは、触覚信号５０４を２次デバイスに送信又は送出するために２次デバイス５１０と直接通信する。上記で説明した実施形態と同様に、図６のブロック図に示すように、１次視聴デバイス５３０は、受信機５３２、サウンドデバイス５４６、及び表示スクリーン５４０を備える一方、２次デバイス５１０は、受信機５１２、プロセッサ５１４、メモリ５１６、少なくとも１つの触覚出力デバイス５１８、表示スクリーン５２０、及びサウンドデバイス５２６を備える。加えて、図３及び図４の実施形態と同様に、１次視聴デバイス５３０及び２次デバイス５１０は、それぞれのデバイス上に出力されているコンテンツの同期を確保するために通信する。２次デバイス５１０は、再生ロケーター５２２を備え、１次視聴デバイス５３０は、再生ロケーター５４２を備え、再生ロケーター信号５５０が、１次視聴デバイス５３０と２次デバイス５１０との間で通信される。
【0024】
本発明の別の実施形態によれば、マルチデバイスシステムは、メディアサーバーがデータ信号を２次デバイスにのみ直接送信又は供給することを意味する「２次デバイス駆動型」とすることができる。より詳細には、２次デバイス駆動型の実施形態では、メディアサーバーは、オーディオ、ビデオ、触覚のフル装備の信号を２次デバイスに送信する。その場合、２次デバイスは、次に、信号の少なくともオーディオビデオ部分を１次視聴デバイスに発信又は送信するとともに、２次デバイスは、触覚コンテンツをレンダリングする。２次デバイス駆動型の実施形態では、２次デバイスは、メディアサーバーに接続し、オーディオビデオコンテンツ及び触覚コンテンツを受信するように構成される。２次デバイスは、その場合、オーディオビデオコンテンツを１次視聴デバイスに送出して１次視聴デバイス上に表示するために、有線通信手段又は無線通信手段を介して１次視聴デバイスへの接続を確立する。
【0025】
より詳細には、２次デバイス駆動型の実施形態は、図７及び図８に示されている。マルチデバイスシステム７００は、メディアサーバー７０２、１次視聴デバイス７３０、及び２次デバイス７１０を備える。上記で説明した実施形態と同様に、図８のブロック図に示すように、１次視聴デバイス７３０は、受信機７３２、サウンドデバイス７４６、及び表示スクリーン７４０を備える一方、２次デバイス７１０は、受信機７１２、プロセッサ７１４、メモリ７１６、少なくとも１つの触覚出力デバイス７１８、表示スクリーン７２０、及びサウンドデバイス７２６を備える。マルチデバイスシステム７００は、メディアサーバー７０２が２次デバイス７１０とのみ直接通信するという点で、２次デバイス駆動型である。メディアサーバー７０２は、複合信号７０８を２次デバイス７１０に送信又は送出する。複合信号７０８は、ビデオコンテンツ又はビデオデータと、オーディオコンテンツ又はオーディオデータと、触覚コンテンツ又は触覚データとを含み、そのような部分は、時間的順序でインターリーブ(interleave)されて配信されるか、又はそのような部分は、順序付けされずに配信されるが、２次デバイス７１０によってユーザーに提示するための正しい時間的順序で再組み立てされるように解釈することができるシーケンス情報を含む。言い換えると、複合信号７０８の触覚コンテンツ又は触覚データは、全体のメディア信号内に分離又は独立した部分として離散的に含めることもできるし、本発明の別の実施形態では、触覚コンテンツ又は触覚データは、オーディオコンテンツ若しくはオーディオデータ及び／又はビジュアルコンテンツ若しくはビジュアルデータ内に同様に組み込み、その後、そこから抽出することもできる。
【0026】
２次デバイス７１０は、複合信号７０８を受信すると、受信機７１２を用いて、この複合信号の触覚部分を認識し、この触覚部分を再生用に復号化する。複合信号７０８内の触覚コマンドに応答して、プロセッサ７１４は、触覚効果を出力するように触覚出力デバイス７１８に命令する。一実施形態では、２次デバイス７１０は、複合信号７０８のオーディオ部分及びビデオ部分もそれぞれサウンドデバイス７２６及び表示スクリーン７２０を介してユーザーに提示又は出力することができる。別の実施形態では、２次デバイス７１０は、他のソースからの他のオーディオコンテンツ及び他のビデオコンテンツをそれぞれサウンドデバイス７２６及び表示スクリーン７２０を介して提示又は出力することができる。
【0027】
加えて、２次デバイス７１０は、複合信号７０８を受信すると、この複合信号のオーディオビデオ部分を認識する。２次デバイス７１０は、複合信号７０８の少なくともオーディオビデオ部分を１次視聴デバイス７３０に通信する変換器７２４を備える。図７及び図８の実施形態では、２次デバイス７１０は、オーディオビデオ部分を複合信号７０８から抽出するか又は取り去り、変換器７２４は、オーディオビデオ信号７０６のみを１次視聴デバイス７３０に通信する。換言すれば、複合信号７０８の触覚部分は、２次デバイス７１０が信号を１次視聴デバイス７３０に出力する前に除去される。そのような除去は、１次視聴デバイス７３０が、触覚部分を有する複合信号７０８を解釈することが可能でない場合に必要となる場合がある。複合信号７０８の触覚部分を除去することに加えて、変換器７２４は、１次視聴デバイス７３０が解釈及び表示することができるフォーマットにオーディオビデオ信号７０６を変更又は変換するのに必要とされる場合がある。オーディオビデオ信号７０６は、２次デバイス７１０から有線通信手段又は無線通信手段を介して１次視聴デバイス７３０に通信される。
【0028】
別の実施形態（不図示）では、２次デバイス７１０は、複合信号７０８を変更することも変換することもなく、この信号を１次視聴デバイス７３０に送信することができる。そのような実施形態では、１次視聴デバイス７３０は、複合信号７０８の触覚部分を無視することもできるし、１次視聴デバイスが有する手段であって、追加の視聴者に利用可能な手段であれば、あらゆる手段を通じて触覚効果をレンダリングすることもできる。
【0029】
図７及び図８の２次デバイス駆動型の実施形態は、複合信号を配信する単一のサーバーのみを用いて示されているが、本発明の別の実施形態では、マルチデバイスシステムは、触覚コンテンツ及びオーディオビデオコンテンツを別個の又は分離した信号として２次デバイスに分離して配信する２つの別個の又は分離したサーバーを備えることができる。より詳細には、図９及び図１０を参照すると、本発明の一実施形態によるマルチデバイスシステム９００が示されている。図９はシステム９００の概略説明図である一方、図１０はシステム９００のブロック図である。システム９００は、第１のメディアサーバー９０２Ａ、第２のメディアサーバー９０２Ｂ、１次視聴デバイス９３０、及び２次デバイス９１０を備える。オーディオビデオコンテンツ及び触覚コンテンツは、このように、分離した別個のメディアサーバー９０２Ａ、９０２Ｂから供給される。メディアサーバー９０２Ｂは、オーディオビデオ信号９０６を２次デバイスに送信又は送出するために２次デバイス９１０と直接通信し、メディアサーバー９０２Ａは、触覚信号９０４を２次デバイスに送信又は送出するために２次デバイス９１０と直接通信する。
【0030】
上記で説明した実施形態と同様に、図１０のブロック図に示すように、１次視聴デバイス９３０は、受信機９３２、サウンドデバイス９４６、及び表示スクリーン９４０を備える一方、２次デバイス９１０は、受信機９１２、プロセッサ９１４、メモリ９１６、少なくとも１つの触覚出力デバイス９１８、表示スクリーン９２０、及びサウンドデバイス９２６を備える。２次デバイス９１０の受信機９１２は、触覚信号９０４及びオーディオビデオ信号９０６の双方を受信すると、これらの信号を同期させて、触覚信号９０４のレンダリングが、オーディオビデオ信号９０６のレンダリングと十分に同期された状態を維持することを確保する。触覚信号９０４に応答して、プロセッサ９１４は、触覚効果を出力するように触覚出力デバイス９１８に命令する。加えて、２次デバイス９１０の送信機９２４は、オーディオビデオ信号９０６を１次視聴デバイス９３０に通信する。必要に応じて、オーディオビデオ信号の送信前に、送信機９２４は、１次視聴デバイス９３０が解釈及び表示することができるフォーマットにオーディオビデオ信号９０６を変更又は変換することができる。図９及び図１０の実施形態は、２つの別個の又は分離したサーバーを用いて示されているが、（図７及び図８の実施形態のような複合信号ではなく）別個の又は分離した触覚信号及びオーディオビデオ信号を配信する単一のサーバーを利用することができる。
【0031】
本発明の別の実施形態によれば、マルチデバイスシステムは、メディアサーバーが、データ信号を１次視聴デバイスにのみ直接送信又は供給することを意味する「１次視聴デバイス駆動型」とすることができる。より詳細には、１次視聴デバイス駆動型の実施形態では、メディアサーバーは、オーディオ、ビデオ、触知のフル装備の信号を１次視聴デバイスに送信する。その場合、１次視聴デバイスは、次に、信号の少なくとも触覚部分を２次デバイスに発信又は送信するとともに、１次視聴デバイスは、オーディオビデオコンテンツをレンダリングする。１次視聴デバイス駆動型の実施形態では、１次視聴デバイスは、触覚コンテンツを２次デバイスに送出して２次デバイス上でレンダリングするために、有線通信手段又は無線通信手段を介して２次デバイスへの接続を確立するように構成される。２次デバイスに接続して２次デバイスに触覚コンテンツを供給する機能は、ＴＶに接続されたセットトップボックスに存在することもできるし、スマートテレビ内にパッケージされたＣＰＵ上で動作するソフトウェアに存在することもできるし、メディアセンターのＰＣ等のデバイス、又は限定されるものではないがＡｐｐｌｅ ＴＶ、Ｃｈｒｏｍｅｃａｓｔ、若しくは類似のデバイス等の処理能力を有する他のデバイスに存在することもできる。１次視聴デバイスに関連付けられたソフトウェアは、２次デバイスが１次視聴デバイスへの有線又は無線の接続を確立することをサポートする。この接続の目的は、少なくとも部分的には、触覚コンテンツをレンダリングするために２次デバイスに送信することである。
【0032】
より詳細には、１次視聴デバイス駆動型の実施形態は、図１１及び図１２に示されている。マルチデバイスシステム１１００は、メディアサーバー１１０２、１次視聴デバイス１１３０、及び２次デバイス１１１０を備える。上記の実施形態と同様に、図１２のブロック図に示すように、１次視聴デバイス１１３０は、受信機１１３２、サウンドデバイス１１４６、及び表示スクリーン１１４０を備える一方、２次デバイス１１１０は、受信機１１１２、プロセッサ１１１４、メモリ１１１６、少なくとも１つの触覚出力デバイス１１１８、表示スクリーン１１２０、及びサウンドデバイス１１２６を備える。マルチデバイスシステム１１００は、メディアサーバー１１０２が１次視聴デバイス１１３０とのみ直接通信するという点で１次視聴デバイス駆動型である。メディアサーバー１１０２は、複合信号１１０８を１次視聴デバイス１１３０に送信又は送出する。複合信号１１０８は、ビデオコンテンツ又はビデオデータと、オーディオコンテンツ又はオーディオデータと、触覚コンテンツ又は触覚データとを含み、そのような部分は、時間的順序でインターリーブされて配信されるか、又はそのような部分は、順序付けされずに配信されるが、１次視聴デバイス１１３０によってユーザーに提示するための正しい時間的順序で再組み立てされるように解釈することができるシーケンス情報を含む。言い換えると、複合信号１１０８の触覚コンテンツ又は触覚データは、全体のメディア信号内に分離又は独立した部分として離散的に含めることもできるし、本発明の別の実施形態では、触覚コンテンツ又は触覚データは、オーディオコンテンツ若しくはオーディオデータ及び／又はビジュアルコンテンツ若しくはビジュアルデータ内に同様に組み込み、その後、そこから抽出することもできる。
【0033】
１次視聴デバイス１１３０は、複合信号１１０８を受信すると、この複合信号のオーディオビデオ部分を認識し、表示スクリーン１１４０及びサウンドデバイス１１４６を介してオーディオビデオコンテンツを出力する。加えて、複合信号１１０８を受信すると、１次視聴デバイス１１３０は、この複合信号の触覚部分を認識する。１次視聴デバイス１１３０は、複合信号１１０８の少なくとも触覚部分を２次デバイス１１１０に通信する変換器１１４４を備える。図１１及び図１２の実施形態では、１次視聴デバイス１１３０は、複合信号１１０８から触覚部分を抽出するか又は取り去り、変換器１１４４は、触覚効果のレンダリングのために触覚信号１１０４のみを２次デバイス１１１０に通信する。換言すれば、複合信号１１０８のオーディオビデオ部分は、１次視聴デバイス１１３０が信号を２次デバイス１１１０に出力する前に除去される。触覚信号１１０４は、１次視聴デバイス１１３０から有線通信手段又は無線通信手段を介して２次デバイス１１１０に通信される。
【0034】
別の実施形態では（不図示）、１次視聴デバイス１１３０は、複合信号１１０８を変更することも変換することもなく、この信号を２次デバイス１１１０に送信することができる。そのような実施形態では、２次デバイス１１１０は、複合信号１１０８のオーディオビデオ部分を無視することもできるし、表示スクリーン１１２０及びサウンドデバイス１１２６を介してオーディオビデオコンテンツを出力することもできる。
【0035】
図１１及び図１２の１次視聴デバイス駆動型の実施形態は、複合信号を配信する単一のサーバーのみを用いて示されているが、本発明の別の実施形態では、マルチデバイスシステムは、触覚コンテンツ及びオーディオビデオコンテンツを１次視聴デバイスに分離して配信する２つの別個の又は分離したサーバーを備えることができる。より詳細には、図１３及び図１４を参照すると、本発明の一実施形態によるマルチデバイスシステム１３００が示されている。図１３はシステム１３００の概略説明図である一方、図１４はシステム１３００のブロック図である。システム１３００は、第１のメディアサーバー１３０２Ａ、第２のメディアサーバー１３０２Ｂ、１次視聴デバイス１３３０、及び２次デバイス１３１０を備える。オーディオビデオコンテンツ及び触覚コンテンツは、このように、分離した別個のメディアサーバー１３０２Ａ、１３０２Ｂから供給される。メディアサーバー１３０２Ｂは、オーディオビデオ信号１３０６を１次視聴デバイスに送信又は送出するために１次視聴デバイス１３３０と直接通信し、メディアサーバー１３０２Ａは、触覚信号１３０４を１次視聴デバイスに送信又は送出するために１次視聴デバイス１３３０と直接通信する。
【0036】
上記で説明した実施形態と同様に、図１４のブロック図に示すように、１次視聴デバイス１３３０は、受信機１３３２、サウンドデバイス１３４６、及び表示スクリーン１３４０を備える一方、２次デバイス１３１０は、受信機１３１２、プロセッサ１３１４、メモリ１３１６、少なくとも１つの触覚出力デバイス１３１８、表示スクリーン１３２０、及びサウンドデバイス１３２６を備える。１次視聴デバイス１３３０の受信機１３３２は、触覚信号１３０４及びオーディオビデオ信号１３０６の双方を受信すると、これらの信号を同期させて、触覚信号１３０４のレンダリングが、オーディオビデオ信号１３０６のレンダリングと十分に同期された状態を維持することを確保する。加えて、１次視聴デバイス１３３０の送信機１３４４は、触覚効果のレンダリングのために触覚信号１３０４を２次デバイス１３１０に通信する。図１３及び図１４の実施形態は、２つの別個の又は分離したサーバーを用いて示されているが、（図１１及び図１２の実施形態のような複合信号ではなく）別個の又は分離した触覚信号及びオーディオビデオ信号を配信する単一のサーバーを利用することができる。
【0037】
図１５は、本発明の１つの実施形態による、触覚効果をオーディオビデオコンテンツの視聴者に伝達するフロー図である。一実施形態では、図１５のフロー図の機能は、２次デバイスのメモリに記憶されたソフトウェアによって実施され、２次デバイスのプロセッサによって及び／又は１次視聴デバイスによって実行される。他の実施形態では、この機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、又はハードウェア及びソフトウェアの任意の組み合わせを用いてハードウェアによって実行することができる。
【0038】
ステップ１５６０において、オーディオビデオコンテンツを有するオーディオビデオ信号と、触覚コンテンツを有する触覚信号とが、少なくとも１つのメディアサーバーシステムから転送される。触覚コンテンツは、オーディオビデオコンテンツに関連付けられている。これらのオーディオビデオ信号及び触覚信号は、１つ又は複数のメディアサーバーから別個の信号として分離して送出することもできるし、これらのオーディオビデオ信号及び触覚信号は、メディアサーバーから複合信号として送出することもできる。メディアサーバー駆動型の実施形態の場合、オーディオビデオ信号及び触覚信号は、それぞれ１次視聴デバイス及び２次デバイスに別個の信号として直接送出される。１次視聴デバイス駆動型の実施形態の場合、双方の信号は、１次視聴デバイスに転送され、その後、少なくとも触覚信号は、１次視聴デバイスから２次デバイスに転送される。２次デバイス駆動型の実施形態の場合、双方の信号は、２次デバイスに転送され、その後、少なくともオーディオビデオ信号は、２次デバイスから１次視聴デバイスに転送される。
【0039】
ステップ１５６２において、１次視聴デバイスが、オーディオビデオコンテンツを含むオーディオビデオ信号を受信する。メディアサーバー駆動型の実施形態又は１次視聴デバイス駆動型の実施形態の場合、オーディオビデオ信号はメディアサーバーから送出される。２次デバイス駆動型の実施形態の場合、オーディオビデオ信号は２次デバイスから送出される。１次視聴デバイスは、オーディオビデオ信号を受信すると、ステップ１５６４において、オーディオビデオコンテンツをこの１次視聴デバイス上に出力する。
【0040】
ステップ１５６６において、２次デバイスが、触覚コンテンツを含む触覚信号を受信する。メディアサーバー駆動型の実施形態又は２次デバイス駆動型の実施形態の場合、触覚信号はメディアサーバーから送出される。１次視聴デバイス駆動型の実施形態の場合、触覚信号は１次視聴デバイスから送出される。
【0041】
２次デバイスのプロセッサは、触覚信号を受信すると、ステップ１５６８において、この信号が触覚信号であるのか又は他の或る非触覚関連信号であるのかを判断する。信号が触覚信号でないと判断された場合、プロセッサは、いずれの触覚効果もユーザーに適用することなく機能し続け、メディアサーバー及び／又は１次視聴デバイスからの別の信号の受信を待機する。信号が触覚信号であると判断された場合、プロセッサは、ステップ１５７０において、コマンド又は命令を触覚出力デバイスに送出し、その後、触覚出力デバイスは、ステップ１５７２において、命令された触覚効果を出力する。触覚出力デバイスによって出力される触覚効果は、様々な度合いの振動、様々な度合いのデテント、又は他のタイプの触覚効果を含むことができるが、これらに限定されるものではない。
【0042】
２次デバイスが、複数の触覚出力デバイスを備える場合、２次デバイスのプロセッサは、いずれの触覚出力デバイスにおいて各触覚効果を実行してユーザーに提供するのかを判断することができる。そのような実施形態では、高レベルの触覚パラメーター又はストリーミング値が、２次デバイスのメモリに記憶されたソフトウェアコードに生成される。これらのパラメーター又は値は、プロセッサによって処理され、それによって、各触覚出力デバイスの適切な電圧レベルが生成される。これによって、２次デバイスは、適切な触覚効果をユーザーに提供し、出力デバイスごとに生成される異なる電圧レベルを通じて触覚効果の量又はタイプを変化させることが可能になる。
【0043】
本発明の一実施形態では、オーディオビデオコンテンツは、仮想ビデオゲームとすることができる。より詳細には、そのような実施形態では、マルチデバイスシステムは、ソフトウェアが動作するゲーミングコンソール（すなわち、Ｘｂｏｘ Ｏｎｅ又はＰｌａｙＳｔａｔｉｏｎ ４）と、触覚出力デバイスとしての機能を果たすことができるランブルモーター（rumble motor）等を介して触覚フィードバックを出力するように構成されているゲーミング周辺機器とを備える。ゲーミングコンソール上のソフトウェアは、メディアサーバーであるとともに、オーディオビデオコンテンツ及び触覚コンテンツのソースである。ゲーミングコンソールは、ビデオゲームを表示する１次視聴デバイスであり、ゲーミング周辺機器は、触覚コンテンツを出力する２次デバイスである。
【0044】
本明細書において説明したマルチデバイスシステムは、１次視聴デバイス及び単一の２次デバイスを備えるが、これらのシステムは、触覚コンテンツをそれぞれ出力する複数の２次デバイス及び／又はオーディオビデオコンテンツをそれぞれ出力する複数の１次視聴デバイスを備えることができることが当業者によって理解されるであろう。例えば、数人のユーザーが同じ単数の１次視聴デバイスを鑑賞している場合、各ユーザーは、それらのユーザー自身の２次デバイスを保持しており、それによって出力される触覚効果を知覚している場合がある。触覚信号、オーディオビデオ信号、及び／又は触覚コンテンツ及びオーディオビデオコンテンツの双方を有する複合信号は、メディアサーバーから幾つかのデバイスに同時に配信することができる。一実施形態では、１次視聴デバイス及び／又はメディアサーバーは、触覚対応２次デバイスの有無についての初期スキャン又は初期サーチを行うことができ、次に、１次視聴デバイス及び／又はメディアサーバーは、初期サーチ／スキャンにおいて突き止められた各触覚対応２次デバイスに少なくとも触覚信号を配信する。
【0045】
本発明の他の実施形態では、１次視聴デバイス及び２次デバイスは、互いにインタラクトすることができる。より詳細には、ユーザーは、２次デバイスとインタラクトすることができ、そのようなインタラクションは、１次視聴デバイス上に表示することができ、それによって、仮想環境が、ユーザーにとってよりインタラクティブなものになる。そのようなインタラクティブなセカンドスクリーン触覚の１つの例が、図１６乃至図２１に示されている。この実施形態では、図１６に示すように、マルチデバイスシステム１６００は、ソフトウェアが動作するゲーミングコンソール（不図示）と、１次視聴デバイス１６３０と、２次デバイス１６１０とを備える。ゲーミングコンソール上のソフトウェアは、メディアサーバーであるとともに、オーディオビデオコンテンツ及び触覚コンテンツのソースであり、１次視聴デバイス１６３０は、メディアサーバーから受信されたオーディオビデオコンテンツを出力するように構成されている一方、２次デバイス１６１０は、触覚出力デバイスを備え、メディアサーバーから受信された触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。図１７及び図１８を参照すると、ユーザーは、２次デバイス１６１０上のコンテンツとインタラクトするか又はこのコンテンツを制御する。図１７は、弓矢が２次デバイス１６１０のスクリーン上に表示されているところを示す一方、図１８は、ユーザーが２次デバイス１６１０のスクリーン上で弓矢を配備しているところを示している。図１９に示すように、移動する標的が、１次視聴デバイス１６３０上に表示されている。１次視聴デバイス１６３０上のこの標的は、２次デバイス１６１０上に表示されている弓矢の位置に関連付けられている。したがって、ユーザーが２次デバイス１６１０（及び２次デバイス上の弓矢）を移動させると、１次視聴デバイス１６３０上の標的も同様に移動する。ユーザーが準備できると、ユーザーは、２次デバイス１６１０上の矢を配備又は放ち、矢は、２次デバイス上にもはや表示されないが、一方で、この矢は、その後、図２０に示すように、１次視聴デバイス１６３０上に表示される。所定の経過時間の後、１次視聴デバイス１６３０は、矢が、図２１における１次視聴デバイス上のコンテンツに命中したところを表示する（すなわち、矢が城に命中しているところが示されている）。触覚コンテンツを含むメッセージを２つのデバイス間でインタラクティブな方法で送信するシステム及び方法は、Birnbaum他に対する米国特許第８，９７６，１１２号、Birnbaum他に対する米国特許第８，６３８，３０１号、及びBirnbaum他に対する米国特許出願公開第２０１０／０２１４２４３号に更に記載されている。これらの特許及び特許出願のそれぞれは、本出願と同じ譲受人に譲渡されており、これらの文献のそれぞれは、引用することによってその全内容が本明細書の一部をなす。
【0046】
そのようなインタラクティブなセカンドスクリーン触覚の別の例は、図２２乃至図２４に示されている。この実施形態では、図２２に示すように、マルチデバイスシステム２２００が、ソフトウェアが動作するゲーミングコンソール（不図示）、１次視聴デバイス２２３０、及び２次デバイス２２１０を備える。ゲーミングコンソール上のソフトウェアは、メディアサーバーであるとともに、オーディオビデオコンテンツ及び触覚コンテンツのソースであり、１次視聴デバイス２２３０は、メディアサーバーから受信されたオーディオビデオコンテンツを出力するように構成されている一方、２次デバイス２２１０は、触覚出力デバイスを備え、メディアサーバーから受信された触覚コンテンツを、触覚出力デバイスを介して触覚効果として出力するように構成されている。図２２乃至図２４を参照すると、ユーザーは、２次デバイス２２１０上のコンテンツとインタラクトするか又はこのコンテンツを制御する。図２２は、２次デバイス２２１０のスクリーン上に表示されたボールと、１次視聴デバイス２２３０のスクリーン上に表示されたグローブ、すなわち標的とを示している。図２３は、ユーザーがボールを仮想的に投げているところを示している。ユーザーは、投球動作で２次デバイス２２１０を移動させ、ボールは、２次デバイス上にもはや表示されないが、一方で、ボールは、その後、図２３に示すように１次視聴デバイス２２３０上に表示される。図２４は、ボールがグローブによって仮想的に捕球されるところを示している。より詳細には、所定の経過時間の後に、１次視聴デバイス２２３０は、ボールが１次視聴デバイス上に表示されたグローブ内に捕球されるところを表示する。
【0047】
図１６乃至図２１及び図２２乃至図２４に関して上記で説明したインタラクティブなセカンドスクリーン触覚の例は、１次視聴デバイス及び単一の２次デバイスを備えるが、システムは、同じ１次視聴デバイスとそれぞれインタラクトする複数の２次デバイスを備えることができることが、当業者によって理解されるであろう。例えば、数人のユーザーが、単一の１次視聴デバイス上に表示されたビデオゲームを鑑賞し、このビデオゲームに参加している場合、各ユーザーは、自身の２次デバイスをそれぞれ保持して、１次視聴デバイス上に表示された仮想環境と個々にインタラクトすることができる。一実施形態では、１次視聴デバイス及び／又はメディアサーバーは、触覚対応２次デバイスの有無についての初期スキャン又は初期サーチを行うことができ、次に、１次視聴デバイス及び／又はメディアサーバーは、初期サーチ／スキャンにおいて突き止められた各触覚対応２次デバイスに少なくとも触覚信号を配信する。したがって、初期サーチ／スキャンにおいて見つかった任意の触覚対応２次デバイスが、１次視聴デバイス上のビデオゲームとインタラクトすることができる。
【0048】
本発明による種々の実施形態を上述してきたが、これらの実施形態は、限定としてではなく本発明の単なる説明及び例として提示されていることを理解すべきである。形式及び細部における種々の変更は本発明の趣旨及び範囲から逸脱することなく本発明内で行うことができることは当業者には明らかであろう。例えば、本明細書において説明した２次デバイスは、オーディオコンテンツ及び／又はビデオコンテンツをオプションとして出力する表示スクリーン及び／又はサウンドデバイスを備えることができるが、２次デバイスは、これらの構成要素及び機能を有することを要しない。例えば、触覚出力に加えて、２次デバイスは、ビデオ出力を有する場合もあるし、オーディオ出力を有する場合もあるし、ビデオ出力及びオーディオ出力の双方を有する場合もあるし、ビデオ出力もオーディオ出力も有しない場合もある。さらに、上記で説明した１次視聴デバイスは、オーディオコンテンツ及びビデオコンテンツをそれぞれ出力する表示スクリーン及びサウンドデバイスを備えるが、１次視聴デバイスは、代替的にオーディオコンテンツのみ（例えば、ビデオコンテンツを伴わない音楽）を出力することもできるし、代替的にビデオコンテンツのみ（例えば、オーディオコンテンツを伴わない無声映画）を出力することもできるし、オーディオコンテンツ及びビデオコンテンツのそれぞれについて分離した又は別個の表示を備えることもできる。加えて、本明細書における実施形態は、２次デバイスによって出力される触覚コンテンツが、１次視聴デバイスによって出力されるビデオオーディオコンテンツに関連付けられ又は関係付けられていることを説明している。しかしながら、本発明の別の実施形態では、触覚コンテンツは、コンテンツが１次視聴デバイス上に表示されていることにかかわらず、２次デバイスにおけるインタラクションを促進するためにユーザーの注意を２次デバイスに引き寄せる目的を有する場合がある。例えば、触覚コンテンツは、広告目的を有する場合がある。したがって、本発明の範囲は、上述の例示的な実施形態のいずれかによって限定されるべきではなく、添付の特許請求の範囲及びそれらの均等物によってのみ規定されるべきである。本明細書において論考された各実施形態、及び本明細書において引用された各引用文献の各特徴は、他の任意の実施形態の特徴と組み合わせて用いることができることも理解されるであろう。本明細書において論考された全ての特許及び刊行物はその全体が、引用することにより本明細書の一部をなす。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【国際調査報告】