特開 2021-47907 触覚効果をストリーミングするためのシステム、装置、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-47907(P2021-47907A)

(43)【公開日】2021年3月25日

(54)【発明の名称】触覚効果をストリーミングするためのシステム、装置、および方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210226BHJP

【ＦＩ】

   G06F3/01 560

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

【全頁数】40

(21)【出願番号】特願2020-209822(P2020-209822)

(22)【出願日】2020年12月18日

(62)【分割の表示】特願2019-149408(P2019-149408)の分割

【原出願日】2019年8月16日

(31)【優先権主張番号】16/117,469

(32)【優先日】2018年8月30日

(33)【優先権主張国】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ−ｒａｙ

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ウー，リーウェン

(72)【発明者】

【氏名】オリヴァー，ユーグ−アントワーヌ

(72)【発明者】

【氏名】シナイ−グレーザー，サギー

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA79

5E555BA02

5E555BA04

5E555BA38

5E555BB02

5E555BB04

5E555BB38

5E555BC18

5E555CC11

5E555DA24

5E555FA00

(57)【要約】

【課題】複数の異なる装置に対して異なる触覚ストリームを設計することは非現実的で厄介である。
【解決手段】触覚効果をストリーミングするための装置および方法は、マスター触覚ライブラリに従って触覚効果を受信および符号化するためのシステムを作成するために提供される。符号化された触覚効果は、クライアント触覚装置に配信するためにサーバーシステムに送信される。クライアント触覚装置は、それぞれの装置の能力に従って受信した触覚効果を復号するために装置固有の触覚ライブラリを含む。
【選択図】図９

【特許請求の範囲】

【請求項1】

送信のために触覚入力を符号化するコンピュータ実装方法であって、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに前記方法を実行させるコンピュータプログラム命令でプログラムされた前記１つ以上の物理プロセッサを有する前記コンピュータシステム上で実行される方法であって、
コンテンツ識別子と設計された触覚効果との間の関連付けを格納しているマスター触覚ライブラリにアクセスすることであって、前記設計された触覚効果は第１の触覚ブロックテンプレートおよび第２の触覚ブロックテンプレートを含む、マスター触覚ライブラリにアクセスすることと、
触覚効果情報を受信することと、
前記マスター触覚ライブラリから、前記触覚効果情報に基づき前記第１の触覚ブロックテンプレートに従って第１の触覚ブロックを生成することと、
前記触覚効果情報に従って第１のタイムスタンプを前記第１の触覚ブロックに付加することと、
前記マスター触覚ライブラリから、前記触覚効果情報に基づき前記第２の触覚ブロックテンプレートに従って第２の触覚ブロックを生成することと、
前記触覚効果情報に従って第２のタイムスタンプを前記第２の触覚ブロックに付加することと、
前記第１の触覚ブロックおよび前記第１のタイムスタンプを前記第２の触覚ブロックおよび前記第２のタイムスタンプと共に触覚データユニットにカプセル化することと、
前記触覚データユニットを、１つ以上のクライアント触覚装置への配信のために触覚サーバーシステムに送信することと
を含む、コンピュータ実装方法。

【請求項2】

セッション識別を前記触覚データユニットにカプセル化することをさらに含み、
前記セッション識別は、前記第１の触覚ブロックおよび前記第２の触覚ブロックを含む完全な触覚効果を表す、請求項１に記載の方法。

【請求項3】

アクセス識別を、前記セッション識別と関連付けられた前記触覚データユニットにカプセル化することをさらに含み、
前記アクセス識別は、前記完全な触覚効果を受信するために選択された複数のクライアントを表す、請求項２に記載の方法。

【請求項4】

前記触覚データユニットを触覚ストリームの一部として送信することと、
前記触覚ストリームに対応するオーディオビジュアルストリームを送信することと
をさらに含む、請求項１に記載の方法。

【請求項5】

前記第１の触覚ブロックテンプレートは、基本触覚要素および少なくとも１つのブロックパラメータを含む、請求項１に記載の方法。

【請求項6】

前記第１の触覚ブロックテンプレートに従って前記第１の触覚ブロックを生成することは、繰返し数および振幅を前記少なくとも１つのブロックパラメータとして選択することを含む、請求項５に記載の方法。

【請求項7】

前記触覚効果情報は、記憶位置から受信される、請求項１に記載の方法。

【請求項8】

前記触覚効果情報は、ユーザーの入力ジェスチャに従って生成される、請求項１に記載の方法。

【請求項9】

前記マスター触覚ライブラリ、前記第１の触覚ブロックの前記第１の触覚ブロックテンプレート、および前記第２の触覚ブロックの前記第２の触覚ブロックテンプレートに基づいてマスター触覚サブライブラリを生成することと、
前記マスター触覚サブライブラリを前記触覚サーバーシステムに送信することと
をさらに含む、請求項１に記載の方法。

【請求項10】

触覚効果のストリームを符号化および送信するためのシステムであって、
１つ以上のプロセッサと、
命令を格納している記憶装置と、備え、
前記命令は、前記１つ以上のプロセッサによって実行される場合に、前記システムに
複数の触覚ブロックテンプレートを格納しているマスター触覚ライブラリにアクセスすることであって、各触覚ブロックテンプレートは基本触覚要素を表し、ブロックパラメータを有する、マスター触覚ライブラリにアクセスすることと、
触覚効果情報を受信することと、
前記マスター触覚ライブラリから、前記触覚効果情報に従って第１の触覚ブロックテンプレートおよび第１のブロックパラメータを有する第１の触覚ブロックを生成することと、
前記触覚効果情報に従って第１のタイムスタンプを前記第１の触覚ブロックに付加することと、
前記マスター触覚ライブラリから、前記触覚効果情報に従って第２の触覚ブロックテンプレートおよび第２のブロックパラメータを有する第２の触覚ブロックを生成することと、
前記触覚効果情報に従って第２のタイムスタンプを前記第２の触覚ブロックに付加することと、
前記第１の触覚ブロックおよび前記第１のタイムスタンプを前記第２の触覚ブロックおよび前記第２のタイムスタンプと共に触覚データユニットにカプセル化することと、
前記触覚データユニットを、１つ以上のクライアント触覚装置への配信のために触覚サーバーシステムに送信することと
を実行させる、システム。

【請求項11】

前記１つ以上のプロセッサは、前記システムに、セッション識別を前記触覚データユニットにカプセル化させるようにさらに構成され、
前記セッション識別は、前記第１の触覚ブロックおよび前記第２の触覚ブロックを含む完全な触覚効果を表す、請求項１０に記載のシステム。

【請求項12】

前記１つ以上のプロセッサは、前記システムに、アクセス識別を、前記セッション識別と関連付けられた前記触覚データユニットにカプセル化させるようにさらに構成され、
前記クライアント識別は、前記完全な触覚効果を受信するために選択されたクライアントのクラスを表す、請求項１１に記載のシステム。

【請求項13】

前記１つ以上のプロセッサは、前記システムに、
前記触覚データユニットを触覚ストリームの一部として送信することと、
前記触覚ストリームに対応するオーディオビジュアルストリームを送信することと
を行わせるようにさらに構成される、請求項１０に記載のシステム。

【請求項14】

前記第１および第２のブロックパラメータは、振幅および繰返しを含む、請求項１０に記載のシステム。

【請求項15】

前記基本触覚要素は、約２００ｍｓ未満のアクチュエータ起動を含む、請求項１０に記載のシステム。

【請求項16】

前記触覚効果情報は、記憶位置から受信される、請求項１０に記載のシステム。

【請求項17】

前記触覚効果情報は、ユーザーの入力ジェスチャに従って生成される、請求項１０に記載のシステム。

【請求項18】

前記１つ以上のプロセッサは、前記システムに、
前記マスター触覚ライブラリ、前記第１の触覚ブロックの前記第１のブロックテンプレート、および前記第２の触覚ブロックの前記第２のブロックテンプレートに基づいてマスター触覚サブライブラリを生成することと、
前記マスター触覚サブライブラリを前記触覚サーバーに送信することと
を行わせるようにさらに構成される、請求項１０に記載のシステム。

【請求項19】

触覚効果のストリームを送信するコンピュータ実装方法であって、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに前記方法を実行させるコンピュータプログラム命令でプログラムされた前記１つ以上の物理プロセッサを有する触覚サーバー上で実行される方法であって、
触覚オーサリングシステムとの通信を確立することと、
前記触覚オーサリングシステムから、前記触覚オーサリングシステム上に格納されたマスター触覚ライブラリのサブセットを含むマスター触覚サブライブラリを受信することと、
クライアント触覚装置との通信を確立することと、
装置触覚ライブラリにアクセスすることと、
前記クライアント触覚装置に、前記クライアント触覚装置の装置識別に従った前記装置触覚ライブラリからの装置固有の触覚サブライブラリおよび前記マスター触覚サブライブラリを提供することと、
前記触覚オーサリングシステムからマスター触覚ストリームを受信することと、
前記マスター触覚ストリームからクライアント触覚ストリームを生成することと、
前記クライアント触覚ストリームを前記クライアント触覚装置に送信することと
を含む、コンピュータ実装方法。

【請求項20】

前記クライアント触覚ストリームを生成することは、前記クライアント触覚装置のアカウント識別に従い、前記マスター触覚ストリームから触覚データユニットを選択することを含む、請求項１９に記載の方法。

【請求項21】

前記クライアント触覚装置は第１のクライアント触覚装置であり、前記装置固有の触覚サブライブラリは第１の装置固有の触覚サブライブラリであり、前記装置識別は第１の装置識別であり、前記クライアント触覚ストリームは第１のクライアント触覚ストリームであり、前記アカウント識別は第１のアカウント識別であり、
前記方法は
第２のクライアント触覚装置との通信を確立することと、
前記第２のクライアント触覚装置に、前記第２のクライアント触覚装置の第２の装置識別に従って判断された第２の装置固有の触覚サブライブラリを提供することと、
前記第１のクライアント触覚装置の第１のアカウント識別に従って前記マスター触覚ストリームの触覚データユニットを選択することにより前記第１のクライアント触覚ストリームを生成することと、
前記第２のクライアント触覚装置の前記第２のアカウント識別に従って前記マスター触覚ストリームの触覚データユニットを選択することにより第２のクライアント触覚ストリームを生成することと、
前記第２のクライアント触覚ストリームを前記第２のクライアント触覚装置に送信することと
をさらに含む、請求項２０に記載の方法。

【請求項22】

触覚効果のストリームを送信するための触覚サーバーシステムであって、
１つ以上のプロセッサと、
命令を格納している記憶装置と、を備え、
前記命令は、前記１つ以上のプロセッサによって実行される場合に、前記システムに
触覚オーサリングシステムとの通信を確立することと、
前記触覚オーサリングシステムから、前記触覚オーサリングシステム上に格納されたマスター触覚ライブラリのサブセットを含むマスター触覚サブライブラリを受信することと、
クライアント触覚装置との通信を確立することと、
装置触覚ライブラリにアクセスすることと、
前記クライアント触覚装置に、前記クライアント触覚装置の装置識別に従って判断された前記装置触覚ライブラリからの装置固有の触覚サブライブラリおよび前記マスター触覚サブライブラリを提供することと、
前記触覚オーサリングシステムからマスター触覚ストリームを受信することと、
クライアント触覚ストリームを生成することと、
前記クライアント触覚ストリームを前記クライアント触覚装置に送信することと
を行わせる、触覚サーバーシステム。

【請求項23】

前記クライアント触覚ストリームを生成するために、前記１つ以上のプロセッサは、前記システムに、前記クライアント触覚装置のアカウント識別に従い、前記マスター触覚ストリームから触覚データユニットを選択させるようにさらに構成される、請求項２２に記載のシステム。

【請求項24】

前記クライアント触覚装置は第１のクライアント触覚装置であり、前記装置固有の触覚サブライブラリは第１の装置固有の触覚サブライブラリであり、前記装置識別は第１の装置識別であり、前記クライアント触覚ストリームは第１のクライアント触覚ストリームであり、前記アカウント識別は第１のアカウント識別であり、
前記１つ以上のプロセッサは、前記システムに、
第２のクライアント触覚装置との通信を確立することと、
前記第２のクライアント触覚装置に、前記第２のクライアント触覚装置の第２の装置識別に従って判断された第２の装置固有の触覚サブライブラリおよび前記マスター触覚効果サブライブラリを提供することと、
前記第１のクライアント触覚装置の第１のアカウント識別に従って前記マスター触覚ストリームの触覚データユニットを選択することにより前記第１のクライアント触覚ストリームを生成することと、
前記第２のクライアント触覚装置の第２のアカウント識別に従って前記マスター触覚ストリームの触覚データユニットを選択することにより第２のクライアント触覚ストリームを生成することと、
前記第２のクライアント触覚ストリームを前記第２のクライアント触覚装置に送信することと
を行わせるようにさらに構成される、請求項２３に記載のシステム。

【請求項25】

再生のためにクライアント触覚ストリームを復号するコンピュータ実装方法であって、１つ以上の物理プロセッサによって実行される場合に、クライアント触覚装置に前記方法を実行させるコンピュータプログラム命令でプログラムされた前記１つ以上の物理プロセッサを有する前記クライアント触覚装置上で実行される方法であって、
触覚サーバーシステムとの通信を確立することと、
前記触覚サーバーからクライアント触覚ライブラリを取得することであって、前記クライアント触覚ライブラリは前記クライアント触覚装置の装置識別に従い前記触覚サーバーによって生成される、クライアント触覚ライブラリを取得することと、
前記クライアント触覚装置によって、クライアント触覚ストリームを前記触覚サーバーから受信することであって、前記クライアント触覚ストリームは、複数の触覚ブロックおよび対応する複数のタイムスタンプを含む、クライアント触覚ストリームを受信することと、
前記クライアント触覚装置の１つ以上の触覚出力装置上での再生のために複数の触覚効果を生成することであって、各触覚効果は、対応する触覚ブロックのタイムスタンプに従って一度に再生される前記クライアント触覚ストリームから、前記対応する触覚ブロックのコンテンツ識別子に従い前記クライアント触覚ライブラリから選択される、複数の触覚効果を生成することと、
前記複数の触覚効果を前記クライアント触覚装置の前記１つ以上のアクチュエータに出力することと
を含む、コンピュータ実装方法。

【請求項26】

前記クライアント触覚ライブラリは、コンテンツ識別子と、前記クライアント触覚装置の前記１つ以上のアクチュエータによって再生可能な対応する触覚効果との間の関連付けを含む、請求項２５に記載の方法。

【請求項27】

前記クライアント触覚ライブラリは、前記クライアント触覚ストリーム内に含まれる前記触覚ブロックに従って生成される、請求項２６に記載の方法。

【請求項28】

前記複数の触覚効果の各々を、前記１つ以上触覚出力装置の能力に従って再生するために前記１つ以上の触覚出力装置に割り当てることをさらに含む、請求項２５に記載の方法。

【請求項29】

再生のためにクライアント触覚ストリームを復号するためのクライアント触覚装置であって、
１つ以上のプロセッサと、
命令を格納している記憶装置と、を備え、
前記命令は、前記１つ以上のプロセッサによって実行される場合に、前記クライアント触覚装置に、
触覚サーバーとの通信を確立することと、
前記触覚サーバーからクライアント触覚効果ライブラリを取得することであって、前記クライアント触覚効果ライブラリは前記クライアント触覚装置の装置識別に従い前記触覚サーバーによって生成される、クライアント触覚効果ライブラリを取得することと、
前記クライアント触覚ストリームを前記触覚サーバーから受信することであって、前記クライアント触覚ストリームは、複数の触覚ブロックおよび対応する複数のタイムスタンプを含む、前記クライアント触覚ストリームを受信することと、
前記クライアント触覚装置の触覚出力装置上での再生のために複数の触覚効果を生成することであって、各触覚効果は、対応する触覚ブロックのタイムスタンプに従って一度に再生される前記クライアント触覚ストリームから、前記対応する触覚ブロックに従い前記クライアント触覚ライブラリから選択される、複数の触覚効果を生成することと、
前記複数の触覚効果を前記クライアント触覚装置の前記アクチュエータに出力することと
を行わせる、クライアント触覚装置。

【請求項30】

前記クライアント触覚ライブラリは、触覚ブロックと、前記クライアント触覚装置の前記アクチュエータによって再生可能な対応する触覚効果との間の関連付けを含む、請求項２９に記載のクライアント触覚装置。

【請求項31】

前記クライアント触覚ライブラリは、前記クライアント触覚ストリーム内に含まれる前記触覚ブロックに従って生成される、請求項３０に記載のクライアント触覚装置。

【請求項32】

前記１つ以上のプロセッサは、前記システムに、前記複数の触覚効果の各々を、前記触覚出力装置の能力に従って再生するために前記触覚出力装置に割り当てさせるようにさらに構成される、請求項２９に記載のクライアント触覚装置。

【発明の詳細な説明】

【技術分野】

【0001】

［0001］ 本明細書の具体化は、触覚効果をストリーミングするためのシステム、装置および方法に関する。特に、ここでの具体化は、触覚効果のオーサーから１つ以上の受信側クライアント触覚装置への触覚効果のオーサリング、符号化、ストリーミング、復号、および再生のための技術を提供する。

【背景技術】

【0002】

［0002］ 触覚効果は、単独で、またはオーディオビジュアルフォーマットを含む、従来のメディアフォーマットと組み合わせて、強化されたユーザー経験を提供する。触覚効果ストリームはオーディオビジュアルストリームと組み合わせて、ライブストリーミングメディアか、または事前に記録されたストリーミングメディアかにかかわらず、ストリーミングメディアを用いてユーザー経験を強化できる。クライアント触覚装置は、触覚効果ストリームの触覚効果をユーザーに配信するために１つ以上の触覚アクチュエータを含む。しかし、クライアント触覚装置の別のモデルは、アクチュエータの異なるセットおよび従って、異なる出力機能を含み得る。出力機能は、利用可能な触覚効果、出力の振幅、出力の帯域幅、および触覚効果の他の特性に関して異なり得る。

【0003】

［0003］ クライアント触覚装置の様々なモデルの出力機能における差は、触覚効果を設計する際の困難につながり得る。例えば、触覚効果を準備しているオペレーターまたはユーザー、例えば、触覚デザイナーは、大多数の装置が再生できる効果のサブセットだけを含む触覚効果を設計するか、または新しくて異なる触覚機能をうまく利用するかどうかを決定する必要があり得る。一般的な触覚効果のための一般的なアクチュエータでさえ、個々の仕様および特性が異なり得る。複数の異なる装置に対して異なる触覚ストリームを設計することは非現実的で厄介である。

【0004】

［0004］ これらおよび他の欠点が従来の触覚対応ディスプレイ装置に存在する。これらの欠点は本明細書で説明する発明によって対処される。

【発明の概要】

【課題を解決するための手段】

【0005】

［0005］ 本発明の実施形態は、一対多の触覚ストリームオーサリング、ストリーミング、および再生のためのエンドツーエンドシステムを含む。触覚オーサリングシステムは、事前に記録されたか、またはシステムに送信される通りにオペレーターによってオーサリングされた、触覚効果のストリームを受信する。触覚効果のストリームは、「触覚トラック（ｈａｐｔｉｃ ｔｒａｃｋ）」すなわち、一連の触覚効果も含み得る。オーサリングシステムは、オペレーターによって意図される基本触覚要素とコンテンツ識別子との間の関連付けのライブラリに従って触覚効果を符号化することにより、ストリーム内の触覚効果の各々をコンテンツ識別子の触覚ブロックに分解する。触覚ストリームの生データを送信する代わりに、オーサリングシステムは、触覚ブロックを触覚サーバーシステムに送信する。触覚サーバーシステムは、触覚クライアント装置と接続し、それらに触覚ブロックを復号するための装置固有のライブラリを供給して、触覚ブロックを触覚クライアント装置に送信する。触覚クライアント装置は次いで、受信したコンテンツ識別子を、触覚クライアント装置によって再生可能な基本触覚要素と関連付けることにより、触覚ブロックを復号する。それに応じて、触覚設計者は、その後、再生のために符号化されて異なる機能の複数の触覚クライアント装置に送信され得る、単一の触覚ストリームを作成する。

【0006】

［0006］ 一実施形態では、送信のために触覚入力を符号化するコンピュータ実装方法が提供される。本方法は、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有するコンピュータシステム上で実行される。本方法は、コンテンツ識別子と設計された触覚効果との間の関連付けを格納するマスター触覚ライブラリにアクセスすることを含み、設計された触覚効果は、第１の触覚ブロックテンプレートおよび第２の触覚ブロックテンプレートを含む。本方法は、触覚効果情報を受信すること、触覚効果情報に基づき第１の触覚ブロックテンプレートに従って第１の触覚ブロックテンプレートを生成すること、および、触覚効果情報に従い、第１のタイムスタンプを第１の触覚ブロックに付加することをさらに含む。本方法は、マスター触覚ライブラリから、触覚効果情報に基づき第２の触覚ブロックテンプレートに従って、第２の触覚ブロックを生成すること、触覚効果情報に従い、第２のタイムスタンプを第２の触覚ブロックに付加すること、ならびに、第１の触覚ブロックおよび第１のタイムスタンプを第２の触覚ブロックおよび第２のタイムスタンプと共に触覚データユニットにカプセル化することをさらに含む。本方法は、触覚データユニットを１つ以上のクライアント触覚装置への配信のために触覚サーバーに送信することをさらに含む。

【0007】

［0007］ 一実施形態では、触覚効果のストリームを符号化および送信するためのシステムが提供される。本システムは、１つ以上のプロセッサおよび命令を格納しているメモリを備える。１つ以上のプロセッサによって実行される場合、本命令は、本システムに複数の触覚ブロックテンプレートを格納しているマスター触覚ライブラリをアクセスさせ、各触覚ブロックテンプレートは、触覚要素を表してブロック特性を有しており、かつ触覚効果情報を受信させる。本命令はさらに、本システムに、マスター触覚ライブラリから、触覚効果情報に従い、第１のブロックテンプレートおよび第１のブロックパラメータを有する第１の触覚ブロックを生成させ、触覚効果情報に従い、第１のタイムスタンプを第１の触覚ブロックに付加させて、マスター触覚ライブラリから、触覚効果情報に従い、第２のブロックテンプレートおよび第２のブロックパラメータを有する第２の触覚ブロックを生成させる。本命令はさらに、本システムに、触覚効果情報に従い、第２のタイムスタンプを第２の触覚ブロックに付加させ、第１の触覚ブロックおよび第１のタイムスタンプを第２の触覚ブロックおよび第２のタイムスタンプと共に触覚データユニットにカプセル化させて、触覚データユニットを１つ以上のクライアント触覚装置への配信のために触覚サーバーに送信させる。

【0008】

［0008］ 一実施形態では、触覚効果のストリームを送信するためのコンピュータ実装方法が提供される。本方法は、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有する触覚サーバー上で実行される。本方法は、触覚オーサリングシステムとの通信を確立すること、触覚オーサリングシステムから、触覚オーサリングシステム上に格納されたマスター触覚ライブラリのサブセットを含むマスター触覚サブライブラリを受信すること、および、クライアント触覚装置との通信を確立することを含む。本方法は、装置触覚ライブラリにアクセスすること、クライアント触覚装置に、クライアント触覚装置の装置識別に従った装置触覚ライブラリからの装置固有の触覚サブライブラリおよびマスター触覚サブライブラリを提供すること、ならびに、触覚オーサリングシステムからマスター触覚ストリームを受信すること、マスター触覚ストリームからクライアント触覚ストリームを生成することをさらに含む。本方法は、クライアント触覚ストリームをクライアント触覚装置に送信することをさらに含む。

【0009】

［0009］ 一実施形態では、触覚効果のストリームを送信するための触覚サーバーシステムが提供される。触覚サーバーシステムは、１つ以上のプロセッサと、命令を格納しているメモリとを備える。１つ以上のプロセッサによって実行される場合、本命令は、本システムに、触覚オーサリングシステムとの通信を確立させて、触覚オーサリングシステムから、触覚オーサリングシステム上に格納されたマスター触覚ライブラリのサブセットを含むマスター触覚サブライブラリを受信させる。本命令はさらに、本システムにクライアント触覚装置との通信を確立させて装置触覚ライブラリにアクセスさせる。本命令はさらに、本システムに、クライアント触覚装置の装置識別に従って判断された装置触覚ライブラリからの装置固有の触覚サブライブラリおよびマスター触覚効果サブライブラリをクライアント触覚装置に提供させて、マスター触覚ストリームを触覚オーサリングシステムから受信させ、クライアント触覚ストリームを生成させて、クライアント触覚ストリームをクライアント触覚装置に送信させる。

【0010】

［0010］ 一実施形態では、再生のためにクライアント触覚ストリームを復号するコンピュータ実装方法が提供される。本方法は、１つ以上の物理プロセッサによって実行される場合に、クライアント触覚装置に本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有するクライアント触覚装上で実行される。本方法は、触覚サーバーとの通信を確立すること、触覚サーバーからクライアント触覚ライブラリを取得することを含み、クライアント触覚ライブラリは、クライアント触覚装置の装置識別に従い触覚サーバーによって生成される。本方法はさらに、クライアント触覚装置によって、クライアント触覚ストリームを触覚サーバーから受信することを含み、クライアント触覚ストリームは、複数の触覚ブロックおよび対応する複数のタイムスタンプを含む。本方法はさらに、クライアント触覚装置の１つ以上のアクチュエータ上での再生のために複数の触覚効果を生成することであって、各触覚効果は、対応する触覚ブロックのタイムスタンプに従って一度に再生されるクライアント触覚ストリームから、対応する触覚ブロックのコンテンツ識別子に従ってクライアント触覚ライブラリから選択されること、および、複数の触覚効果をクライアント触覚装置の１つ以上のアクチュエータに出力することを含む。

【0011】

［0011］ 一実施形態では、再生のためにクライアント触覚ストリームを復号するためのクライアント触覚装置が提供される。クライアント触覚装置は、１つ以上のプロセッサと、命令を格納しているメモリとを備える。１つ以上のプロセッサによって実行される場合、本命令は、本クライアント触覚装置に、触覚サーバーとの通信を確立させて、触覚サーバーからクライアント触覚効果ライブラリを取得させることであって、クライアント触覚効果ライブラリは、クライアント触覚装置の装置識別に従い触覚サーバーによって生成され、触覚サーバーからクライアント触覚ストリームを受信させることであって、クライアント触覚ストリームは複数の触覚ブロックおよび対応する複数のタイムスタンプを含む。本命令はさらに、クライアントに、クライアント触覚装置のアクチュエータ上での再生のために複数の触覚効果を生成させることであって、各触覚効果は、対応する触覚ブロックのタイムスタンプに従って一度に再生されるクライアント触覚ストリームから、対応する触覚ブロックに従いクライアント触覚ライブラリから選択され、複数の触覚効果をクライアント触覚装置のアクチュエータに出力させる。

【図面の簡単な説明】

【0012】

［0012］ 本発明の前述および他の特徴ならびに利点は、添付の図面に例示されているような本明細書の実施形態の以下の説明から明らかであろう。本明細書に組み込まれてその一部を形成する、添付の図面はさらに、本発明の原理を説明して、当業者が本発明を実施および使用するのを可能にするのに役立つ。図面は原寸に比例していない。

【図1】［0013］一実施形態に従った触覚ストリーム送信システムを例示する。

【図2】［0014］一実施形態に従い、触覚効果の符号化されたストリームを送信するためのシステムの操作を例示する略図である。

【図3】［0015］一実施形態に従った触覚オーサリングシステムの操作を例示する略図である。

【図4】［0016］一実施形態に従った触覚ライブラリの略図である。

【図5】［0017］一実施形態に従った触覚データユニットの構造を例示する。

【図6】［0018］一実施形態に従った触覚サーバーシステムの操作を例示する。

【図7A】［0019］一実施形態に従った、触覚オーサリングシステムからクライアント触覚装置へのエンドツーエンド触覚ストリーム送信を例示する。

【図7B】［0019］一実施形態に従った、触覚オーサリングシステムからクライアント触覚装置へのエンドツーエンド触覚ストリーム送信を例示する。

【図8】［0020］一実施形態に従ったクライアント触覚装置の操作を例示する。

【図9】［0021］一実施形態に従い、触覚効果のストリームを符号化および送信する方法を例示する。

【図10】［0022］一実施形態に従い、触覚効果のストリームをクライアント触覚装置に送信する方法を例示する。

【図11】［0023］一実施形態に従い、再生のために触覚効果のストリームを受信および復号する方法を例示する。

【発明を実施するための形態】

【0013】

［0024］ 本発明の特定の実施形態がここで、図を参照して説明される。以下の詳細な説明は本質的に例示に過ぎず、本発明または本発明の用途および使用を制限することを意図しない。さらに、前述の技術分野、背景、概要または以下の詳細な説明で提示される明示または暗黙の理論に縛られることを意図しない。

【0014】

［0025］ 本発明の実施形態は、本明細書で触覚ストリームと呼ばれる、符号化された触覚効果のデータストリームの作成、送信、および再生を対象とする。触覚オーサリングシステムは、触覚効果を受信し、マスター触覚ライブラリに従って触覚効果を符号化し、触覚効果をマスター触覚ストリームとして送信するために提供される。触覚サーバーシステムは、触覚オーサリングシステムからマスター触覚ストリームを受信し、マスター触覚ストリームをクライアント触覚装置に対するクライアント触覚ストリームに分解するために提供される。触覚サーバーシステムはまた、クライアント触覚ライブラリを提供および更新して、各特定のクライアント触覚装置が特定の装置上での再生のためにクライアント触覚ストリームを復号できるようにする。触覚サーバーシステムは、例えば、オーディオビジュアルストリームを含め、再生のために追加のメディアコンテンツをクライアント触覚装置に提供するようにも構成され得る。

【0015】

［0026］ 図１は、触覚ストリームのオーサリング、符号化、送信、および再生のための触覚ストリーム送信システム１０を例示する。触覚ストリーム送信システム１０は、ネットワーク２０を介して通信する、触覚オーサリングシステム１００、触覚サーバーシステム２００、およびクライアント触覚装置３００を含む。触覚ストリーム送信システム１０は、任意の数の追加の触覚オーサリングシステム１００、触覚サーバーシステム２００、およびクライアント触覚装置３００をさらに含み、各々１つを含むことに制限されない。特定の数の触覚オーサリングシステム１００、触覚サーバーシステム２００、およびクライアント触覚装置３００を有する本明細書で説明する実施形態は、例示目的のみで提供され、制限することを意図していない。

【0016】

［0027］ 触覚オーサリングシステム１００は、触覚効果を受信して符号化するようにプログラムできる、サーバー（例えば、１つ以上のサーバーブレード、プロセッサ、などを有する）、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータなど）、スマートフォン、タブレットコンピューティング装置、および／または他の装置として構成され得る。一実施形態では、コンピューティング触覚オーサリングシステム１００の任意または全部の機能は、クラウドコンピューティングプラットフォームの一部として実行され得る。

【0017】

［0028］ 触覚オーサリングシステム１００は、１つ以上のプロセッサ１１０（本明細書では、複数のプロセッサ１１０、プロセッサ（複数可）１１０、または便宜上プロセッサ１１０とも区別しないで呼ばれる）、１つ以上の記憶装置（複数可）１２０、１つ以上の触覚入力装置（複数可）１６０、および／または他の構成要素を含む。プロセッサ１１０は、記憶装置１２０上に格納された１つ以上のコンピュータプログラム命令によってプログラムされる。例えば、プロセッサ１１０は、オーサリングユーザーインタフェースシステム１５１、触覚符号化システム１５３、カプセル化システム１５４、およびオーサリング通信システム１５５によってプログラムされる。追加として、記憶装置１２０は、マスター触覚ライブラリ１９０を格納する。本明細書では、便宜上、様々な命令モジュールおよびシステムが、実際には、操作を実行するためにプロセッサ１１０（および従って、触覚オーサリングシステム１００）をプログラムする場合、命令モジュールおよびシステムがその操作を実行していると説明される。説明する発明の特徴を実装するために構成された触覚オーサリングシステム１００のさらなる詳細および特徴が図２および図３に関して理解され得る。

【0018】

［0029］ 本明細書で説明する、記憶装置は、持続性コンピュータ可読記憶媒体、ならびに機械に特定の方法で動作させるデータおよび／または命令を格納する任意の媒体またはコンピュータメモリを含む。かかる持続性媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体には、例えば、光または磁気ディスク、および様々な形の半導体媒体を含む。揮発性媒体はダイナミックメモリを含む。持続性媒体の一般的な形式には、例えば、フロッピィディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−Ｒａｙ、任意の他の光データ記憶媒体、孔のパターンをもつ任意の物理的な媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジ、ならびに同じもののネットワーク化バージョンを含む。

【0019】

［0030］
［0031］ 触覚サーバーシステム２００は、触覚ストリームを受信および送信するようにプログラムできるサーバー（例えば、１つ以上のサーバーブレード、プロセッサ、などを有する）、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータなど）、スマートフォン、タブレットコンピューティング装置、ならびに／または他の装置として構成され得る。一実施形態では、触覚サーバーシステム２００の任意または全部の機能は、クラウドコンピューティングプラットフォームの一部として実行され得る。

【0020】

［0032］ 触覚サーバーシステム２００は、１つ以上のプロセッサ２１０（本明細書では、複数のプロセッサ２１０、プロセッサ（複数可）２１０、または便宜上プロセッサ２１０とも区別しないで呼ばれる）、１つ以上の記憶装置（複数可）２２０、および／または他の構成要素を含む。プロセッサ２１０は、記憶装置２２０上に格納された１つ以上のコンピュータプログラム命令によってプログラムされる。例えば、プロセッサ２１０は、サーバー通信システム２５５、クライアントストリーム作成システム２５３、およびクライアント識別システム２５１によってプログラムされる。追加として、記憶装置２２０は、装置触覚ライブラリ２９０を格納する。本明細書では、便宜上、様々な命令モジュールおよびシステムが、実際には、操作を実行するためにプロセッサ２１０（および従って、触覚サーバーシステム２００）をプログラムする場合、命令モジュールおよびシステムがその操作を実行していると説明される。説明する発明の特徴を実装するために構成された触覚サーバーシステム２００のさらなる詳細および特徴が図２および図６に関して説明され得る。

【0021】

［0033］ クライアント触覚装置３００は、触覚ストリームを受信して触覚効果を出力するようにプログラムできるパーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータなど）、スマートフォン、タブレットコンピューティング装置、スマートウォッチ、ビデオゲームコントローラもしくはテレビゲーム機、仮想現実（ＶＲ）、拡張現実（ＡＲ）、もしくは複合現実（ＭＲ）ヘッドセット、および／または他の装置として構成され得る。一実施形態では、触覚クライアント装置３００の任意のコンピューティング機能は、クラウドコンピューティングプラットフォームの一部として実行され得る。

【0022】

［0034］ クライアント触覚装置３００は、１つ以上のプロセッサ３１０（本明細書では、複数のプロセッサ３１０、プロセッサ（複数可）３１０、または便宜上プロセッサ３１０とも区別しないで呼ばれる）、１つ以上の記憶装置（複数可）３２０、および／または他の構成要素を含む。プロセッサ３１０は、記憶装置３２０上に格納された１つ以上のコンピュータプログラム命令によってプログラムされる。例えば、プロセッサ３１０は、再生ユーザーインタフェースシステム３５１、触覚再生システム３５２、触覚復号システム３５３、カプセル化解除システム３５４、およびクライアント通信システム３５５によってプログラムされる。追加として、記憶装置３２０は、クライアント触覚ライブラリ３９０を格納する。本明細書では、便宜上、様々な命令モジュールおよびシステムが、実際には、操作を実行するためにプロセッサ３１０（および従って、クライアント触覚装置３００）をプログラムする場合、命令モジュールおよびシステムがその操作を実行していると説明される。クライアント触覚装置３００は、１つ以上の触覚出力装置３３０も含む。説明する発明の特徴を実装するために構成されたクライアント触覚装置３００のさらなる詳細および特徴が図２および図７に関して理解され得る。

【0023】

［0035］ 触覚出力装置３３０は、当技術分野で周知の任意の適切な出力装置であり得るか、またはそれを含み得る。例えば、触覚出力装置３３０は、マクロファイバコンポジット（ＭＦＣ）アクチュエータ、圧電材料アクチュエータ、スマート材料アクチュエータ、電子ポリマー（ｅｌｅｃｔｒｏ−ｐｏｌｙｍｅｒ）アクチュエータ、および他などの、薄膜アクチュエータを含み得る。触覚出力装置３３０は、慣性もしくは運動感覚触覚アクチュエータ、偏心質量がモーターによって動かされる偏心回転質量（「ＥＲＭ」）触覚アクチュエータ、ばねに付加された質量が前後に駆動されるリニア共振触覚アクチュエータ（「ＬＲＡ」）、振動触覚アクチュエータ、形状記憶合金、および／または前述した触覚出力装置の任意の組合せをさらに含み得る。

【0024】

［0036］ 図１は、触覚オーサリングシステム１００、触覚サーバーシステム２００、およびクライアント触覚装置３００内の記憶装置上に配置されたソフトウェアシステムおよび触覚ライブラリを例示する。さらなる実施形態では、任意もしくは全部のソフトウェアシステムおよび触覚ライブラリは、関連システムからリモートに格納および／または実行され得る。例えば、マスター触覚ライブラリ１９０、装置触覚ライブラリ２９０、およびクライアント触覚ライブラリ３９０の各々は、リモート位置に格納され、必要に応じて関連システムまたは装置によってアクセスされ得る。様々なソフトウェアシステムも、例えば、クラウドコンピューティング環境内に、リモートに格納および／または実行され得る。

【0025】

［0037］ 図２は、触覚ストリームをオーサリング、符号化、および送信するためのシステム１０の操作を例示する略図である。触覚オーサリングシステム１００は、触覚効果情報１７１をユーザーから、事前に格納された触覚効果ファイルから引き出されて、かつ／またはその両方の組合せで受信する。触覚オーサリングシステム１００は、図３に関して以下でさらに詳細に説明するように、触覚効果をマスター触覚ストリーム４００に符号化するためにマスター触覚ライブラリ１９０にアクセスすることにより、複数の触覚効果を符号化してマスター触覚ストリーム４００を生成する。

【0026】

［0038］ 図３は、触覚オーサリングシステム１００の操作を例示する略図である。触覚オーサリングシステム１００は、１つ以上の触覚入力装置１６０によりオーサリングユーザーインタフェースシステム１５１を通して触覚効果情報１７１を受信し、複数の触覚データユニット１７０を出力するように構成される。触覚データユニット１７０は触覚効果情報１７１を符号化し、触覚オーサリングシステム１００の様々なソフトウェアシステムによりマスター触覚ライブラリ１９０と共に生成される。

【0027】

［0039］ 触覚データユニット１７０は、任意の適切な送信プロトコルを介して他のコンピューティング装置に送信され得るコンピュータデータの基本ユニットである。触覚データユニット１７０は、例えば、セグメント、パケット、および／またはフレームを含み得る。

【0028】

［0040］ オーサリングユーザーインタフェースシステム１５１は、触覚オーサリングシステム１００上で動作するソフトウェアモジュールである。オーサリングユーザーインタフェースシステム１５１は、触覚効果のオーサリングを可能にするためにユーザーにインタフェースを提供する。オーサリングユーザーインタフェースシステム１５１は、一連の触覚効果を触覚トラックとしてオーサリングするのを可能にする。オーサリングユーザーインタフェースシステム１５１は、ユーザーがオーサリングユーザーインタフェースシステム１５１とのやり取りを通して触覚効果を入力、設計、および／または変更するのを可能にする。ユーザーは、１つ以上の触覚入力装置１６０および任意のタイプの従来型のコンピュータ入力を通して、オーサリングユーザーインタフェースシステム１５１とやり取りする。

【0029】

［0041］ オーサリングユーザーインタフェースシステム１５１は、１つ以上の触覚入力装置１６０を介して触覚入力を受信し、触覚入力に基づいて触覚効果情報１７１を生成する。触覚入力装置１６０は、キーボード、マウス、およびタッチスクリーンなどの基本的なコンピュータ入力装置を含み得る。触覚入力装置１６０は、触覚対応グローブおよび／または他のウェアラブルなどの、入力ジェスチャの受信のために構成された専用装置、ジェスチャを捕捉するように構成されたカメラ、レーダー、または他のセンサー、ならびに触覚入力を受信可能な任意の他の装置も含み得る。例えば、ユーザーは、触覚対応グローブを用いて入力ジェスチャを入力として提供することにより、オーサリングユーザーインタフェースシステム１５１に触覚効果情報１７１を生成させ得る。別の例では、ユーザーは、キーボード、マウス、および／またはタッチスクリーンを操作して、触覚効果のパラメータを定義し、かつ／または効果の事前に格納されたライブラリにアクセスし得る。実施形態では、オーサリングユーザーインタフェースシステム１５１は、ユーザーが触覚効果の１つ以上のデータベースまたはライブラリにアクセスするのを可能にし得、そこからユーザーは、触覚トラックを作成する際に触覚効果を引き出し得る。

【0030】

［0042］ オーサリングユーザーインタフェースシステム１５１は、ユーザーが、入力触覚効果の触覚効果情報１７１を修正するのをさらに可能にする。触覚効果情報１７１は、触覚効果の長さ、継続時間、周波数、タイプ、および／または任意の他のパラメータを含み、オーサリングユーザーインタフェースシステム１５１を用いてユーザーによって修正可能である。ユーザーは、複数の入力触覚効果の触覚効果情報１７１を組み合わせて複合触覚効果を形成するため、および／または触覚効果のトラックを開発するためにもオーサリングユーザーインタフェースシステム１５１を使用し得る。オーサリングユーザーインタフェースシステム１５１は、新しい触覚効果を生成する際に使用するため、または触覚ストリームに直接符号化するためのいずれかで、以前にオーサリングされた触覚効果情報１７１もしくは触覚効果にアクセスするか、または受信するためにも使用され得る。以前にオーサリングされた触覚効果情報１７１は、例えば、追加の周辺記憶装置、可搬式コンピュータメモリ装置、およびネットワーク化コンピュータメモリ装置を含む、触覚オーサリングシステム１００によってアクセス可能な記憶装置１２０および／または任意の他のコンピュータメモリを含み得る記憶位置内に、格納され得る。

【0031】

［0043］ 触覚符号化システム１５３は、触覚オーサリングシステム１００上で動作するソフトウェアモジュールである。触覚符号化システム１５３は、オーサリングユーザーインタフェースシステム１５１によって受信、修正、および／または生成された触覚効果情報１７１を符号化する。触覚符号化システム１５３は符号化を実行するためにマスター触覚ライブラリ１９０にアクセスする。

【0032】

［0044］ 図４は、マスター触覚ライブラリ１９０、装置触覚ライブラリ２９０、およびクライアント触覚ライブラリ３９０の構造を例示する。マスター触覚ライブラリ１９０は、コンテンツ識別子１９１のグループと設計された触覚効果１９２のグループとの間の関連付けを格納する。各個々のコンテンツ識別子１９１Ａ、１９１Ｂ、１９１Ｃ、１９１Ｄは個々の設計された触覚効果１９２Ａ、１９２Ｂ、１９２Ｃ、１９２Ｄを識別して、それと関連付けられる。コンテンツ識別子１９１は、それらの関連付けられた設計された触覚効果１９２へのインデックスとして機能する。設計された触覚効果１９２は、触覚効果をオーサリングしたオペレーターの初期の設計意図に従って触覚効果を表す。触覚トラックまたは他の一連の触覚効果を設計する場合、触覚設計者は、設計された触覚効果によって表される、彼または彼女が最適な触覚効果であると信じるものを選択する。マスター触覚ライブラリ１９０内の各設計された触覚効果１９２Ａ、１９２Ｂ、１９２Ｃ、１９２Ｄと関連付けられたコンテンツ識別子１９１Ａ、１９１Ｂ、１９１Ｃ、１９１Ｄは従って、触覚設計者の意図した触覚効果を識別する。

【0033】

［0045］ 触覚サーバーシステム２００上に格納された、装置触覚効果ライブラリ２９０は、装置固有のサブライブラリ２９１の集合である。図４は、装置固有の３つのサブライブラリを例示しており、その１つが詳細に例示されている。装置触覚効果ライブラリ２９０は３つの装置固有のサブライブラリに制限されず、必要なだけ多くの装置固有のサブライブラリ２９１を含み得る。装置触覚ライブラリ２９０の各装置固有のサブライブラリ２９１は、特定のモデルまたはタイプのクライアント触覚装置３００に対応する。装置固有のサブライブラリ２９１では、コンテンツ識別子１９１は装置触覚効果１９３と関連付けられる。各個々のコンテンツ識別子１９１Ａ、１９１Ｂ、１９１Ｃ、１９１Ｄは個々の装置触覚効果１９３Ａ、１９３Ｂ、１９３Ｃ、１９３Ｄと関連付けられる。各装置固有のサブライブラリ２９１は、特定のモデルまたはタイプのクライアント触覚装置３００と関連付けられて、設計された触覚効果１９２によって表される、触覚設計者の初期の設計意図と、装置触覚効果１９３によって表される、クライアント触覚装置３００の機能との間のマッピングを可能にする。本明細書では、クライアント触覚装置３００の機能は、クライアント触覚装置３００と関連付けられた全ての触覚出力装置３３０の集合的機能、およびクライアント触覚装置３００と関連付けられた触覚出力装置３３０の各々の個々の機能の両方を指す。コンテンツ識別子１９１が関連付けられている、マスター触覚ライブラリ１９０内の設計された触覚効果１９２は、同じコンテンツ識別子１９２が関連付けられている、装置固有のサブライブラリ２９１内の装置触覚効果１９３と同じであり得るか、または異なり得る。例えば、特定のモデルのクライアント触覚装置が、設計された触覚効果１９２を実装するために必要な全てのタイプのアクチュエータを含む場合、設計された触覚効果１９２および特定のコンテンツ識別子１９１と関連付けられた装置触覚効果１９３の両方は同じであろう。しかし、特定のモデルのクライアント触覚装置が、設計された触覚効果１９２を元々意図されたとおりに実施するために適切な触覚アクチュエータを欠いている場合、装置触覚効果１９３は設計された触覚効果１９２に対する代替を提供するための情報を含むので、特定のコンテンツ識別子１９１と関連付けられた装置触覚効果１９３は、その特定のコンテンツ識別子１９１と関連付けられた設計された触覚効果１９２と異なるであろう。従って、装置が、設計された触覚効果１９２を設計者によって意図されたとおりに実施する能力を有する場合、実施するであろう。クライアント触覚装置３００が、設計された触覚効果１９２を設計者によって意図されたとおりに実施する能力を有していない場合には、代替装置触覚効果１９３を実行する。代替装置触覚効果１９３はできる限り設計された触覚効果１９２と類似するように、かつ／または設計された触覚効果１９２と同じ情報もしくは意図を伝達するように明確に選択され得る。例えば、特定のコンテンツ識別子１９１ａは、リニア共振アクチュエータからの特定の周波数での振動を含む設計された触覚効果１９２ａに対応し得る。リニア共振アクチュエータを有していないクライアント触覚装置３００の装置固有のサブライブラリ２９１では、偏心回転質量からの同じ周波数での振動を含む装置触覚効果１９３ａは特定のコンテンツ識別子１９１ａに対応し得る。

【0034】

［0046］ クライアント触覚ライブラリ３９０はクライアント触覚装置３００上に格納されて、クライアント触覚装置３００のモデルまたはタイプに対応する装置固有のサブライブラリ２９１の完全または部分的なコピーである。クライアント触覚ライブラリ３９０は異なる実施形態で様々な方法で維持され得る。図４に例示されるように、クライアント触覚ライブラリ３９０は装置固有のサブライブラリ２９１の部分コピーであり得る。図４は、コンテンツ識別子１９１Ａ、１９１Ｂ、および１９１Ｄを対応する装置触覚効果１９３Ａ、１９３Ｂ、および１９３Ｄと共に含むが、コンテンツ識別子１９１Ｃおよびその関連付けられた装置触覚効果１９３Ｃは含まない、クライアント触覚ライブラリ３９０を示す。かかる実施形態では、クライアント触覚ライブラリ３９０は、触覚ストリームを受信する前に、触覚サーバーシステム２００からクライアント触覚装置３００によってダウンロードされ得、クライアント触覚ライブラリ３９０は触覚ストリーム内に含まれるコンテンツ識別子１９１だけを含み得る。この例では、触覚ストリームはコンテンツ識別子１９１Ｃを含んでおらず、それ故それはクライアント触覚ライブラリ３９０内に存在しない。従って、クライアント触覚装置３００は、次の触覚ストリームを復号するために必要な情報だけを受信する。クライアント触覚ライブラリ３９０は、関連付けられた装置固有のサブライブラリ２９１の部分または完全コピーのいずれかとして、クライアント触覚装置３００上にも永続的に格納され得る。永続的に格納される場合、クライアント触覚ライブラリ３９０は、クライアント触覚装置３００によって触覚ストリームを受信する前に、触覚サーバーシステム２００によって更新され得る。別の実施形態では、触覚ストリームがダウンロードされるたびに触覚ストリームを受信する前に、装置固有のサブライブラリ２９１の完全コピーが、クライアント触覚ライブラリ３９０として格納するためにクライアント触覚装置３００によってダウンロードされ得る。

【0035】

［0047］ 一実施形態では、個々のクライアント触覚装置３００は、個々のクライアント触覚装置と関連付けられた特定のカスタマイズされたクライアント触覚ライブラリ３９０を有し得る。ユーザーは、ユーザー自身の好みに従ってクライアント触覚ライブラリ３９０をカスタマイズし得る。例えば、特定の触覚効果が、装置アクチュエータではなく、装置スピーカーによって出力される場合、ユーザーは興奮（ｓｅｎｓａｔｉｏｎ）を好み得る。そのユーザーは、特定の触覚効果のコンテンツ識別子を自身の特定の装置に対するユーザーの好ましい触覚出力にマッピングするカスタマイズされたクライアント触覚ライブラリ３９０を作成し得る。かかる実施形態では、触覚サーバーシステム２００からの自動更新が無効にされ得る。

【0036】

［0048］ 引き続き図４を参照すると、様々なライブラリの設計された触覚効果１９２および装置触覚効果１９３がコンテンツ識別子１９１と関連付けられた触覚ブロックテンプレート４５０として格納されている。図４は、設計された触覚効果１９２Ｄの情報を格納している単一の触覚ブロックテンプレート例４５０を例示する。他の設計された触覚効果１９２および装置触覚効果１９３の各々は、対応する触覚ブロックテンプレート４５０（例示せず）も含む。各触覚ブロックテンプレート４５０は、基本触覚要素ＩＤ４５１およびブロックパラメータ４５２を定義するテンプレートまたはデータ構造である。装置固有のサブライブラリ２９１では、コンテンツ識別子１９１は、触覚ブロックテンプレート４５０として同様に格納された装置触覚効果１９３と関連付けられる。前述のように、特定のコンテンツ識別子１９１と関連付けられた触覚ブロックテンプレート４５０は、マスター触覚ライブラリ１９０と装置固有のサブライブラリ２９１との間で異なり得る。触覚ブロックテンプレート４５０によって定義された基本触覚要素ＩＤ４５１は、基本触覚要素、すなわち、より大きな触覚効果の基本的な構成ブロックを表す識別子である。基本触覚要素ＩＤ４５１は、アクチュエータタイプに基づいて定義された基本触覚要素の簡便な表現であり、特定のアクチュエータ上で再生可能な基本効果を含む。例えば、ＥＲＭアクチュエータに対して、基本触覚要素は、そのアクチュエータの帯域幅内の様々な周波数における振動効果を含む。ＥＲＭアクチュエータ上で利用可能な基本触覚要素は、基本触覚要素ＩＤ４５１によって識別され得る。基本触覚要素の持続時間は、この例では、最も短い利用可能な効果である。ＥＲＭに対して、最も短い利用可能な効果はＥＲＭの立ち上がり時間に等しい持続時間を有し得る。各触覚ブロックテンプレート４５０のブロックパラメータ４５２は、基本触覚要素の操作パラメータを実装どおりに定義する。ブロックパラメータ４５２は、例えば、振幅および繰返し数を含む。従って、基本触覚効果は、コンテンツ識別子１９１および１つ以上の付随するパラメータによって呼び出され得る。コンテンツ識別子１９１は、触覚効果に対する特定の触覚ブロックテンプレート４５０、従って、基本触覚要素ＩＤ４５１を識別する。付随するブロックパラメータ４５２は、基本触覚要素、例えば、再生振幅および繰返し数、に対する修飾子を表す。

【0037】

［0049］ このようにして、触覚ブロックテンプレート４５０は、基本触覚効果を完全に定義する制御信号または他の信号を格納する必要なく、基本触覚効果を表すか、または示す情報を格納できる。例えば、特定の周波数および振幅におけるＥＲＭアクチュエータの３つの振動を含む基本触覚効果を考える。この基本触覚効果は、完全に格納するために比較的かなりの量のデータを必要とし得る３つの完全な繰返しをもつ正弦波によって完全に定義される。基本触覚要素ＩＤ４５１は、３つの振動効果を示す簡便な識別子から成るが、ブロックパラメータ４５２は周波数および振幅を格納する。

【0038】

［0050］ 図５は、カプセル化システム１５４によって生成された触覚データユニット１７０の構造を例示する。触覚データユニット１７０Ａ、１７０Ｂは各々、一連の触覚ブロック５２５および対応するタイムスタンプ５２６を含む。図５に示すように、各触覚ブロックは、触覚ブロックテンプレート４５０、ならびに繰返しおよび振幅を含むブロックパラメータ４５２を含む。加えて、各触覚データユニット１７０Ａ、１７０Ｂはアクセス識別またはＩＤ５４０およびセッション識別またはＩＤ５３０を含む。

【0039】

［0051］ 追加で図３を参照すると、触覚符号化システム１５３は、マスター触覚ライブラリ１９０に基づき、触覚効果情報１７１に従って一連の触覚ブロックを生成する。各触覚ブロック５２５は、前述のとおり、触覚ブロックテンプレート４５０によって定義される。各触覚ブロック５２５は、触覚ブロックテンプレート４５０を識別するコンテンツ識別子１９１およびコンテンツ識別子１９１によって識別される触覚ブロックテンプレート４５０の基本触覚要素ＩＤ４５１を修正するブロックパラメータ４５２を含む。単純な触覚効果は、触覚ブロック５２５によって表され得る。単純な触覚効果の触覚効果情報１７１に最も厳密に対応する基本触覚要素を識別する基本触覚要素ＩＤ４５１を有する触覚ブロックテンプレート４５０が選択される。ブロックパラメータ４５２は、触覚効果情報１７１に対応するように選択される。例えば、半秒の振動からなる触覚効果は、基本触覚要素ＩＤ４５１によって識別される共振ＬＲＡ振動ならびに５０％の振幅および半秒の振動を生成するのに適した数の繰返しを定義するブロックパラメータ４５２を有する触覚ブロックテンプレート４５０に従って定義され得る。共振ＬＲＡ振動基本触覚要素ＩＤ４５１が５０ミリ秒の基本持続時間を有する場合、半秒の振動に対して１０回の繰返しが必要であろう。触覚符号化システム１５３は次に、タイムスタンプ５２６を触覚ブロック５２５に付加して、触覚ブロック５２５が触覚効果情報１７１の文脈内で再生される時間を定義する。

【0040】

［0052］ さらに複雑な触覚効果が複数の触覚ブロック５２５によって表され得る。例えば、複数の異なる振幅または周波数を必要とする振動は、異なる振幅パラメータを有する連続的な触覚ブロック５２５または異なる周波数における基本触覚要素を表す基本触覚要素ＩＤ４５１によって表され得る。別の複雑な触覚効果は、共に動作する複数のアクチュエータを必要とし得、従って、複数のアクチュエータによって再生される基本触覚要素を定義する複数の触覚ブロック５２５によって定義され得る。複数の触覚ブロック５２５は、効果が同時に再生されることを意図する場合、同じタイムスタンプ５２６を有し得る。

【0041】

［0053］ 触覚符号化システム１５３は、オーサリングユーザーインタフェースシステム１５１を介して受信された触覚効果情報１７１に従い、触覚ブロックテンプレート、ブロックパラメータ、およびタイムスタンプを選択することにより、追加の触覚ブロック５２５を生成し続ける。実施形態では、触覚符号化システム１５３は、触覚効果情報１７１のストリームまたはトラックが完全にオーサリングされて格納された後、それを符号化する。実施形態では、触覚符号化システム１５３は、実質的に、触覚効果情報１７１がオーサリングされている間にそれを符号化する。実施形態では、触覚符号化システム１５３は、触覚効果情報１７１を実質的にリアルタイムで、例えば、触覚効果情報１７１がオーサリングされているとき、またはそれがオーサリングされるのと実質的に同じ進度で、符号化する。

【0042】

［0054］ 触覚符号化システム１５３は従って、一連の触覚効果の触覚効果情報１７１を連続する一連の触覚ブロック５２５として符号化することが可能である。各々がより大きくて、さらに複雑な触覚効果の小さくて、単純な部分を表す、触覚ブロック５２５を使用することにより、多様な触覚効果が符号化できる。触覚ブロック５２５は、触覚アクチュエータが可能な最も基本的な効果を表すので、ブロックの組合せは、アクチュエータが可能であり得るもっと長いか、またはもっと複雑な触覚効果を定義するために選択できる。

【0043】

［0055］ カプセル化システム１５４は、触覚オーサリングシステム１００上で動作するソフトウェアモジュールである。カプセル化システム１５４は、符号化された触覚ブロック５２５をそれらのタイムスタンプと一緒に、触覚サーバーによってクライアント触覚装置に送信するために、一連の触覚データユニットにカプセル化する。

【0044】

［0056］ 各セッションＩＤ５３０は、１つ以上の触覚ブロック５２５および対応するタイムスタンプ５２６から成る完全な触覚効果を指定する。完全な触覚効果は、単一ユニットとして出力されるように触覚設計者またはオーサーによって意図された触覚効果である。完全な触覚効果の一部が再生されない場合、その効果に対する触覚設計者の意図は満足されない。例えば、完全な触覚効果は、最終的な運動感覚効果によって中断される異なる振幅における一連の振動効果を含み得る。別の例は、振動効果が振幅においてピークまで増加し、その後完了するまで振幅において減少する、クレッシェンド／デクレッシェンド効果である。クレッシェンド／デクレッシェンド効果の基本触覚要素、すなわち、クレッシェンドの特定の振幅部分が出力されない場合、それは意図された効果を損なうであろう。完全な触覚効果を定義するために必要な一連の触覚ブロック５２５およびタイムスタンプ５２６は、符号化されてセッションＩＤ５３０を割り当てられ得る。データユニットサイズ制限によって触覚効果が複数の触覚データユニット１７０Ａ、１７０Ｂにわたる場合、セッションＩＤ５３０は触覚データユニット１７０Ａ、１７０Ｂにわたって同じであり得、復号器が完全な触覚効果全体を再構築するのを可能にする。

【0045】

［0057］ 各アクセスＩＤ５４０は、セッションＩＤ５３０によって指定される完全な触覚効果を受信する許可をもつクライアントのクラスを指定するアクセス制御を表す。アクセスＩＤ５４０は、クライアントのアクセスレベルに従い、触覚効果を選択的に配信するために使用される。クライアントのアクセスレベルは、例えば、加入（ｓｕｂｓｃｒｉｐｔｉｏｎ）および／または分類の他の方法に基づき得る。例えば、触覚効果を自分のビデオストリームと共に提供するライブストリームアーティストは、１つのセットの触覚効果を一時的視聴者に、第２の、より排他的な触覚効果のセットを加入視聴者に提供し得る。実施形態では、一連の完全な触覚効果のオーサーは、特定の効果をアクセス識別に基づいて受信されるように指定し得る。実施形態では、触覚効果オーサーが効果を選択する完全な触覚効果のライブラリまたはデータベースは関連付けられたアクセス識別を含み得る。

【0046】

［0058］ ここで図３を再度参照すると、オーサリング通信システム１５５は、触覚オーサリングシステム１００上で動作するソフトウェアモジュールである。オーサリング通信システム１５５は、触覚オーサリングシステム１００と触覚サーバーシステム２００との間で通信を確立するように構成される。確立された通信経路は、例えば、ＨＴＴＰ、ＴＣＰ、ＵＤＰなどを含む、任意の適切なネットワーク転送プロトコルを利用し得る。

【0047】

［0059］ オーサリング通信システム１５５は、触覚データユニット１７０Ａ、１７０Ｂ、１７０Ｃ、１７０Ｄを触覚ストリーム（例えば、マスター触覚ストリーム４００）の一部として、最終的にクライアント触覚装置３００への送信のために、触覚サーバーシステム２００に送信する。オーサリング通信システム１５５は、オーディオビジュアルデータのオーディオビジュアルストリーム３７５を触覚サーバーシステム２００に送信するようにさらに構成され、そこでオーディオビジュアルストリーム３７５はマスター触覚ストリーム４００に対応する。マスター触覚ストリーム４００のタイムスタンプ５２６は、触覚効果が再生されるのを意図するオーディオビジュアルストリーム３７５の特定の時点に対応し得る。

【0048】

［0060］ 実施形態では、触覚オーサリングシステム１００はマスター触覚サブライブラリ３９１も触覚サーバーシステム２００に送信する。実施形態では、触覚オーサリングシステム１００と触覚サーバーシステム２００との間で通信が初めて確立されると、マスター触覚サブライブラリ３９１が最初に送信される。マスター触覚サブライブラリ３９１は、マスター触覚ストリーム４００によって使用される触覚ブロックテンプレート４５０の全部のコンテンツ識別子１９１を含むマスター触覚ライブラリ１９０の一部またはサブセットである。マスター触覚サブライブラリ３９１は、マスター触覚ストリーム４００内でどの触覚ブロックテンプレート４５０が使用されるかを触覚サーバーシステム２００に対して識別するために使用される。実施形態では、マスター触覚サブライブラリ３９１は、触覚ブロックテンプレート４５０の基本触覚要素ＩＤ４５１を識別する情報および触覚ブロックテンプレートの基本触覚要素ＩＤ４５１と関連付けられたブロックパラメータ４５２を識別する情報を含む、マスター触覚ストリーム４００のコンテンツ識別子１９１および触覚ブロックテンプレート４５０に関する情報の全部を含み得る。実施形態では、マスター触覚サブライブラリ３９１は、マスター触覚ストリーム４００によって使用されるコンテンツ識別子１９１および触覚ブロックテンプレート４５０を識別する情報だけを含み得る。触覚ブロックテンプレート４５０を識別する情報は、マスター触覚ストリーム４００内で使用される各触覚ブロックテンプレート４５０の構成部分を判断するために触覚サーバーシステムによって使用される。

【0049】

［0061］ ここで図２を参照すると、触覚サーバーシステム２００は、マスター触覚ストリーム４００および、任意選択として、マスター触覚サブライブラリ３９１を受信する。触覚サーバーシステム２００は、触覚ストリーム送信システム１０の一対多態様を管理する。触覚サーバーシステム２００は、マスター触覚ストリーム４００を受信し、複数のクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃをそれから生成する。クライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃは、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃのアクセスレベル、機能、および好みに従って生成される。クライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃは次いで、それぞれのクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃに送信される。触覚サーバーシステム２００は、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃのクライアント触覚ライブラリ３９０Ａ、３９０Ｂ、３９０Ｃの最新性（ｃｕｒｒｅｎｃｙ）も提供、更新、または確実にする。

【0050】

［0062］ 図６は、触覚サーバーシステム２００の動作を例示する。触覚サーバーシステム２００は、触覚オーサリングシステム１００によって符号化されたマスター触覚ストリーム４００の触覚データユニット１７０Ａ、１７０Ｂ、１７０Ｃ、１７０Ｄを受信して、触覚データユニット１７０Ａ、１７０Ｂ、１７０Ｃ、１７０Ｄを適切なクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃに送信するように構成される。

【0051】

［0063］ サーバー通信システム２５５は、触覚サーバーシステム２００上で動作するソフトウェアモジュールである。サーバー通信システム２５５は、触覚サーバーシステム２００からの全ての着信および発信トラフィックを管理する。サーバー通信システム２５５は、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃおよび触覚オーサリングシステム１００との通信を確立および維持するように構成される。サーバー通信システム２５５は、任意の適切な送信プロトコルを使用して、ローカルネットワーク、方向接続（ｄｉｒｅｃｔｉｏｎ ｃｏｎｎｅｃｔｉｏｎ）、および／またはインターネットを介して通信を確立し得る。実施形態では、サーバー通信システム２５５は、例えば、ＨＴＴＰ、ＴＣＰ、ＵＤＰなどを含む、任意の適切なネットワーク転送プロトコルを介して通信を確立するように構成される。

【0052】

［0064］ クライアント識別システム２５１は、触覚サーバーシステム２００上で動作するソフトウェアモジュールである。クライアント識別システム２５１は、各クライアント触覚装置３００の装置識別を判断するために接続されたクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃを識別および分類するように構成される。クライアント識別システム２５１は、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃと触覚サーバーシステム２００との間で通信が確立された後、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃを１つ以上のクライアント装置特性によって識別する、すなわち、装置識別を判断するように構成される。クライアント装置特性の識別は、例えば、通信が初期化される場合に生じるハンドシェイクプロセス中に、実行され得る。クライアント装置特性は、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃを識別および定義するアクセスレベル、機能、クライアントの好み、および他の特性を含む。

【0053】

［0065］ クライアントストリーム作成システム２５３は、クライアント識別システム２５１によって識別されるとおり、クライアントアクセスレベルに従い、マスター触覚ストリーム４００を分解するように構成される。図５に関して前述したように、各符号化された触覚効果は、アクセス制御識別を表すアクセスＩＤ５４０を含む。クライアントストリーム作成システム２５３は、セッションＩＤ５３０によって識別されて、マスター触覚ストリーム４００から分解されるとおり、完全な触覚効果のアクセスＩＤ５４０に従ってクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃを生成する。所与のクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃに割り当てられたセッションＩＤ５３０によって識別される完全な触覚効果の各々は、特定のアクセスレベルを有するクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃによるアクセスのために指定される。従って、各触覚効果は、２つ以上のクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃに割り当てられ得る。例えば、全てのクライアントがアクセス可能としてそれを指定するアクセスＩＤ５４０を有する触覚データユニット１７０は、各クライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃに割り当てられ得る。より制限されたアクセスレベルを有する触覚データユニット１７０は、より高いアクセスレベルを有するクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃだけが利用可能なクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃに割り当てられ得る。触覚効果は、例えば、加入支払い（ｓｕｂｓｃｒｉｐｔｉｏｎ ｐａｙｍｅｎｔ）、会員規約、評判ランキング、および他の要因に基づき、複数のアクセスレベルに従って分類され得る。一実施形態では、クライアントストリーム作成システム２５３は、許可されるクライアントアクセスの各レベルに従って触覚ストリームを生成する。サーバー通信システム２５５は、クライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃの各々を、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃのアクセスレベルに基づいて、適切なクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃに送信するように構成される。実施形態では、クライアントストリーム作成システム２５３は、クライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃを作成する場合、各セッションＩＤ５３０と関連付けられたアクセスＩＤ５４０情報を除去する。

【0054】

［0066］ 例えば、図６に例示するように、触覚データユニット１７０Ｂは、触覚クライアント装置３００Ｃなどの、加入者だけが利用可能な排他的な触覚コンテンツを含む。触覚データユニット１７０Ｂは従って、それを加入しているクライアントだけが利用可能として指定するアクセスＩＤを有する。触覚データユニット１７０Ａ、１７０Ｃ、１７０Ｄは、クライアントＩＤによって全てのクライアントが利用可能であると指定される。従って、クライアント触覚ストリーム４０１Ｃは触覚データユニット１７０Ｂを含むが、クライアント触覚ストリーム４０１Ａ、４０１Ｂは含まない。

【0055】

［0067］ サーバー通信システム２５５は、クライアント識別システム２５１によって識別されるとおり、接続されたクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃの特性に従ってクライアント触覚ライブラリ３９０Ａ、３９０Ｂ、３９０Ｃを供給、更新、または確認するようにさらに構成される。クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃの特性は、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃの触覚能力を含み、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃのモデル番号および／またはタイプによって定義され得る。クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃと、触覚サーバーシステム２００との間で通信が確立された後、サーバー通信システム２５５は、各クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃが、クライアント触覚装置のモデルおよびタイプに対して固有の最新クライアント触覚ライブラリ３９０Ａ、３９０Ｂ、３９０Ｃを有することを確実にする。これは、クライアント触覚ライブラリ３９０Ａ、３９０Ｂ、３９０Ｃを、クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃが１つも有していない場合に、送信すること、古いクライアント触覚ライブラリ３９０Ａ、３９０Ｂ、３９０Ｃを更新すること、および／またはクライアント触覚ライブラリ３９０Ａ、３９０Ｂ、３９０Ｃが最新であることを確認することを含み得る。クライアント触覚ライブラリ３９０の構造は、図４に関して、前述されている。前述のように、サーバー通信システム２５５は、完全な装置固有のサブライブラリ２９１をクライアント触覚ライブラリ３９０として送信し得るか、または装置固有のサブライブラリ２９１の部分コピーをクライアント触覚ライブラリ３９０として送信し得る。装置固有のサブライブラリ２９１の部分コピーは、マスター触覚ストリーム４００のコンテンツ識別子１９１に従って選択され得る。実施形態では、装置固有のサブライブラリ２９１の部分コピーは、特定のクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃのコンテンツ識別子１９１に従い、例えば、クライアントアクセスレベルに基づきマスター触覚ストリーム４００から縮小されるように、選択され得る。

【0056】

［0068］ 動作中、触覚サーバーシステム２００は次のように実行する。例えば、クライアント触覚装置３００Ａがサーバー通信システム２５５を介して触覚サーバーシステム２００との通信を確立すると、クライアント触覚装置３００Ａの装置特性がクライアント識別システム２５１によって識別される。クライアント触覚装置３００Ａの識別された能力、例えば、装置モデルまたはタイプに基づき、サーバー通信システム２５５は次いで、クライアント触覚ライブラリ３９０Ａをクライアント触覚装置３００Ａに送信するか、クライアント触覚装置３００Ａに以前に格納されたクライアント触覚ライブラリ３９０Ａに対するアップデートを送信するか、または以前に格納されたクライアント触覚装置３９０Ａが最新であることをクライアント触覚装置３００Ａに確認する。クライアント識別システム２５１は、クライアント装置３００Ａのアクセスレベルを識別する。サーバー通信システム２５５は次いで、クライアント触覚装置３００Ａのアクセスレベルと関連付けられたクライアント触覚ストリーム４０１Ａをクライアント触覚装置３００Ａに送信する。

【0057】

［0069］ ここで図２を再度参照すると、複数のクライアント触覚装置３００Ａ、３００Ｂ、３００Ｃは各々、それぞれのクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃおよびそれぞれのクライアント触覚ライブラリ３９０Ａ、３９０Ｂ、３９０Ｃを受信する。クライアント触覚装置３００Ａ、３００Ｂ、３００Ｃはクライアント触覚ストリーム４０１Ａ、４０１Ｂ、４０１Ｃを復号して、触覚出力のストリームを触覚出力装置３３０Ａ、３３０Ｂ、３３０Ｃを介して提供する。

【0058】

［0070］ 図７Ａおよび図７Ｂは、一実施形態に従った、触覚オーサリングシステムからクライアント触覚装置へのエンドツーエンド触覚ストリーム送信を例示する。触覚オーサリングシステム１００は、マスター触覚ストリーム４００を触覚サーバーシステム２００に送信する。図７Ａおよび図７Ｂは、個々に触覚データユニット７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ、７００Ｅとして指定された、複数の触覚データユニット１７０を例示する。触覚データユニット７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ、７００Ｅの各々は、アクセスＩＤ５４０、セッションＩＤ５３０、ならびに１つ以上の触覚ブロック５２５（図示せず）および関連付けられたタイムスタンプ５２６（図示せず）を含む。図７Ａおよび図７Ｂに例示するように、触覚データユニット７００Ａおよび７００Ｃは、クライアント触覚装置３００Ｂのアクセスレベルに対応する「Ｂ」アクセスＩＤ５４０を含み、他方、触覚データユニット７００Ａ、７００Ｂ、７００Ｄおよび７００Ｅは、クライアント触覚装置３００Ｃのアクセスレベルに対応する「Ｃ」アクセスＩＤ５４０を含む。それに応じて、触覚データユニット７００Ａおよび７００Ｃは、クライアント触覚ストリーム４０１Ｂにパッケージ化されて、クライアント触覚装置３００Ｂに送信され、他方、触覚データユニット７００Ａ、７００Ｂ、７００Ｄおよび７００Ｅは、クライアント触覚ストリーム４０１Ｃにパッケージ化されて、クライアント触覚装置３００Ｃに送信される。それぞれのクライアント触覚ストリーム４０１Ｂ、４０１Ｃを受信すると、クライアント触覚装置３００Ｂ、３００Ｃは受信した触覚データユニット１７０を復号し、符号化された触覚効果をタイムスタンプ５２６に従って適切な時に再生する。

【0059】

［0071］ 図７Ａおよび図７Ｂによって例示されるように、触覚データユニット７００Ｂ、７００Ｄおよび７００Ｅは、「１」のセッションＩＤ５３０を共有する。従って、触覚効果は複数の触覚データユニット７００Ｂ、７００Ｄおよび７００Ｅにわたって広がるが、それは、受信されるとクライアント触覚装置３００によって単一の完全な触覚効果に再構築される。触覚データユニット７００Ａおよび７００Ｃの触覚効果は、触覚データユニット７００Ａおよび７００Ｃの各々内に完全に含まれる。

【0060】

［0072］ 図７Ａおよび図７Ｂによって例示されるように、アクセスＩＤ５４０は異なるクライアント触覚装置３００間で相互に排他的であり得る。すなわち、クライアントアクセスレベルは、各高位レベルが下位レベルの全ての触覚効果へのアクセスを含む、階層的である必要はない。図７Ａおよび図７Ｂに示すように、第１のクライアントは利用可能であるが、第２のクライアントは利用可能でない触覚効果があり、他方、他の触覚効果は第２のクライアントには利用可能であるが第１のクライアントは利用可能でない。

【0061】

［0073］ 図８は、クライアント触覚装置３００の操作を例示する。クライアント触覚装置３００は、クライアント触覚ストリーム４０１の触覚データユニット１７０を受信および復号して、効果を再生するように構成される。クライアント触覚装置３００は、少なくとも１つのプロセッサ３１０（図８には示さず）、少なくとも１つの記憶装置３２０（図８には示さず）、および少なくとも１つの触覚出力装置３３０を含む。記憶装置３２０は、再生ユーザーインタフェースシステム３５１、触覚再生システム３５２、触覚復号システム３５３、カプセル化解除システム３５４、およびクライアント通信システム３５５の操作を実行するためのソフトウェア命令を格納するように構成される。

【0062】

［0074］ 再生ユーザーインタフェースシステム３５１は、クライアント触覚装置３００上で動作するソフトウェアモジュールである。再生ユーザーインタフェースシステム３５１はクライアント触覚装置３００に対してユーザーインタフェース７１５を提供するように構成される。ユーザーインタフェースは、例えば、ディスプレイ画面もしくはタッチスクリーンによって提供される、視覚的であり得、例えば、ボタン、スイッチ、もしくは同様のものによって提供される、触覚的であり得、例えば、オーディオ出力およびオーディオ入力によって提供される、可聴式であり得、かつ／または、例えば、仮想、拡張、もしくは複合現実インタフェースによって提供される、仮想的であり得る。ユーザーインタフェースは、ユーザーが、触覚コンテンツを含む、メディアコンテンツとやり取りする、例えば、再生、一時停止、停止、トラック選択などを行うのを可能にするように構成される。

【0063】

［0075］ クライアント通信システム３５５は、クライアント触覚装置３００上で動作するソフトウェアモジュールである。クライアント通信システム３５５は、クライアント触覚装置３００からの全ての着信および発信データトラフィックを管理する。クライアント通信システム３５５は、触覚サーバーシステム２００との通信を確立および維持するように構成される。クライアント通信システム３５５は、例えば、ＨＴＴＰ、ＴＣＰ、ＵＤＰなどを含む、任意の適切な送信プロトコルを使用して、ローカルネットワーク、方向接続、および／またはインターネットを介して通信を確立し得る。

【0064】

［0076］ クライアント通信システム３５５は、触覚サーバーシステム２００によって送信された装置固有のサブライブラリ２９１を受信し、装置固有のサブライブラリ２９１をクライアント触覚ライブラリ３９０として格納するように構成される。クライアント通信システム３５５は、クライアント触覚ライブラリ３９０を更新し、かつ／または受信した装置固有のサブライブラリ２９１に基づいてクライアント触覚ライブラリ３９０が最新であることを確認するようにさらに構成される。クライアント通信システム３５５は、触覚データユニット１７０を含む、クライアント触覚ストリーム４０１を触覚サーバーシステム２００から受信するようにさらに構成される。

【0065】

［0077］ カプセル化解除システム３５４は、クライアント触覚装置３００上で動作するソフトウェアモジュールである。カプセル化解除システム３５４は、クライアント触覚ストリーム４０１のカプセル化を解除するように構成される。クライアント触覚ストリーム４０１のカプセル化を解除することは、クライアント触覚ストリーム４０１からヘッダーおよびアドレス情報を除去して、触覚ブロック５２５を、それらのタイムスタンプ５２６およびセッションＩＤ５２０と共に抽出することを含む。カプセル化解除システム３５４は、クライアント触覚ストリーム４０１の触覚ブロック５２５を触覚ブロックキュー７２０に移動させ、触覚ブロック５２５をセッションＩＤ５３０に従って触覚ブロックキュー７２０内に格納する。前述のように、各セッションＩＤ５３０は、配信される完全な触覚効果を表す。触覚ブロックキュー７２０は、触覚復号システム３５３が完全な触覚効果に対して必要な情報を、タイムスタンプに従って要求されるとおり、触覚ブロックキュー７２０から引き出すことができるように、各セッションＩＤ５３０のタイムスタンプ５２６および触覚ブロック５２５を一緒に格納する。一実施形態では、触覚ブロック５２５は、それらが再生される順序で、触覚ブロックキュー７２０内に格納される。

【0066】

［0078］ ストリーミングに適した通信プロトコルは、多くの場合損失の多いプロトコルである。例えば、ＵＤＰプロトコルは、失われたデータユニットを回復するためのいかなる機構も含んでいない。データユニットが失われるか、または順序がばらばらで受信される場合、それらは無視される。これは、たとえ損失を伴ってさえ、ストリームを継続することが、送信が完全であるよりも重要であるので、ストリーミングフォーマットにおいて重要である。一実施形態では、触覚ストリーム送信システム１０は、順序がばらばらで受信される触覚ブロック５２５を廃棄することによる潜在的なデータユニット損失または延着の責任をもつ。

【0067】

［0079］ 触覚復号システム３５３は、クライアント触覚装置３００上で動作するソフトウェアモジュールである。触覚復号システム３５３は、各セッションＩＤ５３０と関連付けられた触覚ブロック５２５の集合を、触覚ブロック５２５のタイムスタンプに従い、触覚ブロックキュー７２０から引き出す。触覚復号システム３５３は、各連続的な触覚ブロック５２５のコンテンツ識別子１９１を判断する。触覚復号システム３５３はクライアント触覚ライブラリ３９０にアクセスして、コンテンツ識別子と関連付けられた触覚ブロックテンプレート４５０を判断する。触覚復号システム３５３は、選択された触覚ブロックテンプレート４５０と関連付けられた基本触覚要素ＩＤ４５１によって識別される基本触覚要素を識別し、コンテンツ識別子１９１と関連付けられたブロックパラメータ４５２を基本触覚要素に適用する。触覚復号システム３５３は、各セッションＩＤ５３０と関連付けられた完全な触覚効果を基本触覚要素ＩＤ４５１ならびにそれらの対応するブロックパラメータ４５２、例えば、繰返しおよび振幅、から構築する。触覚復号システム３５３は次いで、各復号した触覚効果の基本触覚要素ＩＤ４５１およびブロックパラメータ４５２によって定義された基本触覚効果を触覚再生システム３５２に渡す。

【0068】

［0080］ クライアント触覚装置３００の触覚復号システム３５３は、ローカルのクライアント触覚ライブラリ３９０に従って各完全な触覚効果を復号する。従って、クライアント触覚ストリーム４０１の触覚効果は、クライアント触覚装置３００が出力可能な触覚効果に変換される。同等のアクセスレベルをもち、同一のクライアント触覚ストリーム４０１を受信する異なるクライアント触覚装置３００は、異なるクライアント触覚装置３００の特定のアクチュエータおよび能力に基づいて、異なる完全な触覚効果を生成し得る。ユニバーサルコンテンツ識別子１９１に従ってクライアント固有の触覚効果の生成を可能にする、ローカルのクライアント触覚ライブラリ３９０は、多くの異なるクライアント触覚装置３００によりそれらの個々の能力に従って再生される単一の触覚トラックまたはストリームを触覚設計者が作成するのを可能にする。

【0069】

［0081］ 触覚再生システム３５２は、クライアント触覚装置３００上で動作するソフトウェアモジュールである。触覚再生システム３５２は、触覚復号システム３５３によって生成されたとおり完全な触覚効果を受信する。触覚再生システム３５２は、触覚コマンド信号を、触覚復号システム３５３から受信した完全な触覚効果に基づき、触覚クライアント装置３００の触覚出力装置３３０に送信するか、または送信を引き起こすように構成される。触覚コマンド信号は、各セッションＩＤ５３０に対して生成された完全な触覚効果に従い、触覚出力装置３３０に触覚効果を出力させるように構成された電気制御信号を含む。実施形態では、触覚再生システム３５２は、触覚コマンド信号を、触覚出力装置３３０の特定の能力に従って触覚出力装置３３０に送信するように構成される。

【0070】

［0082］ 図９は、送信のために触覚入力を符号化するプロセス９００を示す流れ図である。プロセス９００は、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有するコンピュータシステム上で実行される。１つ以上の物理プロセッサは以下では単にプロセッサと呼ばれる。実施形態では、プロセス９００は、本明細書で説明するような触覚オーサリングシステム１００を介して実行される。触覚オーサリングシステム１００は、プロセス９００を実行するように構成されたハードウェアおよびソフトウェアの組合せの一例を表すが、プロセス９００の実施態様は触覚オーサリングシステム１００のハードウェアおよびソフトウェアの組合せに制限されない。本方法の操作の各々に関する追加の詳細は、前述のように、触覚送信システム１０の説明に従って理解され得る。

【0071】

［0083］ 操作９０２で、プロセス９００は、プロセッサによって、触覚効果情報を受信することを含む。触覚効果情報は、触覚入力装置によってユーザーから受信され得、かつ／またはローカルコンピュータメモリ、取り外し可能もしくは可搬式コンピュータメモリ、および／またはネットワーク化コンピュータメモリなどの、記憶位置から受信され得る。触覚入力装置は、コンピュータインタフェースを介して触覚効果のパラメータを選択するために使用されるキーボードおよびマウスなどの、従来のコンピュータインタフェースツールを含み得る。触覚入力装置は、触覚効果情報がユーザーの入力ジェスチャに従って生成されるのを可能にする、タッチスクリーン、マウス、カメラなどの、ジェスチャを受信可能なコンピュータインタフェースツールをさらに含み得る。触覚効果情報は、触覚効果のオーサーによって元々設計されたとおりに触覚効果を記述するデータを含む。

【0072】

［0084］ 操作９０４で、プロセス９００は、マスター触覚ライブラリにアクセスすることを含む。マスター触覚ライブラリは、触覚効果情報の符号化のためにプロセッサによってアクセスされる。マスター触覚ライブラリは、コンテンツ識別子と設計された触覚効果との間の関連付けを含む。設計された触覚効果は、触覚ブロックテンプレートによって定義され、その各々は、基本触覚要素ならびに振幅および繰返し数などの、基本触覚要素に適用される１つ以上の触覚ブロックパラメータを含む。

【0073】

［0085］ 操作９０６で、プロセス９００は、マスター触覚ライブラリの触覚ブロックテンプレートに従い、触覚効果情報に基づいて、触覚ブロックを生成することを含む。触覚効果情報に基づいて、適切な触覚ブロックテンプレート４５０がマスター触覚ライブラリから選択される。触覚効果情報に基づいて、ブロックパラメータが判断される。ブロックパラメータは、例えば、振幅および繰返し数を含み得る。各生成された触覚ブロックは、触覚ブロックテンプレートを識別するコンテンツ識別子および１つ以上の触覚ブロックパラメータを含む。各触覚ブロックは次いで、触覚効果情報に従ってタイムスタンプが押され、タイムスタンプは触覚ブロックの効果が再生される触覚ストリーム内の時間を示す。

【0074】

［0086］ 操作９０８で、プロセス９００は、触覚ブロックをカプセル化することを含む。触覚ブロックをカプセル化することは、触覚ブロックおよびタイムスタンプを触覚ストリームに対するデータユニットとして格納することを含む。触覚ブロックをカプセル化することは、単一の完全な触覚効果の触覚ブロックの全部をセッション識別で識別することを含む。触覚ブロックをカプセル化することは、各完全な触覚効果と関連付けるためにアクセス情報を判断することをさらに含み、アクセス情報は関連付けられた完全な触覚効果を受信するために必要なクライアントアクセスレベルを示す。セッション識別およびアクセス識別は次いで触覚ブロックと共にカプセル化されて触覚データユニットを生成する。触覚データユニットには次いで、選択された送信プロトコルに従って送信するために適切なヘッダーおよびラッパーが提供される。

【0075】

［0087］ 操作９１０で、プロセス９００は、触覚データユニットを配信のために触覚サーバーに送信することを含む。触覚データユニットは、最終的に１つ以上のクライアント触覚装置への配信のために、触覚ストリームの一部として送信される。実施形態では、触覚ストリームに対応するオーディオビジュアルストリームも触覚オーサリングシステムによって送信される。かかる実施形態では、触覚ストリームのタイムスタンプは触覚ブロックの再生をオーディオビジュアルストリームと同期させるために使用される。実施形態では、触覚オーサリングシステムは、マスター触覚ライブラリおよび触覚ストリームの選択された触覚ブロックテンプレートに基づいてマスター触覚サブライブラリを生成するように構成され、マスター触覚サブライブラリは、選択された触覚ブロックテンプレートと関連付けられたマスター触覚ライブラリの部分を含む。マスター触覚サブライブラリは、マスター触覚ストリームの送信前、後、または送信中に触覚サーバーシステムに送信される。

【0076】

［0088］ 前述は、本明細書で説明する実施形態に従って触覚入力を送信のために符号化するプロセス例９００の例示的なフローを説明する。図９に例示するプロセスは例示に過ぎず、本明細書で説明する実施形態の範囲から逸脱することなく変形形態が存在する。本ステップは、説明するものとは異なる順序で実行され得、追加のステップが実行され得、かつ／またはさらに少ないステップが実行され得る。

【0077】

［0089］ 図１０は、触覚効果のストリームをクライアント触覚装置に送信するプロセス１０００を示す流れ図である。プロセス１０００は、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有するコンピュータシステム上で実行される。１つ以上の物理プロセッサは以下では単にプロセッサと呼ばれる。実施形態では、プロセス１０００は本明細書で説明するような触覚サーバーシステム２００によって実行される。触覚サーバーシステム２００は、プロセス１０００を実行するように構成されたハードウェアおよびソフトウェアの組合せの一例を表すが、プロセス１０００の実施態様は触覚サーバーシステム２００のハードウェアおよびソフトウェアの組合せに制限されない。本方法の操作の各々に関する追加の詳細は、前述のように、触覚送信システム１０の説明に従って理解され得る。

【0078】

［0090］ 操作１００２で、プロセス１０００は、触覚サーバーシステムと触覚オーサリングシステムとの間に通信を確立することを含む。通信は、例えば、ＨＴＴＰ、ＴＣＰ、ＵＤＰなどを含む、任意の適切なネットワーク送信プロトコルを介して確立され得る。

【0079】

［0091］ 操作１００４で、プロセス１０００は、触覚オーサリングシステムからマスター触覚サブライブラリを受信することを含む。触覚サーバーシステムは、マスター触覚サブライブラリを触覚オーサリングシステムから受信する。マスター触覚サブライブラリは、マスター触覚ライブラリからのコンテンツ識別子および関連付けられた設計された触覚効果の一部を含む。その部分は、マスター触覚ストリームによって使用されるコンテンツ識別子に従い、触覚オーサリングシステムから触覚サーバーシステムに送信するために選択される。実施形態では、任意選択として、触覚サーバーシステムは既にマスター触覚ライブラリのコピーを格納しているので、触覚オーサリングシステムと触覚サーバーシステムとの間で送信する必要のあるライブラリはない。実施形態では、触覚オーサリングシステムおよび触覚サーバーシステムは、触覚サーバーシステム上に格納されたマスター触覚ライブラリのコピーが最新であるかどうかを判断するために通信し得る。

【0080】

［0092］ 操作１００６で、プロセス１０００は、マスター触覚ストリームを触覚オーサリングシステムから受信することを含む。マスター触覚ストリームは、触覚ブロックおよびタイムスタンプのストリームであり、各々対応するセッション識別およびクライアント識別と関連付けられる。マスター触覚ストリームは、触覚効果のオーサーによって元々設計されたとおり一連の触覚効果を表す。

【0081】

［0093］ 操作１００８で、プロセス１０００は、クライアント触覚装置との通信を確立することを含む。通信は、例えば、ＨＴＴＰ、ＴＣＰ、ＵＤＰなどを含む、任意の適切なネットワーク送信プロトコルを介して確立され得る。

【0082】

［0094］ 操作１０１０で、プロセス１０００は、クライアント触覚装置の装置識別に従って判断された装置固有の触覚サブライブラリをクライアント触覚装置に提供することを含む。クライアント触覚装置の装置識別は、前述のとおり、クライアント触覚装置の特性に従い触覚サーバーシステムによって判断される。触覚サーバーシステムは、装置固有のサブライブラリの集合を含む装置触覚ライブラリを格納する。各装置固有のサブライブラリは、クライアント触覚装置の特定のタイプまたはモデルと関連付けられる。送信のための装置固有の触覚ライブラリは、クライアント触覚装置のモデルまたはタイプを示す装置識別に従って、装置触覚ライブラリの装置固有のサブライブラリから選択される。実施形態では、クライアント触覚装置に送信された装置固有の触覚サブライブラリは、クライアント触覚装置に送信されるクライアント触覚ストリームと関連付けられたコンテンツ識別子だけを含むようにさらに改善される。

【0083】

［0095］ 操作１０１２で、プロセス１０００は１つ以上のクライアント触覚ストリームをマスター触覚ストリームから生成することを含む。触覚サーバーシステムは、クライアント触覚装置のアカウント識別に従い、マスター触覚ストリームから触覚効果を選択することにより、マスター触覚ストリームを１つ以上のクライアント触覚ストリームに分解する。クライアント触覚装置のアカウント識別は、各クライアント触覚装置がアクセスを有するアクセス識別を示す。前述のように、完全な触覚効果を表す触覚ブロックは、セッション識別およびアクセス識別下で符号化される。アクセス識別は、完全な触覚効果を受信するためにクライアント触覚装置によって必要とされるクライアントアクセスのレベルを示す。クライアントアクセスのレベルは、各クライアント触覚装置のアカウント識別によって識別され得る。触覚サーバーシステムは、各クライアント触覚ストリームに対して、適切なアカウント識別、すなわち、クライアントアクセスのレベルに対応するアクセス識別を有する触覚ブロックだけを選択することにより、異なるクライアントアクセスレベルに対して１つ以上のクライアント触覚ストリームを構築する。実施形態では、一旦、クライアント触覚装置が識別されると、触覚サーバーシステムは、クライアントアクセスの各可能なレベルに対してクライアント触覚ストリームを生成し、生成したクライアント触覚ストリームをクライアント触覚装置と照合する。

【0084】

［0096］ 操作１０１４で、プロセス１０００は、クライアント触覚ストリームをクライアント触覚装置に送信することを含む。実施形態では、１つ以上のクライアント触覚ストリームが対応する１つ以上のクライアント触覚装置に送信される。クライアント触覚ストリームは、アクセスレベルを示すクライアントアカウント識別に基づいて生成されて、複数のクライアント触覚装置の間で同じであり得るので、2つ以上のクライアント触覚装置が同じクライアント触覚ストリームを受信し得る。

【0085】

［0097］ 前述は、本明細書で説明する実施形態に従って触覚ストリームをクライアント触覚装置に送信するプロセス例１０００の例示的なフローを説明する。図１０に例示するプロセスは例示に過ぎず、本明細書で説明する実施形態の範囲から逸脱することなく変形形態が存在する。本ステップは、説明するものとは異なる順序で実行され得、追加のステップが実行され得、かつ／またはさらに少ないステップが実行され得る。

【0086】

［0098］ 図１１は、再生のために触覚効果のストリームを受信および復号する方法を示す流れ図である。プロセス１１００は、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有するコンピュータシステム上で実行される。１つ以上の物理プロセッサは以下では単にプロセッサと呼ばれる。実施形態では、プロセス１１００は本明細書で説明するようなクライアント触覚装置３００によって実行される。クライアント触覚装置３００は、プロセス１０００を実行するように構成されたハードウェアおよびソフトウェアの組合せの一例を表すが、プロセス１０００の実施態様はクライアント触覚装置３００のハードウェアおよびソフトウェアの組合せに制限されない。本方法の操作の各々に関する追加の詳細は、前述のように、触覚送信システム１０の説明に従って理解され得る。

【0087】

［0099］ 操作１１０２で、プロセス１１００は、触覚サーバーとの通信を確立することを含む。クライアント触覚装置と触覚サーバーシステムとの間の通信リンクは、例えば、ＨＴＴＰ、ＴＣＰ、ＵＤＰなどを含む、任意の適切な送信プロトコルに従って確立され得る。

【0088】

［0100］ 操作１１０４で、プロセス１１００は、触覚サーバーシステムからクライアント触覚ライブラリを取得することを含む。クライアント触覚装置は、触覚サーバーに装置識別を供給し、次いで、触覚サーバーは、装置識別に従って生成されたクライアント触覚ライブラリをクライアント触覚装置に送信する。クライアント触覚装置の装置識別は、前述のように、クライアント触覚装置の特性に従い、触覚サーバーシステムによって判断される。クライアント触覚ライブラリは、装置識別によって識別されるとおり、クライアント触覚装置の能力に基づきクライアント触覚装置に対して最適化される。クライアント触覚ライブラリは、コンテンツ識別子とクライアント触覚装置の１つ以上のアクチュエータによって再生可能な対応する触覚効果との間の関連付けを含む。実施形態では、クライアント触覚ライブラリは、クライアント触覚ストリーム内に含まれる触覚ブロックに従って生成され得る。

【0089】

［0101］ 操作１１０６で、プロセス１１００は、触覚サーバーからクライアント触覚ストリームを受信することを含む。クライアント触覚ストリームは、複数の触覚ブロックおよび対応する複数のタイムスタンプを含む。各触覚ブロックは、コンテンツ識別子および触覚ブロックパラメータを含む。各触覚ブロックは、セッション識別と関連付けられる。一緒に、所与のセッション識別と関連付けられた触覚ブロックの集合は完全な触覚効果を表す。

【0090】

［0102］ 操作１１０８で、プロセス１１００は、クライアント触覚装置の１つ以上のアクチュエータ上での再生のために複数の触覚効果を生成することを含む。触覚効果は、クライアント触覚ストリームの触覚ブロックから生成される。触覚ブロックのコンテンツ識別子は、クライアント触覚ライブラリに対するインデックスとして機能して、その触覚ブロックによって要求される触覚ブロックテンプレートを識別する。触覚ブロックパラメータは、コンテンツ識別子によって識別された触覚ブロックテンプレートと関連付けられた基本触覚要素に適用される。基本触覚要素および触覚ブロックパラメータの組合せは、基本触覚要素を提供する。所与のセッション識別と関連付けられた触覚ブロックから復号された基本触覚効果の全てをそれらのタイムスタンプに従って組み合わせると、完全な触覚効果が生成される。

【0091】

［0103］ 操作１１１０で、プロセス１１００は、複数の触覚効果をクライアント触覚装置の１つ以上のアクチュエータに出力することを含む。クライアント触覚装置は、基本触覚効果の形で、または完全な触覚効果の形で全て一緒に、のいずれかで、生成された触覚効果を、クライアント触覚装置と関連付けられた１つ以上のアクチュエータに出力する。

【0092】

［0104］ 前述は、触覚ストリームを受信し、その中に符号化された触覚効果を再生するプロセス例１１００の例示的なフローを説明する。図１１に例示するプロセスは例示に過ぎず、本明細書で説明する実施形態の範囲から逸脱することなく変形形態が存在する。本ステップは、説明するものとは異なる順序で実行され得、追加のステップが実行され得、かつ／またはさらに少ないステップが実行され得る。

【0093】

［0105］ 従って、触覚効果を符号化、送信、復号、および再生するシステム、装置、および方法が提供される。本発明に従った様々な実施形態が前述されているが、それらは実例としてほんの一例として提示されており、制限ではないことを理解すべきである。当業者には、形式および詳細における様々な変更が本発明の精神および範囲から逸脱することなく行われ得ることが明らかであろう。従って、本発明の幅および範囲は、前述の例示的な実施形態のいずれによっても制限されるべきでなく、添付のクレームおよびそれらの均等物に従ってのみ定義されるべきである。本明細書で説明する各実施形態、および本明細書で引用される各参照の各特徴は、任意の他の実施形態の特徴と組み合わせて使用できることも理解されたい。別の言い方をすれば、触覚効果をレンダリングする前述の方法の態様は、本明細書で説明する他の方法と任意の組合せで使用され得るか、または方法は別々に使用できる。本明細書で説明する全ての特許および公開は、参照により全体として本明細書に組み込まれる。

【0094】

［0106］ 様々な実施形態の追加の説明：

【0095】

［0107］ 実施形態１は、送信のために触覚入力を符号化するコンピュータ実装方法であり、本方法は、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有するコンピュータシステム上で実行され、本方法は、
・コンテンツ識別子と設計された触覚効果との間の関連付けを格納しているマスター触覚ライブラリにアクセスすることであって、設計された触覚効果は第１の触覚ブロックテンプレートおよび第２の触覚ブロックテンプレートを含むこと、
・触覚効果情報を受信すること、
・マスター触覚ライブラリから、触覚効果情報に基づき第１の触覚ブロックテンプレートに従って第１の触覚ブロックを生成すること、
・触覚効果情報に従って第１のタイムスタンプを第１の触覚ブロックに付加すること；
・マスター触覚ライブラリから、触覚効果情報に基づき第２の触覚ブロックテンプレートに従って第２の触覚ブロックを生成すること、
・触覚効果情報に従って第２のタイムスタンプを第２の触覚ブロックに付加すること；
・第１の触覚ブロックおよび第１のタイムスタンプを第２の触覚ブロックおよび第２のタイムスタンプと共に触覚データユニットにカプセル化すること、及び
・触覚データユニットを、１つ以上のクライアント触覚装置への配信のために触覚サーバーシステムに送信すること
を含む。

【0096】

［0108］ 実施形態２は、実施形態１の方法であり、セッション識別を触覚データユニットにカプセル化することをさらに含み、セッション識別は、第１の触覚ブロックおよび第２の触覚ブロックを含む完全な触覚効果を表す。

【0097】

［0109］ 実施形態３は、実施形態２の方法であり、アクセス識別を、セッション識別と関連付けられた触覚データユニットにカプセル化することをさらに含み、アクセス識別は、完全な触覚効果を受信するために選択された複数のクライアントを表す。

【0098】

［0110］ 実施形態４は、実施形態１〜３のいずれかの方法であり、触覚データユニットを触覚ストリームの一部として送信すること、および触覚ストリームに対応するオーディオビジュアルストリームを送信することをさらに含む。

【0099】

［0111］ 実施形態５は、実施形態１〜４のいずれかの方法であり、第１の触覚ブロックテンプレートは基本触覚要素および少なくとも１つのブロックパラメータを含む。

【0100】

［0112］ 実施形態６は、実施形態１〜５のいずれかの方法であり、第１の触覚ブロックテンプレートに従って第１の触覚ブロックを生成することは、繰返し数および振幅を少なくとも１つのブロックパラメータとして選択することを含む。

【0101】

［0113］ 実施形態７は、実施形態１〜６のいずれかの方法であり、触覚効果情報は記憶位置から受信される。

【0102】

［0114］ 実施形態８は、実施形態１〜７のいずれかの方法であり、触覚効果情報はユーザーの入力ジェスチャに従って生成される。

【0103】

［0115］ 実施形態９は、実施形態１〜８のいずれかの方法であり、マスター触覚ライブラリ、第１の触覚ブロックの第１の触覚ブロックテンプレート、および第２の触覚ブロックの第２の触覚ブロックテンプレートに基づいてマスター触覚サブライブラリを生成すること；ならびにマスター触覚サブライブラリを触覚サーバーシステムに送信することをさらに含む。

【0104】

［0116］ 実施形態１０は、触覚効果のストリームを符号化および送信するためのシステムであり、本システムは、
・１つ以上のプロセッサと、
・１つ以上のプロセッサによって実行される場合に、本システムに以下のことを実行させる命令を格納している記憶装置と、を備える。
・複数の触覚ブロックテンプレートを格納しているマスター触覚ライブラリにアクセスすることであって、各触覚ブロックテンプレートは基本触覚要素を表し、ブロックパラメータを有すること、
・触覚効果情報を受信すること、
・マスター触覚ライブラリから、触覚効果情報に従って第１の触覚ブロックテンプレートおよび第１のブロックパラメータを有する第１の触覚ブロックを生成すること、
・触覚効果情報に従って第１のタイムスタンプを第１の触覚ブロックに付加すること、
・マスター触覚ライブラリから、触覚効果情報に従って第２の触覚ブロックテンプレートおよび第２のブロックパラメータを有する第２の触覚ブロックを生成すること、
・触覚効果情報に従って第２のタイムスタンプを第２の触覚ブロックに付加すること、
・第１の触覚ブロックおよび第１のタイムスタンプを第２の触覚ブロックおよび第２のタイムスタンプと共に触覚データユニットにカプセル化すること；ならびに
・触覚データユニットを、１つ以上のクライアント触覚装置への配信のために触覚サーバーシステムに送信すること

【0105】

［0117］ 実施形態１１は、実施形態１０のシステムであり、１つ以上のプロセッサは、本システムに、セッション識別を触覚データユニットにカプセル化させるようにさらに構成され、セッション識別は第１の触覚ブロックおよび第２の触覚ブロックを含む完全な触覚効果を表す。

【0106】

［0118］ 実施形態１２は、実施形態１１のシステムであり、１つ以上のプロセッサは、本システムに、アクセス識別を、セッション識別と関連付けられた触覚データユニットにカプセル化させるようにさらに構成され、クライアント識別は完全な触覚効果を受信するために選択されたクライアントのクラスを表す。

【0107】

［0119］ 実施形態１３は、実施形態１０〜１２のいずれかのシステムであり、１つ以上のプロセッサは、本システムに、触覚データユニットを触覚ストリームの一部として送信させ、かつ触覚ストリームに対応するオーディオビジュアルストリームを送信させるようにさらに構成される。

【0108】

［0120］ 実施形態１４は、実施形態１０〜１３のいずれかのシステムであり、第１および第２のブロックパラメータは振幅および繰返しを含む。

【0109】

［0121］ 実施形態１５は、実施形態１０〜１４のいずれかのシステムであり、基本触覚要素は約２００ｍｓ未満のアクチュエータ起動を含む。

【0110】

［0122］ 実施形態１６は、実施形態１０〜１５のいずれかのシステムであり、触覚効果情報は記憶位置から受信される。

【0111】

［0123］ 実施形態１７は、実施形態１０〜１６のいずれかのシステムであり、触覚効果情報はユーザーの入力ジェスチャに従って生成される。

【0112】

［0124］ 実施形態１８は、実施形態１０〜１７のいずれかのシステムであり、１つ以上のプロセッサは、本システムに、マスター触覚ライブラリ、第１の触覚ブロックの第１のブロックテンプレート、および第２の触覚ブロックの第２のブロックテンプレートに基づいてマスター触覚サブライブラリを生成させ、かつマスター触覚サブライブラリを触覚サーバーに送信させるようにさらに構成される。

【0113】

［0125］ 実施形態１９は、触覚効果のストリームを送信するコンピュータ実装方法であり、本方法は、１つ以上の物理プロセッサによって実行される場合に、コンピュータシステムに本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有する触覚サーバー上で実行され、本方法は、
・触覚オーサリングシステムとの通信を確立すること、
・触覚オーサリングシステムから、触覚オーサリングシステム上に格納されたマスター触覚ライブラリのサブセットを含むマスター触覚サブライブラリを受信すること、
・クライアント触覚装置との通信を確立すること、
・装置触覚ライブラリにアクセスすること、
・クライアント触覚装置に、クライアント触覚装置の装置識別に従った装置触覚ライブラリからの装置固有の触覚サブライブラリおよびマスター触覚サブライブラリを提供すること、
・触覚オーサリングシステムからマスター触覚ストリームを受信すること、
・マスター触覚ストリームからクライアント触覚ストリームを生成すること、及び
・クライアント触覚ストリームをクライアント触覚装置に送信すること
を含む。

【0114】

［0126］ 実施形態２０は、実施形態１９の方法であり、クライアント触覚ストリームを生成することは、クライアント触覚装置のアカウント識別に従い、マスター触覚ストリームから触覚データユニットを選択することを含む。

【0115】

［0127］ 実施形態２１は、実施形態２０の方法であり、クライアント触覚装置は第１のクライアント触覚装置であり、装置固有の触覚サブライブラリは第１の装置固有の触覚サブライブラリであり、装置識別は第１の装置識別であり、クライアント触覚ストリームは第１のクライアント触覚ストリームであり、アカウント識別は第１のアカウント識別であり、本方法は、第２のクライアント触覚装置との通信を確立すること、第２のクライアント触覚装置に、第２のクライアント触覚装置の第２の装置識別に従って判断された第２の装置固有の触覚サブライブラリを提供すること、第１のクライアント触覚装置の第１のアカウント識別に従ってマスター触覚ストリームの触覚データユニットを選択することにより第１のクライアント触覚ストリームを生成すること、第２のクライアント触覚装置の第２のアカウント識別に従ってマスター触覚ストリームの触覚データユニットを選択することにより第２のクライアント触覚ストリームを生成すること、および第２のクライアント触覚ストリームを第２のクライアント触覚装置に送信することをさらに含む。

【0116】

［0128］ 実施形態２２は、触覚効果のストリームを送信するための触覚サーバーシステムであり、本触覚サーバーシステムは、
・１つ以上のプロセッサと、
・１つ以上のプロセッサによって実行される場合に、本システムに以下のことを行わせる命令を格納している記憶装置を備える。
・触覚オーサリングシステムとの通信を確立すること、
・触覚オーサリングシステムから、触覚オーサリングシステム上に格納されたマスター触覚ライブラリのサブセットを含むマスター触覚サブライブラリを受信すること、
・クライアント触覚装置との通信を確立すること
・装置触覚ライブラリにアクセスすること、
・クライアント触覚装置に、クライアント触覚装置の装置識別に従って判断された装置触覚ライブラリからの装置固有の触覚サブライブラリおよびマスター触覚サブライブラリを提供すること、
・触覚オーサリングシステムからマスター触覚ストリームを受信すること、
・クライアント触覚ストリームを生成すること、ならびに
・クライアント触覚ストリームをクライアント触覚装置に送信すること

【0117】

［0129］ 実施形態２３は、実施形態２２のシステムであり、クライアント触覚ストリームを生成するために、１つ以上のプロセッサは、本システムに、クライアント触覚装置のアカウント識別に従い、マスター触覚ストリームから触覚データユニットを選択させるようにさらに構成される。

【0118】

［0130］ 実施形態２４は、実施形態２３のシステムであり、クライアント触覚装置は第１のクライアント触覚装置であり、装置固有の触覚サブライブラリは第１の装置固有の触覚サブライブラリであり、装置識別は第１の装置識別であり、クライアント触覚ストリームは第１のクライアント触覚ストリームであり、アカウント識別は第１のアカウント識別であり、１つ以上のプロセッサは、本システムに、第２のクライアント触覚装置との通信を確立させ、第２のクライアント触覚装置に、第２のクライアント触覚装置の第２の装置識別に従って判断された第２の装置固有の触覚サブライブラリおよびマスター触覚効果サブライブラリを提供させ、第１のクライアント触覚装置の第１のアカウント識別に従ってマスター触覚ストリームの触覚データユニットを選択することにより第１のクライアント触覚ストリームを生成させ、第２のクライアント触覚装置の第２のアカウント識別に従ってマスター触覚ストリームの触覚データユニットを選択することにより第２のクライアント触覚ストリームを生成させ、かつ第２のクライアント触覚ストリームを第２のクライアント触覚装置に送信させるようにさらに構成される。

【0119】

［0131］ 実施形態２５は、再生のためにクライアント触覚ストリームを復号するコンピュータ実装方法であり、本方法は、１つ以上の物理プロセッサによって実行される場合に、クライアント触覚装置に本方法を実行させるコンピュータプログラム命令でプログラムされた１つ以上の物理プロセッサを有するクライアント触覚装置上で実行され、本方法は、
・触覚サーバーシステムとの通信を確立すること、
・触覚サーバーからクライアント触覚ライブラリを取得することであって、クライアント触覚ライブラリはクライアント触覚装置の装置識別に従い触覚サーバーによって生成されること、
・クライアント触覚装置によって、クライアント触覚ストリームを触覚サーバーから受信することであって、クライアント触覚ストリームは、複数の触覚ブロックおよび対応する複数のタイムスタンプを含むこと、
・クライアント触覚装置の１つ以上の触覚出力装置上での再生のために複数の触覚効果を生成することであって、各触覚効果は、対応する触覚ブロックのタイムスタンプに従って一度に再生されるクライアント触覚ストリームから、対応する触覚ブロックのコンテンツ識別子に従ってクライアント触覚ライブラリから選択されること、及び
・複数の触覚効果をクライアント触覚装置の１つ以上のアクチュエータに出力すること
を含む。

【0120】

［0132］ 実施形態２６は、実施形態２５の方法であり、クライアント触覚ライブラリは、コンテンツ識別子と、クライアント触覚装置の１つ以上のアクチュエータによって再生可能な対応する触覚効果との間の関連付けを含む。

【0121】

［0133］ 実施形態２７は、実施形態２６の方法であり、クライアント触覚ライブラリは、クライアント触覚ストリーム内に含まれる触覚ブロックに従って生成される。

【0122】

［0134］ 実施形態２８は、実施形態２５〜２７のいずれかの方法であり、複数の触覚効果の各々を、１つ以上の触覚出力装置の能力に従って再生するために１つ以上の触覚出力装置に割り当てることをさらに含む。

【0123】

［0135］ 実施形態２９は、再生のためにクライアント触覚ストリームを復号するためのクライアント触覚装置であり、クライアント触覚装置は、１つ以上のプロセッサ；ならびに１つ以上のプロセッサによって実行される場合に、クライアント触覚装置に、触覚サーバーとの通信を確立させ、触覚サーバーからクライアント触覚効果ライブラリを取得させることであって、クライアント触覚効果ライブラリはクライアント触覚装置の装置識別に従い触覚サーバーによって生成され、クライアント触覚ストリームを触覚サーバーから受信させることであって、クライアント触覚ストリームは、複数の触覚ブロックおよび対応する複数のタイムスタンプを含み、クライアント触覚装置の触覚出力装置上での再生のために複数の触覚効果を生成させることであって、各触覚効果は、対応する触覚ブロックのタイムスタンプに従って一度に再生されるクライアント触覚ストリームから、対応する触覚ブロックに従ってクライアント触覚ライブラリから選択され、かつ複数の触覚効果をクライアント触覚装置のアクチュエータに出力させる命令を格納している記憶装置を備える。

【0124】

［0136］ 実施形態３０は、実施形態２９のクライアント触覚装置であり、クライアント触覚ライブラリは、触覚ブロックと、クライアント触覚装置のアクチュエータによって再生可能な対応する触覚効果との間の関連付けを含む。

【0125】

［0137］ 実施形態３１は、実施形態３０のクライアント触覚装置であり、クライアント触覚ライブラリは、クライアント触覚ストリーム内に含まれる触覚ブロックに従って生成される。

【0126】

［0138］ 実施形態３２は、クレーム２９のクライアント触覚装置であり、１つ以上のプロセッサは、本システムに、複数の触覚効果の各々を、触覚出力装置の能力に従って再生するために触覚出力装置に割り当てさせるようにさらに構成される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2021年2月2日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

再生のためにクライアント触覚ストリームを復号するためのクライアント触覚装置であって、
１つ以上のプロセッサと、
命令を格納している記憶装置と、を備え、
前記命令は、前記１つ以上のプロセッサによって実行される場合に、前記クライアント触覚装置に、
設計された触覚効果を装置触覚効果と関連付けるコンテンツ識別子を含むクライアント触覚ストリームを触覚サーバーから受信することと、
前記クライアント触覚装置の触覚出力装置上での再生のために、前記識別子に基づいて前記装置触覚効果を生成することと、
前記装置触覚効果を前記触覚出力装置のアクチュエータに出力することと
を行わせる、クライアント触覚装置。

【請求項2】

前記装置触覚効果は、前記設計された触覚効果と同じである、請求項１に記載のクライアント触覚装置。

【請求項3】

前記装置触覚効果は、前記クライアント触覚装置の能力に基づく、請求項２に記載のクライアント触覚装置。

【請求項4】

前記装置触覚効果は、前記設計された触覚効果と異なる、請求項１に記載のクライアント触覚装置。

【請求項5】

前記装置触覚効果は、前記設計された触覚効果と同じ情報を伝達する、請求項４に記載のクライアント触覚装置。

【請求項6】

前記装置触覚効果は、前記クライアント触覚装置の能力に基づく、請求項４に記載のクライアント触覚装置。

【請求項7】

前記装置触覚効果は、前記クライアント触覚装置の前記能力に基づいて、できる限り前記設計された触覚効果と類似するように選択される、請求項６に記載のクライアント触覚装置。

【請求項8】

クライアント触覚ライブラリをさらに備え、前記クライアント触覚ライブラリは、前記コンテンツ識別子と前記装置触覚効果との間の関連付けを含み、
前記識別子に基づいて前記装置触覚効果を生成することは、前記識別子および前記クライアント触覚ライブラリに基づいて前記装置触覚効果を生成することを含む、請求項１に記載のクライアント触覚装置。

【請求項9】

前記クライアント触覚ライブラリは、前記触覚サーバーから受信される、請求項８に記載のクライアント触覚装置。

【請求項10】

前記識別子に基づいて前記装置触覚効果を生成することは、前記識別子および前記クライアント触覚装置の前記能力に基づいて前記装置触覚効果を生成することを含む、請求項１に記載のクライアント触覚装置。

【請求項11】

クライアント触覚装置による再生のためにクライアント触覚ストリームを復号する方法であって、
設計された触覚効果を装置触覚効果と関連付けるコンテンツ識別子を含むクライアント触覚ストリームを触覚サーバーから受信することと、
前記クライアント触覚装置の触覚出力装置上での再生のために、前記識別子に基づいて前記装置触覚効果を生成することと、
前記装置触覚効果を前記触覚出力装置のアクチュエータに出力することと
を含む、方法。

【請求項12】

前記装置触覚効果は、前記設計された触覚効果と同じである、請求項１１に記載の方法。

【請求項13】

前記装置触覚効果は、前記クライアント触覚装置の能力に基づく、請求項１２に記載の方法。

【請求項14】

前記装置触覚効果は、前記設計された触覚効果と異なる、請求項１１に記載の方法。

【請求項15】

前記装置触覚効果は、前記設計された触覚効果と同じ情報を伝達する、請求項１４に記載の方法。

【請求項16】

前記装置触覚効果は、前記クライアント触覚装置の能力に基づく、請求項１４に記載の方法。

【請求項17】

前記装置触覚効果は、前記クライアント触覚装置の前記能力に基づいて、できる限り前記設計された触覚効果と類似するように選択される、請求項１６に記載の方法。

【請求項18】

前記識別子に基づいて前記装置触覚効果を生成することは、前記識別子およびクライアント触覚ライブラリに基づいて前記装置触覚効果を生成することを含み、前記クライアント触覚ライブラリは、前記コンテンツ識別子と前記装置触覚効果との間の関連付けを含む、請求項１１に記載の方法。

【請求項19】

前記クライアント触覚ライブラリを前記触覚サーバーから受信することをさらに含む、請求項１８に記載の方法。

【請求項20】

前記識別子に基づいて前記装置触覚効果を生成することは、前記識別子および前記クライアント触覚装置の前記能力に基づいて前記装置触覚効果を生成することを含む、請求項１１に記載の方法。

【外国語明細書】

2021047907000001.pdf