特許第6516477号(P6516477)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ イマージョン コーポレーションの特許一覧

特許6516477ユーザ生成コンテンツをオーサリングするためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6516477
(24)【登録日】2019年4月26日
(45)【発行日】2019年5月22日
(54)【発明の名称】ユーザ生成コンテンツをオーサリングするためのシステム及び方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20190513BHJP
【FI】
   G06F3/01 570
   G06F3/01 510
【請求項の数】22
【外国語出願】
【全頁数】23
(21)【出願番号】特願2015-5703(P2015-5703)
(22)【出願日】2015年1月15日
(65)【公開番号】特開2015-135678(P2015-135678A)
(43)【公開日】2015年7月27日
【審査請求日】2017年10月18日
(31)【優先権主張番号】61/928,357
(32)【優先日】2014年1月16日
(33)【優先権主張国】US
【前置審査】
(73)【特許権者】
【識別番号】500390995
【氏名又は名称】イマージョン コーポレーション
【氏名又は名称原語表記】IMMERSION CORPORATION
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100111235
【弁理士】
【氏名又は名称】原 裕子
(72)【発明者】
【氏名】バーンバウム、 デイヴィッド エム.
(72)【発明者】
【氏名】ウルリッヒ、 クリストファー
(72)【発明者】
【氏名】ラクロア、 ロバート
(72)【発明者】
【氏名】バティア、 サトヴァー シング
(72)【発明者】
【氏名】パウエル、 マイケル
(72)【発明者】
【氏名】ランク、 スティーブン
(72)【発明者】
【氏名】セガルマン、 イヴァ
(72)【発明者】
【氏名】ウェドル、 アマヤ ベッカー
(72)【発明者】
【氏名】レインズ、 ペイジ
【審査官】 ▲高▼瀬 健太郎
(56)【参考文献】
【文献】 国際公開第2008/090859(WO,A1)
【文献】 特開2008−165768(JP,A)
【文献】 特開2000−250689(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
映像信号を受信するステップと、
触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、
触覚効果に変換されるジェスチャを検出するステップであって、前記ジェスチャは移動装置を動かすことであるステップと、
前記ジェスチャに部分的に基づいて触覚効果を決定するステップであって、前記触覚効果は前記移動装置が動く方向に力を出力することにより前記移動装置のディスプレイに表示されたオブジェクトが動く感覚をシミュレートするように構成されるステップと、
前記触覚効果を前記映像信号内の場所と関係付けるステップと、
前記映像信号及び関係付けられた触覚効果を記憶するステップと
を含む、コンテンツオーサリングのための方法。
【請求項2】
前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項1に記載の方法。
【請求項3】
前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項2に記載の方法。
【請求項4】
前記映像信号は、移動装置のカメラから受信される信号を含む、請求項1に記載の方法。
【請求項5】
記移動装置を動かすジェスチャは、加速度計、ジャイロスコープ、カメラ及びGPSの少なくとも1つによって検出される、請求項1に記載の方法。
【請求項6】
前記映像信号及び前記関係付けられた触覚効果を記憶するステップは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項1に記載の方法。
【請求項7】
前記映像信号及び関係付けられた触覚効果を記憶するステップは、前記映像信号を前記触覚効果とは別のファイルに記憶することを含む、請求項1に記載の方法。
【請求項8】
前記オブジェクトはステッカーを含み、
前記映像信号に前記ステッカーを関係付けるステップを更に含む、請求項1に記載の方法。
【請求項9】
前記ステッカーは、ユーザが選択したステッカーを含む、請求項8に記載の方法。
【請求項10】
前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するステップを更に含む、請求項8に記載の方法。
【請求項11】
コンテンツオーサリングのためのシステムであって、
映像信号を受信して、前記映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、
触覚効果に変換されるジェスチャを検出して、前記ジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサであって、前記ジェスチャは前記システムを動かすことであるセンサと、
前記センサ及び前記ディスプレイと通信するプロセッサであって、
前記センサ信号を受信して、前記ジェスチャに部分的に基づいて前記触覚効果を決定することであって、前記触覚効果は前記システムが動く方向に力を出力することにより前記システムの前記ディスプレイに表示されたオブジェクトの動きをシミュレートするように構成されること、
前記触覚効果を前記映像信号内の場所と関係付けること、及び
前記映像信号及び関係付けられた触覚効果を記憶すること
を行うように構成されるプロセッサと
を備える、ステム。
【請求項12】
前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項11に記載のシステム。
【請求項13】
前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項12に記載のシステム。
【請求項14】
画像をキャプチャするように構成されるカメラを更に備え、前記映像信号が前記画像に関係付けられる、請求項11に記載のシステム。
【請求項15】
システムを動かすジェスチャは、加速度計、ジャイロスコープ、カメラ及びGPSの少なくとも1つを含む前記センサによって検出される、請求項11に記載のシステム。
【請求項16】
前記映像信号及び前記関係付けられた触覚効果を記憶することは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項11に記載のシステム。
【請求項17】
前記オブジェクトはステッカーを含み、
前記プロセッサは、前記映像信号に前記ステッカーを関係付けるように更に構成される、請求項11に記載のシステム。
【請求項18】
前記ステッカーは、ユーザが選択したステッカーを含む、請求項17に記載のシステム。
【請求項19】
前記プロセッサは、前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するように更に構成される、請求項18に記載のシステム。
【請求項20】
前記プロセッサと通信する触覚出力装置を更に備える、請求項11に記載のシステム。
【請求項21】
前記触覚出力装置は、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又は線形共振アクチュエータ(LRA)の1つ以上を含む、請求項20に記載のシステム。
【請求項22】
プロセッサによって実行されると、前記プロセッサに
映像信号を受信すること、
触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信すること、
触覚効果に変換されるジェスチャを検出することであって、前記ジェスチャは移動装置を動かすことであること
前記ジェスチャに基づいて触覚効果を決定することであって、前記触覚効果は前記移動装置が動く方向に力を出力することにより前記移動装置の前記ディスプレイに表示されたオブジェクトの動きをシミュレートするように構成されること、
前記触覚効果を前記映像信号内の場所と関係付けること、及び
前記映像信号及び関係付けられた触覚効果を記憶すること
を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、ユーザ生成コンテンツをオーサリングするためのシステム及び方法に関する。
(関連出願の相互参照)
本願は、2014年1月16日に提出され、“User Generated Content Authoring”と題された仮出願第61/928,357号への優先権を主張し、その全体は参照により本明細書に組み込まれる。
【背景技術】
【0002】
タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置がタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。こうしたタッチ可能装置に多くの映像が表示される場合がある。更に、こうした装置は、映像作成及び編集の処理機能を有する。多くの装置は、触覚機能が更に装備される。従って、ユーザ生成コンテンツをオーサリングするためのシステム及び方法が必要とされている。
【発明の概要】
【0003】
本発明の実施形態は、映像表示機能及び触覚信号を決定して触覚効果を出力する機能を特徴とする装置を含む。一部の実施形態では、こうした触覚効果は、タッチ領域において1つ以上の特徴をシミュレートする表面ベースの触覚効果を含んでもよい。限定されないが、特長には、テクスチャの変化、及び/又は境界、障害物若しくは表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性のシミュレーションが含まれてもよい。一部の実施形態では、触覚効果は、表面変形、信号、及び当技術分野で周知の触覚効果を含んでもよい。一部の実施形態では、こうした触覚効果は、映像内の特徴、例えば、アクション効果又は映像内で発生する音声及び/又はアクションに関係付けられる効果をシミュレートする又は高めるために使用されてもよい。
【0004】
一実施形態では、コンテンツオーサリングのための方法は、映像信号を受信するステップと、触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、触覚効果に関係付けられるジェスチャを検出するステップと、ジェスチャに部分的に基づいて触覚効果を決定するステップと、触覚効果を映像信号における場所と関係付けるステップと、映像信号及び関係付けられた触覚効果を記憶するステップとを含む。
【0005】
別の例示の実施形態では、コンテンツオーサリングのためのシステムは、映像信号を受信して映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、ジェスチャを検出してジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサと、センサ及びディスプレイと通信するプロセッサとを備え、プロセッサは、センサ信号を受信してジェスチャに部分的に基づいて触覚効果を決定し、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶するように構成される。
【0006】
別の例示の実施形態は、プログラムコードを含む一時的でないコンピュータ可読媒体を含み、プログラムコードは、プロセッサによって実行されると、プロセッサに、映像信号を受信させ、触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信させ、触覚効果に関係付けられるジェスチャを検出させ、ジェスチャに基づいて触覚効果を決定させ、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶させるように構成される。
【0007】
こうした例示の実施形態は、本主題の限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び/又は請求項に記載の主題の1つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
【図面の簡単な説明】
【0008】
本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
図1A】ユーザ生成コンテンツをオーサリングするための例示のシステムを示す。
図1B図1Aで示されたシステムの一実施形態の外観図を示す。
図1C図1Aで示されたシステムの別の実施形態の外観図を示す。
図2A】ユーザ生成コンテンツをオーサリングするための例示の実施形態を示す。
図2B】ユーザ生成コンテンツをオーサリングするための別の例示の実施形態を示す。
図3A】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。
図3B】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。
図4A】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。
図4B】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。
図5A】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。
図5B】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。
図6】ユーザ生成コンテンツをオーサリングするための例示の実施形態のための方法のフローチャートである。
【発明を実施するための形態】
【0009】
次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
【0010】
(ユーザ生成コンテンツをオーサリングするための装置の例示)
本開示の例示の実施形態は、タブレット、Eリーダ、携帯電話、又はラップトップ若しくはデスクトップコンピュータ又は装着可能装置等のコンピュータ等の電子装置を含む。電子装置は、ディスプレイ(例えば、タッチスクリーンディスプレイ)、メモリ、及びこうした要素の各々と通信するプロセッサを備える。
【0011】
例示の装置は、1つ以上の記録された映像を記憶するように構成されるメモリを含む。こうした映像は、リモートデータソース、例えば、インターネット上のデータベースからデータ接続を介してダウンロードされる映像を含んでもよい。代替的に、こうした映像は、例示の装置のユーザによってキャプチャされた映像を含んでもよい。例えば、例示の装置はデジタルカメラ(例えば、移動装置上の前部又は後部に設置されるカメラ)を含んでもよく、これによりユーザはデジタル画像及び映像をキャプチャしてもよい。例示の装置は、ユーザジェスチャを検出して、ユーザジェスチャに基づいてこうした映像にコンテンツを適用するセンサを含む。一部の実施形態では、コンテンツは、ユーザ生成コンテンツを含んでもよい。一部の実施形態では、コンテンツは、触覚効果、グラフィックス、音声又は他の種類のコンテンツを含んでもよい。
【0012】
例示の実施形態では、移動装置は、本明細書に開示の実施形態によるコンテンツオーサリングのためのプログラムコードを含んでもよい。例示の実施形態では、このプログラムコードは、コンテンツオーサリング用のユーザインターフェースを表示するためのプログラムコードを含んでもよい。例示の実施形態によれば、ユーザは、コンテンツオーサリングのユーザインターフェースにおいて利用可能なカメラインターフェースを使用することにより映像をキャプチャしてもよい。例えば、一実施形態では、ユーザは、装置に関係付けられるカメラを使用して猫の映像をキャプチャしてもよい。代替的に、ユーザは、コンピュータ装置のデータストアで利用可能な又はネットワーク接続を介して利用可能な既存の映像を選択してもよい。例えば、ユーザは、最初から組み込まれている映像、例えば、スキーヤーの映像を選択してもよい。
【0013】
例示の実施形態では、一旦映像を選択すると、ユーザはコンテンツオーサリングのインターフェースを介して触覚コンテンツを映像に適用してもよい。例示の実施形態では、ユーザは、映像内の場所を最初に選択することにより触覚コンテンツを適用してもよい。例えば、例示の実施形態では、ディスプレイの一部が映像からのフレームのシーケンスを含んでもよく、ユーザはそのフレームに関係付けられる映像内の場所を選択するためにこれと相互作用してもよい。例示の実施形態では、一旦映像内の場所を選択すると、ユーザは触覚効果をその場所に割り当ててもよい。一部の実施形態では、ユーザは、以下に更に詳細に記載されるように、ジェスチャを用いて触覚効果を割り当ててもよい。
【0014】
例示の実施形態では、ユーザは、1つ以上の既定の触覚効果を選択してもよい。こうした効果は、触覚効果、感情をシミュレートするように構成される効果、アクションをシミュレートするように構成される効果、又は他の種類の効果を含んでもよい。一部の実施形態では、既定の触覚効果は、多次元触覚効果を含んでもよい。例えば、一部の実施形態では、触覚効果は、振動、表面ベースの効果、表面変形、又は当技術分野で周知の他の触覚効果の1つ以上を含んでもよい。更に、ユーザは、こうした効果の特徴を修正してもよい。例えば、ユーザは、持続時間、強度、周波数、又は任意の他の特徴を触覚効果に割り当ててもよい。上述の実施形態では、ユーザは、触覚効果を猫の映像に割り当ててもよい。触覚効果は、猫がのどを鳴らすことをシミュレートするように構成される振動を含んでもよい。
【0015】
一部の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置と相互作用すること(例えば、装置を振ること又は装置上の場所を押すこと)により触覚効果を生成してもよい。こうしたジェスチャは、移動装置における1つ以上のセンサによりキャプチャされて、触覚効果に変換されてもよい。一部の実施形態では、装置における(複数の)触覚出力装置が、装置に対してX、Y又はZ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ上でオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、X平面(左又は右)、Y平面(上又は下)、Z平面(ディスプレイの中へ又は外へ)、又はこうした各面のベクトルに移動するオブジェクト(例えば、以下に記載されるように適用されるステッカー)をシミュレートするように構成されてもよい。こうした触覚効果は、以下に更に詳細に検討される1つ以上の異なる種類の触覚出力装置により出力されてもよい。
【0016】
一部の実施形態では、ユーザは多方向又は多次元触覚効果を生成してもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される1つ以上のセンサ(例えば、加速度計、ジャイロスコープ、カメラ、GPS、又は他のセンサ)及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ(例えば、タッチ、タップ、又はスワイプ)を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい(例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる)。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャをシミュレートするように構成される1つ以上の触覚効果を決定してもよい。例えば、プロセッサは、装置を下方に動かしたジェスチャをシミュレートするためにZ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにX又はY平面に出力する触覚効果(例えば、タッチスクリーンの表面における表面ベースの効果)も決定してもよい。
【0017】
更に、例示の実施形態では、装置は、カメラ(例えば、移動装置の前部又は後部向きのカメラ)から受信したデータに部分的に基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、ユーザは、カメラの可視範囲内でジェスチャを行ってもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャに関係付けられる触覚効果を決定してもよい。例えば、プロセッサは、ジェスチャをシミュレートするように構成される触覚効果を決定してもよい。一部の実施形態では、ジェスチャは、多次元ジェスチャを含んでもよい。このような実施形態では、カメラは、テニス等のゲームをプレーしているユーザの映像をキャプチャしてもよい。プロセッサは、ゲームに関係付けられる様々なジェスチャ(例えば、フォアハンド又はバックハンド等の手の動き、及びステップ等の足のジェスチャ)を決定してもよい。プロセッサは、こうしたジェスチャに関係付けられる触覚効果を決定してもよい。こうした触覚効果は、ユーザの映像に関係付けられてもよい。代替的に、こうした触覚効果は、触覚ライブラリに関係付けられて、他のアプリケーション又は映像で使用するために後で選択されてもよい。
【0018】
一部の実施形態では、カメラは、ジェスチャをキャプチャし、こうしたジェスチャに関係付けられる触覚効果を決定し、次に触覚効果を異なる映像に関係付けてもよい。例えば、カメラは、ユーザが手をたたく等のジェスチャを行うことをキャプチャしてもよい。プロセッサは、このジェスチャに関係付けられる触覚効果を決定してもよい。この新しい触覚効果は、利用可能な触覚効果の触覚ライブラリに記憶されてもよい。更に、この新しい触覚効果は、映像、例えば、滑降するスキーヤーの映像に関係付けられてもよい。例えば、このような実施形態では、触覚効果は、例えば、スキーヤーが他のスキーヤーを追い越す、オブジェクトに衝突する、ターンする場合等、イベントが発生する映像内の場所に配置されてもよい。
【0019】
例示の実施形態では、ユーザが触覚効果を割り当てた後で、ユーザインターフェースは効果が割り当てられた映像内の場所を示す指標を表示してもよい。例えば、触覚効果を適用するためにユーザが場所を選択したフレームのシーケンスは、触覚効果の場所においてオーバレイを含んでもよい。更に、オーバレイは、映像の長さと比較して触覚効果の持続時間を示すようにスケーリングされてもよい。
【0020】
例示の実施形態では、ユーザは、映像内の場所にステッカー又はタグを更に適用してもよい。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。代替的に、ステッカーは、ユーザによって生成されたグラフィックス、アニメーション及び/又は音声効果を含んでもよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、先に検討された実施形態では、ユーザは、“purr”と綴る白のレタリングを有する赤いタグを含むステッカーを生成してもよい。次に、ユーザは、のどを鳴らすこと(purr)をシミュレートする触覚効果と同時に現れるようにこのステッカーを割り当ててもよい。
【0021】
一部の実施形態では、オーサリングインターフェースは、音声効果をオーサリングするための機能を更に含んでもよい。例えば、ユーザは、既存の音声効果を選択し、又はインターフェースを使用して、例えばマイクロホンで若しくは装置と関係付けられた音声アプリケーションで新しい音声効果を作成してよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所に音声効果を適用してもよい。
【0022】
例示の実施形態では、ユーザは、多数の種類のコンテンツ、例えば、多数の触覚効果、音声効果及びステッカーを映像中の多くの場所に適用してもよい。一旦ユーザがコンテンツの適用を完了すると、オーサリングアプリケーションは、映像、触覚効果、音声効果及びステッカーを記憶するであろう。例示の実施形態では、このデータは、単一のメディアファイル、例えば、MP4メディアファイルに一緒に記憶されてもよい。代替的に、各構成要素は、別々にファイルに記憶されてもよい。例えば、映像ファイルはその元のフォーマットで記憶されてもよく、音声ファイルはその元のフォーマットで記憶されてもよく、触覚データを含む触覚トラックは別に記憶されてもよい。
【0023】
例示の実施形態では、次に、ユーザは、映像ファイルを再生して、割り当てられた触覚効果を感じると共に、割り当てられたステッカーを見てもよい。例えば、先に検討された実施形態では、ユーザが猫の映像を再生して、触覚効果が割り当てられた場所に映像が到達すると、装置は触覚効果を出力してもよい。更に、装置は、ステッカー、例えば、先に検討された実施形態では、“purr”というテキストを有するステッカー及び/又は関連付けられた音声効果を出力してもよい。更に例示の実施形態では、ユーザは映像を他のユーザに送信してもよく、そのユーザは映像を見ること及び割り当てられた触覚効果を感じること及びステッカーを見ることが可能であってもよい。
【0024】
(ユーザ生成コンテンツをオーサリングするための例示のシステム)
図1Aは、ユーザ生成コンテンツをオーサリングするための例示のシステム100を示す。特に、この例示では、システム100は、バス106を介して他のハードウェアとインターフェース接続されるプロセッサ102を有するコンピュータ装置101を含む。RAM、ROM又はEEPROM等の任意の適切な有形の(及び一時的でない)コンピュータ可読媒体を含み得るメモリ104が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置101は、1つ以上のネットワークインターフェース装置110、入力/出力(I/O)インターフェース要素112、及び追加の記憶装置114を更に含む。
【0025】
ネットワーク装置110は、ネットワーク接続を容易にする1つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ethernet(登録商標)、USB、IEEE1394等の有線インターフェース、及び/又はIEEE802.11、Bluetooth(登録商標)等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース(例えば、CDMA、GSM(登録商標)、UMTS又は他の移動通信ネットワーク)が含まれる。
【0026】
I/O要素112は、1つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ(例えば、移動装置の前部又は後部向きのカメラ)、及び/又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置114は、装置101に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
【0027】
(複数の)音声/映像出力装置115は、(複数の)プロセッサ102から信号を受信して、ユーザに音声又は映像出力を提供するように構成される1つ以上の装置を含む。例えば、一部の実施形態では、(複数の)音声/映像出力装置115は、タッチスクリーンディスプレイ、LCDディスプレイ、プラズマディスプレイ、CRTディスプレイ、プロジェクションディスプレイ、又は当技術分野で周知の何らかの他のディスプレイを含んでもよい。更に、音声/映像出力装置は、音声をユーザに出力するように構成される1つ以上のスピーカを含んでもよい。
【0028】
システム100は、この例示では、装置101に統合されるタッチ面116を更に含む。タッチ面116は、ユーザの接触入力を感知するように構成される任意の表面を表す。1つ以上のセンサ108は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ102によってユーザに適切なデータを提供するように構成されてもよい。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び/又は容量性のセンサが、タッチ面116に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ108及びタッチ面116は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面116及びセンサ108は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上(overtop)に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ108は、LED検出器を含んでもよい。例えば、一実施形態では、タッチ面116は、ディスプレイの側部に取り付けられるLED指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ108と通信し、他の実施形態では、プロセッサは複数のセンサ108、例えば、第1のタッチスクリーン及び第2のタッチスクリーンと通信する。一部の実施形態では、1つ以上のセンサ108は、移動装置の運動を検出するように構成される1つ以上のセンサ(例えば、加速度計、ジャイロスコープ、カメラ、GPS、又は他のセンサ)を更に含む。こうしたセンサは、X、Y又はZ平面に装置を移動させるユーザ相互作用を検出するように構成されてもよい。センサ108は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ102に信号を送信するように構成される。一部の実施形態では、センサ108は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ108は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。更に、一部の実施形態では、ユーザ相互作用は、装置から離れた多次元ユーザ相互作用を含む。例えば、一部の実施形態では、装置に関係付けられるカメラが、ユーザの動き、例えば、手、指、体、頭、目若しくは足の動作又は別の人物若しくはオブジェクトとの相互作用を検出するように構成されてもよい。
【0029】
一部の実施形態では、入力は、ジェスチャを含んでもよい。ジェスチャは、意味又はユーザの意思を伝達する何らかの体の動きである。単純なジェスチャがより複雑なジェスチャを形成するように結合されてもよいことが理解されるであろう。例えば、指をタッチセンサ面と接触させることは「フィンガーオン」ジェスチャと呼ばれてもよく、指をタッチセンサ面から取り除くことは別の「フィンガーオフ」ジェスチャと呼ばれてもよい。「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的短い場合、結合されたジェスチャは「タップ」と呼ばれてもよく、「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的長い場合、結合されたジェスチャは「ロングタップ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの2次元(x、y)位置の間の距離が比較的大きい場合、結合されたジェスチャは「スワイプ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの2次元(x、y)位置の間の距離が比較的小さい場合、結合されたジェスチャは「スミア(smearing)」、「スマッジ(smudging)」又は「フリック」と呼ばれてもよい。任意の数の2次元又は3次元の単純な又は複雑なジェスチャが様々な態様で結合されて、限定されないが、装置への多数の指の接触、掌又は拳の接触、又は近接を含む任意の数の他のジェスチャを形成してもよい。また、ジェスチャは、加速度計、ジャイロスコープ又は他の運動センサを有する装置によって認識され、電気信号に変換される任意の形態の手の動きであり得る。このような電気信号は、仮想サイコロを振る等の動的効果をアクティブ化することができ、センサは動的効果を生成するユーザの意思をキャプチャする。
【0030】
この例示では、触覚出力装置118がプロセッサ102と通信し、タッチ面116に結合される。一部の実施形態では、触覚出力装置118は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置118は、タッチ面を制御して動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び/又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又は線形共振アクチュエータ(LRA)の1つ以上を含んでもよい。一部の実施形態では、触覚出力装置118は、複数のアクチュエータ、例えば、ERM及びLRAを含んでもよい。
【0031】
一部の実施形態では、1つ以上の触覚出力装置が、装置に対してX、Y又はZ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ内のオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、X平面(左又は右)、Y平面(上又は下)、Z平面(ディスプレイの中へ又は外へ)、又はこうした面のベクトルに移動するオブジェクト(例えば、以下に記載されるように張られるステッカー)をシミュレートするように構成されてもよい。こうした多次元の触覚効果が特徴をシミュレートしてもよい。
【0032】
本明細書では単一の触覚出力装置118が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートするために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。一実施形態では、超音波周波数で、例えば、一部の実施形態では20−25kHzよりも高い周波数で動作するアクチュエータ等を使用することによって、垂直に及び/又は水平にタッチ面116の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ及び他の触覚効果を与えるために単独で又は同時に使用され得る。
【0033】
更に他の実施形態では、触覚出力装置118は、タッチ面116の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電引力を使用してもよい。同様に、一部の実施形態では、触覚出力装置118は、タッチ面116の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置118は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。
【0034】
プロセッサ102は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面116に近い又は接触しているオブジェクトと容量結合するAC信号であってもよい。一部の実施形態では、AC信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面116の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面116の表面は円滑であるが、容量結合はタッチ面116の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面116の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面116の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面116の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面116の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面116の表面において、又はコンピュータ装置101の別の部分(例えば、その筐体又は別の入力装置)において異なるテクスチャ又は他の効果をシミュレートしてもよい。
【0035】
当業者であれば、摩擦係数を変化させること又は表面上のテクスチャをシミュレートすること等の触覚効果を出力するために多くの技術が使用され得ることを理解するであろう。例えば、一部の実施形態では、テクスチャは、表面再構成可能な触覚基板(限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む)又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム(“MEMS”)要素、熱流体ポケット、MEMSポンプ、可変多孔性膜(variable porosity membranes)、又は層流変調で、1つ以上の表面特徴を上昇又は下降させることによって変化させられてもよい。
【0036】
一部の実施形態では、タッチ面116に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ(例えば、容量結合)を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するAC電圧信号を受信してもよい。ユーザがタッチ面116に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。
【0037】
メモリ104に関しては、例示のプログラム構成要素124、126及び128が、ユーザ生成コンテンツオーサリングを与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール124が、タッチの位置を決定するためにセンサ108を介してタッチ面116を監視するようにプロセッサ102を構成する。例えば、モジュール124は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び/又は経時的なタッチの他の特性を追跡するためにセンサ108をサンプリングしてもよい。
【0038】
触覚効果決定モジュール126は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラム構成要素を表す。例えば、一実施形態では、モジュール126は、接触の場所に基づいて、生成すべき触覚効果を決定するコードを含む。例えば、触覚効果決定モジュール126は、ユーザによって選択され得る1つ以上の最初から組み込まれている触覚効果を含んでもよい。こうした触覚効果は、(複数の)触覚出力装置118が生成することができる任意の種類の触覚効果を含んでもよい。更に、一部の実施形態では、モジュール126は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性を操作するように構成されるプログラムコードを含んでもよい。一部の実施形態では、モジュール126は、例えば、グラフィカルユーザインターフェースを介して、こうした特性をユーザが操作できるようにするプログラムコードを含んでもよい。
【0039】
更に、一部の実施形態では、モジュール126は、ユーザ相互作用に基づいて触覚効果を決定するように構成されるプログラムコードを含んでもよい。例えば、モジュール126は、タッチ面116におけるユーザ入力又は移動装置の動作を検出するように構成される慣性センサ等の他のセンサを監視するように構成されてもよい。モジュール126は、この入力を検出して、入力に基づいて触覚効果を生成してもよい。例えば、一部の実施形態では、モジュール126は、ユーザ相互作用をシミュレートするように構成される触覚効果を決定するように構成されてもよい。
【0040】
触覚効果生成モジュール128は、プロセッサ102に触覚信号を生成させて触覚出力装置118に送信させ、それにより、触覚出力装置118に選択された触覚効果を生成させるプログラミングを表す。例えば、生成モジュール128は、記憶された波形又はコマンドにアクセスして、触覚出力装置118に送信してもよい。別の例示として、触覚効果生成モジュール128は、所望の種類のテクスチャを受信して、適切な信号を生成して触覚出力装置118に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、触覚効果に関する目標座標と共に所望のテクスチャが示されて、表面(及び/又は他の装置要素)の適切な変位を生成して触覚効果を与えるために1つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンが押されたことをシミュレートする。
【0041】
コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよく、又は覆わなくてもよい(或いは、対応しても、対応してなくてもよい)。図1Bでは、コンピュータシステム100Bの外観図が示される。コンピュータ装置101は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ116を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の1つ以上の材料層に対応してもよい。
【0042】
図1Cは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置101は、装置101とインターフェース接続されたコンピュータシステム120に含まれるディスプレイ122に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面116を特徴とする。例えば、コンピュータ装置101は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム120は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス(例えば、DVDプレーヤ、DVR、ケーブルテレビボックス)、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面116及びディスプレイ122は、ディスプレイ122を特徴付けるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。
【0043】
図2A−2Bは、ユーザ生成コンテンツをオーサリングするための装置の例示の実施形態を示す。図2Aは、タッチ可能ディスプレイ202を特徴とするコンピュータ装置201を含むシステム200の外観図を示す図面である。図2Bは、装置201の断面図を示す。装置201は図1Aの装置101と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。
【0044】
図2Bに見られるように、装置201は、複数の触覚出力装置218及び追加の触覚出力装置222を特徴とする。触覚出力装置218−1は、ディスプレイ202に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で218−2は横方向にディスプレイ202を動かしてもよい。この例では、触覚出力装置218、222はディスプレイに直接結合されているが、触覚出力装置218、222は別のタッチ面、例えば、ディスプレイ202の上にある材料の層に結合され得ることが理解されるべきである。更に、1つ以上の触覚出力装置218又は222が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置222は、装置201の構成要素を保持する筐体に結合されてもよい。図2A−2Bの例では、ディスプレイ202の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。
【0045】
一実施形態では、触覚出力装置218の各々は圧電アクチュエータを含むが、追加の触覚出力装置222は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置222は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び/又は他の目的で利用され得る。例えば、ディスプレイ202の表面におけるテクスチャをシミュレートするために各アクチュエータが併せて使用されてもよい。
【0046】
一部の実施形態では、触覚出力装置218−1及び218−2のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ(例えば、可撓性材料を含むアクチュエータ)、静電、及び/又は磁歪アクチュエータを含み得る。更に、触覚出力装置222が示されているが、複数の他の触覚出力装置が装置201の筐体に結合可能であり、及び/又は触覚出力装置222は別の場所に結合されてもよい。装置201は、同様に、異なる場所でタッチ面に結合される複数の触覚出力装置218−1/218−2を特徴としてもよい。
【0047】
次に図3Aを参照すると、図3Aは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図3Aに示された実施形態は、コンピュータ装置300を含む。図3Aに示されたように、コンピュータ装置300は、タッチスクリーンディスプレイ302を備える。更に、図300に示されたように、多数の映像304がユーザに選択されるように利用可能である。映像304は、ローカルに保存された映像、リモートデータベース(例えば、インターネットアクセス可能データベース)、プライベートデータベースに保存された映像、コンピュータ装置300で利用可能なカメラを使用してキャプチャされた映像、又は他の何らかの種類の映像等の任意の数の利用可能な映像を含んでもよい。
【0048】
図3Aに示される実施形態では、ユーザは、映像と相互作用するジェスチャを行うことによって1つ以上の映像304を選択してもよい。例えば、図3Aに示される実施形態では、ユーザは、タッチスクリーン302上でジェスチャを行うことによって映像304と相互作用してもよい。他の実施形態では、ユーザは、コンピュータマウス、タッチパッド、又は他のユーザインターフェース装置を使用してそれを選択することにより映像と相互作用してもよい。一旦映像の1つを選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて生成されたコンテンツを映像に適用してもよい。
【0049】
図3Bは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図3Bに示された実施形態は、コンピュータ装置350を含む。図3Bに示されたように、コンピュータ装置350は、タッチスクリーンディスプレイ302を備える。図3Bに示されたように、ユーザは、利用可能な映像の1つを選択しており、ユーザ生成コンテンツを適用しているところである。
【0050】
図3Bに示されたように、移動装置350は、映像場所352のタイムラインを示すユーザインターフェースを備える。一部の実施形態では、映像場所352は、選択された映像内のフレームの縮小図を含む。タッチスクリーン302の右側の映像場所352Aは、映像の最初の場所を含んでもよい。タッチスクリーン302の左側の映像場所352Bは、映像の終了に向かう場所を含んでもよい。ユーザは、触覚効果を配置するために映像場所352を選択するジェスチャを行ってもよい。ユーザが映像場所352を選択すると、表示領域354は、映像内のその場所のより大きな画像を示してもよい。一旦場所を選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて映像内のその場所に触覚効果等のユーザ生成コンテンツを適用してもよい。図3Bに示されるように、一部の実施形態では、映像場所352のこのタイムラインは、表示領域354において映像をオーバレイしてもよい。
【0051】
図4Aは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図4Aに示された実施形態は、コンピュータ装置400を含む。図4Aに示されたように、コンピュータ装置400は、タッチスクリーンディスプレイ402を備える。図4Aに示されたように、ユーザは、映像内の場所を選択するジェスチャを行っており、触覚効果を適用しているところである。図4に示されるように、ユーザは、例示の触覚効果404の1つを選択してもよい。例えば、ユーザは、その触覚効果を選択するために触覚効果404に関係付けられる場所においてタッチスクリーン402と相互作用するジェスチャを行ってもよい。一旦ユーザが触覚効果を割り当てると、効果は映像内の選択された場所に関係付けられるであろう。
【0052】
図4Aに示されるように、ユーザは、多数の異なる種類の利用可能な触覚効果404の1つを選択してもよい。例えば、図4Aに示されるように、ユーザは、触知効果、感情ベースの効果、アクションベースの効果等の広い部類の触覚効果から選択してもよい。更に、こうした効果は、例えば、ランプアップ(ramp up)、ランプダウン(ramp down)、バンプ(bump)、シャープヒット(sharp hit)、ダブルヒット(double hit)、テクスチャ、摩擦、鼓動、トゥインクル(twinkle)、驚き、ワオ(wow)、エンジェル、喝采、ヒュー(whoosh)、ポップ(pop)、バン(bam)、ポカン(pow)、破壊、ザップ(zap)、又は振動、表面ベースの効果、表面変形若しくは当技術分野で周知の他の種類の触覚効果を用いて生成され得る何らかの他の種類の触覚効果を含んでもよい。
【0053】
他の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置でジェスチャを行うこと(例えば、装置を振ること又は装置上の場所を押すこと)により触覚効果を生成してもよい。このジェスチャは、移動装置における1つ以上のセンサ(例えば、心拍センサ、加速度計、又は動作を検出するように構成されるセンサ)によってキャプチャされて、触覚効果に変換されてもよい。更に、一部の実施形態では、ユーザは、多数の触覚効果を映像中の単一の又は多数の場所に適用してもよい。
【0054】
更に、一部の実施形態では、移動装置400は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性をユーザが操作できるように構成されるユーザインターフェースを表示するためのプログラムコードを含んでもよい。これにより、ユーザは、既存の触覚効果を取って、特定の映像に対して、例えば、ユーザが他のユーザと共有することを意図する映像に対して効果をパーソナライズすることができる。
【0055】
図4Bは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図4Bに示された実施形態は、コンピュータ装置450を含む。図4Bに示されたように、コンピュータ装置450は、タッチスクリーンディスプレイ402を備える。図4Bに示されるように、ユーザは、既に映像内の場所を選択しており、映像内に触覚効果を配置するジェスチャを行っている。図4Bに示される実施形態では、ユーザは、映像内の触覚効果の場所を微調整することができる。例えば、図4に示されるように、ユーザは、触覚効果を前方に少しずつ動かすジェスチャ(例えば、.2秒等の少量だけ効果を前方に動かす)又は触覚効果を後方に少しずつ動かすジェスチャ(例えば、.2秒等の少量だけ効果を後方に動かす)を行うことができる。また、ユーザは、映像から効果を消去することもできる。
【0056】
更に、図4Bに示されるように、特徴454は、映像の長さとの比較により触覚効果の持続時間を示す。図4Bに示される実施形態では、特徴454は、完全な映像の長さと比較して触覚効果の持続時間に一致する長さのオーバレイを含む。従って、例えば、図4Bに示される実施形態では、映像は、特徴454によって表された効果の持続時間の倍数である持続時間を含んでもよい。一部の実施形態では、ユーザは触覚効果の持続時間を増加又は減少させてもよく、特徴454の同等の長さが対応する変化を有してもよい。
【0057】
図5Aは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図5Aに示された実施形態は、コンピュータ装置500を含む。図5Aに示されたように、コンピュータ装置500は、タッチスクリーンディスプレイ502を備える。図5Aに示される実施形態では、ユーザは、映像内の場所にステッカー又はタグを適用している。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。こうしたステッカーは、図5Aではステッカー504として示される。一部の実施形態では、ステッカーは、ユーザによって作成されるグラフィックス又はアニメーション、又は選択的に音声効果を含んでもよい。例えば、ユーザは、別の描画モードに入ってもよい。ここで、ユーザは、例えば、描画アプリケーションのプラグインで新しいステッカーを描いてもよく、又は例えば、ステッカーにテキスト又はアニメーションを追加することで既存のステッカーを修正してもよい。
【0058】
図5に示される実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに似たアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、図5に示される実施形態では、ユーザは、映像内の所定の場所にハート形状のステッカーを適用してもよい。一部の実施形態では、この場所は、関連する触覚効果と同じ場所であってもよい。例えば、ユーザは、ハート形状のステッカー及び映像内の同じ場所で鼓動するハートをシミュレートするように構成される触覚効果を適用してもよい。他の実施形態では、ユーザは、触覚効果に関係付けられない場所でステッカーを適用してもよい。更に、一部の実施形態では、ユーザは、対応する触覚効果に関係付けられ得る又は関係付けられない場所で多数のステッカーを適用してもよい。
【0059】
図5Bは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図5Bに示された実施形態は、コンピュータ装置550を含む。図5Bに示されたように、コンピュータ装置550は、タッチスクリーンディスプレイ502を備える。図5Bに示される実施形態では、ユーザは、1つ以上の触覚効果及び1つ以上のステッカーを既に選択して割り当てている。図5Bに示される実施形態では、ユーザは映像を見てもよい。映像内の割り当てられた場所において、コンピュータ装置550は、触覚効果を出力してステッカーを表示するであろう。更に、一部の実施形態では、ユーザは映像及び関連する触覚データを共有してもよい。例えば、一実施形態では、ユーザは、埋め込まれた触覚データを含む映像ファイルを共有してもよい。別の実施形態では、ユーザは、映像ファイルを共有し、触覚データを含む触覚トラックも共有してもよい。
【0060】
(ユーザ生成コンテンツをオーサリングするための方法)
図6は、一実施形態によるユーザ生成コンテンツをオーサリングするための方法を実行するためのステップのフローチャートである。一部の実施形態では、図6のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図6に示される1つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図6に示されない追加のステップが実行されてもよい。以下のステップは図1に示されたコンピュータ装置100に関して記載された構成要素を参照して記載される。
【0061】
方法600は、ステップ602において、コンピュータ装置100が映像信号を受信すると開始する。映像信号は、リモートデータベース(例えば、インターネットアクセス可能データベース)から受信した映像信号、例えば、メモリ104又は記憶装置114等のデータストアでローカルに保存された映像信号、又はコンピュータ装置101のカメラを用いてキャプチャされた映像を含んでもよい。
【0062】
次に、プロセッサ102は、ユーザインターフェースを表示する(604)。一部の実施形態では、プロセッサは、コンピュータ装置101のタッチスクリーンディスプレイ等のディスプレイにユーザインターフェースを表示してもよい。ユーザインターフェースは、図3A−5Bに関して先に記載された種類のタッチ可能ユーザインターフェースを含んでもよい。ユーザインターフェースは、本明細書に記載の実施形態に従ってユーザ生成コンテンツのオーサリングを可能にするタッチ可能機能を含む。例えば、ユーザインターフェースは、映像選択、触覚効果選択、触覚効果調節、触覚効果配置、触覚効果作成、ステッカー選択、ステッカー配置、ステッカー修正、映像の保存及び映像の再生のためのインターフェースを含む。一部の実施形態では、ユーザは、ジェスチャ、例えば、ユーザインターフェースに関係付けられるジェスチャを行うことにより映像を選択してもよい。
【0063】
次に、プロセッサ102は、触覚効果に関係付けられるジェスチャを検出する(606)。一部の実施形態では、ジェスチャは、タッチ面116によるユーザ入力を含んでもよい。一実施形態では、このジェスチャ、例えば、タッチスクリーンディスプレイの表面におけるジェスチャは、既存の触覚効果を選択してもよい。一部の実施形態では、このジェスチャは、1つ以上のセンサ108によって検出されて、プロセッサ102によって触覚効果に変換されるジェスチャを含んでもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される1つ以上のセンサ及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ(例えば、タッチ、タップ、又はスワイプ)を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい(例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる)。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。更に、一部の実施形態では、ジェスチャは、装置のカメラ(例えば、移動装置の前部若しくは後部向きカメラ又はリモートカメラ)によってキャプチャされるジェスチャを含んでもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサ102に送信してもよい。ステップ608に関して更に検討されるように、プロセッサは、ジェスチャをシミュレートするように構成される1つ以上の触覚効果を決定してもよい。
【0064】
次に、プロセッサは触覚効果を決定する(608)。一部の実施形態では、プロセッサ102は、ユーザ選択に基づいて触覚効果を決定してもよい。例えば、図4Aに関して検討されるように、ユーザは利用可能な触覚効果を選択してもよい。例えば、コンピュータ装置101のデータストアは、ユーザが選択し得る多数の触覚効果に関係付けられるデータを含んでもよい。更に、ユーザは、触覚効果に関係付けられる特性を調節してもよい。例えば、ユーザは、触覚効果に関係付けられる持続時間、周波数、強度、又は触覚効果に関係付けられる何らかの他の特性を修正してもよい。一部の実施形態では、プロセッサ102は、触覚効果を自動的に選択してもよい。例えば、一部の実施形態では、プロセッサ102は、映像内で起こるイベントに関係付けられる触覚効果を選択してもよい。こうしたイベントは、映像イベント又は音声イベントを含んでもよい。例えば、プロセッサ102は、例えば、滑降するスキーヤーの映像において発生するアクションイベントに触覚効果を関係付けてもよく、プロセッサ102は、スキーヤーの各衝突に関係付けられる触覚効果を決定してもよい。代替的に、プロセッサは、映像に関係付けられる鋭い音声、例えば、スキー映像における最初の銃の発射を検出して、この音声に触覚効果を関係付けてもよい。
【0065】
一部の実施形態では、プロセッサ102は、映像信号における音声を考慮せずに、映像信号における画像に基づいて触覚効果を決定してもよい。他の実施形態では、プロセッサ102は、映像信号の画像成分を使用せずに、触覚効果を決定するために信号における音声を使用してもよい。一部の実施形態では、プロセッサ102は、映像信号の視覚及び聴覚部分の両方を使用してもよい。更に、一部の実施形態では、プロセッサ102は、別個の音声及び映像ストリームを受信して、触覚効果を決定するために両者を一緒に又は別々に使用してもよい。
【0066】
一部の実施形態では、プロセッサ102は、ジェスチャに基づいて新しい触覚を作成してもよい。例えば、ユーザは、装置と相互作用すること(例えば、装置を振ること又は装置上の場所を押すこと)により触覚効果を生成してもよい。この相互作用は、移動装置における1つ以上のセンサ108によりキャプチャされて、触覚効果に変換されてもよい。例えば、一実施形態では、ユーザは、装置を激しく振ることにより新しい触覚効果を作成してもよい。この振ることは、慣性センサによって検出されてもよい。プロセッサ102は、装置が激しく振られることをシミュレートするように構成される触覚効果を決定するために慣性センサからの信号を使用してもよい。一部の実施形態では、プロセッサ102は、ユーザ相互作用に関係付けられる特性に基づいて触覚効果を決定する。例えば、プロセッサ102は、ユーザ相互作用の種類、場所、持続時間、又は他の特性に基づいて触覚効果を決定してもよい。更に、プロセッサ102は、多次元触覚効果を決定してもよい。例えば、プロセッサ102は、装置を下方に動かしたジェスチャをシミュレートするためにZ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにX又はY平面に出力する触覚効果(例えば、タッチスクリーンの表面における表面ベースの効果)も決定してもよい。一部の実施形態では、こうした触覚効果は、映像内のオブジェクト(例えば、ユーザによって追加されたステッカー又は既に映像にあるオブジェクト)が動く感覚をシミュレートしてもよい。例えば、触覚効果は、オブジェクトが左右に、上下に、前後に動き、動作中に傾斜し、又はディスプレイの内外に動く感覚をシミュレートしてもよい。一部の実施形態では、こうした触覚効果は、ディスプレイにおける視覚効果、例えば、ステッカーに関係付けられるアニメーションに対応してもよい。
【0067】
例えば、一実施形態では、ユーザは、タッチスクリーンの左側にあるオブジェクトをタップして、タッチスクリーンの右側にオブジェクトを移動させることによりオブジェクトが左から右に動く感覚をシミュレートするように構成される触覚効果を作成してもよい。プロセッサは、ディスプレイの左側からディスプレイの右側に動くオブジェクトの「質量(mass)」をシミュレートするように構成される触覚を決定してもよい。
【0068】
一部の実施形態では、コンピュータ装置101は関連する「触覚プロファイル」を記憶してもよく、ユーザは利用したい触覚効果の「プロファイル」を決定してメモリ104に保存することができる。例えば、一実施形態では、ユーザは、どの触覚効果を映像に挿入したいかをオプションのリストから選択することができる。
【0069】
一部の実施形態では、プロセッサ102は、コンピュータ装置101で利用可能な(複数の)触覚出力装置に部分的に基づいて触覚効果を決定してもよい。一部の実施形態では、プロセッサ102は、コンピュータ装置101に関係付けられる帯域幅の制約に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置101は、単一の触覚出力装置118を備えてもよい。このような実施形態では、プロセッサ102は、一度に1つの触覚効果が出力されることを決定してもよい。他の実施形態では、コンピュータ装置101は、複数の触覚出力装置118を含んでもよい。このような実施形態では、プロセッサ102は、多数の重畳する触覚効果が出力されることを決定してもよい。更に、このような実施形態では、プロセッサ102は、触覚出力装置118によって同時に出力される2つ以上の触覚効果の結合により生成される調和によって出力される複合触覚効果を決定してもよい。
【0070】
次に、プロセッサ102は、触覚効果を映像信号に関係付ける(610)。図3B及び4Bに関して先に検討されたように、ユーザは触覚効果を配置するために映像内の場所を選択してもよい。この場所は、映像におけるイベントに関係付けられてもよい。例えば、ユーザは、映像において所定回数発生するように触覚効果を選択してもよい。例えば、映像が滑降するスキーヤーの映像を含む先に検討された実施形態では、ユーザは、スキーヤーが他のオブジェクトと衝突する場所に触覚効果を関係付けてもよい。こうした触覚効果は、映像の鑑賞体験を向上させてもよい。更に、一部の実施形態では、プロセッサ102は、触覚効果を配置する映像内の場所を自動的に選択するように構成されてもよい。例えば、プロセッサは、映像に関係付けられるアクション、遷移、移動又は他の特性等の特徴を検出して、こうした特長に関係付けられる場所に触覚効果を配置するように構成されてもよい。
【0071】
次に、プロセッサ102は、ステッカーを映像信号に関係付ける(612)。図5Aに関して先に検討されたように、ユーザは、ステッカーを選択して、ステッカーが現れる映像内の場所も選択してもよい。先に検討されたように、ユーザは、既存のステッカーを選択してもよい。代替的に、ユーザは、新しいステッカーを作成してもよい。例えば、プロセッサは、新しいステッカーを作成するためのインターフェースを表示してもよい。このインターフェースは、ステッカーを描画及び修正するための特徴を含んでもよい。更に、一部の実施形態では、ユーザは、ステッカーにテキスト、アニメーション又は他の特徴を適用することにより既存のステッカーを修正してもよい。
【0072】
次に、プロセッサ102は、映像信号、触覚効果及びステッカーを記憶する(614)。一部の実施形態では、プロセッサは、単一のファイル、例えば、MP4ファイルにこうした成分の各々を記憶してもよい。他の実施形態では、任意の既知の映像ファイルフォーマット、例えば、MP2トランスポートストリーム、HDライブストリーム、1つ以上の種類のMPEG、又は当技術分野で周知の他の映像フォーマットが使用されてもよい。一部の実施形態では、プロセッサは、映像信号、触覚効果及びステッカーを別個のファイルに記憶してもよい。例えば、プロセッサは、映像ファイルに同期された触覚トラックを作成してもよい。
【0073】
次に、プロセッサ102は、映像、ステッカー及び触覚効果を出力する。映像及びステッカーは、ディスプレイを用いて出力されてもよい。一部の実施形態では、ステッカーは、再生中に映像内で動くアニメーション化されたステッカーを含んでもよい。他の実施形態では、ステッカーは、動かない固定ステッカーを含んでもよい。例えば、ステッカーはテキストボックスを含んでもよい。
【0074】
触覚効果を出力するために、プロセッサ102は、触覚効果を出力する触覚出力装置118に触覚効果に関係付けられる触覚信号を送信してもよい。触覚効果は、テクスチャ(例えば、砂質、凹凸又は円滑)、振動、知覚される摩擦係数の変化、温度の変化、ストローク感、電気触知効果、又は変形(即ち、コンピュータ装置101に関係付けられる表面の変形)を含んでもよい。
【0075】
追加して又は代替的に、一部の実施形態では、コンピュータ装置101は、音声及び/又は情報をディスプレイに出力してもよい。音声及び/又は情報は、オブジェクトの特性及び/又は機能に関係付けられてもよい。
【0076】
(ユーザ生成コンテンツのオーサリングの利点)
ユーザ生成コンテンツのオーサリングには多くの利点がある。例えば、映像の触知性強化は、創作的なコンテンツ作成への道を開いてもよい。アニメーション化されたステッカー又は触知のみと向上したアニメーション化されたステッカーとの結合は、映像作成におけるユーザ体験に対する追加のはけ口を更に提供してもよい。更に、アニメーション化されたオーバレイ概念に追加された追加の特徴として触知性強化の使用(例えば、映画内のアニメーション化されたステッカー)は、ユーザ体験を更に高めることができる。
【0077】
本開示の一部の実施形態は、サードパーティアプリケーションの構成要素又は装置内アプリケーションの構成要素として実装され得る。一部の実施形態では、本明細書に開示のシステム及び方法は、複数の装置の間で互換性があり、例えば、映像又は触覚トラックはプラットフォームとは独立しており、一旦作成されると任意の装置で再生可能であってもよい。
【0078】
(概論)
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。
【0079】
例示的な構成(実装を含む)の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
【0080】
また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
【0081】
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
【0082】
本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、1つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
【0083】
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるRAM(random access memory)等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
【0084】
このようなプロセッサは、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、FPGA(field programmable gate array)、及び状態機械を含む。このようなプロセッサは、PLC、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM又はEEPROM(electronically programmable read−only memory)、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
【0085】
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
【0086】
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び/又は追加を含むことを排除しないことが理解されるべきである。
図1A
図1B
図1C
図2A
図2B
図3A
図3B
図4A
図4B
図5A
図5B
図6