特許 6664071 マルチメディアデータで使用する触覚データを記録するシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6664071

(24)【登録日】2020年2月20日

(45)【発行日】2020年3月13日

(54)【発明の名称】マルチメディアデータで使用する触覚データを記録するシステムおよび方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200302BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/01 560

【請求項の数】12

【外国語出願】

【全頁数】15

(21)【出願番号】特願2015-229334(P2015-229334)

(22)【出願日】2015年11月25日

(65)【公開番号】特開2016-119071(P2016-119071A)

(43)【公開日】2016年6月30日

【審査請求日】2018年10月3日

(31)【優先権主張番号】14/576,589

(32)【優先日】2014年12月19日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100140822

【弁理士】

【氏名又は名称】今村 光広

(72)【発明者】

【氏名】ウルリッヒ，クリストファー ジェイ．

(72)【発明者】

【氏名】ラクロワ，ロバート

【審査官】 酒井 優一

(56)【参考文献】

【文献】 特開２０１４−１６０５２９（ＪＰ，Ａ）

【文献】 特開２００７−２８５８９８（ＪＰ，Ａ）

【文献】 特開平０８−１１１８３８（ＪＰ，Ａ）

【文献】 特開２００２−０２７４５３（ＪＰ，Ａ）

【文献】 特開２００７−０３６３６０（ＪＰ，Ａ）

【文献】 国際公開第２０１３／００８８６９（ＷＯ，Ａ１）

【文献】 特開平１１−２８２４７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

対象物の音声および／または動画を記録し、前記対象物の記録を出力するように構成されたレコーダと、
前記レコーダと関連付けられ、前記レコーダと実質的に同じ視点からおよび前記レコーダと同時に、前記対象物の動きおよび／または振動を測定するように構成および配置された非接触センサと、
前記非接触センサを移動させるように構成および配置された第１サーボ機構と、
前記レコーダを移動させるように構成および配置された第２サーボ機構と、
前記第１サーボ機構を制御して前記非接触センサの位置および／または向きを制御し、前記第２サーボ機構を制御して前記非接触センサと前記レコーダとの間の同期が維持されるように前記レコーダの位置および／または向きを制御し、前記非接触センサによって測定された前記対象物の前記動きおよび／または振動を、触覚データストリームへと変換する制御装置と、を備え、
前記触覚データストリームは、前記レコーダによって記録された前記対象物の前記記録と共に再生されるように触覚表示装置へ送信され、前記測定された動きおよび／または振動に対応する触覚効果が前記記録と同期して前記触覚表示装置のユーザに提供される、触覚データおよびマルチメディアデータを記録するシステム。

【請求項2】

前記非接触センサは、レーザ振動計を含む、請求項１に記載のシステム。

【請求項3】

前記非接触センサは、追跡装置を含む、請求項１に記載のシステム。

【請求項4】

前記非接触センサは、動画ストリーム解析アルゴリズムを含む、請求項１に記載のシステム。

【請求項5】

前記レコーダと前記非接触センサは、同じ位置に配置される、請求項１に記載のシステム。

【請求項6】

前記第１サーボ機構は、前記レコーダと実質的に同じ視点を有する位置および／または向きへと前記非接触センサを移動させるように前記制御装置によって制御される、請求項１に記載のシステム。

【請求項7】

前記レコーダによって記録される対象と接触し、前記対象物の動きおよび／または振動を検出するように構成および配置された第２センサを更に備え、前記制御装置は、前記非接触センサから受信したデータと、前記第２センサから受信したデータとを組み合わせて、前記組み合わせたデータを前記触覚データストリームへと変換する、請求項１に記載のシステム。

【請求項8】

前記制御装置は、異なるサンプリングレートおよび／または感度を有するセンサ信号を混合して、当該変換後の混合データを出力するように構成および配置された変換器を更に有する、請求項７に記載のシステム。

【請求項9】

レコーダを使用して、対象物の音声および／または動画を記録する工程と、
前記対象物と関連付けられ前記レコーダと実質的に同じ視点を有する非接触センサを使用して、前記対象物の動きおよび／または振動を測定する工程と、
制御装置を使用して、第１サーボ機構を制御して前記非接触センサの位置および／または向きを制御する工程と、
前記制御装置を使用して、第２サーボ機構を制御して前記非接触センサと前記レコーダとの間の同期が維持されるように前記レコーダの位置および／または向きを制御する工程と、
前記制御装置を使用して、測定された前記動きおよび／または振動を、触覚データストリームへと変換する工程と、を備え、
前記触覚データストリームは、前記対象物の前記記録と共に再生されるべく触覚表示装置へと送信され、前記測定された動きおよび／または振動に対応する触覚効果が、前記記録と同期して前記触覚表示装置のユーザに提供される、触覚データおよびマルチメディアデータを記録する方法。

【請求項10】

前記レコーダが移動して視点が変化した場合に、前記制御装置によって制御される前記第１サーボ機構を使用して、前記非接触センサを、前記レコーダと実質的に同じ視点を有する位置へと移動させる工程を更に備える、請求項９に記載の方法。

【請求項11】

前記対象物と接触する第２センサを使用して、前記対象物の動きおよび／または振動を検出する工程と、
前記非接触センサから受信したデータと前記第２センサから受信したデータとを組み合わせる工程と、
前記組み合わせたデータを前記触覚データストリームへと変換する工程と、を更に備える請求項９に記載の方法。

【請求項12】

異なるサンプリングレートおよび／または感度を有するセンサ信号を変換し、当該変換後の混合データを出力する工程を更に備える、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチメディアデータで使用する触覚データを記録するシステムおよび方法に関する。

【背景技術】

【0002】

ライブコンテンツまたは事前に制作されるコンテンツの制作において、動作を設定したり動作を捉えたりする技術が確立されている。例えば、現場から生中継で配信されるスポーツイベントの場合、通常、現場担当のプロデューサがイベントの１週間から２週間前にイベント会場に赴き、会場からの素晴らしいライブ作品（放送）のマルチメディアデータストリームを作成できるように、様々な位置にカメラを設定する。そして、ロケ班のスタッフが、各カメラ位置において”自己中心的定位（ｅｇｏｃｅｎｔｒｉｃ）”の音場を作成するべく、現場に配置された一連のマイクをプリミックスする。それにより、放送番組の視聴者が臨場感を感じることができるようにしている。

【0003】

例えば、スポーツスタジアムでは、スタンドの上に配置されるカメラは、観衆の音響効果とフィールド上（競技場）の音響効果とが等しく録音されるように構成され得る。フィールド側のカメラは、フィールドに居るかのように感じられるように、パラボラマイクまたは集音マイクを備えてもよい。競技者に搭載されたカメラは、競技者に搭載されるマイクを有してもよく、また、フィールド側のカメラと混合することにより、競技者視点およびスタジアム体験を提供することができる。映画およびテレビ用の予め作成されるコンテンツについても同様な手法を用いることができ、この場合、最終的なコンテンツの作成のために、撮影後の音声の編集が多くなされる。

【発明の概要】

【0004】

ユーザの電子機器においてストリーミングおよび再生することかできる放送番組に触覚（ハプティック）コンテンツを付加することにより、ライブ配信のスポーツイベントやその他の娯楽番組を当該電子機器で視聴する視聴者に没入感を感じさせる番組を作成できることが望ましい。また、実在の触覚データの取得をより容易にし、人間がほとんど介入することなく実在の触覚データの変換を行えるようにすることで、触覚体験を容易に伝達し、そのような触覚体験をユーザが容易に受け取れるようにして、触覚コンテンツが広く受け入れられるようにすることが望まれている。

【0005】

本発明の一側面によれば、対象物の音声および／または動画を記録し、対象物の記録を出力するように構成されたレコーダと、当該レコーダと関連付けられた非接触センサとを備えるシステムを提供する。非接触センサは、レコーダと実質的に同じ視点からおよびレコーダと同時に、対象物の動きおよび／または振動を測定するように構成および配置される。システムは、非接触センサによって測定された前記対象物の前記動きおよび／または振動を、触覚データストリームへと変換する制御装置を備え、前記触覚データストリームは、前記レコーダによって記録された前記対象物の前記記録と共に再生されるように触覚表示装置へ送信され、前記測定された動きおよび／または振動に対応する触覚効果が、前記記録と同期して前記触覚表示装置のユーザに提供される。

【0006】

一実施形態において、前記非接触センサは、レーザ振動計を含む一実施形態において、前記非接触センサは、追跡装置を含む。

【0007】

一実施形態において、前記非接触センサは、動画ストリーム解析アルゴリズムを含む。

【0008】

一実施形態において、前記レコーダと前記非接触センサは、同じ位置に配置される。

【0009】

一実施形態において、前記システムは、前記制御装置によって制御され、前記レコーダと実質的に同じ視点を有する位置および／または向きへと前記非接触センサを移動させるように構成および配置された第１サーボ機構を備える。一実施形態において、前記制御装置によって制御され、前記レコーダを移動させるように構成および配置された第２サーボ機構を更に備える。前記第１サーボ機構は前記第２サーボ機構と同期されて、前記非接触センサの移動が、前記レコーダの移動と同期される。

【0010】

一実施形態において、前記システムは、前記レコーダによって記録される対象と接触し、前記対象物の動きおよび／または振動を検出するように構成および配置された第２センサを更に備える。前記制御装置は更に、前記非接触センサから受信したデータと、前記第２センサから受信したデータとを組み合わせて、前記組み合わせたデータを前記触覚データストリームへと変換する、一実施形態において、前記制御装置は、異なるサンプリングレートおよび／または感度を有するセンサ信号を混合して、当該変換された混合データを出力するように構成および配置された変換器を有する。

【0011】

本発明の一側面によれば、レコーダを使用して、対象物の音声および／または動画を記録する工程と、前記対象物と関連付けられ前記レコーダと実質的に同じ視点を有する非接触センサを使用して、前記対象物の動きおよび／または振動を測定する工程とを備える方法を提供する。方法は更に、制御装置を使用して、測定された前記動きおよび／または振動を、触覚データストリームへと変換する工程を備え、前記触覚データストリームは、前記対象物の前記記録と共に再生されるべく触覚表示装置へと送信され、前記測定された動きおよび／または振動に対応する触覚効果が、前記記録と同期して前記触覚表示装置のユーザに提供される。

【0012】

一実施形態において、前記方法は、前記レコーダが移動して視点が変化した場合に、前記制御装置によって制御される第１サーボ機構を使用して、前記非接触センサを、前記レコーダと実質的に同じ視点を有する位置へと移動させる工程を更に備える。一実施形態において、前記制御装置によって制御される第２サーボ機構を使用して、前記レコーダを移動させる工程を備える。前記第１サーボ機構は前記第２サーボ機構と同期されて、前記非接触センサの移動が、前記レコーダの移動と同期される。

【0013】

一実施形態において、前記方法は、前記対象物と接触する第２センサーを使用して、前記対象物の動きおよび／または振動を検出する工程と、前記非接触センサから受信したデータと前記第２センサから受信したデータとを組み合わせる工程と、前記組み合わせたデータを前記触覚データストリームへと変換する工程とを備える。

【0014】

一実施形態において、前記方法は、異なるサンプリングレートおよび／または感度を有するセンサ信号を変換し、当該変換後の混合データを出力する工程を更に備える。

【0015】

本発明の上記および上記以外の目的、特徴、および性質、並びに、関連する構成要素の動作方法および機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示および説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書および特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」および「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

【図面の簡単な説明】

【0016】

以下の図面の構成要素は、本開示の原理の概略を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性および明瞭性を確保するために、対応する構成要素を指し示す参照符号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

【0017】

【図1A】本発明の一実施形態にかかるシステムを模式的に示す。

【0018】

【図1B】図１Ａのシステムの制御装置の詳細を模式的に示す。

【0019】

【図2A】本発明の一実施形態に係る、図１のシステムの実装形態を模式的に示した図である。

【0020】

【図2B】図２Ａに示された本発明の実施形態の更なる詳細を模式的に示す。

【0021】

【図3】本発明の一実施形態にかかる、非接触センサおよび動画／音声レコーダから、再生装置へのデータの流れを模式的に示す。

【0022】

【図4】本発明の一実施形態にかかる、非接触センサ、接触センサおよび動画／音声レコーダから、再生装置へのデータの流れを模式的に示す。

【0023】

【図5】本発明の一実施形態にかかる方法を模式的に示す。

【発明を実施するための形態】

【0024】

図１Ａは、本発明の一実施形態にかかるシステム１００を模式的に示す。図に示すように、システム１００は、イベントの対象物が体験する動きおよび／または振動を一定の距離から検出し、検出した動きおよび／または振動を、電子再生装置１３０のユーザが触覚効果として再生するための触覚効果データへと変換するように構成された一つのまたは複数のセンサ１０２を備えてもよく、これについては以下に詳細に説明する。一実施形態において、センサ１０２は、以下に詳細に説明するような非接触センサである。

【0025】

一実施形態において、センサ１０２は、例えば、スポーツイベント等の一部である選手および／もしくは器具またはその他の対象物の動き並びに／または振動を検出するように構成および配置される。一実施形態において、センサ１０２は、競技場／リンク／コートでの周囲の動きおよび振動、並びに、競技場／リンク／コート等の境界を検出してもよい。センサ１０２の実施形態の詳細については後述する。センサ１０２が検出する振動は、いかなる周波数帯域であってもよく、人間の機械的受容器が通常感じることができない振動周波数帯域であってもよい。このような一実施形態において、センサのデータの変換時に、振動を、機械受容性を有する帯域へと変換または転移させてもよい。センサデータの触覚効果データへの変換については、以下で詳細に記載する。

【0026】

システム１００はまた、対象物の画像を撮像し、対象物の音を捉えるように構成および配置された一つのまたは複数のカメラ１０４を備える。カメラ１０４は、一体化した動画／音声レコーダを備えてもよいし、図１Ａに示すように、それぞれ別個に設けられた動画レコーダ１０６および音声レコーダ１０８を備えてもよい。音声レコーダ１０８は、イベントに関連する音を捉えるように構築および配置された一つのまたは複数のマイクを有してもよい。例えば、イベントがフットボールの試合の場合、競技場のサイドライン上にフィールドレベルで一つのまたは複数のマイクを配置してもよく、また、例えば、現在のフットボールの試合の放送で行われているように、競技場の上部の位置に一つのまたは複数のマイクを配置してもよい。本明細書において使用されている「カメラ」という言葉は、動画レコーダ１０６および音声レコーダ１０８の組み合わせを指し、これら２つのレコーダが同じ位置に配置されていない場合や物理的に別個に設けられている場合も含む。一実施形態において、センサ１０２、動画レコーダ１０６および音声レコーダ１０８は、同じ電子装置の一部分であってもよい。一実施形態において、センサ１０２、動画レコーダ１０６および音声レコーダ１０８は、別個のスタンドアローンの装置、または、別個のスタンドアローンの装置の一部分であってもよい。

【0027】

図１Ａに示すように、システム１００は、センサ１０２、動画レコーダ１０６および音声レコーダ１０８に対して制御信号を出力し、電子再生装置１３０へと最終的に送信するべく処理を行うためにセンサ１０２、動画レコーダ１０６および音声レコーダ１０８からデータ信号を受信するように構成および配置された制御装置１１０を備える。制御装置１１０は、センサ１０２、動画レコーダ１０６および音声レコーダ１０８が出力した信号およびデータを処理するように構成および配置された一つのまたは複数のプロセッサ１１２を有する。プロセッサ１１２は、以下に詳細に記載するような制御装置１１０の様々な機能を実行するための実行可能命令を含むコンピュータプログラムモジュールを実行するようにプログラムされていてもよい。一実施形態において、一つのまたは複数のセンサ１０２は、プロセッサ１１２とは別のプロセッサを有してもよいし、プロセッサ１１２がセンサの一部であってもよい。

【0028】

電子再生装置１３０は、電子再生装置１３０のユーザに対して触覚効果を出力するように構成された触覚出力装置１３２、例えば、動画レコーダ１０６が撮像した画像である画像を表示するように構成されたディスプレイ１３４、および、例えば、音声レコーダ１０８によって録音された音声である音声を出力するように構成されたスピーカ１３６を備える。一実施形態において、触覚出力装置１３２は、ブレスレット、腕時計、アームバンド、ヘッドバンド、ヘッドマウントディスプレイ等のウェアラブルデバイスの一部であってもよい。一実施形態において、触覚出力装置１３２、ディスプレイ１３４およびスピーカ１３６は、例えば、互いに無線により接続されるように構成された別個の装置であってもよい。一実施形態において、触覚出力装置１３２は、ウェアラブルデバイスの一部であってもよく、ディスプレイ１３４は、テレビの一部であってもよく、スピーカ１３６は、ディスプレイ１３４とは別個に設けられた無線スピーカであってもよい。

【0029】

触覚出力装置１３２はアクチュエータを含み得るが、このアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１３２は、非機械的または非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚変換器デューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。

【0030】

図１Ｂには、本発明の一実施形態にかかる制御装置１１０がより詳細に示されてる。制御装置１１０は、システム１００の動作および機能を管理若しくは制御する汎用若しくは特殊用途マイクロコントローラであってもよい。例えば、制御装置１１０は、触覚効果を提供するために、触覚出力装置１３２への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。制御装置１１０は、どのような触覚効果が生成され、当該触覚効果がどのような順序で生成され、および／またはどの程度の大きさ、頻度、持続時間、および／またはその他のパラメータを触覚効果が有するかを、所定の係数に基づいて決定する。また、制御装置１１０は、特定の触覚効果を提供するために触覚出力装置１３２を駆動するのに使用することができるストリーミング・コマンドを提供するように構成されてもよい。一実施形態において、制御装置１１０は２つ以上のプロセッサ１１２、すなわち、各々がシステム１００の内部で特定の機能を果たすように構成されている複数のプロセッサ１１２を含んでもよい。制御装置１１０は、触覚効果プロファイル、触覚出力装置１３２がどのように駆動されるべきか示した命令、および／または、触覚効果を生成するためのその他の情報を含んでもよい一のまたは複数の記憶装置を備える電子メモリを有してもよい。一実施形態において、電子メモリ１１４はプロセッサ１１２の一部分であってもよい。

【0031】

電子メモリ１１４は、センサ１０２が検出したデータ、動画レコーダ１０６によって記録されたデータ、および、音声レコーダ１０８によって記録されたデータを格納するのに使用されてもよい。電子メモリ１１４としては、内部に固定された１つまたは複数の記憶ユニット、リムーバブル記憶ユニットおよび／またはリモート・アクセスが可能な記憶ユニットが含まれ得る。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェアコード等の任意の組み合わせを格納するように構成されてもよい。

【0032】

図に示すように、制御装置１１０はまた、入力変換器１１６、センサデータ・エンコーダ１１８、動画／音声データエンコーダ１２０、デコーダ１２２、および、出力変換器１２２を備える。上記したように、センサ１０２によって生成されたデータが、電子メモリ１１４に格納されてもよい。加えて、センサ１０２によって生成されるデータは、電子メモリ１１４に格納される前に、入力変換器１１６によって変換されてもよい。センサデータの変換は、任意に行われる工程と考えられ、変換が必要であるか否かは、使用されるセンサの性質による。例えば、それぞれがサンプリングに異なる周波数を使用する複数のセンサ１０２が用いられる実施形態では、データを同じ周波数を有する一つのデータストリームへと組み込むように当該データを変換するのに入力変換器１１６を使用してもよい。

【0033】

一実施形態において、センサデータエンコーダ１１８は、録画／録音中にセンサデータを、例えば、ＭＰＥＧ−４ファイルのようなフレキシブルなコンテナフォーマットに配置するように構成されてもよく、それにより、動画および音声以外のデータを一つのファイルコンテナに格納することができる。同様に、動画／音声データエンコーダ１２０は、録画／録音中に、動画および音声データをＭＰＥＧ−４ファイルのようなフレキシブルなコンテナフォーマットに配置するように構成されてもよい。一実施形態において、センサデータを別個のファイルに格納するようにソフトウェアを書いてもよいが、再生時に動画／音声データとの適切な同期を可能とするべくセンサデータに特別なマーカが必要となる。このような実施形態では、設計された記録フォーマットの制約に適合させるようにセンサデータを整形する以外に、入力変換を行う必要はほとんどない。正確なフォーマットは、実装者によって決定されてもよい。イベントを録画／録音するユーザが、アクティビティを完了させると、録画／録音が停止されてもよい。そして、ＭＰＥＧ−４ファイルが閉じられて、センサデータの全てが、動画／音声データを有する電子メモリ１１４内のＭＰＥＧ−４ファイル内に存在するようにしてもよい。

【0034】

図に示すように制御装置１１０の一部であってもよいデコーダ１２２、または、動画、すなわち、メディアファイルを再生するように構成された電子再生装置のメディアプレーヤの一部を構成してもよいデコーダ１２２は、センサ１０２によって生成されたデータを電子メモリ１１４から読み出し、電子メモリ１１４に格納されている記録済みの音声データおよび動画データと、当該読み出したデータとを時間的に関連付ける。メディア再生の間に、デコーダ１２２は、センサのデータを出力変換器１２４を通過させてもよく、出力変換器１１４は、センサデータを触覚出力信号へと変換するように構成される。触覚出力信号は、これに限定されないが、例えば、振動、表面摩擦変調、皮膚をつまむ、皮膚を強く押す、といった一のまたは複数の触覚効果または触覚感覚のコマンドを生成するために生成される。デコーダ１２２は、センサデータから変換された触覚出力信号と、動画データおよび音声データとを同期させて、再生の際に、触覚効果が、動画および音声と同期されるようにする。一実施形態において、再生の間に動画データ、音声データおよび触覚効果における時間が一致していることを確かにすることで、完了する。

【0035】

触覚出力装置１３２を含む電子再生装置１３０を通じてメディアを体験する人が、再生されるイベントをより完全に体験できるようにするべく、触覚出力信号が、デコーダ１２２から触覚出力装置１３２へと送信されてもよい。電子再生装置１３０は、電子携帯端末のような任意の装置であってよく、例えば、携帯電話、ゲーム機器、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブル電子メール装置、ポータブルインターネットアクセス装置、タブレット等であってもよい。電子再生装置１３０は、これに限定されないが、ディスプレイ１３４を備える携帯用デバイスまたはウェアラブルデバイスを含んでもよい。ディスプレイ１２０は、メディアを再生する高画質ディスプレイであってもよい。電子再生装置１３０は更に、触覚感覚または触覚効果を生成することができる携帯可能な物体、ユーザの身体に取り付けることができる物体、ユーザに寄り掛からせることができる物体、または、ユーザに触知的感覚送信することができる物体を備えてもよい。振動、動画および音声データを含むデータストリームの全ての同期は、図１Ａおよび図１Ｂに示したシステム１００のプロセッサ１１２内に配置されていてもよい記録ソフトウェアによって管理されてもよい。

【0036】

アクティビティが実行された後にまたは実行されるのと同時に、一のまたは複数の視聴者が、アクティビティを体験するのに興味を示したとする。アクティビティを再生するべく、視聴者は、自身の電子再生装置１３０で適切な再生ソフトウェアを起動してもよい。一実施形態において、再生ソフトウェアは、上記したデコーダ１２２によって実行されるセンサデコード方式を組み込んだ再生ソフトウェアアプリケーション、および、電子再生装置１３０における触覚出力装置１３２に適した触覚出力信号へとセンサデータを変換するべく出力変換器１２４によって実行されてもよい出力変換ソフトウェアを含んでもよい。一実施形態において、再生ソフトウェアアプリケーションは、センサデコード方式を組み込んでもよい。再生ソフトウェアは、電子再生装置１３０内に存在するまたは予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、電子再生装置１３０における触覚出力装置１３２に適した触覚出力信号へとセンサデータを変換してもよい。すなわち、出力変換器１２４および／またはデコーダ１２２は、電子再生装置１３０に位置してもよい。

【0037】

一実施形態において、電子再生装置１３０は、動画データストリームおよび触覚効果データストリームをデコードして、動画データと触覚効果データとの間の同期を維持するように構成されてもよい。電子再生装置１３０における一つのマイクロコントローラは、例えば、動画ストリームおよび触覚効果ストリームに基づいて、動画ディスプレイ１３４および触覚出力装置１３２両方の制御を行ってもよい。一実施形態において、再生ソフトウェアアプリケーションは、メディア再生を実行するべく、センサでコード方式を組み込んだ再生装置のオペレーティングシステムソフトウェアを利用してもよい。オペレーティングシステムソフトウェアは、電子再生装置１３０内に存在するまたは予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、電子再生装置１３０における触覚出力装置１３２に適した触覚出力信号へとセンサデータを変換してもよい。そして、視聴者は、イベントまたはパフォーマンスの視聴と関連付けられた触覚感覚を体験する。触覚効果は、出力変換ソフトウェアによって生成される。一実施形態において、出力変換は、電子再生装置１３０の外部で行われてもよく、クラウドに格納された放送局が所有するサーバで行われてもよい。このような実施形態では、触覚トラックの複数のバージョンが様々な装置および／または様々な装置の種類に対して生成されてもよく、適切な触覚トラックが選択されて、電子再生装置１３０内の触覚出力装置１３２へと送信される。

【0038】

一実施形態において、動画ストリーム、音声ストリームおよびセンサデータストリームは、同期され、結合されて、再生装置１３０に送信されてもよい。有線または無線ネットワークを介して通信を行う独立した複数の装置によって撮像が行われていることを考慮して、例えば、動画フレームごとおよびセンサ測定ごとにタイムスタンプを組み込むことにより同期を行ってもよい。したがって、記録装置は、例えば、ＧＰＳシステムからの共通の時間基準を取得する必要がある。一実施形態では、動画ストリームおよびセンサデータストリームの両方において検出可能な特定のアクションを実行することにより、同期が行われてもよい。

【0039】

その結果生成されたデータは、振動と、音声を含み得る動画との両方を組み合わせた一つのデータストリームとして、または、同期情報を伴った２つのデータストリームとして、送信されてもよい。データストリームは、順次、電子再生装置１３０へと送信されてもよいし、後の再生に備えてファイルに格納されてもよい。一実施形態において、触覚効果は、編集ツールを使用してオフラインで生成されて、撮影後の編集段階で動画に付加されてもよい。

【0040】

動画は、一のまたは複数の受信者によって、後で再生されてもよいし、リアルタイムでストリーミングされてもよい。ビデオは、これらに限定されないが、スマートフォンまたはタブレット、コンピュータ、ホームシアターシステム等を含む複数の装置で再生され得る。触覚効果は同様に、スマートフォン若しくはタブレット、ヘッドマウントディスプレイ装置、リストバンド、指輪若しくは手袋のようなウェアラブルデバイス、または、椅子若しくは机のような家具といった場所に設けられる、様々な触覚出力装置１３２を使用して生成されてもよい。

【0041】

図２Ａには、図１Ａおよび図１Ｂを参照して上記で説明したシステム１００の一実施形態であるシステム２００が模式的に示されている。図２Ａに示す実施形態では、センサ１０２は、対象物の動きおよび／もしくは振動を測定するように構築および配置された非接触測定装置２１２、ならびに／または、対象物の動きおよび／もしくは振動を測定するように構築および配置された追跡装置（tracking device）２１４を有してもよい、動き／振動記録装置２１０を備え得る。図では、非接触測定装置２１２および追跡装置２１４の両方が、動き／振動記録装置２１０の一部として描かれているが、ある実施形態では、動き／振動記録装置２１０が、非接触測定装置２１２および追跡装置２１４のどちらか一方のみを備えてもよい。システム２００はまた、動画／音声レコーダ２２０、変換器２３０、および、電子再生装置２４０を備える。電子再生装置２４０は、動き／振動記録装置２１０によって記録された動きおよび／または振動を表す触覚効果ＨＥを生成するように構成された少なくとも一つの触覚出力装置２４２、および、動画／音声レコーダ２２０によって撮像された画像を表示するように構成されたディスプレイ２４４を備える。

【0042】

一実施形態において、非接測定装置２１２は、対象物の振動を測定するように構成されたレーザ振動計であってもよい。当技術分野で知られるように、レーザ振動計は使用時に、対象物に向けられた第１周波数のレーザビームを発射して、対象物によって反射され、光検出器によって検出されたレーザービームの第２周波数を測定する。対象物が動いている場合、例えば、振動している場合、周波数シフトが起こり、第２周波数は第１周波数とは異なる。周波数シフトと、対象物の振動とを、相互に比較して相互に関連付けることができる。追跡装置２１４は、３次元まで対象物の動きをトラックするように構成されてもよく、周知の方法により画像解析することによって対象物の振動を決定することができる。一実施形態において、画像解析ソフトウェアを使用して、２次元または３次元動画ストリームから、動きおよび／または振動を求めてもよい。

【0043】

一実施形態において、例えば、加速度計のような、動きおよび／または振動を検出するように構成された一のまたは複数の更なるセンサ２１６を、対象物に配置してもよい。このようなセンサ２１６は、対象物と非接触ではなく、対象物と接触するという点において、本明細書の非接触センサとは異なる。

【0044】

一実施形態において、一のまたは複数の更なるセンサ（図示せず）は、特定のレンジにおける対象物を取り囲む明視野における変化を追跡するように構成された光学センサを含んでもよく、明視野における変化を動き／振動を示すセンサデータとして使用してもよい。

【0045】

また図２Ａに示すように、カメラであってもよい動画／音声レコーダ２２０は、図１Ａを参照して上記で説明した動画レコーダ１０６および音声レコーダ１０８として実装され、対象物の画像および音声を記録してもよい。動画／音声レコーダ２２０が一体化された装置として示されているが、上記したように、本発明の様々な実施形態は、動画レコーダが音声レコーダとは別個に設けられた構成も含む。一実施形態において、動き／振動記録装置２１０および動画／音声レコーダ２２０は、同じ電子装置内に配置されてもよい。

【0046】

動き／振動記録装置２１０および接触センサ２１６によって記録されたデータは、変換器２３０によって処理されて、触覚効果データとして電子再生装置２４０へ送信するべく出力されてもよい。一実施形態において、後にレンダリングするべくまたはライブイベントの観客に対して即時に放送するために触覚効果データは、動画‐音声データと共にまたはインターリーブして、格納されてもよい。

【0047】

一実施形態において、例えば、異なるセンサ２１２、２１４、２１６が、異なるサンプリングレートを使用するおよび／または異なる感度を有する場合には、変換器２３０は、カルマンフィルタのようなセンサデータ融合技術を使用してもよい。変換器２３０が出力する触覚効果データは、電子再生装置２４０に転送される前にエンコードされて、電子再生装置２４０において再生される時にデコードされてもよい。動画／音声レコーダ２２０によって記録されたメディアデータも、音声／動画データとして電子再生装置２４０に送信されるが、上記したように送信の前にエンコードされ、電子再生装置において再生される時にデコードされてもよい。

【0048】

図２Ａに示す実施形態では、システムによって記録されるイベントは、ホッケーの試合であり、現在の対象物は、ホッケーのスティックＨＳによって打たれるホッケーのパックＨＰである。非接触動き／振動記録装置２１０は、ホッケーのスティックＨＳによって打たれる時のホッケーのパックＨＰの動き／振動を記録する。同時に、ホッケーのパックＨＰと接触する接触センサ２１６は、ホッケーのスティックＨＳによってホッケーのパックＨＰが打たれる時に生成される振動を測定する。動き／振動記録装置２１０および接触センサ２１６によって記録されたデータが処理されて、変換器２３０によって触覚効果データへと変換され、音声／動画データと共にまたは音声／動画データとインターリーブされて、電子再生装置２４０へと送信される。電子再生装置２４０はデータを受信すると、後の再生のために電子メモリに当該データを格納してもよいし、ディスプレイ２４４に動画画像を表示させるおよび触覚出力装置２４２を使用して検出した振動に対応する触覚効果ＨＥを表示させる処理をすすめてもよい。これにより、電子再生装置２４０を持つユーザは、ホッケーのスティックＨＳがホッケーのパックＨＰを叩くのと関連付けされた振動を感じることができる。

【0049】

一実施形態において、電子再生装置２４０は、図１の電子再生装置１３０であってもよく、ディスプレイ１３４、スピーカ１３６、および、触覚効果を提供する触覚出力装置１３２のような振動装置を有する携帯電話またはタブレットの形態であってもよい。一実施形態において、触覚出力装置２４２は、ユーザの装置に取り付けられるまたはユーザによって保持されるように構成および配置された電子装置の一部であってもよい。例えば、触覚表示装置２４２は、スマートフォンのような携帯電話、タブレット、ゲームパッド、および、スマートウォッチ、リストバンド、アームバンド、ヘッドバンド、ヘッドマウントディスプレイのようなウェアラブルデバイスの一部であってもよい。

【0050】

動画／音声レコーダ（すなわち、カメラ１０４）の自己中心的定位の視点を維持するべく、センサ１０２は、知覚的に有意な態様で、カメラ１０４の視点を追跡してもよい。例えば、フットボールの試合の間に、カメラ１０４がフィットボールを追いかけている場合には、センサ１０２もカメラ１０４と同期した視点を維持するべくセンサ１０２を移動させる。カメラ１０４とセンサ１０２との間の同期は、様々な方法で達成可能である。一実施形態では、マーカを使用したオブジェクトトラッキングまたはビデオベースの追跡技術を使用してもよい。一実施形態において、カメラ１０４およびセンサ１０２の位置および向きを、カメラ１０４およびセンサ１０２の操作者によって手動で制御してもよい。

【0051】

図２Ｂに示す実施形態では、動き／振動記録装置２１０（すなわち、非接触センサ）に対する動画／音声レコーダ２２０（すなわち、カメラ）の位置および向きのサーボマッチングを利用してもよい。図に示すように、システムは、制御装置２５０、当該制御装置２５０によって制御され非接触測定装置２１２の位置および／または向きを制御するように構成および配置された第１サーボ機構（「サーボ」）２５２、制御装置２５０によって制御され追跡装置２１４の位置および／または向きを制御するように構成および配置された第２サーボ機構（「サーボ」）２５４、ならびに、制御装置２５０によって制御され動画／音声レコーダ２２０の位置および／または向きを制御するように構成および配置された第３サーボ機構（「サーボ」）２５６を備える。制御装置２５０は３次元画像解析のソフトウェアを実行するように構成されたプロセッサを有してもよく、当該ソフトウェアは、サーボ２５２、２５４、２５６に対するサーボ位置コマンドへと変換可能な対象物マーカを制御装置２５０に提供する。一実施形態において、３次元画像解析ソフトウェアは、対象物の動き／振動を判断して、電子再生装置のユーザに対して表示される触覚効果へと変換され得る信号を出力するアルゴリズムを有してもよい。一実施形態において、制御装置２５０は、既存のビーコン＆三角測量システムと同様な技術を用いて、３次元空間における対象物を追跡する位置追跡システム２６０からの指令を受けてもよい。位置追跡システム２６０は、制御装置２５０に対するサーボ位置コマンドへと変換され得る対象物マーカを提供する。

【0052】

図３には、非接触センサ３１０および動画／音声レコーダ３２０から、電子再生装置３３０へのデータフロー３００の一実施形態が示されている。図に示すように、センサ３１０によって出力されたデータは、３１２において較正マッピングが施され、３１４においてサンプリングしなおされた後、上記で説明したような当業者に周知のフォーマットを使用して３１６においてエンコーダによりエンコードされる。データがエンコードされた後、エンコーダは、例えば、インターネットを介してストリーミングされるメディア３４０へと組み込まれる信号３１８を出力する。メディアは、電子再生装置３３０の再生メディア３５０として消費される。これと同時にまたは実質的に同時に、動画／音声レコーダ３２０からのデータが、上記で説明したような当業者に周知のフォーマットを使用して３２２においてエンコーダによりエンコードされて、再生装置３３０へとストリーミングされるメディア３２０へと組み込まれるエンコード済み信号３２４が用意される。エンコードされた信号３１８、３２４は、再生装置３３０へとストリーミングされる（もしくは配信される）前に同期されてもよい、または、上記したように再生装置３３０に配信された後でエンコードされた信号３１８、３２４をローカルに再生装置３３０において同期してもよい。エンコードされた信号３１８、３２４は、互いに並列にストリーミングされてもよいし、一つの信号へとインターリーブされてもよい。

【0053】

図４には、対象物の振動を測定する非接触センサ４１０および対象物と接触している接触センサ４２０のような複数のセンサ、ならびに、対象物を記録する動画／音声レコーダ４３０のから、電子再生装置４４０へのデータの流れ４００の一実施形態が示されている。一実施形態において、較正およびサンプリングレートの一貫性を確保するべくセンサデータに処理が行われてもよい。一つの触覚信号を生成するべく、状態推定、混合、平均化等の様々な技術を用いて、複数のセンサデータチャネルを組み合わせる。図４に示す実施形態では、非接触センサ４１０によって出力されたデータは、４１２において較正マッピングが行われ、４１４においてサンプリングしなおされる。接触センサ４２０によって出力されたデータは、４２２において較正マッピングが行われ、４２４においてサンプリングしなおされる。４１４および４２４においてサンプリングしなおされたデータは、状態推定のために４１６において変換される。例えば、２つのストリームにおけるデータが異なる周波数であった場合、２つのデータ信号の推定を行って一つのデータ信号へと変換した後、４１８において上記で示したような当業者に周知のフォーマットを使用してエンコーダによりエンコードされてもよい。一実施形態において、２つのストリームにおけるデータは、一つのまたは複数の触覚データチャネルから構成される触覚出力ストリームへと変換されてもよい。エンコーダは、例えば、インターネットを介してストリーミングされるメディア４３６へと組み込まれる信号４２６を出力する。メディアは、電子再生装置４４０の再生メディア４３８として消費される。これと同時にまたは実質的に同時に、動画／音声レコーダ４３０からのデータを、上記で説明したような当業者に周知のフォーマットを使用して４３２においてエンコーダによりエンコードして、再生装置４４０へとストリーミングされるメディア４３６へと組み込まれるエンコード済み信号４３４を用意する。エンコードされた信号４２６、４３４は、再生装置４４０へとストリーミングされるもしくは配信される前に同期されてもよい、または、上記したように再生装置４４０に配信された後であって再生メディア４３８が再生される前に、エンコードされた信号４２６、４３４をローカルに再生装置４４０において同期してもよい。エンコードされた信号４２６、４３４は、互いに並列にストリーミングされてもよいし、一つの信号へとインターリーブされてもよい。

【0054】

図３および図４に示された両方の実施形態において、現場ベースの触覚検出の出力は、２つの異なる種類のデータエンコーディングを含んでもよい。例えば、完全であり、現場の検出源からの混合されていない純粋なセンサデータを含むＲＡＷマスタレコードと、混合され放送できる状態の触覚トラックを含み、全ての触覚センサの最終的な混合結果として放送されるダウンミックスレコードと、の２種類を含んでもよい。ある実施形態では、ダウンミックスレコードは、イベントにおける各カメラについて利用可能であってもよい。センサ技術の違いがあることから、ＲＡＷレコードは、様々なサンプリングレートを有してもよい。一方で、ダウンミックスは、ダウンストリームミックスおよび端末装置のレンダリングを容易にするために、標準的なサンプリングレート（例えば、２００Ｈｚ）に準拠してもよい。

【0055】

本発明の実施形態によれば、上記のシステム１００、２００は、メディアサーバによって起動されてもよい。メディアサーバは、例えばＮＥＴＦＬＩＸ（登録商標）のようなクラウドビデオストリーミングサービス、例えばＮＢＣのような放送ネットワーク提供サービス、例えばマイクロソフト（登録商標）のＸｂｏｘ（登録商標）のようなゲーム機、または、その他の種類のサーバであってもよい。触覚効果データは、メディアサーバから電子再生装置１３０、２４０へと有線でまたは無線で通信される信号として提供されてもよい。信号は、直接的な触覚効果ストリームもしくはコマンドのセットに始まり、数多くのアクションを実行すべきであると触覚出力装置１３２、２４２に対して指示する抽象的な通知に至るまで、様々含まれ得る。数多くのアクションのうちの一つとしては、触覚効果データに基づく触覚効果のレンダリングが挙げられる。

【0056】

本発明の実施形態によれば、システム１００、２００は、ＰＶＤによって起動されてもよい。ＰＶＤは、触覚効果データ信号を認識して、同じ触覚効果データ信号をまたは当該触覚効果データ信号から変換された異なる信号を送信して、最終的には、触覚効果が触覚出力装置１３２、２４２によって生成される。

【0057】

図５には、本発明の一実施形態にかかる方法５００が模式的に示されている。５１０において、上記の動画レコーダ１０６および／もしくは音声レコーダ１０８または動画／音声レコーダ２２０のような記録装置によって、動画および／または音声が記録される。５２０において、上記したような動き／振動記録装置２１０のような少なくとも一つの非接触センサによって、動きおよび／または振動の検出が行われる。一実施形態において、動き／振動データは、触覚データストリームへと変換されてもよい。５３０において、上記のプロセッサ１１２のようなプロセッサを使用して、触覚データストリーム内の動画および振動が同期される。５４０において、ディスプレイ１３４、スピーカ１３６および触覚出力装置１３２を備える上記した電子再生装置１３０、または、上記の電子再生装置２４０のような電子再生装置を使用して、同期された動画および／または音声ならびに振動が再生される。

【0058】

上記の本発明の実施形態では、マルチメディアデータストリームにおいて、動画および／または音声データと共に使用される触覚効果データを生成するべく動き／振動の記録を利用することを意図して、対象物の動きおよび／または振動を記録している。動き／振動の記録は、対象物の非接触観察を伴う。

【0059】

上記した本発明の実施形態は、少なくとも一つの非接触触覚センサを組み込んだイベントのライブ配信を作成する能力を提供する。上記の本発明の実施形態は特に、接触ベースの触覚検出に適さない繊細なまたは極限環境条件を有するイベントに有用である。

【0060】

上記の本発明の実施形態は、カメラをベースとする自己中心的定位の音場を提供することができ、当該音場を拡張して、音声および触覚フィードバックの両方を、スポーツの放送または撮影の一部として記録およびレンダリング可能とすることができる。また、上記の本発明の実施形態は、対象物に接触した触覚検出技術と、非接触の触覚検出技術との組み合わせを提供し、これらを混合することにより、各カメラの視点に対するエンドユーザの好適な体験を生成することができる。

【0061】

本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨および範囲に含まれ、そして以下の請求項によって保護されるべきものである。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】