特開 2015-41385 スポーツイベントのハプティック可能な閲覧

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-41385(P2015-41385A)

(43)【公開日】2015年3月2日

(54)【発明の名称】スポーツイベントのハプティック可能な閲覧

(51)【国際特許分類】

   G06F 3/01 20060101AFI20150203BHJP

   H04N 21/41 20110101ALI20150203BHJP

   H04N 21/44 20110101ALI20150203BHJP

【ＦＩ】

   G06F3/01 310A

   H04N21/41

   H04N21/44

【審査請求】未請求

【請求項の数】25

【出願形態】ＯＬ

【外国語出願】

【全頁数】18

(21)【出願番号】特願2014-165406(P2014-165406)

(22)【出願日】2014年8月15日

(31)【優先権主張番号】13/974,314

(32)【優先日】2013年8月23日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】サボウン ジャマル

(72)【発明者】

【氏名】クルス−エルナンデス ユアン マヌエル

(72)【発明者】

【氏名】ウルリッチ クリストファー ジェイ．

(72)【発明者】

【氏名】バーンバウム デイビッド

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164UA51P

5C164UB01P

5C164UB41S

5C164YA12

5E555AA80

5E555BA02

5E555BB02

5E555BC13

5E555CB74

5E555DA24

5E555DC84

5E555FA30

(57)【要約】

【課題】スポーツイベントのためのハプティック効果を生成する。
【解決手段】スポーツイベントのためのハプティック効果を生成するシステムは、異なるタイプのイベントデータを含むスポーツイベントデータを受信する。各タイプは、対応する特性を有する。システムは、異なるタイプのハプティック効果を各異なるタイプのイベントデータに割り当て、各タイプのハプティック効果に対応するハプティック信号を生成する。システムは、ハプティック信号をハプティック出力装置へ送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサにより実行されたときに、前記プロセッサにスポーツイベントのためのハプティック効果を生成させる命令を有するコンピュータ可読媒体であって、前記ハプティック効果の生成は、
スポーツイベントデータを受信するステップであって、前記スポーツイベントデータは、異なるタイプのイベントデータを含み、各タイプは、対応する特性を有する、ステップと、
異なるタイプのハプティック効果を各異なるタイプのイベントデータに割り当てるステップと、
各タイプのハプティック効果に対応するハプティック信号を生成するステップと、
前記ハプティック信号をハプティック出力装置へ送信するステップと、を備えるコンピュータ可読媒体。

【請求項2】

前記スポーツイベントデータは、前記スポーツイベントの電子スコアリングシステムから受信される請求項１に記載のコンピュータ可読媒体。

【請求項3】

前記スポーツイベントは、格闘イベントであり、前記異なるタイプのイベントデータは、パンチを含む請求項１に記載のコンピュータ可読媒体。

【請求項4】

前記スポーツイベントは、格闘イベントであり、前記異なるタイプのイベントデータは、キック及びノックアウトを含む請求項１に記載のコンピュータ可読媒体。

【請求項5】

前記ハプティック出力装置は、複数のハプティック出力装置を備えるハプティック再生装置の一部であり、前記複数のハプティック出力装置のハプティック出力装置の一又はそれ以上を選択するステップをさらに備える請求項１に記載のコンピュータ可読媒体。

【請求項6】

前記スポーツイベントデータは、一又は複数のセンサからさらに受信される請求項２に記載のコンピュータ可読媒体。

【請求項7】

前記スポーツイベントデータは、さらに前記スポーツイベントのビデオ分析から受信される請求項２に記載のコンピュータ可読媒体。

【請求項8】

各ハプティック効果は、大きさ、周波数及び持続期間パラメータを含み、前記大きさ、周波数及び持続期間パラメータは、前記スポーツイベントデータの特性に対応する請求項１に記載のコンピュータ可読媒体。

【請求項9】

前記ハプティック信号は、予め記憶されたハプティック効果に対応するコードを含む請求項１に記載のコンピュータ可読媒体。

【請求項10】

スポーツイベントのためのハプティック効果を生成するコンピュータ実装方法であって、
異なるタイプのイベントデータを含むスポーツイベントデータを受信するステップと、
異なるタイプのハプティック効果を各異なるタイプのイベントデータに割り当てるステップと、
各タイプのハプティック効果に対応するハプティック信号を生成するステップと、
前記ハプティック信号をハプティック出力装置に送信するステップと、を備える方法。

【請求項11】

前記スポーツイベントデータは、前記スポーツイベントの電子スコアリングシステムから受信される請求項１０に記載の方法。

【請求項12】

前記スポーツイベントは、格闘イベントであり、前記異なるタイプのイベントデータは、パンチを含む請求項１０に記載の方法。

【請求項13】

前記スポーツイベントは、格闘イベントであり、前記異なるタイプのイベントデータは、キック及びノックアウトを含む請求項１０に記載の方法。

【請求項14】

前記ハプティック出力装置は、複数のハプティック出力装置を備えるハプティック再生装置の一部であり、前記複数のハプティック出力装置のハプティック出力装置の一又はそれ以上を選択するステップをさらに備える請求項１０に記載の方法。

【請求項15】

前記スポーツイベントデータは、一又は複数のセンサからさらに受信される請求項１１に記載の方法。

【請求項16】

前記スポーツイベントデータは、さらに前記スポーツイベントのビデオ分析から受信される請求項１１に記載の方法。

【請求項17】

各ハプティック効果は、大きさ、周波数及び持続期間パラメータを含み、各スポーツイベントデータのタイプは、対応する特性を有し、前記大きさ、周波数及び持続期間パラメータは、前記特性に対応する請求項１０に記載の方法。

【請求項18】

前記ハプティック信号は、予め記憶されたハプティック効果に対応するコードを含む請求項１０に記載の方法。

【請求項19】

スポーツイベントハプティック効果システムであって、
異なるタイプのイベントデータを含むスポーツイベントデータを受信すると、異なるタイプのハプティック効果を各異なるタイプのイベントデータに割り当てるハプティック効果割り当て部と、
各タイプのハプティック効果に対応するハプティック信号を生成し、前記ハプティック信号をハプティック出力装置に送信するハプティック効果生成部と、を備えるシステム。

【請求項20】

送信された前記ハプティック信号を受信するアクチュエータをさらに備える請求項１９に記載のシステム。

【請求項21】

前記スポーツイベントデータは、スポーツイベントの電子スコアリングシステムから受信され、前記スポーツイベントは、格闘イベントであり、前記異なるタイプのイベントデータは、パンチを含む請求項１９に記載のシステム。

【請求項22】

前記スポーツイベントデータを生成するセンサをさらに備える請求項１９に記載のシステム。

【請求項23】

前記スポーツイベントデータを生成するビデオ分析装置をさらに備える請求項１９に記載のシステム。

【請求項24】

各ハプティック効果は、大きさ、周波数及び持続期間パラメータを含み、各スポーツイベントデータのタイプは、対応する特性を有し、前記大きさ、周波数及び持続期間パラメータは、前記特性に対応する請求項１９に記載のシステム。

【請求項25】

前記ハプティック信号は、予め記憶されたハプティック効果に対応するコードを含む請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、ハプティック効果に関するものであり、特に、スポーツイベントと共に生成されるハプティック効果に関するものである。

【背景技術】

【0002】

モバイルデバイス、ウェアラブルデバイス、器具等を含む多くのタイプのデバイスは、ユーザにアラートを提供する又は情報を送信するために、“ハプティックフィードバック”又は“ハプティック効果”としても知られる、（アクティブ及び抵抗フォースフィードバックのような）運動感覚フィードバック及び／又は（振動、触感及び熱のような）触覚フィードバックを含む。例えば、振動効果又は振動触覚ハプティック効果は、特定のイベントをユーザにアラートするために、電子装置のユーザにキューを提供するのに有益である、又はシミュレーション又は仮想環境内でのより感度の高い没入を生成するために現実的なフィードバックを提供するのに有益である。スポーツイベントのようなイベントを閲覧するユーザ体験は、ハプティック効果をイベントのオーディオ及びビデオ成分に加えることにより向上されうる。

【発明の概要】

【0003】

一実施形態は、スポーツイベントのためのハプティック効果を生成するシステムである。前記システムは、異なるタイプのイベントデータを含むスポーツイベントデータを受信し、各タイプは、対応する特性を有する。前記システムは、異なるタイプのハプティック効果を各異なるタイプのイベントデータに割り当て、各タイプのハプティック効果に対応するハプティック信号を生成する。前記システムは、ハプティック信号をハプティック出力装置に送信する。

【図面の簡単な説明】

【0004】

【図1】図１は、一実施形態におけるサーバ／コントローラを実装しうるシステム及び別の実施形態における追加の装置を実装しうるシステムのブロック図である。

【図2】図２は、電子スコアシステムによる格闘イベントの完全なリキャップの一例を示す。

【図3】図３は、一実施形態に係るイベント検出及びハプティック効果の生成を示すブロック図である。

【図4】図４は、本発明に係る２つの異なるハプティック効果再生の実施形態を示すブロック図である。

【図5】図５は、スポーツイベントをハプティック可能にし、ハプティック効果を生成する、又はハプティック信号をハプティック効果を生成する他の装置へ送信するハプティック可能なスポーツイベントモジュールの機能のフロー図である。

【発明を実施するための形態】

【0005】

一実施形態は、パンチ、キック等を記録する格闘型のスポーツイベントスコアシステムのようなスポーツイベントのスコアシステムからイベントデータを受信する。イベントデータは、ハプティック出力装置で提供されるときに、イベントデータを“再生成（ｒｅｐｒｏｄｕｃｅｓ）”するハプティック効果に変換される。例えば、閲覧者は、ハプティック出力装置との相互作用を通じて各パンチ又はキックを“感じる”。

【0006】

一実施形態では、サーバ／コントローラは、スポーツイベントデータを受信し、対応するハプティック効果を局所的に生成するか、又はハプティック効果を生成する別の装置へハプティック信号を送信する。図１は、一実施形態におけるサーバ／コントローラを実装しうるシステム１０、及び別の実施形態における追加の装置を実装しうるシステム１０のブロック図である。これらのいずれかの実装に対して、図１に示される要素の全てが必要又は存在しなくてもよい。例えば、ハプティック効果信号が他の装置へ送信される、又は局所的に生成されないサーバでは、図１に示されるハプティック出力装置は、含まれなくてもよい。

【0007】

システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。プロセッサ２２は、どのハプティック効果がプレイされるか、及びハイレベルパラメータに基づいてプレイされる効果の順序を決定することができる。通常、特定のハプティック効果を定義するハイレベルパラメータは、大きさ、周波数及び持続期間を含む。ストリーミングモーターコマンドのようなローレベルパラメータも特定のハプティック効果を決定するために用いられうる。ハプティック効果が生成される又はユーザの作用（ｉｎｔｅｒａｃｔｉｏｎ）に基づくこれらのパラメータのバリエーションであるときに、ハプティック効果がこれらのパラメータのいくつかの振動を含む場合、ハプティック効果は、“動的”であるとみなされる。

【0008】

システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。

【0009】

コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。通信媒体は、搬送波又は他の伝送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。

【0010】

一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。モジュールは、スポーツイベントをハプティック可能にし、ハプティック効果を生成する、又はハプティック信号を、ハプティック効果を生成する他の装置へ送信するハプティカリィイネーブルド（ｈａｐｔｉｃａｌｌｙ ｅｎａｂｌｅｄ）スポーツイベントモジュール１６をさらに含む。システム１０は、典型的には、Ｉｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎから出ている“ＴｏｕｃｈＳｅｎｓｅ（登録商標）”ハプティックフィードバック技術をサポートするためのソフトウェアのような追加の機能を含むための一又はそれ以上の追加のアプリケーションモジュール１８を含む。

【0011】

システム１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、無線、Ｗｉ−Ｆｉ（登録商標）又はセルラーネットワーク通信のような無線又は有線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。通信は、いくつかの実施形態では、ハプティック効果を生成するサーバと他の装置との間で行われる。システム１０が、例えば、ハプティック効果を生成するウェアラブルデバイスのようなリモートデバイスを実装する場合、通信装置２０は、別のシステム１０からハプティック信号を受信する。いくつかの実施形態では、システム１０は、ライブスポーツイベントで存在し、放送音声及びビデオチャネルと共に、スポーツイベント放送におけるハプティック効果を送信する。

【0012】

プロセッサ２２は、さらに、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にバス１２を介して接続される。ディスプレイ２４は、プロセッサ２２から信号を送受信するように構成されるタッチスクリーンのような接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。ディスプレイ２４は、ビデオ効果を生成し、オーディオ効果を生成するためにスピーカをさらに含みうる。

【0013】

システム１０は、一又はそれ以上のハプティック出力装置２６をさらに含む。プロセッサ２２は、ハプティック効果に関連付けられたハプティック信号をハプティック出力装置２６に送信し、次に、ハプティック効果を出力する。一実施形態におけるハプティック出力装置２６は、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、リニア共振アクチュエータ、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ（“ＥＲＭ”））、リニア共振アクチュエータ（ｌｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ（“ＬＲＡ”））のようなアクチュエータである。

【0014】

アクチュエータに加えて、ハプティック出力装置２６は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ（“ＥＳＦ”））、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ（“ＵＳＦ”））を使用する装置、超音波トランスデューサによる音響放射圧を誘導する装置、ハプティック基板及びフレキシブル又は変形可能な面又は形状変化デバイスを使用し、かつユーザの身体に取り付けられる装置、エアジェット等を用いて空気をひと吹きするような投影ハプティック出力を提供する装置等のような非機械的又は非振動デバイスを含んでもよい。複数のハプティック効果を有する複数のハプティック出力装置は、１つのハプティック効果を生成することができる。

【0015】

生成されたハプティック効果は、振動、変形、スクイージング（ｓｑｕｅｅｚｉｎｇ）、ポーキング（ｐｏｋｉｎｇ）、ストレッチング、表面摩擦、熱等を含む効果及び技術の広い範囲を含みうる。ハプティック効果を生成し、ハプティック出力装置２６を含む装置は、ウェアラブルデバイス（例えば、ブレスレット、アームバンド、グローブ、ジャケット、ベスト、眼鏡、シューズ、ベルト等）、ハンドヘルドデバイス（例えば、携帯電話、コンピュータマウス等）、ハプティック可能な（ｈａｐｔｉｃａｌｌｙ ｅｎａｂｌｅｄ）家具（例えば、椅子、長椅子等）、又は他のハプティック可能な装置であってもよい。

【0016】

一実施形態におけるシステム１０は、一又はそれ以上のセンサ２８をさらに含む。センサ２８は、加速度計、ジャイロスコープ、グローバルポジショニングシステム（“ＧＰＳ”）センサ、接触検知入力装置（例えば、タッチスクリーン、タッチパッド）、テクスチャスタイラス、イメージングセンサ、又はいくつかの他のタイプのセンサであってもよい。センサ２８は、加速度、傾き、慣性又は回転の変化を検出するように較正されてもよい。センサ２８は、また、位置センサ、回転速度センサ、光センサ、圧力センサ、テクスチャセンサ、カメラ、マイクロフォン、又は他のタイプのセンサであってもよい。センサ２８は、ハプティック効果として解釈される／表現される信号を受信するために、ボクシンググローブ、サッカーボール、テニスラケット、ヘルメット等のスポーツイベントに関連するアイテムと接続されてもよい。

【0017】

一実施形態は、以下に説明するように、ボクシング、マーシャルアーツ、ミックスドマーシャルアーツ（Ｍｉｘｅｄ Ｍａｒｔｉａｌ Ａｒｔｓ（“ＭＭＡ”）、総合格闘技）等のようなハプティック可能な格闘ベースのスポーツイベントに特別に適合される。本実施形態は、格闘の重要な瞬間が発生したときに閲覧者に格闘の重要な瞬間（ｍｏｍｅｎｔ）であると感じさせることにより、これらのタイプのイベントを観ている間にファンに没入体験を提供する。これらの瞬間の例は、パンチ／キックが当たった又は避けられた、ノックアウト、テイクダウンの成功、サブミッションを仕掛ける等を含む。他の実施形態は、他のタイプのスポーツイベントに用いられうる。

【0018】

格闘をベースとした実施形態は、テレビ放送された試合の間に、いつ、理想的には、どこに、ヒット又はキックが一方のファイターにより他方のファイターになされたかを閲覧者に通知することができる。前記実施形態は、他の関心を引くイベント（例えば、ミスヒット、サブミッション、ノックアウト等）について閲覧者に通知することもできる。この通知は、ハプティックフィードバックにより閲覧体験を増大することができ、格闘技放送の状況での閲覧者に没入体験を提供することができる。

【0019】

一実施形態では、いつヒット／イベントが検出されても、システム１０は、ハプティック出力装置２６を用いて、利用可能なリモートハプティック装置又はシステム１０の一部分で再生されるプリセットされたハプティック信号を送信する。一実施形態では、イベントの検出は、電子スコアリングシステムを通じて受信されうる。このようなシステムの例は、ＭＭＡタイプイベントの“Ｆｉｇｈｔｍｅｔｒｉｃ”及び“Ｃｏｍｐｕｓｔｒｉｋｅ”を含む。既存の電子スコアリングシステムにより、リング又はオクタゴンに近い異なる立会人は、ファイターの行動の時間、位置及び成果（例えば、ミスした仕掛け、当たったヒット、サブミッション等）を示す。立会人は、特殊なキーボードを用いてこのタスクを遂行する。その後、この情報は、後に可視化されてファイルに保存される。試合の終了時に、イベントの完全な再現（ｒｅｃａｐ）は、システムにより生成され、この例は、図２に示される。実施形態は、テキスト情報を構文解析し、かつ正確な予め設計されたハプティック効果を調節するために変換することにより、スコアリングデータをキャプチャすることができる。

【0020】

イベントデータのソースとしてスコアリングデータを用いることに加えて、実施形態は、画像処理を用いることができる。コンピュータビジョンは、ファイターの行動を推測することができる。実施形態は、ファイターの肢の動きを捕捉し、それらの三次元位置を検出するために、複数のカメラアングル／ビュー及びステレオビジョンを使用することができる。位置は、また、モーションモデル及びカルマンフィルタリングのような確率論的な方法を用いて、精緻化されることもできる。三次元位置を重畳したとき、二人のファイターが接触していることの表示が生成されることができる。例えば、一方のファイターの３次元的な手の位置が、他方のファイターの顔の位置に到達し、急激に逆の動きを取る場合、“ヒット”が推測されることができる。

【0021】

別の実施形態は、上述したイベントデータに加えて又は補完してイベントデータを受信するために、検出に基づくセンサを使用する。イベントデータは、ファイターに取り付けられたセンサからの測定値を分析し、ファイターの動きを描写することにより生成されることができる。例えば、ファイターのグローブの先に接触スイッチが装備されている場合、グローブを含むヒットにより、スイッチをオンにする。別の例では、加速度計のセットは、ファイターの腕及び肢に取り付けられることができる、又はグローブ又はシューズに埋め込まれることができる。これらのセンサからの信号を分析することにより、ヒット、キック及びミスは、パターンマッチングアプローチを用いて検出されることができる。タスクベースのこの“分類”は、加速度信号からの特徴を使用することができ、変化率、周波数範囲等のようなＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ（“ＨＭＭ”）、Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（“ＧＭＭ”）、ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（“ＳＶＭ”）等のような分類子を用いることができる。

【0022】

図３は、一実施形態に係るイベント検出及びハプティック効果の生成を示すブロック図である。図３の機能は、図１のシステム１０のような一又はそれ以上のシステムにより実装されてもよい。格闘イベント３０２から、イベント検出モジュール３０４は、電子スコアリングシステム３０５、ビデオフィード３０６のビデオ画像分析３０７、又はセンサ分析３０８、又はこれらの技術の組み合わせのいずれかを用いて格闘イベントデータを検出する。ハプティック信号３１０は、イベント検出モジュール３０４から生成される。ハプティック信号３１０は、タブレット３１２又はハプティックジャケット３１３のようなハプティック出力装置のハプティック効果に表現される。イベント検出モジュール３０４は、図１のハプティカリィイネーブルドスポーツイベントモジュール１６により実装されてもよい。

【0023】

実施形態は、上述したようなキャプチャされたイベントデータのいずれかを使用することができ、関連性がある、対応するハプティック効果を生成することができる。プレイされる当該効果の位置、強度及び性質は、イベントデータの特性に関連しうる。例えば、ノックアウトヒットは、強い“バンプ（ｂｕｍｐ）”に置き換えられる一方で、ミスキックは、わずかな振動によって表現されることができる。いくつかの実施形態では、ハプティック再生／出力装置は、ハプティックジャケット、ハプティックチェア等のような複数のアクチュエータで装備される。これらの実施形態では、イベントを最も良好に表現するために、効果の再生は、取得可能なアクチュエータの一又はそれ以上の選択と組み合せられる。例えば、ユーザが、ハプティックジャケットを身に付け、あるファイターが左のあばら肉にキックを受けた場合、ユーザも左のあばら肉に“バンプ”を感じる。効果は、また、複数のアクチュエータを同時に用いてプレイされてもよい。例えば、首の後でのチョークサブミッションは、首の周りの全てのアクチュエータの作動により表現されることができる。再生装置が単一アクチュエータ（例えば、単一アクチュエータを有するモバイルデバイス）である場合、全てのイベント／効果は、単一アクチュエータを用いて再生される。

【0024】

ライブ放送の格闘を処理するとき、実施形態は、イベントの検出及びハプティックへの変換のために、ビデオ表示を数秒間遅延することができる。予め設計された効果（つまり、予め記録されたハプティック効果）及びイベントの特徴／機能を用いて、関連する画像と同期したハプティック効果を表示するために、ハプティック効果制御信号は、合成され、特定の時間にハプティック再生装置の特定のアクチュエータに送信される。別の実施形態では、本発明は、イベントを検出し、アクチュエータの位置、予め設計された効果の数、その振幅、及びそのタイミングを示す特別なコードでイベントを記述する。システムは、コードを分析し、正確な制御信号をアクチュエータへ送信する再生装置へコードを送信する。この実施形態では、予め設計された効果は、再生装置の内部に埋め込まれており、“分析”システムには埋め込まれない。

【0025】

図４は、本発明に係る２つの異なるハプティック効果再生の実施形態を示すブロック図である。図４の機能は、システム１０のような一又はそれ以上のシステムにより実装されてもよい。分析モジュール／イベント検出モジュール４０２は、検出したイベントを受信し、対応するアクチュエータ制御信号４０３を生成する。当該信号は、ハプティック効果を生成するハプティカリィイネーブルド再生装置４０４へ送信される。別の実施形態では、分析モジュール／イベント検出モジュール４０８は、検出したイベントを受信し、記憶されたハプティック効果に対応するコード４０９を生成する。コードは、コード４０９に対応するアクチュエータ制御信号４１１を生成／読み出す再生装置４１０により受信される。再生装置４１０は、異なるアクチュエータを制御することができ、したがって、一実施形態における全てのアクチュエータの管理を担当する。再生装置４１０は、また、再生される効果を管理することができ、制御されるアクチュエータのそれぞれに対する制御信号を生成するためにこれらを使用することができる。一実施形態では、アクチュエータ制御信号４１１のそれぞれは、単一アクチュエータ（図４には図示せず）に結合される。別の実施形態では、アクチュエータは、再生装置自体に配置されることができ、この場合、制御信号も再生装置の内部にある。

【0026】

ハプティック効果を表現又は再生する際に、実施形態は、放送フィードを読み取り、適切な再生プラットフォームへ異なるトラック（オーディオ、ビデオ、ハプティック）のそれぞれを割り当てる特別なメディアプレイヤーソフトウェア（モバイル又はデスクトップ）又はハードウェアボックスを含んでもよい。モバイルコンピューティング（つまり、スマートフォン、タブレット）のフレームワークでは、デバイスのアクチュエータは、ハプティックの再生を担当するが、他のシナリオでは、体験は、閲覧者の関連する体の部分（例えば、パンチが当たった体の部分）にハプティックフィードバックを伝達するようなアクチュエータが埋め込まれた服をデザインすることによって、より現実的になりうる。

【0027】

記録されたフィードからハプティック効果を生成するとき、実施形態は、電子スコアリングシステムデータ及び／又は画像及び／又はセンサデータを分析し、アクチュエータの数と共に、イベントデータに関連付けられた予め設計されたハプティック効果の数及び強度を伴うイベントをタイムスタンプする。このデータは、Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（“ＸＭＬ”）ファイルで記録されることができる。ハプティック装置は、再生時にこのファイルを読み込むことができ、その後、数、強度レベル、ディスプレイの時間及びアクチュエータの位置によって記述される効果を再生する。別の実施形態では、システムは、他のトラック（つまり、オーディオ、ビデオ）と共にエンコードされうるアクチュエータの制御信号を含むハプティックトラックを生成する。再生時には、ハプティック装置は、適切にアクチュエータを制御するために、ハプティックトラック信号を抽出し、読み出す。単一アクチュエータの構成では、全ての制御信号は、同一のアクチュエータにマップされる。

【0028】

一実施形態は、上述したように、ハイディフィニション（（“ＨＤ”））ビデオ、３Ｄビデオ、５．１サウンドチャネル、メタデータ等のような複数の既存のスポーツイベント放送信号チャネルと共に、一つのスポーツイベントからの一又はそれ以上のチャネルでハプティック効果情報を放送する。“ライブ”放送の実施形態については、イベントデータは、スポーツ施設又は個別のアスリートに配置された一又はそれ以上のセンサ（例えば、図１のセンサ２８）により生成されることができる。センサは、オーディオセンサ及び／又は加速度センサ又は他の触覚又は生体検出（つまり、プレチスモグラフ（ｐｌｅｔｈｙｓｍｏｇｒａｐｈ））センサを含むことができる。エンコーダ（例えば、図１のハプティックイネーブルドスポーツイベントモジュール１６）は、一又はそれ以上のセンサ信号を取得することができ、それらを放送信号へエンコードすることができる。これは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（“ＭＰＥＧ”）コンテナにおける指定トラックの形態、又は既存のオーディオ又はビデオストリームの未使用／未活用のスペクトル要素としての形態であってもよい。

【0029】

送信装置（例えば、図１の通信装置２０）は、エンコードされたストリームをリモートビューワーに分配するために用いられる。送信装置は、無線（ｏｖｅｒ ｔｈｅ ａｉｒ （“ＯＴＡ”））アナログ放送、衛星又は他の既存のスポーツの送信方法でのインターネットプロトコル（“ＩＰ”）ネットワークを含むことができる。

【0030】

実施形態は、図１のシステム１０により実装されることができ、かつブロードキャストストリームをビデオ、オーディオ及び触覚成分にデコードするエンドポイントと、ビデオ、オーディオ及び触覚ストリームそれぞれに対する“ディスプレイ”と、を含む。ディスプレイは、全てのストリームに対する同一の物理アーティファクトであることができる、又は２又はそれ以上のアーティファクトからなることができる（例えば、ビデオ用のタブレット、オーディオ用の無線ヘッドホン、及び触覚用のウェアラブルアクチュエータ）。

【0031】

リモートビューワーは、電話又はタブレットのようなモバイルデバイスでスポーツイベントを閲覧する人であってもよい。この実施形態では、セルラー又はＷｉ−Ｆｉ技術は、送信に用いられることができ、視覚及びハプティックコンテンツは、同一の装置で消費される。閲覧者は、また、大型スクリーンＴＶでスポーツイベントを閲覧するが、電話又はタブレットのような第２のデバイス、又は“第２のスクリーン”としてのリモートコントロールを用いる人間であってもよい。スポーツイベント時に、“第２のスクリーン”デバイスは、スポーツ統計値及び広告のようなイベントについてのメタデータ又は拡張情報を閲覧するために、より多く用いられる。この実施形態では、視覚コンテンツは、主に大型スクリーンで視聴されるが、ハプティックコンテンツは、第２のデバイスで体験される。デバイスは、ハプティックコンテンツを表示する間に、手で保持されている又はポケットに入れたままでもよい。

【0032】

閲覧者は、スタジアム又はアリーナでのスポーツイベントライブを閲覧する人間であってもよい。この実施形態では、モバイルデバイスは、試合におけるさらなる没入を提供し、全般的な雰囲気及び試合のセッティングを向上させる。デバイスは、ハプティックコンテンツを表示しながら、手に保持されたまま又はポケットに入れたままであってもよい。

【0033】

モバイルデバイスに埋め込まれるものに加えて、実施形態は、アリーナ／スタジアム又はホームシアターのいずれかの座席用に形成されてもよく、座席は、モバイルデバイスと同様の手法で試合からのセンサ入力に基づく振動を通じて試合のファンに没入することができる。

【0034】

一実施形態では、放送の実施形態におけるエンドポイントは、未活用のスペクトル要素を用いるオーディオエンコードと共に、Ｉｍｍｅｒｓｉｏｎ Ｃｏｒｐからのメディア用の“Ｒｅｖｅｒｂ”自動ハプティックフィードバックを用いるＲｅｖｅｒｂ／Ｒｅｖｅｒｂ ＨＤイネーブルドエンドポイントであることができる。これは、モバイルデバイスが、実施形態に係る先進的な機能により補完される既存のハードウェア上で、クォーターバックをサックするような触覚情報を直接的に表現することを可能にする。

【0035】

図５は、スポーツイベントをハプティック可能にし、ハプティック効果を生成する、又はハプティック信号を、ハプティック効果を生成する他の装置へ送信するハプティックイネーブルドスポーツイベントモジュール１６の機能のフロー図である。一実施形態では、図５のフロー図の機能は、メモリ又は他のコンピュータ可読又は有形記録媒体により実装され、プロセッサにより実行される。別の実施形態では、前記機能は、ハードウェア（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等の使用）によって実行されてもよく、又はハードウェアとソフトウェアの組み合わせにより実行されてもよい。

【0036】

５０２では、格闘又は他のタイプのスポーツイベントからのイベントデータは、検出又は受信される。イベントは、手動の注釈、ビデオ分析を受信する電子スコアリングシステムを通じて検出されることができる、及び／又は様々なスポーツ装備に埋め込まれたセンサからのセンサデータを受信することにより検出されることができる。

【0037】

５０４では、ハプティック効果が、イベントデータの特性に対応するユーザの情報を知らせるように、ハプティック効果は、異なるタイプのイベントデータに割り当てられる。別の実施形態では、ハプティック効果は、ハプティック効果変換へ自動化されたオーディオのようなイベント検出に基づいて生成されることができる。さらに、ハプティック効果は、スポーツイベントを伴うように作製されることができる。この作成は、スポーツイベント終了後にオフラインで行われ、そのため、予め記録されたイベント（例えば、ハイライトリールを使用する）のみが取得可能である、又は既存のハプティック効果作成ツールによる簡素なハプティック効果を作成するために放送遅延に十分な時間がある“ｓｅｍｉ−ｌｉｖｅ”で行われることができる。

【0038】

５０６では、ハプティック効果に対応するハプティック信号は、生成され、ローカルなハプティック出力装置又はリモートハプティック出力装置へ送信される。別の実施形態では、記憶されたハプティック信号を識別するコードは、代わりに、リモートハプティック出力装置へ送信される。さらに、一以上のハプティック出力装置が再生装置に含まれる場合、一又はそれ以上の特定の出力装置の１つの選択もまた、生成されてもよい。

【0039】

５０８では、ハプティック効果は、ハプティック信号に応じて生成される。

【0040】

開示されたように、実施形態は、スポーツイベントデータを受信し、対応するハプティック効果を生成する。格闘イベントについては、一般的に、通常のテレビジョンフィード（ｒｅｇｕｌａｒ ｔｅｌｅｖｉｓｉｏｎ ｆｅｅｄ）を閲覧している際に、閲覧者は、通常、全てのパンチ／殴打を見ることはできず、動作が非常に早いため、リアルタイムでは、しばしば、当たったのか外れたのかを明確に区別することはできない。カメラは、“アクション ゾーン（ａｃｔｉｏｎ ｚｏｎｅ）”外である場合があり、それらは、通常、この情報を得るためにスローモーションリプレイを待つ必要がある。実際、アクションに非常に近いリングサイドに座っている人達のみが、リアルタイムで格闘の瞬間のほとんどを見ることができる。ハプティックフィードバックをこれらのイベントに加えることにより、閲覧者は、視覚的に不明瞭なときにも全てのアクションを感じることができる。技術的な面では、格闘の電子スコアリングシステム（例えば、“Ｆｉｇｈｔｍｅｔｒｉｃ”システム）は、アクションの熱で動作し、ビデオは、正確な情報を伝えるために非常に早く閲覧される。よって、ハプティックフィードバックのためのソースは、適切な時間に取得可能であり、ハプティックプラットフォームへ転送されることのみが必要となる。

【0041】

スコアリングシステムがイベントデータのソースとして用いられる実施形態では、電子スコアリングシステムの任意の形態は、上述した格闘ベースのスコアリングシステムに加えて用いられてもよい。例えば、ホッケー、サッカー、フットボール、カーレース、競馬等と関連付けられたスコアリングシステムは、イベントデータのソースとして用いられうる。一例として、ホッケーのスコアシステムでは、ハプティック効果は、シュート、チェック等のときに、プレーヤーのゴール、シュート、位置に関連付けられうる。競馬のような賭けデータ（ｂｅｔｔｉｎｇ ｄａｔａ）を有するシステムについては、生成されたハプティック効果は、オッズ、オッズの変動、順位の現在の傾向等のようなイベントデータと関連付けられうる。

【0042】

さらに、上述した方法を用いてイベントデータを提供することができる任意のタイプのスポーツイベントは、イベントの閲覧を向上させる、対応するハプティック効果を生成するために、本発明の実施形態により用いられることができる。

【0043】

本明細書では、複数の実施形態を具体的に例示および／または説明している。しかし、開示されている実施形態の修正および変更も、上述の教示の対象範囲に含まれ、本発明の精神および範囲から逸脱せずに添付の請求項の範囲内に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】

2015041385000001.pdf

2015041385000002.pdf

2015041385000003.pdf

2015041385000004.pdf