特開 2016-126773 視線追跡に基づく触覚効果を生成するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-126773(P2016-126773A)

(43)【公開日】2016年7月11日

(54)【発明の名称】視線追跡に基づく触覚効果を生成するシステム及び方法

(51)【国際特許分類】

   G06F 3/038 20130101AFI20160613BHJP

   G06F 3/0346 20130101ALI20160613BHJP

   G06F 3/01 20060101ALI20160613BHJP

   G06F 3/0484 20130101ALI20160613BHJP

【ＦＩ】

   G06F3/038 310A

   G06F3/0346 423

   G06F3/01 560

   G06F3/01 510

   G06F3/0484 120

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

【外国語出願】

【全頁数】21

(21)【出願番号】特願2015-242787(P2015-242787)

(22)【出願日】2015年12月14日

(31)【優先権主張番号】14/584,098

(32)【優先日】2014年12月29日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(74)【代理人】

【識別番号】100140822

【弁理士】

【氏名又は名称】今村 光広

(72)【発明者】

【氏名】レベスク，ヴィンセント

(72)【発明者】

【氏名】クルス−ヘルナンデス，ファン マヌエル

(72)【発明者】

【氏名】ダウハージュレ，アブラハム

(72)【発明者】

【氏名】レインズ，ペイジ

(72)【発明者】

【氏名】バティア，サトヴィール シン

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA10

5B087AB09

5B087AB12

5B087BC05

5B087BC32

5E555AA08

5E555AA11

5E555BA04

5E555BA38

5E555BB04

5E555BB38

5E555CA42

5E555CB65

5E555CC05

5E555DA24

5E555DC75

5E555FA00

(57)【要約】      （修正有）

【課題】読む又は見る体験を更に向上させ、視聴者により没入感のある体験を提供する。
【解決手段】システム１００は、画像を含むメディアコンテンツを見ている間のユーザの視線を追跡するように構成された視線追跡装置と、一又は複数のコンピュータプログラムモジュールを実行するように構成されたプロセッサとを備える。一又は複数のコンピュータプログラムモジュールは、前記プロセッサによって実行されると前記画像を特定するべく前記メディアを解析するコンテンツ判定モジュールと、前記プロセッサによって実行されると前記画像を見ている間の前記ユーザの視線の注視位置を特定する視線判定モジュールと、前記プロセッサによって実行されると、前記画像の特定及び前記注視位置に基づいて、トリガすべきイベントを決定するイベント判定モジュールとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を含むメディアコンテンツを見ている間のユーザの視線を追跡するように構成された視線追跡装置と、
一又は複数のコンピュータプログラムモジュールを実行するように構成されたプロセッサと、を備え、前記一の又は複数のコンピュータプログラムモジュールは、
前記プロセッサによって実行されると、前記画像を特定するべく前記メディアを解析するコンテンツ判定モジュールと、
前記プロセッサによって実行されると、前記画像を見ている間の前記ユーザの視線の注視位置を特定する視線判定モジュールと、
前記プロセッサによって実行されると、前記画像の特定及び前記注視位置に基づいて、トリガすべきイベントを決定するイベント判定モジュールとを含む、システム。

【請求項2】

前記画像を含む前記メディアコンテンツを表示するように構成されたディスプレイを更に備える、請求項１に記載のシステム。

【請求項3】

ユーザインターフェースを更に備え、前記ディスプレイは前記ユーザインターフェースの一部である、請求項２に記載のシステム。

【請求項4】

前記注視位置、前記画像の特定及び／又は前記イベントのトリガに基づいて、前記ユーザに対する触覚効果を生成するように構成された触覚出力装置を更に備える、請求項２に記載のシステム。

【請求項5】

前記ディスプレイ、前記視線検出装置、前記プロセッサ及び前記触覚出力装置は、一つの統合された装置の一部である、請求項４に記載のシステム。

【請求項6】

前記一つの統合された装置は、スマートフォン、タブレット及び電子書籍リーダからなる群から選択される、請求項５に記載のシステム。

【請求項7】

前記触覚出力装置は、前記イベントのトリガに基づいて前記触覚効果を生成するように構成される、請求項４に記載のシステム。

【請求項8】

前記メディアコンテンツはマルチメディアコンテンツであり、前記画像は前記マルチメディアコンテンツの一部として提供される、請求項７に記載のシステム。

【請求項9】

前記イベントは、前記マルチメディアコンテンツ上の、前記ディスプレイによって表示されるウィンドウの開閉である、請求項８に記載のシステム。

【請求項10】

前記ウィンドウは、広告を含む請求項９に記載のシステム。

【請求項11】

ウェアラブル電子装置を更に備え、
前記触覚出力装置は、前記ウェアラブル電子装置に位置する、請求項４に記載のシステム。

【請求項12】

前記ウェアラブル電子装置は、スマートウォッチを含む請求項１１に記載のシステム。

【請求項13】

ユーザが画像を含むメディアコンテンツを見ている時の前記ユーザの視線を追跡する工程と、
前記画像を特定するべく、前記メディアコンテンツの解析を行う工程と、
前記ユーザの視線の注視位置を特定する工程と、
特定された前記画像及び前記注視位置に基づいてトリガすべきイベントを判定する工程と、を備える方法。

【請求項14】

前記画像の特定、前記ユーザの視線の前記注視位置及び／又は前記イベントのトリガに基づいて、前記ユーザに対して触覚効果を生成する工程を更に備える、請求項１３に記載の方法。

【請求項15】

前記ユーザが見る前記画像の変化に基づいて、前記触覚効果を調整する工程を更に備える、請求項１４に記載の方法。

【請求項16】

前記ユーザの視線の前記注視位置の変化に基づいて、前記触覚効果を調整する工程を更に備える、請求項１４に記載の方法。

【請求項17】

前記イベントをトリガする工程を更に備え、
前記触覚出力を生成する工程は、前記イベントの前記トリガに基づく、請求項１４に記載の方法。

【請求項18】

前記イベントは、広告を表示するべくウィンドウを開くこと、又は、前記ウィンドウを閉じることを含む、請求項１７に記載の方法。

【請求項19】

ディスプレイを使用して、前記メディアコンテンツを表示する工程を更に備える、請求項１３に記載の方法。

【請求項20】

前記ディスプレイを使用して広告を表示する工程と、
前記広告内の位置に向けられた前記ユーザの視線を追跡する工程と、
前記広告と関連付けられた少なくとも一つの触覚効果を生成する工程と、を更に備える請求項１９に記載の方法。

【請求項21】

前記ユーザが前記広告における第１画像を見ている場合には第１触覚効果が生成され、
前記ユーザが前記第１画像とは異なる前記広告における第２画像を見ている場合には、前記第１触覚効果とは異なる第２触覚効果が生成される、請求項２０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線追跡に基づく触覚効果を生成するシステム及び方法に関する。

【背景技術】

【0002】

触覚コンテンツは現在、例えば、動画の視聴及びビデオゲームをプレイする体験を拡張するのに利用されている。その他の種類の多くの体験は、本、新聞、雑誌等を読むといったように、視覚的側面に限定される。印刷媒体は、グラフィック及びフォントの視覚的デザインを利用して、より注意を引き楽しくなるように工夫がなされている。印刷媒体の中には、デジタル媒体に移行したものもあり、この場合、音声コンテンツのような更なるマルチメディアコンテンツを容易に付加することができる。読む又は見る体験を更に向上させ、視聴者により没入感のある体験を提供できることが望まれている。また、ユーザがマルチメディアコンテンツのヴィジュアルコンテンツとインタラクションを行う場合に、人間とコンピュータとの間のインタラクションを容易にすることが望まれている。

【発明の概要】

【0003】

本発明の一側面によれば、画像を含むメディアコンテンツを見ている間のユーザの視線を追跡するように構成された視線追跡装置と、一又は複数のコンピュータプログラムモジュールを実行するように構成されたプロセッサとを備えるシステムが提供される。前記一又は複数のコンピュータプログラムモジュールは、前記プロセッサによって実行されると前記画像を特定するべく前記メディアを解析するコンテンツ判定モジュールと、前記プロセッサによって実行されると前記画像を見ている間の前記ユーザの視線の注視位置を特定する視線判定モジュールと、前記プロセッサによって実行されると、前記画像の特定及び前記注視位置に基づいて、トリガすべきイベントを決定するイベント判定モジュールとを含む。

【0004】

一実施形態において、前記システムは、前記画像を含む前記メディアコンテンツを表示する用に構成されたディスプレイを備える。

【0005】

一実施形態において、前記システムはユーザインターフェースを更に備え、前記ディスプレイは前記ユーザインターフェースの一部である。

【0006】

一実施形態において、前記システムは、前記注視位置、前記画像の特定及び／又は前記イベントのトリガに基づいて、前記ユーザに対する触覚効果を生成するように構成された触覚出力装置を更に備える。

【0007】

一実施形態において、前記ディスプレイ、前記視線検出装置、前記プロセッサ及び前記触覚出力装置は、一つの統合された装置の一部である。一実施形態において、前記一つの統合された装置は、スマートフォン、タブレット及び電子書籍リーダからなる群から選択される。

【0008】

一実施形態において、前記触覚出力装置は、前記イベントの前記トリガに基づいて前記触覚効果を生成するように構成される。

【0009】

一実施形態において、前記メディアコンテンツはマルチメディアコンテンツであり、前記画像は前記マルチメディアコンテンツの一部として提供される。

【0010】

一実施形態において、前記イベントは、前記マルチメディアコンテンツ上の、前記ディスプレイによって表示されるウィンドウの開閉である。

【0011】

一実施形態において、前記ウィンドウは広告を含む。

【0012】

一実施形態において、前記システムは、ウェアラブル電子装置を更に備え、前記触覚出力装置は、前記ウェアラブル電子装置に位置する。

【0013】

一実施形態において、前記ウェアラブル装置は、スマートウォッチを含む。

【0014】

本発明の一側面によれば、ユーザが画像を含むメディアコンテンツを見ている時の前記ユーザの視線を追跡する工程と、前記画像を特定するべく、前記メディアコンテンツの解析を行う工程と、前記ユーザの視線の注視位置を特定する工程と、特定された前記画像及び前記注視位置に基づいてトリガすべきイベントを判定する工程とを備える方法が提供される。

【0015】

一実施形態において、前記方法は、前記画像の特定、前記ユーザの視線の前記注視位置及び／又は前記イベントのトリガに基づいて、前記ユーザに対して触覚効果を生成する工程を更に備える。

【0016】

一実施形態において、前記方法は、前記ユーザが見る前記画像の変化に基づいて、前記触覚効果を調整する工程を更に備える。

【0017】

一実施形態において、前記方法は、前記ユーザの視線の前記注視位置の変化に基づいて、前記触覚効果を調整する工程を更に備える。

【0018】

一実施形態において、前記方法は、前記イベントをトリガする工程を更に備え、前記触覚出力を生成する工程は、前記イベントの前記トリガに基づく。

【0019】

一実施形態において、前記イベントは、広告を表示するべくウィンドウを開くこと、又は、前記ウィンドウを閉じる工程をことを含む。

【0020】

一実施形態において、前記方法は、ディスプレイを使用して、前記メディアコンテンツを表示する工程を備える。

【0021】

一実施形態において、前記方法は、前記ディスプレイを使用して広告を表示する工程と、前記広告内の位置に向けられた前記ユーザの視線を追跡する工程と、前記広告と関連付けられた少なくとも一つの触覚効果を生成する工程とを備える。

【0022】

一実施形態において、前記ユーザが前記広告における第１画像を見ている場合には第１触覚効果が生成され、前記ユーザが、前記第１画像とは異なる前記広告における第２画像を見ている場合には、前記第１触覚効果とは異なる第２触覚効果が生成される。

【0023】

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

【図面の簡単な説明】

【0024】

以下の図面の構成要素は、本開示の原理の概略を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照符号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

【0025】

【図1】本発明の実施形態にかかるシステムの模式図である。

【0026】

【図2】本発明の実施形態にかかる図１のシステムのプロセッサの模式図である。

【0027】

【図3】図１のシステムの一実施形態の模式図である。

【0028】

【図4】図１のシステムの一実施形態の模式図である。

【0029】

【図5A】図１のシステムの一実施形態の模式図である。

【図5B】図１のシステムの一実施形態の模式図である。

【図5C】図１のシステムの一実施形態の模式図である。

【図5D】図１のシステムの一実施形態の模式図である。

【0030】

【図6】本発明の実施形態にかかる方法のフローチャートである。

【0031】

【図7】本発明の実施形態にかかる方法のフローチャートである。

【発明を実施するための形態】

【0032】

図１は、本発明の一実施形態に係るシステム１００の模式図である。システム１００又はシステム１００のある部分は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、電子ワークブック、電子ハンドヘルド装置（例えば、携帯電話、スマートフォン、ゲーム装置、携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ：「ＰＤＡ」）、携帯用電子メール装置、携帯用インターネット・アクセス装置、電子書籍リーダー、計算機等）、ＰＯＳ（ｐｏｉｎｔ−ｏｆ−ｓａｌｅ）装置、ゲーム・コントローラ、ウェアラブルデバイス等の電子装置、又は、他の電子装置であってもよい。図示されるように、システム１００は、プロセッサ１１０、メモリデバイス１２０、及び、入出力装置１３０を備えており、これらはバス１４０を介して相互に接続されている。一実施形態において、入出力装置１３０は、視線追跡装置１５０、触覚出力装置１６０、ディスプレイ１７０、タッチスクリーン装置１８０、及び／又は、システム１００のユーザからの入力を受信するその他の入力装置、及び、システム１００のユーザに情報を提供する出力デバイスを含み得る。一実施形態において、システム１００は、図１に示された構成要素を全てを１つの装置に組み込んだ一つの統合された電子装置であってもよい。一実施形態において、図１に示す様々な構成要素を同一の場所に配置してもよいし、以下に詳細に記載するように、その他の構成要素は、一の又は複数の別個の装置の一部分であってもよい。

【0033】

入出力装置１３０は、特定の入力装置及び出力装置を含んでもよい。例えば、入力装置は、キーボード、キーパッド、カーソル・コントロール装置（例えば、コンピュータのマウス）のようなデバイス、その他のデータ入力装置、又は、マイクのようなオーディオ受信装置を含み得る。出力装置は、コンピュータのモニタ、仮想現実ディスプレイ装置、スピーカのような音声出力装置、プリンタ、又は、その他の周辺装置を含み得る。入出力装置１３０は、ユーザからの入力を受けるだけでなくユーザにフィードバックを提供するように設計された装置を含み、例えば、タッチ・スクリーン装置の多くの例が該当する。

【0034】

視線追跡装置１５０は、システム１００のユーザの視線を検出して追跡するのに使用される任意の検出手段を含み得る。例えば、視線追跡装置１５０は、システム１００のユーザの目の画像を撮像するように構成されたカメラと、この画像に基づいて視線の方向を判定するように構成されたプロセッサとを備えてもよい。カメラは、赤外光源を備えてもよい。一実施形態において、プロセッサは、図１に示すプロセッサ１１０であってもよい。視線の方向を判定する画像処理技術は文献により公知であり、本明細書においては詳述しない。

【0035】

一実施形態において、視線追跡装置１５０は、ユーザの目の付近の筋肉の動きを監視するように構成されたセンサと、監視された動きに基づいて視線の方向を判定するように構成されたプロセッサとを備えてもよい。一実施形態において、センサは、目を動かす筋肉の電気的な活動を測定するように構成されてもよい。一実施形態において、プロセッサは、図１に示したプロセッサ１１０であってもよい。本発明の実施形態において、ユーザの視線の方向を判定するのに、その他の検出手段が使用されてもよい。例えば、一実施形態において、ユーザの視線の方向はユーザの体や頭部の姿勢を分析することによって推定される。

【0036】

視線追跡装置１５０は、例えば、ディスプレイ１７０のように、システム１００のユーザ環境に搭載される別個の装置であってもよいし、又は、視線追跡装置１５０は、眼鏡のようなユーザが装着する装置であってもよい。あるいは、視線追跡をコンタクトレンズを介して実行してもよい。一実施形態において、視線追跡装置１５０は、電子書籍リーダー、タブレット又はスマートフォンのような、ハンドヘルド電子装置の一部分であってもよい。一実施形態では、視線追跡装置１５０は、ヘッドマウントディスプレイ、グーグルグラス（登録商標）、コンタクトレンズのようなウェアラブルデバイスの一部であってもよい。一実施形態において、視線追跡装置１５０は、触覚出力効果が生成されると期待されるオブジェクト内に又は付近に埋め込まれてもよい。

【0037】

典型的な視線追跡装置は、目の動きを検出するが、当該目が具体的に何のコンテンツ又はオブジェクトを見ているかを特定してはいない。このような情報は、例えば、ユーザに特定の場所を凝視させ、視線追跡装置１５０を較正することによって得ることができる。例えば、ユーザが漫画（ｇｒａｐｈｉｃ ｎｏｖｅｌ）又は活字を読んでいる場合、較正は、ユーザが見ているであろう場所を推定して、徐々に、目の動きと視線の位置との間の関係について学習することによって行われる。一実施形態において、視線追跡装置１５０だけでは、注視している場所に何があるのかを知りえないが、カメラ及び画像認識を使用することによって、何があるのかの判定を行うことができる。ユーザがテキストを見ている場合には、例えば、ヘッドマウントカメラ及び光学式文字認識（ＯＣＲ）ソフトウェアを使用することにより、どの単語を見ているか判定することが可能となる。

【0038】

一実施形態において、視線追跡装置１５０は、例えば、ユーザがどのピクセルを見ているかを判定するように構成されたタブレットの一部分であってもよい。システム１００は、そのピクセルにどのようなコンテンツ又はオブジェクトが位置しているか、例えば、文字なのか写真なのかを判定する。同様に、視線追跡装置１５０は、更に大きな視線追跡システムの一部分であってもよく、視線追跡システムは、注視されている位置に実際に何のオブジェクトが存在するのかを判定可能であってもよい。視線追跡装置１５０に関連したオブジェクトの位置についての情報が必要となることから、対象のオブジェクトが動かない場合、又は、対象のオブジェクトの位置をＲＦＩＤのような別の追跡システムを使用して判定可能な場合に、うまく機能すると考えられる。

【0039】

一実施形態において、視線追跡装置１５０はまた、ユーザの現在の視線方向のどこに焦点が合っているかを判定するように構成されてもよい。これは、ユーザの目の虹彩の位置及び形状を判定する画像処理技術と、予め提供される虹彩の基準画像又はモデルとの組み合わせを使用することにより、達成できると考えられる。一実施形態において、ユーザの視線の方向は、各々の目についてピッチ角およびヨー角として記憶されてもよい。この情報を用いて、ユーザの現在の注視範囲の奥行きを判定してもよい。一実施形態において、視線追跡装置１５０に加えて、典型的には機能的磁気共鳴画像法（ｆＭＲＩ）または脳波図（ＥＥＧ）に関連するセンサなどの他のセンサを用いて、ユーザの意図や意思をより精度良く判定してもよい。

【0040】

様々な実施形態において、触覚出力装置１６０は、システム１００のユーザがシステム１００の少なくとも一部に接触している間に、当該ユーザに触覚フィードバックを提供するように構成され得る。例えば、触覚出力装置１６０は、ユーザが、タッチスクリーン装置１８０及び／又はシステム１００別の部分、例えば、入出力装置１３０を収容する筐体に接触している時に、触覚効果を与えるべく、タッチスクリーン装置１８０に触覚フィードバックを提供してもよい。以下に詳細に記載するように、システム１００とのインタラクションが発生する時のユーザの体験を向上させるのに、触覚効果を使用してもよい。

【0041】

触覚出力装置１６０によって提供される触角フィードバックは、振動、変形、運動感覚、静電摩擦又は超音波摩擦等の触覚効果を生成する任意の方法によって生成されてもよい。一実施形態において、触覚出力装置１６０が備え得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、又は圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、及び／又は、例えば、振動触覚フィードバックである物理的フィードバックを提供する他の種類のアクチュエータである。触覚出力装置１６０は、非機械的装置又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又は、熱的効果を提供する装置、又は、エアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。以下に更に詳細に説明するように、複数の触覚出力装置１６０を使用して、様々な異なる触覚効果を生成してもよい。

【0042】

ディスプレイ１７０は、画像を含むメディアコンテンツを表示するように構成される。一実施形態において、ディスプレイ１７０は、高画質の画像を表示するように構成された高精彩（ＨＤ）ディスプレイであってもよい。一実施形態において、特に、ディスプレイ１７０が電子書籍リーダの一部分、又は、かつては印字されていたメディアコンテンツ、例えば、電子書籍又はオンライン新聞紙等の形態で提示されるメディアコンテンツを表示するその他のハンドヘルドデバイスの一部分である場合には、ディスプレイ１７０は、文字又は写真のような静止画像を含むメディアコンテンツを表示してもよい。一実施形態において、ディスプレイ１７０は、動的な画像、すなわち、動画を含むメディアコンテンツを表示してもよく、例えば、スポーツイベントのような生放送のイベントや、テレビ番組や映画のような予め作成されるイベントのコンテンツを表示してもよい。本明細書において使用されているメディアコンテンツという言葉は、ディスプレイを含まない実施形態においては、言葉、写真、グラフィックスのような印刷された画像も含む。

【0043】

タッチ・スクリーン装置１８０は、任意の適切なユーザインターフェースまたはタッチ／コンタクト表面アセンブリとして構成されてもよい。タッチ・スクリーン装置１８０は、任意のタッチ・スクリーン、タッチ・パッド、タッチセンサー構造体（ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ ｓｔｒｕｃｔｕｒｅ）、コンピュータ・モニタ、ラップトップディスプレイ装置、ワークブックディスプレイ装置、キオスク・スクリーン、ポータブル電子装置のスクリーン、又は、その他の好適な接触感知装置であってもよい。タッチ・スクリーン装置１８０は、スタイラスや指などのユーザによって制御された装置との物理的なインタラクションのために構成され得る。実施形態によっては、タッチ・スクリーン装置１８０は少なくとも１つの出力装置および少なくとも１つの入力装置を備えている。例えば、タッチ・スクリーン装置１８０は、ディスプレイ１７０と、当該ディスプレイに重ねて設けられる少なくとも１つのセンサを含みユーザの指又はユーザが制御するスタイラスからの入力を受信するタッチセンサー式スクリーンと、を備える。

【0044】

プロセッサ１１０は、汎用又は特殊用途プロセッサ、あるいはシステム１００の動作及び機能を管理又は制御するマイクロ・コントローラである。例えば、プロセッサ１１０は、触覚効果を提供するために、触覚出力装置１６０への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。プロセッサ１１０は、プロセッサ１１０が受信した又は決定した触覚信号に基づいてどのような触覚効果が生成されるべきか、当該触覚効果がどのような順序で生成されるべきか、及び、どの程度の大きさ、頻度、持続時間の触覚効果とすべきか、及び／又は、触覚効果のその他のパラメータについて、所定の因子に基づいて決定してもよい。また、プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１６０を駆動するのに使用することができるストリーミング・コマンドを提供するように構成されてもよい。ある実施形態では、プロセッサ１１０は複数のプロセッサであってもよく、当該複数のプロセッサの各々がシステム１００の内部で特定の機能を果たすように構成されている。プロセッサ１１０についての詳細は後述する。

【0045】

メモリデバイス１２０としては、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどのいかなる組合せをも記憶し得るように構成されている。より具体的には、記憶ユニットは、触覚効果のプロフィール、触覚出力装置１６０がいかにして駆動されるかを指示する命令又は触覚効果を生成するためのその他の情報を含む。

【0046】

図２は、プロセッサ１１０の一実施形態をより詳細に例示している。プロセッサ１１０は、一つの又は複数のコンピュータプログラムモジュールを実行するように構成されてもよい。一又は複数のコンピュータ・プログラム・モジュールは、コンテンツ判定モジュール１１２、視線判定モジュール１１４、イベント判定ジュール１１６、触覚出力装置制御モジュール１１８、及び／又は、これら以外のモジュールの一又は複数を備えてもよい。プロセッサ１１０は更に、メモリデバイス１２０と同じであってもよい電子記憶装置１１９を備えてもよい、又は、メモリデバイス１２０に加えて当該電子記憶装置を備えてもよい。プロセッサ１１０は、モジュール１１２、１１４、１１６、及び／又は１１８を実行する際に、ソフトウェア、ハードウェア、ファームウェア、及び／又は、ソフトウェア、ハードウェア及び／又はファームウェアの任意の組み合わせを用いてもよい、及び／又はプロセッサ１１０の処理能力を構成する他の機構を用いてもよい。

【0047】

図２においてモジュール１１２、１１４、１１６、及び１１８は単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１１０が複数の処理装置を含む実施形態においては、モジュール１１２、１１４、１１６、及び／又は１１８のうちの一又は複数が他のモジュールから離れて配置されてもよい。以下の異なるモジュール１１２、１１４、１１６、及び／又は１１８によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール１１２、１１４、１１６、及び／又は１１８はいずれも記述されるよりも多くの、又は少ない機能を提供してもよい。例えば、モジュール１１２、１１４、１１６、及び／又は１１８のうちの一又は複数を取り除き、その機能の一部又はすべてを、モジュール１１２、１１４、１１６、及び／又は１１８のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール１１２、１１４、１１６、及び／又は１１８のうちの１つに帰せられる機能の一部又はすべてを実行する１つ又は複数の追加的なモジュールを実行するように、プロセッサ１１０が構成されてもよい。

【0048】

コンテンツ判定モジュール１１２は、ユーザが見ている又は眺めているメディアコンテンツと関連付けられた入力信号を受信するように構成される。
コンテンツを含むメディアストリームによって入力信号が提供されてもよい、又は、視線追跡装置１５０がカメラを含み、当該カメラがユーザが見ている又は眺めているコンテンツの少なくとも一部の画像を撮像するように構成されている場合には、視線追跡装置１５０によって入力信号が提供されてもよい。コンテンツ判定モジュール１１２は、リアルタイムで又はオフラインでこのようなメディアコンテンツを解析するように構成されてもよく、更なる処理のために、信号をイベント判定モジュール１１８に送信してもよい。

【0049】

視線判定モジュール１１４は、検出器１１０によって生成される出力信号からの情報に基づいて、ユーザの視線の方向を判定するように構成される。視線方向判定モジュール１１４によって判定されるユーザの視線の方向に関する情報は、絶対座標系における他のオブジェクトに対するベクトルとして、および／または他のコンテキストで、その方向を記述してもよい。そのような情報には、座標および／または例えば上述のピッチ角およびヨー角などの角度関係が含まれてもよいが、これらには限定されない。視線追跡装置１５０によって生成される視線経路（ｇａｚｅ ｐａｔｈ）には、ノイズが多い場合がある。目の動きは通常、ある場所を凝視した後に、サッカード（ｓａｃｃａｄｅ）と呼ばれる素早い眼球運動が続く。視線追跡装置１５０によって出力された信号をフィルタリングして、どのオブジェクト又は画像に対してユーザが注意を払っているかを判定してもよい。例えば、触覚効果をトリガするには、一定期間、凝視が続いていることが必要であってもよい。視線判定モジュール１１４は、イベント判定モジュール１１６及び触覚出力装置制御モジュール１１８に信号を出力してもよい。

【0050】

イベント判定モジュール１１６は、コンテンツ判定モジュール１１２及び視線判定モジュール１１４からの出力信号を受信して、受信した信号に基づいてトリガすべきイベントを判定するように構成される。以下に詳細に説明するように、イベントには例えば、グラフィックユーザインターフェースにおけるプロセス又はウィンドウの開閉、並びに／又は、視線の位置及び／若しくは解析されたメディアコンテンツに基づく触覚効果又は触覚トラックの再生が含まれ得る。

【0051】

触覚出力装置制御モジュール１１８は、コンテンツ判定モジュール１１２、視線判定モジュール１１４及びイベント判定モジュール１１６からの出力信号を受信して、触覚出力装置１６０が生成すべき触覚効果を判定するように構成される。注視位置からユーザの視覚的注意を推測し、ユーザが見ている内容が判定されると、触覚出力装置制御モジュール１１８は、どんな触覚出力装置を生成すべきであるかを決定し、信号を触覚出力装置１６０へと出力する。

【0052】

触覚出力装置１６０によって生成される触覚効果には、振動、摩擦、変形、力フィードバック、発射型の触覚出力、又は、上記の技術のようなその他の触覚技術を含み得る。触覚フィードバックは、スマートフォン又はタブレットのようなハンドヘルドデバイス、スマートウォッチ、指輪、ヘッドマウントディスプレイ等のウェアラブルデバイス、若しくは、マウス、その他の手で掴むことができる装置、キーボードのようなその他利用可能なデバイスを介して提供されてもよいし、空気の吹きかけのように非接触型の触覚インターフェースを介して提供されてもよい。

【0053】

メディアコンテンツが本又は漫画の形態である一実施形態では、システム１００は最初に、どの印刷コンテンツが読まれているかを判定し、コンテンツから触覚効果へのマッピングを読み出してもよい。判定は、明示的にユーザによって行われてもよいし、画像認識技術を使用して黙示的にタイトル又はコンテンツを特定することによって行われてもよいし、その他の識別子、例えば、ＲＦＩＤタグを使用して行ってもよい。そしてシステム１００は、対象のオブジェクトを伝達することにより（例えば、拡張本（ａｕｇｍｅｎｔｅｄ ｂｏｏｋ））又はクラウドサービスにより、又は、システム１００に格納する情報を使用することにより、マッピングを取得してもよい。例えば、マッピングがメモリデバイス１２０又は電子記憶装置１１９に格納されて、プロセッサ１１０が実行するときに触覚出力装置制御モジュール１１８によって読み出されてもよい。

【0054】

ユーザが見ているコンテンツ又は画像が、特定の効果又は効果の変化をトリガしてもよい。例えば、爆発についての本を読んでいる場合には、強い振動がトリガされてもよい。これに替えて、一つの段落が読み進められるのに合わせて、触覚トラックが徐々に進行して、コンテンツにムードを与えてもよい（映画の音楽と同様に）。システム１００は、何のコンテンツが見られているか（すなわち、どのような本が見られているが）を知らないが、認識可能な特定の言葉又は画像のマッピングを有してもよく、例えば、「爆発」又は「現在位置（ｙｏｕ ａｒｅ ｈｅｒｅ）」といった言葉が認識可能であってもよい。

【0055】

現実世界のオブジェクトの場合、システム１００は、どのマッピングが現在アクティブであるかを判定可能である。これは、ユーザによって明示的に（例えば、旅行アプリケーションをロードすることにより）行われてもよいし、ジオロケーション（ｇｅｏｌｏｃａｔｉｏｎ）、アクティブビーコンに基づいて黙示的に、又は、環境でどの触覚コンテンツが利用可能か示すその他の手段により行われてもよい。システム１００はまた、特定のオブジェクトを可視的に認識する又はＲＦＩＤタグを使用するようにプログラムされて、ユーザがオブジェクトを見た時に特定の触覚出力効果が生成されるようにプログラムされてもよい。

【0056】

一実施形態において、視線追跡装置１５０によって判定されるようにユーザが見ているオブジェクト、言葉又はグラフィックコンテンツ（すなわち、ヴィジュアルコンテンツ又は画像）と触覚効果とが関連付けされてもよい。一実施形態において、例えば、特定の言葉が印刷された本で読まれると、又は、漫画で特定の絵が見られると、触覚効果がトリガされてもよい。ユーザの環境下における異なるオブジェクトをユーザが見ている間にも触覚効果を同様にトリガしてもよい。

【0057】

一実施形態において、本又はその他の印刷されたテキスト内の特定の言葉をシステム１００のユーザが読むと、漫画本の中の絵をユーザが見ると、又は、環境下におけるオブジェクトをユーザが見ると、異なる触覚効果が生成されてもよい又は触覚トラックが変更されてもよい。

【0058】

オーディオ・ビデオコンテンツに伴う触覚トラックを使用する場合は、時間及びオーディオ・ビデオコンテンツとの同期に単純に基づくのとは異なり、本発明の一実施形態に係る触覚トラックの進行はユーザがどこを見ているかによって決定される。上記したように、特定の言葉、特定のグラフィックコンテンツ又は特定のオブジェクトが見られると、特定の効果がトリガされてもよい。システム１００はまた、ユーザがどこを見ているかに応じて、触覚効果のトラックを進めてもよい。例えば、ユーザが文章を読み始めるとゴロゴロという音がなる効果が開始されて、段落の終了まで続き、段落の終点に達すると、イベントを示すべく爆発効果が生成されるようにしてもよい。

【0059】

コンテンツが紙に印刷されている実施形態では、読者が注意を向けている画像を捕捉及び解析することによって判定が行われる。そして、コンテンツをデータベース（例えば、言葉と触覚効果との紐付け）と比較する、又は、読まれている特定のコンテンツと関連付けされたインデックス（例えば、特定の言葉における触覚トリガを伴う小説のデジタル版）と比較する。コンテンツがデジタルである実施形態では、視線追跡装置１５０は、ユーザの視線の位置を判定して、見られている言葉又はグラフィックを、上記の画像解析を使用せずに抽出する。

【0060】

一実施形態では、イベント判定モジュール１１６は、スマートアルゴリズムを使用してプログラムされて、言葉又は文が読み返された場合、又は、ユーザが一文中の次の言葉を前もって見るべく素早いサッカードを行った場合に、触覚フィードバックが繰り返されてしまうのを防ぐようにしてもよい。このようなアルゴリズムでは、コンテンツ判定モジュール１１２及び視線判定モジュール１１４から出力される信号を処理して、コンテンツが読み返されているのか又はユーザがコンテンツを飛ばして次を読んでいるのかを判定する。このような判定がなされる場合、信号は、触覚出力装置制御モジュール１１８へと出力される。言葉又は文章が読み返されていると判定された場合には、触覚出力装置制御モジュール１１８は信号を触覚出力装置１６０へと出力しなくてもよい、又は、ユーザが飛ばして読んでおり重要な言葉又は文章を見落としてしまっていると判定された場合には、触覚出力装置制御モジュール１１８は信号を触覚出力装置１６０へと出力して触覚効果を生成してもよい。

【0061】

一実施形態において、コンテンツはマップであってもよい。システム１００のユーザがマップ上の様々な要素を見ると、様々な触覚効果がトリガされてもよい。例えば、異なる触覚効果が、場所、道路、現在位置及び／又は目的地に割り当てられてもよい。一実施形態において、コンテンツは印刷された広告を含んでもよい。例えば、ユーザが特定のブランドのロゴを見た時に、ブランド固有の触覚効果がトリガされてもよい。

【0062】

一実施形態において、コンテンツはユーザ環境における任意のオブジェクトを含んでもよい。例えば、旅行アプリケーションの場合、ユーザが肝心な点を見る都度、触覚効果がトリガされてもよい。推奨システムでは同様に、ユーザが良い又は悪いレストラン又はメニューの項目を見ると、触覚効果がトリガされてもよい。ユーザはまた、システム１００をプログラムして、関係するオブジェクトに対する触覚効果がトリガされるようにしてもよい。例えば、ユーザが探している人物を見た時には、ユーザがポジティブな効果を感じるようにしてもよく、ユーザが食べるべきでないケーキを見た時には、ユーザがネガティブな効果を感じるようにしてもよい。

【0063】

一実施形態において、触覚効果又は触覚トラックを印刷されたコンテンツと関連付けるのに視線追跡を利用してもよい。例えば、触覚効果又は触覚トラックを加えようとする人は、単語を見て選択して、選択した当該単語と触覚効果とを関連付けてもよい。これは、触覚効果又は触覚トラックを加えようとする人が、再生すべき効果の名前を声に出して言うことで選択できる場合、又は、キーボード上の対応するキーを見ずに押すことによって選択できる場合には、早く関連付けできると考えられる。一実施形態では、触覚効果がオーディオブック又はポッドキャストのコンテンツと同期されてもよく、読者がデジタル漫画におけるタイル間でフリップすると触覚効果が生成されてもよい。

【0064】

図３は、本発明の一実施形態の一実装形態を示す。図示の実施形態では、システム１００のユーザは、本実施形態ではタブレット３００であるハンドヘルド電子装置上での本を読んでいる。上記した視線追跡装置１５０のような視線追跡装置３５０が、タブレット３００に又はその一部に搭載されている。例えば、ユーザが「爆発」といった特定の言葉３１０を読んでいる時に、視線追跡装置３５０がユーザの注視位置を検出して、上記したプロセッサ１１０のようなタブレット３００内のプロセッサが、本の中の当該注視位置と爆発効果とを関連付けると決定する。上記の触覚出力装置１６０のような、タブレット３００内の触覚出力装置が、読書をより没入感のある体験とするべく振動の形態の触覚効果ＨＥを生成する。

【0065】

図４は、本発明の一実施形態の一実装形態を示す。図示の実施形態では、システム１００のユーザは、ヘッドマウントディスプレイ４００を装着して漫画を読んでいる。ヘッドマウントディスプレイ４００は、ユーザの視線方向をトラックし続け、ユーザが爆発を有するタイル４１０に到達した時を判定する。ヘッドマウントディスプレイ４００は爆発を模した振動の形態の触覚効果ＨＥをちょうど良いタイミングでヘッドマウントディスプレイ４００上で生成して、漫画をより没入感を提供できるものとする。

【0066】

ある実装形態では、システム１００のユーザは、タブレットでサイエンスフィクション小説を読む及び楽しむことができる。小説の中の主人公が追われて活気のある市場の中を走る場面をユーザが読むと、システム１００によって生成される触覚効果を介してアクションをユーザが感じられるようにしてもよい。主人公がドアに衝突する場面をユーザが読むと、ユーザはユーザの手の中で衝突か起きたかのような触覚効果を感じるようにしてもよい。例えば、主人公が水のプールに落ちる、襲撃者をパンチする、地上に落ちる等、お話の各場面をユーザが読んでいると判定されると、その他の触覚効果が生成されてもよい。

【0067】

ある実装形態では、システム１００のユーザは、より没入感のある別の本を読んでいる。ユーザが特定の場面を読んでいる時に個別の触覚効果を発生させる代わりに、この本では、ユーザが本を読み異なる部分に到達すると、連続的に変化する複雑な触覚トラックを伴うムードが生成される。

【0068】

一実装形態では、システム１００のユーザは、グーグルグラス（登録商標）のようなヘッドマウントディスプレイを装着して漫画を読んでいる。ヘッドマウントディスプレイは、上記したような視線追跡装置１５０を備えており、ユーザが何を見ているかを検出して、漫画をより没入感のあるものとするべく最適なタイミングで振動する。ユーザが爆発、パンチ等を漫画の中で読むと、その爆発、パンチ等をユーザが感じるようにしてもよい。

【0069】

一実装形態において、システム１００のユーザは、パリの地下鉄の地図を理解しようとする。ユーザが地図の異なる部分を見ると、自身の現在地、目的地、グーグルグラスユニットが推奨するルート等について、異なる効果をユーザが感じるようにしてもよい。

【0070】

ある実装形態では、システム１００のユーザは、スマートフォンを使用して、バルセロナの徒歩旅行をする。ユーザが自身にとって特別な意味を持つ建物又は場所を見る時に、特別な効果をユーザが感じられるようにしてもよい。ユーザが、ユーザが見ているものと合致する雰囲気の効果を選択可能としてもよい。例えば、歴史的な戦いが行われた地では戦場のような触覚効果が生成されてもよいし、古い工場では工場で作業がなされているリズムを触覚トラックを介して感じられるようにしてもよい。

【0071】

一実施形態では、システム１００のユーザが読んでいる又は見ているテキスト又はイラストが動いてもよい。触覚トラックは、例えば、ディスプレイ１７０上でテキストストロークとして再生されてもよい。例えば、一部のウェブブラウザ及び電子書籍リーダは、自動的にテキストをスクロールしてページをめくるように設定されていてもよい。このような手法は、視線追跡が利用可能であれば、静的なテキストの場合と同様である。視線追跡が利用不可能である場合には、ディスプレイ１７０で現在表示されているコンテンツに基づいて、触覚効果が生成される。ある実装形態では、触覚効果は、ページの全体的なムード又は表示される極端なイベント（例えば、極めて感情的なコンテンツ）に基づいてもよい。ある実装形態では、ディスプレイ１７０は、一度に数単語のみを表示するようにして、触覚効果の紐付けを容易にするようにしてもよい。

【0072】

一実施形態では、視線追跡装置１５０は、ユーザが単語又は文を飛ばして読んだことを検出してもよい。これは、例えば、ユーザが速く読もうと思っている場合（斜め読み）、又は、テキストが読むには速く動き過ぎている場合（例えば、移動中のバスの中の広告）におきる。このような場合、システム１００は、例えば、小説の中で決定的なイベント又は読者の興味対象である何かのように読み飛ばすべきでないコンテンツをユーザが読み飛ばしたかを判定してもよい。そしてシステム１００は、ユーザに警告するべく触覚通知を生成して、読み飛ばされた言葉を視覚的にハイライトしてもよい。特定の言葉又は名前についてリストの中から探している場合にも、同様の構成を適用できる。

【0073】

一実施形態において、システム１００は、使用されているフォントに基づいて、本で使用される触覚効果を調整してもよい。システム１００は例えば、草書体又は曲線的な及び見た目に美しいフォントが使用されている場合には、滑らかで弱い触覚効果を選択してもよい。システム１００が、タイプライターの文字盤のように「がっちりとした（ｂｌｏｃｋｙ）」フォントが使用されている場合には、シャープな触覚効果が選択されてもよい。触覚効果は、テキストを構成したソースに縛られてもよく、例えば、ペンで書かれたものとタイプライターで作成されたものとで異なってもよい。システム１００は、セリフ（ｓｅｒｉｆ）があるかないか、太字体かイタリック体か、テキストのサイズ、ハイライト等の要素を考慮するように構成されてもよい。解析は、本のデジタルコンテンツに基づいてもよいし（例えば、フォントの名前及びプロパティ）、画像処理を通じて（例えば、シャープさ又は一筆の動きの長さ等）なされてもよい。一実施形態では、解析は、プロセッサ１１０によって実行されるとコンテンツ判定モジュール１１４によって完了してもよい。

【0074】

一実施形態において、触覚フィードバックは、本又は新しい記事の構造を強化してもよい。例えば、表題は、テキスト本体とは異なるように感じられてもよい。一実施形態において、触覚フィードバックを使用して、様々なセクション又は章のコンテキストを設定してもよい。例えば、触覚フィードバックにより、どの登場人物が現在の章でナレーションをしているかについて読者に思い出させてもよい。触覚フィードバックはまた、どの登場人物が現在話しているかを示してもよい。

【0075】

一実施形態において、本の触覚トラックを、小説のオーディオブック版の少なくとも一部から読み出してもよい。例えば、アマゾンのキンドル（登録商標）は、本の中のある場所を、オーディオブック中の場所とどのように関連付けするか分かっている。一実施形態において、システム１００は、オーディオブックにおける音楽及び音響効果、読者のトーン、及び、（実際の又はうその）声の変化を解析してもよい。この情報を使用することにより、ユーザが印刷された本又はオーディブックの電子書籍版を読んでいる時に、例えば、章のムードに合致する触覚効果、話をしている登場人物の性格に合った触覚効果を生成することができる。

【0076】

一実施形態では、触覚トラックで使用される触覚テーマを、本の内容又は読者についての情報に合わせてもよい。例えば、触覚トラックは、読者の年齢及び性別に依存してもよいし、読者がこの本を読むのが初めてか否かに依存してもよい。また、テーマが、本の言語、及び、本又はセクションで記載される概念的テーマ（例えば、恋愛小説の愛）に依存してもよい。また、触覚効果を、読まれるコンテンツの種類に適合させてもよい。例えば、推理小説とは反対に、新聞記事のコンテキストで読まれる場合には、爆発を異なって感じさせるようにしてもよい。

【0077】

一実施形態では、読者がコンテンツに注意を払っているか否かをモニタするのに視線追跡を利用してもよい。例えば、ユーザが考えている、気が散っている又は寝ているのを、目の動きから検出することが可能である。触覚効果を使用して、例えば、勉強すべき時など望ましい場合には、読者の「目を覚まして」本へと注意を戻させるようにしてもよい。一実施形態では、システム１００は、ユーザがページから目をそらした場合には、自動的にそのページにしおりを配置して、触覚効果を通じてしおりが配置されたことをユーザに通知してもよい。一実施形態において、システムは、ユーザが長時間読書をしている場合には、当該ユーザに警告する触覚効果を生成してもよい。

【0078】

一実施形態において、視線追跡を使用して、ユーザ入力を行ってもよい。例えば、選択、ハイライト、辞書を引く又はページをめくる動作をトリガするのに視線を使用すると同時に、触覚フィードバックが生成されてもよい。一実施形態において、目のジェスチャを使用してパスワードを入力してもよいし、スマートウォッチを見ただけで当該スマートウォッチが起動されてもよい。一実施形態において、多眼ジェスチャ（ｍｕｌｔｉ−ｅｙｅ ｇｅｓｔｕｒｅ）を、例えば入力に利用して、見ている画像にズームするべくユーザは自身の眼を寄り目にしてもよい。

【0079】

一実施形態において、視線追跡をナビゲーションコンテキストで使用してもよい。例えば、運転者の意図をユーザの視線から推測することで、ナビゲーションキューを触覚効果と共に提供してもよい。次に曲がるべき道路を判断するべく、運転者がＧＰＳを見る場合がある。この場合、システム１００は、運転者が見ている道路が曲がるべき正しい道路であることを、触覚効果を使用して運転者に確認させる通知を提供してもよい。

【0080】

図５Ａ〜５Ｄに示される一実施形態では、ユーザが例えば、携帯装置で動画を見ている時に突然現れる広告を閉じるのに視線追跡を使用してもよい。例えば、図５Ａには、スマートフォンのような携帯装置５００に、夕日の動画が再生されている様子が示されている。上記した視線追跡装置１５０のような視線追跡装置は、図５Ａにおいて参照番号５１０で示される場所の太陽をユーザが見ていることを検出する。図５Ｂに示すように、ユーザが夕日を見ている時に、携帯装置のディスプレイ５７０上に広告ＡＤが立ち上がり、図５Ｃに示すように夕日の動画の上に重ねて表示されたとする。図示の実施形態では、広告は自動車に関するものである。図５Ｃの場所５１０の位置で示されるように、ユーザが広告を見ている。広告は、広告の視覚的効果を改善するべく、及び／又は、広告に関連付けられた触覚ブランドを再生するべく、触覚効果を含む。ユーザが十分に広告を見た後、又は、１〜２秒のような所定の期間広告を見た後、図５Ｄに示すように、ユーザはウィンドウのディスプレイ５７０の左下の角部に配置されたＸボタンを見て、広告ＡＤを閉じることができる。特に、スマートフォンのような小型のディスプレイに表示された広告を閉じるには、指を使用するよりも視線追跡を入力として使用した方が容易であると考えられる。広告ウィンドウが表示される場合、ユーザの目が広告に注目している場合、及び／又は、ユーザが所定期間、広告を見た後で当該広告を閉じる場合に、触覚出力装置１６０によって触覚効果が生成されてもよい。ユーザの視線を追跡することにより、ユーザが広告を見ずに閉じているのではなく、ユーザが実際に広告を見ていることを確かめることができる。

【0081】

一実施形態において、動画が再生されている間に当該動画内の広告にユーザが注意を向けている時に、音声、動画及び触覚コンテンツを含む広告を再生するのに視線追跡を利用してもよい。例えば、一実施形態では、システム１００のユーザは、ディスプレイ１７０で生放送しているフットボールの試合を見ている場合がある。カメラがスタジアムを一周するように撮影すると、スタジアムに貼られた広告バナーがユーザの目に入る。視線追跡装置１５０を使用して広告バナーの位置を見ているユーザの視線を追跡してもよく、プロセッサ１１０は、広告の内容を判定して、動画上に短時間だけ広告されている製品の画像の表示をトリガするようにしてもよい。触覚効果を使用して広告を強化してもよく、または、元のマルチメディアストリームの音声、動画及び触覚効果に重ねてもよい。

【0082】

一実施形態において、視線追跡を使用して、ユーザの視線の位置に応じた触覚コンテンツを再生してもよい。例えば、動画が再生されている間にユーザが高級スポーツカーに注目している場合、当該高級スポーツカーの触覚サインが生成されてもよく、ユーザが経済的な車に注目している場合には、当該経済的な車について異なる触覚サインが生成されてもよい。一実施形態において、システム１００のユーザがユーザの目で仮想／拡張環境を探索している場合、当該仮想／拡張環境におけるオブジェクトと関連付けされて生成される触覚効果は、ユーザが注意を向けている位置に依存してもよい。

【0083】

一実施形態において、システム１００のユーザが、ビデオゲーム機のゲームを行っているライブ動画ストリーミングを視聴している場合、ユーザは、ゲーム内の様々なプレーヤの全てのアクションを見ている場合がある。観客としてのユーザに対して生成される触覚効果は、ユーザがプレーヤ１を見ているのか、又は、プレーヤＮを見ているのかによって異なってもよい。例えば、プレーヤ１がマシンガンを有する場合、ユーザがマシンガンに関連する触覚効果を感じてもよく、ユーザが怪我をしており素手で戦っているプレーヤＮを見ている場合は、ユーザは当該キャラクターに関する全ての触覚インタラクション、例えば、手や体に感じるパンチを感じてもよい。

【0084】

一実施形態において、一の電子装置から別の電子装置へのコンテンツの転送を行うのに視線追跡を使用してもよい。例えば、システム１００のユーザは、一の部屋に配置されるテレビの形態のディスプレイ１７０に表示される動画を視聴しており、当該動画を見続けたいと望んでいるにも関わらず別の部屋に行くと決めたとする。この場合、ユーザは、当該ユーザのスマートウォッチを見て、当該ビデオコンテンツを当該スマートウォッチへと転送してもよく、これによりユーザはスマートウォッチで動画を視聴し続けることができる。

【0085】

コンピュータ及び携帯装置の場合、ユーザは典型的にこれらの装置に対して、キーボード、マウス及び／又はタッチスクリーンを介して入力を提供するが、これには、機械的動作が必要とされ、特に、小さな領域でのインタラクションではユーザが正確に入力を行うのが難しく、長く時間がかかりイライラする場合がある。本発明の一実施形態では、ユーザの視線を検出するのに視線追跡を利用してもよく、コンピュータに対する入力として検出した視線を利用してもよい。例えば、ユーザはプログラム／アプリケーションを一定期間見るだけで当該コンピュータプログラム／アプリケーションを閉じることができてもよく、ユーザは指を使わないので、手や指を動かす機械的な特性によって更なる時間をかけることがない。

【0086】

一実施形態において、ユーザがマルチメディアコンテンツの特定の領域を注目すると、新たなコンテンツが表示されてもよい。例えば、双方向メディア内で、新たなプログラム又はアプリケーションが開かれる又は起動されてもよく、ユーザに対するその他の有用な情報を含む、触覚サイン又はブランドが再生されてもよい。

【0087】

図６は、本発明の一実施形態に係る方法６００を示す。６１０において、上記した視線追跡装置１５０を使用して、ユーザの視線の方向を検出する。６２０において、コンテンツ判定モジュール１１２がプロセッサ１１０によって実行されると、コンテンツ判定モジュール１１２は、当該検出された注視位置における画像を特定する。６３０において、触覚出力装置制御モジュール１１８がプロセッサ１１０によって実行されると、触覚出力装置制御モジュール１１８は特定された画像に基づく触覚効果を決定する。６４０において、決定された触覚効果が触覚出力装置１６０によって生成される。

【0088】

図７は、本発明の一実施形態に係る方法７００を示す。７１０において、ユーザが画像を含むメディアコンテンツを見ている時のユーザの視線の追跡が行われる。ユーザの視線は、上記した視線追跡装置１５０によって追跡されてもよい。７２０において、前記画像を特定するべく、メディアコンテンツの解析が行われる。コンテンツ判定モジュール１１２がプロセッサ１１０によって実行されると、コンテンツ判定モジュール１１２を使用して、メディアコンテンツの解析が行われる。７３０において、ユーザの視線の注視位置が特定される。視線判定モジュール１１４がプロセッサ１１０によって実行されると、視線判定モジュール１１４によって注視位置が判定される。７４０において、トリガすべきイベントを、特定された画像及び注視位置に基づいて決定する。イベント判定モジュール１１６がプロセッサ１１０によって実行されると、イベント判定モジュール１１６によってイベントが決定されてもよい。７５０において、画像、注視位置及びイベントのトリガの特定に基づいて、ユーザに対して触覚効果が生成されてもよい。触覚出力装置制御モジュール１１８がプロセッサ１１０によって実行されると、触覚出力装置制御モジュール１１８によって触覚効果が決定されて、触覚出力装置１６０により触覚効果が生成されてもよい。

【0089】

上記の本発明の実施形態は、新聞を読む場合も含めて、本及び漫画のようなその他の種類のメディアに対して触覚コンテンツの刺激をもたらし、それにより、ビデオゲームやテレビ等の刺激があって面白いとされているマルチメディア体験とと同等なメディアとすることができる。上記の本発明の実施形態によれば、市のガイドツアーで建物を見学する時のようにその他の実際の体験に対して、触覚コンテンツを紐付けすることができ、それにより、当該体験をより説得力があり楽しめるものとすることができる。

【0090】

本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【外国語明細書】

2016126773000001.pdf