特開 2017-97830 触覚可能なフレキシブル装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-97830(P2017-97830A)

(43)【公開日】2017年6月1日

(54)【発明の名称】触覚可能なフレキシブル装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170428BHJP

【ＦＩ】

   G06F3/01 560

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

【外国語出願】

【全頁数】16

(21)【出願番号】特願2016-116687(P2016-116687)

(22)【出願日】2016年6月10日

(31)【優先権主張番号】14/947,661

(32)【優先日】2015年11月20日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】レヴェスク ヴィンセント

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA76

5E555BA06

5E555BB06

5E555BC04

5E555CB74

5E555CC01

5E555DA24

5E555DB57

5E555DC84

5E555DD06

5E555FA00

(57)【要約】      （修正有）

【課題】振動に依存しない触覚効果を生成する。
【解決手段】触覚効果可能フレキシブルディスプレイ装置１１０は、フレキシブルフレーム１１４と、プロセッサ１２０と、ディスプレイスクリーン１２０と、アクチュエータシステム１５０と、を含んで示される。プロセッサは、視覚コンテンツを含むデータストリーム１７０を受信するように構成される。ディスプレイスクリーンは、フレキシブルフレームと結合され、かつ視覚コンテンツを表示するように構成される。アクチュエータシステムは、また、フレキシブルフレームと結合され、複数の触覚命令をプロセッサが実行した結果、プロセッサからの駆動コマンドを受信する。駆動コマンドは、フレキシブル装置を変形するようにアクチュエータシステムに指示する。複数の触覚命令の実行は、該フレキシブルディスプレイ装置の視覚コンテンツの表示と同期される。
【選択図】図１

【特許請求の範囲】

【請求項1】

触覚効果可能フレキシブル装置であって、
フレキシブルフレームと、
視覚コンテンツを含むデータストリームを受信するように構成されるプロセッサと、
前記フレキシブルフレームと結合され、前記視覚コンテンツを表示するように構成されるフレキシブルディスプレイと、
前記プロセッサにより生成される駆動コマンドを受信するように構成される前記フレキシブルフレームと結合されるアクチュエータシステムと、を備え、
前記プロセッサからの前記駆動コマンドを受信すると、前記アクチュエータシステムは、前記フレキシブル装置を変形するように構成される、触覚効果可能フレキシブル装置。

【請求項2】

前記プロセッサにより実行されたときに、前記プロセッサに前記アクチュエータシステムへの前記駆動コマンドを生成させる複数の触覚命令を記憶するように構成される触覚効果サブシステムを更に備える請求項１に記載の触覚効果可能フレキシブル装置。

【請求項3】

前記複数の触覚命令の実行は、前記データストリームからの前記視覚コンテンツの表示と同期される請求項２に記載の触覚効果可能フレキシブル装置。

【請求項4】

前記データストリームは、オーディオ成分を更に備える請求項１に記載の触覚効果可能フレキシブル装置。

【請求項5】

前記データストリームは、複数の触覚命令を更に備える請求項１に記載の触覚効果可能フレキシブル装置。

【請求項6】

前記複数の触覚命令は、前記データストリームの受信前にオーサリングされる請求項２に記載の触覚効果可能フレキシブル装置。

【請求項7】

前記複数の触覚命令は、受信された前記視覚コンテンツに基づいて前記プロセッサにより自動的に導き出される請求項２に記載の触覚効果可能フレキシブル装置。

【請求項8】

前記変形は、三軸に沿って生じる請求項１に記載の触覚効果可能フレキシブル装置。

【請求項9】

前記変形は、Ｚ軸における複数の同時変形を含む請求項８に記載の触覚効果可能フレキシブル装置。

【請求項10】

インタラクションを検出するように構成されるセンササブシステムを更に備える請求項１に記載の触覚効果可能フレキシブル装置。

【請求項11】

前記インタラクションは、前記フレキシブルディスプレイに加えられる力である請求項１０に記載の触覚効果可能フレキシブル装置。

【請求項12】

フレキシブルディスプレイを変形する方法であって、
視覚コンテンツを含むデータストリームを受信するステップと、
前記データストリームから前記視覚コンテンツを実行するステップと、
前記フレキシブルディスプレイに前記視覚コンテンツを表示するステップと、
プロセッサにより、アクチュエータシステムを制御するために駆動コマンドを生成するステップと、
前記駆動コマンドに応じて前記アクチュエータシステムにより前記フレキシブルディスプレイを変形するステップと、
を備える方法。

【請求項13】

前記アクチュエータシステムへの前記駆動コマンドを生成するために前記プロセッサにより複数の触覚命令を実行するステップを更に備える請求項１２に記載の方法。

【請求項14】

前記複数の触覚命令の実行は、前記視覚コンテンツの表示に同期される請求項１３に記載の方法。

【請求項15】

前記データストリームは、オーディオ成分を更に備える請求項１２に記載の方法。

【請求項16】

前記データストリームは、触覚命令を更に備える請求項１２に記載の方法。

【請求項17】

前記複数の触覚命令は、前記データストリームの受信前にオーサリングされる請求項１３に記載の方法。

【請求項18】

前記複数の触覚命令は、前記視覚コンテンツに基づいて前記プロセッサにより自動的に導き出される請求項１３に記載の方法。

【請求項19】

前記変形は、三軸に沿って生じる請求項１２に記載の方法。

【請求項20】

前記変形は、Ｚ軸における複数の同時変形を含む請求項１９に記載の方法。

【請求項21】

プロセッサにより実行されたときに前記プロセッサに触覚効果を実行させる命令を有する非一時的コンピュータ可読媒体であって、前記触覚効果の実行は、
視覚コンテンツを含むデータストリームを受信するステップと、
前記データストリームから前記視覚コンテンツを実行するステップと、
フレキシブルディスプレイに前記視覚コンテンツを表示するステップと、
前記プロセッサにより、アクチュエータシステムを制御するために駆動コマンドを生成するステップと、
前記駆動コマンドに応じて前記アクチュエータシステムにより前記フレキシブルディスプレイを変形するステップと、
を備える非一時的コンピュータ可読媒体。

【請求項22】

前記触覚効果の実行は、前記アクチュエータシステムへの前記駆動コマンドを生成するために前記プロセッサにより複数の触覚命令を実行するステップを更に備える請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項23】

前記データストリームは、触覚命令を更に備える請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項24】

前記触覚効果の実行は、前記データストリームからの前記触覚命令を実行するステップと、前記プロセッサにより、実行された前記触覚命令をに基づいて前記駆動コマンドを生成するステップと、を更に備える請求項２３に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、一般的に触覚効果に関する。より具体的には、実施形態は、フレキシブルディスプレイ装置における触覚効果に関する。

【背景技術】

【0002】

ハプティクス（Ｈａｐｔｉｃｓ）は、力、振動及びモーションのような触覚フィードバック効果をユーザに適用することにより、ユーザのタッチの感覚を活用する触覚及びフォースフィードバック技術である。モバイル装置、タッチスクリーン装置及びパーソナルコンピュータのような装置は、触覚効果を生成するように構成されうる。一般的に、触覚効果を生成することが可能な埋め込みハードウェアへの要請は、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの要請は、再生するための触覚効果を特定する。例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール又はいくつかの他の制御装置を用いてユーザが装置と相互作用（インタラクト）するとき、装置のＯＳは、制御回路を通じて埋め込みハードウェアへ再生コマンドを送信しうる。埋め込みハードウェアは、その後、ユーザによって気付かれる適切な触覚効果を生成する。

【0003】

典型的には、触覚効果は、オーディオ−ビジュアル（音声−視覚）メディアの体験を向上させるために、振動に依存している。例えば、ゲーミング環境では、ゲームがマシンガンの発砲、爆発又はカークラッシュのようなアクションを含むとき、触覚効果は、各イベントと関連付けられた強度及び持続期間を変化させる振動を含む。これらの振動及び他の効果（エフェクト）は、いくつかの種類のアクチュエータ又は触覚出力装置の使用により多くの装置で生成される。この目的に使用される既存のアクチュエータは、ソレノイドアクチュエータ、モータにより偏心が移動される偏心モータ（“ＥＲＭ”）アクチュエータ、リニア共振アクチュエータ（“ＬＲＡ”）、電気活性ポリマーアクチュエータ又は圧電アクチュエータのような電磁アクチュエータを含む。更に、運動感覚アクチュエータは、装置の機械的な動きを通じて触覚フィードバックを提供するために用いられてもよい。

【発明の概要】

【0004】

本発明の一実施形態は、変形可能な触覚効果が可能なフレキシブル装置である。フレキシブル装置は、フレキシブルフレームと、データストリームを受信するプロセッサと、データストリームからプロセッサにより受信された視覚コンテンツを表示するために用いられるフレキシブルフレームに取り付けられるフレキシブルディスプレイと、を含む。フレキシブルディスプレイ及びフレームを変形するための触覚効果は、アクチュエータにディスプレイ及びフレームを新たな形状に変形させるように指示するプロセッサからの駆動コマンドをアクチュエータシステムが受信することにより実現される。変形は、単軸、二軸又は三軸に沿ってなされうる。

【0005】

本発明の別の実施形態は、フレキシブルディスプレイを変形する方法である。前記方法は、視覚コンテンツ及び当該視覚コンテンツを抽出したものを含むデータストリームのコンテンツを受信することを含む。視覚コンテンツは、その後、フレキシブルディスプレイに表示される。触覚効果は、アクチュエータシステムを制御するために駆動コマンドを生成するプロセッサにより生成される。アクチュエータシステムは、その後、駆動コマンドに基づいてフレキシブルディスプレイを変形する。

【図面の簡単な説明】

【0006】

【図1】図１は、本発明の実施形態に係る触覚可能なディスプレイシステムの図である。

【図2】図２は、実施形態に係る単軸、二軸及び三軸におけるフレキシブルディスプレイの変形の各種形態を示す。

【図3】図３は、実施形態に係る、単軸における複数のアクチュエータ及び変形可能なセクションを示す。

【図4】図４Ａ、４Ｂ及び４Ｃは、実施形態に係る、フレキシブル装置の曲げを示す。

【図5】図５は、実施形態に係るフレキシブル装置の各種変形と同期される音声入力トラックを示す。

【図6】図６は、実施形態に係るフレキシブルディスプレイ装置の各種変形と同期される視覚入力トラックを示す。

【図7】図７は、実施形態に係る、データストリームのコンテンツの受信、及び対応する視覚コンテンツの表示と同期してフレキシブルディスプレイを変形する触覚命令の実行を示す方法フローチャートである。

【発明を実施するための形態】

【0007】

フレキシブルディスプレイは、スマートフォンの次世代の最も期待されるフィーチャーの１つであり、産業及び学術的に多くの注目を引いている。フレキシブルディスプレイは、相互作用（インタラクション）の広範囲なアレイを可能にし、特定の湾曲形状に巻かれる又は順応しうる。よって、フレキシブルディスプレイは、触覚効果が変形可能なディスプレイ装置に組み込み及び集積されることを可能にするためにフレキシブルフレーム及びアクチュエータシステムと組み合わせられうる。

【0008】

触覚効果が可能なフレキシブル装置の実施形態は、フレキシブルフレームと、プロセッサと、フレキシブルディスプレイと、アクチュエータシステムと、を含む。プロセッサは、視覚コンテンツを含むデータストリームを受信するように構成される。フレキシブルディスプレイは、フレキシブルフレームに接続され、データストリームから視覚コンテンツを表示するように設計される。アクチュエータシステムは、また、フレキシブルフレームに接続され、プロセッサからの駆動コマンドを受信する。駆動コマンドは、アクチュエータシステムにフレキシブル装置を変形するように指示する。

【0009】

別の実施形態では、触覚効果が可能なフレキシブル装置は、また、プロセッサにより実行されたときに、プロセッサに駆動コマンドを生成させる触覚命令を記憶する触覚効果サブシステムを含む。一実施形態では、触覚命令は、データストリームに送信される前にオーサリングされる。別の実施形態では、触覚命令は、データストリームに送信されない。むしろ、プロセッサは、コンピュータビジョンソフトウェアを用いて、ビデオコンテンツを分析し、触覚命令を自動生成する。いずれの場合にも、触覚命令の実行は、フレキシブルディスプレイ装置上の視覚コンテンツの表示と同期される。

【0010】

別の実施形態では、フレキシブルディスプレイを変形する方法が提示される。前記方法は、視覚コンテンツを含むデータストリームを受信することにより開始する。前記方法は、データストリームから視覚コンテンツを抽出し、その後、フレキシブルディスプレイ上に表示することにより継続する。プロセッサは、その後、アクチュエータシステムを制御するために駆動コマンドを生成する。アクチュエータシステムは、その後、駆動コマンドに応じてフレキシブルディスプレイを変形する。

【0011】

別の実施形態では、前記方法は、駆動コマンドを生成するために複数の触覚命令を実行することを含む。一実施形態では、触覚命令は、データストリームの受信前にオーサリングされ、別の実施形態では、触覚命令は、視覚コンテンツに基づいてプロセッサにより自動的に導き出される。

【0012】

図１は、本発明の実施形態に係るフレキシブルディスプレイシステム１００のブロック図である。システム１００は、フレキシブルディスプレイ装置１１０を含む。フレキシブルディスプレイ装置１１０は、ディスプレイスクリーン１１２と、フレキシブルフレーム１１４と、を含む。フレキシブルディスプレイ装置１１０は、また、プロセッサ１２０と、アクチュエータを含むアクチュエータシステム１５０と、オペレーティングシステム１３２及び触覚効果命令１３４を含むメモリ１３０と、オーディオ出力１４０と、センサ１６０と、を含む。更に、フレキシブルディスプレイシステム１００は、データストリーム１７０を介してコンテンツ及びデータを受信する。

【0013】

フレキシブルディスプレイスクリーン１１２は、フレキシブルアクティブマトリクス有機発光ダイオード（“ＡＭＯＬＥＤ”）ディスプレイ技術又は電子ペーパー技術、又は当業者に知られているような他のフレキシブルディスプレイ技術を組み込みうる。

【0014】

フレキシブルディスプレイスクリーン１１２は、タッチ検知可能でもありうる。したがって、画像の表示に加えて、フレキシブルディスプレイスクリーン１１２は、ユーザによって提供されるもののような、タッチを認識することができ、位置、圧力の大きさ及び表面へのタッチの持続期間のいずれかを認識してもよい。タッチに対応するデータは、プロセッサ１２０又はシステム１００内の別のプロセッサに送信され、プロセッサ１２０は、タッチを捉え、それに応じて触覚効果信号を生成する。タッチ面は、容量性検出、抵抗性検出、表面音波検出、圧力検出、光学検出等を含む、検出技術を用いてタッチを検知してもよい。タッチ面は、マルチタッチ接触を検知してもよく、マルチタッチ及び同時に生じるタッチの位置を区別することが可能であってもよい。

【0015】

フレキシブルディスプレイ装置１１０は、例えば、プロセッサ１２０、メモリ１３０、アクチュエータシステム１５０及びオーディオ出力１４０を含む、フレキシブルディスプレイ装置１１０の他の部品を包囲するフレキシブルフレーム１１４も含む。フレキシブルフレーム１１４は、電源、Ｉ／Ｏジャック、マイクロフォン、制御ボタン、カメラ等のような図示されない他の必要な部品も含みうる。

【0016】

フレキシブルディスプレイ装置１１０は、触覚効果命令１３４に加えてオペレーティングシステムを記憶しうるメモリ１３０と結合されるプロセッサ１２０を含む。触覚効果命令１３４は、“触覚トラック”とも呼ばれ、所望の触覚効果を生じるためにアクチュエータシステム１５０を制御するプロセッサ１２０へのコマンドのストリームを提供する。アクチュエータシステム１５０は、１以上のアクチュエータ１５２と結合される。プロセッサ１２０は、データストリーム１７０を通じてコンテンツを受信する。コンテンツは、データ、命令、ビデオ及び／又はオーディオコンテンツを含みうる。データストリーム１２０は、ビデオ及び／又はオーディオコンテンツと関連付けられた触覚効果命令の触覚トラックも含みうる。触覚効果は、変形、振動又は両方の組み合わせを含みうる。更に、変形及び振動は、それら独自の“トラック”に含まれることができ、振動トラック及び変形トラックを含む触覚トラックを生じる。一部の場合には、触覚トラックは、フレキシブルディスプレイスクリーン１１２及びオーディオ出力１４０でのコンテンツの再生と、プロセッサ１２０による触覚効果命令の実行との同期を確実にするために、オーディオ及び／又はビデオコンテンツに対応するタイムメーカーも含む。

【0017】

プロセッサ１２０は、再生される触覚効果及びハイレベルパラメータに基づいて再生される効果の順序を決定しうる。通常、特定の触覚効果を定義するハイレベルパラメータは、マグニチュード（大きさ）、周波数及び持続期間を含む。ストリーミングモータコマンドのようなローレベルパラメータは、特定の触覚効果を決定するために用いられてもよい。触覚効果が生成されたときのいくつかのバリエーション又はユーザのインタラクションに基づくこれらのパラメータのバリエーションを含む場合、触覚効果は、“動的”とみなされてもよい。

【0018】

アクチュエータ１５２は、このようなアクチュエータが変形又は振動タイプアクチュエータを含みうる又は変形アクチュエータが変形又は振動に用いられうる１又は複数のアクチュエータを含みうる。アクチュエータは、これに限定されない、偏心モータ（「ＥＲＭ」）、リニア共振アクチュエータ（「ＬＲＡ」）、圧電モータ又はソレノイドアクチュエータを含む任意の種類のモータを含みうる。アクチュエータ１５２に加えて、又はアクチュエータ１５２の代わりに、システム１００は、他の種類の触覚出力装置（図示せず）を備えてもよい。他の種類の触覚出力装置は、非機械的又は非振動的な装置、例えば、静電摩擦（「ＥＳＦ」）、超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚変換器を用いて音響放射圧を誘導する装置、触覚基板及び柔軟表面もしくは可変表面、又は形状変形装置を用いて、ユーザの身体に装着できる装置、エアジェットを用いた空気の吹き出し等の投射触覚出力を提供する装置、電気筋肉刺激を提供する装置等であってよい。更に、アクチュエータ１５２は、フレキシブルディスプレイ装置１１０に力を加え、例えばコーナーに沿う１以上の軸に曲げる、又は捻るために形状記憶合金（“ＳＭＡ”）ワイヤを使用しうる。スマート材料、モータにより引っ張られるストリング又は可動ピンのアレイのような他の技術は、作動のために用いられてもよい。

【0019】

アクチュエータシステム１５０及びアクチュエータ１５２は、各種振動及びシェイキング効果を含む触覚効果を生じる。アクチュエータシステム１５０及びアクチュエータ１５２は、フレキシブルディスプレイ装置１１０の形状を変形するためにも用いられる。より詳細に後述されるように、このような変形は、単軸、二軸又は三軸において生じうる。このような変形は、一次元、二次元又は三次元でのフレキシブルディスプレイ装置１１０の引っ張り、ねじり又は折り曲げを生じうる。よって、フレキシブルディスプレイ装置１１０上に表示された画像は、振動、変形又はその両方で増強されうる。

【0020】

プロセッサ１２０は、任意の種類の汎用プロセッサであってもよく、又は特定用途向け集積回路（“ＡＳＩＣ”）のような触覚効果を提供するために特別に設計されたプロセッサでありうる。プロセッサ１２０は、システム１００全体を動作する同一のプロセッサ又は別々のプロセッサであってもよい。プロセッサ１２０は、特定の触覚効果がアクチュエータシステム１５０により生成されるようにプロセッサ１２０に指示するメモリ１３０からの触覚効果命令１３４をフェッチする。触覚効果命令１３４は、プリロードされ、かつメモリに残りうる、又はそれらは、例えばユニバーサルシリアルバス（“ＵＳＢ”）のような集積回路からロードされうる、又はデータストリーム１７０を介してダウンロードされうる。プロセッサ１２０は、データストリーム１７０で受信されたコンテンツに基づいて触覚効果命令１３４も生成しうる。データストリーム１７０は、メモリ１３０に記憶された実際の触覚効果命令１３４を含む、又はデータストリーム１７０は、そのプロセッサ１２０がリアルタイムで又は後の再生用のメモリ１３０におけるストレージに対して、触覚効果命令を構築するオーディオ／視覚コンテンツを含む。データストリーム１７０を介してデータを送受信する実施形態では、システム１００は、Ｗｉ−Ｆｉサブシステム又はセルラーリンクのような通信装置（図示せず）を更に含む。

【0021】

メモリ１３０は、ランダムアクセスメモリ（「ＲＡＭ」）又は読み出し専用メモリ（「ＲＯＭ」）又は他の種類のコンピュータ可読メモリ等の任意の種類のストレージ装置又はコンピュータ可読媒体であってよい。メモリ１３０は、オペレーティングシステム１３２を含むプロセッサ１２０により実行される命令を記憶する。命令は、以下に詳細に開示されるように、プロセッサ１２０により実行されたときに、触覚効果を提供するアクチュエータシステム１５０及びアクチュエータ１５２に対する駆動コマンドを生成する命令である触覚効果命令も含む。メモリ１３０は、プロセッサ１２０の内部又は内部及び外部メモリに配置されてもよい。

【0022】

プロセッサ１２０は、コマンド及び制御信号をアクチュエータシステム１５０へ出力し、これは、所望の触覚効果を生じるために、アクチュエータ１５２に、要求される電流及び電圧（例えば、“モータ信号”）を供給する電子部品及び回路を含む。前述されたように、システム１００は、１以上のアクチュエータ１５２を含んでもよく、各アクチュエータは、プロセッサ１２０と全てが接続される別々の駆動回路（図示せず）を含んでもよい。

【0023】

システム１００は、フレキシブルディスプレイ装置１１０とのインタラクションを検知するための、センサ１６０のような各種センサを含んでもよい。センサ１６０は、なかでもこれに含まれるのは、インタラクション（相互作用）中の変形の大きさを測るための歪ゲージセンサ、フレキシブルディスプレイデバイス構造に加えられる力／ストレスを測るための力検知抵抗（“ＦＳＲ：ｆｏｒｃｅ ｓｅｎｓｉｎｇ ｒｅｓｉｓｔｏｒ”）センサ、タッチ可能なディスプレイ上の単一又は複数のタッチの位置を検知するためのマルチタッチのタッチ・センサ、各タッチ位置下に加えられる圧力を測るためのマルチタッチ圧力センサ、環境条件を捉えるための温度／湿度／気圧センサ、デバイスの動き、速度、加速度、向きを特徴づけるための加速度計／ジャイロスコープ／磁力計、ユーザの音声コマンド又は環境オーディオ情報を捉えるためのマイクロフォン、及び他のデバイスから／へ情報をワイヤレスで受信／送信するためのワイヤレス・トランスミッタである。センサ１６０に対応するデータは、プロセッサ１２０又はシステム１００内の別のプロセッサへ送信され、プロセッサ１２０は、センサデータを解釈し、それに応じて触覚効果信号、データストリーム１７０を通じたフィードバック、オーディオ応答、及びフレキシブルディスプレイスクリーン１１２上の視覚イメージを生成しうる。

【0024】

上述のハプティック出力デバイスに加え、システム１００は、他の様々なアクチュエータを備えてもよく、それには柔軟であるか、半剛性か、又は剛性アクチュエータが含まれ、それにはスマート流体アクチュエータ、流動性流体アクチュエータ、マクロ・ファイバー・コンポジット（“ＭＦＣ：Ｍａｃｒｏ−Ｆｉｂｅｒ Ｃｏｍｐｏｓｉｔｅ”）アクチュエータ、形状記憶合金（“ＳＭＡ：Ｓｈａｐｅ Ｍｅｍｏｒｙ Ａｌｌｏｙ”）アクチュエータ、圧電アクチュエータ、及びマイクロ・エレクトロ・メカニカル・システム（“ＭＥＭＳ：Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ”）アクチュエータが含まれる。

【0025】

システム１００は、例えば携帯電話、パーソナルデジタルアシスタント（「ＰＤＡ」）、スマートフォン、タブレット型コンピュータ、ゲーム機、乗り物ベースのインターフェースのようなハンドヘルドデバイスであってもよく、又は、１つ以上のアクチュエータを備える触覚効果システムを備える任意の他の種類のフレキシブル装置であってよい。ユーザインターフェースは、タッチ検知面であってもよく、又はマイクロフォン、カメラ等のような他の種類のユーザインターフェースでありうる。１よりも多いアクチュエータを有する実施形態では、回転機能を有する各アクチュエータは、装置上で広範囲な触覚効果を生成するために異なる回転機能を有し、例えば、各アクチュエータは、個々に制御されることができ、又は一部の回転アクチュエータは、他の回転アクチュエータの回転の軸に対する角度でそれらの回転の軸を有する。同様に、他の機能を有する複数のアクチュエータを有する実施形態では、各アクチュエータは、装置上で広範囲な触覚効果を示すために個々に制御されうる。例えば、複数のアクチュエータは、それぞれが異なる速度及び変形の度合いで、フレキシブルディスプレイ装置１１０の４つのコーナーのそれぞれを独立して変形するために用いられうる。

【0026】

一般的にフレキシブルディスプレイは、情報を伝えるための追加の方法として変形の利点を得ることにより、広範囲な新規なインタラクションを可能にする。しかし、フレキシブルディスプレイによる変形インタラクションから得られる均一／連続フィードバックは、非デジタル空間から物理インタラクションをデジタルに生じるイベントに関する直観メタファーを提供しなくてもよい。すなわち、ユーザは、典型的には、実物の本、雑誌、及び他の物体とは対照的に、電話及びタブレットサイズの小さく平坦な物体と非デジタル空間にインタラクトしない。実施形態は、触覚通信チャネルを通じてユーザにデジタル環境についてのユーザインタラクション及び追加情報を強いるシステムを提供する。実施形態は、ユーザインターフェース設計空間を拡張子、フレキシブルディスプレイでのインタラクション体験を促進し、より直感的かつ自然な変形ベースのジェスチャを表現する。また、実施形態は、触覚の形態でのデジタルワールドについての情報を変換及び伝達するための効果的な手法を提供する。

【0027】

単一の表面ディスプレイよりも、フレキシブルディスプレイ装置は、三軸で同時に、広範囲なユーザ体験を提供しうる。実施形態では、フレキシブルディスプレイは、イベントが予測されるときにユーザから離れて折れ曲がり、イベントが生じたときに開放又は外側へ折り曲げられる。例えば、ボールを野球用バットで叩こうとしている人のビデオを観る際に、フレキシブルディスプレイは、野球用バットが後ろに動くと内側に折れ曲がり、ボールに対して人がスイングすると外側に折れ曲がる。別の実施形態では、変形効果は、サプライズイベントをマークするために用いられうる。例えば、タブレットは、映画の主人公が突風で紙切れを不意に失ったときに不意に外側に折れ曲がり、曲がらない状態への遷移が知覚されないように、曲がらない状態へゆっくりと戻る。

【0028】

実施形態では、フレキシブルディスプレイは、オンスクリーンで生じる特定のイベントを強調するために折れ曲がる。例えば、爆発は、装置の激しい動きを生じる一方で、水に落ちる小石は、フレキシブルディスプレイの小さなさざなみを生じる。また、スクリーンの折れ曲がりは、閲覧者が彼らの注意を惹くべき場所を反映する。フレキシブルスクリーン１１２を有するフレキシブルディスプレイ装置１１０は、対象物体が前景にあるときに外側に折れ曲がり、対象物体が背景にあるときに内側に折れ曲がる。

【0029】

フレキシブルスクリーン１１２の変形は、閲覧者へ向かってくる物体を強調すること等の三次元ムービーで頻繁に生じる効果をシミュレートする。例えば、フレキシブルディスプレイ装置１１０は、ボールが閲覧者へ向かって飛んで来ると外側に折れ曲がる。

【0030】

更に、フレキシブルディスプレイ装置１１０の折れ曲がりは、フレキシブルスクリーン１１２で表示されるビデオのズーム又はフォーカスでの変化に従う。例えば、カメラがズームアウトすると、ディスプレイは、外側にゆっくりと折れ曲がる。これは、めまいの効果（エフェクト）と同様の応答を生成するために用いられる可能性がある。めまいのエフェクトは、カメラレンズが対象にズームしたときに生成され、カメラ自体が物体から物理的に離れる又はその逆である。この動きは、画像合成を変更せずにレンズの焦点距離を効果的に変更し、ここで、前景画像は、互いに相対的なサイズに変化するように見える。

【0031】

フレキシブルディスプレイ装置１１０の折り曲げ及び変形は、ユーザが、例えばムービーのようなオーディオ／視覚セグメントをより激しい体験で観ることを可能にする。例えば、アリスは、フレキシブルタブレットでアクション映画を観ている。彼女は、登場人物がパンチをしようとしているときにタブレットが後退することを感じ、登場人物がパンチをすると不意にバネが戻ることを感じる。彼女は、車が爆発したとき、タブレットが前後に折れ曲がることを感じる。グレネードがカメラに投げられたとき、彼女は、タブレットが彼女に向かって突き出ることを感じる。全体として、アリスは、触覚効果なしで体験するよりも映画の観覧のより強調された体験を受ける。

【0032】

図２は、本発明の実施形態に係るフレキシブル装置の変形の様々な形態の図である。本明細書でのフレキシブル装置への言及は、フレキシブルスクリーンも含むフレキシブル装置への言及も含む。ここで、フレキシブル装置２００は、Ｙ軸上での長さがＹ１、Ｘ軸上での深さがＸ１、及びＺ軸上での高さがＺ１である初期の変形していない状態Ｓ_０で示される。

【0033】

フレキシブル装置２００は、フレキシブル装置２００内のメモリに予めロードされている又は図１に示されるようなデータストリームを介して受信される触覚命令を実行する際に、単一の軸に沿って変形するように命令される。例えば、フレキシブル装置２００は、初期長さＹ１から増加した幅Ｙ２である状態Ｓ_１で示される。フレキシブル装置がＹ軸に沿った変形を示しているが、このような変形は、いずれかの軸に沿ってなされうる。フレキシブル装置２００の状態Ｓ_２は、２つの軸に沿った変形を示す。この例では、幅Ｙ２は、初期の幅Ｙ１よりも大きくなっており、フレキシブル装置２００の深さは、Ｘ１からＸ２に増加している。同様にして、状態Ｓ_３は、Ｙ２が初期Ｙ１から増加し、Ｘ２が初期Ｘ１よりも増加し、高さＺ２が初期高さＺ１よりも増加している三軸全てでの変形を示す。これらの変形は“増加”として全て示されるが、変形は、サイズが減少してもよく、増加及び減少の両方の組み合わせてもあってもよい。図２は、いずれかの軸での単一の変形のみを示すが、次に説明されるもののように著しく拡張されうる。

【0034】

図３は、本発明の実施形態に係る、フレキシブル装置の軸における複数のアクチュエータを用いる変形の様々な形態の図である。システム３００は、アクチュエータ３１５及び３２０によって変形される変形可能な外側シェル３１０及び３２５を含む。更に、実施形態では、外側シェル３１０及び３２５は、命令の触覚トラックにより駆動されるフレキシブル装置が、無限の形状変化を取ることを可能にするために、３１０ａ−ｅ及び３２５ａ−ｅとして示される複数のセクションを含む。外側シェル３１０及び３２５は、アクチュエータ３１５及び３２０と共に、フレキシブルディスプレイ装置が三軸全てで変形することを可能にするために、ｘ軸、ｙ軸及びｚ軸に沿って再生成されうる。

【0035】

図４Ａは、セクション４１０ａ−ｅに亘る折り曲げ動作を用いてフレキシブル装置を変形するために用いられるアクチュエータ４１５ａ−ｅの図である。この図に示されるアクチュエータは、例示のためのみによるものであり、複数の他の種類のアクチュエータは、フレキシブル装置を折り曲げて変形するために用いられる。更に、複数のセクチョンが図４Ａに示されているが、用いられるアクチュエータシステムの種類に応じて、フレキシブル装置は、単一の変形しやすいフレーム又はフォームからなる。

【0036】

図４Ｂは、実施形態に係る、波又はさざなみ折り曲げエフェクトを生成するために、フレキシブル装置のセクション４２０ａ−ｇを折り曲げるアクチュエータ４２５ａ−ｇの図である。図４Ｂは、静的な形状又は単一時点の図を示す。例えば、触覚トラックがさざなみの感覚、例えば、池に落ちる小石のような感覚を伝えるようとする場合、図４Ｂは、フレキシブル装置の一方端から他方端へ１以上のさざなみを移動したときの単一のスナップショットである。このような感覚は、実施形態に係る、フレキシブル装置４３０により図４Ｃに更に示される。

【0037】

図５は、実施形態に係る、フレキシブルディスプレイ装置上の同期された変形イベントを生成するために、オーディオ入力データストリームから触覚トラックから生成する処理５００を示す。処理５００は、オーディオ入力トラック５０５を含み、この例では、オーディオイベント５１０、５１５及び５２０を示し、ｘ軸で時間及びｙ軸で振幅を示してグラフ化されている。イベント５１０、５１５及び５２０は、任意の種類の音でありうる。この例では、期間Δｔ_１中に生成された音はなく、よって、この期間中に生成された対応する触覚イベントはない。しかし、期間Δｔ_２では、短い爆発の音５１０が存在する。よって、短い触覚効果５２５は、期間Δｔ_２中にフレキシブル装置で生成される。触覚効果は、フレキシブル装置の、折り曲げを含むいくつかの種類の変形でありうる。期間Δｔ_３は、音入力のない別の期間であり、よって、再び触覚効果が生成されない。期間Δｔ_４は、長い持続期間のオーディオイベント５１５を含み、よって、生成された対応触覚効果５３０は、期間Δｔ_２の効果よりも長い持続期間を有する。触覚効果の種類及び実際の持続期間の選択は、図１のシステム１００で説明された適切な触覚命令をプログラムする触覚効果デザイナーによりなされる。

【0038】

処理５００は、期間Δｔ_５での別の静かな間隔が続く。しかし、期間Δｔ_６は、この例で最も長いオーディオ区間であるオーディオイベント５２０を含む。この期間中に、触覚効果５３５は、フレキシブル装置で生成される。例えば、オーディオイベント５２０が一連のゴトゴト音（ａ ｓｅｒｉｅｓ ｏｆ ｒｕｍｂｌｅｓ）である場合、対応する触覚効果は、５３５に示されるようなフレキシブル装置において処理する一連のさざなみとなりうる。

【0039】

オーディオ出力トラックではなく、図６は、実施形態に係る、処理６００での入力としてビデオシーケンスを示す。処理６００は、なめらかな水塊を叩く水滴、複数のさざなみの生成、及び上へ伝わる２つの小さな液滴を示す１１個のフレーム（Ｆ１−Ｆ１１）を示す。処理６００は、図５に示されたように、オーディオトラックも含みうる。前述されたように、取り得る触覚トラックは、要素６１０のフレキシブルディスプレイ装置により示されるような、例えばフレームＦ_１及びＦ_２で、イベントが予測されるときにユーザから離れるフレキシブルディスプレイ装置を有することを含んでもよい。そして、イベントが生じたとき、例えば、要素６２０でのフレキシブルディスプレイ装置６２０により示されるようなフレームＦ_３及びＦ_４において液滴が水を叩いたとき、外側に折り曲げる。次のシーケンスは、要素６３０で示されるようなフレキシブルディスプレイ装置に亘ってシミュレートされるフレームＦ_５からＦ_１１での水におけるさざなみのセットである。

【0040】

図７は、実施形態に係る、データストリームを受信すること、データストリームを分析すること、コンテンツを抽出すること、及びコマンドを生成し、アクチュエータを制御し、触覚効果を生成するために命令を同期実行することを含む方法７００を示すフローチャートである。一部の実施形態では、図７のフローチャートの機能は、メモリ又は他のコンピュータ可読又は有形媒体に記憶されたソフトウェアにより実行され、プロセッサにより実行される。別の実施形態では、当該機能は、（特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等の使用を通じて）ハードウェアにより実行されてもよく、ハードウェア及びソフトウェアの組み合わせにより、実行されてもよい。

【0041】

７０５において、アプリケーションは、フレキシブル装置上で起動される。当該アプリケーションは、フレキシブルディスプレイ装置１１０を含むフレキシブル装置上で動作するソフトウェアプログラムでありうる。当該アプリケーションは、フレキシブルディスプレイ装置１１０上で触覚フィードバックを提供する環境に特化して作動するように構成されうる。７１０において、フレキシブルディスプレイ装置１１０は、データストリーム１７０を受信する。データストリーム１７０は、典型的には、オーディオコンテンツ又はオーディオ／視覚コンテンツを含み、触覚効果命令１３４を含む触覚トラックも含む。当該コンテンツは、聴覚障害者のユーザをサポートする字幕付き（クローズドキャプション）トラックも含みうる。データストリーム１７０は、プロセッサ動作命令、オペレーティングシステムアップグレード、及び他の関連するソフトウェア及びプロセッサ１２０についてのアップデートを伝えるためのソースでもある。

【0042】

７１５において、プロセッサ１２０は、データストリーム１７０のコンテンツを判定する。プロセッサ１２０は、データストリーム１７０が、表示されるビデオコンテンツ及び／又は再生されるオーディオコンテンツを含むかどうか判定するためにデータストリーム１７０を分析する。プロセッサ１２０は、受信されたコンテンツに関する対応する触覚効果命令があるかどうかを判定するためにデータストリーム１７０も分析する。これらの命令は、アクチュエータシステム１５０を制御し、アクチュエータシステム１５０は、フレキシブルディスプレイ装置１１０により再生されるオーディオ又はオーディオ／視覚コンテンツに対応するアクチュエータ１５２を用いて所望の触覚効果を生成する。例えば、触覚効果１３４は、アクチュエータ１５２をフレキシブルディスプレイ装置１１０の画面上の爆発の表示に関連して振動させるアクチュエータシステム１５０へのコマンドをプロセッサ１２０に生成するように指示する。別の例では、触覚効果命令１３４は、プロセッサ１２０、アクチュエータシステム１５０及びアクチュエータ１５２が、フレキシブルディスプレイ装置１１０で様々に折り曲げさせ、なめらかな池の面を水滴が叩くときにさざなみエフェクトをシミュレートする。

【0043】

触覚効果命令１３４は、触覚ソフトウェア設計ツールを用いてデータストリーム１７０の送信前にデザイナーによりオーサリングされうる。デザイナーは、フレキシブルディスプレイ装置に送信されるオーディオ及び／又はオーディオ‐視覚コンテンツを組み込むために、所望の触覚イベントの種類について決定する。所望の触覚イベントの種類についてこれらの決定をする際に、デザイナーは、典型的には触覚トラックと呼ばれる触覚効果の“スクリプト”を開発する。触覚トラックは、１以上の触覚アクチュエータに対する駆動コマンドを含みうる。振動アクチュエータ、押し込みアクチュエータ及び変形可能なシステムアクチュエータを含む、フレキシブルディスプレイ装置に構成されうる多くの種類のアクチュエータが存在する。

【0044】

触覚トラックは、対応するコンテンツが選択及び表示されるまで、プロセッサ１２０のメモリに記憶されうるフレキシブルディスプレイ装置１１０へ送信される。触覚トラックは、触覚効果が適切な時間に生成されるようにコンテンツと同期される。触覚トラックは、また、触覚効果が適切な時間に生成され、フレキシブルディスプレイ装置上の表示コンテンツに対応することを確実にするタイムスタンプマーカーを含んでもよい。

【0045】

スクラッチから触覚トラックをオーサリングすることではなく、フレキシブルディスプレイ装置に対する触覚トラックへの基礎として、ハイエンドムービーシアタープラットフォームで用いられるＤ−ＢＯＸシステムのような、以前に生成されている特定の効果を用いることも可能である。例えば、Ｄ−Ｂｏｘ装備シアターシートでの右への傾きは、フレキシブルディスプレイ装置の左側の上への折り曲げ、及び右側の下への折り曲げに変換されうる。

【0046】

実施形態によれば、プロセッサ１２０がデータストリーム１７０を分析し、コンテンツを識別するが、対応する触覚命令を識別できない場合、本方法は、７１７へ進む。７１７において、ビデオコンテンツは、プロセッサ１２０でのコンピュータビジョンソフトウェアを用いて分析される。コンピュータビジョンシステムは、焦点又はズームの変化、フレーム内の際立った物体の深さ、及びフレキシブルディスプレイ装置の変形にマップされうる他の特徴を検出するために用いられうる。この分析は、デザイナーによって更に検証又は編集されうる半自動触覚トラックを生成する。更に、識別されたコンテンツが字幕付きトラックを含む場合、字幕付きトラックは、例えば、触覚命令の生成が適切である位置で、例えば爆発のような言い回し（ｖｅｒｂｉａｇｅ）をトリガーするために分析されうる。

【0047】

しかし、プロセッサ１２０は、また、触覚効果命令を自動的に生成及び実行するために、データストリーム１７０からのコンテンツを分析しうる。前述されたように、触覚効果命令１３４は、イベントが予測されるときにフレキシブルディスプレイ装置を折り曲げるために選択され、その後、イベントが生じたときに開放又は外側へ折り曲げられる。これらのイベントは、コンピュータビジョン又はオーディオ分析を用いて、デザイナーによってマークされる又は自動的に検出されうる。特定のイベントに対する触覚効果命令は、また、自動的に生成されうる。例えば、爆発は、オーディオ又はビデオシグネチャー、及び適切な時間マークで実行するために選択された対応する触覚命令により識別されることができる。

【0048】

フレキシブルディスプレイ装置１１０の折り曲げは、閲覧者が彼らの注意を向けるべき場所を反映するために用いられうる。このアクションがデザイナーによって識別されるが、カメラ焦点、及び後にビデオのシーン内の物体の重要度を分析することにより、に基づいて自動的に近似することができる。コンピュータビジョンシステムは、また、深さ、ズーム又は焦点を早急に変化する閲覧者が彼らの注意を引くべき場所の指示として、物体を認識することができる。触覚トラックのこのような分析及び構築は、プロセッサ１２０によってリアルタイム又はほぼリアルタイムで実現されうる。更に、処理時間を見越して、システムは、フレキシブルディスプレイスクリーンに表示する前に、ビデオストリームを記憶及び分析するために、バッファを使用する。

【0049】

三次元ムービーに含まれる深さ情報は、同様に用いられうる。７１７で集められたビデオ情報は、その後、データストリーム１７０に送信されるコンテンツと関連する触覚トラックをオーサリングするための基礎として用いられうる。

【0050】

実施形態では、オーディオ−ビデオコンテンツを再生しているときに、センサを備えるフレキシブルディスプレイ装置１１０を直接操作することにより、触覚トラックは、デザイナーによりオーサリングされうる。例えば、爆発エフェクトを生成するために、デザイナーは、ビデオが閲覧されるときにディスプレイを迅速に前後に折り曲げさせる。

【0051】

本方法は、実施形態によれば、視覚及び／又はオーディオ−視覚コンテンツがフレキシブルディスプレイ装置１１０に表示される７２０へ続く。オーディオコンテンツのみが存在する場合、当該コンテンツは、また、フレキシブルディスプレイ装置により再生されうる。７２５へ続き、プロセッサ１２０は、以前に識別された触覚トラックを実行して、アクチュエータシステム１５０への駆動コマンドを生成し、アクチュエータ１５２を制御し、所望の触覚効果を生成する。プロセッサ１２０は、前述されたように、表示されるコンテンツと同期して触覚トラックを実行し、フレキシブルディスプレイ装置１１０のユーザは、適切な時間に、かつフレキシブルディスプレイ装置１１０のスクリーン上に表示される画像と同期して、触覚効果を感じる。

【0052】

最後に、７３０において、触覚トラックの触覚効果命令が実行されると、プロセッサ１２０及びアクチュエータシステム１５０は、触覚効果命令１３４により指示されるようなフレキシブルディスプレイ装置１１０を変形するために、アクチュエータ１５２への適切な信号を生成する。

【0053】

本明細書を通じて説明された本発明の構成、構造又は特徴は、１以上の実施形態で適切に組み合わせられてもよい。例えば、“一実施形態”、“一部の実施形態”、“特定の実施形態”又は他の同様の文言の使用は、本明細書を通じて、実施形態に関連して説明される特定の構成、構造又は特徴が本発明の少なくとも１つの実施形態に含まれてもよいことを示す。よって、用語“一実施形態”、“一部の実施形態”、“特定の実施形態”又は他の同様の文言の出現は、本明細書を通じて、同一群の実施形態を全て示す必要はなく、説明された構成、構造又は特徴は、１以上の実施形態で適切に組み合わせられてもよい。

【0054】

上述された本発明は、異なる順序のステップで、及び／又は開示されたものとは異なる構成における要素で実施されてもよいことを当業者は明示的に理解するであろう。よって、本発明は、これらの好ましい実施形態に基づいて記載されているが、本発明の趣旨及び範囲内に維持しつつ、特定の変更、変形及び代替解釈が明らかであることが当業者にとって明らかである。したがって、本発明の境界を決定するために、添付の特許請求の範囲が参照されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】

2017097830000001.pdf