【解決手段】触覚効果可能フレキシブルディスプレイ装置110は、フレキシブルフレーム114と、プロセッサ120と、ディスプレイスクリーン120と、アクチュエータシステム150と、を含んで示される。プロセッサは、視覚コンテンツを含むデータストリーム170を受信するように構成される。ディスプレイスクリーンは、フレキシブルフレームと結合され、かつ視覚コンテンツを表示するように構成される。アクチュエータシステムは、また、フレキシブルフレームと結合され、複数の触覚命令をプロセッサが実行した結果、プロセッサからの駆動コマンドを受信する。駆動コマンドは、フレキシブル装置を変形するようにアクチュエータシステムに指示する。複数の触覚命令の実行は、該フレキシブルディスプレイ装置の視覚コンテンツの表示と同期される。
前記プロセッサにより実行されたときに、前記プロセッサに前記アクチュエータシステムへの前記駆動コマンドを生成させる複数の触覚命令を記憶するように構成される触覚効果サブシステムを更に備える請求項1に記載の触覚効果可能フレキシブル装置。
前記触覚効果の実行は、前記アクチュエータシステムへの前記駆動コマンドを生成するために前記プロセッサにより複数の触覚命令を実行するステップを更に備える請求項21に記載の非一時的コンピュータ可読媒体。
前記触覚効果の実行は、前記データストリームからの前記触覚命令を実行するステップと、前記プロセッサにより、実行された前記触覚命令をに基づいて前記駆動コマンドを生成するステップと、を更に備える請求項23に記載の非一時的コンピュータ可読媒体。
【発明を実施するための形態】
【0007】
フレキシブルディスプレイは、スマートフォンの次世代の最も期待されるフィーチャーの1つであり、産業及び学術的に多くの注目を引いている。フレキシブルディスプレイは、相互作用(インタラクション)の広範囲なアレイを可能にし、特定の湾曲形状に巻かれる又は順応しうる。よって、フレキシブルディスプレイは、触覚効果が変形可能なディスプレイ装置に組み込み及び集積されることを可能にするためにフレキシブルフレーム及びアクチュエータシステムと組み合わせられうる。
【0008】
触覚効果が可能なフレキシブル装置の実施形態は、フレキシブルフレームと、プロセッサと、フレキシブルディスプレイと、アクチュエータシステムと、を含む。プロセッサは、視覚コンテンツを含むデータストリームを受信するように構成される。フレキシブルディスプレイは、フレキシブルフレームに接続され、データストリームから視覚コンテンツを表示するように設計される。アクチュエータシステムは、また、フレキシブルフレームに接続され、プロセッサからの駆動コマンドを受信する。駆動コマンドは、アクチュエータシステムにフレキシブル装置を変形するように指示する。
【0009】
別の実施形態では、触覚効果が可能なフレキシブル装置は、また、プロセッサにより実行されたときに、プロセッサに駆動コマンドを生成させる触覚命令を記憶する触覚効果サブシステムを含む。一実施形態では、触覚命令は、データストリームに送信される前にオーサリングされる。別の実施形態では、触覚命令は、データストリームに送信されない。むしろ、プロセッサは、コンピュータビジョンソフトウェアを用いて、ビデオコンテンツを分析し、触覚命令を自動生成する。いずれの場合にも、触覚命令の実行は、フレキシブルディスプレイ装置上の視覚コンテンツの表示と同期される。
【0010】
別の実施形態では、フレキシブルディスプレイを変形する方法が提示される。前記方法は、視覚コンテンツを含むデータストリームを受信することにより開始する。前記方法は、データストリームから視覚コンテンツを抽出し、その後、フレキシブルディスプレイ上に表示することにより継続する。プロセッサは、その後、アクチュエータシステムを制御するために駆動コマンドを生成する。アクチュエータシステムは、その後、駆動コマンドに応じてフレキシブルディスプレイを変形する。
【0011】
別の実施形態では、前記方法は、駆動コマンドを生成するために複数の触覚命令を実行することを含む。一実施形態では、触覚命令は、データストリームの受信前にオーサリングされ、別の実施形態では、触覚命令は、視覚コンテンツに基づいてプロセッサにより自動的に導き出される。
【0012】
図1は、本発明の実施形態に係るフレキシブルディスプレイシステム100のブロック図である。システム100は、フレキシブルディスプレイ装置110を含む。フレキシブルディスプレイ装置110は、ディスプレイスクリーン112と、フレキシブルフレーム114と、を含む。フレキシブルディスプレイ装置110は、また、プロセッサ120と、アクチュエータを含むアクチュエータシステム150と、オペレーティングシステム132及び触覚効果命令134を含むメモリ130と、オーディオ出力140と、センサ160と、を含む。更に、フレキシブルディスプレイシステム100は、データストリーム170を介してコンテンツ及びデータを受信する。
【0013】
フレキシブルディスプレイスクリーン112は、フレキシブルアクティブマトリクス有機発光ダイオード(“AMOLED”)ディスプレイ技術又は電子ペーパー技術、又は当業者に知られているような他のフレキシブルディスプレイ技術を組み込みうる。
【0014】
フレキシブルディスプレイスクリーン112は、タッチ検知可能でもありうる。したがって、画像の表示に加えて、フレキシブルディスプレイスクリーン112は、ユーザによって提供されるもののような、タッチを認識することができ、位置、圧力の大きさ及び表面へのタッチの持続期間のいずれかを認識してもよい。タッチに対応するデータは、プロセッサ120又はシステム100内の別のプロセッサに送信され、プロセッサ120は、タッチを捉え、それに応じて触覚効果信号を生成する。タッチ面は、容量性検出、抵抗性検出、表面音波検出、圧力検出、光学検出等を含む、検出技術を用いてタッチを検知してもよい。タッチ面は、マルチタッチ接触を検知してもよく、マルチタッチ及び同時に生じるタッチの位置を区別することが可能であってもよい。
【0015】
フレキシブルディスプレイ装置110は、例えば、プロセッサ120、メモリ130、アクチュエータシステム150及びオーディオ出力140を含む、フレキシブルディスプレイ装置110の他の部品を包囲するフレキシブルフレーム114も含む。フレキシブルフレーム114は、電源、I/Oジャック、マイクロフォン、制御ボタン、カメラ等のような図示されない他の必要な部品も含みうる。
【0016】
フレキシブルディスプレイ装置110は、触覚効果命令134に加えてオペレーティングシステムを記憶しうるメモリ130と結合されるプロセッサ120を含む。触覚効果命令134は、“触覚トラック”とも呼ばれ、所望の触覚効果を生じるためにアクチュエータシステム150を制御するプロセッサ120へのコマンドのストリームを提供する。アクチュエータシステム150は、1以上のアクチュエータ152と結合される。プロセッサ120は、データストリーム170を通じてコンテンツを受信する。コンテンツは、データ、命令、ビデオ及び/又はオーディオコンテンツを含みうる。データストリーム120は、ビデオ及び/又はオーディオコンテンツと関連付けられた触覚効果命令の触覚トラックも含みうる。触覚効果は、変形、振動又は両方の組み合わせを含みうる。更に、変形及び振動は、それら独自の“トラック”に含まれることができ、振動トラック及び変形トラックを含む触覚トラックを生じる。一部の場合には、触覚トラックは、フレキシブルディスプレイスクリーン112及びオーディオ出力140でのコンテンツの再生と、プロセッサ120による触覚効果命令の実行との同期を確実にするために、オーディオ及び/又はビデオコンテンツに対応するタイムメーカーも含む。
【0017】
プロセッサ120は、再生される触覚効果及びハイレベルパラメータに基づいて再生される効果の順序を決定しうる。通常、特定の触覚効果を定義するハイレベルパラメータは、マグニチュード(大きさ)、周波数及び持続期間を含む。ストリーミングモータコマンドのようなローレベルパラメータは、特定の触覚効果を決定するために用いられてもよい。触覚効果が生成されたときのいくつかのバリエーション又はユーザのインタラクションに基づくこれらのパラメータのバリエーションを含む場合、触覚効果は、“動的”とみなされてもよい。
【0018】
アクチュエータ152は、このようなアクチュエータが変形又は振動タイプアクチュエータを含みうる又は変形アクチュエータが変形又は振動に用いられうる1又は複数のアクチュエータを含みうる。アクチュエータは、これに限定されない、偏心モータ(「ERM」)、リニア共振アクチュエータ(「LRA」)、圧電モータ又はソレノイドアクチュエータを含む任意の種類のモータを含みうる。アクチュエータ152に加えて、又はアクチュエータ152の代わりに、システム100は、他の種類の触覚出力装置(図示せず)を備えてもよい。他の種類の触覚出力装置は、非機械的又は非振動的な装置、例えば、静電摩擦(「ESF」)、超音波表面摩擦(「USF」)を用いる装置、超音波触覚変換器を用いて音響放射圧を誘導する装置、触覚基板及び柔軟表面もしくは可変表面、又は形状変形装置を用いて、ユーザの身体に装着できる装置、エアジェットを用いた空気の吹き出し等の投射触覚出力を提供する装置、電気筋肉刺激を提供する装置等であってよい。更に、アクチュエータ152は、フレキシブルディスプレイ装置110に力を加え、例えばコーナーに沿う1以上の軸に曲げる、又は捻るために形状記憶合金(“SMA”)ワイヤを使用しうる。スマート材料、モータにより引っ張られるストリング又は可動ピンのアレイのような他の技術は、作動のために用いられてもよい。
【0019】
アクチュエータシステム150及びアクチュエータ152は、各種振動及びシェイキング効果を含む触覚効果を生じる。アクチュエータシステム150及びアクチュエータ152は、フレキシブルディスプレイ装置110の形状を変形するためにも用いられる。より詳細に後述されるように、このような変形は、単軸、二軸又は三軸において生じうる。このような変形は、一次元、二次元又は三次元でのフレキシブルディスプレイ装置110の引っ張り、ねじり又は折り曲げを生じうる。よって、フレキシブルディスプレイ装置110上に表示された画像は、振動、変形又はその両方で増強されうる。
【0020】
プロセッサ120は、任意の種類の汎用プロセッサであってもよく、又は特定用途向け集積回路(“ASIC”)のような触覚効果を提供するために特別に設計されたプロセッサでありうる。プロセッサ120は、システム100全体を動作する同一のプロセッサ又は別々のプロセッサであってもよい。プロセッサ120は、特定の触覚効果がアクチュエータシステム150により生成されるようにプロセッサ120に指示するメモリ130からの触覚効果命令134をフェッチする。触覚効果命令134は、プリロードされ、かつメモリに残りうる、又はそれらは、例えばユニバーサルシリアルバス(“USB”)のような集積回路からロードされうる、又はデータストリーム170を介してダウンロードされうる。プロセッサ120は、データストリーム170で受信されたコンテンツに基づいて触覚効果命令134も生成しうる。データストリーム170は、メモリ130に記憶された実際の触覚効果命令134を含む、又はデータストリーム170は、そのプロセッサ120がリアルタイムで又は後の再生用のメモリ130におけるストレージに対して、触覚効果命令を構築するオーディオ/視覚コンテンツを含む。データストリーム170を介してデータを送受信する実施形態では、システム100は、Wi−Fiサブシステム又はセルラーリンクのような通信装置(図示せず)を更に含む。
【0021】
メモリ130は、ランダムアクセスメモリ(「RAM」)又は読み出し専用メモリ(「ROM」)又は他の種類のコンピュータ可読メモリ等の任意の種類のストレージ装置又はコンピュータ可読媒体であってよい。メモリ130は、オペレーティングシステム132を含むプロセッサ120により実行される命令を記憶する。命令は、以下に詳細に開示されるように、プロセッサ120により実行されたときに、触覚効果を提供するアクチュエータシステム150及びアクチュエータ152に対する駆動コマンドを生成する命令である触覚効果命令も含む。メモリ130は、プロセッサ120の内部又は内部及び外部メモリに配置されてもよい。
【0022】
プロセッサ120は、コマンド及び制御信号をアクチュエータシステム150へ出力し、これは、所望の触覚効果を生じるために、アクチュエータ152に、要求される電流及び電圧(例えば、“モータ信号”)を供給する電子部品及び回路を含む。前述されたように、システム100は、1以上のアクチュエータ152を含んでもよく、各アクチュエータは、プロセッサ120と全てが接続される別々の駆動回路(図示せず)を含んでもよい。
【0023】
システム100は、フレキシブルディスプレイ装置110とのインタラクションを検知するための、センサ160のような各種センサを含んでもよい。センサ160は、なかでもこれに含まれるのは、インタラクション(相互作用)中の変形の大きさを測るための歪ゲージセンサ、フレキシブルディスプレイデバイス構造に加えられる力/ストレスを測るための力検知抵抗(“FSR:force sensing resistor”)センサ、タッチ可能なディスプレイ上の単一又は複数のタッチの位置を検知するためのマルチタッチのタッチ・センサ、各タッチ位置下に加えられる圧力を測るためのマルチタッチ圧力センサ、環境条件を捉えるための温度/湿度/気圧センサ、デバイスの動き、速度、加速度、向きを特徴づけるための加速度計/ジャイロスコープ/磁力計、ユーザの音声コマンド又は環境オーディオ情報を捉えるためのマイクロフォン、及び他のデバイスから/へ情報をワイヤレスで受信/送信するためのワイヤレス・トランスミッタである。センサ160に対応するデータは、プロセッサ120又はシステム100内の別のプロセッサへ送信され、プロセッサ120は、センサデータを解釈し、それに応じて触覚効果信号、データストリーム170を通じたフィードバック、オーディオ応答、及びフレキシブルディスプレイスクリーン112上の視覚イメージを生成しうる。
【0024】
上述のハプティック出力デバイスに加え、システム100は、他の様々なアクチュエータを備えてもよく、それには柔軟であるか、半剛性か、又は剛性アクチュエータが含まれ、それにはスマート流体アクチュエータ、流動性流体アクチュエータ、マクロ・ファイバー・コンポジット(“MFC:Macro−Fiber Composite”)アクチュエータ、形状記憶合金(“SMA:Shape Memory Alloy”)アクチュエータ、圧電アクチュエータ、及びマイクロ・エレクトロ・メカニカル・システム(“MEMS:Micro−Electro−Mechanical System”)アクチュエータが含まれる。
【0025】
システム100は、例えば携帯電話、パーソナルデジタルアシスタント(「PDA」)、スマートフォン、タブレット型コンピュータ、ゲーム機、乗り物ベースのインターフェースのようなハンドヘルドデバイスであってもよく、又は、1つ以上のアクチュエータを備える触覚効果システムを備える任意の他の種類のフレキシブル装置であってよい。ユーザインターフェースは、タッチ検知面であってもよく、又はマイクロフォン、カメラ等のような他の種類のユーザインターフェースでありうる。1よりも多いアクチュエータを有する実施形態では、回転機能を有する各アクチュエータは、装置上で広範囲な触覚効果を生成するために異なる回転機能を有し、例えば、各アクチュエータは、個々に制御されることができ、又は一部の回転アクチュエータは、他の回転アクチュエータの回転の軸に対する角度でそれらの回転の軸を有する。同様に、他の機能を有する複数のアクチュエータを有する実施形態では、各アクチュエータは、装置上で広範囲な触覚効果を示すために個々に制御されうる。例えば、複数のアクチュエータは、それぞれが異なる速度及び変形の度合いで、フレキシブルディスプレイ装置110の4つのコーナーのそれぞれを独立して変形するために用いられうる。
【0026】
一般的にフレキシブルディスプレイは、情報を伝えるための追加の方法として変形の利点を得ることにより、広範囲な新規なインタラクションを可能にする。しかし、フレキシブルディスプレイによる変形インタラクションから得られる均一/連続フィードバックは、非デジタル空間から物理インタラクションをデジタルに生じるイベントに関する直観メタファーを提供しなくてもよい。すなわち、ユーザは、典型的には、実物の本、雑誌、及び他の物体とは対照的に、電話及びタブレットサイズの小さく平坦な物体と非デジタル空間にインタラクトしない。実施形態は、触覚通信チャネルを通じてユーザにデジタル環境についてのユーザインタラクション及び追加情報を強いるシステムを提供する。実施形態は、ユーザインターフェース設計空間を拡張子、フレキシブルディスプレイでのインタラクション体験を促進し、より直感的かつ自然な変形ベースのジェスチャを表現する。また、実施形態は、触覚の形態でのデジタルワールドについての情報を変換及び伝達するための効果的な手法を提供する。
【0027】
単一の表面ディスプレイよりも、フレキシブルディスプレイ装置は、三軸で同時に、広範囲なユーザ体験を提供しうる。実施形態では、フレキシブルディスプレイは、イベントが予測されるときにユーザから離れて折れ曲がり、イベントが生じたときに開放又は外側へ折り曲げられる。例えば、ボールを野球用バットで叩こうとしている人のビデオを観る際に、フレキシブルディスプレイは、野球用バットが後ろに動くと内側に折れ曲がり、ボールに対して人がスイングすると外側に折れ曲がる。別の実施形態では、変形効果は、サプライズイベントをマークするために用いられうる。例えば、タブレットは、映画の主人公が突風で紙切れを不意に失ったときに不意に外側に折れ曲がり、曲がらない状態への遷移が知覚されないように、曲がらない状態へゆっくりと戻る。
【0028】
実施形態では、フレキシブルディスプレイは、オンスクリーンで生じる特定のイベントを強調するために折れ曲がる。例えば、爆発は、装置の激しい動きを生じる一方で、水に落ちる小石は、フレキシブルディスプレイの小さなさざなみを生じる。また、スクリーンの折れ曲がりは、閲覧者が彼らの注意を惹くべき場所を反映する。フレキシブルスクリーン112を有するフレキシブルディスプレイ装置110は、対象物体が前景にあるときに外側に折れ曲がり、対象物体が背景にあるときに内側に折れ曲がる。
【0029】
フレキシブルスクリーン112の変形は、閲覧者へ向かってくる物体を強調すること等の三次元ムービーで頻繁に生じる効果をシミュレートする。例えば、フレキシブルディスプレイ装置110は、ボールが閲覧者へ向かって飛んで来ると外側に折れ曲がる。
【0030】
更に、フレキシブルディスプレイ装置110の折れ曲がりは、フレキシブルスクリーン112で表示されるビデオのズーム又はフォーカスでの変化に従う。例えば、カメラがズームアウトすると、ディスプレイは、外側にゆっくりと折れ曲がる。これは、めまいの効果(エフェクト)と同様の応答を生成するために用いられる可能性がある。めまいのエフェクトは、カメラレンズが対象にズームしたときに生成され、カメラ自体が物体から物理的に離れる又はその逆である。この動きは、画像合成を変更せずにレンズの焦点距離を効果的に変更し、ここで、前景画像は、互いに相対的なサイズに変化するように見える。
【0031】
フレキシブルディスプレイ装置110の折り曲げ及び変形は、ユーザが、例えばムービーのようなオーディオ/視覚セグメントをより激しい体験で観ることを可能にする。例えば、アリスは、フレキシブルタブレットでアクション映画を観ている。彼女は、登場人物がパンチをしようとしているときにタブレットが後退することを感じ、登場人物がパンチをすると不意にバネが戻ることを感じる。彼女は、車が爆発したとき、タブレットが前後に折れ曲がることを感じる。グレネードがカメラに投げられたとき、彼女は、タブレットが彼女に向かって突き出ることを感じる。全体として、アリスは、触覚効果なしで体験するよりも映画の観覧のより強調された体験を受ける。
【0032】
図2は、本発明の実施形態に係るフレキシブル装置の変形の様々な形態の図である。本明細書でのフレキシブル装置への言及は、フレキシブルスクリーンも含むフレキシブル装置への言及も含む。ここで、フレキシブル装置200は、Y軸上での長さがY1、X軸上での深さがX1、及びZ軸上での高さがZ1である初期の変形していない状態S
0で示される。
【0033】
フレキシブル装置200は、フレキシブル装置200内のメモリに予めロードされている又は
図1に示されるようなデータストリームを介して受信される触覚命令を実行する際に、単一の軸に沿って変形するように命令される。例えば、フレキシブル装置200は、初期長さY1から増加した幅Y2である状態S
1で示される。フレキシブル装置がY軸に沿った変形を示しているが、このような変形は、いずれかの軸に沿ってなされうる。フレキシブル装置200の状態S
2は、2つの軸に沿った変形を示す。この例では、幅Y2は、初期の幅Y1よりも大きくなっており、フレキシブル装置200の深さは、X1からX2に増加している。同様にして、状態S
3は、Y2が初期Y1から増加し、X2が初期X1よりも増加し、高さZ2が初期高さZ1よりも増加している三軸全てでの変形を示す。これらの変形は“増加”として全て示されるが、変形は、サイズが減少してもよく、増加及び減少の両方の組み合わせてもあってもよい。
図2は、いずれかの軸での単一の変形のみを示すが、次に説明されるもののように著しく拡張されうる。
【0034】
図3は、本発明の実施形態に係る、フレキシブル装置の軸における複数のアクチュエータを用いる変形の様々な形態の図である。システム300は、アクチュエータ315及び320によって変形される変形可能な外側シェル310及び325を含む。更に、実施形態では、外側シェル310及び325は、命令の触覚トラックにより駆動されるフレキシブル装置が、無限の形状変化を取ることを可能にするために、310a−e及び325a−eとして示される複数のセクションを含む。外側シェル310及び325は、アクチュエータ315及び320と共に、フレキシブルディスプレイ装置が三軸全てで変形することを可能にするために、x軸、y軸及びz軸に沿って再生成されうる。
【0035】
図4Aは、セクション410a−eに亘る折り曲げ動作を用いてフレキシブル装置を変形するために用いられるアクチュエータ415a−eの図である。この図に示されるアクチュエータは、例示のためのみによるものであり、複数の他の種類のアクチュエータは、フレキシブル装置を折り曲げて変形するために用いられる。更に、複数のセクチョンが
図4Aに示されているが、用いられるアクチュエータシステムの種類に応じて、フレキシブル装置は、単一の変形しやすいフレーム又はフォームからなる。
【0036】
図4Bは、実施形態に係る、波又はさざなみ折り曲げエフェクトを生成するために、フレキシブル装置のセクション420a−gを折り曲げるアクチュエータ425a−gの図である。
図4Bは、静的な形状又は単一時点の図を示す。例えば、触覚トラックがさざなみの感覚、例えば、池に落ちる小石のような感覚を伝えるようとする場合、
図4Bは、フレキシブル装置の一方端から他方端へ1以上のさざなみを移動したときの単一のスナップショットである。このような感覚は、実施形態に係る、フレキシブル装置430により
図4Cに更に示される。
【0037】
図5は、実施形態に係る、フレキシブルディスプレイ装置上の同期された変形イベントを生成するために、オーディオ入力データストリームから触覚トラックから生成する処理500を示す。処理500は、オーディオ入力トラック505を含み、この例では、オーディオイベント510、515及び520を示し、x軸で時間及びy軸で振幅を示してグラフ化されている。イベント510、515及び520は、任意の種類の音でありうる。この例では、期間Δt
1中に生成された音はなく、よって、この期間中に生成された対応する触覚イベントはない。しかし、期間Δt
2では、短い爆発の音510が存在する。よって、短い触覚効果525は、期間Δt
2中にフレキシブル装置で生成される。触覚効果は、フレキシブル装置の、折り曲げを含むいくつかの種類の変形でありうる。期間Δt
3は、音入力のない別の期間であり、よって、再び触覚効果が生成されない。期間Δt
4は、長い持続期間のオーディオイベント515を含み、よって、生成された対応触覚効果530は、期間Δt
2の効果よりも長い持続期間を有する。触覚効果の種類及び実際の持続期間の選択は、
図1のシステム100で説明された適切な触覚命令をプログラムする触覚効果デザイナーによりなされる。
【0038】
処理500は、期間Δt
5での別の静かな間隔が続く。しかし、期間Δt
6は、この例で最も長いオーディオ区間であるオーディオイベント520を含む。この期間中に、触覚効果535は、フレキシブル装置で生成される。例えば、オーディオイベント520が一連のゴトゴト音(a series of rumbles)である場合、対応する触覚効果は、535に示されるようなフレキシブル装置において処理する一連のさざなみとなりうる。
【0039】
オーディオ出力トラックではなく、
図6は、実施形態に係る、処理600での入力としてビデオシーケンスを示す。処理600は、なめらかな水塊を叩く水滴、複数のさざなみの生成、及び上へ伝わる2つの小さな液滴を示す11個のフレーム(F1−F11)を示す。処理600は、
図5に示されたように、オーディオトラックも含みうる。前述されたように、取り得る触覚トラックは、要素610のフレキシブルディスプレイ装置により示されるような、例えばフレームF
1及びF
2で、イベントが予測されるときにユーザから離れるフレキシブルディスプレイ装置を有することを含んでもよい。そして、イベントが生じたとき、例えば、要素620でのフレキシブルディスプレイ装置620により示されるようなフレームF
3及びF
4において液滴が水を叩いたとき、外側に折り曲げる。次のシーケンスは、要素630で示されるようなフレキシブルディスプレイ装置に亘ってシミュレートされるフレームF
5からF
11での水におけるさざなみのセットである。
【0040】
図7は、実施形態に係る、データストリームを受信すること、データストリームを分析すること、コンテンツを抽出すること、及びコマンドを生成し、アクチュエータを制御し、触覚効果を生成するために命令を同期実行することを含む方法700を示すフローチャートである。一部の実施形態では、
図7のフローチャートの機能は、メモリ又は他のコンピュータ可読又は有形媒体に記憶されたソフトウェアにより実行され、プロセッサにより実行される。別の実施形態では、当該機能は、(特定用途向け集積回路(“ASIC”)、プログラマブルゲートアレイ(“PGA”)、フィールドプログラマブルゲートアレイ(“FPGA”)等の使用を通じて)ハードウェアにより実行されてもよく、ハードウェア及びソフトウェアの組み合わせにより、実行されてもよい。
【0041】
705において、アプリケーションは、フレキシブル装置上で起動される。当該アプリケーションは、フレキシブルディスプレイ装置110を含むフレキシブル装置上で動作するソフトウェアプログラムでありうる。当該アプリケーションは、フレキシブルディスプレイ装置110上で触覚フィードバックを提供する環境に特化して作動するように構成されうる。710において、フレキシブルディスプレイ装置110は、データストリーム170を受信する。データストリーム170は、典型的には、オーディオコンテンツ又はオーディオ/視覚コンテンツを含み、触覚効果命令134を含む触覚トラックも含む。当該コンテンツは、聴覚障害者のユーザをサポートする字幕付き(クローズドキャプション)トラックも含みうる。データストリーム170は、プロセッサ動作命令、オペレーティングシステムアップグレード、及び他の関連するソフトウェア及びプロセッサ120についてのアップデートを伝えるためのソースでもある。
【0042】
715において、プロセッサ120は、データストリーム170のコンテンツを判定する。プロセッサ120は、データストリーム170が、表示されるビデオコンテンツ及び/又は再生されるオーディオコンテンツを含むかどうか判定するためにデータストリーム170を分析する。プロセッサ120は、受信されたコンテンツに関する対応する触覚効果命令があるかどうかを判定するためにデータストリーム170も分析する。これらの命令は、アクチュエータシステム150を制御し、アクチュエータシステム150は、フレキシブルディスプレイ装置110により再生されるオーディオ又はオーディオ/視覚コンテンツに対応するアクチュエータ152を用いて所望の触覚効果を生成する。例えば、触覚効果134は、アクチュエータ152をフレキシブルディスプレイ装置110の画面上の爆発の表示に関連して振動させるアクチュエータシステム150へのコマンドをプロセッサ120に生成するように指示する。別の例では、触覚効果命令134は、プロセッサ120、アクチュエータシステム150及びアクチュエータ152が、フレキシブルディスプレイ装置110で様々に折り曲げさせ、なめらかな池の面を水滴が叩くときにさざなみエフェクトをシミュレートする。
【0043】
触覚効果命令134は、触覚ソフトウェア設計ツールを用いてデータストリーム170の送信前にデザイナーによりオーサリングされうる。デザイナーは、フレキシブルディスプレイ装置に送信されるオーディオ及び/又はオーディオ‐視覚コンテンツを組み込むために、所望の触覚イベントの種類について決定する。所望の触覚イベントの種類についてこれらの決定をする際に、デザイナーは、典型的には触覚トラックと呼ばれる触覚効果の“スクリプト”を開発する。触覚トラックは、1以上の触覚アクチュエータに対する駆動コマンドを含みうる。振動アクチュエータ、押し込みアクチュエータ及び変形可能なシステムアクチュエータを含む、フレキシブルディスプレイ装置に構成されうる多くの種類のアクチュエータが存在する。
【0044】
触覚トラックは、対応するコンテンツが選択及び表示されるまで、プロセッサ120のメモリに記憶されうるフレキシブルディスプレイ装置110へ送信される。触覚トラックは、触覚効果が適切な時間に生成されるようにコンテンツと同期される。触覚トラックは、また、触覚効果が適切な時間に生成され、フレキシブルディスプレイ装置上の表示コンテンツに対応することを確実にするタイムスタンプマーカーを含んでもよい。
【0045】
スクラッチから触覚トラックをオーサリングすることではなく、フレキシブルディスプレイ装置に対する触覚トラックへの基礎として、ハイエンドムービーシアタープラットフォームで用いられるD−BOXシステムのような、以前に生成されている特定の効果を用いることも可能である。例えば、D−Box装備シアターシートでの右への傾きは、フレキシブルディスプレイ装置の左側の上への折り曲げ、及び右側の下への折り曲げに変換されうる。
【0046】
実施形態によれば、プロセッサ120がデータストリーム170を分析し、コンテンツを識別するが、対応する触覚命令を識別できない場合、本方法は、717へ進む。717において、ビデオコンテンツは、プロセッサ120でのコンピュータビジョンソフトウェアを用いて分析される。コンピュータビジョンシステムは、焦点又はズームの変化、フレーム内の際立った物体の深さ、及びフレキシブルディスプレイ装置の変形にマップされうる他の特徴を検出するために用いられうる。この分析は、デザイナーによって更に検証又は編集されうる半自動触覚トラックを生成する。更に、識別されたコンテンツが字幕付きトラックを含む場合、字幕付きトラックは、例えば、触覚命令の生成が適切である位置で、例えば爆発のような言い回し(verbiage)をトリガーするために分析されうる。
【0047】
しかし、プロセッサ120は、また、触覚効果命令を自動的に生成及び実行するために、データストリーム170からのコンテンツを分析しうる。前述されたように、触覚効果命令134は、イベントが予測されるときにフレキシブルディスプレイ装置を折り曲げるために選択され、その後、イベントが生じたときに開放又は外側へ折り曲げられる。これらのイベントは、コンピュータビジョン又はオーディオ分析を用いて、デザイナーによってマークされる又は自動的に検出されうる。特定のイベントに対する触覚効果命令は、また、自動的に生成されうる。例えば、爆発は、オーディオ又はビデオシグネチャー、及び適切な時間マークで実行するために選択された対応する触覚命令により識別されることができる。
【0048】
フレキシブルディスプレイ装置110の折り曲げは、閲覧者が彼らの注意を向けるべき場所を反映するために用いられうる。このアクションがデザイナーによって識別されるが、カメラ焦点、及び後にビデオのシーン内の物体の重要度を分析することにより、に基づいて自動的に近似することができる。コンピュータビジョンシステムは、また、深さ、ズーム又は焦点を早急に変化する閲覧者が彼らの注意を引くべき場所の指示として、物体を認識することができる。触覚トラックのこのような分析及び構築は、プロセッサ120によってリアルタイム又はほぼリアルタイムで実現されうる。更に、処理時間を見越して、システムは、フレキシブルディスプレイスクリーンに表示する前に、ビデオストリームを記憶及び分析するために、バッファを使用する。
【0049】
三次元ムービーに含まれる深さ情報は、同様に用いられうる。717で集められたビデオ情報は、その後、データストリーム170に送信されるコンテンツと関連する触覚トラックをオーサリングするための基礎として用いられうる。
【0050】
実施形態では、オーディオ−ビデオコンテンツを再生しているときに、センサを備えるフレキシブルディスプレイ装置110を直接操作することにより、触覚トラックは、デザイナーによりオーサリングされうる。例えば、爆発エフェクトを生成するために、デザイナーは、ビデオが閲覧されるときにディスプレイを迅速に前後に折り曲げさせる。
【0051】
本方法は、実施形態によれば、視覚及び/又はオーディオ−視覚コンテンツがフレキシブルディスプレイ装置110に表示される720へ続く。オーディオコンテンツのみが存在する場合、当該コンテンツは、また、フレキシブルディスプレイ装置により再生されうる。725へ続き、プロセッサ120は、以前に識別された触覚トラックを実行して、アクチュエータシステム150への駆動コマンドを生成し、アクチュエータ152を制御し、所望の触覚効果を生成する。プロセッサ120は、前述されたように、表示されるコンテンツと同期して触覚トラックを実行し、フレキシブルディスプレイ装置110のユーザは、適切な時間に、かつフレキシブルディスプレイ装置110のスクリーン上に表示される画像と同期して、触覚効果を感じる。
【0052】
最後に、730において、触覚トラックの触覚効果命令が実行されると、プロセッサ120及びアクチュエータシステム150は、触覚効果命令134により指示されるようなフレキシブルディスプレイ装置110を変形するために、アクチュエータ152への適切な信号を生成する。
【0053】
本明細書を通じて説明された本発明の構成、構造又は特徴は、1以上の実施形態で適切に組み合わせられてもよい。例えば、“一実施形態”、“一部の実施形態”、“特定の実施形態”又は他の同様の文言の使用は、本明細書を通じて、実施形態に関連して説明される特定の構成、構造又は特徴が本発明の少なくとも1つの実施形態に含まれてもよいことを示す。よって、用語“一実施形態”、“一部の実施形態”、“特定の実施形態”又は他の同様の文言の出現は、本明細書を通じて、同一群の実施形態を全て示す必要はなく、説明された構成、構造又は特徴は、1以上の実施形態で適切に組み合わせられてもよい。
【0054】
上述された本発明は、異なる順序のステップで、及び/又は開示されたものとは異なる構成における要素で実施されてもよいことを当業者は明示的に理解するであろう。よって、本発明は、これらの好ましい実施形態に基づいて記載されているが、本発明の趣旨及び範囲内に維持しつつ、特定の変更、変形及び代替解釈が明らかであることが当業者にとって明らかである。したがって、本発明の境界を決定するために、添付の特許請求の範囲が参照されるべきである。