(58)【調査した分野】(Int.Cl.,DB名)
前記動きに基づくジェスチャは、前記ユーザ機器の左方チルト、右方チルト、前方チルト、後方チルト、ツイストおよびシェイクのうちの1つまたは複数の組み合わせを含む、
請求項1に記載のインタラクティブ・コンピュータ・システム。
前記コントローラは、前記インタラクティブ・アプリケーションに対して、アイテムの購入、デジタル・ショッピング・カートもしくは欲しい物リストへのアイテムの追加、アイテムへの応札、取引の完了、電話の送信、SMSの送信、他のアプリケーションの起動、他の機器との通信、または、他のアプリケーションの機能の呼び出しを実行させるように構成される、
請求項1に記載のインタラクティブ・コンピュータ・システム。
前記コントローラは、前記メディア・プレーヤが、前記ユーザ機器上の全画面でメディアを再生している間、前記ユーザ機器の前記インタラクティブ・アプリケーションを制御するように構成される、
請求項1に記載のインタラクティブ・コンピュータ・システム。
インタラクティブ・アプリケーションの制御は、前記動きに基づくジェスチャが受け取られたタイミング、または、前記ジェスチャが受け取られたときにおける前記インタラクティブ・コンピュータ・システムの状態に応じて、動的に規定される、
請求項14に記載のインタラクティブ・コンピュータ・システム。
【発明を実施するための形態】
【0041】
当業者が本発明を実施するのに十分な情報を与える以下の詳細な説明によって、本発明の好適な特徴、実施形態、および変形例を識別可能である。詳細な説明は、上述の発明の概要の範囲を制限するものと見なされるべきではない。
【0042】
図1は、本発明の一実施形態に係る、インタラクティブ・メディア表示機器100のブロック図である。以下により詳しく論じる通り、このインタラクティブ・メディア表示機器100によれば、ユーザは、機器100の動きを介して、メディアの表示を制御することができる。機器100を持つのと同じ手でチルトあるいは機器100への動きに基づく入力が可能となるため、表示されたメディアを片手で操作可能であり、便利である。
【0043】
インタラクティブ・メディア表示機器100は、プロセッサ105と、プロセッサ105に結合され、ビデオをユーザに表示するディスプレイ(表示画面)110と、プロセッサ105に結合され、機器100の動き情報を受け取る動きセンサ115とを備える。
【0044】
動きセンサ115は、一体的な使用によって動きに基づく入力を決定する加速度計およびジャイロスコープを備えていても良い。ただし、この代替または追加として、動きに基づく入力は、コンパス、カメラ、位置決めセンサ(GPSもしくはRF位置決め技術等)、または高度、回転速度、加速度等の機器100の動きを決定するのに使用可能なその他任意の入力に応じて決定されるようになっていても良い。別の実施形態においては、ユーザ機器に一体化または取り付けられたカメラにより識別されるユーザ位置の変化を観測することによって、動きに基づくコマンドが生成される。
【0045】
インタラクティブ・メディア表示機器100は、プロセッサ105に結合されたメモリ120を具備する。メモリ120は、機器100に表示するメディアを記憶するメディア記憶コンポーネント120c、記憶されたメディアを復号するメディア復号命令120a、およびメディア復号命令120aを用いて記憶されたメディアの表示を制御するメディア制御命令120bを具備する。
【0046】
使用時は、メディア制御命令120bの制御下で、メディア記憶コンポーネント120cのメディアがメディア復号命令120aにより復号され、表示画面110に表示される。そして、動きセンサ115からのデータを用いることにより、メディア制御命令120bによって、表示中の機器100の動きが監視・検出される。そして、この動きの使用により、メディアの表示が制御される。
【0047】
メディア制御命令120bは、単一のメディア・ファイル中の移動によって、当該メディア・ファイルの表示を制御するように構成されていても良い。特に、動きセンサ115からのデータに基づいて、メディア制御命令120bは、メディア・ファイルのタイムラインの点間で、メディア復号命令120aを動的に移動させるようにしても良い。説明の一例として、機器100が(ユーザの視点から)右方にチルトしている場合、メディア制御命令120bは、メディア・ファイルのタイムライン上で、復号命令120aを予め定められた量だけ前方にジャンプさせるようにしても良い。
【0048】
同様に、メディア制御命令120bは、メディア・ファイルの代替コンテンツ間で、復号命令120aを動的に切り替えさせるようにしても良い。説明の一例として、機器100が軽くシェイクされている場合、メディア制御命令120bは、メディア・ファイルの異なる言語トラック等、メディア・ファイルの代替メディア間で、復号命令120aを切り替えさせるようにしても良い。
【0049】
あるいは、メディア制御命令120bは、機器100の動きに基づいて、メディア・ファイル間の移動により、複数のメディア・ファイルの再生を制御するように構成されていても良い。説明の一例として、機器100が(ユーザの視点から)右方にチルトしている場合、メディア制御命令120bは、予め定められた一連のメディア・ファイル内で、復号命令120aを次のメディア・ファイルに移動させるようにしても良い。
【0050】
特定の実施形態によれば、機器100は、種々のメディア間を移動するように構成されていても良い。例えば、機器100は、動きに基づく入力によって、動画と静止画との間を移動するように構成されていても良い。これは、ビデオ中に示されたアイテムに関する別の情報が欲しい場合に特に都合が良く、ショッピングおよび広告の使用事例にふさわしいと考えられる。
【0051】
メディア・ファイルは、機器100(例えば、メディア記憶コンポーネント120c)にローカルで記憶されるようになっていても良いし、オン・デマンドでダウンロードまたはストリーミングされるようになっていても良い。このため、「クラウド」(すなわち、リモート)にメディアが記憶され、必要に応じて更新されるようになっていても良い。これは、広告等のメディア・ファイルを定期的に更新することが望ましい場合または短期プロモーションが行われている場合に、機器100上での更新を何ら要さないため、特に都合が良い。
【0052】
機器100は、タッチ・スクリーンもしくはキーボード等の従来の入力、または、動きに基づく入力が可能であっても良い。場合により、従来の入力および動きに基づく入力は、相互排他的である。このため、従来の入力は、動きに基づく入力が用いられる場合に限られていても良い(例えば、機器100のタッチ・スクリーンが無効化されるようになっていても良い)。これは、動きに基づく入力に際して、ユーザが意図せず従来の入力を行ってしまう可能性がある場合に特に都合が良い。
【0053】
インタラクティブ・メディア表示機器100としては、スマートフォン、タブレット、または、その他任意の適当な携帯コンピュータ機器が挙げられる。
【0054】
図2Aおよび
図2Bは、使用中のインタラクティブ・メディア表示機器100の正面図である。図示のように、インタラクティブ・メディア表示機器100は、一般的に携帯型であり、片手もしくは両手での保持または保持フレームへの載置による容易な視聴を目的として具体的に設計されていても良く、表示画面110を含む実質的に平らな前面205を備える。
【0055】
図2Aに示すように、表示機器100には、第1のビデオ210aがまず表示される。そして、チルト矢印215で示すとともに以下により詳しく説明する通り、ユーザは、第1のビデオ210aの再生の途中で、(ユーザの視点から)右方に機器100をチルトさせる。
【0056】
機器100のチルトの検出(動きセンサ115およびメディア制御命令120bによる)に応答して、
図2Bに関して示すように、第2のビデオ210bが機器100に表示される。
【0057】
当業者には当然のことながら、機器100をさらにチルトさせることによって、第3のビデオ(図示せず)に移動したり、第1のビデオ210aに戻ったりするようになっていても良い。
【0058】
図3A〜
図3Fは、機器100の複数の予め定められた動き300a〜300fを示している。動き300a〜300fは、ジェスチャとも称するが、これによって、ユーザは、上述の通り、機器100とインタラクションすることができる。
【0059】
図3Aは、通常の再生モード300aを示しており、機器100は真っ直ぐに保持されてほとんど動きはない。
【0060】
図3Bおよび
図3Cはそれぞれ、機器100の左方チルト300bおよび右方チルト300cを示している。左方チルト300bの場合は、機器100の上部がユーザの視点から左方にチルトする。右方チルト300cの場合は、機器100の上部がユーザの視点から右方にチルトする。
【0061】
図3Dおよび
図3Eはそれぞれ、前方チルト300dおよび後方チルト300eを示している。前方チルト300dの場合は、機器100の上部がユーザの目から離れる方向にチルトし、後方チルト300eの場合は、機器100の上部がユーザの目に近づく方向にチルトする。
【0062】
最後に、
図3Fは、シェイク300fを示しており、ユーザは、短時間だけ機器100を左右もしくは上下に振るか、または、垂直軸もしくは対角軸と交わるように捩る。
【0063】
機器100には、ダブル・チルト(左方チルト後に素早くもう一度左方チルトする場合等)、ロング・チルト、スロー・チルト、ハード・シェイク、ロング・シェイク、ツイスト、スラップ、ファースト・スラップ、および急停止となる動き等、他の動きが規定されていても良い。さらに、上記チルトは、小さな左方チルト(例えば、30°以下のチルト)、中間の左方チルト(例えば、30°〜45°のチルト)、および大きな左方チルト(例えば、45°以上のチルト)といった多数のサブチルトに分割されるようになっていても良い。同様に、動きは、保持されても良いし(例えば、機器がチルトして保持される)、保持されなくても良い(例えば、機器がチルトした後に元の位置に戻る)。
【0064】
さらに、ユーザは、左方、右方、上方、もしくは下方スワイプ、ピンチもしくはエキスパンド、タップ、またはダブル・タップを含むタッチ・スクリーン・ジェスチャ等の非動きに基づくジェスチャを用いて機器100に入力を与えるようにしても良い。これは、入力としての機器100の動きがユーザにとって適当または便利ではない環境にユーザがいる場合に特に有用である。
【0065】
特定の実施形態によれば、機器100は、利用可能なジェスチャを示すアイコンがユーザに提示されるオーバービュー・モードを含む。例えば、画面のタップによって、機器100がオーバービュー・モードに入るようになっていても良いし、オーバービュー・モードから出るようになっていても良い。これは、メディア制御命令120bに記載されたビデオの異なる設定によって、異なるジェスチャが利用可能な場合に特に都合が良い。また、テーブル等の表面に機器が平らに横たえられた状態での動きも可能である。
【0066】
特定の実施形態によれば、動きすなわちジェスチャ300a〜300fは、絶対的に規定されていても良い。例えば、通常の再生モード300aは、通常の重力に関して実質的に真っ直ぐなものとして規定されていても良い。あるいは、動きすなわちジェスチャ300a〜300fは、相対的に規定されていても良い。例えば、左方チルト300bは、それ以前の位置に対する機器100の左方へのチルトにより規定されていても良い。相対的な動きすなわちジェスチャによれば、ユーザは、例えば横たえた状態または再生中に機器100が真っ直ぐではない位置に保持されるその他任意の状況等、さまざまな位置で機器100を使用することができる。
【0067】
図4は、タイムライン405に従ったユーザと機器100とのインタラクションおよび機器100上の対応するビデオ410の再生のシーケンス
図400である。ビデオ410は、1、2、3等の番号が付けられた複数の順次セグメント410aを含んでおり、ユーザは、機器100とのインタラクションによって、セグメント410a間を移動することができる。
【0068】
最初すなわちタイムライン405上の時間0(405a)において、ユーザは、機器100を通常の再生モード300aに保持する。結果として、ビデオ410は、通常の再生が行われる。すなわち、ビデオ・セグメント0、1、および2が時間0、1、および2にそれぞれ再生される。
【0069】
タイムライン405上の時間3(405b)において、ユーザは、機器100の左方チルト300bを実行する。結果として、機器100は、ビデオ410の2つのセグメント410a分だけ前方にジャンプし、(チルトがなければ表示されていたビデオ・セグメント3および4ではなく)ビデオ・セグメント1および2を時間3および4にそれぞれ再生する。ユーザは、割り込み後にビデオ410の一部を再度視聴したい場合にこの機能を選定するようにしても良い。
【0070】
タイムライン405上の時間5(405c)において、ユーザは、機器100の右方チルト300cを実行する。結果として、機器100は、ビデオ410の2つのセグメント410a分だけ後方にジャンプし、(チルトがなければ表示されていたビデオ・セグメント3および4ではなく)ビデオ・セグメント5および6を時間5および6にそれぞれ再生する。
【0071】
セグメント410aは、5秒または10秒等、任意適当な長さであっても良い。さらに、セグメント410aは、均一サイズである必要がない。例えば、各セグメント410aは、ビデオのシーンを規定し、シーンがビデオのコンテンツにより規定されていても良い。この情報は、メディア制御命令120bにおいて記述される。
【0072】
ビデオ410は、ISOに基づくメディア・ファイル・フォーマット、MPEG−4ファイル・フォーマットに応じたファイル等、従来のビデオ・ファイルを含んでいても良く、また、オーディオおよびビデオの両者を含んでいても良い。
【0073】
図5は、タイムライン505に従ったユーザと機器100とのインタラクションおよび機器100上の対応するビデオ・ファイル510a、510b、510cの再生のシーケンス
図500である。ビデオ510a、510b、510cは、
図4のセグメント410aに類似する複数の順次セグメント510を含んでおり、ユーザは、機器100とのインタラクションによって、ビデオ510a、510b、510c間を移動することができる。
【0074】
最初すなわちタイムライン505上の時間0(505a)において、ユーザは、機器100を通常の再生モード300aに保持する。結果として、1番目のビデオ510aが最初に再生される。
【0075】
タイムライン505上の時間3(505b)において、ユーザは、機器100の左方チルト300bを実行する。結果として、機器100は、2番目のビデオ510bにジャンプし、時間3を起点として2番目のビデオ510bからセグメント510を再生し始める。2番目のビデオ510bは一般的に、左方チルト300bと暗示的または明示的に関連付けられている。
【0076】
タイムライン505上の時間5(505c)において、ユーザは、機器100の右方チルト300cを実行する。結果として、機器100は、3番目のビデオ510cにジャンプし、時間5を起点として3番目のビデオ510cからセグメント510を再生し始める。3番目のビデオ510cは一般的に、右方チルト300cと暗示的または明示的に関連付けられている。
【0077】
ビデオ510a、510b、510cは、メディア制御ファイルを用いて、動きすなわちジェスチャ300a〜300fと関連付けられていても良い。このような場合、メディア制御ファイルは、インタラクションごとに再生されるビデオ510a、510b、510cを規定していても良い。すなわち、ユーザの動き等のジェスチャに対する機器100の応答の仕方を規定していても良い。
【0078】
上記のような場合、メディア制御命令は、メディア制御ファイル中に存在していても良く、また、JSON(JavaScript Object Notation)符号化テキスト・ファイルを含んでいても良い。メディア制御ファイルおよびビデオ・ファイル510a、510b、510cは、可能性としてファイルのコンテンツの種類を示すカスタムのファイル拡張子を付けたアーカイブ・ファイルにパッケージングされて圧縮されるようになっていても良い。アーカイブ・ファイルは、ファイルを圧縮してファイル・サイズを低減できるのみならず、ビデオ510a、510b、510cおよびメディア制御ファイルを配信するのに便利な方法すなわち単一ファイルでの提供を可能にする点においても都合が良い。
【0079】
特定の実施形態によれば、メディア制御ファイルは、プレーヤが最初に再生する「ホーム・クリップ」とも称する単一の既定ビデオのほか、左方チルト300b、右方チルト300c、前方チルト300d、後方チルト300e、およびシェイク300fという5つのジェスチャそれぞれと関連付けられたその他最大5つのクリップを規定する。ジェスチャが行われると、プレーヤは、関連するクリップを即座に再生し、それが終わってからホーム・クリップに戻る。
【0080】
別の実施形態によれば、メディア制御ファイルは、(例えば、ユニバーサル・リソース・ロケータ(URL)によって)ビデオ・ファイルの外部位置を参照していても良い。このため、ビデオ・ファイルは、コンテンツの共有に必要な帯域幅が低減することのないように、メディア制御ファイルと併せて送信する必要はない。
例示として、メディア制御ファイルの構文は、以下のように記述されていても良い。
{
"name": "Ice",
"description": "Ice drift + fire",
"created": "2015-04-27 19:34:23",
"modified": "2015-04-28 12:12:56",
"start": "intro",
"clips": [
{
"id": "intro",
"filename": "intro.mp4",
"end": "play",
"play": "spin-loop"
},
{
"id": "spin-loop",
"filename": "spin-loop.mp4",
"end": "loop",
"gestures": {
"forward": "spin-go-forward",
"back": "bye",
"left": "spin-fix",
"right": "spin-sitting",
"shake": "spin-up-shake"
}
},
{
"id": "bye",
"filename": "bye.mp4",
"end": "play",
"play": "spin-loop",
"mute": true,
"vibrate": true
},
{
"id": "spin-fix",
"filename": "spin-fix.mp4",
"end": "play",
"play": "spin-loop"
},
{
"id": "spin-sitting",
"filename": "spin-sitting.mp4",
"end": "play",
"play": "spin-loop"
},
{
"id": "spin-up-shake",
"filename": "spin-up-shake.mp4",
"end": "play",
"play": "spin-loop"
},
{
"id": "spin-go-forward",
"filename": "spin-go-forward.mp4",
"end": "play",
"play": "quad-loop"
},
{
"id": "quad-loop",
"filename": "quad-loop.mp4",
"end": "loop",
"gestures": {
"forward": "quad-overtake-forward",
"back": "quad-rear-back",
"left": "view-high",
"right": "view-boom",
"shake": "moto-loop"
}
},
{
"id": "quad-overtake-forward",
"filename": "quad-overtake-forward.mp4",
"end": "play",
"play": "quad-loop",
},
{
"id": "quad-rear-back",
"filename": "quad-rear-back.mp4",
"end": "play",
"play": "quad-loop"
},
{
"id": "view-high",
"filename": "view-high.mp4",
"end": "play",
"play": "quad-loop"
},
{
"id": "view-boom",
"filename": "view-boom.mp4",
"end": "play",
"play": "quad-loop"
},
{
"id": "moto-loop",
"filename": "moto-loop.mp4",
"end": "loop",
"gestures": {
"forward": "outro",
"back": "moto-rear",
"left": "moto-left",
"right": "moto-right",
"shake": "quad-loop"
}
},
{
"id": "moto-rear",
"filename": "moto-rear.mp4",
"end": "play",
"play": "moto-loop"
},
{
"id": "moto-left",
"filename": "moto-left.mp4",
"end": "play",
"play": "moto-loop"
},
{
"id": "moto-right",
"filename": "moto-right.mp4",
"end": "play",
"play": "moto-loop"
},
{
"id": "outro",
"filename": "outro.mp4",
"end": "finish"
}
]
}
【0081】
特に、各ビデオ・クリップの識別に「id」フィールドが使用され、ファイル名のビデオ・クリップとの関連付けに「filename」フィールドが使用され、クリップの最後に達した際に起こることを「end」フィールドが規定し、「forward」、「back」、「left」、「right」、および「shake」等のジェスチャ・フィールドと併せて、対応するジェスチャの検出に際して再生されるべきビデオ・クリップを「gestures」構造が規定していても良い。
【0082】
上記フィールドのほか、メディア制御ファイルは、メディアの撮影場所または関連する場所等、メディアに関するメタデータをさらに含んでいても良い。これによれば、他のユーザが近くのメディアを見つけたり、特定の場所に関するメディアを検索したり、マップ探索機能を用いて当該メディアを見つけたりすることができる。
【0083】
以下に概説する通り、コンテンツは、機器100に対して職業的に作成されたものであっても良いし、ユーザにより生成されたものであっても良い。
【0084】
図6は、本発明の一実施形態に係る、ビデオ生成システムのコンテンツ生成画面のスクリーンショット600を示している。ビデオ記録システムとしては、スマートフォン、パソコン等が挙げられる。
【0085】
コンテンツ生成画面は、左方チルト300b、右方チルト300c、前方チルト300d、後方チルト300e、およびシェイク300fといったジェスチャならびに静止に対応する複数のジェスチャ・ボタン605を具備する。ジェスチャ・ボタンによれば、ユーザは、ジェスチャを選択して、当該ジェスチャの検出時に復号器に起こることを決定することができる。
【0086】
コンテンツ生成画面は、選択ジェスチャと関連したビデオのユーザによる取り込みを可能にする記録ボタン610を具備する。システムのローカルのストレージ、リモートのシステム、または別の機器から、予め記録されたビデオをユーザが選択できるように、別のボタンが設けられていても良い。これは、システムでカメラが利用できない場合に特に有用である。
【0087】
使用時、ユーザは、異なるジェスチャ・ボタン605間を移動し、関連するジェスチャの一部またはそれぞれとビデオを関連付け、ファイルを保存する。そして、システムは、メディア制御命令120bを自動的に生成し、ビデオ・クリップと併せてアーカイブに記憶することにより、生成コンテンツの共有を簡単にする。
【0088】
他の実施形態においては、高度なコンテンツ生成画面が設けられていても良い。高度なコンテンツ生成画面は、任意数のメディア・クリップまたはファイルの動きジェスチャとのリンクを可能にするものであっても良い。説明の一例として、高度なコンテンツ生成画面は、クリップまたはファイルごとの動きジェスチャの解釈のされ方を規定していても良い。結果として、例えば特定のビデオ・クリップへの移動が他の特定のビデオ・クリップを介してのみ可能な場合に、複雑な動きを提供可能である。
【0089】
特定の実施形態によれば、ビデオ生成システムは、記録しながら監視する加速度計、ジャイロスコープ、コンパス、および/または他の動きセンサを具備する。ジェスチャの検出に際して、システムは、関連するジェスチャ・ボタン605を自動的に選択し、記録を継続して、この継続した記録をジェスチャと関連付けるようにしても良い。
【0090】
特定の実施形態によれば、ビデオ生成システムは、ユーザの記録時の機器の持ち方に基づいて、ビデオ・クリップの接合および編集、および/または他のクリップとの関わり方の決定を自動的に行う。
【0091】
コンテンツ生成画面では、ユーザが画像をキャプチャーし、キャプチャー画像を用いて後続ビデオの位置合わせを補助できるようになっていても良い。このような場合は、キャプチャー画像を取り込み、ビデオに重ねることによって、ユーザがキャプチャーシーン中のアイテム(例えば、人物)をキャプチャー画像(例えば、人物の画像)中のアイテムに対して位置合わせできるようになっていても良い。結果として、ユーザは、始点および終点等、ビデオの重要な点において、記録対象のアイテムが略同じ場所となって位置合わせ可能となるようにすることができる。
【0092】
特定の実施形態によれば、ビデオ生成システムは、クリップを順々に自動記録し、記録したクリップをジェスチャと自動的に関連付けることによって、ハンズフリー記録を可能にする。ユーザは、一連のクリップの予備設定または既定のクリップ・シーケンスの使用を行うようにしても良く、聴覚または視覚的インジケータのユーザへの提供によって、ビデオ記録の開始または終了のタイミングをユーザに知らせるとともに、対応することになるジェスチャを付加的に示すようにしても良い。
【0093】
特定の実施形態によれば、メディアの操作によって、より望ましいメディア間遷移がもたらされるようになっていても良い。説明の一例としては、遷移を跨ってメディア中のアイテムが位置合わせされるようになっていても良く、ビデオの最初および終わり等、メディアのさまざま部分に対して、クロスフェード効果、フェード・スルー・ブラック効果等の視覚的効果が追加されるようになっていても良い。
【0094】
また、メディアの手動操作によって、ユーザが当該メディアを後で消費するとともに異なるメディア間を移動する場合のより望ましい効果がもたらされるようになっていても良い。メディア間のアイテムの位置合わせを容易化するのに役立つこのような機能としては、ズーム、パン、クロップ等が挙げられる。
【0095】
図7は、本発明の一実施形態に係る、インタラクティブ・メディア表示システム700のブロック図である。インタラクティブ・メディア表示システム700は、
図1のインタラクティブ・メディア表示機器100に類似する。
【0096】
インタラクティブ・メディア表示システム700は、スマートフォンの形態の携帯コンピュータ機器705、メディア・ストリーミング・サーバ710、およびメディア制御サーバ715を具備する。
【0097】
使用時は、インターネット等のデータ・ネットワーク720によって、ビデオ・データがメディア・ストリーミング・サーバ710から携帯コンピュータ機器705にストリーミングされる。携帯コンピュータ機器705の動きが発生すると、例えば加速度計およびジャイロスコープによって機器705の動きが検出され、動きに関するデータがメディア制御サーバ715に提供される。
【0098】
上述の通り、有効な動きジェスチャの検出に際して、メディア制御サーバ715は、ビデオ・ファイルの変更またはビデオ・ファイルの異なる部分への移動をメディア・ストリーミング・サーバ710に命令することになる。すると、新たなビデオ・データがメディア・ストリーミング・サーバ710から携帯コンピュータ機器705にストリーミングされる。
【0099】
あるいは、メディア制御サーバ715は、制御命令を携帯コンピュータ機器705に与え、これを携帯コンピュータ機器705が用いることにより、メディア・ストリーミング・サーバ710に指示を出すようになっていても良い。このような場合、メディア制御サーバ715は、例えばハイパーテキスト転送プロトコル(HTTP)サーバを含んでいても良い。また、ストリーミング・サーバ710は、ライブ・コンテンツを提供するようにしても良い。
【0100】
関連データのみが携帯コンピュータ機器705にストリーミングされると、帯域幅の使用が抑えられて都合が良い。これは、関連するビデオをそれぞれ伴う非常に多くのインタラクションが考えられる場合に特に有用である。再生対象のビデオさえユーザに提供されれば良いためである。
【0101】
特定の実施形態(図示せず)によれば、動きに基づくビデオ制御を内蔵したメディア・プレーヤがユーザ機器のウェブ・ブラウザに設けられる。メディア・プレーヤは、可能な場合に動きデータを使用し、不可能な場合に別の動き要素(例えば、ジェスチャに対応するボタンまたは音声コマンド)を提供するように構成されており都合が良い。
【0102】
例えば、キーボードまたはマウス入力等の非モーションベース(動きに基づく)のデータ入力は、動きジェスチャに変換されて、本発明に係るメディアの再生を可能にするようになっていても良い。このような場合は、左矢印キーが左方チルトに変換され、右矢印キーが右方チルトに変換され、以下同様であっても良い。
【0103】
特定の実施形態(図示せず)によれば、アプリケーションに動きに基づくインタラクションが与えられるが、メディア・プレーヤは、サード・パーティまたはネイティブAPIを用いて埋め込まれている。説明の一例として、メディア・プレーヤは、Google Inc.およびオープン・ハンドセット・アライアンスが提供するアンドロイドAPIのWebViewクラスまたはApple Inc.が提供するiOS開発者ライブラリのUIWebViewクラスを用いることにより、アプリケーションのWebViewに設けられていても良い。あるいは、メディア・プレーヤは、機器のネイティブ・ライブラリにより提供されていても良い。
【0104】
上記のような場合は、HTMLページのJavaScriptコード等を通じてメディア・プレーヤに提供されるコンテンツにおいて、コンテンツとインタラクションとの間の関係が規定されていても良い。このような場合、HTMLページは、再生対象のメディアのほか、機器による動きに基づくコマンドの検出に際して実行されるインタラクション、動き、またはタスクを規定していても良い。
【0105】
上記のような動きに基づく制御の一使用例として、Facebookニュース・フィード等のソーシャル・メディア・システム上のビデオ・ベースの広告がある。このような場合は、動きに基づくコマンドによって、商品に対する関心の登録、ページの「いいね」、商品の購入、または外部ページへの移動をユーザが行い得るビデオが再生されるようになっていても良い。ビデオは、オーディオまたはテキストに基づく命令(例えば、電話のシェイクによるページの「いいね」)を含んでいても良いし、このようなコマンドおよびアクションが予め定められていても良い(例えば、後方および前方のチルトがyesに対応し、側方のチルトがnoに対応していても良い)。
【0106】
別の例において、ユーザが画像の「好き」または「嫌い」等の入力を与えるように促されるさまざまな画像(または、他のメディア)が提示されるようになっていても良い。例えば、ユーザは、画像が嫌いな場合に左方チルトを行い、画像が好きな場合に右方チルトを行うようにしても良い。あるいは、ユーザは、機器のシェイクによって、画像と関連付けられた提案を「伝達」するようにしても良い。そして、ユーザには、リスト中でランダムまたは先の入力に応じてカスタマイズ可能な別途入力用の次の画像(または、他のメディア)が提示される。このような実施形態は、出会い系アプリケーションまたはウェブサイトに特に適しており、ユーザを効率的に選択するのが望ましい。
【0107】
動きに基づくコマンドは、URIを通じたアクションに変換されるようになっていても良い。例えば、電話のシェイクに際しては、ユーザがページを「いいね」し得るURIが呼び出され、電話のチルトに際しては、ユーザが商品を購入し得るURIが呼び出されるようになっていても良い。
【0108】
特定の場合には、サーバに対するバックグラウンドHTTPリクエスト、再生対象のメディアの中断回避のためにURIが用いられるようになっていても良い。説明の一例としては、ユーザがファッション・ビデオを視聴していても良く、ユーザは、ファッション・ビデオにおいてビデオを中断することなく、ファッション・アイテムに対する関心の登録、購入、「いいね」、または投票を行うことができる。
【0109】
特定の実施形態によれば、メディアの記録にその記録の動きに基づく制御が付与されるアプリケーションが提供される。このような場合、記録機能は、ウェブ・ブラウザ、(上述の)WebView、または別のアプリケーション内のネイティブ・ファイル・ライブラリを通じて提供されるようになっていても良い。
【0110】
特定の実施形態によれば、機器の動きに基づいてビデオの再生を制御できることの他、メディアを作成しているユーザは、エンド・ユーザに向けて再生されるバックグラウンド・サウンドトラック、ビデオ・クリップの消音、機器の振動機能の作動等、機器の他の挙動(aspect)を選択して制御することができる。
【0111】
いくつかの実施形態によれば、システム700は、ソーシャル・メディア・コンポーネントを具備する。ソーシャル・メディア・コンポーネントは、ユーザ間のチャット、コンテンツに関する公開および非公開のコメント、ならびに評価システムを可能にする。さらに、ソーシャル・メディア・コンポーネントによれば、ユーザは、例えばコンテンツのステータスを公開に設定してコンテンツを共有したり、非公開のコンテンツを記憶したりすることができる。
【0112】
特定の実施形態によれば、コンテンツの共有は、機器の動き(例えば、チルト)によって実現される。また、再生するコンテンツへの移動および選択についても、機器の動きによって実現可能である。さらに、ある時間のシェイクの動きにより、メディアがランダムにロードされて再生を開始する場合があるため、動きは、予め定められた様態でメディアにリンクされている必要はない。いくつかのシステムにおいては、システムとのすべてのインタラクションが機器の動きを介してもたらされるようになっていても良い。
【0113】
特定の実施形態によれば、制限付き視聴用のコンテンツが提供される。特に、指定時間内および/または特定の機器上のみで特定の回数だけコンテンツが再生されるように構成されていても良い。コンテンツは、再生頻度、日付、時間、機器等の使用情報をコンテンツ作成者に向けてレポートするように構成されていても良い。特定のイベントに際してコンテンツの消去をトリガすることも可能であるし、コンテンツ作成者がコンテンツのリモート消去を決定することも可能である。
【0114】
特定の実施形態によれば、外部の動きセンサの使用によって、機器に入力を与えるとともに機器を制御するようにしても良い。例えば、デスクトップ/ラップトップ・コンピュータ、TV、またはプロジェクタ等のディスプレイを具備する別の機器に対して、スマートフォンまたはタブレット等の携帯デバイスをリンクさせても良く、この携帯デバイス内の動きセンサの使用により、その動きを検出するとともに、リンクされた別の機器上のコンテンツの表示を制御するようにしても良い。要するに、携帯デバイスの動きの使用により、別の機器上でメディアを制御するようにしても良い。
【0115】
携帯デバイスと別の機器との間の接続は、任意適当な手段によって確立されるようになっていても良い。例えば、一方の機器の画面に表示されたQRコードを他方の機器のカメラでスキャンし、このコードを用いて機器をリンクさせるようにしても良いし、一方の機器の画面に表示された一意のコードを他方の機器のソフトウェアに入力するようにしても良いし、一方の機器上で、他方の機器に表示された一意のURLへ移動するようにしても良いし、(例えば、ユーザ名およびパスワードによって)両機器で同時にアカウントにログインするようにしても良いし、URL等のコードを含むSMSメッセージを携帯デバイスに送信して、機器をリンクさせるようにしても良いし、機器のGPS位置を用いて、近接した機器を互いに接続させるようにしても良いし、各機器のボタンの(ほぼ)同時のタップ等により、各機器と同時にインタラクションするようにしても良いし、一方の機器のスピーカで1つまたは一連のトーンを再生し、他方の機器のマイクでこのトーンを検出できるようにすることで、リンクを確立するようにしても良いし、機器間でRFIDまたはBluetoothリンクを使用するようにしても良い。
【0116】
上記実施形態の一例において、別の機器との適当な持続接続が確立されると、携帯デバイスのソフトウェアは、複数の予め定められた動きジェスチャ(例えば、右方チルト、左方チルト等)のうちの動きに基づくジェスチャを検出し、一意のコード等の適当な識別情報と併せて、当該ジェスチャの詳細をサーバに送信する。そして、サーバは、メディア・プレーヤとして動き得る別の機器に当該情報を伝える。情報を受信した別の機器は、受信情報に応答して、メディアの表示を変更する。さらに、受信したジェスチャに基づいて、別の機器の他の機能も起動可能であるが、このような機能は、ハードウェアまたはソフトウェアと関連し得る。
【0117】
また、携帯デバイスの制御によって、同じインタラクティブ・メディアがその画面上に表示されるようになっていても良いし、直前に認識された動き等の他の情報が表示されるようになっていても良いし、切断用ボタンが表示されるようになっていても良いし、メディアが一時停止されるようになっていても良いし、別のタップ可能な動きボタンが提供されるようになっていても良い。
【0118】
携帯デバイスとの適当な持続接続が設定された複数の別の機器が存在していても良い。複数のユーザが異なる別の機器または周辺機器を操作するようにしても良い。さらに、ユーザが空間的に離れていても良く、例えば、世界のどこかにいる複数のユーザが別の機器のいずれかを同時に視聴または操作するようにしても良い。
【0119】
特に、あるユーザの携帯デバイスがメディアを制御することによって、世界中の任意の場所の1人またはその他多くの人が受信コマンドに基づいて、同じメディア制御を体験することも可能である。
【0120】
さらに、上記システムは、仮想現実を目的としたヘッド・マウント・ディスプレイの制御に用いられるようになっていても良い。これにより、固定状態、臥床(がしょう)状態、回転しない椅子に座って頭部を静止させた状態等、物理的な向きが異なるユーザがインタラクティブな仮想現実を体験可能である。また、音声コマンドの使用により、何れかの機器が検出した仮想現実インタラクティブ・メディア体験の挙動(aspect)を制御するようにしても良い。
【0121】
複数のユーザがシステムを使用する場合、メディアの制御は、手動または自動(一定期間後等)によりユーザ間で受け渡されるようになっていても良い。
【0122】
また、複数人が視聴している体験をそれぞれが同時に制御することも可能である。
【0123】
また、オーディオ・リンクの維持により、ユーザがメディアの表示中に会話できるようにすることも可能である。
【0124】
上述の通り、異なるビデオが利用可能なジェスチャそれぞれと関連付けられていても良い。ただし、本発明の別の実施形態によれば、より複雑なインタラクションの利用により、非常に多くのビデオ間で移動するようにしても良い。例えば、過去のジェスチャの状況でジェスチャが解釈されるようになっていても良い。このため、インタラクションの複雑な分岐が規定され、ユーザにとっての真にカスタマイズされた体験が可能となっていても良い。
【0125】
図8は、本発明の一実施形態に係る、インタラクティブ・メディア表示方法を示している。
【0126】
ステップ805においては、ユーザに向けて既定ビデオを再生する。既定ビデオは、上述の通り、メディア制御ファイルにより規定されていても良く、一般的には自動再生され、繰り返されるようになっていても良い。
【0127】
ステップ810においては、ユーザから第1の動きジェスチャを受け取る。第1の動きジェスチャは、チルト、シェイク等、携帯デバイスの動きに関する。
【0128】
第1の動きジェスチャに応答して、第1のビデオを再生する。特に、第1の動きジェスチャは、上述の通り、メディア制御ファイル中の第1のビデオと関連付けられている。
【0129】
第1のビデオが終わったら、ステップ820において再び、既定ビデオを再生する。
【0130】
ステップ825においては、ユーザから第2の動きジェスチャを受け取る。第2の動きジェスチャは、チルト、シェイク等、携帯デバイスの別の動きに関する。
【0131】
第2の動きジェスチャに応答して、第2のビデオを再生する。特に、第2の動きジェスチャは、上述の通り、メディア制御ファイル中の第2のビデオと関連付けられている。
【0132】
特定の実施形態によれば、メディアの制御は、特定のシナリオにおいてのみ提供され、他では提供されない。例えば、ユーザは、広告等の特定のビデオ・クリップの視聴を強いられる場合がある。いくつかの実施形態において、システムは、ホーム(すなわち、既定)ビデオにおいて動きに応答する一方、他のビデオでは応答しないように構成されている。
【0133】
特定の実施形態によれば、動きに基づくメディア制御命令は、ビデオ・ファイルの後方互換性のメタデータ部に記憶されていても良い。このため、従来のビデオ・プレーヤでは、動きに基づく制御なくメディア・ファイルを再生可能な場合があるものの、より高度なプレーヤでは、同じファイルとの詳細な動きに基づくインタラクションを与える場合がある。あるいは、動きに基づくメディア制御命令は、例えばJavaScriptコードの形態のビデオ・ファイルを表すHTMLファイルに記憶されていても良い。
【0134】
また、メタデータ部には、動きに基づくメディア制御情報と併せて使用することによりビデオ中のより合理的な移動を可能にするチャプタ情報等、ビデオ・ファイルに関する他の情報を含んでいても良い。このような移動の例としては、最後への移動、一時停止、スロー・モーション、繰り返し、ジャンプする「チャプタ」の規定、面白い部分だけ再生、不要部のスキップ、特定部の高速送り等が挙げられる。
【0135】
図9は、本発明の一実施形態に係る、ユーザと機器とのインタラクションおよび機器上の対応するビデオ・ファイルの表示の
図900である。特に、各ビデオ・ファイルは、インタラクションの異なる解釈がなされるシステムの状態に対応する。
【0136】
まず、ユーザに向けて第1のビデオ905が再生される。左方チルト300bが検出されると、ユーザに向けて第2のビデオ910が再生された後、再び、第1のビデオ905が再生される。同様に、右方チルト300c、シェイク300f、前方チルト300d、または後方チルト300eが検出されると、第3のビデオ915、第4のビデオ920、第5のビデオ925、または第6のビデオ930がそれぞれ再生される。
【0137】
第3のビデオ915の再生中にシェイク300fを受け取ると、第7のビデオ935が再生される。同様に、第7のビデオ935の再生中に右方チルト300cを受け取ると、第8のビデオ940が再生される。
【0138】
第8のビデオ940の再生中は、複数の動きに基づくコマンドが解釈されるようになっていても良い。特に、前方チルト300dまたは後方チルト300eを受け取ると、第9のビデオ945または第10のビデオ950がそれぞれ再生される。また、第8のビデオ940の再生中にシェイク300fを受け取ると、再び、第1のビデオ905が再生され、プロセスが反復するようになっていても良い。
【0139】
最後に、第9のビデオ945の再生中に右方チルト300cを受け取ると、第11のビデオ955が再生される。
【0140】
動きの入力なく第2〜第11のビデオ910〜955のいずれかの再生が完了したら、再び、第1のビデオ905が再生されるようになっていても良い。あるいは、以下に論じる通り、特定のビデオの完了で再生が停止して、代わりにウェブサイトが表示されるようになっていても良い。
【0141】
上記の通り、右方チルト300cは、再生されているビデオに応じて異なる解釈がなされる。例えば、第1のビデオ905においては、右方チルト300cによって第3のビデオ915が再生される一方、第3のビデオの再生中は、右方チルト300cによって第7のビデオ935が再生される。要するに、再生されているビデオを踏まえて各動きに基づく入力が解釈されるようになっていても良く、これにより、ユーザとのインタラクションが制限されない。
【0142】
いくつかの実施形態によれば、ビデオのうちの1つまたは複数の完了に際して、ウェブサイトが自動的に開かれる。例えば、1つのビデオまたは一組のビデオ905〜955の完了に際して、別のメディアの購入を可能にするウェブサイトが提供されるようになっていても良い。ウェブサイトは、メディアが再生される機器、既定のウェブ・ブラウザにおけるURLのリクエストまたはオンライン・オークション・アプリケーションもしくはウェブサイト等の別のアプリケーションもしくはウェブサイトへの識別子の受け渡しにより開かれるようになっていても良い。ウェブサイトは、ビデオ・クリップの終了後の動きに基づくコマンドの認識、別のジェスチャの受け取り、または画面上のボタンもしくは要素のタップに際して自動的に開くようになっていても良い。また、サーバとの任意の種類のトランザクションを実行する命令を含むHTTPリクエストがサーバになされるようになっていても良い。これは、ビデオ再生時にメディアの変更やユーザへの指示なく起こり得る。
【0143】
結果として、システムは、一般的にコンテンツ(ビデオ)または特定のビデオ905〜955と関連するものの直接的または間接的な購入を容易化可能である。実際には、このプロセスの使用によって、例えば商品、サイズ、スタイル、色等の選択のための情報をユーザから得た後、商品の購入または商品に関する別の情報の発見を容易化することも可能である。
【0144】
上記例は、本発明の実施形態によって、ユーザが画面に触れることなく1つまたは多くの商品の購入が容易化され得る方法を記載している。すべて動きに基づくコマンドによって、アイテムを欲しい物リストまたはショッピング・カートに追加した後、清算および支払いプロセスが行われるようにすることも可能である。ショッピング・カートまたは欲しい物リスト中のアイテムは、関連するデータをローカル、リモート、または両者のストレージに保存することによって、アプリケーションの多数の使用にわたって持続し得る。
【0145】
さらに、支払いプロセスは、単一の動きに基づくコマンドによって起動するようになっていても良い。支払いの詳細については、事前に収集済みであっても良い。これにより、ワンチルト購入、ワンスラップ購入、ワンツイスト購入等のワンモーション購入を効果的に行うことができる。
【0146】
また、ユーザのサイズ、色の好み、スタイルの好み等は、アプリケーションの多数の使用にわたって持続するとともに、これらの保存された好みに応じて、ユーザに表示されるアイテムにも影響を及ぼし得る。説明の一例として、ユーザにフィットする可能性が高い服のみが示されるようになっていても良い。また、システムは、ユーザのサイズで在庫があるアイテムのみを示すようにしても良い。これらの好みは、ユーザが明示的にセットすることも可能ではあるが、システムにより計算されるようになっていても良い。例えば、システムは、ユーザの閲覧習慣、過去の購入、機械学習技術、または理由の如何に関わらず、優先させるアイテムに関しておそらくはアイテムの販売拡大を目的として、他のアイテムの代わりに特定のアイテムをユーザに表示することをシステムが選択的に優先させ得るその他任意の方法を考慮することも可能である。
【0147】
別の例として、ユーザには、ユーザ・プロファイルに基づいて異なるメディアが示されるようになっていても良い。例えば、男性ユーザには、男性服または男性関連アイテムが示されるようになっていても良く、同様に、女性ユーザには、女性服または女性関連アイテムが示されるようになっていても良い。
【0148】
さらに、上記段落に記載のユーザの好みを保存するため、システムは、またアイテムの画像またはビデオと併せて表示される1つまたは複数の画像をユーザが提供できるようにしても良い。これは、ユーザによるアイテムの適合性の決定を補助する場合に特に有用である。提供される画像または画像の一部は、アイテムに重畳して現れ(または、その逆)、使用中のアイテムを模擬するようになっていても良いが、アイテムの横、アイテムの下等、アイテムとの関係で他の場所に画像が現れるようになっていても良い。
【0149】
このシステムによれば、ユーザは、機器上のカメラを用いて写真を撮り、ローカルのストレージから画像を選択し、リモートのソースから画像を提供できるようになっていても良いし、これらの組み合わせであっても良い。
【0150】
画像には人物を含むのが好ましく、ソフトウェアは、自動的に人物の頭部をクロップまたは選択するようにしても良い。この自動的な実行の追加または代替として、ソフトウェアは、ユーザが手動でクロップまたは選択操作を実行できる機能を提供していても良い。実際、人物の頭部のクロップ画像が服等のアイテムと一緒に表示された場合は、人物がアイテムを着用している場合に頭部が現れるようにアイテムに重畳していても良い。これにより、服が人物に適しているかをユーザがより簡単に決定できるため、都合が良い。ただし、この機能は、服に限定されず、車、家具、ハンドバッグ、腕時計等の任意の種類のアイテムを含むことも可能である。
【0151】
特定の実施形態(図示せず)によれば、このシステムは、動きに基づく入力により多くのユーザがアイテムに応札可能なオークションを容易化することができる。機器の動きによって、応札をトリガすることも可能であり、多次元動きメニューによって、複数のアイテムへの応札にほぼ同時に対応することも可能である。他の実施形態において、このシステムは、例えばレースまたは出場選手の選択および儲けるための賭け等、機器の動きによってギャンブル関連の機能を容易化することができる。
【0152】
特定の実施形態(図示せず)によれば、機器の動きによって、電話およびSMSの送信、アプリケーションの立ち上げ、ソーシャル・メディア・アプリケーションにおける「いいね」および「シェア」機能の呼び出し等、プレーヤが動きするアプリケーションの機能の呼び出し、他のアプリケーションの機能の呼び出しおよび他のアプリケーションへのデータの受け渡し(URI等)といった機器の機能をトリガすることができる。
【0153】
ユーザにとっては、全画面モードでメディアを視聴でき、依然としてメディア(または、一般的に機器)とインタラクション可能であるのが好都合であることに留意するものとする。このため、ボタン等のグラフィック要素上で画面の一部を無駄にしたり、ビデオが終わって機器とインタラクションできるようになるのを待ったりする必要はない。さらに、例えば画面のタップまたはボタンのクリックによってアクションを開始するよりも、動きに基づくコマンドを用いて機器とインタラクションするのがより便利と考えられる。例えば、画面をタップすることにより、ユーザの指が画面の一部を瞬間的に覆ってしまうため、画面がユーザから見えなくなる。
【0154】
特定の実施形態によれば、ビデオ905〜955のうちの1つまたは複数は、別のビデオ905〜955の再生中に、ローカルのファイル、リモートのファイル、またはストリーミング・サーバからバッファリングまたはプリロードされるようになっていても良い。これは、ユーザのコマンドを見越して実行されるようになっていても良い。
【0155】
いくつかの実施形態において、機器は、現在のビデオ・ファイルからユーザが直接移動可能なすべてのビデオ・ファイルの第1の部分(例えば、10秒)をバッファリングするようにしても良い。
図900の場合、第1のビデオ905の再生中、機器は、第2、第3、第4、第5、および第6のビデオ910〜930それぞれの第1の部分をバッファリングするようにしても良い。他の実施形態において、現在のビデオ・ファイルからユーザが直接移動可能なビデオ・ファイルは、第1の部分のみならず、全体がダウンロードされるようになっていても良い。
【0156】
バッファリング(または、ファイルのダウンロード)の結果として、機器は、ジェスチャを認識すると、リクエストされたコンテンツを直接再生することができ、遅延が抑えられてユーザの体験が向上する。
【0157】
本発明の別の実施形態においては、以下に概説する通り、(広告等の)ビデオがユーザ機器に表示されている間に、動きに基づくジェスチャに応じて、インタラクティブなアプリケーション(例えば、ショッピング・アプリケーション)が制御される。
【0158】
図10Aは、本発明の一実施形態に係る、再生設定の携帯ユーザ機器1005を示している。特に、携帯ユーザ機器1005にはビデオ1010が全画面で表示される一方、動きに基づくジェスチャに応じて、コントローラ(図示せず)が特定のアイテムをお気に入りリストに配置するように構成されている。
【0159】
特に、ビデオ1010は、当該ビデオ1010中の時点に応じてアクションを規定するメディア制御命令と関連付けられている。このため、ユーザがビデオ1010とインタラクションするタイミングに応じて、異なるアイテムがお気に入りリストに配置されるようになっていても良い。
【0160】
本例においては、ビデオの現在の時間(例えば、2つの時点間)に応じて、機器1005の左方または右方チルトが時点間のビデオの前後移動と関連付けられており、機器の前方チルトがお気に入りリストへのアイテムの追加と関連付けられている。ただし、コンテンツの作成者は、ジェスチャとアクションとを任意適当に関連付けるようにしても良く、このような関連付けは、ビデオの再生時に変化するようになっていても良い。
【0161】
ビデオ1010は、購入可能な服、ガジェット等のアイテム1015を表示するようにしても良い。このような場合は、通常、ビデオ全体で複数の異なるアイテム1015が表示され、ある状況で表示されることが多い。例えば、服の場合は、使用状態(すなわち、着用状態)で表示されるようになっていても良く、同様に、ガジェットの場合も、使用状態で表示されるようになっていても良い。
【0162】
特定の実施形態によれば、ビデオ1010では、その最初にトレーニング命令が提供される。特に、トレーニング命令は、各ジェスチャ(例えば、左方チルト、前方チルト)が関連付けられるアクション(例えば、早送り、お気に入り追加)を示す。これは、ビデオ1010が全画面表示される場合に特に重要である。ユーザ機器1005のディスプレイには、このような命令のためのスペースが残っていないためである。
【0163】
ビデオが終わると、ユーザは、
図10Bに示すように、チルト・ジェスチャによって、選択したアイテム一覧を確認する。特に、携帯ユーザ機器1005は、複数のショッピング要素1025を含むお気に入りリスト1020を表示する。その後、ユーザは、対応するショッピング要素1025をタップすることによって、アイテムの購入を続けたり、アイテムについてもっと多くのことを発見したりすることができる。
【0164】
このように、本実施形態は、全画面ビデオ(または、他のメディア)の再生または表示が継続している間の携帯機器とのユーザ・インタラクションの一例を示している。さらに、当該全画面ビデオは、例えばFacebook等のソーシャル・メディア・アプリケーションといった別のアプリケーションから再生されるようになっていても良い。
【0165】
お気に入りリスト1020から分かるように、ユーザが機器1005とインタラクションしたタイミングに応じて、複数のアイテムをリストに追加することができる。これは、それぞれ購入可能な複数のアイテムがビデオに表示される場合に特に有用である。
【0166】
当業者には当然のことながら、動きに基づくジェスチャの受け取りに際して、任意適当なアクションが行われるようになっていても良い。例えば、アイテムのショッピング・カートへの追加および/またはビデオ再生中の実際の購入も可能である。
【0167】
上述の通り、メディアの再生に先立って、トレーニングをユーザに提供するのが好都合となる場合が多い。
図11は、本発明の一実施形態に係る、トレーニング画面のスクリーンショットを示している。
【0168】
トレーニング画面には、複数のジェスチャ要素1105および複数のアクション要素1110を含んでおり、各アクション要素1110がジェスチャ要素と関連付けられている。
図11に示す例では、左方チルトによってビデオが戻り、前方チルトによって、現在の提示アイテムの購入(買い入れ)となる。
【0169】
ジェスチャ要素1105は、ユーザ機器に関する動きに基づくジェスチャを示すアニメーションであり、都合が良い。例えば、右方チルトに関するジェスチャ要素1105は、右方チルトのアニメーションを表示するように構成されていても良い。
【0170】
さらに、トレーニング画面は、ジェスチャを検出するとともに、ジェスチャの受け取りに際して関連するジェスチャ要素1105を強調するように構成されていても良い。例えば、右方チルトに関するジェスチャ要素1105は、右方チルト・ジェスチャの受け取りに際して強調され、受け取られたジェスチャをユーザに確認するようになっていても良い。これは、ユーザが動きに基づくジェスチャを練習する際に特に有用である。
【0171】
トレーニング画面を視聴した後、ユーザは、ビデオ開始ボタン1115をタップすることによって、ビデオを開始することができる。
【0172】
メディア制御命令は、多次元の移動階層を規定していても良い。例えば、ユーザは、ビデオ内での前後移動のほか、ビデオ(例えば、ウェブサイトまたは他のビデオ)への出入りを行うようにしても良い。説明の一例としては、ビデオ中の前後移動に特定のジェスチャが用いられる一方、別のジェスチャでは、ウェブ・ページが表示されるようになっていても良い。また、ビデオのタイムライン上におけるユーザの位置に応じて、異なるウェブ・ページが表示されるようになっていても良い。
【0173】
図12Aは、本発明の一実施形態に係る、インタラクティブ・ショッピング画面のスクリーンショット1200aを示している。上述の通り、インタラクティブ・ショッピング画面は、4通りの移動階層を提供する。
【0174】
図12Aに示すように、インタラクティブ・ショッピング画面には、アイテムの画像1205および関連する「カートに入れる」ボタン1210を含む。さらには、ユーザがいる多次元移動階層をユーザに示す第1および第2の移動要素1215a、1215bが表示されている。
【0175】
特に、第1および第2の移動要素1215a、1215bはそれぞれ、各次元において可能性のある位置1220および実際の位置1225を規定する。
図12Aは、左右方向の最も左の位置を実際の位置として示すとともに(第1の移動要素1215a参照)、前後方向の最も後ろの位置を実際の位置として示している(第2の移動要素1215b参照)。
【0176】
4通りの移動階層においてユーザが移動した場合は、画像1205が更新され、同じアイテムの別の構成を示すようになっていても良いし、別のアイテムを表示するようになっていても良い。
【0177】
図12Bは、4通りの移動階層においてユーザが前方に4段階、右方に3段階だけ移動したインタラクティブ・ショッピング画面の別のスクリーンショットを示している。この別のスクリーンショットには、ユーザによるビデオの再生制御を可能とする再生バー1230を含む。特に、画像1205は、アイテムのビデオで置き換えられるようになっていても良い。
【0178】
ユーザは、アイテムのうちの1つを購入したい場合、「カートに入れる」ボタン1210を使って購入するようにしても良い。この代替または追加として、ユーザは、上述の通り、動きに基づくジェスチャを用いてアイテムを購入するようにしても良い。
【0179】
いくつかの実施形態において、システムは、1つまたは複数のウェブサイトに応じて、自動的または半自動的にジェスチャに基づく制御データを生成するように構成されていても良い。このような場合は、ユーザがウェブサイトの1つまたは複数のURLを入力して、システムがここから、メディア、商品説明、価格等の情報を抽出するようにしても良い。これは、従来のウェブに基づくストアを動きジェスチャに基づくインタラクティブなショッピング・システムに変換する際に特に有用である。
【0180】
図12Aおよび
図12Bの例において、第1の移動要素1215aは、異なるURLのコンテンツと関連付けられていても良く、第2の移動要素1215bは、単一のURLの異なるコンテンツに関連していても良い。
【0181】
生成されたメディア制御命令は、ソース(すなわち、元のURL)からメディアを直接参照するようにしても良いし、(コンテンツ・デリバリ・ネットワーク等の)別のサーバにメディアがコピーされ、メディアが提供されるようになっていても良い。インタラクティブな広告は、購入希望のユーザを入力したURLに直接移動させるようにしても良いし、上述の通り、購入が直接発生するようにしても良い。
【0182】
さらに別の実施形態においては、URLの代わりに1つまたは複数の商品フィードが用いられ、ジェスチャに基づく制御データが生成されるようになっていても良い。このような場合は、商品フィード上でデータが受信されると、上記と同様に、メディア(または、メディアの場所)、商品説明、価格等の情報が自動的に抽出・使用されて、制御データが生成されるようになっていても良い。
【0183】
システムは、制御データを継続的に更新するように構成されていても良いし、(例えば、ユーザからの命令の受信に応答して)1回だけ制御データを生成するようにしても良い。例えば、いくつかの実施形態において、表示された商品は、その時点の商品フィード中の情報に応じて変化するようになっていても良い。
【0184】
特定の実施形態によれば、システムは、GUI要素のスタイル、色、表示する商品数等、ユーザから好みを受け取り、それに基づいて制御データを生成するようにさらに構成されていても良い。この状況において、ユーザは、自身または後でシステムを使用する他のユーザの好みを設定していても良い。
【0185】
いくつかの実施形態において、表示機器は、ユーザによって縦向きまたは横向きに保持可能である。このような場合、メディアは、再生中に正しく配向するとともに機器が保持されている向きに応じて、動きに基づく入力が検出されるように、縦モードまたは横モードで再生される。
【0186】
特定の実施形態によれば、プレーヤは、統計データおよび使用情報を収集するようにしても良い。その後、プレーヤは、この情報をサーバに送信して解析するようにしても良い。このようなデータによれば、ユーザの関心の把握、ユーザ・プロファイルの作成、広告のターゲティングおよびリターゲティング、ユーザのプロファイルに基づくコンテンツの性質の変更等が可能となり得る。
【0187】
また、上述のデータ収集プロセスによれば、トレンドを識別可能となる技術の自己学習およびシステムへのフィードバックとなる他の学習も可能となり得る。
【0188】
特定の実施形態によれば、本発明は、デジタル著作権管理(DRM)を含んでいても良い。DRMは、一群または個々として、ビデオ905〜955のそれぞれと、任意のメディア制御ファイルとに適用され、コンテンツが無断で再配布されることのないようにしても良い。
【0189】
いくつかの実施形態によれば、システムとの動きに基づくインタラクションは、状況を意識したものである。特に、動きに基づくインタラクション300b〜300eのうちの1つまたは複数は、状況に応じて異なる解釈がなされるようになっていても良いし、状況に応じて異なるビデオが再生されるようになっていても良い。
【0190】
システムが適応し得る状況の例としては、時刻、天候、時期、季節、現在の位置、および関連位置が挙げられる。説明の一例として、夜間視聴の場合は、日中の視聴との比較で異なるクリップが再生され、冬季の視聴の場合は、夏季の視聴との比較で異なるクリップが再生されるようになっていても良い。
【0191】
上記例は、主として加速度計および/またはジャイロスコープを用いた動きに基づく入力の決定に焦点を当てている。ただし、この代替または追加として、動きに基づく入力は、コンパス、カメラ、位置センサ(GPS等)、または高度、回転速度、加速度等の機器の挙動(aspect)を決定するのに使用可能なその他任意の入力に応じて決定されるようになっていても良い。別の実施形態においては、ユーザ機器に一体化または取り付けられたカメラにより識別されるユーザ位置の変化を観測することによって、動きに基づくコマンドが生成される。
【0192】
場合により、機器は、ヘッド・マウント・ディスプレイとしてユーザに結合される。このような場合は、ユーザが頭部を左方、右方、前方、または後方にチルトさせることによってコマンドが生成され、例えばメディアの表示が選択的に制御されるようになっていても良い。
【0193】
ほとんどの携帯機器は、ユーザの頭部の動きの追跡およびその動きに基づく関連アクションのトリガに使用可能なカメラを有しており、例えば、頭部の左方チルトによって左方のジェスチャ・アクションがトリガされ、頭部の右方チルトによって右方のジェスチャ・アクションがトリガされる。ただし、これは頭部の動きに限定されない。カメラから見た手の動き、身体の動き、および物体の動きについても使用可能である。これは、手の使用が制限されている場合、非常に有用となる。本発明においては、ユーザの動きが機器の動きに置き換わる。
【0194】
特定の実施形態によれば、動きに基づく入力は、3つの軸にわたって決定される。動きに基づく入力は、軸に沿った動き、軸周りの回転、またはこれらの組み合わせに関していても良い。
【0195】
本発明の実施形態は、娯楽(例えば、面白いインタラクティブ・ビデオ、インタラクティブ・アドベンチャ)、トレーニング(例えば、ユーザが必要に応じてビデオの一部を容易に再生し得るチュートリアル)、教育(例えば、ユーザがビデオの質問に答えることにより、正しいジェスチャによって次の質問に移動し得る場合)、仮想ツアー、ゲーム、オンライン・ショッピング、出会い系サイト、または機器の片手操作が望ましい場合等、さまざまな異なるシナリオで用いられるようになっていても良い。
【0196】
単一のビデオの場合は、動きの使用により、ジョイスティック等のユーザ入力装置と同様に、早送り、スロー再生、前方ジャンプ、巻き戻し、スロー巻き戻し、後方ジャンプ、一時停止、および類似機能を開始するようにしても良い。これは、携帯デバイス上で監視カメラの映像を視聴する場合に特に有用となり得る。
【0197】
本発明の別の例は、仮想現実に関する。適当な取り付け装置によって機器がユーザの頭部に取り付けられた場合、メディアの制御および機能の呼び出しは、頭部の動きにより可能となる。本例において、システムは、画面分割表示等、仮想現実体験用の適当な方法でメディアを表示するようにしても良い。このような場合は、機器のパン動き等の第1の種類の動きの使用により、(例えば、ユーザの頭部の動きの追跡により仮想現実を提供する)仮想現実モジュールによって、メディアに影響を及ぼすようにしても良く、突発的なうなずき動き等の第2の種類の動きの使用により、メディアのコンテンツを変更したり(例えば、シーンを変更したり)、メディアに影響を及ぼしたりしても良い。
【0198】
そして、システムは、このような仮想現実体験の記録および再生の両者を可能にするものであっても良い。仮想現実体験により適したメディアの操作は、メディアの記録中、メディアの記録後かつ再生前、メディアの再生中、またはこれらの任意の組み合わせにおいて行われるようになっていても良い。この操作は、当該機器、別の機器、リモート・サーバ、またはこれらの任意の組み合わせで行われるようになっていても良い。
【0199】
動きに基づくジェスチャと表示されるメディアとの関係に関してメディア制御命令を主に説明したが、メディア制御命令は、動きに基づくジェスチャなしにメディアの表示を制御するようにしても良い。
【0200】
例えば、メディア制御命令は、ビデオの一部(例えば、2つのマーカ間)の無限(または、特定回数の)反復、メディアの一時停止と別のユーザ入力の待機、第1のジェスチャが検出された場合のメディアの一時停止と別のジェスチャが検出された場合の継続等を行わせるようになっていても良い。
【0201】
ジェスチャの識別に動きのみが用いられる動きに基づくインタラクションに関して上記インタラクションを説明したが、いくつかの実施形態においては、機器の動き中にユーザが画面に触れることでジェスチャを与えるようにしても良い。
【0202】
場合によっては、機器の動き中にユーザが画面に触れているか否かに応じて、ジェスチャの異なる解釈または異なる機能との関連付けがなされるようになっていても良い。あるいは、ユーザが画面に触れている間はジェスチャのみが受け取られ(検出され)、機器の予想外の動きに基づくジェスチャの不用意な検出が防止されるようになっていても良い。
【0203】
いくつかの実施形態において、ユーザは、機器の動き中に画面のどこでも触れることができる。あるいは、ボタン等のグラフィック要素の使用によって、ジェスチャ認識の作動またはジェスチャ認識の修正を行うようにしても良い。
【0204】
特定の実施形態によれば、このシステムは、特定のジェスチャを用いて、ジェスチャ認識をオン・オフするように構成されていても良い。例えば、ユーザは、機器のシェイクによってジェスチャ認識をオンにした後、機器を再びシェイクすることによって、ジェスチャ認識をオフするようにしても良い。これは、メディアの意図せぬジェスチャ制御を抑える場合に特に都合が良い。
【0205】
本明細書および特許請求の範囲(存在する場合)において、単語「備える(comprising)」およびその派生語「comprises」および「comprise」等は、記載の整数をそれぞれ含んでおり、1つまたは複数の別の整数を除外するものではない。
【0206】
本明細書の全体を通して、「一実施形態(one embodimentまたはan embodiment)」という言及は、当該実施形態に関連して説明する特定の特徴、構造、または特性が本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書の全体を通してさまざまな箇所に表現「一実施形態において(in one embodimentまたはin an embodiment)」が現れる場合であっても、必ずしもすべてが同じ実施形態を参照しているわけではない。さらに、上記特定の特徴、構造、または特性は、1つまたは複数の組み合わせにおいて、任意適当に組み合わされていても良い。
【0207】
本発明は、法規に則って、おおむね構造的または組織的特徴に固有の表現で説明した。本明細書に記載の手段が本発明の実施に好ましい形態を含むことから、本発明は、図示および説明した特定の特徴に限定されないことが了解されるものとする。したがって、本発明は、その形態または改良のいずれかにおいて、当業者が適当に解釈する添付の特許請求の範囲(存在する場合)の適正な範囲内で請求される。