(58)【調査した分野】(Int.Cl.,DB名)
前記モバイルデバイスには更に、前記補足コンテンツとともに前記モバイルデバイスの前記統合ディスプレイに表示するための前記ビデオコンテンツをキャプチャするように構成されたビデオカメラが内蔵されている、請求項1記載のシステム。
前記モバイルデバイスは、前記内蔵ビデオカメラを使って1以上の前記経時変化マーカをキャプチャすることにより、前記ビデオコンテンツと前記ビデオコンテンツの前記時間位置とを識別する、請求項2記載のシステム。
前記ビデオソースは、ビデオディスクプレーヤを含み、前記補足コンテンツは前記ビデオディスクプレーヤに記憶されるとともにここからアクセスされる、請求項1記載のシステム。
前記ビデオソースはビデオゲームコンソールを含むものであって、前記ビデオコンテンツはビデオゲームであり、前記補足コンテンツは、前記モバイルデバイスのユーザ用の、前記ビデオゲームに関するプレーヤ専用情報を含む、請求項1記載のシステム。
前記モバイルデバイスは、前記モバイルデバイスに対する前記ビデオコンテンツの位置と方向とを識別することにより、前記ビデオディスプレイをトラッキングするように構成されている、請求項1記載のシステム。
前記モバイルデバイスは、前記ビデオコンテンツがオーバーレイしないように、前記補足ビデオコンテンツを前記統合ディスプレイの範囲内に拡大縮小するとともに位置決めするステップを更に含み、前記補足コンテンツは、テキスト、動画、グラフィック強化、広告、ハイパーリンク、及びその他の情報の少なくとも1つを含む、請求項1記載のシステム。
前記ビデオディスプレイとモバイルデバイスとから離れており、前記モバイルデバイスと通信している前記補足コンテンツを記憶するように構成された補足コンテンツデータストアを更に含み、前記モバイルデバイスは前記補足コンテンツデータストアから前記補足コンテンツにアクセスする、請求項1記載のシステム。
前記モバイルデバイスの内蔵ビデオカメラを使って、前記ビデオディスプレイに表示される前記ビデオコンテンツを、前記経時変化マーカをアンカーとしてトラッキングするステップをさらに含む、請求項14記載のコンピュータが実行する方法。
前記内蔵ビデオカメラを使って前記ビデオコンテンツと前記ビデオコンテンツの時間位置を識別するようにフォーマットされた1以上の前記経時変化マーカをキャプチャすることにより、前記モバイルデバイスにおいて、前記ビデオコンテンツと前記ビデオコンテンツの前記時間位置を識別するステップをさらに含む、請求項14記載のコンピュータが実行する方法。
前記ビデオソースはビデオゲームコンソールを含むものであって、前記ビデオコンテンツはビデオゲームであり、前記補足コンテンツは、前記モバイルデバイスのユーザ用の、前記ビデオゲームに関するプレーヤ専用情報を含む、請求項14記載のコンピュータが実行する方法。
前記モバイルデバイスに表示されるテキストを含むプレーヤ専用ビデオデータを生成するステップを含み、前記テキストはキャプチャしたビデオコンテンツの画像に隣接して、前記モバイルデバイスに配置される、請求項14記載のコンピュータが実行する方法。
前記プレーヤ専用ビデオデータは、第1プレーヤは入手できるが第2モバイルデバイスの第2プレーヤは入手できない情報である、請求項19記載のコンピュータが実行する方法。
【発明を実施するための形態】
【0016】
本発明の本質及び利点は、以下の図面を参照することで更に理解することができる。添付の図面では、同様の構成要素や特徴には同一の参照ラベルが付されている場合がある。更に、同種の様々な構成要素は、ダッシュによる参照ラベルや同様の構成要素を区別する第2ラベルに従うことにより区別することができる。明細書において第1参照ラベルしか使用していない場合は、第2参照ラベルに関係なく、同一の第1参照ラベルが付された同様の構成要素のいずれについても、その記載を適用することができる。
【0017】
モバイルデバイスに表示するための補足コンテンツを提供する方法、システム、及び装置が記載されている。一実施形態では、システムは、ビデオソース(ビデオディスクプレーヤやビデオゲームコンソールなど)からのビデオコンテンツ(映画やビデオゲームなど)を表示するビデオディスプレイを含む。統合ディスプレイを備えたモバイルデバイスはこのビデオディスプレイをトラッキングしうる。トラッキングしたビデオディスプレイのビデオコンテンツは識別されうる。このモバイルデバイスは識別したビデオコンテンツに関連する補足コンテンツにアクセスし、アクセスした補足コンテンツを統合ディスプレイに表示しうる。
【0018】
本明細書は本発明の実施例を記載しているが、本発明の範囲、利用可能性、及び構造を限定することを意図するものではない。むしろ、各実施形態の記載に従うことにより、当業者には本発明の各実施形態を実行するための有益な明細書が提供されることになる。本発明の趣旨及び範囲から逸脱することなく、機能や要素の配列において各種の変更を加えることができる。
【0019】
従って、各種実施形態においては適宜、各種の手順や構成要素を省略し、代替し、追加している場合がある。例えば、他の実施形態では、記載された順序とは異なる順序で各方法を実施してもよいし、各種のステップを追加し、省略し、組み合わせるようにしてもよいことを理解されたい。更に、ある実施形態について記載した特徴を他の各種実施形態に組み合わせることもできる。各実施形態の異なる態様や要素を同様の方法で組み合わせるようにしてもよい。
【0020】
更に、以下に記載するシステム、方法及びソフトウェアは個別であれ集合的であれ大規模なシステムの構成要素である場合があり、他の手順がそれらの適用に優先してもよいし、それらの適用を変更してもよいことも理解されるべきである。更に、以下の各種実施形態の前後やこれらと同時にいくつかのステップが必要とされる場合もある。
【0021】
補足コンテンツを表示するためのシステム、装置及びソフトウェアが記載されている。
図1に示す一連の実施形態では、システム100はビデオソース105、ビデオディスプレイ110、モバイルデバイス115、及びモバイルデバイスコンテンツソース130を含む。システム100のこれらの構成要素の各々は(直接接続、無線接続、無線又は有線ネットワーク経由等により)相互接続された状態であってよい。モバイルデバイス115は統合ディスプレイ120を含む。
【0022】
ビデオソース105はビデオディスクプレーヤ、ビデオゲームコンソール、インターネット、ケーブルヘッドエンド、あるいは別のビデオソースを含みうる。ビデオソース105はビデオディスプレイ110にビデオコンテンツを送信する。ある実施形態では、ビデオソース105とモバイルデバイスコンテンツソース130とは全体あるいは一部が同一の装置かシステムであってよい。上述したように、ビデオソース105とビデオディスプレイ110の間は直結されていてもよいしネットワーク経由で接続されていてもよい。ビデオディスプレイ110はテレビ、ビデオモニタ(液晶ディスプレイやプラズマディスプレイなど)、あるいはその他のビデオディスプレイであってよい。例えば、ビデオコンテンツは、映画、テレビ番組、ビデオゲーム、ウェブコンテンツ、あるいはその他の形態のビデオコンテンツであってよい。
【0023】
上述したように、モバイルデバイス115は統合ディスプレイ120を含む。ある実施形態では、モバイルデバイス115には、ビデオカメラが内蔵されていてもよい(
図1には不図示)。このカメラはディスプレイとは逆方向を向いた、モバイルデバイス115に備えられた外向きのカメラであってもよい。更にこのカメラは、ビデオディスプレイ110を見ることができるよう、モバイルデバイスとの関連で他の方向を向いていてもよい。このモバイルデバイス115は携帯電話、携帯端末(PDA)、ポータブルビデオプレーヤ、ポータブルマルチメディアプレーヤ、ポータブルDVDプレーヤ、ノート型PC、携帯用ゲーム機、ゲームコントローラ、ビデオカメラ、あるいはその他のデジタル電子装置であってもよい。
【0024】
上述したように、モバイルデバイス115は、識別したビデオコンテンツに関連する補足コンテンツにアクセスする。この補足コンテンツはモバイルデバイスディスプレイ120に表示されうる。この補足コンテンツには、俳優情報、クイズ番組の問題に対するヒントや答え、スポーツ統計、ファンタジースポーツリーグ情報、あるプレーヤにとっての最新のビデオゲーム情報など、が含まれうる。更にこの補足コンテンツには、他の映画やゲームビュー、別のシーン、追加特典やボーナス特典、販促品、あるいは同様の情報などが含まれうる。ある実施形態では、一部隠しリンク、特別コンテンツを見つけるための課題、ビデオコンテンツに関連する追加のゲーム、報酬などがあってもよい。ある映画に関して、あるユーザが別のユーザに質問することもできた雑学的質問を表示するようにしてもよい。ある実施形態では、複数のユーザは各々コンテンツに投票することができる。あるいはモバイルデバイス115にコメントを入力することができる。これらは(ローカルユーザ、遠隔ユーザを問わず)別のユーザのモバイルデバイスでスクロールできるものであり、例えばリアリティテレビ番組の出演者についてのコメントをスクロールできる。更に、補足コンテンツは、その表示や角度が携帯用モバイルデバイスの角度やこのような他の情報に依存するものであってもよい。
【0025】
更に、観客のいる多人数参加型ビデオゲームやシングルプレイ用ビデオゲーム専用の新規態様が多くある。プレーヤや観客はそれぞれモバイルデバイスを使って別のビューを見ている場合がある。一実施形態では、プレーヤは全員、ビデオディスプレイ110で同じビューを見ている。各プレーヤは各々のモバイルデバイス115の統合ディスプレイを使ってある特徴を拡大し、付加的情報や秘密情報にアクセスすることもできる。このようにして、各プレーヤはビデオゲームコンテンツに関する、プレーヤ独自の様々なビューを得ることもできる。
【0026】
ある実施形態では、モバイルデバイスディスプレイ120には補足コンテンツしか表示されない。他の実施形態では、内蔵のビデオカメラ(不図示)はビデオディスプレイ110からビデオコンテンツをキャプチャすることもできる。更に他の実施形態では、ビデオソース105からの(高精細度マルチメディアインターフェース(HDMI(登録商標):High-Definition Multimedia Interface)ケーブルなどの)出力ケーブルから直接ビデオコンテンツをキャプチャすることもできる。モバイルデバイス115は補足コンテンツにアクセスし、アクセスした補足コンテンツを、ビデオディスプレイ110からキャプチャしたビデオコンテンツに重ねるかこれに隣接させてモバイルデバイスディスプレイ120に表示することができる。
【0027】
ビデオディスプレイ110をトラッキングするために様々な技術を使うことができる。例えば、モバイルデバイス115にカメラが内蔵されていれば、モバイルデバイス115はビデオコンテンツのサイズを識別できる。更に該モバイルデバイスに対するビデオコンテンツの位置と方向(つまり、ビデオディスプレイ110に対するモバイルデバイス115の位置及び方向)を識別できる。ある実施形態では、ビデオディスプレイ110に表示されるビデオコンテンツは、キャプチャされたビデオデータの範囲内でモバイルデバイス115がビデオコンテンツをトラッキングできるように(従って、ビデオカメラを使ってビデオディスプレイ110の位置をトラッキングできるように)フォーマットされた複数のマーカを含む。ビデオコンテンツのコーナーにマーカを配置してもよく、これは点や四角のパターン(バーコードと類似するもの)であってもよい。様々なオンスクリーンマーカを使用してもよい(記号、グラフィック、数、文字、電子透かし、符号化画像など)。同様に、マーカとして機能するように符号化音声を用いることもできる。更に、ビデオディスプレイ110それ自体を、あるいはそのアタッチメントをマーカとして機能させるようにしてもよい。
【0028】
各マーカは、トラッキングのアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を有していてもよい。あるマーカのパターンの各々は、異なる2進法表示などの異なる値を示すものであってもよい。ビデオコンテンツには各マーカに対応付けられる1以上の値が含まれていてもよい。モバイルデバイス115はビデオコンテンツをキャプチャし、マーカを配置し、値を識別しうる。従って、ビデオディスプレイ110に表示されるビデオコンテンツは、ビデオコンテンツを識別するマーカを含む場合がある。モバイルデバイス115はマーカに基づいてビデオコンテンツを識別することができる。また補足コンテンツ(テキスト、動画、グラフィック強化(例えば、2Dや3D強化)、広告、ハイパーリンク、及びその他の情報など)はビデオコンテンツのIDに基づいて選択されうる。
【0029】
ビデオコンテンツに対応付けられる値の一部は経時的に所与のマーカに変化するものであってもよい。従って、ビデオディスプレイ110に表示されるビデオコンテンツは、特定のビデオコンテンツの時間位置を識別するマーカを含みうる。(この特定のビデオコンテンツとは、例えば、ある映画の経過時間や特定のゲーム状況を示したものである。)映像は経時変化することから、タイムコードを使うことで補足コンテンツを映画やその他のビデオコンテンツと同期させることができる。モバイルデバイス115はビデオコンテンツの時間位置を識別するようにマーカを処理することもできる。ビデオコンテンツ(例えば、特定のシーンや俳優などに関係するもの)の時間位置に応じて補足コンテンツを選択することもできる。従って、時間の進行やステータス、ゲーム状況やその他の時間変化インジケータを示すべく、パターンやマーカは経時変化するものであってよい。これにより、モバイルデバイス115はビデオディスプレイ110に表示されたビデオコンテンツと密に同期することができるようになり、あるいは出力ケーブルを介して直接同期することができるようになる。同期のためにビデオソース105とモバイルデバイス115とは通信していてもよいし、通信していなくてもよい。コードは様々なレートでアップデートできる。例えば秒間24フレーム、あるいは0.25秒毎、3秒毎など、表示される情報の種類に応じて10〜15秒までの間隔毎に、あるいはこれ以上の間隔毎に24フレームをアップデートできる。モバイルデバイス115は予めその間隔を把握している場合があり、従って、一旦同期がなされると、モバイルデバイス115はその間隔でサーチプロセスを実行するだけでよい。
【0030】
他の実施形態では、ビデオソース105は、ビデオコンテンツ及び/又はビデオコンテンツの時間位置を(マーカを使って送信する代わりに)識別することができる。ビデオソース105はこの情報(ビデオコンテンツ及び/又は時間位置を識別する情報)をモバイルデバイス115あるいはモバイルデバイスコンテンツソース130に送信することもできる。モバイルデバイス115、モバイルデバイスコンテンツソース130あるいはこの組み合わせがこの情報が利用して、補足コンテンツがビデオディスプレイ110に表示されるビデオコンテンツと同期するようにしてもよい。従って、各種実施形態では、識別ソース135は、情報の送信及び/又は表示を行い、これを識別レシーバ140が受信又はキャプチャするようにしてもよい。識別ソース130はビデオソース105、ビデオディスプレイ110、あるいはこの組み合わせであってよく、識別レシーバ140はモバイルデバイス115、モバイルデバイスコンテンツソース130、あるいはこの組み合わせであってよい。該情報は、ビデオコンテンツ、ビデオコンテンツの時間位置、あるいはこのいずれの組み合わせを識別することができる。
【0031】
図2に示す別の一連の実施形態では、システム200はビデオソース105、ビデオディスプレイ110、及びモバイルデバイス115−aと115−b、及びユーザ独自のモバイルデバイスコンテンツソース205を含む。システム200は
図1のシステム100の一例であってもよい。モバイルデバイス115はディスプレイ120とビデオカメラ225とを含む。このユーザ独自のモバイルデバイスコンテンツソース205は
図1のビデオソース105であってもよい。
【0032】
複数のプレーヤに向けて表示するように、ビデオソース105がビデオゲームをビデオディスプレイ110に送信している例を検討する。ビデオカメラ225は各々ビデオデータをキャプチャする。このビデオデータはビデオディスプレイ110からのビデオゲームを含む。モバイルデバイス115は各々ビデオゲームコンテンツのマーカを使ってビデオディスプレイをトラッキングする。各モバイルデバイス115はユーザ独自のモバイルデバイスコンテンツソース205から補足コンテンツを受信する。この補足コンテンツは、各々のプレーヤしか入手できないプレーヤ専用の秘密情報であってもよい。この秘密の補足コンテンツを特定のプレーヤのモバイルデバイス115にしか表示しないことで(ビデオディスプレイ110には表示しない)この情報の秘密を守ることができる。別の実施形態では、補足コンテンツはモバイルデバイス115を介してプレーヤからリクエストされた情報であってもよい。この特別にリクエストされた情報(例えば、ゲームの別のビュー、命令、詳細なプレーヤ専用情報など)は特定のプレーヤのモバイルデバイス115に表示される(ビデオディスプレイ110には表示されない)。
【0033】
一実施形態では、ビデオソース105及びユーザ独自のモバイルデバイスコンテンツソース205は一体となって単一のビデオゲームコンソールデバイスを構成する。他の実施形態では、ビデオソース105はコンソールデバイスであってよく、ユーザ独自のモバイルデバイスコンテンツソース205は遠隔サーバであってよい。更に別の実施形態では、ビデオソース105及びユーザ独自のモバイルデバイスコンテンツソース205は各々同一の遠隔サーバであってもよい(あるいは、別々の遠隔サーバであってもよい)。補足情報を、キャプチャしたビデオゲームコンテンツは含まずにモバイルデバイスディスプレイ120に表示させるようにしてもよいし、ビデオコンテンツから離れたスクリーンの別の場所に表示させるようにしてもよい。あるいはビデオコンテンツにオーバーレイするかこれと一体化して表示させるようにしてもよい。
【0034】
ビデオソース105が表示のためにテレビ番組をビデオディスプレイ110に送信している他の例を検討する。各ビデオカメラ225はビデオデータをキャプチャしうる。このビデオデータはビデオディスプレイ110からのテレビ番組を含む。モバイルデバイス115は各々テレビ番組のコンテンツのマーカを用いてビデオディスプレイをトラッキングする。更に、モバイルデバイス115はこのマーカを使ってテレビ番組とテレビ番組中の時間位置とを識別する。各モバイルデバイス115のユーザは(例えば、(ローカル、遠隔を問わず)ユーザ独自のモバイルデバイスコンテンツソース205と通信するために各々のモバイルデバイス115を使って)補足コンテンツをリクエストすることもできる。各モバイルデバイス115はこのユーザ独自のモバイルデバイスコンテンツソース205から補足コンテンツを受信することもできる。この補足コンテンツは、俳優情報、スポーツ統計、ファンタジースポーツリーグ情報、他のビュー、雑学情報、関連情報を示すためのハイパーリンクなどでありうる。特別にリクエストを出しているユーザのモバイルデバイス115にしか補足コンテンツを表示しないようにすることで(ビデオディスプレイ110には表示しない)、ビデオディスプレイ110が雑然としたものとさせることなく、テレビ番組に関するユーザ独自の情報にアクセス可能となる。キャプチャしたテレビ番組のコンテンツは含まずにモバイルデバイスディスプレイ120に補足情報を表示してもよく、テレビ番組のコンテンツから離れたスクリーンの別の場所に表示してもよい。あるいはテレビ番組のコンテンツにオーバーレイするかこれと一体化して表示させるようにしてもよい。
【0035】
図3に示す別の一連の実施形態では、システム300はビデオゲームコンソールデバイス305、ビデオディスプレイ110、及びモバイルデバイス115−c、115−dを含む。本システム300は
図1のシステム100の一例であってもよい。コンソールデバイス305は
図1のビデオソース105及びモバイルデバイスコンテンツソース130であってもよい。一実施形態では、ビデオゲームコンソールデバイス305はビデオディスプレイ110に直結されており、モバイルデバイス115と無線通信している。モバイルデバイス115は各々、ディスプレイ120とビデオカメラ225とを含む。
【0036】
ビデオゲームコンソールデバイス305がビデオゲームディスクからビデオゲームを再生しており、表示のためにディスクからのビデオゲームをビデオディスプレイに送信している例を検討する。ビデオカメラ225は各々ビデオデータをキャプチャすることもできる。ビデオデータにはビデオディスプレイ110からのビデオゲームコンテンツを含む。モバイルデバイス115は各々ビデオゲームコンテンツ中のマーカを用いてビデオディスプレイ110をトラッキングする。モバイルデバイス115は各々ビデオゲームコンソールデバイス305から補足コンテンツを無線受信し、このアクセスした補足コンテンツを各々のディスプレイ120に表示する。
【0037】
従って、ある実施形態では、ビデオゲームコンソールデバイス305は補足コンテンツを有する(これは、ビデオゲームディスク自体からのものであってもよいし、ネットワークを介して遠隔アクセスされたものであってもよい)。ビデオゲームコンソールデバイス305は表示されるビデオコンテンツと補足コンテンツのどちらも提供する。これにより(例えば、マーカを使用せずとも)補足コンテンツを容易に識別することができるようになる。ある実施形態では、プレーヤはモバイルデバイス115を使って、モバイルデバイスディスプレイ120に表示される特定の種類の補足コンテンツを制御するかこれを選択するようにしてもよい。このコンテンツは、プレーヤ専用の秘密情報であってもよいし、単にプレーヤからリクエストされた補足コンテンツであってもよい。補足情報を、キャプチャしたビデオゲームは含まずにモバイルデバイスディスプレイ120に表示させるようにしてもよいし、あるいはビデオゲームコンテンツから離れたスクリーンの別の場所に表示させるようにしてもよい。あるいはビデオゲームコンテンツにオーバーレイするかこれと一体化して表示させるようにしてもよい。
【0038】
図4に示す別の一連の実施形態では、システム400はコンソールデバイス405、ビデオディスプレイ110、モバイルデバイス115、ネットワーク420、(複数の)補足コンテンツデータストア410、及び補足コンテンツサーバ415を含む。このシステム400は、
図1のシステム100の一例であってもよい(例えば、(複数の)補足コンテンツデータストア410と補足コンテンツサーバ415とは、
図1のモバイルデバイスコンテンツソース130などのモバイルデバイスコンテンツソース130−aであり、コンソールデバイス405は
図1のビデオソース105であってもよい)。一実施形態では、コンソールデバイス405はビデオディスプレイ110に直結されている。モバイルデバイス115はネットワーク420に無線接続されていてもよいし、ネットワーク420を介して(複数の)補足コンテンツデータストア410及び補足コンテンツサーバと通信していてもよい。コンソールデバイス405はネットワーク420と通信していてもよいし、ネットワーク420を介して(複数の)補足コンテンツデータストア410及びコンテンツサーバ415と通信していてもよい。
【0039】
一例では、コンソールデバイス405はビデオゲームあるいは映画を再生中であり、表示のためにビデオコンテンツをビデオディスプレイ110に送信している。各ビデオカメラ225はビデオデータをキャプチャする。このビデオデータはビデオディスプレイ110からのビデオコンテンツを含みうる。各モバイルデバイス115は(例えば、キャプチャされたビデオデータを用いて)ビデオディスプレイ110をトラッキングしうる。各モバイルデバイス115は、(複数の)補足コンテンツデータストア410及び補足コンテンツサーバ415からネットワーク420経由で補足コンテンツを受信する。各モバイルデバイス115はこの補足コンテンツをモバイルデバイスディスプレイ120に表示する。補足コンテンツは、プレーヤ専用のビデオコンテンツであってもよいし(例えば、特定プレーヤ専用の秘密情報や秘密のビューであって、そのプレーヤのモバイルデバイス115にしか送信されないもの)、その他のユーザ独自のビデオコンテンツであってもよい(例えば、ユーザがリクエストした情報や、ある映画やテレビ番組に関連するコンテンツ)。
【0040】
該補足コンテンツはビデオコンテンツに関連するものであるか、該ビデオコンテンツに応じて選択されるものである。例えば、ある実施形態では、補足コンテンツはビデオコンテンツに基づいて選択される広告(例えば、テキスト、動画、グラフィック、ハイパーリンク、及びその他の情報など)である。ある実施形態では、ビデオコンテンツはわかっているが時間位置はわかっていないことがある。補足コンテンツサーバ415はモバイルデバイス115の各々に対して時間特定されていない補足コンテンツを送信することがある。
【0041】
更に別の実施形態では、補足コンテンツサーバ415はビデオコンテンツの時間位置を識別することがある。このことはコンソールデバイス405、あるいはモバイルデバイス115との通信によりわかる(例えば、モバイルデバイス115はマーカ(本明細書の他の場所で詳述されている)から補足コンテンツサーバ415に情報を送信しうる)。補足コンテンツサーバ415は、(複数の)補足コンテンツデータストア410にアクセスして、モバイルデバイス115がキャプチャしているビデオコンテンツに関連する補足コンテンツを読み出す。このコンテンツは、時間特定されたビデオコンテンツの間に表示するようにモバイルデバイス115に送信されてもよい。更に、補足コンテンツは((複数の)補足コンテンツデータストア410などのローカルあるいは遠隔ストレージなどから)モバイルデバイス115に予め読み込まれたものであってもよいことに留意されたい。
【0042】
補足コンテンツサーバ415は、1以上のサーバコンピュータ、ワークステーション、ウェブサーバ、あるいはその他の適切なコンピューティングデバイスを含みうる。該補足コンテンツサーバ415は全体が単一の設備内に設けられたものであってもよいし、地理的に分散されていてもよい。いずれの場合もネットワークを使って様々な構成要素を結合するようにしてもよい。
【0043】
図5は、本発明の各種実施形態に従う、補足コンテンツを表示するためのモバイルデバイス115−fを示すブロック500である。これは、
図1、2、3、あるいは4のモバイルデバイス115としてもよいが、そうでなくてもよい。モバイルデバイス115−fはビデオカメラ510、トラッキングモジュール515、ビデオコンテンツIDモジュール520、補足コンテンツモジュール525、ディスプレイインテグレータモジュール530、ディスプレイ535、及びレシーバモジュール540を含みうる。ある実施形態では、モバイルデバイス115−fはこれらの構成要素の一部分しか含んでいなくてもよい。また、モバイルデバイス115−fと通信しているその他のデバイスが上述した機能の一部を実行することもできることに留意されたい。
【0044】
各構成要素のすべての、あるいは一部の機能性を、ハードウェアで適用できる機能の一部あるいはすべてを実行するように構成された1以上の特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)に個別に、又は集合的に実装することもできる。 他の形態では、1以上の集積回路の1以上のその他の処理装置(あるいはコア)が各機能を実行することもできる。他の実施形態では、その他の種類の各種集積回路(例えば、構造化/プラットフォームASIC、フィールドプログラマブルゲートアレイ(FPGA)、及びその他のセミオーダIC)を用いることもでき、これらは当業者に周知のいずれの方法でプログラムされうる。更に各機能は、また、1以上の汎用あるいは特定用途向けプロセッサにより実行されるようにフォーマットされたメモリにより具体化される命令で一部あるいは全体を実行することもできる。
【0045】
ビデオカメラ510がテレビやその他の表示装置に表示されるビデオコンテンツ505をキャプチャすることもできる。このキャプチャしたビデオの範囲内でこのビデオコンテンツを分析することにより、トラッキングモジュール515はビデオディスプレイをトラッキングすることもできる。トラッキングモジュール515は、キャプチャしたビデオデータの範囲内でビデオコンテンツのサイズ及び位置、更に、モバイルデバイス115−fに対するビデオディスプレイの位置と方向を識別することによりビデオディスプレイをトラッキングすることができる。本明細書の他の場所で記載したマーカを使ってトラッキングが実行されてもよい。
【0046】
更に、ソースの出力ポートに接続されたケーブルを使って出力ポートから直接ビデオをキャプチャすることができる。キャプチャしたビデオはアナログ、デジタル、あるいはハイブリッドアナログ/デジタルフォーマットであってもよい。キャプチャしたビデオをビデオカメラ510を無視してトラッキングモジュール515に直接送ることもできる。
【0047】
ビデオコンテンツIDモジュール520はマーカを解読することもでき、あるいは別の方法で(キャプチャしたビデオコンテンツを介して直接的に、あるいは他の手段によって)ビデオコンテンツを識別することもできる。ある実施形態では、ビデオコンテンツIDモジュール520は更にビデオコンテンツの時間位置を識別する。補足コンテンツモジュール525は補足コンテンツにアクセスする。識別したビデオコンテンツに応じてアクセスされる補足コンテンツが選択される。更にこのアクセスされる補足コンテンツはビデオコンテンツの時間位置に関係するものであってよい。ある実施形態では、所与の時間位置に多くの補足コンテンツオプションが含まれる。これらはモバイルデバイス115−fのユーザにより選択可能なものであってよい。
【0048】
ビデオコンテンツIDモジュール520と補足コンテンツモジュール525とは統合モジュール545であってもよい。別の態様では、この機能性の一部あるいはすべてを、モバイルデバイス115−fとは離れて設けることもできる(例えば、
図4の(複数の)補足コンテンツデータストア410及び補足コンテンツサーバ415についての説明を参照のこと)。同様に、トラッキングモジュール515もモバイルデバイス115−fとは離れて設けることができる。従って、モバイルデバイス115−fのレシーバモジュール540は(予め、あるいはリアルタイムに)補足コンテンツ550を受信することができる。ローカルコンソールデバイス(
図3のビデオゲームコンソールデバイスなど)から、あるいはローカル又は遠隔の補足コンテンツデータストア(
図4のデータストアなど)からこの補足コンテンツを受信することもできる。
【0049】
ディスプレイインテグレータモジュール530は、ビデオカメラ510によりキャプチャ又はビデオソースから直接出力ケーブルを介してキャプチャしたビデオと、このビデオコンテンツの場所、サイズ、位置、及び/又は方向に関する情報をトラッキングモジュール515から受信する。ディスプレイインテグレータモジュール530は、補足コンテンツモジュール525から補足コンテンツを受信する。ディスプレイインテグレータモジュール530は補足コンテンツの拡大縮小及び方向付けをすることができる。ディスプレイインテグレータモジュール530は、補足コンテンツをキャプチャしたビデオコンテンツを含まずに表示させるようにすることができ、該補足コンテンツをビデオゲームコンテンツから離れたスクリーンの別の場所に表示させるようにすることも可能である。あるいは該補足コンテンツをビデオコンテンツにオーバーレイするか、これと一体化して表示させるようにすることも可能である。例えば、ディスプレイインテグレータモジュール530は、アクセスした補足コンテンツをビデオコンテンツにオーバーレイし、この一体化したビデオをディスプレイ535に送信することができる。
【0050】
補足コンテンツとしては、俳優のIDや俳優情報、ロケの背景、雑学、プレーヤの統計、ファンタジー情報、クイズ、明かされるべき秘密の「隠し機能」、マルチアングルへのリンク、プレーヤ専用の秘密のゲーム情報、及びその他のボーナス特典などの様々なものが提供されてもよい。これらはテキスト、動画、グラフィック強化(2Dや3D強化)、広告、ハイパーリンクなどの形態であってもよい。
【0051】
図6に移ると、様々な画面を示した例示的な画像セット600を使用して各種の新規態様が示されている。画像605がディスプレイ(
図1、2、3あるいは4のビデオディスプレイ110など)に表示されたビデオコンテンツであると仮定する。画像605には、特定のコーナーにマーカ610が配置されている。上述したように、マーカ610は点や四角のパターン(バーコードと類似するもの)であってもよい。しかし、他の実施形態では、各種のオンスクリーンマーカ(コード、グラフィック、数字、文字、電子透かし模様、あるいは符号化された画像など)を使用することもできる。マーカ610はトラッキングのためのアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を備えていてもよい。あるマーカ610の各パターンは異なる2進法表示といった異なる値を示すものであってもよい。ビデオコンテンツにおいて、各マーカ610に1つ以上の値を対応付けるようにしてもよい。各マーカは、コンテンツの識別に加えて時間位置の識別もできるように経時変化するものであってもよい。
【0052】
画像625はモバイルデバイスに表示するように生成された画像を示し(例えば、
図1、2、3、あるいは4のモバイルデバイス115の統合ディスプレイ120)、(画像625の範囲内の)画像630は補足コンテンツを示す。例示の実施形態では、画像630−aはテキストであり、画像630−bはグラフィックである。ビデオディスプレイをトラッキングするようにマーカ610を処理することもできる。更に、ビデオコンテンツとビデオコンテンツ中の時間位置を識別するようにマーカ610を処理することもできる。上述の1以上の要因に基づいて補足コンテンツ630を選択するようにしてもよい。既述のように、補足コンテンツはテキスト、動画、グラフィック強化(2Dや3D強化)、広告、ハイパーリンクなどであってもよい。モバイルデバイスを使用することによって、ユーザはビデオディスプレイに表示されるビデオコンテンツに関連する補足コンテンツを見ることができる。この補足コンテンツには、俳優情報、スポーツ統計、プレーヤにとっての最新のゲーム情報、映画やゲームの別のビュー、別の場面、追加特典やボーナス特典、あるいはこれに類似する情報などが含まれうるが、これらに限定されない。この補足コンテンツはある実施形態では自動表示される、別の実施形態では該コンテンツはユーザが選択できるものである。
【0053】
モバイルデバイスを使ってプレイすることができる、ビデオコンテンツに関連するゲームがあってもよい。例えば、ビデオコンテンツに関連する質問や投票があってよい。各プレーヤは回答を入力することもでき、クイズに対する予測や回答の出来に応じて得点を得ることもできる。最後にこのスコアをアップロードすることもできる。生のスポーツイベントに対しては、ユーザがプレイや結果の予測を試みることができるように(例えば、ハドルを組む間やフリースローラインにおいて、あるいはバッターボックスにおいて)特定のコードを表示するようにしてもよい。ゲームに勝つと、あるいはある一定の得点を獲得すると、コンテンツが解除されるかダウンロードなどによってコンテンツに到達することができる。ある実施形態では、モバイルデバイスを使ってアクセスすることができる共通のディスプレイには秘密の態様が含まれていてもよい。更に、各ユーザは各々のモバイルデバイスにビデオコンテンツに関連した入力(テキストや図などの)を各々のモバイルデバイスに行う。この入力を他のユーザのモバイルデバイス(ローカル又は遠隔を問わず)に表示させるようにもできる。
【0054】
補足コンテンツとして利用できる視野角、装置の焦点距離及び画面の大きさは様々に異なるものであってもよい。補足コンテンツは、共通のビデオディスプレイ上のビデオコンテンツを拡大して表示したものとしてもよく、例えば、キャプチャした画像がモバイルデバイスのスクリーンの半分しか占有しないものであったとしても、モバイルデバイスのディスプレイに全体表示するものとしてもよい。補足コンテンツは、基本の表示画像がモバイルデバイスで変化しないように、画像安定化技術で処理されたビデオコンテンツを含んでもよい。
【0055】
補足コンテンツはあるシーンで示されたアイテムを購入するためのリンクを提供する電子小売業者と提携したものであってもよい。ある映画のプロダクトプレースメントに関連して、モバイルデバイスを使ってあるアイテムをクリックしてそのアイテムを購入し、また、その製品のウェブサイトに行くこともできる。部屋を移動したりデバイスを傾けることにより異なるバージョンの補足コンテンツを表示させることもできる。
【0056】
図7に移ると、様々な画面を示した例示的な一連の画像600を使用して各種の新規態様が示されている。画像705がディスプレイに表示されたビデオカードゲームであると仮定する(例えば、
図1、2、あるいは3のビデオディスプレイ110)。画像705には、特定のコーナーにバイナリコードを識別するためのマーカ710が配置されている。上述したように、他の実施形態では、このマーカ710は各種様々なスクリーンマーカであってもよい。各マーカ710はトラッキングのためにアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を備えていてもよい。各マーカ710はビデオコンテンツを識別するために異なる値を示すものであってもよい。更に該マーカ710は経時変化するものであってもよい。
【0057】
画像725-a及び725−bは、様々なモバイルデバイス(例えば、
図1、2、3、4、あるいは5のモバイルデバイス115)に対してキャプチャしたビデオである。画像725−aはプレーヤ1用に生成された画像であり、画像725−bはプレーヤ2用に生成された画像である。画像730−a及び730−bはビデオディスプレイからキャプチャしたビデオゲームコンテンツの一部(例えば、キャプチャされたイメージ705の一部)である。画像725−a及び725−bの範囲内で画像730−a及びイメージ730−bをそれぞれトラッキングするように各マーカ710を処理するようにしてもよい。画像735−a及び735−bは、オーバーレイコンテンツとして異なる補足コンテンツが異なるプレーヤに提供されうる様子を示したものである。
【0058】
例えば、補足コンテンツ735−aの位置と補足コンテンツ735−bの位置とを比較する。画像735−aはプレーヤ1にカードを開示している(しかし、プレーヤ2のカードはイメージ725−a中のどこにも示されていない);画像735−bはプレーヤ2にカードを開示している(しかし、プレーヤ1のカードはイメージ725−b中のどこにも示されていない)。これは、プレーヤ各々のシークレットビューが保持されうる様子を示す。プレーヤ専用の様々な補足コンテンツが提供されるだけでなく、補足コンテンツはユーザの選択に基づくもの、及び/又はビューアの角度に基づくものであってもよい。例えば、ユーザはそれぞれ(事前に選択された好みにより、あるいはリアルタイム選択により)受信したい補足コンテンツの種類を特定することができる。
【0059】
従って、モバイルデバイスを使ってディスプレイのビデオゲームコンテンツと同期させ、更に、プレーヤ毎に異なるプレーヤ専用のゲームビューを示すことができる。プレーヤ専用のゲーム情報はモバイルデバイスにより表示又は受信されてもよい。シークレットビューを有するある実施形態では、プレーヤ専用情報はモバイルデバイスにより表示及び受信される。従って、マルチプレーヤゲームや協力プレイを行うゲームでは、プレーヤ毎の「シークレットビュー」を各プレーヤの各々のモバイルデバイスに表示することができる。各プレーヤは各々専用バージョンのゲームを見ることができ、共通のディスプレイには秘密ではない公開情報が示される。
【0060】
クイズゲームでは、プレーヤは回答の選択又は入力をすることもできる。この場合、他のプレーヤはこの回答を見ることができない。順番に行うターンベースのワードゲーム(言葉遊び)では、第1プレーヤは、回答が正しく書かれているかを確認するために自分が入力している文字を見ることもできるが、その回答がヒントになってしまうこともあるから、他のプレーヤ(達)にはその答えを見せたくない場合がある。スポーツゲームでは、モバイルデバイスを介して密かにゲームにエントリーすることもできる。バトルゲームでは、プレーヤが内密に武器を選択することもできる。この機能性を使って、他のプレーヤからは見えない情報を入力し、あるいは見ている間、各プレーヤが共通のビデオディスプレイを共有できるようにしてもよい。ある実施形態では、各プレーヤは同じチームであってもよく(例えば、ドライバと射撃手)、共通のディスプレイには車の目的地のビューが示されてもよいが、各プレーヤは各々のモバイルデバイスに役割独自のビュー表示させることもできる。
【0061】
このことから、ある実施形態では、モバイルデバイスはゲームの状況を理解している必要があり、この情報をコンソール(例えば、
図3のコンソールデバイス305)から、あるいはネットワークを介して(例えば、
図4の補足コンテンツサーバ415から)受信するようにしてもよい。ビデオゲームコンテンツのマーカを使ってこの情報を伝達することも可能である。モバイルデバイスは情報しか受信しないように構成されてもよいし、ユーザの選択を送信してゲームの態様を制御するように構成されてもよい。
【0062】
図8に移ると、様々な画面を示した例示的な一連の画像800を使用して各種の新規態様が示されている。画像805がディスプレイ(
図1、2、3、あるいは4のビデオディスプレイ)に表示されたビデオゲームであると仮定する。画像805には、特定のコーナーにバイナリコードを識別するためのマーカ810が配置されている。マーカ810は、トラッキングのためにアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を有することができる。各コード810はビデオコンテンツを識別するために異なる値を示すものであってもよい。更に該マーカ810は経時変化し、ビデオコンテンツとタイミングとを識別するようにしたものであってもよい。
【0063】
画像825−aと825−bとは別々のモバイルデバイスに対する表示画面である。画像825−aはプレーヤ1用に生成された画像であり、画像825−bはプレーヤ2用に生成された画像である。画像825−aは(画像805をキャプチャした画像とは対照的に)画像805をレンダリングした画像835−bを含む。更に、画像835−bはプレーヤ1用の補足コンテンツ845を含む。該コンテンツ845は(レンダリングされたイメージ835−bにオーバーレイした)プレーヤ1のゲームチームの場所とメンバー数とを示すものである。更に、画像825−aは、プレーヤ1のゲームに関連するテキスト835−aで構成された補足コンテンツを含む。
【0064】
画像825−bは(画像805をレンダリングした画像とは対照的に)画像805をキャプチャしたイメージ803を含む。このキャプチャした画像はビデオカメラ(例えば、ビデオカメラ510)からキャプチャしたものであってもよいし、ビデオソースからの出力ケーブルから直接キャプチャしたものであってもよい。画像830はプレーヤ2用の補足コンテンツ840を含み(キャプチャした画像830にオーバーレイされている)、これはプレーヤ2のゲームチームの場所とメンバー数とを示すものである。更に、画像825−bはゲームに関連する追加情報を含むグラフィック835−cで構成された補足コンテンツを含む。画像825−a及び825−bは、異なる補足コンテンツが異なるプレーヤに提供されうる様子を示したものである。
【0065】
ビデオディスプレイをトラッキングし、ビデオコンテンツを識別し、及び/又はビデオコンテンツ中の時間位置を識別するための多くの方法があることに留意されたい。例えば、ある実施形態では、モバイルデバイス(例えば、
図1、2、3、4、あるいは5のモバイルデバイス115)には低解像度バージョンの映画が含まれうる。モバイルデバイスはこれらのフレームを検索して、映画と同期することもできる。該デバイスにはこの低解像度の映画のハッシュが記憶される。また該デバイスはイメージマッチングを実行することもできる。
【0066】
他の実施形態では、トラッキングID及び/又はコンテンツIDを提供すべく、ビデオストリームには「見えない」透かしが埋め込まれていてもよい。モバイルデバイスは、コンテンツに埋め込まれた電子デジタル透かしをキャプチャすることができ、これを使ってビデオコンテンツをトラッキングするようにしてもよい。画像内におけるスクリーンのアウトラインを決定するためのトラッキングを容易にするために、スクリーンの選択された予測可能領域やスクリーン全体にわたってこの透かし模様を入れるようにしてもよい。一実施形態では、画面には2つの透かし模様あるいはマーク部分がある。1つはアンカー(例えば、エッジの周りや付近にあり安定したスタティックマーク)に対応するものであり、1つはコード(例えば、時間の経過とともに変化する変調マーク)に対応するものである。
【0067】
ある実施形態では、トラッキングID及びコンテンツIDは画像に埋め込まれていてもよい。スキャンした画像全体あるいはその一部をフーリエ変換し、その画像にわたっての周波数を分析するようにしてもよい。情報は、人間には知覚できない画像の一部(例えば、非常に高周波数の画像)にコード化することもできる。埋め込まれる情報は透かし模様に関連するものであってもよいし(例えば、透かし模様の場所を定義するもの)、透かし模様とは関係ない独立したものであってもよい。
【0068】
更に別の実施形態では、トラッキングIDとコンテンツIDとを字幕やロゴ、あるいはその他の画像に埋め込むこともできる。該情報は更に、音声のサイドバンドにある、人間の耳には聞こえない周波数でコード化されたものであるが、フーリエ変換などを用いて検出可能なものであってもよい。同様に、画像データと音声データを組み合わせたものを使ってトラッキング及びキャプチャするようにしてもよい。この場合も、ディスプレイをトラッキングし、ビデオコンテンツを識別し、あるいは時間位置を識別するためにマーカを使うことができる点に留意されたい。
【0069】
各実施形態ではマーカは必要ない場合もある。その理由は、モバイルデバイスは(ディスプレイのモデル及び/又はサイズを理解することで)別の方法でディスプレイを認識しトラッキングすることができるためである。ある実施形態では、ディスプレイをトラッキングするために、センサーバー、ステッカ、あるいはその他のアタッチメントを使用することもできる。更に、ビデオコンテンツは必ずしもマーカを使って識別されなくてもよいが、その他の方法で識別される必要がある。例えば、ビデオコンテンツ及び/又は時間位置は
図1のビデオソース105により識別され、これに基づいて補足コンテンツが選択されうる。あるいは、
図3のビデオゲームコンソールデバイス305がビデオゲームコンテンツの識別を行い、補足コンテンツとビデオゲームコンテンツとを確実に同期するようにしてもよい。本開示に照らして、更に多くの例は当業者にとっては明らかであろう。
【0070】
この場合も、ビデオコンテンツの表示時に先立って補足コンテンツをダウンロードすることもできる(例えば、ダウンロードストアを介して、あるいは映画のビデオディスクからコンテンツをコピーすることによって)ことに留意されたい。別の態様では、一部のコンソールデバイスは、コンテンツの再生中に無線接続により補足コンテンツをモバイルデバイスにストリームできる。これにより、ポータブルデバイスがコンテンツをプレロードするのを防ぐことができる。更に別の実施形態では、オーバーレイコンテンツはネットワークからストリームされうる。
【0071】
次に
図9を参照すると、本発明の各種実施形態に従う、補足コンテンツをモバイルデバイスに提供するための方法900を例示したフローチャートが示されている。例えば、方法900は、
図1、2、3、あるいは4のシステム100、200、300又は400により全体又は一部が実行されてもよい。より具体的には、
図1、2、3、4又は5のモバイルデバイス115により、
図3のビデオゲームコンソールデバイス305により、
図4のコンソールデバイス405により、
図4の補足コンテンツサーバ415により、及び/又はこのいずれの組み合わせにより、該方法900の全体あるいは一部が実行されてもよい。
【0072】
ブロック905では、モバイルデバイスに対するビデオディスプレイの位置をトラッキングする。位置のトラッキングはビデオカメラ、無線位置決定システム、慣性基準装置などにより行うことができる。ブロック910では、トラッキングしたビデオディスプレイに表示されるビデオコンテンツを識別する。ブロック915では、識別したビデオコンテンツに少なくともある程度基づいて選択した補足コンテンツにアクセスする。ブロック920では、アクセスした補足コンテンツをモバイルデバイスと統合されたディスプレイに表示する。
【0073】
次に
図10を参照すると、本発明の各種実施形態に従う、モバイルデバイス用の補足コンテンツを識別するための方法1000を例示したフローチャートが示されている。例えば、方法1000は、
図1、2、3、あるいは4のシステム100、200、300又は400により全体又は一部が実行されてもよい。より具体的には、
図1のモバイルデバイスコンテンツソース130により、
図2のユーザ独自のモバイルデバイスコンテンツソース205により、
図3のビデオゲームコンソールデバイス305により、
図4のコンソールデバイス405により、
図4の補足コンテンツサーバ415の補足コンテンツサーバ415により、及び/又はこのいずれの組み合わせにより、方法1000の全体あるいは一部が実行されてもよい。
【0074】
ブロック1005では、第1プレーヤに対応付けられる第1モバイルデバイスによりトラッキングされ、更に第2プレーヤに対応付けられる第2モバイルデバイスによりトラッキングされるビデオディスプレイに表示されるビデオゲームコンテンツを識別する。ブロック1010では、ビデオゲームコンテンツを補足し、これに対応付けられる、第1プレーヤ用の第1プレーヤ専用ビデオデータにアクセスする。ブロック1015では、アクセスした第1プレーヤ専用ビデオデータを第1モバイルデバイスに送信し表示する。ブロック1020では、ビデオゲームコンテンツを補足し、これに対応付けられる、第2プレーヤ用の第2プレーヤ専用ビデオデータにアクセスする。ブロック1025では、アクセスした第2プレーヤ専用ビデオデータを第2モバイルデバイスに送信し表示する。
【0075】
ある実施形態(不図示)では、このプレーヤ専用のビデオデータはテキスト、動画、あるいはグラフィック強化であってもよく、ビデオゲームコンテンツとは別に、あるいはこれに一体化されてモバイルデバイスに表示されてもよい。ある実施形態では、プレーヤ専用のビデオデータは第1プレーヤは入手できるが第2プレーヤは入手できない秘密情報である。このプレーヤ専用のビデオデータは、所与のプレーヤにより選択されたものであるが、いずれのプレーヤも入手できるものであってよい。
【0076】
次に
図11を参照すると、本発明の各種実施形態に従う、モバイルデバイスに表示するための補足コンテンツを識別するための方法1100を例示したフローチャートが示されている。例えば、方法1100は、
図1、2、3、あるいは4のシステム100、200、300又は400により全体又は一部が実行されてもよい。より具体的には、
図1、2、3、4、あるいは5のモバイルデバイス115により、
図3のビデオゲームコンソールデバイス305により、
図4のコンソールデバイス405により、
図4のオーバーレイコンテンツサーバ415により、及び/又はこのいずれの組み合わせにより、該方法1100の全体あるいは一部が実行されてもよい。
【0077】
ブロック1105では、ビデオディスプレイからキャプチャし、マーカを含む、モバイルデバイスに内蔵されたビデオカメラでキャプチャしたビデオコンテンツを受信する。
【0078】
ブロック1110では、マーカを使ってビデオディスプレイの場所をトラッキングする。ブロック1115では、マーカからの情報を使ってビデオディスプレイからキャプチャしたビデオコンテンツを識別する。ブロック1120では、時間位置を識別できるように変化するようフォーマットされたマーカからの情報を使ってビデオコンテンツの時間位置を識別する。
【0079】
ブロック1125では、独立型テキスト及びオーバーレイグラフィックを含む補足コンテンツを記憶する。ブロック1130では、モバイルデバイスのユーザによる選択、識別したビデオコンテンツ、及びビデオコンテンツの時間位置に基づいて補足コンテンツを選択しこれにアクセスする。ブロック1135では、トラッキングしたビデオディスプレイの場所に応じて補足コンテンツの拡大縮小と方向付けを行う。ブロック1140では、キャプチャしたビデオコンテンツにオーバーレイしたグラフィックに隣接するテキストを統合ディスプレイに表示する。
【0080】
図12は、一実施形態に従うデバイスを実装するのに適したハードウェアシステムの一例を示す説明図である。本ブロック図において、コンピュータシステム1200が例示されており、これは、パソコン、テレビゲーム用コンソールと対応付けられたディスプレイ(例えば、
図3又は4のコンソールデバイス305、405とビデオディスプレイ110)、携帯端末、あるいはその他のデジタルデバイスなどの、本発明の実施形態を実行するのに適したものである。コンピュータシステム1200はソフトウェアアプリケーション及び任意にオペレーションシステムを実行するための中央処理装置(CPU)1205を含む。CPU1205は、1以上の同種又は異種の処理コアで構成されうる。メモリ1210は、CPU1205により使用されるアプリケーション及びデータを記憶する。ストレージ1215は、アプリケーション及びデータに対して不揮発性記憶装置及びその他のコンピュータ可読媒体を提供する。また、ストレージ1215は固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びCD−ROM、DVD−ROM、Blu−ray(登録商標)、HD−DVD、又はその他の光学式記憶装置を含み、これらに加えて信号伝送及び記憶媒体を含みうる。ユーザ入力装置1220は、1名以上のユーザからの入力をコンピュータシステム1200に知らせる。
【0081】
入力装置の例としては、キーボード、マウス、ジョイスティック、タッチバッド、タッチスクリーン、静止カメラ又はビデオカメラ、及び/又はマイクロフォンなどが挙げられる。ネットワークインターフェース1225により、コンピュータシステム1200は電子通信ネットワーク経由でその他のコンピュータシステムと通信することができ、これにはローカルエリアネットワーク及びインターネットなどの広域ネットワークを介した有線通信や無線通信を含みうる。音声プロセッサ1230は、CPU1205、メモリ1210、及び/又はストレージ1215により提供される命令及び/又はデータからアナログ音声出力又はデジタル音声出力を生成するように構成される。CPU1205、メモリ1210、データストレージ1215、ユーザ入力装置1220、ネットワークインターフェース1225、及び音声プロセッサ1230を含むコンピュータシステム1200の構成要素は、1以上のデータバス1235経由で接続される。
【0082】
グラフィックサブシステム1240は、データバス1235及びコンピュータシステム1200の構成要素に接続される。グラフィックサブシステム1240は、グラフィック処理ユニット(GPU)1245及びグラフィックメモリ1250を含む。グラフィックメモリ1250は、出力画像の各ピクセルに対するピクセルデータを記憶するために使用されるディスプレイメモリ(例えば、フレームバッファ)を含む。グラフィックメモリ1250は、GPU1245と同一の装置に内蔵されてもよいし、別の装置としてGPU1245と接続されてもよいし、及び/又はメモリ804内に実装されてもよい。ピクセルデータはCPU1205から直接グラフィックメモリ1250に提供されてもよい。他の態様では、CPU1205はGPU1245に所望の出力画像を定義するデータ及び/又は命令を提供し、GPU1245はこのデータ及び/又は命令から1以上の出力画像のピクセルデータを生成する。所望の出力画像を定義するデータ及び/又は命令は、メモリ1210及び/又はグラフィックメモリ1250に記憶されうる。一実施形態では、GPU1245は、形状、ライティング、シェーディング、テクスチャリング、運動、及び/又はカメラパラメータを場面に対して定義する命令及びデータから出力画像に対するピクセルデータを生成するための3Dレンダリング機能を含む。GPU1245は、シェーダプログラムを実行可能な1以上のプログラム可能実行ユニットを更に含みうる。
【0083】
グラフィックサブシステム1240は、グラフィックメモリ1250から画像に対するピクセルデータを周期的に出力し、表示装置1255に表示されるようにする。表示装置1255は、コンピュータシステム1200からの信号を受けて視覚情報を表示することができる装置であり、これにはブラウン管(CRT)、液晶表示装置(LCD)、プラズマ、及び誘起発光ダイオードディスプレイを含む。コンピュータシステム1200は、表示装置1255にアナログ信号又はデジタル信号を送信することができる。
【0084】
各種の実施形態によれば、CPU1205は、1以上の処理コアを有する1以上の汎用マイクロプロセッサである。更に各実施形態は、メディアアプリケーションやインタラクティブエンターテインメントアプリケーションなど、並列性が高くコンピュータ処理の多いアプリケーションに適したマイクロプロセッサのアーキテクチャを備えた1以上のCPU1205を使用して実行することができる。
【0085】
図1のシステム100、
図2のシステム200、
図3のシステム300、及び/又は
図4のシステム400の各構成要素はネットワーク経由で接続されてもよく、これは以下のいずれの組み合わせであってもよい。イントラネット、IPネットワーク、イントラネット、広域ネットワーク(「WAN」;Wide-area network)、ローカルエリアネットワーク(「LAN」;Local-area network)、仮想プライベートネットワーク(「VPN」;Virtual private network)、公衆交換電話網(「PSTN」;Public Switched Telephone Network)、あるいは本明細書に記載した、異なる実施形態における装置間のデータ通信をサポートネットワークであればどのような種類のネットワークであってもよい。ネットワークは光リンクなどの有線や無線接続を含みうる。その他多くの例が可能であり、このことは本明細書の開示に照らして当業者には明らかである。本明細書の説明では、ネットワークに特に留意してもよいし、しなくてもよい。
【0086】
上述の方法、システム及び装置は単なる例示目的であることに留意されたい。各種の実施形態は、省略、代替、あるいは適宜様々な手順や構成要素を追加してもよいことが強調されるべきである。例えば、別の実施形態では、記載したものとは異なる順序で各方法を実行することもできるし、様々なステップを追加、省略あるいは組み合わせることもできる。更に、ある実施形態に対して記載された特徴の各々を様々な別の実施形態に組み合わせることもできる。同様の方法で各実施形態の様々な態様と要素とを組み合わせることもできる。更に、技術は進化するものであり、従って、各要素の多くが例示的なものであり、本発明の範囲を限定するものではないことを強調されたい。
【0087】
本発明を完全に理解することができるように、本明細書において具体的な詳細が記載されている。しかし、当業者であればそのような具体的な詳細がなくても本発明を実施することができることはわかるであろう。例えば、周知の回路、プロセス、アルゴリズム、構造、及び技術は、各実施形態を曖昧なものとしないように、不要な詳細を記載することなく示されている。
【0088】
更に、各実施形態をフロー図やブロック図として描かれるプロセスとして記載することもできる点に留意されたい。各オペレーションを順次プロセスとして記載してもよいが、オペレーションの多くは並列あるいは同時に実行することができる。更に、該オペレーションの順序を並べ替えることもできる。あるプロセスには図面にはない付加的ステップがあってもよい。
【0089】
更に、本明細書に開示されているように、「メモリ」や「メモリユニット」なる用語は、データを記憶するための1以上の装置を表すものであってよく、これには読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気RAM、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、あるいはその他の情報を記憶するためのコンピュータ可読媒体が含まれる。「コンピュータ可読媒体」なる用語にはポータブル記憶装置や固定された記憶装置、光学記憶装置、無線チャネル、SIMカード、その他のスマートカードが含まれるがこれらに限定されることはなく、更に、命令やデータを記憶し、含み、あるいは持ち運べることができるその他の各種媒体を含む。
【0090】
更に、各実施形態はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、あるいはこのいずれの組み合わせによって実行されてもよい。
【0091】
ソフトウェア、ファームウェア、ミドルウェア、あるいはマイクロコードで実行される場合、必要なタスクを実行するためのプログラムコードやコードセグメントは記憶媒体などのコンピュータ可読媒体に記憶されてもよい。プロセッサは必要なタスクを実行することもできる。
【0092】
いくつかの実施形態を記載してきたが、本発明の精神を逸脱しない範囲で各種の変形を行ってもよいし、代替構造、及び等価物を用いてもよいことは当業者には理解されるであろう。例えば、上述した要素は大規模なシステムの単なる一構成要素である場合があり、他の手順がそれら他の適用に優先してもよいし、それらの適用を変更してもよい。また、多くのステップを 上述した要素が検討される前、その間に、又はその後に行うこともできる。従って、上述の記載は本発明の範囲を限定するものとして捉えられるべきではない。