特許 5967343 アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5967343

(24)【登録日】2016年7月15日

(45)【発行日】2016年8月10日

(54)【発明の名称】アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法

(51)【国際特許分類】

   A63F 13/98 20140101AFI20160728BHJP

   A63F 13/00 20140101ALI20160728BHJP

   G09G 5/00 20060101ALI20160728BHJP

   G09G 5/36 20060101ALI20160728BHJP

   H04N 13/04 20060101ALI20160728BHJP

【ＦＩ】

   A63F13/98

   A63F13/00

   G09G5/00 X

   G09G5/00 510Q

   G09G5/00 510X

   G09G5/00 550C

   G09G5/00 555D

   G09G5/36 510V

   H04N13/04

【請求項の数】5

【外国語出願】

【全頁数】35

(21)【出願番号】特願2010-161283(P2010-161283)

(22)【出願日】2010年7月16日

(65)【公開番号】特開2011-19917(P2011-19917A)

(43)【公開日】2011年2月3日

【審査請求日】2010年9月16日

【審判番号】不服2014-17847(P2014-17847/J1)

【審判請求日】2014年9月8日

(31)【優先権主張番号】12/503,846

(32)【優先日】2009年7月16日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】513244960

【氏名又は名称】ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ゲイリー エム ザレウスキー

【合議体】

【審判長】 黒瀬 雅一

【審判官】 植田 高盛

【審判官】 吉村 尚

(56)【参考文献】

【文献】 特開平４−３４５１９７（ＪＰ，Ａ）

【文献】 特開２００１−２２２７２３（ＪＰ，Ａ）

【文献】 特開昭６３−３１００８６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N13/04

(57)【特許請求の範囲】

【請求項1】

表示装置を調整するための装置であって、
フレームを備え、
前記フレームは、
（ａ）１組のシャッターレンズ、
（ｂ）前記フレームに結合された光源、
（ｃ）前記フレームに設けられ、前記１組のシャッターレンズを制御し、前記フレームに結合された前記光源を制御し、前記シャッターレンズと前記表示装置とを同期させるために前記表示装置と通信可能な回路を含み、
前記光源は前記表示装置に対する前記フレームの位置を決定するために分析され、
前記位置は前記フレームの前記位置の視点から見たときの表示出力を調整するために用いられ、
前記フレームは眼鏡のフレームであり、
前記１組のシャッターレンズは前記フレームに結合され、
前記回路は、ゲーム中におけるユーザの状態及び前記フレームの慣性センサの出力に応じて調整される、入力と出力との比率であるギアリング比率を、前記決定された位置に適用して位置を変更し、
前記表示出力の調整は、変更された位置から見たときの視差となるように実行される
ことを特徴とする装置。

【請求項2】

前記光源は前記フレームに結合された１又は２の光源により定められ、
光源が２つの場合、それぞれは空間的に離れた方向に配置される
ことを特徴とする請求項１に記載の装置。

【請求項3】

前記ユーザの状態は、受動的な視聴、移動しながらの視聴、及びインタフェースにより通信しながらの視聴のうちのいずれかを更に含むことを特徴とする請求項１に記載の装置。

【請求項4】

前記フレームは、ユーザの画面に対する位置を識別するために周囲やユーザの前の物体の画像を撮像するためのカメラを含み、又は、前記フレームは無線送信部を含むことを特徴とする請求項１に記載の装置。

【請求項5】

表示装置を調整するための方法であって、
前記表示装置に対するフレームの位置を決定するために、前記フレームから光源を検出するステップを含み、
前記位置は、前記フレームの前記位置の地点から見たときの表示出力を調整するために用いられ、
前記フレームは、
（ａ）１組のシャッターレンズ、
（ｂ）前記フレームに結合された光源、
（ｃ）前記フレームに設けられ、前記１組のシャッターレンズを制御し、前記フレームに結合された前記光源を制御し、前記シャッターレンズと前記表示装置とを同期させるために前記表示装置と通信可能な回路を含み、
前記フレームは眼鏡のためのものであり、
前記１組のシャッターレンズは前記フレームに結合され、
前記表示装置に接続されたカメラが前記フレームから前記光源を検出するために画像を撮像するように構成され、
前記回路は、
（ｉ）前記フレームの慣性移動についての入力を取得し、
（ｉｉ）ゲーム中におけるユーザの状態及び取得された前記フレームの慣性センサの出力に応じて調整される、入力と出力との比率であるギアリング比率を、前記決定された位置に適用して位置を変更し、
前記表示出力の調整は、変更された位置から見たときの視差となるように実行される
ことを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばテレビジョン又はビデオのモニタ、コンピュータモニタ、又はゲームシステムのディスプレーとして用いられる表示装置を組み込んだシステムに関する。

【背景技術】

【0002】

現在、ほとんどのディスプレーは、そのディスプレーを見ている全ての人に、一つのビデオ、テレビ番組、ゲームなどを提供することしかできない。例えば、あるビデオゲームの全てのプレイヤーは、モニタ上の同一の画像を見ることになり、その結果、ヘッドマウントモニタなどの、より複雑でより高価なディスプレーを用いなければ、異なるプレイヤーに異なる視覚情報を提供することはできない。

【0003】

同様に、１以上のテレビ番組、ゲーム、又はビデオを同時に提供可能な現在のディスプレーは、例えば、表示画面の画像を分割することにより、又は、画像内に画像を提供するなどにより、全ての視聴者が、表示されるテレビ番組、ゲーム、又はビデオのそれぞれからの画像を見ることを要求する。その上、このようなテレビ番組、ゲーム、又はビデオのうちの一つの音声しか聴くことができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、同一のディスプレーを利用する２以上の視聴者のそれぞれに、それぞれの視聴者が他の視聴者に向けられた画像をも見る必要がないような形で、ディスプレー上の異なる画像を提供することが可能な「画面共有」システムの提供が求められる。また、他のユーザと画面を「共有」するそれぞれのユーザに、そのユーザが見ている画像又はコンテンツに関連づけられた音声部分を受信する機能を提供するように構成されうるシステムの提供が求められる。

【課題を解決するための手段】

【0005】

表示画面を調整するための装置が提供される。装置は、フレームを含む。フレームは、（ａ）１組のシャッターレンズ、（ｂ）フレームに結合された光源、及び（ｂ）シャッターレンズの組及びフレームに結合された光源を制御するための、フレームに設けられた回路を含む。回路は、シャッターレンズと表示装置との同期を可能とするために表示装置と通信可能に構成される。光は、フレームの表示装置に対する相対位置を決定するために分析され、位置は、フレームの位置から見たときの表示出力の調整のために用いられる。

【0006】

本発明は、さらに、ディスプレーが、少なくとも２つのビデオフィードからの画像を交互に表示し、同期されたシャッター付きフィルタ装置が、ビデオフィードのうち一つからの画像を見ることだけを可能とするために用いられるシステムを提供する。「ビデオフィード」は、任意のビデオコンテンツ、ビデオストリーム、チャンネル、ゲーム出力、ケーブルチャンネル、民生用電子機器からのビデオ出力、ＤＶＲ、ＤＶＤプレイヤー、動画、左視差映像、右視差映像などとして表現されてもよい。「ビデオフィード」は、単一又は複数のチャンネルから入手されてもよい。ビデオフィードは、１以上の物理ケーブル、１以上の内部バス、又はビデオ画像の入手手段となる任意の既知の手段などを介して入手されてもよい。

【0007】

表示画面を調整するための装置が提供される。装置は、フレームを含む。フレームは、（ａ）１組のシャッターレンズ、（ｂ）フレームに結合された光源、及び（ｂ）シャッターレンズの組及びフレームに結合された光源を制御するための、フレームに設けられた回路を含む。回路は、シャッターレンズと表示装置との同期を可能とするために表示装置と通信可能に構成される。光は、フレームの表示装置に対する相対位置を決定するために分析され、位置は、フレームの位置から見たときの表示出力の調整のために用いられる。

【0008】

ここでいう「画面共有」は、一般に、それぞれのユーザの番組の視聴を調整するためのシャッター眼鏡を着用して、全画面範囲を用いた単一のテレビジョンディスプレー上で、単一のユーザが３Ｄコンテンツを見る、又は、複数のユーザが同時に番組を見ることができる時分割方式のことを指してもよい。

【0009】

本発明の態様によれば、それぞれのビデオフィードは、共通のディスプレーを使用する少なくとも２人の視聴者に提供される。ディスプレーは、第１のビデオフィードからの画像と第２のビデオフィードからの画像とを交互に表示するよう制御される。第１のシャッター付きフィルタは、第２のビデオフィードの画像が表示されるときに第１のフィルタが閉じられるように表示に同期され、第２のシャッター付きフィルタは、第１のビデオフィードの画像が表示されるときに第２のフィルタが閉じられるように表示に同期される。その結果、第１のシャッター付きフィルタを使用する第１の視聴者には第１のビデオフィードの画像のみが提供され、第２のシャッター付きフィルタを使用する第２の視聴者には第２のビデオフィードの画像のみが提供される。

【0010】

本発明は、２人のプレイヤーが画面を分割するゲームの問題を解決するために適用されうる。従来のゲームでは、画面が２つの部分に分割され、プレイヤーは隣同士に座って、画面の半分をそれぞれ占有する双方のプレイヤーの視点を含む一つの画面を見ながら、ゲームをプレーしていた。本発明は、双方のプレイヤーが、それぞれのゲーム視点で全画面範囲を見ることが可能に構成されうる。本発明によれば、あるプレイヤーは他のプレイヤーの視点を画面上で見る必要がないので、注意散漫になることを低減することができる。したがって、本発明の別の態様によれば、共通のディスプレーを用いて、少なくとも２人のプレイヤーにビデオゲームが提供される。ディスプレーは、ビデオゲームの第１の視点による全画面の画像と、ビデオゲームの第２の視点による全画面の画像とを交互に表示するよう制御される。第１のＬＣＤシャッター眼鏡は、第１のＬＣＤシャッター眼鏡を使用する第１のプレイヤーが第１の視点のみからのビデオゲームを見ながらビデオゲームをプレーすることを可能とするようにディスプレーに同期される。第２のＬＣＤシャッター眼鏡は、第２のＬＣＤシャッター眼鏡を使用する第２のプレイヤーが第２の視点のみからのビデオゲームを見ながらビデオゲームをプレーすることを可能とするようにディスプレーに同期される。

【0011】

本発明の更なる態様によれば、同一のディスプレーを用いて、ビデオゲームが第１の視聴者に提供されると同時に、ビデオプログラムが第２の視聴者に提供される。ディスプレーは、ビデオゲームからの画像とビデオプログラムからの画像とを交互に表示するよう制御される。第１のＬＣＤシャッター付き眼鏡は、第１のＬＣＤシャッター付き眼鏡を使用する第１の視聴者がビデオゲームのみをプレーできるように、ディスプレーに同期される。第２のＬＣＤシャッター付き眼鏡は、第２のＬＣＤシャッター付き眼鏡を使用する第２の視聴者がビデオプログラムのみを見ることができるように、ディスプレーに同期される。

【0012】

上述した本発明の態様、特徴及び効果は、以下の詳細な説明及び添付図面を参照することによって、更に理解されよう。

【図面の簡単な説明】

【0013】

【図1】本発明の態様にしたがって動作するＬＣＤシャッター付き眼鏡及び関連するディスプレーの例を示す図である。

【図2】図１のディスプレーにより表示されるフレームのシーケンスと、本発明の態様に係るＬＣＤシャッター眼鏡のそれぞれの着用者により見られるフレームとを示す図である。

【図3】本発明の態様に係るシステムの様々な実施例を示す図である。

【図4】本発明の態様にしたがって同じ画面上の異なる音声／映像を視聴する人々を示す図である。

【図5】本発明の態様に係る眼鏡及びヘッドフォンの等角図である。

【図6】本発明の態様に係る眼鏡のシステム図である。

【図7】本発明の態様にしたがって、テレビジョン又はモニタ及び複数の入力と通信する、画面共有装置のシステム図である。

【図8】セットトップボックス及びゲームコンソールにそれぞれ含まれる画面共有装置のシステム図である。

【図9】本発明の態様にしたがって複数のユーザに同時に提供される音声／映像コンテンツの機能図である。

【図10】本発明の態様にしたがって複数のユーザに同時に提供される音声／映像コンテンツの機能図である。

【図11】本発明の態様にしたがってユーザに提供される３次元コンテンツの機能図である。

【図12】本発明の態様にしたがって複数のユーザに提供される異なるゲームコンテンツの機能図である。

【図13】本発明の態様にしたがって複数のユーザに提供される異なるテレビジョンチャンネルの機能図である。

【図14】本発明の態様にしたがって複数のユーザに提供される異なる音声／映像コンテンツの機能図である。

【図15】本発明の態様にしたがって複数のユーザに提供されるゲーム及びテレビジョン音声／映像コンテンツの機能図である。

【図16】本発明の態様にしたがって複数のユーザに提供されるゲーム及びテレビジョン音声／映像コンテンツの機能図である。

【図17】本発明の態様にしたがってそれぞれのユーザの視点からの３次元映像としてユーザに提供される同じゲームからのゲームコンテンツの機能図である。

【図18】本発明の態様にしたがってユーザに３次元で提供されるゲームコンテンツと、異なるユーザに３次元で提供される映画（又は他の音声／映像コンテンツ）の機能図である。

【図19】本発明の態様にしたがってユーザに３次元で提供されるゲームコンテンツと、異なるユーザに２次元で提供される映画（又は他の音声／映像コンテンツ）の機能図である。

【図20(a)】シャッター付きＬＣＤ眼鏡を用いた追跡装置及び方法の実施例を示す図である。

【図20(b)】シャッター付きＬＣＤ眼鏡を用いた追跡装置及び方法の実施例を示す図である。

【図21】追跡のための光源を有する眼鏡の例を示す図である。

【図22】シャッターレンズの追跡と、更なる位置及び方向を提供するために眼鏡に設けられたカメラの例を示す図である。

【図23(a)】本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。

【図23(b)】本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。

【図23(c)】本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。

【図23(d)】本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。

【図23(e)】本発明の実施例にしたがって、光源及びカメラを含む眼鏡の実施例を示す図である。

【図24】ユーザが部屋を動き回り、視差映像の調整における画面表示の調整のために提供されるためにユーザの位置が検出される例を示す図である。

【図25】ユーザが部屋を動き回り、視差映像の調整における画面表示の調整のために提供されるためにユーザの位置が検出される例を示す図である。

【図26】本発明の一実施例にしたがって、コントローラの位置を決定するために用いられるハードウェア及びユーザインタフェースを示す図である。

【図27】本発明の一実施例にしたがって、命令を実行するために用いられる更なるハードウェアを示す図である。

【図28】本発明の一実施例にしたがって、インターネットを介してサーバ処理に接続されたゲームクライアントと相互作用するユーザＡからユーザＥに関連するシーンＡからシーンＥの例を示す図である。

【発明を実施するための形態】

【0014】

本発明は、シャッターが付けられた液晶（ＬＣＤ）眼鏡が用いられる様々な実施の形態を提供する。実施の形態は、それぞれの視聴者がその視聴者に向けられたビデオフィードからの画像のみを見ることが可能な方法で、２以上の視聴者に対してそれぞれのビデオフィードを表示するために、単一のモニタを用いることを可能とする。本発明は、それぞれの視聴者が、そのビデオフィードに関連づけられた音声のみを聞くことも可能とする。実施の形態は、眼鏡の追跡によるユーザの追跡も提供する。眼鏡が追跡されると、追跡情報を視差の調整及び最適化を実行するために用いることができ、ユーザの位置に基づいて表示画面がユーザのために最適化される。

【0015】

１．フィルタリングの開閉
図１は、本発明の実施例を示す。本実施例においては、フレームＡ、Ｂ、Ｃ、・・・から構成される第１のビデオフィードと、フレーム１、２、３、・・・から構成される第２のビデオフィードが同一のモニタに表示される。モニタは、それぞれのビデオフィードからの画像を交互に表示する。その結果、図２の上部に示すように、表示される画像の順は、Ａ、１、Ｂ、２、Ｃ、３、・・・となる。

【0016】

第１のシャッター付きフィルタ、例えば、図１に示す２組のＬＣＤシャッター眼鏡のうちの左側は、第１のビデオフィードのフレームに同期される。第１のシャッター付きフィルタは、モニタに第１のビデオフィードのフレームが表示されるときに開かれ、モニタに第２のビデオフィードのフレームが表示されるときに閉じられる。したがって、左側のＬＣＤシャッター眼鏡を着用するなどにより、第１のシャッター付きフィルタを通してモニタを見る人は、図２の左下部分に示すように、第２のビデオフィードのフレームを見ることなく、第１のビデオフィードのフレームのみを見ることになる。

【0017】

第２のシャッター付きフィルタ、例えば、図１に示す２組のＬＣＤシャッター眼鏡のうちの右側は、第２のビデオフィードのフレームに同期される。第２のシャッター付きフィルタは、モニタに第２のビデオフィードのフレームが表示されるときに開かれ、モニタに第１のビデオフィードのフレームが表示されるときに閉じられる。したがって、右側のＬＣＤシャッター眼鏡を着用するなどにより、第２のシャッター付きフィルタを通してモニタを見る人は、図２の右下部分に示すように、第１のビデオフィードのフレームを見ることなく、第２のビデオフィードのフレームのみを見ることになる。

【0018】

ＬＣＤシャッター眼鏡のレンズは、眼鏡の着用者が、表示される複数のビデオフィードのうちの一つからの画像を見ることを可能とするために、そのビデオフィードからの画像に同期され、双方が同時に開閉することが好ましい。

【0019】

それぞれの視聴者に、その視聴者に提供されるビデオフィードのための音声信号のみを発するスピーカが提供されてもよい。第１のビデオフィードに関連する第１の音声信号は第１のビデオフィードの視聴者に提供され、第２のビデオフィードに関連する第２の音声信号は第２のビデオフィードの視聴者に提供される。例えば、図１及び図２に示したそれぞれの液晶シャッター眼鏡に、着用者が、その着用者により見られているビデオフィードのための音声を、他のビデオフィードの視聴者に提供される音声から干渉されないように聴くことが可能なヘッドフォン又はイヤフォンが設けられてもよい。

【0020】

本発明の態様に係る眼鏡５０１は、図５に示される。眼鏡は、左側ＬＣＤ眼鏡レンズ５１０及び右側ＬＣＤ眼鏡レンズ５１２を保持するためのフレーム５０５を含んでもよい。上述したように、それぞれの眼鏡レンズ５１０及び５１２は、着用者がレンズを通して見ることを妨げるために、高速かつ選択的に閉じられうる。左側及び右側のイヤフォン５３０及び５３２がフレーム５０５に接続されることが好ましい。無線情報を送信及び受信するためのアンテナ５２０が、フレーム５０５に設けられてもよい。眼鏡は、眼鏡が画面の方を向いているか否かを決定するために、任意の手段により追跡されてもよい。例えば、眼鏡の前面に、モニタに対する眼鏡の向きを検出するための１以上の光検出器５４０が設けられてもよい。

【0021】

ビデオフィードからの画像の交互の表示は、様々な既知の技術を用いて提供されてもよい。画面４１０は、画面上で共有されるそれぞれのビデオフィードを、プログレッシブスキャンモードで表示するよう構成されるのが好ましい。しかし、本発明は、説明するように、インターレース映像を処理するように構成されてもよい。インターレースＮＴＳＣ又はＰＡＬ形式などを用いる標準的なテレビジョンモニタのために、２つのビデオフィードの画像はインターレースされ、１つのビデオフィードからの画像のラインは他のビデオフィードからの画像のラインとインターリーブされてもよい。例えば、第１のビデオフィードからの画像から取得された奇数番目のラインが表示され、つづいて、第２のビデオフィードからの画像から取得された偶数番目のラインが表示される。

【0022】

１以上のビデオフィードの画像が連続的な動きの表現を提供するためのものであるアプリケーションにおいては、モニタに表示される双方のビデオフィードの画像の周波数は、人間の目が知覚可能な周波数よりも大きくなければならない。したがって、インターレース／インターリーブを用いて表示されるビデオフィードからの画像は、ちらついたり貧弱な解像度になったりしがちである。代案として、２つのビデオフィードからの画像は、ページフリッピングとして知られるように、２つの画像を格納するビデオメモリの２つのページの間で切り替えることにより、モニタ上に表示されてもよい。また、プログレッシブスキャンモニタがページフリッピングと組み合わせて用いられてもよい。

【0023】

本発明の態様に係る眼鏡のシステム図が図６に示される。眼鏡は、メモリ６０４に格納されたプログラム６０８からの命令を実行するプロセッサ６０２を含んでもよい。メモリ６０４は、プロセッサ６０２だけでなく、眼鏡の他の任意のストレージや検索／格納要素に提供され、又はそれらから出力されるデータを更に格納してもよい。プロセッサ６０２、メモリ６０４、及び眼鏡の他の要素は、バス６０６を介して互いに通信してもよい。そのような他の要素には、左ＬＣＤレンズ６１２及び右ＬＣＤレンズ６１４を選択的に閉じるドライバ信号を提供するＬＣＤドライバ６１０が含まれる。ＬＣＤドライバは、左及び右ＬＣＤレンズのそれぞれを個別に異なる時及び継続時間で閉じてもよいし、同じ時及び継続時間で一緒に閉じてもよい。

【0024】

ＬＣＤレンズが閉じられる周波数は、例えばＮＴＳＣの既知の周波数に基づいて、眼鏡に予め格納されていてもよい。または、周波数は、ユーザ入力６１６の手段、例えば所望の周波数を調整又は入力するためのツマミ又はボタンを介して選択されてもよい。さらに、所望の周波数だけでなく、初期シャッター開始時間、又は、設定された周波数及び持続時間であるか否かに関わらずＬＣＤレンズが閉じられるべき又は閉じられるべきでない期間を示す他の情報が、無線送受信部６０１又は他の任意の入力部を介して眼鏡に送信されてもよい。無線送受信部６０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）送受信機を含む任意の無線送信機を備えてもよい。

【0025】

音声増幅部６１６は、無線送受信部６０１から情報を受信してもよい。すなわち、左スピーカ６２２又は右スピーカ５２４に提供されるべき音声の左及び右チャンネルを取得してもよい。眼鏡は、マイクロフォン６３０を更に含んでもよい。マイクロフォン６３０は、音声通信のために提供されるゲームに関連して用いられてもよい。音声信号は、無線送受信部６０１を介して、ゲームコンソール又は別の装置へ送信されてもよい。

【0026】

眼鏡は、１以上の光検出部６３４を含んでもよい。光検出部は、眼鏡がモニタの方へ向いているかどうかを決定するために用いられてもよい。例えば、光検出部は、光検出部に当たっている光の強度を検出し、その情報をプロセッサ６０２に送信してもよい。プロセッサが光の強度の実質的な降下を検出すると、ユーザがモニタから目をそらした可能性があるので、プロセッサはレンズの開閉を中断してもよい。眼鏡（そしてユーザ）がモニタの方へ向いているかどうかを決定するための他の方法が用いられてもよい。例えば、光検出部の代わりに１以上のカメラを用い、撮像された画像をプロセッサ６０２により解析して、眼鏡がモニタの方へ向いているかどうかを決定してもよい。このようなカメラを用いるいくつかの可能な実施例として、コントラストレベルをチェックしてカメラがモニタに向いているかどうかを検出してもよいし、モニタ上の輝度テストパターンを検出するようにしてもよい。複数のフィードをモニタに提供する装置は、無線送受信部６０１を介してプロセッサ６０２に情報を送信することにより、このようなテストパターンの存在を知らせてもよい。

【0027】

表示されるべき映像を提供する画面共有装置７１０の一態様のシステム図が図７に示される。映像／音声入力７２０は、例えば、ケーブルテレビジョンセットトップボックス７９０、ゲームコンソール７９２、ＤＶＤプレイヤー７９４、ＶＣＲ７９６、パーソナルコンピュータ７９８、及びこれらの任意の組み合わせからの２以上の映像及び音声の入力を受け付ける。本発明の目的のために、単一のビデオストリームが２つの「ビデオフィード」又は映像入力に相当することもある。単一のビデオストリームは、２以上のビデオフィード又は入力の特徴を有する、時分割多重化された映像フレーム列となりうる。また、映像入力は、複数の装置から入手される必要はない。むしろ、１つの装置が２以上の映像入力又はビデオフィードを提供可能であってもよい。

【0028】

プロセッサ７３０は、データを取得してメモリ７４０に格納し、画面共有装置の他の構成に信号を提供する。映像／音声出力７５０は、映像入力から選択された数の映像信号を多重化する。映像／音声出力７５０は、テレビジョン又はモニタ７８０に対する単一のビデオ出力として、２以上のビデオ信号が連続して互いに後に続くような形で、ビデオ入力から選択された数のビデオ信号を多重化する（このような単一のビデオ出力信号が、実際には、合成又は色信号を含む複数の信号を含んでもよいことは理解されよう）。多重化された信号に関する情報は、無線送受信部７６０を介して、眼鏡に送信されてもよい。このような情報は、多重化のために選択された映像入力の数、多重化の周波数、特定の映像信号がテレビジョン又はモニタ７８０に送信されるタイミング、特定のタイミングで表示される映像信号の識別情報、及び他の情報を含んでもよい。映像／音声入力７９０〜７９８からの音声信号は、画面共有装置７１０から眼鏡に無線送信されてもよい。

【0029】

図７においては、画面共有装置７１０は、テレビジョン７８０及び映像入力とは分離しているように、模式的に図示されているが、画面共有装置は様々な装置に設けられてもよい。例えば、図８（ａ）に示すように、画面共有装置７１０は複数の入力を有するセットトップボックスに設けられてもよい。図８（ｂ）に示すように、画面共有装置は、それぞれがゲーム又はＤＶＤからのコンテンツを描画することが可能な２つのディスクベイ８６１、８６２などの、複数の内部的な音声／映像源を有するゲームコンソールに含まれてもよい。

【0030】

図１及び図２においては、２つのビデオフィード及び２つのシャッター付きフィルタのみが示されているが、本発明は、モニタが２以上のビデオフィードを表示し、それぞれのビデオフィードの視聴を可能とするために２以上の同期されたシャッター付きフィルタが用いられる態様にも適用可能である。

【0031】

図３（ａ）は、ビデオゲームシステムに用いられた本発明の実施例を示す。ゲームユニットは、ビデオゲームをプレーするために必要なソフトウェアを格納し、テレビジョン又はコンピュータのモニタに送られる画像を制御する。ゲームユニットは、２つのビデオフィードをモニタに提供し、図１及び図２に関連して上述したように、２つのビデオフィードからの画像を交互に表示するようモニタを制御する。ゲームユニットは、更に、２以上のＬＣＤシャッター眼鏡と接続し、それぞれのＬＣＤシャッター眼鏡のシャッター動作を、ビデオフィードのうちの１つに同期させる。ゲームユニットとＬＣＤシャッター眼鏡との間の接続は、物理的接続であってもよいし、ブルートゥース通信プロトコルなどを用いた無線接続であってもよい。

【0032】

図３（ａ）及び図９に示す実施例は、ビデオゲームのそれぞれのプレイヤーが、そのプレイヤーの視点からゲームに参加することを可能とする。ビデオフィードのうちの１つは、第１のプレイヤーにゲームの活動の特定の光景を提供し、他のプレイヤーには提供されない視覚情報を含んでもよい。同様に、別のビデオフィードは、第２のプレイヤーに、同一のゲームの、そのプレイヤーに適した別の光景を提供する。それぞれのプレイヤーは、ビデオフィードのうちの１つの画像に同期され、そのビデオフィードの画像のみをそのプレイヤーが見ることを可能とするＬＣＤシャッター眼鏡を着用する。また、それぞれのプレイヤーにヘッドフォンが提供される場合は、第１及び第２のプレイヤーのそれぞれに、他のプレイヤーには提供されない音声及び／又は音声命令が提供されてもよい。

【0033】

本実施例の変形例として、図１０に示すように、第３のＬＣＤシャッター眼鏡が追加され、ゲームの双方の光景を見ることが可能なビデオゲームの傍観者モードを着用者に提供するようゲームユニットにより制御されてもよい。第３のＬＣＤシャッター眼鏡は、例えば、３次元アプリケーションにおいて用いられるのと同様にして、ビデオフィードのうちの１つをシャッター眼鏡の片方に提供し、もう一つのビデオフィードをシャッター眼鏡の他方に提供することにより、２つのビデオフィードからの画像を組み合わせてもよい。

【0034】

別の例として、図１２に示すように、２つのビデオフィードが２つのビデオゲームそれぞれの画像を提供してもよい。ゲームユニットは、２つのビデオゲームのそれぞれの視点からの画像を交互に提供するようモニタを制御し、特定のＬＣＤシャッター眼鏡がビデオゲームのうちの１つの光景のみを提供するように２つのＬＣＤシャッター眼鏡を同期させる。この構成によれば、同一のゲームユニット及びモニタを用いて、異なるプレイヤーが同時に２つのビデオゲームをプレーすることができる。

【0035】

図３（ｂ）及び図１３は、本発明の別の実施例を示す。本実施例においては、セットトップボックスが様々なテレビジョンチャンネル（例えば、サインフェルド（Seinfeld）のショー、ジョパディ（Jeopardy）のショー、ドラゴンテイルズをそれぞれ放送する３チャンネル）及び／又はビデオを受信し、それぞれのテレビジョン番組及び／又はビデオからの画像を交互に表示するようモニタを制御する。セットトップボックスは、それぞれのＬＣＤシャッター眼鏡を、その着用者が番組及び／又はビデオのうちの１つのみを見ることができるように制御する。それぞれの視聴者が、見ている番組又はビデオのみの音声部分を聴くことができるように、ヘッドフォンが設けられてもよい。この構成によれば、２以上の個人が、同じ部屋で同じモニタを見ながら、異なるテレビジョン番組及び／又はビデオを同時に視聴することができる。

【0036】

本発明は、任意の数のビデオフィードに用いられてもよい。例えば、図３（ｂ）に示すセットトップボックスは、モニタに周期的に表示される４以上のビデオフィードを受信するように構成され、それぞれのビデオフィードは、４つの異なるＬＣＤシャッター眼鏡のうちの１つに関連づけられ、ＬＣＤシャッター眼鏡は、関連づけられたビデオフィードの表示に同期するようセットトップボックスにより制御されてもよい。

【0037】

図３（ｃ）及び図１４は、本発明の更なる実施例を示す。本実施例においては、セットトップボックスが様々なテレビジョンチャンネル及び／又はビデオを受信するとともに、ゲームユニットに接続され、ゲームユニットからビデオゲームフィードを受信する。セットトップボックスは、ビデオゲームからの画像とテレビジョン番組又はビデオからの画像とを交互に表示するようモニタを制御する。制御ユニットは、更に、ＬＣＤシャッター眼鏡のうちの１つの着用者が、テレビジョン番組又はビデオを見ることができるように、そのＬＣＤシャッター眼鏡のシャッターを同期させ、別のＬＣＤシャッター眼鏡の着用者が同時にビデオゲームをプレーすることができるように、そのＬＣＤシャッター眼鏡のシャッターを同期させる。この構成によれば、同じモニタを見ながら、ある人がテレビジョン番組又はビデオを視聴すると同時に、別の人がビデオゲームをプレーすることが可能となる。

【0038】

変形例として、図３（ｃ）に示す実施例は、図１５に示すように、２人がビデオゲームをプレーすると同時に、３人目がテレビジョン番組又はビデオを同じモニタで視聴することを可能とするために、第３のＬＣＤシャッター眼鏡を更に含んでもよい。ビデオゲームの２人のプレイヤーは、同じ視点からビデオゲームを見てもよい。この場合、セットトップボックスは、ビデオゲームからの画像とテレビジョン番組又はビデオからの画像とを交互に表示するようモニタを制御する。セットトップボックスは、２人のプレイヤーがビデオゲームのみを見ることができるように、ビデオゲームのプレイヤーにより着用されている２つのＬＣＤシャッター眼鏡の開閉を、ビデオゲームが表示されている期間に同期させる。

【0039】

図３（ｃ）に示した実施例を用いた更なる変形例において、図１６に示すように、２人のビデオゲームプレイヤーのそれぞれが、互いに異なる視点からビデオゲームを見るためにモニタを使用し、３人目がそのモニタを用いて同時にテレビジョン番組又はビデオを視聴する。セットトップボックスは、例えば、第１の視点におけるビデオゲームからの画像、第２の視点におけるビデオゲームからの画像、及びテレビジョン番組又はビデオからの画像を、サイクリックに表示するようモニタを制御する。セットトップボックスは、ＬＣＤシャッター眼鏡のうちの１つの着用者が第１の視点から見たビデオゲームをプレーし、別のＬＣＤシャッター眼鏡の着用者が第２の視点から見たビデオゲームをプレーし、第３のＬＣＤシャッター眼鏡の着用者がテレビジョン番組又はビデオを視聴することができるように、モニタ上に表示される画像にＬＣＤシャッター眼鏡のシャッターを同期させる。

【0040】

図１１に示すように、本発明は、ビデオゲームの１以上のプレイヤーに３次元（３Ｄ）ビューによるゲームのプレーを提供し、及び／又は、テレビジョン番組及び／又はビデオの１以上の視聴者に３次元での視聴を可能とすることができる。図１７に示すように、ビデオゲームのそれぞれのプレイヤーは、他のプレイヤーとは異なる視点からゲームを見ることに加えて、立体視にてゲームを見ることができる。図３（ａ）に示した構成を用いて、例えば、ゲームユニットは、第１の視点における左画像フレーム、第１の視点における右画像フレーム、第２の視点における左画像フレーム、第２の視点における右画像フレームというように、周期的に表示するようモニタを制御してもよい。３次元効果を達成するために、それぞれのＬＣＤシャッター眼鏡の左及び右のシャッターは、異なる表示画像に同期される。すなわち、ＬＣＤシャッター眼鏡のうちの１つの左側シャッターは第１の視点における左画像フレームを見るために同期され、そのＬＣＤシャッター眼鏡の右側シャッターは第１の視点における右画像フレームを見るために同期される。同様に、もう一つのＬＣＤシャッター眼鏡の左側シャッターは第２の視点における左側画像フレームを見るために同期され、そのＬＣＤシャッター眼鏡の右側シャッターは第２の視点における右画像フレームを見るために同期される。その結果、ビデオゲームのそれぞれのプレイヤーは、それぞれの特定の視点からだけでなく、３次元でゲームを見ることができる。

【0041】

別の例として、例えば図３（ｂ）に示した構成を用いて、２人の視聴者が、同じモニタを見ながら、異なるテレビジョン番組及び／又はビデオを３次元で同時に視聴することができる。また、例えば図３（ｃ）に示した構成を用いて、１人がテレビジョン番組又はビデオを３次元で視聴しているときに、同じモニタで、もう一人がビデオゲームを３次元でプレーすることができる。モニタは、テレビジョン番組又はビデオからの左画像フレーム、テレビジョン番組又はビデオからの右画像フレーム、別のテレビジョン番組又はビデオから又はビデオゲームフィードからの左画像フレーム、別のテレビジョン番組又はビデオから又はビデオゲームフィードからの右画像フレームというように、周期的に表示するように制御される。それぞれのＬＣＤシャッター眼鏡の左及び右のレンズは、それぞれの着用者がそれぞれのテレビジョン番組、ビデオ、又はビデオゲームを３次元で見ることができるように同期される。図１８は、同一の画面上で１人が３次元ゲームをプレーし、もう１人が３次元映画を見る例を概略的に示す。

【0042】

更なる例において、例えば図３（ｃ）に示した構成を用いて、同じモニタを見ながら同時に、１以上の人がビデオゲームを３次元でプレーし、別の人がテレビジョン番組及び／又はビデオの２次元画像を視聴することができる。図１９は、このような構成を概略的に示す。モニタは、ビデオゲームフィードからの左画像フレーム、ビデオゲームフィードからの右画像フレーム、及びテレビジョン番組又はビデオからのフレームを周期的に表示するよう制御される。ＬＣＤシャッター眼鏡のうちの１つの左レンズが、ビデオゲームフィードからの左画像フレームのタイミングに同期され、そのＬＣＤシャッター眼鏡の右レンズが、ビデオゲームフィードからの右画像フレームのタイミングに同期されることにより、着用者はビデオゲームを３次元で見ることができる。もう１つのＬＣＤシャッター眼鏡の左及び右のレンズが、両方ともテレビジョン番組又はビデオからのフレームのタイミングに同期されることにより、着用者は、ビデオゲームをプレーするために用いられている同じモニタから、２次元のテレビジョン番組又はビデオを見ることができる。

【0043】

図４は、３人が３つの異なるビデオ娯楽番組を視聴する例を示す。本発明のある態様において、３人の人４５１〜４５２は、それぞれ本発明に係るヘッドフォン付きの眼鏡を着用し、同一のテレビジョン４１０を視聴している。Ｂｒａｖｉａ（登録商標）テレビジョン４１０は、上述した画面共有装置を含み、３つの異なる映像入力、すなわち、２つのソニープレイステーション（登録商標）ゲームコンソール４３２、４３３、及びＤＶＤプレイヤー４３１からの映像入力を受け付ける。テレビジョンは、上述したように、３つの異なる音声／映像入力を多重化し、任意の特定のタイミングで表示されているのがどの映像入力であるかに関する情報を眼鏡に無線送信する。第１の人４５１の眼鏡は、テレビジョン４１０の画面上にターミネーターの映画４６１（ＤＶＤプレイヤー４３１上で再生されている）が表示されているときにのみ、その人が眼鏡を通して見ることができるように開閉される。第２の人４５２の眼鏡は、同じテレビジョン４１０上にモーターストームのゲーム４６２（プレイステーションコンソール４３２上でプレーされている）が表示されているときにのみ、その人が眼鏡を通して見ることができるように開閉される。第３の人４５３の眼鏡は、同じ画面上にパックマンのゲーム４６３（プレイステーションコンソール４３３上でプレーされている）が表示されているときにのみ、その人が眼鏡を通して見ることができるように開閉される。ＤＶＤプレイヤー４３１、及びゲームコンソール４３２、４３３に対応する音声は、それぞれの人４５１、４５２及び４５３の眼鏡に無線送信される。これによれば、それぞれの人４５１〜４５３は、３つの異なる音声／映像ソースを視聴するために、単一のテレビジョンを用いることができる。

【0044】

上述した例に加えて、本発明は、２次元又は３次元の表現及び／又は異なる視点の他の組み合わせによる、ビデオゲーム、テレビジョン番組、及びビデオの他の組み合わせを提供するためにも、共通のモニタを使用することを可能とする。

【0045】

２．トラッキング、ミキシング、ギアリング、視差最適化
図２０（ａ）から図２０（ｃ）は、眼鏡９００とコンピュータコンソール９５０との間の通信の例を示す。図２０（ａ）においては、コンピュータコンソール９５０は、眼鏡９００と無線通信する。眼鏡９００は、いくつかの光源９０２が設けられたフレームを含むように示される。光源９０２は、赤外線（ＩＲ）、発光ダイオード（ＬＥＤ）、又は眼鏡９００のフレーム上のそれらの位置から光を生成することが可能な他の形式の光源であってもよい。眼鏡９００のフレームは、オプションのイヤフォン５３０及び５３２を更に含んでもよい。眼鏡９００は、上述したように、シャッターレンズ９０１を含む。シャッターレンズは、眼鏡における処理、コンピュータコンソールにおける処理、又はコンピュータコンソール９５０と眼鏡９００上のハードウェア／ソフトウェアとの間で共有された処理の組み合わせにより制御される。

【0046】

眼鏡９００上で処理が実行される場合、眼鏡９００のフレームに、回路９１０で示されるように、回路構成が設けられる。回路９１０は、眼鏡９００のフレーム内の任意の位置に設けられてもよいし、眼鏡９００のフレームに取り付けられてもよいし、シャッターレンズ９０１に設けられ、又は取り付けられてもよい。または、回路９１０は、眼鏡９００のフレームに有線又は無線リンクの方法で連結されてもよい。眼鏡９００は、回路９１０、光源９０２、イヤフォン５３０、５３２、及び他の回路及び／又はシャッターの電子部品に電力を供給するバッテリなどの電源（図示せず）を更に含んでもよい。回路９１０は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアの組み合わせにより駆動されてもよく、眼鏡上で、又はコンピュータコンソール９５０上で実行されてもよい。一実施例において、処理が集中的であるときには、より多くの処理がコンピュータコンソールで実行され、処理が回路９１０（及び／又は眼鏡９００の他の回路）で実行される方がより効果的であるときには、そのようにされる。

【0047】

図２０（ｂ）は、コンピュータコンソール９５０と通信する眼鏡９００の別の例を示す。本実施例において、眼鏡９００は、フレーム内に設けられたカメラ９１２を更に含む。シャッターレンズ９０１の間の眼鏡９００のフレームの中心にカメラ９１２が設けられた例が示されている。カメラ９１２は、眼鏡９００がユーザにより着用されたときに眼鏡９００から前方を見ることができる位置であれば、他の位置に設けられてもよい。

【0048】

カメラ９１２は、モニタ、画面、又はディスプレーに対するユーザの空間的位置を処理するための回路９１０に更なる情報を提供するために用いられる。ユーザがディスプレーの前を移動するとき、カメラ９１２は、ユーザの画面に対する詳細な位置を識別するために、周囲やユーザの前の物体の画像を撮像することができる。一実施例において、カメラは、処理、ビデオゲームとの対話、映像表現との相互作用、又は他のインタフェイスの間に、ユーザの特定の位置を識別するために、画面などの特定のオブジェクトに焦点を合わせることができる。

【0049】

別の実施例において、カメラ９１２は、ビデオ画面（例えば、テレビジョン、コンピュータモニタ、携帯型ディスプレーなど）の輪郭から出る光の強度を識別することにより、ビデオ画面の輪郭を識別することができる。ビデオ画面の輪郭を識別することにより、眼鏡の回路９１０及びコンピュータコンソール９５０により実行される処理は、画面に対するユーザの位置の補正（例えば、ユーザの頭及び視線方向）を追跡することができる。追跡は動的に可能であるから、ユーザが移動するときに、画面に表示される映像を、正しい視野角を提供するように調整することができる。この補正の詳細は、視差、及びオフセットされた人間の目の視点からの３次元画像の正確な見方、及び見ている画面と目の間で定義される円錐に関連して後述する。

【0050】

図２０（ｃ）は、眼鏡９００がコンピュータコンソール９５０と接続する別の例を示す。本実施例においては、コンピュータコンソール９５０は、更にカメラ９５２を含む。カメラ９５２は、オプションのフィルタ９５１を含んでもよい。オプションのフィルタ９５１は、光源９０２が赤外線発光器の形態である実施例において、光源９０２から発せられる赤外線以外の全ての光を除去するために用いられてもよい。他の実施例において、オプションのフィルタ９５１は、発光ダイオードが眼鏡９００に設けられ、フィルタが環境光、光の妨害、偏光を除去するように、及び／又は光源の９０２の位置の正確な検出を妨げる可能性のある異常を除去するように設計された実施例において用いられてもよい。

【0051】

例えば、オプションのフィルタ９５１は、黒又は半黒のバックグラウンドにおいて白色ガウスの特徴を検出することにより、撮像されたビデオフレームにおける光源の正確な検索及び検出を可能とするために用いられうる。一実施例において、撮像されたビデオフレームは、複数の非圧縮又は圧縮されたフレームを含んでもよい。Ｉ、Ｐ、Ｂフレームを用いたＭＰＥＧ圧縮を含む多くの圧縮技術が用いられてもよい。Ｉフレームは、全ての画像データ及び関連するピクセルデータを含む完全なフレームである。Ｐ及びＢフレームは、データが本質的に変化しない場合に、画像を再構築するために過去のフレーム又は未来のフレームのデータを借用する。これらの様々な実施例において、画像データ及び関連するピクセルの処理は、光源９０２の識別及び眼鏡９００の追跡を促進することができる。更に別の実施例において、オプションのフィルタ９５１はカメラ９５２の一部に含まれず、カメラ９５２は使用中の正確な検出のために、光源９０２からの発光を単に検出してもよい。

【0052】

図２０（ｃ）の実施例に戻り、眼鏡９００は、カメラ９１２により提供されるように、自身の視野範囲９２０を有する。カメラ９５２は、自身の視野範囲を有し、光源９０２からの発光を検出する。光源９０２は、こうしてコンピュータコンソール９５０により追跡されうる。

【0053】

眼鏡９０２がユーザにより着用されたときに、その位置を追跡することにより、眼鏡９００を通して見られる画像のより明確な表示を提供するために、モニタ／ディスプレー（図示せず）に表示される画像を動的に調整することができる。一実施例において、画面に表示される映像は、３次元表現であってもよい。この実施例において、それぞれのレンズ９０１は、例えば左／右のシャッターを交互に閉じる。左と右の間の交替が実施されている間、眼鏡９００の追跡位置も決定される。ユーザが画面の正面にいる場合、適切な視差立体視は実質的に正常に維持される。しかし、ユーザが、例えば、画面により近いオフセット角になるまで画面に近づいた、又は画面から遠ざかったと検出又は追跡された場合、ビデオストリームの表示はオフセット角を補正するために調整される。検出されたオフセット角に基づいてビデオストリームを調整することにより、ユーザに対して、ユーザが画面の中心の前方に位置した場合に期待される、適切な視差映像を表示することができる。通常、全ての最適化は中心に位置するユーザのためになされるので、表示される画像に調整はなされない。しかし、ユーザが画面の前で活発に動いたり、画面の前に座っていなかったりする場合は、この限りではない。例えば、大きなＩＭＡＸ（登録商標）の表示においては、ユーザは映画館の下方又は遠方に偏って座ることがある。中心の「スイートスポット」のために最適化がなされるために、最適化されていない座席に座ったときの映像は最適な映像ではない。

【0054】

より小さい家庭環境においては、同時に少数のユーザしか居合わせないだろうから、周波数を交替する、又はそれぞれのユーザに対する総周波数を分割することにより、それぞれのユーザに対して独立に映像を調整することができる。２人のユーザの例では、１２０フレーム毎秒（ｆｐｓ）の画面で、２人のユーザが毎秒６０フレームを交互に与えられる。これは、非常に良いリフレッシュレートである。更に、３次元の視聴者については、眼鏡９００のシャッターレートに同期され、ユーザの左／右目は全ての画像ごとにビューを共有する。更にこの例において、ユーザ１が前方左側に座ることを選択し、ユーザ２が遠方右側に座ることを選択した場合、それぞれのユーザの視野角円錐は動的に調整され、画面はそれぞれの位置に対して最適化された画像データを周力する。この最適化は動的であって、ユーザが視聴の間に移動することを決定したときには変更することができる。

【0055】

それぞれのユーザに対する画面出力の最適化は、ユーザにより期待される視差映像を最適化する。視差は、２つの異なる視線に沿って見たときのオブジェクトの明確な変位又は視方向の差であり、これらの２つの視線の間の角度又は収束角（semi-angle）（例えば視野角錐体）により計測される。この語はギリシャ語で「変化」を意味する単語（parallaxis）に由来している。異なる位置で観測したとき、近いオブジェクトは、より離れたオブジェクトよりも大きな視差を有するので、視差は距離を決定するために用いることができる。

【0056】

表示される画像を調整することにより、ユーザの位置の移動に対応して、通常は部屋の中央でのみ可能な、最適化された視差を維持することができる。ユーザが動き回るインタラクティブゲームにおいては、ひずみが生じることがある。このように、検出されたユーザの位置に基づいてなされる、表示画面に対する動的かつ自動的な調整は、現在の３次元視聴システムでは可能でない移動の自由を提供する。

【0057】

眼鏡９００の追跡された位置が与えられることにより、システム９５２又は回路９１０（又はそれらの組み合わせ）は、３次元立体効果を頻繁に確認することができ、３次元コンテンツの生成中に視差の誤差を補正することができる。

【0058】

図２０（ｄ）は、本発明の一実施例に係る眼鏡９００のブロック図を示す。眼鏡９００は、本発明の一実施例に係る、ユーザのトラッキングを処理するハードウェア及びソフトウェアが設けられたフレーム９０９を有する。図示するように、眼鏡９００のフレーム９０９は、眼鏡９００の対向する端に位置する光源９０２を含む。光源９０２は、カメラ９５２に対するユーザの位置だけでなく、眼鏡９００の方向を検出するために、コンピュータコンソール９５０のカメラ９５２によりモニタすることが可能な距離だけ離されることが好ましい。本実施例においては、図２０（ｂ）に関連して前述し、図２０（ｅ）に関連して後述する回路９１０を構成する複数のモジュールがフレーム９０１内に設けられる。

【0059】

回路９１０は、広く回路を指すが、回路要素は、ソフトウェア、電源、及び通信ロジックを含んでもよい。図２０（ｄ）の例において、回路９１０は、ディジタル信号プロセッサ（ＤＳＰ）９２０、電源モジュール９２１、慣性センサ９２３、及び無線トランシーバ９７６を含む。慣性センサ９２３は、ユーザが眼鏡９００を着用しているときに、ユーザの動きを検出するために設けられる。このようなユーザの頭／体の動きは、ディジタル信号プロセッサ９２０により処理される慣性フィードバックを提供し、無線モジュール９７６を介してコンピュータコンソール９５２に返送されてもよい。カメラ９１２は、図２０（ｄ）の眼鏡９００の一部として設けられてもよい。カメラ９１２は、３次元動作中にシャッター動作（例えば、レンズ９０１Ｒ及びレンズ９０１Ｌのシャッター動作）を処理し、制御するために、ディジタル信号プロセッサ９２０に更なるデータを提供するよう構成されてもよい。上述したように、シャッター制御により、同時に異なるユーザにより視聴されることが可能な、同一の画面の共有を実現することができる。異なるユーザにより同時に視聴されるとき、ユーザは同一のコンテンツを見ることができ、正確な視差立体視を維持するために、異なる調整がされたオフセット制御を提供するための画面が、シャッターの開閉により共有される。

【0060】

図２０（ｅ）は、典型的なモジュールの図又は回路９１０の図のより詳細な例を示す。もちろん、最適化に依存して、より少ない又はより多くのモジュールが回路９１０を構成してもよい。回路９１０は、ディジタル信号プロセッサ９２０を含んでもよい。ディジタル信号プロセッサ９２０は、プログラム命令を実行し、コンピュータコンソール９５０に無線モジュール９７６を介してフィードバックを提供するだけでなく、シャッター動作の間の相互作用を制御するための様々なモジュールと相互作用するためのプロセッサ９３１を含んでもよい。ＤＳＰ９２０は、データ９３２を含む。データ９３２は、フラッシュメモリなどのメモリチップ、又は、プログラム命令、オペレーティング命令、オペレーティングシステムカーネル命令、スタートアップ初期化及びアップデートを格納するストレージメモリに格納されてもよい。データは、入出力処理及びプロセッサ９３１のためのキャッシュインタフェイスを実行するための情報を格納する。

【0061】

ＤＳＰ９２０は、プログラム９３３を更に含む。プログラム９３３は、プログラムの改訂、プログラムの改良、及びプログラムの変更に基づいてアップデートされてもよい。一実施例において、プログラムは、プロセッサ９３１による処理を制御し、右シャッターレンズ９０１Ｒ及び左シャッターレンズ９０１Ｌの直接の又はトリガの動作を制御してもよい。一実施例において、このシャッター及び視差調整は、追跡モジュール９３５により取得された位置データに基づいてもよい。連動モジュール９３４は、ＤＳＰの一部に含まれ、又はプログラム９３３に内蔵され、又はデータ９３２の一部に格納される。連動情報は、特定のプログラムとのユーザの相互作用に基づいて、プログラム９３３による処理、又はプロセッサによる実行を動的に変更するために提供される。連動は、相互作用又はユーザフィードバックに基づいて連動が動的に変わるように、動作中のモード変更を提供するためにプログラム９３３に統合されてもよい。

【0062】

上述したように、追跡モジュール９３５は、検出された光源位置制御９２４、慣性センサ９２３、及び、光源を用いた眼鏡の位置の追跡又はカメラ９１２を用いた環境の眼鏡９００より入手された追跡情報に基づいて、コンピュータコンソール９５０から取得されたデータに関連する情報を処理する。この情報は、ＤＳＰ９２０に情報を伝達するために追跡モジュールに動的に提供される。ＤＳＰ９２０は、環境、制御パラメータ、連動効果、及び他のプログラムパラメータに基づいて眼鏡のシャッターを制御するために、シャッターフィルタ制御９７５と通信することができる。光源制御９２４は、眼鏡の光源９０２を制御するように設計されたハードウェア又はソフトウェアを含んでもよい。光源位置制御９２４は、光源９０２を発光させ、光源９０２を調整し、所定の期間光をオン又はオフさせ続け、又は、追跡なしの相互作用のために光源９０２を消灯するるように動作することができる。同期モジュール９７２は、上述したように、表示レート及び画面上に提供される表示情報に同期させるために、複数のユーザが異なるチャンネルを見るための同期のために、又は、複数のユーザが同一の視差調整されたチャンネルを見るための同期のために、右及び左のシャッターレンズ９０１のシャッターレートを同期させるように設計される。

【0063】

ここで用いられるように、連動（ギアリング：gearing）は、コンピュータプログラムと対話するときに、入力を提供し、入力を変更し、又は入力に作用する。連動は、一般的かつ最も広い意味においては、様々な大きさ及び／又は時間の程度を有しうる入力を定義されてもよい。連動の程度は、コンピュータシステムと通信しうる。連動の程度は、コンピュータシステムにより実行されるプロセスに適用されてもよい。アナロジーにおいて、プロセスは入力及び出力を有するバケツの液体としてイメージされうる。バケツの液体は、システム上で実行されているプロセスであり、連動は、コンピュータシステムにより実行される処理の態様を制御する。一実施例において、連動は、バケツに流入する液体の滴と考えられる入力量に対して、液体がバケツから空になる速さを制御することができる。このように、注入速度は動的であってもよく、排出速度は動的であってもよく、排出速度は連動により影響されうる。連動は、ゲームプログラムなどのプログラムに対するストリームなどの値の変更を調整するために、調整され、又はタイミングを合わされてもよい。連動は、プロセッサ又は結果としてゲーム要素、オブジェクト、プレイヤー、キャラクタなどによるアクションを制御する移動データカウンタなどのカウンタに影響を与えうる。

【0064】

このアナロジーをより具体的な計算例にすると、液体が空になる速度は、ある入力に加えて連動に応答して、コンピュータプログラムの特徴に制御が渡され、又はそれにより制御が実行される速度であってもよい。コンピュータプログラムの特徴は、オブジェクト、プロセス、変数、シャッターのタイミング、又は予め定義された／カスタムのアルゴリズム、キャラクタ、ゲームプレイヤー、マウス（２次元又は３次元）などであってもよい。処理の結果は、連動により部分的に改変されている可能性があるが、観察者に伝達され、又は、特定のユーザの位置及び任意の追跡された移動に基づいて、ユーザに対する正確な視差補正を加えるための表示調整に影響を与えてもよい。

【0065】

入力は、（１）画像解析、（２）慣性分析、（３）音響分析、又は（１）、（２）又は（３）を組み合わせた解析により実行される追跡により取得されうる。画像分析及び連動への適用に関して様々な例が提供されるが、追跡は映像に限定されず、様々な方法、とくに慣性分析、音響分析、これら及び他の好適な分析の組み合わせにより実現される。

【0066】

様々な実施例において、ビデオカメラ９５２／９１２（例えば、画像解析）を有するコンピュータ又はゲームシステムは、画像データを処理し、焦点距離の領域又はビデオカメラの前の所定の領域において実行される様々なアクションを識別することができる。このようなアクションは、典型的には、３次元空間におけるオブジェクトの移動又は回転、又は、眼鏡９０１の着用、ボタン、ダイアル、ジョイスティックなどの押下などの様々な制御の発動を含む。これらの技術に加えて、本技術は、ここではギアリングと呼ばれる、表示画面上又はプログラムの特徴の１以上の対応するアクションに関する入力の強度を調整するために、スケーリング要素を調整する更なる機能を提供する。例えば、表示画面上のアクションは、ビデオゲームの焦点にあるオブジェクトに関するものであってもよい。オブジェクトは、変数、乗数、又は音声、振動、表示画面上の画像、又はこれら及び他の連動される出力の表現の組み合わせとして表現される計算などのプログラムの特徴であってもよい。

【0067】

別の実施例において、連動はコンピュータプログラムの特徴に適用されてもよく、入力装置の検出は内部の解析部による処理に基づいてもよい。慣性分析部は、慣性活動のための入力装置を追跡し、慣性分析部は、眼鏡９００、コンピュータコンソール９５０、又はインターネットを介したクラウドコンピューティング上のプログラムに情報を伝達してもよい。プログラムは、慣性分析部から出力を取得し、出力又はシャッターレンズ９０１Ｌ／９０１Ｒの活動に対して連動量が適用されてもよい。連動量は、プログラムが命令を計算するときの程度又は比率を指図する。命令は任意の形式をとることができる。命令の一例は、ノイズ、変数ノイズ、振動、オブジェクトによる移動、又は視覚可能及び／又は聴覚可能な結果を出力するプログラムによる計算であってもよい。出力が変数である場合、プロセスが連動の量を考慮するように、変数はプロセスの実行を完了させるために用いられてもよい。連動量は予め設定されてもよく、ユーザにより動的に設定されてもよいし、要求に応じて調整されてもよい。

【0068】

６次元の自由度（例えば、Ｘ、Ｙ、及びＺ方向の平行移動（例えば加速度）、及びＸ、Ｙ、及びＺ軸の周りの回転）の情報を提供するために、様々なタイプの慣性センサ装置が用いられてもよい。６次元の自由度の情報を提供するための好適な慣性センサの例は、加速度計、１以上の単一軸加速度計、機械式ジャイロスコープ、リングレーザージャイロスコープ、又はこれらの２以上の組み合わせを含む。

【0069】

センサからの信号は、ビデオゲームのプレー又は画面（任意の映画、クリップ、ゲーム、ＰＤＡ、電話、コンピュータ画面）の視聴中の眼鏡９００の動き及び／又は方向を決定するために分析されてもよい。このような方法は、プロセッサ読み取り可能な媒体に格納され、ディジタルプロセッサで実行される、プロセッサ実行可能なプログラムコード命令の列として実現されてもよい。例えば、ビデオゲームシステムは、１以上のプロセッサを含んでもよい。それぞれのプロセッサは、任意の適当なディジタルプロセッサ、例えば、ビデオゲームコンソールに一般に用いられる型のマイクロプロセッサ、又は、カスタム設計されたマルチプロセッサコアなどであってもよい。一実施例において、プロセッサは、プロセッサ読み取り可能な命令の実行を通して慣性分析を実行してもよい。命令の一部はメモリに格納されてもよい。または、慣性分析部はハードウェア、例えば、ＡＳＩＣ（application specific integrated circuit）、ＤＳＰ（digital signal processor）として実装されてもよい。このような分析部のハードウェアは、眼鏡９００、コンソール９５０、又はクラウドコンピューティングの中のサーバ上に設けられてもよい。ハードウェア実装において、分析部は、プロセッサ、又は、ＵＳＢケーブルやイーサネット（登録商標）などにより接続された、又は、インターネット、近距離無線、ブロードバンド無線、ブルートゥース、又はローカルネットワークなどのネットワークを介した、他の遠隔のソース外部からの信号に応じてプログラム可能であってもよい。

【0070】

慣性分析部は、慣性センサにより生成された信号を分析する命令を含み、又は実行し、眼鏡９００の位置及び／又は方向に関する情報を利用してもよい。慣性センサの信号は、眼鏡９００の位置及び／又は方向に関する情報を決定するために分析されてもよい。位置及び／又は方向の情報は、システムにおいてビデオゲームのプレー中に利用されてもよい。

【0071】

一実施例において、眼鏡９００は、位置及び／又は方向の情報を慣性信号を介してプロセッサに提供することが可能な１以上の慣性センサを含んでもよい。方向の情報は、コントローラの傾き、ロール、又はヨーなどの角度情報を含んでもよい。上述したように、例示において、慣性センサは、任意の数及び／又は組み合わせの加速度計、ジャイロスコープ、又は傾きセンサを含んでもよい。一実施例において、慣性センサは、眼鏡９００の傾き及びロール軸に関する方向を検知可能な傾きセンサを含み、第１の加速度計は、ヨー軸に沿った加速度を検知可能であり、第２の加速度計は、ヨー軸に関する角加速度を検知可能である。加速度計は、例えば、１以上のスプリングにマウントされた質量と、１以上の方向に関する質量の変位を検知するためのセンサを含むＭＥＭ装置として実現されてもよい。質量の変位に依存するセンサからの信号は、ジョイスティックコントローラの加速度を決定するために用いられてもよい。このような技術は、メモリに格納され、プロセッサにより実行されるゲームプログラム又は一般的なプログラムからの命令により実現されてもよい。

【0072】

例示において、慣性センサとして好適な加速度計は、例えばスプリングによりフレームに３又は４点で弾性的に結合された単純な質量であってもよい。ピッチ及びロール軸は、眼鏡９００にマウントされたフレームを２分する平面上にある。フレームがピッチ及びロール軸の周りに回転するとき、質量は重力の影響下で変位し、スプリングはピッチ及び／又はロール角に依存した態様で伸張又は圧縮する。質量の変位は、検知され、ピッチ及び／又はロールの量に依存した信号に変換される。ヨー軸の周りの角加速度又はヨー軸に沿った直線加速度は、同様に、検知され、角又は直線加速度の量に依存した信号に変換されうる、スプリングの伸張及び／又は圧縮又は質量の移動の特徴的なパターンを生成する。このような加速度計は、ヨー軸の周りの傾き、ロール角速度、及びヨー軸に沿った直線加速度を、質量の移動又はスプリングの伸張及び圧縮力の追跡により、測定することができる。質量の位置及び／又はそれに働く力を追跡する異なる方法は数多く存在し、抵抗ひずみゲージ物質、光学センサ、磁気センサ、ホール効果装置、圧電装置、容量センサなどを含む。

【0073】

さらに、光源は、プロセッサに、パルスコード、振幅変調、又は周波数変調形式の遠隔測定用の信号を提供してもよい。このような遠隔測定用の信号は、眼鏡９００の位置を示してもよい。遠隔測定用の信号は、例えば、パルスコード、パルス幅変調、周波数変調、又は光強度（振幅）変調により光信号にエンコードされてもよい。プロセッサは、光信号から遠隔測定用の信号をデコードし、デコードされた遠隔測定用の信号に応じてコマンドを実行してもよい。

【0074】

プロセッサは、眼鏡９００及び／又はそのユーザの位置及び／又は方向の情報を導出するために、画像撮像ユニットにより検出された光源からの光学信号、及び／又は、マイクロフォンアレイにより検出された音響信号からの音源位置及び特性情報とともに、慣性センサからの慣性信号を用いてもよい。

【0075】

図２０（ｆ）は、異なる検知機構のための入力情報がミキサ９３７に提供される実施例を示す。ミキサ９３７は、ソフトウェア又はハードウェアにおいて実行されてもよいし、ＤＳＰ９２０により処理されてもよい。ミキサ９３７は、一実施例において、入力を取得し、選択的な入力を構築して、出力を生成するロジックである。入力は、現在の処理に基づいて重み付けされてもよい。それぞれの入力の選択及び入力に与えられる強調は、対話的なアプリケーション中の処理に依存する。例えば、ユーザがアリゾナのグランドキャニオンのシーンを見ているとき、ミキサは、慣性検知よりも追跡入力をより強調してもよい。追跡情報が強調されることにより、眼鏡を通したユーザの視点が優先され、ユーザがグランドキャニオンの上を飛んでいるかのように、峡谷の底の深さを３次元的に見ることができる。他の実施例において、ミキサ９３７は、入力を混合して、眼鏡９００を用いて見られている表示コンテンツに最適化され、適切な視差補正のために表示調整された、混合された結果を生成する。

【0076】

一実施例において、ミキサ９３７は、部分的にコンピュータコンソール９５０上で実行され、視差最適化部９７７を制御するために眼鏡９００にデータが返送されてもよい。視差最適化部は、ディスプレー（例えば９６０）上のコンテンツの調整により、ユーザの位置に対する視野角の最適化を実行する。このように、視差最適化部９７７は、ユーザに対して表示されるコンテンツを、そのユーザ専用のシャッターチャンネルに基づいて修正するために、ディスプレーのハードウェア及び／又はソフトウェアとデータを通信する。他の実施例において、コンピュータコンソールが表示データを最適化し、画面９６０は単純に出力を表示してもよい。

【0077】

ミキサ９３７は、連動モジュール９３４、追跡モジュール、慣性センサ９３５、及びプログラムフィードバック９３６から入力を取得する。プログラムフィードバックは、対話中のプログラムの表示状態に関するデータを含んでもよい。例えば、ユーザがプログラムと対話中で、ビデオゲームにおいて特定のレベルの成功を収めた場合、プログラムフィードバックは、スキルレベルが向上し、ビデオゲームの複雑さが上昇したことを示してもよい。プログラムフィードバックは、その情報をミキサ９３７に提供する。ミキサは、追跡及び連動だけでなく、対話中のユーザの頭の移動のための慣性センサに関する情報をも取得する。

【0078】

追跡は、ユーザが画面に対している場合に、その位置及び画面に対する視野角をミキサ９３７に通知することにより、ミキサに対する入力を制御する。したがって、追跡モジュール９３５から得られる追跡情報は、ミキサ９３７が適切に視差最適化部にデータを与えることを可能とする。これにより、ビデオゲームとの対話中に、又は特定の映像表示の視聴中に、画面に対する現在位置に基づいて、ユーザに対して映像が最適化される。

【0079】

映像表示は、ゲームコンソール、インターネット接続、ディジタルビデオボックス、プレイヤー、テレビジョン放送、又は他の任意のビデオクリップ、又は静止画像（圧縮されたもの又はされていないもの）を含む表示画面上の動画表現を介して提供されてもよい。ミキサ９３７は複数の入力を取得するように示されているが、ある実装は同時にいくつかのモジュールからのみ入力を取得する。例えばミキサ９３７は、特定の期間、状態、ステージ中の連動、又は特定の期間中の追跡、又は特定の期間中の慣性センサ、又は特定の期間又はイベントのためのプログラムフィードバックのみから入力を取得してもよい。別の実施例において、ユーザにより所望された又はプログラムにより予め設定された環境及び対話性に基づいて、選択的な入力が組み合わされ／混合されてもよく、モジュールからの入力が完全に除去（又は追加）されてもよい。

【0080】

図２１（ａ）から２１（ｃ）は、本発明の一実施例に係る眼鏡９００を用いて自由に移動するユーザ９０３ａの例を示す。図２１（ａ）において、眼鏡９００を着用するユーザ９０３ａは、自由に移動し、図２１（ｂ）に示すように回転９４０Ａする。図２１（ｃ）において、ユーザは前屈み９４０Ｂになり、画面（図示せず）に近づく。本実施例において、ユーザ９０３ａは、光源９０２とカメラ９１２を含む眼鏡９００を用いている。一実施例において、カメラ９１２はオプションである。本実施例において、光源９０２（ＬＥＤ、ＩＲ、又は他の光源（色付き又はなし）であってもよい）が眼鏡９００のフレームに設けられ又は結合され、眼鏡９００を横から見ても光源９０２が見える。一実施例において、光源９０２は、魚眼の形状であってもよい。この場合、ユーザが直接画面に面しているときにカメラが光源９０２を見ることができる。また、ユーザが回転すると、図２１（ｂ）に示すように、光源９０２のうちの１つのみが見える。

【0081】

図２２（ａ）及び２２（ｂ）は、眼鏡９００を着用し、画面９６０を見ているユーザ９０３ａの例を示す。本実施例の画面９６０は、コンピュータコンソール９５０に接続される。コンピュータコンソール９５０は、画面９６０の上に配置されたカメラ９５２に接続される。カメラ９５２は、任意の位置に配置されてもよいし、画面に設けられてもよい。カメラ９５２は、ユーザ９０３ａなどのユーザが含まれると思われる、画面９６０の前の領域を見るように設計されるのが好ましい。例えば、眼鏡９００は、カメラ９１２を含んでもよい。カメラ９１２は、画面９６０及びカメラ９５２を含むシーンを撮像する。カメラ９１２により撮像された情報は、コンピュータコンソール９５０に送信されてもよい。これにより、コンピュータコンソール９５０で動作しているプログラムが、変更を実行し、ユーザからの入力に応答することができる。ユーザによる入力は、単純に、ユーザの位置の変更であってもよい。

【0082】

コンピュータコンソール９５０は、画面９６０に提供される映像表示を更に制御してもよい。画面９６０は、眼鏡９００のシャッターに同期される情報（動画又は静止がのピクセルデータ）を表示する。上述したように、ユーザ９０３ａは画面９６０の特定の映像を提供される単一のユーザであってもよいが、他のユーザ（本図では図示せず）が同一の画面９６０を見ながら異なるビデオストリームを提供されてもよい。眼鏡９００のシャッターは、ユーザ９０３ａに向けられたデータを画面９６０が表示することを可能とする。上述したように、カメラ９１２により得られた情報により、眼鏡９００の回路９１０は、ユーザの画面９６０に対する位置に関する情報を処理することができる。

【0083】

この例において、ユーザ９０３ａは、距離ｚだけ画面９６０から離れている。ユーザが画面９６０に表示されるコンテンツを視聴しているときに、距離ｚは動的に変わりうる。コンテンツの視聴は、ビデオの視聴などの受動的な視聴や、インタラクティブプログラムと対話する際の能動的な参加を含む。インタラクティブプログラムは、ビデオゲーム、インターネット、技術的プログラム、プログラムの設計用のコンピュータ、芸術表現プログラム、建築モデリングプログラム、及び他のタイプのインタラクティブプログラムのインタフェースであってもよい。

【0084】

眼鏡９００は、コンピュータコンソール９５０と無線通信を介して通信してもよい。上述したように、無線通信は、Ｗｉ−Ｆｉ接続、ブルートゥース接続、ラジオ接続などであってもよい。または、眼鏡はコンピュータコンソール９５０と有線を介して接続されてもよい。更に別の実施例において、コンピュータコンソール９５０は省略され、画面９６０はインターネットに接続してもよい。画面９６０は、インターネットを介して、画面９６０上の画像をレンダリングするための計算を可能とし、眼鏡９００との通信を可能とするためのネットワークインタフェースモジュールを含んでもよい。

【0085】

図２２（ｂ）は、動き９４０Ｂの後の前屈みの位置におけるユーザ９０３ａを示す。動き９４０Ｂの後、動きから生成された慣性データに関する情報は、眼鏡９００に設けられた慣性センサにより取得される。さらに、カメラ９５２は光源９０２を追跡し、画面９６０に対するユーザの深さ及び位置を決定することができる。例において、ユーザはいまｚ−Δｚの深さの距離にいる。深さのモニタに加えて、光源９０２は、図２２（ｂ）に示されたｘ、ｙ、及びｚ座標におけるピッチ、ヨー、及びロールに関する情報を更にモニタすることができる。深さと、ピッチ、ヨー、及びロールの双方を監視することにより、眼鏡９００を通して見たときの画面９６０の表示を修正して最適化し、画面９６０の最適化された視差立体視を提供するために、眼鏡９００における処理にその情報を通知することができる。再び、一実施例において、視差最適化は、ユーザの位置に基づいて、画面９６０上に表示されている画像になされる。図２４及び２５は、ユーザが画面（小及び大）の前を移動する例を示す。検出される位置は、表示角を最適化するために画面を制御するシステムに対するフィードバックを提供するので、ユーザがどこに又はどこから移動しようとも、ユーザに最適な視差を表示することができる。図２４において、ユーザ９０３ｃは、視聴中によくみられるように、位置Ａから位置Ｂに移動した。図２５において、３人のユーザは大きな画面の異なるビューＡ、Ｂ、及びＣを有する。画面は大きいけれども、視野角は視差に影響する。しかし、眼鏡の追跡を利用して、それぞれのユーザに対して選択的なシャッター開閉を行うことにより、それぞれのユーザに画面の最適なビューを提供することができる。図２５の例において、それぞれのユーザに、それぞれの視野角に関して調整されたビューを提供するために、フレームレートは３分割されてもよい。

【0086】

図２３（ａ）は、眼鏡９００Ａを着用するユーザ９０３ｂの例を示す。この例においては、眼鏡９００Ａは、レンズ９０１の間のファッショナブルな位置に配置された単一の光源９０２を含む。回路９１０は、ユーザが画面に表示されているインタラクティブなプログラム又は受動的なプログラムと対話しているときに、ユーザの正確な追跡を可能とするために、光源９０２の適切なオン／オフシーケンス、パターン、及びストロボ発光を提供するよう動作する。

【0087】

図２３（ｂ）は、別の眼鏡９００Ｂを着用したユーザ９０３ｂを示す。眼鏡９００Ｂは、コンピュータコンソール９５０のカメラ９５２により追跡するための２点を提供するために、眼鏡９００Ｂの両側に位置する光源９０２を示す。回路９１０は、眼鏡９００Ｂの内部に設けられる。２つの光源９０２を設けることにより、カメラ９５２が光源９０２を検出するときに、深さだけでなく、傾き、ロール、ヨーを検出することができる。ユーザがカメラ９５２のすぐ前の画面に近づくと、光源９０２は離れて広がって見えるが、ユーザ９０３ｂが画面及びカメラ９５２から離れると、光源９０２は撮像されたピクセルデータ上では互いに近づいて見える。したがって、深さ（すなわち、画面に対する眼鏡の位置）データは、眼鏡９００上で最小限の距離をもたせたいくつかの位置に配置された少なくとも２つの光源９０２を用いることにより、より正確に検出することができる。図２３（ｃ）は、３つの光源９０２の例を示す。図２３（ｄ）は、眼鏡９０１のフレームに設けられた様々なモジュールの例を示す。図２３（ｅ）は、眼鏡に接続されたマイクロフォン及びイヤピースの例を示す。

【0088】

図２５に戻り、Ａ、Ｂ、及びＣのビューを有する３人のユーザの例を示す。説明したように、更なるユーザが加わったとき、ユーザの数に基づいて周波数はさらに分割される。図２５において、３人全てのユーザが画面を見ているとき、特定のユーザに表示される毎秒のフレームは低下する。例えば、レートが１２０ｆｐｓであるとき、３人のユーザの場合はレートがそれぞれ４０ｇｐｓに下がる。別の実施例において、あるユーザが高い優先度を有していてもよく、そのユーザにより高いフレームレートが与えられてもよい。しかし、平等な共有モードでは、３人のそれぞれが４０ｆｐｓとなる。毎秒フレーム数が低下すると、輝度が低下する可能性がある。この問題を考慮して、実施例は、輝度の上昇を提供する。

【0089】

輝度の上昇は、１２０ｆｐｓの高いフレームレートのままで画面をシミュレートするために、すなわち、１人のみのユーザが見ていると仮定してなされてもよい。更に別の実施例においては、フレームレートの上昇は動的に生じてもよい。これにより、ユーザはシーンに入ったり出たりすることができる。ユーザが画面を視聴しているか否かを検出することにより、フレームレートが動的に調整されてもよい。例えば、ビューＣを有するユーザが目をそらし始めたとすると、ビューＡ及びビューＢは、４０ｆｐｓから６０ｆｐｓに上昇する。さらに、より高い６０ｆｐｓのフレームレートはより高い輝度を提供するので、輝度は低く調整されてもよい。このように、ユーザを追跡し、ユーザが画面を見ているか否かをリアルタイムに決定することにより、モード変更中に提供される輝度を調整するだけでなく、それぞれのユーザに専用のフレームレートに画面を自動的に調整することができる。一実施例において、モードは、特定のセッション又はビューイングエリアにユーザが入り又は出たことが、動的追跡により検出されたとき、ユーザの間でビューを多重化することを契機として切り替えられてもよい。特定の特典を有するユーザに、より高いフレームレート又はより高い輝度を提供するように、専用の連動に基づいてブーストが調整されてもよい。結果として、調整は所定のルール、レート、有効性、又はランクに基づいてなされてもよい。

【0090】

上述したように、追跡及びフィードバックデータを有する眼鏡９００は、よりダイナミックな表示及び２次元又は３次元の映像表示とのインタラクションの提供を補助することができる。

【0091】

３．ハードウェア及びソフトウェア構成
図２６は、本発明の一実施例に係る３次元コントローラの実装に親和性の高いゲームコンソールである、ソニープレイステーション３（登録商標）エンタテインメント装置の全体のシステム構成を概略的に示す。システムユニット１０００は、システム１０００に接続可能な様々な周辺装置とともに提供される。システムユニット１０００は、セルプロセッサ１０２８、ランバス（登録商標）ＸＤＲＡＭ（dynamic random access memory）ユニット１０２６、リアリティシンセサイザ（登録商標）（Reality Synthesizer）グラフィックユニット１０３０と専用のＶＲＡＭ（video random access memory）ユニット１０３２、及び入出力ブリッジ１０３４を備える。システムユニット１０００は、ディスク１０４０ａから読み取るためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ光学ディスクリーダ１０４０、及び入出力ブリッジ１０３４を介してアクセス可能なリムーバブルスロットインハードディスクドライブ（ＨＤＤ）１０３６を備える。オプションとして、システムユニット１０００は、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み込むための、同様に入出力ブリッジ１０３４を介してアクセス可能なメモリカードリーダ１０３８を備える。

【0092】

入出力ブリッジ１０３４は、６つのＵＳＢ（Universal Serial Bus）ポート１０２４、ギガビットイーサネット（登録商標）ポート１０２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Wi-Fi）ポート１０２０、及び７つまでのブルートゥース接続をサポート可能なブルートゥース無線リンクポート１０１８と接続する。

【0093】

動作において、入出力ブリッジ１０３４は、１以上のゲームコントローラ１００２及び１００３からのデータを含む全ての無線、ＵＳＢ、及びイーサネット（登録商標）のデータを取り扱う。例えばユーザがゲームをプレーしているとき、入出力ブリッジ１０３４は、ゲームコントローラ１００２又は１００３からのデータを、ブルートゥースリンクを介して受信し、セルプロセッサ１０２８に伝える。セルプロセッサは、それに応じてゲームの現在状態をアップデートする。

【0094】

無線、ＵＳＢ、及びイーサネット（登録商標）ポートは、ゲームコントローラ１００２及び１００３に加えて、他の周辺装置、例えば、リモート制御１００４、キーボード１００６、マウス１００８、ソニープレイステーションポータブル娯楽装置などの携帯型娯楽装置１０１０、アイトーイ（登録商標）ビデオカメラ１０１２などのビデオカメラ、マイクロフォンヘッドセット１０１４との接続を更に提供する。このような周辺装置は、原則として、システムユニット１０００と無線で接続してもよい。例えば、携帯型娯楽装置１０１０は、Ｗｉ−Ｆｉアドホック接続を介して通信してもよいし、マイクロフォンヘッドセット１０１４は、ブルートゥースリンクを介して通信してもよい。

【0095】

これらのインタフェースの提供は、プレイステーション３装置が潜在的に他の周辺装置、例えば、ＤＶＲ（digital video recorder）、セットトップボックス、ディジタルカメラ、携帯型メディアプレイヤー、ＶｏＩＰ（Voice over IP）電話、プリンタ、及びスキャナと互換性を有することを意味する。

【0096】

さらに、従来のメモリカードリーダ１０１６がＵＳＢポート１０２４を介してシステムユニットに接続され、プレイステーション又はプレイステーション２の装置により使用される種類のメモリカードの読込を可能としてもよい。

【0097】

本実施の形態において、ゲームコントローラ１００２及び１００３は、ブルートゥースリンクを介してシステムユニット１０００と無線通信可能である。しかし、ゲームコントローラ１００２及び１００３は、ＵＳＢポートに接続され、ゲームコントローラ１００２及び１００３のバッテリをチャージするために電源を供給することもできる。ゲームコントローラ１００２及び１００３は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、ＬＥＤ又は赤外線などの発光器、超音波通信のためのマイクロフォン及びスピーカ、音響チェンバー、ディジタルカメラ、内部クロック、ゲームコンソールに面した球状部分などの認識可能な形状、及びブルートゥース、Ｗｉ−Ｆｉ（登録商標）などのプロトコルを用いた無線通信などを更に含んでもよい。

【0098】

ゲームコントローラ１００２は、両手で用いられるように設計され、ゲームコントローラ１００３は、前述したように、多重位置コントローラである。１以上のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、３次元位置決定が可能である。ゲームコントローラのユーザによるジェスチャー及び動きの結果は、従来のボタン又はジョイスティックのコマンドに加えて、又はそれに代えて、ゲームに対する入力に翻訳される。オプションとして、プレイステーションポータブル装置などの他の無線通信可能な周辺装置がコントローラとして用いられてもよい。プレイステーションポータブル装置の場合、更なるゲーム又は制御情報（例えば、制御命令又はライフの数）が装置の画面に提供されてもよい。他の代替又は補助の制御装置、例えば、ダンスマット（図示せず）、光線銃（図示せず）、ステアリングホイール及びペダル（図示せず）、又は、迅速な反応を要するクイズゲームのための単一又はいくつかの大きなボタン（図示せず）などの専用のコントローラが用いられてもよい。

【0099】

リモート制御１００４も、ブルートゥースリンクを介してシステムユニット１０００と無線通信可能である。リモート制御１００４は、ブルーレイ（登録商標）ディスクＢＤ−ＲＯＭリーダ１０４０及びディスクコンテンツのナビゲーションのための動作に適した制御を含む。

【0100】

ブルーレイディスクＢＤ−ＲＯＭリーダ１０４０は、従来の記録された及び記録可能なＣＤ、及びいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２装置と互換可能なＣＤ−ＲＯＭを読込可能である。リーダ１０４０は、従来の記録された及び記録可能なＤＶＤに加えて、プレイステーション２及びプレイステーション３装置と互換可能なＤＶＤ−ＲＯＭも読込可能である。リーダ１０４０は、更に、従来の記録された及び記録可能なブルーレイディスクだけでなく、プレイステーション３装置と強姦可能なＢＤ−ＲＯＭも読込可能である。

【0101】

システムユニット１０００は、プレイステーション３装置により生成又はデコードされた音声及び映像を、リアリティシンセサイザグラフィックユニット１０３０により、音声及び映像コネクタを介して、ディスプレー及び音声出力装置１０４２、例えばモニタ又はディスプレー１０４４及び１以上のラウドスピーカ１０４６を有するテレビジョンセットに供給可能である。音声コネクタは、従来のアナログ及びディジタル出力を含んでもよい。映像コネクタは、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、及び１以上のＨＤＭＩ（High Definition Multimedia Interface）出力又はディスプレーポート出力を広く含んでもよい。映像出力は、ＰＡＬ又はＮＴＳＣ、又は７２０ｐ、１０８０ｉ、又は１０８０ｐの高解像度のフォーマットであってもよい。

【0102】

音声処理（生成、デコードなど）は、セルプロセッサ１０２８により実行される。プレイステーション３装置のオペレーティングシステムは、ドルビー（登録商標）５．１サラウンド音声、ＤＴＳ（Dolby Theatre Surround）、及びブルーレイディスクからの７．１サラウンド音声のデコードをサポートしている。

【0103】

本実施の形態において、ビデオカメラ１０１２は、単一のＣＣＤ（charge coupled device）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮符号化装置を備え、圧縮されたビデオデータは、適切なフォーマット、例えば画像内ベースのＭＥＧ（motion picture expert group）標準規格などで、システムユニット１０００によりデコードされるために送信されてもよい。カメラのＬＥＤインジケータは、システムユニット１０００からのデータの適切な制御に応じて、例えば逆光条件を意味するために光るように設計される。ビデオカメラ１０１２の実施例は、システムユニット１０００に、ＵＳＢ、ブルートゥース、又はＷｉ−Ｆｉ通信ポートを介して様々に接続されてもよい。ビデオカメラの実施例は、１以上の関連づけられた、音声データを送信可能なマイクロフォンを含んでもよい。ビデオカメラの実施例において、ＣＣＤは高解像度のビデオ撮像のために好適な解像度を有する。使用において、ビデオカメラにより撮像された画像は、例えばゲーム内に組み込まれ、又はゲーム制御入力として解釈される。別の実施例において、カメラは赤外光を検出するのに好適な赤外線カメラである。

【0104】

一般に、例えばビデオカメラ又はシステムユニット１０００の通信ポートの１つを介したリモート制御などの周辺装置との間で起こるデータ通信を成功させるために、デバイスドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術はよく知られており、ここでは詳細について説明しないが、デバイスドライバ又は類似のソフトウェアインタフェースが本発明の実施の形態に必要とされることは当業者に理解されるところである。

【0105】

図２７は、本発明の一実施例にしたがって命令を処理するために用いられる更なるハードウェアを示す。セルプロセッサ１０２８は、４つの基礎要素を備える構造を有する。すなわち、メモリコントローラ１１６０及びデュアルバスインタフェースコントローラ１１７０Ａ、Ｂを備える外部入出力構成、パワープロセッシングエレメント１１５０と呼ばれるメインプロセッサ、ＳＰＥ（Synergistic Processing Element）と呼ばれる８個のコプロセッサ１１１０Ａ〜Ｈ、及び上述の構成要素を接続する、エレメントインターコネクトバス１１８０と呼ばれる環状バスである。セルプロセッサの総浮動小数点演算性能は、
プレイステーション２装置のエモーションエンジンが６．２ＧＦＬＯＰＳであるのに対して、２１８ＧＦＬＯＰＳである。

【0106】

パワープロセッシングエレメント（ＰＰＥ：Power Processing Element）１１５０は、３．２ＧＨｚの内部クロックで動作するパワーＰＣ（PowerPC）コア（ＰＰＵ）１１５５
に互換な、双方向平行マルチスレッドのパワー１４７０に基づいている。これは、５１２ｋＢのレベル２（Ｌ２）キャッシュ及び３２ｋＢのレベル１（Ｌ１）キャッシュを備える。ＰＰＥ１１５０は、クロックサイクルごとに８つの単精度演算を行うことができ、これは３．２ＧＨｚにおいて２５．６ＧＦＬＯＰＳにあたる。ＰＰＥ１１５０の主要な役割は、ほとんどの計算作業負荷を扱うＳＰＥ１１１０Ａ〜Ｈのためのコントローラとして機能することである。動作において、ＰＰＥ１１５０は、ジョブのキューを保持し、ＳＰＥ１１１０Ａ〜Ｈのジョブをスケジューリングし、それらの進行を監視する。それぞれのＳＰＥ１１１０Ａ〜Ｈは、ジョブを取ってきて実行するのが役割であるカーネルを実行し、ＰＰＥ１１５０に同期される。

【0107】

それぞれのＳＰＥ１１１０Ａ〜Ｈは、ＳＰＵ１１２０Ａ〜Ｈを備え、それぞれのメモリフローコントローラ（ＭＦＣ：Memory Flow Controller）は、ダイナミックメモリアクセスコントローラ（ＤＭＡＣ：Dynamic Memory Access Controller）、メモリ管理ユニット（ＭＭＵ）１１４４Ａ〜Ｈ、及びバスインタフェース（図示せず）を備える。それぞれのＳＰＵ１１２０Ａ〜Ｈは、クロックが３．２ＧＨｚで、原則として４ＧＢまで拡張可能な２５６ｋＢのローカルＲＡＭ１１５０Ａ〜Ｈを備える、ＲＩＳＣプロセッサである。それぞれのＳＰＥは、理論上、２５．６ＧＦＬＯＰＳの単精度性能を与える。ＳＰＵは、４つの単精度浮動小数演算、４つの３２ビット演算、８つの１６ビット整数演算、又は１６の８ビット整数演算を、１つのクロックサイクルで実行可能である。同じクロックサイクルにて、メモリ命令を実行することもできる。ＳＰＵ１１２０Ａ〜Ｈは、システムメモリＸＤＲＡＭ１１２６に直接アクセスしない。ＳＰＵ１１２０Ａ〜Ｈにより生成される６４ビットのアドレスは、ＭＦＣ１１４０Ａ〜Ｈに渡され、エレメントインターコネクトバス１１８０及びメモリコントローラ１１６０を介してメモリにアクセスするためのＤＭＢコントローラ１１４２Ａ〜Ｈに命令される。

【0108】

ＥＩＢ１１８０は、セルプロセッサ１０２８の内部の論理的に巡回した通信バスである。ＥＩＢは、上述のプロセッサエレメント、すなわち、ＰＰＥ１１５０、メモリコントローラ１１６０、デュアルバスインタフェース１１７０Ａ、Ｂ、及び８つのＳＰＥ１１１０Ａ〜Ｈの、合計１２の要素を接続する。要素は、クロックサイクルごとに８バイトの速度でバスを同時に読み、及び書き込むことができる。前述したように、それぞれのＳＰＥ１１１０Ａ〜Ｈは、より長いリード又はライトシーケンスをスケジュールするためのＤＭＡＣ１１４２Ａ〜Ｈを備える。ＥＩＢは４つのチャンネルを備え、２つは時計回りで、２つは反時計回りの方向である。１２の要素の間で、任意の２つの要素の間のうち最も長いデータフローは、適切な方向に６段階となる。ＥＩＢの１２スロットの帯域の理論上のピークの瞬間は、要素間の仲裁を通して全てが利用されたとき、クロックごとに９６バイトである。これは、クロックレートが３．２ＧＨｚのときの理論上のピークバンド幅の３０７．２ＧＢ／ｓ（ギガバイト毎秒）と同じである。

【0109】

メモリコントローラ１１６０は、ランバス社により開発されたＸＤＲＡＭインタフェース１１６２を備える。メモリコントローラは、理論上はピークバンド幅毎秒２５．６ギガバイトで、ランバスＸＤＲＡＭ１１２６と接続する。

【0110】

デュアルバスインタフェース１１７０Ａ、Ｂは、ランバスフレックスＩＯ（登録商標）システムインタフェース１１７２Ａ、Ｂを備える。インタフェースは、それぞれが８ビット幅である、入力５経路、出力７経路の１２チャンネルを組織化する。これは、セルプロセッサ及びコントローラ１１７０Ａを介した入出力ブリッジ１０３４及びコントローラ１１７０Ｂを介したリアリティシミュレータグラフィックスユニット１０３０の間の６２．４ＧＢ／ｓ（出力３６．４ＧＢ／ｓ、入力２６ＧＢ／ｓ）の理論的ピークバンド幅を提供する。

【0111】

セルプロセッサ１０２８によりリアリティシミュレータ（Reality Simulator）グラフィクスユニット１０３０に送られたデータは、典型的には、表示リスト、頂点の描画命令列、ポリゴンに対するテクスチャの適用、光条件の特定などを含む。さらに、本発明の実施の形態は、ユーザにリアルタイムなゲームの相互作用の体験を提供する。例えば、ユーザはコンピュータにより生成された様々なオブジェクトにリアルタイムに相互作用できる。さらに、ビデオシーンがユーザのゲーム体験を高めるために、リアルタイムに変更されてもよい。

【0112】

４．分散処理−クラウドコンピューティング
図２８は、本発明の一実施例に係る、インターネットを介してサーバ処理に接続するゲームクライアント１１０２と相互作用するそれぞれのユーザＡからユーザＥのシーンＡからシーンＥの例を示す。上述したように、ゲームクライアントは、ユーザがインターネットを介してサーバのアプリケーション及び処理と接続することを可能とする装置である。ゲームクライアントは、ユーザが、ゲーム、映画、音楽、及び写真などのオンライン娯楽コンテンツにアクセスし、再生することを可能とする。さらに、ゲームクライアントは、ＶＯＩＰ、テキストチャットプロトコル、及び電子メールなどのオンライン通信アプリケーションへのアクセスを提供することができる。

【0113】

ユーザは、コントローラを介してゲームクライアントと相互作用する。ある実施の形態においては、コントローラはゲームクライアント専用のコントローラであり、別の実施の形態においては、コントローラはキーボード及びマウスの組み合わせであってもよい。一実施例において、ゲームクライアントは、モニタ／テレビジョン及び関連づけられた音響装置を介してマルチメディア環境を創設するための音声及び映像信号を出力することが可能なスタンドアロンの装置である。例えば、ゲームクライアントは、シンクライアント、内部ＰＣＩエクスプレスカード、外部ＰＣＩエクスプレス装置、エクスプレスカード装置、内部、外部、又は無線ＵＳＢ装置、又はファイアワイア装置などであってもよい。他の実施例において、ゲームクライアントは、テレビジョン又は他のマルチメディア装置、例えば、ＤＶＲ、ブルーレイプレイヤー、ＤＶＤプレイヤー、又は多重チャンネル受信機などに設けられてもよい。

【0114】

図２８のシーンＡにおいて、ユーザＡは、ゲームクライアント１１０２Ａと組になるコントローラ１００を用いて、モニタ１０６上に表示されたクライアントアプリケーションと相互作用する。同様に、シーンＢにおいて、ユーザＢは、ゲームクライアント１１０２Ｂと組になるコントローラ１００を用いて、モニタ１０６上に表示された別のクライアントアプリケーションと相互作用する。シーンＣは、ユーザＣがゲームクライアント１１０２Ｃからのゲーム及び友達リストを表示しているモニタを見ているときに、ユーザＣを後ろから見た様子を示す。図１１は単一のサーバ処理モジュールを示すが、一実施例において、世界中には複数のサーバ処理モジュールが存在する。それぞれのサーバ処理モジュールは、ユーザセッション制御、共有／通信ロジック、ユーザジオロケーション、及び付加分散処理サービスのためのサブモジュールを含む。さらに、サーバ処理モジュールは、ネットワーク処理及び分散ストレージを含む。

【0115】

ゲームクライアント１１０２がサーバ処理モジュールに接続するとき、ユーザセッション制御はユーザを認証するために用いられてもよい。認証されたユーザは、仮想化された分散ストレージ及び仮想化されたネットワーク処理に関連づけられる。ユーザの仮想化された分散ストレージの一部として格納されるアイテムの例は、ゲーム、ビデオ及び音楽などの購入されたメディアを含む。さらに、分散ストレージは、複数のゲームのゲームステータス、カスタマイズされた個々のゲームの設定、及びゲームクライアントのための一般設定を格納するために用いられてもよい。一実施例において、サーバ処理のユーザジオロケーションモジュールは、ユーザ及びそのゲームクライアントの地理的位置を決定するために用いられる。ユーザの地理的位置は、共有／通信ロジック及び負荷分散処理サービスの双方により、地理的位置及び複数のサーバ処理モジュールからの処理要求に基づいて、処理を最適化するために用いられてもよい。ネットワーク処理及びネットワークストレージの一方又は双方を仮想化することにより、ゲームクライアントからの処理タスクを、利用されていないサーバ処理モジュールに動的にシフトすることができる。このように、負荷分散が、ストレージからの再呼び出し及びサーバ処理モジュール及びゲームクライアントの間のデータ送信に関連する待ち時間を最小限にするために用いられてもよい。

【0116】

図２８に示すように、サーバ処理モジュールは、サーバアプリケーションＡ及びサーバアプリケーションＢのインスタンスを有する。サーバ処理モジュールは、サーバアプリケーションＸ１及びサーバアプリケーションＸ２により示されるように、複数のサーバアプリケーションをサポートすることができる。一実施例において、サーバ処理は、クラスター内の複数のプロセッサがサーバアプリケーションを実行することを可能とするクラスタ計算アーキテクチャに基づいている。別の実施例において、複数のコンピュータによる処理スキームの異なる種類がサーバアプリケーションを実行するために適用されてもよい。これにより、複数のクライアントアプリケーション及び対応するサーバアプリケーションを実行する多数のゲームクライアントを調停するために、サーバ処理を比較することができる。または、サーバ処理は、より要求の厳しいグラフィックス処理又はゲーム、映像圧縮、又は複雑なアプリケーションにより必要とされる、増加した計算要求を調整するために比較されてもよい。一実施例において、サーバ処理モジュールは、サーバアプリケーションを介した処理の大多数を実行する。これにより、グラフィックスプロセッサ、ＲＡＭ、及び汎用プロセッサなどの比較的高価な構成要素を中央に配置し、ゲームクライアントのコストを低減させることができる。実行されたサーバアプリケーションのデータは、インターネットを介して対応するゲームクライアントに返送され、モニタに表示される。

【0117】

シーンＣは、ゲームクライアント及びサーバ処理モジュールにより実行可能なアプリケーションの例を示す。例えば、一実施例において、ゲームクライアント１１０２Ｃにより、ユーザＣは、ユーザＡ、ユーザＢ、ユーザＤ及びユーザＥを含む友達リスト１１２０を生成し、見ることができる。図示するように、シーンＣにおいて、ユーザＣは、リアルタイム画像又はそれぞれのユーザのアバターを、モニタ１０６Ｃ上で見ることができる。サーバ処理は、ユーザＡ、ユーザＢ、ユーザＤ及びユーザＥのそれぞれのゲームクライアント１１０２とともに、ゲームクライアント１１０２Ｃのそれぞれのアプリケーションを実行する。サーバ処理は、ゲームクライアントＢにより実行されているアプリケーションに気づいているので、ユーザＡに対する友達リストは、ユーザＢがプレーしているゲームが何かを示してもよい。さらに、一実施例において、ユーザＡは、ユーザＢから実際のゲームビデオを直接見てもよい。これは、ユーザＢのために処理されたサーバアプリケーションのデータをゲームクライアントＢだけでなくゲームクライアントＡにも送ることで実現される。

【0118】

友達からビデオを見ることができるだけでなく、通信アプリケーションは、友達間でのリアルタイム通信を可能とする。前述の例を適用すると、これにより、ユーザＡは、ユーザＢのリアルタイム映像を見ながら、励ましやヒントを与えることができる。一実施例において、双方向のリアルタイム音声通信がクライアント／サーバアプリケーションを介して確立される。別の実施例において、クライアント／サーバアプリケーションはテキストチャットを可能とする。さらに別の実施例において、クライアント／サーバアプリケーションは会話をテキストに変換して友達の画面に表示する。

【0119】

シーンＤ及びシーンＥは、それぞれ、ゲームコンソール１１１０Ｄ及び１１１０Ｅと相互対話するユーザＤ及びユーザＥを示す。それぞれのゲームコンソール１１１０Ｄ及び１１１０Ｅはサーバ処理モジュールに接続される。サーバ処理モジュールがゲームコンソール及びゲームクライアントの双方のためにゲームプレーを統合するネットワークが示される。

【0120】

上述した実施の形態によれば、本発明は、コンピュータシステムに格納されたデータを含む、様々なコンピュータ実装された命令を用いてもよいことが理解される。これらの命令は、物理量の物理的操作を要する命令を含む。一般に、必ずではないが、これらの量は、格納され、転送され、結合され、比較され、及びその他の操作がなされることが可能な電気的又は磁気的信号の形式をとる。さらに、実行される操作は、例えば、生成、識別、決定、又は比較などと、しばしば明確に呼ばれる。

【0121】

上述した発明は、携帯型装置、マイクロプロセッサシステム、マイクロプロセッサベース又はプログラム可能な民生用電子機器、マイクロコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成により実現されてもよい。本発明は、通信ネットワークを介して接続された遠隔処理装置によりタスクが実行される分散処理環境において実現されてもよい。

【0122】

本発明は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具体化されてもよい。コンピュータ読み取り可能な媒体は、コンピュータシステムにより読み取り可能なデータを格納可能な任意のデータストレージ装置であり、電磁的搬送波を含む。コンピュータ読み取り可能な媒体の例は、ハードドライブ、ＮＡＳ（network attached storage）、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的又は非光学的データストレージ装置を含む。コンピュータ読み取り可能な媒体は、コンピュータシステムに結合されたネットワークを介して配布され、コンピュータ読み取り可能なコードは分散方式で格納され実行されてもよい。

【0123】

上記では、理解を明確にするために本発明を詳細に説明したが、添付の請求の範囲内で特定の変更および修正を実施可能であることは明らかである。したがって、実施の形態は例示的なものであり限定を意味するものではなく、また、本発明は本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20(a)】

【図20(b)】

【図21】

【図22】

【図23(a)】

【図23(b)】

【図23(c)】

【図23(d)】

【図23(e)】

【図24】

【図25】

【図26】

【図27】

【図28】