(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-02
(45)【発行日】2022-03-10
(54)【発明の名称】多視点コンテンツを配信するための表示システムおよび方法
(51)【国際特許分類】
H04N 13/307 20180101AFI20220303BHJP
G09G 5/00 20060101ALI20220303BHJP
H04N 13/366 20180101ALI20220303BHJP
H04N 13/324 20180101ALI20220303BHJP
【FI】
H04N13/307
G09G5/00 510X
G09G5/00 555D
G09G5/00 510B
G09G5/00 510H
G09G5/00 550C
H04N13/366
H04N13/324
(21)【出願番号】P 2019548302
(86)(22)【出願日】2018-03-23
(86)【国際出願番号】 US2018024024
(87)【国際公開番号】W WO2018175886
(87)【国際公開日】2018-09-27
【審査請求日】2019-11-01
(32)【優先日】2017-03-24
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】318018265
【氏名又は名称】ミスアプライド サイエンシーズ, インコーポレイテッド
【氏名又は名称原語表記】Misapplied Sciences, Inc.
【住所又は居所原語表記】16128 NE 87th Street Redmond WA 98052 U.S.A.
(74)【代理人】
【識別番号】110001210
【氏名又は名称】特許業務法人YKI国際特許事務所
(72)【発明者】
【氏名】ング アルバート ハン
(72)【発明者】
【氏名】ディーツ ポール ヘンリー
(72)【発明者】
【氏名】トンプソン デイヴィッド スティーブン
【審査官】佐野 潤一
(56)【参考文献】
【文献】国際公開第2013/183108(WO,A1)
【文献】米国特許第09396588(US,B1)
【文献】国際公開第2016/201412(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
1つ以上の多視点(MV)ピクセルであって、それぞれのMVピクセルがビームレット座標系において異なる方向にビームレットを放射するように構成される、1つ以上のMVピクセルと、
表示ゾーン座標系において前記MVピクセルに対して位置付けられた複数の表示ゾーンの仕様を動作中に受信する入力ノードと、
第1時点において、複数の目標の位置を検出し、前記複数の目標の前記検出された位置を前記複数の表示ゾーンとして指定し、前記複数の表示ゾーンの前記仕様を前記入力ノードに送り、前記第1時点よりも後の第2時点において、移動した前記複数の目標の新しい位置を検出し、前記複数の目標の前記検出された新しい位置を、新しい複数の表示ゾーンとして指定し、前記新しい複数の表示ゾーンの新しい仕様を前記入力ノードに送るように構成されるセンサと、
前記入力ノードに結合されたプロセッサであって、動作中に、
複数のコンテンツを前記複数の表示ゾーンとそれぞれ関連付けること、
前記表示ゾーン座標系と前記ビームレット座標系との間の変換を行うマッピングを決定すること、
前記複数のコンテンツから生成された複数の画像のそれぞれについて、前記マッピングを使用して、前記画像を形成するために一の表示ゾーンに向けられた前記MVピクセルの各々からビームレットの束を識別することであり、一の画像を形成するために一の表示ゾーンに向けられた前記ビームレットの束が、別の画像を形成するために別の表示ゾーンに向けられた前記ビームレットの束とは異なる、識別すること、
前記MVピクセルのための制御信号を出力することであり、前記制御信号が、対応する画像を対応する表示ゾーンに投影するための各束の前記ビームレットの各々の色および輝度を定義する、出力すること、
前記複数のコンテンツとは異なる更新された複数のコンテンツを、前記新しい複数の表示ゾーンとそれぞれ関連付けること、
前記更新された複数のコンテンツから生成された前記複数の画像のそれぞれについて、前記マッピングを使用して、更新された前記画像を形成するために1つの新しい表示ゾーンに向けられた前記MVピクセルの各々からのビームレットの束を識別すること、
各束の前記ビームレットの各々の色および輝度を定義する新しい制御信号を出力して、対応する新しい表示ゾーンに対応する更新された画像を投影すること、
を行う、プロセッサと
を備え、
1つの更新された画像を形成するために1つの新しい表示ゾーンに向けられた前記ビームレットの束は、他の更新された画像を形成するために別の新しい表示ゾーンに向けられたビームレットの束とは異なり、
前記MVピクセルが、前記プロセッサからの前記制御信号に応答して、前記複数の画像を前記複数の表示ゾーンにそれぞれ投影し、
前記MVピクセルが、前記プロセッサからの前記新しい制御信号に応答して、複数の更新された画像を前記新しい複数の表示ゾーンにそれぞれ投影
し、
前記プロセッサは、
前記表示ゾーンの頂点を定義し、
前記MVピクセルの各々について、前記表示ゾーンの座標系から前記ビームレットの座標系に変換するマッピングを各頂点に適用して、前記表示ゾーンの各頂点に当たる最も外側のビームレットを識別し、
前記MVピクセルの各々について、前記最も外側のビームレットによって束ねられている他のビームレットを見つける、
ことによって、各画像について、前記マッピングを使用して、前記画像を形成するために前記MVピクセルからの各前記表示ゾーンへのビームレットの束を識別する、
ことを特徴とする表示システム。
【請求項2】
請求項1に記載の表示システムであって、前記画像が、静止画像、画像のストリーム、テキストパターン、および点灯パターンから成るグループから選択されることを特徴とする表示システム。
【請求項3】
請求項1に記載の表示システムであって、前記プロセッサが、前記複数のコンテンツ自体を前記複数の表示ゾーンと関連付けることによって、または前記複数のコンテンツの複数のコンテンツ記述子を前記複数の表示ゾーンと関連付けることによって、前記複数のコンテンツを前記複数の表示ゾーンと関連付けることを特徴とする表示システム。
【請求項4】
請求項1に記載の表示システムであって、動作中に前記複数の表示ゾーンのオペレータ仕様を受信し、前記複数の表示ゾーンの前記仕様を前記入力ノードに送るユーザインターフェースデバイスを備えることを特徴とする表示システム。
【請求項5】
請求項4に記載の表示システムであって、前記ユーザインターフェースデバイスが、グラフィック入力とテキスト入力とのうちの一方または両方に応答して表示領域を表示することおよび前記表示領域において前記複数の表示ゾーンを指定することができるスクリーンを含むことを特徴とする表示システム。
【請求項6】
請求項1に記載の表示システムであって、前記複数の目標が、複数の視認者と複数の視認者の代用物とのうちの一方または両方を含むことを特徴とする表示システム。
【請求項7】
請求項1に記載の表示システムであって、前記一の画像を形成する前記ビームレットの束および前記別の画像を形成する前記ビームレットの束が、互いに排他的であることを特徴とする表示システム。
【請求項8】
請求項1に記載の表示システムであって、それぞれのMVピクセルが、前記異なる方向で前記ビームレットを放射する投影ピクセルを有するプロジェクタであることを特徴とする表示システム。
【請求項9】
請求項1に記載の表示システムであって、それぞれのMVピクセルが、光源とレンズとの組合せであり、前記レンズが、前記光源からの光を前記異なる方向の前記ビームレットに分割するように構成されることを特徴とする表示システム。
【請求項10】
表示ゾーン座標系において位置付けられた複数の表示ゾーンの仕様を受信するステップであり、前記複数の表示ゾーンが、1つ以上の多視点(MV)ピクセルに対して配置され、それぞれのMVピクセルが、ビームレット座標系において異なる方向にビームレットを放射するように構成される、ステップと、
複数のコンテンツを前記複数の表示ゾーンとそれぞれ関連付けるステップと、
前記表示ゾーン座標系と前記ビームレット座標系との間の変換を行うマッピングを決定するステップと、
前記複数のコンテンツから生成された複数の画像のそれぞれについて、前記マッピングを使用して、前記画像を形成するために一の表示ゾーンに向けられた前記MVピクセルの各々からビームレットの束を識別するステップであり、一の画像を形成するために一の表示ゾーンに向けられた前記ビームレットの束は、別の画像を形成するために別の表示ゾーンに向けられた前記ビームレットの束とは異なる、ステップと、
前記MVピクセルのための制御信号を生成するステップであり、前記制御信号は、対応する画像を対応する表示ゾーンに投影するための各束の前記ビームレットの各々の色および輝度を定義する、ステップと、
前記制御信号に応答して、前記MVピクセルから、前記複数の画像を前記複数の表示ゾーンにそれぞれ投影するステップと、
センサによって検出された、移動した前記複数の目標の新しい位置に基づく、新しい前記複数の表示ゾーンの新しい前記仕様を受信するステップと、
前記複数のコンテンツとは異なる更新された複数のコンテンツを、前記新しい複数の表示ゾーンとそれぞれ関連付けるステップと、
前記更新された複数のコンテンツから生成された前記複数の画像のそれぞれについて、前記マッピングを使用して、更新された前記画像を形成するために1つの新しい表示ゾーンに向けられた前記MVピクセルの各々からのビームレットの束を識別するステップであって、1つの更新された画像を形成するために1つの新しい表示ゾーンに向けられた前記ビームレットの束は、他の更新された画像を形成するために別の新しい表示ゾーンに向けられたビームレットの束とは異なる、ステップと、
各束の前記ビームレットの各々の色および輝度を定義する新しい制御信号を生成して、対応する新しい表示ゾーンに対応する更新された画像を投影するステップと、
前記新しい制御信号に応答して、前記MVピクセルから、複数の更新された画像を前記新しい複数の表示ゾーンにそれぞれ投影するステップと、
を含
み、
前記マッピングを使用して、更新された前記画像を形成するために前記MVピクセルの各々からのビームレットの束を識別するステップは、
前記表示ゾーンの頂点を定義するステップと、
前記MVピクセルの各々について、前記表示ゾーンの座標系から前記ビームレットの座標系に変換するマッピングを各頂点に適用して、前記表示ゾーンの各頂点に当たる最も外側のビームレットを識別するステップと、
前記MVピクセルの各々について、前記最も外側のビームレットによって束ねられている他のビームレットを見つけるステップと、
を含む、
ことを特徴とする表示方法。
【請求項11】
請求項10に記載の表示方法であって、前記複数のコンテンツを前記複数の表示ゾーンと前記関連付けるステップが、前記複数のコンテンツ自体を前記複数の表示ゾーンと関連付けること、または前記複数のコンテンツの複数のコンテンツ記述子を前記複数の表示ゾーンと関連付けることを含むことを特徴とする表示方法。
【請求項12】
請求項10に記載の表示方法であって、前記複数の表示ゾーンの前記仕様を前記受信するステップが、前記複数の表示ゾーンのオペレータ仕様を受信することができるユーザインターフェースデバイスを介して前記仕様を受信することを含むことを特徴とする表示方法。
【請求項13】
請求項12に記載の表示方法であって、前記ユーザインターフェースデバイスが、グラフィック入力とテキスト入力とのうちの一方または両方に応答して表示領域を表示し、前記表示領域において前記複数の表示ゾーンを指定することができるスクリーンを含むことを特徴とする表示方法。
【請求項14】
請求項10に記載の表示方法であって、前記画像が、静止画像、画像のストリーム、テキストパターン、および点灯パターンから成るグループから選択されることを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システムおよび方法に関し、詳細には、1つ以上の多視点(MV:multi-view)ピクセルを使用して複数の表示ゾーンにおいて複数の画像を形成することができる表示システムおよび方法に関する。
【背景技術】
【0002】
表示技術の進歩とともに、表示デバイスは、より鮮明な画像を有して、より小さく、より薄く、より安くなった。しかしながら、表示デバイスの基本的機能は、ほぼ同じままであり、表示デバイスは、表示デバイスを見ることができるすべての場所において視認者に同時に同じに見える画像を形成する。
【発明の概要】
【課題を解決するための手段】
【0003】
例示的な一実施形態によれば、1つ以上の多視点(MV)ピクセルを含む表示システムが提供され、各MVピクセルは、ビームレット座標系において異なる方向でビームレット(個別に制御可能なビーム)を放射するように構成される。表示システムは、表示ゾーン座標系においてMVピクセルに対して位置付けられた複数の表示ゾーンの仕様を動作中に受信する入力ノードを含む。表示システムは、入力ノードに結合されたプロセッサを含む。プロセッサは、それぞれ、複数のコンテンツを複数の表示ゾーンと関連付ける。プロセッサは、動作中に、(複数の表示ゾーンが指定された)表示ゾーン座標系と(MVピクセルビームレットが異なる方向で放射される)ビームレット座標系との間の変換を行うマッピングを決定する(たとえば、識別する、アクセスする)。複数のコンテンツから生成された複数の画像の各々について、2つの座標系の間のマッピングを使用して、プロセッサは、画像を形成するために一の表示ゾーンに向けられたMVピクセルのうちの各MVピクセルからのビームレットの束を識別する。一の画像を形成するために一の表示ゾーンに向けられたビームレットの束は、別の画像を形成するために別の表示ゾーンに向けられたビームレットの束とは異なる。プロセッサは、MVピクセルのための制御信号を出力し、制御信号は、対応する画像を対応する表示ゾーンに投影するための各束のそれぞれのビームレットの色および輝度を定義する。MVピクセルは、プロセッサからの制御信号に応答して、複数の表示ゾーンに複数の画像をそれぞれ投影する。
【0004】
前述のように構築された表示システムは、ビームレットがMVピクセルの各々から異なる方向で放射されるビームレット座標系と、複数の表示ゾーンが指定された表示ゾーン座標系との間の変換を行う、マッピングを使用する。複数のコンテンツは、それぞれ、複数の表示ゾーンと関連付けられる。表示システムは、マッピングを使用して、1つの表示ゾーンに向けられたMVピクセルの各々からビームレットの束を識別して、表示ゾーンに関連付けられたコンテンツから生成された画像を形成する。表示システムは、複数の表示ゾーンにそれぞれ関連付けられた複数のコンテンツから生成された複数の(たとえば、異なる)画像を投影するために、複数の表示ゾーンの各々に同じ動作を実行することができる。
【0005】
本明細書では、「画像」は、静止画像、画像のストリーム(たとえば、ビデオ)、テキストパターン(たとえば、メッセージ、サイネージ)、点灯パターン、および人間の目に可視であるコンテンツの任意の他の表現のうちの1つ以上を含み得る。
【0006】
様々な実施形態において、プロセッサは、複数のコンテンツ自体を複数の表示ゾーンと関連付けることによって、または複数のコンテンツの複数のコンテンツ記述子(たとえば、コンテンツプロバイダ、コンテンツタイプ)を複数の表示ゾーンと関連付けることによって、複数のコンテンツを複数の表示ゾーンと関連付ける。
【0007】
様々な実施形態において、表示システムは、複数の表示ゾーンのオペレータの仕様を動作中に受信するおよび複数の表示ゾーンの仕様を入力ノードに送る、ユーザインターフェースデバイスを含む。ユーザインターフェースデバイスは、グラフィック入力とテキスト入力とのうちの一方または両方に応答して表示領域を表示することおよび表示領域において複数の表示ゾーンを指定することができるスクリーン(たとえば、タッチスクリーン)を含み得る。たとえば、オペレータは、複数の表示ゾーンの外周をグラフィックで指定する(たとえば、囲い込みボックスを「描くこと」によって)、または表示ゾーン座標系において複数の表示ゾーンの座標をテキストで指定することができる。
【0008】
様々な実施形態において、表示システムは、複数の表示ゾーンを識別するようにおよび複数の表示ゾーンの仕様を入力ノードに送るように構成されたセンサを含み得る。たとえば、センサは、複数の目標の位置を検出するおよび複数の目標の検出された位置を複数の表示ゾーンとして指定するように構成され得る。複数の目標は、(たとえば、センサに対してジェスチャを使ってもよい)複数の視認者自身または複数の視認者の代用物、すなわち、視認者が身に付け得るタグなどの複数の視認者の位置を特定するおよび/または追跡するために使用される要素、視認者が運ぶことができる追跡可能なモバイルデバイス(たとえば、スマートフォン、ワンド)、車などの視認者を輸送することができる乗り物、あるいは視認者を表することができる任意の他のタイプのマーカー、でもよい。センサが、移動している複数の目標の位置を識別するために使用されるとき、表示システムの入力ノードは、移動した複数の目標の識別された位置に基づいて新しい複数の表示ゾーンの新しい仕様を受信することができる。プロセッサは、複数のコンテンツを新しい複数の表示ゾーンとそれぞれ関連付け、複数のコンテンツから生成された複数の画像の各々について、表示ゾーン座標系とビームレット座標系との間の変換を行うマッピングを使用して、画像を形成するために各新しい表示ゾーンに向けられたMVピクセルの各々からビームレットの束を識別する。表示システムは、複数の画像を新しい複数の表示ゾーンにそれぞれ投影することができる。新しい複数の表示ゾーンに関連付けられた複数のコンテンツは、(古い)複数の表示ゾーンと以前関連付けられた複数のコンテンツから更新され得る。
【0009】
さらなる一態様では、前述の表示システムの動作に概して対応する表示方法が、提供される。本方法は、一般に6つのステップを含む:
1)表示ゾーン座標系において位置付けられた複数の表示ゾーンの仕様を受信するステップであり、複数の表示ゾーンは1つ以上の多視点(MV)ピクセルに対して配置され、各MVピクセルは、ビームレット座標系において異なる方向にビームレットを放射するように構成される、ステップと、
2)複数のコンテンツを複数の表示ゾーンとそれぞれ関連付けるステップと、
3)表示ゾーン座標系とビームレット座標系との間の変換を行うマッピングを決定するステップと、
4)複数のコンテンツから生成された複数の画像のそれぞれについて、マッピングを使用して、画像を形成するために一の表示ゾーンに向けられたMVピクセルの各々からビームレットの束を識別するステップであり、一の画像を形成するために一の表示ゾーンに向けられたビームレットの束は、別の画像を形成するために別の表示ゾーンに向けられたビームレットの束とは異なる、ステップと、
5)MVピクセルのための制御信号を生成するステップであり、制御信号が、対応する画像を対応する表示ゾーンに投影するための各束のそれぞれのビームレットの色および輝度を定義する、ステップと、
6)制御信号に応答して、MVピクセルから、複数の画像を複数の表示ゾーンにそれぞれ投影するステップ。
【0010】
図面では、同一参照番号は、類似の要素を識別する。図中の要素の大きさおよび相対的位置は、必ずしも正確な比率で描かれていない。
【図面の簡単な説明】
【0011】
【
図2】表示システムのプロセッサの一実施形態を示す図である。
【
図3】一実施形態による3次元で表示ゾーン座標系を示す図である。
【
図4】一実施形態による2次元で表示ゾーン座標系を示す図である。
【
図5A】MVピクセルに対する表示領域において複数の表示ゾーンを指定するために使用可能なユーザインターフェースデバイスの見本のスクリーンビューを示す図である。
【
図5B】その位置がセンサによって識別された複数の目標に基づいて複数の表示ゾーンを指定するためのセンサの見本の用途を示す図である。
【
図6】一実施形態によるビームレット座標系を示す図である。
【
図7A】表示ゾーン座標系とビームレット座標系との間の変換を行うマッピングを使用して、対応する画像を形成するために複数の表示ゾーンのそれぞれに向けられた1つ以上のMVピクセルからビームレットの束を識別する、見本のプロセスを示す図である。
【
図7B】MVピクセルが異なる束のビームレットを異なる表示ゾーンにそれぞれ投影して、表示ゾーンにおいて位置付けられた目に対する異なる画像(異なるパターンを有する画像1および画像2)を提示する、一例を示す図である。
【
図7C】MVピクセルが異なる束のビームレットを異なる表示ゾーンにそれぞれ投影して、表示ゾーンにおいて位置付けられた目に対する異なる画像(異なる色を有する画像1および画像2)を提示する、別の例を示す図である。
【
図8A】1つの実施形態による、複数の表示ゾーンの仕様を受信するおよび複数の表示ゾーンに複数の画像を投影する表示方法を示す流れ図である。
【
図8B】表示ゾーン座標系からビームレット座標系へのマッピングを適用して、それにより、ビームレットの束を識別するために使用され得る、見本のアルゴリズムの流れ図である。
【
図8C】ビームレット座標系から表示ゾーン座標系へのマッピングを適用して、それによりビームレットの束を識別するために使用され得る、見本のアルゴリズムの流れ図である。
【
図9A】異なる方向で複数のビームレットを放射することができる投影ピクセルを含むプロジェクタから形成されたMVピクセルの一実施形態を示す図である。
【
図9B】異なる方向で複数のビームレットを放射することができる投影ピクセルを含むプロジェクタから形成されたMVピクセルの一実施形態を示す図である。
【
図9C】光源と、異なる方向で複数のビームレットに光源からの光を分けることができるレンズとの組合せで形成された、MVピクセルの別の実施形態を示す図である。
【
図10A】古い位置から新しい位置に表示ゾーンが移動するときに複数の表示ゾーンに伝搬される画像の更新を示す図である。
【
図10B】古い位置から新しい位置に表示ゾーンが移動するときに複数の表示ゾーンに伝搬される画像の更新を示す図である。
【発明を実施するための形態】
【0012】
以下の記述では、説明を目的として、多くの具体的な詳細が、本発明の完全な理解を実現するために、記載される。しかしながら、本発明はこれらの具体的な詳細なしに実施され得ることが、当業者には明らかであろう。他の場合には、よく知られている回路、構造、および技法は、詳しく示されておらず、本明細書の理解を不必要に難しくすることを避けるために、ブロック図で示されている。したがって、記載されている具体的な詳細は、単に例示である。特定の実装形態は、これらの例示的な詳細とは異なることがあるが、それでもなお、本発明の範囲内にあることが意図されている。本明細書における「1つの実施形態」または「一実施形態」の参照は、その実施形態に関して記述された特定の機能、構造、または特徴が本発明の少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な場所に置かれた「1つの実施形態において」という表現は、同じ実施形態を必ずしも参照しない。
【0013】
図1は、表示システム10の一実施形態を示すシステム図である。表示システム10は、1つ以上の多視点(MV)ピクセル12を含み(図示された例では、12個のMVピクセル12a~12lが含まれている)、ここで、各MVピクセル12は、
図6に示すように、ビームレット座標系42において異なる方向でビームレット14を放射するように構成されている。本明細書では、「ビームレット」は、MVピクセルから放射される個別に制御可能なビームを意味する。
図6は、複数の方向で複数のビームレット14を放射するMVピクセル12a~12lのうちの1つを示す。いくつかの光線を放射してスクリーン上に画像を形成する画像プロジェクタとは異なり、各MVピクセル12からのビームレット14は、同じMVピクセル12に由来する、(たとえば、異なる色および輝度の)異なるビームレットを複数の視認者がそれぞれ見るように、複数の視認者の目に向かうことが意図されている。結果として、視認者の視点からの各MVピクセル12の見え方は、その視認者がMVピクセル12を見る角度に依存する。説明を容易にするために、MVピクセル12hは、
図6において少数のビームレット14を放射するように図示されているが、さらに多くのビームレット14がMVピクセル12hからおよびその他のMVピクセル12のいずれかから放射され得ることを理解されたい。
【0014】
図1に戻って参照すると、表示システム10は、動作中に、
図3に追加で示されるように、表示ゾーン座標系40において位置付けられた複数の表示ゾーン18a(「ゾーン1」)および18b(「ゾーン2」)の仕様を受信する入力ノード16を含む。入力ノード16は、有線および/またはワイヤレス媒体を含む任意の適切な媒体を介して、および任意の適切なプロトコル(たとえば、ブルートゥース(登録商標)、Wi-Fi、セルラ、光、超音波)を介して、他のデバイスまたはシステム(たとえば、UIデバイス、センサ、記憶デバイス、コンテンツサーバ)から情報、データ、および/または信号を受信することを可能にする。
【0015】
図3は、1つ以上のMVピクセル12a~12lに対して位置付けられた、3次元の体積(たとえば、ボックス)としてそれぞれ指定された、2つの表示ゾーン18aおよび18bを示す。各表示ゾーン18は、1つ以上のMVピクセル12a~12lによって形成された画像が可視である観測点を定義する。したがって、表示ゾーン18は、3次元の体積(3次元における1群の観測点)として、2次元の領域(2次元での1群の観測点)として、または点として、定義され得る。
【0016】
表示ゾーン座標系40は、たとえば、デカルト座標系、または複数の表示ゾーンが1つ以上のMVピクセルを囲んで配置された極座標系など、任意の適切な座標系でもよい。任意の適切な3次元空間モデリング方法が、マップ、点群、ワイヤ多角形メッシュ、およびテクスチャ多角形メッシュなど、表示ゾーン座標系40を定義するために使用され得る。いくつかの実施形態では、表示ゾーン座標系40は、複数の表示ゾーン18が定義された表示領域の物理次元に基づき得る。
【0017】
いくつかの実施形態では、表示ゾーン座標系40は、MVピクセル(たとえば、深度センサ、立体カメラ)に結合された3次元センサの視界内にあってもよく、表示ゾーン座標系40は、3次元センサの3次元座標系にすることができる。たとえば、現実の3次元環境が、その中で複数の表示ゾーンが指定され得る3次元の表示ゾーン座標系40を導出するために、3次元センサ(たとえば、立体カメラ)によってスキャンされる。
【0018】
他の実施形態において、表示領域は、MVピクセルに結合された2次元カメラの視界内でもよく、ここで、2次元カメラは、複数の表示ゾーンを識別するためのセンサとして使用される。この場合、表示ゾーン座標系40は、2次元カメラの2次元ピクセル座標系に基づく。たとえば、
図4は、2次元カメラ(図示せず)の2次元ピクセル座標系に基づき得る、2次元での見本の表示ゾーン座標系40’を示す。この例では、2次元の表示ゾーン座標系40’は、1つ以上のMVピクセル12a~12lから距離Dにある平面に設定されている。点18cまたは領域18dは、表示ゾーンを表すために、2次元の表示ゾーン座標系40’において指定され得る。2次元の表示ゾーン座標系40’は、半球または他の非平面状の表面など、平面以外の形状でもよいことに留意されたい。いくつかの実施形態では、一意の視角を各々有するそれらの点のうちの1つ以上の点で形成された、各表示ゾーンに向けられたビームレットの束が、一意に識別され得るように、2次元の表示ゾーン座標系40’内の各点は、MVピクセル12a~12lに対する一意の視角を有することが望ましいことがある。その場合、2次元の表示ゾーン座標系40’内の複数のオーバーラップしない表示ゾーンは、ビームレットの相互に排他的な束と関連付けられ得る(または、これによって「照射」され得る)。
【0019】
複数の表示ゾーン18は、様々な形で指定され得る。いくつかの実施形態によれば、表示システム10は、
図1に示すように、動作中に、複数の表示ゾーン18のオペレータの仕様を受信するおよび複数の表示ゾーンの仕様を入力ノード16に送る、ユーザインターフェース(UI)デバイス20を含み得る。
図5Aは、表示ゾーン座標系40内の1つ以上のMVピクセル12a~12lに対する表示領域23の表現を表示することができるスクリーン22(たとえば、タッチスクリーン)を含む、見本のUIデバイス20を示す。これらの実施形態におけるUIデバイス20は、
図5Aに示すような、タブレットコンピュータ、ラップトップもしくはデスクトップコンピュータ、またはスクリーンを含む任意の電子デバイス(たとえば、スマートフォン)のいずれかでもよく、表示領域23内の複数の表示ゾーン18の仕様を可能にするように構成された表示ゾーン仕様アプリケーションを実行することができる。オペレータは、UIデバイス20のスクリーン22(たとえば、タッチスクリーン)もしくはキーボードまたは任意の他の入力デバイス(図示せず)を介して表示ゾーン座標系40内の表示領域23内の表示ゾーンを指定することができる。
【0020】
オペレータは、たとえば、観測点を表すまたは観測点の1群を表す(たとえば、囲む)点、2次元の形状(たとえば、多角形、円、長円形、自由形状)および/または3次元の形状(たとえば、ボックス、球)を「描くこと」によって、各表示ゾーンをグラフィックで指定することができる。
図5Aに示された例では、オペレータは、そこから特定の画像が可視であるはずの、1群の観測点を囲むボックス24の3次元の形状を描いた。グラフィック入力の複数の表示ゾーン18は、UIデバイス20のスクリーン上の表示領域23に重ね合わされた形状または他の証印として表され得る。追加でまたは代替で、オペレータは、たとえば、UIデバイス20のキーボードを介して各表示ゾーンを定義するボックス24の頂点(P1~P8)の座標を入力することによって、テキストによって複数の表示ゾーン18を指定することができる。
【0021】
いくつかの実施形態では、たとえば、オペレータが、複数の表示ゾーンを指定するために、表示領域の視覚化を必要としないことがある場合、UIデバイス20は、表示領域を表示することができるスクリーンを含む必要はない。これらの実施形態において、UIデバイス20は、複数の表示ゾーンのオペレータの仕様を受信するように構成された構成要素を含むだけでよい。構成要素は、オペレータが表示ゾーンに対応する指示(たとえば、席番号、セクション番号)をタイプ入力することができるキーボードまたはキーパッド、それに向かってオペレータが表示ゾーンの指示を話すことができるマイクロフォン、オペレータが表示ゾーンの指示をタップ/ジェスチャすることができるタッチ/ジェスチャセンサ式パッド、各表示ゾーンを指定するために表示領域内に指し示すのにオペレータが使用できる光ポインタなどでもよいが、これらに限定されない。
【0022】
他の実施形態によれば、表示システム10は、
図1に示すように、複数の表示ゾーン18を識別するようにおよび複数の表示ゾーンの仕様を入力ノード16に送るように構成されたセンサ26を含み得る。
図5Bは、複数の目標28aおよび28bの位置を識別する(たとえば、検出する)ことと、表示ゾーン座標系40において複数の表示ゾーン18aおよび18bとして複数の目標28aおよび28bの識別された位置を指定することとを行うことができる、見本のセンサ26を示す。センサ26は、光センサ(たとえば、カメラ、ビデオカメラ、赤外線センサ)、能動オブジェクトを追跡することができる電磁(EM:electromagnetic)監視システムセンサ、能動オブジェクトを追跡することができるGPSシステムセンサ、RFセンサ(たとえば、RFIDタグを問い合わせることができるリーダを含むRFIDシステム)、RF三角測量技法に基づくセンサ、およびレーダセンサを含むがこれらに限定されない、任意の適切な検知技術に基づき得る。いくつかの実施形態では、表示領域23において指定され得る複数の表示ゾーンを識別するために、互いにおよび表示領域23に対して適切に位置付けられた、複数のセンサが、使用され得る。同じタイプのまたは異なるタイプの複数のセンサが、ともに使用されてもよい。
【0023】
たとえば、適切なレンズおよび照明を有する1つ以上のカメラが、複数の目標28を認識して位置を特定し、これに応じて複数の表示ゾーン18を指定することができるセンサとして使用されてもよい。いくつかの実施形態では、カメラは、短距離にあるカメラを介して見られているものの深度マップを生成することができる、立体照明または飛行時間カメラなど、深度を認識するカメラでもよい。深度マップは、次いで、見られているものの3次元表現を概算するために、処理され得る。他の実施形態において、カメラは、立体カメラおよび/またはLIDARセンサでもよい。
【0024】
図5Bに示す例では、センサ26が、潜在的視認者の位置を複数の目標28aおよび28bとして検出し、視認者の検出された位置を複数の表示ゾーン18aおよび18bとして指定する。たとえば、点、2次元の形状および/または3次元の形状が、検出された各目標28(たとえば、目標28を囲む3次元ボックス)に割り当てられてもよく、割り当てられた点、2次元の形状および/または3次元の形状は目標28の表示ゾーン18を指定するために使用され得る。センサ26によって識別された複数の目標28a、28bの位置に基づいて複数の表示ゾーンを指定するための処理は、センサ26のプロセッサおよび/または表示システム10のプロセッサ50によって実行されてもよく、後述される。
【0025】
さらなる実施形態において、センサは、オーディオ(たとえば、視認者または視認者の代用物によって出される声または他の音)、温度(たとえば、視認者または視認者の代用物から発せられる熱)などのような、表示ゾーンの属性を識別する(たとえば、得る)ように構成され得る。識別された属性は、たとえば、表示ゾーンの適切なコンテンツ(たとえば、高温の表示ゾーンにいる視認者のために選択/生成された冷たい飲み物の広告)を選択または生成するために、後述される、プロセッサ50のゾーンおよびコンテンツの関連付けモジュール36によって、使用され得る。
【0026】
図6は、デカルト座標系および極座標系などの任意の適切な座標系でもよい、ビームレット座標系42を概略的に示す。ビームレット座標系42は、特定の伝搬経路を辿る、各MVピクセル12から放射されたそれぞれのビームレットを識別する。たとえば、各ビームレットの伝搬経路は、MVピクセル内のビームレットの起源およびその伝搬する方向を定義する(ユニット)ベクトルによって定義されてもよく、あるいはビームレットによって形成された方位角αおよび高度β角度などの角度の組合せによって特徴付けられてもよい。さらなる例として、任意の適切な3次元空間モデリング方法が、各伝搬経路を形成する1セットのデータ点を指定する点群の方法、あるいは、各伝搬経路を形成する1セットのボクセル(ユニットx-y-z次元を有する体積)を指定するボクセルデータ方法など、ビームレット座標系42内のビームレットの伝搬経路を定義するために使用され得る。3次元マップ、ワイヤ多角形メッシュ、およびテクスチャ多角形メッシュなど、他の3次元モデリング方法が使用され得る。いくつかの実施形態では、
図6に示すように、ビームレット座標系42は、各MVピクセル12aにおいてビームレットの起源15a、15b、15c…によってそれぞれのビームレットを明示的に識別し、ここで、各ビームレットの起源は、それの伝搬経路と黙示的に関連付けられる。他の実施形態において、ビームレット座標系42は、ビームレットのそれぞれの伝搬経路を明示的に識別することができる。
【0027】
いくつかの実施形態では、各ビームレットの伝搬経路が、1つ以上のMVピクセルの幾何モデルに基づいて、発見され得る。たとえば、MVピクセルのビームレットの間の幾何学的定義および関係は、キャリブレーション測定を介して工場において発見されてもよく、または、MVピクセル内に含まれたレンズの知られている半径方向の歪みなど、MVピクセルの光-機械設計から推論されてもよい。様々な実施形態において、各MVピクセル内のビームレット(たとえば、ビームレットのソース)は、幾何学的配列(たとえば、2次元配列、円形配列)で配置される。幾何学的配列で配置されたビームレットの伝搬経路は、線形補間、線形外挿、非線形補間、非線形外挿、テイラー級数概算、基準フレームの線形変化、基準フレームの非線形変化、多項式、球形および/または指数モデル、および三角法の操作を含むがこれらに限定されない、任意の適切な数学的技法を使用して、幾何学的に定義することができる。具体的な一例として、選択されたビームレットの伝搬経路が幾何学的に定義された後は、適切な補間技法が、それらの幾何学的に定義されたビームレットの間のビームレットの伝搬経路を見つけるために使用され得る。他の実施形態において、各ビームレットの伝搬経路は、(たとえば、各MVピクセルでビームレットを選択的にオンおよびオフにすることによって)MVピクセル上にパターンを明滅させてあらゆるビームレットを一意にエンコードすることと、MVピクセルの表示領域内に配置されたカメラを使用して明滅するパターンの画像をキャプチャすることとによって、発見され得る。次いでキャプチャされた画像は、ビームレットのそれぞれの伝搬経路を幾何学的に定義するために、ビームレット座標系42上に描くことができる。グレイコードパターン、非ゼロ復帰(NRZ:non-return-to-zero)デジタルシーケンス、振幅偏移変調(ASK:amplitude-shift-keyed)ビット、最長シーケンス、およびシフトレジスタのシーケンスを含むがこれらに限定されない、様々なエンコードパターンが、明滅パターンとして使用され得る。
【0028】
ビームレット14は、それらの放出の方向を示す矢印を有する単純な線として添付の図面に示されているが、ビームレット14は、角度成分を有することができ、任意の形状でもよい。したがって、単純な線としてのビームレットの特徴付けは近似値であり、いくつかの実施形態では有効なモデルであるが、他の実施形態では、ビームレットは、たとえば、サーチライトからのビームに類似した形状を有するものとしてモデル化され得る。様々な例示的実施形態において、各ビームレット14は、視認者の両目がビームレット14内にあることが予期され、ビームレット14が視認者の両目に向かって行くように、十分に広い/大きい。したがって、視認者は、両目で同じビームレット14(たとえば、同じ色、輝度)を見る。他の実施形態では、各ビームレット14は、2つの異なるビームレット14が視認者の2つの目にそれぞれ向かって行くように個別に制御されるように、十分に狭い/小さい。この場合、視認者は、場合により異なる色および/または輝度の2つのビームレット14を彼の/彼女の2つの目でそれぞれ見る。
【0029】
図1に戻ると、表示システム10は、入力ノード16に結合されたプロセッサ(コントローラ)50を含む。さらに
図2を参照すると、プロセッサ50は、数あるタスクの中でも特に、オペレーティングシステムを実行すること、デバイスドライバを実行すること、および本発明の様々な実施形態とともに使用される専門のアプリケーションソフトウェアを実行することができる汎用コンピュータでもよい。いくつかの実施形態では、プロセッサ50は、専用プロセッサでもよい。プロセッサ50は単一のデバイスとして示されているが、いくつかの実施形態では、プロセッサ50の機能は、プロセッサとして特徴付けられてもそうでなくてもよい、複数のデバイスの間で分散されてもよい。
【0030】
プロセッサ50は、プロセッサがアクセス可能なメモリ35においてデータを追加、更新、使用および管理することができ、メモリ35は、
図2ではプロセッサ50の一部として示されているが、いくつかの実施形態ではプロセッサ50の外部に用意されてもよい。簡潔には、メモリ35は、数ある情報の中でも特に、データ記憶することができる揮発性記憶デバイス(たとえば、RAM)および/または不揮発性の非一時的記憶デバイス(たとえば、ROM、EPROM、EEPROM、ハードドライブ、フラッシュドライブまたは他のソリッドステートメモリ技術、CD-ROM、DVD)、デバイスドライバ(たとえば、制御信号54を1つ以上のMVピクセル12に送るための)、並びに、実行されると、本開示に記載されているような様々な計算および処理をプロセッサ50が実行することを可能にする専門のアプリケーションソフトウェアである。メモリ35は単一のデバイスとして示されているが、様々な実施形態において、メモリ35は、複数の記憶デバイスに分けることができる。
【0031】
プロセッサ50は、たとえば、UIデバイス20(
図5Aを参照)からまたはセンサ26(
図5Bを参照)から、複数の表示ゾーン18aおよび18bの仕様を、入力ノード16を介して、受信する。
【0032】
プロセッサ50は、複数のコンテンツを複数の表示ゾーン18aおよび18bと関連付ける。これは、複数のコンテンツ自体を複数の表示ゾーン18aおよび18bと関連付けることによって、あるいは、複数のコンテンツプロバイダ(たとえば、ケーブルチャンネル、映画チャンネル、ライブストリームソース、ニュースウェブサイト、ソーシャルウェブサイト)または複数のコンテンツタイプなど、複数のコンテンツ記述子を複数の表示ゾーン18aおよび18bと関連付けることによって、行われ得る。
【0033】
プロセッサ50は、表示ゾーン座標系40とビームレット座標系42(
図6)との間の変換を行うマッピングを決定する(たとえば、識別する、アクセスする)。様々な実施形態において、表示ゾーン座標系40とビームレット座標系42との間のマッピングが生成され、プロセッサ50がアクセスすることができる、メモリ35に記憶(または事前に記憶)される。他の実施形態において、プロセッサ50は、リアルタイムのキャリブレーションプロセスを使用してランタイムの間に表示ゾーン座標系40とビームレット座標系42との間のマッピングを生成することができる。
【0034】
マッピングは、テーブルまたは1つ以上の変換関数として表された数学的関係など、様々な形式のいずれかをとることができる。いくつかの実施形態では、マッピングは、表示ゾーン座標系40においておよびビームレット座標系42において定義された参照証印(たとえば、点、線、形)の登録に基づき得る。たとえば、1つ以上のMVピクセル12に取り付けられた第1のカメラは、MVピクセル12の表示領域内23の画像をキャプチャするために使用される。第2のカメラおよび光源(たとえば、LED)を含む登録デバイス(図示せず)が表示領域内に置かれ、光源は明滅させられ、MVピクセル12の第1のカメラによってキャプチャされる。第1のカメラによって画像化されるものとしての表示領域内の明滅する光の位置は、(第1のカメラの座標系に基づき得る)表示ゾーン座標系40における基準の役割を果たし得る。エンコードするパターン(たとえば、グレイコードパターン、非ゼロ復帰(NRZ)デジタルシーケンス、振幅偏移変調(ASK)ビット、最長シーケンス、シフトレジスタのシーケンス)は、MVピクセルから放射されたあらゆるビームレットを一意にエンコードするために、(各MVピクセルでのビームレットを選択的にオンおよびオフにすることによって)1つ以上のMVピクセルで明滅させられる。表示領域に置かれた登録デバイスの第2のカメラによってキャプチャされた各MVピクセルからのビームレットは、識別することができ(各ビームレットは一意にエンコードされるので)、ビームレット座標系42における基準として使用することができる。同じプロセスは、登録デバイスが表示領域内の異なる位置に移動させられて、繰り返すことができ、それによって表示ゾーン座標系40内の1セットの基準およびビームレット座標系42内の1セットの基準を取得することができる。2つの座標系40と42との間で変換を行うマッピングは、2つの座標系においてこれらの2つのセットの基準を登録する、整列させるまたは別の方法で相互に関連付けるために、発見され得る。自動の3次元の点群登録など、画像処理における任意の他の登録技法もまた、登録を行うために使用され得る。
【0035】
図7Aに示すように、複数のコンテンツから生成された複数の画像(「画像1」および「画像2」)の各々について、前述で決定された(たとえば、識別された、アクセスされた、生成された)マッピングを使用(適用)して、プロセッサ50は、1つの表示ゾーン18に向けられたそれぞれのMVピクセル12a~12lからビームレットの束14を識別して画像を形成する。図示するように、各束52aまたは52bは、各視認者の脳内で「画像1」または「画像2」を形成するために瞳孔28a’または28b’に「当たっている」および視認者28aまたは28bの網膜28a”または28b”に広がったビームレット14を含む。視認者28aの脳内で1つの画像「画像1」を形成するために1つの表示ゾーン18a内の瞳孔28a’に向けられたビームレット14の束52aは、視認者28bの脳内で別の画像「画像2」を形成するために別の表示ゾーン18b内の瞳孔28b’に向けられたビームレット14の束52bとは異なる。
図1に示すように、プロセッサ50は、MVピクセル12a~12lのための制御信号54を出力する。制御信号54は、対応する画像を対応する表示ゾーン18に投影するために、各束52内のビームレット14のうちの各ビームレットの色および輝度(および、所望の任意の他のイメージングパラメータ)を定義する。プロセッサ50からの制御信号54に応答して、MVピクセル12a~12lは、それぞれ、複数の表示ゾーンに複数の画像を投影する。
【0036】
図7Bおよび7Cは、2つの表示ゾーンにおいて位置付けられた2人の異なる視認者のための2つの異なる画像を形成するようにMVピクセル12a~12lが機能する例を示す。
図7Bおよび7Cにおいて、各MVピクセルは、2つのセクション(たとえば、12a-1および12a-2)に分けられ、視認者(または視認者の目)28bが位置する第2の表示ゾーンに向けられたビームレットを第2のセクション(12a-2、12b-2、12c-2、以下参照)が放射する一方で、視認者(または視認者の目)28aが位置する第1の表示ゾーンに向けられたビームレットを第1のセクション(12a-1、12b-1、12c-1、以下参照)が放射すると想定される。制御信号54は、対応する画像を対応する表示ゾーンに投影するために、各束のビームレット14のそれぞれの色および輝度を定義する。
【0037】
図7Bにおいて、視認者28aが、パターン1を有する画像1を見るように、長方形のパターン(12a~12d、12e、12h、および12i-12l)を形成する10個のMVピクセルの第1のセクションは、視認者28aの目に対する「ハッチング」によって表される色および輝度を有するビームレットを放射する。視認者28bが、画像1のパターン1とは異なるパターン2を有する画像2を見るように、6個のMVピクセル(12b~12c、12f~12g、12iおよび12l)の第2のセクションは、視認者28bに対する「ブロッチング」によって表された色および輝度を有するビームレットを放射する。
【0038】
図7Cにおいて、12個すべてのMVピクセル(12a~12l)の第1のセクションは、視認者28aが赤色で画像1を見るように、視認者28aの目に対して「R」によって表された色および輝度を有するビームレットを放射する。12個すべてのMVピクセル(12a~12l)の第2のセクションは、視認者28bが緑色で画像2を見るように、視認者28bに対して「G」によって表された色および輝度を有するビームレットを放射する。
【0039】
これらの例の各々において、1つの表示ゾーンに「当たる」ことになるビームレットの束14が識別され、その束のうちの各ビームレットの色および輝度は、その表示ゾーンにおけるコンテンツに基づいて画像を形成するように、表示ゾーンに関連付けられたコンテンツに対応するように制御信号54によって設定される。
【0040】
本明細書では、「画像」は、1つ以上のMVピクセル12からの照明のパターンに由来する何らかを意味する。照明のパターンは、各MVピクセル12から放射される各ビームレットを「オン」もしくは「オフ」にすることおよび/または各ビームレットの色および輝度(強度)を制御することによって、生成される。画像の非限定的な例は、静止画像、画像のストリーム(たとえば、ビデオ)、テキストパターン(たとえば、メッセージ、サイネージ)、点灯パターン(たとえば、異なるまたは変化する速度で、異なる輝度/薄暗さのレベルで、異なる輝度/薄暗さの増加率または減少率でなど、個別にまたは集合的に点滅させられる、明滅させられる、または別の方法で「オン」および「オフ」にされるビームレット)、並びに人間の目に対して可視であるコンテンツの任意の他の表現のうちのいずれか1つまたは組合せを含む。
【0041】
いくつかの実施形態では、制御信号54は、分光組成、偏光、ビームレット形状、ビームレットプロファイル、フォーカス、空間コヒーレンス、時間コヒーレンス、および他のビームレットとの重複など、ビームレット14のうちの各ビームレットの他のパラメータを、色および輝度に加えて、定義することができる。具体的には、ビームレットは、一般に、鋭いエッジを有さず、したがって、隣接するビームレットはいくらか重複することがある。重複の度合いは、ビームレットパラメータのうちの1つによって制御され得る。
【0042】
MVピクセル12のための制御信号54は、有線および/またはワイヤレス媒体を含む任意の適切な媒体を介して、および任意の適切なプロトコル(たとえば、ブルートゥース(登録商標)、Wi-Fi、セルラ、光、超音波)を介して、プロセッサ50から出力され得る。
【0043】
図2は、1つの実施形態による表示システム10のプロセッサ50の詳細を示し、
図8Aは、1つ以上のMVピクセル12ととともにプロファイル50によって実行され得る見本の方法を示す流れ図である。詳しく後述される、
図2のプロセッサ50内の様々な構成要素32、34、36および38は、ハードウェア、ソフトウェア、あるいはハードウェアおよびソフトウェアの組合せによって実現することができ、各構成要素は、電気回路、汎用プロセッサまたはソフトウェアアルゴリズムを実行する専用プロセッサ、によって、部分的にまたは全体的に実現することができる。
【0044】
図8Aのブロック81において、プロセッサ50は、表示ゾーン座標系40内に位置する複数の表示ゾーン18の仕様を受信し、ここで、複数の表示ゾーンは1つ以上の多視点(MV)ピクセル12に対して配置されている。
【0045】
プロセッサ50において、表示ゾーンプロセッサ32は、入力ノード16を介して受信されるものとしての複数の表示ゾーン18の仕様を処理する責任を負う。いくつかの実施形態で、たとえば、複数の表示ゾーン18がオペレータによってUIデバイス20において指定されるとき、入力ノード16を介して受信されるものとしての複数の表示ゾーン18は、表示ゾーン座標系40において明示的に定義され得る。他の実施形態において、入力ノード16を介して受信されるものとしての複数の表示ゾーン18は、たとえば、センサ26によって識別されるものとしての複数の目標の位置の形で、黙示的に定義され得る。これらの実施形態において、表示ゾーンプロセッサ32は、複数の目標の識別された位置を受信して、それぞれの識別された位置に対応する点、2次元の形状、または3次元の形状を定義することなどによって、識別された位置に基づいて複数の表示ゾーン18を明示的に指定するための任意の必要な処理を実行する。表示ゾーンプロセッサ32は、スティッチ/レジストレーション、モルフォロジカルフィルタリング、閾値処理、ピクセル集計、画像セグメント化、顔検出、エッジ検出、およびBlob発見および操作など、センサ26によって識別されるものとしての複数の目標の位置を処理(たとえば、認識)するために、いくつかの画像処理技法のうちのいずれかを使用することができる。表示ゾーンプロセッサ32は、複数の目標の処理された(たとえば、認識された)位置に基づいて複数の表示ゾーンを指定する。様々な実施形態において、複数の表示ゾーンは、メモリ35に記憶することができ、プロセッサ50の様々な構成要素によってアクセス可能になる。
【0046】
図8Aのブロック82において、プロセッサ50は、複数のコンテンツを複数の表示ゾーン18とそれぞれ関連付ける。プロセッサ50において、関連付けアプリケーションを実行するゾーンおよびコンテンツの関連付けモジュール36は、関連付けを実行する責任を負う。その目的のために、メモリ35は、複数のコンテンツおよび/または複数のコンテンツのコンテンツ記述子を記憶することができる。たとえば、複数のコンテンツまたはコンテンツ記述子は、プロセッサ50によってアクセス可能なメモリ35の一部としての役割を集合で果たす、ともにネットワークで結ばれた1つ以上のコンテンツサーバに記憶され得る。
【0047】
複数のコンテンツ自体(どの画像が生成され得るかに基づく)が記憶されてもよく、あるいは、たとえば、ネットワーク接続を介して、複数のコンテンツにアクセスするために使用することができる、コンテンツ記述子(たとえば、コンテンツプロバイダ、コンテンツタイプ)が記憶され得る。これらの実施形態において、ゾーンおよびコンテンツの関連付けモジュール36は、各表示ゾーンのための特定のコンテンツまたはコンテンツ記述子を選択することができる。他の実施形態において、ゾーンおよびコンテンツの関連付けモジュール36は、各表示ゾーンのための特定のコンテンツを作成(生成)することができる。
【0048】
ゾーンおよびコンテンツの関連付けモジュール36で実行する関連付けプログラムは、それぞれ、複数の表示ゾーンのための複数のコンテンツをフェッチまたは作成する責任を負う。関連付けプログラムは、複数の表示ゾーン18を複数のコンテンツと関連付けるための定義された関連付けルールを指し得る。たとえば、ルールは、表示ゾーンの特徴に基づいて、または、センサ26が目標(たとえば、視認者もしくは視認者の代用物)の位置を検出して表示ゾーンを指定するために使用される場合には、目標の特徴に基づいて、各表示ゾーンのための特定のコンテンツを選択または作成するために使用することができる。具体的な一例として、その位置における表示に適したものとして具体的に選択された画像を生成するためのベースとしてそれらのコンテンツを使用することができるように、複数のコンテンツが、1つ以上のMVピクセル12に対する表示ゾーンの位置と関連付けられ得る。もう1つの例として、目標に適したものとして具体的に選択された画像を生成するためのベースとしてそれらのコンテンツを使用することができるように、複数のコンテンツが、表示ゾーンにおける目標(たとえば、視認者)と関連付けられる。
【0049】
さらなる実施形態において、入力ノード16を介して受信されたものとしての複数の表示ゾーン18の仕様が、それぞれ、複数のコンテンツと関連付けられ得る。たとえば、UIデバイス20が複数の表示ゾーン18を指定するために使用されるとき、UIデバイス20は、それぞれ、たとえば、UIデバイス20へのオペレータ入力に基づいて、指定された表示ゾーン18を複数のコンテンツと関連付けるために追加で使用され得る。これらの実施形態において、プロセッサ50のゾーンおよびコンテンツの関連付けモジュール36は、表示ゾーン18と入力ノード16を介して受信されたものとしての複数のコンテンツとの間の関連付けを受信および/または検証する。
【0050】
いくつかの実施形態では、複数の表示ゾーン18と関連付けられることになる複数のコンテンツは、ゾーンおよびコンテンツの関連付けモジュール36によってリアルタイムで生成され得る。たとえば、ゾーンおよびコンテンツの関連付けモジュール36で実行する関連付けアプリケーションは、たとえば、表示ゾーンの特徴の関数として、各表示ゾーンのためにリアルタイムでコンテンツ(たとえば、サイネージ、点灯パターン)を生成することができる。
【0051】
図8Aのブロック83において、プロセッサ50は、表示ゾーン座標系40とビームレット座標系42との間で変換を行うマッピングを決定する(たとえば、識別する、アクセスする、生成する)。様々な実施形態において、マッピングは、メモリ35に記憶する(または事前に記憶する)ことができ、その場合、プロセッサ50は、記憶されたマッピングにアクセスする。プロセッサ50において、マッピングエンジン34は、マッピングを決定する(たとえば、識別する、アクセスする、生成する)責任を負う。
【0052】
複数のマッピング(たとえば、表示ゾーン座標系40をビームレット座標系42に変換する1つのマッピングと、ビームレット座標系42を表示ゾーン座標系40に変換するもう1つのマッピング)がメモリ35に記憶され得、マッピングエンジン34は、そこから1つ以上の適切なマッピングに選択的にアクセスすることができる。様々な実施形態において、マッピングエンジン34は、マッピングを決定(たとえば、アクセス)し、後述される、ビームレット束の識別モジュール38は、マッピングを適用して、各表示ゾーンに当たるビームレットの束を識別する。
【0053】
前述のように、表示ゾーン座標系40とビームレット座標系42との間のマッピングは、メモリ35に予め記憶されてもよく、または適切なタイミングで入力ノード16を介してメモリ35に受信されてもよい。たとえば、UIデバイス20が複数の表示ゾーン18を指定するために使用されるとき、UIデバイス20で実行する表示ゾーン仕様アプリケーションによって使用される表示ゾーン座標系40は、UIデバイス20から、入力ノード16を介して、複数の表示ゾーン18の仕様とともに受信され得る、マッピングを生成するために使用され得る。
【0054】
図8Aのブロック84において、(ゾーンおよびコンテンツの関連付けモジュール36によって、ブロック82において複数の表示ゾーンに関連付けられた)複数のコンテンツから生成された複数の画像の各々について、マッピングエンジン34による、ブロック83の(決定された/識別された/アクセスされた/生成された)マッピングを使用して、プロセッサ50は、画像を形成するために1つの表示ゾーンに向けられたMVピクセルの各々からビームレットの束を識別する。プロセッサ50において、束識別アプリケーションで実行するビームレット束の識別モジュール38は、それぞれ、マッピングを適用して、複数の画像を形成するために複数の表示ゾーン18a、18bに向けられたビームレットの複数の束52a、52bを識別する責任を負う(前述の、
図7A、7Bおよび7Cの例を参照)。一般に、それぞれの画像のための、束識別アプリケーションは、画像を形成するために対応する表示ゾーンに「当たる」または「着地する」ビームレットの束を識別する。
【0055】
図8Bは、表示ゾーン座標系40からビームレット座標系42へのマッピングを適用して、それによって、複数の表示ゾーンのそれぞれに向けられたビームレットの束を識別するためにビームレット束の識別モジュール38によって使用され得る、見本のアルゴリズムの流れ図である。複数の表示ゾーンの各々について、ブロック87で、表示ゾーンの頂点が定義される。
図5Aを参照すると、たとえば、ボックス24によって定義された表示ゾーンについて、頂点P1~P8が定義される。ブロック88において、それぞれのMVピクセルについて、(表示ゾーン座標系からビームレット座標系への)マッピングが、表示ゾーンの各頂点に「当たる」最も外側のビームレットを識別するために、各頂点に適用される。本明細書では、最も外側は、MVピクセルの外周に面することを意味する。ブロック89において、それぞれのMVピクセルについて、頂点に当たる最も外側のビームレットによって結ばれる任意の他のビームレットもまた、表示ゾーンに「当たる」ことが分かる。
【0056】
図8Cは、ビームレット座標系42から表示ゾーン座標系40へのマッピングを適用して、それによって、複数の表示ゾーンのそれぞれに向けられたビームレットの束を識別するために、ビームレット束の識別モジュール38によって使用され得る見本のアルゴリズムの流れ図である。それぞれのMVピクセルのそれぞれのビームレットについて、ブロック90で、(ビームレット座標系から表示ゾーン座標系への)マッピングが、ビームレットがどの表示ゾーンに「当たる」かを識別するために適用される。各MVピクセルのすべてのビームレットが評価された後、各表示ゾーンは、表示ゾーンに「当たる」MVピクセルからの1セットのビームレットと関連付けられる。
【0057】
図8Aのブロック85において、プロセッサ50は、MVピクセル12a~12lのための制御信号54を生成し、ここで、制御信号は、対応する画像を対応する表示ゾーンに投影するための各束のそれぞれのビームレットの色および輝度を定義する。たとえば、制御信号54は、透明度値(「α」)、および明度(「L」)における輝度を含む、YCbCrにおけるまたはRGB空間における色(たとえば、可能な色の完全なパレット)を、それぞれのビームレットについて、定義することができる。
【0058】
図8Aのブロック86において、プロセッサ50からの制御信号54に応答して、1つ以上のMVピクセル12a~12lが、複数の表示ゾーンに複数の画像をそれぞれ投影する。
【0059】
いくつかの実施形態では、ある画像を形成するビームレットの束および別の画像を形成するビームレットの束は、相互に排他的である。たとえば、
図7~7Cを参照すると、視認者がそこから「画像1」を見るであろう表示ゾーンにマップする束52aのビームレットと、視認者がそこから「画像2」を見るであろう表示ゾーンにマップする束52bのビームレットとは、互いに排他的である。他の実施形態において、ビームレットのうちのいくつかは、たとえば、表示ゾーンの間に配合効果または回避ギャップを実現するために画像のエッジの近くで、複数の画像によって(すなわち、複数の束によって)共有され得る。
【0060】
1つ以上のMVピクセル12a~12lは、様々な構成のいずれかにおいて形成され得る。
図9A、9Bおよび9Cは、MVピクセルの3つの非限定的な例示的な構成を示す。
図9Aは、ある特定の方向でビームレット14をそれぞれ放射する複数の投影ピクセル(「PIX」)を含むプロジェクタ61で形成されたMVピクセル12xの簡略化された表現である。図示された例では、20個の投影ピクセル、PIX1~PIX20、が含まれ、それぞれが、異なる方向でビームレット14を放射するように構成される。したがって、20個の投影ピクセル、PIX1~PIX20、からそれぞれ放射された20個のビームレット、14-1~14-20、は、20の異なる方向に伸びる。それぞれの投影ピクセルPIXからのそれぞれのビームレットの色および輝度は、独立して制御可能である。「ピコプロジェクタ」などの任意の適切なプロジェクタ(たとえば、LCD、DLP、LCoS)が、MVピクセル12xを形成するために使用され得る。様々な実施形態において、以下を含むがこれらに限定されない、256(=16×16)個の投影ピクセルから数百万個以上の投影ピクセルまでを含むプロジェクタが使用され得る:
VGA:640×480=307,200投影ピクセル
XGA:1024×768=786,432投影ピクセル
720p:1280×720=921,600投影ピクセル
1080p:1920×1080=2,073,600投影ピクセル
UHD 4K:3840×2160=8,294,400投影ピクセル。
MVピクセルの形成に使用するのに適した様々なピコプロジェクタが、市販されている。簡潔には、ピコプロジェクタは、光源(たとえば、LED、レーザ、白熱光)と、光をイメージャに向ける集光素子と、イメージャ、通常は、光を遮るおよび光を投影光学素子に向けるデジタル表示信号を受け付けるDMD(digital micromirror device、デジタルマイクロミラーデバイス)またはLCoS(liquid-crystal-on-silicon、シリコン上の液晶)デバイス、と、表示画像をスクリーンに投影するおよび表示画像のフォーカシングなどの追加機能も可能にする投影(または出力)光学素子と、光源ドライバ、インターフェース回路、および、ビデオおよびグラフィックスプロセッサを含む、電子制御装置とを含む。いくつかの実施形態では、市販のピコプロジェクタが、たとえば、(ビームレット14が視認者の目によって受けられることを意図されているとき)従来の投影アプリケーションと比較して輝度を減らすために、MVピクセルとして使用するために修正され得る。プロセッサ50からの制御信号54は、MVピクセル12xのうちの1つ以上を起動させて、異なる方向で伝搬するそれぞれのMVピクセルからのビームレット14を生成し、各ビームレットの色および輝度は制御される。
【0061】
図9Bは、
図9Aの表現よりも詳しい、プロジェクタで形成された別のMVピクセル12yの表現である。MVピクセル12yは、投影ピクセル「PIX」から成る投影ピクセル配列62、光源63、およびレンズ64を含む。図示された例において、投影ピクセル配列62(たとえば、DMDまたはLCoSデバイス)は、256(=16×16)個の投影ピクセルPIX1~PIX256を含む。光源63は、投影ピクセル配列62の後ろに位置付けられて図示されているが、他の実施形態では、光源63は、使用されている投影技術に応じて、投影ピクセル配列62の前に配置されてもよい。プロセッサ50からの制御信号54が、選択された投影ピクセル「PIX」を起動させるとき、それらの投影ピクセルに作用する光源63からの光は、レンズ64の方へ向けられ(反射または伝送を介して)、レンズ64は受信した光からビームレットを生成する。図示するように、投影ピクセルPIX84は、起動されると、光源63からの光をレンズ64の方に向け、レンズ64は、その光の相当の大きさの断片を集めてビームレット84に視準を合わせる。同様に、投影ピクセルPIX94は、起動されると、光源63からの光をレンズ64の方に向け、レンズ64は、その光の相当の大きさの断片を集めてビームレット94に視準を合わせる。投影ピクセルPIX84およびPIX94は、レンズ64に対して異なる角度方向(1または2方向)を有するので、それらのそれぞれのビームレット84およびビームレット94の放出方向は、互いに異なることになる。たとえば、投影ピクセルPIX84が、起動されると青い光を通す場合、次いで、その目でビームレット84を受ける視認者は、青いドットを見ることになる。たとえば、投影ピクセルPIX94が、起動されると赤い光を通す場合、次いで、その目でビームレット94を受ける視認者は、赤いドットを見ることになる。ドットの大きさ/形状/外観は、レンズ64の構成および動作に応じて変化し得る。結果として、各ビームレット(ビームレット1~ビームレット256)は、色および/または強度に関してのみならず、大きさ、形状および/または外観に関しても、その他のビームレットのうちのいくつかまたはすべてと異なり得る。投影ピクセル「PIX」が、三原色(RBG)のうちの1つのみをそれぞれ放射するとき、拡散器は、1セットの投影ピクセルから放射された光を拡散させ、それによって、そのセットから放射された光を可能な色の完全なパレットから選択された色の単一のビームレットに混ぜ合わせるように、そのセットの前に配置されてもよい。様々な実施形態において、各投影ピクセルは、三原色の「サブ」ピクセルで構成され、拡散器は、三原色の「サブ」ピクセルを投影ピクセルの完全なパレット色に混ぜ合わせるために使用される。
【0062】
他の実施形態では、
図9Cに示すように、MVピクセル12zは、1つのレンズまたはレンズ64’の配列がその上に置かれた表示パネル(たとえば、LED、OLED)66によって形成されてもよい。各表示パネルピクセルは、プロセッサ50から制御信号54によって電気的に励起されたときに光を放射する個別にアドレス可能な光源として機能する。図示された例において、表示パネルピクセルの4×5配列は、20個のレンズL1~L20の4×5配列64’がその上に置かれた20個の光源LS1~LS20として機能する。異なる20方向で伝搬する20個のビームレット14-1~14-20を生成するために、表示ピクセルLS1からの光はレンズL1によって集められてビームレット14-1に視準を合わせられ、表示ピクセルLS2からの光はレンズL2によって集められてビームレット14-2に視準を合わせられ、表示ピクセルLS3からの光はレンズL3によって集められてビームレット14-3に視準を合わせられる、等々。個別にアドレス可能な光源の機能を果たす表示パネルピクセル(LS1~LS20)を含む、表示パネル66は、集合的に、光源と考えてもよく、レンズ64’の配列は、集合的に、レンズと考えてもよい。したがって、
図9CのMVピクセル12zは、光源からの光を異なる方向の複数のビームレットに分けるように構成された、光源およびレンズの組合せと考えてもよい。光源およびレンズの構成は、
図9Cに示された特定の実施形態に限定されないことが、当業者には明らかであろう。たとえば、時分割でまたは空間分割で複数の光線を放射することができる単一の光源が、表示パネル66の代わりに使用されてもよく、レンズまたはレンズ配列の他の配置が、
図9Cのレンズ64’の配列の代わりに使用されてもよい。
図9Cでは、レンズ64’の配列は、空間内に浮かぶものとして示されており、支持構造物は示されていない。実際には、レンズL1~L20は、たとえば、機械的支持のみならず不透明な背景も提供する暗いシートによって、支えられてもよく、表示パネル66からの迷光を遮断してもよい。表示パネル66からの光のうちで、レンズL1~L20を通過するビームレット14のみが、視認者の目に到達することになる。
【0063】
MVピクセルを形成するためのレンズ配列および表示パネルの組合せは、プロジェクタが構築される方法と概念的に類似して実装され得る。たとえば、LCDまたはOLEDパネルが使用されてもよく、ここで、LCD/OLEDパネルのピクセルは、DLP/LCoSプロジェクタの投影ピクセルと機能的に類似している。LCD/OLEDパネルでは、それの前に1つ以上のレンズを配置して単一の表示パネルから複数の「プロジェクタ」を作り出すことが可能になり得る。各レンズの真下の表示パネルピクセルは、レンズから出るビームレットを形成することになる。各レンズの真下の表示パネルピクセルの数は、それぞれのMVピクセル「プロジェクタ」のための制御可能なビームレット方向の数を決定する。
【0064】
さらなる実施形態において、それぞれが異なる方向を指し、それぞれが個別にアドレス可能な、個別の光の集まり(たとえば、LED、スポットライト)が、グループ化されてMVピクセルを形成することができ、異なる方向で異なる光に由来する複数のビームレットを放射する。
【0065】
図5Bに戻って参照すると、センサ26は、移動している複数の目標(たとえば、複数の視認者28a、28b)の位置を検出するために、および新しい複数の表示ゾーンとして新しい複数の目標の検出された位置を指定するために、使用することができる。新しい画像が、更新された複数のコンテンツから生成されて新しい複数の表示ゾーンにおいて可視となり得るように、プロセッサ50は、次いで、複数のコンテンツを更新することができる。
図10Aおよび
図10Bは、そのような実施形態を示す。
【0066】
図10Aおよび
図10Bにおいて、センサ26によって識別された複数の目標は、複数の視認者28a、28b自身ではないが、複数の視認者の代用物60a、60b、すなわち、視認者が身に付け得る(たとえば、バッジ、リストバンドに組み込まれる)タグなど、複数の視認者28a、28bの位置を特定および/または追跡するために使用される要素(たとえば、QRコード(登録商標)などのパッシブパターン、点滅するIR LEDなどのアクティブ光学タグ、RFIDタグなどの無線タグ、または超音波タグ)、視認者が運ぶことができる追跡可能なオブジェクトとして機能するモバイルデバイス(たとえば、スマートフォン、ワンド)、車などの視認者を輸送し得る乗り物、あるいは視認者を表し得る任意の他のタイプのマーカーである。センサ26は、RFID技術、EM監視技術、またはGPS技術など、任意の適切な位置特定技術または技法を使用して、視認者の代用物60a、60bの位置を検出するように構成される。センサ26が、矢印68a、68bによって示されるように、
図10Aの元の位置から
図10Bの新しい位置に移動している複数の目標28a、28bの位置を(視認者の代用物60a、60bを介して)検出するために使用されるとき、表示システム10の入力ノード16は、新しい検出された位置に基づいて、新しい複数の表示ゾーンの新しい仕様を受信することができる。プロセッサ50は、複数のコンテンツを新しい複数の表示ゾーンとそれぞれ関連付け、複数のコンテンツから生成された複数の画像のそれぞれについて、ビームレット座標系42と表示ゾーン座標系40との間の変換を行うマッピングを使用して、画像を形成するために新しい各表示ゾーンに向けられたそれぞれのMVピクセルからのビームレットの束を識別する。表示システム10は、複数の画像を新しい複数の表示ゾーンにそれぞれ投影することができる。
【0067】
いくつかの実施形態では、新しい複数の表示ゾーンに関連付けられた複数のコンテンツが、(古い)複数の表示ゾーンと以前関連付けられた複数のコンテンツから更新され得る。たとえば、
図10Aでは、古いコンテンツから生成された芋虫70aの画像は、視認者28aの古い表示ゾーンに投影され、古いコンテンツから生成されたオタマジャクシ70bの画像は、他の視認者28bの古い表示ゾーンに投影される。視認者28a、28bの両方が、新しい位置に移動した後、
図10Bにおいて、更新されたコンテンツから生成された蝶80aの異なる(更新された)画像が、視認者28aの新しい表示ゾーンに投影され、更新されたコンテンツから生成されたカエル80bの異なる(更新された)画像が、他の視認者28bの新しい表示ゾーンに投影される。したがって、視認者が1つ以上のMVピクセル12に対して移動するときに、各視認者は、更新されたコンテンツに基づいて(たとえば、芋虫70aから蝶80aへ、オタマジャクシ70bからカエル80bへ)更新されたまたは変化する画像を観測することができ、一方で、異なる視認者28a、28bは、それぞれ、更新されたコンテンツに基づいて異なる(異なって更新されたまたは変更された)画像を観測する。
【0068】
2017年3月24日に出願された米国特許出願第15/469,220号の開示の全体を本願に援用する。
【0069】
前述の様々な実施形態は、さらなる実施形態を提供するために組み合わせることができる。これらのおよび他の変更は、前述の詳しい説明に照らして、実施形態に対して行われ得る。一般に、以下の特許請求の範囲において、使用される用語は、本明細書および本特許請求の範囲で開示される特定の実施形態に本請求を限定するように解釈されるべきではなく、そのような請求が権利を与えられるのと同等の全範囲とともにすべての可能な実施形態を含むと解釈されるべきである。したがって、本請求は本開示によって制限されない。