(58)【調査した分野】(Int.Cl.,DB名)
請求項1に記載のマルチビューディスプレイ装置であって、前記筐体が、前記ディスプレイに隣接して配置された背面カバーと、前記レンズアレイパネルに隣接して配置された正面カバーとを含み、前記正面カバーが、前記MV画素にそれぞれ対応するアパーチャを画成することを特徴とする、マルチビューディスプレイ装置。
請求項1に記載のマルチビューディスプレイ装置であって、それぞれのディスプレイ画素が、複数のディスプレイサブ画素から形成され、前記マルチビューディスプレイ装置が、ディスプレイと前記レンズアレイパネルとの間に配置されたディフューザを備え、前記ディフューザが、前記ディスプレイのディスプレイサブ画素構成に応じて、第1の軸に沿ってより多くの拡散を実現し、前記第1の軸とは異なる第2の軸に沿ってより少ない拡散を実現するように、非対称的であることを特徴とする、マルチビューディスプレイ装置。
請求項1に記載のマルチビューディスプレイ装置であって、四辺形状を有し、前記四辺形状の両縁部に設けられたネットワークおよび電力のコネクタを備え、第1のネットワークコネクタに結合される第1のネットワークインターフェース、および第2のネットワークコネクタに結合される第2のネットワークインターフェースを含むコントローラを備え、前記第1および第2のネットワークインターフェースのうちの一方が、信号を入力するための上流インターフェースとして機能し、前記第1および第2のネットワークインターフェースのうちの他方が、信号を出力するための下流インターフェースとして機能し、
前記コントローラが、第1の電力コネクタに結合される第1の電力インターフェース、および第2の電力コネクタに結合される第2の電力インターフェースをさらに含み、前記第1および第2の電力インターフェースのうちの一方が、電力を入力する上流インターフェースとして機能し、前記第1および第2の電力インターフェースのうちの他方が、電力を出力する下流インターフェースとして機能することを特徴とする、マルチビューディスプレイ装置。
請求項1に記載のマルチビューディスプレイ装置であって、前記レンズアレイパネルと前記ディスプレイの間に配置され、迷光が前記MV画素間で交差するのを遮断するように構成されたバッフルのシートを備えることを特徴とする、マルチビューディスプレイ装置。
【発明を実施するための形態】
【0017】
図1は、本開示の1つ以上の実施形態による精密MVディスプレイ装置100の正面斜視図である。MVディスプレイ装置100は、マルチビュー画素102の格子を含み、四辺形(たとえば矩形)の形を有する。他の形状および構成は、本開示の範囲内にある。視聴者にとって、MVディスプレイ装置100は、普通の発光ダイオード(LED)ディスプレイのように見える。1つ以上の実施形態では、MVディスプレイ装置100は、マルチビュー画素102の格子の上に配設された一体型カメラ104を含む。カメラ104は、MVディスプレイ装置100の視野内での活動を監視するために使用される感知システムの例である。1つ以上の実施形態では、こうした感知システムは、MVディスプレイ装置100に一体化されていないセンサを含み、または完全にそのようなセンサから成る。
【0018】
図2は、本開示の1つ以上の実施形態による精密MVディスプレイ装置100の分解正面図である。MVディスプレイ装置100は、背面カバー106および正面カバー108を含む。高分解能のフラットパネルディスプレイ(FPD)110が、背面カバー106に当接している。1つ以上の実施形態では、フラットパネルディスプレイ110は、LCDパネルおよび背面照明ユニットを含む。本開示の範囲から逸脱することなく、他のタイプのフラットパネルディスプレイ110が使用されてもよい。フラットパネルディスプレイ110は、このフラットパネルディスプレイ110のディスプレイサブ画素の色を局所的に混合する役割を果たすディフューザ162(
図18を参照)によって覆われてもよく、これについては以下でさらに詳細に説明する。ディフューザ162は、レンズアレイパネル112によって覆われる。
【0019】
レンズアレイパネル112は、さらに小さいレンズアセンブリ132(
図6および
図7A〜
図7Cを参照)から成り、それぞれのレンズアセンブリ132が3つのレンズアレイ140、142、144を含み、それらが重ねられて、マルチビュー画素102のための複数のマルチ素子レンズ系がそれぞれ生成される(レンズアセンブリ132には、16個のこうしたレンズ系が含まれる)。マルチビュー画素102間でのクロストークを防ぐために、レンズアレイパネル112は、ディフューザ162とレンズアレイパネル112のレンズとの間にあるバッフル150、152(
図17Aを参照)を含む。レール134および136を含むレールシステム(
図6を参照)が、マルチビュー画素102をきっちり詰めることができるようなやり方で、レンズアセンブリ132をともに保持する。正面カバー108は、マルチビュー画素102の見た目をよくする複数のアパーチャ108aを含む。レンズアレイパネル112の構成要素は、
図5〜
図17Cを参照しながら、以下でより詳細に説明する。
【0020】
図3は、本開示の1つ以上の実施形態による精密MVディスプレイ装置100の部分的な分解背面図である。
図3では、背面カバー106のパネル106aが取り外されて、第1のドライバボード114および第2のドライバボード116が露出している。第1のドライバボード114は、マルチビュー用途をサポートするために専用に設計されている画素処理ユニット172(
図19を参照)を含む。また第1のドライバボード114は、電力を分配する電力コントローラ180も含み(
図19を参照)、その電力は、MVディスプレイ装置100内で電力コネクタ118に接続された電力ケーブルによって受けられる。さらに、第1のドライバボード114は、データコネクタ120に接続されたデータケーブルを介してデータを送受信するネットワークコントローラ178を含む(
図19を参照)。
図3には示していないが、第2のドライバボード116も、電力コントローラ180に結合される電力コネクタ118と、ネットワークコントローラ178に結合されるデータコネクタ120とを含む。1つ以上の実施形態では、データコネクタ120はイーサネット(登録商標)コネクタであり、ネットワークコントローラ178は、イーサネット(登録商標)データ通信規格に従ってデータを送受信する。MVディスプレイ装置100の左右両側に電力コネクタ118およびデータコネクタ120を設けることによって、複数のディスプレイ装置100を相互接続してタイルドディスプレイ装置を形成するときに、便利で整ったケーブル敷設が可能になる。
【0021】
さらに多くのマルチビュー(MV)画素を有するより大きいディスプレイを作製するために、
図4に示すようにMVディスプレイ装置100をタイルド構成で使用することができる。
図4は、本開示の1つ以上の実施形態によるMVディスプレイシステム122の正面図である。MVディスプレイシステム122は複数のMVディスプレイ装置100を含み、以下で詳細に説明するように、それらは互いに結合され、異なる視聴ゾーンの視聴者に異なる画像が提供されるように、自らのMV画素102を発光させる制御信号がそれらに提供される。
図4に示す例のMVディスプレイシステム122は、9個のMVディスプレイ装置100を含むが、MVディスプレイシステム122の他の実施形態は、異なる数のMVディスプレイ装置100を含んでもよい。
【0022】
MVディスプレイ装置100は、タイリングをより容易で、より効率的にする多くの特徴を含む。1つ以上の実施形態では、背面カバー106および正面カバー108の側縁部には突起、通風孔、およびケーブルコネクタが設けられておらず、それにより、MVディスプレイ装置100が物理的に互いに当接することができるようになる。設置点は、タイリングを妨げないように、MVディスプレイ装置100の背面に設けられる(
図3を参照)。ディスプレイの縁部とその画素との間の空間であるベゼルは、見た目をよくするために最小限に抑えられる。電力コネクタ118およびデータコネクタ120は、MVディスプレイ装置100をデイジーチェーン接続できるようにするロケーションにおいて背面カバー106に(たとえばその両側に)設けられており、これにより、MVディスプレイシステム122などのタイルドシステムを駆動するのに必要なケーブルの量が大幅に低減される。さらに、MVディスプレイ装置100の動作を制御するアプリケーションソフトウェアによって、MVディスプレイシステム122を単一の大型ディスプレイとして扱うことができるようになり、それにより、従来のMVディスプレイ装置よりもキャリブレーションおよび使用が容易になる。
【0023】
ともに作用して目的とするマルチビュー機能を実現する、MVディスプレイシステム122の多数の態様が存在する。たとえば、MVディスプレイシステム122は、(マルチビュー用途向けに専用に最適化されたライトフィールドディスプレイのタイプの)光学系、ディスプレイコントローラ、キャリブレーション、グラフィカルインターフェースを含め、多数のサブシステムを含み、これらがともに作用して、目的とするマルチビュー機能を実現する。これらの態様のそれぞれを、以下でより詳細に説明する。
【0024】
(光学系)
MVディスプレイ装置100は、ライトフィールドディスプレイのタイプである。従来型ディスプレイの各画素は、一度に1つの色および光強度を表示するように設計され、それがディスプレイの視野にわたって投じられる。対照的に、MVディスプレイ装置100の各マルチビュー(MV)画素102は、様々な視聴ゾーンに向けて異なる色および光強度を同時に投射する。この点で、MV画素102はむしろプロジェクタに近く、個々に制御された光のビームレットを多数の方向に同時に送る。
【0025】
本開示の1つ以上の実施形態では、MVディスプレイ装置100のレンズアレイパネル112は、ディスプレイ画素のアレイを含むフラットパネルディスプレイ(FPD)110上に置かれる光学素子のアレイ(マルチ素子レンズ系のアレイ)を含む。レンズアレイパネル112のマルチ素子レンズ系は、ディスプレイ画素(たとえば100×100=10,000個のディスプレイ画素)のサブアレイ上に置かれて、1つのマルチビュー(MV)画素102を集合的に形成し、ここで各ビームレットは、1つのディスプレイ画素に対応する。この例では、各MV画素102は、10,000個のディスプレイ画素に基づき10,000本のビームレットを放射することができ、ここで各ビームレットの方向、色、および輝度は独立して制御可能である。したがって、MV画素102のアレイは、小さいプロジェクタのアレイと考えることができ、それぞれのプロジェクタは、フラットパネルディスプレイ110のサブ区分を撮像装置として使用する。あるいは、この構成は、フラットパネルディスプレイ110に置かれた拡大鏡のアレイ(すなわち、マルチ素子レンズ系のアレイ)と考えることができる。各レンズ系が、それぞれのディスプレイ画素を拡大して、マルチ素子レンズ系の瞳を満たす。視聴者が見るディスプレイ画素は、ディスプレイ画素上に配設されたレンズ系の光学軸に対する視聴角度、または視聴者の角度に応じて拡大される。言い換えれば、どのディスプレイ画素が拡大鏡を通して見えるかは、視聴角度に応じて決まる。したがって、どの画素を見ることができるかを(視聴角度によって)選択することと、この選択された見ることができる画素を拡大して、視聴者の観点からさらに大きい範囲をカバーすることとの両方が、拡大によって可能になる。
【0026】
FPDベースの手法(すなわち、FPD110とレンズアレイパネル112との組合せ)は、別個のプロジェクタのアレイを使用することに比べて、いくつかの利点を提供する。別個のプロジェクタの設計では、駆動電子機器をMV画素ごとに別々に作製する必要があるが、FPDベースの手法では、FPD110上のすべてのMV画素は、共通の電子機器を使用することができる。固定数の(1次に対する)ビームレットがそれぞれ固定数のディスプレイ画素によって提供されるFPDベースの手法を用いると、MV画素102の個数または空間分解能と、MVディスプレイ装置100の角度分解能との間でトレードオフが行われてもよい。
【0027】
(ディスプレイ「サブ画素」)
多くのFPDは、異なる色のサブ画素(たとえば、赤色、緑色、および青色のサブ画素)を使用することによって色を生成する。言い換えれば、各ディスプレイ画素の色は、そのディスプレイ画素を集合的に形成する異なる色のディスプレイ「サブ画素」を使用することによって設定することができる。十分に離れて見ると、ディスプレイサブ画素を個々に分解することはできず、したがって、対応するディスプレイ画素のために個々の色をともに混合する効果が生じる。MV用途では、明確な角度分解能を与えるようにレンズ系の倍率を高く設定してもよいが、これにより、個々のディスプレイサブ画素が見えるようになることがある。視聴者が、あるディスプレイ画素を形成する所与のディスプレイサブ画素だけのビームレット経路におり、他のディスプレイサブ画素のビームレット経路にはいない場合、視聴者は、そのディスプレイサブ画素の色(たとえば、赤色、緑色、または青色)しか見ることができず、そのディスプレイ画素に付けるはずの混色を見ることはできない。ディスプレイサブ画素間に隙間があるモノクロディスプレイでも、同様の問題が生じることがある。
【0028】
この問題を解決するために、MVディスプレイ装置100は、対応するディスプレイ画素のために、フラットパネルディスプレイ110のディスプレイサブ画素間で効果的に色を混合するディフューザ162(
図18を参照)を使用する。いくつかの実施形態によれば、異なるディスプレイ画素ごとに、それぞれ別々の(異なる)ディフューザが使用されてもよく、それにより各ディフューザは、そのディスプレイ画素のディスプレイサブ画素だけをともに混合することになる。しかし、これには、フラットパネルディスプレイ110のサブ画素にディフューザ162を正確に位置合わせすることが必要になる。したがって、他の実施形態では、フラットパネルディスプレイ110全体にわたって単一のディフューザ層が設けられ、これによりディスプレイ画素ごとに十分な局所的混色が生成される。
【0029】
適切なディフューザ162を選択する際に、工学的なトレードオフが生じることがある。幅広い横方向の混色を実現するディフューザは色を良好に混合するが、スミアが生じることから、ディスプレイの達成可能な角度分解能に限界がある。
【0030】
FPD110で使用されるサブ画素のパターンは様々である。典型的なパターンを
図5Aに示す。
図5Aでは、サブ画素のパターン124は、四角いパターンでRGBの(垂直な)ストライプに配置された複数のサブ画素126を含む。たとえば、赤色のディスプレイサブ画素は、繰り返される前に、水平方向の空間の約3分の1を占めている。したがって、ディフューザ162は大きい隙間にわたる必要がある。垂直方向では、状況が全く異なる。
図5Aでは、ディスプレイサブ画素126間にほとんど隙間がなく、拡散はほとんど必要ない。様々な例示的な実施形態では、ディフューザ162は非対称的なディフューザであり、水平次元および垂直次元に適切な量の拡散を提供する。軸ごとに独立した最適化を行うことによって、対称的なディフューザが採用されていた場合よりもさらに良好な角度分解能を、システムが保持できるようになる。1つ以上の実施形態では、フラットパネルディスプレイ110は、
図5Aに示すサブ画素パターン124に配置されたサブ画素126を含む。このフラットパネルディスプレイ110では、水平軸に沿ってより多くの拡散を提供し、垂直軸に沿ってより少ない拡散を提供する非対称的なディフューザ162が使用されてもよく、これについては、以下で
図18を参照しながらさらに十分に説明する。
【0031】
図5Bは、四角形のモザイクパターンに配置された複数のサブ画素126を含むサブ画素126のパターンを示す。1つ以上の実施形態では、フラットパネルディスプレイ110は、
図5Bに示すサブ画素126のパターンに配置されたサブ画素126を含む。
【0032】
図5Cは、四角形の赤色、緑色、青色、白色(RGBW)のパターンに配置された複数のサブ画素126を含むサブ画素パターン128を示す。1つ以上の実施形態では、フラットパネルディスプレイ110は、
図5Cに示すサブ画素パターン128に配置されたサブ画素126を含む。
【0033】
将来のFPDは、ディフューザの必要性を低くする、より適した混色技法(たとえばフィールドシーケンシャルカラー方式)を組み込んでもよい。したがって、典型的なカラーフィルタ付きサブ画素チャネルを使用するFPDでは、ディフューザを使用することが好ましく、全般的にこのディフューザは、非対称的な散乱プロファイルを有する。
【0034】
(レンズ設計、およびアレイ内の機械的位置合わせ、および取付具の特徴)
様々な例示的な実施形態では、マルチ素子レンズ(またはマルチ素子レンズ系)が採用される。複数の素子を使用してレンズ系を形成することによって、焦点、視野、および曲線因子の間ではるかに良好なトレードオフを達成することが可能になる。MV画素102間で迷光が交差しないようにするためバッフルを設けることを含めて、各マルチ素子レンズを独立して組み立て、次いで、それらをフラットパネルディスプレイ110の上に並べることができる。こうした技法には、法外な費用がかかることがある。あるいは、レンチキュラーレンズのシートの例を使用すると、レンズのシートを重ねて、個々のレンズ素子を平行に作製することを想像することができる。
【0035】
素朴なレンズシート手法には多くの課題が存在し得る。第1に、光学軸に沿ってレンズ間で適切な間隔を維持するのが困難なことがある。第2に、熱膨張差により、温度変化の過程で正しいディスプレイ画素上でレンズを中央に保つことが難しくなる。たとえば、レンズシートがフラットパネルディスプレイ110の一方の縁部に固定された場合には、熱膨張によって、MV画素102は、束縛された方の縁部よりも、反対側の固定されていない縁部においてより大きくシフトする。第3に、光学材料から作られるシートは、迷光がフラットパネルディスプレイ110に平行に通過して、1つのMV画素102から別のMV画素に通過する通路を提供することがある。最後に、両面に任意の表面を有する精密レンズの大型シートを成形するには、重大な製造上の困難が存在することがある。以下で述べるように、本開示によるMVディスプレイ装置100は、それらの問題を克服する。
【0036】
複数のレンズシートを互いに一定の距離に保持することは、困難であり得る。FPDは非常に大きいことがあり、その大きさのシートは、かなりのたるみを呈することがある。このことは、縁部から高い引っ張り力でシートを保持することによって、ある程度までは克服することができる。しかし、レンズシートの伸び、およびタイルドシステムに大きい隙間を生じさせる大型の機械的フレームが必要になることを含めて、この解決策によって独自の問題が生じる。本開示は、精密な位置合わせを維持しやすくする自己位置合わせ特徴部をレンズ間の区域に含めることによって、これら2つの問題を克服する。これらの特徴部は、
図6〜
図14を参照しながら以下で詳細に説明する。
【0037】
たるみを防止する1つの方法は、シートの大きさを何か小さいものに限定し、次いでこれらのシート片をともにタイリングすることである。例示的な実施形態では、
図6、および
図7A〜
図7Cに示すように、レンズは4×4のレンズアセンブリ132で構築され、これらが支持レールのシステム134、136を介して定位置に保持される。
【0038】
図6は、本開示の1つ以上の実施形態による、レンズアレイパネル112の正面斜視図である。レンズアレイパネル112は、それぞれが16個のMV画素102を含むレンズアセンブリ132のタイルドアレイを含む。
図6に示す例では、レンズアレイパネル112は7つの列を含み、それぞれの列が4つのレンズアセンブリ132を含むが、列のうちの2つが取り外されて、支持の機械的構造体が見えるようにしてある。本開示の範囲から逸脱することなく、レンズアレイパネル112は、他の構成に配置された他の数のレンズアセンブリ132を含んでもよい。機械的支持構造体は、レンズアセンブリ132それ自体において、ならびにレンズアセンブリ132間において利用可能な空間によって、その大きさおよび形状が導かれるように専用に設計された。これにより、レンズアパーチャを最大化することが可能になる。
【0039】
1つ以上の実施形態では、支持構造体は、複数の垂直なレール134および複数の水平なレール136を含む。たとえば、垂直および水平なレール134、136は一体形成されてもよく、または互いにはんだ付けされてもよい。それぞれの垂直レール134は、中に形成された複数のアパーチャを有し、各アパーチャに複数の雌ねじが形成される。レンズアセンブリ132は、雄ねじを有する複数のねじ138を使用して、垂直レール134に結合される。レンズアセンブリ132が垂直および水平なレール134、136に置かれた後、垂直レール134に形成されたアパーチャにねじ138が挿入され回され、それによりねじ138のヘッドが垂直レール134に向かって動き、最終的にねじ138のヘッドがレンズアセンブリ132に接触し、それらを垂直レール134に確実に締付け(保持)する。
【0040】
1つ以上の実施形態では、複数のレンズアセンブリ132がともにタイリングされて、フラットパネルディスプレイ110を覆うレンズアレイパネル112が形成される。レンズアレイパネル112は、レンズアセンブリ132の位置合わせを補助する特徴部を含む。アレイの他のサイズ、および形状の特定の細部を修正することができ、それらは本開示の範囲内にあることに留意すべきである。
【0041】
図7A、
図7B、および
図7Cは、本開示の1つ以上の実施形態による、レンズアセンブリ132の分解側面斜視図である。レンズアセンブリ132は、3つの素子の、4×4のレンズアレイを有する光学系であり、この3つの素子は、第1のレンズアレイ140、第2のレンズアレイ142、および第3のレンズアレイ144を備える。第1のレンズアレイ140は、第1の側140aと、第1のレンズアレイ140の第1の側140aの反対側の第2の側140bとを含む。また第1のレンズアレイ140は、4×4のアレイに配置された16個のレンズ140cも含む。第2のレンズアレイ142は、第1の側142aと、第2のレンズアレイ142の第1の側142aの反対側の第2の側142bとを含む。第2のレンズアレイ142も、4×4のアレイに配置された16個のレンズ142cを含む。第3のレンズアレイ144は、第1の側144aと、第3のレンズアレイ144の第1の側144aの反対側の第2の側144bとを含む。第3のレンズアレイ144も、4×4のアレイに配置された16個のレンズ144cを含む。組み立てられたときに、レンズアセンブリ132は16個のMV画素102を含み、各MV画素102は、互いに積み重ねられた第1のレンズアレイ140のレンズ140cのうちの1つ、第2のレンズアレイ142のレンズ142cのうちの1つ、および第3のレンズアレイ144のレンズ144cのうちの1つ、ならびにこれら3つのレンズ140c、142c、および144cの重なりの下にあるディスプレイ画素のサブアレイによって形成される。この説明では、個々のレンズ(140c、142c、および144c)は、図に示すアレイ表面とそれに対応する反対側の表面とによって形成されるが、反対側の表面は、図面の視野角によっては示されていることもあり示されていないこともある。
【0042】
MVディスプレイ装置100が組み立てられると、フラットパネルディスプレイ110は、撮像平面において、またはその近くで、第3のレンズアレイ144の第2の側144bの後ろに位置付けられ、視聴者は、第1のレンズアレイ140の第1の側140aの前に位置付けられる。以下に説明するように、第1のレンズアレイ140、第2のレンズアレイ142、および第3のレンズアレイ144は、マルチ素子(3枚構成)の光学系(またはレンズ系)を形成する。
【0043】
図8A〜
図8Dは、本開示の1つ以上の実施形態による第1のレンズアレイ140の正投影図である。
図9A〜
図9Dは、本開示の1つ以上の実施形態による第2のレンズアレイ142の正投影図である。
図10A〜
図10Dは、本開示の1つ以上の実施形態による第3のレンズアレイ144の正投影図である。
【0044】
各レンズアセンブリ132は、その機械的自由度が、フラットパネルディスプレイ110ならびに他のレンズアセンブリ132に対して束縛される必要がある。これはいくつかの特徴部を使用して達成される。
図6を参照して上述したレールシステムを使用して、FPDからレンズまでの間隔だけでなく、各レンズアセンブリ132のロール、ピッチ、およびヨー(それぞれx軸、y軸、およびz軸周りの回転)が束縛される。レールシステムは、筐体(すなわち背面カバー106および正面カバー108)内にレンズアセンブリ132を機械的に留め付ける役割も果たす。このレールシステムの設計は、その物理的体積が光学系によって共有されないかもしれないので、部分的にはこの体積を最小に抑えようとするものである。レンズアパーチャは可能な限り大きいまま残ることができ、高い曲線因子(すべてのレンズアセンブリ132によって覆われるFPD110の量)、およびスループットが促進される。
【0045】
可能な限り最大の曲線因子を有するという設計目標を達成するために、レンズアセンブリ132内の個々のレンズは非常に密に当接している。これは、アレイ内で各レンズ間の空間をほとんど残さないという効果を有してもよく、それにより、レンズアセンブリ内でほとんど空間を占有しない設置システムの必要性を高める。さらに、レンズアセンブリ132は、レンズアセンブリ132の多くが「陸に囲まれる」、すなわち他のレンズアセンブリ132によって完全に囲まれるようなやり方でタイリングされる。例示的な実施形態では、レンズアセンブリ132の設置システムは、フラットパネルディスプレイ110の全体にわたって通るレール134、136のセット(
図6を参照)を含む。上述したように、レンズアセンブリ132は、レール134、136の上にあり、その後それらに固定される。レンズアセンブリ132を設置するための他の可能性には、筐体の正面カバー108によって与えられる正面アパーチャのアレイにそれらを取り付けることが含まれる。このような取付け策は、本発明の範囲内にあると考えられる。
【0046】
運動学的な設置特徴部が、レンズアレイ140、142、144の対の間の境界面に組み込まれる。
図11は、第1のレンズアレイ140の背面、すなわち第2の側140b、および第2のレンズアレイ142の正面、すなわち第1の側142aを示す斜視図である。
図11に示す第1のレンズアレイ140は、16個のレンズ140cを含むが、第1のレンズアレイ140は、本開示の範囲から逸脱することなく、異なる数のレンズ140cを含んでもよい。複数のボスまたは支柱140dが、第1のレンズアレイ140の第2の側140bの表面から延在している。それぞれの支柱140dの遠位端部にあわせ面140eが配設される。それぞれの支柱140dは、その中にアパーチャ140fが形成されている。
【0047】
第2のレンズアレイ142に含まれるレンズ142cの数は、第1のレンズアレイ140に含まれるレンズ140cの数と同じである。複数の円筒形または切頭円筒形の穴142dが、第2のレンズアレイ142の第1の側142aの表面内に延在している。それぞれの穴142dの底部にあわせ面142eが配設される。第1のレンズアレイ140の支柱140dは、あわせ面140e、142eが互いに当接するまで、第2のレンズアレイ142の対応する穴142dに挿入され、それにより、レンズアレイ140、142のz軸(または光学軸)に沿った動き、ならびにロール(x軸周りの回転)およびピッチ(y軸周りの回転)の自由度が束縛される。
【0048】
図12は、第1のレンズアレイ140の背面、すなわち第2の側140b、および第2のレンズアレイ142の正面、すなわち第1の側142aを示す斜視図である。支柱140dのうちの1つは、外側円筒形あわせ面140gを含み、別の支柱140dは、外側円筒形あわせ面140hを含む。それぞれの穴142dは、その中にアパーチャ142fが形成されている。穴142dのうちの1つは、内側円筒形あわせ面142gを含み、別の穴142dは、2つの平坦なあわせ面142h(
図12ではそのうち1つだけを見ることができる)を有する内側の切頭円筒形表面を含む。
【0049】
第1のレンズアレイ140の支柱140dが、第2のレンズアレイ142の対応する穴142dに挿入されるとき、外側円筒形あわせ面140gが内側円筒形あわせ面142gに当接し、それにより、これら2つのレンズアレイ140、142間で、X軸およびy軸の自由度が束縛される。さらに、外側円筒形あわせ面140hはあわせ面142hに当接し、それにより、2つのレンズアレイ140、142間でヨー、すなわちz軸(光学軸)回りの回転が束縛される。
【0050】
図13Aおよび
図13Bは、本開示の1つ以上の実施形態による第2のレンズアレイ142の側方斜視図であり、
図13C、
図13D、および
図13Eは、2つの第2のレンズアレイ142の斜視図である。
図13Aに示すように、複数のボスまたは支柱142iが、第2のレンズアレイ142の第2の側142bの表面から外向きに延在している。それぞれの支柱142iは、その中にアパーチャ142jが形成されている。円筒形突出部142kの対が、第2のレンズアレイ142の第1の側面142lから延在している。
図13Bに示すように、第1のくぼみ142mおよび第2のくぼみ142nが、第2のレンズアレイ142の第2の側面142oに形成される。第1の側面142lおよび第2の側面142oは、第2のレンズアレイ142の対向する側にある。1つ以上の実施形態では、第1のくぼみ142mは「V」形状を有し、第2のくぼみ142nはその底部に平坦面を有する。
図13C、
図13D、および
図13Eに示す第2のレンズアレイ142は、互いにほぼ嵌合して、本のように開いている状態で示される。第2のレンズアレイ142が互いに嵌合するとき、円筒形突出部142kは、第1のくぼみ142mおよび第2のくぼみ142nの中に配設される。
【0051】
上述したレールシステム(
図6を参照)は、レンズアセンブリ132を設置し、そのz軸およびy軸を束縛し、そのロール、ピッチ、およびヨーを束縛する役割を果たす。V字型−フラット−シリンダ特徴部(142mおよび142n)は、レンズアセンブリのx軸を束縛するとともに、任意の2つの(列方向に)隣接するレンズアセンブリ132が、相互に類似したロール、ピッチ、およびヨーを有するように束縛する役割も果たす。これらの特徴部の他の配置および構成が、同じ目的を達成してもよく、それらは本開示の範囲内にあると考えられることに留意すべである。
【0052】
図14は、本開示の1つ以上の実施形態によるレンズアセンブリ132の部分断面図である。第1のレンズアレイ140の支柱140dが第2のレンズアレイ142の対応する穴142dに挿入され、第3のレンズアレイ144の支柱144dが、第2のレンズアレイ142の支柱142iのアパーチャ142jに挿入された後、3本のねじ146が、第3のレンズアレイ144の第2の側144bから挿入され、第2のレンズアレイ142を通過し、第1のレンズアレイ140の支柱140dの内部ボアにねじ込まれる。これにより、3つのレンズアレイ140、142、および144に軸方向の圧縮力を加えることができ、それによりそれらの精密な位置合わせが束縛される。レンズアセンブリ132のレンズアレイ140、142、および144を保持するねじ146のうちの1つを、
図14に示す。
【0053】
最後に、いかなる光学系でもそうであるように、焦点を調整する機能が望ましい場合がある。いくつかの実施形態では、フラットパネルディスプレイ110と、レンズアレイパネル112との間の距離は、フラットパネルディスプレイ110の設置特徴部と、それらの対応する座部との間にシムを配置することによって調整されてもよい。MVディスプレイ装置100の筐体では、フラットパネルディスプレイ110は、フラットパネルディスプレイ110が平坦なままであることができるように、剛性プレートに設置される。次いでこの剛性プレートが、筐体自体(たとえば背面カバー106)に設置される。レンズアレイパネル112のレンズアセンブリ132と、フラットパネルディスプレイ110との間で、焦点または距離を調整するために、シムはこの機械的連結に加えられても取り外されてもよい。
【0054】
(迷光管理技法)
(内部バッフル)
多くの光学系は、所望の光学的性能を達成するように互いに軸方向に配置された一連のレンズから成る。この状況では、レンズは黒い鏡胴に配置されることが多い。黒い鏡胴は、ゴースト像、ホットスポット、およびコントラスト減少を導くことがある望ましくない光が、光学系に入るのを遮断するのを補助する。例示的な実施形態では、互いに重ねられた複数の(たとえば3つの)レンズアレイ140、142、144から形成されたレンズのアレイ(たとえばレンズアセンブリ132)が使用され、その場合には、4×4のアレイの16個のレンズ(または16個のレンズ系)のそれぞれに黒い鏡胴の構造を提供するのは難しいことがある。レンズアセンブリ132内の迷光について考えられる1つの道筋は、光がレンズアセンブリ132の表面に入り、導波路のように内部を伝播し、次いでレンズアセンブリ132の異なる表面から出るものである。これは、ここで空間内に伝播する光線が存在することから望ましくないものであり、その光線は正確な発生源がわからないので、キャリブレーションすることができない。この「チャネルのクロストーク」を低減するために、いくつかの実施形態では、レンズアセンブリ132にとって内部バッフルとして作用する一連の溝または凹所140iが使用される。
【0055】
図15Aおよび
図15Bは、本開示の1つ以上の実施形態による第1のレンズアレイ140の断面図である。より詳細には、
図15Aは、第1のレンズアレイ140の断面図であり、
図15Bは、
図15Aに示す断面図の斜視図である。
図15Bに示すように、第1のレンズアレイ140は、第1のレンズアレイ140の第2の側140bの表面内に形成された複数の溝または凹所140iを含む。溝140iのうちの1つは、第1のレンズアレイ140の隣接するレンズ140cのそれぞれの対の間に配設される。
【0056】
以下でより詳細に検討する、ある表面の塗装とともに、凹所140iによって与えられるこれらの内部バッファは、レンズアセンブリ132のスラブ内を望ましくない様子で伝播する光を遮断する。これらの溝/凹所140iは、第1のレンズアレイ140の材料内で、第1のレンズアレイ140の第2の側140bの表面から外向きに延在している。このことは、第1のレンズアレイ140内の各レンズ140cを、チャネルクロストークの観点から光学的に隔離するという効果を有する。これらの内部バッフル140iの他の形状および構成が可能であり、それらは本発明の範囲内にあると考えられることに留意すべきである。
【0057】
(表面塗装)
迷光に加えて、これは本来視覚的な機器であることから、視覚的な見た目にもさらに対応するために、第1のレンズアレイ140のいくつかの表面は、光吸収コーティング148、たとえば黒い塗料でコーティングされてもよい。1つ以上の実施形態では、光吸収コーティング148は、そこへの、たとえば赤色塗料またはコーティングへの入射光の特定の部分を吸収し、たとえば黒色塗料またはコーティングへの入射光のかなりの部分を吸収する。
【0058】
図16Aは、本開示の1つ以上の実施形態による、第2の側140bに光吸収コーティング148が施された第1のレンズアレイ140の斜視図である。光吸収コーティング148によってコーティングされる表面は、第1のレンズアレイ140の縁部140j、レンズ140cが接する第2の側140bの平坦面、内部バッフル/溝140i、およびボス140d(内部と外部の両方のボア)を含む。
【0059】
同様の目的を達成する代替的な方法は、これらの表面に黒い材料を接着すること、および2部分の射出成型を含み、これらは本開示の範囲内にあると考えられる。
【0060】
表面の塗装は所望の効果を実現することができるが、レンズアレイの特定の区域を塗装する工程は困難であり得ることがわかる。成形されたレンズ区域において黒色の表面を実現することができる他の方法は、以下で説明する「オーバーモールド」および「インモールド装飾」を含む。
【0061】
(レンズアレイのオーバーモールドおよびインモールド装飾)
一実施形態では、(レンズアレイの)一部分は、不透明な媒体から成形されてもよく、次いで、その部分の/その部分の周りの光学的表面を、透明な媒体から成形させてもよい。この工程は、同じ成形工程において2段階で行われてもよく、または別々の成形工程として、第1の工程で成形された部分を、その後第2の工程用の型に入れてもよい。
【0062】
別の実施形態では、高分子プラスチックなどの成形媒体が、(レンズアレイの)一部分を作製するための型に堆積されるとき、型を閉じる前に不透明なフィルムが型に置かれてもよく、それによりそのフィルムは、成形される部分にレジストおよび吸着される。当業者であれば、成形プラスチックの消費財に装飾を施すためのこの技法を認識するであろう。通常、フィルムは、型が開いている間中、ロールツーロールで供給され、真空システムを使用して型の片側に留め付けられる。通常、レンズアレイの光学素子ごとに精密なアパーチャを形成するには、正確なレジストが必要になる。
【0063】
図16B〜
図16Dは、レンズアレイのオーバーモールドを示しており、これは、
図16Aの第1のレンズアレイ140を作製するために施されるコーティング/塗装のステップをなくす役割を果たす。
【0064】
図16Bおよび
図16Cは、不透明部分141aおよび透明部分141bから成る第1のレンズアレイ140の、それぞれ側面図および斜視図である。不透明な媒体から成形される不透明部分141aは、前に説明した運動学的な設置特徴部を含む。透明部分141bは、不透明部分141aの上、またはその周りに、透明な媒体を成形することによって形成される。
【0065】
図16Dは、
図16Bおよび
図16Cに示すオーバーモールドされた第1のレンズアレイ140の断面図である。不透明な媒体から成形された不透明部分141aの上、およびその周りは、第1のレンズアレイ140においてそれぞれのレンズの光学表面を形成するように透明な媒体からオーバーモールドされた透明部分141bである。
図16Dは、第1のレンズアレイ140の一列のレンズの中央を描いたものである。不透明部分141aと透明部分141bの相対的な厚さの違いは、本発明の範囲内にある。
【0066】
(反射防止コーティング前の塗装)
上述したように光学系の製造中、一連のレンズは、通常、黒い円筒形ハウジング内に入れられる。マルチ素子のレンズアセンブリは、共通の問題に対して異なる手法を用いる。この一例は、レンズ素子の通常の製造にあり、レンズは、例としてガラスまたはプラスチックから研磨され、または成形される。次いで、光学素子に光学コーティングが施されてもよい。たとえば、反射防止(AR)コーティングまたは特定のバンドパスコーティングが施されてもよい。最後に、レンズはその縁部を黒色に塗装されてもよい。レンズは黒色のハウジング内に入れるのが一般的であるが、レンズの縁部を黒色に塗装することによって、迷光の懸念に役立つことがある。
【0067】
本開示では、典型的な動作手順は、望ましくない効果を引き起こす恐れがある。したがって、規範的な動作順序を変更するのが望ましい場合がある。すなわち、いくつかの例示的な実施形態では、レンズアセンブリ132の素子(たとえば第1のレンズアレイ140)は、最初にその形状が画成され、次いで光吸収コーティング材料のすべての塗装動作が行われ、最後に光学的な(たとえば反射防止またはバンドパス)コーティングが施される。可視スペクトルにわたって反射率が非常に低い典型的な特徴を有するARコーティングの場合には、反射して観察者に戻される光が少ないので、レンズアセンブリ132を見たときに、視覚的により暗い黒を生成するという効果を有する。最初にARコーティングが施され、続いて表面塗装が行われる場合には、色アーチファクトが存在することがあり、所与の色で塗装される表面が異なって見えることがある。これは、たとえばARコーティングと黒色塗料との間で生成される光学的境界面に起因するものである。これは、他のコーティングおよび表面仕上げの解決策に適用することができる一般的な技法であることに留意すべきである。
【0068】
(アパーチャアレイ)
迷光を管理するとともに、光学系のアパーチャストップおよび瞳を画成するために、不透明なアパーチャが使用されてもよい。MVディスプレイ装置100は、
図7Bおよび
図7Cに示すように、レンズアセンブリ132に一体化される3つのアパーチャアレイ220、222、224を利用することができる。これらのアパーチャアレイ220、222、224は、創造的な形状および配置によって、製造上の課題を克服する。
図7Cに示すように、アパーチャアレイ222は、第2のレンズアレイ142の第2の側142bにおいて表面に接着されてもよい。このアパーチャアレイは、レンズアセンブリ132における16個の光学系(すなわち、レンズ140c、142c、144cの各重なりによって形成される16個の複合的なレンズ)のアパーチャストップとしての役割を果たす。さらに
図7Bに示すように、他の2つのアパーチャアレイ220、224が、それぞれ第2のレンズアレイ142の第1の側142a、および第3のレンズアレイ144の第1の側144aに配置され、それにより、レンズアセンブリ132を通る迷光の経路が遮断される。このような目的を達成するための他の方法は、サブ光学系ごと(たとえばレンズアセンブリ132ごと)に個々のアパーチャを配置すること、ある一定の表面を黒色に塗装またはコーティングすること、および2ショット射出成型など2段階の製造ステップで異なる材料を使用することである。
【0069】
図7Bおよび
図7Cに示すように、レンズアセンブリ132は、4×4のアレイに配置された複数のアパーチャ220aを含む第1のアパーチャアレイ220を含む。また、レンズアセンブリ132は、4×4のアレイに配置された複数のアパーチャ222aを含む第2のアパーチャアレイ222を含む。さらに、レンズアセンブリ132は、4×4のアレイに配置された複数のアパーチャ224aを含む第3のアパーチャアレイ224を含む。これらの内部アパーチャアレイ220、222、224は、薄い黒色のプラスチックから作製されてもよいが、異なる材料を選択することは、本発明の範囲内にあると考えられる。さらに、
図7Bおよび
図7Cに示すもの以外のアパーチャの形状が考えられ、これらは本発明の範囲内にあると考えられる。
【0070】
アセンブリ132の個々のレンズアレイ140、142、144は、アパーチャアレイ220、222、224を支持、取付け、および位置決めするための独特な特徴部を含む。たとえば
図10Bに示すように、複数の円筒形の第1のボスまたは支柱144d、および複数の円筒形の第2のボスまたは支柱144eが、第3のレンズアレイ144の第1の側144aから外向きに延在している。第2の支柱144eのそれぞれには、アパーチャ144fが形成されている。第1の支柱144dを使用して、第2のレンズアレイ142と第3のレンズアレイ144との間にある第3のアパーチャアレイ224が支持および位置決めされる。第3のアパーチャアレイ224は、たとえば接着のりを使用して第1の支柱144dに接着されてもよい。第2のアパーチャアレイ222は、たとえば接着のりを使用して、第2のレンズアレイ142の第2の側142bの表面に接着されてもよい。第1のアパーチャアレイ220は、たとえば接着のりを使用して、第2のレンズアレイ142の第1の側142aの表面に接着されてもよい。
【0071】
第3のレンズアレイ144の第1の支柱144dは、第3のアパーチャアレイ224のいくつかの自由度、すなわちz軸に沿った動き、ならびにロール、ピッチ、およびヨーを束縛する。第3のレンズアレイ144の第2の支柱144eは、第2のレンズアレイ142と第3のレンズアレイ144とを互いに位置決めおよび設置するために使用される。
図7Bに示すように、第3のアパーチャアレイ224に形成された穴224bが、第2の支柱144eを覆うように嵌まる。穴224bおよび第2の支柱144eは、第3のレンズアレイ144をx軸およびy軸の方向に束縛する。
【0072】
(バッフル)
理想的には、各マルチ素子レンズ(またはレンズアセンブリ)132は、それに割り当てられたフラットパネルディスプレイ110のある区分からの光だけを受け取る。理論上、レンズ系が、ある一定の画像の高さ/視野用に設計されている場合、領域外から発せられる光はそのレンズ系を通過しないと仮定することができる。しかし実際には、これらの光線は散乱する迷光を生じさせることがあり、この迷光がこのレンズ系を通過するとともに、コントラスト減少を引き起こすので、この仮定は当てはまらないことがある。ほとんどのFPDは、放射プロファイルが非常に大きいので、視野ストップはこれらの問題に対処するには十分でない。一解決策は、1つのレンズのFPD領域からの光が、別のレンズに伝わることができないように、フラットパネルディスプレイ110の近くの各レンズ系(たとえば各レンズアセンブリ132)に不透明な壁で包囲線をはることである。これを達成するために、
図17Aに示すように、フラットパネルディスプレイ110と第3のレンズアレイ144の第2の側144bとの間に、バッフル150、152が構築されてもよい。バッフル150、152は、所与のアレイの各レンズチャネルを、他のレンズチャネルから隔離する役割を果たす。
図17Bに示すように、第3のレンズアレイ144の第2の側144bは、第3のレンズアレイ144にバッフル150、152を位置決めし、留め付けるための取付け特徴部154を含む。
【0073】
図17Aは、本開示の1つ以上の実施形態による、レンズアレイパネル112の部分的な背面斜視図である。言い換えれば、
図17Aに示すレンズアレイパネル112の側は、フラットパネルディスプレイ110から見た側である。複数の第1のバッフル150、および複数の第2のバッフル152が、第3のレンズアレイ144の第2の側144bに結合される。
【0074】
図17Bは、本開示の1つ以上の実施形態による、第3のレンズアレイ144の第2の側144bの斜視図である。複数の第1の取付具154が、第3のレンズアレイ144の第2の側144bの表面に設けられる。各取付具154は、第2の側144bから延在する4つの壁156から成り、それぞれの壁156は、中実な円柱の4分の1の形状を有する。第1および第2のバッフル150、152を受けるために、隣接する壁156の対の間にスロット158が形成される。バッフル150、152は、この特徴部をさらに剛性の高い構造にするのを補助するために、かみ合っている。
【0075】
1つ以上の実施形態では、第1のバッフル150のそれぞれは、複数の第1のスロットを含み、それぞれの第1のスロットは、第1のバッフル150の高さのおおよそ2分の1の高さを通って延在する。さらに、それぞれの第2のバッフル152は、第2のスロットを含み、第2のスロットは、第2のバッフル152の高さの2分の1の高さを通って延在する。各第1のバッフル150は、複数の第2のバッフル152とかみ合う。第1および第2のバッフル150、152は、第1および第2のスロットのロケーションにおいてかみ合い、それにより、各第1のスロットに隣接する第1のバッフル150の部分は、第2のバッフル152のうちの1つのバッフル152の一部分の周りに配設され、その第2のスロットに隣接する各第2のバッフル152の一部分は、第1のバッフル150の一部分の周りに配設される。
【0076】
スロット158の幅は、バッフル150、152の幅とおおよそ同じ大きさであり、それにより壁156は、バッフル150、152を定位置にしっかり保持する。取付具154ごとに、第1のバッフル150は、取付具154の2つの同一線上のスロット158に挿入され、第2のバッフル152は、取付具154の他の2つの同一線上のスロット158に挿入される。一例では、
図17Bに示すように第1のバッフル150は、行として水平なスロット158に挿入され、第2のバッフル152は、部分的な列として垂直なスロット158に挿入される。追加の第2のバッフル152は、取付具154の設けられていない、レンズ144c間のロケーションにおいて第1のバッフル150によって定位置に保持される。
【0077】
各光学チャネルを隔離する別の方法は、
図17Cに示すように、バッフル150、152を含む単一片のバッフル構造体151を製造することである。単一片のバッフル構造体151は、ハニカム構造体を射出成形または機械加工することによって実現することができる。
【0078】
単一片のバッフル構造体151は、レンズアセンブリ132に対して特定の形状に形成することができる。
図17Cは、4×4のレンズアレイを有するレンズアセンブリ132用に用意された単一片のバッフル構造体151の例を示すが、他の構成も本発明の範囲内にある。4×4のバッフルアレイを有する単一片のバッフル構造体151では、外側壁の厚さは、内側壁の厚さの半分であってもよく、それにより、レンズアレイのピッチを大きくすることなく、または互いに干渉することなく、これらのバッフル構造体151を効率的にタイリングすることが可能になる。この特定の実施形態では、タイリングを目的として、単一片のバッフル構造体151の配向を示すために、(
図17Cに示すような)特定の方向を指す矢印、非連続的な外側壁(たとえば、外側壁の4辺のうちの厚さの小さい任意の辺の少なくとも一部分であって、これが、隣接するバッフル構造体151の厚さの大きい対応する部分に嵌合して互いにタイリングされる一部分)などの、配向目印151aが設けられる。
図17Dは、非連続的な外側壁を有する単一片のバッフル構造体の例を示し、この構造体は、タイリングおよび配向を容易にすることを目的として、より大きい(完全な)厚さを有する2つの隣接する外側壁151bと、より小さい(ゼロの)厚さを有する2つの他の隣接する「壁」151cとから成る。非連続的な外側壁は、タイリング構成をなお可能にしながら、すべての辺において完全な厚さの壁を実現する。他の配向指標および壁構成も、本発明の範囲内にある。たとえば、配向指標として、バッフル構造体151の適切な配向を示すために、1つのボス(垂直な線形区分の交点にある丸い区域)が、他のボスに比べて大きいサイズを有してもよい。
【0079】
(筐体正面アパーチャ)
再び
図2を参照すると、MVディスプレイ装置100の正面カバー108は、いくつかの技術的特徴部を含む。まず、正面カバー108は、残りの筐体(たとえば背面カバー106)の厚さよりもはるかに薄い材料から作られる。レンズ素子は可能な限り密に詰められることが望ましいので、正面カバー108のアパーチャ108a同士間に、構造的一体性を維持するのに十分な材料がないことがある。材料が分厚いほど、視野と、視野にわたる相対的な輝度との両方において光学的性能を制限しないようにするために、アパーチャ108aを大きくしなくてはならない。厚さゼロの材料の制限の中で、正面カバー108のアパーチャ108aのアレイは、最低でも下にある光学表面と同じ直径にする必要がある。材料厚さは、ゼロの厚さから増えていくので、アパーチャ108aの直径は、光線のビネット効果を生じない(すなわち光線を遮断しない)ように、増大させなくてはならない。正面カバー108を含めないことが可能なこともあるが、これは、レンズアセンブリ132間の隙間、および設置ハードウェアが見えることになるので、MVディスプレイ装置100の視覚的な見た目に否定的な含みをもつことになる。
【0080】
正面カバー108のアパーチャ108aについて別の配慮は、視覚的な見た目である。レンズアセンブリ132のレンズは、光学コーティングが施されていても、施されていなくてもよい。ARコーティングなどの光学コーティングの存在によって、レンズ素子自体の視覚的な見た目が大きく変化する。MVディスプレイ装置100の正面の雑然さによる視覚的衝撃を低減するために、正面カバー108のアパーチャ108aは、暗い色、および光学素子の反射性と同様の反射性を有することが望ましいことがある。MVディスプレイ装置100は本来、視聴者に情報を表示するように設計された視覚的装置であるので、光学素子またはMV画素102から注意をそらさせる特徴部は、MVディスプレイ装置100の機能性からも注意をそらさせる。
【0081】
(ディフューザ)
カラーフィルタ付きディスプレイでは、カラーフィルタは、異なるディスプレイサブ画素上に置かれて、より大きいディスプレイ画素を生成する。ほとんどのFPDはこのレジームで動作する。各ディスプレイサブ画素から放射される放射発散度(radiant exitance/radiant emittance)は、そのディスプレイサブ画素の原色の色とは異なる色を生成するように変調されてもよい。赤色、緑色、および青色(RGB)の原色ディスプレイサブ画素構造の、3つの異なる例が
図5A〜
図5Cに示されるが、多くの他のディスプレイサブ画素構成が存在する。
【0082】
電子撮像装置を利用して投射システムを設計する1つの手法は、ディフューザが不要であると仮定し、単に撮像装置から適切な距離にレンズを置いて所望の平面に画像を投射することである。ストライプRGBカラーフィルタFPDの特定の事例では(
図5Aを参照)、この手法によって十分な画像は提供されない。得られる画像は、拡大されると色分解を呈し、個々のディスプレイサブ画素を示すことになる。視覚システム、すなわち人間の目で見られるシステムでは、この効果は非常に目立つ可能性がある。これは「スクリーンドア効果」と呼ばれることもある。
【0083】
より高度な手法は、撮像装置とレンズの間に置かれたディフューザまたは散乱体を利用して、原色またはディスプレイサブ画素の空間的に別個の領域をブレンドしやすくすることである。この目的のために使用することができるディフューザの例は、つや消しガラス、すりガラス、見た目にはつや消しガラスに似ているディフューザフィルムなどである。これらのディフューザは、その製造において利用される確率過程から生じる円対称な散乱プロファイルを呈することが多い。この手法は、トレードオフが内在する状態で、投射画像の所与の領域において、より一様な色をもたらすことができる。ディフューザは、画像面において空間忠実度の損失を生じさせるのが自然なので、このトレードオフは、空間分解能の低下という形で現れることがある。
【0084】
様々な例示的な実施形態は、
図18に示すように非円対称の散乱プロファイルを有する操作されたディフューザ162を利用する。こうしたディフューザ162がカラーフィルタ付き電子撮像装置の上に置かれると、散乱角度を、2つの直交する平面内の角度において明確にすることができる。これは、撮像装置のそれぞれの特徴的な軸に沿って異なる色の拡散を可能にすることから、有利である。ストライプ型のRGBディスプレイ画素構造の例では、垂直方向(
図5Aのy軸)における色拡散の必要性は、水平方向(
図5Aのx軸)における必要性よりはるかに少ない。垂直方向では、ディフューザ162の目的は、任意の2つの(類似した色の)ディスプレイサブ画素間の非アクティブで非放射の領域、すなわち
図5Aのディスプレイサブ画素126間の黒い区域の出現を最小に抑えることである。水平方向では、隣接するディスプレイサブ画素からくる光が十分に混合されるように、1つのディスプレイサブ画素、たとえば赤色のサブ画素からの光をある角度に散乱させる役割が、ディフューザ162に課せられる。FPDがいくらかの倍率で撮像されるときに、十分な混色が生じる場合には、赤色、青色、および緑色のサブ画素は、空間的および色彩的に別個のサブ画素ではなく、白色の画素として現れる。
【0085】
フラットパネルディスプレイ110の背面照明スキームまたは放射プロファイルも、ディフューザ162の理想的な散乱角度の決定に関与する可能性がある。ストライプ型の画素構造を有する例のフラットパネルディスプレイ110では、使用することができるバックライトの2つの例は、コリメートされたものと、コリメートされていないものである。コリメートされたバックライトは、透過型FPDの後ろ側に迫るほぼ1つの方向に進む光を生成する。コリメートされていないバックライトは、光を放射して、いくらか大きい円錐形または立体角にする。これら2つの例では、大きく異なるディフューザ散乱プロファイルが必要になる。したがって、フラットパネルディスプレイ110の放射プロファイルは、ディフューザ散乱プロファイルの設計において重要な情報である。
【0086】
全般的に、操作されたディフューザ162の散乱プロファイルは楕円形である。ディフューザ162の長軸および短軸は、フラットパネルディスプレイ110のサブ画素構造の特徴的な軸に位置合わせされてもよい。ストライプのサブ画素配置の場合には、散乱プロファイルの長軸は、
図5A〜
図5Cのx軸に位置合わせされ、散乱プロファイルの短軸は、
図5A〜
図5Cのy軸に位置合わせされる。このタイプの散乱ディフューザ162の使用は、適切に設計され、ディスプレイサブ画素構造に位置合わせされると、円対称の散乱プロファイルを有するディフューザを使用するのに比べて有利である。空間忠実度の本来の損失は、なおいくらか存在するが、損失は低減される。ストライプ型のサブ画素構造を有する例のフラットスクリーンディスプレイ110では、垂直方向の空間忠実度の損失は、円対称の散乱プロファイルを有する標準的なディフューザに比べて、楕円形の散乱対称性を有するディフューザ162を使用する場合に著しく少なくすることができる。
【0087】
レンズアセンブリ132が上に置かれた状態のストライプのRGBフラットパネルディスプレイ110から構成されるマルチビューディスプレイ装置100の文脈では、ディフューザ162は重要な役割を果たすことがある。ストライプRGBフラットパネルディスプレイ110は、空間的に隔離された色付きのサブ画素を有するディスプレイ画素から構成されるので、これらのサブ画素からの光は、レンズによって異なる角度方向に方向付けられる。したがって、このレンズを見る観察者は、個々のディスプレイサブ画素の拡大部分を見ることになり、それにより、観察者に表示することができる色が、カラーフィルタの原色の色に限定される。ディフューザ162の現実的な用途および目的は、個々のディスプレイサブ画素からの光を散乱させて、3つのRGBディスプレイサブ画素のブレンドを可能にすることである。先に検討したように、これは、MV画素の空間分解能または角度忠実度が低減することを意味する。現実的な観点から、拡散またはブレンドの必要量は、ディスプレイサブ画素をともにブレンドする個々のディスプレイ画素上だけである。実際には、フラットパネルディスプレイ110上に置かれるディフューザは、所与のディスプレイ画素のディスプレイサブ画素だけよりも多くの画素をブレンドする。ディスプレイサブ画素の間隔、たとえば赤色サブ画素から、次の赤色サブ画素までの間隔は、垂直方向と水平方向では異なるので、垂直方向と水平方向では異なる色拡散を適用することが望ましい場合がある。
【0088】
バックライト設計に加えて、ディフューザ162を最適に設計する際に考慮すべき別の問題は、フラットパネルディスプレイ110の物理的構造である。多くのディスプレイパネルは、いくつかの層の偏光子、カバーガラスなどを含む。フラットパネルディスプレイ110内で個々のディスプレイサブ画素の色を最適にブレンドするディフューザ162を設計する際には、これらすべての要素が考慮すべき問題である。
【0089】
図18は、本開示の1つ以上の実施形態による楕円形ディフューザ162の部分斜視図である。ディフューザ162は、フラットパネルディスプレイ110のディスプレイサブ画素126の前に配設された状態で示される。この例のフラットパネルディスプレイ110は、コリメートされた背面照明を提供する。
図18は、赤色サブ画素126からの単一の軸上ビーム164、緑色サブ画素126からの単一の軸上ビーム166、および青色サブ画素126からの単一の軸上ビーム168を示す。ディフューザ162は、ビーム164から赤色光の円錐164a、ビーム166から緑色光の円錐166a、およびビーム168から青色光の円錐168aを生成する。各円錐は断面が楕円形であり、ディフューザ162の楕円形の散乱プロファイルを示す。
【0090】
(ディスプレイコントローラ)
図19は、本開示の1つ以上の実施形態によるディスプレイコントローラ170のブロック図である。いくつかの実施形態では、ディスプレイコントローラ170は、MVディスプレイ装置100の筐体に設置されるドライバボード114および116に具体化されてもよい(
図3を参照)。ディスプレイコントローラ170は、揮発性メモリ174、不揮発性メモリ176、ネットワークコントローラ178、および電力コントローラ180に結合された画素処理ユニット172を含む。ディスプレイコントローラ170は、ネットワークおよび電力のコネクタ120、118の第1のセット(
図3を参照)に結合される第1のインターフェース179aを含み、別の装置、たとえばホストコンピュータ182とのネットワーク接続1および電気接続1をサポートする。ディスプレイコントローラ170はさらに、ネットワークおよび電力のコネクタ120、118の第2のセット(
図3の第2のドライバボード116にあるが、図示されていない)に結合される第2のインターフェース179bを含んでもよく、さらに別の装置、たとえばこのMVディスプレイ装置100にデイジーチェーン接続することができる別のMVディスプレイ装置100(
図4を参照)とのネットワーク接続2および電気接続2をサポートする。
【0091】
ディスプレイコントローラ170は、たとえばホストコンピュータ182からネットワークコントローラ178を介してデータを受け取り、以下で説明するように、視聴ゾーンに方向付けられた画像を作製するビームレットを生成するようにフラットパネルディスプレイ110を駆動する。MVディスプレイ装置100が、デイジーチェーン接続された多くのMVディスプレイ装置100(
図4を参照)のうちの1つである場合には、ホストコンピュータ182からではなく、このMVディスプレイ装置100の「上流」にある別のMVディスプレイ装置100からデータを受け取ってもよい。
【0092】
(画素処理ユニット)
画素処理ユニット(PPU)172は、関連する視聴ゾーンに適切な画像を示すように、ビームレットパターンを算出し、それをフラットパネルディスプレイ110上にレンダリングする。言い換えれば、PPU172は、FPD110上のディスプレイ画素の第1のセットからきて、第1の視聴ゾーンにいる第1の視聴者の瞳に向かって方向付けられて、第1の視聴者の脳内で第1の画像を形成するビームレットの第1の束と、(ディスプレイ画素の第1のセットとは異なる)ディスプレイ画素の第2のセットからきて、第2の視聴ゾーンにいる第2の視聴者の瞳に向かって方向付けられて、第2の視聴者の脳内で第2の画像を形成するビームレットの第2の束とを識別する。
【0093】
様々な実施形態では、PPU172は、第1および第2の視聴ゾーンのロケーションを定義する視聴ゾーン座標データ、第1および第2の画像を形成するために使用されるコンテンツストリームデータ、異なるコンテンツをそれぞれ異なる視聴ゾーンに関連付ける、コンテンツストリームに対する視聴ゾーンのマッピング、MVディスプレイ装置100をキャリブレーションするのに使用されるキャリブレーションパラメータ、および/またはカラーパレットパラメータを、ホストコンピュータ182から受信して、適切なビームレットパターンを生成するフラットパネルディスプレイ110に画像をレンダリングする。
【0094】
様々な実施形態では、視聴ゾーンは、MVディスプレイ装置100が使用される環境を見ているカメラ(たとえばカメラ104)の座標系など、視聴ゾーン座標系で記述される。一方では、フラットパネルディスプレイ110によって生成されるビームレットは、フラットパネルディスプレイ110のディスプレイ画素のX−Yディスプレイ画素座標、または浮動小数点のビューポート座標など、ビームレット座標系で記述される。PPU172は、視聴ゾーン座標系とビームレット座標系との間で数学的変換を適用して、視聴ゾーンに対する対応するビームレット座標を算出する。言い換えれば、PPU172は、視聴ゾーン座標系とビームレット座標系との間で数学的変換を適用して、視聴ゾーン座標系の対応するロケーション(視聴ゾーン)で見ることができるビームレットを生成するためにはどのディスプレイサブ画素をアクティブにすべきかを判定する。
【0095】
PPU172によって制御される各マルチビュー(MV)画素102は、2つの座標系間で一意のマッピングを有し、そのマッピングは、キャリブレーションパラメータのその関連するセット(p0、p1、・・・、p15)に収容されている。このキャリブレーションパラメータ(p0、p1、・・・、p15)を利用する、視聴ゾーン座標系(X、Y、Z)とビームレット座標系(U、V)との間の数学的マッピングの一実施形態を、以下に式1〜5で示す。視聴ゾーン座標系(X、Y、Z)とビームレット座標系(U、V)との間でマッピングを行うために、PPU172は式1〜5を使用する。
【数1】
【数2】
【数3】
【数4】
【数5】
【0096】
1つ以上の実施形態では、PPU172はプロセッサおよびメモリを含み、視聴ゾーン座標系の座標セットに関する情報を受信し、式1〜5を評価することによって、ビームレット座標系の対応する座標セットを判定し、フラットパネルディスプレイ110を駆動するために使用される、ビームレット座標系の対応する座標セットに関する情報を出力することを、PPU172に行わせる命令を記憶している。
【0097】
視聴ゾーン座標系とビームレット座標系の間のマッピングを生成するのに使用することができる多くの代替的な数学的モデルおよびパラメータのセットが存在することを、当業者であれば認識するであろう。マルチビュー(MV)画素ごとのキャリブレーションパラメータは、以下で説明するキャリブレーション手順を用いて算出される。
【0098】
コンテンツストリームおよびフレームバッファのためのデータ帯域幅および記憶要件を小さくするために、色ビットの幅を、フラットパネルディスプレイ110の元の色ビットの幅よりも小さくすることができる。いくつかの実施形態では、色値は8ビットを使用して表される一方で、フラットパネルディスプレイ110は24ビットの色値で駆動される。PPU172は、記憶された色ビットの幅と、元のフラットパネルディスプレイ110のビット幅との間で変換を行うカラーパレットを記憶している。たとえば、記憶された8ビットの色は、0〜255のグレースケール、3:3:2のRGB(すなわち、赤色3ビット、緑色3ビット、および青色2ビット)として、または代替的な色表示で表すことができる。パネルごとのカラーパレットを調整して、複数のパネル間で色合わせを実現することもできる。
【0099】
様々な実施形態では、PPU172は、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)に実装される。中央処理装置(CPU)、グラフィックスプロセッシングユニット(GPU)、またはハイブリッドプロセッサを含む多くの他の代替的な実装形態が存在することを、当業者であれば認識するであろう。さらに、複数のプロセッサをともに使用してPPU172のタスクを実行してもよい。
【0100】
PPU172は、揮発性メモリ174および/または不揮発性メモリ176と通信して、そのタスクを実行する。揮発性メモリ174は、たとえば動的ランダムアクセスメモリ(DRAM)および/または静的ランダムアクセスメモリ(SRAM)を備えてもよい。不揮発性メモリ176は、フラッシュメモリ、電気的に消去可能なプログラム可能読取り専用メモリ(EEPROM)、および/またはディスクドライブを含んでもよい。様々な実施形態では、PPU172は、揮発性メモリ174と通信して、視聴ゾーンデータ、コンテンツストリームデータ、コンテンツストリームに対する視聴ゾーンのマッピング、および/またはフレームバッファデータを含むがこれらに限定されない動的なランタイムデータを記憶する。PPU172は不揮発性メモリ176と通信して、キャリブレーションパラメータ、カラーパレット、ファームウェア、識別番号、および/またはバージョン番号を含むがこれらに限定されない静的データを記憶する。またPPU172は、たとえば記憶されたパラメータを設定する、またはファームウェアを更新するために、不揮発性メモリ176の内容を修正することができる。ファームウェアをオンザフライで更新できることによって、追加のプログラマケーブルにプラグ接続して、ホストコンピュータ182から専用のソフトウェアを走らせる必要なく、より簡単なアップグレードが可能になる。
【0101】
PPU172は、理想的でない状況において、性能のグレースフルデグラデーション(graceful performance degradation)を可能にするために、システム内にバッファリングを提供する。通常、LCDなどのディスプレイでは、ビデオデータは固定速度(たとえば30Hz、60Hz)で一貫して送信されなくてはならない。しかし、非決定論的な算出、レンダリング、およびホストコンピュータ182からのデータ送信に起因して、PPU172は、固定していない速度でデータを生成することがある。したがってPPU172は、たとえばデータが遅すぎる場合に最後のフレームの状態を保持する、またはデータが速すぎる場合にフレームをドロップするようにフラットパネルディスプレイ110を制御するとき、バッファリングを含む。
【0102】
PPU172は、FPDコネクタ184を通してフラットパネルディスプレイ110を駆動する。様々な実施形態では、FPDコネクタ184は、内蔵ディスプレイポート(eDP)インターフェースである。ディスプレイポート、高精細マルチメディアインターフェース(HDMI(登録商標))、デジタルビジュアルインターフェース(DVI)、およびビデオグラフィックスアレイ(VGA)を含むがこれらに限定されない、使用することができる多くの代替的なディスプレイインターフェースが存在することを、当業者であれば認識するであろう。1つ以上の実施形態では、FPDコネクタ184はさらに、フラットパネルディスプレイ110のバックライトに電力供給し、それを制御および/または変調するための接続部を含む。
【0103】
PPU172は、ネットワークコントローラ178を通してホストコンピュータ182、および/または(他のMVディスプレイ装置100の)他のディスプレイコントローラ170と通信する。PPU172は、視聴ゾーン情報、コンテンツストリームデータ、コンテンツストリームに対する視聴ゾーンのマッピング、キャリブレーションパラメータ、カラーパレットパラメータ、識別情報、アドレス指定情報、ステータス情報、および/または他の構成情報を含むがこれらに限定されないデータを、ネットワークを介して送受信する。様々な実施形態では、ネットワークは、イーサネット(登録商標)ネットワークであり、ネットワークコントローラ178は、イーサネット(登録商標)の物理層インターフェースを提供する。ユニバーサルシリアルバス(USB)、ペリフェラルコンポーネントインタコネクト(PCI)、インフィニバンド(登録商標)、および/またはサンダーボルト(登録商標)を含むがこれらに限定されない、使用することができる多くの代替的なデータインターフェースが存在することを、当業者であれば認識するであろう。特定の状況については、他のデータインターフェースよりも一部のデータインターフェースが好まれてもよい。たとえば、イーサネット(登録商標)は、一般的にUSBよりも長い物理的距離に及ぶことができ、このことは、多くの設置構成において有利であり得る。
【0104】
(マルチMVディスプレイ装置のタイリング特徴部)
ディスプレイコントローラ170のいくつかの特徴部によって、複数のMVディスプレイ装置100をタイリングしてより大きいディスプレイを形成するのが容易になる。たとえば、様々な実施形態では、この特徴部を使用して複数のMVディスプレイ装置100をデイジーチェーン状に接続して、ホストコンピュータ182が必要とするポートの数を減らし、ケーブルの長さを短くし、設置を簡単にすることができる。バス、ツリー、スター、および/またはメッシュを含むがこれらに限定されない、多くの代替的な接続アーキテクチャが存在することを、当業者であれば認識するであろう。
【0105】
ネットワークコントローラ178は、受信したデータを下流のMVディスプレイ装置100に渡すことを可能にするように、それぞれのデータコネクタ120に結合される2つのネットワークインターフェース179aおよび179bを収容している。様々な実施形態では、ネットワークコントローラ178は、デュアルギガビットイーサネット(登録商標)送受信器を備える。PPU172は、第1のネットワークインターフェース179aからデータを受信し、第2のインターフェース179bにデータを送信することができ、その逆も同様である。第2のインターフェース179b上で送信されるデータは、第1のインターフェース179aで受信したデータそのままのコピー、受信したデータをフィルタ処理したバージョン、受信したデータを変換したバージョン、または完全に無関係のデータとすることができる。
【0106】
たとえば、様々な実施形態では、ホストコンピュータ182によって送られる視聴ゾーンデータは、MVディスプレイシステム122内のすべてのMVディスプレイ装置100(
図4を参照)によって消費されることになっている一方で、コンテンツストリームデータの異なる部分は、MVディスプレイシステム122内の特定のMVディスプレイ装置100によって消費されることになっている。ネットワークコントローラ178の第1のネットワークインターフェース179aは、すべてのMVディスプレイ装置100について視聴ゾーンおよびコンテンツストリームのデータを受信し、PPU172は、その特定のMVディスプレイ装置100に関するデータでのみ動作する。すべての視聴ゾーンおよびコンテンツストリームのデータは、ネットワークコントローラ178の第2のネットワークインターフェース179bにそのままコピーされて、下流のMVディスプレイ装置100に送られる。代替的な実施形態では、そのMVディスプレイ装置100を対象とするコンテンツストリームデータを、他のMVディスプレイ装置100は使用しないことから、PPU172はそのデータを転送しない。これにより、MVディスプレイシステム122内の全体的なデータトラフィックが低減される。
【0107】
ネットワークコントローラ178のネットワークインターフェース179a、179bの方向性は、オンザフライでプログラムすることができる。このマルチウェイの方向性によって、設置構成に柔軟性をもたせることが可能になる。たとえば、1つの状況では、ホストコンピュータ182をデイジーチェーン内でMVディスプレイ装置100の左に置く必要があるかもしれないが、別の状況では、コンピュータ182をデイジーチェーン内でMVディスプレイ装置100の右側に置く必要があるかもしれない。この方向性のプログラミングは、受動的にも、能動的なコマンドによっても行うことができる。前者の例では、ネットワークコントローラ178のいずれかのネットワークインターフェースで受信した任意のデータは、ネットワークコントローラ178の他のインターフェース上で操作し、それに転送することができる。後者の例では、ネットワークコントローラ178の一方のネットワークインターフェースが、上流のインターフェースとして設計され、他方が下流のインターフェースとして設計される。「設定方向」コマンドを下流のインターフェースが受信すると、上流/下流の指定を反転することができる。
【0108】
一部のコマンドは、チェーン内のすべてのディスプレイコントローラ170にブロードキャストされてもよい。たとえば、様々な実施形態では、すべてのディスプレイコントローラ170が、すべてのディスプレイコントローラ170にブロードキャストされた視聴ゾーンデータの同じセットで動作してもよい。しかし、デイジーチェーン内の異なるディスプレイコントローラ170が異なるデータで動作することができるように、ディスプレイコントローラ170は、別個のアドレスを有する必要があり得る。たとえば、各ディスプレイコントローラ170は、それ独自のキャリブレーションパラメータのセットを使用してもよく、それ独自のコンテンツストリームの部分からレンダリングしてもよい。別個のアドレスを割り当てるためのわかりやすい方法は、それぞれのディスプレイコントローラ170がグローバル一意IDをもつことである。たとえば、事前プログラムされたグローバル一意IDを有するシリアルEEPROMが、PPU172によって読み取られてもよい。別の例として、一意のID番号を不揮発性メモリ176に記憶することができる。ホストコンピュータ182は、デイジーチェーン内のディスプレイコントローラ170にそれらの一意IDを問い合わせ、これらの一意IDにコンテンツストリームの部分をマッピングすることができる。しかし、これらの技法には、別々のIDメモリまたは記帳ステップのいずれかが必要になる。
【0109】
様々な実施形態では、ランタイムに一時的な一意のID番号が割り当てられる。たとえば、ホストコンピュータ182は、ベースアドレスおよびインクリメント値を有する「アドレス設定」コマンドを、デイジーチェーン内の第1のディスプレイコントローラ170に送る。第1のディスプレイコントローラ170は、そのアドレスを、与えられたベースアドレスに設定する。次いで、第1のディスプレイコントローラ170は、インクリメント値が加えられたベースアドレスを、デイジーチェーン内の第2のディスプレイコントローラ170にインクリメント値とともに送る。第2のディスプレイコントローラ170は、そのアドレスを、インクリメントされたベースアドレスに設定し、アドレスを再びインクリメントし、新しいアドレスおよびインクリメント値をデイジーチェーン内の第3のディスプレイコントローラ170に送るなどということを行う。こうして、各ディスプレイコントローラ170は、ランタイムにおいてデイジーチェーン内で既知の一意のアドレスを割り当てられる。
【0110】
ホストコンピュータ182は、ランタイムにおいてチェーン内のディスプレイコントローラ170の数を判定する問合せを実行することができる。たとえは、ディスプレイコントローラ170は、その一意のアドレスを用いてpingコマンドに応答するように設計されてもよい。pingコマンドは、ホストコンピュータ182によって、チェーン内のすべてのディスプレイコントローラ170にブロードキャストされ、ディスプレイコントローラ170のすべてが、それらの一意のアドレスを用いてpingコマンドに応答する。次いで、ホストコンピュータ182は、単純にping応答の数を数えまたは確認して、チェーン内のディスプレイコントローラ170の数およびアドレスを判定することができる。こうして、固定数のMVディスプレイ装置100を必要とするのではなく、チェーン内のMVディスプレイ装置100の数に、用途を適応可能にすることができる。
【0111】
ネットワークインターフェースに加えて、電力コントローラ180の電力インターフェースも、デイジーチェーン接続できるように配置することができる。たとえば、電力は、電力コントローラ180の第1のインターフェース179aから受け取ることができ、電力コントローラ180の第2のインターフェース179bに送ることができる。あるいは、電力コントローラ180の第1および第2のインターフェースは、電力をいずれの方向にも送ることができるように直接接続されて、より柔軟性の高い設置を可能にすることができる。
【0112】
(プログラミングインターフェース)
様々な実施形態では、MVディスプレイ装置100を制御するための主な方法は、イーサネットを介してMVディスプレイ装置100のディスプレイコントローラ170に取り付けられたホストコンピュータ182上で実行されるアプリケーションプログラミングインターフェース(API)によるものである。APIは、MVディスプレイ装置100を制御するために、プログラマによって使用されるためのものである。APIの主な目的は、以下の3つのことをユーザができるようにすることである:(i)視聴ゾーン座標系において視聴ゾーンを生成および更新する(すなわち、サイズ変更、移動など)、(ii)視聴ゾーンに示すことができるコンテンツストリームを生成および更新する(すなわち、色、文字、スクロール方向、画像の変更)、および(iii)コンテンツストリームに視聴ゾーンを割り当てる。
【0113】
APIは、ユーザがこれらのことを静的にも動的にも行うことができるようにする。これら3つの基本的特徴を使用して作り出すことができる幅広い体験を例示しやすくするために、静的動作と動的動作の両方の例をいくつか以下に列挙する。
【0114】
静的動作は、特定のロケーションに視聴ゾーンを生成し、視聴者がいる場所に基づいて視聴者にコンテンツを示すために使用することができる。たとえば、1つ以上のMVディスプレイ装置100を静的に構成して、道路の異なる側に異なる広告を示したり、信号機からある一定の距離離れた車には赤色の光を示し、より近い車には緑色の光を示したりすることができる。さらに、1つ以上のMVディスプレイ装置100を静的に構成して、世界地図を床で使用し、視聴者がその上に立っている国の母語で視聴者に文字を示すことができる。
【0115】
動的動作は、動的コンテンツと静的視聴ゾーンを使用してもよい。視聴ゾーンは、特定のロケーションに生成されてもよく、どの視聴ゾーンにどのコンテンツを示すかを決定するために、外部データが使用されてもよい。たとえば、ある人が演壇の後ろに歩いて行き、張り紙の内容を確認し、演壇のダイアルを使用してその人に表示される情報の言語を選択することができる。また、映画館で席に座っている人々が、自分たちの電話を使用して自らのシート番号および字幕の好み(すなわち、字幕なし、英語、スペイン語、ドイツ語など)を入力することができる。この場合、視聴ゾーンは座席ごとに静的に設定されるが、コンテンツはユーザ入力に基づいて変更される。任意のインタラクション装置(たとえば、ダイアル、電話、リモコン、ジェスチャー、顔認識)を使用して、椅子などの静的ロケーションにどのコンテンツが示されるかを変更することができる。
【0116】
動的動作は、静的コンテンツと動的視聴ゾーンを使用することもできる。視聴ゾーンは、外部データに基づいて変更されるが、コンテンツは内部データのみを使用して設定される。たとえば、APIを使用して3D視聴ゾーンを作製し、コンテンツをそれらに割り当ててもよく、ディスプレイコントローラ170は、その視聴ゾーンの内側で終了するビームレットをオンにするだけである(視聴ゾーンは、以下で説明するリアルタイム点群、飛行時間カメラ、または別の3Dセンサに基づき判定することができる)。これは、視聴ゾーンがその内側に立っている人(または人々)の正確な大きさになるように、視聴ゾーンを動的に更新するという効果を有する。たとえば、ユーザは、3D領域を、視聴ゾーンの境界ボックスになるように静的に設定してもよい。1人または複数の人が境界ボックスに入ると、視聴ゾーン内の人々に正確に嵌まるように、視聴ゾーンが更新される。言い換えれば、3D視聴ゾーンを静的に設定し、動的に更新することができる。さらに、ワンド、バッジ、電話、モーションキャプチャシステム、車両、または視覚的タグなどを使用して人々を追跡してもよく、外部データなしで(すなわち、ロケーションに基づき)コンテンツが割り当てられる。
【0117】
さらに、動的動作は完全に動的であってもよく、ここで視聴ゾーンは動的に生成され、コンテンツは動的に外部データに基づく。たとえば、ワンド、バッジ、電話、モーションキャプチャシステム、車両、視覚的タグなどを使用して人々が追跡されてもよく、その人が誰であるかに基づき、またはその人がシステムに与えた入力に基づき(すなわち、人がモールに入り、特定の物品を見始めた場合に)コンテンツが割り当てられる。さらに、視聴者の顔のコンピュータ支援顔認識を使用して、顔の周りに視聴ゾーンを設定し、視聴者が誰かを識別し、視聴者の識別に基づいてその視聴者専用の内容を示すことができる。
【0118】
基本的な3つの特徴に加えて、以下を含むいくつかの拡張機能によって、操作をより容易にすることができる:(a)オートディスカバリ、(b)コンテンツバッファとディスプレイパネルのマッピングの手動指定、(c)キャリブレーション区域に基づく視聴ゾーンのフィルタリング、および(d)シングルビューモードであり、これらを以下で説明する。
(a)オートディスカバリ
ホストコンピュータ182は、オートディスカバリ工程を行うようにソフトウェアを実行して、どのMVディスプレイ装置100がホストコンピュータ182に接続され、それらがどのように互いにプラグ接続されているかを検出する。このデータがなければ、オペレータはMVディスプレイ装置100ごとに手動でアドレスをプログラムし、次いでMVディスプレイ装置100のこれらのアドレスをAPIに知らせる必要がある。その代わりに、起動時にAPIは、すべての取り付けられたMVディスプレイ装置100を発見し、それぞれにアドレスを割り当てる。APIは、MVディスプレイ装置100がプラグ接続されている順番が変わらない場合、それぞれのMVディスプレイ装置100のアドレスが同じままであるように、これをプログラム的に、繰り返し可能なやり方で行う。APIは、MVディスプレイ装置100に割り当てられたアドレスに基づきコンテンツを分割するので、これはコンテンツを正確に示せることが有利である。MVディスプレイ装置100ごとに一意の識別子(ID)を工場で設定するなど、持続的なアドレスの割当てを達成するための多くの方法が存在するが、そのやり方は、一意のIDを事前に割り当てる必要のないオートディスカバリ方法に比べて効率が悪い。
(b)コンテンツバッファとディスプレイパネルとのマッピングの手動指定
マルチビューディスプレイ装置100用のコンテンツを生成するとき、単一の画像(またはフレームバッファ)を生成し、次いでその画像の部分が、それぞれ個々のMVディスプレイ装置100に表示されるように、MVディスプレイ装置100の物理的配置に基づきそれらを割り当てできることが期待されるかもしれない。MVディスプレイ装置100のアドレスは、それらがプラグ接続される順番に依存しており、ユーザは自らが選択する任意のやり方でMVディスプレイ装置100をプラグ接続することができるので、隣接するアドレス同士は必ずしも隣接するパネル同士に対応しないことがある。様々な実施形態では、MVディスプレイシステム122は、フレームバッファのどの部分をどのアドレスにマッピングするかをユーザが手動で指定できるようにする。たとえば、ユーザは、マルチビュー(MV)画素(0,0)〜(27,15)によって送達されるコンテンツを第1のMVディスプレイ装置100にマッピングし、MV画素(28,0)〜(56,16)によって送達されるコンテンツを第2のMVディスプレイ装置100にマッピングすることなどを指定することができる。ユーザがこのようにコンテンツの部分を割り当てできるようになることによって、ユーザには、より大きい創造的自由が与えられる。あるいは、MVディスプレイ装置100が特定のやり方でプラグ接続されていると仮定し、MVディスプレイ装置100にコンテンツの特定の領域を自動割当てすることが可能であってもよいが、このためには、どのようにMVディスプレイ装置100をプラグ接続するかをユーザは注意深く考えなくてはならなくなることがある。設置の物理的制約などを考えると、MVディスプレイ装置100を必要な構成にプラグ接続することが不可能な場合さえあり得る。
(c)キャリブレーション区域に基づく視聴ゾーンのフィルタリング
MVディスプレイ装置100のキャリブレーションされている部分(すなわち、視聴ゾーン座標系において、そのMV画素のそれぞれからのビームレットが終端するとわかっている正確なロケーション)、およびキャリブレーションされていない部分を、ユーザが正確に知るのは困難なことがある。概ね、MVディスプレイ装置100は、キャリブレーションが行われた区域の内側(たとえば、キャリブレーション中にキャリブレーション装置210が置かれたすべての点の凸包の内側、
図21Aを参照)で、よりよく性能を発揮する。その結果、視聴ゾーン座標系においてどの場所がキャリブレーションされており、どの場所がキャリブレーションされていないのかを、ユーザが理解しやすくすることは有利である。様々な実施形態では、これは、キャリブレーション区域の外側にある視聴ゾーンの区域を、任意選択でフィルタリングして除外し、そこにはコンテンツを表示しないことによって達成される。あるいは、表示されるかもしれない視聴ゾーンが、キャリブレーションされた体積の外側にあることを、ユーザに知らせてもよい。
(d)シングルビューモード
設計者がMVディスプレイ装置100を使用し、コンテンツをプレビュー表示しようと試みて、正しい内容が正しい視聴ゾーンで見えることを確認するとき、設計者は、ホストコンピュータ182から立ち上がり、物理的に視聴ゾーンに立ってコンテンツを見る必要があり得る。設計の負担を軽減するために、MVディスプレイシステム122は「シングルビュー」モードを含んでもよい。このモードでは、設計者は、物理的にどこに立っていても、MVディスプレイ装置100の視野の内側にいる限り、単一のコンテンツストリームを見ることができる。このモードは、設計者およびプログラマを補助するように設計されているが、MVディスプレイ装置100を見ているすべての人々が同じものを見る瞬間を可能にするように、MVディスプレイシステム122(
図4を参照)の最終的な動作において使用されてもよい。たとえば、異なる視聴ゾーンの視聴者は、通常異なる画像を見るが、緊急の場合には、それぞれの視聴者がどの視聴ゾーンにいるかに関わらず、同じ緊急警報コンテンツをすべての視聴者から見えるようにすることができる。
【0119】
(グラフィカルユーザインターフェース)
技術的知識がそれほどないユーザがMVディスプレイ装置100を使用できるようにするために、
図20Aに示すようなグラフィカルユーザインターフェース186を使用することができる。様々な実施形態では、グラフィカルユーザインターフェース186は、2つの主要な目的のために機能する。第1に、グラフィカルユーザインターフェースは、ユーザが基本的な機能をすぐに立ち上げ、実行できるようにする。さらに、グラフィカルユーザインターフェースは、独自のコードを書き込んでいるより高度なユーザが、その独自のコードで使用できるように視聴ゾーンをすばやく配置できるようにする。1つ以上の実施形態では、ホストコンピュータ182は、グラフィカルユーザインターフェース186をそのディスプレイ装置に表示させるソフトウェアを実行する。
【0120】
図20Aは、本開示の1つ以上の実施形態によるグラフィカルユーザインターフェース186の図である。1つ以上の実施形態では、グラフィカルユーザインターフェース186は、メインウインドウと、そのメインウインドウ内の、視聴ゾーン情報ペイン188、コンテンツ割当てペイン190、および視聴ゾーン座標系ペイン192を含む複数のペインとを含む。視聴ゾーン情報ペイン188は、視聴ゾーン座標系ペイン192に描かれる様々な視聴ゾーンの名前を、オペレータが指定できるようにする。コンテンツ割当てペイン190は、視聴ゾーン座標系ペイン192を使用して生成される様々な視聴ゾーンに、オペレータがコンテンツを割り当てできるようにする。たとえば、コンテンツ割当てペイン190は、視聴ゾーン座標系ペイン192に描かれる視聴ゾーンのそれぞれに表示すべきコンテンツを含む画像ファイルまたは動画ファイルの名前を、オペレータが指定できるようにする。
【0121】
グラフィカルユーザインターフェース186は、視聴ゾーン座標系ペイン192の視聴空間表現194を、オペレータが指定および表示できるようにする。たとえば、視聴空間表現194は、MVディスプレイ装置100が使用されることになる部屋の3Dモデルであってもよい。オペレータが、ホストコンピュータ182のポインティング装置(たとえばマウス)を使用して、ホストコンピュータ182のディスプレイ装置においてグラフィカル動作を実行するとき、ホストコンピュータ182は、ディスプレイ装置上のロケーションを、視聴ゾーン座標系(たとえば、MVディスプレイシステム122が使用されることになる部屋の座標系)における対応するロケーションに変換する。また、グラフィカルユーザインターフェース186は、視聴ゾーン座標系ペイン192内で、オペレータが視聴ゾーンを配置および操作できるようにする。たとえば、オペレータはポインティング装置を使用して、視聴ゾーン座標系ペイン192内で、第1の視聴ゾーン表現196a、第2の視聴ゾーン表現196b、および第3の視聴ゾーン表現196cを描写、サイズ変更、および移動することができる。1つ以上の実施形態では、視聴ゾーン表現196a〜196cのそれぞれは、三次元の境界ボックスとして出現する。ユーザが、3つの視聴ゾーンを視聴ゾーン表現196a〜196cによって特定した後、グラフィカルユーザインターフェース186を表示するホストコンピュータ182は、視聴ゾーン表現196a〜196cの境界の座標を、3つの視聴ゾーンの境界の、視聴ゾーン座標系における対応する座標に変換し、次いでこの視聴ゾーンの座標を記憶する。
【0122】
視聴ゾーン座標系の視覚的表現を視聴ゾーン座標系ペイン192に提供することによって、人々がMVディスプレイ装置100の使用方法を理解しやすくすることができる。視覚的表現の形は、MVディスプレイ装置で/とともに使用されるセンサ104(
図1を参照)に応じて異なる。たとえば、センサが2Dカメラ104の場合、グラフィカルユーザインターフェース186は単にカメラ104からのライブフィードを表示することができる。しかしいくつかの場合には、ディスプレイセンサの出力を人間が容易に認識および理解できないことがある。この一例は、IR光を使用する追跡システムであり得る。IR追跡システムに使用されるカメラ104は、可視光をブロックすることがあり、それによりIR追跡システムの出力を人間が理解するのは一層困難になる。代替策として、MVディスプレイシステム122は、データ出力(すなわち、追跡物体のロケーション)を取得し、環境の事前に構築された3Dモデルにそれらを重ねることができる。この概念の具体的な実装形態が
図20Aに示される。グラフィカルユーザインターフェース186は、視聴ゾーン座標空間を、空間の事前構築された3Dモデルおよびリアルタイム点群198として示す。示される例では、リアルタイム点群198は、視聴空間に立つ人のロケーションをグラフィカルに表す。点群198は、ステレオカメラセンサの出力を視覚的に表現したものである。画像内の特徴ごとに、2つの画像の差異から深さが算出される。次いで、所与の特徴に対応する画像の画素が、画像内でのそれらのロケーション、および特徴の算出された深さを前提として、3D空間内で適切な点にレンダリングされる。点群は、視覚的に理解するのが若干難しいことがあるので、点群198は、
図20Aの視聴空間の3Dモデルの上に重ねられる。ユーザは、自分の見ているものが、中央で部屋の前方を向いて立っている人であることをより容易に理解することができる。点群198がモデルというコンテキストなく表示されたら、ユーザは、自分がグラフィカルユーザインターフェース186上で見ているものと、現実世界との間の相関関係を把握するのが一層困難になり得る。この特定のモデルは、最初にマーターポート(登録商標)カメラなどの3Dカメラで空間をスキャンし、次いで、ディスプレイ装置100がそれに合わせてキャリブレーションされたステレオカメラに合わせて、生成されたモデルをキャリブレーションし、最後に位置合わせされたモデルと点群198の両方を表示することによって生成された。しかし、これは、コンピュータ製図法(CAD)、プロジェクトタンゴ(登録商標)などの他のルームモデリング技法を用いて行うことも可能である。
【0123】
カメラフィード、点群などの形の一般的な座標系を示すことに加えて、グラフィカルユーザインターフェース186は、最大キャリブレーション境界が何かを示すこともできる(上述した「(c)キャリブレーション区域に基づく視聴ゾーンのフィルタリング」を参照)。センサが特定の領域において感知可能であることは、必ずしも視聴ゾーンをそこに配置できることでない。これは、ディスプレイセンサ104の視野内の視聴空間全体を、ユーザがキャリブレーションしたわけではない可能性があるからである。どの区域がキャリブレーションされ、どの区域がされていないかをユーザが理解しやすくするために、グラフィカルユーザインターフェース186は、キャリブレーションされた区域/体積のレンダリングを、視聴ゾーン座標系の視覚化に重ねる特徴部を含む。様々な実施形態では、これは影付きの2D/3Dボックスとすることができる。
【0124】
視聴ゾーン座標系の表現を用いて、視聴ゾーンをその中で配置および操作してもよい。2Dでは、これは単に、MVディスプレイ装置100がそれに合わせてキャリブレーションされたカメラフィードの上で、四角形(または場合によっては他の2D形状)を描写および操作することであり得る。3Dでは、これはより複雑になり得る。3Dの場合には、コンテンツが示される空間の体積を定義しなくてはならない。様々な実施形態では、軸が位置合わせされた境界ボックス(すなわち、すべての辺が座標系の軸に平行な直角プリズム)を使用して、算出をスピードアップすることができるが、任意の3D体積が使用されてもよい。3D空間の3D体積を、2Dコンピュータモニタ上で移動および操作することは、2Dの場合よりも難しいかもしれないが、標準的なCAD方法を使用して実現することができる。
【0125】
図20Bは、本開示の1つ以上の実施形態による第1のグラフィカルユーザインターフェース方法300のフローチャートである。方法300は302で始まる。たとえば、ユーザは、ホストコンピュータ182によって表示されるユーザインターフェースオブジェクトを選択し、それによりホストコンピュータ182が、ネットワークを介してMVディスプレイ装置100にメッセージを送信する。
【0126】
304において、ディスプレイセンサ(たとえば104)は、MVディスプレイ装置100を視聴可能な空間のセンサデータを捕捉する。たとえば、ホストコンピュータ182からのメッセージに応答して、MVディスプレイ装置100のカメラ104は、MVディスプレイ装置100の視聴者が位置する部屋の部分のセンサデータを捕捉する。
【0127】
306において、センサデータが受信される。たとえば、ホストコンピュータ182は、MVディスプレイ装置100のネットワークコントローラ178から送信される、カメラ104によって捕捉されるセンサデータを、ネットワークを介して受信する。1つ以上の実施形態では、センサデータは、ユニバーサルシリアルバスを介して送られてもよい。
【0128】
308において、センサデータおよび視聴ゾーンデータが、ディスプレイ装置にレンダリングされる。たとえば、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、カメラ104によって捕捉されたセンサデータを処理し、対応する処理されたデータをホストコンピュータ182に結合されたディスプレイ装置に送信することを、ホストコンピュータ182に行わせるソフトウェア命令を記憶する。ディスプレイ装置に送信されるデータは、
図20Aに示すグラフィカルユーザインターフェース186をディスプレイ装置に表示させるフォーマットになっており、そのグラフィカルユーザインターフェースは、視聴空間表現194として表示されるレンダリングされたセンサデータ(たとえば点群データ198)、および視聴ゾーン表現196a、196b、196cを含めて表示される視聴ゾーンデータ(たとえば視聴空間の3Dモデル)を含む。
【0129】
308において、センサデータおよび視聴ゾーンデータが、ディスプレイ装置上でグラフィカルユーザインターフェース186にレンダリングされた後、ユーザは、ディスプレイ装置上に表示されるディスプレイセンサデータのコンテキストで視聴ゾーン表現196a、196b、196cによって表される視聴ゾーンを、可視化することができる。グラフィカルユーザインターフェース186に表示された情報を視聴した後、ユーザは、たとえば視聴ゾーン表現196aによって表された視聴ゾーンを、移動およびサイズ変更することによって調整する必要があると判断してもよい。次いでユーザは、ホストコンピュータ182に結合されたポインティング装置(たとえばマウス)を使用して、視聴ゾーン表現196aを選択し、次いでディスプレイ装置上でそれをサイズ変更および移動するように、グラフィカル動作を実行してもよい。
【0130】
310において、ユーザ入力が受信される。たとえば、ホストコンピュータ182は、ディスプレイ装置上で視聴ゾーン表現196aをサイズ変更および移動させる、ユーザが行ったグラフィカル動作に対応したデータを受信する。
【0131】
312において、1つ以上の視聴ゾーンの新規座標が判定される。たとえば、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、視聴ゾーン表現196aによって表される視聴ゾーンの、視聴ゾーン座標系における新規座標を、310で受信したユーザ入力に基づき判断することを、ホストコンピュータ182に行わせるソフトウェア命令を記憶している。
【0132】
314において、アプリケーションプログラミングインターフェースに通知が行われる。たとえば、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、視聴ゾーン表現196aによって表される視聴ゾーンの座標が変更されたことを示すメッセージを、ホストコンピュータ182上で実行しているアプリケーションプログラミングインターフェースに送ることを、プロセッサに行わせるソフトウェア命令を記憶している。
【0133】
316において、視聴ゾーンデータが更新される。たとえば、ホストコンピュータ182上で実行しているアプリケーションプログラミングインターフェースは、312で判定された、視聴ゾーン表現196aによって表される視聴ゾーンの新規座標に対応するデータが、ホストコンピュータ182のメモリに記憶されるようにする。
【0134】
318において、更新されたデータがディスプレイ装置に送信される。たとえば、ホストコンピュータ182上で実行しているアプリケーションプログラミングインターフェースは、312で判定された、視聴ゾーン表現196aによって表される視聴ゾーンの新規座標に対応するデータが、MVディスプレイ装置100に送信されるようにする。
【0135】
320において、方法300は終了する。たとえば、MVディスプレイ装置100のディスプレイコントローラ170は、視聴ゾーン表現196aによって表される視聴ゾーンの新規座標に対応するデータを記憶し、それを使用して、フラットパネルディスプレイ100のどのディスプレイ画素が、視聴ゾーン表現196aによって表される視聴ゾーンに向けてビームレットを放射するかを判定する。
【0136】
グラフィカルユーザインターフェース186の1つの特徴は、コンテンツを生成し、それを視聴ゾーンに割り当てる機能である。コンテンツ設計者は、他のソフトウェアプログラムでマルチビューディスプレイ用の画像およびビデオを設計し、次いでそれらをインポートすることができる。しかし、ユーザは、グラフィカルユーザインターフェース186を用いて、スクロールテキストおよびスタティックテキストなどの簡単なコンテンツを生成することができる。コンテンツが生成されたら、コンテンツグループにそれを割り当てることができる。コンテンツグループは、それに割り当てられた1つのコンテンツ、および1つまたは多くの視聴ゾーンを有する。これを、コンテンツを視聴ゾーンに割り当てると考えることも可能であるが、様々な実施形態において、サポートされるコンテンツストリームは視聴ゾーンよりもはるかに少ないので、視聴ゾーンをコンテンツに割り当てると考える方が有益なことがある。その理由は、妥当な数のMV画素102を有する任意の妥当なサイズのMVディスプレイ装置100では、ホストコンピュータ182からディスプレイコントローラ170への通信が行われるとき、視聴ゾーンよりも多くのデータ帯域幅をコンテンツストリームが占めるからである。上で検討したように、様々な実施形態では、ユーザは、コンテンツストリームごとにグループを生成する。ユーザは、グループ間で視聴ゾーンを移動させることによって、どの視聴ゾーンにどのコンテンツが示されるかを変更することができる。
【0137】
どの視聴ゾーンがどこに位置付けられ、どの視聴ゾーンがどのコンテンツ(またはコンテンツグループ)に割り当てられるかを定義するそれぞれの「構成」または状態を保存することもできる。グラフィカルユーザインターフェース186は、構成リストを提供し、その構成リストでは、すべての保存された構成を迅速かつ容易に切り替えすることができるように、それらが整理されている。構成リストを用いると、グラフィカルユーザインターフェース186によって、ユーザが外部トリガに基づき構成を切り替えることができるようになる。たとえば、環境内でボタンが押されると(たとえば、娯楽施設の来場者がMVディスプレイ装置100のそばにあるボタンを押すと)、MVディスプレイシステム122が、異なるコンテンツのセットを有する次の構成に移ってもよい。照明コンソール、様々なセンサ、タイマー、またはメディアサーバなどの他のシステムからのトリガを受信することもできる。グラフィカルユーザインターフェース186からの構成情報を保存する機能の別の使用法は、視聴ゾーンのロケーションだけを保存することである。前の例を詳しく述べると、ボタンが押されたときに、誰がそれを押したかに基づき、どのコンテンツが示されるかを動的に変更できるようにしたいとプログラマが望む場合には、そのプログラマは、アプリケーションプログラミングインターフェースを使用して、それを行うためのプログラムを書くことができる。別の例としては、プログラマは、グラフィカルユーザインターフェース186に視聴ゾーンを設定し、その視聴ゾーンに名前を付け(すなわち、「ボタン1」、「ボタン2」など)、次いであのファイルをプログラミングインターフェースにロードして、動的コンテンツを視聴ゾーンに割り当てることができる。
【0138】
図20Cは、本開示の1つ以上の実施形態による第2のグラフィカルユーザインターフェース方法330のフローチャートである。方法330は332で始まる。たとえば、ユーザは、ホストコンピュータ182に結合されたディスプレイ装置にグラフィカルユーザインターフェース186を表示することを、そのホストコンピュータ182に行わせる入力を提供する。
【0139】
334において、第1の構成データが生成される。たとえばユーザは、ホストコンピュータ182に結合されたポインティング装置(たとえばマウス)を使用して、グラフィカルユーザインターフェース186の視聴ゾーン座標系ペイン192に視聴ゾーン表現196aおよび視聴ゾーン表現196bを生成するように、グラフィカル動作を実行する。ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、視聴ゾーン座標系における第1の視聴ゾーンと第2の視聴ゾーンの境界を表す視聴ゾーンデータを、ユーザが実行したグラフィカル動作を示すデータに基づき生成および記憶することを、ホストコンピュータ182に行わせるソフトウェア命令を記憶している。
【0140】
また、ユーザは、ポインティング装置およびグラフィカルユーザインターフェース186のコンテンツ割当てペイン192を使用して、第1のコンテンツストリームを第1のコンテンツグループに割り当て、第2のコンテンツストリームを第2のコンテンツグループに割り当てるようにグラフィカル動作を実行する。さらに、ユーザは、ポインティング装置を使用して、視聴ゾーン表現196aによって表される第1の視聴ゾーンを第1のコンテンツグループに割り当て、視聴ゾーン表現196bによって表される第2の視聴ゾーンを第2のコンテンツグループに割り当てるようにグラフィカル動作を実行する。
【0141】
1つ以上の実施形態では、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、第1と第2の視聴ゾーンの境界を表す視聴ゾーンデータ、第1のコンテンツグループに含まれるコンテンツ項目を示すデータ、第2のコンテンツグループに含まれるコンテンツ項目を示すデータ、第1の視聴ゾーンが第1のコンテンツグループに割り当てられることを示すデータ、および第2の視聴ゾーンが第1のコンテンツグループに割り当てられることを示すデータを含む第1の構成データを生成することを、ホストコンピュータ182に行わせるソフトウェア命令を記憶している。
【0142】
たとえば、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、第1の構成データをテーブルまたは他の適切なデータ構造に記憶することを、ホストコンピュータ182に行わせる命令を記憶しており、そのテーブルまたは他の適切なデータ構造では、第1の視聴ゾーンの境界の座標を表すデータが第1の視聴ゾーンの識別子(たとえば「ゾーン1」)に関連付けられ、第2の視聴ゾーンの境界の座標を表すデータが第2の視聴ゾーンの識別子(たとえば「ゾーン2」)に関連付けられ、第1のコンテンツストリームの識別子(たとえば、ファイル名1)が第1のコンテンツグループの識別子(たとえば「グループ1」)に関連付けられ、第2のコンテンツストリームの識別子(たとえば、ファイル名2)が第2のコンテンツグループの識別子(たとえば「グループ2」)に関連付けられ、第1の視聴ゾーンの識別子(たとえば「ゾーン1」)が、第1のコンテンツグループの識別子(たとえば「グループ1」)に関連付けられ、第2の視聴ゾーンの識別子(たとえば「ゾーン2」)が、第2のコンテンツグループの識別子(たとえば「グループ2」)に関連付けられている。
【0143】
336において、第2の構成データが生成される。たとえば、ユーザは、第3および第4の視聴ゾーンデータを生成し、第3のコンテンツストリームを第3のコンテンツグループに割り当て、第4のコンテンツストリームを第4のコンテンツグループに割り当て、第3の視聴ゾーンを第3のコンテンツグループに割り当て、第4の視聴ゾーンを第4のコンテンツグループに割り当てるように、上述した動作と同様のグラフィカル動作を実行する。次いでホストコンピュータ182は、第3と第4の視聴ゾーンの境界を表す視聴ゾーンデータ、第3および第4のコンテンツグループのコンテンツを示すデータ、第3の視聴ゾーンが第3のコンテンツグループに割り当てられることを示すデータ、および第4の視聴ゾーンが第4のコンテンツグループに割り当てられることを示すデータを含む第2の構成データを生成する。
【0144】
338において、第1および第2の視聴ゾーンデータが送信される。たとえば、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、第1の構成データにおいて識別された第1および第2の視聴ゾーンデータを、MVディスプレイ装置100に送信することを、ホストコンピュータ182に行わせるソフトウェア命令を記憶している。
【0145】
340において、第1および第2の視聴ストリームが送信される。たとえば、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、第1の構成データにおいて識別された第1および第2の視聴ストリームを、MVディスプレイ装置100に送信することを、ホストコンピュータ182に行わせるソフトウェア命令を記憶している。
【0146】
第1の視聴ゾーンの視聴者が第1のコンテンツストリームを視聴することができ、第2の視聴ゾーンの視聴者が第2のコンテンツストリームを視聴することができるように、MVディスプレイ装置100のディスプレイコントローラ170は、338において送信された第1および第2の視聴ゾーンデータ、ならびに340において送信された第1および第2の視聴ストリームを使用して、フラットパネルディスプレイ110の座標系のどのビームレット(または対応するディスプレイ画素)を駆動するかを判定する。
【0147】
342において、トリガデータが受信される。たとえば、342において、ホストコンピュータ182は、MVディスプレイ装置100が位置付けられた部屋に位置するセンサ装置から信号を、または通信装置からメッセージを受信する。1つ以上の実施形態では、ホストコンピュータ182は、特定の構成データを識別するデータを含むメッセージを受信する。たとえば、342において、ホストコンピュータ182は、第2の構成データ(たとえば「第2の構成」)を識別する、またはそれに関連付けられたデータを含むメッセージを受信する。
【0148】
344において、アプリケーションプログラミングインターフェースに通知が行われる。たとえば、ホストコンピュータ182のメモリは、プロセッサによって実行されたときに、第2の構成データを識別する構成データの変更を示すメッセージを、ホストコンピュータ182上で実行しているアプリケーションプログラミングインターフェースに送ることを、ホストコンピュータ182に行わせるソフトウェア命令を記憶している。
【0149】
346において、第3および第4の視聴ゾーンデータが送信される。たとえば、ホストコンピュータ182上で実行しているアプリケーションプログラミングインターフェースは、たとえば第2の構成データを識別する、または第2の構成データの識別子に関連付けられた識別子を含む構成データの変更を示すメッセージを344において受信したことに応答して、第2の構成データに含まれる視聴ゾーンデータをMV視聴装置100に送信することを、ホストコンピュータ182に行わせる。1つ以上の実施形態では、フラットパネルディスプレイ110のディスプレイサブ画素の駆動を停止し、不揮発性メモリ176に現在記憶されている視聴ゾーンデータを消去するようディスプレイコントローラ170に命令する1つ以上のコマンドとともに、第3および第4の視聴ゾーンデータが送信される。
【0150】
1つ以上の実施形態では、第3および第4の視聴ゾーンデータを不揮発性メモリ176に記憶し、第3のコンテンツグループのコンテンツストリームの識別子を、不揮発性メモリ176に記憶されたテーブルまたは他の適切なデータ構造内の第3のコンテンツグループの識別子に関連付け、第4のコンテンツグループのコンテンツストリームの識別子を、不揮発性メモリ176に記憶されたテーブルまたは他の適切なデータ構造内の第4のコンテンツグループの識別子に関連付けるようディスプレイコントローラ170に命令する1つ以上のコマンドとともに、第3および第4の視聴ゾーンデータが送信される。
【0151】
348において、第3および第4の視聴ストリームが送信される。たとえば、ホストコンピュータ182上で実行しているアプリケーションプログラミングインターフェースは、342において受信した構成データの変更を示すメッセージを344において受信したことに応答して、第2の構成データにおいて識別される第3および第4の視聴ストリームを348において送信することを、ホストコンピュータ182に行わせる。
【0152】
350において、方法330は終了する。第3の視聴ゾーンの視聴者が第3のコンテンツストリームを視聴することができ、第4の視聴ゾーンの視聴者が第4のコンテンツストリームを視聴することができるようにフラットパネルディスプレイ110を駆動するために、たとえば、MVディスプレイ装置100のディスプレイコントローラ170は、346において送信された第3および第4の視聴ゾーンデータに含まれる、視聴ゾーン座標系の座標を、フラットパネルディスプレイ110のビームレット座標系の対応する座標に変換する。
【0153】
(キャリブレーション)
MVディスプレイ装置100は、キャリブレーション工程を必要とする。これは、ユーザが視聴ゾーン座標系内のロケーションを指定するので、MVディスプレイ装置100は、MV画素102ごとにどのビームレットを照射すべきかを知っておかなくてはならないからである。各レンズ内での光の正確な曲がり方、ディスプレイセンサ(すなわちカメラ104)に対する各レンズの正確なロケーション、および下にあるディスプレイパネルに対するレンズの正確なロケーションがわかるならば、キャリブレーション工程は理論上なくすことができる。実際には、こうした測定値を得ることは困難であり、所与の視聴ゾーンの座標に向けて正しいビームレットをオンにするためにリアルタイムでこれらを使用することは、さらに困難である。
【0154】
様々な実施形態では、所与の視聴ゾーンの座標に向けてどのビームレットをオンにするかを近似するために、簡単な数学的モデルが使用される。ワーストケースにおいて、この近似は、目的とするビームレットと実際のビームレットとの間で約数個のディスプレイ画素の誤差を有し、この誤差は通常の状況なら許容可能である。平均で、誤差は約0.5ディスプレイ画素で一層良好である。
【0155】
キャリブレーション工程によって、視聴ゾーン座標系におけるロケーションの、ビームレット座標系への投射/マッピングを近似する数学的モデルの係数および定数が決まる。係数および定数を決めるために、キャリブレーション装置は、視聴ゾーン座標系とビームレット座標系との間でいくつかのグラウンドトゥルースマッピングを捕捉する。集められたデータ、および非線形のオプティマイザを使用して、式中の係数および定数が見いだされる。係数および定数が得られると、視聴ゾーン座標を前提とした新規のマッピングを効率よく生成することができる。
【0156】
(物理的設定)
グラウンドトゥルースマッピングを集めて係数の値を求めるために、いくつかのハードウェアが必要になる。様々な実施形態では、少なくとも3つの装置が使用される:MVディスプレイ装置100、このMVディスプレイ装置100に取り付けられた、視聴ゾーン座標空間を生成する(たとえば、カメラ、ステレオカメラ、光による検知および測距(LIDAR)、飛行時間カメラ、ラインスキャンカメラなどの)ディスプレイセンサ226(たとえば、カメラ104)、およびMVディスプレイ装置100を視聴することができ、環境内で移動してまわることができ、
図21Aに示すディスプレイセンサ226により見いだされることが可能なカメラ(キャリブレーション装置210)である。
図21Aでは、点線は、キャリブレーション手順中に「示される」データを表し、実線は、キャリブレーション手順中に送られるデータを表す。
【0157】
一実装形態では、キャリブレーション装置210は、チェッカーボードと、(たとえば、タブレットコンピュータにキャリブレーション手順を実行させる命令を記憶しているプロセッサおよびメモリを含む)タブレットコンピュータとが取り付けられたカメラの形をとり、ディスプレイセンサ226は2Dカメラである。代替的な実装形態では、キャリブレーション装置210は、赤外線(IR)LEDとタブレットコンピュータが取り付けられたカメラであり、ディスプレイセンサ226はIR感応性ステレオカメラである。いずれの場合にも、キャリブレーション装置210は、視聴ゾーン座標系内でディスプレイセンサ(たとえばカメラ104)によって見いだされることが可能でなくてはならない。キャリブレーション装置/ディスプレイセンサの組合せのいくつかの他の例は、チェッカーボード/ステレオカメラ、他のプリント済みパターンまたはタグ/カメラ(またはステレオカメラ)、可視光LED/カメラ(またはステレオカメラ)などである。さらにホストコンピュータ182を使用して、MVディスプレイ装置100を制御することができ、ワイヤレスネットワークによって、キャリブレーション装置210とホストコンピュータ182がキャリブレーション手順中に通信することができるようになる。いくつかの実施形態では、1つのコンピュータを使用し、タブレットをなくしてもよいが、ホストコンピュータ182まで通るケーブルをカメラがもたなくてはならない可能性がある。ディスプレイコントローラ170が、キャリブレーション装置(カメラ)210と直接インターフェースをとることも可能である。
【0158】
(キャリブレーション手順)
図21Aは、本開示の1つ以上の実施形態によるキャリブレーション手順を実行するMVディスプレイシステム122のブロック図である。MVディスプレイシステム122は、ホストコンピュータ182に通信可能に結合されたMVディスプレイ装置100を含む。たとえば、MVディスプレイ装置100は、イーサネット(登録商標)ベースのローカルエリアネットワークを介してホストコンピュータ182に接続される。MVディスプレイシステム122は、ホストコンピュータ182に通信可能に結合されたキャリブレーション装置210およびディスプレイセンサ226(たとえばカメラ104)も含む。たとえば、キャリブレーション装置210とホストコンピュータ182は、IEEE802.11nベースのローカルエリアネットワークを介して相互接続され、ディスプレイセンサ226(たとえばカメラ104)とホストコンピュータ182は、ユニバーサルシリアルバスを介して相互接続される。
【0159】
キャリブレーション手順中に、ホストコンピュータ182は、ディスプレイパターンデータ228をMVディスプレイ装置100に送信する。それに応答して、MVディスプレイ装置100は、ディスプレイパターンデータ228に対応するディスプレイパターン230を形成する光を放射する。キャリブレーション装置210は、MVディスプレイ装置100からのどのビームレットが受信されたかを記録する。一方、キャリブレーション装置210は、(たとえばキャリブレーション装置210の画面上に表示可能な、またはキャリブレーション装置210に印刷もしくは取付けされた)チェッカーボードパターン232を含む。キャリブレーション装置210が、ディスプレイセンサ226の視野内にある場合(すなわち、ディスプレイセンサ226が、キャリブレーション装置210のチェッカーボードパターン232を感知または検出できる場合)、ディスプレイセンサ226はキャリブレーション装置ロケーションデータ234をホストコンピュータ182に送信する。1つ以上の実施形態では、キャリブレーション装置ロケーションデータ234は、検出されたチェッカーボードパターン232に基づく視聴ゾーン座標系内のキャリブレーション装置210の座標を示す。キャリブレーション装置210は、ビームレット座標データ236をホストコンピュータ182に送信し、そのデータはホストコンピュータ182によって記憶される。以下で説明するように、ホストコンピュータ182は、記憶したキャリブレーション装置ロケーションデータ234およびビームレット座標データ236を使用して、MVディスプレイ装置100が視聴ゾーン座標系の座標をフラットパネルディスプレイ110のビームレット(またはディスプレイ画素)座標系の対応する座標に変換するために使用するキャリブレーションパラメータ(p0、p1、・・・、p15)を算出し、それによりMVディスプレイ装置100は、異なる視聴ゾーンに位置する異なる視聴者に異なるコンテンツを提示することができるようになる。
【0160】
1つ以上の実施形態では、キャリブレーション装置210はタブレットコンピュータを含み、このタブレットコンピュータは、タブレットコンピュータのプロセッサによって実行されたときに、タブレットコンピュータにキャリブレーション手順の一部を行わせるソフトウェア命令を記憶しているメモリを有する。さらに、ホストコンピュータ182のメモリは、ホストコンピュータ182のプロセッサによって実行されたときに、キャリブレーション手順の他の部分をホストコンピュータに行わせるソフトウェア命令を記憶している。
【0161】
キャリブレーション手順は、視聴ゾーン座標系における空間的な1D/2D/3Dポイントと、オンにされたときにその空間座標の位置を実世界で照射するビームレット座標系におけるビームレットとの間で、MV画素あたり数回のマッピングを捕捉するステップから構成される。様々な実施形態では、これらの捕捉されたマッピングは、MVディスプレイ装置100を視聴するために使用される全区域の周りに拡散される。これらのマッピングを捕捉するために、MVディスプレイシステム122は、2つのことを行わなくてはならない:視聴ゾーン座標空間においてキャリブレーション装置210を見い出し、その現在のロケーションにおいて、どのビームレットがそれに当たっているかをキャリブレーション装置210が記録できるようにすることである。
【0162】
様々な実施形態では、キャリブレーション装置210は、ディスプレイセンサ226のフィードにチェッカーボードパターン232を位置付けることによって見い出される。これにより、視聴ゾーン座標系の空間座標が与えられ、この空間座標は、キャリブレーション装置210の現在のロケーションを表し、キャリブレーション装置ロケーションデータ234に含められる。前に述べたように、ディスプレイセンサ226(たとえばカメラ104)は、1D、2D、または3Dセンサとすることができる。これらのそれぞれは、MVディスプレイ装置100の動作の仕方に影響を及ぼす。ディスプレイセンサ226の次元性によって、エンドユーザが視聴ゾーンを画成することができる座標空間の次元性が決まる。したがって、MVディスプレイ装置100が、2Dディスプレイセンサ226に合わせてキャリブレーションされた場合、視聴ゾーンは、2D表面の領域としてしか画成することができず、キャリブレーション装置210が配置されるすべてのロケーションは、その2D表面内でなくてはならない。2Dまたは1Dであるディスプレイセンサ226を使用することのマイナス面は、MVディスプレイ装置100が、対応する平面上または線上でしかうまく機能しないことであり得る。なぜなら、数学的モデルは、視聴者がその平面または線に立っていると仮定するからである。MVディスプレイ装置100から視聴者の距離に比べて、MVディスプレイ装置100が小さい場合には、平面上の視聴者に当たるビームレットと、平面から外れた視聴者に当たるビームレットとの間の差は小さく、無視することができる。しかし、MVディスプレイ装置100が大きくなるにつれて(たとえば、複数のMVディスプレイ装置100がともにタイリングされると)、キャリブレーションされた表面に立つ人と、そこから外れている人とに対するビームレット間の差は、それほど小さくなく、視聴者にはMV画素の一部しかオンに見えないことになる恐れがある。この問題に対処するために、様々な実施形態では、ディスプレイセンサ226は2Dカメラを含んでもよく、キャリブレーション装置210とディスプレイセンサ226の間の距離を測定することが可能である。次いで、この距離が第3の座標として使用されて、追加の次元が加えられ、2Dディスプレイセンサ226が効率的に3Dセンサになる。したがってユーザは、2D画像の領域、およびカメラからの距離を指定することができる。
【0163】
図21Bは、本開示の1つ以上の実施形態によるキャリブレーション手順360のフローチャートである。キャリブレーション手順360は362で始まる。たとえば、ユーザは、ホストコンピュータ182、キャリブレーション装置210、およびディスプレイセンサ226に、そのそれぞれのメモリに記憶された所定のソフトウェア命令を実行させる入力を提供する。
【0164】
364において、キャリブレーション装置210は、MVディスプレイ装置100の視野内に配置される。キャリブレーション装置210は、ディスプレイセンサ226によって画成される視聴ゾーン座標系内の任意の点に位置付けられてもよい。
【0165】
366において、ディスプレイセンサ226は、キャリブレーション装置210のロケーションを判定する。1つ以上の実施形態では、ディスプレイセンサ226のメモリは、プロセッサによって実行されたときに、キャリブレーション装置210によって表示されたチェッカーボードパターン232の画像を捕捉し、対応する画像データを処理し、その画像データに基づき視聴ゾーン座標系におけるキャリブレーション装置210の座標を判定し、判定された座標を含むキャリブレーション装置ロケーションデータ234をホストコンピュータ182に送信することを、ディスプレイセンサ226に行わせる命令を記憶している。いくつかの実施形態では、ディスプレイセンサ226は、ホストコンピュータ182にセンサデータを送り、ホストコンピュータ182は、そのセンサデータを処理して、視聴ゾーン座標系におけるキャリブレーション装置210の座標を判定する。
【0166】
368において、MVディスプレイ装置100のMV画素102が、キャリブレーション装置210によって位置特定される。1つ以上の実施形態では、ホストコンピュータ182は、すべてのMV画素102をオンにし、次いですべてのMV画素102をオフにすることをMVディスプレイ装置100に行わせるディスプレイパターンデータ228を生成する(
図22Aおよび
図22Bを参照)。キャリブレーション装置210のカメラは、すべてのMV画素102がオンになりオフになったときに、MVディスプレイ装置100の画像を捕捉する。キャリブレーション装置210のメモリは、プロセッサによって実行されたときに、これらの画像に対応する画像データを処理し、この画像データを比較し、この画像データの比較に基づき、それぞれのMV画素102に対応する画像内のロケーションを判定することを、キャリブレーション装置210に行わせるソフトウェア命令を記憶している。
【0167】
370において、それぞれのMV画素102が識別される。1つ以上の実施形態では、ホストコンピュータ182は、それぞれのMV画素102に割り当てられた、または関連付けられた一意のコードに応じて、それぞれのMV画素102をオンにしオフにすることを、MVディスプレイ装置100に行わせるディスプレイパターンデータ228を生成する(
図23A〜
図23Fを参照)。キャリブレーション装置210のカメラは、MVディスプレイ装置100が一意のコードに応じてそれぞれのMV画素102をオンにしオフにする間に、MVディスプレイ装置100の画像を捕捉する。キャリブレーション装置210のメモリは、プロセッサによって実行されたときに、それぞれのMV画素102を識別するために一意のコードを使用して、これらの画像に対応する画像データを処理することを、キャリブレーション装置210に行わせるソフトウェア命令を記憶している。
【0168】
372において、キャリブレーション装置210のロケーションに対応するディスプレイ画素ID(またはビームレットID)が判定される。1つ以上の実施形態では、ホストコンピュータ182は、それぞれのビームレットに割り当てられた一意のコードに応じて、それぞれのビームレットをオンにしオフにすることを、MVディスプレイ装置100に行わせるディスプレイパターンデータ228を生成する。これにより、キャリブレーション装置210のロケーションに対応するビームレットがオンになりオフになるときに、MV画素102が「オン」になり「オフ」になるのを見るキャリブレーション装置210ができる(
図24A〜
図24Tを参照)。MVディスプレイ装置100がそれぞれのビームレットを、それらに割り当てられた一意のコードに応じてオンにしオフにする間に、キャリブレーション装置210はMVディスプレイ装置100の画像を捕捉する。キャリブレーション装置210のメモリは、プロセッサによって実行されたときに、画像に対応する画像データを、それぞれのビームレットに割り当てられた一意のコードを使用して処理して、キャリブレーション装置210のロケーションに対応するディスプレイ画素ID(またはビームレットID)を判定することを、キャリブレーション装置210に行わせるソフトウェア命令を記憶している。
【0169】
一実施形態において、この372の段階での目的は、キャリブレーション装置210がたまたま配置された場所に関わらず、キャリブレーション装置210にとってMV画素102が「オン」に見えるためには、たとえば各MV画素の下の最大10,000本のビームレットのうちのどれを、MVディスプレイ装置100がオンにする必要があるかを見い出すことである。理想的な場合には、1つのビームレット以外のあらゆるビームレットがオンにされたとき、MV画素102は「オフ」に見えるが、その1つの(正しい)ビームレットがオンにされたときには「オン」に見える。MVディスプレイ装置100は、各ビームレット用のIDをエンコードするパターンを、フラットパネルディスプレイ110に表示する。したがって、視聴ゾーン座標系における所与のMV画素およびロケーションについて、キャリブレーション装置210は
図24A〜
図24Tに示すパターンを見ることになる。
【0170】
図25A〜
図25Iを参照しながら以下で説明するように、374において精製工程が実施されてもよい。
【0171】
以下で説明するように、376において、キャリブレーションパラメータが判定される。
【0172】
図21Cは、本開示の1つ以上の実施形態によるキャリブレーション手順中に表示されてもよい画像200を示す。画像200は、MVディスプレイ装置100が使用されることになる部屋に対応している。画像200は、複数のロケーションのマーカ202を含み、そのロケーションにおいて、ディスプレイセンサ226(すなわちステレオカメラ104)は、レンダリングされた点の3D点群内でキャリブレーション装置210のチェッカーボードパターン232を捕捉した。キャリブレーション手順360の様々な部分を、
図22A〜
図25Iを参照しながら、以下でより詳細に説明する。
【0173】
キャリブレーション装置210のロケーションが見いだされると、MVディスプレイシステム122は、各MV画素のどのビームレットが、キャリブレーション装置210に当たるかを判定しなくてはならない。これを実現するために、ホストコンピュータ182は、MVディスプレイ装置100に一連のパターンを表示させてもよい。各パターンを使用して、特定の情報がキャリブレーション装置210に与えられる。パターンを、例示的な一実施形態の順番で以下に列挙にするが、他の順番も可能である。
【0174】
(キャリブレーションステップ1:MV画素のロケーションが見いだされる)
図22Aおよび
図22Bは、本発明の実施形態による1つのレンズアセンブリ132を含むMVディスプレイ装置100の正面図である。したがって、示される例のMVディスプレイ装置100は、16個(4×4)のMV画素102を含む。
図22AではどのMV画素102も照射されていない状態で示され、
図22Bでは、すべてのMV画素102が照射された状態で示される。MVディスプレイ装置100は、それぞれ
図21Bおよび
図21Aに示すように、すべてのMV画素102をオンおよびオフに点滅させる。これにより、照射パターンを捕捉するキャリブレーション装置210は、画像のどの領域がMV画素102を含むかを判定することができ、さらなる誤差チェックが可能になる。
【0175】
(キャリブレーションステップ2:MV画素IDが見いだされる)
図23A〜
図23Fのそれぞれは、上述した
図22Aおよび
図22Bと同様に、単一のレンズアセンブリ132を含むMVディスプレイ装置100の正面図である。
図23A〜
図23Fは、それぞれのMV画素のMV画素IDをエンコードする一連の画像を表し、示される画像はリトルエンディアンの順序で配置される。
【0176】
ホストコンピュータ182によって送信されるディスプレイパターンデータ228は、MVディスプレイ装置100に、一連の画像(パターン)を、MV画素102使用してキャリブレーション装置210に向けて表示させる。
図23A〜
図23Fに示す画像は、MVディスプレイ装置100内の個々のMV画素102ごとに特定のID番号をエンコードしている。様々な実施形態では、すべてのMV画素IDをエンコードするのに必要な画像の数を減らすために、IDはバイナリ形式でエンコードされるが、他のエンコードスキームを使用することもできる。たとえば、色を使用して、MV画素IDをエンコードしてもよく、またはこの目的のためにグレーコードを使用してもよい。
【0177】
様々な実施形態では、
図23A〜
図23Fのそれぞれは、1つのMV画素IDを表すバイナリエンコーディングの数の1ビットを表す。特定のMV画素102が画像(またはパターン)内でオフの場合、その画像にはそのMV画素について0が割り当てられ、特定のMV画素102がオンの場合、その画像(またはパターン)にはそのMV画素について1が割り当てられる。次いで、一連のビットが対応するID番号に変換される。
【0178】
たとえば、
図23A〜
図23Fの丸で囲んだMV画素102は、000111のバイナリエンコーディングを有し、これはID番号7である。000111は、丸で囲んだMV画素102が、最初の3つの画像である
図23Aから
図23Cにおいてオン(すなわち値1が割り当てられている)であり(右手側の「111」)、後の3つの画像である
図23D〜
図23Fではオフ(すなわち、値0が割り当てられている)である(左手側の「000」)ことに基づく。別の例として、丸で囲んだMV画素の左のMV画素は、000110のバイナリエンコーディング(ID番号6)を有し、丸で囲んだMV画素の右のMV画素は、001000(ID番号8)のバイナリエンコーディングを有する。
【0179】
キャリブレーション装置210は、キャリブレーション手順360の370において、
図23A〜
図23Fに対応する画像を捕捉する。これにより、キャリブレーション装置210は、画像のどの領域がどのMV画素102に属するかを知ることができる。キャリブレーション装置210は、画像のどの領域が、それぞれどのMV画素102に属するかを知っているので、MVディスプレイ装置100におけるすべてのMV画素102について一度にマッピングを捕捉することができる。これは、MVディスプレイ装置100ごとをベースに行うことができるが、例示的な実施形態は、複数のMVディスプレイ装置100を備えるMVディスプレイシステム122全体にわたってこれを行ってもよい。MVディスプレイシステム122のすべてのMV画素102に、それ独自の一意のIDが割り当てられる。
【0180】
(キャリブレーションステップ3:ディスプレイ画素IDが見いだされる)
図24A〜
図24Tは、上の
図22A〜
図23Fと同様に、16個(4×4)のMV画素102を有するレンズアセンブリ132を含むMVディスプレイ100の正面図である。より具体的には、
図24A〜
図24Jは、ビームレットID(またはディスプレイ画素ID)のXグレーコーディング中のMVディスプレイ装置100の正面図であり、
図24K〜
図24Tは、ビームレットID(またはディスプレイ画素ID)のYグレーコーディング中のMVディスプレイ装置100の正面図である。示される画像は、リトルエンディアンの順番に配置される。キャリブレーション装置210は、キャリブレーション手順360の372において、
図24A〜
図24Tの画像を捕捉する。
【0181】
ディスプレイ装置100のMV画素102のそれぞれについてビームレットのディスプレイ画素ID(またはビームレットID)を判定するために、キャリブレーション装置210のメモリは、キャリブレーション装置210のプロセッサによって実行されたときに、
図24A〜
図24Tに示すMVディスプレイ装置100の画像に対応する画像データを処理することを、キャリブレーション装置210に行わせるソフトウェア命令を記憶している。
【0182】
この段階では、例示的な一実施形態は、グレーコードエンコーディングを使用して(しかしこの場合も、他のエンコーディングが使用されてもよい)、各ビームレットを、その一意のIDである特定のシーケンスに点滅させる。ID番号は、単にxビームレットの座標の後にyビームレットの座標が続いているだけである。所与のMV画素102について、キャリブレーション装置210のロケーションを最も良好に照射する1つの「最良の」ビームレットが存在する。この段階では、MV画素102が、キャリブレーション装置210に対してオフまたはオンに見える(すなわち、閾値の輝度値より上または下である)場合に、それは「最良の」ビームレットがオフまたはオンであることを意味し、そのデータを使用してそのビームレットのIDがデコードされると仮定される。したがって、
図24A〜
図24Tでは、丸で囲んだMV画素102は、x画像0、4、および7、ならびにy画像2、3、4、6、および8では「オン」として読み取られた。これにより、xについては(右から左に)グレーコードエンコーディング0010010001が与えられ、yについては(右から左に)0101011100が与えられる。これらのエンコーディングをバイナリエンコーディングに変換するために、キャリブレーション装置210のメモリは、キャリブレーション装置210のプロセッサによって実行されたときに、標準的なグレーコードをバイナリ式(すなわち式6〜15)に対して使用して、グレーコードエンコーディングのバイナリ表現が、xについて0011100001であり、yについて0110010111であると判定することを、キャリブレーション装置210に行わせるソフトウェア命令を記憶している。これは、x座標が255、およびy座標が407に等しいことを示す。
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【数14】
【数15】
【0183】
(キャリブレーションステップ4:キャリブレーション精製)
実際には、キャリブレーション装置210は、2つの(またはさらに4つの)ビームレット間にあることがある。これは、MVディスプレイ装置100上でレンズの焦点が定まりにくいときに、発生する可能性がさらに高く、その場合には、
図21Bの372において、理想的には1つのビームレットだけを「最良の」ビームレットとして見る(または識別する)キャリブレーション装置210が、複数のビームレットを見ることがある。この問題を軽減するために、任意選択で、キャリブレーション手順360の374において「精製」段階が実施される。
【0184】
上述したように、MV画素のロケーション、MV画素ID、およびディスプレイ画素ID(またはビームレットID)が、それぞれ368、370、および372において見いだされた後、キャリブレーション装置210は、どのビームレットが、キャリブレーション装置210の現在のロケーションに最もよく対応しているかを推定するのに十分な情報を有している。推定の精度を検証するため、精製段階374で、キャリブレーション装置210は、ホストコンピュータ182にビームレット座標データ236を送り(
図21Aを参照)、このビームレット座標データ236は、各MV画素102について最良のビームレットの最初の推定に関する情報を含む。次いでホストコンピュータ182は、推定された「最良の」ディスプレイ画素の周りの(推定された「最良の」ディスプレイ画素自体も含めて)9個のディスプレイ画素を1つ1つオンにすることを、MVディスプレイ装置100に行わせるディスプレイパターンデータ228を送信する。
【0185】
図25A〜
図25Iは、本開示の1つ以上の実施形態による精製画像である。
図25A〜
図25Iに含まれる画像のそれぞれは、MV画素102上に1つのビームレット216を示し、そのビームレットが、キャリブレーション装置210によって捕捉される。示されるように、各MV画素102は、そこに含まれる複数のディスプレイ画素215から、複数の(たとえば14×14=196本の)ビームレットを放射する。
【0186】
キャリブレーション装置210は、各MV画素102について、
図25A〜
図25Iに示す9つの精製画像のうち、どれがMV画素102のロケーションにおいて最高の輝度を有するかを判定し、これは、上述したようにMV画素のロケーションおよびMV画素IDを判定する間に判定される。言い換えれば、キャリブレーション装置210は、
図25A〜
図25Iに示す9つのビームレット216のうちどれが最良かを判定する。最良のビームレット216が判定されると、
図21Aに示すように、キャリブレーション装置210は、各MV画素102についてビームレット座標データ236をホストコンピュータ182に送り返して、さらなる処理ができるようにする。上述したように、1つ以上の実施形態では、それぞれのビームレット216は、ディスプレイ画素215のうちの1つに対応し、各ディスプレイ画素215は、複数の(たとえばRGBの)ディスプレイサブ画素126から成る(
図5A〜
図5Cを参照)。図示する実施形態では、各MV画素102は196個(=14×14)のディスプレイ画素215を含み、それぞれが複数のディスプレイサブ画素126から成る。したがって、各MV画素102は、196個のディスプレイ画素215から、それぞれ異なる色/輝度を有する196本のビームレットを196個の異なる方向に放射することができる。
【0187】
精製を行うにも、多くの代替的な方法が存在する。たとえば、上に示した実施形態では、最良と推定されたディスプレイ画素の周りに8個のディスプレイ画素を選択するが、最良と推定されたディスプレイ画素を中心として、9個のディスプレイ画素領域(3×3)の代わりに25個のディスプレイ画素領域(5×5)を使用することもできる。精製工程に必要とされる画像の数を減らすためのエンコーディング方法を使用することもできる。こうした1つのエンコーディングには、各ディスプレイ画素ではなく、それぞれの行および列を順番に示すことが必要である。9個のディスプレイ画素領域(3×3)の場合には、こうしたエンコーディング方法を使用することによって、必要な画像の数が9個から6個に減らされる。この方法は、MV画素のロケーションにおいて、どの行の画像が最も輝度が高く、どの列の画像が最も輝度が高いかを見い出すことになる。この情報に基づき、そのMV画素についてどのディスプレイ画素が最も輝度の高いか(すなわち、最も輝度の高い行および列に位置付けられたディスプレイ画素)を、一意に判定することができる。
【0188】
キャリブレーション手順の後、MVディスプレイシステム122は、どのビームレット216がキャリブレーション装置210のロケーションに対応し、視聴ゾーン座標系のどの座標が、キャリブレーション装置210のロケーションに対応するかがわかる。様々な実施形態では、キャリブレーション装置210を用いて、キャリブレーション空間の周りに広がる多くの異なるロケーション(たとえば最低で約11か所、最大でほぼ50か所)で、キャリブレーション手順(
図21Bの364〜374)が何度も実行されると、数学的モデルの係数および定数を376において推定することができる。様々な実施形態では、これは、すべての視聴ゾーン座標/ビームレットのマッピングを記憶しているホストコンピュータ182上で行われる。集められたマッピングと、多くの不明な係数および定数(たとえば、式1〜5におけるキャリブレーションパラメータ(p
0、p
1、・・・、p
15))を有する、式1〜5によって与えられる関数などの目的関数とを、非線形ソルバに入力することができる。この非線形ソルバは、このデータを使用して、供給されたデータの「最適」になるよう反復的に収束させることを試みる。当業者であれば、本開示に鑑み、非線形ソルバをどのように適用してこのタスクを完了するかを理解するであろう。係数および定数が見いだされると、数学的モデル(この時点では各MV画素102について係数および定数が判定されている)は、入力として視聴ゾーン座標を受け取り、対応するビームレットのIDを返すことができる。様々な実施形態では、このモデルが、MVディスプレイ装置100のディスプレイコントローラ170に送られて、視聴ゾーン座標系の座標をフラットパネルディスプレイ110のビームレット座標系の対応する座標に変換する際に使用される。
【0189】
(修正)
説明したキャリブレーション手順は、時間のかかる手順であり、ノイズの影響を受けやすい可能性がある。たとえば、一実装形態では、2Dカメラに合わせてキャリブレーションするには、キャリブレーション装置210を常に2D平面内に置くことが必要な場合がある(しかし、任意の2D表面を許容するようにシステムを適合させることができるので、これは厳密な要件でなくてもよい)。これらの問題の一部を軽減するために、工程に少しの変更を加えて、結果を改善することができる。
【0190】
たとえば、逆パターンを使用することができる。(上述したようにMV画素IDおよびビームレット(ディスプレイ画素)IDを判定しながら)エンコーディングパターンが捕捉されるとき、このパターンの逆も捕捉することができる。言い換えれば、パターン内でMV画素が「オン」の場合、その画素は逆画像では「オフ」であり、反対も同様である。これにより、MVディスプレイシステム122は、パターンの画像からパターンの逆の画像を取り去って、信号対ノイズ比を倍にすることができるようになる。これは、2つの画像が引き算されると、画像の任意のベースライン輝度(すなわち、MVディスプレイ装置100の表面から反射する光)が取り去られ、MV画素102からの信号だけが残るからである。
【0191】
別の例として、アパーチャ調整を行うことができる。キャリブレーション手順が正常に作用するために、キャリブレーション装置210は、MV画素102が「オン」のときとそれが「オフ」のときとの違いがわかるようになる必要がある。「オフ」は、光が完全になくなる状態ではないことがある(たとえば、バックライトからの光もれによって、MV画素が「オン」に見えることがある)ので、「オフ」のMV画素はオフと読み取られ、「オン」のMV画素はオンと読み取られるように、キャリブレーション装置210は、適切な量の光を取り入れるように調整されてもよい。これを達成するために、MVディスプレイ装置100は、MV画素の半分がオンで、他の半分がオフのパターンを示す。次いでユーザは、オフのMV画素がカメラフィードでオフに見えるようになるまで、カメラのアパーチャリングを調節する。
【0192】
さらに別の例として、キャリブレーションロボットを使用することができる。キャリブレーションの一実装形態では、MVディスプレイ装置100に取り付けられた2Dカメラ104を使用するので、MVディスプレイ装置100のカメラ104に対してキャリブレーション装置210をユーザが移動させる必要なく、カメラ104に合わせてMVディスプレイ装置100をキャリブレーションするのが効率的であり得る。MVディスプレイ装置100は、事前にキャリブレーションされてもよい。キャリブレーションロボットを使用して、これらの問題に対処することができる。ロボットは、MVディスプレイ装置100および/またはキャリブレーション装置210をその中に配置することができるように構成される。次いでロボットは、MVディスプレイ装置100およびキャリブレーション装置210を自動で移動させて、キャリブレーション装置210を配置する所望のロケーションの供給されたリストに基づき、マッピングを捕捉する。ロボットがマッピングの捕捉を終了すると、ロボットは、数学的モデルの係数および定数を算出し、それらを保存してその後の処理に使用することができる。
【0193】
このロボットを構築することができる1つの方法は、MVディスプレイ装置100を静止したままにし、キャリブレーション装置210のカメラを視聴空間において移動してまわることである。これにより、部屋のほとんどを占有しなくてはならなくなる非常に大型のロボットが得られるかもしれない。その代わりに、キャリブレーション装置210のカメラが一定のライン内にとどまるようにロボットを構築することができ、MVディスプレイ装置100は、MVディスプレイ装置100の周りを移動するキャリブレーション装置210のカメラをシミュレートするようにパンおよびチルトする。キャリブレーション装置210のカメラは、なおライン内を前後に移動して、MVディスプレイ装置100の周りで捕捉される点が、半球上ではなく確実に平面上にあるようにしなくてはならない。こうして、ロボットが機能するために必要なアクチュエータの数が減らされる。ロボットを駆動するソフトウェアは、公式を使用して、それに供給された物理的ロケーション(すなわち、MVディスプレイ装置100からのx、y、zのオフセット)を、パン、チルト、および距離の座標に変換してもよい。これにより、キャリブレーションロボットが、点の任意のセットに合わせてMVディスプレイ装置100をキャリブレーションすることができるようになる。
【0194】
キャリブレーション工程の異なる部分に合わせて光が変化することができるように制御された光環境に、ロボットを配置することができる。これにより、チェッカーボードがキャリブレーション装置210上で確実にうまく照射されて(したがって、ディスプレイセンサ226にとって見えやすくして)、測定におけるノイズを低減しやすくすることができる。キャリブレーション装置210がパターンを捕捉したキャリブレーション工程の部分では光をオフにして、MVディスプレイ装置100の反射光を低減することができる。
【0195】
カメラ104が取り付けられた個々のMVディスプレイ装置100について、MVディスプレイ装置100は、それが設置される前に完全にキャリブレーションされていてもよい。これは、比較的小さいMVディスプレイ装置100、およびMV画素のいずれに対しても移動することができないカメラ104の場合、概ね当てはまる。しかし、複数のMVディスプレイ装置100が使用される場合、ディスプレイセンサ104に対するそれぞれのMVディスプレイ装置100の正確なロケーションが、事前に(たとえばMVディスプレイ装置100がともにタイリングされる前には)わからないことがあるので、MVディスプレイ装置100を完全に前もってキャリブレーションするのは困難なことがある。様々な実施形態では、現場でのMVディスプレイ装置100のキャリブレーションを終える前に、ロボットを使用してそれを部分的にキャリブレーションすることができる。キャリブレーションロボットは、MVディスプレイ装置100の内在的な特性を判定し、視野の外在的な特性を判定することができる。たとえば、様々な実施形態では、放射状歪みの係数、およびレンズ中心の定数(すなわち、どのディスプレイ画素にレンズ(レンズ系)が載るか)は、MVディスプレイ装置100がどこに配置されるか、またはディスプレイセンサ104に対してどのように配向されるかに関わらず、変化しないので、キャリブレーションロボットを用いてキャリブレーションされる。次いで、ディスプレイカメラ104に対するレンズ(レンズ系)のロケーションを説明する一次分数の投影方程式が、視野においてキャリブレーションされる。係数および定数の一部は前もってキャリブレーションされるので、残りの係数を判定する際にソルバが有する自由度は一層少なくなる。これにより、視野内で全体のキャリブレーションを行う場合よりも少ないポイントを捕捉すればよいことになる。一次分数の投影方程式の係数が得られると、それらは前もってキャリブレーションされた係数と組み合わされて、数学的モデルで使用する係数の完全なセットを得ることができる。
【0196】
2017年11月10日出願の米国特許出願第15/809,147号の開示は、その全体が本願に組み込まれる。
【0197】
上述した様々な実施形態を組み合わせて、さらなる実施形態を得ることができる。
【0198】
上の詳細な説明に照らして、上記その他の変更を実施形態に加えることができる。全体的に、以下の特許請求の範囲において、使用される用語は、明細書および特許請求の範囲で開示された具体的な実施形態に、特許請求の範囲を限定するとみなされるべきではなく、こうした特許請求の範囲に認められる等価物の全範囲とともに、すべての考えられる実施形態を含むとみなされるべきである。したがって、特許請求の範囲は、本開示によって限定されない。