▶ ウォード，マシュー，イー．の特許一覧 ▶ ホックマン，ジェレミーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-13
(45)【発行日】2023-07-24
(54)【発明の名称】マイクロＬＥＤアレイを搭載したＭＥＭＳ駆動光学パッケージ
(51)【国際特許分類】
G09F 9/00 20060101AFI20230714BHJP
G09F 9/33 20060101ALI20230714BHJP
G02B 30/10 20200101ALI20230714BHJP
【ＦＩ】
G09F9/00 311
G09F9/33
G09F9/00 362
G09F9/00 324
G02B30/10
【請求項の数】
14
(21)【出願番号】P 2021556920
(86)(22)【出願日】2019-06-18
(65)【公表番号】
(43)【公表日】2022-06-08
(86)【国際出願番号】 US2019037598
(87)【国際公開番号】W WO2020190313
(87)【国際公開日】2020-09-24
【審査請求日】2022-06-15
(31)【優先権主張番号】62/821,256
(32)【優先日】2019-03-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521435374
【氏名又は名称】ウォード，マシュー，イー．
【氏名又は名称原語表記】ＷＡＲＤ，Ｍａｔｔｈｅｗ，Ｅ．
【住所又は居所原語表記】６９１０ Ｈｅｙｗａｒｄ Ｓｔ， Ｐｈｉｌａｄｅｌｐｈｉａ， ＰＡ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(73)【特許権者】
【識別番号】521435385
【氏名又は名称】ホックマン，ジェレミー
【氏名又は名称原語表記】ＨＯＣＨＭＡＮ，Ｊｅｒｅｍｙ
【住所又は居所原語表記】Ｗａｌｎｕｔ，ＣＡ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100075557
【弁理士】
【氏名又は名称】西教 圭一郎
(72)【発明者】
【氏名】ウォード，マシュー，イー．
(72)【発明者】
【氏名】ホックマン，ジェレミー
【審査官】小野 博之
(56)【参考文献】
【文献】特表２０１５－５２１２９８（ＪＰ，Ａ）
【文献】特開２００３－２４８４６１（ＪＰ，Ａ）
【文献】特表２０１７－５１５１６２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／００４４００７（ＵＳ，Ａ１）
【文献】特表２０１８－５２８４５２（ＪＰ，Ａ）
【文献】国際公開第２０１８／２１３１０１（ＷＯ，Ａ１）
【文献】国際公開第２０１８／２３６３８７（ＷＯ，Ａ１）
【文献】特開２０１０－１１３１６１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｆ ９／００－９／４６
Ｈ０１Ｌ ３３／００－３３／６４
Ｇ０２Ｂ ２７／００－３０／６０
(57)【特許請求の範囲】
【請求項1】
光学レンズと、移動可能なステージに搭載されたＬＥＤのアレイであって、ＬＥＤが光学レンズを通して光を投射するＬＥＤのアレイと、
前記ステージの移動に伴って、前記光学レンズを通過する光が変化するように、前記ステージの移動を制御するドライバとを含み、
前記ステージは前記光学レンズの入射面に平行に移動し、前記ステージの移動によって前記ＬＥＤのアレイが移動し、
前記ＬＥＤのアレイのうちの少なくともいくつかのＬＥＤは、異なる光波を出射し、
前記光学レンズは、該光学レンズを通って投影される前記異なる光波を、複数の角度で出射して光多重化を達成するように曲げ、
前記複数の角度の異なる複数のビューアが異なる光波を受け取るように、前記ステージの移動によって前記ＬＥＤのアレイが移動することを特徴とする光多重化パッケージ。
【請求項2】
前記ステージがリニアコームベースのデバイスであることを特徴とする請求項１に記載の光多重化パッケージ。
【請求項3】
前記ＬＥＤは、互いに６０ミクロン以下の間隔で配設されたマイクロＬＥＤであることを特徴とする請求項１に記載の光多重化パッケージ。
【請求項4】
前記ステージが前後左右に直線的に移動することを特徴とする請求項１に記載の光多重化パッケージ。
【請求項5】
前記ステージは、その中心軸の周りに回転可能であることを特徴とする請求項１に記載の光多重化パッケージ。
【請求項6】
前記ＬＥＤのステージは、前記ドライバから個々の赤、緑、および青のＬＥＤまでの必要な接続の数を減らすＬＥＤドライバ回路を含むことを特徴とする請求項１の光多重化パッケージ。
【請求項7】
ＬＥＤが結合してピクセルを形成し、隣接するピクセルが同じ色のＬＥＤを共有することを特徴とする請求項１の光多重化パッケージ。
【請求項8】
前記ＬＥＤと前記光学レンズの間で光が反転することを特徴とする請求項１に記載の光多重化パッケージ。
【請求項9】
ライトフィールドディスプレイに使用されることを特徴とする請求項１に記載の光多重化パッケージ。
【請求項10】
ディスプレイが複数の光多重化パッケージを含むことを特徴とする請求項１に記載の光多重化パッケージ。
【請求項11】
前記ステージの移動によって複数の光路が形成され、ビューアは複数の光路で異なる画像を認識することを特徴とする請求項１に記載の光多重化パッケージ。
【請求項12】
異なる画像が単一の３次元画像としてビューアに表示されることを特徴とする請求項１１に記載の光多重化パッケージ。
【請求項13】
前記ＬＥＤのアレイがＣＭＯＳ ＭＥＭＳデバイスに直接搭載されていることを特徴とする請求項１に記載の光多重化パッケージ。
【請求項14】
ＬＥＤを含む較正システムであって、ＬＥＤがセンサと通信し、ステージの相対的な位置を決定して、ＬＥＤアレイの位置を決定する較正システムを含むことを特徴とする請求項１に記載の光多重化パッケージ。
【発明の詳細な説明】
【背景技術】
【0001】
没入型体験の未来像は、環境イメージ、刹那的なインジケータ、ピクセルの光電システムを含む技術の積み重ねの上に構築されたオンデマンドコンテンツを中心に展開されている。メニューが壁に浮かび上がったり、看板がビルの側面に浮かび上がったりするためには、画像が様々な角度からのビューアに対応していなければならない。ホログラフィック環境シミュレータ（ホロデッキ）を作製したり、光のアーキテクチャを実現するためには、ユーザは、３Ｄとして認識されるコンテンツを提供するディスプレイシステムであって、ディスプレイに対して様々な位置にわたって存在するビューアに対して、実際の視差、輻輳、融通性を提供するディスプレイシステムが必要となる。このようなシステムは、ビューアが眼鏡をかけているかどうかに関わらず、このようなことをなすことができるものでなければならない。また、従来の３Ｄシステムでは限界がある故に、ビューアは、それぞれ微妙に異なる位置にある物体を認識してしまうという、バレルローテーションがあるが、このようなバレルローテーションを起こさずに、室内の任意の位置からこれを実現しなければならない。
【0002】
任意の表面に亘ったライトフィールドディスプレイを商業的に拡張可能な方法で効果的に管理し、他の視野角の効果的な消光またはゴーストを実現するスクリーンは現在のところまだない。
【0003】
小型のディスプレイに使用される液晶表示装置派生品およびディスプレイが現在市場に出回っているが、これらは視差バリアシステムを使用して、投射光源または直視光源を用いて複数の角度の光を届けている。
【0004】
フィリップス（Ｒ）の３Ｄ液晶システムでは、ビューアが特定の視点から３Ｄ画像を見ることが可能であるように、液晶ディスプレイの表面を規定された数のスライスに分割したレンチキュラレンズで画像領域をさいの目に切ることによってこれを処理するが、アイトラッキングなしでは体験を共有する機会はほとんどなく、画像領域を垂直にスライスする必要があるため、体験は常に制限されている。
【0005】
Ｌｅｉａ（Ｒ）のディスプレイは、任天堂（Ｒ）がニンテンドー３ＤＳ（Ｒ）で配信したディスプレイといくつかの特徴を共有している。このディスプレイは、ディスプレイの右目および左目を持つ一人のユーザを中心に最適化されている。
【0006】
様々な大型モジュールが検討されており、フィリップスの３Ｄシステムと変わらない方法で既存のディスプレイを扱う複雑な視差バリアシステムもある。
【0007】
これらの単体システムは、いずれもルームスケールの没入型環境への拡張性に問題がある。また、これらのシステムにはベゼルがあることが多く、これが、最終製品において、管理または許容しなければならない継ぎ目を有する完成したディスプレイを台無しにすることになる。これらのシステムは個人のビューアを対象としており、スマートフォンの市場は巨大であるので、このことは商業的にも意味がある。
【0008】
しかし、そのことは、これらのシステムのいずれもが、アプリケーションを迅速に開始して、既存の機械システムを活用するために柔軟なモジュール式アプローチが必要となる、大規模なパブリックディスプレイアプリケーションにおける使用には適していないということを意味している。
【0009】
一つの解決策は、多種多様な製品を可能にするために、ＰＬＣＣ ＳＭＤ（プラスチックリードチップキャリア表面実装部品）パッケージを採用したＬＥＤシステム上のコンポーネントをモデル化することである。しかし、ビューアが、画面に対する相対的な位置に基づいて、特定の時間に、サブピクセルの特定のセットを見ることだけを意図している大規模なＬＥＤのアレイを使用することには問題がある。
【0010】
第一に、各サブピクセルの完全なコンポーネントに対する相対的な表面積は、アクティブエリアを非常に小さくする。現在のＬＥＤ市場では、２ｍｍのピクセルピッチの画面に含まれる発光素子は、ピクセルの総表面積の数パーセントにも満たないかもしれない。同じスペースに数百のピクセルを詰め込んでいるライトフィールドディスプレイでは、認識される画面の明るさを維持するために必要なピクセルの出力が、飛躍的に増加し、場合によっては無駄に増加する。
【0011】
第二に、各ビューアが自分に意図されたライトフィールドサブピクセルのみを見るように光出力を制御するためのマスクが必要である。このマスクは、実質的なｏｆｆ軸表示の問題を持つピクセルを作り、隣接するライトフィールドサブピクセルの不完全な消滅による視覚的なアーチファクトを作る可能性が高い。
【0012】
第三に、各ライトフィールドサブピクセルのデューティサイクルは、ＬＥＤパッケージ全体の数に比べて小さい。レイアウトを簡素化し、コストを削減する１／３のＬＥＤダイを使用するために、多重化を用いることが可能である。また、システムの目的に応じて、１／５または１／８のＬＥＤ材料を使用することも可能である。
【0013】
他にも問題はあるが、ダイの数と消滅率の問題が重要である。ユーザが自分に向けた画像を見ることができるだけでなく、他の人に向けた画像のゴーストも見えてしまうようでは（消滅率）、技術は成功しないであろう。
【発明の概要】
【0014】
提案されている解決手段は、全ライトフィールドサブピクセル空間の１／３～１／４の数のＬＥＤを使用し、ＬＥＤが搭載されているプラットフォームを移動させることによって、各ライトフィールドサブピクセルが所望の角度からのみ見えるようにＬＥＤの出力を効果的に管理することができ、このようなプラットフォームの移動は、本明細書では光多重化と呼ばれるシステム／方法を使用している。
【0015】
光多重化は、使用するＬＥＤの数は少ないが、コンテンツに応じた処理で駆動される方法で光の分布を制御する。このようなシステムは、シーン内の動きのリフレッシュレートを向上させたり、色のコントラストが低い場合に色空間を拡大したり、異なる波長のＬＥＤを追加使用することで色の可能性を広げることが可能である。
【0016】
大規模なライトフィールドシステムは、映画制作においてカメラで使用することができ、俳優がグリーンスクリーンの背景で撮影されている間に、次元の高いコンピュータグラフィックス要素を俳優に見せることが可能である。実際には、カメラトラッキングと、メディアサーバとの統合とを通して、カメラだけがグリーンスクリーンを見るように画像を作成することが可能である。
【0017】
また、この技術の小型版は、住宅およびエレベータ、自動車の表示器にも応用されることが可能であろう。実際、自律走行車が道路を走り始めれば、自動車からの指示が明らかにより重要になる。
【図面の簡単な説明】
【0018】
【図1】スマートフォンのカメラモジュールである。
【図2】ＰＬＣＣ６のＬＥＤパッケージを示す。
【図3A】短距離ライトフィールドパッケージの立面図である。
【図3B】パッケージで使用可能なレンズを通る光路の説明図である。
【図4】光多重化の一例を示す図である。
【図5】光多重化の別の図である。
【図6】コンポーネントを介した信号の流れを示している。
【図7】短距離ライトフィールドパッケージを示す。
【図8】マイクロＬＥＤアレイを露出させるために切り取った短距離ライトフィールドピクセルを示している。
【図9】ＲＧＢ ＬＥＤとピクセルをクローズアップした長距離ライトフィールド（長距離光照射野）パッケージの立面図である。
【図10】長距離ライトフィールドパッケージの説明図である。
【図11】長距離ライトフィールドパッケージの分解斜視図である。
【図12】ツイストライトフィールドパッケージの立面図である。
【図13】ツイストライトフィールドパッケージを示す図である。
【図14】ツイストライトフィールドパッケージの分解斜視図である。
【図15】ツイストライトフィールドパッケージＬＥＤアレイの分解斜視図の詳細図である。
【図16】ライトフィールドディスプレイモジュールを示す。
【図17】ライトフィールドパネルを示す図である。
【図18】ライトフィールドディスプレイウォールを示す図である。
【図19】ライトフィールドディスプレイのアプリケーションを概念自動車で示したものである。
【図20】ライトフィールドディスプレイのアプリケーションを第１ビューにおける自動車で示したものである。
【図21】ライトフィールドディスプレイのアプリケーションを第２ビューにおける自動車で示したものである。
【図22】ライトフィールドディスプレイのアプリケーションを第３ビューにおける自動車で示したものである。
【図23】自動車業界でのアプリケーションを示す図である。
【図24】２つの視点を示す、自動車分野でのアプリケーションを示したものである。
【図25】２つの視点を示す、車両の代替図である。
【図26】自動車のアプリケーションにおける通知を示している。
【図27】システムの較正を示している。
【図28】座席による較正を示している。
【発明を実施するための形態】
【0019】
ハードウェアの検討事項
【0020】
ディスプレイは、本明細書で提示されるような、ＬＥＤで構成されたピクセルを含むパッケージを含む。本明細書で議論されている提案されたアプリケーションは、交互に起動可能なＬＥＤの移動アレイ／テーブル／ステージを使用し、各ＬＥＤが異なるビューアに見えるようにして、光多重化と呼ばれる方法を使用して３Ｄ画像を作成する。
【0021】
パッケージコンポーネントのモジュール性は、エンターテインメントの消費から、自律走行車が、明確かつ侵襲的でない方法で何をしようとしているのかをシステムが歩行者に伝えることが可能である物質界のためのバーチャルセットでのコンテンツの作成までさまざまな特徴と機能とを提供するために使用可能である精密な画像生成ツールを提供する。
【0022】
システムのモジュール性は、既存の表面実装生産およびプリント配線基板（ＰＣＢ）トポロジーと統合しながら、様々な形態にわたってこれらの多様なアプリケーションを作成することを可能にする。
【0023】
ドライバシステムは、発光ダイオードのアレイの典型的な方法で映像を駆動すると同時に、微小電気機械システム（（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ（ＭＥＭＳ））ステージの位置とＬＥＤダイのパターンとライトフィールドＬＥＤの照明とが映像コンテンツの出力と同期するように、ＭＥＭＳシステムの動きを制御することが可能である。これは、パターンの移動－瞬き－移動－瞬き－移動－瞬きの繰り返しと考えることができる。
【0024】
ドライバシステムは、ＭＥＭＳデバイスの公差およびＬＥＤダイの配置を調整するための較正も必要になる場合がある。これは、ＭＥＭＳステージ上に１つまたは複数のＩＲ（赤外線）ＬＥＤを配置することを含む多くの方法で達成することができ、このＩＲ ＬＥＤは、システムの較正および位置合わせの目的でゼロ点に対するステージの位置決めに使用することが可能である。このＩＲエミッタは、光学系を基準とした位置にあるセンサで読み取ることが可能である。このようにして、ＩＲ ＬＥＤとマイクロＬＥＤのアレイとの位置の違いを明確にし、システムの駆動に利用することができる。
【0025】
ＭＥＭＳステージ上に配設され得る基板上へのＬＥＤダイの移動は、別の開示で検討する価値のある製造プロセスのステップであり得る。ＬＥＤの配置には、ライトフィールドピクセルアセンブリ間のばらつきが合理的な許容範囲内に収まるような精度が求められる場合がある。
【0026】
一部のドライバシリコンは、ＭＥＭｓステージと駆動システムの間の接続数を最小限にするために、ＭＥＭｓステージ上に配設することも可能である。
【0027】
ＭＥＭＳ部自体は、コームドライブ、磁気または熱アクチュエータ、圧電または他のシステムであってもよい。システムの選択は、デバイスの規模と、ディスプレイアプリケーション側で要求される速度および精度、ならびにデバイス側での耐久性によって決定される。ＣＭＯＳ互換システムであれば、ＭＥＭＳ、ＭＥＭＳステージ、基板、表示システムの信号レイアウトなどを１つのコンポーネントに統合し得る。
【0028】
ディスプレイのマイクロＬＥＤ部分は、いくつかの方法で構築することが可能である。１つの方法は、ＭＥＭＳプラットフォーム自体にドライバ電子機器を構成することである。これには、ＣＭＯＳ製造プロセスの一部として、ＭＥＭＳステージ上に直接パッシブ・マトリクス・バックプレーンをパターニングすることが含まれる。これにより、ゲートドライバおよびカラムドライバがマイクロＬＥＤ基板上に直接配設されるＴＦＴバックプレーンが可能になる。
【0029】
さらに、ディスプレイコンポーネントの製造には、マイクロＬＥＤに限らず、様々な選択肢がある。ＯＬＥＤ（有機ＬＥＤ）または他のディスプレイを使用することが可能である。ディスプレイは、アクティブバックライトによって駆動される非常に小さなマイクロディスプレイであってもよい。
【0030】
マイクロＬＥＤでは、従来の赤・緑・青のアプローチと、蛍光体、量子ドット、または他の変換材料を用いた色変換アプローチが主流である。
【0031】
ＭＥＭｓステージは直線的に前後に移動してもよいが、ＭＥＭｓの走査がライトフィールドピクセルからライトフィールドピクセルまで同じようには起こらないことも十分に考えられる。
【0032】
ピクセル１は、Ｃ，Ａ，Ｄ，Ｂ，Ｆ，Ｃ，Ａ，Ｄ，Ｂ，Ｆ，Ｃ，Ａ，Ｄ，Ｂ…のパターンでＬＥＤＳを走査してよい。
【0033】
ピクセル２は、Ｄ，Ｂ，Ｆ，Ｃ，Ａ，Ｄ，Ｂ，Ｆ，Ｃ，Ａ，Ｄ，Ｂ，Ｆ，Ｃ…のパターンでＬＥＤＳを走査してよい。
【0034】
ピクセル３は、Ａ，Ｄ，Ｂ，Ｆ，Ｃ，Ａ，Ｄ，Ｂ，Ｆ，Ｃ，Ａ，Ｄ，Ｂ，Ｆ…のパターンでＬＥＤＳを走査してよい。
【0035】
走査順を変化させることで、ライトフィールドピクセル間のノイズおよびクロストークを低減することが可能である。これは、走査順が画面全体に非秩序に分布することを保証するシステムの疑似ランダムパターニングによって達成され得る。また、低い走査周波数を採用した場合に、知覚可能である走査順をなくすために、走査順内のＬＥＤの照明を変化させることが必要な場合もある。
【0036】
レンズスタックは、光源のフォーカスを調整するためにも使用可能である。光源の上方にある光学素子は、カメラモジュールの光学系のようにばねで所定の位置に固定されている。必要に応じて、アクチュエータが光学層を光源に対して移動させて、ピクセルの焦点を一瞬だけ外すことが可能である。これにより、ディレクターがライトフィールドベースのディスプレイに映画的な要素を導入することが可能になる。このレンズスタックは、従来のレンズでも、液晶やその他の可変レンズ構造でもよい。
【0037】
オプティカルチェーンの１つの可能な実装は、コンテンツを反転して表示し、ディスプレイの光学系で画像を反転させることが可能である。このアプローチは、クロストークの低減に役立ち得る。
【0038】
完全なシステムは、可撓性を有するまたは可撓性を有しない基板に載置された光多重化パッケージ（ＯＭＰ）のアレイを含むことが可能である。基板は、物理的な表面に取り付けられ、先行するＬＦモジュールに接続されるか、全体のデータのサブセットを取得してＬＦモジュールのセットに分配するシステムのハブとして機能する基板に接続される。
【0039】
リアルタイムレンダリングの必要性は、レンダリングをモジュールに近づけることに利点があることを意味する。一連のモジュールは、何百万ものピクセルをリアルタイムでレンダリングして表示することができる１つまたは複数のレンダリングデバイスを組み込み得る。このようなコンテンツは、レンダリングされたファイルとして保存されるのではなく、ＵｎｒｅａｌまたはＵｎｉｔｙなどのゲームエンジンによってリアルタイムにレンダリングされる。従来のカメラキャプチャーは、このようなシステムの一部であり得るが、ファイルはシーンのビジュアルコンポーネントが分離された形で保存され、モデル、テクスチャマップ、イルミネーションはすべてシグナルチェーン内の個別のリアルタイム要素であり、その時点での観客に合わせて調整することが可能である。
【0040】
ディスプレイを駆動するように構成されてなる処理システムでは、ＯＭＰと特定の環境の両方に対する較正の要素が必要となる場合がある。ロボットアーム上のステレオセンサシステムを含む局所的な較正のためのシステムは、特定の環境のために必要となり得る。
【0041】
レンダリングはすべてリアルタイムで行われるので、データは１つの椅子に対して完全に最適化することが可能である。このようにして、ディスプレイ全体が動的に駆動され、人間の視覚のプロセスにより合わせた方法で、色、動き、グレースケール、その他の詳細を提供することが可能である。
【0042】
コンポーネントの背景
【0043】
図１は、後に状況に応じて有用であり得るコンポーネントを導入することによってここに含まれているが、光学部品と、ＭＥＭＳアクチュエータと、処理回路およびドライバ回路とを組み込み得る高度に集積化されたコンポーネントを含む最近のスマートフォンのカメラモジュール１０１を示している。このシステムは、１～２ミクロンのピクセルでレンズのフォーカスを追跡するのに十分な精度を持っている。このシステムは、主要な部品を含む缶１０２と、それらの部品をフレキシブルプリント回路基板（ＦＰＣＢ）１０３に取り付けるための手段と、システムの主要な可視要素である光学部品１０４とを外部に備えている。
【0044】
図２は、表面実装互換パッケージを中心に構築された現代のＬＥＤスクリーンによって使用され得るＰＬＣＣ６ＬＥＤパッケージ２０１を示している。パッケージ２０１は、ハウジング２０２と、ＰＣＢ２０３に取り付けるためのポイントとを備え、次に発光ダイオード（ＬＥＤ）を収容するウェル２０５を備える。ＰＬＣＣ６パッケージのＬＥＤダイは、２００～５００ミクロンの範囲であってよい。しかし、新しい技術では、３０～５０ミクロンの範囲のＬＥＤが提供されている。花粉の粒のような大きさのＬＥＤは、新しいデザインや市場の可能性を広げてくれる。
【0045】
スクリーンは種々の市場ニーズに対応するために様々なボードサイズがあり得、より高い解像度のスクリーンはより高密度に詰められたＬＥＤを必要とするので、ＰＬＣＣパッケージデザイン２０１は有用であり得る。クリエイティブなディスプレイには、ＬＥＤのリニアアレイが必要な場合がある。この、任意の寸法の大画面を構築するためのモジュラーアプローチは、チップオンボード技術を使用し、および／またはマイクロＬＥＤおよびミニＬＥＤを組み込むさまざまなデザインに取って代わられている。しかしながら、モジュラーアプローチは非常に柔軟性に富んでいる。
【0046】
ＰＬＣＣパッケージが有用である理由は、ライトフィールドディスプレイにも当てはまり得る。大型の劇場用ディスプレイは、ライトフィールドディスプレイにおいて必要とされる、１つのシーンの数１００または１０００近くの異なるビューを規定するＬＥＤの大規模アレイを備えたＰＬＣＣタイプのパッケージで簡単に構成することが可能である。そして、隣接するライトフィールドＬＣＤ間のクロストークを含め、そのレイアウトには膨大な非効率性があり、これに対処する必要がある。
【0047】
このような理由から、カメラモジュールのいくつかの要素を利用し、マイクロＬＥＤアレイをＭＥＭＳ駆動光学パッケージに移植して、光多重化パッケージ（ＯＭＰ）を作成するハイブリッドソリューションを提案する。
【0048】
説明
【0049】
図３Ａは、ＯＭＰ３０１が、光出力３０２、光学フィルタ３０３、およびリニアコームベースのＭＥＭＳデバイス３０５に取り付けられたステージ３０４ａ上に配列されたマイクロＬＥＤのアレイ３０４を含むコンポーネントである実施形態を示しており、リニアコームベースのＭＥＭＳデバイス３０５は、ステージ３０４ａが左右に移動し、Ａ列３１１とＣ列３１２とを、光学システムが異なる対応する信号を出力するための正しい位置に配設するために、システムは、Ｂ列３１０からどちらかの方向に６０ミクロン以下（６０ミクロンは各ＬＥＤ間の１つの可能な距離）だけ移動する必要があるように、対応する各単列のＬＥＤが、ステージ３０４ａと共に、いずれかの方向に移動するように、分散されている。また、複数のＬＥＤ（Ａ，Ｂ，Ｃ）がピクセル３１４を含み、結びついて異なる色を表示することが可能であることも評価されるべきである。このＭＥＭＳデバイス３０５とステージ３０４ａの動きとは、パッケージ３０１に内蔵されたドライバ３０６によって調整され得る。
【0050】
ＬＥＤステージ３０４ａは、プライマリドライバから個々の赤、緑、および青のＬＥＤまでの必要な接続の数を減らすＬＥＤドライバ回路を含んでよい。理論的には、システムは、ＭＥＭｓステージにさらに２列の移動を追加することによって、色スペクトルを拡大するために、白色ＬＥＤ、またはＲＧＢではない追加のＬＥＤを追加することが可能である。
【0051】
ＭＥＭｓステージ３０４ａのプログラミングは、ＲＧＢピクセルへの主たる駆動を残して、必要に応じて白またはシアン（例）を使用可能であるように、各補助画像要素のデューティサイクルを制御することも可能である。
【0052】
パッケージ３０１は、システム全体にわたる、およびステージとＬＥＤ３０４の照明との間にあるクロックを維持することに加えて、ステージ３０４ａおよび任意のアクティブな光学素子の動きを制御するために、ドライバ３０６を統合してもよい。
【0053】
図３Ｂは、ビューア１０７ａ，１０７ｂに向かう途中で反転される（ただし、これは必須ではない）光３０７ａ，３０７ｂを投影するステージ／ＬＥＤ３０４ａ，３０４のモックアップを示す。この反転は、ビューアがステージ／ＬＥＤアレイの異なるまたは限定された部分を見る可能性があり、光路のクロスオーバーは、パッケージ内に含まれる隣接するライトフィールドピクセル間のクロストークを低減するのに役立つ可能性があるからである。この図から理解されるべきことは、レンズ３０２は光３０７ａ，３０７ｂを曲げるように作用し、ビューアは極端な視野角で示されているが、単一のビューアの２つの目は異なる光波を受け取り、そうすることで、３次元でオブジェクトをレンダリングするパッケージまたはパッケージのアレイからの出力を受け取ることが可能であるということである。他の視差レンズやレンチキュラレンズでも、同様の効果を得ることが可能である。いくつかの実施形態では、ＭＥＭは、湾曲した入力光学系の背面を横切って（across）通過する一連のワイパーブレードに類似し得る。
【0054】
図４は、レンズアレイ３４０とミニＬＥＤアレイ３４１とを５つの時点で示したものである。第１の位置３５０から第５の位置３５４まで移動する。これは、ミニＬＥＤアレイが、ＬＥＤの１つの列から隣接する列に移動することがないように図示されている。つまり、位置Ｃの３５０から位置Ａの３５１、位置Ｄの３５２、位置Ｂの３５３、位置Ｅの３５４へと移動していく。ディスプレイは、直線状に走査可能であるが、これはビジュアルアーチファクトを作成することを可能にする。
【0055】
図５は、レンズアレイ３４０およびミニＬＥＤアレイ３４１を示しており、システム内のすべてのアクティブな位置を示すゴーストされた／ライトアップされた位置とともに、アクティブなＬＥＤおよびピクセル３１４（ここで、ピクセルは再び複数のＬＥＤ３１４である）の位置を示して、図解されている。この時点で、この図はそれらの位置にピクセルの２つの列を含んでいるので、位置Ｅ３５４および位置Ａ３５１が２つのアクティブなピクセル列を示していることが分かる。
【0056】
図６は、より大きなシステムの１つの小さな部分である単一のライトフィールドパッケージ３７３を示す。信号は、すべてのピクセルおよび／またはＬＥＤの位置のマップを含むディスプレイプロセッサ３７０に由来する。このマップはデータを出力し、そのデータは、画面のその部分のローカルデータを抽出する受信カード３７１にヒットする。このデータは、レシーバカード３７１とＬＥＤパネルを統合するハブ３７２を介して出力される。ハブ３７２の出力は、パネル内の多くのＬＥＤモジュールにヒットする可能性がある。パネル内では、データはしばしばライトフィールドパッケージからライトフィールドパッケージへとカスケードする。各ライトフィールドパッケージ３７３は、ＭＥＭＳステージ３８０およびＩＲ ＬＥＤ３９１とともに、ＬＥＤドライバ３７５にローカルデータを供給するドライバ３７４を含んでいてもよい。
【0057】
図７は、ＰＬＣＣ６パッケージ３０１の多くの要素を共有し、標準的なピックアンドプレース装置で使用可能なパッケージ４０１を示す。このライトフィールドパッケージ４０１は、多くの場合において所望され得るので、これを線形分布に最適化することが可能であるが、おおむねランバートン様式で出力を分配するように設計された光学系４１０を含む。光源の出力をコリメートするか、マスクとして機能する２次光学系４１１があってもよい。
【0058】
ライトフィールドパッケージ４０１の電気的機能は、統合ドライバ４２２によって制御されるＭＥＭｓアクチュエータ４２１によって直線経路に沿って駆動されるステージ４２０ａ上の発光体４２０の配置によって定義されてもよい。ライトフィールドパッケージ４０１は、表面実装互換性導体アレイを用いて接続されてもよい。
【0059】
図８は、マイクロＬＥＤアレイ５２０を保持するステージ５１９を有する露出したマイクロＬＥＤアレイ５０１を有する短距離ライトフィールドパッケージを示している。ＬＥＤの配置は線形とするか、または、ＬＥＤ（可能な色を示すためにＲ、Ｇ、Ｂとラベル付けされている）もしくは別の光源を、赤色ＬＥＤ５３２がいくつかの隣接するピクセル５３１の一部であることを可能にするトライアド配置５３０で配置することが可能である。
【0060】
図９は、代替の実施形態が、静的光学系６３０の背面を横切って、光源６２０のよりコンパクトなアレイを移動させるために、より小さなステージ６１９を使用するパッケージ６０１を提供する、長距離ライトフィールドパッケージの立面図を示す。これは、この発光アレイのためにより小さな基板の使用を可能にする生産上の利点を有し得るので、より多くの光多重化が可能である場合には、より望ましい可能性がある。この長距離パッケージ６０１を短距離パッケージ４０１と比較すると、ステージの大きさが異なり、ＬＥＤの間隔も異なるため、それぞれのステージの移動量が多くなったり少なくなったりすることが理解できる。
【0061】
図１０および図１１に示すように、より長距離を使用するシステムは、必要な場所にのみインクを塗布するプリントヘッドのように、使用状況に応じて動的にピクセルをアドレス指定することが可能であり得る。水平方向に５４個のピクセルを示すシステムでは、ＭＥＭＳステージは、中央またはデフォルトの位置の両側に２ミリ強、または１ミリ強の移動が必要となる。
【0062】
図１１に見られるように、長距離システム８０１は、ステージ８２０ａをデフォルト位置に迅速に戻すために、ばね８０２または複数のばねの効果に、より依存してもよい。
【0063】
図１２～図１５は、回転ステージ９０２を使用してＬＥＤパッケージを中心軸の周りに移動させるツイストライトピクセルの代替実施形態を示す。これは、光学的にはより複雑になり得るが、この設計は、赤、緑、青、シアン、オレンジ、および白のディスクリートマイクロＬＥＤを使用して、拡張されたダイナミックレンジを有する仮想ピクセルを作成するための様々なオプションを提供することが可能である。
【0064】
図１３に見られるように、ツイストシステム１００２のＭＥＭＳステージ９０２は、光学システムの背後にあるＬＥＤステージを回転させるヒンジ上でシフトする３つのポスト１００３によって駆動される。回転ステージの１つの懸念として、ステージの中心にあるＬＥＤが、ステージの外側にあるＬＥＤよりも小さい表示領域をカバーすることになり、異なるデューティサイクルで動作することを意味するが、これはドライバによって補償することが可能である。
【0065】
図１４は、システムが、赤、緑、および青のＬＥＤのグループ化、または密集したＬＥＤアレイに図示されているような様々な色のディスクリートＬＥＤのシステムを使用し得ることを示している。このアレイは、赤、緑、青のＬＥＤが１つの視野角に関連する特定の光学部品を通過するように、様々な異なる位置に構成することが可能である。また、色のスペクトルを広げるために、ＬＥＤを追加することも可能である。
【0066】
図１５に見られるように、ＬＥＤのアレイ１２０２は、ステージ１２０３および光学部品１２０４から分離して見ることができる。
【0067】
図１６は、ライトフィールドピクセルディスプレイモジュールを示しており、このモジュールでは、アセンブリ１３０１が、ＬＥＤパッケージ１３０３が搭載されているＰＣＢ１３０２の周りに構築されている。しかし、この設計では、ＬＥＤパッケージは、ライトフィールドディスプレイパッケージである。この図は、それぞれが２５６の視点または約６５，０００のライトフィールドサブピクセルを表す１６×１６ピクセルアレイを示している。
【0068】
図１７に示すように、現在ＬＥＤディスプレイで使用されている機械的システムは、ライトフィールドディスプレイでの使用に容易に適合させることが可能である。ここでは、１６個のライトフィールドディスプレイモジュール１４１０を含むパネル１４０１が、このパネル１４０１だけで１００万ピクセルを含むので使用される可能性のある、小型のローカライズされたコンテンツサーバ１４６１に加えて、電源１４６２およびデータ分配１４６０を収容するフレーム１４１１に搭載されている。
【0069】
図１８は、壁１５０１が単一の連続した画像を提供するようにパネルを配列することが可能であるライトフィールドピクセルディスプレイウォールを示す。現在のＬＥＤウォールでは、これらは主に２Ｄ画像である。対照的に、ライトフィールドディスプレイは、眼鏡を使用せずに様々な視点から３次元画像を提供することが可能である。このディスプレイシステムは、従来のフラットなスクリーンで使用しても、ドームまたは球体のアプリケーションで使用しても、空間内の位置に応じてすべてのビューアに異なる体験を提供することが可能である。
【0070】
図１９は、自動車１６０２とフラットディスプレイ１６０１の例を用いたアプリケーションを示しており、ライトフィールドピクセルで使用されるＬＥＤアレイに応じて、４８～１８０の異なるビューから自動車を見ることが可能である。ビューの数は、エンジニアリングとコストとの関数であるかもしれないが、１８０以上のディスクリート水平方向ビューを特徴とする大画面が可能であることが理解できる。
【0071】
【0072】
図２０では、ビューアは、壁１７０１からの視点に依存する自動車１７０２の３次元表現を見る。図２１では、ビューアは、壁１８０１からの視点に依存する自動車１８０２の３次元表現を見る。そして、図２２では、ビューアは、２つの異なる視点からスクリーン１９０１上の自動車１９０２を見ている。一方のビューア１９１１は、より近くで左に座っており、他方のビューアは、より後ろで右１９１２に座っているので、画像が、この２人のビューアには、劇場内の任意の場所にいるように、異なって見えることになる。
【0073】
図２３は、インジケータが自動車の表面から浮いているように見える、自動車におけるコンポーネントの１つの可能な用途を示している。ここでは、自動車２００１のテールが、出力部が自動車２００３の後ろに浮かんでいるように見えるように統合されたライトフィールドモジュール２００２と共に示されている。
【0074】
図２４に示すように、自動車のテールは、２つの異なる位置２１０１および２１０２における、ライトフィールドコンポーネントによって生成されたインジケータ画像と共に示されている。
【0075】
また、２つの視点を示す代替図においては、自動車の後部のライトフィールドアレイ２５１０を備えた自動車２５００が示されている。このアレイは、車両の後部２５１１から浮いているように見え得るものであり、自動車が走行速度に達すると、車両２５１２，２５１３の後ろにさらに延び得る。これは、デザイン要素として、または他の車両および歩行者に対するインジケータとして使用することが可能である。
【0076】
図２６は、本明細書のシステムを用いた自動車コンテキストにおける通知を示す。自動車２６００から情報を配信する１つの方法は、テキストである。自動車の後部にライトフィールドアレイ２６１０を有する車両は、車両の自律走行システムが歩行者の存在を感知していることを歩行者が知るように、テキスト２６１１を表示することが可能である。歩行者は、テキスト２６２１が車両の数フィート後ろに浮かんでいると認識し得る。
【0077】
図２７および図２８は、較正技術を示す。図２７に見られるように、ライトフィールドピクセルの内部較正に加えて、劇場２７００に設置されたシステムは、アレイが劇場内の座席図と整列するように較正する必要が起こり得る。これは、上演に応じて座席図２７１０が変化する劇場では特に重要であるかもしれない。この場合、座席には、劇場空間内の座席図のディスプレイを参照するために、座席には、センサを内蔵したり、または必要に応じてセンサを追加することが可能である。
【0078】
図２８に示すように、座席に対するスクリーン２８００の較正、および座席２８１０，２８１１内の個人に対するスクリーン２８００の較正は重要であり得る。これを行うには、座席２８２０，２８３０のセンサを含むシステムは簡単ではあるが、複数の可能性がある。このシステムでは、参照コンテンツ２８４０を使用して、座席２８１０が、ピクセル２８２３によって表示される映像２８２２の正しい部分を見るようにシステムを較正する。座席２８１１については、テストコンテンツ２８３２の同じ点がピクセル２８３３によって表示される。センサ２８３０は、座席２８１１のためのこの較正データを収集し、データをプロセッサに送り返し、そこで必要に応じて調整が行われる。プロセッサには、物理的な空間とデジタルのテストコンテンツを１つのマップに統合した空間のマップが含まれている。そのため、このデジタルマップを調整することで、コンテンツのレンダリングに直ちに影響を与えることが可能である。これは、ライトフィールドピクセルで構成されるシステムのインストールプロセッサの一部となる。
【0079】
技術の応用
【0080】
劇場：ライトフィールドは、一般的な上演および芸術的な上演において、現実的なシーンまたは抽象的なシーンに役者を配置することができ、デザイナーが、物理的なセットが非常に困難であった演劇を上演することを可能にする。
【0081】
映画：理論的には、俳優はレンダリングされたシーンと同じようにすべてを見ることが可能であるので、これは非常に効果的なバーチャルセットになる。また、俳優とカメラが異なるデータを取得可能であるということは、俳優がシーンに必要なコンテンツを見ている間に、２Ｄ仮想背景での撮影をしながらグリーンスクリーンでの撮影を同時に行うことが可能であるということである。これを実現するためには、カメラの周波数に合わせてシステムを動作させる必要があるため、システムは２４ＦＰＳの再生に対応する必要がある。
【0082】
映画館：映画館での体験を向上させるという明らかな利点に加えて、システムは個人に字幕を表示するために使用することができ、隣り合った２人が異なる言語の字幕を見ることが可能である。
【0083】
ライブエンターテインメント：これは、コンサートツアーの一部となり得、現在使用されているビデオ用の重いセットを強化することが可能である。有名な国立公園でアルバムを制作したバンドが、その公園の中に身を置き、デジタルでダイナミックに環境を再照明することが可能である。
【0084】
環境：ライトフィールドピクセルで構成された表面が、物理的な景観要素の背後に位置することが可能である。補助照明と組み合わせることで、島や森の中に局所的な物理空間を出現させることが可能である。クリーブランドの地下にあるフォンデュ・レストランの客がアルプスを眺めているような感覚を味わえるように、空間の窓をライトフィールドピクセルで構成することが可能である。
【0085】
自動車：自動車の表面がより機能的な素材に置き換えられ、自律走行車での運転経験がより一般的になるにつれ、自動運転車が外の世界と効果的にコミュニケーションを取ることが必要になる。歩行者は、運転者と目を合わせることなく理解する必要がある。ダイナミックライトは、自動車の周囲の光の場を変化させることで、そのような相互作用を代替することが可能である。また、自動車の機能に応じたデザインプロファイルを採用することも可能である。昼間はブランドの付いた会社の移動手段として使用される自動車が、夜は光り輝くリムジンにもなり得る。
【0086】
建築：ハイブリッドメッシュシステムは、ディスプレイで生成された近距離光を、スポットライトおよびウォッシュライトからの投射光と統合し、人工的な照明源を作ることで、建物内にダイナミックなラインを作ることが可能である。
【0087】
これらの環境の全てでは、必要なライトフィールドピクセルのみが照射されるように光出力を制御することが可能である。これは、周囲の光量を減らすことによって、これらのアプリケーションのそれぞれに利益をもたらす。
【0088】
図示していない代替実施形態では、白色光フィールドピクセルを有するＯＭＰは、ＬＣＤをバックライトするためにアレイで使用することが可能である。
【0089】
本発明を上記の実施形態を参照して説明してきたが、当業者であれば、特許請求の範囲を逸脱することなく、これに様々な変更または修正を行うことが可能であることを理解するであろう。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】