(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-04
(54)【発明の名称】ディスプレイ上の画像のレンダリング
(51)【国際特許分類】
G09G 5/02 20060101AFI20230627BHJP
G09G 5/00 20060101ALI20230627BHJP
G09G 5/10 20060101ALI20230627BHJP
G09G 3/20 20060101ALI20230627BHJP
【FI】
G09G5/02 B
G09G5/00 550H
G09G5/10 B
G09G5/00 X
G09G3/20 641P
G09G3/20 650M
G09G3/20 641A
G09G3/20 632F
G09G3/20 641H
G09G3/20 641K
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022548629
(86)(22)【出願日】2021-05-09
(85)【翻訳文提出日】2022-10-05
(86)【国際出願番号】 US2021031458
(87)【国際公開番号】W WO2021247199
(87)【国際公開日】2021-12-09
(32)【優先日】2020-06-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】META PLATFORMS TECHNOLOGIES, LLC
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人World IP
(72)【発明者】
【氏名】バレンタイン, ガレス
(72)【発明者】
【氏名】フルニ, クリストフ アントワーヌ
(72)【発明者】
【氏名】ボナー, ジェームズ ロナルド
(72)【発明者】
【氏名】バックリー, エドワード
【テーマコード(参考)】
5C080
5C182
【Fターム(参考)】
5C080AA06
5C080AA07
5C080AA10
5C080BB05
5C080CC03
5C080DD01
5C080DD26
5C080JJ02
5C080JJ05
5C080JJ06
5C080JJ07
5C080KK52
5C182AA02
5C182AA03
5C182AA04
5C182AA31
5C182AB14
5C182AB35
5C182AC03
5C182AC35
5C182AC46
5C182BA03
5C182BA04
5C182BA14
5C182BA46
5C182BA47
5C182BA56
5C182BA75
5C182BC03
5C182BC11
5C182BC22
5C182BC25
5C182BC41
5C182CA01
5C182CA12
5C182CA15
5C182CA16
5C182CA21
5C182CA37
5C182CA42
5C182CB42
5C182CB52
5C182CC24
5C182CC25
5C182CC26
5C182DA05
5C182DA14
5C182DA44
5C182DA53
5C182DA62
5C182DA66
(57)【要約】
一実施形態では、コンピューティングシステムは、ピクセル位置のためのターゲット色および伝搬誤差を受信する(610)ことができる。システムは、受信されたターゲット色および伝搬誤差に基づいて、ピクセル位置のための誤差修正ターゲット色を決定する(629)ことができる。システムは、3次元色空間内の誤差修正ターゲット色の位置に基づいて、3次元色空間内で所定の色のサブセットを識別する(630)ことができる。誤差修正ターゲット色は、所定の色のサブセットの重み付けされた組合せに対応することができる。システムは、所定の色のサブセットおよび所定の色のサブセットに関連付けられたそれぞれの重みに基づいて、ピクセル位置のためのピクセル色を決定する(640)ことができる。システムは、ピクセル色に基づいて、ピクセル位置に関連付けられた発光素子向けの駆動信号を決定する(650)ことができる。システムは、ピクセル位置に関連付けられた発光素子を制御するために、駆動信号を出力する(660)ことができる。
【選択図】
図4
【特許請求の範囲】
【請求項1】
コンピューティングシステムにより、
ピクセル位置のためのターゲット色および伝搬誤差を受信することと、
前記受信されたターゲット色および前記伝搬誤差に基づいて前記ピクセル位置のための誤差修正ターゲット色を決定することと、
3次元色空間内の前記誤差修正ターゲット色の位置に基づいて、前記3次元色空間内で定義された複数の所定の色のサブセットを識別することであって、前記誤差修正ターゲット色が所定の色の前記サブセットの重み付けされた組合せに対応する、複数の所定の色の前記サブセットを識別することと、
所定の色の前記サブセットおよび所定の色の前記サブセットに関連付けられたそれぞれの重みに基づいて、前記ピクセル位置のためのピクセル色を決定することと、
前記ピクセル色に基づいて、前記ピクセル位置に関連付けられた1つまたは複数の発光素子のための1つまたは複数の駆動信号を決定することと、
前記ピクセル位置に関連付けられた前記1つまたは複数の発光素子を制御するために、前記1つまたは複数の駆動信号を出力することと
を含む、方法。
【請求項2】
所定の色の前記サブセットが、各々前記3次元色空間内の所定の色の前記サブセットに関連付けられた4面体の頂点に対応する、請求項1に記載の方法。
【請求項3】
前記誤差修正ターゲット色の前記位置が前記3次元色空間内の3次元色域の包内にあるとの判断に応答して、前記4面体が前記誤差修正ターゲット色の前記位置を囲むとの判断に基づいて、前記3次元色域に関連付けられた複数の4面体から前記4面体を識別すること
をさらに含む、請求項2に記載の方法。
【請求項4】
前記誤差修正ターゲット色が前記3次元色域の包の外にあるとの判断に応答して、前記誤差修正ターゲット色の前記位置から始まり、前記誤差修正ターゲット色と同じ輝度値を有する輝度軸上の点を指す第1の投射線を決定することであって、前記4面体が前記第1の投射線の前記3次元色域の前記包との第1の交点に関連付けられる、前記第1の投射線を決定することと、
前記第1の投射線が前記3次元色域の前記包と交差しないとの判断に応答して、前記誤差修正ターゲット色の前記位置から始まり、前記3次元色域の中心輝度点を指す第2の投射線を決定することであって、前記4面体が前記第2の投射線の前記3次元色域の前記包との第2の交点に関連付けられる、前記第2の投射線を決定することと
をさらに含む、請求項2または請求項3に記載の方法。
【請求項5】
前記4面体の前記頂点に対する前記誤差修正ターゲット色の前記位置のための重心重みを決定することであって、前記ピクセル色が、前記誤差修正ターゲット色の前記位置の最大の重心重みに関連付けられた頂点に基づいて決定される、前記重心重みを決定すること
をさらに含み、
好ましくは、前記ピクセル位置のための前記ピクセル色が、前記3次元色域に関連付けられた前記複数の所定の色の中で前記誤差修正ターゲット色に最も近い色である、
請求項2から4のいずれか一項に記載の方法。
【請求項6】
前記誤差修正ターゲット色と前記ピクセル色との間の差に基づいてディザリング誤差を決定することと、
多原色フロイド-スタインバーグディザリングアルゴリズムを使用して隣接ピクセルに前記ディザリング誤差を伝搬することであって、前記多原色フロイド-スタインバーグディザリングアルゴリズムが前記3次元色域に関する情報にアクセスする、前記隣接ピクセルに前記ディザリング誤差を伝搬することと
をさらに含む。請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記ピクセル位置のための前記ピクセル色の輝度パラメータに基づいて、前記駆動信号用の1つまたは複数のPWM設定パラメータを決定することであって、前記1つまたは複数の発光素子に出力される前記駆動信号が、前記1つまたは複数のPWM設定パラメータを使用して構成される、前記駆動信号用の前記1つまたは複数のPWM設定パラメータを決定すること
をさらに含み、
好ましくは、前記ピクセル位置に関連付けられた前記1つまたは複数の発光素子が、前記ピクセル色および前記輝度パラメータに対応する輝度値を有する光を放射し、前記1つまたは複数の発光素子が、前記1つまたは複数のPWM設定パラメータを使用して構成された前記駆動信号によって制御されるON/OFFモードで動作する、
請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記3次元色空間がL*a*b色空間であり、前記ターゲット色が、三刺激色空間、RGB色空間、HSV色空間、HSL色空間、またはCMYK色空間において定義された色モデルからL*a*b色空間にマッピングされ、前記伝搬誤差が、先行ピクセルを処理するためのディザリングプロセス中に多原色フロイド-スタインバーグディザリングアルゴリズムによって決定される、請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記複数の所定の色の各々が、前記1つまたは複数の発光素子に関連付けられた2つ以上の所定の原色の組合せに対応し、
前記ピクセル色に基づいて前記2つ以上の所定の原色を決定することであって、前記2つ以上の所定の原色の各々が、所定の輝度値に関連付けられる、前記2つ以上の所定の原色を決定すること
をさらに含み、
好ましくは、前記2つ以上の所定の原色が、前記1つまたは複数の発光素子に関連付けられた色シフト曲線に基づいて決定され、
さらに好ましくは、前記1つまたは複数の発光素子が、異なる電流密度を有する信号によって駆動されると、前記色シフト曲線によって特徴付けられた異なる色を有する光を放射する、
請求項1から8のいずれか一項に記載の方法。
【請求項10】
各々の所定の原色が、電流密度と1つまたは複数のPWM設定パラメータの組合せに関連付けられ、
好ましくは、前記電流密度が、その所定の原色の色調を制御し、前記1つまたは複数のPWM設定パラメータが、その所定の原色の明度レベルを制御する、
請求項9に記載の方法。
【請求項11】
前記1つまたは複数の発光素子が、それぞれ、3つのディスプレイパネルに関連付けられた3つの発光素子を備え、前記所定の色の各々が、それぞれ、前記3つのディスプレイパネルの前記3つの発光素子によって生成された3つの所定の原色の組合せに対応する、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記1つまたは複数の発光素子が、それぞれ、2つのディスプレイパネルに関連付けられた2つの発光素子を備え、前記所定の色の各々が、それぞれ、前記2つのディスプレイパネルの前記2つの発光素子によって生成された2つの所定の原色の組合せに関連付けられる、請求項1から11のいずれか一項に記載の方法。
【請求項13】
前記1つまたは複数の発光素子が、単一のディスプレイパネルに関連付けられた単一の発光素子を備え、前記単一の発光素子が、時間内に連続して2つ以上の所定の原色を有する光を放射し、前記複数の所定の色の各々が、時間内に連続して作り出された前記2つ以上の所定の原色の組合せに対応する、請求項1から12のいずれか一項に記載の方法。
【請求項14】
コンピューティングデバイスによって実行されると、
ピクセル位置のためのターゲット色および伝搬誤差を受信することと、
前記受信されたターゲット色および前記伝搬誤差に基づいて前記ピクセル位置のための誤差修正ターゲット色を決定することと、
3次元色空間内の前記誤差修正ターゲット色の位置に基づいて、前記3次元色空間内で定義された複数の所定の色のサブセットを識別することであって、前記誤差修正ターゲット色が所定の色のサブセットの重み付けされた組合せに対応する、複数の所定の色の前記サブセットを識別することと、
所定の色の前記サブセットおよび所定の色の前記サブセットに関連付けられたそれぞれの重みに基づいて、前記ピクセル位置のためのピクセル色を決定することと、
前記ピクセル色に基づいて、前記ピクセル位置に関連付けられた1つまたは複数の発光素子のための1つまたは複数の駆動信号を決定することと、
前記ピクセル位置に関連付けられた前記1つまたは複数の発光素子を制御するために、前記1つまたは複数の駆動信号を出力することと
を前記コンピューティングデバイスに実行させる命令を含む、コンピュータ可読非一時的記憶媒体。
【請求項15】
1つまたは複数のプロセッサと、前記プロセッサによって実行可能な命令を含む前記プロセッサに結合されたメモリとを備えるシステムであって、前記プロセッサが、前記命令を実行すると、
ピクセル位置のためのターゲット色および伝搬誤差を受信することと、
前記受信されたターゲット色および前記伝搬誤差に基づいて前記ピクセル位置のための誤差修正ターゲット色を決定することと、
3次元色空間内の前記誤差修正ターゲット色の位置に基づいて、前記3次元色空間内で定義された複数の所定の色のサブセットを識別することであって、前記誤差修正ターゲット色が所定の色のサブセットの重み付けされた組合せに対応する、複数の所定の色の前記サブセットを識別することと、
所定の色の前記サブセットおよび所定の色の前記サブセットに関連付けられたそれぞれの重みに基づいて、前記ピクセル位置のためのピクセル色を決定することと、
前記ピクセル色に基づいて、前記ピクセル位置に関連付けられた1つまたは複数の発光素子のための1つまたは複数の駆動信号を決定することと、
前記ピクセル位置に関連付けられた前記1つまたは複数の発光素子を制御するために、前記1つまたは複数の駆動信号を出力することと
を行うように動作可能である、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、仮想現実および拡張現実などの人工現実に関する。
【背景技術】
【0002】
人工現実は、たとえば、仮想現実(VR)、拡張現実(AR)、混合現実(MR)、ハイブリッド現実、またはそれらの何らかの組合せおよび/もしくは派生物を含む場合がある、ユーザへの提示の前に何らかの方式で調整されている現実の一形態である。人工現実コンテンツは、完全生成コンテンツまたは取り込まれたコンテンツ(たとえば、実際の写真)と組み合わされた生成コンテンツを含んでもよい。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含んでもよく、それらのいずれかは、単一のチャネルまたは(視聴者への3次元効果を作り出す立体ビデオなどの)複数のチャネルで提示されてもよい。人工現実は、たとえば、人工現実でコンテンツを作成するために使用され、かつ/または人工現実で使用される(たとえば、人工現実内で活動を実行する)アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せと関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、スタンドアロンのHMD、モバイルデバイスもしくはコンピューティングシステム、または1人もしくは複数の視聴者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装されてもよい。
【発明の概要】
【0003】
本明細書に記載される特定の実施形態は、μLEDベースのディスプレイに画像をレンダリングおよび表示するためのシステムおよび方法に関する。従来のLEDベースのディスプレイと異なり、各ピクセルは電流密度に対してあまり変化しない狭帯域の波長(たとえば、赤、青、および緑)で放射し、ここで提示されるディスプレイ技術は、印加された電流に応じて異なる色で発光することができる色シフトμLED(CS-μLED)ピクセルに基づいてもよい。たとえば、CS-μLEDは、III-N材料および関連する合金から構成されてもよく、強磁性結晶成長方向に沿って成長してもよい。合金組成、エピタキシャル層、ドーピング、ならびに他のパラメータ(たとえば、量子井戸および量子障壁の数および厚さ、成長方位、成長条件など)は、特定の色シフト特性に対して最適化されてもよい。特定の実施形態では、CS-μLEDは、III-N LED、GaN LED、InGaN LEDなどと呼ばれる場合がある。CS-μLEDは、異なる電流密度を有する信号によって駆動されると、色度図内の色シフト曲線に従って、赤から緑、次いで青までの範囲の異なる色で発光することができる。その一方で、放射光の明るさは、印加された電流密度に比例して変化する場合がある。異なる色の画像を表示するために、システムは、電流を使用して色を制御し、特定の設定でPWM信号を使用して放射光の明るさを制御することができる。CS-μLEDは、従来のRGB LEDのようにグレイスケールを設けることなく、ON/OFFモードで動作することができる。
【0004】
本開示の第1の態様によれば、コンピューティングシステムにより、ピクセル位置のためのターゲット色および伝搬誤差を受信することと、受信されたターゲット色および伝搬誤差に基づいてピクセル位置のための誤差修正ターゲット色を決定することと、3次元色空間内の誤差修正ターゲット色の位置に基づいて、3次元色空間内で定義された複数の所定の色のサブセットを識別することであって、誤差修正ターゲット色が所定の色のサブセットの重み付けされた組合せに対応する、識別することと、所定の色のサブセットおよび所定の色のサブセットに関連付けられたそれぞれの重みに基づいて、ピクセル位置のためのピクセル色を決定することと、ピクセル色に基づいて、ピクセル位置に関連付けられた1つまたは複数の発光素子のための1つまたは複数の駆動信号を決定することと、ピクセル位置に関連付けられた1つまたは複数の発光素子を制御するために、1つまたは複数の駆動信号を出力することとを含む方法が提供される。
【0005】
所定の色のサブセットは、各々が3次元色空間内の所定の色のサブセットに関連付けられた4面体の頂点に対応することができる。
【0006】
方法は、誤差修正ターゲット色の位置が3次元色空間内の3次元色域の包内にあるとの判断に応答して、4面体が誤差修正ターゲット色の位置を囲むことの判断に基づいて、3次元色域に関連付けられた複数の4面体から4面体を識別することをさらに含んでもよい。
【0007】
方法は、誤差修正ターゲット色が3次元色域の包の外にあるとの判断に応答して、誤差修正ターゲット色の位置から始まり、誤差修正ターゲット色と同じ輝度値を有する輝度軸上の点を指す第1の投射線を決定することであって、4面体が第1の投射線の3次元色域の包との第1の交点に関連付けられる、決定することと、第1の投射線が3次元色域の包と交差しないとの判断に応答して、誤差修正ターゲット色の位置から始まり、3次元色域の中心輝度点を指す第2の投射線を決定することであって、4面体が第2の投射線と3次元色域の包との第2の交点に関連付けられる、決定することとをさらに含んでもよい。
【0008】
方法は、4面体の頂点に対する誤差修正ターゲット色の位置のための重心重みを決定することをさらに含んでもよく、ピクセル色は、誤差修正ターゲット色の位置の最大の重心重みに関連付けられた頂点に基づいて決定される。
【0009】
ピクセル位置のためのピクセル色は、3次元色域に関連付けられた複数の所定の色の中で誤差修正ターゲット色に最も近い色であり得る。
【0010】
方法は、誤差修正ターゲット色とピクセル色との間の差に基づいてディザリング誤差を決定することと、多原色フロイド-スタインバーグディザリングアルゴリズムを使用して隣接ピクセルにディザリング誤差を伝搬することであって、多原色フロイド-スタインバーグディザリングアルゴリズムが3次元色域に関する情報にアクセスする、伝搬することとをさらに含んでもよい。
【0011】
方法は、ピクセル位置のためのピクセル色の輝度パラメータに基づいて、駆動信号用の1つまたは複数のPWM設定パラメータを決定することをさらに含んでもよく、1つまたは複数の発光素子に出力される駆動信号は、1つまたは複数のPWM設定パラメータを使用して構成される。
【0012】
ピクセル位置に関連付けられた1つまたは複数の発光素子は、ピクセル色および輝度パラメータに対応する輝度値を有する光を放射することができる。1つまたは複数の発光素子は、1つまたは複数のPWM設定パラメータを使用して構成された駆動信号によって制御されるON/OFFモードで動作することができる。
【0013】
3次元色空間は、L*a*b色空間であってもよい。ターゲット色は、三刺激色空間、RGB色空間、HSV色空間、HSL色空間、またはCMYK色空間において定義された色モデルからL*a*b色空間にマッピングされてもよい。伝搬誤差は、先行ピクセルを処理するためのディザリングプロセス中に多原色フロイド-スタインバーグディザリングアルゴリズムによって決定されてもよい。
【0014】
複数の所定の色の各々は、1つまたは複数の発光素子に関連付けられた2つ以上の所定の原色の組合せに対応することができる。方法は、ピクセル色に基づいて2つ以上の所定の原色を決定することをさらに含んでもよい。2つ以上の所定の原色の各々は、所定の輝度値に関連付けられてもよい。
【0015】
2つ以上の所定の原色は、1つまたは複数の発光素子に関連付けられた色シフト曲線に基づいて決定されてもよい。
【0016】
1つまたは複数の発光素子は、異なる電流密度を有する信号によって駆動されると、色シフト曲線によって特徴付けられた異なる色を有する光を放射することができる。
【0017】
各々の所定の原色は、電流密度と1つまたは複数のPWM設定パラメータの組合せに関連付けられてもよい。
【0018】
電流密度は、その所定の原色の色調を制御することができる。1つまたは複数のPWM設定パラメータは、その所定の原色の明度レベルを制御することができる。
【0019】
1つまたは複数の発光素子は、それぞれ、3つのディスプレイパネルに関連付けられた3つの発光素子を含んでもよい。所定の色の各々は、それぞれ、3つのディスプレイパネルの3つの発光素子によって生成された3つの所定の原色の組合せに対応することができる。
【0020】
1つまたは複数の発光素子は、それぞれ、2つのディスプレイパネルに関連付けられた2つの発光素子を含んでもよい。所定の色の各々は、それぞれ、2つのディスプレイパネルの2つの発光素子によって生成された2つの所定の原色の組合せに関連付けられてもよい。
【0021】
1つまたは複数の発光素子は、単一のディスプレイパネルに関連付けられた単一の発光素子を含んでもよい。単一の発光素子は、時間内に連続して2つ以上の所定の原色を有する光を放射することができる。複数の所定の色の各々は、時間内に連続して作り出された2つ以上の所定の原色の組合せに対応することができる。
【0022】
本開示の第2の態様によれば、コンピューティングデバイスによって実行されると、ピクセル位置のためのターゲット色および伝搬誤差を受信することと、受信されたターゲット色および伝搬誤差に基づいてピクセル位置のための誤差修正ターゲット色を決定することと、3次元色空間内の誤差修正ターゲット色の位置に基づいて、3次元色空間内で定義された複数の所定の色のサブセットを識別することであって、誤差修正ターゲット色が所定の色のサブセットの重み付けされた組合せに対応する、識別することと、所定の色のサブセットおよび所定の色のサブセットに関連付けられたそれぞれの重みに基づいて、ピクセル位置のためのピクセル色を決定することと、ピクセル色に基づいて、ピクセル位置に関連付けられた1つまたは複数の発光素子のための1つまたは複数の駆動信号を決定することと、ピクセル位置に関連付けられた1つまたは複数の発光素子を制御するために、1つまたは複数の駆動信号を出力することとをコンピューティングデバイスに実行させる命令を含む、コンピュータ可読非一時的記憶媒体が提供される。
【0023】
本開示の第3の態様によれば、1つまたは複数のプロセッサと、プロセッサによって実行可能な命令を含むプロセッサに結合されたメモリとを備えるシステムが提供され、プロセッサは、命令を実行すると、ピクセル位置のためのターゲット色および伝搬誤差を受信することと、受信されたターゲット色および伝搬誤差に基づいてピクセル位置のための誤差修正ターゲット色を決定することと、3次元色空間内の誤差修正ターゲット色の位置に基づいて、3次元色空間内で定義された複数の所定の色のサブセットを識別することであって、誤差修正ターゲット色が所定の色のサブセットの重み付けされた組合せに対応する、識別することと、所定の色のサブセットおよび所定の色のサブセットに関連付けられたそれぞれの重みに基づいて、ピクセル位置のためのピクセル色を決定することと、ピクセル色に基づいて、ピクセル位置に関連付けられた1つまたは複数の発光素子のための1つまたは複数の駆動信号を決定することと、ピクセル位置に関連付けられた1つまたは複数の発光素子を制御するために、1つまたは複数の駆動信号を出力することとを行うように動作可能である。
【0024】
システムは、最初に、電流密度とPWM設定パラメータの特定の組合せを使用してCS-μLEDによって生成することができるいくつかの原色を選択することができる。たとえば、システムは、CS-μLEDによって作り出すことができる10個の原色を選択することができる。10個の原色は、CS-μLEDがオフにされたときの状態に対応する黒色、および色度図内でCS-μLEDの色シフト曲線に沿って選択された(たとえば、sRGB色空間の従来の原色として使用される赤、緑、および青を含む)9つの他の原色を含んでもよい。
【0025】
システムは、これらの原色のうちの2つ以上を組み合わせて、表示色域を形成する限定された数の所定の色を作り出すことができる。たとえば、ディスプレイシステムが3つのディスプレイパネルを含むとき、システムは、表示色域内で任意の色を作り出すために、これら3つのパネルのCS-μLEDを構成して特定の輝度値を有する3つの原色を生成することができる。10個の所定の原色から3つの原色を選択し組み合わせることにより、システムは、原色の130個の可能な組合せに基づいて、特定の輝度値を有する130個の色を生成することができる。これら130個の色の輝度値は、任意の選択された3つの色の合計がD65白色点よりも明るくないように制限する制約条件の下で決定されてもよい。これら130個の所定の色は、各々が輝度および色度の座標上に定義された3次元色空間内の点に対応することができる。130個の所定の色は、CS-μLEDベースのディスプレイ用の3次元色域を一緒に形成することができる。10個の原色およびそれらの輝度値は、130個の所定の色によって定義されたこの3次元色域が、対応する色空間(たとえば、L*a*b色空間)内で可能な限り均一の体積を有するいくつかの4面体に4面体化されることを可能にする制約条件で選択されてもよい。次いで、システムは、これらの4面体の頂点として3次元色空間内の130個の所定の色に対応する130個の点を使用して、各々がおおよそ同じ体積を有するいくつかの4面体を決定することによって表示色域を4面体化することができる。
【0026】
CS-μLEDベースのディスプレイに画像を表示するために、システムは、従来の色空間(たとえば、三刺激色空間、sRGB色空間)内で定義されたピクセル色を、所定の色の組合せによって定義されたディスプレイの3次元色域にマッピングすることができる。その一方で、システムは、フロイド-スタインバーグディザリングを用いて、マッピングされた色を利用可能な130個の色のうちの1つに量子化することができる。一例として、ピクセル位置(x,y)にある画像ピクセルを表示するために、システムは、最初に、そのピクセル位置(x,y)のための(たとえば、三刺激色空間内で定義された)ターゲットピクセル色I(x,y)および伝搬誤差e(x,y)を受信することができる。伝搬誤差e(x,y)は、先行ピクセル位置を処理するときにフロイド-スタインバーグディザリングアルゴリズムを使用して決定されてもよい。次いで、システムは、u(x,y)=I(x,y)+e(x,y)を使用して、誤差修正ターゲット色u(x,y)を決定することができる。システムは、誤差修正ターゲット色u(x,y)が3次元色域の凸包内にあるかどうかをチェックすることができる。誤差修正ターゲット色u(x,y)が3次元色域の凸包内にあるとき、システムは、誤差修正ターゲット色u(x,y)を含むかまたは囲む関連付けられた4面体を決定することができる。次いで、システムは、関連付けられた4面体の4つの頂点に対する誤差修正ターゲット色u(x,y)の重心重みを決定することができる。その後、システムは、頂点が最大重力重みに関連付けられているとの判断に基づいて、u(x,y)に最も近い(関連付けられた4面体の4つの頂点から)頂点を選択し、ピクセル位置(x,y)のための(130個の所定の色のうちの1つである)ディザリングされたピクセル色I’(x,y)としてその選択された頂点に対応する色を使用することができる。次いで、システムは、組み合わせてディザリングされたピクセル色I’(x,y)を作り出すことができる特定の輝度値を有する3つの原色を決定し、ピクセル位置(x,y)に関連付けられたCS-μLED用の対応する電流密度およびPWM設定パラメータを決定することができる。3つの原色は、関連付けられたCS-μLEDによって作り出されると、組み合わせてピクセル位置(x,y)のための色I’(x,y)を作り出すことができる。その後、システムは、e’(x,y)=u(x,y)-I’(x,y)を使用して現在のピクセル色の誤差e’(x,y)を計算し、フロイド-スタインバーグディザリングを使用して他の隣接ピクセル位置に誤差e’(x,y)を伝搬することができる。
【0027】
誤差修正色u(x,y)が3次元色域の凸包内にないとき、システムは、3次元色域にu(x,y)を投影することにより、関連付けられた4面体を決定することができる。たとえば、システムは、最初に、u(x,y)から始まり、u(x,y)と同じ輝度値を有する輝度軸上の点を指す方向を有する第1の投影線に沿ってu(x,y)を投影するように試みることができる。第1の投影線が3次元色域の凸包と交差するとき、システムは、第1の投影線の3次元色域の凸包との交点に基づいて、関連付けられた4面体を決定することができる。このシナリオでは、ターゲットピクセル色u(x,y)の輝度値は、投影に基づいて3次元色域にマッピングされた後に保存されてもよい。第1の投影線が3次元色域の凸包と交差しないとき、システムは、u(x,y)から始まり、3次元色域の中心輝度値に対応する輝度軸上の点を指すか、または3次元色域の中心点を指す方向を有する第2の投影線に沿ってu(x,y)を投影することができる。次いで、システムは、第2の投影線と3次元色域の凸包の交点に基づいて、関連付けられた4面体を決定することができる。
【0028】
同じ原理を使用して、画像は、(3つのパネルの代わりに)1つまたは2つのディスプレイパネルを含むCS-μLEDベースのディスプレイにレンダリングおよび表示されてもよい。一例として、ディスプレイシステムが2つのディスプレイパネルを含むとき、システムは、2つのディスプレイパネルの関連付けられたCS-μLEDによって生成された2つの原色を組み合わせることにより、表示色域に対応するN個の所定の色の各所定の色を作り出すことができる。たとえば、システムは、赤およびシアンまたは黄および青を組み合わせることにより、白色を生成することができる。システムが各パネルのCS-μLEDのために10個の所定の原色を選択したと仮定すると、システムは、10個の所定の原色の55個の可能な組合せに基づいて、特定の輝度値を有する55個の色を生成することができる。特定の輝度値を有するこれらの55個の所定の色は、4面体化することができ、ディザリングされるピクセル色を決定するために使用することができる3次元色域を形成することができる。別の例として、ディスプレイシステムがただ1つのディスプレイパネルを含むとき、システムは、3つのディスプレイパネルを含むCS-μLEDベースのディスプレイによって使用される従来のフレームレートよりも3倍速い可能性があるフレームレートを有するフィールド連続モードで動作するようにディスプレイパネルに指示することができる。ディスプレイシステムは、時間内で連続して特定の輝度値を有する3つの原色を表示し、これらの3つの連続して表示された原色の組合せに対応するターゲット色を作り出すことができる。
【0029】
本明細書に開示された実施形態は単なる例であり、本開示の範囲はそれらに限定されない。特定の実施形態は、上記に開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのうちのすべてまたは一部を含んでもよく、何も含まなくてもよい。実施形態は、詳細には、方法、記憶媒体、システム、およびコンピュータプログラム製品に関する添付特許請求の範囲において開示され、1つの請求カテゴリ、たとえば、方法において述べられた任意の特徴は、別の請求カテゴリ、たとえば、システムにおいても請求することができる。添付特許請求の範囲における依存性または後方参照は、正式な理由のためのみに選ばれる。しかしながら、任意の前の請求項に対する意図的な後方参照(詳細には複数の依存性)からもたらされるいかなる主題も請求することができ、その結果、請求項およびその特徴の任意の組合せが開示され、添付特許請求の範囲において選ばれた依存性にもかかわらず、請求することができる。
【図面の簡単な説明】
【0030】
【
図1A】例示的な人工現実システムを示す図である。
【
図1B】例示的な拡張現実システムを示す図である。
【
図1C】ディスプレイエンジンの例示的なアーキテクチャを示す図である。
【
図1D】表示画像データを生成するためのディスプレイエンジンの例示的なグラフィックパイプラインを示す図である。
【
図2A】例示的な走査導波管ディスプレイを示す図である。
【
図2B】走査導波管ディスプレイの例示的な走査動作を示す図である。
【
図3A】例示的な2DマイクロLED導波管ディスプレイを示す図である。
【
図3B】2DマイクロLED導波管ディスプレイ用の例示的な導波管構成を示す図である。
【
図4】色シフトμLEDの例示的な色シフト曲線を示す例示的な色度図である。
【
図5A】色シフトμLEDベースのディスプレイに画像を表示するために使用することができる例示的な3次元色空間を示す図である。
【
図5B】関連付けられた4面体に基づいてディザリングされる色を決定するための例示的なプロセスを示す図である。
【
図5C】フロイド-スタインバーグディザリングを使用して誤差を伝搬するための例示的なプロセスを示す図である。
【
図5D】表示色域の外側にある誤差修正ターゲット色を表示色域に投影するための例示的なプロセスを示す図である。
【
図5E】表示色域の外側にある誤差修正ターゲット色を表示色域に投影するための例示的なプロセスを示す図である。
【
図6】色シフトμLEDベースのディスプレイを使用して画像を表示するための例示的な方法を示す図である。
【
図7】例示的なコンピュータシステムを示す図である。
【発明を実施するための形態】
【0031】
図1Aは、例示的な人工現実システム100Aを示す。特定の例では、人工現実システム100は、ヘッドセット104、コントローラ106、およびコンピューティングシステム108を備えてもよい。ユーザ102は、ユーザ102に視覚的な人工現実コンテンツを表示することができるヘッドセット104を装着することができる。ヘッドセット104は、ユーザ102にオーディオ人工現実コンテンツを提供することができるオーディオデバイスを含んでもよい。ヘッドセット104は、環境の画像およびビデオを取り込むことができる1つまたは複数のカメラを含んでもよい。ヘッドセット104は、ユーザ102の両眼離反距離を特定するために視線追跡システムを含んでもよい。ヘッドセット104は、ヘッドマウントディスプレイ(HMD)と呼ばれる場合がある。コントローラ106は、トラックパッドおよび1つまたは複数のボタンを備えてもよい。コントローラ106は、ユーザ102から入力を受け取り、コンピューティングシステム108に入力を中継することができる。コントローラ206は、ユーザ102に触覚フィードバックを提供することもできる。コンピューティングシステム108は、ケーブル接続またはワイヤレス接続を介してヘッドセット104およびコントローラ106に接続されてもよい。コンピューティングシステム108は、ユーザ102に人工現実コンテンツを提供し、ユーザ102から入力を受け取るようにヘッドセット104およびコントローラ106を制御することができる。コンピューティングシステム108は、スタンドアロンホストコンピュータシステム、ヘッドセット104と一体化されたオンボードコンピュータシステム、モバイルデバイス、またはユーザ102に人工現実コンテンツを提供し、ユーザ102から入力を受け取ることが可能な任意の他のハードウェアプラットフォームであってもよい。
【0032】
図1Bは、例示的な拡張現実システム100Bを示す。拡張現実システム100Bは、フレーム112、1つまたは複数のディスプレイ114を備えるヘッドマウントディスプレイ(HMD)110(たとえば、眼鏡)と、コンピューティングシステム120とを含んでもよい。ディスプレイ114は、HMD110を装着するユーザがディスプレイ114を覗いて現実世界を見ることを可能にし、同時にユーザに視覚的な人工現実コンテンツを表示する、透明または半透明であり得る。HMD110は、ユーザにオーディオ人工現実コンテンツを提供することができるオーディオデバイスを含んでもよい。HMD110は、環境の画像およびビデオを取り込むことができる1つまたは複数のカメラを含んでもよい。HMD110は、HMD110を装着するユーザの両眼離反運動を追跡するために視線追跡システムを含んでもよい。拡張現実システム100Bは、トラックパッドおよび1つまたは複数のボタンを備えるコントローラをさらに含んでもよい。コントローラは、ユーザから入力を受け取り、コンピューティングシステム120に入力を中継することができる。コントローラは、ユーザに触覚フィードバックを提供することもできる。コンピューティングシステム120は、ケーブル接続またはワイヤレス接続を介してHMD110およびコントローラに接続されてもよい。コンピューティングシステム120は、ユーザに拡張現実コンテンツを提供し、ユーザから入力を受け取るようにHMD110およびコントローラを制御することができる。コンピューティングシステム120は、スタンドアロンホストコンピュータシステム、HMD110と一体化されたオンボードコンピュータシステム、モバイルデバイス、またはユーザに人工現実コンテンツを提供し、ユーザから入力を受け取ることが可能な任意の他のハードウェアプラットフォームであってもよい。
【0033】
図1Cは、ディスプレイエンジン130の例示的なアーキテクチャ100Cを示す。特定の例では、本開示に記載されたプロセスおよび方法は、ディスプレイエンジン130(たとえば、表示ブロック135)内で具現化または実装されてもよい。ディスプレイエンジン130は、たとえば、テクスチャメモリ132、変換ブロック133、ピクセルブロック134、表示ブロック135、入力データバス131、出力データバス142などを含んでもよいが、それらに限定されない。特定の例では、ディスプレイエンジン130は、ディスプレイにレンダリングされる画像を生成するための1つまたは複数のグラフィックパイプラインを含んでもよい。たとえば、ディスプレイエンジンは、メインフレーム画像および1つまたは複数の視線追跡センサによって測定されたユーザの視点または視野角に基づいて、グラフィックパイプラインを使用して一連のサブフレーム画像を生成することができる。メインフレーム画像は、30~90Hzのメインフレームレートでシステム内で生成されるか、または/かつシステムにロードされてもよく、サブフレームレートは、1~2kHzのサブフレームレートで生成されてもよい。特定の例では、ディスプレイエンジン130は、ユーザの左右の目のための2つのグラフィックパイプラインを含んでもよい。グラフィックパイプラインのうちの1つは、テクスチャメモリ132、変換ブロック133、ピクセルブロック134、表示ブロック135などを含むか、またはそれらに実装されてもよい。ディスプレイエンジン130は、他のグラフィックパイプライン用の変換ブロック、ピクセルブロック、および表示ブロックの別のセットを含んでもよい。グラフィックパイプラインは、ディスプレイエンジン130のコントローラまたは制御ブロック(図示せず)によって制御されてもよい。特定の例では、テクスチャメモリ132は、制御ブロック内に含まれてもよく、または制御ブロックの外部であるがディスプレイエンジン130に局所的なメモリユニットであってもよい。ディスプレイエンジン130の構成要素のうちの1つまたは複数は、高速バス、共有メモリ、または任意の他の適切な方法を介して通信するように構成されてもよい。この通信は、データならびに制御信号、割込み、または/および他の命令の送信を含んでもよい。たとえば、テクスチャメモリ132は、入力データバス211を介して画像データを受信するように構成されてもよい。別の例として、表示ブロック135は、出力データバス142を介してディスプレイシステム140にピクセル値を送信することができる。特定の例では、ディスプレイシステム140は、142A、142B、および143BのそれぞれのディスプレイドライバIC(DDI)を有する3つの色チャネル(たとえば、114A、114B、114C)を含んでもよい。特定の例では、ディスプレイシステム140は、たとえば、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリクス有機発光ダイオード(AMLED)ディスプレイ、液晶ディスプレイ(LCD)、マイクロ発光ダイオード(μLED)ディスプレイ、電界発光ディスプレイ(ELD)、または任意の適切なディスプレイを含んでもよいが、それらに限定されない。
【0034】
特定の例では、ディスプレイエンジン130は、コントローラブロック(図示せず)を含んでもよい。制御ブロックは、1つまたは複数のデータバスを介してディスプレイエンジン130の外部のコントローラから、位置データおよび表面情報などのデータおよび制御パッケージを受信することができる。たとえば、制御ブロックは、身体装着可能コンピューティングシステムから入力ストリームデータを受信することができる。入力データストリームは、30~90Hzのメインフレームレートで生成された一連のメインフレーム画像を含んでもよい。メインフレーム画像を含む入力ストリームデータは、必要なフォーマットに変換され、テクスチャメモリ132に格納されてもよい。特定の例では、制御ブロックは、身体装着可能コンピューティングシステムから入力を受信し、ディスプレイエンジン内のグラフィックパイプラインを初期化して、ディスプレイにレンダリングするための画像データを準備し完成させることができる。データパケットおよび制御パケットは、たとえば、テキセルデータ、位置データ、および追加のレンダリング命令を含む、1つまたは複数の表面に関する情報を含んでもよい。制御ブロックは、ディスプレイエンジン130の1つまたは複数の他のブロックに必要とされるデータを分散させることができる。制御ブロックは、表示される1つまたは複数のフレームを処理するためのグラフィックパイプラインを起動することができる。特定の例では、2つのアイディスプレイシステム用のグラフィックパイプラインは、各々が制御ブロックを含むか、または同じ制御ブロックを共有することができる。
【0035】
特定の例では、変換ブロック133は、人工現実シーン内で表示される表面についての初期視感度情報を決定することができる。一般に、変換ブロック133は、スクリーン上のピクセル位置から光線を放ち、ピクセルブロック134に送信するために(たとえば、双線形または他のタイプの補間技法に基づいてフィルタリングする)フィルタコマンドを作り出すことができる。変換ブロック133は、(たとえば、ヘッドセットの慣性測定ユニット、視線追跡センサ、および/または、同時位置決め地図作成(SLAM)などの任意の適切な追跡/位置決めアルゴリズムを使用して特定された)ユーザの現在の視点から、表面が位置する人工シーンに光線放射を実行することができ、ピクセルブロック134に送信するためにタイル/表面ペア144を作り出すことができる。特定の例では、変換ブロック133は、以下のように4段階パイプラインを含んでもよい。光線キャスタは、タイル(たとえば、各タイルは16×16の整列ピクセルを含んでもよい)と呼ばれる1つまたは複数の整列ピクセルの配列に対応する光線束を発行することができる。光線束は、1つまたは複数のひずみメッシュに従って、人工現実シーンに入る前にゆがむ場合がある。ひずみメッシュは、少なくともヘッドセットシステムのアイディスプレイシステムから始まる幾何学的ひずみ作用を補正するように構成されてもよい。変換ブロック133は、各タイルの境界ボックスを表面用の境界ボックスと比較することにより、各光線束がシーン内の表面と交差するかどうかを判定することができる。光線束がオブジェクトと交差しない場合、それは廃棄されてもよい。タイル-表面交差が検出された後、対応するタイル/表面ペアは、ピクセルブロック134に渡されてもよい。
【0036】
特定の例では、ピクセルブロック134は、タイル-表面ペアに基づいてピクセルのための色値またはグレイスケール値を決定することができる。ピクセルごとの色値は、受信され、テクスチャメモリ132に格納された表面のテキセルデータからサンプリングされてもよい。ピクセルブロック134は、変換ブロック133からタイル-表面ペアを受け取り、1つまたは複数のフィルタブロックを使用して双線形フィルタリングをスケジュールすることができる。タイル-表面ペアごとに、ピクセルブロック134は、投影されたタイルが表面と交差する場所に対応する色値を使用して、タイル内のピクセル用の色情報をサンプリングすることができる。ピクセルブロック134は、(たとえば、双線形補間を使用して)取り出されたテキセルに基づいてピクセル値を決定することができる。特定の例では、ピクセルブロック134は、ピクセルごとに別々に赤、緑、および青の色成分を処理することができる。特定の例では、ディスプレイは、2つのアイディスプレイシステム用の2つのピクセルブロックを含んでもよい。2つのアイディスプレイシステムの2つのピクセルブロックは、独立して互いに並行して動作することができる。ピクセルブロック134は、次いで、その色決定(たとえば、ピクセル138)を表示ブロック135に出力することができる。特定の例では、ピクセルブロック134は、2つ以上の表面が重複する領域を有するときに2つ以上の表面を1つの表面に合成することができる。合成された表面は、再サンプリングプロセスに必要な計算リソース(たとえば、計算ユニット、メモリ、電力など)が少なくてもよい。
【0037】
特定の例では、表示ブロック135は、ピクセルブロック134からピクセル色値を受け取り、データのフォーマットをディスプレイの走査線出力により適するように変換し、ピクセル色値に1つまたは複数の明度補正を適用し、ディスプレイへの出力のためにピクセル色値を準備することができる。特定の例では、表示ブロック135は、各々が行バッファを含んでもよく、ピクセルブロック134から受け取ったピクセルデータを処理し格納することができる。ピクセルデータは、クアッド(たとえば、クアッド当たり2×2個のピクセル)およびタイル(たとえば、タイル当たり16×16個のピクセル)に編成されてもよい。表示ブロック135は、ピクセルブロック134によって生成されたタイル順序ピクセル色値を、物理ディスプレイによって必要とされ得る走査線または行順序データに変換することができる。明度補正は、任意の必要な明度補正、ガンママッピング、およびディザリングを含んでもよい。表示ブロック135は、補正されたピクセル色値を直接物理ディスプレイ(たとえば、瞳孔ディスプレイ)のドライバに出力することができるか、または様々なフォーマットでディスプレイエンジン130の外部のブロックにピクセル値を出力することができる。たとえば、ヘッドセットシステムのアイディスプレイシステムは、バックエンド色処理をさらにカスタマイズするために、ディスプレイへのより広いインターフェースをサポートするために、または表示速度もしくは忠実度を最適化するために、追加のハードウェアまたはソフトウェアを含んでもよい。
【0038】
特定の例では、本開示に記載されたディザリングの方法およびプロセス(たとえば、空間ディザリング方法、時間ディザリング方法、および空間-時間方法)は、ディスプレイエンジン130の表示ブロック135内で具現化または実装されてもよい。特定の例では、表示ブロック135は、色チャネルごとにモデルベースのディザリングアルゴリズムまたはディザリングモデルを含み、それぞれの色チャネルのディザリング結果をディスプレイシステム140のそれぞれのディスプレイドライバインターフェース(DDI)(たとえば、142A、142B、142C)に送信することができる。特定の例では、それぞれのディスプレイドライバインターフェース(たとえば、142A、142B、142C)にピクセル値を送信する前に、表示ブロック135は、たとえば、ピクセル不均一性、LED非理想性、導波管不均一性、表示不良(たとえば、ドット落ち)などを補正するための1つまたは複数のアルゴリズムをさらに含んでもよい。
【0039】
特定の例では、グラフィックスアプリケーション(たとえば、ゲーム、地図、コンテンツ提供アプリなど)は、プリミティブを生成してGPUまたはディスプレイエンジンにレンダリングするために所与の視聴位置および時点と一緒に使用されるシーングラフを構築することができる。シーングラフは、シーン内のオブジェクト間の論理的および/または空間的な関係を定義することができる。特定の例では、ディスプレイエンジン130は、フルアプリケーションシーングラフの簡略化された形態であるシーングラフを生成し格納することもできる。簡略化されたシーングラフは、表面(たとえば、アプリケーションによってレンダリングされたメインフレームに基づいて生成された対応するテクスチャを有する、3D空間内で定義された四辺形または輪郭などの、ディスプレイエンジン130によってレンダリングされたプリミティブ)間の論理的および/または空間的な関係を指定するために使用されてもよい。シーングラフを格納することにより、ディスプレイエンジン130が、複数のディスプレイフレームにシーンをレンダリングし、現在の視点(たとえば、頭の位置)、現在のオブジェクト位置(たとえば、それらは互いに対して移動する可能性がある)、およびディスプレイフレームごとに変化する他の要因に対して、シーングラフ内の各要素を調整することが可能になる。加えて、シーングラフに基づいて、ディスプレイエンジン130は、ディスプレイサブシステムによって導入された幾何形状および色のひずみを調整し、次いで、オブジェクトを一緒に合成してフレームを生成することもできる。シーングラフを格納することにより、著しく低いレートでGPUまたはディスプレイエンジン130を実際に実行しながら、ディスプレイエンジン130が所望の高フレームレートでフルレンダリングを行う結果を近似することが可能になる。
【0040】
図1Dは、表示画像データを生成するためのディスプレイエンジン130の例示的なグラフィックパイプライン100Dを示す。特定の例では、グラフィックパイプライン100Dは視感度ステップ152を含んでもよく、ディスプレイエンジン130は、身体装着可能コンピューティングシステムから受信された1つまたは複数の表面の視感度を特定することができる。視感度ステップ152は、ディスプレイエンジン130の変換ブロック(たとえば、
図1Cの2133)によって実行されてもよい。ディスプレイエンジン130は、身体装着可能コンピューティングシステムから入力データ151を(たとえば、制御ブロックまたはコントローラによって)受信することができる。入力データ151は、身体装着可能コンピューティングシステムからの1つまたは複数の表面、テキセルデータ、位置データ、RGBデータ、およびレンダリング命令を含んでもよい。入力データ151は、30~90フレーム毎秒(FPS)を有するメインフレーム画像を含んでもよい。メインフレーム画像は、たとえば、ピクセル当たり24ビットの色深度を有してもよい。ディスプレイエンジン130は、受信された入力データ151を処理し、テキセルメモリ132に格納することができる。受信されたデータは変換ブロック133に渡されてもよく、変換ブロック133は表示される表面用の視感度情報を特定することができる。変換ブロック133は、スクリーン上のピクセル位置に光線を放ち、ピクセルブロック134に送信するために(たとえば、双線形または他のタイプの補間技法に基づいてフィルタリングする)フィルタコマンドを作り出すことができる。変換ブロック133は、(たとえば、ヘッドセットの慣性測定ユニット、視線トラッカ、および/または、同時位置決め地図作成(SLAM)などの任意の適切な追跡/位置決めアルゴリズムを使用して特定された)ユーザの現在の視点から、表面が位置する人工シーンに光線放射を実行し、ピクセルブロック134に送信するために表面-タイルペアを作り出すことができる。
【0041】
特定の例では、グラフィックパイプライン100Dは再サンプリングステップ153を含んでもよく、再サンプリングステップ153では、ディスプレイエンジン130は、タイル-表面ペアからの色値を決定してピクセル色値を作り出すことができる。再サンプリングステップ153は、ディスプレイエンジン130のピクセルブロック(
図1Cの134)によって実行されてもよい。ピクセルブロック134は、変換ブロック133からタイル-表面ペアを受け取り、双線形フィルタリングをスケジュールすることができる。タイル-表面ペアごとに、ピクセルブロック134は、投影されたタイルが表面と交差する場所に対応する色値を使用して、タイル内のピクセル用の色情報をサンプリングすることができる。ピクセルブロック134は、(たとえば、双線形補間を使用して)取り出されたテキセルに基づいてピクセル値を決定し、決定されたピクセル値をそれぞれの表示ブロック135に出力することができる。
【0042】
特定の例では、グラフィックパイプライン100Dは、融合ステップ154、補正およびディザリングステップ155、直列化ステップ156などを含んでもよい。特定の例では、融合ステップ154、補正およびディザリングステップ155、ならびに直列化ステップ156は、ディスプレイエンジン130の表示ブロック(たとえば、
図1Cの135)によって実行されてもよい。ディスプレイエンジン130は、表示コンテンツのレンダリングのために表示コンテンツを融合し、1つまたは複数の明度補正をピクセル色値に適用し、空間的と時間的の両方で量子化誤差をディザリングするために1つまたは複数のディザリングアルゴリズムを実行し、物理ディスプレイ向けの走査線出力のためにピクセル値を直列化し、ディスプレイシステム140に適した表示データ159を生成することができる。ディスプレイエンジン130は、表示データ159をディスプレイシステム140に送信することができる。特定の例では、ディスプレイシステム140は、RGBの3つの色チャネル(たとえば、144A、144B、144C)のピクセル用の3つのディスプレイドライバIC(たとえば、142A、142B、142C)を含んでもよい。
【0043】
図2Aは、例示的な走査導波管ディスプレイ200Aを示す。特定の例では、AR/VRシステムのヘッドマウントディスプレイ(HMD)は、走査導波管ディスプレイ200Aであり得るニアアイディスプレイ(NED)を含んでもよい。走査導波管ディスプレイ200Aは、光源アセンブリ210、出力導波管204、コントローラ216などを含んでもよい。走査導波管ディスプレイ200Aは、両目または片目に画像を提供することができる。例示の目的で、
図3Aは、片目202に関連付けられた走査導波管ディスプレイ200Aを示す。別の走査導波管ディスプレイ(図示せず)は、ユーザの他の目に画像光を提供することができ、2つの走査導波管ディスプレイは、1つまたは複数の構成要素を共有してもよく、分離されてもよい。光源アセンブリ210は、光源212および光学系214を含んでもよい。光源212は、発光体の配列を使用して画像光を生成することができる光学構成部品を含んでもよい。光源212は、たとえば、赤色画像光、青色画像光、緑色画像光、赤外線画像光などを含むが、それらに限定されない画像光を生成することができる。光学系214は、光源212によって生成された画像光に対していくつかの光学プロセスまたは動作を実行することができる。光学系214によって実行される光学プロセスまたは動作には、たとえば、光集束、光結合、光調節、走査などが含まれてもよいが、それらに限定されない。
【0044】
特定の例では、光学系214は、光結合アセンブリ、光調節アセンブリ、走査鏡アセンブリなどを含んでもよい。光源アセンブリ210は、画像光219を生成し、出力導波管204の結合素子218に出力することができる。出力導波管204は、ユーザの目202に画像光を出力することができる光学導波管であってもよい。出力導波管204は、1つまたは複数の結合素子218において画像光219を受け取り、受け取った画像光を1つまたは複数の減結合素子206に誘導することができる。結合素子218は、たとえば、回折格子、ホログラフィック格子、出力導波管204に画像光219を結合することができる任意の他の適切な素子、またはそれらの組合せであってもよいが、それらに限定されない。一例として、かつ限定としてではなく、結合素子350が回折格子である場合、回折格子のピッチは、全内部反射が発生することを可能にし、画像光219が減結合素子206に向かって内部に伝搬することを可能にするように選択されてもよい。回折格子のピッチは、300nm~600nmの範囲内であってもよい。減結合素子206は、出力導波管204から全内部反射された画像光を減結合することができる。減結合素子206は、たとえば、回折格子、ホログラフィック格子、出力導波管204からの画像光を減結合することができる任意の他の適切な素子、またはそれらの組合せであってもよいが、それらに限定されない。一例として、かつ限定としてではなく、減結合素子206が回折格子である場合、回折格子のピッチは、入射画像光が出力導波管204から出るようにするために選択されてもよい。出力導波管204から出る画像光の向きおよび位置は、結合素子218に入る画像光219の向きおよび位置を変更することによって制御されてもよい。回折格子のピッチは、300nm~600nmの範囲内であってもよい。
【0045】
特定の例では、出力導波管204は、画像光219の全内部反射を容易にすることができる1つまたは複数の材料から構成されてもよい。出力導波管204は、たとえば、シリコン、プラスチック、ガラス、ポリマー、またはそれらの何らかの組合せを含むが、それらに限定されない1つまたは複数の材料から構成されてもよい。出力導波管204は、比較的小さい形状因子を有してもよい。一例として、かつ限定としてではなく、出力導波管204は、おおよそ、X次元に沿って50mmの幅、Y次元に沿って30mmの長さ、およびZ次元に沿って0.5~1mmの厚さであってもよい。コントローラ216は、光源アセンブリ210の走査動作を制御することができる。コントローラ216は、1つまたは複数の画像をレンダリングするための少なくとも1つまたは複数の表示命令に基づいて、光源アセンブリ210向けの走査命令を決定することができる。表示命令は、画像ファイル(たとえば、ビットマップ)を含んでもよいし、たとえば、AR/VRシステムのコンソールまたはコンピュータから受信されてもよい。走査命令は、画像光219を生成するために光源アセンブリ210によって使用されてもよい。走査命令は、たとえば、画像光源タイプ(たとえば、単色源、多色源)、走査レート、走査装置の向き、1つもしくは複数の照明パラメータ、またはそれらの何らかの組合せを含んでもよいが、それらに限定されない。コントローラ216は、ハードウェア、ソフトウェア、ファームウェア、またはコントローラ216の機能をサポートする任意の適切な構成要素の組合せを含んでもよい。
【0046】
図2Bは、走査導波管ディスプレイ200Bの例示的な走査動作を示す。光源220は、複数の行および列を有する(挿絵内のドットによって表された)発光体222の配列を含んでもよい。光源220によって放射された光223は、発光体222の各列によって放射された光の平行ビームのセットを含んでもよい。鏡224に到達する前に、光223は、調節アセンブリ(図示せず)などの異なる光学デバイスによって調節されてもよい。鏡224は、走査動作中、軸225を中心に回転することにより、光源220からの光223を反射し、画像フィールド227に投影することができる。鏡224は、微小電気機械システム(MEMS)鏡または任意の他の適切な鏡であってもよい。鏡224が軸225を中心に回転するにつれて、光223は、実線の光の反射部分226Aおよび破線の光の反射部分226Bによって示されたように、画像フィールド227の異なる部分に投影されてもよい。
【0047】
特定の例では、鏡224が軸225を中心に回転して異なる方向に光226A~Bを投影するにつれて、画像フィールド227は光226A~Bを受け取ることができる。たとえば、画像フィールド227は、
図2Aの結合素子218の一部分または減結合素子206の一部分に対応することができる。特定の例では、画像フィールド227は、結合素子206の表面を含んでもよい。画像フィールド227に形成された画像は、光が出力導波管220を通って移動するにつれて拡大されてもよい。特定の例では、画像フィールド227は、実際の物理構造を含まなくてもよいが、画像光が投影されて画像を形成する領域を含んでもよい。画像フィールド227は、走査フィールドと呼ばれる場合もある。光223が画像フィールド227の領域に投影されると、画像フィールド227の領域は光223によって照明されてもよい。画像フィールド227は、複数の行および列を有する(挿絵228内のブロックによって表された)ピクセル位置229の配列を含んでもよい。ピクセル位置229は、単一のピクセルに対応するピクセル位置を用いて画像フィールド227の領域内で空間的に定義されてもよい。特定の例では、画像フィールド227内のピクセル位置229(またはピクセル)は、個別の物理ピクセル素子を含まなくてもよい。代わりに、ピクセル位置229は、画像フィールド227内で定義され、画像フィールド227をピクセルに分割する空間領域であってもよい。ピクセル位置229のサイズおよび位置は、光源220からの光223の投影に依存してもよい。たとえば、鏡224の所与の回転角において、光源220から放射された光ビームは、画像フィールド227の領域に落ちてもよい。そのため、ピクセル位置229のサイズおよび位置は、各放射された光ビームの位置に基づいて定義されてもよい。特定の例では、ピクセル位置229は、サブピクセル(図示せず)に空間的に細分されてもよい。たとえば、ピクセル位置229は、赤色サブピクセル、緑色サブピクセル、および青色サブピクセルを含んでもよい。赤色、緑色、および青色のサブピクセルは、1つまたは複数の赤色、緑色、および青色の光ビームが投影されたそれぞれの位置に対応することができる。この場合、ピクセルの色は、ピクセルのサブピクセルの時間平均および/または空間平均に基づいてもよい。
【0048】
特定の例では、発光体222は、鏡224の特定の回転角を有する画像フィールド227の一部分(たとえば、画像フィールド227上の複数のピクセル位置229の特定のサブセット)を照明することができる。特定の例では、発光体222は、発光体222の各々からの光ビームが対応するピクセル位置229に投影されるように配置され、間隔を空けられてもよい。特定の例では、発光体222は、発光体222のサブセットからの光ビームが同じピクセル位置229に投影されることを可能にするために、いくつかの発光素子(たとえば、micro-LED)を含んでもよい。言い換えれば、複数の発光体222のサブセットは、一度に単一のピクセル位置229を一括して照明することができる。一例として、かつ限定としてではなく、8個の発光素子を含む発光体のグループは、所与の方位角の鏡224を用いて単一のピクセル位置229を照明するように一直線に配置されてもよい。
【0049】
特定の例では、光源220の発光体222の行および列の数は、画像フィールド227内のピクセル位置229の行および列の数と同じであってもなくてもよい。特定の例では、行における発光体222の数は、画像フィールド227の行におけるピクセル位置229の数に等しくてもよいが、発光体222は、画像フィールド227のピクセル位置229の数よりも少ない列を有してもよい。特定の例では、光源220は、画像フィールド227内のピクセル位置229の列の数と等しい数の発光体222の列を有してもよいが、行は少ない。一例として、かつ限定としてではなく、光源220は、画像フィールド227のピクセル位置229の列の数と同じであり得る発光体222の約1280個の列を有してもよいが、発光体222の少数の行のみを有する。光源220は、発光体222の最初の行から最後の行まで測定された第1の長さL1を有してもよい。画像フィールド530は、画像フィールド227の最初の行(たとえば、行1)から最後の行(たとえば、行P)まで測定された第2の長さL2を有してもよい。L2はL1よりも大きくてもよい(たとえば、L2はL1よりも50~10,000倍大きい)。
【0050】
特定の例では、ピクセル位置229の行の数は、発光体222の行の数よりも大きくてもよい。ディスプレイデバイス200Bは、鏡224を使用して、異なる時間にピクセルの異なる行に光223を投影することができる。鏡520が回転し、光223が画像フィールド227を通って走査するにつれて、画像フィールド227に画像が形成されてもよい。いくつかの例では、光源220はまた、画像フィールド227よりも小さい数の列を有してもよい。たとえば、行を下に走査し、次いで画像フィールド227内の新しい列に移動するためにラスタタイプの走査プロセスを使用して、鏡224は2つの方向に回転して画像フィールド227を光で満たすことができる。鏡224の回転の完全なサイクルは、その間に画像フィールド227全体が完全に走査される所定のサイクル時間であり得る走査期間と呼ばれる場合がある。画像フィールド227の走査は、鏡224によって決定され制御されてもよく、ディスプレイデバイス200Bの光生成は鏡224の回転と同期している。一例として、かつ限定としてではなく、鏡224は、画像フィールド227の行1に光を投影する初期位置から始まり、画像フィールド227の行Pに光を投影する最終位置まで回転し、次いで、1つの走査期間中に初期位置まで回転して戻ることができる。画像(たとえば、フレーム)は、走査期間ごとに画像フィールド227に形成されてもよい。ディスプレイデバイス200Bのフレームレートは、1秒における走査期間の数に対応することができる。鏡224が回転するにつれて、光は画像フィールドを通って走査して画像を形成することができる。所与のピクセル位置229の実際の色値および光の強度または明度は、走査期間中にピクセル位置を照明する様々な色の光ビームの時間的総和であってもよい。走査期間を完了した後、鏡224は、初期位置に戻って画像フィールド227の最初の数行に光を投影することができ、駆動信号の新しいセットが発光体222に供給される。画像の異なるフレームが走査フィールド227内に形成されることを可能にするために、鏡224が周期的に回転するときに同じプロセスが繰り返されてもよい。
【0051】
図3Aは、例示的な2DマイクロLED導波管ディスプレイ300Aを示す。特定の例では、ディスプレイ300Aは、ユーザの両目に画像を投影するのに十分な広さまたは長さであり得る細長い導波管構成302を含んでもよい。導波管構成302は、ユーザの両目をカバーする減結合領域304を含んでもよい。導波管構成302を介してユーザの両目に画像を提供するために、導波管構成302の上面内に複数の結合領域306A~Bが設けられてもよい。結合領域306Aおよび306Bは、それぞれ、発光体配列セット308Aおよび308Bから画像光を受け取るために、複数の結合素子を含んでもよい。発光体配列セット308A~Bの各々は、たとえば、赤色発光体配列、緑色発光体配列、および青色発光体配列を含むが、それらに限定されないいくつかの単色発光体配列を含んでもよい。特定の例では、発光体配列セット308A~Bは、白色発光体配列または他の色もしくは任意の複数の色の任意の組合せを放射する発光体配列をさらに含んでもよい。特定の例では、導波管構成302は、分割線309Aによって分割された減結合領域304のおおよそ同一の部分をカバーする発光体配列セット308Aおよび308Bを有してもよい。特定の例では、発光体配列セット308Aおよび308Bは、分割線309Bによって分割されたように非対称的に導波管構成302の導波管に画像を提供することができる。たとえば、発光体配列セット308Aは、減結合領域304の半分超に画像を提供することができる。特定の例では、発光体配列セット308Aおよび308Bは、
図3Bに示された導波管構成302の(たとえば、180°離れた)両側に配置されてもよい。他の例では、発光体配列セット308Aおよび308Bは、任意の適切な角度で配置されてもよい。導波管構成302は平面であってもよく、ユーザの顔/頭により良く適合するように湾曲した断面形状を有してもよい。
【0052】
図3Bは、2DマイクロLED導波管ディスプレイ用の例示的な導波管構成300Bを示す。特定の例では、導波管構成300Bは、導波管342に結合されたプロジェクタデバイス350を含んでもよい。プロジェクタデバイス320は、支持構造354(たとえば、プリント回路基板または他の適切な支持構造)に固定されたいくつかの発光体352(たとえば、単色発光体)を含んでもよい。導波管342は、D1(たとえば、おおよそ50μm~おおよそ500μm)の距離を有する空隙によってプロジェクタデバイス350から分離されてもよい。プロジェクタデバイス350によって投影された単色画像は、導波管342に向かって空隙を通過することができる。導波管342は、ガラスまたはプラスチックの材料から形成されてもよい。導波管342は、プロジェクタデバイス350からの発光を受け取るためのいくつかの結合素子334A~Cを含む結合領域330を含んでもよい。導波管342は、上面318A上のいくつかの減結合素子336Aおよび下面318B上のいくつかの減結合素子336Bを有する減結合領域を含んでもよい。減結合素子336Aと336Bとの間の導波管342内の領域は伝搬領域310と呼ばれる場合があり、その中でプロジェクタデバイス350から受信され、結合素子334によって導波管342に結合された画像光は、導波管342内で横方向に伝搬することができる。
【0053】
結合領域330は、所定の波長(たとえば、赤、緑、青)の光を結合するように構成および寸法決めされた結合素子(たとえば、334A、334B、334C)を含んでもよい。白色発光体配列がプロジェクタデバイス350に含まれるとき、所定の波長内にある白色光の部分は、結合素子334A~Cの各々によって結合されてもよい。特定の例では、結合素子334A~Bは、光の所定の波長を結合するように寸法決めされた格子(たとえば、ブラッグ格子)であってもよい。特定の例では、各結合素子の格子は、光の所定の波長に関連付けられた格子間の分離距離を表すことができ、各結合素子は、異なる格子分離距離を有してもよい。したがって、各結合素子(たとえば、334A~C)は、白色発光体配列がプロジェクタデバイス350に含まれる場合、プロジェクタデバイス350の白色発光体配列から白色光の限定された部分を結合することができる。特定の例では、各結合素子(たとえば、334A~C)は、同じ格子分離距離を有してもよい。特定の例では、結合素子334A~Cは、多重化カプラであってもよく、それを含んでもよい。
【0054】
図3Bに示されたように、赤色画像320A、青色画像320B、および緑色画像320Cは、それぞれ、結合素子334A、334B、334Cにより、伝搬領域310に結合されてもよく、導波管342内で横方向への横断を始めることができる。光の一部分は、1次元瞳孔複製のために光が減結合素子336Aに接触した後、かつ2次元瞳孔複製のために光が減結合素子336Aおよび336Bに接触した後、導波管342から投影されてもよい。2次元瞳孔複製では、光は、減結合素子336Aのパターンが減結合素子336Bのパターンと交差する位置において導波管342から投影されてもよい。減結合素子336Aによって導波管342から投影されない光の部分は、減結合素子336Bに反射されてもよい。減結合素子336Bは、後ろに減結合素子336Aに向かってすべての入射光を反射することができる。したがって、導波管342は、赤色画像320A、青色画像320B、および緑色画像320Cを、瞳孔複製322と呼ばれる場合がある多色画像のインスタンスに組み合わせることができる。多色瞳孔複製322はユーザの目に投影されてもよく、ユーザの目は、フルカラー画像(たとえば、赤、緑、および青に色の追加を含む画像)として瞳孔複製322を解釈することができる。導波管342は、数十もしくは数百の瞳孔複製322を作り出すことができるか、または単一の複製322を作り出すことができる。
【0055】
特定の例では、AR/VRシステムは、ユーザにAR/VRコンテンツを表示するために、走査導波管ディスプレイまたは2DマイクロLEDディスプレイを使用することができる。AR/VRシステムを小型化するために、ディスプレイシステムは、ピクセル回路用のスペースを小型化する必要があり得、ディスプレイに利用可能なビットの数を制限する場合がある。ディスプレイ内で利用可能なビットの数は、ディスプレイの色深度またはグレイスケールレベルを制限し、その結果、表示される画像の品質を制限する場合がある。さらに、AR/VRシステムに使用される導波管ディスプレイは、すべての表示ピクセルにわたって不均一性問題を有する場合がある。ピクセルの不均一性に対する補償動作は、画像のグレイスケールに対して損失をもたらし、表示される画像の品質をさらに低下させる場合がある。たとえば、8ビットピクセル(すなわち、256グレイレベル)を有する導波管ディスプレイは、不均一性(たとえば、8:1の導波管不均一性、0.1%の死滅マイクロLEDピクセル、および20%のマイクロLED強度不均一性)の補償後、6ビットピクセル(すなわち、64グレイレベル)を同等に有する場合がある。
【0056】
従来のLEDベースまたはμLEDベースのディスプレイとは異なり、CS-μLED(たとえば、GaN μLED、III-N LED、InGaN LEDなど)に基づくディスプレイは、印加された電流に応じて異なる色の光を放射することができる。その一方で、放射された光の強度は、駆動信号の電流密度に比例してもよい。結果として、CS-μLEDベースのディスプレイが、従来のLEDを使用するディスプレイのようにグレイスケールダイナミックレンジを提供するために、色と光の強度の両方を制御することは困難である可能性がある。これらの問題を解決するために、システムの特定の例は、ディザリング技法を使用して、CS-μLEDベースのディスプレイが、画像を表示するために対応する輝度を有する様々な色をサポートすることを可能にすることができる。システムは、電流を使用して放射された光の色を制御し、特定の設定パラメータを有するPWM駆動信号を使用して、限定された数の原色を生成するために明度を制御することができる。システムは、組み合わせて、ディスプレイ用の3次元色域に対応する特定の輝度値を有するいくつかの所定の色を作り出すことができる、2つ以上の原色を作り出すようにCS-μLEDを制御することができる。画像を表示するために、システムは、(たとえば、三刺激色空間において定義された)画像ピクセル色を、CS-μLEDベースのディスプレイの3次元色域にマッピングすることができる。システムは、3次元色域内で定義された色を識別して対応する画像ピクセル色を表し、ディザリング技法を使用してマッピングされた色をディスプレイが表示することが可能な色に量子化することができる。
【0057】
CS-μLEDベースのディスプレイを使用することにより、システムの特定の例は、ディスプレイシステムが、従来のディスプレイよりも短い待ち時間、高いコントラスト比、大きい色彩度、固有の自己照明、および良好な効率を有することを可能にすることができる。特定の輝度値を有する限定された数の所定の色を使用することにより、システムの特定の例は、画像を表示するために使用されるように4面体化され得る3次元色域を有することができる。限定された数の原色を使用することにより、システムの特定の例は、ディスプレイパネルに限定された数の駆動電流密度を提供することのみを必要とする場合がある。結果として、システムの特定の例は、CS-μLEDベースのディスプレイが、広範囲の色および大きいダイナミックレンジを有するように見える視覚効果を有する画像を表示することを可能にすることができる。
【0058】
特定の例では、AR/VRシステムは、ユーザに画像を表示するためにCS-μLED(たとえば、マイクロ発光ダイオード)を使用することができる。本開示に記載されたCS-μLED(すなわち、マイクロLED)は、任意の特定のタイプまたは材料に限定されないことは注目に値する。たとえば、CS-μLEDは、GaN LED(すなわち、窒化ガリウム発光ダイオード)、InGaN LED(すなわち、窒化インジウムガリウム発光ダイオード)、III-N LED(すなわち、III-窒化物発光ダイオード)、または任意の適切な発光ダイオードであってもよい。特定の例では、CS-μLEDは、高濃度にドープされた半導体材料の非常に薄い層から作製されてもよい。使用された半導体材料およびドーピングの量に応じて、順方向バイアスされると、CS-μLEDは、特定の色に対応する特定のスペクトル波長において発光することができる。CS-μLEDを作製するために使用された材料(たとえば、窒化インジウムガリウム)は、放射された光の異なる波長をもたらす異なる比率で混合されてもよい。たとえば、CS-μLEDは、III-N材料および関連する合金から構成されてもよく、強磁性結晶成長方向に沿って成長してもよい。合金組成、エピタキシャル層、ドーピング、ならびに他のパラメータ(たとえば、量子井戸および量子障壁の数および厚さ、成長方位、成長条件など)は、特定の色シフト特性に対して最適化されてもよい。特定の例では、CS-μLEDは、III-N LED、GaN LED、InGaN LEDなどと呼ばれる場合がある。CS-μLEDが順方向バイアスされると、半導体の伝導帯からの電子は、空孔と結合し、エネルギーを解放して光子を作り出す価電子帯を形成し、CS-μLEDが特定の色の光を放射することを可能にすることができる。CS-μLEDの主波長(色)は、順方向電流とともに変化する場合がある。一例として、かつ限定としてではなく、InGaN LEDは、青色放射InGaN材料用の順方向電圧を有する波長の変化に加えて、変換器材料の異なる濃度に起因する色シフトを表すことができる。別の例として、かつ限定としてではなく、GaN LEDは、順方向電流が異なる電流密度を有するとき、
図4に示された色シフト曲線に沿って色をシフトすることができる。
図4に示された色シフト曲線は例示目的であり、CS-μLEDはそれに限定されないことは注目に値する。たとえば、CS-μLEDは、器具類を使用して事前に測定された任意の色シフト曲線に沿って、放射された光の色をシフトすることができる。
【0059】
図4は、色シフトμLEDの例示的な色シフト曲線404を示す例示的な色度
図400を示す。特定の例では、AR/VRディスプレイシステムは、ユーザに画像を表示するためにCS-μLED(たとえば、III-N LED、GaN LED、InGaN LED)を使用することができる。従来のディスプレイとは異なり、CS-μLEDは、印加された電流に応じて異なる色を有する光を放射することができる。一例として、かつ限定としてではなく、印加された電流密度が所定の範囲(たとえば、5桁)にわたって増大するとき、CS-μLEDは、色度
図400内の色シフト曲線404に従って、赤色401から、緑色402および青色403までの範囲の異なる色を有する光を放射することができる。その一方で、放射光の明度レベルは、印加された電流密度に比例して変化する場合がある。結果として、赤色401は、比較的くすんだ赤色であってもよい。緑色402は、赤色401よりもかなり明るくてもよい。青色403は、緑色402よりもかなり明るくてもよい。適切な駆動信号が与えられると、CS-μLEDは、色シフト曲線404に沿って特定の明度レベルの任意の色を放射することができる。特定のCS-μLEDの色シフト曲線404は、所定の範囲(たとえば、5桁)にわたって駆動信号の電流密度を変更しながら、発光色(および輝度値)を測定することによって決定されてもよい。色シフト曲線404は、たとえば、曲線適合アルゴリズムを使用して、異なる電流密度の信号によって駆動された測定色(たとえば、406)に基づいて決定されてもよい。色度
図400は、
図4においてカラープリントの代わりにグレイスケールプリントを使用して示されていることは注目に値する。
図4の色度
図400内の各点は、対応する色度座標(x,y)によって色を表すことができる。色度
図400内の赤色401、緑色402、および青色403は、標準RGB(sRGB)色空間用のRGB原色に対応することができる。白色点405は、2つ以上の原色の組合せによって形成されたD65白色(すなわち、CIE標準光源D65)に対応することができる。
【0060】
CS-μLEDは、赤色、緑色、および青色を有する光を放射することができるが、従来のRGB LEDのような多数の色を作成するために、CS-μLEDを使用してRGB原色を生成することは非現実的であり得る。放射された光の色と明度の両方は印加された電流とともに変化するので、CS-μLEDが従来のRGB LEDのような特定の固定色のための大きいダイナミックレンジを有するグレイスケールを提供することは困難であり得る。特定の例では、システムは、(電流振幅に比例する)電流密度を使用して放射された光の色を制御し、特定のパルス幅変調(PWM)パラメータ(たとえば、デューティサイクル)を有するPWM信号を使用して放射された光の明度レベルを制御することができる。PWM信号によって制御されるCS-μLEDは、放射された光の異なる明度レベルの視覚効果を発生させるためにON/OFFモードで動作することができる。たとえば、PWM信号のデューティサイクルが長いほど、より高い明度レベルに対応する視覚効果が発生する可能性がある。PWM信号のデューティサイクルが短いほど、より低い明度レベルに対応する視覚効果が発生する可能性がある。本開示では、「明度」および「明度レベル」という用語は、放射された光の「光強度」または「輝度値」に対応することができる。しかしながら、放射された光の明度レベルさえ異なるPWMパラメータを有するPWM信号によって制御される場合があり、CS-μLEDが従来のRGB LEDのようなグレイスケールの大きいダイナミックレンジを提供するためにPWM信号に依存することは困難であり得る。同時に、放射された光の色を赤から青までシフトするために、大きい範囲(たとえば、5桁をカバーする範囲)にわたって電流密度が変化する必要があるので、画像を表示するために必要とされる多数の所望の色を有する光を直接放射するようにCS-μLEDを制御することは困難であり得る。
【0061】
特定の例では、これらの問題を解決するために、システムは、CS-μLEDベースのディスプレイ用の限定されたN個の原色を決定し、これらの限定された数の原色に基づいて画像をレンダリングし表示することができる。一例として、かつ限定としてではなく、システムは、色度
図400内の色シフト曲線404に沿って9個の原色を事前に決定することができる。結果として、システムは、色シフト曲線400に基づいて選択された9個の原色およびCS-μLEDのターンオフステータスに対応する黒色を含む10個の所定の原色を有することができる。10個の所定の原色は、赤色、緑色、および青色を含んでもよい。これらの赤色、緑色、および青色の強度は、3つの色を組み合わせてD65白色点405を作り出すことを可能にするそれぞれの値に設定されてもよい。残りの原色およびそれらの強度は、任意の3つの原色の合計がD65白色点405よりも明るくならないことを可能にする制約条件で決定されてもよい。限定された数の所定の原色(たとえば、10個の原色)を使用することにより、システムは、CS-μLEDベースのディスプレイを駆動するために限定された数の駆動電流(たとえば、各々が特定のPWM設定に関連付けられた9個の電流強度)のみを必要とする場合がある。
【0062】
10個の所定の原色は例示目的であり、所定の原色の数はそれに限定されないことは注目に値する。たとえば、システムは、画像を表示するための任意の適切な数の所定の原色(たとえば、10、15、20、または任意の整数)を有してもよい。所定の原色の各々は、本開示の後のセクションに記載される方法およびプロセスを使用して決定される特定の明度レベルを有してもよい。システムは、本開示の後のセクションに記載されるように、これらの所定の原色を使用して、3次元色空間内の表示用の3次元色域を形成する様々な色を作成することができる。本開示では、「原色」は、異なる色を生成するために1つまたは複数の他の「原色」と組み合わせて使用され得る色を指すことができる。「原色」は赤色、緑色、および青色に限定されず、CS-μLEDによって作り出すことができる(たとえば、色シフト曲線に沿った)任意の適切な色であり得る。
【0063】
図5Aは、CS-μLEDベースのディスプレイに画像を表示するために使用することができる例示的な3次元色空間500Aを示す。特定の例では、システムは、CS-μLEDベースのディスプレイ用の3次元色域を決定するためにLab色空間(すなわち、CIELAB色空間またはL*a*b色空間)を使用することができる。Lab色空間では、色はL、a、およびbの3つの値によって表されてもよく、ここで、Lは(Min(L)に対応する)黒から(Max(L)に対応する)白までの明度レベル(または輝度)用であり、aおよびbは、(-Max(a)に対応する)緑から(+Max(a)に対応する)赤までの色に対応するa、および(-Max(b)に対応する)青から(+Max(b)に対応する)黄までの色に対応するbを有する色度座標である。特定の例では、システムは、限定された数の所定の原色(たとえば、10個の原色)を選択し、これらの原色のうちの2つ以上の組合せを使用して、3次元色空間内のCS-μLEDベースのディスプレイ用の3次元色域を形成する限定された数の色(たとえば、130個の色)を作成することができる。一例として、かつ限定としてではなく、AR/VRシステムは、各々がCS-μLEDの配列を有する3つのディスプレイパネルを含んでもよい。画像ピクセルに対応する各ピクセル位置は、それぞれ、3つのディスプレイパネルからの3つのCS-μLEDに関連付けられてもよい。
【0064】
特定の例では、システムは、3つのディスプレイパネルのCS-μLEDのために、色シフト曲線に沿って選択された9個の色およびCS-μLEDのターンオフステータスに対応する黒色を含む10個の原色を事前に決定することができる。各ディスプレイパネルの各CS-μLEDは、特定の輝度値を有するこれら10個の原色から選択された任意の色を有する光を放射するようにシステムによって制御することができる。結果として、同じピクセル位置に関連付けられた3つのCS-μLEDは、原色の130個の可能な組合せ(たとえば、10から3を選択する組合せプラス10)に対応する特定の明度レベルの130個の所定の色を作り出すことができる。これら130個の所定の色は、各々が3次元色空間(たとえば、Lab色空間500A)内の位置に対応し、表示用の3次元色域(たとえば、501)を形成することができる。3次元色域501は、説明目的で
図5A内の球形によって表されていることは注目に値する。実際の3次元色域は、球形ではない凸包を有してもよい。代わりに、包の3次元色域は、3次元色空間500A内の130個の所定の色の位置によって決定された多面体であってもよい。3次元色域を形成する130個の所定の色は例示目的であり、CS-μLEDベースのディスプレイに使用することができる色域はそれに限定されないことは注目に値する。たとえば、CS-μLEDベースのディスプレイに使用することができる色域は、任意の適切な数の所定の色(たとえば、3つのディスプレイパネルを有するディスプレイシステム用の130色、2つのディスプレイパネルを有するディスプレイシステム用の55色)によって形成されてもよい。
【0065】
特定の例では、3次元色空間内の所定の色(たとえば、130色または55色)に対応する3次元色域は、M個の4面体に4面体化されてもよい。特定の例では、システムは、3次元色空間内のすべての所定の色(たとえば、130色)のための位置を決定することができる。これらの位置は、3次元色空間内のクラウドパターンの点を形成することができ、4面体化アルゴリズムを使用して4面体化されてもよい。本開示の前のセクションに記載されたように、3次元色域に含まれる各所定の色は、2つの色度座標aおよびb、ならびにその所定の色の明度レベルを示す輝度値Lに関連付けられてもよい。3次元色域を形成する所定の色の輝度値は、3次元色域の4面体が可能な限り均一な体積を有することを可能にする制約条件で決定されてもよい。言い換えれば、所定の色(たとえば、130色)の輝度値および色度座標は、Lab空間内の表示色域の4面体メッシュが可能な限り均一な4面体体積の分布を有することを可能にする制約条件で決定されてもよい。結果として、M個の4面体は、互いにおおよそ同じ体積を有することができる。表示色域501が4面体化された後、(たとえば、130個の所定の色のうちの)各所定の色は、対応する4面体の頂点に関連付けられてもよい。表示色域501内の各4面体(たとえば、502)の4つの頂点は、表示色域501に含まれる4つの所定の色(たとえば、503、504、505、506)に関連付けられてもよい。
【0066】
特定の例では、CS-μLEDベースのディスプレイに画像を表示するために、システムは、従来の色空間(たとえば、三刺激空間、sRGB色空間、HSV色空間、HSL色空間、CMYK色空間など)において定義されたピクセル色を、3次元色空間内のN個の所定の色と対応する輝度値の組合せによって定義された表示色域にマッピングすることができる。次いで、ピクセル位置ごとに、システムは、所望の輝度値を有する所望の色に対する近似として表示色域を定義するN個の所定の色から所定の色を識別することができる。その後、システムは、表示色域を定義するN個の所定の色から識別された所定の色に対応する3つの原色を決定することができる。次いで、システムは、PWM値を設定することによって制御される所定の輝度値を有する3つの原色を作り出すように、その特定のピクセル位置に関連付けられたそれぞれのディスプレイパネルの3つのCS-μLEDを制御することができる。特定の輝度値を有するこれら3つの原色は、組み合わせて、所望の明度レベルを有する所望の色の近似として使用され得る識別された所定の色を作り出すことができる。その一方で、システムは、フロイド-スタインバーグディザリングを使用してピクセル色の誤差を伝搬することができる。
【0067】
図5Bは、関連付けられた4面体に基づいてディザリングされる色を決定するための例示的なプロセス500Bを示す。特定の例では、伝搬誤差の大きさを制限するために、システムは、表示色域の体積をいくつかの4面体に分解し、表示色域内の所望の色の位置(たとえば、誤差修正ターゲット色の位置)を囲む4面体に従ってディザリングされる色を選択することができる。本開示の前のセクションに記載されたように、原色の輝度値は、表示色域の4面体が3次元色空間内で可能な限り均一な体積を有することを可能にする制約条件で選択されてもよい。均一な体積を有する4面体は、ディザリング誤差(すなわち、ディザリングノイズ)がすべての色にわたって可能な限り均一であることを可能にし、したがって、表示される画像のためにより良い視覚効果を生み出すことができる。一例として、かつ限定としてではなく、ピクセル位置(x,y)に画像ピクセルを表示するために、システムは、そのピクセル位置(x,y)のためのターゲットピクセル色I
(x,y)および伝搬誤差e
(x,y)を決定または受信することができる。伝搬誤差e
(x,y)は、先行ピクセルを処理するときにフロイド-スタインバーグディザリングアルゴリズムを使用して決定されてもよい。次いで、システムは、以下の式を使用して、誤差修正ターゲット色u
(x,y)を決定することができる。
u
(x,y)=I
(x,y)+e
(x,y) (1)
次いで、システムは、その色度座標およびターゲット輝度値Lに基づいて、誤差修正ターゲット色u
(x,y)用の3次元色空間内の位置519を決定することができる。次いで、システムは、誤差修正ターゲット色u
(x,y)の位置519が表示色域の凸包内にあるかどうかをチェックすることができる。誤差修正ターゲット色u
(x,y)の位置519が表示色域の凸包内にあるとき、システムは、その4面体510が誤差修正ターゲット色u
(x,y)の位置519を包括的に含むかまたは囲むという判断に基づいて、表示色域のM個の4面体から4面体510を識別することができる。特定の例では、誤差修正ターゲット色は、フロイド-スタインバーグディザリングが不安定になることを防ぐために、(たとえば、本開示の後のセクションに記載されるように表示域に投影することによって)表示色域内に保持されてもよい。
【0068】
その後、特定の例では、システムは、関連付けられた4面体510の4つの頂点(たとえば、511、512、513、514)に対する誤差修正ターゲット色519の重心重み(たとえば、515、516、517、518)を決定することができる。次いで、システムは、誤差修正ターゲット色519の4つの重心重み(たとえば、515、516、517、518)を比較し、4つの重心重み(たとえば、515、516、517、518)の中で最大の重心重み(たとえば、515)に関連付けられた頂点(たとえば、511)を識別することができる。次いで、システムは、頂点(たとえば、511)が最大の重心重み515に関連付けられたという判断に基づいて、4面体の4つの頂点から、誤差修正ターゲット色519に最も近い頂点である頂点(たとえば、511)を選択することができる。システムは、選択された頂点515に対応する(表示色域を定義するN個の所定の色のうちの1つである)所定の色を、ピクセル位置(x,y)のためのディザリングされたピクセル色I’
(x,y)として使用することができる。その後、システムは、組み合わせて、選択された頂点(たとえば、511)に対応する所定の色を作り出す3つの原色を決定することができる。一例として、かつ限定としてではなく、N個の所定の色とそれらの対応する原色との間の相関関係は、システムによって実行時にアクセスされ得る参照テーブルに格納されてもよい。システムは、参照テーブルにアクセスして、ピクセル位置(x,y)のためのディザリングされたピクセル色I’
(x,y)に関連付けられた3つの原色を決定することができる。システムは、現在のピクセル位置(x,y)に関連付けられたそれぞれのディスプレイパネルの3つのCS-μLEDを駆動するために必要とされる電流密度および対応するPWM設定パラメータを決定することができる。次いで、システムは、適切な電流密度およびPWM設定パラメータを有する駆動信号を対応するCS-μLEDに出力して、3つの原色を作り出すことができる。これら3つの原色は、組み合わせて観察されると、ピクセル位置(x,y)においてディザリングされたピクセル色I’
(x,y)を作り出すことができる。その後、システムは、以下の式を使用して現在のピクセル色の誤差e’
(x,y)を計算し、フロイド-スタインバーグディザリングを使用して他の隣接ピクセルに誤差e’
(x,y)を伝搬することができる。
e’
(x,y)=u
(x,y)-I’
(x,y) (2)
特定の例では、ターゲット色I
(x,y)、伝搬誤差e
(x,y)、誤差修正ターゲット色u
(x,y)、ディザリングされたピクセル色I’
(x,y)、および他の隣接ピクセルに対するディザリング誤差e’
(x,y)が定義され、三刺激色空間内で表されてもよい。
図5Bの4面体510は例示目的であることは注目に値する。表示色域の4面体がそれらに限定されない。たとえば、表示色域の4面体は、
図5Bに示された形状およびサイズ以外に任意の適切な形状および任意の適切なサイズを有してもよい。
【0069】
図5Cは、フロイド-スタインバーグディザリングを使用して誤差を伝搬するための例示的なプロセス500Bを示す。特定の例では、システムは、フロイド-スタインバーグディザリングを使用して隣接ピクセル位置にピクセル誤差を伝搬することができる。画像520の現在ピクセルP
(i,j)の場合、システムは、最初に、ピクセルP
(i,j)のために(たとえば、三刺激色空間内で定義された)ターゲット色I
(i,j)、および(たとえば、三刺激色空間内で定義された)伝搬誤差e
(i,j)を決定または受信することができる。伝搬誤差e
(i,j)は、フロイド-スタインバーグディザリングを使用して処理中のピクセルを処理するためのプロセス中に決定された誤差であってもよい。システムは、本開示の前のセクションに記載された方法およびプロセスを使用して、現在のピクセルP
(i,j)のためのディザリングされた色I’
(i,j)を決定することができる。次いで、システムは、式(2)を使用して、隣接ピクセル位置に伝搬される必要がある誤差e’
(i,j)を決定することができる。その後、システムは、フロイド-スタインバーグモデルを使用して、誤差e’
(i,j)を4つの部分に分割し、これらの誤差部分をそれぞれの隣接ピクセル位置に伝搬することができる。一例として、かつ限定としてではなく、システムは、フロイド-スタインバーグモデルに誤差部分e’
(i,j)を供給し、それぞれ、P
(i、j+1)、P
(i+1、j-1)、P
(i+1、j)、およびP
(i+1、j+1)の4つの近傍または隣接ピクセルのためのe
(i、j+1)、e
(i+1、j-1)、e
(i+1、j)、およびe
(i+1、j+1)の4つの誤差部分を決定することができる。システムは、現在ピクセルの同じ行および次の列のピクセルである第1の近傍ピクセルP
(i、j+1)に対応する第1の誤差部分e
(i、j+1)を決定することができる。第1の誤差部分の値は、e’
(i,j)×7/16を使用して決定されてもよい。システムは、現在ピクセルの次の行および前の列のピクセルである第2の近傍ピクセルに対応する第2の誤差部分の値e
(i+1、j-1)を決定することができる。第2の空間誤差部分の値は、e’
(i,j)×3/16を使用して決定されてもよい。システムは、現在ピクセルの次の行および同じ列のピクセルである第3の近傍ピクセルに対応する第3の誤差部分の値e
(i+1、j)を決定することができる。第3の誤差部分の値は、e’
(i,j)×5/16を使用して決定されてもよい。システムは、現在ピクセルの次の行および次の列のピクセルである第4の近傍ピクセルに対応する第4の誤差部分の値e
(i+1、j+1)を決定することができる。第4の誤差部分の値は、e’
(i,j)×1/16を使用して決定されてもよい。4つの誤差部分は、それぞれの隣接ピクセル位置に伝搬されてもよいし、これらの隣接ピクセルが処理されるときにそれぞれのターゲット色値を修正するために使用されてもよい。
【0070】
図5D~
図5Eは、表示色域501の外側にある誤差修正ターゲット色530を表示色域501に投影するための例示的なプロセス500Dおよび500Eを示す。特定の例では、ピクセル位置のための誤差修正ターゲット色530は、表示色域501の外側にあってもよい。たとえば、特定のピクセル位置に対して、対応する画像ピクセルから決定されたターゲット色は、表示域の凸包の縁部に近い場合がある。ターゲット色が処理中のピクセルから伝搬誤差によって修正されるとき、誤差修正ターゲット色は、表示色域の凸包の外側にあるか、またはそれを越えている場合がある。結果として、フロイド-スタインバーグアルゴリズムが不安定になる可能性がある。この問題を解決するために、特定の例では、システムは、多原色フロイド-スタインバーグディザリングアルゴリズムを使用して、(たとえば、10個の原色および130個の色点を有する)多原色3次元色域501を考慮に入れることができる。
【0071】
一例として、かつ限定としてではなく、
図5Dに示されたように、誤差修正ターゲット色530が表示色域501の凸包内にないとき、システムは、誤差修正ターゲット色530を表示色域501に投影することにより、関連付けられた4面体を決定することができる。システムは、投影線531に沿って誤差修正ターゲット色530を投影することができ、投影線531は、誤差修正ターゲット色530から始まり、誤差修正ターゲット色530と同じ輝度値を有する輝度軸上の点を指すことができる。投影線531が表示色域501の凸包と交差するとき、システムは、投影線531と表示色域501の凸包の交点532に基づいて、関連付けられた4面体533を決定することができる。次いで、システムは、4面体533が交点532を包括的に含むかまたは囲むとの判断に基づいて、表示色域510から4面体533を識別することができる。その後、システムは、識別された4面体533の4つの頂点に対する交点532のための重心重みを決定することができる。
【0072】
次いで、システムは、4つの重心重み値を互いに比較し、最大の重心重み値および最大の重心重みに関連付けられた頂点を識別することができる。最大の重心重み値に関連付けられた頂点は、識別された4面体533の4つの頂点の中で交点532に最も近い頂点であってもよい。次いで、システムは、最大の重心重みに関連付けられた頂点に対応する所定の色を、現在のピクセル位置のための誤差修正ターゲット色530向けのディザリングされた色として識別することができる。次いで、システムは、ディザリングされた色と誤差修正ターゲット色530との間の誤差を特定し、多原色フロイド-スタインバーグディザリングアルゴリズムを使用して隣接ピクセルにその誤差を伝搬することができる。このシナリオでは、3次元色空間のa-b平面と平行な投影線531を使用することにより、誤差修正ターゲット色530の輝度値が保存されてもよく、誤差修正ターゲット色530とディザリングされた色との間の差は複数の色に限定されてもよい。
【0073】
別の例として、かつ限定としてではなく、
図5Eに示されたように、誤差修正ターゲット色540が表示色域501の凸包内にないとき、システムは、誤差修正ターゲット色540から始まり、表示色域501の中心点を指す投影線542を使用して、誤差修正ターゲット色540を表示色域501に投影することにより、関連付けられた4面体543を決定することができる。システムは、最初に、投影線541に沿って誤差修正ターゲット色540を投影するように試みることができ、投影線541は、誤差修正ターゲット色540から始まり、誤差修正ターゲット色540と同じ輝度値を有する輝度軸上の点を指す方向であってもよい。しかしながら、この例では、投影線541は表示色域501の凸包と交差しない。システムは、誤差修正ターゲット色540から始まり、表示色域501の中心点を指す投影線542に沿って、誤差修正ターゲット色540を投影することができる。特定の例では、システムは、誤差修正ターゲット色540から始まり、3次元色域501の中心輝度値に対応する輝度軸上の点を指す投影線に沿って、誤差修正ターゲット色540を投影することができる。
【0074】
その後、システムは、投影線542と3次元色域501の凸包の交点543に基づいて、関連付けられた4面体544を決定することができる。システムは、4面体544が交点543を包括的に含むかまたは囲むとの判断に基づいて、表示色域510のいくつかの4面体から4面体544を識別することができる。次いで、システムは、識別された4面体544の4つの頂点に対する交点543のための重心重みを決定することができる。その後、システムは、4つの重心重み値を互いに比較し、最大の重心重み値および最大の重心重みに関連付けられた頂点を識別することができる。最大の重心重みに関連付けられた頂点は、識別された4面体544の4つの頂点の中で交点543に最も近い頂点であってもよい。次いで、システムは、最大の重心重みに関連付けられた頂点に対応する所定の色を、現在のピクセル位置のための誤差修正ターゲット色540向けのディザリングされた色として識別することができる。次いで、システムは、ディザリングされた色と誤差修正ターゲット色540との間の誤差を特定し、多原色フロイド-スタインバーグディザリングアルゴリズムを使用して隣接ピクセルにその誤差を伝搬することができる。
【0075】
特定の例では、3つのディスプレイパネルを含むCS-μLEDベースのディスプレイについて上述された方法、プロセス、および原理は、(3つのディスプレイパネルの代わりに)2つのディスプレイパネルまたは信号ディスプレイパネルを含むCS-μLEDベースのディスプレイに画像を表示することに適用されてもよい。特定の例では、ディスプレイシステムは、各々がCS-μLEDの配列を含む2つのディスプレイパネルを含んでもよい。システムは、それぞれ、2つのディスプレイパネルの2つのCS-μLEDによって生成された2つの原色を組み合わせることによって表示色域を定義するN個の所定の色(たとえば、N=55)の各所定の色を作り出すことができる。たとえば、システムは、赤およびシアンまたは黄および青を組み合わせることにより、白色を生成することができる。特定の例では、システムは、各ディスプレイパネルのCS-μLEDのために10個の所定の原色を選択することができる。結果として、システムは、10個の原色の55個の可能な組合せに基づいて、特定の輝度値を有する55個の所定の色を生成することができる。特定の例では、特定の輝度値を有する55個の所定の色は、2つのディスプレイパネルを含むCS-μLEDベースのディスプレイのための3次元色域を形成することができる。ディスプレイの3次元色域は、3つのディスプレイパネルを含むCS-μLEDベースのディスプレイ向けの同じまたは同様の方法を使用してディザリングされるピクセル色を決定するために使用することができるいくつかの4面体に4面体化されてもよい。
【0076】
特定の例では、CS-μLEDベースのディスプレイは、CS-μLEDの配列を含む単一のディスプレイパネルを含んでもよい。このシナリオでは、システムは、3つのディスプレイパネルを含むCS-μLEDベースのディスプレイによって使用される従来のフレームレートよりも2倍または3倍速いフレームレートを有するフィールド連続モードで動作するようにディスプレイパネルに指示することができる。ディスプレイシステムは、時間内で連続して特定の明度を有する2つまたは3つの原色を表示し、これらの2つまたは3つの連続して表示された色の組合せに対応する所望の色を作り出すことができる。画像は、3つのディスプレイパネルを有するCS-μLEDベースのディスプレイ向けの同じまたは同様の方法、プロセス、および原理を使用して、単一のディスプレイパネルを含むCS-μLEDベースのディスプレイにレンダリングおよび表示されてもよい。
【0077】
図6は、色シフトμLEDベースのディスプレイを使用して画像を表示するための例示的な方法600を示す。方法は、ステップ610から始まり、コンピューティングシステムは、ピクセル位置のためのターゲット色および伝搬誤差を受信することができる。ターゲット色および伝搬誤差は、CS-μLEDベースのディスプレイを使用して表示される画像に関連付けられてもよい。ステップ610において、システムは、受信されたターゲット色および伝搬誤差に基づいて、ピクセル位置のための誤差修正ターゲット色を決定することができる。ステップ620において、システムは、3次元色空間内の誤差修正ターゲット色の位置に基づいて、3次元色空間内で定義されたいくつかの所定の色から所定の色のサブセットを識別することができる。誤差修正ターゲット色は、所定の色のサブセットの重み付けされた組合せに対応することができる。ステップ630において、システムは、所定の色のサブセットおよび所定の色のサブセットに関連付けられたそれぞれの重みに基づいて、ピクセル位置のためのピクセル色を決定することができる。ステップ640において、システムは、ピクセル色に基づいて、ピクセル位置に関連付けられた1つまたは複数の発光素子向けの1つまたは複数の駆動信号を決定することができる。ステップ650において、システムは、ピクセル位置に関連付けられた1つまたは複数の発光素子を制御するために、1つまたは複数の駆動信号を出力することができる。
【0078】
特定の例では、所定の色のサブセットは、各々が3次元色空間内の所定の色のサブセットに関連付けられた4面体の頂点に対応することができる。特定の例では、システムは、誤差修正ターゲット色の位置が3次元色空間内の3次元色域の包内にあるとの判断に応答して、4面体が誤差修正ターゲット色の位置を囲むとの判断に基づいて、3次元色域に関連付けられたいくつかの4面体から4面体を識別することができる。特定の例では、システムは、誤差修正ターゲット色が3次元色域の包の外にあるとの判断に応答して、誤差修正ターゲット色の位置から始まり、誤差修正ターゲット色と同じ輝度値を有する輝度軸上の点を指す第1の投影線を決定することができる。4面体は、第1の投影線の3次元色域の包との第1の交点に関連付けられてもよい。特定の例では、システムは、第1の投影線が3次元色域の包と交差しないとの判断に応答して、誤差修正ターゲット色の位置から始まり、3次元色域の中心輝度点を指す第2の投影線を決定することができる。4面体は、第2の投影線の3次元色域の包との第2の交点に基づいて関連付けられてもよい。特定の例では、システムは、4面体の頂点に対する誤差修正ターゲット色の位置のための重心重みを決定することができる。ピクセル色は、誤差修正ターゲット色の位置の最大の重心重みに関連付けられた頂点に基づいて決定されてもよい。特定の例では、ピクセル位置のためのピクセル色は、3次元色域に関連付けられた所定の色の中で誤差修正ターゲット色に最も近い色であり得る。
【0079】
特定の例では、システムは、ターゲット色とピクセル色との間の差に基づいてディザリング誤差を特定することができる。システムは、多原色フロイドースタインバーグディザリングアルゴリズムを使用して、隣接ピクセルにディザリング誤差を伝搬することができる。多原色フロイドースタインバーグディザリングアルゴリズムは、3次元色域に関係する情報にアクセスすることができる。特定の例では、システムは、ピクセル位置のためのピクセル色の輝度パラメータに基づいて、駆動信号用の1つまたは複数のPWM設定パラメータを決定することができる。1つまたは複数の発光素子に出力される駆動信号は、1つまたは複数のPWM設定パラメータを使用して構成されてもよい。特定の例では、ピクセル位置に関連付けられた1つまたは複数の発光素子は、ピクセル色および輝度パラメータに対応する輝度値を有する光を放射することができる。1つまたは複数の発光素子は、1つまたは複数のPWM設定パラメータを使用して構成された駆動信号によって制御されるON/OFFモードで動作することができる。特定の例では、ターゲット色は、三刺激空間、RGB色空間、HSV色空間、HSL色空間、またはCMYK色空間において定義された色モデルからディスプレイによって定義された3次元色空間にマッピングされてもよい。特定の例では、伝搬誤差は、先行ピクセルを処理するためのディザリングプロセス中に多原色フロイド-スタインバーグディザリングアルゴリズムによって決定されてもよい。
【0080】
特定の例では、所定の色の各々は、1つまたは複数の発光素子に関連付けられた2つ以上の所定の原色の組合せに対応することができる。システムは、ピクセル色に基づいて2つ以上の所定の原色を決定することができる。2つ以上の所定の原色の各々は、所定の輝度値に関連付けられてもよい。特定の例では、2つ以上の所定の原色は、1つまたは複数の発光素子に関連付けられた色シフト曲線に基づいて決定されてもよい。特定の例では、1つまたは複数の発光素子は、異なる電流密度を有する信号によって駆動されると、色シフト曲線によって特徴付けられた異なる色を有する光を放射することができる。特定の例では、各々の所定の原色は、電流密度と1つまたは複数のPWM設定パラメータの組合せに関連付けられてもよい。特定の例では、電流密度は、その所定の原色の色調を制御することができる。1つまたは複数のPWM設定パラメータは、その所定の原色の明度レベルまたは輝度値を制御することができる。
【0081】
特定の例では、1つまたは複数の発光素子は、それぞれ、3つのディスプレイパネルに関連付けられた3つの発光素子を含んでもよい。所定の色の各々は、それぞれ、3つのディスプレイパネルの3つの発光素子によって生成された3つの所定の原色の組合せに対応することができる。特定の例では、1つまたは複数の発光素子は、それぞれ、2つのディスプレイパネルに関連付けられた2つの発光素子を含んでもよい。所定の色の各々は、それぞれ、2つのディスプレイパネルの2つの発光素子によって生成された2つの所定の原色の組合せに関連付けられてもよい。特定の例では、1つまたは複数の発光素子は、単一のディスプレイパネルに関連付けられた単一の発光素子を含んでもよい。単一の発光素子は、時間内に連続して2つ以上の所定の原色を有する光を放射することができる。所定の色の各々は、時間内に連続して作り出された2つ以上の所定の原色の組合せに対応することができる。
【0082】
特定の例は、必要に応じて、
図6の方法の1つまたは複数のステップを繰り返すことができる。本開示は、
図6の方法の特定のステップを特定の順序で行われるものとして記載および図示しているが、本開示は、任意の適切な順序で行われる
図6の方法の任意の適切なステップを企図している。その上、本開示は、
図6の方法の特定のステップを含む、色シフトμLEDベースのディスプレイを使用して画像を表示するための例示的な方法を記載および図示しているが、本開示は、必要に応じて
図6の方法のステップのうちのすべて、一部を含むか、または何も含まない場合がある任意の適切なステップを含む、色シフトμLEDベースのディスプレイを使用して画像を表示するための任意の適切な方法を企図している。さらに、本開示は、
図6の方法の特定のステップを遂行する特定の構成要素、デバイス、またはシステムを記載および図示しているが、本開示は、
図6の方法の任意の適切なステップを遂行する任意の適切な構成要素、デバイス、またはシステムの任意の適切な組合せを企図している。
【0083】
図7は、例示的なコンピュータシステム700を示す。特定の例では、1つまたは複数のコンピュータシステム700は、本明細書に記載または図示された1つまたは複数の方法の1つまたは複数のステップを実行する。特定の例では、1つまたは複数のコンピュータシステム700は、本明細書に記載または図示された機能を実現する。特定の例では、1つまたは複数のコンピュータシステム700上で動作するソフトウェアは、本明細書に記載もしくは図示された1つもしくは複数の方法の1つもしくは複数のステップを実行するか、または本明細書に記載もしくは図示された機能を実現する。特定の例は、1つまたは複数のコンピュータシステム700の1つまたは複数の部分を含む。本明細書では、コンピュータシステムに対する言及は、コンピューティングデバイスを包含することができ、必要に応じて逆も同様である。その上、コンピュータシステムに対する言及は、必要に応じて1つまたは複数のコンピュータシステムを包含することができる。
【0084】
本開示は、任意の適切な数のコンピュータシステム700を企図している。本開示は、任意の適切な物理形態を取るコンピュータシステム700を企図している。一例として、かつ限定としてではなく、コンピュータシステム700は、組込み型コンピュータシステム、システムオンチップ(SOC)、(たとえば、コンピュータオンモジュール(COM)もしくはシステムオンモジュール(SOM)などの)シングルボードコンピュータシステム(SBC)、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、双方向キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実デバイス、またはこれらのうちの2つ以上の組合せであってもよい。必要に応じて、コンピュータシステム700は、1つもしくは複数のコンピュータシステム700を含み、単体もしくは分散型であり、複数の位置に及び、複数の機械に及び、複数のデータセンタに及び、または、1つもしくは複数のネットワークにおいて1つもしくは複数のクラウド構成要素を含む場合があるクラウド内に存在してもよい。必要に応じて、1つまたは複数のコンピュータシステム700は、本明細書に記載または図示された1つまたは複数の方法の1つまたは複数のステップを、実質的な空間または時間の制限なしに実行することができる。一例として、かつ限定としてではなく、1つまたは複数のコンピュータシステム700は、本明細書に記載または図示された1つまたは複数の方法の1つまたは複数のステップを、リアルタイムまたはバッチモードで実行することができる。1つまたは複数のコンピュータシステム700は、必要に応じて、本明細書に記載または図示された1つまたは複数の方法の1つまたは複数のステップを、異なる時間または異なる位置において実行することができる。
【0085】
特定の例では、コンピュータシステム700は、プロセッサ702、メモリ704、ストレージ706、入力/出力(I/O)インターフェース708、通信インターフェース710、およびバス712を含む。本開示は、特定の配置で特定の数の特定の構成要素を有する特定のコンピュータシステムを記載および図示しているが、本開示は、任意の適切な配置で任意の適切な数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを企図している。
【0086】
特定の例では、プロセッサ702は、コンピュータプログラムを構成する命令などの命令を実行するためのハードウェアを含む。一例として、かつ限定としてではなく、命令を実行するために、プロセッサ702は、内部レジスタ、内部キャッシュ、メモリ704、またはストレージ706から命令を取り出し(またはフェッチし)、それらを復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ704、またはストレージ706に1つまたは複数の結果を書き込むことができる。特定の例では、プロセッサ702は、データ、命令、またはアドレス用の1つまたは複数の内部キャッシュを含んでもよい。本開示は、必要に応じて、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ702を企図している。一例として、かつ限定としてではなく、プロセッサ702は、1つまたは複数の命令キャッシュ、1つまたは複数のデータキャッシュ、および1つまたは複数の変換ルックアサイドバッファ(TLB)を含んでもよい。命令キャッシュ内の命令は、メモリ704またはストレージ706内の命令のコピーであってもよく、命令キャッシュは、プロセッサ702によるそれらの命令の取り出しを加速することができる。データキャッシュ内のデータは、プロセッサ702における命令実行が動作するためのメモリ704またはストレージ706内のデータ、プロセッサ702における次の命令実行によるアクセスのため、またはメモリ704もしくはストレージ706に書き込むためにプロセッサ702において実行された前の命令の結果、あるいは他の適切なデータのコピーであってもよい。データキャッシュは、プロセッサ702による読取りまたは書込みの動作を加速することができる。TLBは、プロセッサ702のための仮想アドレス変換を加速することができる。特定の例では、プロセッサ702は、データ、命令、またはアドレス用の1つまたは複数の内部レジスタを含んでもよい。本開示は、必要に応じて、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ702を企図している。必要に応じて、プロセッサ702は、1つもしくは複数の算術論理演算ユニット(ALU)を含むか、マルチコアプロセッサであるか、または1つもしくは複数のプロセッサ702を含んでもよい。本開示は、特定のプロセッサを記載および図示しているが、本開示は、任意の適切なプロセッサを企図している。
【0087】
特定の例では、メモリ704は、プロセッサ702が実行するための命令、またはプロセッサ702が動作するためのデータを記憶するためのメインメモリを含む。一例として、かつ限定としてではなく、コンピュータシステム700は、ストレージ706または(たとえば、別のコンピュータシステム700などの)別のソースからメモリ704に命令をロードすることができる。プロセッサ702は、次いで、メモリ704から内部レジスタまたは内部キャッシュに命令をロードすることができる。命令を実行するために、プロセッサ702は、内部レジスタまたは内部キャッシュから命令を取り出し、それらを復号することができる。命令の実行の間または後に、プロセッサ702は、内部レジスタまたは内部キャッシュに1つまたは複数の(中間結果または最終結果であり得る)結果を書き込むことができる。プロセッサ702は、次いで、それらの結果のうちの1つまたは複数をメモリ704に書き込むことができる。特定の例では、プロセッサ702は、(ストレージ706または他の場所とは対照的に)1つまたは複数の内部レジスタまたは内部キャッシュまたはメモリ704内の命令のみを実行し、(ストレージ706または他の場所とは対照的に)1つまたは複数の内部レジスタまたは内部キャッシュまたはメモリ704内のデータのみに対して動作する。(各々がアドレスバスおよびデータバスを含む場合がある)1つまたは複数のメモリバスは、プロセッサ702をメモリ704に結合することができる。バス712は、以下に記載されるように、1つまたは複数のメモリバスを含んでもよい。特定の例では、1つまたは複数のメモリ管理ユニット(MMU)がプロセッサ702とメモリ704との間に存在し、プロセッサ702によって要求されたメモリ704へのアクセスを容易にする。特定の例では、メモリ704はランダムアクセスメモリ(RAM)を含む。このRAMは、必要に応じて、揮発性メモリであってもよい。必要に応じて、このRAMは、ダイナミックRAM(DRAM)またはスタティックRAM(SRAM)であってもよい。その上、必要に応じて、このRAMは、シングルポートRAMまたはマルチポートRAMであってもよい。本開示は、任意の適切なRAMを企図している。メモリ704は、必要に応じて、1つまたは複数のメモリ704を含んでもよい。本開示は、特定のメモリを記載および図示しているが、本開示は、任意の適切なメモリを企図している。
【0088】
特定の例では、ストレージ706は、データまたは命令用の大容量ストレージを含む。一例として、かつ限定としてではなく、ストレージ706は、ハードディスクドライブ(HDD)、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス(UDB)ドライブ、またはこれらのうちの2つ以上の組合せを含んでもよい。ストレージ706は、必要に応じて、リムーバブル媒体または非リムーバブル(すなわち固定)媒体を含んでもよい。ストレージ706は、必要に応じて、コンピュータシステム700の内部または外部にあってもよい。特定の例では、ストレージ706は不揮発性ソリッドステートメモリである。特定の例では、ストレージ706は読取り専用メモリ(ROM)を含む。必要に応じて、このROMは、マスクプログラムROM、プログラマブルROM(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、電気的変更可能ROM(EAROM)、もしくはフラッシュメモリ、またはこれらのうちの2つ以上の組合せであってもよい。本開示は、任意の適切な物理形態を取る大容量ストレージ706を企図している。ストレージ706は、必要に応じて、プロセッサ702とストレージ706との間の通信を容易にする1つまたは複数のストレージ制御ユニットを含んでもよい。必要に応じて、ストレージ706は1つまたは複数のストレージ706を含んでもよい。本開示は、特定のストレージを記載および図示しているが、本開示は、任意の適切なストレージを企図している。
【0089】
特定の例では、I/Oインターフェース708は、コンピュータシステム700と1つまたは複数のI/Oデバイスとの間の通信用の1つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。コンピュータシステム700は、必要に応じて、これらのI/Oデバイスのうちの1つまたは複数を含んでもよい。これらのI/Oデバイスのうちの1つまたは複数は、人とコンピュータシステム700との間の通信を可能にすることができる。一例として、かつ限定としてではなく、I/Oデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、静止カメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なI/Oデバイス、またはこれらのうちの2つ以上の組合せを含んでもよい。I/Oデバイスは、1つまたは複数のセンサを含んでもよい。本開示は、任意の適切なI/Oデバイスおよびそれらのための任意の適切なI/Oインターフェース708を企図している。必要に応じて、I/Oインターフェース708は、プロセッサ702がこれらのI/Oデバイスのうちの1つまたは複数を駆動することを可能にする1つまたは複数のデバイスまたはソフトウェアドライバを含んでもよい。I/Oインターフェース708は、必要に応じて、1つまたは複数のI/Oインターフェース708を含んでもよい。本開示は、特定のI/Oインターフェースを記載および図示しているが、本開示は、任意の適切なI/Oインターフェースを企図している。
【0090】
特定の例では、通信インターフェース710は、コンピュータシステム700と1つもしくは複数の他のコンピュータシステム700または1つもしくは複数のネットワークとの間の(たとえば、パケットベースの通信などの)通信用の1つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。一例として、かつ限定としてではなく、通信インターフェース710は、イーサネットもしくは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ(NIC)もしくはネットワークアダプタ、またはWI-FIネットワークなどのワイヤレスネットワークと通信するためのワイヤレスNIC(WNIC)もしくはワイヤレスアダプタを含んでもよい。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース710を企図している。一例として、かつ限定としてではなく、コンピュータシステム700は、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、またはインターネットの1つもしくは複数の部分、あるいはこれらのうちの2つ以上の組合せと通信することができる。これらのネットワークのうちの1つまたは複数の1つまたは複数の部分は、有線またはワイヤレスであってもよい。一例として、コンピュータシステム700は、(たとえば、BLUETOOTH WPANなどの)ワイヤレスPAN(WPAN)、WI-FIネットワーク、WI-MAXネットワーク、(たとえば、モバイル通信用グローバルシステム(GSM)ネットワークなどの)携帯電話ネットワーク、もしくは他の適切なワイヤレスネットワーク、またはこれらのうちの2つ以上の組合せと通信することができる。コンピュータシステム700は、必要に応じて、これらのネットワークのいずれかのための任意の適切な通信インターフェース710を含んでもよい。通信インターフェース710は、必要に応じて、1つまたは複数の通信インターフェース710を含んでもよい。本開示は、特定の通信インターフェースを記載および図示しているが、本開示は、任意の適切な通信インターフェースを企図している。
【0091】
特定の例では、バス712は、コンピュータシステム700の構成要素を互いに結合する、ハードウェア、ソフトウェア、または両方を含む。一例として、かつ限定としてではなく、バス712は、アクセラレイティッドグラフィックスポート(AGP)もしくは他のグラフィックスバス、拡張工業標準アーキテクチャ(EISA)バス、フロントサイドバス(FSB)、HYPERTRANSPORT(HT)相互接続、工業標準アーキテクチャ(ISA)バス、INFINIBAND相互接続、ローピンカウント(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、周辺装置相互接続(PCI)バス、PCIエクスプレス(PCIe)バス、シリアルアドバンストテクノロジーアタッチメント(SATA)バス、ビデオエレクトロニクススタンダーズアソシエーションローカル(VLB)バス、または別の適切なバス、あるいはこれらのうちの2つ以上の組合せを含んでもよい。バス712は、必要に応じて、1つまたは複数のバス712を含んでもよい。本開示は、特定のバスを記載および図示しているが、本開示は、任意の適切なバスまたは相互接続を企図している。
【0092】
本明細書では、1つまたは複数のコンピュータ可読非一時的記憶媒体は、必要に応じて、(たとえば、フィールドプログラマブルゲートアレイ(FPGA)もしくは特定用途向けIC(ASIC)などの)1つもしくは複数の半導体ベースもしくは他の集積回路(IC)、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAMドライブ、SECURE DIGITALカードもしくはドライブ、任意の他の適切なコンピュータ可読非一時的記憶媒体、またはこれらのうちの2つ以上の任意の適切な組合せを含んでもよい。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性と不揮発性の組合せであってもよい。
【0093】
本明細書では、「または」は、特に明確に指示のない限り、または文脈によって特に指示のない限り、包括的であって排他的ではない。したがって、本明細書では、「AまたはB」は、特に明確に指示のない限り、または文脈によって特に指示のない限り、「A、B、または両方」を意味する。その上、「および」は、特に明確に指示のない限り、または文脈によって特に指示のない限り、共有と個別の両方である。したがって、本明細書では、「AおよびB」は、特に明確に指示のない限り、または文脈によって特に指示のない限り、「一緒にまたは個別に、AおよびB」を意味する。
【0094】
本開示の範囲は、当業者が理解するはずの本明細書に記載または図示された例および実施形態に対するすべての変化、置換、変形、変更、および修正を包含する。本開示の範囲は、本明細書に記載または図示された例および実施形態に限定されない。その上、本開示は、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして本明細書のそれぞれの例および実施形態を記載および図示しているが、これらの例および実施形態のいずれも、当業者が理解するはずの本明細書のどこかに記載または図示された構成要素、要素、特徴、機能、動作、またはステップのいずれかの組合せまたは置換を含んでもよい。さらに、特定の機能を実行するように適合、配置、可能、構成、有効化、動作可能、または作動する装置もしくはシステムまたは装置もしくはシステムの構成要素に対する添付特許請求の範囲における参照は、その装置、システム、または構成要素がそのように適合、配置、可能、構成、有効化、動作可能、または作動する限り、その特定の機能が起動、ターンオン、またはアンロックされているか否かにかかわらず、その装置、システム、構成要素を包含する。その上、本開示は、特定の利点を提供するものとして特定の例および実施形態を記載または図示しているが、特定の例および実施形態は、これらの利点のうちの何も提供しないか、またはこれらの例のうちの一部もしくはすべてを提供することができる。
【国際調査報告】