知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-27
(45)【発行日】2024-04-04
(54)【発明の名称】ディスプレイデバイスにおけるフレームレートに基づく照明制御
(51)【国際特許分類】
G09G 3/20 20060101AFI20240328BHJP
G09G 3/34 20060101ALI20240328BHJP
G09G 3/36 20060101ALI20240328BHJP
H04N 5/66 20060101ALI20240328BHJP
G09G 3/3233 20160101ALI20240328BHJP
【ＦＩ】
G09G3/20 641K
G09G3/34 J
G09G3/36
H04N5/66 B
G09G3/3233
G09G3/20 K
G09G3/20 641A
G09G3/20 624D
【請求項の数】
15
(21)【出願番号】P 2021537924
(86)(22)【出願日】2019-12-23
(65)【公表番号】
(43)【公表日】2022-02-22
(86)【国際出願番号】 IB2019061315
(87)【国際公開番号】W WO2020141410
(87)【国際公開日】2020-07-09
【審査請求日】2022-12-13
(31)【優先権主張番号】62/788,536
(32)【優先日】2019-01-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/853,032
(32)【優先日】2019-05-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/670,618
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/670,635
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/670,651
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/670,664
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/670,673
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】508301087
【氏名又は名称】エーティーアイ・テクノロジーズ・ユーエルシー
【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ
【住所又は居所原語表記】Ｏｎｅ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ， Ｍａｒｋｈａｍ， Ｏｎｔａｒｉｏ， Ｌ３Ｔ ７Ｘ６ Ｃａｎａｄａ
(74)【代理人】
【識別番号】100108833
【弁理士】
【氏名又は名称】早川 裕司
(74)【代理人】
【識別番号】100111615
【弁理士】
【氏名又は名称】佐野 良太
(74)【代理人】
【識別番号】100162156
【弁理士】
【氏名又は名称】村雨 圭介
(72)【発明者】
【氏名】エド キャルウェイ
(72)【発明者】
【氏名】デイビッド グレン
【審査官】西島 篤宏
(56)【参考文献】
【文献】特開２００５－２６６７５１（ＪＰ，Ａ）
【文献】特開２００５－２６６７５２（ＪＰ，Ａ）
【文献】特開２００２－１５６９５０（ＪＰ，Ａ）
【文献】特開２００３－０５０５６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ３／００ － ３／３８
Ｈ０４Ｎ ５／６６
(57)【特許請求の範囲】
【請求項1】
フレームレートでフレームシーケンスをディスプレイデバイスに表示することと、前記フレームシーケンスの各フレームのフレーム期間中に前記ディスプレイデバイスによって適用される照明構成を、制御モジュールを用いて前記フレームレートに基づいて設定することと、
を含むコンピュータ実行方法であって、
前記照明構成は、前記ディスプレイデバイスによって適用されると、
照明ストロボの照度及び持続時間のうち少なくとも１つと、
前記フレーム期間における前記照明ストロボに先行する照明フィルの照度と、前記フレーム期間における前記照明ストロボに続く照明フィルの照度と、のうちの少なくとも１つと、
を制御し、
前記照明構成を設定することは、前記フレームレートが高くなるにつれて前記照明ストロボの照度が高くなるように、前記照明ストロボの照度を決定することを含む、
コンピュータ実行方法。
【請求項2】
前記照明構成を設定することは、前記フレームレートを含む、定義されたフレームレート範囲に基づいて、前記照明ストロボに先行する照明フィル又は前記照明ストロボに続く照明フィルのうち少なくとも１つの照度を決定することを含む、
請求項１のコンピュータ実行方法。
【請求項3】
前記照度を決定することは、１つ以上のルックアップテーブルとして実装された１つ以上の関係に基づいて前記照度を決定することを含む、請求項２のコンピュータ実行方法。
【請求項4】
前記照度を決定することは、ソフトウェアプログラムの１つ以上の関数として実装された１つ以上の関係に基づいて前記照度を決定することを含む、請求項２のコンピュータ実行方法。
【請求項5】
前記照度を決定することは、機械学習アルゴリズムによって生成された１つ以上の学習済みモデルとして実装された１つ以上の関係に基づいて前記照度を決定することを含む、請求項２のコンピュータ実行方法。
【請求項6】
前記照度を決定することは、ユーザ入力に基づいて、前記フレームレートと、前記照明ストロボに先行する照明フィル又は前記照明ストロボに続く照明フィルのうち少なくとも１つの照度と、の関係を調整することを含む、請求項２のコンピュータ実行方法。
【請求項7】
フレームレートでディスプレイデバイスに表示するためにフレームシーケンスをレンダリングすることと、制御モジュールを用いて、前記フレームレートに基づいて、前記フレームシーケンスの各フレームのフレーム期間中に前記ディスプレイデバイスによって適用される照明構成を設定することと、
を行うように構成されたディスプレイシステムであって、
前記照明構成は、前記ディスプレイデバイスによって適用されると、
照明ストロボの照度及び持続時間のうち少なくとも１つと、
前記フレーム期間における前記照明ストロボに先行する照明フィルの照度と、前記フレーム期間における前記照明ストロボに続く照明フィルの照度と、のうち少なくとも１つと、
を制御し、
前記照明構成を設定することは、前記フレームレートが高くなるにつれて前記照明ストロボの照度が高くなるように、前記照明ストロボの照度又は前記持続時間のうち少なくとも１つを決定することを含む、
ディスプレイシステム。
【請求項8】
前記照明構成を設定することは、前記フレームレートを含む、定義されたフレームレート範囲に基づいて、前記照明ストロボに先行する照明フィル又は前記照明ストロボに続く照明フィルのうち少なくとも１つの照度を決定することを含む、
請求項７のディスプレイシステム。
【請求項9】
前記照度を決定することは、１つ以上のルックアップテーブルとして実装された１つ以上の関係に基づいて前記照度を決定することを含む、請求項８のディスプレイシステム。
【請求項10】
前記照度を決定することは、レンダリングデバイス又は前記ディスプレイデバイスで実行されるソフトウェアプログラムの１つ以上の関数として実装された１つ以上の関係に基づいて前記照度を決定することを含む、請求項８のディスプレイシステム。
【請求項11】
前記照度を決定することは、レンダリングデバイス又は前記ディスプレイデバイスで実行される機械学習アルゴリズムによって生成された１つ以上の学習済みモデルとして実装された１つ以上の関係に基づいて前記照度を決定することを含む、請求項８のディスプレイシステム。
【請求項12】
前記フレームレートと、前記照明ストロボに先行する照明フィル又は前記照明ストロボに続く照明フィルのうち少なくとも１つの照度と、の関係を調整するユーザ入力を受信するためのグラフィカルユーザインタフェースを提供するソフトウェアプログラムを記憶するストレージコンポーネントをさらに備える、請求項８のディスプレイシステム。
【請求項13】
前記ディスプレイデバイスをさらに備え、前記ディスプレイデバイスは、
前記照明構成の表現を受信することと、
前記フレームシーケンスの各フレームのフレーム期間中に前記照明構成を適用して前記フレームを表示することと、
を行うように構成されている、
請求項８のディスプレイシステム。
【請求項14】
前記ディスプレイデバイスは、透過型ディスプレイデバイスであり、フレーム期間中に前記照明構成を適用することは、前記照明構成に基づいて前記フレーム期間中にバックライト照度を制御することを含む、
請求項１３のディスプレイシステム。
【請求項15】
前記ディスプレイデバイスは、発光型ディスプレイデバイスであり、フレーム期間中に前記照明構成を適用することは、前記照明構成に基づいて前記フレーム期間中に前記ディスプレイデバイスのピクセルに供給される電力を調整することを含む、
請求項１３のディスプレイシステム。
【発明の詳細な説明】
【背景技術】
【0001】
液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ等の発光ディスプレイ、透過ディスプレイ、反射ディスプレイは、従来、２つの照明構成の何れかを採用している。バックライト又は発光ピクセル要素が、各フレーム期間中、一定のレベルで常にアクティブである一定照明構成（constant illumination configuration）と、バックライト又は発光ピクセル要素が、各フレーム期間中の短い部分だけストロボ（又は、「フラッシュ」）され、ストロボの前後の期間では非アクティブになるストロボ構成である。一定照明構成を実装するディスプレイは、照明レベルが各フレーム期間中及び各フレーム期間の間で一定であるため、フリッカーが殆ど発生しない。ただし、フレーム間の表示コンテンツ内のオブジェクトの動きは、人間の視覚システムによって示される残像現象により、モーションブラーの影響を受けやすい。一方、ストロボ構成を実装するディスプレイは、各フレーム期間の照明期間が短いため、モーションブラーが大幅に軽減されるが、バックライト又は発光ピクセル要素のストロボによりフリッカーが発生し、ユーザエクスペリエンスを損なう可能性がある。さらに、一連のフレーム期間中に十分な平均輝度を維持するように十分に明るいストロボを提供するために必要な電流フローは、そのような電流フローを提供するバックライトドライバやフラッシュ光を提供する発光ピクセル要素の寿命を短くする。
【0002】
添付の図面を参照することによって本開示をより良く理解することができ、その多くの特徴及び利点が当業者に明らかになる。異なる図面で同じ符号を使用することは、類似又は同一の要素を示す。
【図面の簡単な説明】
【0003】
【図1】いくつかの実施形態による、ディスプレイデバイスにおけるフレームの表示中の照明制御を示す図である。
【図2】いくつかの実施形態による、様々な照明制御技術及びこれらの組み合わせを示す図である。
【図3】いくつかの実施形態による、１つ以上の照明制御技術を採用したディスプレイシステムを示すブロック図である。
【図4】いくつかの実施形態による、例示的な透過型ディスプレイデバイスを示すブロック図である。
【図5】いくつかの実施形態による、例示的な発光型ディスプレイデバイスを示すブロック図である。
【図6】いくつかの実施形態による、領域照明制御のための様々な例示的なディスプレイデバイス構成を示すブロック図である。
【図8】いくつかの実施形態による、ディスプレイデバイスのフレームレートに基づく照明制御の方法を示すフロー図である。
【図9】いくつかの実施形態による、フレームレートに基づいてストロボ照明出力及びフィル照明出力を決定するための技術を示す図である。
【図10】いくつかの実施形態による、フレームレートに基づいて、ストロボ照明出力とストロボ後のフィル照明出力の間の例示的な関係を示す図である。
【図12】いくつかの実施形態による、フレームレートに基づく、ストロボ照明出力、ストロボ前のフィル照明出力、ストロボ後の照明出力の間の例示的な関係を示す図である。
【図14】いくつかの実施形態による、例示的な照明ストロボのタイミングを示す図である。
【図15】いくつかの実施形態による、照明ストロボのタイミングの技術を示す図である。
【図16】いくつかの実施形態による、様々な照明制御パラメータに関するユーザ入力の受信を容易にするグラフィカルユーザインタフェースを示す図である。
【図17】いくつかの実施形態による、クラウドソースによる照明制御の技術を示す図である。
【図18】いくつかの実施形態による、領域の輝度に基づく領域毎の照明制御の方法を示すフロー図である。
【図20】いくつかの実施形態による、領域の動き推定に基づく領域毎の照明制御の方法を示すフロー図である。
【図24】いくつかの実施形態による、中心窩照明制御（foveated illumination control）の方法を示すフロー図である。
【発明を実施するための形態】
【0004】
以下の説明では、本明細書に記載されるシステム及び技術の十分な理解を提供するために、多数の具体的な詳細が示されている。しかしながら、当業者であれば、これらの具体的な詳細がなくても、様々な実施形態を実施できることを認識するはずである。いくつかの例では、本明細書で説明するアプローチを曖昧にしないように、周知の構造、コンポーネント、信号、コンピュータプログラム命令及び技術が詳細に示されていない。さらに、説明を簡単且つ明確にするために、図に示す要素は必ずしも縮尺通りに描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、他の要素に比べて誇張されている場合がある。
【0005】
ディスプレイデバイスは、ビデオ、グラフィックス及びその他の画像を、表示フレーム（以下、単に「フレーム」）のシーケンスの表示を通してユーザに提示し、シーケンスの各フレームの表示は、対応するシーケンスのフレームレートの逆数である、対応するフレーム期間に関連付けられている。各フレームは、レンダリング又は他の方法で生成され、フレームを表すピクセルデータは、フレームバッファ又は他のストレージコンポーネントにバッファリングされる。図１のタイミングチャート１００に示すように、（例えば、垂直同期（ＶＳＹＮＣ）１０４－１又は垂直帰線区間（ＶＢＩ）のアサートによって通知される）フレーム期間１０２－１の開始時に、そのフレーム期間中に表示されるフレームのピクセルデータが、（スキャンアウトライン１０６で表されるように）行毎にフレームバッファからスキャンアウトされ、ディスプレイデバイスに送信される。ここで、ディスプレイデバイスは、現在スキャンインされているフレームの行のピクセルデータに基づいて、例えば、液晶（ＬＣ）、発光ダイオード（ＬＥＤ）又は有機ＬＥＤ（ＯＬＥＤ）のマトリクスで構成されるピクセルマトリクスの対応する行を構成する。ディスプレイデバイスは、各ピクセルで、ピクセルの位置に関連するピクセルデータに従って変調された表示光を発することによって、フレームの「表示」を行う。液晶ディスプレイ（ＬＣＤ）及び他の透過型ディスプレイデバイスの場合、表示光の放射は、白色バックライトの使用と、結果として得られる透過光が対応する色と強度を持つようにＬＣを通過するバックライトの周波数と強度を変調するようにピクセル位置の各ＬＣをそのピクセル位置のピクセルデータに基づいて構成することによって達成される。反射型ディスプレイも同様に動作するが、バックライトではなく反射光を使用する。ＬＥＤディスプレイ、ＯＥＬＤディスプレイ及び他の発光型ディスプレイデバイスの場合、表示光の放射は、様々な色（例えば、赤、緑、青）のＬＥＤ又はＯＬＥＤサブピクセルを様々な強度でアクティブにすることによって達成され、その結果、サブピクセルによって放射された光は、組み合わされて、そのピクセルに関連するピクセルデータに対応する特定の色と強度を提供する。
【0006】
光の放射、透過、反射の何れであっても、対応するフレームをユーザに表示するようにディスプレイデバイスによって表示光が生成されているフレーム期間の部分を、本明細書ではフレームの「照明」と呼ぶ。従来の一部のディスプレイシステムは、フレーム期間の全期間に亘って照明強度が一定のレベルに維持される一定照明アプローチを採用している。説明すると、図１のタイミングチャート１１０は、従来の一定照明技術を示しており、ディスプレイデバイスが、光出力１１２が各フレーム期間１０２－１，１０２－２等のフレーム期間全体にわたって一定のレベルＬに維持されるように、照明源（複数可）（例えば、ＬＣＤディスプレイのバックライト若しくはＬＥＤ又はＬＥＤディスプレイのピクセル自体）を制御する。このアプローチは、フレーム期間内及びフレーム期間の間で照度が一定であるため、ディスプレイのフリッカーを除去するが、残像現象により、連続するフレーム間で動きのあるディスプレイコンテンツに対してモーションブラーを与え得る。
【0007】
従って、モーションブラーを軽減するために、従来の一部のディスプレイシステムは、逆のアプローチを採用しており、このアプローチでは、照明がフレーム期間の短い部分にだけ発生し、この短い照明は、照明「ストロボ」（又は、「フラッシュ」）と呼ばれる。説明すると、タイミングチャート１２０は、従来のストロボ照明技術を示しており、この技術では、ディスプレイデバイスは、照明源（複数可）の光出力１２２が、各フレーム期間１０２の比較的小さい（すなわち、フレーム期間の２５％、２０％、１５％、又は、１０％を超えない）部分だけ０でないようにし、それによって、フレーム期間１０２中に短時間（例えば、０．５～２ミリ秒）アクティブにされる照明ストロボ１２４を効果的に形成するように、照明源を制御する。これにより、フレームは、比較的短い時間の間、放射された表示光として「表示」され、したがって、画像の持続性が実質的に回避され、モーションブラーが軽減される一方で、各フレーム期間１０２中に発生する照明ストロボ１２４によって、低頻度のフラッシュが導入され、一部のユーザがディスプレイのフリッカーとして認識する場合がある。さらに、十分な平均輝度レベルを提供するために、照明ストロボ１２４の強度レベルは、一般に、一定照明アプローチに必要な強度レベルよりも大幅に高く設定する必要があり、したがって、照明ストロボ１２４の間、照明源（複数可）のドライバによるかなりの電流流出をもたらす。この電流流出の増加は、通常、照明源の寿命を縮めたり、よりヘビーデューティなドライバ回路の実装を必要とし、これはコスト高になることが多い。さらに、ストロボ１２４自体のタイミングがフレームの表示に影響を与える可能性があり、フレーム期間の早い段階でストロボが発生すると、レイテンシが短縮されるが、ゴーストの可能性が高くなり、遅い段階でストロボが発生すると、ゴーストを低減又は除去し得るが、レイテンシが増加する。
【0008】
ジッタ、モーションブラー及びレイテンシのバランスを改善するために、本願は、フレームレート、ユーザの好み、ＯＥＭ（Original Equipment Manufacturer）設定、ハードウェア性能、現在のハードウェア状態、画像コンテンツ、ユーザの視線方向等を含む１つ以上のパラメータに基づいて、表示フレームを照明するためにディスプレイデバイスによって採用される照明構成を制御する様々な技術を開示する。ここで、図２を参照すると、これらの様々な照明制御技術の分類法２００及びこれらの様々な組み合わせが、図１のタイミングチャート１３０を参照して示されている。ここで説明する照明制御技術は、一般に、フレームレートに基づいて、フレーム期間内に実装される照度（illumination level(s)）（複数可）及び持続時間を構成する技術（以下、「フレームレートに基づく照明制御技術２０２」と呼ぶ）、フレーム期間内の照明ストロボの位置を構成する技術（以下、「ストロボ位置制御技術２０４」と呼ぶ）、及び、領域毎に照明構成を制御する技術（以下、「領域照明制御技術２０６」と呼ぶ）に分類することができる。
【0009】
少なくとも１つの実施形態において、バックライトレベル（透過型ディスプレイデバイスの場合）又はベースライン照度（発光型ディスプレイデバイスの場合）は、フレームのシーケンスの表示中、各フレーム期間にわたって、そのフレーム期間の「照明構成」に従って変化する。図１のタイミングチャート１３０に示すように、フレーム期間の照明構成は、例えば、照明ストロボ１３４の選択的な実施、照明ストロボ１３４に先行する一定の照度の選択的な実施（本明細書では「先行照明フィル」若しくは単に「先行フィル」と呼ぶ）、及び、照明ストロボ１３４に続く一定の照度の選択的な実施（本明細書では「後続照明フィル」若しくは単に「後続フィル」と呼ぶ）、又は、これらの組み合わせを含む。先行照明フィル１３８は、照明ストロボ１３４に先行する（すなわち、フレーム期間１０２の開始から照明ストロボ１３４の開始に及ぶ）フレーム期間１０２の部分を「フィルする」。後続照明フィル１４０は、照明ストロボ１３４に続く（すなわち、照明ストロボ１３４の最後からフレーム期間１０２の最後に及ぶ）フレーム期間の部分を「フィルする」。したがって、このような例では、フレームレートに基づく照明制御技術２０２を採用して、表示されているフレームシーケンスのフレームレートに少なくとも基づいて、照明ストロボ１３４が所定のフレーム期間に実装されるかどうかと、実装される照明ストロボ１３４、先行照明フィル１３８及び後続照明フィル１４０のうち１つ以上の「出力」と、を制御する。本明細書で使用される場合、照明ストロボ又は照明フィルの「出力」は、対応するストロボ又はフィルの照度及び持続時間の積を意味する。このような技術は、フレームレートに基づいて、先行照明フィル１３８又は後続照明フィル１４０の一方又は両方に対してストロボ１３４の照度または持続時間を調整する技術２０８と、フレームレートに基づいて、先行照明フィル１３８及び後続照明フィル１４０を相対的に調整する技術２１０と、を含むが、これらに限らない。これらの技術については、図９～図１３を参照して以下により詳細に説明する。
【0010】
照明ストロボがフレーム期間の照明構成の一部として実装される場合、対応するフレーム期間内の照明ストロボの位置（例えば、図１のタイミングチャート１３０の照明ストロボ１３４の位置１３６）は、フレームの表示と、表示されたフレームに対するユーザの知覚と、に影響を与える可能性がある。したがって、１つ以上のストロボ位置制御技術２０４を実施して、フレームレート、ユーザの好み、遅延したＶＳＹＮＣ又は次のフレーム開始の存在等の様々な要因の何れかに基づいて、フレーム期間内の照明ストロボの位置をより効果的に決めることができる。ストロボ位置制御技術２０４については、図１４及び図１５を参照して以下により詳細に説明する。
【0011】
さらに、いくつかの実施形態では、ディスプレイデバイスは、個別に制御可能な照明領域を有する、すなわち、領域毎に制御可能なバックライト又は表示マトリクスを採用する。このような場合、領域照明制御技術２０６を採用して、様々な考慮事項に基づいて各照明領域の照明構成を制御することができる。例えば、領域照明制御のための技術２１２は、表示されるフレームの領域毎の輝度測定値又は他の輝度表現を採用して、フレームに対応するフレーム期間の１つ以上の照明領域に対してストロボベースの照明構成を設定する。別の例として、領域照明制御のための技術２１４は、動き推定又は他の動き分析を採用して、ディスプレイデバイスの対応する照明領域に関連するフレームの各領域内のオブジェクトの動きを評価し、そのフレームが表示されるときに各照明領域の照明構成を設定する。さらに別の例として、技術２１６は、表示マトリクス上の注視位置を識別する視線追跡サブシステムに依存して、何れの照明領域が中心窩領域であり、何れの照明領域が周辺領域であるかを識別し、次に、これに応じてフレームの表示中に各照明領域の照明構成を設定する。本明細書で使用する「領域」、「領域の」又は「領域的に」という表現は、複数の領域を指すことに加えて、特に断りのない限り、ディスプレイデバイス全体の単一のグローバル領域も指すことがあることに留意されたい。さらに、ここで説明する領域毎の分析は、様々な数の領域の照明を制御するために使用されてもよい。すなわち、分析される領域の数は、このような分析の結果として照明制御を有する領域の数より多くてもよいし、少なくてもよいし、等しくてもよい。これらの領域照明制御技術２０６については、図１８～図２６を参照して以下により詳細に説明する。
【0012】
本明細書で説明する照明制御の技術は、通常、１つ以上のフレーム期間に対応する照明構成を決定する際に、フレームレート等の１つ以上の要因を考慮する。いくつかの実施形態では、照明構成の入力因子と結果として得られるパラメータとの間の関係は、例えば、１つ以上のルックアップテーブル（ＬＵＴ）として、関数表現又はアルゴリズム表現等として実装される固定的関係２１８である。他の実施形態では、照明構成の入力因子と結果として得られるパラメータとの間の関係は、機械学習を採用したディスプレイシステムの動作のモデル化に基づいて関係を動的に調整する適応的関係２２０である。さらに別の実施形態では、関係は、固定的関係２１８と適応的関係２２０との組み合わせである。固定的、適応的、又は、これらの組み合わせの何れであっても、１つ以上のフレーム期間の照明構成の入力因子と出力パラメータとの間の関係は、ＯＥＭ（Original Equipment Manufacturer）の入力若しくは制御２２２に基づいて、ユーザ入力若しくは制御２２４に基づいて、類似のシステムの他のユーザからの入力若しくは制御に基づいて、又は、これらの組み合わせに基づいて、設定することができる。これらについては、図１６及び図１７を参照して以下により詳細に説明する。
【0013】
線２２８，２３０，２３２によって表されるように、フレーム期間の照明構成の制御は、１つの技術のみ、又は、同じタイプの技術のみの採用に限定されない。説明すると、いくつかの実施形態では、１つ以上のフレームレートに基づく照明制御技術２０２が、個別に、１つ以上の領域照明制御技術２０６と組み合わせて、１つ以上のストロボ位置制御技術２０４と組み合わせて、又は、１つ以上の領域照明制御技術２０６及び１つ以上のストロボ位置制御技術２０４の両方と組み合わせて採用される。同様に、いくつかの実施形態では、１つ以上のストロボ位置制御技術２０４が、個別に若しくは１つ以上の領域照明制御技術２０６と組み合わせて採用され、又は、１つ以上の領域照明制御技術２０６が一緒に採用される。
【0014】
説明を簡単にするために、照明制御技術の一部は、表示されるフレームの１つ以上の態様に基づいて照明構成を決定し、その後、その照明構成を、同じフレームを表示するフレーム期間に実装することを含むものとして本明細書に記載されていることに留意されたい。しかしながら、このようなフレームの１つ以上から照明構成を決定することに伴う処理労力のために、照明構成の基になった同じフレーム（複数可）の表示を実施するための照明構成の準備ができていない場合が多いことが理解されるであろう。このような場合、照明構成は、代わりに１つ以上の後続のフレームに採用され、これらの後続のフレームから決定された照明構成（複数可）は、１つ以上のさらに後続のフレームに採用される等の様々な方法で行われる。したがって、特に断りのない限り、照明構成が決定された同じフレームを表示するために照明構成を適用することは、後続のフレームを表示するために照明構成を適用することも同様に理解されるべきである。
【0015】
図３は、いくつかの実施形態による、本明細書に記載の照明構成制御技術の１つ以上を実施するための例示的なディスプレイシステム３００を示す図である。ディスプレイシステム３００は、有線又は無線の相互接続３０５によって接続されたレンダリングデバイス３０２と、ディスプレイデバイス３０４と、を備える。レンダリングデバイス３０２は、ノートブックコンピュータ、デスクトップコンピュータ、サーバ、ゲームコンソール、コンピュート対応スマートフォン等のように、ビデオコンテンツの生成に使用される様々なデバイスの何れかを含む。ディスプレイデバイス３０４は、デジタルテレビ、コンピュータモニタ、ポータブルデバイスディスプレイ等のように、ビデオコンテンツを表示するためのデジタルディスプレイデバイスを含む。レンダリングデバイス３０２及びディスプレイデバイス３０４は、いくつかの実施形態において、タブレットコンピュータ、ノートブックコンピュータ、コンピュータ対応電話等のように、同じデバイスに実装されることに留意されたい。レンダリングデバイス３０２は、少なくとも１つのメモリ３０６と、ＧＰＵ３０８及び中央処理装置（ＣＰＵ）３１０等の少なくとも１つのプロセッサと、ディスプレイインタフェース（ＩＦ）３１２と、を備える。ディスプレイデバイス３０４は、ディスプレイインタフェース３１４と、ディスプレイコントローラ３１６と、表示マトリクス３１８と、を備える。ディスプレイインタフェース３１２，３１４は、ＨＤＭＩ（登録商標）インタフェース、ＤｉｓｐｌａｙＰｏｒｔインタフェース、組み込みＤｉｓｐｌａｙＰｏｒｔ（ｅＤＰ）インタフェース等の有線又は無線の相互接続インタフェースを含む。ディスプレイコントローラ３１６は、メモリ（図示省略）、１つ以上のプログラマブルロジックコンポーネント、１つ以上のハードコード化されたロジックコンポーネント、又は、これらの組み合わせに記憶されたソフトウェア命令を実行する１つ以上のプロセッサとして実装される。表示マトリクス３１８は、一連の表示画像を表示するために使用されるピクセルの２次元アレイを含み、例えば、発光ダイオード（ＬＥＤ）マトリクス、有機ＬＥＤ（ＯＬＥＤ）マトリクス、液晶（ＬＣ）マトリクス、デジタルライトプロセッシング（ＤＬＰ）ディスプレイ用の可動ミラーのマトリクス等を含む。
【0016】
一般的な動作概要として、メモリ３０６は、一連の表示フレーム及び対応するメタデータを含むビデオストリームをレンダリングし、このビデオストリームをディスプレイインタフェース３１２，３１４及び相互接続３０５を介してディスプレイデバイス３０４に送信するようにＣＰＵ３１０及びＧＰＵ３０８を操作する実行可能ソフトウェア命令の１つ以上のセットを記憶する。ディスプレイデバイス３０４において、ディスプレイコントローラ３１６は、各表示フレーム及び対応するメタデータを順に受信し、対応するフレーム期間中に表示マトリクス３１８で順に表示するために表示フレームを処理する。
【0017】
ディスプレイデバイス３０４は、例えば、発光型ディスプレイ、透過型ディスプレイ、反射型ディスプレイ、又は、これらのハイブリッドとして実装される。図４に示すように、透過型ディスプレイデバイス４０４（ディスプレイデバイス３０４の一実施形態）は、表示マトリクス３１８をＬＣマトリクス４０２及びバックライト４０５として実装し、ディスプレイコントローラ３１６は、ＬＣコントローラ４０６及びバックライトコントローラ４０８として実装される。ＬＣマトリクス４０２は、ＬＣピクセル４１０のアレイを実装し、各ＬＣピクセル４１０は、ピクセルの対応する色（例えば、赤、緑、青）を表す１つ以上のＬＣサブピクセルから構成される。動作中、フレームの各行のピクセルデータは、ＬＣコントローラ４０６に順次供給され、ＬＣコントローラ４０６は、対応する行のＬＣピクセル４１０を、その行の対応するピクセルのピクセル値（例えば、ピクセル（Ｘ，Ｙ）は、列Ｘ、行Ｙのフレームのピクセル値である）に基づいて選択的にアクティブにする。バックライト４０５は、光を放射するために選択的にアクティブにされるＬＥＤのアレイ又は他のセットで構成されており、その光は、ＬＣマトリクス４０２の各ＬＣピクセル４１０を通して、ＬＣピクセル４１０を選択的にアクティブにするために使用される対応するピクセル値に基づいて、偏光され、選択的に透過される。
【0018】
したがって、フレームを「表示」するために、バックライトコントローラ４０８は、１つ以上のＬＥＤドライバ４１４を使用してＬＥＤ４１２を駆動し、ＬＥＤドライバ４１４によって駆動される電流、電圧又はパルス形状（まとめて「電力」）の量、ひいては、ＬＥＤ４１２によって放射される光の照明強度は、バックライトコントローラ４０８によって制御される照明制御（ＣＴＬ）信号４１６を介して各フレーム期間中に制御される。したがって、照明ＣＴＬ信号４１６のレベル又は値がフレーム期間中に変化すると、ＬＥＤ４１２によって放射されるバックライトもそれに応じて変化する。このように、フレーム期間の照明構成は、バックライトコントローラ４０８による照明ＣＴＬ信号４１６のレベル又は値の構成を通して、透過型ディスプレイデバイス４０４において実装される。すなわち、バックライトコントローラ４０８は、照明ＣＴＬ信号４１６の対応する制御を通して、フレーム期間の任意の先行照明フィル、照明ストロボ及び後続照明フィルを実施する。
【0019】
図５に示すように、発光型ディスプレイデバイス５０４（ディスプレイデバイス３０４の一実施形態）は、表示マトリクス３１８をＬＥＤマトリクス５０２として実装し、ディスプレイコントローラ３１６は、ＬＥＤコントローラ５０６として実装される。ＬＥＤマトリクス５０２は、ピクセル５１０のアレイを実装しており、各ピクセル５１０は、１つ以上のサブピクセル５１２から構成されており、各サブピクセルは、ピクセルの対応する色（例えば、赤、緑、青）を表す。各サブピクセルは、ＬＥＤ又はＯＬＥＤとして実装される。動作中、フレームの各行のピクセルデータは、ＬＥＤコントローラ５０６に順次供給され、ＬＥＤコントローラ５０６は、対応する行のピクセル５１０のサブピクセル５１２を、その行の対応するピクセルのピクセル値に基づいて選択的にアクティブにする。したがって、ディスプレイデバイス５０４でフレームを「表示」するために、各サブピクセル５１２は、対応するドライバ５１４によって駆動され、ドライバ５１４によってサブピクセル５１２に供給される電力、したがって、サブピクセル５１２によって放射される光の照明強度は、サブピクセル５１２によって表されるピクセルの関連するサブピクセル値と、照明ＣＴＬ信号５１６によって表されるフレーム期間の照明構成の現在の照度と、の組み合わせによって制御される。いくつかの実施形態において、サブピクセル値及び照明ＣＴＬ信号５１６の値が乗算されて結果として生じる値が、ドライバ５１４によって供給される電流、電圧又はパルス形状の大きさを制御する。このように、フレーム期間内の対応する時点での現在の照明構成値を表す照明ＣＴＬ信号５１６は、各サブピクセルの照明強度をスケールアップ又はスケールダウンするように作用する。例えば、照明ＣＴＬ信号５１６が８ビット値として表される場合、ＬＥＤマトリクス５０２のサブピクセル５１２の照明強度を、２５６ステップに亘ってスケールアップ又はスケールダウンすることができる。これに応じて、ディスプレイデバイス５０４は、照明ＣＴＬ信号５１６の対応する制御を通して、フレーム期間の任意の先行照明フィル、照明ストロボ及び後続照明フィルを実施する。
【0020】
図４及び図５は、フレームの全てのピクセルに対して同じ照明構成に従って、フレーム期間中に照明強度が全体的にスケールアップ又はスケールダウンされるディスプレイデバイス３０４の実施形態を示しているが、他の実施形態では、ディスプレイデバイス３０４は、表示マトリクス３１８が複数の個別に制御可能な照明領域に分割される領域照明アプローチを実施する。すなわち、各照明領域は、フレーム期間中に領域固有の照明構成を実施するように個別に制御可能である。図６に示すように、この分割は、様々な方法の何れかで実施される。グローバル分割６０２は、分割されていない構成を示している。すなわち、表示マトリクス３１８全体が、単一の又はグローバルな照明領域６０４である。行分割６１２は、表示マトリクス３１８の１つ以上の行からなる各サブセットが別個の照明領域６１４として編成されるように、表示マトリクス３１８が行によって分割されるディスプレイデバイス３０４の構成を示す。他方、列分割６２２は、表示マトリクス３１８の１つ以上の列からなる各サブセットが別個の照明領域６２４として編成されるように、表示マトリクス３１８が列によって分割されるディスプレイデバイス３０４の構成を示す。グリッド分割６３２は、ピクセルが複数の照明領域６３４に分割され、各領域が１つ以上の行及び１つ以上の列からなるピクセルを含むように、表示マトリクス３１８が行及び列によって分割されるディスプレイデバイス３０４の構成を示す。表示マトリクス３１８を照明強度目的で個別に制御できる照明領域に分割するために、他の分割スキームを採用することができる。
【0021】
図７は、いくつかの実施形態による、１つ以上の照明構成制御技術の実施を容易にするために、レンダリングデバイス３０２及びディスプレイデバイス３０４に実装されるソフトウェアスタックを示す図である。ソフトウェアスタック７０２は、レンダリングデバイス３０２に実装されており、１つ以上のビデオコンテンツアプリケーション７０４と、１つ以上のオペレーティングシステム（ＯＳ）インタフェース７０６と、ソフトウェア開発者キット（ＳＤＫ）／ＯＳインタフェース７０８と、グラフィックスドライバ７１０と、ディスプレイドライバ７１２と、を備える。ビデオコンテンツアプリケーション７０４は、ゲームアプリケーション、仮想現実（ＶＲ）又は拡張現実（ＡＲ）アプリケーション、ビデオ再生アプリケーション等のように、レンダリングされるビデオコンテンツのソースであるソフトウェアアプリケーションを含む。このビデオコンテンツの表示画像の描画命令は、ＯＳインタフェース７０６を介してグラフィックスドライバ７１０に提供され、グラフィックスドライバ７１０は、ＧＰＵ３０８と連携して、対応する表示フレームをレンダリングし、表示フレームは、レンダリングデバイス３０２のフレームバッファ又は他のストレージコンポーネントにバッファリングされる。次に、ディスプレイドライバ７１２は、バッファリングされたフレームを表すピクセルデータを、関連するメタデータとともに、相互接続３０５を介してディスプレイデバイス３０４に行毎に送信するように動作する。
【0022】
いくつかの実施形態では、１つ以上のフレーム期間の照明構成の制御は、主にレンダリングデバイス３０２によって実施される。このような実施形態では、ソフトウェアスタック７０２は、本明細書に記載の照明構成制御技術の１つ以上を実施するソース側照明制御モジュール７１４を備える。図７の例では、ソース側照明制御モジュール７１４がグラフィックスドライバ７１０の一部として示されているが、他の実施形態では、ソフトウェアスタック７０２の他の場所に実装される。これらの実施形態では、ソース側照明制御モジュール７１４は、１つ以上のフレームの対応するセットに対して実装する照明構成を決定し、この照明構成の表現を、例えば、サイドバンド送信を介して又はフレームのピクセルデータに付随するメタデータの一部として、ディスプレイデバイス３０４に送信する。ディスプレイデバイス３０４のソフトウェアスタック７１６のディスプレイ側照明制御モジュール７１８は、照明構成のこの送信された表現を受信し、次に、対応するフレーム期間中、照明構成によって表される照度（複数可）及びセグメント持続時間を実施するようにディスプレイコントローラ３１６を構成する。他の実施形態では、フレーム期間の照明構成の制御は、主にディスプレイデバイス３０４自体で実施され、この場合、ディスプレイ側照明制御モジュール７１８は、フレームデータがレンダリングデバイス３０２から受信されることに基づいて、ディスプレイデバイスで直接、照明構成を決定し、実装する。
【0023】
さらに、いくつかの実施形態では、照明構成の制御は、ユーザ入力を通して制御又は変更することができる。いくつかの実施形態では、このユーザ入力は、レンダリングデバイス３０２で受信され、したがって、ソフトウェアスタック７０２は、照明構成に関するユーザ入力を受信し、これに応じてユーザ入力を実装するためのグラフィカルユーザインタフェース（ＧＵＩ）７２０又は他のユーザインタフェースを備える。ＧＵＩ７２０は、例えば、グラフィックスドライバ７１０の一部として、或いは代替として、ビデオコンテンツアプリケーション７０４又はソフトウェアスタック７０２の他のソフトウェアモジュールの一部として実装することができる。ディスプレイデバイス３０４が照明構成の設定を制御する他の実施形態では、ユーザ入力は、ディスプレイデバイス３０４のソフトウェアスタック７１６のＧＵＩ７２４で受信され、実施される。
【0024】
図８は、いくつかの実施形態による、フレームレートに基づく照明出力制御技術２０２（図２）によって採用される一般的なプロセスを表す方法８００を示す図である。説明を簡単にするために、方法８００は、ソース側照明制御モジュール７１４（図７）が実装される照明構成設定の決定を担当する実施状況で説明される。ただし、以下に説明するプロセスは、本明細書で提供されるガイドラインを使用して、ディスプレイ側照明制御モジュール７１８による実装に適合させることができる。
【0025】
ブロック８０２において、ＧＰＵ３０８は、ビデオコンテンツアプリケーション７０４の指示により、フレームシーケンス内のフレームをレンダリング又は他の方法で生成し、生成されたフレームをレンダリングデバイス３０２のフレームバッファ又は他のストレージコンポーネントにバッファリングする。次に、ディスプレイドライバ７１２は、バッファリングされたピクセルデータと、生成されたフレームを表すメタデータとを、相互接続３０５を介してディスプレイデバイス３０４に行毎に送信する。ブロック８０４において、送信中のフレームについて受信されたピクセルデータの各行に対して、ディスプレイコントローラ３１６は、受信したピクセルデータ行の対応するピクセル値を表すように表示マトリクス３１８の各行のピクセルを構成し、その結果、ディスプレイデバイス３０４においてフレームの照明が関連するフレーム期間中に発生する場合に、フレームを表す表示光は、ＬＥＤ、ＯＬＥＤ、プラズマ、若しくは、他の発光ピクセル構成を介して直接、ＬＣ若しくは他の透過型ピクセル構成による選択的バックライト透過を介して、又は、デジタルライトプロセッシング（ＤＬＰ）若しくは他の反射型ピクセル構成による選択的な光反射の何れかによって、表示マトリクス３１８によって放射される。
【0026】
ブロック８０２，８０４のレンダリング、送信及び表示前マトリクス構成プロセスと並行して、ソース側照明制御モジュール７１４は、対象フレームを表示するために使用される照明構成のパラメータを決定する。このサブプロセスは、ブロック８０６で始まり、照明制御モジュール７１４は、生成中のフレームシーケンスの現在のフレームレートを決定する。いくつかの実施形態では、フレームレートは固定であり、照明制御モジュール７１４によってアクセス又は参照される何らかの制御設定によって表される。他の実施形態では、ディスプレイシステム３００は、可変フレームレートを採用しており、この場合、照明制御モジュール７１４は、（ソフトウェアベース、物理ＶＳＹＮＣ信号又は「フレーム完了」信号によって指定される）１つ以上の先行する表示フレームのフレーム期間を監視して現在のフレームレートを推定するか、ＧＰＵ３０８によって実施されている現在のフレームレートを示すものをＧＰＵ３０８から受信する。これから、照明制御モジュール７１４は、例えば、線形外挿、多項式ベストフィット分析、カルマンフィルタリング、機械学習プロセス等を介して、次のフレーム期間の持続時間を推定する。
【0027】
現在のフレームレートに基づいて、ブロック８０８において、照明制御モジュール７１４は、フレームを表示するための照明構成が照明ストロボを含むかどうかを判別し、含む場合には、照明ストロボに使用される照度又は持続時間のうち少なくとも１つを決定する。同時に、ブロック８１０において、照明制御モジュール７１４は、照明構成の先行照明フィル及び後続照明フィルに関してどの照度（複数可）を実施すべきかを決定する。ブロック８０８，８１０のプロセスについては、図９～図１３を参照して以下により詳細に説明する。
【0028】
照明構成が決定されると、照明制御モジュール７１４は、照明構成の表現をディスプレイデバイス３０４に送信する。照明構成の照度（複数可）、持続時間及び位置のこの表現は、様々なフォーマットの何れかで実装することができ、メタデータ又はサイドバンドデータとして等のように様々な方法の何れかでディスプレイデバイス３０４に送信することができる。説明すると、ディスプレイデバイス３０４が、固定セグメント位置及び持続時間を有する０でない先行照明フィル、照明ストロボ、及び、０でない後続照明フィルを有する照明構成を提供するように構成可能であると想定すると、照明構成は、３つの値を有する制御データ構造として表すことができ、第１の値は、照明ストロボの照度を表し、第２の値は、先行照明フィルの照度を表し、第３の値は、後続照明フィルの照度を表す。照明ストロボの位置及び持続時間が可変である他の実施形態では、少なくとも２つの幅のセグメントが送信され、したがって、フレーム期間が固定又は既知である場合に、第３のセグメントの幅及び位置の導出が可能になる。他の実施形態では、ディスプレイコントローラ３１６は、先行照明フィルレベル、後続照明フィルレベル及びストロボ照度の異なる組み合わせで構成された事前入力されたテーブルを備え、決定された照明構成の表現は、ディスプレイコントローラ３１６のテーブルの対応するエントリを表すインデックス値の送信を含むことができる。
【0029】
決定された照明構成の表現の受信に応じて、ブロック８１４において、ディスプレイ側照明制御モジュール７１８は、対応するフレーム期間中に表示マトリクス３１８の照度を制御するようにディスプレイコントローラ３１６を構成し、その結果、フレームが表示マトリクス３１８によって照明され、結果として生じる表示光がユーザに投影される。透過型ディスプレイデバイス（例えば、図４のディスプレイデバイス４０４）の場合、対応するフレーム期間中の表示マトリクス３１８の照度の制御は、バックライト４０５の照明強度又は光出力を制御して、フレーム期間内の対応する時点での照明構成の照度を反映することによって達成される。反射型ディスプレイデバイスは、反射光源の照度を制御することにより同様に制御される。発光型ディスプレイデバイス（例えば、図５のディスプレイデバイス５０４）の場合、対応するフレーム期間中の表示マトリクス３１８の照度の制御は、フレーム期間内の対応する時点の照明構成の照度を表す照明制御値に基づいて、ＬＥＤ、ＯＬＥＤ又は他の発光ピクセルを駆動する電流、電圧、パルス形状又は他の電力が、照明構成内の照度に対応するようにスケーリングするように、各サブピクセル値をスケーリングすることによって達成される。すなわち、発光ピクセルを駆動するために使用される電力は、実質的に、その発光ピクセルのサブピクセル値と、フレーム期間のその時点での照明構成における現在の照度を表す値と、の積を表す。
【0030】
次に、方法８００のフローは、次のフレームの生成、バッファリング、送信及び事前表示構成のためにブロック８０２に戻る。いくつかの実施形態では、同じ照明構成が、２つ以上のフレームのシーケンス（例えば、シーンの変更間で生成されたフレーム、又は、先行するフレームと実質的に異なる輝度レベルを有する２つのフレーム間のフレームを表すシーケンス）内で生成された各フレームに採用される。この場合、ブロック８０６，８０８，８１０，８１２のサブプロセスは、フレームのシーケンス毎に１回だけ実行される。他の実施形態では、照明構成が、表示される各フレームに対して個別に決定され、この場合、ブロック８０６，８１０，８１２のサブプロセスは、生成された各フレームに対して新たに実行される。
【0031】
図９を参照すると、方法８００のブロック８０８，８１０の照明出力決定プロセスを実施するための例示的な技術が示されている。一実施形態では、照明制御モジュール７１４は、出力決定モジュール９００を実装して、様々な入力パラメータ９０２を取得し、これらの入力パラメータ９０２から、ディスプレイデバイス３０４でフレームの照明のために実装する照明構成（例えば、照明構成９０６又は照明構成９０８）の表現９０４を生成する。
【0032】
連続するフレームが表示される頻度、すなわちフレームレートは、通常、ユーザが知覚する様々な表示アーチファクトの発現における主要な要因である。より低いフレームレート（例えば、６０フレーム／秒（ＦＰＳ）以下）では、殆どのユーザが、照明ストロボ又はフレーム間の平均照度の他の変動によって引き起こされるフリッカーを知覚する可能性が高い。より高いフレームレート（例えば、１００ＦＰＳ以上）では、フリッカーを知覚できなくなる可能性が高いが、照明ストロボのタイミングによっては、行毎のスキャンアウトとディスプレイデバイスのピクセルの設定時間によるゴースト又はテアリングが生じる可能性がある。さらに、一定の照度が使用される場合、フレームレートが高くなると、殆どのユーザでは、残像のために、モーションブラーを生じ得る。したがって、少なくとも１つの実施形態では、現在のフレームレート（信号９１０）が、問題となっている照明構成の照明出力（複数可）（すなわち、照度及び持続時間のうち少なくとも１つ）を決定する際に、出力決定モジュール９００によって考慮される入力パラメータ９０２の１つとして採用される。
【0033】
ユーザ入力（信号９１２）も出力決定モジュール９００によって採用することができる。説明すると、ユーザは、フリッカーがあまり気にならない場合があり、そのため、照明ストロボを採用するために、出力決定モジュール９００によって設定されるより低い閾値を示すユーザ入力を提供し得る。逆に、別のユーザは、フリッカーに対してより敏感な場合があり、そのため、照明ストロボを採用するためにより高い閾値を設定するユーザ入力を提供してもよい。照明構成を設定する際の要因としてのユーザ入力の使用は、図１６を参照して以下により詳細に説明する。
【0034】
出力決定モジュール９００は、一実施形態において、ディスプレイシステム３００の１つ以上の現在の動作パラメータ（信号９１４）を、結果として生じる照明構成の適切な照度を決定するための入力パラメータ９０２として利用する。このような現在の動作パラメータは、例えば、（次にディスプレイデバイスの目標平均輝度を示唆する）周囲光のレベル、（ドライバが過負荷になる危険性があるかどうかを示す）バックライト４０５又はＬＥＤマトリクス５０２のドライバの現在の温度、（例えば、ＧＰＵ３０８が対応するフレームを時間内にレンダリングできないために、次のフレーム期間を遅らせるかどうかを示す）ＧＰＵ３０８の現在の動作状態等を含む。
【0035】
少なくとも１つの実施形態において、照明構成は、少なくとも３つのパラメータ、すなわち、フレーム期間において照明ストロボ（作動した場合）に採用する照度を表すストロボレベル値９１６、照明ストロボに先行する先行照明フィルに採用する照度を表す先行フィルレベル値９１８、及び、照明ストロボに続く後続照明フィルに採用する照度を表す後続フィルレベル値９２０によって表される。説明すると、先行照明フィルを有さず、照度Ｘ１の照明ストロボ、及び、照度Ｘ２の後続照明フィルを有する照明構成９０６は、タプル＜０，Ｘ１，Ｘ２＞によって表すことができ、照度Ｘ３の先行照明フィル９２１、照度Ｘ５の照明ストロボ９２３、及び、照度Ｘ４の後続照明フィル９２５を有する照明構成９０８は、タプル＜Ｘ３，Ｘ５，Ｘ４＞によって表すことができる。
【0036】
以下に説明するように、照明ストロボの位置を調整することができ、したがって、照明構成は、フレーム期間内の照明ストロボ、先行照明フィル及び後続照明フィルのうち１つ以上の位置を指定する１つ以上のセグメント位置パラメータ９２７をさらに含むことができる。対応するセグメントの「位置」は、例えば、フレーム期間の開始に続く開始時間と、セグメントの幅又は持続時間の他の表現として表される。フレーム期間が一定である場合、照明ストロボ、先行照明フィル及び後続照明フィルのうち何れか２つの位置を指定することで、指定されていない残りのセグメントの位置を算出することができる。照明構成に照明ストロボが実装されていない場合、ストロボレベル値９１６は０に設定されるか、先行フィルレベル値９１８又は後続フィルレベル値９１８の何れかと同じ値に設定され、これにより、対応する照明フィルの持続時間が実質的に延長される。他の実施形態では、照明ストロボの照度は、作動された場合に固定又は設定され、この場合、表現９０４は、ストロボレベル値９１６を省略するか、例えば、照明ストロボを照明構成に含めるかどうかを識別するバイナリ値を含む。他の実施形態では、ストロボ持続時間もフレームレート又は他の入力パラメータ９０２に基づいて調整可能であり、この場合、表現９０４は、照明ストロボの幅又は他の持続時間表現を表すストロボ持続時間値９１５も含み得る（ストロボ持続時間値９１５は、特定のセグメント位置パラメータ９２７として機能することが理解されるであろう。）
【0037】
値９１６，９１８，９２０は、様々なフォーマットの何れかで提示可能である。いくつかの実施形態では、各値は、対応する照度の最小閾値と最大閾値との間で設定された絶対値である。例えば、各値９１６，９１８，９２０は、８ビット値として実装することができ、これにより、それぞれ２５６の照度ステップを提供することができる。他の実施形態では、値９１６，９１８，９２０の一部又は全ては、相対値である。例えば、値９１８，９２０は、ストロボレベル値９１６によって表される照明値のパーセンテージで表すことができる。
【0038】
出力決定モジュール９００は、一実施形態において、様々なメカニズム又はこれらの組み合わせの何れかを使用して、入力パラメータ９０２に基づく照明構成において、採用される照度（複数可）、（可変ストロボ持続時間の実施形態において）採用されるストロボ持続時間、並びに、ストロボ、先行フィル及び後続フィルの位置／持続時間を特定する。いくつかの実施形態では、出力決定モジュール９００は、１つ以上の入力パラメータ９０２の値と、照明構成で実装される対応する照度（複数可）、ストロボ持続時間及びセグメント位置（複数可）との間の関係を表す１つ以上のＬＵＴ９２２又は他のテーブルを維持する。フレームレートに基づき、セグメントの持続時間又は位置が固定されている簡単な例を使用して説明すると、ＬＵＴ９２２は、表１に示すように構成され得る。
したがって、６０ＦＰＳ未満のフレームレートでは、一定照明構成（すなわち、フレーム期間全体に亘って照度が一定）になり、７５ＦＰＳのフレームレートでは、照度５０の照明ストロボ、照度２０の先行照明フィル及び照度２０の後続照明フィルとなり、１２０ＦＰＳのフレームレートでは、照度７０の照明ストロボ、照度４０の後続照明フィル及び先行照明フィル無し（すなわち、照度０の先行照明フィル）となる。
【表1】
したがって、６０ＦＰＳ未満のフレームレートでは、一定照明構成（すなわち、フレーム期間全体に亘って照度が一定）になり、７５ＦＰＳのフレームレートでは、照度５０の照明ストロボ、照度２０の先行照明フィル及び照度２０の後続照明フィルとなり、１２０ＦＰＳのフレームレートでは、照度７０の照明ストロボ、照度４０の後続照明フィル及び先行照明フィル無し（すなわち、照度０の先行照明フィル）となる。
【0039】
他の実施形態では、入力パラメータ（複数可）９０２と、照明構成の照度（複数可）及びセグメント位置との間の関係は、ソフトウェアコードで実装される１つ以上の関数９２４又は他の関数アルゴリズムによって提供される。例えば、表１のストロボレベル値９１６とＦＰＳの例示的な関係は、代わりに、以下の形式の関数９２４として表すことができる。
【数1】
【0040】
さらに他の実施形態では、入力パラメータ（複数可）９０２と照明構成の照度（複数可）／位置／持続時間との間の関係は、ニューラルネットワーク又は他の機械学習（ＭＬ）技術を使用して開発された学習済みモデル９２６を使用して提供される。説明すると、いくつかの実施形態では、異なる照明構成を使用して表示されるテストビデオがユーザに提示され、各テストビデオのパフォーマンスに関するユーザのフィードバックが、学習済みモデル９２６の最初のトレーニングのためのトレーニングセットとして使用される。その後、学習済みモデルは、フレームレート又は他の様々な動作パラメータと、結果として生じる照明構成等を使用したフレームの表示の有効性との間の相関関係の観察に基づいて、ユーザの特定の好みにより適合するように様々な照明構成パラメータを調整するユーザ入力に基づいてさらに洗練され得る。
【0041】
１つ以上の動作パラメータ９０２と、照明構成の対応する照度（複数可）、持続時間及び位置との間の関係は、いくつかの方法の何れかで構成される。いくつかの実施形態において、関係は、グラフィックスドライバ７１０又はＧＰＵ３０８のＯＥＭ又はサプライヤによって事前に定義され、したがって、ファームウェア又はソフトウェアの更新を使用して定期的に更新することができる。例えば、グラフィックスドライバの更新リリースは、ＬＵＴ９２２の更新された値を含み得る。さらに、いくつかの実施形態では、ユーザ入力は、関係の表現を最初に生成するため、又は、以前に決定された値を調整するために、使用される。例えば、ＧＵＩ７２０（図７及び図１６）を使用して、ユーザは、照度（複数可）の変更、照明ストロボの使用の有効又は無効、照度（複数可）自体の変更等に使用されるＦＰＳ閾値を設定することができる。さらに、上述したように、関係は、例えば、様々なトレーニング入力に基づいて継続的に更新される学習済みモデルによって表されるような動的関係であってよい。
【0042】
図１０及び図１１を参照すると、（入力パラメータ９０２としての）フレームレートと照明構成に採用される照明パラメータとの間のより詳細な関係例が示されている。図１０は、２つのチャート、すなわち、チャート１０００－１及び１０００－２を示しており、これらのチャートは、一定レベルの照明又はストロボのみの照明を使用して通常可能な場合よりもフリッカーの軽減とモーションブラーの軽減との間のバランスをより適切にするように、照明ストロボの使用及びレベル／持続時間と、フレームレートに基づいた周囲のフィルの対応するレベルとの間の特定の関係を示す。この特定の関係は、場合によっては、フレームレートが高くなるにつれて、照明ストロボの出力を増加させ、照明フィルの大きさを減少させることとして一般化され、その逆も同様である。このアプローチでは、低いフレームレートでストロボ強調を軽減又は排除すると、知覚可能なフリッカーの可能性が軽減され、一方、高いフレームレートでストロボ強調を増加させ、フィル強調を低下させると、画像のゴーストやモーションブラーの可能性が軽減される。
【0043】
チャート１０００－１では、横軸がフレームレート、左側の縦軸がストロボと周囲のフィルの両方の照度を表し、右側の縦軸がストロボの持続時間を表す（この例では固定）。線１００２は、フレームレートに基づいて０と最大照度ＳＴＲＢ＿ＭＡＸ１との間で変化するストロボ照度を表す。線１００４は、フレームレートに基づいて０と最大照明フィルレベルＦＩＬＬ＿ＭＡＸとの間で変化する照明フィルレベルを表し、周囲フィルレベルは、存在する照明ストロボの前後両方の照明フィルを表し、又は、照明ストロボが存在しない場合には、一定の照度を表す。線１００６は、照明ストロボの持続時間又は幅を表し、この例では、照明ストロボが（フレームレートＦ＿ＬＯＷで）作動されると、ＷＩＤＴＨ＿Ｃ（例えば、４ｍｓ）で一定である。左側の縦軸は、周囲フィルレベルの照度のスケールを表し、右側の縦軸は、照明ストロボが存在する場合に、照明ストロボの照度のスケールを表す。
【0044】
線１００２，１００４によって示すように、フレームレート０とＦ＿ＬＯＷ（例えば、８０ＦＰＳ）との間で、照明構成は、ＦＩＬＬ＿ＭＡＸの一定のフィル照度で照明を提供するために周囲フィルに完全に依存する。フレームレートＦ＿ＬＯＷでは、照明ストロボが作動し、ストロボは、固定持続時間ＷＩＤＴＨ＿Ｃ（線１００６によって示される）を有する。したがって、フレームレートＦ＿ＬＯＷとＦ＿ＨＩＧＨ（例えば、１２０ＦＰＳ）との間で、ストロボ照度は（この例では実質的に線形に）増加するが、照明フィルの照度は（この例では非線形に）レベルＦＩＬＬ＿ＭＡＸから０に低下する。その後、Ｆ＿ＨＩＧＨとＦ＿ＭＡＸとの間のフレームレートに対して照明ストロボのみによって照明が提供され、実質的に一定の照度を維持するように、（フレームレートの増加による）ストロボレートの増加を補償するようにストロボの照度が（この例では非線形に）減少する。各ステージについて、フィルレベル、ストロボレベル及びストロボ持続時間の関係は、フレームレートに関係なく、実質的に一定の照度を維持するように構成されている。したがって、フレームレートＦ＿ＬＯＷとＦ＿ＨＩＧＨとの間のステージによって示すように、ストロボ照度が増加すると、全体の照明出力が一定になるようにフィル照度が減少する。同様に、フレームレートＦ＿ＨＩＧＨとＦ＿ＭＡＸとの間で照明ストロボが唯一の照明源である間、ストロボの照度は、単位時間当たりの照明を一定に維持するために、１秒あたりのストロボ数の増加を考慮して、フレームレートの増加とともに減少する。
【0045】
チャート１０００－２を参照する。このチャートでは、フレームレートが横軸で表され、左側の縦軸がストロボと周囲フィルの両方の照度を表し、右側の縦軸がストロボの持続時間（この例では可変）を表す。線１０１２は、フレームレートに基づいて０と最大照度ＳＴＲＢ＿ＭＡＸ２との間で変化するストロボ照度を表す。線１０１４は、フレームレートに基づいて０と最大照明フィルレベルＦＩＬＬ＿ＭＡＸとの間で変化する照明フィルレベルを表し、周囲フィルレベルは、照明ストロボが存在する場合に、照明ストロボの前後両方の照明フィルを表し、又は、照明ストロボが存在しない場合に、一定の照度を表す。線１０１６は、照明ストロボの持続時間又は幅を表し、この例では、照明ストロボが（フレームレートＦ＿ＬＯＷで）作動すると、最大持続時間ＷＩＤＴＨ＿ＭＡＸまで、フレームレートに基づいて変動する。左側の縦軸は、周囲フィルレベルの照度のスケールを表し、右側の縦軸は、照明ストロボが存在する場合に、照明ストロボの照度のスケールを表す。
【0046】
線１０１２，１０１４によって示すように、フレームレート０とＦ＿ＬＯＷとの間で、照明構成は、ＦＩＬＬ＿ＭＡＸの一定のフィル照度で照明を提供するために周囲フィルに完全に依存する。フレームレートＦ＿ＬＯＷでは、照明ストロボが作動し、ストロボは（線１０１４によって示される）フレームレートに基づいて変動する持続時間を有する。したがって、フレームレートＦ＿ＬＯＷとＦ＿ＨＩＧＨとの間で、ストロボ照度とストロボ持続時間の両方が（この例では実質的に線形に）増加するが、照明フィルの照度は（この例では非線形に）レベルＦＩＬＬ＿ＭＡＸから０に低下する。その後、Ｆ＿ＨＩＧＨとＦ＿ＭＡＸとの間のフレームレートに対して照明ストロボのみによって照明が提供され、実質的に一定の照度を維持するように、（フレームレートの増加による）ストロボレートの増加を補償するように、ストロボ持続時間がＷＩＤＴＨ＿ＭＡＸで一定であり、ストロボ照度は（この例では非線形に）低下する。チャート１０００－１によって表される関係と同様に、チャート１０００－２によって表されるフィルレベル、ストロボレベル及びストロボ持続時間の関係は、フレームレートに関係なく、実質的に一定の照度を維持するように構成されている。したがって、フレームレートＦ＿ＬＯＷとＦ＿ＨＩＧＨとの間のステージによって示されているように、ストロボ出力が増加すると、全体の照明出力が一定になるようにフィル照明出力が減少する。同様に、フレームレートＦ＿ＨＩＧＨとＦ＿ＭＡＸとの間では、照明ストロボが唯一の照明源である間、ストロボの照度は、単位時間当たりの一定の照明を維持するために、１秒あたりのストロボ数の増加を考慮して、フレームレートの増加とともに（一定のストロボ持続時間で）減少する。
【0047】
図１１は、図１０のチャート１０００－１によって表される関係から生じる様々な例示的な照明構成を異なるフレームレートで示す図である。タイミングチャート１１００は、図示された照明構成の各タイミングの基準として使用される２つのフレーム期間１１０２－１，１１０２－２のシーケンスを示す。フレーム期間１１０２－１，１１０２－２の持続時間は、対応する照明構成において参照されるフレームレートに反比例することに留意されたい。
【0048】
照明構成１１０４は、照明ストロボが実装される最低フレームレート（例えば、約５０ＦＰＳ）を定義する閾値フレームレートＦ＿ＬＯＷよりも低いフレームレートＦ１でチャート１０００－１から決定される照明構成を表す。したがって、フレームレートＦ１での線１００２，１００４の値によって決定されるように、照明構成１１０４の場合、周囲フィルレベルが最大フィルレベルＦＩＬＬ＿ＭＡＸに設定され、ストロボ照度がＳＴＲＯＢＥ＿ＭＩＮ（例えば、０）に設定され、結果として、照明構成１１０４は、フレーム期間１１０２－１，１１０２－２の各々に亘って一定の照度１１０６を有する。したがって、この照明構成を使用してフレームレートＦ１でフレームシーケンスを表示すると、ストロボが存在しないため、フリッカーが低減又は除去される。
【0049】
照明構成１１０８は、閾値フレームレートＦ＿ＬＯＷより上であるが、フレーム期間中に照明ストロボが主な照明源として機能する閾値フレームレートＦ＿ＨＩＧＨ未満のフレームレートＦ２でチャート１０００－１から決定された照明構成を表す。チャート１０００－１の例では、線１００２の対応する増加するセグメントによって示されるように、フレームレートがＦ＿ＬＯＷからＦ＿ＨＩＧＨに増加するにつれてストロボ照度が増加し（この例では、ストロボ持続時間は、フレームレートＦ＿ＬＯＷで開始するフレームレートに関わらず一定であることを再度想起されたい）、線１００４の対応する減少するセグメントで示されるように、フレームレートがＦ＿ＬＯＷからＦ＿ＨＩＧＨに増加すると、周囲フィル照度が減少する。したがって、この範囲でフレームレートが増加すると、ストロボ照度が増加し、これに応じて周囲フィル照度が減少する。したがって、フレームレートＦ２では、結果として得られる照明構成１１０８は、照度Ｙ２（＜ＦＩＬＬ＿ＭＡＸ）を有する周囲フィル１１１０と、照度Ｙ３を有する照明ストロボ１１１２と、を含む。したがって、フレームレートＦ２を含む中間のフレームレートでは、照明構成は、ストロボの大きさとフィルの大きさとのバランスの取れたブレンドを採用しており、照明ストロボを採用することによるモーションブラーの低減の利点を達成しながら、フィル照明でストロボを囲み、照明ストロボによって引き起こされる照度変化の正味の差を減らすことによって、照明ストロボによって引き起こされるフリッカーの影響も低減する。さらに、フレーム期間１１０２－１，１１０２－２に適度なレベルのフィルを使用することにより、フレーム期間の所定の平均照明は、より低いレベルの照明ストロボで達成可能であり、したがって、ストロボを実装するためにバックライト光源又は発光ピクセルのドライバから必要とする過渡電流又は他の電力出力が低くなり、より強い駆動レベルでは経時的に劣化するＯＬＥＤ等の光源の寿命を延ばすことができる。
【0050】
照明構成１１１４は、フレーム期間中に照明ストロボが主な照明源として機能する閾値フレームレートＦ＿ＨＩＧＨより上のフレームレートＦ３でチャート１０００－１から決定された照明構成を表す。チャート１０００－１の例では、ストロボ照度はＦ＿ＨＩＧＨで最大レベルＳＴＲＯＢＥ＿ＭＡＸ１に達し、その後、単位時間当たり実質的に一定の照明を維持するために、線１００２の対応する下方に傾斜したセグメントによって示されるように、Ｆ＿ＨＩＧＨを超える全てのフレームレートで減少し、一方、周囲フィル照度がフレームレートＦ＿ＨＩＧＨで最低照度ＦＩＬＬ＿ＭＩＮに達する。したがって、この範囲でフレームレートが増加すると、フレームレートの増加（したがって、ストロボレートの増加）を考慮して一定の照度を維持するために、ストロボ照度は、フレームレートとともに徐々に減少する。したがって、フレームレートＦ３では、結果として得られる照明構成１１１４は、照度ＦＩＬＬ＿ＭＩＮ（＜Ｙ２）を有する周囲フィル１１１６と、照度Ｙ４（＞Ｙ３）を有する照明ストロボ１１１８と、を含む。したがって、フレームレートＦ３を含むより高いフレームレート（例えば、１００ＦＰＳ以上）では、周囲フィルとストロボとの間の照度の変化の大きさによって引き起こされるフリッカーは、このようなフレームレートでは一般的なユーザが検出できる可能性が低いので、照明構成は、照明ストロボの使用を強調してモーションブラーを低減又は排除し、周囲フィルを強調しないようにする。さらに、照明構成１１０８と同様に、フレーム期間１１０２－１，１１０２－２で０でないレベルのフィルを使用することにより、照明構成１１１４は、より低いレベルの照明ストロボでフレーム期間に所定の平均照明を提供することができ、これは、ストロボを実装するためにバックライト光源又は発光ピクセルのドライバから必要とする過渡電流又は電圧を低くする。ただし、最大ストロボレベルでの駆動電流がドライバ又は光源の動作寿命を大幅に短くする可能性が低い実施形態では、最高のフレームレートでの照明構成は、例えば、照明ストロボのみを採用する（すなわち、全ての周囲フィルレベルを０に設定する）ことができる。
【0051】
チャート１０００－１及び照明構成１１０４，１１０８，１１１４が示すように、フレームレートと照度との間の図示した表現において、対応する照明構成は、低いフレームレートでの一定の照度構成から、中間のフレームレートでは、照明ストロボの照明フィルへの混合されたバランスに（フレームレートが高くなると、バランスは照明ストロボに向かって傾く）なり、最高のフレームレートでは、照明ストロボが優位な構成になる。このようにして、所定のフレームレートで発生しやすい視覚的アーチファクトに対処するように照明構成を調整することができる。
【0052】
図１２及び図１３は、（図９の入力パラメータ９０２としての）フレームレートと照明構成に採用される照度との間の別のより詳細な関係例を示す図である。図１２のチャート１２００は、フレームレート（横軸）、ストロボ照度（線１２０２）、先行フィル照度（線１２０４）及び後続フィル照度（線１２０６）の間の関係を表す。左側の縦軸は、先行フィル照度及び後続フィル照度の照度のスケールを表し、右側の縦軸は、照明ストロボが存在する場合には、照明ストロボの照度のスケールを表す。この例では、説明を容易にするためにストロボ持続時間を固定しており、したがって、ストロボ照度の変化に基づいてストロボ出力が変化する。
【0053】
チャート１２００は、一定レベルの照明又はストロボのみの照明を使用して通常可能な場合よりも、フリッカーの軽減とモーションブラーの軽減との間のバランスをより適切に達成するように、フレームレートに基づく、照明ストロボの使用及びレベルと先行照明フィルと後続照明フィルの対応するレベルとの間の特定の関係の例示的な実施形態を示す。この特定の関係は、フレームレートが高くなるにつれて、照明ストロボの大きさを増加させ、照明フィルの大きさを小さくすることとして一般化することができ、その逆も同様である。このアプローチでは、低いフレームレートでストロボ強調を軽減又は排除すると、知覚可能なフリッカーの可能性が軽減され、一方、高いフレームレートでストロボ強調を増加させ、フィル強調を減少させると、画像のゴーストやモーションブラーの可能性が軽減される。さらに、先行照明フィル及び後続照明フィルに関して、フレームレートが増加するにつれて、先行照明フィルレベルを後続照明フィルレベルに対して低減することとして、表される関係をさらに一般化することができる。
【0054】
図１３は、図１２のチャート１２００によって表される関係から生じる様々な例示的な照明構成を異なるフレームレートで示す図である。タイミングチャート１３００は、図示した照明構成の各タイミングの基準として使用される２つのフレーム期間１３０２－１，１３０２－２のシーケンスを示す。フレーム期間１３０２－１，１３０２－２の持続時間は、対応する照明構成において参照されるフレームレートに反比例することに留意されたい。
【0055】
照明構成１３０４は、照明ストロボが実装される最低フレームレート（例えば、約５０ＦＰＳ）を定義する閾値フレームレートＦ＿ＬＯＷよりも低いフレームレートＦ１でチャート１３００から決定される照明構成を表す。したがって、フレームレートＦ１での線１２０２，１２０４，１２０６の値によって決定されるように、照明構成１３０４の場合、先行フィルレベル及び後続フィルレベルの両方が最大フィルレベルＦＩＬＬ＿ＭＡＸに設定され、ストロボ照度がＳＴＲＯＢＥ＿ＭＩＮ（例えば、０）に設定され、結果として生じる照明構成１３０４は、フレーム期間１３０２－１，１３０２－２の各々に亘って一定の照度１３０６を有する。したがって、この照明構成を使用してフレームレートＦ１でフレームシーケンスを表示すると、ストロボが存在しないため、フリッカーが減少又は排除され、動きのジャッダがより低いフレームレートでより顕著な問題になるため、このような低いフレームレートでは、一般的なユーザが、通常、モーションブラーを容易に検出できないため、モーションブラーの影響を大きく受けることはない。
【0056】
照明構成１３０８は、閾値フレームレートＦ＿ＬＯＷより上であるが、フレーム期間中に照明ストロボが主な照明源として機能する閾値フレームレートＦ＿ＨＩＧＨ未満のフレームレートＦ２でチャート１２００から決定された照明構成を表す。チャート１２００の例では、線１２０２の対応する斜めに増加するセグメントによって示されるように、フレームレートがＦ＿ＬＯＷからＦ＿ＨＩＧＨに増加するにつれてストロボ照度が増加し、線１２０４，１２０６の対応する斜めに減少するセグメントで示されるように、フレームレートがＦ＿ＬＯＷからＦ＿ＨＩＧＨに増加すると、先行フィル照度及び後続フィル照度が減少する。したがって、この範囲でフレームレートが増加すると、ストロボ照度が増加し、周囲フィル照度が比例的に減少する。しかしながら、チャート１２００によっても示されるように、フレームレートが２つの閾値Ｆ＿ＬＯＷとＦ＿ＨＩＧＨとの間で増加するにつれて、先行フィルレベルが後続フィルレベルよりも大きいレートで減少し、したがって、フレームレートが増加すると、先行照明フィルが後続照明フィルよりも大きいレートで強調されなくなる。したがって、フレームレートＦ２では、結果として得られる照明構成１３０８は、照度Ｙ１（＜ＦＩＬＬ＿ＭＡＸ）を有する先行照明フィル１３１０と、照度Ｙ２（＞Ｙ１）を有する後続照明フィル１３１２と、それらの間にあり、照度Ｙ３（＞Ｙ２）を有する照明ストロボ１３１４と、を含む。したがって、フレームレートＦ２を含む中間のフレームレートでは、結果として生じる照明構成は、ストロボの大きさとフィルの大きさとのバランスの取れたブレンドを採用し、照明ストロボを採用することによるモーションブラーの低減の利点を達成しながら、フィル照明でストロボを囲んで、照明ストロボによって引き起こされる照度変化の正味の差を減らすことによって、照明ストロボによって引き起こされるフリッカーの影響も低減する。
【0057】
以下により詳細に説明するように、ディスプレイデバイスへのフレームからの行毎のスキャンアウトと、（特に、ＬＣベースのピクセルの場合）スキャンインされるピクセルデータを反映するように各ピクセルを構成するセットアップ時間とによって、表示マトリクス３１８の下方の行のピクセルは、スキャンインされるフレームを表示するのに使用されるフレーム期間の初期の部分では、入力される現在のフレームを反映するように未だ完全に構成されていない（代わりに、スキャンインされた前のフレーム又は遷移状態の対応するピクセルを表す）という結果になることが多い。このように、フレーム期間のこの初期の部分での照明により、現在のフレームの上部のピクセル行と前のフレームの下部のピクセル行で構成される混合画像が表示される可能性があり、これは、画面のテアリングとして知られる現象である。フレームのスキャンイン及びセットアップ時間に比べてフレーム期間が短くなるため、フレームレートが高くなるにつれて画面のテアリングの可能性が増加する。したがって、フレームレート閾値Ｆ＿ＬＯＷとＦ＿ＨＩＧＨとの間でフレームレートが増加するにつれて、後続照明フィルと先行照明フィルとの差が大きくなるフレームレートとフィル照明出力の関係を実装することによって、フレーム期間の初期部分で、フレームレートが増加するにつれて生成される照明が少なくなり、フレーム期間の初期部分中、混合されたフレームの不注意な照明の影響を低減し、フレーム期間の後半部分でフレームレートが増加するにつれて、より多くの照明が生成されて、現在のフレームの全てのピクセル行がスキャンインされ、安定（settle）する時間が与えられた後の表示マトリクス３１８を表す表示光の割合を増加させる。したがって、フレームレートが高くなり、それに伴って画面のテアリングやゴーストのリスクが高まるにつれて、フレーム期間の初期に生成される表示光の影響が減少し、フレーム期間の後半で生成される表示光の影響が増加し、それによって、画面のテアリング／ゴーストのリスクが高まるにつれて、画面のテアリング／ゴーストの軽減をスケーリングする。画面テアリングの視認性は、フレーム期間１３０２－１によって表されるフレーム内の新しいピクセルのスキャンアウトが完了するまで、照明フィル１３１０を延ばし、照明ストロボ１３１４及び照明フィル１３１２を遅らせることによって、さらに低下させることができるが、このような遅延は、画面のテアリングの減少と引き換えにレイテンシを追加することになる。
【0058】
照明構成１３１６は、フレーム期間中に照明ストロボが主な照明源として機能する閾値フレームレートＦ＿ＨＩＧＨより高いフレームレートＦ３でチャート１２００から決定された照明構成を表す。チャート１２００の例では、ストロボ照度は、Ｆ＿ＨＩＧＨで最大レベルＳＴＲＯＢＥ＿ＭＡＸに達し、その後、線１２０２の対応する下降セグメントによって示されるように、Ｆ＿ＨＩＧＨを超える全てのフレームレートで低下する。一方、先行フィルレベルは、線１２０４の対応する下降セグメントによって示されるように、フレームレートＦ＿ＭＡＸでＦ＿ＨＩＧＨを超える全てのフレームレートに対してＦ＿ＦＩＬＬ＿ＭＩＮまで（より大きいレートで）低下する。同様に、後続フィルレベルは、フレームレートＦ＿ＭＡＸで最小レベルＢ＿ＦＩＬＬ＿ＭＩＮに達するまで、より大きなレートで低下し続ける。したがって、この範囲でフレームレートが増加すると、ストロボ照度、先行フィルレベル又は後続フィルレベルのうち少なくとも１つが低下して、一定の照明を維持する。したがって、フレームレートＦ３では、結果として得られる照明構成１３１６は、照度Ｙ４（＜Ｙ１）を有する先行照明フィル１３１８と、照度Ｙ５（＜Ｙ２）を有する後続照明フィル１３２０と、照度Ｙ６（＜＝ＳＴＲＯＢＥ＿ＭＡＸ）を有する照明ストロボ１３２２と、を含む。したがって、フレームレートＦ３を含むより高いフレームレート（例えば、１２０ＦＰＳ以上）では、周囲フィルとストロボとの間の照度の変化の大きさによって引き起こされるフリッカーが、そのようなフレームレートでは一般的なユーザによって検出される可能性が低いので、照明構成は、照明ストロボの使用を強調してモーションブラーを低減又は排除し、周囲フィルを強調しないようにする。さらに、照明構成１３０８と同様に、フレーム期間１３０２－１，１３０２－２で０でないレベルのフィルを使用することにより、照明構成１１１４は、より低いレベルの照明ストロボでフレーム期間に所定の平均照明を提供することができ、これにより、ストロボを実装するためにバックライト光源又は発光ピクセルのドライバから必要とする過渡電流が低くなる。さらに、上述したように、これらの最高のフレームレートで後続照明フィルを優先して先行照明フィルを弱めることにより、そのような高いフレームレートで発生する可能性のある画面のテアリングの影響が減少する。
【0059】
チャート１０００，１２００は、説明を容易にするために、フレームレートと照明構成の対応するストロボ及び照度との間に区分的に実質的に線形の関係がある例を示しているが、他の実施形態では、これらの関係は、区分的又はその他で非線形であることに留意されたい。さらに、フレームレートの閾値を２つだけとし、その間に一定の勾配を持たせるのではなく、フレームレートと対応する照度との間の関係は、３つ以上の変曲点を有することができる。
【0060】
図１４及び図１５は、いくつかの実施形態による、ストロボ位置制御技術２０４（図２）によって採用される一般的なプロセスを共に示している。少なくとも１つの実施形態では、このプロセスは、ブロック８０８のストロボ出力決定プロセスと並行してストロボ位置が決定される方法８００の拡張として実装することができ、これに関して以下に説明する。さらに、ソース側照明制御モジュール７１４（図７）が、実装される照明構成設定の決定を担当する実施状況でこのプロセスを説明する。ただし、以下に説明するプロセスは、本明細書で提供されるガイドラインを使用して、ディスプレイ側照明制御モジュール７１８による実装に適合させることができる。
【0061】
図１４を参照すると、タイミングチャート１４００は、図示されたストロボ位置決めプロセスの各タイミングの基準として使用される２つのフレーム期間１４０２－１，１４０２－２のシーケンスを示す。上記のように、（例えば、ＶＳＹＮＣ又はＶＢＩのアサートよって通知される）フレーム期間１４０２の開始時に、そのフレーム期間中に表示されるフレームのピクセルデータが、行毎にフレームバッファからスキャンアウトされ、（スキャンアウトライン１４０６で表されるように）ディスプレイデバイスに送信され、これにより、ディスプレイデバイス３０４は、現在スキャンインされているフレームの行のピクセルデータに基づいて、表示マトリクス３１８の対応する行を構成する。各行のピクセルデータのスキャンインは、瞬時に行われるものではなく、ピクセルを表す回路要素が、前のフレームの対応するピクセルを表す第１の状態から、現在のフレームの対応するピクセルを表す第２の状態に遷移するために、ある程度の時間が必要となる。ＬＣＤディスプレイの場合、ピクセルのＬＣが状態を変化させるのに必要な時間により、この遷移は特に長くなる。
【0062】
タイミングチャート１４００において、時刻Ｔ１は、フレーム期間１４０２－１において、現在のフレームのピクセルの全ての行がスキャンインされ、ピクセルの最後の行が新しい状態に落ち着いた時点を表す。フレーム期間の開始から時刻Ｔ１までの期間は、フレームレートに比較的依存しない、すなわち、Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ，Ｉｎｃ．によるＲａｄｅｏｎ（ＴＭ）ＦｒｅｅＳｙｎｃ（ＴＭ）技術等の可変フレームレート技術を使用する場合、フレームが送信されるレートに関係なく、表示マトリクス３１８にフレームを完全にスキャンインするには、通常、ほぼ同じ時間がかかる（そうでない場合、スキャンアウト時間は、通常、より低いピクセル転送レートを使用して、フレーム期間を満たすように延長される）。したがって、フレームレートが増加する（フレーム期間が短くなる）と、フレームをスキャンインして十分なセトリング（settling）を可能にするために必要な時間が、フレーム期間においてますます大きな割合を占めるようになる。
【0063】
フレーム期間の照明構成における照明ストロボの位置は、スキャンイン及びセトリングプロセスを考慮した表示品質に影響を及ぼす。フレーム期間の早い段階で照明ストロボを開始すると、レイテンシを短縮することができるが、現在のフレームのスキャンイン及びセトリングが完了する前に照明ストロボが作動されると、画面のテアリングが発生するリスクがある。説明すると、照明構成１４０８は、時刻Ｔ０（＜Ｔ１）で開始する位置、したがって、現在のフレームの行の下部の約４０％がまだスキャンインされず、セトリングされていない時点で開始する位置に照明ストロボ１４１０を実装する。したがって、照明ストロボ１４１０は、現在のフレームの上部の行の約６０％と前のフレームの下部の行の約４０％とを有するハイブリッドフレーム（又は、前のフレームの下部の行と現在のフレームの下部の行との間のいくつかの遷移状態）の照明をもたらすことになる。このようなアーチファクトを回避するために、照明構成１４１２によって示されるように、照明ストロボ１４１４は、代わりに、時刻Ｔ２（＞Ｔ１）等のフレーム期間の終わり近くに配置される。これにより、照明ストロボを開始する前にフレーム全体をスキャンインしてセトリングすることができるが、レイテンシが発生する。さらに、ディスプレイデバイス３０４が可変フレームレートを実装し、次のフレーム期間が早く始まる場合、照明ストロボは、現在のフレーム期間中に実際には作動できず、代わりに次のフレーム期間の初期の部分にシフトし過ぎて、現在のフレームの表示に失敗し、次のフレームで画面のテアリングの可能性が高くなる。
【0064】
照明構成１４１６によって示されるように、早すぎる照明ストロボによる画面テアリングのリスクと、遅すぎる照明ストロボによりフレームがスキップされる表示の可能性と、の間の適切なバランスを達成するために、ストロボ位置制御技術２０４によって、照明構成１４１６で実装される照明ストロボ１４１８の適切な位置Ｔ（Ｘ）、すなわち、現在のフレームのスキャンアウト及びセトリング期間とのオーバーラップを低減又は排除しながら、次のフレーム期間の開始前に作動するように配置されていないストロボから生じる、過度に遅延したストロボ又はスキップされたフレームによって引き起こされるレイテンシを低減又は排除する位置Ｔ（Ｘ）を決定しようとする。
【0065】
ストロボ位置制御技術２０４は、照明構成を設定するために、フレームレートに基づく照明制御技術２０２とは別に又は連動して実装される。例えば、いくつかの実施形態では、ディスプレイシステム３００は、フレームレートに応じて、一定のフィル構成又はストロボのみの構成の何れかを使用する。ストロボのみの構成の場合、ストロボ位置制御技術２０４を実施して、フレーム期間内にストロボを適切に配置することができる。他の実施形態では、ディスプレイシステムは、フレームレートに基づいて変化するフィルレベル及び変化するストロボ出力を使用し、この場合、ストロボ位置制御技術２０４を使用して、先行照明フィル及び後続照明フィルの一方又は両方と共に、フレーム期間のストロボの位置を決めることができる。しかしながら、照明ストロボの位置は、先行照明フィルと後続照明フィルの両方の持続時間を定義し、したがって、先行照明フィル及び後続照明フィルに設定される照度は、通常、ストロボの位置によってフレーム期間の平均輝度が変わらないというストロボ位置を考慮して、各フィルの持続時間に基づいて調整されることが理解されよう。
【0066】
図１５は、いくつかの実施形態による、適切なストロボ位置を決定するようにストロボ位置制御技術２０４を実施するストロボ位置決めモジュール１５００を示す図である。ストロボ位置決めモジュール１５００は、１つ以上の入力パラメータ１５０２を受信し、これらから、ディスプレイデバイス３０４において、問題となっているフレームの照明のために実装される照明構成における照明ストロボの位置の表現１５０４を生成する。説明の便宜上、照明ストロボの位置は、照明ストロボが開始又は作動されるフレーム期間内の位置として説明される。ただし、他の実施形態では、位置は、照明ストロボの中間の位置又は照明ストロボの終了の位置を指す。ストロボ位置の表現１５０４は、フレーム期間の開始からの特定のミリ秒若しくはクロックサイクル数等の絶対タイミング基準、又は、フレーム期間全体の特定のパーセンテージ（例えば、照明ストロボがフレーム期間の途中２５％で開始されることを示す値＜０．２５＞）等の絶対タイミング基準を表す値として示すことができる。少なくとも１つの実施形態では、ストロボ位置の表現１５０４は、ディスプレイデバイス３０４に送信される（又は、ディスプレイデバイス３０４自体で決定される）照明構成の表現の他のパラメータ値と共に含まれる。例えば、照明構成の表現は、＜［ストロボ位置］、［ストロボ持続時間］、［ストロボレベル］、［先行フィルレベル］、［後続フィルレベル］＞のフォーマットを有するタプルの形式でメタデータ又はサイドバンドデータとして提供することができる。
【0067】
一実施形態では、ストロボ位置決めモジュール１５００は、ディスプレイシステム３００の１つ以上の現在の動作パラメータ（信号１５０６）を、対応する照明構成の適切なストロボ位置を決定するための入力パラメータ１５０２として利用する。特に、このような動作パラメータは、レンダリングデバイス３０２の現在の負荷を表し、したがって、次のフレーム期間が早く、遅く又は時間通りに始まるかどうかを予測するのに役立つ。例えば、現在の動作パラメータは、電力状態の表現、レンダリングされる現在のフレーム若しくはレンダリングされる次のフレームの複雑さの表現、又は、ＧＰＵ３０８の現在の負荷の他の指標を含むことができ、したがって、次のフレームのレンダリング及び送信のタイミングに関する可能性を示す。
【0068】
上記で説明したように、フレーム期間は、フレームレートに反比例し、フレームのスキャンイン及びセトリング時間は、フレームレートに関係なく比較的一定である。したがって、スキャンイン及びセトリング期間の終了とフレーム期間の終了との間のタイミングウィンドウが狭くなり、フレームレートの増加に伴って次のフレーム期間が遅延する可能性が増加すると、照明構成内のストロボの位置の適切なタイミングは、フレームレートが増加すると、より致命的となる。したがって、いくつかの実施形態では、現在のフレームレート（信号１５０８）が、適切なストロボ位置を決定する際に、ストロボ位置決めモジュール１５００によって考慮される入力パラメータ１５０２の１つとして利用される。
【0069】
レイテンシ、スキップされたフレーム、及び、ジャダーに対する感度と比べて画面のテアリングに対する感度は、ユーザによって異なることが多い。例えば、ゲーマは、レイテンシを最小限に抑え、より頻繁な画面のテアリングのコストを受け入れることが多いが、ビデオのカジュアルな視聴者は、レイテンシの増加を犠牲にして、可能な限り画面のテアリングを回避することを好むことが多い。したがって、ユーザ入力１５１０（図９の信号９１２の一実施形態）も、ストロボ位置決めモジュール１５００による入力パラメータ１５０２として採用される。説明すると、あるユーザは、照明ストロボの早期の作動がレイテンシの削減の観点から遅い照明ストロボの作動よりも好ましいことを示すユーザ入力を提供し、別のユーザは、画面のテアリングを軽減するために照明ストロボの遅い作動が好ましいことを示すユーザ入力を提供する。また、ディスプレイが異なれば、前のピクセル値から現在のピクセル値までの遷移時間が１ミリ秒未満から数ミリ秒の範囲で異なり、特にＬＣディスプレイでは、特定のストロボ位置のテアリングの可視性に影響する。ユーザ入力、又は、ディスプレイ若しくはディスプレイのデータベースから取得したパラメータにより、モニタの特性に適したストロボ位置の変更が容易になる。
【0070】
入力パラメータ１５０２の値と、結果として得られるストロボ位置（表現１５０４によって示される）との間の関係は、様々な構造又はメカニズムの何れかを使用して、レンダリングデバイス３０２（又は、ディスプレイデバイス３０４）に表される。いくつかの実施形態では、関係は、１つ以上のＬＵＴ１５１０又は他のテーブルを使用して表され、ＬＵＴ１５１０の各エントリは、入力パラメータの１つ又は組み合わせに基づいてインデックス付けされ、対応するエントリは、表現１５０４又は表現１５０４の基となる値を含む。他の実施形態では、入力パラメータ（複数可）１５０２と照明構成のストロボ位置（複数可）との間の関係は、１つ以上の関数１５１２又はソフトウェアコードで実装され、例えば、レンダリングデバイス３０２のグラフィックスドライバ７１０の一部として実行されるか、ディスプレイデバイス３０４のディスプレイコントローラ３１６で実行される他の関数アルゴリズムによって提供される。
【0071】
さらに他の実施形態では、入力パラメータ（複数可）１５０２と照明構成のストロボ位置との間の関係は、入力パラメータ１５０２の一部又は全ての履歴を組み込む学習済みモデル１５１４をトレーニング及び改良し、ニューラルネットワーク又は他のＭＬアルゴリズムを使用して開発された学習済みモデル１５１４を使用して提供される。説明すると、可変フレームレートの実施形態では、ＭＬアルゴリズムは、フレーム期間の開始、開始が早いか、遅いか又は時間通りであったかを含む、以前のフレーム期間の履歴１５１６を監視し、この情報を、ＧＰＵ負荷、電力状態、実行中のビデオコンテンツアプリケーション７０４の識別、様々なゲスト間でのリソースの共有等を含む、様々な動作パラメータと相関させ、このトレーニング入力から、受信した現在の動作パラメータに基づいて次のフレーム期間の開始時間を推定する学習済みモデル１５１４を開発する。次のフレーム開始時間が予測され、フレームレート及びその他の考慮事項が理解されると、学習済みモデル９２６は、次に、スキャンイン及びセトリング中の作動を回避しようとしながら、次のフレーム開始時間後に作動することを回避するストロボ位置を提供することができる。
【0072】
１つ以上の動作パラメータ１５０２と照明構成の対応するストロボ位置との間の関係を定義するために使用されるＬＵＴ（複数可）１５１０、関数（複数可）１５１２又は学習済みモデル１５１４は、様々な方法の何れかで構成することができる。例えば、ＯＥＭ又は他のサプライヤは、広範なモデリング、シミュレーション又は他のテストを実行して、入力パラメータ１５０２の値の一部又は全ての可能な組み合わせの各々の適切なストロボ位置を決定し、これに応じて１つ以上のＬＵＴ１５１０を入力、又は、１つ以上の関数１５１２を構成することができる。さらに、いくつかの実施形態では、ユーザ入力を使用して、１つ以上のＬＵＴ１５１０に最初に入力するか、１つ以上の関数１５１２を構成するか、１つ以上のＬＵＴ１５１０又は１つ以上の関数１５１２によって表される、事前に決定された設定を調整することができる。さらに、上述したように、関係は、例えば、入力パラメータ１５０２自体を含む様々なトレーニング入力に基づいて継続的に更新される学習済みモデル１５１４によって表されるように、動的関係である。
【0073】
上記のように、ユーザは、入力パラメータの様々な値と、ストロボ位置、ストロボ照度、ストロボ持続時間、並びに、先行フィルレベル及び後続フィルレベルの一方若しくは両方を含む、照明構成の１つ以上のパラメータの対応する値と、の間の関係のいくつかの態様を定義するように動作するユーザ入力を提供することができる。この入力は、一実施形態では、ユーザに提示される１つ以上のＧＵＩを介して、例えば、レンダリングデバイスにおいてグラフィックスドライバ７１０によって（例えば、対応するＧＰＵ３０８の構成ＧＵＩとして）実装されるＧＵＩ７２０又はディスプレイデバイス３０４において（例えば、オンスクリーンディスプレイ（ＯＳＤ）として）実装されるＧＵＩ７２４を介して、受信することができる。或いは、一実施形態では、ＧＵＩ７２４は、電話等のローカル接続デバイス、又は、離れた場所から公共の看板や映画館を制御するために使用されるような、完全に離れた場所に存在する。図１６は、いくつかの実施形態による、ＧＵＩ７２０又はＧＵＩ７２４の何れかとして実装される例示的なＧＵＩ１６００を示す。ＧＵＩ１６００は、通常、入力パラメータと照明構成の対応するパラメータとの間の関係をグラフィカルに表す１つ以上のパネルと、図示した関係を対応する方法で設定又は調整するためのユーザ入力を受信する入力メカニズムを実装する１つ以上のパネルと、を備える。例として、ＧＵＩ１６００は、フレームレート、ストロボ照度、先行フィルレベル及び後続フィルレベルの間の現在の関係を示すチャート１６０４を表示する関係パネル１６０２を備えることができる。関係パネル１６０２は、タイミングチャート１６０６をさらに表示することができ、タイミングチャート１６０６は、フレームスキャンイン及びセットアップフェーズのタイミングを含むフレーム期間のタイミングに対するストロボ位置及びストロボ持続時間の現在の設定を示す。これに対応して、この例では、ＧＵＩ１６００は、チャート１６０４又はタイミングチャート１６０６に表される関係パラメータの１つ以上を設定又は修正するユーザ入力を受信する入力パネル１６０８を備える。一例は、結果として得られる照明構成の先行フィルレベルについて、最小照度（Ｆ＿ＦＩＬＬ＿ＭＩＮ）及び最大照度（Ｆ＿ＦＩＬＬ＿ＭＡＸ）の各々を設定又は修正するユーザ入力を受け取るための入力フィールド１６１０，１６１２と、結果として得られる照明構成の後続フィルレベルについて、最小照度（Ｂ＿ＦＩＬＬ＿ＭＩＮ）及び最大照度（Ｂ＿ＦＩＬＬ＿ＭＡＸ）の各々を設定又は修正するユーザ入力を受信するための入力フィールド１６１４，入力フィールド１６１６と、を備える。
【0074】
同様に、入力パネル１６０８は、照明ストロボの１つ以上のパラメータを構成するための入力フィールドを備えることができる。説明すると、図示した例では、ストロボ照度とフレームレートの間の関係は、（照明ストロボの使用がいつ開始するかを制御する）フレームレートＳ０、フレームレートＳ１、及び、（照明ストロボがいつ最大照度に到達するかを制御する）フレームレートＳ２に変曲点を有する区分的な線形関係（線１６１８）として表される。したがって、入力パネル１６０８は、照明ストロボの最小照度（ＳＴＲＯＢＥ＿ＭＩＮ）及び最大照度（ＳＴＲＯＢＥ＿ＭＡＸ）の各々を設定又は修正するユーザ入力を受信するための入力フィールド１６２０，１６２２と、変曲点Ｓ０，Ｓ１，Ｓ２の特定のフレームレート値及び各変曲点で使用されるストロボ照度を設定又は修正するユーザ入力を受信するための入力フィールド１６２４，１６２６，１２６８，１６３０，１６３２，１６３４を備えることができる。入力パネル１６０８は、さらに、入力フィールド１６３６若しくは１６３８によるストロボ位置決め、又は、入力フィールド１６４０若しくは１６４２によるストロボ持続時間の構成を容易にすることができる。
【0075】
入力パネル１６０８の入力フィールドは、フィルインフィールド、プルダウンフィールド等として実装することができる。場合によっては、入力フィールドに絶対値が入力される。例えば、フィールド１６１０，１６１２，１６１４，１６１６の各々は、指定された範囲内にある値を受信し、入力された値は、対応する照度を直接表す。別の例として、ストロボ位置及びストロボ持続時間をそれぞれ制御するフィールド１６３６，１６４０は、ミリ秒単位の値を表す値を受信する。他の例では、入力フィールドに相対値が入力される。例えば、入力フィールド１６３６，１６３８は、フレーム期間の持続時間のパーセンテージを表す値、したがって、問題となっている特定のフレーム期間に対して相対的である値を受信することができる。さらに、特定の固定値を設定するのではなく、入力パネル１６０８は、ディスプレイシステム３００によって動的に決定される値への調整をユーザが指定する機能を提供することができる。説明すると、いくつかの実施形態では、ＧＰＵ負荷、フレームレート、照明ストロボの開始位置の間の関係は動的であり、学習済みモデルによって頻繁に更新される。あるユーザは、学習済みモデルの結果、照明ストロボがフレーム期間のいくらか早い段階で発生し、ユーザが望むよりも頻繁に画面のテアリングインスタンスをトリガする関係になることに気付く。したがって、ユーザは、入力フィールド１６４４に調整値を提供し、さもなければストロボ位置決めモジュール１５００（図１５）によって決定されるストロボ位置値に静的調整を加える。例えば、値－０．４を入力すると、ストロボ位置決めモジュール１５００は、ユーザに合わせて、ストロボ位置をユーザ入力がない場合に実施するストロボ位置から０．４ミリ秒だけ戻す。
【0076】
さらに、入力フィールドを使用してユーザ入力を取得するのではなく、又は、それに加えて、いくつかの実施形態では、図示した関係の１つ以上は、所望の関係を達成するように描かれたグラフ又はチャートをユーザがグラフィカルに操作するのを可能にするように、ユーザがマウスカーソル、タッチスクリーン又は他の入力メカニズムを介して操作可能である。例えば、変曲点Ｓ１は、変曲点に関連するフレームレート値及びストロボ照度の一方又は両方を変更するように、ユーザがマウスカーソル又はタッチスクリーンを介してチャート１６０４の横軸及び縦軸に沿って移動させることができるグラフィック機能であってよい。
【0077】
ディスプレイシステム３００のユーザからユーザ入力を取得して、様々な入力パラメータと、１つ以上のフレームに実装される照明構成のパラメータと、の関係を定義又は修正することに加えて、いくつかの実施形態では、他のディスプレイシステムの他のユーザによって定義された関係を使用して、ディスプレイシステム３００によって実装される関係を設定又は修正する。図１７は、照明構成に対してそのような分散関係設定を提供するための例示的な分散システム１７００を示す。分散システム１７００は、リモートディスプレイシステム１７０４－１，１７０４－２，１７０４－３等の１つ以上のリモートディスプレイシステムのように、ディスプレイシステム３００がネットワーク１７０３（例えば、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、インターネット等）を介して接続されるリモートサーバ１７０２を備える。リモートディスプレイシステム１７０４の各々は、フレームシーケンスを生成及び表示するように動作し、本明細書に記載の技術を利用して、これらのシーケンスのフレームの表示のための照明構成を設定する。
【0078】
動作の過程で、各リモートディスプレイシステム１７０４は、照明構成更新１７０６をリモートサーバ１７０２に送信する。照明構成更新１７０６は、その動作過程で送信側リモートディスプレイシステム１７０４によって決定される１つ以上の入力パラメータと１つ以上の入力構成パラメータとの間の関係の表現を含む。これは、例えば、１つ以上のＬＵＴ又は他のテーブル、１つ以上のソフトウェア関数の記述、学習済みモデルのコピー等の形式を取る。照明構成更新１７０６は、関係の生成時のリモートディスプレイシステム１７０４自体のステータスに関する情報も含む。このステータス情報は、例えば、リモートディスプレイシステム１７０４のコンポーネントのシリアル番号又はモデル番号、照明構成更新１７０６に関連するフレームのソースとして機能するビデオコンテンツアプリケーションの識別子、リモートディスプレイシステム１７０４の１つ以上のハードウェア仕様又は動作ステータス（例えば、ＧＰＵ負荷）の表現等を含む。
【0079】
リモートサーバ１７０２は、各リモートディスプレイシステム１７０４から定期的な照明構成更新１７０６を受信し、これらを１つ以上のリモートでトレーニングされた照明構成関係に統合する。照明構成関係は、様々な入力パラメータと、複数のシステムの経験に基づいて生じる出力構成のパラメータの間の一致（consensus）又はマージ（merging）を表す。次に、これらのリモートでトレーニングされた照明構成は、ハードウェアセットアップ指標、モデル指標、関係に関連する特定のビデオコンテンツアプリケーションの識別子等を含む、様々な指標の何れかを使用して、リモートサーバ１７０２で分類又はインデックス付けされる。
【0080】
ビデオコンテンツアプリケーション７０４を実行する準備をする際、ディスプレイシステム３００は、照明構成要求１７０８をリモートサーバ１７０２に送信することにより、リモートサーバ１７０２にクエリする。照明構成要求１７０８は、シリアル番号、モデル番号、ハードウェア仕様、ビデオコンテンツアプリケーション７０４の識別子、現在のＧＰＵ負荷、ユーザの好み等のように、ディスプレイシステム３００の様々な関連パラメータの識別子を含む。これに応じて、リモートサーバ１７０２は、照明構成要求１７０８で提供された関連パラメータに最も一致する適切な、リモートでトレーニングされた照明構成関係１７１０を識別し、識別したリモートでトレーニングされた照明構成関係１７１０を、実装のためにディスプレイシステム３００に送信する。照明構成更新１７０６と同様に、リモートでトレーニングされた照明構成関係１７１０は、例えば、１つ以上のＬＵＴ、１つ以上のソフトウェア関数、１つ以上の学習済みモデル等によって表される。
【0081】
一例として、ディスプレイシステム３００は、特定のビデオゲーム（ビデオコンテンツアプリケーション７０４の一実施形態）を実行するように設定されたゲームコンソールを含むことができる。したがって、ディスプレイシステム３００は、ゲームコンソールのモデル及びプレイされようとしている特定のビデオゲームを識別する照明構成要求１７０８を送信する。次に、リモートサーバ１７０２は、同じ又は類似のビデオゲームアプリケーションを実行している同じ又は類似のゲームコンソールのリモートディスプレイシステム１７０４の１つ以上からのフィードバックの結果として生成された、リモートでトレーニングされた照明構成関係１７１０を識別し、それによって、ビデオゲームアプリケーションによって生成されたフレームを表示するための照明構成を、トレーニングや追加のユーザ入力無しに、他の同様のディスプレイシステムで他のプレーヤが役立つと判断した設定にディスプレイシステム３００が迅速に調整することを可能にする。
【0082】
図１８～図２６を参照すると、ディスプレイの領域毎の照明構成制御のための領域照明制御技術２０６の例示的な実施形態がより詳細に説明されている。上記のように、これらの技術は、領域毎に個別の照明制御が可能なディスプレイデバイスを採用する。各照明領域は、例えば、ディスプレイデバイスのピクセルアレイの列のサブセット、ピクセルアレイの行のサブセット、又は、１つ以上の列のサブセットと１つ以上の行のサブセットとの交点にあるピクセルを表すピクセルのブロックである。これらの領域照明制御技術２０６は、個別に又は互いに組み合わせて採用され、上記の１つ以上のフレームレートに基づく照明制御技術２０２又はストロボ位置制御技術２０４と組み合わせて採用される。
【0083】
図１８及び図１９は、所定の照明領域に対応するフレームの領域の輝度の評価に基づいてその照明領域の照明構成を制御するための、輝度に基づく領域照明制御技術２１２の実施形態を共に示す。図１８の方法１８００は、いくつかの実施形態による、この技術の一般的なフローを示し、図１９に表された例示的な実施形態を参照して説明されている。図１９では、ソース側照明制御モジュール７１４（図７）が、ディスプレイデバイス３０４によって実装される照明構成設定の決定を担当する。ただし、以下に説明するプロセスは、本明細書で提供されるガイドラインを使用して、ディスプレイ側照明制御モジュール７１８による実装に適合させることができる。
【0084】
ブロック１８０２において、ＧＰＵ３０８は、ビデオコンテンツアプリケーション７０４の指示により、フレームシーケンス内のフレーム１９０２をレンダリングするか他の方法で生成し、生成されたフレームをレンダリングデバイス３０２のフレームバッファ１９０４にバッファリングする。次に、ブロック１８０４において、ディスプレイドライバ７１２は、生成されたフレーム１９０２を表すバッファリングされたピクセルデータ及びメタデータを、相互接続３０５を介してディスプレイデバイス３０４に行毎に送信する。
【0085】
ブロック１８０２，１８０４のフレーム生成プロセス及び送信プロセスと同時に、グラフィックスドライバ７１０の照明制御モジュール７１４は、表示マトリクス３１８の各照明領域の照明構成を決定するプロセスを開始する。図１９の例では、表示マトリクス３１８は、９つの照明領域１９０６－１～１９０６－９を有するグリッドベースの領域分割として構成されている。しかしながら、９つの領域の例が示されているが、表示マトリクス３１８は、より多くの又はより少ない領域にセグメント化できることが理解されるであろう。場合によっては、各ピクセルは、それ自体の別個の領域として表され、個々の色要素又はサブピクセルが、ブラーやフリッカーについて分析され、個別に照明される。したがって、ブロック１８０６において、照明制御モジュール７１４は、照明領域を選択し、選択された照明領域に対応するフレームの領域（フレームのこの領域は、本明細書において「フレーム領域」と呼ばれる）の輝度表現を決定する。説明すると、いくつかの実施形態において、グラフィックスドライバ７１０は、フレーム領域のヒストグラム１８１２を生成するタスクをＧＰＵ３０８に与え、ヒストグラム１８１２は、対応するピクセル値を有するフレーム領域内の、又は、対応するピクセル値範囲若しくは「バケット」内の該当するピクセルの数を示す。次に、照明制御モジュール７１４は、ヒストグラム１８１２に基づいて、フレーム領域の輝度表現を決定する。例えば、輝度表現は、閾値ピクセル値より大きいピクセル値を有するピクセルの数又は割合、ヒストグラム１８１２内のピクセルの平均ピクセル値等を示す。他の実施形態では、グラフィックスドライバ７１０は、フレーム領域（例えば、平均画像レベル（ＡＰＬ）に類似するが、フレーム全体ではなくその特定のフレーム領域に対して）の平均輝度値１８１４を生成するタスクをＧＰＵ３０８に与え、したがって、フレーム領域の輝度表現は、この平均輝度値を含むか、それに基づいている。いくつかの実施形態では、輝度表現は、白輝度レベルに基づいて決定されるが、他の実施形態では、個別の輝度表現が、個々のサブカラー及び輝度の各々に対して決定されることに留意されたい。説明を簡単にするために、以下の説明及び例では、白輝度レベルに基づく輝度表現の計算を利用している。
【0086】
ブロック１８０８において、照明制御モジュール７１４は、領域の輝度表現に基づいて、照明領域の照明構成を決定する、又は、照明領域に対して以前に識別された照明構成を修正する。説明すると、いくつかの実施形態では、照明制御モジュール７１４は、上記の技術の１つ又は組み合わせを使用してフレームのデフォルトの照明構成を決定し、次に、照明制御モジュール７１４は、特定の領域固有の照明構成を生成するために、対応するフレーム領域の輝度表現に基づいて、各照明領域についてデフォルトの照明構成を修正する。例えば、以下に説明するように、輝度表現を使用して、デフォルトレベルからストロボ出力を増加させて、フィル出力を減らし、逆に、デフォルトレベルからストロボ出力を減らして、フィル出力を増加させることができる。他の実施形態では、輝度表現を使用して、その領域に使用するために事前に定義された照明構成のセットから特定の照明構成を選択する。
【0087】
一実施形態におけるフレーム領域の輝度表現と照明領域の対応する照明構成（又は、領域毎のデフォルト照明構成への修正）との間の関係は、１つ以上のＬＵＴ１８１６、１つ以上のソフトウェア関数１８１８、又は、様々な設定での以前の使用及び以前のユーザ入力についてトレーニングされたＭＬアルゴリズムによって開発された学習済みモデル１８２０を使用して実装される。例えば、ＬＵＴ１８１６は、対応する輝度表現又は対応する輝度表現の範囲に基づいてインデックス付けされた複数のエントリを有し、対応する各エントリは、特定の先行照明フィルレベル、後続照明フィルレベル、ストロボレベル、ストロボ位置、ストロボ持続時間等のパラメータの値を含む、対応する照明構成の表現を記憶する。別の例として、デフォルトのフレーム幅の照明構成が指定され、ＬＵＴ１８１６の各エントリは、デフォルトのストロボレベルから減らすストロボレベルの量、及び、デフォルトのストロボレベルから増加させるフィルレベルの量を指定する等のように、デフォルトの照明構成に対する特定の修正の指示を含む。照明ストロボによって引き起こされるフリッカーは、通常、ピクセルレベルが明るくなると顕著になり、ピクセルレベルが暗くなると目立たなくなるため、少なくとも１つの実施形態では、輝度表現と対応する領域固有の照明構成との関係は、明るいフレーム領域では照明ストロボを強調しないようにし、フィルレベルを強調し、逆に、暗いフレーム領域では照明ストロボを強調し、フィルレベルを強調しないようにするものである。説明すると、高閾値を超える輝度表現を有し、したがって、高い平均輝度を有することを示す第１のフレーム領域について、照明制御モジュール７１４は、この例では、第１のフレーム領域に関連する照明領域に対して一定レベルのフィル照明構成を実装し、一方、低閾値よりも低い輝度表現を有し、したがって、低い平均輝度を有することを示す第２のフレーム領域については、照明制御モジュール７１４は、この例では、第２のフレーム領域に関連する照明領域に対してストロボのみの照明構成を実装する。しかしながら、低閾値と高閾値の間の輝度表現を有する第３のフレーム領域については、平均輝度がこの範囲内で増加すると、ストロボ出力が強調され、フィル出力が強調されないように、照明制御モジュール７１４は、輝度表現に基づいてストロボ出力とフィル出力を反対方向に線形又は非線形に調整する。
【0088】
照明制御モジュール７１４は、各照明領域の領域に基づく照明構成（又は、領域に基づく照明構成修正）を決定するように、表示マトリクス３１８の各照明領域に対してブロック１８０６，１８０８のプロセスを繰り返し、ディスプレイデバイス３０４のディスプレイコントローラ３１６で実装される照明制御モジュール７１８に対して、各照明領域についての照明構成又は照明構成修正の表現１９０８を送信する。例えば、表現１９０８は、照明領域１９０６－１～１９０６－９の各々に対するエントリを有するデータ構造を含むことができ、各エントリは、その照明領域に対して実装される照明構成の様々なパラメータの値を記憶する。或いは、データ構造は、一般的な照明構成を表すエントリを含み、各領域に関連するエントリは、その領域に固有の照明構成を生成するために一般的な照明構成をどのように修正するかを示すデータを含む。
【0089】
ブロック１８２２において、ディスプレイデバイス３０４は、対応するフレーム期間中にフレーム１９０２の表示を進める。このプロセスの一部として、照明制御モジュール７１８は、その照明領域の照明構成を領域毎の表現１９０８で指定されるように実装するように、ディスプレイコントローラ３１６を介して、フレーム１９０２のフレーム期間中に表示マトリクス３１８の各照明領域での照明を制御する。他の実施形態では、照明制御モジュール７１４は、各フレーム領域の輝度表現を表す値を有する１つ以上のデータ構造を送信し、各照明領域の照明構成を、その領域の受信した輝度表現に基づいて決定又は修正するのは、照明制御モジュール７１８である。さらに他の実施形態では、レンダリングデバイス３０２から輝度表現を受信するのではなく、ディスプレイデバイス３０４の照明制御モジュール７１８が、ディスプレイデバイス３０４において、（例えば、ヒストグラム又は他の領域毎の輝度表現を生成することによって）各フレーム領域の輝度表現を決定し、次に、局所的に決定された領域毎の輝度表現に基づいて、領域毎の照明構成を決定する。
【0090】
図２０～図２２は、所定の照明領域の照明構成を、対応する照明領域の動きの推定に基づいて制御するための動きに基づく領域照明制御技術２１４の実施形態を示す。図２０の方法２０００は、いくつかの実施形態による、この技術の一般的なフローを示し、図２１に表された例示的な実施形態を参照して説明されている。図２１では、ソース側照明制御モジュール７１４（図７）が、ディスプレイデバイス３０４によって実装される照明構成設定の決定を担当する。ただし、以下に説明するプロセスは、本明細書で提供されるガイドラインを使用して、ディスプレイ側照明制御モジュール７１８による実装に適合させることができる。
【0091】
ブロック２００２において、ＧＰＵ３０８は、ビデオコンテンツアプリケーション７０４の指示により、フレームシーケンス内のフレーム２１０２をレンダリングするか他の方法で生成し、生成されたフレームをレンダリングデバイス３０２のフレームバッファ２１０４にバッファリングする。ブロック２００４において、ディスプレイドライバ７１２は、生成されたフレーム２１０２を表すバッファリングされたピクセルデータ及びメタデータを、相互接続３０５を介してディスプレイデバイス３０４に行毎に送信する。
【0092】
ブロック２００２，２００４のフレーム生成プロセス及び送信プロセスと同時に、グラフィックスドライバ７１０の照明制御モジュール７１４は、表示マトリクス３１８の各照明領域の照明構成を、対応する各フレーム領域の動き推定に基づいて決定するプロセスを開始する。図２１の例では、表示マトリクス３１８は、９つの照明領域２１０６－１～２１０６－９を有するグリッドベースの領域分割として構成されている。したがって、ブロック２００６において、照明制御モジュール７１４は、現在のフレームの領域を選択し、選択された領域に対応するフレーム領域の動き推定領域表現を決定する。
【0093】
当技術分野でよく理解されているように、動き推定は、前のフレームから現在のフレームへの変換を決定するプロセスである。通常、動き推定は、現在のフレームとその前のフレーム又は他の以前の基準フレームとの比較を反映し、オブジェクト又はピクセルブロックの基準フレーム内の位置から現在のフレーム内の位置への移動を表す動きベクトルを決定する。ＧＰＵ３０８は、フルサーチ及び他のブロックマッチング技術、位相相関技術、周波数マッチング技術、ピクセル再帰技術、及び、オプティカルフロー技術を含む、現在のフレームの動きを表す動きベクトルを決定する様々な周知又は独自の技術の何れかを使用することができる。次に、ＧＰＵ３０８又はレンダリングデバイス３０２の他のコンポーネントは、フレームに対して決定された動きベクトルから、現在のフレームの対象領域内に起点を有する動きベクトル、現在のフレームの対象領域内に宛先を有する動きベクトル、又は、これらの組み合わせに基づいて、照明領域２１０６－１～２１０６－９に対応するフレーム領域の各々について動き推定表現を決定する。説明すると、一実施形態では、ＧＰＵ３０８は、動きベクトル（又は、ジッタをフィルタリングするための特定の大きさの閾値を超える動きベクトル）を有するフレーム領域内のマクロブロック又はコーディングツリーユニット（ＣＴＵ）の数を集計し、この数に基づいて、このフレーム領域の動き推定表現を決定する。別の例として、別の実施形態では、ＧＰＵ３０８は、フレーム領域内のマクロブロック又はＣＴＵの動きベクトルから平均動きベクトルの大きさ又は他の統計的評価を生成し、この統計的評価に基づいて、このフレーム領域の動き推定表現を生成する。
【0094】
ブロック２００８において、照明制御モジュール７１４は、対応するフレーム領域の動き推定表現に基づいて、照明領域の照明構成を決定するか、照明領域に対して以前に識別された照明構成を修正する。説明すると、いくつかの実施形態では、照明制御モジュール７１４は、上記の技術の１つ又は組み合わせを使用して、フレームのデフォルトの照明構成を決定し、次に、照明制御モジュール７１４は、特定の領域固有の照明構成を生成するために、フレーム領域の動き推定表現に基づいて、各照明領域についてデフォルトの照明構成を修正する。他の実施形態では、動き推定表現を使用して、その領域に使用するための事前に定義された照明構成のセットから特定の照明構成を選択する。
【0095】
フレーム領域の動き推定表現と対応する照明領域の対応する照明構成（又は、領域毎のデフォルト照明構成への修正）との間の関係は、１つ以上のＬＵＴ２０１６、１つ以上のソフトウェア関数２０１８、又は、様々な設定での以前の使用及び以前のユーザ入力についてトレーニングされたＭＬアルゴリズムによって開発された学習済みモデル２０２０を使用して実装することができる。例えば、ＬＵＴ２０１６は、対応する動き推定表現又は対応する動き推定表現の範囲に基づいてインデックス付けされた複数のエントリを有し、対応する各エントリは、特定の先行照明フィルレベル、後続照明フィルレベル、ストロボレベル、ストロボ位置、ストロボ持続時間等のパラメータの値を含む、対応する照明構成の表現を記憶する。別の例として、デフォルトのフレーム幅の照明構成が指定され、ＬＵＴ２０１６の各エントリは、デフォルトのストロボレベルから減らすストロボレベルの量、及び、デフォルトのストロボレベルから増加させるフィルレベルの量を指定する等のように、デフォルトの照明構成に対する特定の修正の指示を含む。
【0096】
フレーム領域の動き推定と照明構成制御との間の関係に関して、比較的動きの少ないフレーム領域はモーションブラーの影響を受けにくいため、対応する照明領域に顕著な照明ストロボを実装することは、モーションブラーの軽減にはおそらく不要であり、フレームレートによってはメリットのないフリッカーを生じる可能性があることに留意されたい。逆に、比較的動きの多いフレーム領域では、モーションブラーが発生しやすく、そのような領域では、照明ストロボが強調される。したがって、少なくとも１つの実施形態では、照明領域の照明構成を設定又は修正するために照明制御モジュール７１４によって実装される関係は、一般に、動き推定の増加に伴ってストロボ強調を増加させ、フィル強調を減少させ、逆に、フレーム領域の動き推定の減少に伴って、ストロボ強調を減少させ、フィル強調を増加させる。したがって、フレーム幅のデフォルト又は一般的な照明構成が領域毎に修正されるスキームの場合、照明制御モジュール７１４は、動き推定表現を使用して、動きが比較的少ないと識別されたフレーム領域のストロボ出力をデフォルトレベルから減らし、フィル出力を増加させることができ、又は逆に、動きが比較的多いと識別された領域のストロボ出力をデフォルトレベルから増加させ、フィル出力を減らす。説明すると、第１のフレーム領域が低閾値より低い動き推定表現を有し、したがって、非常に低い又は０の動き推定を有することを示す第１のフレーム領域について、照明制御モジュール７１４は、一実施形態では、第１のフレーム領域に対応する照明領域に対して一定レベルのフィル照明構成を実装し、一方、第２のフレーム領域が高閾値よりも高い動き推定表現を有し、したがって、高い動き推定表現を有することを示す第２のフレーム領域については、照明制御モジュール７１４は、一実施形態では、第２のフレーム領域に対応する照明領域に対してストロボのみの照明構成を実装する。しかしながら、低閾値と高閾値との間の動き推定表現を有する第３のフレーム領域について、動き推定がこの範囲内で増加すると、ストロボ出力が強調され、フィル出力が強調されないように、照明制御モジュール７１４は、動き推定表現に基づいて、ストロボレベル及び持続時間とフィルレベルの一方又は両方を反対方向に線形又は非線形に調整する。
【0097】
照明制御モジュール７１４は、各照明領域の領域に基づく照明構成（又は、領域に基づく照明構成修正）を決定するように、表示マトリクス３１８の照明領域に対応するフレームの各照明領域に対してブロック２００６，２００８のプロセスを繰り返し、ディスプレイデバイス３０４のディスプレイコントローラ３１６で実装される照明制御モジュール７１８に対して、各照明領域の照明構成又は照明構成修正の表現２１０８を送信する。上記の説明と同様に、表現２１０８は、照明領域２１０６－１～２１０６－９の各々に対するエントリを有するデータ構造を含むことができ、各エントリは、その照明領域に対して実装される照明構成の様々なパラメータの値を記憶する。或いは、データ構造は、一般的な照明構成を表すエントリを含み、各領域に関連するエントリは、その照明領域の領域固有の照明構成を生成するために一般的な照明構成をどのように修正するかを示すデータを含む。
【0098】
ブロック２０２２において、ディスプレイデバイス３０４は、対応するフレーム期間中にフレーム２１０２の表示を進める。このプロセスの一部として、照明制御モジュール７１８は、その照明領域の照明構成を領域毎の表現２１０８で指定されるように実装するために、ディスプレイコントローラ３１６を介して、フレーム２１０２のフレーム期間中に表示マトリクス３１８の各照明領域での照明を制御する。他の実施形態では、照明制御モジュール７１４は、各照明領域の動き推定表現を表す値を有する１つ以上のデータ構造を送信し、各照明領域の照明構成を、その領域の受信した動き推定表現に基づいて決定又は修正するのは、照明制御モジュール７１８である。
【0099】
方法２０００の例を説明すると、図２２は、２つのフレーム２２０２－１，２２０２－２の例示的なシーケンス２２００を示しており、フレーム２２０２－１は、表示順でフレーム２２０２－２に先行する。フレーム２２０２－１，２２０２－２の各々は、３×３グリッドのフレーム領域に分割され、各フレーム領域は、表示マトリクス３１８の独立制御される照明領域に対応する。この例では、シーケンス２２００は、水平方向に移動する自動車オブジェクト２２０４を表すピクセルコンテンツの動きを表し、ピクセルコンテンツの大部分は、フレーム２２０２－１の領域２２０６で始まり、フレーム２２０２－２のフレーム領域２２０８に現れる。この例では、シーケンスに他の大きな動きがないと仮定する。したがって、フレーム２２０２－２の場合、フレーム領域２２０６，２２０８は、先行フレーム２２０２－１からの大きい動きを示し、したがって、フレーム２２０２－２のフレーム領域２２０６，２２０８には、大きい動きを表す高い値を有する動き推定表現が割り当てられ、フレーム２２０２－２の残りのフレーム領域には、低い又は０の動きを表す低い値を有する動き推定表現が割り当てられる。したがって、フレーム領域２２０６，２２０８の各々について、照明制御モジュール７１４は、照明ストロボがあまり強調されていない２つの対応する照明領域で潜在的に生じ得るモーションブラーを軽減するために、顕著な照明ストロボ及び強調されていない照明フィル（照明フィル無しを含む）を提供する領域固有の照明構成を生成する。僅かな量の動きを含み、したがって、小さくて０ではない動き推定表現によって表されるフレーム領域２２１０，２２１２の場合、照明制御モジュール７１４は、関連する照明領域におけるモーションブラーとフリッカーのリスクのバランスをとるように、フレーム領域の動き推定表現に基づいてストロボ出力とフィル出力とのバランスをとる領域固有の照明構成を生成する。残りのフレーム領域の各々について、照明制御モジュール７１４は、より顕著なストロボを使用した場合にこれらの照明領域で潜在的に発生し得るフリッカーを軽減するように、顕著な照明フィル及び強調されていない照明ストロボ（ストロボ無し、又は、一定したレベルのフィル照明を含む）を提供する領域固有の照明構成を生成する。
【0100】
図２３～図２６は、所定の照明領域の照明構成を、その照明領域が中心窩領域（foveal region）であるか周辺領域であるかに基づいて制御するための中心窩領域照明制御技術２１６の実施形態を示す。このような技術を実施するために、ディスプレイシステム３００は、図２３に示すように、ユーザの現在の注視位置（gaze position）を決定するための視線追跡サブシステム２３００を利用する。少なくとも一実施形態では、視線追跡サブシステム２３００は、ディスプレイデバイス３０４の表示マトリクス３１８と同じ場所に配置された１つ以上の光源２３０２（例えば、赤外線（ＩＲ）ＬＥＤ）を利用して、光源２３０２によって照らされたユーザの目２３０４の画像をキャプチャするように、ユーザの片目又は両目２３０４と、目２３０４の位置に向けられた１つ以上のイメージングカメラ２３０６とを照らす。視線追跡モジュール２３０８は、キャプチャされた画像を分析して、様々な周知又は独自の視線追跡技術の何れかを使用して、イメージングカメラ２３０６の位置、表示マトリクス３１８の位置、ユーザの目２３０４の位置、及び、視線方向２３１０の間の既知の幾何学的構成から、目２３０４の現在の視線方向２３１０を決定し、現在の注視位置２３１２、すなわち、ユーザの現在の中心窩ビューのターゲットである表示マトリクス３１８上の点を三角測量する。次に、視線追跡モジュール２３０８は、現在の注視位置２３１２の注視位置表現２３１４を、グラフィックスドライバ７１０、ＧＰＵ３０８又はレンダリングデバイス３０２の他のコンポーネントに提供する。注視位置表現２３１４は、例えば、表示マトリクス３１８のピクセルに対する現在の注視位置２３１２の（Ｘ，Ｙ）位置を特定する（Ｘ、Ｙ）座標ペア、現在の注視位置２３１２の場所を含む表示マトリクス３１８の照明領域を特定する値等を含むことができる。
【0101】
図２４を参照すると、図２４の方法２４００は、いくつかの実施形態による、中心窩領域照明制御技術２１６の一般的なフローを示し、図２５に表された例示的な実施形態を参照して説明されている。図２５では、ソース側照明制御モジュール７１４（図７）が、ディスプレイデバイス３０４によって実装される照明構成設定の決定を担当する。ただし、以下に説明するプロセスは、本明細書で提供されるガイドラインを使用して、ディスプレイ側照明制御モジュール７１８による実装に適合させることができる。
【0102】
ブロック２４０２において、ＧＰＵ３０８は、ビデオコンテンツアプリケーション７０４の指示により、フレームシーケンス内のフレーム２５０２をレンダリングするか他の方法で生成し、生成されたフレームをレンダリングデバイス３０２のフレームバッファ２５０４にバッファリングする。ブロック２４０４において、ディスプレイドライバ７１２は、生成されたフレーム２５０２を表すバッファリングされたピクセルデータ及びメタデータを、相互接続３０５を介してディスプレイデバイス３０４に行毎、列毎、ブロック毎、又は、他のパターン毎に送信する。
【0103】
ブロック２４０２，２４０４のフレーム生成プロセス及び送信プロセスと同時に、グラフィックスドライバ７１０の照明制御モジュール７１４は、表示マトリクス３１８の各照明領域の照明構成を、現在の注視位置２３１２と、注視位置２３１２の照明領域との関係に基づいて決定するプロセスを開始する。図２５の例では、表示マトリクス３１８は、５×５の配置の照明領域２５０１－１～２５０１－２５を有するグリッドベースの領域分割として構成される。ブロック２４０６において、視線追跡サブシステム２３００は、現在の注視位置２３１２を決定し、対応する注視位置表現２３１４を照明制御モジュール７１４に提供する。ブロック２４０８において、照明制御モジュール７１４は、問題となっている照明領域に対する注視位置表現２３１４によって表される現在の注視位置２３１２の位置に基づいて、照明領域２５０１－１～２５０１－２５の各々を分類する。いくつかの実施形態では、照明制御モジュール７１４は、各照明領域が、現在の注視位置２３１２からの領域の距離に基づいて中心窩領域又は周辺領域の何れかに分類される２段階アプローチを実施する。この場合、現在の注視位置２３１２を含む照明領域を中心窩領域と指定し、残りの照明領域の全てを周辺領域と指定する。他の実施形態では、現在の注視位置２３１２からの距離に基づいて、３段階以上の分類が実施される。例えば、一実施形態では、照明制御モジュール７１４は、現在の注視位置２３１２を含む照明領域が中心窩領域として分類され、中心窩領域に直接隣接する照明領域が中間領域として分類され、残りの照明領域が周辺領域として分類される、３段階アプローチを実施する。ここで提供されるガイドラインを使用して、他の分類スキームを実施することができる。
【0104】
ブロック２４１０において、照明制御モジュール７１４は、選択された照明領域の照明構成を決定するか、又は、選択された領域の分類に基づいて選択された照明領域に対して以前に特定された照明構成を修正する。説明すると、いくつかの実施形態では、照明制御モジュール７１４は、上記の技術の１つ又は組み合わせを使用してフレームのデフォルトの照明構成を決定し、次に、照明制御モジュール７１４は、特定の領域固有の照明構成を生成するために、領域の分類に基づいて、各照明領域についてデフォルトの照明構成を修正する。他の実施形態では、領域の分類を使用して、その領域に使用するための事前に定義された照明構成のセットから特定の照明構成を選択する。
【0105】
少なくとも一実施形態では、照明領域の注視に基づく分類と照明領域の対応する照明構成（又は、領域毎のデフォルト照明構成への修正）との間の関係は、１つ以上のＬＵＴ２４１２、１つ以上のソフトウェア関数２４１４、又は、様々な設定での以前の使用及び以前のユーザ入力についてトレーニングされたＭＬアルゴリズムによって開発された学習済みモデル２４１６を使用して実装される。例えば、ＬＵＴ２４１２は、対応する注視に基づく分類に基づいてインデックス付けされた複数のエントリを有し、対応する各エントリは、特定の先行照明フィルレベル、後続照明フィルレベル、ストロボレベル、ストロボ位置、ストロボ持続時間等のパラメータの値を含む、対応する照明構成の表現を記憶する。別の例として、デフォルトのフレーム幅の照明構成が指定され、ＬＵＴ２４１２の各エントリは、デフォルトのストロボレベルから減らすストロボレベルの量、及び、デフォルトのストロボレベルから増加させるフィルレベルの量を指定する等のように、デフォルトの照明構成に対する特定の修正の指示を含む。
【0106】
人間の視覚システムでは、ユーザの周辺視野は、通常、ユーザの中心窩視野よりもフリッカーに気づきやすい。逆に、ユーザの周辺視野の視力が低下すると、通常、ユーザは、周辺視野のモーションブラーに気づきにくくなり、中心窩視野でモーションブラーに気づきやすくなる。したがって、少なくとも１つの実施形態では、照明領域の照明構成を設定又は修正するために照明制御モジュール７１４によって実装される関係は、一般に、中心窩領域と分類された照明領域に対してストロボ強調を増加させ、フィル強調を減少させ、逆に、周辺領域と分類された照明領域に対してストロボ強調を減少させ、フィル強調を増加させる。さらに、中間領域分類が利用される実施形態では、その関係は、中間領域と識別された領域のストロボ出力とフィル出力との間のバランスを提供する。したがって、フレーム幅のデフォルト又は一般的な照明構成が領域毎に修正されるスキームの場合、照明制御モジュール７１４は、照明領域に対して注視に基づく分類を使用して、周辺領域と識別された照明領域に対してストロボ出力をデフォルトレベルから減少させ、フィル出力を増加させることができ、又は逆に、中心窩領域と識別された領域に対してストロボ出力をデフォルトレベルから増加させ、フィル出力を減少させることができる。また、中間領域に分類される照明領域については、本例では、一般的な照明構成が修正されずに採用される。
【0107】
照明制御モジュール７１４は、各照明領域に対して領域に基づく照明構成（又は、領域に基づく照明構成修正）を決定するように、表示マトリクス３１８の各照明領域に対してブロック２４１０のプロセスを繰り返し、ディスプレイデバイス３０４のディスプレイコントローラ３１６で実装される照明制御モジュール７１８に対して、各照明領域の照明構成又は照明構成修正の表現２５０８を送信する。上記の説明と同様に、表現２５０８は、照明領域２５０１－１～２５０１－２５の各々に対するエントリを有するデータ構造を含むことができ、各エントリは、その照明領域に対して実装される照明構成の様々なパラメータの値を記憶する。或いは、データ構造は、一般的な照明構成を表すエントリを含み、各領域に関連するエントリは、その照明領域の領域固有の照明構成を生成するために一般的な照明構成をどのように修正するかを示すデータを含む。
【0108】
ブロック２４１８において、ディスプレイデバイス３０４は、対応するフレーム期間中にフレーム２５０２の表示を進める。このプロセスの一部として、照明制御モジュール７１８は、その照明領域の照明構成を領域毎の表現２５０８で指定されるように実装するために、ディスプレイコントローラ３１６を介して、フレーム２５０２のフレーム期間中に表示マトリクス３１８の各照明領域での照明を制御する。他の実施形態では、照明制御モジュール７１４は、各照明領域の注視に基づく分類を表す値を有する１つ以上のデータ構造を送信し、各照明領域の照明構成を、その領域の受信した注視に基づく分類に基づいて決定又は修正するのは、照明制御モジュール７１８である。
【0109】
方法２４００の例を説明すると、図２６は、２つの異なるフレーム２６０２－１，２６０２－２を示す。フレーム２６０２－１，２６０２－２の各々は、５×５グリッドのフレーム領域に分割され、各フレーム領域は、表示マトリクス３１８の独立制御される照明領域２５０１に対応する。フレーム２６０２－１は、上記の２段階分類アプローチを示す。この例では、（アイコン２６０４によって特定される）現在の注視位置は、照明領域２５０１－１７（図２５を参照）に関連するエリア内にあり、したがって、照明領域２５０１－１７は、中心窩領域に分類され、残りの照明領域２５０１－１～２５０１－１６，２５０１－１８～２５０１－２５は、周辺領域に分類される。したがって、照明領域２５０１－１７に対してディスプレイデバイス３０４によって採用される領域固有の照明構成は、照明ストロボの使用を強調し、照明フィルの使用を強調しないように設定又は修正され、一方、他の照明領域は、ストロボの使用を強調せず、フィルの使用を強調するように設定又は修正され得る領域固有の照明構成を有する。
【0110】
フレーム２６０２－２は、上記の２段階分類アプローチを示す。この例では、（アイコン２６０４によって特定される）現在の注視位置は、照明領域２５０１－１３（図２５を参照）に関連するエリア内にあり、したがって、照明領域２５０１－１３は、中心窩領域に分類される。照明領域２５０１－７，２５０１－８，２５０１－９，２５０１－１２，２５０１－１４，２５０１－１７，２５０１－１８，２５０１－１９は、照明領域２５０１－１３に直接隣接しているため、中間領域として分類され、残りの照明領域は、周辺領域として分類される。したがって、この例では、中心窩領域に対してディスプレイデバイス３０４によって採用される領域固有の照明構成は、照明ストロボの使用を強調し、照明フィルの使用を強調しないように設定又は修正され、周辺領域に対する領域固有の照明領域は、ストロボの使用を強調せず、フィルの使用を強調するように設定又は修正され、中間領域の領域固有の照明構成は、例えば、デフォルトで上記の他の照明構成制御技術の１つを使用して決定された一般的なフレーム幅の照明構成になる。
【0111】
いくつかの実施形態では、上記の装置及び技術は、図１～図２６を参照して上述したディスプレイシステム３００のコンポーネントの１つ以上の集積回路（ＩＣ）デバイス（集積回路パッケージ又はマイクロチップとも呼ばれる）を含むシステムに実装される。これらのＩＣデバイスの設計及び製造には、電子設計自動化（ＥＤＡ）及びコンピュータ支援設計（ＣＡＤ）ソフトウェアツールが使用される。これらの設計ツールは、通常、１つ以上のソフトウェアプログラムとして表される。１つ以上のソフトウェアプログラムは、回路を製造するための製造システムを設計又は適合するための処理の少なくとも一部を実行するように１つ以上のＩＣデバイスの回路を表すコードで動作するようにコンピュータシステムを操作する、コンピュータシステムによって実行可能なコードを含む。このコードは、命令、データ、又は、命令及びデータの組み合わせを含むことができる。設計ツール又は製造ツールを表すソフトウェア命令は、通常、コンピューティングシステムがアクセス可能なコンピュータ可読記憶媒体に記憶される。同様に、ＩＣデバイスの設計又は製造の１つ以上のフェーズを表すコードは、同じコンピュータ可読記憶媒体又は異なるコンピュータ可読記憶媒体に記憶されてもよいし、同じコンピュータ可読記憶媒体又は異なるコンピュータ可読記憶媒体からアクセスされてもよい。
【0112】
コンピュータ可読記憶媒体は、命令及び／又はデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の非一時的な記憶媒体又は非一時的な記憶媒体の組み合わせを含む。このような記憶媒体には、限定されないが、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）若しくはキャッシュ）、不揮発性メモリ（例えば、読取専用メモリ（ＲＯＭ）若しくはフラッシュメモリ）、又は、微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体が含まれ得る。コンピュータ可読記憶媒体（例えば、システムＲＡＭ又はＲＯＭ）はコンピューティングシステムに内蔵されてもよいし、コンピュータ可読記憶媒体（例えば、磁気ハードドライブ）はコンピューティングシステムに固定的に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、光学ディスク又はユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）はコンピューティングシステムに着脱可能に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））は有線又は無線ネットワークを介してコンピュータシステムに結合されてもよい。
【0113】
いくつかの実施形態では、上記の技術のいくつかの態様は、ソフトウェアを実行するプロセッシングシステムの１つ以上のプロセッサによって実装されてもよい。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶され、又は、非一時的なコンピュータ可読記憶媒体上で有形に具現化された実行可能命令の１つ以上のセットを含む。ソフトウェアは、１つ以上のプロセッサによって実行されると、上記の技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する命令及び特定のデータを含むことができる。非一時的なコンピュータ可読記憶媒体は、例えば、磁気若しくは光ディスク記憶デバイス、例えばフラッシュメモリ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）等のソリッドステート記憶デバイス、又は、他の１つ以上の不揮発性メモリデバイス等を含むことができる。非一時的なコンピュータ可読記憶媒体に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、又は、１つ以上のプロセッサによって解釈若しくは実行可能な他の命令フォーマットであってもよい。
【0114】
上述したものに加えて、概要説明において説明した全てのアクティビティ又は要素が必要とされているわけではなく、特定のアクティビティ又はデバイスの一部が必要とされない場合があり、１つ以上のさらなるアクティビティが実行される場合があり、１つ以上のさらなる要素が含まれる場合があることに留意されたい。さらに、アクティビティが列挙された順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明された。しかしながら、当業者であれば、特許請求の範囲に記載されているような本発明の範囲から逸脱することなく、様々な変更及び変形を行うことができるのを理解するであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮されるべきであり、これらの変更形態の全ては、本発明の範囲内に含まれることが意図される。
【0115】
利益、他の利点及び問題に対する解決手段を、特定の実施形態に関して上述した。しかし、利益、利点、問題に対する解決手段、及び、何かしらの利益、利点若しくは解決手段が発生又は顕在化する可能性のある特徴は、何れか若しくは全ての請求項に重要な、必須の、又は、不可欠な特徴と解釈されない。さらに、開示された発明は、本明細書の教示の利益を有する当業者には明らかな方法であって、異なっているが同様の方法で修正され実施され得ることから、上述した特定の実施形態は例示にすぎない。添付の特許請求の範囲に記載されている以外に本明細書に示されている構成又は設計の詳細については限定がない。したがって、上述した特定の実施形態は、変更又は修正されてもよく、かかる変更形態の全ては、開示された発明の範囲内にあると考えられることが明らかである。したがって、ここで要求される保護は、添付の特許請求の範囲に記載されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】