(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129046
(43)【公開日】2024-09-26
(54)【発明の名称】未来のフレームのメタデータを用いたプロジェクタ光源ディミング
(51)【国際特許分類】
H04N 5/74 20060101AFI20240918BHJP
H04N 5/64 20060101ALI20240918BHJP
G03B 21/14 20060101ALI20240918BHJP
G03B 21/00 20060101ALI20240918BHJP
G09G 5/00 20060101ALI20240918BHJP
G09G 5/10 20060101ALI20240918BHJP
G09G 5/02 20060101ALI20240918BHJP
【FI】
H04N5/74 Z
H04N5/64 501D
G03B21/14 A
G03B21/00 D
G03B21/14 Z
G09G5/00 510B
G09G5/00 510Q
G09G5/10 B
G09G5/02 B
【審査請求】有
【請求項の数】6
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024099446
(22)【出願日】2024-06-20
(62)【分割の表示】P 2021516919の分割
【原出願日】2019-09-25
(31)【優先権主張番号】62/737,015
(32)【優先日】2018-09-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/882,894
(32)【優先日】2019-08-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】リチャーズ,マーティン ジェイ.
(72)【発明者】
【氏名】リッペイ,バレット
(72)【発明者】
【氏名】ペルティエラ,ファン ピー.
(72)【発明者】
【氏名】ハイダロフ,ザッカンガー ヴィー.
(72)【発明者】
【氏名】デウォルド,デュアン スコット
(72)【発明者】
【氏名】ウェインライト,ネイサン ショーン
(72)【発明者】
【氏名】ヘニガン,ダレン
(72)【発明者】
【氏名】ジャクソン,ジョン デイビッド
(57)【要約】 (修正有)
【課題】プロジェクタにおいて視覚的アーティファクトの知覚されやすさを低減する。
【解決手段】プロジェクション表示システムは、コンテンツデータに応じて光を出射するように構成された光源と、前記光を変調するように構成された光学変調器と、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記プロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減するように構成されたコントローラと、を備えている。
【選択図】
図12
【特許請求の範囲】
【請求項1】
サウンドトラックの音量を含むコンテンツデータに応じて光を出射するように構成された光源と、
前記光を変調するように構成された光学変調器と、
前記サウンドトラックの音量に基づいて前記光源の最大許容ディミング量を調節することにより、暗ポンピングによる視覚的アーティファクトの知覚されやすさを低減するように構成されたコントローラと、
を備えた、プロジェクション表示システム。
【請求項2】
前記コントローラは、前記サウンドトラックの音量が第1の音量レベルである場合、前記光源の輝度のディミングを第1の輝度レベルよりも低くならないように制限し、前記サウンドトラックの音量が第2の音量レベルである場合、前記光源の輝度のディミングを第2の輝度レベルよりも低くならないように制限するように構成され、前記第1の輝度レベルは、前記第2の輝度レベルよりも低く、前記第1の音量レベルは、前記第2の音量レベルよりも低い、請求項1に記載のプロジェクション表示システム。
【請求項3】
前記コントローラは、前記コンテンツデータに基づいて前記光源の輝度を調節するように構成されている、請求項1に記載のプロジェクション表示システム。
【請求項4】
前記光源は、第1色の光を出射するように構成された第1の発光装置と、第2色の光を出射するように構成された第2の発光装置と、第3色の光を出射するように構成された第3の発光装置と、を含む、請求項1に記載のプロジェクション表示システム。
【請求項5】
前記コントローラは、前記第1色の光、前記第2色の光、および前記第3色の光の光レベルを個別に調節するように構成されている、請求項4に記載のプロジェクション表示システム。
【請求項6】
前記コントローラは、前記第1色の光、前記第2色の光、および前記第3色の光の光レベルを一括して調節するように構成されている、請求項4に記載のプロジェクション表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、2019年8月5日出願の米国特許仮出願第62/882,894号、および、2018年9月26日出願の米国特許仮出願第62/737,015号に基づく優先権を主張するものであり、これらの出願の全文を本願に援用する。
【0002】
本願は、広義には、プロジェクタ表示システムに関する。
【背景技術】
【0003】
プロジェクタ表示システムは、典型的に、プロジェクタの内部または外部の何らかの光学システムによって変調された画像をスクリーンに照射する光源を含む。プロジェクタは、レーザ、キセノンランプ、アークランプ、発光ダイオードなどの1つ以上の発光素子を含み得る光源を含む。光源からの光は、レンズ、変調器、ビームエキスパンダ、ビームスプリッタ、絞り(iris)、フィルタなどの1つ以上の光学要素を含み得る光路に沿って導かれ得る。
【0004】
プロジェクタ表示システムを出る光は、映画館のスクリーンのような二次元のスクリーンに導かれ得る。プロジェクタ表示システムに含まれ得る1つ以上の変調器は、スクリーンの特定箇所に光を選択的に導き、これにより、比較的明るい部分および比較的暗い部分を含み得る画像を生成する。プロジェクタのコントラスト比は、プロジェクタ表示システムの性能の1つの尺度であり、そのディスプレイのピーク輝度レベルと暗レベルの比として定義される。無限のコントラスト比は技術的に実現不可能であるので、プロジェクタが非常に明るい画像部分と絶対的に黒い画像部分とを同時に表示することは技術的に難しいことであり得る。
【0005】
グローバルディミングを含むまたはグローバルディミングに関連するプロジェクタまたは他のディスプレイシステムが、下記を含む同出願人の特許および特許出願に記載されている。
「グローバルディミングを有するシングルおよびマルチ変調器プロジェクタシステム(Single and Multi-Modulator Projector Systems with Global Dimming)」と題する米国特許公開公報第2018/0217485号
「サラウンド周囲光の検知、処理および調節(Surround Ambient Light Sensing, Processing, and Adjustment)」と題する米国特許公開公報第2018/0211440号
「高ダイナミックレンジを有するプロジェクタのための光リサイクル(Light Recycling for Projectors with High Dynamic Range)」と題する米国特許公開公報第2018/0164665号
「カラーリマッピング情報(CRI)メッセージングによるターゲットディスプレイカラーボリューム仕様(Targeted Display Color Volume Specification via Color Remapping Information (CRI) Messaging)」と題する米国特許公開公報第2018/0098
046号
「HDRディスプレイのためのダイナミックパワーマネージメント(Dynamic Power Management for an HDR Display)」と題する米国特許公開公報第2018/006863
7号
「コントラストおよび解像度を増加させるフィルタレスLCDを用いた高ダイナミックレンジディスプレイ(High Dynamic Range Displays Using Filterless LCD(s) for Increasing Contrast and Resolution)」と題する米国特許公開公報第2018/0011365号
「高ダイナミックレンジ画像プロジェクタのための方法およびシステム(Methods and Systems for High Dynamic Range Image Projectors)」と題する米国特許公開公報第2
018/0007327号
「LEDバックライト、積層光学フィルムおよび低解像度光フィールドシミュレーションに基づくLCD駆動信号を用いた高ダイナミックレンジディスプレイ(High Dynamic Range Display Using LED Backlighting, Stacked Optical Films, and LCD Drive Signals Based on a Low Resolution Light Field Simulation)」と題する米国特許公開公報第2017/0316758号
「変調されたバックライトのためのパワーマネージメント(Power Management for Modulated Backlights)」と題する米国特許公開公報第2017/0186380号
「グローバルディミングを有するシングルおよびマルチモジュレータプロジェクタシステム(Single and Multi-Modulator Projector Systems with Global Dimming)」と題する米国特許公開公報第2016/0261832号
「非機械的ミラービームステアリングを有するプロジェクタ表示システム(Projector Display Systems Having Non-Mechanical Mirror Beam Steering)」と題する米国特許公開公報第2016/0139560号
「グローバルディスプレイ管理に基づく光変調(Global Display Management Based Light Modulation)」と題する米国特許公開公報第2015/0365580号
「プロジェクタ表示システムのためのエンハンストグローバルディミング(Enhanced Global Dimming for Projector Display Systems)」と題する米国特許公開公報第201
5/0124176号
「画像特性に基づくディスプレイエミュレーションのためのマッピング(Mapping for Display Emulation Based on Image Characteristics)」と題する米国特許公開公報第2014/0333660号
「変調されたバックライトのためのパワーマネージメント(Power Management for Modulated Backlights)」と題する米国特許公開公報第2014/0168287号
「眼鏡型ディスプレイ装置のためのディスプレイ、撮像システムおよびコントローラ(Display, Imaging System and Controller for Eyewear Display Device)」と題する米
国特許公開公報第2014/0085190号
「高コントラストグレイスケールおよびカラーディスプレイ(High Contrast Grayscale and Color Displays)」と題する米国特許公開公報第2013/0335682号
「LEDバックライト、積層光学フィルムおよび低解像度光フィールドシミュレーションに基づくLCD駆動信号を用いた高ダイナミックレンジディスプレイ(High Dynamic Range Display Using LED Backlighting, Stacked Optical Films, and LCD Drive Signals Based on a Low Resolution Light Field Simulation)」と題する米国特許公開公報第2013/0120234号
「コントラストおよび解像度を増加させるフィルタレスLCDを用いた高ダイナミックレンジディスプレイ(High Dynamic Range Displays Using Filterless LCD(s) for Increasing Contrast and Resolution)」と題する米国特許公開公報第2012/0224121号
「変調されたバックライトのためのパワーマネージメント(Power Management for Modulated Backlights)」と題する米国特許公開公報第2011/0175949号
「ディスプレイ装置におけるHDR実装のための様々な実施形態による方法および装置(Method and Apparatus in Various Embodiments for HDR Implementation in Display Devices)」と題する米国特許公開公報第2009/0322800号
これらの文献の全文を本願において援用する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
開示内容の要旨
本開示の様々な態様は、視覚的アーティファクトの知覚されやすさを低減するべくプロジェクタにおいてグローバルディミングを行う装置、システムおよび方法に関する。
【課題を解決するための手段】
【0007】
本開示のある例示的な態様において、コンテンツデータに応じて光を出射するように構成された光源と、前記光を変調するように構成された光学変調器と、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいてプロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減するように構成されたコントローラと、を含むプロジェクション表示システムが提供される。
【0008】
本開示の別の例示的な態様において、光源および光学変調器を備えたプロジェクション表示システムのプロセッサによって実行されたときに、コンテンツデータを受け取ることと、前記コンテンツデータに応じて前記光源によって光を出射することと、前記光学変調器によって前記光を変調することと、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記プロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減することとを包含する処理を、前記プロジェクション表示システムに行わせる命令を格納した非一時的なコンピュータ可読媒体が提供される。
【0009】
このように、本開示の様々な態様は、心理視覚的マスキングを用いたプロジェクタ表示システムにおけるグローバルディミングを提供するとともに、少なくとも画像プロジェクション、信号処理などの技術分野において向上をもたらす。
【図面の簡単な説明】
【0010】
様々な態様の上記およびその他のより詳細で具体的な特徴は、下記の添付図面を参照しながら以下の説明でより完全に開示される。
【
図1】本開示の様々な態様による例示的なディミング技術のグラフを示す。
【
図2】本開示の様々な態様によるプロジェクタおよび部屋の例示的な関係のグラフを示す。
【
図3】本開示の様々な態様による別の例示的なディミング技術のグラフを示す。
【
図4】本開示の様々な態様による例示的なトーン曲線のグラフを示す。
【
図5】本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。
【
図6】本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。
【
図7】本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。
【
図8】本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。
【
図9】本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。
【
図10】本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。
【
図11】本開示の様々な態様による例示的なプロジェクタ表示システムのブロック図を示す。
【
図12】本開示の様々な態様による例示的なプロジェクタ表示方法の処理フローを示す。
【発明を実施するための形態】
【0011】
本開示およびその態様は、コンピュータ実装された方法によって制御されるハードウェ
アまたは回路、コンピュータプログラム製品、コンピュータシステムおよびネットワーク、ユーザインタフェースおよびアプリケーションプログラミングインタフェース、ならびに、ハードウェア実装された方法、信号処理回路、メモリアレイ、特定用途向け集積回路、フィールドプログラマブルゲートアレイなどを含む様々な形態で実施可能である。上記要旨は、本開示の様々な態様の概要を示すものに過ぎず、本開示の範囲を何ら限定するものではない。
【0012】
本開示の1つ以上の態様の理解を助けるべく、以下の説明においては、回路構成、波形タイミング、回路動作など、数多くの詳細事項を記載する。これらの具体的な詳細事項が例示に過ぎず、本願の範囲を限定するものではないことは、当業者には明らかである。
【0013】
また、本開示は、デジタルプロジェクションシステムにおいて様々な回路が用いられる例を主な対象としているが、それも1つの実施例に過ぎないことが理解されるであろう。さらに、開示されるシステムおよび方法が、視覚的アーティファクトの知覚されやすさを低減または小さくする必要があるあらゆる装置(例えば、顕微鏡、イメージセンシング、テレコミュニケーション、ノンプロジェクションイメージディスプレイなど)に利用可能であることが理解されるであろう。
【0014】
ディミング技術
本明細書において、「グローバルディミング」とは、プロジェクタの光源の全体の光レベルをコンテンツに応じて変化させる技術を指す。明るいシーンの場合には光源の光レベルを増加させ、うす暗いシーンの場合には光レベルを減少させる。これは、絞り、可変密度フィルタを通す、また、光源自体を変調することを含む様々な方法で行うことができる。さらに、これは、ハードウェア要素、ソフトウェア要素、ファームウェアまたはその組み合わせを用いて行うことができる。一例として、グローバルディミング(以下の技術のあらゆる1つ以上の技術など)は、メタデータパラメータを入力として用いる可変多入力アナログまたはデジタルローパスフィルタ関数によって実装され得る。
【0015】
グローバルディミングシステムにおいては、望ましくない視覚的アーティファクトが生じ得る。例えば、信号機のような小さく明るい光がゆっくりと点滅する、非常に暗いシーンを考える。この場合、暗レベルのポンピング(pumping)に起因する望ましくないアーティファクトが存在し得る。変調器のダイナミックレンジが限られている場合、このシーンの暗レベルは、信号が点灯しているときには増加し、信号が暗くなると減少する。換言すると、プロジェクタ暗レベルはソースレベルに比例する。明るい光は小さいので、シーンのそれ以外の部分に有意なマスキングを与えず、プロジェクタ暗レベルの変化は視認されやすい。ベース(同時)コントラストがより高いプロジェクタでは、アーティファクトは視認されにくくなるが、それでも、容易に見えるかもしれない。デジタルシネマ(DCI)プロジェクタにおいて典型的に用いられるプロジェクタは約2000:1であるが、エンハンストDCIプロジェクタは8000:1以上であり得る。例えば、ベース同時コントラスト比が1,000,000:1を超えるプロジェクタは、グローバルディミングの恩恵をあまり受けないかもしれず、それによるアーティファクトは視認され得ないかもしれないが、コントラスト比(CR)が約50,000:1のプロジェクタは、グローバルディミングの恩恵を受け、プロジェクタ暗レベルポンピングが依然として知覚され得る。
【0016】
しかしながら、これらの視覚的アーティファクトをマスキングして、観察者に知覚されないように、または、わずかに知覚されるだけにすることが可能である。このマスキングは、人間の視覚システムに基づく様々な技術を用いて実現可能であり、これにより、これらの効果の視認されやすさを低減し得る。
【0017】
技術1-スローディミング
「スローディミング」技術によると、明るい光が現れたときに、そのシーンの最も明るい部分が正しいまたは所望の輝度になるようにソース光を増加する。
図1は、スローディミング技術を示す。具体的には、
図1は、時間の関数として、プロジェクタ表示システムの輝度レベルを示す。
図1において、ある所与のフレームにおける画像のピーク輝度レベルに対応する一連のピークレベル101を示す。曲線102は、あるプロジェクタ表示システムの性能、すなわち、ある所与の時点においてプロジェクタ表示システムが表示できるピークホワイトレベルを示す。曲線103は、その所与の時点において、そのプロジェクタ表示システムが表示できる暗レベルを示す。
図1に示す特定の例において、このプロジェクタ表示システムは、1000:1のベースコントラスト比を有し、暗レベル曲線103はピークホワイトレベル曲線102の1/1000である。この光が消えると、ソース光のレベルはゆっくりと減少する。シーン中の明るい光が再び現れたときは、明るいオブジェクトを正しいレベルで示すことができるように、ソース光は素早く増加される。このように、輝度の変化速度が滑らかになるようにソース光を調節する。プロジェクタ暗レベルポンピングは、特に、高速の暗から明への移行時に依然として視認可能であり得るが、あまり知覚されない。なぜなら、人間は、低速な変化に対して高速な変化ほどは気が付かないからである。また、シーンの最も明るい部分がちょうど光源でカバーされるように光源を減光する必要はない。例えば、シーンが100ニトの明るい領域から0.01ニトに変化した場合、ソース光を10,000分の1に低減する必要はない。より小さな低減(部分ディミング)を用いる事が可能であり、それによってポンピング効果は低減されるが、部分ディミングの場合、プロジェクタ暗レベルを低減する効果が低くなり得る。
【0018】
明るい領域が小さい場合には、それらの領域を完全なディテールで再現するために使用されるソース光レベルよりも低いソース光レベルとすることが有利であり得る。これにより、明るいオブジェクトは飽和してディテールが失われるが、プロジェクタ暗レベルは低くなる。多くの場合、小さく明るいオブジェクトのディテールは観察者には視認されにくいので、これは望ましいトレードオフである。画像分析と人間視覚システムの知識に基づいて、使用する適切なレベルを決定することができる。これは、スモールブライトオブジェクト(SBO)補償と呼ばれる。
【0019】
考慮すべきもう1つの点は、スクリーンからの光が客席の壁に反射してスクリーンに戻ってくることである。この結果、暗レベルはスクリーン上の画像の総エネルギーに比例する。プロジェクターの暗レベルを部屋反射率暗レベルよりも大幅に低くすることは厳密には必要ではなく、このことは、ソースレベルを決定するアルゴリズムを調節する際に考慮され得る。これは、「部屋反射補償」と呼ばれる。客席の壁から反射される光の量は、少なくとも一部は、スクリーンから反射される光の量に基づくので、部屋反射補償のアルゴリズムは、スクリーンゲインに基づいた調節を組み入れてもよい。
【0020】
ディミングの速度は、1つ以上の内部または外部要因に依存して可変であり得る。例えば、小さく明るいオブジェクトに加えて、平均画素レベル(APL)が高い、および/または、部屋反射または周囲光のレベルが高い場合には、APLが低い、および/または、部屋反射または周囲光のレベルが低い場合と比較して、比較的「速い」ディミングを提供することが好適であり得る。
【0021】
部屋反射補償に加えて、プロジェクタが生成している画像の総エネルギーに依存するプロジェクタからの暗レベルを補償することも可能である。このレベルは、例えば、プロジェクタ内の光学表面における(例えば、プロジェクションレンズによる)散乱によって生じる。これは、「レンズベイリンググレア(lens veiling glare)」または「ベイリンググレア暗光(lens veiling dark light)」と呼ばれ得る。部屋反射暗光およびベイリンググレア暗光は共にAPLに依存するので、
分析および補償の目的においては、これらの効果を単一項にまとめてもよい。
【0022】
さらに、シアター内の周囲光または「部屋周囲暗光」の効果を補償することも可能である。周囲光レベルが高い場合、大きな強度のグローバルディミングを提供する必要性は低い。これは少なくとも周囲光効果が支配的となるためである。ディミングの強度はまた、投影されている画像のコントラスト比に影響され得る。すなわち、画像データにおいて指定されているコントラストよりも大幅に高いコントラストを有する画像をプロジェクタ/部屋システムから生成する場合には、リターンが減少する。画像データから、シーン内の最も暗い画素を計算して、スクリーン上に実際に表示されるはずの暗レベルを決定することができる。この計算の結果は、ディミングの量の計算に用いるデータに加えることができる。
【0023】
グローバルディミングアルゴリズムは、画像データ中のシーンチェンジ時にリセットまたは再初期化されてもよい。例えば、ソースレベルは、シーンチェンジ時に、すぐにリセットして画像のピークレベルにされてもよく、ローパスフィルタの様々なパラメータは、新たな画像シーケンスに合わせて適宜変化してもよい。シーンチェンジのタイミングは、ダイナミックに(例えば、現フレームまたは未来のフレームにおける画像データをモニタリングして)決定してもよく、また、その画像データと一緒に含まれるメタデータを用いてフラグ付けしてもよい。
【0024】
視覚的アーティファクトの知覚されやすさは音声によっても影響され得る。例えば、音圧がより高い場合(例えば、大音量の爆発シーン)、低レベル暗領域を知覚する人間の視覚システムの能力を低減し得る。よって、サウンドトラックの音量が大きい期間中は、より小さい強度のグローバルディミングを用い得る。このように、グローバルディミングに影響する追加的なパラメータは音圧レベルであり得る。
【0025】
好ましくは、適用するグローバルディミングの特定の強度および種類を決定する際において、上記要素の多くまたは全てを考慮すべきである。すなわち、システムが生成する全暗レベルの合計に一致するのに必要な最低限のディミング量となるように、グローバルディミングの強度および種類を算出するべきである。
図2は、特定の(かつ任意の)フレームシーケンスについて、この一例を示している。
図2において、上側ライン201は、スクリーン上の光の合計、すなわち、APL、を表している。下側ライン202は、部屋から反射してプロジェクションレンズからスクリーン上へと散乱する光を表している。
図2に示すように、反射光は、典型的な客席条件を表すおよそ0.7%の貢献度を提供する。
【0026】
技術2-ルックアヘッドを用いたスローディミング
「ルックアヘッドを用いたスローディミング」技術において、プロジェクタは、各フレームの未来ピークレベルについての情報を有している。この情報は、メタデータに含まれていてもよく、あるいは、再生に先立って各フレームを先読みすることによって決定されてもよい。一般のスローディミング技術と同様に、ソース光はゆっくりと変化する。プロジェクタが未来のフレームの情報を有しているので、これにより、明るい光が現れる前にソース光をゆっくり増加させて、暗ポンピングの視認されやすさをさらに低減することができる。さらに、ある状態から別の状態への変化の勾配または速度は、異なるレベルおよび異なるコンテンツに対して異なっていてもよい(測定および視聴者の観察に依存して、正しい遷移速度および形状を決定する)。遷移が非常に遅く、分単位の場合もあり、人間の視覚システムの順応(accomodation)速度をトラックする。部分ディミング、SBO補償および部屋反射補償も本技術において用いることができる。
【0027】
図3は、時間の関数として、部分ディミングおよびSBOクリッピングを含むプロジェクタ表示システムの輝度レベルを示す。
図3は一連のピークレベル301を示し、これは
、所与のフレームにおける画像内のピーク輝度レベルに対応する。曲線302は、プロジェクタ表示システムの性能、すなわち、所与の時点においてプロジェクタ表示システムが表示できるピークホワイトレベルを示す。曲線303は、所与の時点においてプロジェクタ表示システムが表示できる暗レベルを示す。
図3に示す特定の例において、プロジェクタ表示システムは1000:1のベースコントラスト比を有するので、暗レベル曲線303はピークホワイトレベル曲線302の1/1000である。
図1に示す技術に比べて、
図3は、比較的明るいフレームまたはフレーム部分に先立ってプロジェクタ表示システムの輝度レベルを増加させることができる事を示している。このように増加させることにより、より遅い変化、ひいては、より知覚されにくい強度のプロジェクタ暗レベルポンピングが可能になり得る。
図3において、2つのピークレベル304はSBOに対応する。未来のフレームデータを用いて、プロジェクタ表示システムは、SBOを含むフレームのピークホワイトレベルが実際のピークレベル304より低くなるように、SBOをクリッピングする。これにより、より低い暗レベル、ひいては、含まれる視覚的アーティファクトが視聴者にとってより少なくなるようなフレーム再生成が可能になり得る。
【0028】
技術3-ダイナミックレンジ圧縮を用いたディミング
技術1および2は、共に「スローディミング」に関連し、定常条件下においてベースプロジェクタのダイナミックレンジを有する単一画像が得られる(部分ディミングを用いる時を除く)。「ダイナミックレンジ圧縮」を用いるディミング技術において、特に遷移時、ダイナミックレンジが減少する。これにより、グローバルディミングレベルに応じて、画像暗部ディテールが現れたり消えたりする画像となる。ソースレベルが高い明るいシーンの場合、プロジェクタ暗レベルによって画像暗部ディテールが不明瞭になる。より低いレベルにおいて、明るい光が存在せずソースレベルおよびプロジェクタ暗レベルが減少すると、画像暗部ディテールが再度現れる。この効果を緩和する1つの解決策は、遷移中において、また、異なる定常条件下において、トーン曲線の形状をダイナミックに変化させることである。
図4は、このようなトーン曲線を示す。
図4において、輝度(すなわち、出力レベル)は、最大輝度での単一フレームの画像入力レベルの関数として示している。破線401はプロジェクタ暗レベルに対応し、破線402はプロジェクタピークレベルに対応する。もし、未修正トーン曲線403が実装された場合、輝度は、画像入力レベルに対して単純に線形に対応するであろう。しかし、修正トーン曲線404により、(低画像入力レベルについて)エンハンスト暗画像ディテールが可能になる、および/または、(高画像入力レベルについて)SBOディテールが可能になる。
【0029】
すなわち、一例として、スクリーン上に(小面積)高輝度コンテンツが存在しかつソースレベルが高い場合にはプロジェクタ暗レベルによって通常不明瞭になるであろうような、画像の暗部のレベルを増加させることがあげられ得る。高輝度コンテンツが存在せず、ソースレベル(およびプロジェクタ暗レベル)が低い場合には、トーン曲線は線形に戻るであろう。高輝度コンテンツに影響を与える形状を含む、異なる形状のトーン曲線を用いた変形例もまた有利であり得る。例えば、小さく明るいオブジェクトが存在する場合、(より低い変調深さにおいて)それら小さく明るいオブジェクトのディテールを可能にするS字形状とする一方で、技術1で説明したようなより低いソースレベルを用いる(ただしディテールを失わない)小さく明るいことが、有利であり得る。
【0030】
技術4-チューニング済みディミング
「人間によるチューニング済み」ディミングを組み込むことも可能である。これは、上記各技術のいずれか、ならびに、人間によるチューニングを用いて、ソースレベルを明示的に調整するマスタリングまたはカラーグレーディング処理において、メタデータを生成することによって達成し得る。あるいは、上記各技術および人間によるチューニングのいずれかを用いて、ソースに適切なレベルを決定するプロジェクタ内のアルゴリズムをガイドする、メタデータを提供し得る。上記提供されるメタデータは、異なる機能を持つプロ
ジェクタで利用できるように、複数の手法を利用するための情報を含み得る。例えば、提供されるメタデータは、ルックアヘッドをサポートするプロジェクタにおいて使用する第1の情報セット、部分ディミングをサポートするプロジェクタにおいて使用する第2の情報セット、追加的な機能サポートを持たないプロジェクタにおいて使用する第3の情報セットなどを含み得る。
【0031】
上記各技術は一緒に使用することができる。例えば、スローディミング技術(ルックアヘッド有りまたは無し)を、ダイナミックレンジ圧縮および/または人間によるチューニングと組み合わせて使用することができる。上記組み合わせ技術は、SBO補償、部分ディミング、部屋反射補償の1つ以上を含めることによりさらに洗練され得る。
【0032】
また、
図1および
図3~
図4は、プロジェクタのピークおよび暗レベルと比較した画像の照明レベルを示すトーン曲線を示しているが、画像の色成分を色相を維持したまま個別に変化させることも可能である。例えば、小さく明るいオブジェクトが赤色である場合、
図1および
図3~
図4に示すようなトーン曲線をプロジェクタにおける赤色光に適用し、青色または緑色光には適用しないことが可能である。
【0033】
上記各技術において、様々なパラメータ(例えば、部屋反射、周囲光などに関する特性)を測定して、アルゴリズムに入力して、リアルタイムでディミングを算出することができる。あるいは、様々なパラメータを測定して、キャリブレーション時にアルゴリズムに手動で入力することができる。本開示のいくつかの態様において、一部のパラメータをキャリブレーション時に測定および入力し、他のパラメータをリアルタイムで測定および入力してもよい。
【0034】
実施例
図5~
図10は、一連の特定のプロジェクタおよび部屋に対する暗レベル貢献度の例を示す。プロジェクタおよび部屋の構成の詳細を以下の表1に示す。
【0035】
表1において、「MPPL」は、最大プロジェクタピークレベル(単位、ニト)を表し、PBCRは、プロジェクタベースコントラスト比(DCI4Kの場合1600:1)を表し、RRRは、部屋反射率比(APL:部屋反射率暗レベル)を表し(ベイリンググレア項を含む)、ADLは、周囲暗レベルを表し、SFRRは、部屋反射および周囲光の安全性ファクタを表す。安全性ファクタは、特定のグローバルディミングアルゴリズムが、合計暗レベルからどれだけ離れたところにプロジェクタ暗光を置くのかを決定する際に用いるマージンである。これは、(合計暗光のうちの)どれくらいより多くの暗光がプロジェクタによって貢献されるのかを規定する。上記各値は一例に過ぎない。
【0036】
図5は、高コントラスト(50000)プロジェクタである実施例1の全暗レベル貢献度を示す。具体的には、
図5は、部屋反射/ベイリンググレア暗レベル貢献度(破線501)、プロジェクタ暗レベル貢献度(一点鎖線502)、部屋周囲暗レベル貢献度(長破線503)、画像暗レベル貢献度(短破線504)および全暗レベル貢献度合計(実線505)を示す。
【0037】
図6は、実施例1の基本的なグローバルディミングの効果を示す。
図6の特定の図示に
おいて、グローバルディミングアルゴリズムは、各フレームの画像のピークレベルがソースレベルによって直接トラッキングされる瞬間的方法に対応する。これは、瞬間的グローバルディミングまたは「最高ピーク」グローバルディミングと呼ばれ得る。瞬間的方法は、説明の便宜上選ばれたものである。
図6は、プロジェクタピークレベルおよび画像ピークレベル(実線601)、APL(短破線602、部屋反射/ベイリンググレア暗レベル貢献度(点線603)、画像暗レベル貢献度(一点鎖線604)、周囲暗レベル貢献度(二点鎖線605)、プロジェクタ暗レベル貢献度(一点二鎖線606)および全暗レベル貢献度合計(破線607)を示す。
【0038】
図6に見られるように、プロジェクタシステムは、ほとんどのフレームにおいて、その部屋で実現し得る画像に近い画像を提供する。プロジェクタ暗レベル貢献度606は、合計607に有意に貢献しない。ほとんどは、部屋反射/ベイリンググレア暗レベル貢献度603がシステムを支配する。フレーム1~4においては、画像暗レベル貢献度604が支配的である。この図において、グローバルディミングアルゴリズムは、プロジェクタピークレベル601に対して大量の変化を与える。例えば、フレーム12に対するフレーム14の比は100:1である。これにより、より暗いシーンにおいて視認可能な暗レベルポンピングが起こり得る。
【0039】
比較として、
図7は、実施例1におけるグローバルディミングアルゴリズムにおいて部屋反射/ベイリンググレア、周囲および画像暗レベル貢献度に対する補償の効果を示す。
図7は、プロジェクタピークレベルおよび画像ピークレベル(実線701)、APL(短破線702)、部屋反射/ベイリンググレア暗レベル貢献度(点線703)、画像暗レベル貢献度(一点鎖線704)、周囲暗レベル貢献度(二点鎖線705)、プロジェクタ暗レベル貢献度(一点二鎖線706)および全暗レベル貢献度合計(破線707)を示している。
図7のAPL702を
図6のAPL602と比較すると、結果は実質的に同じであることが分かる。すなわち、
図6および
図7において画像のピークレベルは概ね同じであるが、
図7の場合、プロジェクタがそれほど大きな強度のソースディミングを実装せずに同じ目的を達成している。これは、「最小限ディミング」原理と呼ばれ得る。最小限ディミング原理の根底にある考え方は、スクリーン上の他の暗光ソースを考慮に入れて、完全ディミングによって得られるものと実質的に同じ結果を得るのに必要な最小限の量だけプロジェクタを減光することである。
【0040】
図8~
図10は、実施例1と比べると比較的低コントラスト(5000)プロジェクタである実施例2の暗レベル貢献度、瞬間的グローバルディミングおよび補償済グローバルディミング(「最小限ディミング」)の簡略化バージョンを示す。
図8~
図10は、それぞれ、
図5~
図7を単純化した類似物と考えてもよい。
【0041】
図8は、画像の所望の暗レベル(一点鎖線801)、スクリーン上の実際の暗レベル(破線802)および周囲暗レベル(二点鎖線803)を示す。
図8においては、グローバルディミングは行われない。
図9は、画像の所望の暗レベル(一点鎖線901)、スクリーン上の実際の暗レベル(破線902)、周囲暗レベル(二点鎖線903)およびプロジェクタピークレベル(実線904)を示す。
図9においては、瞬間的グローバルディミングが行われる。
図10は、画像の所望の暗レベル(一点鎖線1001)、スクリーン上の実際の暗レベル(破線1002)、周囲暗レベル(二点鎖線1003)およびプロジェクタピークレベル(実線1004)を示す。
図10においては、最小限グローバルディミングが行われる。
【0042】
全体として
図8~
図10は、最小限グローバルディミングが、比較的少ないソースのディミングで、最高ピークグローバルディミングと概ね同じパフォーマンスを発揮することを示している。しかし、より低いコントラスト比プロジェクタ(実施例2)の場合、より
高いコントラスト比プロジェクタ(実施例1)の場合よりも、最小限グローバルディミングアルゴリズムはより多くの変調を含む。部屋が非常に暗くかつコンテンツが高コントラストであり、プロジェクタベースコントラスト比が低い状況においては、最小限ディミングアルゴリズムは、より一層、最高ピークディミングアルゴリズムに近くなる。また、部屋が暗くなくまたは画像コンテンツが低コントラストであり、高いベースコントラスト比プロジェクタを用いる状況においては、最小限ディミングアルゴリズムは、必要に応じて変調を完全に停止する。
【0043】
プロジェクタ表示システム
図11は、本開示の様々な態様による例示的なプロジェクションシステムを示す。具体的には、
図11は、光源1111、光学変調器1112、光源1111に動作可能に接続されたコントローラ1113、光学変調器1112および投影光学系1114を含むプロジェクタ1110を示す。プロジェクタ1110は、スクリーン1120に向けて光を投影する。実際には、プロジェクタ1110は、メモリ、入出力ポート、通信回路、電源などの追加的要素を含み得る。さらに、プロジェクタ1110は、ミラー、レンズ、導波管、光ファイバ、ビームスプリッタ、ディフューザ、追加的空間光変調器(SLM)などの追加的光学要素を含み得る。説明の便宜上、これらの追加的要素はここでは図示していない。
【0044】
光源1111は、例えば、レーザ光源、高圧放電ランプ、LEDなどであり得る。本開示のいくつかの態様において、光源1111は、それぞれ異なる波長または波長帯に対応する複数の光源1111を含み得る。光源1111は、コントローラ1113が提供する画像信号に応じて光を出射する。コントローラ1113は、例えば、プロジェクタ1110の中央処理装置(CPU)などのプロセッサであり得る。一例において、光学変調器1112は、反射性SLMまたは透過性SLMを含むSLMであり得る。光学変調器1112は、液晶オンシリコン(LCOS)SLM、デジタルマイクロミラー装置(DMD)、ライトバルブなどであり得る。また、コントローラ1113は、光源1111から光を受ける光学変調器1112を制御する。光学変調器1112は、位相変調などの空間的変化を伴う変調を光に対して行い、変調された光を投影光学系1114に向けて導く。投影光学系1114は、1つ以上のレンズおよび/または他の光学要素を含んでもよく、これにより、光源1111からの光がスクリーン1120上に画像を形成する。
【0045】
本開示のいくつかの態様において、プロジェクタ1110は、様々なパラメータ(例えば、部屋反射、周囲光などに関する特性)をリアルタイムで決定するための1つ以上のセンサを含み得る。本開示の他の態様において、1つ以上のセンサがプロジェクタ1110の外部に設けられていてもよく、このプロジェクタは、リアルタイムでセンサからパラメータデータを受け取るための要素(例えば、上述の入出力ポート)を含み得る。リアルタイムで検知されたパラメータは、RAMなどのメモリに格納され得る。パラメータがリアルタイムで検知または決定されない場合、データは、手動で、キャリブレーション時に入力して、ハードディスクなどのメモリに格納してもよい。一部のパラメータを内部センサで決定し、他のパラメータを外部センサで決定し、さらに他のパラメータをキャリブレーション時に手動で入力するなど、異なるパラメータが異なる方法で検知または決定されてもよい。
【0046】
プロジェクタ表示方法
図12に例示的なプロジェクタ表示方法を示す。この例示的な方法は、電子プロセッサによって実行されたときに、
図12に記載した処理の1つ以上を行わせる命令を格納した非一時的なコンピュータ可読媒体を用いて行う、または、行わせることができる。非一時的なコンピュータ可読媒体には、例えば、RAM、ハードディスク、フラッシュメモリのような取り外し可能な記憶装置、光学ディスクなど、データを一時的に、永久的に、また
は、半永久的に保存するように構成されたあらゆる要素が含まれる。この例示的な方法は、
図11に関連して説明したプロジェクタ1110のようなプロジェクタ表示装置で行われ得る。
【0047】
ステップ1201において、プロジェクタ表示装置はコンテンツデータを受け取る。コンテンツデータは、例えば、有線または無線接続によって外部データソースから受け取られ得る。また、コンテンツデータは、内部記憶装置または取り外し可能な記憶装置のような内部データソースから受け取られ得る。本開示のいくつかの態様において、コンテンツデータは、
図11に関連して説明したコントローラ1113などのプロジェクタ表示装置のコントローラによって受け取られる。コンテンツデータを受け取った後、ステップ1202において、プロジェクタ表示装置は、コンテンツデータに応じて光を出射する。一例において、コントローラ1113は、コンテンツデータによって決定される輝度の光を光源1111に出射させる。
【0048】
ステップ1203において、プロジェクタ表示装置は、出射光を変調する。一例において、コントローラ1113は、光学変調器1112に、空間的変化を伴う変調を光源1111から出射された光に対して行わせる。ステップ1204において、プロジェクタ表示装置は、コンテンツデータおよび未来のフレームに関するメタデータに基づいて光レベルを調節する。このようにして、プロジェクションディスプレイ装置は視覚的アーティファクトの知覚されやすさを低減する。例えば、コントローラ1113は内部または外部のデータソースからメタデータを受信して、それに応じて光源1111を調節することができる。
【0049】
コントローラ1113は、光源1111を様々な方法で調節するように構成され得る。例えば、コントローラは、部分ディミングを行う、SBO補償を行う、ダイナミックレンジを圧縮するなどして、光源1111から出射された光レベルを調節し得る。光レベルを調節する際、コントローラ1113は、光源1111自体に対するパルススキップ、光源1111自体に対する振幅変調、光源1111からの出射光の減衰などを行い得る。光源1111が複数の個別光源からなる場合、コントローラ1113は、各光源の光レベルを、一括して、または、個別に調節し得る。いくつかの例においては、ステップ1202~1204をフレーム毎に繰り返し行い、それにより、動きのある画像(動画)を表示してもよい。具体的な調節は、上記のディミング技術の任意の1つ以上を用いて実装され得る。
【0050】
結論
本明細書に記載したプロセス、システム、方法、ヒューリスティックなどに関して、当該プロセスなどの各ステップは、ある順序のシーケンスに従って起こるものとして説明したが、各ステップを本明細書に記載した順序以外の順序で実行して当該プロセスを実施することもできることが理解されるべきである。さらに、特定のステップを同時に実行したり、他のステップを追加したり、本明細書に記載した特定のステップを省略したりすることも可能であることが理解されるべきである。言い換えれば、本明細書のプロセスの説明は、本開示の特定の態様を説明する目的で提供されており、決して特許請求の範囲を限定するように解釈されるべきではない。
【0051】
したがって、上記の説明が限定的ではなく例示的なものであることが理解される。説明した各例以外の多くの態様および用途が上記説明を読めば明らかになるであろう。上記範囲は、上記説明を参照するのではなく、添付の特許請求の範囲、ならびに、当該特許請求の範囲が権利を有する均等物の全範囲を参照して決定されるべきである。本明細書で議論した技術が今後発展し、本願に開示したシステムおよび方法がそのような未来の実施形態に組み込まれることは予期および意図されている。要するに、本願は、修正および変形が
可能であることが理解されるべきである。
【0052】
本開示の様々な態様は、以下の構成の任意の1つ以上の形態をとり得る。
【0053】
(1)プロジェクション表示システムであって、コンテンツデータに応じて光を出射するように構成された光源と、前記光を変調するように構成された光学変調器と、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記プロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減するように構成されたコントローラと、を備えた、プロジェクション表示システム。
【0054】
(2)前記コンテンツデータは、画像データと、周囲条件データ、前記未来のフレームに関するメタデータ、マスタリングメタデータ、カラーグレーディングメタデータ、またはプロジェクタ性能データの少なくとも1つとを含む、(1)に記載のプロジェクション表示システム。
【0055】
(3)前記プロジェクタ性能データは、前記プロジェクション表示システムのベイリンググレア特性に対応するデータを含む、(2)に記載のプロジェクション表示システム。
【0056】
(4)前記周囲条件データは、部屋反射特性に対応するデータ、スクリーンゲインに対応するデータ、または周囲光レベルに対応するデータの少なくとも1つを含む、(2)または(3)に記載のプロジェクション表示システム。
【0057】
(5)前記コントローラは、部分ディミングを行うことによって前記プロジェクション表示システムの前記光レベルを調節するように構成されている、(1)から(4)のいずれか一項に記載のプロジェクション表示システム。
【0058】
(6)前記コントローラは、前記光源の輝度または前記光源の輝度の変化速度の少なくとも1つを調節することによって前記プロジェクション表示システムの前記光レベルを調節するように構成されている、(1)から(5)のいずれか一項に記載のプロジェクション表示システム。
【0059】
(7)前記コントローラは、小さく明るいオブジェクト補償を行うことにより前記プロジェクション表示システムの前記光レベルを調節するように構成されている、(1)から(6)のいずれか一項に記載のプロジェクション表示システム。
【0060】
(8)前記コントローラは、ダイナミックレンジを圧縮することにより前記プロジェクション表示システムの前記光レベルを調節するように構成されている、(1)から(7)のいずれか一項に記載のプロジェクション表示システム。
【0061】
(9)前記光源は、前記光を出射するように構成されたレーザ光源である、(1)から(8)のいずれか一項に記載のプロジェクション表示システム。
【0062】
(10)前記コントローラは、前記レーザ光源に対するパルススキップ、前記レーザ光源に対する振幅変調または前記光に対する減衰の少なくとも1つを行うことによって、前記プロジェクション表示システムの前記光レベルを調節するように構成されている、(9)に記載のプロジェクション表示システム。
【0063】
(11)前記光源は、第1色の光を出射するように構成された第1の発光装置と、第2色の光を出射するように構成された第2の発光装置と、第3色の光を出射するように構成
された第3の発光装置と、を含む、(1)から(10)のいずれか一項に記載のプロジェクション表示システム。
【0064】
(12)前記コントローラは、前記第1色の光、前記第2色の光および前記第3色の光の光レベルを、個別に、調節するように構成されている、(11)に記載のプロジェクション表示システム。
【0065】
(13)前記コントローラは、前記第1色の光、前記第2色の光および前記第3色の光の光レベルを、一括して、調節するように構成されている、(11)に記載のプロジェクション表示システム。
【0066】
(14)前記視覚的アーティファクトは暗ポンピング効果である、(1)から(13)のいずれか一項に記載のプロジェクション表示システム。
【0067】
(15)光源および光学変調器を備えたプロジェクション表示システムのプロセッサによって実行されたときに、コンテンツデータを受け取ることと、
前記コンテンツデータに応じて前記光源によって光を出射することと、前記光学変調器によって前記光を変調することと、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記プロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減することと、
を包含する処理を、前記プロジェクション表示システムに行わせる命令を格納した非一時的なコンピュータ可読媒体。
【0068】
(16)前記コンテンツデータは、画像データと、周囲条件データ、前記未来のフレームに関するメタデータ、マスタリングメタデータ、カラーグレーディングメタデータ、またはプロジェクタ性能データの少なくとも1つとを含む、(15)に記載の非一時的なコンピュータ可読媒体。
【0069】
(17)前記プロジェクタ性能データは、前記プロジェクション表示システムのベイリンググレア特性に対応するデータを含む、(16)に記載の非一時的なコンピュータ可読媒体。
【0070】
(18)前記周囲条件データは、部屋反射特性に対応するデータ、スクリーンゲインに対応するデータ、または周囲光レベルに対応するデータの少なくとも1つを含む、(16)または(17)に記載の非一時的なコンピュータ可読媒体。
【0071】
(19)前記プロジェクション表示システムの光レベルの調節は、部分ディミングを行うことを含む、(15)から(18)のいずれか一項に記載の非一時的なコンピュータ可読媒体
【0072】
(20)前記プロジェクション表示システムの光レベルの調節は、前記光源の輝度または前記光源の輝度の変化速度の少なくとも1つを調節することを含む、(15)から(19)のいずれか一項に記載の非一時的なコンピュータ可読媒体。
【0073】
(21)前記プロジェクション表示システムの光レベルの調節は、小さく明るいオブジェクト補償を行うことを含む、(15)から(20)のいずれか一項に記載の非一時的なコンピュータ可読媒体。
【0074】
(22)前記プロジェクション表示システムの光レベルの調節は、ダイナミックレンジを圧縮することを含む、(15)から(21)のいずれか一項に記載の非一時的なコンピ
ュータ可読媒体。
【0075】
(23)前記光源は、前記光を出射するように構成されたレーザ光源である、(15)から(22)のいずれか一項に記載の非一時的なコンピュータ可読媒体。
【0076】
(24)前記プロジェクション表示システムの光レベルの調節は、前記レーザ光源に対するパルススキップ、前記レーザ光源に対する振幅変調または前記光に対する減衰の少なくとも1つを行うことを含む、(23)に記載の非一時的なコンピュータ可読媒体。
【0077】
(25)前記光の出射は、前記光源の第1の発光装置による第1色の光の出射と、前記光源の第2の発光装置による第2色の光の出射と、前記光源の第3の発光装置による第3色の光の出射と、を含む、(15)から(24)のいずれか一項に記載の非一時的なコンピュータ可読媒体。
【0078】
(26)前記プロジェクション表示システムの光レベルの調節は、前記第1色の光、前記第2色の光および前記第3色の光の光レベルを、個別に、調節することを含む、(25)に記載の非一時的なコンピュータ可読媒体。
【0079】
(27)前記プロジェクション表示システムの光レベルの調節は、前記第1色の光、前記第2色の光および前記第3色の光の光レベルを、一括して、調節することを含む、(25)に記載の非一時的なコンピュータ可読媒体。
【0080】
(28)前記視覚的アーティファクトは暗ポンピング効果である、(15)から(27)のいずれか一項に記載のプロジェクション表示システム。
【外国語明細書】