IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エムティティ イノベーション インコーポレイテッドの特許一覧

特開2023-52097画像投影システム及び画像投影方法、コンテンツマッピングモジュール及びコンテンツマッピングの方法、並びにハイライト投影システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023052097
(43)【公開日】2023-04-11
(54)【発明の名称】画像投影システム及び画像投影方法、コンテンツマッピングモジュール及びコンテンツマッピングの方法、並びにハイライト投影システム
(51)【国際特許分類】
   H04N 5/74 20060101AFI20230404BHJP
   H04N 9/31 20060101ALI20230404BHJP
   G03B 21/00 20060101ALI20230404BHJP
   G03B 21/14 20060101ALI20230404BHJP
   G09G 5/00 20060101ALI20230404BHJP
   G09G 5/37 20060101ALI20230404BHJP
【FI】
H04N5/74 Z
H04N9/31 020
G03B21/00 D
G03B21/14 Z
G09G5/00 510B
G09G5/37 100
G09G5/00 520A
【審査請求】有
【請求項の数】49
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022209183
(22)【出願日】2022-12-27
(62)【分割の表示】P 2019561900の分割
【原出願日】2018-05-11
(31)【優先権主張番号】62/505,827
(32)【優先日】2017-05-12
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516118903
【氏名又は名称】エムティティ イノベーション インコーポレイテッド
【氏名又は名称原語表記】MTT INNOVATION INCORPORATED
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100111235
【弁理士】
【氏名又は名称】原 裕子
(74)【代理人】
【識別番号】100195257
【弁理士】
【氏名又は名称】大渕 一志
(72)【発明者】
【氏名】ダンバーグ、 ガーウィン
(57)【要約】      (修正有)
【課題】画像投影システム及び画像投影方法を提供する。
【解決手段】操舵光を非操舵光と組み合わせるハイブリッド投影機アーキテクチャ32を有する画像投影システムであって、操舵光は狭帯域光であり、非操舵光は広帯域光である。操舵光と非操舵光とを分割することが、輝度レベルに基づいて決定される。
【効果】非操舵光は、しきい値までの輝度レベルに対する光の大部分に寄与する。操舵光は、輝度地がしきい値を上回るほど上昇すると、光の増加部分に寄与する。
【選択図】図4
【特許請求の範囲】
【請求項1】
画像投影システムであって、
第1変調光を画面に投影するべく動作可能であり、第1空間光変調器を含む第1投影機と

第2変調光を前記第1変調光に重畳させるように前記画面に投影するべく動作可能であり
、光操舵モジュールを含む第2投影機と、
表示される標的画像のための目標照明レベルを定義するピクセル値を含む画像データを処
理するべく、並びに前記第1空間光変調器及び前記光操舵変調器のための制御信号を生成
するべく動作可能な制御器と
を含み、
前記処理は、光出力を前記第1投影機と前記第2投影機との間で分割することにより、前
記第2変調光が前記画像のピクセルのそれぞれに対する前記光の一部分を含むとともに、
前記第1変調光が前記画像の前記ピクセルに対する前記光の大部分を構成する態様となり
、前記光の大部分に対しては前記目標照明レベルが第1しきいレベル未満となる、画像投
影システム。
【請求項2】
前記制御器は、前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを
含む処理によって修正された目標画像を生成し、前記第2投影機に対する制御信号を前記
修正された目標画像に基づかせるべく構成され、ここで、γ>1である、請求項1に記載
の画像投影システム。
【請求項3】
前記制御器は、前記分割を、前記目標照明レベルに基づいてピクセル毎に行うべく構成さ
れる、請求項1に記載の画像投影システム。
【請求項4】
前記制御器は、前記第1しきいレベル未満の目標照明レベルを有するピクセルに対し、前
記第1変調光の輝度に対する前記第2変調光の輝度の固定比を維持するべく構成される、
請求項2に記載の画像投影システム。
【請求項5】
前記制御器は、前記第1しきいレベルを超過する目標照明レベルを有するピクセルに対し
、前記第1変調光に対する前記第2変調光の比が前記固定比を超過するように、前記第2
投影機を制御するべく構成される、請求項4に記載の画像投影システム。
【請求項6】
前記固定比は20%未満である、請求項4又は5に記載の画像投影システム。
【請求項7】
前記第2変調光の任意のピクセルに対する前記第2投影機による最大達成可能照明レベル
が、第1変調光の任意のピクセルに対する前記第1投影機による最大到達可能照明レベル
よりも少なくとも10倍大きい、請求項1から6のいずれか一項に記載の画像投影システ
ム。
【請求項8】
前記制御器はルックアップテーブル(LUT)を含み、
前記制御器は、前記LUTからの出力に基づいて前記光出力を前記第1投影機と前記第2
投影機との間で分割するべく構成される、請求項1から7のいずれか一項に記載の画像投
影システム。
【請求項9】
前記第2投影機は第2空間光変調器を含み、
前記制御器は、前記画像データにアラインメントワーピングを適用してワーピングされた
画像データを得て、前記ワーピングされた画像データを使用して前記第2空間光変調器を
駆動するように構成される、請求項1から7のいずれか一項に記載の画像投影システム。
【請求項10】
前記制御器は、前記目標画像の表示が実現可能か否かを決定するべくチェックを行うよう
に構成され、
前記チェックにより前記目標画像の表示が実現可能ではないと決定された場合、前記制御
器は、トーンマッピングされた画像データを得るべく前記画像データにトーンマッピング
を行い、前記トーンマッピングされた画像データによる処理を続けるべく構成される、請
求項1から9のいずれか一項に記載の画像投影システム。
【請求項11】
前記第1投影機は広帯域光源を含む、請求項1から10のいずれか一項に記載の画像投影
システム。
【請求項12】
前記広帯域光源は、前記第1空間光変調器を均一に照明するべく配列される、請求項11
に記載の画像投影システム。
【請求項13】
前記広帯域光源は白色光源を含む、請求項11又は12に記載の画像投影システム。
【請求項14】
前記第2投影機は狭帯域光源を含む、請求項1から13のいずれか一項に記載の画像投影
システム。
【請求項15】
前記狭帯域光源は一以上のレーザダイオードを含む、請求項14に記載の画像投影システ
ム。
【請求項16】
前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを
含む、請求項15に記載の画像投影システム。
【請求項17】
前記光操舵モジュールは複数の位相変調器を含み、前記赤色発光ダイオード、緑色発光ダ
イオード及び青色発光ダイオードにより発光される光はそれぞれが、前記複数の位相変調
器の第1位相変調器、第2位相変調器及び第3位相変調器により操舵される、請求項16
に記載の画像投影システム。
【請求項18】
前記制御器は、前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を
計算するフォワードモデルを実装し、
前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダ
イオードにより発光される光に対する別個の点拡がり関数を含む、請求項16又は17に
記載の画像投影システム。
【請求項19】
前記フォワードモデルは反復モデルである、請求項18に記載の画像投影システム。
【請求項20】
前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、
前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項18
又は19に記載の画像投影システム。
【請求項21】
前記第1投影機と前記第2投影機とは、共通投影機ヘッドを共有する、請求項1から20
のいずれか一項に記載の画像投影システム。
【請求項22】
画像投影方法であって、
第1空間光変調器を含む第1投影機を使用して第1変調光を画面に投影することと、
光操舵モジュールを含む第2投影機を使用して第2片調光を前記第1変調光に重畳させる
ように前記画面に投影することと、
表示される目標画像に対して目標照明レベルを定義するピクセル値を含む画像データを処
理することであって、前記処理は、光出力を前記第1投影機と前記第2投影機との間で分
割することにより、前記第2変調光が前記画像のピクセルのそれぞれに対する前記光の一
部分を含むとともに、前記第1変調光が前記画像の前記ピクセルに対する前記光の大部分
を構成する態様となり、前記光の大部分に対しては前記目標照明レベルが第1しきいレベ
ル未満となることと、
前記第1空間光変調器及び前記光操舵変調器のための制御信号を生成することと
を含む、画像投影方法。
【請求項23】
前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを含む処理によっ
て修正された目標画像を生成し、前記第2投影機のための制御信号を前記修正された目標
画像に基づかせることをさらに含み、ここで、γ>1である、請求項22に記載の画像投
影方法。
【請求項24】
前記分割は、前記目標照明レベルに基づいてピクセル毎に行われる、請求項22に記載の
画像投影方法。
【請求項25】
前記第1しきいレベル未満の目標照明レベルを有するピクセルに対し、前記第1変調光の
輝度に対する前記第2変調光の輝度の固定比を維持することをさらに含む、請求項23に
記載の画像投影方法。
【請求項26】
前記第1しきいレベルを超過する目標照明レベルを有するピクセルに対し、前記第1変調
光に対する前記第2変調光の比が前記固定比を超過するように、前記第2投影機を制御す
ることをさらに含む、請求項25に記載の画像投影方法。
【請求項27】
前記固定比は20%未満である、請求項25又は26に記載の画像投影方法。
【請求項28】
前記第2変調光の任意のピクセルに対する前記第2投影機による最大達成可能照明レベル
が、第22変調光の任意のピクセルに対する前記第22投影機による最大到達可能照明レ
ベルよりも少なくとも10倍大きい、請求項22から27のいずれか一項に記載の画像投
影方法。
【請求項29】
ルックアップテーブルからの出力に基づいて前記光出力を前記第1光投影機と前記第2光
投影機との間で分割することをさらに含む、請求項22から28のいずれか一項に記載の
画像投影方法。
【請求項30】
前記画像データにアラインメントワーピングを適用してワーピングされた画像データを得
ることと、
前記ワーピングされた画像データを使用して前記第2投影機の第2空間光変調器を駆動す
ることと
をさらに含む、請求項22から28のいずれか一項に記載の画像投影方法。
【請求項31】
前記目標画像の表示が実現可能か否かを決定するべくチェックを行い、前記チェックによ
り前記目標画像の表示が実現可能ではないと決定された場合、トーンマッピングされた画
像データを得るべく前記画像データにトーンマッピングを行い、前記トーンマッピングさ
れた画像データによる処理を続けることをさらに含む、請求項22から30のいずれか一
項に記載の画像投影方法。
【請求項32】
前記第1投影機は広帯域光源を含む、請求項22から31のいずれか一項に記載の画像投
影方法。
【請求項33】
前記第1空間光変調器を均一に照明するように前記広帯域光源を動作させることをさらに
含む、請求項32に記載の画像投影方法。
【請求項34】
前記広帯域光源は白色光源を含む、請求項32又は33に記載の画像投影方法。
【請求項35】
前記第2投影機は狭帯域光源を含む、請求項22から34のいずれか一項に記載の画像投
影方法。
【請求項36】
前記狭帯域光源は一以上のレーザダイオードを含み、
前記方法は、前記光操舵モジュールの一以上の位相変調を照明するように前記レーザダイ
オードを動作させることを含む、請求項35に記載の画像投影方法。
【請求項37】
前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを
含む、請求項36に記載の画像投影方法。
【請求項38】
前記光操舵モジュールの複数の位相変調器の第1の位相変調器、第2の位相変調器及び第
3の位相変調器それぞれを使用して、前記赤色発光ダイオード、緑色発光ダイオード及び
青色発光ダイオードにより発光される光を操舵することをさらに含む、請求項37に記載
の画像投影方法。
【請求項39】
前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を計算するフォワ
ードモデルを実装することをさらに含み、
前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダ
イオードにより発光される光に対する別個の点拡がり関数を含む、請求項37又は38に
記載の画像投影システム。
【請求項40】
前記フォワードモデルは反復モデルである、請求項39に記載の画像投影方法。
【請求項41】
前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、
前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項39
又は40に記載の画像投影システム。
【請求項42】
前記第1投影機と前記第2投影機とは、共通投影機ヘッドを共有する、請求項22から4
1のいずれか一項に記載の画像投影方法。
【請求項43】
前記第1変調光及び前記第2変調光は、等しい空間分解能で空間的に変調される、請求項
22から42のいずれか一項に記載の画像投影方法。
【請求項44】
任意の新しく進歩性のある特徴、ここに記載される特徴の組み合わせ、又は特徴のサブコ
ンビネーションを有する装置。
【請求項45】
任意の新しく進歩性のあるステップ、工程、ステップ及び/若しくは工程の組み合わせ、
又はここに記載されるステップ及び/若しくは工程のサブコンビネーションを有する方法

【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、2017年5月12日に出願された米国出願第62/505827号の優先権
を主張する。米国を目的として、本願は、あらゆる目的のために参照によりここに組み入
れられる高輝度投影のシステムと方法との名称の、2017年5月12日に出願された米
国特許出願第62/505827号の米国特許法セクション119による利益を主張する
【0002】
本発明は、例えば映画投影機のような、デジタル画像投影機に関する。
【背景技術】
【0003】
視聴者に現実的及び/又は魅力的な視聴体験を与えることのできる投影機が要望されて
いる。ハイダイナミックレンジ(HDR)画像が投影されると視聴体験が改善され得る。
高い最大輝度を与えることによっても、視聴体験を改善することができる。しかしながら
、現在利用可能な最新型映画投影機でさえも、インシーン(in-scene)コントラ
ストを欠き、さらに重要なことには、高いピーク輝度を欠いている。これらは双方とも、
画像が現実的に見えるための重要な知覚属性である。
【0004】
当該分野からの様々な研究コンセプトが商用ディスプレイ製品に取り入れられてきた一
方、コンピュータディスプレイにおける実用的なイノベーションから、主に大画面投影機
が開拓されてきた。現実的な画像を見せるには、議論の余地はあるにせよ、ディスプレイ
システムの最も重要な視覚特性は、表示できる光レベル及び色の範囲及び数といえる。残
念ながら、投影機においてこの範囲を有意に増加させることは、法外に高価となる。ピー
ク輝度がディスプレイの電力及び光源のコストに正比例する一方、輝度値の明るさ知覚は
、ほぼ対数的だからである。
【0005】
いくつかの映画館では、投影光が大画面にわたって分散される。投影機が高い光出力を
有する場合であっても、大きな画面面積ゆえに、達成可能な最大輝度(全画面白色)がそ
れほど明るくならない。
【発明の概要】
【0006】
さらなる側面及び例示的な実施形態が、添付図面に示され、及び/又は以下の説明に記
載される。
【図面の簡単な説明】
【0007】
添付図面により、本発明の非限定的な例の実施形態が示される。
【0008】
図1】近似的な知覚上の明るさの影響を視覚化するべく対数スケールでの標準化された映画SDR輝度範囲(黄色)を、光操舵投影機アーキテクチャ(緑色)により達成可能なHDR輝度範囲の一例と比較する。
図2】変動する平均輝度を有するテストパターンに対する理論上及び測定上の操舵効率を、振幅変調を使用して画像を形成する伝統的な投影システムと比較する。
図3】15~25%の総合可能システム効率を有する完全光操舵アーキテクチャである。
図4】全体的なシステム光効率を増加させてコストを低減する一方で完全光操舵投影機に匹敵する画像品質を達成するハイブリッドアーキテクチャである。この例において、操舵光路の光効率は13.5%であり、非操舵光路の光効率は31.5%である。
図5図5Aは、光操舵投影機(緑色)及び非光操舵投影機(赤色)間の、入力信号(黒色)の可能な分離を示す直線である。図5Bは、光操舵投影機(緑色)及び非光操舵投影機(赤色)間の、入力信号(黒色)可能な分離を示す対数プロットである。
図6図6A~6Dは、画像セットからの画像例である。
図7】3つの仮想投影機上で104個のHDR画像のそれぞれを再現するのに必要な相対パワーである。48cd/m(青色)及び480cd/m(緑色)のピーク輝度を有する2つの光操舵投影機と、48cd/m(赤色)のピーク輝度を有する伝統的な光阻止映画投影機とが対比される。理想的なピーク輝度(48cd/m)を達成するのに必要な平均パワーは、伝統的な投影機の13%のオーダーである。重要なのは、極めて最も明るい画像(被試験画像すべてのうち近似的に9%)以外はすべて、同じ又はそれ以下のパワーを使用しながらも480cd/mのピーク輝度まで再現され得るということである。
図8】ダークラボにおいて完成されたRGBプロトタイプの写真である。
図9】一例のプロジェクタの色度といくつかの一般的な色標準とを比較する色度図である。
図10】0~2πの位相変調器の典型的な相対立ち上がり時間(左側)及び立ち下り時間(右側)である。
図11図11Aは、駆動レベル255のうち65でのサブフレーム位相応答である。図11Bは、駆動レベル255のうち75でのサブフレーム位相応答である。図11Cは、駆動レベル255のうち100でのサブフレーム位相応答である。
図12】DMDタイミングのハイレベル動作原理を示す。
図13図13Aは、低速非同期光パルスを使用するDMDにより動作するパルス光源の第1フレームを示す相対タイミング図である。図13Bは、低速非同期光パルスを使用するDMDにより動作するパルス光源の第2フレームを示す相対タイミング図である。
図14図14Aは、高速非同期光パルスを使用するDMDにより動作するパルス光源の第1フレームを示す相対タイミング図である。図14Bは、高速非同期光パルスを使用するDMDにより動作するパルス光源の第2フレームを示す相対タイミング図である。
図15】低速同期光パルスを使用するDMDにより動作するパルス光源の相対タイミング図である。
図16】位相LCoS、DMD及びレーザパルスの組み合わせを示す相対タイミング図である。
図17】位相LCoS及びDMD振幅変調器を有するプロトタイプの写真である。
図18】レーザ光源から投影レンズまでのプロトタイプ投影機の光路内のハイレベル光ブロックを描くフローチャートである。
図19】位相変調器によって操舵されないレーザ光コンポーネントの画面上の画像である。
図20】フル画面白色パターンの画面上の画像である。
図21】投影機アーキテクチャを制御するハイレベルアルゴリズムブロックを示す。
図22】入力変換ブロックがPQ-XYZ入力を取得し、線形化し、光操舵投影機色空間に変換するアルゴリズムブロックを示す。
図23】コンテンツマッピングアルゴリズムブロックを示す。
図24】cd/m単位の目標輝度の関数としての操舵分割及び非操舵分割のグラフである。
図25】フォワードモデルアルゴリズムブロックを示す。
図26】テストパターンに適用される点拡がり関数を示す。
図27】位相パターン計算ブロックを示す。
図28】振幅パターン生成ブロックを示す。
図29図29Aは、光操舵プロトタイプ(左)に、及びレンズからのパワーが同じ伝統的な投影機(右)に、表示されたムービーからの第1フレームを示す。図29Bは、光操舵プロトタイプ(左)に、及びレンズからのパワーが同じ伝統的な投影機(右)に、表示されたムービーからの第1フレームを示す。
【発明を実施するための形態】
【0009】
以下の説明全体にわたり、本発明のさらに徹底した理解を与えるべく特定の詳細が記載
される。しかしながら、本発明は、そうした詳細なしに実施することもできる。他の例で
は、本発明を不必要に曖昧にすることを避けるべく、周知の要素は示さず、又は詳細に記
載しない。したがって、本明細書及び図面は、限定的な意味ではなくむしろ例示的な意味
で考えるべきである。
【0010】
本発明は、デジタル投影機に適用され得るアーキテクチャ、コンポーネント及び方法に
関する。この詳細な説明は、あらゆる目的のために参照によりここに組み入れられる米国
特許出願公開第2017/0085846号として公開されたMTTイノベーション社が
所有する米国特許出願第15/368,021号に記載される全体的な投影機アーキテク
チャの文脈で本発明の様々な側面を説明する。ここに記載される技術は、HDR(高ダイ
ナミックレンジ)投影システムにおけるアプリケーションにとって特に有益である。ここ
に記載される技術は、国際公開第2017/059537号、2016/015163号
、2015/184549号及び2015054797号に記載される装置及び技法と組
み合わせて使用してよい。これらのすべてはMTTイノベーション社により所有され、こ
れらのすべてはあらゆる目的のために参照によりここに組み入れられる。これらの参照文
献は、本願の文脈において適用され得る光操舵の方法の例を与える。
【0011】
従来の(光減衰)投影システムにおける照明パワーが、画面上の所望のピーク輝度によ
り線形的にスケーリングされる一方、人間の視覚システム(HVS)による当該輝度値の
知覚は非線形的(対数に近い)となる。米国特許出願公開第2017/0085846号
に記載される投影機アーキテクチャは、選択された画像特徴部を、フル画面白色(FSW
)輝度レベルよりも有意に高く再現可能とするべく光操舵を使用する。図1は、シネマに
おける今日の標準化されたシネマSDR輝度範囲10A(デジタルシネマイニシアチブ(
DCI)仕様を参照。ピーク輝度白色が14fL=48cd/mで定義されている)と
、光操舵を使用する投影機アーキテクチャにおいて達成可能な光操舵輝度範囲10Bの一
例とを対数スケールで比較する。
【0012】
画像統計及びパワー要件
【0013】
開示の技術のいくつかの実施形態は、投影される画像コンテンツの特徴部を使用して、
高輝度かつ高コントラストのHDRコンテンツを再現する目標と、パワー及びコスト(光
源)を最小限にすることとのトレードオフを達成することができるとの発想を利用する。
いくつかの投影機アーキテクチャの光学シミュレーション及びコストモデル(ここでは光
予算予測器(Light Budget Estimator(LBE))と記載する)
を、様々な代表的シアターHDRコンテンツの統計分析と組み合わせて使用しての実験が
行われてきた。
【0014】
光操舵効率
【0015】
理想的な光操舵投影機において、利用可能な光はすべて、画像を形成するべく使用され
る。かかるアーキテクチャにおいて、画像を形成するべく必要とされるパワーは、目標画
像の平均(mean)輝度又はパワーに等しい。特定の実装例において、非常に小さな明
るい特徴物へと光を操舵する能力は、例えば、システムの点拡がり関数(point s
pread function(PSF))によって制限される。図2は、ソース信号に
おいて同一の最小輝度及び最大輝度を有するが異なる平均輝度(パワー)の、光操舵投影
機において再現され、及び伝統的な振幅減衰投影機において再現されたテストパターンの
選択を示す。実線の曲線が、理想的な光操舵投影機において理論的に可能な最大ピーク輝
度、すなわち、
【数1】
を示す。
【0016】
曲線11Aは、理論的に達成可能な輝度を、非黒色パターン面積の関数として示す。曲
線11Bは、初期の光操舵プロトタイプについての実際の測定データを示す。わかること
だが、操舵効率は100%ではない。非操舵光は部分的に、投影機画面の外側のエリアへ
と散乱される。非操舵光の一部は、当該画面上に存在して黒色レベルを上げる。破線は、
画像を形成するべく振幅変調を使用する伝統的な投影システムの最大輝度を示す。
【0017】
コンポーネント効率
【0018】
投影システムの光路にある各コンポーネントは一般に、合計光スループットを低減させ
る傾向がある。例えば、特定の投影機において達成可能な光スループットの合計は、位相
変調器の反射率(65%~80%の範囲にある場合が多い)、光路にある任意の規則的に
構成された表面上に現れるピクセルグリッドからの高次回折効果による損失(40%~5
0%の損失範囲にある場合が多い)、並びに、リレーレンズ、ディフューザ、光路を折り
たたむ広帯域ミラー、及び色チャネルを結合又は分割するダイクロイックミラーのような
付加的な光素子の影響を受ける。
【0019】
光操舵は、従来型投影機には見当たらない付加的な光コンポーネントを必要とする。か
かるコンポーネントの存在により、光効率が低減し得る。プロトタイプの光操舵投影機の
合計光効率が、ソース光から画面までの近似的に5%で測定された。この非効率性は部分
的に、光操舵に起因するピーク輝度における大きな利得と均衡するが、特に、高い平均画
像レベル(APL)を有する画像に対し、全体的に高コストとなる。最適化されたシステ
ム(光源波長に対するカスタムコーティング)において、全体的な効率は、15%~25
%もの高さとなり得るが、これは、フル画像白色テストパターンに対して光源のほぼ35
~45%が画面に到達し得る伝統的な投影機アーキテクチャと比べると依然として低い。
【0020】
狭帯域光源
【0021】
新しいHDR投影機アーキテクチャにおいて、光操舵効率は、その最高ピーク輝度とと
もに、良好にコリメートされた狭帯域光に対して最高となる。レーザダイオードが、この
アプリケーションに十分適している。ただし、レーザダイオードを使用する場合、いくつ
かの落とし穴が存在する。これには以下が含まれる。すなわち、
・コスト:LED、照明器、及びレーザ+蛍光体システムのような他の光源の方が、現在
のところ、ドル当たりの出力ルーメンの点でコスト効率が高い。
・観測者のメタメリズム:狭帯域光源から構成される同じ測定可能な色度座標が、異なる
観測者によって異なるように知覚される。この効果は、狭帯域でない光に対してはあまり
目立たない。
・画面スペックル:レーザ光からの小スケールの干渉パターンは、投影画面上に、擾乱を
与える小さな空間強度変動を引き起こし得る。この効果は、広帯域光に対しては不可視で
ある。
【0022】
レーザ光源を使用することに係るこれらの負の効果のいくつかは、レーザ特性のいくつ
かを壊すこと(例えば大きな角度多様性を導入することにより)、又はレーザからの光を
非レーザ系光源と組み合わせることのいずれかによって対処することができる。興味深い
ことに、全体的に明るいシーンの多くが、人間の視覚システムが画面の明るい部分に適応
することに起因して、低い黒色レベルを必要とするわけではない。
【0023】
フル光操舵アーキテクチャ
【0024】
図3は、米国特許出願公開第2017/0085846号明細書に記載されるもののよ
うな投影機のシステムアーキテクチャを高レベルで示す。フル光操舵アーキテクチャ20
において、制御ファームウェア22が、光操舵モジュール24及び投影機ヘッド26を制
御する。光操舵モジュールは、最終HDR出力画像30を生成するべく投影機ヘッド26
により画面上に投影される操舵光画像28を生成する。制御ファームウェア22は、例え
ば、画像処理ユニット及びシステム制御ユニットを含んでよい。光操舵モジュール24は
、例えば、一以上のRGBレーザバンクを含んでよく、自由空間又はファイバアーキテク
チャを使用して動作し得る。投影機ヘッド26は、シネマ又は消費者投影機としてよく、
とりわけ4k解像度、HFR及び3D効果を含む詳細レイヤを加えてよい。このフル光操
舵アーキテクチャは、現在利用可能な光コンポーネントを使用して約15%~25%の合
計可能システム効率を有する。
【0025】
ハイブリッド光操舵アーキテクチャ
【0026】
図4は、一例のハイブリッド投影機アーキテクチャ32を高レベルで描く。投影機32
において、コストをさらに低減し、かつ、所定の画像アーチファクトを軽減するべく、狭
帯域光の光操舵が、(振幅変調器を均一に照明する)広帯域の非操舵光と組み合わせられ
て一つのシステムとなる。このハイブリッドアーキテクチャにより、フル光操舵投影機に
匹敵する画像品質を達成しながらも、増加した全体的なシステム光効率が、低減されたコ
ストで得られる。
【0027】
ハイブリッド投影機32において、制御ファームウェア22が、ベース減衰光源34、
光操舵モジュール24及び投影機ヘッド26を制御する。光操舵モジュール24は操舵光
画像28を生成し、操舵光画像28は、ベース減衰光源34が生成したベース減衰光画像
36と組み合わせられる。
【0028】
一例の実施形態において、その結果得られる画像は、30%の操舵光及び70%のベー
ス減衰光を含み得る。一例の実施形態において、光操舵モジュール24は効率η=0.4
を有し、投影機ヘッドは効率η=0.45を有する。組み合わせられた画像は、投影機ヘ
ッド26によって投影されて最終HDR出力画像30がもたらされる。この例において、
操舵光路の光効率は13.5%であり、非操舵光路の光効率は31.5%である。
【0029】
ハードウェアパラメータは、システムの操舵部分と非操舵部分との間でのソース光の割
合、並びに、光源のタイプ、及び関連付けられるコスト及びスペクトル特性を含み得る。
【0030】
ソフトウェアパラメータは、システムを駆動して操舵ステージと非操舵ステージとの間
で光を割り当てるべく使用されるアルゴリズムの複数側面を含み得る。図5A及び5Bは
、線形入力信号を古典的な投影機光路と光操舵経路との間で分割する一例を示す。図5
、入力信号40Aの光操舵投影機40Bと非光操舵投影機40Cとの間での可能な分離の
線形プロットを示す。図5Bは、入力信号42Aの光操舵投影機42Bと非光操舵投影機
42Cとの間での、同様の可能な分離の対数プロットを示す。
【0031】
知覚的に意味のある画像品質メトリックを適用して、所望の目標画像の色及び強度がど
の程度忠実に再現されているかを決定することができる。
【0032】
一例の実施形態において、ハイブリッド投影機を、非操舵投影機及び光操舵投影機を含
む2投影機システムとしてよい。非操舵投影機は、例えば、振幅変調を使用する市販の投
影機を含んでよい。光操舵投影機は、例えば、位相/振幅変調設計を有してよい。
【0033】
このセクションは、(近似的な輝度範囲にマッピングされた)非シアターHDR画像デ
ータと、フル光操舵投影機の簡略システムモデルとに基づいて収集された画像統計につい
て述べる。
【0034】
シネマにおけるHDR画像の平均輝度
【0035】
シアター用の視聴環境向けに色がグレード分けされている公的に利用可能な高輝度のH
DRビデオコンテンツはほとんど存在しない。これは部分的に、十分な能力がある大画面
投影システムが、現在のところ存在しないことに起因する。本セクションにおいて、我々
は、色がグレード分けされたHDR静止画像を使用して、シネマにおける現行のピーク輝
度を10倍上回るまでのHDR輝度レベルを再現するのに必要な相対的なパワーの推定を
試みる。104個のHDR画像の分析が行われ、提案のアーキテクチャにおいてのような
光操舵投影機のためのパワー要件が推定された。この理論的な演習においては、伝統的な
シネマ投影機よりも低いパワーの光操舵投影機が、調査対象の48cd/mまでの画像
すべて、及び480cd/mまでのHDR画像のほとんどすべてを、追加のトーン圧縮
を必要とせずに直接再現することができるということがわかった。表1にその結果をまと
める。
【表1】
【0036】
方法論
【0037】
マーク・フェアチャイルドの104個のシーン参照HDR画像(Mark D Fairchild. Th
e hdr photographic survey. In Color and Imaging Conference, pages 233-238. Socie
ty for Imaging Science and Technology, 2007)が分析された。図6A~6Dは、本考
察で使用された画像セットからの画像例である。これらの画像は、ダイナミックレンジが
1000:1未満から10:1超過まで異なる。ほとんどの画像は、屋外シーンである
。画像データが、測定されたシーン参照HDR(実際のシーン輝度レベル)を表し、シネ
マ投影機での視聴を意図しているわけではないところ、シネマに適切なレンダリングの初
期推測は、シネマにおいて推定された視聴者適応レベルにAPLが近似的にマッチするよ
うに画像強度をシフトさせることによって確立することができる。簡単な線形スケーリン
グ演算子Sadaptationが、各画像に対して手動で決定された。画像が、48c
d/mのピーク白色輝度(D65白色点)に設定されたキャリブレーション済み27イ
ンチ基準モニタ(フォトリサーチ社のPR-650スペクトロラジオメータを使用してキ
ャリブレーションが確認されたデル社のU2713HMt)において、暗い視聴環境で手
動チューニングされた。強度を調整しながら、近似的に3~5画面高の距離から画像が視
聴された。
【0038】
適切な輝度スケーリング因子がひとたび決定されると、FSWの10倍すなわち480
cd/mを超える輝度レベルがクリップされた。次に、提案の投影機アーキテクチャの
操舵効率が、システムPSF近似(この場合、1920個の水平画像ピクセルのうちの実
質的に81個のピクセルにわたるある程度保守的な、大規模ガウスカーネル)を介して説
明された。得られた輝度プロファイルのすべてのピクセルにわたる平均強度が、光操舵投
影機のパワー要件に対する近似メトリックとしての役割を果たす。
【0039】
計算ステップ
【0040】
【数2】
【0041】
結果
【0042】
図7は、光操舵投影機において、伝統的なシネマ投影機と同一のピーク輝度48cd/
で、及びシネマ基準システムよりも程度が1オーダー大きなピーク輝度を有する光操
舵投影機と同一のピーク輝度480cd/mで、各HDR画像を再現するのに必要なパ
ワーの推定を示す。48cd/m光操舵アーキテクチャにおいて、伝統的な投影機のパ
ワーのほんの一部分(13%)を使用して、すべての画像を再現することができる。重要
なことに、ほとんどすべての画像を、伝統的な投影機以下のパワーを使用して480cd
/m(10倍高いピーク輝度)までで再現することができる。
【0043】
図7において、伝統的な投影機が48cd/mまでを生成するのに必要なパワーが、
伝統的な投影機の線44Aに示され、操舵投影機が48cd/mまでを生成するのに必
要なパワーが、低輝度操舵投影機の線44Bに示され、操舵投影機が480cd/m
でを生成するのに必要なパワーが、低輝度操舵投影機の線44Cに示される。
【0044】
上述したスケーリング及びクリップの操作を使用し、さらなる芸術的な色補正をしてい
ない場合、データセットの平均画像レベル(APL)は、シネマ対応の高輝度HDRコン
テンツから予測され得るものよりも高く見える。一定のHDRコンテンツは、有意に低い
APL(例えば近似的に3%以下)を有し得る。低いAPRでHDRコンテンツを投影す
るべく使用される光操舵投影機アーキテクチャのパワー要件は、ここに記載されるものよ
りもかなり低く(又は高いピーク輝度及びコントラストに)なり得る。
【0045】
改善されたRGB投影機プロトタイプ
【0046】
改善されたフルカラーRGB投影機プロトタイプが、表2に挙げられた特徴を組み入れ
る。これらの特徴は、個別に又は任意の組み合わせで適用することができる。挙げられた
特徴の詳細は、限定を意図しない。挙げられた特徴はそれぞれが、様々な可能な置換可能
コンポーネントのいずれかを使用して実装することができる。例えば、記載のプロトタイ
プにおいて振幅SLMとしてLCoSベースのSLMが使用される一方、振幅変調を目的
として透過型又は反射型SLM、液晶表示パネル又はデジタルマイクロミラーデバイス(
DMD)のような他のSLMも使用し得る。位相変調又は振幅変調に適した技術の例は、
“Rolf R Hainich and Oliver Bimber. Displays: fundamentals & applications.CRC pr
ess, 2016; and David Armitage, Ian Underwood, and Shin-Tson Wu. Introduction to
microdisplays, volume 11. John Wiley & Sons, 2006”に記載されている。これは、あ
らゆる目的のために参照によりここに組み入れられる。
【表2】
【0047】
RGB投影機プロトタイプのアーキテクチャ
【0048】
図8は、表2からの特徴を実装する完成したRGBプロトタイプ投影機の写真である。
頂部に取り付けられているのは、カラーキャリブレーションのための機械ビジョンカメラ
及びスポット分光放射計である。
【0049】
色(カラー)
【0050】
赤色、緑色及び青色レーザダイオードを含む光源により、我々はフルカラー投影機を設
計することができる。プロトタイプの実施形態は、462nm、520nm及び638n
mの波長の光を放出するネイティブレーザダイオードを使用する。プロトタイプの実施形
態は、並列アーキテクチャを有する。ここでは、光源、位相変調器及び光コンポーネント
を含む3つの単色光路が結合されて白色ビームになり、その後、振幅変調投影ヘッドへと
中継される。他実施形態において、フィールドシーケンシャルシステム(例えば、赤色、
緑色及び青色の光照射野が順次に表示されるシステム)を使用してよい。さらなる実施形
態において、並列又は順次アーキテクチャは、これよりも多い又は少ない数の光波長を用
いてよい。いくつかの実施形態において、4つ以上の波長の光が、並列して生成され、又
は順次表示される。狭帯域光源に加え、いくつかの実施形態のアーキテクチャは、広帯域
及び/又はフルスペクトルの光源を含んでよい。
【0051】
このプロトタイプの達成可能な色度の範囲は、他の一般的なディスプレイ及びシネマの
原色に対する図9の色度図に見ることができる。u’及びv’を色度座標として使用する
CIE1976均一色度スケール(Uniform Chromaticity Sca
le(UCS))46Aが、個々の色間の知覚的に均一な関係を与える(すなわち、互い
から等距離の色間の知覚される差が同程度である)。スター付きのデータポイント46B
は、シネマ及び家庭のディスプレイシステムにおいて一般的なD65白色点を表す。プロ
トタイプを使用して再現され得る提案される色度空間46Bは、DCI P3空間46C
及びRecの双方よりも有意に大きく、その双方を含む。これは、Rec.2020色空
間46Eをほぼ完全に含み、その面積を超える。
【0052】
光パワー
【0053】
プロトタイプの概念実証投影機の光パワーが、レンズ外で10ルーメンとして測定され
た。光源パワーが大きな投影機を、レンズ外の輝度を増加させて操舵光の輝度を増加させ
るべく、用いることができる。新たなプロトタイプの目標としての100~200ルーメ
ンの操舵光は、意味のある布石を表す。しかしながら、必要な光源パワーは、既存のレー
ザダイオードによっては容易に達成することができない。3つのレーザダイオード特性が
注目される。すなわち、レーザダイオードの合計パワー、発光体の寸法、及び発光される
光のダイバージェンスである。光源における多数レーザダイオードのビーム拡大、コリメ
ーション光学、及び傾斜を、個々のコンポーネントが、一部は6自由度で調整可能となる
機械的設計を使用して実装することができる。
【0054】
スペックル
【0055】
(LED又はレーザのような)狭帯域又は単色の光源に基づくディスプレイと同様に、
観察者間のメタメリズムの変動及びスペックルのような望ましくない特性を管理するべく
注意を払う必要がある。典型的には、観察者に対する可視スペックルコントラストを低減
するための3つの尺度が存在する。すなわち、偏光をランダムにすることと、光路におけ
る光の角度ダイバーシティを増加させること、及び光源スペクトルの拡大である。本明細
書の焦点ではないが、これら3つの方法のいずれか又はすべての要素を、ここに記載され
る投影機において適用することができる。
【0056】
RGBプロトタイプにおいて利用される投影ヘッドは、直線偏光入力を必要とするLC
oS技術に基づくが、この偏光を、投影レンズの前又は後ろのいずれかに最終画像が形成
された後にランダムにすることが、原則的に可能である。同様に、光操舵法がDMD系投
影機ヘッドに結合される場合、偏光は、位相変調に引き続きかつDMD振幅変調の前に、
投影機光路内でランダムにすることができる。DMDは、入力において直線偏光を必要と
しないからである。我々の光操舵システム内の光は、理想的には十分にコリメートされる
。これは、高いfナンバー(f#)の光学系へと変換され、そのような限られた角度ダイ
バーシティを伴う。システムの光操舵部分のために、このような高度なコリメーションを
保持することは重要だが、中間画像が形成された後は、この光特性はもはや必要ではない
【0057】
その後f#が、例えば、光整形ディフューザを使用して低減され、引き続く光学機器の
入力許容角度に合わせられる。これにより、ビームの高い角度ダイバーシティがもたらさ
れて可視スペクトルが小さくなる。投影機内のディフューザを動かすことにより、光が経
時的に広がる角度がランダムにされるので、可視スペックルコントラストがさらに低減さ
れる。これは、例えば、投影機内でディフューザディスクを回転させることにより、又は
当該ディフューザにおいて若しくはその近くで光学要素を直線的に変位させることにより
、実現することができる。
【0058】
スペックルコントラストを低減する第2の有効な方法は、投影画面に対する動きの導入
である。画面表面のわずかな連続変位は、投影機レンズからの光が(非平坦)画面表面か
ら反射されるにつれて、多くの角度にわたって平均化されるという効果を有する。同様に
効果的であるがシネマ設定ではあまり実用的ではないのは、観察者の動きである。
【0059】
各色に対して異なる中心波長を有するレーザダイオードを含むビニングかつキャリブレ
ーションされたレーザダイオードを使用することにより、光源の有効スペクトル帯域を広
げることができるので、可視スペックルコントラストが低減される。光源を広げることに
より、光の操舵後に各色チャネルに対し、わずかに拡大及び縮小された画像の重畳セット
がもたらされる。これは、小さなぼかしカーネルによってモデル化できるので、必ずしも
望ましくないというわけではない。
【0060】
同期
【0061】
位相SLM及び振幅SLM、並びにパルス幅変調(PWM)調光可能レーザ光源を、理
想的にはフレーム又はサブフレームレベルで同期する必要がある。プロトタイプにおける
振幅変調器は、消費者投影機に由来し、我々が説明するその内蔵画像処理ブロック内でマ
ルチフレームの望ましくないレイテンシを示す。シネマにおいて、大きな投影機光出力を
取り扱うべく、及び所定基準(例えばDCI)を順守するべく、バイナリDMDが、主に
振幅SLMとして使用される。以下の一時的考慮事項のセクションでは、予想される一時
的なアーチファクト(例えばフリッカー)を軽減することを目的とする新たな駆動スキー
ム(タイミング)について述べる。
【0062】
HDR投影ディスプレイにおける時間的考慮事項
【0063】
プロトタイプの一部は一般消費者向けハードウェアに基づいて構築されたが、カスタマ
イズされた光源制御電子機器と一緒に開発キットを使用することにより、光源からのパル
ス(レーザ強度変調)、位相変調器に対処するべく必要なデジタルパルスコード(サブフ
レーム内のビットプレーン(bit plane))、及び、例えば、投影機ヘッドにお
けるバイナリ一次振幅変調器(DMDミラー状態)の良好な同期が許容される。我々は、
同期駆動スキームに対する異なるソリューションを探究する。このセクションは、DMD
系投影機アーキテクチャに対する同期オプションを説明する。
【0064】
LCoS系位相変調器
【0065】
光操舵投影機の実装を目的として我々が選択した位相変調器は現在のところ、デジタル
バックプレーンを有して入力又は出力偏光フィルタがないLCoSマイクロディスプレイ
を使用する。バックプレーンは、垂直方向上下にスクロールする態様で更新される。一回
に一本の線又は2本の線いずれかが更新される。バックプレーンの高速パルスコードに対
する液晶材料の相対的に低速の応答により、ディスプレイの近アナログ位相応答を効率的
に達成することが可能となる。これは有利である。マイクロミラー系投影機ヘッドの高速
バイナリ状態への同期が、真にバイナリの高速LCoSデバイス(例えば強誘電体デバイ
ス)と比較して問題が少ないからである。
【0066】
我々のアプリケーションにとって重要なことは以下の通りである。すなわち、
・位相変調器の全体的なリフレッシュレート(リフレッシュレートは、全体的な投影機に
必要なビデオフレームレートと整合する必要がある)。
・一定フレーム期間にわたる位相精度(位相変調器が、対応する駆動レベルに基づいて所
与の位相値を、どの程度の信頼性で再現するのか)。
・一定フレーム内での位相安定性(全体的な位相応答(位相フリッカー)において、バッ
クプレーンからの個々のデジタルパルスが、どの程度まで測定可能なのか、及びこれが光
操舵にどのように影響するのか)。
・各ライン更新間のサブフレーム内の位相ドリフト。
【0067】
キャリブレーション済みLCoSデバイスにおいて、ピクセル毎の液晶は、電界が適用
され又は除去されるときに、2π又は0πそれぞれに向かってドリフトする。応答時間は
、電界が適用された時刻から液晶が2π位相シフトをもたらす時刻までの時間と考えるこ
とができる。応答時間は、液晶の化学式によってチューニングすることができる。
【0068】
図10は、位相のみのマイクロディスプレイの立ち上がり特性及び立ち下がり特性の一
例を示す。図10は、0から2πの位相変調器に対する典型的な相対立ち上がり(左)及
び立ち下がり(右)時間を示す。目標位相応答が0から2πであれば、中間位相遅延を達
成するべく電圧を周期的に適用及び除去することができる。
【0069】
周期電圧を生成する回路が、マイクロディスプレイの空間分解能と位相制御のビット精
度とによって支配される周波数を有する。液晶応答時間は、更新周波数が駆動回路から与
えられる場合に最も安定した画像を与えるようにチューニングされる。
【0070】
現行プロトタイプにおいて使用される駆動回路は、7kHzで駆動オン/オフ電圧の状
態を変えるべく動作可能なFPGAである。この場合、頂部から開始してピクセルアレイ
は、ラインごとに更新される。したがって、フレーム全体にわたる一つのビットプレーン
の更新には、1/7,000秒(すなわち約145,000ナノ秒)かかる。
【0071】
現行システムの位相安定性及び位相ドリフトのばらつきの一例は、図11A~11Cに
おける測定に見ることができる。ここで、液晶配向が、周期的な方形波電圧が適用される
ことによって半回転状態でバランスされる。
【0072】
図11A、11B及び11Cは、駆動レベルが255のうち65(左)、75(真ん中
)及び100(右)でのサブフレーム位相応答を示す。我々は、小さなスケールの時間的
なリップルを、位相フリッカーと称し、平均値まわりの偏差を、位相安定性と称すること
とする。
【0073】
合計立ち上がり応答時間は8.7ミリ秒であり、合計立ち下り応答時間は現在のところ
21ミリ秒である。特定の被試験パネルのセル厚さは、当該アプリケーションに対してカ
スタマイズされておらず、光スペクトルのうち赤外(IR)部までの全体にわたり十分な
位相遅延を与える。よって、セル厚さは、必要以上に厚い。この特定のパネルの例に対し
、青色レーザダイオードにとって可能な最大の位相遅延は6ナノであり、赤色にとっては
3ナノに近くなり得る。高速な応答時間は、セル厚さを低減して波長当たりの最大必要位
相遅延を超えることがないようにすることによって達成することができる。さらに、レン
ズ効果を与える(操舵する)機能が、位相変調器の有効なリフレッシュレートを、簡単な
モデルを介して説明することができ、かつ、そうであるべきである。新たなフレームが到
着すると、すべてのピクセルの駆動状態が、次のリフレッシュサイクルで更新される。
【0074】
高速な応答時間と高い位相安定性とは、時間制御の一つの共有次元に沿ってみると、あ
る程度対立する目標である。これは、ビデオフレームの持続時間内では、連続的な電界を
初期に適用することにより、液晶が正しい位置に迅速に動くことが許容される(その後、
電界が除去され又は時々パルスだけにされる)一方、ビデオフレーム全体にわたる位相安
定性は、電界のオン状態及びオフ状態を、ビデオフレームの持続時間全体にわたって相対
的に均等に広げることによって達成されるのが最善となるからである。双方の目標は、結
局のところ、レンズ効果アルゴリズムにおいて説明され得るとともに、位相符号ワードを
光位相応答にマッピングするべく使用されるパルス符号変調(PCM)の基礎となるデジ
タル更新スキームにおいても説明され得る。
【0075】
現行のプロトタイプシステムにおけるFPGAにより与えられる機能はまた、専用AS
ICにより与えられ得る。ASICは、高い更新レート(例えば15kHz)を与えるこ
とができる。図11における位相安定性プロットでは、同じ時間内に2倍の数の山(ピー
ク)及び谷が見られる。
【0076】
加えて、高速な応答時間(例えば2倍の改善)を可能にするべく現行の位相変調器にお
いて使用される液晶(LC)材料の複屈折特性を修正又は再定式化するオプションが存在
する。
【0077】
DLP技術の特性
【0078】
DLP技術は、ピクセル毎のマイクロミラーを対角線にわたり前後にフリップさせるバ
イナリ変調器を利用する。各ミラーはいつでも、画面に光線を向けるオン状態か、オフ画
面箇所、いわゆる光ダンプエリア、に光線を向けるオフ状態かのいずれとなり得る。ミラ
ーは、迅速に前後にフリップすることによってグレースケールを生成する。例えば、ビデ
オフレームの過程にわたり、明るいピクセルをレンダリングするにはオン状態の方に多く
の時間が費やされ、暗いピクセルに対してはオフ状態の方に多くの時間が費やされる。
【0079】
典型的に、各ピクセルは、ビデオフレーム(通常は60フレーム毎秒(fps))当た
り8ビット(又はそれ以上)のグレースケール駆動値によって制御される。図12は、こ
うしたグレースケールがどのようにしてミラーフリップに変換され得るのかの一例を示す
図12は、高レベル動作原理(8ビットカラーに対する一フレームにおける概念的なビ
ットパーティションを描くT1 DLPドキュメンテーションから複製)としてのDMD
タイミングの図である。
【0080】
ビット(bit)が0に設定されるか1に設定されるかが、ミラーがオン位置にフリッ
プされるかオフ位置にフリップされるかを決定する。ビット位置が、ミラーが当該状態の
ままである相対的な持続時間を決定する。ミラーが典型的に達成可能な秒当たりフリップ
の最大数は、10kHzの直下である(図12を参照。プロフェッショナルのアプリケー
ションに対しては80kHzまでが報告されている)から、この推定に対して我々は、ミ
ラー状態の最短期間を0.1ミリ秒すなわち100,000ナノ秒に設定する)。我々は
これを、図12のダイヤグラムにおけるb0の期間に等しいミラーフリップ期間と称する
こととする。
【0081】
非同期光パルス
【0082】
(例えば最大レベルの50パーセントで光を生成するべく)パルス光源が使用される場
合、例えば光状態の低いパルス周波数に起因して、オフ及びオンのパルスがミラーフリッ
プに非同期であって、オフ及びオンの期間が静止画像のフレーム毎に有意に異なる場合、
フリッカリング(ちらつき)が生じる。
【0083】
図13A及び13Bは、低速な非同期光パルスを使用するパルス光源によるDMD動作
の2つのフレームの相対タイミング図である。図13Aにおいて、信号が非同期であると
の事実に起因して、どのようにしてフレーム1において光が2/5の時間にオンになり、
図13Bのフレーム2において光が3/5の時間にオンとなるのかに注意されたい。オフ
及びオンの光源期間がミラーフリップ期間に対して短い場合、静止フレーム間でのオフ期
間とオン期間との差が劇的に低減されて人間の目に知覚されないはずである。
【0084】
図14A及び14Bは、最短可能ミラーフリップ期間よりも有意に高速に光源変調され
るパルス光源によるDMD動作の2つのフレームの相対タイミング図を示す。
【0085】
図14A及び14Bにおいて、駆動値が1の一つの最小幅ミラーフリップのみが示され
ている点に注意されたい。光状態は、以下に記載されるPWMクロックに類似する。さら
に、この例では、光がフレーム1では27/54のオンであり、フレーム2では28/5
4のオンである点にも注意されたい。
【0086】
同期光パルス
【0087】
光源オフ期間及び光源オン期間が(図15においてのように)ミラーフリップに同期さ
れている場合、静止フレーム間の強度差は実質的に存在しないはずなので、光源パルス生
成器は、ミラーフリップの期間で動作するだけでよく、ひいては、制御ソリューションの
要件及び電磁干渉(EMI)の考慮を劇的に低減することができる。図15は、低速同期
光パルスを使用するパルス光源によるDMD動作の一フレームに対する相対タイミング図
である。
【0088】
新たなフレームが到着すると、すべてのピクセルに対するミラーフリップロジックは、
二重バッファリングスキームを介して(又は所望により頂部から底部までのブロックにお
いて)同時に更新され得る。
【0089】
レーザ制御ソリューション
【0090】
我々は、高電流でレーザダイオードを直接駆動するべくiC-Haus iC-HGデ
バイス(iC Haus GmbH. ic-haus homepage - product: ic-hg. http://ichaus.de/HG, 20
17)を選択し、超高周波数でパルスを動作させるオプションを選択した。このデバイスは
、差分ペア入力からの200MHzまでのスイッチング能力を有する。500mW(光パ
ワー又はダイオード当たり650mA及び2:2Vの電力)638nmレーザダイオード
アレイの100MHzまでの同期したスイッチングが確認された。iC-HGへの一定電
圧入力により、オン状態の電流制限が設定される。我々は、高速デジタルアナログ変換器
(DAC)によって一定電圧電流入力を駆動した。
【0091】
LCoS位相変調器、バイナリDMD系SLM、及びパルスレーザの組み合わせ
【0092】
図16は、位相LCoS、DMD及びレーザパルスの組み合わせの相対タイミング図で
ある。この図は、最短可能期間でのDMDミラーフリップ、図示目的のために実際よりも
少なくした光源パルス、及びLCoS系位相変調器の予想される位相ドリフトを含む。全
体的なシステム時間応答の第1推定を目的として以下の仮定が使用された。すなわち、
・最短ミラーフリップ持続時間に対し、約100個の光状態PWMクロックパルスが存在
し(図16では明確性を目的として少なく示す)、LCoS位相誤差が、この例において
は、0.1πと-0.1πとの間でとの間で平均1.5倍ドリフトする。
・上述のように導入された高速非同期PWMクロック駆動スキームに沿ったこれらの可視
化には、(プロトタイプと比較して)2倍高速位相LCoS SLM及び高速制御器チッ
プ(ASIC)が使用された。
【0093】
表3は、投影機内の異なる変調要素に対する典型的な更新速度及びその結果得られたパ
ルス持続時間を示す。
【表3】
【0094】
位相変調における0.1πの誤差(ドリフト)は、2π超過という可能位相遅延の最大
量と比較して相対的に低く、高速レーザ光源は、最高速DMDミラーフリップ数であって
も影響を与えない。連続波(CW)又は常時点灯レーザドライバを含む多くの代替実装例
が可能である。ここで、過剰な光は、アクティブ画像エリアから離れるように操舵される
【0095】
DMD系実験プロトタイプ
【0096】
LCoS系位相変調器、(kHzのオーダーの)PWM調光レーザ光源及びDMDを、
非同期駆動スキームに従って組み合わせる実験プロトタイプが、実証目的で構築された、
直接のタイミング測定が行われなかったが、可視時間アーチファクトは、目立つほど十分
に支配的とはならなかった。位相誤差の相対的に低い振幅、及び位相フリッカーの、最大
2πに対して低い振幅が、潜在的に存在する時間アーチファクトをマスキングする支援と
なった。
【0097】
図17は、位相LCoS及びDMD振幅変調器を有するプロトタイプの写真である。レ
ーザが、ファイバを介して移送変調器に結合され(赤色、エンクロージャの左側)、その
強度がPWM駆動スキームを介して調整される。
【0098】
投影機の比色キャリブレーション
【0099】
フルカラーシステムにおいて、比色キャリブレーションは、PSFを含むシステムを特
徴付けることと精密にモデリングすることとを要求する。これらのことは、光源及び光路
に依存するので、潜在的に位置に又は画像特徴部サイズにも依存し得る。
【0100】
光操舵画像形成モデル
【0101】
光源から画面までの動作において、コリメートされたレーザ光は、一連の光学機器によ
り、光源から反射位相変調器へと中継される。所与の色チャネルに対する位相変調器から
離れる光は、残りのチャネルからの光と組み合わせられ、ディフューザを通してフィリッ
プス又はRGBプリズムへと中継される。プリズムは、当該光を分離して、その複数のコ
ンポーネント色にする。各コンポーネント色は、振幅変調器によって変調され、プリズム
内で再結合され、主要投影レンズへと向けられる。
【0102】
図18は、レーザ光源から投影レンズまでのプロトタイプ投影機50の光路内の高レベ
ルの光ブロックを描く。レーザ52A、52B及び52Cがレーザ光を生成し、そのレー
ザ光が、位相光変調器54A、54B及び54Cそれぞれを通るように向けられる。一例
の実施形態において、レーザ52A、52B及び/又は52Cは、レーザダイオードによ
って与えられてよい。例えば、レーザ52Aは462nmの波長を生成するレーザダイオ
ードとし、レーザ52Bは520nmの波長を生成するレーザダイオードとし、レーザ5
2Cは638nmの波長を生成するレーザダイオードとしてよい。
【0103】
位相光変調器54A、54B及び54Cを通過した後、3つの光路からの光は、結合光
学機器ブロック56において結合された後、ディフューザ60において拡散される。拡散
された光はRGBプリズム60を通過し、RGBプリズム60は当該光を分割して、その
複数のコンポーネント波長にする。各別個の光路は、対応する空間光変調器(SLM62
A、62B及び62Cそれぞれ)に向けられる。空間光変調器による変調の後、光は、R
GBプリズムにおいて再結合され、レンズ64の中へと向けられた後に画面66に投影さ
れる。RGB光が結合されて白色光になることは、便宜上選択されたことであり、事前に
整列されたSLMを有する市販の投影ハードウェアへの適合を目的とする。別個のRGB
光路を実装する十分に設計された投影機からは、良好なコントラスト性能が期待され得る
【0104】
この設計によれば、入射波面に位相変動をもたらすことができる位相変調器54のおか
げで、典型的なフル画面強度を十分に上回る局所強度を生成することができる。これによ
り、位相変調器54は、ソフトウェア駆動位相パターンに応答するプログラム可能レンズ
として機能することができる。位相パターンが、入力照明プロファイルから目標光プロフ
ァイルへの光の再分配を試みるように計算され、理想的には、下にある目標画像における
強度の上側エンベロープを近似するように選択される。これにより、暗いエリアから、典
型的な画像の特定に起因して、広い薄暗い領域を有する傾向がある明るい領域へ光が再分
配され、小さな明るいハイライトにより、従来型投影機により達成され得るレベルの10
倍を超えるレベルにまで到達することができる予備光のかなりの合焦がもたらされる。
【0105】
位相変調器が一定数のアーチファクトを導入するので、ディフューザが、光学設計に組
み入れられてスペックルを低減するとともに、光照射野に対するローパスフィルタとして
作用する。このアーチファクトは、固定されたテクスチャ、未操舵照明のコンポーネント
、回折アーチファクトを含む。ディフューザは、回折アーチファクト及び固定テクスチャ
を除去するのに有効であるが、一般に、未操舵光を補償することはできない(図19参照
)。
【0106】
図19は、プロトタイプのレーザ光の未操舵コンポーネントを描く。未操舵コンポーネ
ントは、位相変調器による操舵がされていないレーザ光から構成される。未操舵コンポー
ネントの光量は、ディフューザによるフィルタリングの後に位相変調器に入射する照明に
関連する。典型的には、位相変調器に入射する光の約10%が、未操作コンポーネントに
なる。
【0107】
その結果、未操舵コンポーネントは、その後の画像形成に対する重要な寄与分となる。
未操舵コンポーネントの測定は、すべての利用可能な光を画面外に操舵するように位相パ
ターンを設計することによって得られる。残りが未操舵コンポーネントとなる(図19
【0108】
RGBプロトタイプのようなレーザダイオード系システムに対しては、未操舵コンポー
ネントは、位相変調器から反射された個々のダイオードビームを示す。これは、図19
おいて、縦縞(赤色)及び横縞(緑色、青色)として示される。配向の差は、ダイオード
の異なる偏光配向に起因する。光源からのビームは、同じ方向に偏光されるので、すべて
の縞が、設計によって同様に配向される。ファイバ結合レーザの場合、未操舵コンポーネ
ントは、有意にさらに均一となる。図20は、結果的に得られたフル画面白色パターンを
示す。
【0109】
光学モデル
【0110】
このセクションは、システムを駆動するべく使用されるアルゴリズムを記載する。全体
的なアルゴリズムについての高レベルアルゴリズムブロックから始める。主要ブロックが
、専門のサブセクションでさらに記載される。各矩形ブロックは一セットの動作に対応し
、平行四辺形は、ブロック間で渡されるデータを示す。実線矢印がブロック間の既知の相
互作用を示す一方、破線矢印はオプションの関係を示す。
【0111】
高レベルアルゴリズム
【0112】
図21は、高レベルの方法70のフロー図である。方法70は、入力画像72を取り入
れる。入力画像72は、線形入力76を生成する変換ブロック74に入力される。線形入
力76は、コンテンツマッピングアルゴリズムブロック78による操作を受ける。ブロッ
ク78により具体化されるコンテンツマッピングアルゴリズムは、目標光照射野80、目
標画像82、及びパワー制御98の入力を生成する。
【0113】
目標光照射野80は、フォワードモデルアルゴリズム84及び位相パターン計算ブロッ
ク88による作用を受ける。フォワードモデルアルゴリズム84は、予測光照射野86を
生成する。予測光照射野86は、目標光照射野80及び目標画像82の再計算を目標とし
て、反復プロセスにおいてコンテンツマッピングアルゴリズム78に入力として戻される
【0114】
最終的に、予測光照射野86は振幅パターン生成ブロック90に渡され、振幅パターン
生成ブロック90はさらに、目標画像82を取り込んで、振幅パターンLS94及び振幅
パターンNS96を生成する。位相パターン計算ブロック88は、位相パターン92を生
成する。RGBプロトタイプシステムにおいて、この入力は、各チャネルの知覚量子化(
PQ)エンコーディングによるCIE1931XYZ色空間における値を含む。
【0115】
入力変換ブロックにおいて、画像データコンテンツが線形化され、システムの作業色空
間へと変換される。入力変換の出力は、現在のところ線形RGBレーザ原色で表現された
線形画像である。
【0116】
コンテンツマッピングブロックにおいて、線形画像は、光操舵投影機と非操舵投影機と
の間で、2つの投影機の場合は別個の振幅パターンそれぞれにより、又は統合システムの
場合は共有振幅パターン(光操舵を有する一つの投影ヘッド、及び非光操舵光源)により
、分割(又は分配)される。コンテンツマッピングブロックの出力は、目標光照射野画像
、目標(フル)画像(投影機当たり)、及びパワー制御信号となる。パワー制御信号と目
標画像とは、取られるパワー制御アプローチに応じて相互に関連する。
【0117】
物理的に光を再配向するべく、目標光照射野は、位相パターン生成アルゴリズムブロッ
クへの入力として使用される。これは、位相変調器による光再分配に影響を与えるべく必
要とされる駆動パラメータを計算する。加えて、目標光照射野は、フォワードモデルアル
ゴリズムブロックによっても使用される。これは、光操舵画像形成モデルのフィードフォ
ワードシミュレーションを実装する。実際には、位相変調器及びその後の光路が、任意の
目標光照射野を正確に再現することができないからである。フォワードモデル手順は、目
標画像と組み合わせられて、振幅パターン生成ブロックにより使用される予測光照射野画
像を生成する。これにより、光操舵及び非光操舵双方のブロックに対して必要な振幅パタ
ーンが決定される。
【0118】
入力変換
【0119】
入力変換ブロックは主に、入力画像を、入力が表現される色空間(例えばXYZ色空間
におけるPQエンコード画像)から、レーザ原色により定義される色空間へと変換する。
使用される精密な変換は、入力画像データの形態に依存する。
【0120】
図22は、入力変換ブロック74がPQ-XYZ入力画像72を取得して線形化ブロッ
ク102において同画像を線形化し、線形XYZ出力104を生成するアルゴリズムブロ
ックを示す。その後、線形XYZ出力は、色空間変換106により、光操舵投影機の色空
間において線形出力76に変換される。
【0121】
PQエンコーディングのためのフォワード変換及び逆変換が、以下の式で与えられる。
【数3】
ここで、P及びLは、範囲[0;1]にマッピングされたPQ値及び線形値を表す。これ
らの範囲は、公称動作範囲、例えば10ビットPQに対して[0,210-1]、Lに対
して[0,10000]cd/mまで調整される必要がある。この変換は、1Dルック
アップテーブル(LUT)として実装することができるが、曲線の領域すべてを解決する
には、サンプリングレートに対するケアが重要となる。
【0122】
色変換に対するRGB投影機の原色及び白色点(D65)が表4に示される。
【表4】
【0123】
これらからのレーザ原色においてRGB画像を取得するべく、その一つがRGB投影機
原色(MTTP3)に変換され得る。この変換は、各チャネルの輝度を保持するべく選択
され、XYZ画像間に以下の関係が得られる。
【数4】
ここで、[X,Y,Zは、結合された画像の輝度であり、[Y,Y,Y
は、Y=Y+Y+Yとの制約のもとで独立して処理された各チャネルの輝度
である。そして、Y=1に対応するチャネル当たりの輝度[Y,Y,Yは、
上述のシステムを解くことによって見出すことができる。
【0124】
チャネル当たりの輝度地が、MTTP3からXYZへの変換Mを定義するべく使用され
た。この変換は、以下のように定義することができる。
【数5】
これは、各チャネルがその対応原色の輝度を格納する入力画像が、当該画像に格納された
輝度で当該原色の色度にマッピングされる必要があることを意味する。この変換は、以下
を使用して見出すことができる。
【数6】
【0125】
上述した色度及び白色点について、これがMに対して以下の結果を与える。
【数7】
【0126】
同様に、XYZからMTTP3への逆マッピングが以下のように表現できる。
【数8】
【0127】
コンテンツマッピング
【0128】
コンテンツマッピングブロック78が、入力として線形入力画像を取得し、光操舵投影
機と非光操舵投影機との間の分割、及び必要なパワーレベルを決定する。
【0129】
図23は、コンテンツマッピングブロック78を実装するべく適用され得る一例のアル
ゴリズム78Aの詳細を示す。アルゴリズム78Aはまず、線形入力76を取得して、シ
ステムパワー予算の条件で入力画像が実現可能か否かをチェックする。これは、現在のと
ころ、パワーヒューリスティックを使用して行われる。否(No)の場合、入力はトーン
マッピング114される。トーンマッピング114は、例えば、簡単なスケーリングを含
む。ただし、より洗練されたトーンマッピングアルゴリズムも適用してよい。結果として
得られた目標画像82(通過されるかトーンマッピングされるかのいずれか)がその後、
引き続き手のステージにとっての目標光照射野となる。実現可能な入力コンテンツに対し
ては、線形入力画像と目標画像とは同一である。目標画像82はその後、目標光照射野画
像80を生成するべく使用される。目標画像82は、非操舵システムと操舵システムとの
間で分割される。分割機能116が、目標光照射野80、及びパワー制御98のための情
報を生成する。
【0130】
操舵と非操舵との間の分割は、例えば、目標画像を指数まで引き上げて(γ>1)光操
舵画像を決定することによって達成することができる。これは、光操舵投影機データを正
確に再現するわけではない。ハイライトを強調するべくそのコンテンツが破壊されるから
である。正確に(かつ光効率的に)分割することは、画像形成のほとんどに対して、しき
い照明レベル(例えば48cd/m)までは非操舵投影機を使用し、照明レベルが増加
するにつれて光操舵投影機において徐々にフェージングすることによって得られる。例え
ば、図24は、操舵と非操舵との分割の一例の、cd/m単位の目標輝度の関数として
のグラフである。なお、対数・対数スケールである。
【0131】
図24の一例の実施形態において、分割機能116は、操舵投影機への引き継ぎが開始
されるポイントである47cd/mまでの画像形成の90%に対し、非操舵投影機を利
用しようと試みる。ペイントされた(painted-on)外観を有する明るい画像特
徴部を回避するべく、すべてのピクセルにおいて画像の一部分に対し、操舵投影機を使用
することが望ましい。分割は1Dであり、一関数として又はLUTとして実装してよい。
【0132】
フォワードモデル
【0133】
図25は、フォワードモデルアルゴリズムブロック84を実装するべく適用され得る一
例のアルゴリズム84Aの図示である。フォワードモデルブロック84は、入力として目
標光照射野80を、コンテンツマッピングブロック78から取得し、それを使用して光シ
ステムの出力を予測する。これを、予測光照射野86と称する。
【0134】
予測光照射野86を計算することは有利となる。目標光照射野のすべてが達成可能とい
うわけではないからである。予測光照射野86は、正確な振幅パターンを計算するべく使
用することができる。予測光照射野86は、目標光照射野80と比較して、実際の光照射
野がどれほど目標光照射野と異なるのかを特定することができる。アルゴリズム84Aは
、キャリブレーション済みシステムPSF122及び実際の光照射野(操舵)124、並
びに未操舵コンポーネント126を、全体的なパワーレベルを説明するように注意しなが
ら、出力画像に適用することを含む。
【0135】
フォワードモデルは、目標光照射野80を入力として取得し、ディフューザによるぼか
し後の実際の光照射野の結果を予測するべくシステムPSF122を目標光照射野80に
適用する。RGB投影機システムのPSFの一例は、4×4パターンに並べて図26に示
される。赤色チャネル、緑色チャネル及び青色チャネルに対するPSFが、異なるサイズ
及び/又は形状を有し得る。
【0136】
その結果得られた光照射野にはこの場合、未操舵コンポーネント126の効果が加えら
れる。これは、ぼかし後に加えられる。この画像の測定は、ディフューザを通過した後に
なって初めて達成されるからである。現行のシステムでは、固定パターンが高度の不均一
となる。ファイバ結合システムにおいては、ガウス分布に近似し得る。
【0137】
位相パターン計算
【0138】
位相パターン生成ブロック88は、目標光照射野を達成するのに必要な位相パターンを
計算する。図27は、位相パターン計算ブロック88を与えるべく適用され得る一例のア
ルゴリズム88Aを示す。
【0139】
振幅変調器上で画像を正確にフレーミングして高い回折次数を分離するべく、目標光照
射野80を前処理することが望ましい。これは、3つのチャネルをアラインさせるべく意
図されたキャリブレーション済み歪みによるワーピング132を含む。例えば、次元W×
Hの目標画像の各点[x,y]を、2Dの3次多項式によってソース画像における点[x
,y]にマッピングすることができる。
【数9】
【0140】
ソース画像はその後、各目的ピクセルx,yに対応する[x,y]において線形サ
ンプリングされ得る。目標座標([x,y]座標)の正規化により、ソース画像と目
標画像との分解能不整合に対してもマッピングを計算することができる。10×1フィッ
トパラメータベクトルβ及びβが、キャリブレーションから取得される。ひとたびワ
ーピング及び再サンプリングがされると、その結果得られた画像は、(光学的構成に応じ
て)循環シフト134され、([0.001,1000.0]のような)適切な範囲にク
ランプ136される。この時点で、位相計算アルゴリズム142が適用される。そして、
最終的な位相パターンが、位相パネルの出力範囲にマッピングされる。
【0141】
振幅パターン生成
【0142】
振幅パターン生成ブロック90が、目標画像及び予測光照射野を入力として使用するこ
とにより、操舵投影機及び非操舵投影機に対する振幅パターンを決定する。図28は、振
幅パターン生成ブロック90を実装するべく与えられる一例のアルゴリズム90Aを示す
【0143】
アルゴリズム90Aはまず、非操舵照明152を予測光照射野86に加える。これは、
画面上で利用可能な光の合計となる。目標画像82は、予測光照射野86を説明するべく
調整される。共通振幅パターン160がその後、光操舵及び非光操舵振幅変調器の双方に
対して計算される。その結果得られた画像が、透過率の有効範囲(例えば[0,1])に
クランプ156される(又は範囲外領域におけるテクスチャを保持するべくトーンマッピ
ングされ得る)。任意の必要なLUTがその後、振幅SLMの応答を説明するべく適用1
58され、そのパターンがその後、投影ヘッドに直接送信される。操舵投影機と非操舵投
影機とを空間的にアラインさせるべく、アラインメントワーピング162を、キャリブレ
ーション済みピクセル対応部に基づいて使用することができる。アラインメントワーピン
グ162は、位相パターン生成ブロックと同じ3次ワーピング関数を使用することができ
る。これにより、光操舵(LS)振幅パターン94、及び非操舵(NS)振幅パターン9
6が得られる。
【0144】
結果
【0145】
図29A及び29Bは、シネマ投影機とプロトタイプ光操舵投影機とを並べて比較する
写真を示す。双方とも、レンズ外の同じ光パワーにより、このセクションで導入されるア
ルゴリズムフレームワークを使用して処理されたビデオを再生する。図29A及び29B
はそれぞれ、レンズ外の同じ光パワーによる光操舵プロトタイプ(左)及び伝統的投影機
(右)に表示された映画からの一フレームを示す。光操舵投影機(左)は、比較投影機の
コントラスト及びピーク輝度を、約20倍だけ有意に超越している(光操舵投影機:1,
000cd/m;右の投影機:48cd/m)。
【0146】
用語の解釈
【0147】
本明細書及び特許請求の範囲全体を通して、文脈が明らかにそうでないことを要求しない
限り、
・「含む」、「備える」等は、排他的又は網羅的な意味とは対照的に、包括的な意味、す
なわち「含むが、これに限られない」との意味に解釈するものとし、
・「接続され」、「結合され」又はこれらの任意の変形は、2つ以上の要素間の直接又は
間接いずれかの任意の接続又は結合を意味し、当該要素間の結合又は接続は物理的、論理
的、又はこれらの組み合わせとしてよく、
・「ここに」、「上に」、「下に」、及び同様の意味の言葉は、本明細書を記載するべく
使用されるとき、本明細書全体に言及されるべきであって、本明細書のいずれかの特定の
部分に言及されるべきではなく、
・2つ以上の項目のリストを言及する「又は」及び「若しくは」は、当該単語の以下の解
釈のすべて、すなわち、当該リストの任意の項目、当該リストのすべての項目、及び当該
リストの項目の任意の組み合わせをカバーし、
・単数形「一の」、「一つの」、及び「当該」、「この」、「その」はまた、任意の適切
な複数形の意味も含む。
【0148】
本明細書及び任意の添付の特許請求の範囲において使用される「縦」、「横」、「水平
」、「上方」、「下方」、「前」、「フォワード」、「後」、「バックワード」、「内」
、「外」、「垂直」、「横切る」、「左」、「右」、「前」、「後」、「頂」、「底」、
「下」、「上」、「下」等のような方向を示す言葉は(存在する場合)、記載され図示さ
れる装置の特定の方向に依存する。ここに記載される主題は、様々な代替配向を仮定し得
る。したがって、これらの方向の用語は、厳密に定義されてはおらず、狭く解釈するべき
ではない。
【0149】
本発明の実施形態は、特定的に設計されたハードウェア、構成可能ハードウェア、デー
タプロセッサ上で実行可能なソフトウェア(オプションで「ファームウェア」を含み得る
)の提供によって構成されるプログラム可能データプロセッサ、又は、ここに詳細に説明
される方法における一以上のステップ及び/若しくはこれらの2つ以上の組み合わせを行
うべく特定的にプログラムされ、構成され、若しくは構築される専用コンピュータ若しく
はデータプロセッサを使用して実装することができる。特定的に設計されたハードウェア
の例は、論理回路、特定用途向け集積回路(「ASIC」)、大規模集積回路(「LSI
」)、超大規模集積回路(「VLSI」)等である。構成可能ハードウェアの例は、プロ
グラマブルアレイロジック(「PAL」)、プログラマブルロジックアレイ(「PLA」
)、フィールドプログラマブルゲートアレイ(「FPGA」)のような一以上のプログラ
ム可能論理デバイスである。プログラム可能データプロセッサの例は、マイクロプロセッ
サ、デジタル信号プロセッサ(「DSP」)、組込みプロセッサ、グラフィックスプロセ
ッサ、数学コプロセッサ、汎用コンピュータ、サーバコンピュータ、クラウドコンピュー
タ、メインフレームコンピュータ、コンピュータワークステーション等である。例えば、
投影機の制御回路における一つ以上のデータプロセッサは、プロセッサにアクセス可能な
プログラムメモリ内のソフトウェア命令を実行することにより、ここに記載の方法を実装
することができる。
【0150】
処理は集中又は分散されてよい。処理が分散される場合、ソフトウェア及び/又はデー
タを含む情報が集中して保持され又は分散され得る。かかる情報は、ローカルエリアネッ
トワーク(LAN)、ワイドエリアネットワーク(WAN)若しくはインターネットのよ
うな通信ネットワーク、有線若しくは無線のデータリンク、電磁信号、又は他のデータ通
信チャネルを経由して異なる機能ユニット間で交換され得る。
【0151】
例えば、プロセス又はブロックが所与の順序で提示されるが、代替例は、異なる順序で
ステップを有するルーチンを行うこと又はブロックを有するシステムを用いることができ
、いくつかのプロセス又はブロックは、代替又はサブコンビネーションを与えるべく削除
、移動、追加、細分化、結合、及び/又は修正することができる。これらのプロセス又は
ブロックはそれぞれが、様々な異なる態様で実装することができる。また、プロセス又は
ブロックが直列的に行われるように示されることがあるが、これらのプロセス又はブロッ
クは、その代わりに、並列して行い又は異なる時に行うこともできる。
【0152】
加えて、要素が連続して実行されるように示される場合があるが、その代わりに同時に
又は異なる順序で実行されてよい。したがって、以下の特許請求の範囲は、意図された範
囲内にあるそのようなすべての変形例を含むと解釈されることを意図する。
【0153】
ソフトウェア及び他のモジュールは、サーバ、ワークステーション、パーソナルコンピ
ュータ、タブレットコンピュータ、画像データエンコーダ、画像データデコーダ、ビデオ
投影機、オーディオビジュアル受信器、(テレビのような)ディスプレイ、デジタルシネ
マ投影機、メディアプレーヤ、及びここに記載される目的に適した他のデバイスに常駐し
てよい。
【0154】
本発明はまた、プログラム製品の形態で与えられてよい。プログラム製品は、データプ
ロセッサによって実行されると、データプロセッサに本発明の方法を実行させるコンピュ
ータ可読命令のセットを担持する任意の非一時的媒体を含んでよい。本発明に係るプログ
ラム製品は、多種多様な形態のいずれかとしてよい。プログラム製品は、例えば、フロッ
ピーディスケットを含む磁気データ記憶媒体、ハードディスクドライブ、CD ROMを
含む光学データ記憶媒体、DVD、ROMを含む電子データ記憶媒体、フラッシュRAM
、EPROM、有線又は事前プログラムチップ(例えばEEPROM半導体チップ)、ナ
ノテクノロジーメモリ等のような非一時的媒体を含み得る。プログラム製品上のコンピュ
ータ可読信号は、オプションで圧縮又は暗号化してよい。
【0155】
いくつかの実施形態では、本発明はソフトウェアで実装されてよい。大幅に明確にする
と、「ソフトウェア」はプロセッサ上で実行される任意の命令を含み、ファームウェア、
常駐ソフトウェア、マイクロコード等を含み得るがこれらに限定されない。処理ハードウ
ェア及びソフトウェアは双方とも、当業者に知られているように、全体的又は部分的に集
中又は分散(又はこれらの組み合わせ)されてよい。例えば、ソフトウェア及び他のモジ
ュールは、ローカルメモリを介し、ネットワークを介し、分散コンピューティングの文脈
におけるブラウザ若しくは他のアプリケーションを介し、又は上述した目的に適した他の
手段を介し、アクセスすることができる。
【0156】
コンポーネント(例えばソフトウェアモジュール、プロセッサ、アセンブリ、光変調器
、レンズ、投影機ヘッド、プリズム、デバイス、回路等)が上で参照される場合、そうで
ないことが示されない限り、そのコンポーネントへの参照(「手段」への参照も含む)は
、そのコンポーネントの均等物として、記載のコンポーネントの機能を実行する任意のコ
ンポーネントを含むもの(すなわち機能的に均等)と解釈されるべきである。本発明の図
示された典型的な実施形態における機能を実行する開示の構造に構造的に均等とはいえな
いコンポーネントも含まれる。
【0157】
システム、方法及び装置の特定の例が、例示目的でここに記載されてきた。これらは複
数の例にすぎない。ここに与えられる技術は、上述した例のシステム以外のシステムに適
用することもできる。本発明の実施内で、多くの代替、修正、追加、省略及び置換が可能
である。本発明は、記載の実施形態に対する変形例を含む。その変形例は当業者にとって
明らかであり、特徴、要素及び/若しくは工程を、均等な特徴、要素及び/若しくは工程
に置換すること、異なる実施形態からの特徴、要素及び/若しくは工程を混合及びマッチ
ングすること、ここに記載の実施形態からの特徴、要素及び/若しくは工程を、他の技術
の特徴、要素及び/若しくは工程と組み合わせること、並びに/又は記載の実施形態から
の特徴、要素及び/若しくは工程を省略し組み合わせることによって得られる変形例を含
む。
【0158】
様々な特徴が、「いくつかの実施形態」に存在するものとしてここに記載される。かか
る特徴は必須ではなく、すべての実施形態に存在するわけではない。本発明の実施形態は
、そのような特徴のゼロ、任意の一つ、又は2つ以上の任意の組み合わせを含み得る。こ
れは、かかる特徴の所定のものが、かかる特徴の他のものと不適合となる範囲にのみ制限
される。当業者にとって、かかる不適合な特徴を組み合わせる実用的な実施形態を構築す
ることが不可能という意味である。したがって、「いくつかの実施形態」が特徴Aを所有
し、かつ、「いくつかの実施形態」が特徴Bを所有するとの記載は、発明者が(当該記載
がそうではないことを述べない限り、又は特徴Aと特徴Bとが基本的に不適合とはならな
い限り)特徴Aと特徴Bとを組み合わせた実施形態も意図しているという明示として解釈
すべきである。
【0159】
したがって、以下の添付の特許請求の範囲及びその後に導入される特許請求の範囲は、
合理的に推測され得るすべてのそのような修正、置換、追加、省略及びサブコンビネーシ
ョンを含むと解釈されることが意図される。特許請求の範囲は、複数例に記載される好ま
しい実施形態によって限定されるべきではなく、全体として記載に一致する最も広い解釈
が与えられるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
【手続補正書】
【提出日】2023-01-24
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
像投影システムであって、
第1変調光を画面に投影するべく動作可能であり、光操舵モジュールを含む投影機と、
表示される目標画像のピクセルのための目標照明レベルを定義するピクセル値を含む画像データを処理するべく、及び前記光操舵モジュールのための制御信号を生成するべく動作可能な制御器と
を含み、
前記第1変調光は前記画面において第2変調光に重畳され、
前記処理は、光出力を前記第1変調光と前記第2変調光との間で分割することにより、前記第変調光が前記目標画像のピクセルのそれぞれに対する光の一部分を含むとともに、前記第変調光が前記目標画像の前記ピクセルに対する前記光の大部分を構成する態様となり、前記光の大部分に対しては前記目標照明レベルが第1しきいレベル未満となる、画像投影システム。
【請求項2】
前記制御器は、
前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを含む処理によって修正された目標画像を生成することであって、γ>1であることと
記投影機のための制御信号を前記修正された目標画像に基づかせることと
を行うべく構成され、請求項1に記載の画像投影システム。
【請求項3】
前記制御器は、前記分割を、前記目標照明レベルに基づいてピクセル毎に行うべく構成される、請求項1に記載の画像投影システム。
【請求項4】
前記制御器は、前記第1しきいレベル未満の目標照明レベルを有するピクセルに対し、前記第変調光の輝度に対する前記第変調光の輝度の固定比を維持するべく構成される、請求項2に記載の画像投影システム。
【請求項5】
前記制御器は、前記第1しきいレベルを超過する目標照明レベルを有するピクセルに対し、前記第変調光に対する前記第変調光の比が前記固定比を超過するように、前記投影機を制御するべく構成される、請求項4に記載の画像投影システム。
【請求項6】
前記固定比は20%未満である、請求項4又は5に記載の画像投影システム。
【請求項7】
前記第変調光の任意のピクセルに対する前記投影機による最大達成可能照明レベルが、第変調光の任意のピクセルに対する最大到達可能照明レベルよりも少なくとも10倍大きい、請求項1からのいずれか一項に記載の画像投影システム。
【請求項8】
前記制御器はルックアップテーブルを含み、
前記制御器は、前記ルックアップテーブルからの出力に基づいて前記光出力を分割するべく構成される、請求項1からのいずれか一項に記載の画像投影システム。
【請求項9】
記投影機は空間光変調器を含み、
前記制御器は、前記画像データにアラインメントワーピングを適用してワーピングされた画像データを得て、前記ワーピングされた画像データを使用して前記空間光変調器を駆動するように構成される、請求項1からのいずれか一項に記載の画像投影システム。
【請求項10】
前記制御器は、前記目標画像の表示が実現可能か否かを決定するべくチェックを行うように構成され、
前記チェックにより前記目標画像の表示が実現可能ではないと決定された場合、前記制御器は、トーンマッピングされた画像データを得るべく前記画像データにトーンマッピングを行い、前記トーンマッピングされた画像データによる処理を続けるべく構成される、請求項1からのいずれか一項に記載の画像投影システム。
【請求項11】
記投影機は狭帯域光源を含む、請求項1からのいずれか一項に記載の画像投影システム。
【請求項12】
前記狭帯域光源は一以上のレーザダイオードを含む、請求項11に記載の画像投影システム。
【請求項13】
前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを含む、請求項12に記載の画像投影システム。
【請求項14】
前記光操舵モジュールは複数の位相変調器を含み、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光はそれぞれが、前記複数の位相変調器の第1位相変調器、第2位相変調器及び第3位相変調器により操舵される、請求項13に記載の画像投影システム。
【請求項15】
前記制御器は、前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を計算するフォワードモデルを実装し、
前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光に対する別個の点拡がり関数を含む、請求項13又は14に記載の画像投影システム。
【請求項16】
前記フォワードモデルは反復モデルである、請求項15に記載の画像投影システム。
【請求項17】
前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項15に記載の画像投影システム。
【請求項18】
像投影方法であって、
光操舵モジュールを含む投影機を使用して第1変調光を画面に投影することと、
2変調光を前記第1変調光に重畳させるように前記画面に投影することと、
表示される目標画像のピクセルに対して目標照明レベルを定義するピクセル値を含む画像データを処理することであって、前記処理は、光出力を前記第1変調光と前記第2変調光との間で分割することにより、前記第変調光が前記目標画像のピクセルのそれぞれに対する光の一部分を含むとともに、前記第変調光が前記目標画像の前記ピクセルに対する前記光の大部分を構成する態様となり、前記光の大部分に対しては前記目標照明レベルが第1しきいレベル未満となることと、
前記目標画像のピクセルに対する前記第1変調光の決定された量に基づいて前記光操舵モジュールのための制御信号を生成することと
を含む、画像投影方法。
【請求項19】
前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを含む処理によって修正された目標画像を生成することであって、γ>1であることと
記投影機の前記光操舵モジュールのための制御信号を前記修正された目標画像に基づかせること
を含む、請求項18に記載の画像投影方法。
【請求項20】
前記分割は、前記目標照明レベルに基づいてピクセル毎に行われる、請求項18に記載の画像投影方法。
【請求項21】
前記第1しきいレベル未満の目標照明レベルを有するピクセルに対し、前記第変調光の輝度に対する前記第変調光の輝度の固定比を維持することを含む、請求項19に記載の画像投影方法。
【請求項22】
前記第1しきいレベルを超過する目標照明レベルを有するピクセルに対し、前記第変調光に対する前記第変調光の比が前記固定比を超過するように、前記投影機を制御することを含む、請求項21に記載の画像投影方法。
【請求項23】
前記固定比は20%未満である、請求項21又は22に記載の画像投影方法。
【請求項24】
前記第変調光の任意のピクセルに対する前記投影機による最大達成可能照明レベルが、第変調光の任意のピクセルに対する最大到達可能照明レベルよりも少なくとも10倍大きい、請求項18から22のいずれか一項に記載の画像投影方法。
【請求項25】
ルックアップテーブルからの出力に基づいて前記光出力を分割することをさらに含む、請求項18から22のいずれか一項に記載の画像投影方法。
【請求項26】
前記画像データにアラインメントワーピングを適用してワーピングされた画像データを得ることと、
前記ワーピングされた画像データを使用して前記投影機の空間光変調器を駆動することと
を含む、請求項18から22のいずれか一項に記載の画像投影方法。
【請求項27】
前記目標画像の表示が実現可能か否かを決定するべくチェックを行い、前記チェックにより前記目標画像の表示が実現可能ではないと決定された場合、トーンマッピングされた画像データを得るべく前記画像データにトーンマッピングを行い、前記トーンマッピングされた画像データによる処理を続けることを含む、請求項18から22のいずれか一項に記載の画像投影方法。
【請求項28】
記投影機は狭帯域光源を含む、請求項18から22のいずれか一項に記載の画像投影方法。
【請求項29】
前記狭帯域光源は一以上のレーザダイオードを含み、
記光操舵モジュールの一以上の位相変調を照明するように前記レーザダイオードを動作させることを含む、請求項28に記載の画像投影方法。
【請求項30】
前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを含む、請求項29に記載の画像投影方法。
【請求項31】
前記光操舵モジュールの複数の位相変調器の第1の位相変調器、第2の位相変調器及び第3の位相変調器それぞれを使用して、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光を操舵することを含む、請求項30に記載の画像投影方法。
【請求項32】
前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を計算するフォワードモデルを実装することを含み、
前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光に対する別個の点拡がり関数を含む、請求項30又は31に記載の画像投影方法。
【請求項33】
前記フォワードモデルは反復モデルである、請求項32に記載の画像投影方法。
【請求項34】
前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項32に記載の画像投影方法。
【請求項35】
コンテンツマッピングモジュールであって、
目標画像を定義する画像データを入力画像として受信し、前記入力画像に基づいて操舵光と非操舵光との間の光出力の割り当てと、表示される前記目標画像に対する前記操舵光及び前記非操舵光の対応パワーレベルとを決定するべく構成される制御器であって、前記光出力の割り当てに基づいて投影機の光操舵モジュールのための制御信号を生成するべく構成される制御器を含み、
前記非操舵光は、目標照明レベルがしきいレベル未満となる前記目標画像のピクセルに対する光の大部分を構成し、
前記制御器は、前記操舵光の一部が前記目標画像のピクセルのそれぞれを照明するように前記光出力を分割するべく構成される、コンテンツマッピングモジュール。
【請求項36】
前記制御器は、前記入力画像に基づいて操舵光及び非操舵光の所望量を与えることが実現可能か否かを決定するべく構成され、前記操舵光及び非操舵光の所望量を与えることが実現可能ではない場合に前記入力画像をトーンマッピングするべく構成される、請求項35のコンテンツマッピングモジュール。
【請求項37】
前記制御器は、
前記目標画像を定義するピクセル値をパワーγまで上昇させることを含む処理によって修正された目標画像を生成することであって、γ>1であることと、
前記操舵光の分割を前記修正された目標画像に基づかせることと
を含む、請求項35のコンテンツマッピングモジュール。
【請求項38】
前記制御器は、前記目標画像のピクセル毎に基づいて前記割り当てを行うべく構成される、請求項35のコンテンツマッピングモジュール。
【請求項39】
前記制御器は、目標光照射野とパワー制御器のための情報とを出力するべく構成される、請求項35のコンテンツマッピングモジュール。
【請求項40】
前記入力画像は線形化された画像である、請求項35のコンテンツマッピングモジュール。
【請求項41】
コンテンツマッピングの方法であって、
目標画像を定義する入力画像のデータに基づいて操舵光と非操舵光との間の光出力の割り当てと、表示される前記目標画像に対する前記操舵光及び前記非操舵光の対応パワーレベルとを決定することと、
前記操舵光及び前記非操舵光を、目標照明レベルがしきいレベル未満となる前記目標画像のピクセルに対する光の大部分を前記非操舵光が構成するように割り当てることと
を含み、
前記操舵光の一部が前記目標画像のピクセルのそれぞれを照明する、方法。
【請求項42】
前記入力画像に基づいて操舵光及び非操舵光の所望量を与えることが実現可能か否かを決定することと、前記操舵光及び非操舵光の所望量を与えることが実現可能ではない場合に前記入力画像をトーンマッピングすることとを含む、請求項41の方法。
【請求項43】
前記目標画像を定義するピクセル値をパワーγまで上昇させることによって修正された目標画像を生成することであって、γ>1であることと、
前記操舵光の分割を前記修正された目標画像に基づかせることと
を含む、請求項41の方法。
【請求項44】
前記目標画像のピクセル毎に基づいて前記割り当てを行うことを含む、請求項41の方法。
【請求項45】
目標光照射野とパワー制御器のための情報とを出力することを含む、請求項41の方法。
【請求項46】
前記入力画像を線形化することを含む、請求項41の方法。
【請求項47】
前記入力画像は線形化された画像である、請求項41の方法。
【請求項48】
ハイライト投影システムであって、
操舵光を画面に投影するべく動作可能な光操舵モジュールを含むハイライト投影機と、
制御器と
を含み、
前記制御器は、
目標画像のピクセルのための目標照明レベルを定義するピクセル値を含む画像データを処理することと、
前記ハイライト投影機のための前記目標照明レベルへの目標寄与を決定することであって、前記目標照明レベルがしきい値未満となるピクセルに対し、前記ハイライト投影機のための前記目標照明レベルへの前記目標寄与が、それぞれの目標照明レベルを達成するべく必要な光の小部分を構成することと、
前記目標寄与に基づいて前記光操舵モジュールのための制御信号を生成することと
を含み、
前記目標寄与は前記目標画像のピクセルのそれぞれへの光の寄与を含む、ハイライト投影システム。
【請求項49】
制御器を含むコンテンツマッピングモジュールであって、
前記制御器は、
目標画像のピクセルのための目標照明レベルを定義するピクセル値を含む画像データを処理することと、
操舵光のための前記目標照明レベルへの目標寄与を決定することであって、前記目標照明レベルがしきい値未満となるピクセルに対し、前記操舵光のための前記目標照明レベルへの前記目標寄与が、それぞれの目標照明レベルを達成するべく必要な光の小部分を構成することと、
前記目標寄与に基づいて光操舵モジュールのための制御信号を生成することと
を含み、
前記目標寄与は前記目標画像のピクセルのそれぞれへの光の寄与を含む、コンテンツマッピングモジュール。
【外国語明細書】