特許 6644103 ハイブリッド画像の分解および投影

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6644103

(24)【登録日】2020年1月9日

(45)【発行日】2020年2月12日

(54)【発明の名称】ハイブリッド画像の分解および投影

(51)【国際特許分類】

   H04N 5/74 20060101AFI20200130BHJP

   G09G 5/36 20060101ALI20200130BHJP

   G09G 5/377 20060101ALI20200130BHJP

   G09G 5/10 20060101ALI20200130BHJP

   G09G 5/02 20060101ALI20200130BHJP

   G09G 5/00 20060101ALI20200130BHJP

   G03B 21/14 20060101ALI20200130BHJP

【ＦＩ】

   H04N5/74 Z

   G09G5/36 520P

   G09G5/36 520M

   G09G5/10 Z

   G09G5/02 Z

   G09G5/10 B

   G09G5/36 520C

   G09G5/00 510V

   G03B21/14 E

【請求項の数】16

【外国語出願】

【全頁数】23

(21)【出願番号】特願2018-62530(P2018-62530)

(22)【出願日】2018年3月28日

(62)【分割の表示】特願2014-525544(P2014-525544)の分割

【原出願日】2012年8月14日

(65)【公開番号】特開2018-137789(P2018-137789A)

(43)【公開日】2018年8月30日

【審査請求日】2018年4月12日

(31)【優先権主張番号】61/575,117

(32)【優先日】2011年8月16日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516242301

【氏名又は名称】アイマックス シアターズ インターナショナル リミテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】タン、 ウェイニン

(72)【発明者】

【氏名】リード、 スティーブン チャールズ

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００９−００８９７４（ＪＰ，Ａ）

【文献】 特開２００９−２６０９３２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１３４８３４（ＷＯ，Ａ１）

【文献】 特表２０１１−５１４５４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｇ０３Ｂ ２１／１４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／０２

Ｇ０９Ｇ ５／１０

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

第１の表示デバイス及び第２の表示デバイスを含む画像投影システムのために入力画像データを変換する方法であって、前記入力画像データは二次元（２Ｄ）入力画像を表し、該方法は、
プロセッサによって、前記入力画像データを第１の画像成分に分解するステップと、
前記プロセッサによって、前記入力画像データと前記第１の画像成分との間の差を計算して第２の画像成分を生成するステップと、
前記プロセッサによって、前記第２の画像成分を前記画像投影システムの前記第２の表示デバイスの制約である正規化最大閾値に関して分析し、前記正規化最大閾値を超える値を有するピクセルを決定するステップと、
前記プロセッサによって、前記ピクセルの値が前記正規化最大閾値以下になるまで前記第１の画像成分及び前記第２の画像成分を修正して修正された第１の画像成分及び修正された第２の画像成分を作成し、前記修正された第１の画像成分は前記修正された第２の画像成分における画像内容の周波数情報とは少なくとも一部が異なる画像内容を含むステップと、
前記修正された第１の画像成分を前記第１の表示デバイスによって表示するステップと、
前記修正された第２の画像成分を前記第２の表示デバイスによって表示し、該修正された第２の画像成分は、前記修正された第１の画像成分と重ね合わされて最終画像が生成されるステップと
を含む方法。

【請求項2】

前記制約は、前記第１の画像成分及び前記第２の画像成分の両方についての表示強度制約であり、０以上であり、前記第２の表示デバイスの最大輝度限界内である請求項１に記載の方法。

【請求項3】

前記ピクセルは、色アーチファクトである請求項１に記載の方法。

【請求項4】

前記入力画像データを分解するステップは、
前記入力画像データの領域についてのパラメータを決定するステップと、
画像分解についてのパラメータを使用して前記第１の画像成分及び前記第２の画像成分を生成し、前記第１の画像成分及び前記第２の画像成分の空間二次元畳み込みが一定又は０であるように前記第１の画像成分は前記第２の画像成分と直交又は疑似直交するステップと
を含む請求項１に記載の方法。

【請求項5】

前記入力画像を前記領域についての前記パラメータが最小値である領域に分割することによって前記第１の画像成分を生成し、前記最小値を用いることによって前記入力画像の連続平滑な低次の境界面を生成し、各最小値は前記最小値に関連した各領域についての最小値であるステップとをさらに含む請求項４に記載の方法。

【請求項6】

前記連続平滑な低次の境界面は、線形補間器を用いて生成される請求項５に記載の方法。

【請求項7】

前記連続平滑な低次の境界面は、前記第１の画像成分以上の最終画像ピクセル値を有する請求項６に記載の方法。

【請求項8】

前記最終画像は、単一のプロジェクタによって表示された前記入力画像の２倍の輝度を含む請求項１に記載の方法。

【請求項9】

前記第１の画像成分及び前記第２の画像成分を修正することは、フォールバックマップを使用することを含む請求項１に記載の方法。

【請求項10】

前記入力画像データは三成分色画像データを含み、各色について前記第１の画像成分、前記第２の画像成分、及びフォールバックマップが生成される請求項１に記載の方法。

【請求項11】

前記フォールバックマップは色保持フォールバックマップであり、各フォールバックマップ内の各ピクセルは元のピクセル値の総和で除算され、
前記生成された色保持フォールバックマップ内のピクセル値についての新たな推定値として最大ピクセル比が使用される請求項１０に記載の方法。

【請求項12】

前記入力画像データに逆ガンマ補正処理を施すことによって画像データを生成するステップ をさらに含む請求項１に記載の方法。

【請求項13】

前記修正された第１の画像成分を表示し、及び前記修正された第２の画像成分を表示する前に、
前記修正された第１の画像成分又は前記修正された第２の画像成分にワーピングを適用するステップと、又は、
前記第１の画像成分及び前記第２の画像成分にガンマ補正を適用するステップと
をさらに含む請求項１に記載の方法。

【請求項14】

複数のプロジェクタシステムであって、
二次元（２Ｄ）画像を表す入力画像データを受け取るように構成された入力部と、
前記２Ｄ画像を第１の画像成分及び前記第１の画像成分に直交又は疑似直交する第２の画像成分に分解し、前記第１の画像成分及び前記第２の画像成分の空間二次元畳み込みが一定又は０になるようにすることによって、前記入力画像データを処理し、前記入力画像データに基づいて前記第１の画像成分及び前記第２の画像成分を出力するように構成されたプロセッサと、
第１のプロジェクタ及び第２のプロジェクタの少なくとも一つの制約である正規化最大閾値に関して前記第２の画像成分を分析して前記正規化最大閾値を超える値を有するピクセルを決定して修正された第１の画像及び修正された第２の画像を生成し、前記修正された第１の画像成分と前記修正された第２の画像成分との間の差が前記正規化最大閾値以下であり、前記修正された第１の画像成分は前記修正された第２の画像成分における画像内容の周波数情報とは少なくとも一部が異なる周波数情報を有する画像内容を含むシステム機能モジュールと、
前記修正された第１の画像成分を表示するように構成された前記第１のプロジェクタと、
前記修正された第１の画像成分に重ね合わせられた前記修正された第２の画像成分を表示して前記２Ｄ画像の最終重ね合せ２Ｄバージョンを生成するように構成された前記第２のプロジェクタと
を含むシステム。

【請求項15】

前記プロセッサは、前記入力画像データに逆ガンマ処理を適用するように構成された請求項１４に記載のシステム。

【請求項16】

前記システム機能モジュールは、前記修正された第１の画像成分及び前記修正された第２の画像成分が表示される前に、該修正された第１の画像成分又は該修正された第２の画像成分のうちの少なくとも一方に、
ガンマ補正、又は
ワーピング
を適用するように構成された請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、２０１２年８月１６日に出願された「改良型マルチ・プロジェクタ・ディスプレイのためのハイブリッド投影（Ｈｙｂｒｉｄ Ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ Ｅｎｈａｎｃｅｄ Ｍｕｌｔｉ−Ｐｒｏｊｅｃｔｏｒ Ｄｉｓｐｌａｙ）」と題する米国仮特許出願第６１／５７５，１１７号の優先権を主張する。

【0002】

本出願は、一般に画像投影システムに関し、より詳細には（必ずしも排他的にではないが）表示されるときに重ね合わされるために互いに直交または擬似直交する画像成分を出力することができる画像投影システムに関する。

【背景技術】

【0003】

マルチ・プロジェクタ・システムは、複数の画像を重ね合わせて、より高い輝度、フリッカーのない画像、および、スクリーンドア効果が大きく低減された画像などの利点を実現するために使用することができる。現行のマルチ・プロジェクタ・システムは、単一プロジェクタシステムから実現することができるものと同様の画像鮮明度を達成するために、サブピクセルレベルの非常に正確なプロジェクタ間（すなわち、プロジェクタの間の）画像レジストレーションを必要とする。ある投影画像を別の投影画像にワーピングするためにワーピングエンジンを使用する現行のマルチ・プロジェクタ・システムは、１ピクセル精度未満以内でこれを行う場合がある。しかしながら、画像レジストレーション精度は、システム測定誤差、光学的不均一性、経時的な熱ドリフト、およびプロジェクタの機械的振動から劣化する可能性がある。この問題は、投影する画像の解像度が４０９６×２１６０（４Ｋ）以上になると悪化する可能性があり、これによって、より正確な空間的アライメント精度で重ね合わせる必要があり得る。

【0004】

重ね合わせ画像における画像劣化をもたらし得る別の問題は、ある画像をワーピングして別の画像に整合させるときに発生する可能性があり、これは、デジタル画像再サンプリングによって生じる、画像品質に対する限界を有する可能性がある。デジタル画像再サンプリングによって生じる画像劣化は、再サンプリング中の多少の高周波数情報損失のために画像外観をより柔らかく、鮮明でなくする可能性がある。

【0005】

重ね合わせ画像の輝度ダイナミックレンジをさらに増大させるためにマルチ投影における複数のプロジェクタからさらにより多くの投影画像が重ね合わされるとき、投影画像間のアライメントの精度がより困難になる可能性がある。そのようなシステムにおいて、重ね合わせた複数の画像のうちの画像は、特に、投影画像が異なる投影分解能を有するプロジェクタからのものである場合に、より容易にアライメント劣化を受け、増加した数のプロジェクタを用いて実現される可能性を制限し得る。

【0006】

知覚される重ね合わせ画像が１つのプロジェクタから投影した場合と同じ画像品質を有することを依然として可能にしながら、より度合いの高い画像アライメント誤差に耐えることができるシステムおよび方法が望ましい。

【発明の概要】

【0007】

特定の態様および特徴は、重ね合わせるために入力画像の画像成分を出力することに関し、これらの画像成分は互いに擬似直交する。

【0008】

一態様において、入力画像データをハイブリッド画像投影システムのために変換するための方法が提供される。入力画像データは入力画像を表す。入力画像データは、入力画像の内容に基づいて少なくとも２つの画像領域に分割される。画像領域に関するパラメータが求められ、少なくとも１つのパラメータは、画像領域の各々に関して求められる。パラメータに基づいて入力画像を分解することによって、第１の画像成分および第２の画像成分が生成される。第１の画像成分は第２の画像成分と直交または擬似直交する。第１の画像成分が第１の表示デバイスによって表示される。第２の画像成分が第２の表示デバイスによって表示される。第２の画像成分が第１の画像成分と重ね合わされて、最終画像が生成される。

【0009】

別の態様において、マルチ・プロジェクタ・システムが提供される。マルチ・プロジェクタ・システムは、入力と、プロセッサと、第１のシステム機能モジュールと、第２のシステム機能モジュールと、第１のプロジェクタと、第２のプロジェクタとを含む。入力は、画像を表す入力画像データを受信することができる。プロセッサは、入力画像データを処理することができる。プロセッサは、画像内容に基づいて画像を複数の画像領域に分割し、画像を、第１の画像成分、および第１の画像成分に直交または擬似直交する第２の画像成分に分解することによって、入力画像データに基づいて第１の画像成分および第２の画像成分を出力することができる。第１のシステム機能モジュールは、第１の画像成分を修正することができる。第２のシステム機能モジュールは、第２の画像成分を修正することができる。第１のプロジェクタは、第１の修正画像成分を表示することができる。第２のプロジェクタは、第２の修正画像成分を、第１の修正画像成分に重ね合わせて表示することができる。

【0010】

これらの例示的な対応および特徴は、本発明を限定または定義するためではなく、本開示において開示されている発明の概念の理解を助けるための例を提供するために述べられている。本発明の他の態様、利点、および特徴が、本開示全体を概観した後に明らかとなろう。

【図面の簡単な説明】

【0011】

【図1】一態様によるハイブリッド画像投影システムの方法の流れ図である。

【0012】

【図2】一態様による画像分解プロセスのマルチレベル構造および階層の流れ図である。

【0013】

【図3】一態様による、修正経験的モード画像分解（ＭＥＭＤ）を使用したハイブリッド画像投影システムの画像処理ステップの流れ図である。

【0014】

【図4】特定の態様による領域ベースの適応的画像分解の画像領域下位区分を示す図である。

【0015】

【図5】一態様によるＭＥＭＤ方法の一次元（１Ｄ）断面例のグラフである。

【0016】

【図6】一態様によるＭＥＭＤ方法からの画像分解を示す二次元（２Ｄ）断面例の絵図である。

【0017】

【図7】一態様によるＭＥＭＤを使用した１つのレベルにおける画像分解の１Ｄ例のグラフである。

【0018】

【図8】不整合のある従来の投影からの結果と、一態様による、ハイブリッド画像投影からの結果との間の重ね合わせ画像品質の比較を示す絵図である。

【0019】

【図9】図９ａ−ｅは特定の態様による、ＭＥＭＤ方法においてフォールバック動作が使用されているときの状態を示す図である。

【0020】

【図10】一態様による、三成分色画像が処理されるＭＥＭＤ方法の流れ図である。

【0021】

【図11】一態様によるデュアルプロジェクタを有するハイブリッド画像投影システムのシステム図である。

【発明を実施するための形態】

【0022】

本発明の特定の態様は、ハイブリッド画像投影方法およびマルチ・プロジェクタ・システムに関する。従来の重ね合わせマルチ・プロジェクタ・システムにおけるように高度に相関した同一の画像を各プロジェクタに送信する代わりに、いくつかの態様によるハイブリッド画像プロジェクタは、入力画像をより小さい（複数の）領域に分割して、各領域の少なくとも１つのパラメータを求め、その後、各領域のパラメータに基づいて入力画像を複数に分解し、より相関の少ない直交または擬似直交画像成分にすることができる。各プロジェクタは、投影される画像が画面上で光学的に重ね合わされることができるように、それぞれの画像成分を表示することができる。たとえ、直交または擬似直交画像の基礎となる特性が原画像と異なる場合があったとしても、直交または擬似直交画像が重ね合わされると、画像品質は、原画像が完全に重ね合わされた場合と実質的に同じであるか、または重ね合わされた原画像がマルチ・プロジェクタ・システムにおいてわずかに不整合である場合よりも良好であることができる。直交または擬似直交画像を重ね合わせることは、結果として、既存のマルチプロジェクタ画像システムにおける画像の重ね合わせを、プロジェクタ間画像不整合の影響をより受けにくくすることができる。直交または擬似直交画像の重ね合わせは、目に見える画像の劣化を回避し、マルチ・プロジェクタ・システム実施態様においてよりロバストな画像品質を提供するために使用することができる。

【0023】

より低い空間周波数で画像成分にワーピング処理を適用し、より高い空間周波数を有する画像成分をワーピングされていないままにすることによって、完全なプロジェクタ間アライメント状態の下でさえ、画像忠実度が向上する可能性が生じ得る。加えて、システム全体の画像強度分解能（各色のデジタル・ダイナミック・レンジと称することがある）は、プロジェクタの総数の分だけ増大することができる。画像強度分解能が増大することによって、色輪郭化アーチファクトとしても知られているカラー・バンディング・アーチファクトを低減することができる。カラー・バンディング・アーチファクトは、低い色または低い輝度分解能の結果として色および／または輝度の段階的な変化が目に見えるときに発生する可能性がある。バンディングアーチファクトは、コントラストが非常に高く輝度が高いプロジェクタが使用されるときに深刻であり得る。いくつかの態様によるシステムおよび方法は、画像品質性能特性が異なる（たとえば、空間分解能、または輝度ルーメン、またはコントラストが異なる）異種のプロジェクタを混合する柔軟性を提供することができる。立体デュアル・プロジェクタ・システムにおいて、ハイブリッド画像投影は、２Ｄおよび三次元（３Ｄ）表示に対する異なる光源出力レベルにおけるシステムの動作の照明制御を分離することもできる。ハイブリッド画像投影システムによって、２Ｄ表示のための最適な設定とは無関係に、３Ｄ表示に対する輝度需要をより良好に満たすために３Ｄ光源レベルを調整する柔軟性を実現することができる。２Ｄ表示について、ハイブリッド画像投影方法は、重ね合わせ画像が複数のプロジェクタによって表示され、重ね合わせ画像間に空間不整合があるときに表示される画像品質のロバスト性を向上させることができる。たとえば、特定の態様によるハイブリッド画像投影方法を使用するデュアル投影システムは、より良好な品質の画像を表示するか、または、少なくとも、重ね合わされた同じ画像のうちの２つを表示するデュアル投影システムと同じ画像品質を表示することができる。重ね合わせ画像を表示するハイブリッド画像投影方法およびシステムは、同じ画像を重ね合わせる従来の投影よりも劣る画像品質が生成されることを回避することができる。マルチ投影ディスプレイシステムにおいてハイブリッド画像投影方法を使用することは、画像品質の向上に対するリスクの低い解決策であり得る。ハイブリッド画像投影は、マルチ投影システムが、マルチ投影システムおよび単一投影システムの両方の欠点を回避しながら、その両方から利点を組み合わせることを可能にし得る。たとえば、ハイブリッド画像投影システムは重ね合わせ画像を生成することができ、ここで、画像鮮明度は単一のプロジェクタによって投影される画像のものと同様であるが、画像輝度を向上し、画像スクリーン・ドア・アーチファクトを低減することができる。

【0024】

これらの例示的な実施例は、読者に本明細書において説明する全般的な主題を紹介するために与えられており、いずれの特許請求項の範囲を限定することも意図されていない。以下の節は、図面を参照して様々なさらなる態様および例を説明する。

【0025】

図１は、一態様によるハイブリッド画像投影システムの方法のブロック図を示す。ハイブリッド画像投影システムは、２つ以上のプロジェクタを含む投影システムであってもよい。各プロジェクタは同じタイプとすることができ、または、各々を異なるタイプとすることができる。ｎ個のプロジェクタを有するマルチプロジェクタ表示システムについて、ｎ個のプロジェクタは１つの画像を表示して、画面上の最終画像に寄与することができる。ｎ個の画像が画像輝度を上昇させるために重ね合わされ得る。従来のデュアルデジタル投影システムに於いて、各プロジェクタは同じタイプであり、同じ画像を表示し、それらの画像を正確に位置合わせするための較正プロセスを必要とする。較正プロセスは、最適な画像表示性能を維持するために定期的に反復される。投影システムが最適に較正された後、ワーピング動作において実行されるデジタル再サンプリングによって画面上に表示される最終画像において画像詳細の損失が導入される可能性がある。より多くのプロジェクタが使用される場合、画像詳細の損失は増大するおそれがある。いくつかの要因によって、重ね合わせ画像間の空間的アライメントが経時的に変化し得る。そのような要因は、熱変動および機械的振動を含み得る。いくつかの態様によるハイブリッド画像投影方法は、プロセッサによって、各プロジェクタが重ね合わせ画像のために表示し得る異なるセットの（複数の）画像成分を計算することによって、画像品質に対する変化の影響を低減するのを助けることができる。

【0026】

重ね合わされている２つの画像が高度に類似しており、空間領域または周波数領域において相関した画像情報を有する場合、それらの非直交性に起因して表示は高度に非ゼロであり、重なり得、結果としてある画像空間から別の画像空間に対して情報成分に大きな重なりがあり得る。空間的アライメントからのわずかなシフトによって、表示される最終重ね合わせ画像内に大きな空間歪みおよびスプリアス周波数成分が生じる場合がある。空間歪みにつながるこの情報の重なりは、フーリエ変換の定理から説明することができる。

【0027】

線形システムにおいて、２つの画像が空間領域において重ね合わされる場合、画像は周波数領域においても重ね合わされる。フーリエ変換定理は、空間領域におけるシフトが、位相シフト倍数項を周波数領域における信号のフーリエ変換に変換することができることを示し得る。これによって、２つの信号がそれらのフーリエ変換変換において大きく重なり合う場合に最終重ね合わせ画像（すなわち、画像）をさらに歪ませる可能性がある。システムが、このシフトの影響を受けないか、または実質的に影響を受けないようにするために、２つの信号の周波数の重なりを最小限に抑えることができる。たとえば、２つの信号（すなわち、画像成分）が互いに直交する場合、空間レジストレーション精度の最終重ね合わせ信号への影響は最小限であることができる。２つの信号が擬似直交する場合、空間的な相対シフトに対する影響されやすさを低減することができる。

【0028】

２つの信号が正規化されており、２つの画像信号の空間２Ｄ畳み込み（数学的には内積またはスカラー積とも称される）が一定または０に近い場合、これらの２つの画像信号は相互に直交または擬似直交すると言うことができる。直交関係は、２つのフーリエ変換の乗算が、周波数ゼロを除くあらゆるところでゼロであるデルタ関数に近い場合にも表すことができる。２つの直交または擬似直交画像は、通常、空間領域においてより低い類似度、周波数領域においてより互いに素である度合いが低いことを示し得る。

【0029】

２つの画像がｆおよびｇであり、各画像のフーリエ変換がそれぞれＦおよびＧであると仮定する。直交性測度は

【数1】

またはＦ・Ｇ＝ｃδ（ω）であり得る。画像データはコンピュータによって生成するか、またはカメラ内にあるような画像センサを用いてキャプチャすることができる。コンピュータによって生成される画像データは、いくつかの態様によるハイブリッド画像投影方法が適用されるときに、理想的な直交画像成分が表示されるように計算されることができるように生成されることができる。状況によっては、画像データは、理想的な直交画像成分を生成することが可能であるようなものではなく、

【数2】

または

【数3】

を有することによって擬似直交画像成分を生成することが可能である場合がある。一対の擬似直交画像を重ね合わせることについて、画像品質の、空間シフトに対する影響されやすさを大きく低減することができる。直交性の測度を、２つの信号のうちの１つが０〜１の範囲内に適切に正規化されていない例外的事例に適用することができる。この事例において、上記の直交性測度を依然としてシフトに対する影響されにくさを評価するために使用することができる。

【0030】

たとえば、１つの画像Ｆは低周波数情報のみを含み（すなわち、閾値周波数ω_Ｔを上回る情報を一切有しない）、ω_Ｔを下回る情報を一切有しないように高周波数情報のみを含む別の理想的な画像Ｇがある。２つの画像のスカラー積Ｆ・Ｇ＝０であるため、ＦおよびＧは直交画像である。２つの重ね合わせ直交画像間の空間的な相対シフトが有する最終表示画像品質への影響は最小限であることができる。Ｆ・Ｇが小さい（それゆえ、擬似直交する）限り、低周波数画像および高周波数画像は重ね合わせにおける小さいレジストレーション誤差の影響を受けにくいものであり得る。しかしながら、一方がω_Ｔを上回る高周波成分のみを有し、他方がω_Ｔを下回る低周波成分のみを有する２つの画像成分を得ることは困難であり得る。

【0031】

別の例において、閾値周波数ω_Ｔを下回る画像情報は低周波数情報と称され、ω_Ｔを上回る画像情報は高周波数情報と称される。Ｆは上側閾値周波数と下側閾値周波数との間の中間の周波数成分（ω_Ｔ１〜ω_Ｔ２）のみを含む帯域通過画像であり、ω_Ｔはω_Ｔ１とω_Ｔ２との間にあり、別の画像Ｇは、下側周波数閾値ω_Ｔ１を下回る周波数および上側周波数閾値ω_Ｔ２を上回る高周波数を含む、画像Ｆによってカバーされている周波数の外側の周波数を含む。この事例において、ＦおよびＧの両方が低周波数情報の一定の部分および高周波数情報の一定の部分を含む。閾値周波数ω_Ｔ１およびω_Ｔ２を調整することによって、ＦおよびＧは低周波エネルギーおよび高周波エネルギーの任意の組み合わせを有することができる。ＦまたはＧのいずれも、大幅に低い周波数情報または大幅に高い周波数情報を有することはできない。この例示的な画像信号対によって、Ｆ・Ｇも小さいため、２つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさは擬似直交性に起因して低くなることができる。

【0032】

別の例において、画像Ｆは正規画像であり、画像Ｇは正規化されてはいないが、大きさが非常に小さい。Ｆ・Ｇが小さいため、２つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさを低減することができる。

【0033】

別の例において、２つの画像ＦおよびＧは両方とも、低周波数情報のみを含む（すなわち、画像は同じまたは異なる閾値周波数を上回る情報を一切有しない）。閾値周波数がどの程度低いかに応じて、Ｆ・Ｇは、デルタ関数と同様にゼロに非常に近い周波数を除いて小さいものであり得る。この擬似直交性のために、２つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさを低くすることができる。

【0034】

別の例において、２つの画像ＦおよびＧは両方とも、一定量の低い周波数情報のみを含む（すなわち、画像は、同じか、または異なる閾値周波数を下回る情報を有する）。一方の画像は高周波数情報をも有する。この事例において、Ｆ・Ｇは、デルタ関数などのゼロに非常に近い周波数を除いて小さいものであり得る。この擬似直交性のために、これら２つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさを低くすることができる。

【0035】

別の例において、２つの画像ＦおよびＧは両方とも高周波数情報のみを含む（すなわち、画像は同じまたは異なる閾値周波数を下回る情報を一切有しない）。閾値周波数がどの程度低いかに応じて、Ｆ・Ｇは、低周波数近くでは小さいものであり得、より高い周波数においては大きいものであり得る。画像は互いに対する直交性が低くなり得、また、２つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさが高くなり得る。

【0036】

別の例において、一方の画像Ｆは低〜高に及ぶ正規周波数情報を含み、もう一方の画像Ｇは正規化白色雑音画像である（すなわち、Ｇは一定である）。Ｆ・ＧはＦに比例することができ、デルタ関数に近くはなり得ない。画像は互いに対する直交性が低くなり、それによって、２つの重ね合わせ画像成分間のアライメント誤差に対する影響の受けやすさも高くなり得る。

【0037】

いくつかの態様によるハイブリッド画像プロジェクタにおいて、プロセッサは入力画像を分解して、ｎ−プロジェクタ投影システムのためのｎ個の擬似直交画像信号にすることができる。ｎ個の信号は、互いに対してほぼ直交することができ、それによって、重ね合わせ擬似直交画像間の空間アライメントのわずかなシフトでは、知覚画像品質には大きな劣化が引き起こされ得ない。その結果生じる、重ね合わせ画像から成る画像は、デュアル投影システムによって重ね合わされた２つの原画像以上の画像品質のものになることができ、その結果生じる画像は単一のプロジェクタから表示される原画像よりも明るくなることができる。ハイブリッドプロジェクタにおいて使用される画像分解アルゴリズムは、数学的に正確で、結果として画像成分値を非負にして、各ディスプレイまたはプロジェクタの輝度範囲能力内にする制限を提供することができる。

【0038】

図１において、２Ｄ表示のための原入力画像データ（１０５）が画像再生サーバから、いくつかの態様によるハイブリッド画像投影方法を実施することができるマルチプロジェクタ表示システムに送信される。入力画像はガンマ補正され得、ガンマ補正空間とみなすことができる。ガンマ補正画像は、後続のステップおよびアルゴリズムのためにガンマ復号して線形色空間とする（１０７）ことができる。画像データが線形空間に変換された後、画像分析アルゴリズムが使用されて、画像ローカル内容（１１０）に基づいて画像がどのように分割されて複数の画像領域になることができるかを決定することができる。画像領域は同じサイズであるか、または異なるサイズであることができる。たとえば、一態様において、３×３画像ピクセルの正方形領域が使用されて、画像を分割して（複数の）ブロックから成る規則的な格子にすることができ、結果として各画像領域は同じサイズを有することになる。別の態様において、領域分解アルゴリズムが使用されて、画像を分割して、四分木構造などの（複数の）ブロックから成る不規則な格子にすることができ、より小さい領域はテクスチャの多い画像領域内に現れ得、疎なより大きい領域は相対的に平滑な画像領域内に現れ得る。画像領域ベースの処理は、画像分解フィルタのパラメータをローカル画像内容に適合するように調整するのに役立つことができる。たとえば、空間ローパスフィルタが画像分解アルゴリズムにおいて使用される場合、このローパスフィルタのカットオフ周波数は、ローカル画像内容周波数分布に比例することができ、結果として、最適にバランスが保たれたローカル周波数分離がもたらされ、これは、アーチファクトに関する異常ピクセルを低減するのに有用であり得る。異常ピクセルは、他の画像ピクセルと比較して大幅に異なる値を有するピクセルであり得る。より小さい領域は、ローカルな高周波特徴部がより良好に追随されることを可能にすることができ、一方で、より大きな領域は、疎な特徴部および相対的に平滑な領域に適切であり得る。画像内容に基づいて画像を分割して（複数）の領域にすることによって、画像分解アルゴリズムに関するローカル画像内容に最適に適合することが可能になり（１１５）、信号が分解されて相関が最小限でバランスのとれた画像成分、すなわちいわゆる擬似直交成分にされ得る。領域ベースの画像擬似直交成分分解は、可能性のあるフォールバックピクセルの数を低減し、全体的な画像品質を向上させるのに役立つことができる。フォールバックピクセルは、高周波数画像情報を含み、画像成分のうちの１つと想定されるが、正規化最大閾値（表示デバイスの制約）を超える値を有するピクセルであり得る。フォールバックピクセルに関して、最大閾値を超える値の量は、最大閾値に対して飽和していない他の画像成分にフォールバックすることができる。フォールバックピクセルは、不整合下では投影された画像成分におけるアーチファクト源になる可能性があり、プロジェクタの輝度、色およびピクセルサイズが均一でない場合には色アーチファクト源になり得る。フォールバックピクセルであると識別されたピクセルは、修正して、表示される重ね合わせ画像内にピクセルアーチファクトが現れるのを防止することができる。

【0039】

ブロック（１１５）は画像分解に有用であり得る。画像分解は、各プロジェクタによって表示することができる複数の擬似直交画像成分への適応的画像分解を含むことができる。前述のように、擬似直交画像成分のセットを構築するためのいくつかの方法および様式があり得る。一態様において、修正経験的モード画像分解（ＭＥＭＤ）方法を使用することができる。しかしながら、擬似直交性分解を達成するための多数の他の方法を適用することもできる。

【0040】

ｎプロジェクタシステムにおいて、ＭＥＭＤ画像分解の後、第１の画像成分Ｌ_０は、低周波数帯域および高周波数フォールバックピクセルの組み合わせを有する入力画像情報を含むことができる。異なる（複数の）周波数帯域における異なる（複数の）レベルの詳細情報を含む他の画像成分を、Ｌ_１、Ｌ_２、〜Ｈ_ｎ−１として識別することができる。一態様による他の画像成分および画像成分の階層の識別を、下記において図２を参照してより詳細に説明する。各画像成分は、画像領域内の入力画像に適用されるローカル適応的フィルタリングプロセスの結果生じる異なる空間周波数成分を含むことができる。画像分解アルゴリズムの１つの方法を、下記において図３を参照して詳細に説明する。

【0041】

入力画像が分解されて複数の別個の分解画像成分になった後、各々が、画面上に表示するために、別個の追加の画像処理経路を介して、別個のプロジェクタ（１３０、１３５、１３７）に提供されることができる。追加の画像処理経路（１２０、１２５、１２７および１４０、１４５、１４７ならびに１３０、１３５、１３７）は、別個の分解画像成分を同様にして処理することができる。分解画像成分の各々は、最初に、ハイブリッド画像プロジェクタシステム全体の輝度ダイナミックレンジ表現能力または色分解能を向上させるために、各画像領域内でブロック（１２０、１２５、１２７）において高ダイナミックレンジ（ＨＤＲ）丸め関数Ｒによって処理されることができる。ＨＤＲ丸め関数後の分解画像成分を、プロジェクタ間レジストレーションのためにピクセルベースのワーピングプロセスによって、また、表示のためにガンマ補正を用いて修正することができる。各メンバプロジェクタは、ブロック１３０、１３５および１３７において処理および補正された各画像成分を受信および表示することができる。ブロック１８０は、画像成分が画面上に投影され、光学的に重ね合わされるときに、その結果得られる改善された画像を表す。

【0042】

一態様において、ブロック１０７、１１０、１１５、１２０、１２５および１２７は画像処理デバイスまたはイメージ・エンハンサ・ハードウェアにおいて実装することができる。ブロック１３０、１３５、１３７は、その結果生じる画像（１８０）を生成するために画面上に画像を表示するための、各プロジェクタ内部の画像処理を表す。

【0043】

図２は、一態様による、図１のブロック１１５の画像分解プロセスのマルチレベル構造および階層を示す。画像分解コアアルゴリズムは、ＭＥＭＤ分解アルゴリズムであり得る。ＭＥＭＤ分解アルゴリズムは、画像を複数のレベルに分解することができる。各レベルの分解は、入力画像（固有モード関数（ＩＭＦ）とも称される）を分解して、一方は現在のレベルの最小モード画像、および、他方は次のレベルのＩＭＦ画像である、２つの画像成分にすることができる。投影システムの用途のために、受信入力画像データ（２０５）は線形空間内にあることができる。デュアル・プロジェクタ・システムのためには、１レベルのＭＥＭＤ分解が必要とされる（２１０）。ｋが分解レベルを表すと仮定し、ここではｋ＝０である。第１の画像成分はＬ_０（２１４）であり、第２の画像成分はＨ_０（２１５）である。３つ以上のプロジェクタを有するプロジェクタシステムのために、ＭＥＭＤは次のレベルｋ＝１の分解（２２０）へと継続して、次のレベルの第１の画像成分Ｌ_１（２２４）および第２のレベルの第２の画像成分Ｈ_１（２２５）を生成することができる。このレベルのＭＥＭＤにおいて、前のレベルの第２の画像成分Ｈ_０が現在のレベルのＩＭＦになる。レベルｋ＝１において、画像成分Ｌ_０（２１４）、Ｌ_１（２２４）および画像成分Ｈ_１（２２５）の３つの分解画像成分が出力される。２レベルのＭＥＭＤは、３プロジェクタハイブリッド画像投影システムに使用することができる。４つ以上のプロジェクタが使用される場合、新たな画像成分（２３０）を生成するために３レベル以上のＭＥＭＤが使用され得る。レベルｋ＝２において、各プロジェクタについて画像成分が生成されるまで、画像成分Ｈ_１が、次のレベル（レベルｋ＝３）の分解の新たなＩＭＦになることができる。ｎ−プロジェクタハイブリッド投影システムについて、（ｎ−１）レベルのＭＥＭＤ画像分解を使用して、Ｌ_０（２１４）、Ｌ_１（２２４）、Ｌ２、．．．Ｌ_ｎ−１（２３４）およびＨ_ｎ−１（２３５）のｎ個の分解画像を生成することができる。複数レベルのＭＥＭＤによって、二分木状の分解階層を形成することができ、各中間レベルが、出力されるノード画像であり得る最後のレベルのＩＭＦ詳細画像Ｈ_ｋを除く、出力ノード画像Ｌ_ｋを生成する。

【0044】

図３は、ｎ−プロジェクタシステムに関して修正経験的モード画像分解（ＭＥＭＤ）を使用したハイブリッド画像投影の画像処理ステップを示す。再生サーバからの入力画像データがガンマ補正空間内にあり、最初にＭＥＭＤは第１のレベルｋ＝０にある（３０５）と仮定すると、画像は最初にガンマ復号されて線形空間画像Ｘに変換されることができる（３０７）。

【0045】

画像データが線形空間に変換された後、各領域内の画像が分解されて、現在のレベルｋにおける２つの画像成分になることができる。線形空間画像がＸであり、２つの画像成分がそれぞれＬおよびＨであり、最終重ね合わせ画像が２Ｘであると仮定して、所望される画像分解方法は以下を満たすことができる。
１）直交性または擬似直交性：成分のフーリエ変換がＦ（Ｌ）・Ｆ（Ｈ）＝δ（ω）を満たす、
２）原画像に対する画像忠実度および完全性：任意の画像ピクセル位置ｐについて、Ｌ_（ｐ）＋Ｈ_（ｐ）＝２Ｘ_（ｐ）、
３）非負制約：Ｌ（ｐ），Ｈ（ｐ）≧０、
４）輝度実用限界：Ｌ（ｐ）、Ｈ（ｐ）≦１、
５）ローカル適合性：復号は光学的にローカル画像特性に適合する、かつ
６）輝度バランス制御：ｍｅａｎ（Ｌ）＝α・ｍｅａｎ（Ｈ）、ここで、「ｍｅａｎ（）」は画像成分の平均輝度を表し、αは既定の、０よりも大きい所望される比である。

【0046】

一態様において、ハイブリッド投影システムは、画像を分解して２つの画像成分（ＬおよびＨ）にするための空間領域ＭＥＭＤ分解方法を使用することができる。いくつかの実施態様において、以下のステップを使用することができる。
１）所与の入力２Ｄ画像Ｘについて、これを空間領域に分割するための最適な方法を決定する。
２）各既定の空間領域内で、入力画像Ｘの極小値およびその位置を求める。
３）バランス係数ｂを求めて、各極小値にｂを乗算することによって、各極小値を修正する。
４）修正極小値を補間して、重ね合わせ画像２Ｘの値が第１の画像成分Ｌの値よりも小さくならない（すなわち、Ｌ＝ｍｉｎ（Ｌ，２Ｘ））ような、第１の画像成分Ｌとしての低周波数表面にする。
５）重ね合わせ画像２Ｘの値から画像成分Ｌの値を減算して、第２の画像成分Ｈを得る（すなわち、Ｈ＝２Ｘ−Ｌ）。Ｆ（Ｌ）Ｆ（Ｈ）＜Ｆ（Ｘ）^２であるため、当該成分は画像成分Ｌに擬似直交し得、ここで「Ｆ（）」はフーリエ変換演算を表す。
６）画像成分ＨがＴよりも大きく（ＴはＸの可能な最大値）、画像成分Ｈ内の過剰値が画像成分Ｌの値にフォールバックするとき（すなわち、Ｌ＝Ｌ＋ｍａｘ（Ｈ−Ｔ，０）であるとき）の成分値を検出する。画像成分ＨがＴよりも大きい状況はまれであり得る。

【0047】

以下の説明は、ＭＥＭＤ分解を用いる上記のハイブリッド投影に基づく。既定の関数を使用する画像分析アルゴリズムが使用されて、画像ローカル内容に基づいて画像がどのように最適に分割されて複数の画像領域になることができるかを決定することができる（３１０）。画像領域は同じサイズであるか、または異なるサイズであることができる。たとえば、一態様において、正方形３×３ピクセル領域が使用されて、画像を分割して（複数の）ブロックから成る規則的な格子にすることができ、その結果得られる各ブロック画像領域は正確に同じサイズを有することになる。別の態様において、四分木構造状領域分解アルゴリズムが使用されて、画像を分割して、（複数の）ブロックから成る不規則な格子にすることができ、いくつかのより小さい領域はテクスチャの多い画像領域内に現れ得、より大きい領域は相対的に平滑な画像領域内に現れ得る。

【0048】

画像領域が求められた後、領域ごとに少なくとも１つのパラメータ、たとえば、２Ｄ極小値およびそれらの極小値の位置を、各領域またはブロック領域内で識別することができる（３１５）。画像が色画像である場合、極小値は、色画像内に含まれている色成分（たとえば、ＲＧＢ、ＸＹＺ）ごとに求めることができる。極小値およびそれらの位置は、それらの画像ブロック領域内の最小値に等しい値として定義することができる。これらの値は、２Ｄ極小値と称される場合があり、それらの位置は極小値位置と称される場合がある。結果として、ブロック領域ごとの既知の極小値、およびブロック領域内の値位置を有する２Ｄ不規則メッシュ格子Ｍ_ｋがもたらされ得、ブロック領域内の他の位置は未定義の値を有する。このメッシュ格子は、入力２Ｄ画像Ｘの連続平滑な低次の境界面を生成するのに使用することができ、分解レベルｋの第１の画像成分Ｌ_ｋの初期推定値とすることができる。

【0049】

ブロック３２０において、輝度バランス係数ｂ_ｋを求めることができる。輝度バランス係数ｂ_ｋは、各ＭＥＭＤレベルｋにおける２つの分解画像成分ＬおよびＨの平均画像輝度のバランスを自動的に制御するのに使用することができる。各レベルのＭＥＭＤは、それ自体の独立した輝度バランス係数を有することができる。デュアル・プロジェクタ・システムの一態様において、２つの分解画像成分間の平均画像輝度は、互いに同じであるか、または非常に近いことができる。左側プロジェクタおよび右側プロジェクタの画像輝度のバランスをとることによって、左側プロジェクタと右側プロジェクタとの間の熱ドリフトを最小限に抑えることができ、これによって、画像レジストレーションまたはアライメントの誤差を最小限に抑えて、ワーピングがシステムが最後に較正されたときと同様に有効に機能することを可能にすることができる。実現し得る別の利点は、左側プロジェクタと右側プロジェクタとの間でバランスをとることによって、デュアルプロジェクタ設定におけるレジストレーション劣化を最小限に抑えることができることである。左側プロジェクタと右側プロジェクタとの間で熱ドリフトのバランスがとれていないと、結果として予測できない不整合劣化となり得る。分解レベルｋの輝度バランス係数は、以下のように画像色ｉごとに計算することができる。

【数4】

Ｍ_ｋ，ｉは前のブロック（３１５）において計算されたレベルｋにおける画像チャネルｉの２Ｄ極小値の不規則メッシュ格子である。Ｘ_ｋ，ｉはレベルｋにおける入力ｉチャネル画像値である。たとえば、ｂ_ｋｉ＝１は、ＬおよびＨ画像成分値の平均輝度が同じであることを意味する。τは、最終輝度バランス係数ｂ_ｋｉの既定の閾値または限界である。ｍｅａｎ（Ｘ）が非常に小さい数であるとき、輝度バランス係数は大きくなり得、τの値に制限され得る。これは、可能性のある望ましくない輝度アーチファクトを最小限に抑えるのに有用であり得る。

【0050】

輝度バランス係数ｂ_ｋが求められた後、２Ｄ極小値メッシュ格子Ｍ_ｋにｂ_ｋを乗算して、修正２Ｄ極小値メッシュ格子Ｍ_ｋ’を得ることができる（すなわち、Ｍ_ｋ’＝ｂ_ｋ・Ｍ_ｋ）（３１５）。ブロック３１５の出力データは、入力２Ｄ画像Ｘの連続平滑な低次の境界面を生成するのに使用することができ、これは、分解レベルｋの第１の画像成分Ｌ_ｋとすることができる。

【0051】

ブロック３２５において、線形または非線形方法を使用することによって、Ｍ_ｋ’からＬ_ｋへの補間を実行することができる。線形補間器および非線形補間器の例は後述するが、補間は、その例示的なアルゴリズムには限定されず、いかなる線形および非線形散乱データ補間アルゴリズムを使用することもできる。

【0052】

一態様において、高速線形補間器を使用して、修正２Ｄ極小値メッシュ格子Ｍ_ｋ’を平滑面Ｌ_ｋに平滑に補間することができる。この補間器は、線形三角補間器である。Ｍ_ｋ’内のすべての非極小の値が未定義のピクセルについて、最も近い３つの既知の隣接ピクセルＰ_１、Ｐ_２およびＰ_３が求められる。３つの隣接ピクセルＰ_１、Ｐ_２およびＰ_３は三角形を形成することができる。未知のピクセルｖおよびその隣接ピクセルは、以下のようになる値および座標ｖ（ｘ，ｙ）、ｖ_１（ｘ_１，ｙ_１）、ｖ_２（ｘ_２，ｙ_２）およびｖ_３（ｘ_３，ｙ_３）を有する。

【数5】

上記の線形システムを解いて値ｖを求めることができ、ａ、ｂ、ｃは変数である。

【0053】

別の態様において、Ｃｌｏｕｇｈ−Ｔｏｃｈｅｒ法（すなわち、Ｉｓａａｃ Ａｍｉｄｒｏｒ著「Ｓｃａｔｔｅｒｅｄ ｄａｔａ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｅｌｅｃｔｒｏｎｉｃ ｉｍａｇｉｎｇ ｓｙｓｔｅｍｓ：ａ ｓｕｒｖｅｙ」（Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ，Ａｐｒｉｌ ２００２）において説明されているようなキュービック三角補間器）を使用することができる。補間しているピクセルのまわりの同じ三角隣接ピクセルを求めることができ、元の三角形Ｐ_１、Ｐ_２およびＰ_３をさらに区分化して小型ベジエパッチにすることができる。ｖ_ｌ、ｖ_２、ｖ_３はそれぞれ、Ｐ_１、Ｐ_２およびＰ_３の３つの頂点の３つの値であることができる。ｂ_{３，０，０}、ｂ_{０，３，０}、ｂ_{０，０，３}はＰ_１、Ｐ_２およびＰ_３の重心座標であることができる。ｂ_{１，１，１}は補間ピクセルの重心座標であることができる。ｂ_{ｌ，２，０}、ｂ_{２，ｌ，０}は、三角形辺Ｐ_１Ｐ_２上に位置する２つの制御点の重心座標であることができる。ｂ_{０，２，ｌ}、ｂ_{０，ｌ，２}は、三角形辺Ｐ_２Ｐ_３上に位置する２つの制御点の重心座標であることができる。ｂ_{ｌ，０，２}、ｂ_{２，０，１}は、三角形辺Ｐ_２Ｐ_３上に位置する２つの制御点の重心座標であることができる。制御点の位置は、Ｐ_１、Ｐ_２およびＰ_３における境界横断導関数制約によって求めることができる。位置ｂ_{１，１，１}における補間値ｖは以下の式を使用して計算することができる。

【数6】

【0054】

別の態様において、非線形補間を使用することもできる。非線形補間の一例は、不規則双一次補間器である。Ｍ_ｋ’内のすべての非極小の値が未定義のピクセルについて、最も近い４つの既知の隣接ピクセルＰ_１、Ｐ_２、Ｐ_３およびＰ_４を求めることができる。４つの隣接ピクセルＰ_１、Ｐ_２、Ｐ_３およびＰ_４は境界四辺形を形成することができる。未知のピクセルｖおよびその隣接ピクセルＰ_１、Ｐ_２、Ｐ_３およびＰ_４は、値および座標ｖ（ｘ，ｙ）、Ｖ_１（ｘ_１，ｙ_１）、ｖ_２（ｘ_２，ｙ_２）、ｖ_３（ｘ_３，ｙ_３）およびｖ_４（ｘ_４，ｙ_４）を有することができる。「Ａ」は、垂直座標がｙに等しいときの辺Ｐ_１Ｐ_３上の点であることができる。「Ｂ」は、水平座標がｘに等しいときの辺Ｐ_１Ｐ_２上の点であることができる。「ｔ」は、Ｐ_１からＡまでの距離であることができ、「ｓ」は、Ｐ_１からＢまでの距離であることができる。Ｐの値は以下の式によって求めることができる。

【数7】

さらに、ｓおよびｔの値は、ピクセル対の任意の辺上での線形補間によって計算することができる。１対または複数対の四辺形の辺が平行である状況においては、（４）とは異なるより単純な式を使用することができる。

【0055】

別の態様において、リアルタイムの速度のための単純性および良好な画像品質を達成するために非線形高速補間方法を使用することができる。方法は、マルチカーネルガウシアンによる再帰的逆単射補間（ＲＩＭＧ）であることができる。

【0056】

Ｍ_ｋ’、レベルｋにおける修正２Ｄ極小値メッシュ格子が前のブロック（３１５）から計算されると、ブロック３２５において補間平面Ｌ_ｋの初期推定値が最近傍補間器によって高速に計算されることができる。たとえば、Ｍ_ｋ’内の未定義のピクセル値内に最近傍値（すなわち、それらが属する画像領域の最小値）を充填することができる。推定平面Ｍ^０_ｋは、以下の再帰アルゴリズム（ＲＩＭＧ）の開始点（ｊ＝０）とすることができる。その結果得られる画像は、第１のより大きいカーネルサイズおよび第１のより大きいシグマ値を有する第１の標準２Ｄガウス形フィルタによってフィルタリングすることができる。フィルタリング画像はぼやけた画像である場合がある。このぼやけた画像内のピクセル値は、入力画像Ｘ未満でない場合がある。その結果得られる画像Ｍ_ｋは、以下の式を使用して元の最小値を逆単射することによって更新することができ、ここでＪは、再帰的指数である。

【数8】

Ｇ（＊）はガウス型フィルタリングであり、ｗは補間の総数である。最後の補間の後、Ｌ_ｋ＝ｍｉｎ（Ｍ^ｗ−１_ｋ，（ｎ−ｋ）Ｘ）が第１の画像成分である。

【0057】

ブロック３２５において、分解レベルｋにおいて平滑に補間した低次の境界面を第１の画像成分Ｌ_ｋとして得た後、ブロック３３０において、所望の重ね合わせ画像（ｎ−ｋ）Ｘと画像成分Ｌ_ｋとの間の差を、Ｈｋ＝（ｎ−ｋ）Ｘ−Ｌ_ｋとして計算することによって、第２の画像成分Ｈ_ｋを推定することができる。Ｌ_ｋは極小値であるため、Ｈ_ｋは正であることができ、これは非負制約を満たすことができる。ブロック（３３５）において、第２の画像成分Ｈ_ｋを分析して、その輝度限界制約をチェックすることができる（すなわち、画像成分Ｈ_ｋは、１つのプロジェクタが生成することができる輝度よりも大きくない場合がある）。Ｔが単一のプロジェクタの可能な最大値であり、Δ＝ｍａｘ（Ｈ_ｋ−（ｎ−ｋ−１）Ｔ，０）であると仮定して、Δはフォールバックマップであることができ、これはゼロであり得る。ブロック（３４５）において、フォールバックマップをチェックしてそれがゼロであるかどうかを判定することができる。これが少なくとも１つの非ゼロ値を有する場合、現在の画像分解におけるピクセルフォールバックを使用して、精度および完全性特性（すなわち、画像忠実度および完全性）を保証することができる。ブロック（３４０）において、フォールバックマップΔを入力画像とともに使用して、前に計算した第１の画像成分Ｌ_ｋおよび第２の画像成分を修正することができる。第１の画像成分Ｌ_ｋは、Ｌ_ｋ＝Ｌ_ｋ＋Δになることができる。その結果は、新たに更新された第１の画像成分Ｌ_ｋを用いて第２の画像成分Ｈ_ｋを計算するにあたってもう一度反復するためにブロック（３３０）に戻ることができる。ブロック（３３５）における計算およびブロック（３４５）におけるフォールバックマップのチェックは繰り返すことができる。ループは、ブロック（３４５）におけるフォールバックマップがゼロになるまで継続することができる。その後、ブロック（３５０）において、画像成分がすでに分解されているかどうかがチェックされる。そうでない場合、プロセスはブロック（３１０）に戻って、ｋ＝ｋ＋１を用いて次のレベルの分解アルゴリズムを継続することができ、現在のレベルの第２の画像成分Ｈ_ｋは、ブロック（３９０）においてさらに分解される入力データになることができる。

【0058】

ブロック（３５０）において画像分解の最後の反復が完了した後、画像成分は、それぞれＨＤＲ処理、空間レジストレーションのための画像ワーピング、および表示のためのガンマ補正のためにブロック（３５５、３６５、３７５）に提供することができる。処理済み画像成分データＬ_０、Ｌ_１、Ｈ_ｋは、それぞれ各プロジェクタが画面上に表示するためにブロック（３６０、３７０および３８０）に提供することができる。

【0059】

ブロック（３５５、３６５および３７５）におけるＨＤＲ処理によって、ｎプロジェクタハイブリッド投影システムにおけるデジタル・ダイナミック・レンジの増大を実現することができる。ＨＤＲ丸め関数を各画像成分に適用することによって、ＨＤＲ丸め関数への入力画像がピクセル値の十分な精度を有し、各プロジェクタが１２ビット符号なし整数データを使用すると仮定すると、最終結合画像はもう１ビット改善された精度を獲得することができる。いくつかの態様において、プロジェクタは、同じ輝度を生成するものと仮定され得る。他の態様において、各プロジェクタが異なる輝度を生成すると、異なるＨＤＲ丸め関数が同様に導出され得る。ＨＤＲ丸め関数は、各画像成分高精度ピクセルデータを適切に処理して、１２ビットプロジェクタ整数に丸め込むための丸め関数のセットであってもよく、それによって、最終重ね合わせ画像は約１２＋ｌｏｇ_２ｎビットのピクセル値解像度を有することができる。たとえば、デュアル・プロジェクタ・システムは、１３ビットのデジタル・ダイナミック・レンジを実現することができる。３プロジェクタシステムは、１３．５８５ビットのデジタル・ダイナミック・レンジを実現することができる。

【0060】

デュアル・プロジェクタ・システムにおいて、第１のプロジェクタの高精度ピクセル値はＸＬであることができ、第２のプロジェクタの高精度ピクセル値はＸＲであることができる。ＨＤＲ丸め関数セットは、２つの画像成分の値を切り捨てて、第１の画像成分Ｌおよび第２の画像成分Ｈの２つの１２ビット符号なし整数にするように設計することができ、それによって、最終のＬ＋Ｈは１３ビットの精度であることができる。この精度を達成するために、１３ビットのＨＤＲ丸め関数は以下のようにすることができる。
１）プロジェクタｌについて、Ｌ＝ｆｌｏｏｒ（ＸＬ＋ＸＲ−ｆｌｏｏｒ（ＸＲ）＋０．２５）
２）プロジェクタ２について、Ｒ＝ｆｌｏｏｒ（ＸＬ＋ＸＲ−ｆｌｏｏｒ（ＸＬ）＋０．７５）

【0061】

ｎ−プロジェクタシステムについて同様に、高精度ピクセル値はＸ_ｉであることができ、ｉ＝０、ｌ、２、．．．、ｎ−ｌであり、各プロジェクタ内の１２ビット画像データは、Ｐ_０、Ｐ_ｉ、．．．Ｐ_ｎ−１であることができる。（１２＋ｌｏｇ_２ｎ）ビットのＨＤＲ丸め関数は、

【数9】

であることができる。

【0062】

一態様による、領域ベースの適応的画像分解のための画像領域細分化方法および構成を図４に示す。画像を分割してより小さい領域、たとえば、領域１１、１２、１３、１４、２１、２２、２３、．．．および４４から成る規則的な格子にするために固定領域ウィンドウサイズが使用される。別の態様において、木状構造領域分解アルゴリズムが使用されて、画像を分割して、不規則な格子を形成する様々なサイズの領域にすることができ、いくつかのより小さい領域（たとえば、領域１、２、４、５）はテクスチャの多い画像領域内に現れ得、より大きい領域（たとえば、領域０、３、６）は相対的に平滑な画像領域内に現れ得る。

【0063】

画像領域ベースの適応的処理は、画像分解フィルタのパラメータをローカル画像内容に適合するように調整するのに役立つことができる。たとえば、空間ローパスフィルタが画像分解アルゴリズムの一例において使用される場合、このローパスフィルタの同等のカットオフ周波数は、ローカル画像内容周波数分布に比例することができ、結果として、アーチファクトに関する異常ピクセルを低減するのに有用であり得る、最適にバランスが保たれたローカル周波数分離がもたらされる。より小さい領域は、ローカルな高周波特徴部に追随することを可能にすることができ、一方で、より大きな領域は、疎な特徴部および平滑な領域に適切であり得る。画像内容に基づいて画像を分割して同じまたは異なるサイズの複数の領域にすることによって、画像分解アルゴリズムに関するローカル画像内容に最適に適合することが可能になり、入力画像が分解されて相関が最小限の画像成分（すなわち、擬似直交成分）にされ得る。フォールバックピクセルは、プロジェクタ不整合下ではアーチファクト源になる可能性があり、プロジェクタの輝度、色およびピクセルサイズが均一でない場合には色アーチファクト源になり得るため、領域ベースの画像擬似直交成分分解は、可能性のあるフォールバックピクセルの数を低減し、全体的な画像品質を向上させるのに役立つことができる。

【0064】

図５は、画像分解方法ＭＥＭＤの一次元（１Ｄ）断面の例を示す。線５０２は、約１２０および２２０においてフォールバックを有する第１の画像成分を表すことができる。線５０４は、第１の画像成分に擬似直交する第２の画像成分であり得る。第１の画像成分の線５０２および第２の画像成分の線５０４を加算して、サンプリング点を有する線５０６によって表されている原信号を再構築することができる。画像ピクセル値は同じスケール内にあり、０〜１の正規化範囲内にあり得る。

【0065】

ＭＥＭＤからの画像分解の一例が図６に描かれている。左側は分解された第１の画像成分であり、右側が分解された第２の画像成分であり、より高い周波数情報を含んでいる。

【0066】

図７は、ＭＥＭＤの１レベルの画像分解の１Ｄの例を示す。垂直軸はピクセル値を表し、水平軸はピクセル位置を表す。入力画像信号が曲線７１０である。反復０において、固有モード関数１（７１０）の極小値７２０は平面７３０に位置し、平滑に補間されている。図７の下側部分に示す残留曲線（７５０）は、入力信号７１０から平面７３０を減算した結果である。

【0067】

図８は、例示的な比較結果を示す。図８の左側には、同じ重ね合わせ画像を表示するデュアル投影システムによって表示され得る画像があり、図８の右側には、ＭＥＭＤ方法が適用されるハイブリッド画像投影システムなどの、いくつかの態様によるデュアル・プロジェクタ・システムによって表示され得る画像がある。デュアルプロジェクタによる２つの表示画像には、重ね合わせ画像間に３ピクセルの不整合がある。右側画像は、左側画像よりも鮮明な画像を有する。

【0068】

図９ａ〜図９ｅは、いくつかの態様による、ＭＥＭＤ方法においてフォールバック動作が使用され得るときの様々な状態を示す。フォールバックは、再構築画像精度および忠実度を補助することができる。図９ａおよび図９ｂは、同じプロジェクタのうちの２つからの２つの重ね合わせ入力画像ピクセルの値を表す曲線９１０、９４０を示す。曲線９２０、９５０は、それぞれ画像曲線９１０および９４０の第１の画像成分Ｌを表す。曲線の垂直レベルは、水平方向に表されている各空間ピクセル位置のコード値における画像ピクセルの線形空間強度を表す。入力ピクセル値は、図９ａおよび図９ｂ内の曲線については０〜１の範囲内にあり得る。図９ａ〜図９ｅに示すコントラスト「ｃ」は、２つのピクセル値強度の差を表すことができる。図９ａにおいて、たとえば、第１の画像成分値と重ね合わせ入力画像ピクセル値との間のコントラストは０．５以下であるため、フォールバックは使用されていない。図９ｂにおいて、入力画像の部分９６０は０．５よりも大きい高いコントラストを有し、フォールバックが使用されている。

【0069】

図９ｃ、図９ｄおよび図９ｅは３つのフォールバック事例を表し、曲線の垂直レベルは、水平方向に表されている各空間ピクセル位置のコード値における重ね合わせ画像Ｘ２の画像ピクセルの強度を表す。図９ｃは、重ね合わせ入力画像が、２に等しい強度値を有する完全なフォールバックの状況を示している。この事例について、第１の分解画像成分Ｌの値および第２の分解画像成分Ｈの値は１である。図９ｄにおいて、部分的なフォールバックの事例が示されている。この事例について、重ね合わせ入力画像９８０は、１〜２の強度値を有する。第１の分解画像成分値は、０と入力画像の値との間であり得る。第２の分解画像成分は１であり得る。この状況におけるコントラストは、０．５〜１であり得る。図９ｅは、重ね合わせ入力画像９９０が、１未満の強度値を有するフォールバックのない状況を示している。第１の分解画像成分値は０〜１であり得、第２の分解画像成分値は０〜１であり得る。この状況におけるコントラストは、０．５未満であり得る。フォールバックはコントラストが１に等しい場合に完全なフォールバックであり得る。この事例において、フォールバックピクセルが第１の分解画像成分に付加された後、ハイブリッド画像プロジェクタの空間シフトに対する耐性は、デュアル投影システムにおける同じ画像の重ね合わせと同じ画像品質に後戻りする。ハイブリッド画像プロジェクタは、さらにアーチファクトを導入しないものであり得る。他の事例は、フォールバックが図面に示すように発生するときの部分的なフォールバックである。部分的なフォールバックは、ハイブリッド画像プロジェクタにおける空間シフトに対する耐性の利点の低減をもたらし得るが、全体的なハイブリッド画像の表示は、同じ２つの画像を表示するデュアル投影システムと比較して最終再構築画像品質を向上させることができる。

【0070】

色画像も処理することができる。図１０は、三成分色画像を処理するためにＭＥＭＤ方法を使用する一例を示す。いくつかの態様において、このプロセスは、ハイブリッド画像プロジェクタがより大きいピクセルシフトを受けるときに色アーチファクトが発生する危険性を低減するために色画像を分解するように使用することができる。ほとんどの色アーチファクトは、ハイブリッド画像プロジェクタがより大きいピクセルシフトを受けるときに各色チャンセルがＭＥＭＤ方法によって独立して処理される場合にランダム色アーチファクトとして現れるフォールバックピクセルによってもたらされ得る。図１０における線図は、色画像内のフォールバックピクセルが原画像と一致する色を有することを保証するために使用することができる一方法である。ブロック１００５において色画像Ｘが受信され、Ｘｒ、Ｘｇ、Ｘｂが３つの色成分である。ブロック１０１０、１０２０および１０３０は、説明されたＭＥＭＤ方法を使用して、各色成分画像を分解して第１の画像成分候補にする。ブロック１０１５、１０２５および１０３５において、第２の擬似直交画像成分が生成され、フォールバックマップが計算される。３つのフォールバックマップがブロック１０４０において収集され、その後、各フォールバックマップの各ピクセルが、原ピクセル値と、画像強度の個別の量子化ステップの半分未満であるように選択され得る小さい定数ｃとを加算した値で除算される。ブロック１０６０において、３つの色の間の最大ピクセル比を選択して、原ピクセル値と定数ｃとの和を乗算して、３つの色のフォールバックピクセル値の新たな推定値を得るのに使用することができる。新たに推定されたフォールバックピクセルはともに、新たなフォールバックマップを形成することができ、各ピクセルはほとんどその原色相値を保持しているが、彩度または輝度は変化している場合があるこの新たなフォールバックマップが非ゼロである限り、新たなフォールバックマップは前の各第１の画像成分に戻って付加されることができる。色相を保持したフォールバック値が付加されるため、第１の画像成分内の修正されたピクセルは元の外観を維持することができ、強度および彩度が変化している場合がある。このプロセスの後、大きい画像不整合下での全体的な色アーチファクトは低減され、見えにくくされ得る。

【0071】

図１１は、シアター１１００内に配置されているハイブリッド投影の一例を示す。重ね合わせ画像が、座席の列１１２５を有する観客席１１２０内の画面１１００上に表示されることができる。一態様によりハイブリッド投影が可能なデュアルプロジェクタを有する映写室１１０５が設けられている。２つのプロジェクタ１１０４および１１０６は、画像データを処理するためのプロセッサを有することができる画像エンハンサデバイス１１８０および１１８５を含む。他の態様において、画像エンハンサは一方のプロジェクタの中に存在し、表示されるべき画像データを他方のプロジェクタに出力することができる。画像データサーバ１１７５からの画像データが、プロセッサ１１７０によって受信されて画像分解が実行されることができ、ＬおよびＨなどの直交または擬似直交画像成分を生成することができる。画像分解を実行するプロセッサは、領域分解および画像データの線形空間への逆ガンマ補正などの他のプロセスを実行することもできる。画像データサーバ１１７５は、再生デバイス、または、遠隔位置からストリーミングされる画像データを受信および記憶するデバイスであることができる。画像分解からの画像成分は、各プロジェクタ内のシステム機能モジュール１１６０および１１６５によって受信することができ、ＨＤＲまたはガンマ補正またはワーピングなどのさらなる画像データ処理を実行することができる。他の態様において、システム機能モジュールは一方のプロジェクタ内の一方の画像エンハンサ内に存在することができる。システム機能モジュールのプロセスは、１つまたは複数のシステム機能モジュールによって実行することができる。システム機能モジュールからの画像データは、その後、各プロジェクタによって投影レンズ１１４０および１１５０を通じて画面１１１０上に投影されて、重ね合わせ画像を形成することができる。いくつかの態様において、デュアルプロジェクタは、２Ｄ表示のためのハイブリッド投影システムであり、かつ／または、それぞれ左目画像符号化要素１１３５および右目画像符号化要素１１４５を用いて３Ｄ表示を投影することが可能である。３Ｄ表示を見る者は、投影および符号化された左目画像および右目画像を復号する眼鏡を装着し得る。２Ｄ表示中、左目画像符号化要素１１３５および右目画像符号化要素１１４５は取り外すことができる。３Ｄ表示において、入力画像データは、２Ｄ表示におけるハイブリッド投影に関しては画像成分に分解されなくてもよい。画像エンハンサデバイス１１８５および１１８０は、ユーザによって、あるいは、ハイブリッド処理または３Ｄ表示ありまたはなしで、画像データの処理が２Ｄ表示のためであるときを自動的に検出することが可能であるように構成することができる。

【0072】

本明細書で説明した（１つまたは複数の）システムは、どんな特定のハードウェアアーキテクチャまたは構成にも限定されない。コンピュータデバイスは、１つまたは複数の入力上で調整された結果を提供する任意の適切な構成を含むことができる。適切なコンピュータデバイスは、本発明の主題の１つまたは複数の態様または特徴を実装する、汎用コンピュータ装置から専用コンピュータ装置までのコンピュータ・システムをプログラムまたは構成する記憶されたソフトウェアにアクセスする、多目的マイクロプロセッサベースのコンピュータ・システムを含む。任意の適切なプログラミング言語、スクリプト言語、または他のタイプの言語または言語の組み合わせを使用して、コンピュータデバイスのプログラミングまたは構成に使用されるべきソフトウェアにおいて、本明細書に含まれる教示を実装してもよい。

【0073】

本明細書に開示する方法の態様は、そのようなコンピュータデバイスの動作において実行されてもよい。上記の例において提示されているブロックの順序は変更されてもよく、たとえば、ブロックは順序付けし直され、組み合わされ、および／または複数の部分ブロックに分解されることができる。特定のブロックまたはプロセスは並行して実行されることができる。

【0074】

本発明の主題をその特定の態様および特徴に関連して詳細に説明したが、上記を理解すれば、当業者であれば、そのような態様および特徴の代替形態、変形形態、および均等形態を容易に作成することができることは諒解されたい。したがって、本開示は限定ではなく例示を目的として提示されており、当業者には容易に諒解されるように、本発明の主題のそのような修正形態、変形形態および／または追加形態を含むことを除外するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】