IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

2024-539320プロジェクション・マッピング用のシステムと方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】プロジェクション・マッピング用のシステムと方法
(51)【国際特許分類】
   G09G 5/00 20060101AFI20241018BHJP
   G09G 5/37 20060101ALI20241018BHJP
   H04N 5/74 20060101ALI20241018BHJP
【FI】
G09G5/00 510B
G09G5/00 510V
G09G5/00 X
G09G5/00 550C
G09G5/37 600
H04N5/74 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024525268
(86)(22)【出願日】2022-10-25
(85)【翻訳文提出日】2024-06-05
(86)【国際出願番号】 US2022047761
(87)【国際公開番号】W WO2023076297
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】63/272,018
(32)【優先日】2021-10-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/971,853
(32)【優先日】2022-10-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509258511
【氏名又は名称】スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド
(74)【代理人】
【識別番号】100087642
【弁理士】
【氏名又は名称】古谷 聡
(74)【代理人】
【識別番号】100082946
【弁理士】
【氏名又は名称】大西 昭広
(74)【代理人】
【識別番号】100195693
【弁理士】
【氏名又は名称】細井 玲
(72)【発明者】
【氏名】ジョンソン,タイラー,エム
(72)【発明者】
【氏名】アマラツンガ,ケヴィン
【テーマコード(参考)】
5C058
5C182
【Fターム(参考)】
5C058BA23
5C058EA03
5C182AA04
5C182AA14
5C182AC02
5C182AC03
5C182BA01
5C182BA14
5C182BA45
5C182BB04
5C182BB05
5C182BC01
5C182BC22
5C182BC25
5C182CB04
5C182CB34
5C182CC24
5C182DA70
(57)【要約】
カメラセンサの支援を用いてプロジェクション・マッピング・システムを正確に位置合わせするためのシステム及びプロセス。較正プロセスは、較正カメラが較正カメラとプロジェクタとの間のイメージ対応点の稠密集合を特定することを可能にする変調グレーコードのイメージ・シーケンスを最初に投影することを含む。次いで、較正カメラは、カメラ・イメージにおいて特定されるスクリーン表面上のキーポイント又は基準の選択を通じてスクリーン表面に位置合わせされる。ひとたびカメラ(単数または複数)がスクリーン表面に位置合わせされたならば、スクリーン表面に対するプロジェクタの位置合わせを判断するために、プロジェクタとカメラとの間のイメージ対応点が使用される。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数のプロジェクタのための、イメージ・プロセッサ構成に応じるプロジェクション・マッピングの方法であって、前記プロセッサ構成が前記複数のプロジェクタの各プロジェクタの投影されるイメージからイメージデータを受け取るものにおいて、その方法は、
投影面上へ逐次の較正パターンを投影し、
投影された逐次の較正パターンの1つのパターンから前記投影面の1つ又は複数のイメージをキャプチャし、
プロジェクタ対カメラの変換を計算し、
カメラ対投影面の変換を計算し、
プロジェクタ対投影面の変換を求め、
各プロジェクタの錐台を求めること、を含む、方法。
【請求項2】
前記逐次の較正パターンは、変調グレーコードのシーケンスを含む、請求項1に記載の方法。
【請求項3】
前記変調グレーコードのシーケンスは、所定のグレーコードのシーケンスを第1のパターンで変調することにより生成される、請求項2に記載の方法。
【請求項4】
前記1つ又は複数のイメージは、少なくとも1つのカメラでキャプチャされる、請求項1に記載の方法。
【請求項5】
前記投影面は、三次元(3D)投影面を含む、請求項1に記載の方法。
【請求項6】
前記プロジェクタ対カメラの変換を計算することは、
前記逐次の較正パターンの各パターンについて、表示されたセルのピクセル輝度が第1のパターンと比べて、同じであるか又は反対であるかを判断し、
各カメラ・ピクセルにおいてグレーコードのビット列を再構成し、
各カメラ・ピクセルをプロジェクタの特定のセルに分類すること、を含む、請求項1に記載の方法。
【請求項7】
前記カメラに対する各セルのセントロイドを計算することを更に含む、請求項6に記載の方法。
【請求項8】
前記カメラ対投影面の変換を計算することは、
前記投影面のモデルにおいて第1の複数の対応点を選択し、
前記投影面のイメージにおいて第2の複数の対応点を選択すること、を含み、
前記第2の複数の対応点は、前記第1の複数の対応点と一致する、請求項1に記載の方法。
【請求項9】
前記プロジェクション・マッピングに対して微調整を行うように、格子ベースの調整ツールを用いて、前記プロジェクタ対投影面の変換を手動で調整すること、を更に含む、請求項1に記載の方法。
【請求項10】
混合マップを計算することを更に含み、
その混合マップを計算することは、前記プロジェクタの前記錐台に基づいて、各プロジェクタを用いて輪郭イメージを前記投影面上へ生成することを含む、請求項1に記載の方法。
【請求項11】
混合マップを計算する方法であって、
イメージ・プロセッサ構成に応じる複数のプロジェクタを準備し、前記複数のプロジェクタは、各プロジェクタを用いて、表面の複数の所定位置のそれぞれにおいて所定のイメージを当該表面上へ投影し、
前記プロジェクタの既知の錐台に基づいて、各プロジェクタを用いて輪郭イメージを前記表面上へ生成すること、を含む、方法。
【請求項12】
各プロジェクタ用の距離変換イメージを生成することを更に含む、請求項11に記載の方法。
【請求項13】
各プロジェクタ用の混合重みイメージを生成することを更に含む、請求項12に記載の方法。
【請求項14】
各プロジェクタ用の最終混合マップを生成することを更に含む、請求項13に記載の方法。
【請求項15】
混合マップを計算するシステムであって、
イメージ・プロセッサ構成に応じる複数のプロジェクタを含み、
前記複数のプロジェクタは、各プロジェクタを用いて、表面の複数の所定位置のそれぞれにおいて所定のイメージを当該表面上へ投影し、前記イメージ・プロセッサ構成は、前記プロジェクタの既知の錐台に基づいて、各プロジェクタを用いて輪郭イメージを前記表面上へ生成するように適合されている、システム。
【請求項16】
前記イメージ・プロセッサ構成は、各プロジェクタ用の距離変換イメージを生成するように適合されている、請求項15に記載のシステム。
【請求項17】
前記イメージ・プロセッサ構成は、各プロジェクタ用の混合重みイメージを生成するように適合されている、請求項16に記載のシステム。
【請求項18】
前記イメージ・プロセッサ構成は、各プロジェクタ用の最終混合マップを生成するように適合されている、請求項17に記載のシステム。
【請求項19】
複数のプロジェクタのための、イメージ・プロセッサ構成に応じるプロジェクション・マッピングのシステムであって、前記プロセッサ構成が前記複数のプロジェクタの各プロジェクタの投影されるイメージから、カメラを用いてイメージデータを受け取るものにおいて、そのシステムは、
各プロジェクタを用いて、投影面の所定のイメージ・フィールドにおいて、逐次の較正パターンを前記投影面上へ、それぞれ投影するように適合された前記プロセッサ構成の投影プロセスを含み、
前記イメージデータは、前記逐次の較正パターンの複数のパターンのうちの各パターンの、各プロジェクタに関する、前記所定のイメージ・フィールド内の1つ又は複数のイメージを含み、前記逐次の較正パターンは、所定のグレーコードのシーケンスを第1のパターンで変調することにより生成された変調グレーコードのシーケンスを含み、
前記所定のグレーコードのシーケンスは、当該シーケンスの各パターンにおいて前記イメージ・フィールドにわたって実質的に一貫した平均輝度を維持するように適合されている、システム。
【請求項20】
前記グレーコードのシーケンスの最初のパターンは、明るい特徴要素と暗い特徴要素のモザイク状の配列である第1のパターンを含み、前記グレーコードのシーケンスの少なくとも1つの後続のパターンは、中心線を垂直方向に2つの部分に分ける及び中心線を水平方向に2つの部分に分けるそれぞれの各側で、前記第1のパターンの2つの部分に分けられた鏡像を画定する、請求項19に記載のシステム。
【請求項21】
前記イメージ・プロセッサは、プロジェクタ対カメラの変換、及びカメラ対投影面の変換を計算するように構築および構成されている、請求項19に記載のシステム。
【請求項22】
前記イメージ・プロセッサは、プロジェクタ対投影面の変換、及び各プロジェクタの錐台を求めるように構築および構成されている、請求項21に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プロジェクション・マッピングに関する。
【背景技術】
【0002】
プロジェクション・マッピングの分野は、物体の閲覧者に対するその外観を変更するように当該物体を光で照明するために1つ又は複数のプロジェクタを使用することを含む。この効果は、視覚的にテクスチャのない物体がまるでデジタル的に制御またはアニメ化され得る視覚効果で織り込まれたように見えることを可能にするためにエンターテイメント及びマーケティングにおいて使用されることが多い。
【0003】
プロジェクション・マッピングは、恐らくは複雑な形状を有する物体上へイメージを正確にマッピングすることに関する課題(問題)を呈示する。このタスクは時として、プロジェクション・マッピングに関する自動または半自動較正手順を生じさせるためにカメラセンサを使用して支援され、当該手順は、各プロジェクタのピクセルが照らしている物体上の位置を正確に求めるために、表示プロジェクタを用いてコード化パターンを投影し、これらのパターンを当該カメラで検出することを含む場合がある。
【0004】
複数のプロジェクタでもって、複雑な3D投影面上へイメージ又はパターンを投影する際、係るプロジェクタは、従来の二次元グレーコードのイメージ・シーケンスを用いて最初に較正されることが多い。この手法により、各プロジェクタのイメージは、セルの二次元格子へ細分化されることが可能になり、この場合、各セルは、他のセルと区別するために一意の数値的識別子を割り当てられる。各セルの数値的識別子は、一意のビット列としてバイナリで表わされることができ、グレーコードの場合、何らかのパターン検出エラーの影響を最小限にするように、隣接するセルのビット列が単一のビットだけにより異なるべきであるように選択される。グレーコードは、一連のイメージとして投影され、この場合、各イメージは、グレーコードのシーケンスの1ビットに対応する。イメージにおける各ピクセルにおいて、色(カラー)は、セルを包囲するそのピクセルのグレーコードのビット値に応じて黒色または白色として選択される。係る手法の1つの欠点は、間接的な光散乱効果に起因してパターン検出の難しさをもたらす可能性がある、特に当該シーケンスの第1のほんの僅かのイメージにおいて可視である黒色および白色のイメージ部分の大きな黒色の構造体である。一例として、部屋の隅へ投影することを考えると、各壁上の光は残りの1つ上へ反射される。この特定の例において、一般的なグレーコードのパターン・シーケンスの第1のイメージは、その左半分において完全に白色に見え、その右半分において完全に黒色に見える場合があり、主に直接照明を有する一方の壁、及び間接照明のみを有する他方の壁という結果になる。これは、どのピクセルがプロジェクタにおいて黒色として表示されていたか及び白色として表示されていたかを判断するためのカメラにとって困難なタスクをもたらし、その理由は、たとえあらゆるイメージが等しい数の白色ピクセル及び黒色ピクセルを有する場合があるとしても、個々の投影されたイメージの内容(コンテンツ)に応じて、スクリーン上の任意の点における間接照明レベルが著しく異なる場合があるからである。当該シーケンスのイメージにわたる間接照明レベルのこの変化により、パターン検出は、その位置におけるイメージ・ソースの変化でもって間接照明レベルの変化を混乱させる場合がある。
【0005】
プロジェクション・マッピングによりもたらされる別の課題は、複数のプロジェクタのイメージが物体上で重なる場所において、それらを適切に互いに混合することである。複数のプロジェクタが重なる場合、光の加成性により、これらの領域が単一のプロジェクタのみにより照らされている領域よりも明るく見える。これら重なり領域において、結合された光の寄与が単一のプロジェクタからのものと同じレベルであるようにプロジェクタの輝度を減衰させることが望ましい。この減衰は、感知がほぼ不可能な効果をもたらすようにイメージにおいて滑らかに変化するやり方であるべきである。複雑な物体上のプロジェクション・マッピングの場合、これは、特定の表面領域が幾つかのプロジェクタに対して不可視である、表面上の影の存在によってより複雑になる可能性がある。1つ又は複数のプロジェクタに対する影におけるスクリーンの何らかの領域は、1つ又は複数のプロジェクタからの光の寄与が「欠落する」という理由で、イメージの輝度に差異を生じる。これらの影領域は、複雑な形状を有して、それらの空間領域において変化する場合があり、スクリーン表面の各領域において寄与するプロジェクタの数の変化を考慮してプロジェクタ・イメージを適切に滑らかに混合または減衰する際に課題を生じる。
【0006】
発明の概要
本出願は、従来技術の欠点を克服し、カメラセンサの支援を用いてプロジェクション・マッピング・システムを正確に位置合わせするためのプロセスを提供する。較正プロセスは、較正カメラが較正カメラとプロジェクタとの間のイメージ対応点の稠密集合を特定することを可能にする変調グレーコードのイメージ・シーケンスを最初に投影することを含む。次いで、較正カメラは、カメラ・イメージにおいて特定されるスクリーン表面上のキーポイント又は基準の選択を通じて、スクリーン表面に位置合わせされる。ひとたびカメラ(単数または複数)がスクリーン表面に位置合わせされたならば、スクリーン表面に対するプロジェクタの位置合わせを判断するために、プロジェクタとカメラとの間のイメージ対応点が使用される。
【0007】
周囲照明または間接光散乱により生じた低いカメラ・イメージ・コントラストにもかかわらずパターン検出の信頼性を改善するために、各パターン・イメージの構造体は、基本的な交番チェッカーパターン(市松模様)により変調される。これは、任意の大きなブロック構造体を分解して、パターンが変化する際にシーンにわたって間接光散乱をより一定に保つ働きをする。このイメージは、完全な白色プロジェクタ・ピクセルが黒色プロジェクタ・ピクセル(低い値)と比べてどれぐらい明るく見えるか(高い値)、各ピクセルにカメラを向けるために、そのバイナリ補数と共に投影される。
【0008】
最後に、本出願は、プロジェクタを重ねることにより生じる増加した輝度の領域を除去するために全てのプロジェクタからのイメージ寄与を互いに滑らかに混合するための手法を提供する。本手法は、輪郭マップ(contour map:等高線図)を用いて複雑な物体の表面上の影領域を正確に計算し、全てのプロジェクタの寄与を、組み合わされて混合された結果へと重み付けするために、各プロジェクタ・ピクセルにおいて表面配向と一緒にこの情報を組み合わせる。
【0009】
例示的な実施形態において、複数のプロジェクタのための、イメージ・プロセッサ構成に応じるプロジェクション・マッピングのシステム及び方法であって、前記複数のプロジェクタの各プロジェクタの投影されるイメージからイメージデータを受け取る前記プロセッサ構成が設けられる。逐次の較正パターンが投影面上へ投影される。逐次の較正パターンの少なくとも1つのパターンから前記投影面の1つ又は複数のイメージがその上に投影される。次いで、プロジェクタ対カメラの変換、及びカメラ対投影面の変換が計算される。次いで、プロジェクタ対投影面の変換、及び各プロジェクタの錐台が求められる。例示的に、前記逐次の較正パターンは、変調グレーコードのシーケンスを含むことができ、前記変調グレーコードのシーケンスは、所定のグレーコードのシーケンスを第1のパターンで変調することにより生成され得る。前記1つ又は複数のイメージは、少なくとも1つのカメラでキャプチャされ得る。前記投影面は、三次元(3D)投影面を含むことができる。例示的に、前記プロジェクタ対カメラの変換を計算するステップは、前記逐次の較正パターンの各パターンについて、表示されたセルのピクセル輝度が第1のパターンと比べて、同じであるか又は反対であるかを判断し、各カメラ・ピクセルにおいてグレーコードのビット列を再構成し、各カメラ・ピクセルをプロジェクタの特定のセルに分類することを含むことができる。前記カメラに対する各セルのセントロイドが計算され得る。前記カメラ対投影面の変換は、前記投影面のモデルにおいて第1の複数の対応点を選択し、前記投影面のイメージにおいて第2の複数の対応点を選択することを含むことができ、前記第2の複数の対応点は、前記第1の複数の対応点に一致する。前記プロジェクション・マッピングに対して微調整を行うように、格子ベースの調整ツールを用いて、前記プロジェクタ対投影面の変換が手動で更に調整され得る。混合マップは、前記プロジェクタの前記錐台に基づいて、各プロジェクタを用いて輪郭イメージを前記投影面上へ生成することにより、計算され得る。
【0010】
別の例示的な実施形態において、混合マップを計算するシステム及び方法は、イメージ・プロセッサ構成に応じる複数のプロジェクタを準備し、前記複数のプロジェクタは、各プロジェクタを用いて、表面の複数の所定位置のそれぞれにおいて所定のイメージを当該表面上へ投影し、それにより前記プロジェクタの既知の錐台に基づいて、各プロジェクタを用いて輪郭イメージを前記表面上へ生成する。例示的に、システム及び方法は、各プロジェクタ用の距離変換イメージ、各プロジェクタ用の混合重みイメージ、及び/又は各プロジェクタ用の最終混合マップを生成することができる。
【0011】
別の例示的な実施形態において、複数のプロジェクタのための、イメージ・プロセッサ構成に応じるプロジェクション・マッピングのシステム及び方法であり、前記プロセッサ構成は前記複数のプロジェクタの各プロジェクタの投影されるイメージから、カメラを用いてイメージデータを受け取る。前記処理構成と関連した投影プロセスは、各プロジェクタを用いて、投影面の所定のイメージ・フィールドにおいて、逐次の較正パターンを前記投影面上へ、それぞれ投影するように適合されている。前記イメージデータは、前記逐次の較正パターンの複数のパターンのうちの各パターンの、各プロジェクタに関する、前記所定のイメージ・フィールド内の1つ又は複数のイメージを含むことができる。前記逐次の較正パターンは、所定のグレーコードのシーケンスを第1のパターンで変調することにより生成された変調グレーコードのシーケンスを含むことができる。前記所定のグレーコードのシーケンスは、当該シーケンスの各パターンにおいて前記イメージ・フィールドにわたって実質的に一貫した平均輝度を維持するように適合され得る。例示的に、前記グレーコードのシーケンスの最初のパターンは、明るい特徴要素と暗い特徴要素のモザイク状の配列である第1のパターンを含むことができ、前記グレーコードのシーケンスの少なくとも1つの後続のパターンは、中心線を垂直方向に2つの部分に分ける及び中心線を水平方向に2つの部分に分けるそれぞれの各側で、前記第1のパターンの2つの部分に分けられた鏡像を含む。前記イメージ・プロセッサは、プロジェクタ対カメラの変換、及びカメラ対投影面の変換を計算するように構築および構成されることができ、及び/又はプロジェクタ対投影面の変換を求める、及び各プロジェクタの錐台を求めるように構築および構成され得る。
【0012】
以下の本発明の説明は、添付図面を参照する。
【図面の簡単な説明】
【0013】
図1】本開示の1つ又は複数の態様による、プロジェクション・マッピングを利用する例示的なディスプレイ・システムのシステム概観である。
【0014】
図2】本開示の1つ又は複数の態様による、プロジェクション・マッピングの方法を示す流れ図である。
【0015】
図3A】第1及び第2のパターンを示す図である。
図3B】第1及び第2のパターンを示す図である。
【0016】
図4A】二次元グレーコードのシーケンスを示す図である。
図4B】二次元グレーコードのシーケンスを示す図である。
図4C】二次元グレーコードのシーケンスを示す図である。
図4D】二次元グレーコードのシーケンスを示す図である。
図4E】二次元グレーコードのシーケンスを示す図である。
図4F】二次元グレーコードのシーケンスを示す図である。
図4G】二次元グレーコードのシーケンスを示す図である。
図4H】二次元グレーコードのシーケンスを示す図である。
図4I】二次元グレーコードのシーケンスを示す図である。
図4J】二次元グレーコードのシーケンスを示す図である。
図4K】二次元グレーコードのシーケンスを示す図である。
図4L】二次元グレーコードのシーケンスを示す図である。
図4M】二次元グレーコードのシーケンスを示す図である。
図4N】二次元グレーコードのシーケンスを示す図である。
図4O】二次元グレーコードのシーケンスを示す図である。
図4P】二次元グレーコードのシーケンスを示す図である。
【0017】
図5A】変調グレーコードのシーケンスを示す図である。
図5B】変調グレーコードのシーケンスを示す図である。
図5C】変調グレーコードのシーケンスを示す図である。
図5D】変調グレーコードのシーケンスを示す図である。
図5E】変調グレーコードのシーケンスを示す図である。
図5F】変調グレーコードのシーケンスを示す図である。
図5G】変調グレーコードのシーケンスを示す図である。
図5H】変調グレーコードのシーケンスを示す図である。
図5I】変調グレーコードのシーケンスを示す図である。
図5J】変調グレーコードのシーケンスを示す図である。
図5K】変調グレーコードのシーケンスを示す図である。
図5L】変調グレーコードのシーケンスを示す図である。
図5M】変調グレーコードのシーケンスを示す図である。
図5N】変調グレーコードのシーケンスを示す図である。
図5O】変調グレーコードのシーケンスを示す図である。
図5P】変調グレーコードのシーケンスを示す図である。
【0018】
図6A】対応点の選択を示すグラフィカル・ユーザ・インターフェースを示す図である。
図6B】対応点の選択を示すグラフィカル・ユーザ・インターフェースを示す図である。
【0019】
図7】混合(ブレンド)マップを生成する方法を示す流れ図である。
【0020】
図8A】混合マップの生成中に生成される輪郭イメージを示す図である。
図8B】混合マップの生成中に生成される輪郭イメージを示す図である。
【0021】
図9A】混合マップの生成中に生成される距離変換イメージを示す図である。
図9B】混合マップの生成中に生成される距離変換イメージを示す図である。
【0022】
図10A】混合マップの生成中に生成される入射角イメージを示す図である。
図10B】混合マップの生成中に生成される入射角イメージを示す図である。
【0023】
図11A】最終混合マップを示す図である。
図11B】最終混合マップを示す図である。
【0024】
図12A】対応点イメージを示す図である。
図12B】対応点イメージを示す図である。
【0025】
図13】スクリーン表面上へのプロジェクタ・ピクセルのマッピングが手動で調整されることを可能にする調整ツールを示す図である。
【0026】
詳細な説明
I.システム概観
【0027】
図1は、本開示の1つ又は複数の態様による、プロジェクション・マッピング用の例示的なディスプレイ・システム100のシステム概観である。
【0028】
この例において、コンピューティング装置120は、プロセッサ122、メモリ124、及び一般に汎用コンピュータに存在する任意の他のコンポーネントを含む場合がある。メモリ124は、プロセッサ122により実行され得る命令、又はプロセッサ122により取り出され得る、操作され得る、又は格納され得るデータのような、プロセッサ122によりアクセス可能な情報を格納する場合がある。図1は、コンピューティング装置120に基板実装(オンボード)されているようにプロセッサ122及びメモリ124を示すが、理解されるように、プロセッサ122及びメモリ124はそれぞれ、同じ物理的なハウジング内に収容され得る又は収容され得ない1つ又は複数のプロセッサ及び/又はメモリを含む場合がある。一例において、コンピュータ120は、有線リンク又は無線リンクを介して直接的に又は間接的に、有線/無線ルータ又はスイッチのようなネットワーク・コンポーネント160と通信するサーバである場合がある。また、コンピューティング装置120は、より詳細に後述されるように、1つ又は複数の光センサ110及び/又は1つ又は複数のイメージ生成器130~134に直接的に又は間接的に接続することもできる。
【0029】
1つ又は複数のセンサ110は、投影面150から光(又は光の無いこと)を検出するように配置される。1つ又は複数の光センサ110は、イメージセンサのような撮像デバイス(例えば、カメラ)である場合がある。カメラは、内蔵光学系を含むデジタルカメラ(例えば、デジタルSLR)のような、任意のタイプのカメラである場合がある。他の例において、カメラは、単一のハウジング内に収容され得る又は収容され得ない、レンズ、他の光学部品および処理回路のような、幾つかのコンポーネントを有する場合がある。1つの特定例において、カメラは、以下で記載される技術を実施する前に、カメラ外部および外部パラメータを求める(決定する)ために事前較正される。
【0030】
2つの光センサ110が示されるが、システム100は、本開示の様々な態様に従って、任意の数のセンサ(例えば、カメラ)を利用することができる。1つの特定例において、システム100は、センサ110対ディスプレイ・ユニット140~142の1:1の比率を利用することができる。別の例において、光センサ110は、任意の数のディスプレイ・ユニット140~144に対応する単一のカメラを含むことができる。センサ110は、検出された光データを表わす1つ又は複数のデータ信号を、処理のためにコンピューティング装置120に伝達することができる。
【0031】
投影面150は、任意のタイプの二次元または三次元の投影面であることができる。図1の例において、投影面150は、城のような3D投影面を含む。他の例において、投影面は、ディスプレイ・ユニット140~144が隣接する表示スクリーン(画面)間に重なり領域を投影するように、互いに隣接して構成される個々の表示スクリーンの構成を含むことができる。他の例において、投影面150は、任意の複雑な三次元形状であることができる。
【0032】
システム100は、1つ又は複数のディスプレイ・ユニット140、142、144を含むことができる。この例において、ディスプレイ・ユニット140~144は、光(例えば、光のパターン)を投影面150の全て又は一部の上へ投影するように構成されたプロジェクタである。ディスプレイ・ユニット140~144により及び投影面150上へ投影されるべきイメージデータは、個々のイメージ生成器130、132、134において生成され得る。イメージデータは、個々のイメージ生成器130~134から個々のディスプレイ・ユニット140~144に伝達されることができ、この場合、イメージデータは、パターン又はイメージとして表示面150上に投影され得る。
【0033】
3つのディスプレイ・ユニット140~144及び3つのイメージ生成器130~134が示されているが、ディスプレイ・ユニット及び/又は生成器の任意の数または組み合わせが企図される。例えば、単一のイメージ生成器が、任意の数のディスプレイ・ユニットへイメージデータを供給することができる。
【0034】
一般に、イメージデータを複雑な3D投影面上へマッピングするためのプロジェクション・マッピング手順は、ディスプレイ・ユニット140~144を介して、1つ又は複数のイメージ又はパターンを投影面150上へ投影することを含むことができる。投影されたイメージは、1つ又は複数のセンサ110により検出されることができ、検出された光を表わす1つ又は複数のデータ信号がコンピューティング装置120に伝達される。コンピューティング装置120は随意に、光センサデータに基づいて1つ又は複数の手順を実行することができ、光センサデータ及び/又は較正手順に基づいて、イメージ生成器に1つ又は複数のデータ信号を伝達することができる。イメージ生成器130~134は、イメージデータをディスプレイ・ユニット140~144に伝達することができ、ディスプレイ・ユニット140~144は、光(例えば、光のパターン)を投影面150上へ投影することができる。
【0035】
プロジェクション・マッピングに加えて、ワープ、混合(ブレンド)、又は任意の他のタイプの較正手順のような、追加の較正手順が実行され得る。一例において、ワープは、コンピューティング装置120(例えば、グラフィックス・カード及び/又は関連したグラフィックス・カード・ソフトウェア)におけるコンピュータであることができるが、他の例において、ワープは、イメージ生成器(単数または複数)130~134において又は専用のワープ・モジュール(図示せず)において計算され得る。
【0036】
II.プロジェクション・マッピング
【0037】
図2は、本開示の1つ又は複数の態様による、プロジェクション・マッピングの方法を示す。
【0038】
ブロック202において、較正パターンが生成される。
【0039】
一例において、較正パターンは、構造化された光パターンであることができ、特に、二次元(2D)バイナリ・グレーコードのシーケンスであることができる。1つの特定例において、較正パターンは、以下でより詳細に説明されるように、変調グレーコードのシーケンスである。
【0040】
較正パターンを形成する個々のパターン・イメージ、例えば変調グレーコードのシーケンスは、以下のように生成され得る。
【0041】
図3Aを参照すると、第1のパターン300aが生成される。このパターン300aは、図3Aにおいて、第1のセル310aと第2のセル320aの交番する構成を有する8×8セルの市松模様として示される。この例において、第1のセルは白色であり、第2のセルは最大コントラスト差のために黒色であるが、他の色パラメータが当該特定例に基づいて具現化され得る。第1のセル310aは「0」として符号化され得るが、第2のセルは「1」として符号化され得る。例えば、一番上の行330aは、[01010101]として符号化され得る。後述されるように、この第1のパターン300aは、基本的な変調パターンとして使用される。
【0042】
セル310a、320aのそれぞれは、一意の番号(例えば、0-63)を割り当てられ得る。図3Aにおいて、パターン300aが8×8として示されているが、特定の具現化形態に応じて、任意のN×N構成が企図される。例えば、投影面の表面詳細に応じて、より大きい又はより小さいセルサイズが望ましい場合がある。Nが増加するにつれて、セルサイズは減少する、及び逆もまた同じである。幾つかの例において、セルのサイズは、投影面と関連したより大きいスケールの表面効果より小さいことが望ましい。特に、Nが増加するにつれて、間接(周囲)照明の影響が低減される。その一方で、セルのサイズが小さすぎる(例えば、ピクセルより小さい)場合、(例えば、センサによる)検出は、信頼できなくなる可能性がある。
【0043】
また、第2のパターン300bも生成される。このパターン300bは、図3Bにおいて、第1のセル310bと第2のセル320bの交番する構成を有する8×8セルの市松模様として示される。この例において、第1のセルは黒色であり、第2のセルは白色であるが、他の色パラメータが当該特定例に基づいて具現化され得る。第2のパターン300bは、第1のセル310bのそれぞれが第1のセル310aのバイナリ補数(例えば、第1のセル310aの反対)であり且つ第2のセル320bが第2のセル310bのバイナリ補数である限り、第1のパターン300aのバイナリ補数である。例えば、最も一番上の行330bは、[10101010]として符号化され得る。
【0044】
所定のグレーコードのシーケンスは、変調グレーコードのシーケンスを生成するために第1のパターン300aにより変調される。例示的な所定のグレーコードのシーケンスは、図4A図4Pに示される。他のグレーコードのシーケンスが本開示の態様に従って具現化され得ることが企図される。図4A図4Pのグレーコードのシーケンスの各パターンは、図5A図5Pに示される変調グレーコードのシーケンスに到達するように第1のパターン300aで変調される。特に、図4Aのパターンは、図5Aの変調パターンに到達するようにパターン300aで変調され、図4B図4P及び図5B図5Pに関して以下同様である。
【0045】
変調グレーコードのシーケンス・パターンは、パターン300a及び所定のグレーコードのシーケンス(例えば、図4A図4P)の対応セルに基づいて決定され、この場合、変調グレーコードのシーケンスの各イメージは、各セルを一意に識別するために使用されるバイナリビット列の1ビットに対応する。例えば、セルが現在のイメージに対応するビットに関して、その変調グレーコードのシーケンスにおいて「0」を含む場合、パターン300aからのセルは変更されないままである。セルが現在のイメージに対応するビットに関して、その変調グレーコードのシーケンスにおいて「1」を含む場合、パターン300aからのセルは、パターン300bと同じになるように選択される。このように、グレーコード・パターンにおいて白色または黒色を「0」又は「1」として符号化するのではなくて、パターンは、第1のパターン300aと比べて変化するか又は変化しないかを符号化している。
【0046】
図4Gから始まって図4Pまで示されるように、線パターンの次第に密になるシーケンスは、より密なパターンを達成するために使用され得る。これらの線パターンは、パターンのイメージ間で間接照明の大幅な変化を防止するように、これらの構造が既に細かい(例えば、密な)ので、第1のパターン300aにより変調されない。
【0047】
一例において、当該シーケンスのパターンの数は、第1のパターン300aのセルの数に基づいて選択される。例えば、8×8パターンは、64個の一意のセル(例えば、0~63と付番される)を含む。多数のビット(例えば、逐次的に投影されるセル)が、各セルを一意的に識別するために選択される。
【0048】
ブロック204において、変調グレーコードのパターンは、三次元(3D)投影面(例えば、150)上に逐次的に投影される。これは、第1のディスプレイ・ユニット140~144により行われることができ、一例において、ディスプレイ・ユニットは、プロジェクタである。
【0049】
ブロック206において、投影された較正パターンのイメージは、1つ又は複数のイメージセンサによりキャプチャされる。これは1つ又は複数のセンサ110により行われることができ、一例において、センサはカメラである。キャプチャされたイメージは、処理のためにプロセッサ120に(有線または無線で)伝達され得る。別の例において、イメージの処理は、カメラ(単数または複数)自体でオンボードで行われ得る。
【0050】
ブロック208において、プロジェクタ対カメラのマッピングが、各プロジェクタ/カメラ対に関して求められる。このマッピングは、ピクセル対ピクセル対応点のセット(例えば、対応するカメラのピクセルとプロジェクタのピクセルが投影面の同じ場所で一致するように、カメラのピクセルからプロジェクタのピクセルまでの対応点)として記述される。
【0051】
ここで、各パターンに関して、判定は、どのセルが第1のパターンと同じであるように表示されるか、及びどのセルが反対であるように表示されるかに関して行われる。
【0052】
図5A及び図5Bのパターンは、何が「1」セル又は「0」セルを構成するかに関する閾値を決定するために最初に表示される。理想的な条件の下で、対照的なセル間のコントラスト差は、黒色と白色との間の最大コントラスト差になる。特定の条件(例えば、周囲照明、間接照明など)において、対照的なビット間のコントラスト差は、理想的な最大値より小さい。この点に関して、閾値は、ビットが「1」又は「0」の状態になる際に関して確立される。
【0053】
図5C以上のパターンに関して、各ピクセルは、ピクセルの輝度値が図5Aの第1のシーケンス・パターンと同じであるか又は異なるかに従って、分類される。これに基づいて、グレーコードのビット列は、各カメラ・ピクセルにおいて再構成され、カメラ・ピクセルをプロジェクタの特定のセルに分類するために使用される。ひとたび分類されれば、同じプロジェクタ・セルに属するカメラ・ピクセルは、カメラにおける(ピクセル値またはサブピクセル値に対する)セルのセントロイド(例えば、中心点)を計算するために使用される。(プロジェクタのピクセル位置として)元のセル中心が構成により分かっているので、これは、全ての検出されたセルに関して較正カメラと較正プロジェクタとの間のピクセル対ピクセル・イメージ対応点を確立する。
【0054】
特に、(例えば)図5Cのパターンは、明対暗の特徴要素の類似した全体としての全領域を画定するが、グレーコード・イメージの投影(又は取得された)シーケンスの平均輝度が全体として(カメラ(単数または複数)により)取得されるイメージ・フィールドにわたってより均一に提示されるグレーコード較正投影プロセスを使用する。これは、図4Cの従来のグレーコード・シーケンスの較正プロセス・イメージとは対照的であり、この場合、イメージの様々な領域において大きな集中状態、或いは明るい特徴要素または暗い特徴要素が存在する。それ故に、本明細書で企図されたシーケンスは、間接照明の影響に対する耐性が増す。かくして、図示されたように、図5A図5Pの全体としてのグレーコードのシーケンスにおける第1の僅かなパターン(例えば、5番目または6番目まで、「最初のパターン」とも呼ばれる)は、図4A図4Pのシーケンスにおける同じイメージに比べて、イメージ・フィールドにわたってより均等に明るい特徴要素または暗い特徴要素を分散することにより、そのフィールドにわたってより均一な平均輝度を提供する。このより一様な分散は、図4A図4Pの同じ標準的な明暗情報を効率的に符号化するが、周囲環境に存在する場合がある外部照明の局所的な変動に鈍感になるようにそのようにする。その入射光は、図4A図4Pの最初のパターンにより提供される明暗情報を、図5A図5Pのより分散された最初のパターンの明暗情報よりも非常に強く邪魔するように投影面に向かっていく場合がある。留意すべきは、本明細書で使用される限り、用語「入射光」は、プロジェクタ自体の照明によって投影面上に生成される光と考えられることができ、より具体的には、隣接する表面に当たる光は、例えば別の暗い特徴要素上に意図されない照明効果を生じる場合がある。これは、隣接する表面パターン上に明るい又は暗いに関する間違った印象を与える傾向があり、かくしてプロジェクタ較正プロセスにおいて誤りを生じる。役立つ一例として、図4Cのパターンが隅(1つの黒色の壁および隣接する白色の壁を有する)へ投影された場合、任意の間接光は、壁のイメージのそのパターンを変更する。図5A図5Pによる、パターンの変調は、この影響を最小限にする働きをする。この意味で、図5A図5Pの最初のパターンは、図4A図4Pの最初のパターンに比べて、投影されたシーケンスの全体にわたって、より均一な全体としてのグレー分散を与える。かくして、本明細書で使用される限り、全体的な用語「シーケンスの各パターンにおけるイメージのフィールドにわたって実質的に一貫した平均輝度を維持する」、及びその等価物は、図5A図5Pのパターンの特性を意味するだろう。例示的な制限しない実施形態に従って、最初のパターンの全体的なセット(例えば、図5A図5G)の第1のパターン(図5A及び図5B)は、それらの明るい特徴要素および暗い特徴要素の位置をそれぞれ変更する通常のモザイク状の配列(テッセレーション)(例えば、市松模様)として与えられる。次のパターン(図5C図5F)は、第1のパターン(単数または複数)から周囲のモザイク状の配列内の個々の列または行において水平方向に(図5C及び図5E)又は垂直方向に(図5D及び図5F)二倍になった特徴要素の1つ又は複数の行を提供する。より具体的には、図4C及び図4Dのパターンは、図5A及び図5Bのパターンにより変調されるが、図5C及び図5Dはそれぞれ、投影フィールドにおいて中心線を垂直方向および水平方向に2つの部分に分けるそれぞれの各側で、2つの部分に分けられた鏡像パターンを提供するパターンを提供する。更に、パターン5E及び5F(及び潜在的にシーケンスにおける他の後続のパターン)は、中心線を水平方向および垂直方向に2つの部分に分けるそれぞれに沿って取られた鏡像のバージョンとして特徴付けられ得る。
【0055】
本明細書で説明されるように、グレーコードのシーケンスにおける最初のパターンの実質的に一貫した特質の更なる概念化は、図5Cの実施形態のよりモザイク状に構成されたパターンに対して(例えば)図4Cの従来のパターンを比較することにより、導出され得る。図4Cの左半分および右半分を垂直線で等しく2等分する場合、閲覧者には、イメージの2等分された双方の半分において明るい特徴要素と暗い特徴要素との間の鮮明な途切れ目と共に与えられる。投影面上の間接光の何からの局所的な変動は、1つ又は複数のこれら大きな特徴要素上に顕著な影響を有する可能性がある。反対に、図5Cの同じイメージ・フィールドを2等分することは、局所的な間接光の変動に関してより小さい影響という結果になる。特に、明るい特徴要素対暗い特徴要素の総面積は、双方のイメージ(図4C及び図5C)において同じであり、かくして標準的な較正技術(即ち、プロジェクタ錐台の決定)の必要な較正情報を複数のプロジェクタに提供する。より一般的には、本明細書の変調グレーコードのシーケンスは、投影されたパターン・シーケンスを符号化する際にコントラストを望ましく維持する。
【0056】
ブロック210において、及び図6Aに関連して、第1の複数の対応点610aが、3D投影面のモデル605a上で選択される。図6Aは、3D投影面のモデルを示すグラフィカル・ユーザ・インターフェース(GUI)600aを示す。マウス又は他の入力装置を用いて、ユーザは、モデル上で1つ又は複数の対応点610aを選択することができる。また、GUI600a上には、選択された対応点610aに対応するモデル座標空間における3D座標(x、y、z)も表示される。
【0057】
上述されたように、第1の複数の対応点610aは、3D投影面自体のモデル上の点としてユーザ識別され得る、又は対応点は基準であることができる。対応点の数は、特定の具現化形態および特定の投影面に応じて変化する可能性があり、一例において、カメラ又はプロジェクタ毎に少なくとも3個であることができる。
【0058】
ブロック212において、及び図6Bに関連して、第2の複数の対応点610bが、撮像された且つ表示された3D投影面605b上で選択される。図6Bは、当該撮像された且つ表示された3D投影面605bを示すグラフィカル・ユーザ・インターフェース(GUI)600bを示す。マウス又は他の入力装置を用いて、ユーザは、モデルの選択された第1の複数の対応点610aと一致する(例えば、重なる)、表示された3D投影面605b上で1つ又は複数の対応点610bを選択することができる。
【0059】
上述されたように、第2の複数の対応点610bは、当該撮像された且つ表示された3D投影面上の点としてユーザ識別され得る、又は対応点は基準であることができる。対応点の数は、特定の具現化形態および特定の投影面に応じて変化する可能性があり、一例において、カメラ又はプロジェクタ毎に少なくとも3個であることができる。
【0060】
また、特定の対応点をイネーブル又はディスエーブルするためのモジュール615bも示される。例えば、異なるカメラは異なる視野(FOV)を有するので、特定の対応点は、特定のカメラにより不可視である(例えば、撮像されることができない)場合がある。この点に関して、不可視であるこれらの対応点は、モジュール615bにおける特定の対応点を切り換えることにより、ディスエーブルにされ得る。複数のカメラにわたって可視である対応点に関して、これらの対応点が再使用され得る。
【0061】
ブロック214において、カメラ対投影面の変換は、ブロック210~212で選択された対応点に基づいてもたらされる。カメラ対投影面の変換は、投影面座標空間における3D位置に対するカメラ・ピクセル間のマッピングを表わす。
【0062】
これは、ブロック210~212からの3D及び2D対応点のセットを用いることにより、及び線形問題(linear question)系(例えば、直接線形変換(Direct Linear Transform:DLT))として解くことにより実行され得る。この最初の解法は、FOVパラメータを含む各カメラの錐台を決定するための非線形最適化のための最初の推定として使用される。留意すべきは、本明細書で説明されるこれらに類似した又は同一の対応点の結果を提供するための他の計算技術が、当業者に明白なように、利用され得る。かくして、用語「変換する」及び/又は「変換」は、係る結果を求める/もたらすための様々な技術を含むように広く解釈されるべきである。
【0063】
ブロック216において、プロジェクタ対カメラの対応点およびカメラ対スクリーンの変換を用いて、投影面の3Dモデルに対する(メモリに格納された)FOVパラメータ及び任意のレンズ歪みパラメータを含む、各プロジェクタの錐台を決定する。これは、投影面の幾何学的形状をカメラ・イメージへ投影し、各ピクセル位置に関して、投影面の3D位置をカメラ・ピクセルに割り当てることにより、実行される。次いで、この情報は、プロジェクタ-カメラのイメージ対応点と組み合わされる。プロジェクタ・ピクセル対応点がパターン検出の結果として測定されたあらゆるカメラ・ピクセルにおいて、そのカメラ・ピクセルにおけるスクリーン面の3D位置は、対応するプロジェクタ・ピクセルに割り当てられる。これは、プロジェクタ・ピクセルとその特定のピクセルに対応する投影面上の既知の3D点との間の対応関係のリストを決定する。
【0064】
ブロック218において、各プロジェクタに関して、投影面に対するプロジェクタの錐台を計算する。これは、3D投影面上の3D位置を2Dプロジェクタ・ピクセルにマッピングする投影マトリクス又は錐台としてもたらされる。幾つかの例において、異常値フィルタリングを利用して、物体から離れる点をフィルタリングする。係るフィルタリングは、RANSACフィルタリングであることができる。これはDLTにより実行されることができ、この場合、最初の解法は、FOVパラメータを含む、各プロジェクタの錐台を決定するための非線形最適化のための最初の推定として使用される。また、各錐台は、レンズ歪みパラメータのような、各プロジェクタの歪みパラメータも含むことができる。
【0065】
随意に、ブロック218における投影面に対するプロジェクタ・ピクセルの計算されたマッピングは、ユーザにより手動で調整または洗練(例えば、微調整)され得る。図13は、投影面上へのプロジェクタ・ピクセルのマッピングが計算されたプロジェクタ錐台および関連したパラメータにおける何らかのエラーを考慮するために手動で調整されることを可能にする格子ベースの調整(例えば、洗練または微調整)ツールを表示するグラフィカル・ユーザ・インターフェース(GUI)1300を示す。この例において、格子1310は、投影面1320のモデルの上へ重ね合わせられる。ユーザは、格子1310と投影面1320のモデルとの位置合わせを調整するために、格子点の何れかをクリック及びドラッグすることにより、較正を調整または洗練する場合がある。
【0066】
例えば、投影されたイメージ・コンテンツが物理的な投影物体に適切に位置合わせされていない、又は混合区域において、複数のプロジェクタからのピクセルが互いに僅かにずれている場合がある、表示の幾つかの領域が存在する場合がある。これらの場合、格子1310が各プロジェクタに設けられ、この場合、各格子の交点は、投影されたイメージ・コンテンツを物理的な投影物体上の正確に位置合わせされた位置へ、又は他の重なるプロジェクタの投影されたイメージとの位置合わせへドラッグするために、二次元のプロジェクタ像空間内でシフトされ得る。
【0067】
ブロック220において、基準テスト・イメージが随意に表示されて、較正されたプロジェクタの位置合わせを披露することができる。
【0068】
ブロック222において、較正パラメータ及び関連した手動の調整/微調整の修正は、随意にプロプライエタリ・ソフトウェア開発キットを組み込まれるサード・パーティのメディアサーバにより使用するために、例えばプロプライエタリOLファイル・フォーマットでエクスポートされ得る。
【0069】
幾つかの例において、較正後、後続の再較正が実施され得る。これは、プロジェクタ及びカメラがカメラ・イメージにおける制御点の位置を更新する(例えば、ブロック212において)ことをユーザに要求する代わりに、それらの元の位置から僅かにシフトし、カメラの位置とプロジェクタの位置が新たなパターン投影および検出結果(カメラ対プロジェクタの変換を確立するカメラ対プロジェクタの対応関係)に基づいて微調整プロセス又は最適化プロセスを介して更新される場合に、行われ得る。この最適化プロセスは、現在のカメラ及びプロジェクタの錐台値の最初の解法として、先の較正されたプロジェクタ及びカメラの錐台を使用する。次いで、投影面の先の既知の3D幾何学的形状、並びに現在のカメラ対プロジェクタの対応関係を用いて、カメラ及びプロジェクタの錐台値は、現在のカメラ対プロジェクタの対応関係の再投影エラーを最小限にする非線形微調整プロセスを介して更新される。例えば、カメラに点位置が与えられると、投影面は、カメラのその位置に関して投影面上の3D位置を生成するために、その現在の錐台値を用いて、そのカメラへ投影され得る。この3D位置は、プロジェクタの2Dピクセル位置を生成するために、その現在の錐台値を用いてプロジェクタへ投影され得る。次いで、再投影エラーが、このピクセル位置をパターン検出の結果により測定されたそれと比較することにより、計算され得る。次いで、カメラ及びプロジェクタの錐台は、スパース・レーベンバーグ・マルカート(sparse Levenberg-Marquardt)のような、非線形最適化技術を用いてこの再投影を低減するために洗練され得る。
【0070】
III. 混合マップ
【0071】
図7は、本開示の1つ又は複数の態様による、混合マップを計算する方法である。
【0072】
ブロック702において、既知のプロジェクタ錐台が提供される。これは、例えば図2のプロジェクション・マッピング方法から計算され得る。
【0073】
ブロック704において、輪郭イメージが各プロジェクタのために生成される。これは、図8A図8Bに示され、図8Aは第1のプロジェクタ用の輪郭イメージを表わし、図8Bは第2のプロジェクタ用の輪郭イメージを表わす。
【0074】
そのように行う際、シーンは、各プロジェクタ毎に一度撮像される。次いで、シーンは、ワイヤフレーム・モードでプロジェクタ・イメージへと描画される(全ての三角形が黒色線としてそれらのエッジのみで描画される)。これは、三角形のエッジ(辺)の幅を人工的に増大させるために、僅かに増加した線の厚みでもって行われる。次に、シーンは、背景色で塗りつぶされた全ての三角形でもって再び描画される。この第2のレンダリング・パスは、ワイヤフレーム・モードで描画されたシーンの上面にわたって実施される。当該結果は、先のレンダリング・パスのステップから黒色で輪郭を描かれた何らかの輪郭を背後に残し、この場合、現在のプロジェクタにおける影領域の始まりを示すシーンの奥行きにおいて突然の変化がある。
【0075】
ブロック706において、輪郭イメージを用いて、各プロジェクタに関して距離変換イメージを計算する。これは、図9A図9Bに示され、図9Aは、図8Aの輪郭イメージの距離変換イメージを表わし、図9Bの距離変換イメージは、図8Bの輪郭イメージの距離変換イメージを表す。距離変換イメージは、重みイメージを表わし、この場合、当該重みは、各ピクセルが最も近い輪郭線から離れるにつれて増加する。黒色ピクセルは、プロジェクタが投影できない領域である。
【0076】
ブロック708において、混合重みイメージが各プロジェクタのために生成される。混合重みイメージは、複数の因子の1つ又は複数に基づいて生成され得る。
【0077】
1つの因子(因数)は、プロジェクタの中心で大きく且つプロジェクタのエッジまで滑らかに消えていく、空間的に変化する重み関数である。これは、各プロジェクタの混合の寄与を、それがそのイメージ境界に近付くにつれて低減するように設計される。
【0078】
各プロジェクタにおいて、図10A図10Bに示された別の因子は、スクリーン・ピクセルに対する入射角により決定される(即ち、プロジェクタがピクセルにおいて表面に対して大きな傾斜角を有する場合、重みは、真正面で見られる表面と比べて低減される)。
【0079】
別の因子は、各プロジェクタ用の距離変換イメージである。全ての因子は、各プロジェクタの全てのピクセルにおいて最終混合重みを生成するために乗法的に組み合わされる。
【0080】
ブロック710において、最終混合マップが、上記の入力を用いて各プロジェクタのために生成される。これは、図11A図11Bとして示され、図11Aは、第1のプロジェクタに対応し、図11Bは第2のプロジェクタに対応する。各プロジェクタに関して、最終混合マップを生成するために、最初に他のプロジェクタに対する対応するイメージを生成する。これは、図12A図12Bに示される。これは、影を生成するためにグラフィックス・エンジンにおいて使用されるプロセスに類似したプロセスを用いて作成される。シーンをプロジェクタAへ引き入れ(draw:描画する)、この場合、各シーンの頂点の色は、オクルージョンを正確に考慮して、当該頂点がプロジェクタBにおいてマッピングされる位置となる。この結果として生じる対応イメージは、スクリーン上で現在のプロジェクタの任意の所与のピクセルと一致する、他のプロジェクタのピクセル位置を求めるために使用され得るルックアップテーブルとして機能する。
【0081】
次に、対応マップを用いて、各ピクセルにおける全てのプロジェクタからの総計の混合重みが求められる。次いで、各プロジェクタに関して、各ピクセルにおいて、対応マップを用いて、部分的に重なるプロジェクタにおける対応ピクセル位置が探索される。部分的に重なるプロジェクタにおけるピクセル位置は、プロジェクタ表面上のその点におけるそれらの対応する混合重みを探索するために使用される。次いで、全てのプロジェクタ(現在のプロジェクタを含む)からの混合重みは、この位置における全ての部分的に重なるプロジェクタからの総計の混合重みを求めるために合算される。最終混合重み(最終的な混合重み)は、全てのプロジェクタの混合重みが合計で1.0になるように、結果を正規化するために、計算された総計で各プロジェクタの重みを除算することにより計算される。ひとたび最終混合重みイメージが全てのプロジェクタに対して計算されれば、随意に小さなぼけ効果が混合を滑らかにするために適用される。最終混合マップが生成された状態で、1つ又は複数のイメージ又はパターンが、当該最終混合マップに基づいて、投影面上へプロジェクタにより表示され得る。
【0082】
前述のことは、本発明の例示的な実施形態の詳細な説明である。様々な変形および追加が本発明の思想および範囲から逸脱せずに行われ得る。上述された様々な実施形態のそれぞれの特徴は、関連した新たな実施形態における特徴の組み合わせの多様性を提供するために必要に応じて、他の説明される実施形態の特徴と組み合わせられ得る。更に、前述のことは、本発明の装置および方法の多数の別個の実施形態を説明するが、本明細書で説明されたことは、本発明の原理に関する応用形態の単なる実例である。例えば、本明細書で使用される限り、用語「プロセス」及び/又は「プロセッサ」は、様々な電子ハードウェア及び/又はソフトウェアベースの機能およびコンポーネント(及び代わりに機能「モジュール」又は「要素」と呼ばれ得る)を含むように広く解釈されるべきである。更に、図示されたプロセス又はプロセッサは、他のプロセス及び/又はプロセッサと組み合わせられ得る、又は様々なサブプロセス又はサブプロセッサへ分けられ得る。係るサブプロセス及び/又はサブプロセッサは、本明細書の実施形態に従って、様々に組み合わせられ得る。同様に、本明細書の任意の機能、プロセス及び/又はプロセッサは、電子ハードウェア、プログラム命令の持続性コンピュータ可読媒体からなるソフトウェア、又はハードウェア及びソフトウェアの組み合わせを用いて具現化され得る。更に、本明細書で使用される限り、「垂直」、「水平」、「上」、「下」、「底部」、「上部(頂部、表面)」、「側部」、「前部」、「後部」、「左」、「右」などのような様々な方向性および配置の用語は、相対的な慣習としてのみ使用され、重力の作用方向のような、固定座標空間に対する絶対的な方向/配置として使用されていない。更に、用語「実質的に」又は「約」は、所与の測定値、値または指標に関して利用される場合、それは、所望の結果を達成するための標準的な動作範囲内にある量を意味するが、固有の不正確さ及びシステムの許容誤差内のエラー(例えば、1~5%)に起因して、多少のばらつきを含む。従って、本説明は、単なる例示として解釈されることが意図されており、その他の点では本発明の範囲を制限することは意図されていない。
図1
図2
図3A
図3B
図4A
図4B
図4C
図4D
図4E
図4F
図4G
図4H
図4I
図4J
図4K
図4L
図4M
図4N
図4O
図4P
図5A
図5B
図5C
図5D
図5E
図5F
図5G
図5H
図5I
図5J
図5K
図5L
図5M
図5N
図5O
図5P
図6A
図6B
図7
図8A
図8B
図9A
図9B
図10A
図10B
図11A
図11B
図12A
図12B
図13
【国際調査報告】