知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-25
(45)【発行日】2024-04-02
(54)【発明の名称】投影システム、投影方法、プログラム
(51)【国際特許分類】
H04N 5/74 20060101AFI20240326BHJP
G03B 21/00 20060101ALI20240326BHJP
G09G 5/00 20060101ALI20240326BHJP
G09G 5/10 20060101ALI20240326BHJP
G09G 5/37 20060101ALI20240326BHJP
【ＦＩ】
H04N5/74 D
G03B21/00 D
G09G5/00 X
G09G5/00 510B
G09G5/00 510V
G09G5/00 550C
G09G5/10 Z
G09G5/37 320
【請求項の数】
5
(21)【出願番号】P 2020080814
(22)【出願日】2020-04-30
(65)【公開番号】P2021175166
(43)【公開日】2021-11-01
【審査請求日】2023-02-13
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】高橋 直人
【審査官】武田 悟
(56)【参考文献】
【文献】特開２０１４－２２０６５６（ＪＰ，Ａ）
【文献】特開２０１６－７５８８３（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７８２００６７（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／７４
Ｇ０３Ｂ ２１／００
Ｇ０９Ｇ ５／００ － ５／４２
(57)【特許請求の範囲】
【請求項1】
複数の投影装置に情報処理装置がそれぞれ画像データを送信し、前記複数の投影装置がそれぞれ画像を投影体に投影する投影システムであって、前記情報処理装置は、
前記投影体に投影された画像の撮像画像から、隣り合った前記画像の重複領域を検出する重複領域検出部と、
前記重複領域検出部が検出した前記重複領域の画像の階調を０～２５５のフルレンジに変更し、非重複領域の画像の階調を１６～２３５のリミテッドレンジに変更する階調変更部と、
前記階調変更部が階調を変更した画像の前記重複領域の輝度を低減する輝度調整部と、
前記輝度調整部が前記重複領域の輝度を低減した画像データを複数の投影装置に送信する投影画像出力部と、を有し、
前記複数の投影装置は前記投影画像出力部が送信した前記画像データを受信して、それぞれが画像を投影することを特徴とする投影システム。
【請求項2】
前記階調変更部は、階調を変更する前の画像の階調がフルレンジの場合、前記重複領域の画像の階調を変更せず、前記非重複領域の画像の階調を１６～２３５のリミテッドレンジに変更することを特徴とする請求項１に記載の投影システム。
【請求項3】
前記階調変更部は、階調を変更する前の画像の階調がリミテッドレンジの場合、前記重複領域の画像の階調をフルレンジに変更し、前記非重複領域の画像の階調を変更しないことを特徴とする請求項１に記載の投影システム。
【請求項4】
複数の投影装置に情報処理装置がそれぞれ画像データを送信し、前記複数の投影装置がそれぞれ画像を投影体に投影する投影システムが行う投影方法であって、前記情報処理装置は、
重複領域検出部が、前記投影体に投影された画像の撮像画像から、隣り合った前記画像の重複領域を検出するステップと、
階調変更部が、前記重複領域検出部が検出した前記重複領域の画像の階調を０～２５５のフルレンジに変更し、非重複領域の画像の階調を１６～２３５のリミテッドレンジに変更するステップと、
輝度調整部が、前記階調変更部が階調を変更した画像の前記重複領域の輝度を低減するステップと、
投影画像出力部が、前記輝度調整部が前記重複領域の輝度を低減した画像データを複数の投影装置に送信するステップと、を有し、
前記複数の投影装置が、前記投影画像出力部が送信した前記画像データを受信して、それぞれが画像を投影するステップと、
を有することを特徴とする投影方法。
【請求項5】
複数の投影装置に画像データを送信する情報処理装置を、投影体に投影された画像の撮像画像から、隣り合った前記画像の重複領域を検出する重複領域検出部と、
前記重複領域検出部が検出した前記重複領域の画像の階調を０～２５５のフルレンジに変更し、非重複領域の画像の階調を１６～２３５のリミテッドレンジに変更する階調変更部と、
前記階調変更部が階調を変更した画像の前記重複領域の輝度を低減する輝度調整部と、
前記輝度調整部が前記重複領域の輝度を低減した前記画像データを複数の投影装置に送信する投影画像出力部、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投影システム、投影方法、及び、プログラムに関する。
【背景技術】
【0002】
複数台のプロジェクタから投影して１つの大きな画面を形成するマルチプロジェクションシステムの利用が増えている。マルチプロジェクションシステムでは、複数台のプロジェクタがそれぞれ画像を投影して１つの大きな画像を表示するため、画像間に隙間ができないように、設置者は隣り合うプロジェクタが投影する画像の一部が重なるようにプロジェクタを配置する。
【0003】
そして、プロジェクタに画像を送信する情報処理装置は各画像の重複部分が目立たなくなるような画像処理を行う（例えば、特許文献１参照。）。特許文献１には、デジタルカメラにより撮像した基準画像中の特徴点の位置を検出し、その検出された各プロジェクタの４つ以上の特徴点の位置に基づき、各プロジェクタの投影画像を変形し、重複領域を検出してブレンディング処理を施し、複数のプロジェクタからこの変形及びブレンディング処理された画像を互いに重複領域を持たせつつスクリーン上に並べることによって、１つの高解像度な画像を投影する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、重複領域の黒つぶれを抑制しながら明るさを抑制することが困難であるという問題があった。すなわち、複数の画像が重なる重複部分は非重複領域よりも明るさが増してしまうため、輝度調整（ブレンディング）により輝度を落とす処理が行われる。比較的明るい画像では輝度調整が有効であるが、暗い画像に関しては単に輝度調整すると黒つぶれを起こしやすくなる。このため、ある程度以下には輝度を落とすことができない。この結果、重複領域が非重複領域よりも不自然に明るくなってしまう場合があった。
【0005】
本発明は、上記課題に鑑み、重複領域の黒つぶれを抑制しながら明るさを抑制することができる投影システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、複数の投影装置に情報処理装置がそれぞれ画像データを送信し、前記複数の投影装置がそれぞれ画像を投影体に投影する投影システムであって、前記情報処理装置は、前記投影体に投影された画像の撮像画像から、隣り合った前記画像の重複領域を検出する重複領域検出部と、前記重複領域検出部が検出した前記重複領域の画像の階調を０～２５５のフルレンジに変更し、非重複領域の画像の階調を１６～２３５のリミテッドレンジに変更する階調変更部と、前記階調変更部が階調を変更した画像の前記重複領域の輝度を低減する輝度調整部と、前記輝度調整部が前記重複領域の輝度を低減した画像データを複数の投影装置に送信する投影画像出力部と、を有し、前記複数の投影装置は前記投影画像出力部が送信した画像データを受信して、それぞれが画像を投影することを特徴とする。
【発明の効果】
【0007】
重複領域の黒つぶれを抑制しながら明るさを抑制することができる投影システムを提供することができる。
【図面の簡単な説明】
【0008】
【図1】情報処理装置が行う画像処理を模式的に示す図である。
【図2】本実施形態による投影システムの全体構成を示す概略図である。
【図3】プロジェクタのハードウェア構成図の一例である。
【図4】情報処理装置のハードウェア構成図の一例である。
【図5】本実施形態による投影システムの機能ブロック図である。
【図6】本実施形態による投影システムで用いられる２種類の校正用画像を例示する図である。
【図7】本実施形態による校正用シーン選択部が順次選択する、第１の態様の校正用投影シーン及びその撮像方法を説明する図である。
【図8】本実施形態による校正用シーン選択部が順次選択する、第２の態様の校正用投影シーン及びその撮像方法を説明する図である。
【図9】本実施形態による各種補正係数の計算処理及び補正係数に基づく補正処理の全体的な処理の流れを示すフローチャート図の一例である。
【図10】本実施形態による補正係数算出部が実行する、幾何補正係数の計算処理を示すフローチャート図の一例である。
【図11】第１の態様の校正用投影シーンにおいて各校正用投影シーンを撮像して準備された３つの校正用撮像画像と、これらの撮像画像間各々で計算される射影変換係数について説明する図である。
【図12】第２の態様の校正用投影シーンにおいて、各校正用投影シーンを撮像して準備された２つの校正用撮像画像と、これら撮像画像間で計算される射影変換係数について説明する図である。
【図13】共通座標系上に統合された各プロジェクタの格子点座標の集合を模式的に示す図である。
【図14】統合された格子点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。
【図15】共通座標系上における３つのプロジェクタの投影可能領域、補正後投影目標領域及び投影コンテンツ画像を説明する図である。
【図16】プロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の座標との対応付けを説明する図である。
【図17】本実施形態による補正係数算出部が実行する、ブレンディング係数の計算処理を示すフローチャート図の一例である。
【図18】プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図の一例である。
【図19】プロジェクタの入出力特性を示すグラフの一例である。
【図20】（Ａ）幾何補正係数及び（Ｂ）ブレンディング係数のデータ構造を例示する図である。
【図21】投影システムにおける階調補正を説明する図である。
【図22】フルレンジからリミテッドレンジへの階調補正を説明する図である。
【図23】リミテッドレンジからフルレンジへの階調補正を説明する図である。
【図24】補正処理部が実行する、補正係数に基づく補正処理を説明する図。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、情報処理装置と情報処理装置が行う投影方法について説明する。
【0010】
＜処理の概略＞
まず、図１を用いて情報処理装置が行う処理の概略を説明する。図１は情報処理装置が行う画像処理を模式的に示す図である。図１では情報処理装置と３台のプロジェクタ（投影装置の一例）１５０ａ～１５０ｃが接続されている。
まず、図１を用いて情報処理装置が行う処理の概略を説明する。図１は情報処理装置が行う画像処理を模式的に示す図である。図１では情報処理装置と３台のプロジェクタ（投影装置の一例）１５０ａ～１５０ｃが接続されている。
【0011】
情報処理装置１１０は３つの画像をそれぞれ各プロジェクタに送信する。３つの画像は重複領域を有するように予め用意されていてもよいし、情報処理装置１１０が１つの画像を３つに分割してもよい。分割の際、情報処理装置１１０は分割後の各画像の端部を予め決まった幅だけ重複させて分割する。このようにして分割され投影される画像を投影画像という。後述するように、３つのプロジェクタ１５０ａ～１５０ｃが個別に投影画像を投影した状態で、３つの投影画像を１つの撮像装置で撮像する。撮像された画像から情報処理装置１１０が重複領域を検出する。したがって、各投影画像の重複領域が明らかになる。
【0012】
本実施形態の情報処理装置１１０は投影画像の重複領域の諧調を非重複領域よりも広くすることが特徴の１つとなっている。例えば、投影画像の非重複領域のＲＧＢレンジをリミテッドレンジ（例：16～235）とし、重複領域はフルレンジ（0～255）とする。
【0013】
各プロジェクタ１５０ａ～１５０ｃは、ＲＧＢレンジをフルレンジとして投影する。プロジェクタ１５０ａには通常、入力信号がリミテッドレンジかフルレンジかをユーザが設定する項目を有している。本実施形態ではフルレンジに設定される。
【0014】
このような重複領域の画像処理により、リミテッドレンジに変換された非重複領域の黒レベルは少し持ち上げられ（最低でも１６なので明るくなる）、フルレンジとなっている重複領域は非重複領域より暗く投影されることになる（最低では０の値をとれる）。
【0015】
なお、重複領域が非重複領域の明るさと同等となるように情報処理装置１１０がＲＧＢレンジの値を決定するので、画像の重ね合わせにより重複領域が明るくなることは抑制される。
【0016】
したがって、情報処理装置１１０は重複領域を暗く表示することができる。重複領域が暗くなるように補正されたわけではないので、黒つぶれしにくくなっている。
【0017】
＜用語について＞
重複領域とは複数の画像が重なっている領域である。重なっている領域のみを検出することが好ましいが、重なっていない領域が一部に含まれてもよい。すなわち、一部でも重なっている領域があればよい。
重複領域とは複数の画像が重なっている領域である。重なっている領域のみを検出することが好ましいが、重なっていない領域が一部に含まれてもよい。すなわち、一部でも重なっている領域があればよい。
【0018】
画像の階調とは色の濃さや明るさを何段階で表現することができるかを表す数である。ＲＧＢの各色ごとに何ビットと表現される。本実施形態では元の画像の階調が２５６階調であるとして説明するが、これ未満でもより多くてもよい。
＜全体構成＞
図２は、本実施形態による投影システム１００の全体構成を示す概略図である。図２に示す投影システム１００は、システムの全体制御を行う情報処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０とを有している。なお、説明する実施形態では、投影システム１００は、３台のプロジェクタ１５０ａ～１５０ｃの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆる大画面のマルチ・プロジェクションに対応した構成とされている。
＜全体構成＞
図２は、本実施形態による投影システム１００の全体構成を示す概略図である。図２に示す投影システム１００は、システムの全体制御を行う情報処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０とを有している。なお、説明する実施形態では、投影システム１００は、３台のプロジェクタ１５０ａ～１５０ｃの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆる大画面のマルチ・プロジェクションに対応した構成とされている。
【0019】
情報処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、情報処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよい。
【0020】
プロジェクタ１５０は、それぞれ、液晶方式、ＣＲＴ（Cathode Ray Tube）方式、ＤＬＰ（Digital Light Processing）方式、又は、ＬＣＯＳ（ Liquid Crystal On Silicon）方式などを採用する投影装置である。
【0021】
カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（ Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢカメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてもよいし、あるいは、スマートフォン端末やタブレット端末などの汎用デバイスに組み込まれたデバイスとして構成されてもよい。
【0022】
本投影システム１００には、投影面を提供するスクリーン１０２が設置されている。プロジェクタ１５０は、それぞれ、プロジェクタ間で投影中心の位置をずらしながらスクリーン１０２上に投影するように設置されている。情報処理装置１１０は、複数のプロジェクタ１５０ａ～１５０ｃに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、情報処理装置１１０から本プロジェクタ１５０に入力される投影画像を、投影体であるスクリーン１０２上に投影する。スクリーン１０２上には、図２に示すように、複数のプロジェクタ１５０ａ～１５０ｃ各々からの複数の投影像１０４ａ～１０４ｃが投影されている。複数のプロジェクタ１５０ａ～１５０ｃからの複数の投影像１０４ａ～１０４ｃは、投影面上で重なり合わせられて、単一の投影像１０６に合成される。
【0023】
投影システム１００は、投影モード中、上述したように複数のプロジェクタ１５０ａ～１５０ｃを用いて単一の投影像１０６を投影するが、上述した投影モード前に、通常、校正処理が行われる。図２に示すカメラ１６０は、この校正処理の際に用いられる。情報処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用画像を出力し、スクリーン１０２上に校正用投影像を投影させる。そして、所定のプロジェクタ１５０により投影されるスクリーン１０２上の投影像１０４がカメラ１６０の画角内に入るように、カメラ視点及び視野が設定され、カメラ１６０により校正のため複数回の撮像が行われることになる。
【0024】
カメラ１６０で撮像された撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）は、それぞれ、無線ＬＡＮ（ Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、又は有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、情報処理装置１１０へ送信される。あるいは、カメラ１６０で撮像された校正用撮像画像は、ＳＤカード（登録商標）やコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、情報処理装置１１０で読み取られる。
【0025】
情報処理装置１１０は、入力された複数の校正用撮像画像を用いて、複数のプロジェクタ１５０ａ～１５０ｃの投影像各々の位置合わせ、スケール合わせ、歪み補正、及び重複領域の輝度調整などを行うための各種補正係数を計算する。情報処理装置１１０は、投影モード中、計算された各種補正係数に基づき、プロジェクタ１５０ａ～１５０ｃ各々に投影させるための補正された投影画像を生成する。
【0026】
＜ハードウェア構成＞
＜＜プロジェクタ＞＞
図３は、プロジェクタのハードウェア構成図である。図３に示すように、プロジェクタ１５０は、ＣＰＵ（Central Processing Unit）８０１、ＲＯＭ（Read Only Memory）８０２、ＲＡＭ（Random Access Memory）８０３、メディアＩ／Ｆ(Interface)８０７、操作部８０８、電源スイッチ８０９、バスライン８１０、ネットワークＩ／Ｆ８１１、ＬＥＤ（Light Emitting Diode）駆動回路８１４、ＬＥＤ光源８１５、投写デバイス８１６、投写レンズ８１７、外部機器接続Ｉ／Ｆ(Interface)８１８、ファン駆動回路８１９、冷却ファン８２０を備えている。
＜＜プロジェクタ＞＞
図３は、プロジェクタのハードウェア構成図である。図３に示すように、プロジェクタ１５０は、ＣＰＵ（Central Processing Unit）８０１、ＲＯＭ（Read Only Memory）８０２、ＲＡＭ（Random Access Memory）８０３、メディアＩ／Ｆ(Interface)８０７、操作部８０８、電源スイッチ８０９、バスライン８１０、ネットワークＩ／Ｆ８１１、ＬＥＤ（Light Emitting Diode）駆動回路８１４、ＬＥＤ光源８１５、投写デバイス８１６、投写レンズ８１７、外部機器接続Ｉ／Ｆ(Interface)８１８、ファン駆動回路８１９、冷却ファン８２０を備えている。
【0027】
これらのうち、ＣＰＵ８０１は、プロジェクタ全体の動作を制御する。ＲＯＭ８０２は、ＣＰＵ８０１の駆動に用いられるプログラムを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される。メディアＩ／Ｆ８０７は、フラッシュメモリ等の記録メディア８０６に対するデータの読み出し又は書き込み（記憶）を制御する。
【0028】
操作部８０８は、種々のキー、ボタン及びＬＥＤ等が配設されており、ユーザによるプロジェクタ１５０の電源のＯＮ／ＯＦＦ以外の各種操作を行うために使用される。例えば、操作部８０８は、投写画像の大きさの調整操作、色調の調整操作、ピント調整操作、キーストン調整操作等の指示操作を受け付けて、受け付けた操作内容をＣＰＵ８０１に出力する。
【0029】
電源スイッチ８０９は、プロジェクタ１５０の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。バスライン８１０は、図３に示されているＣＰＵ８０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0030】
ネットワークＩ／Ｆ８１１は、インターネット等の通信ネットワークを利用してデータ通信をするためのインターフェースである。ＬＥＤ駆動回路８１４は、ＣＰＵ８０１の制御下で、ＬＥＤ光源８１５の点灯及び消灯を制御する。
【0031】
ＬＥＤ光源８１５は、ＬＥＤ駆動回路８１４の制御によって点灯されると、投写光を投写デバイス８１６に照射する。投写デバイス８１６は、外部機器接続Ｉ／Ｆ８１８等を介して与えられた画像データに基づいて、空間光変調方式によりＬＥＤ光源８１５からの投写光を変調して得た変調光を、投写レンズ８１７を通して、スクリーンの投写面へ画像として投写する。投写デバイス８１６としては、例えば、液晶パネル又はＤＭＤ（Digital Micromirror Device）等が用いられている。上記ＬＥＤ駆動回路８１４、ＬＥＤ光源８１５、投写デバイス８１６及び投写レンズ８１７は、全体として、画像データに基づいて投写面に投写画像を投写する投写部（投写手段）として機能している。
【0032】
外部機器接続Ｉ／Ｆ８１８は、直接、ＰＣ(Personal Computer)が接続され、ＰＣとの間で、制御信号や画像データを取得する。
【0033】
ファン駆動回路８１９は、ＣＰＵ８０１及び冷却ファン８２０に接続されており、ＣＰＵ８０１からの制御信号に基づいて、冷却ファン８２０の駆動／駆動停止を行う。
【0034】
冷却ファン８２０は、回転することで、プロジェクタ１５０内部の空気を排気して、プロジェクタ１５０内部を冷却する。
【0035】
また、ＣＰＵ８０１は、電源電力が供給されると、ＲＯＭ８０２に予め記憶されている制御プログラムにしたがって起動し、ＬＥＤ駆動回路８１４に制御信号を与えてＬＥＤ光源８１５を点灯させるとともに、ファン駆動回路８１９に制御信号を与えて冷却ファン８２０を所定の定格回転数で回転させる。また、プロジェクタ１５０は、電源回路２１からの電源電力の供給が開始されると、投写デバイス８１６が画像表示可能状態になり、更に、他の種々の構成要素へ電源回路２１から電力が供給される。
【0036】
また、プロジェクタ１５０は、電源スイッチ８０９がＯＦＦ操作されると、電源スイッチ８０９から電源ＯＦＦ信号がＣＰＵ８０１に送られ、ＣＰＵ８０１は、電源ＯＦＦ信号を検知すると、ＬＥＤ駆動回路８１４へ制御信号を与えてＬＥＤ光源８１５を消灯させる。ＣＰＵ８０１は、その後、所定時間が経過すると、ファン駆動回路８１９へ制御信号を与えて冷却ファン８２０を停止させるとともに、自身で自身の制御処理を終了させ、最後に電源回路２１へ指示を与えて電源電力の供給を停止させる。
【0037】
＜＜情報処理装置＞＞
図４は、情報処理装置１１０のハードウェア構成図である。図４に示されているように、情報処理装置１１０は、コンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
図４は、情報処理装置１１０のハードウェア構成図である。図４に示されているように、情報処理装置１１０は、コンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
【0038】
これらのうち、ＣＰＵ５０１は、情報処理装置全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0039】
また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0040】
【0041】
＜＜全体機能構成＞＞
図５は、本実施形態による投影システム１００の機能ブロック図である。図５に示す投影システム１００は、情報処理装置１１０上で動作する複数の機能ブロックを含む。情報処理装置１１０は、コンテンツ格納部１１２と、プロジェクタ毎の補正処理部１１４ａ～１１４ｃと、プロジェクタ毎の投影画像出力部１１６ａ～１１６ｃと、プロジェクタ毎の切替部１２２ａ～１２２ｃとを含み構成される。情報処理装置１１０は、更に、校正用画像格納部１１８と、校正用シーン選択部１２０と、校正用撮像画像入力部１２４と、補正係数算出部１３０とを有する。
図５は、本実施形態による投影システム１００の機能ブロック図である。図５に示す投影システム１００は、情報処理装置１１０上で動作する複数の機能ブロックを含む。情報処理装置１１０は、コンテンツ格納部１１２と、プロジェクタ毎の補正処理部１１４ａ～１１４ｃと、プロジェクタ毎の投影画像出力部１１６ａ～１１６ｃと、プロジェクタ毎の切替部１２２ａ～１２２ｃとを含み構成される。情報処理装置１１０は、更に、校正用画像格納部１１８と、校正用シーン選択部１２０と、校正用撮像画像入力部１２４と、補正係数算出部１３０とを有する。
【0042】
コンテンツ格納部１１２は、単一の投影像１０６として投影する対象であるコンテンツ画像のファイルを格納する。コンテンツ格納部１１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアの記憶領域として構成される。なお、投影対象となるコンテンツ画像は、ワードプロセッサやプレゼンテーションなどのアプリケーションでファイルを実行した場合の表示画面として与えられてもよいし、静止画像として与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。また、コンテンツ画像は、ファイルとして与えられる必要はなく、情報処理装置１１０がオペレーティング・システムの実行により生成する画面、情報処理装置１１０に外部入力される映像として与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。
【0043】
補正処理部１１４ａ～１１４ｃは、投影システム１００に含まれるプロジェクタ１５０ａ～１５０ｃに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。なお、補正処理部１１４ａ～１１４ｃそれぞれが実行する処理については詳細を後述する。
【0044】
投影画像出力部１１６ａ～１１６ｃは、投影システム１００に含まれるプロジェクタ１５０ａ～１５０ｃに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力を含み、接続されるプロジェクタに対し、切替部１２２で選択された入力画像を映像出力する。
【0045】
切替部１２２ａ～１２２ｃは、投影システム１００の動作モードに応じて、画像のフローを切り替える。コンテンツ画像を投影する投影モード中は、切替部１２２は、補正処理部１１４の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、投影モード中は、それぞれ、対応する補正処理部１１４によるコンテンツ画像に基づく処理結果を映像出力する。一方、校正モード中は、切替部１２２は、後述する校正用シーン選択部１２０の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、校正モード中は、それぞれ、校正用シーン選択部１２０で選択して出力された校正用画像を映像出力する。
【0046】
校正用画像格納部１１８は、校正モード中にプロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１１８は、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアの記憶領域として構成される。校正用画像は、典型的には、事前に準備された静止画像として与えられる。
【0047】
ここで、校正用画像は、投影像の格子点を規定する格子パターン及び投影像の位置合わせ点を規定する位置合わせパターンの両方又は一方を含むものである。図６は、本実施形態による投影システム１００で用いられる２種類の校正用画像を例示する図である。図６（Ａ）は、位置合わせパターン２０２及び格子パターン２０６の両方を含む第１校正用画像２００を例示する。図６（Ｂ）は、位置合わせパターン２１２のみを含む第２校正用画像２１０を例示する。
【0048】
格子パターン２０６は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。スクリーン１０２上に投影された格子パターン２０６を撮像することにより、投影像の台形歪みや局所的な歪みを検出することができる。図６（Ａ）に例示する第１校正用画像２００では、格子パターン２０６は、プロジェクタ１５０の全投影領域を横に１０ブロック、縦に７ブロックに分割
し、そのうちの中央の８×５ブロックに黒地上に白ベタの円２０４を格子状に並べたものが用いられている。
し、そのうちの中央の８×５ブロックに黒地上に白ベタの円２０４を格子状に並べたものが用いられている。
【0049】
しかしながら、格子パターン２０６は、特に限定されるものではなく、図６（Ａ）のような背景に対してコントラストを有する円形状を２次元に配列した水玉模様のほか、背景に対してコントラストを有するドットを２次元に配列したドット模様、互いにコントラストを有する２色の正方形マスが水平及び垂直方向に交互に配列された市松模様、背景に対してコントラストを有するラインを２次元に配列した格子模様など、種々の模様を用いることがきる。プロジェクタ１５０の全投影領域の分割方法も上述した態様に限定されるものではなく、要求される精度や情報処理装置１１０の性能に応じて、領域の分割数や領域の分割方法を決定すればよい。
【0050】
位置合わせパターン２０２，２１２は、撮像画像間での投影像の基準位置（位置合わせ点）を規定するものであり、複数の任意の図形要素が所定の位置に配置されてなす模様として構成される。スクリーン１０２上に投影された共通の位置合わせパターン２０２，２１２を収めて複数回撮像することにより、複数の撮像画像間で、位置合わせを行うことができる。
【0051】
位置合わせパターン及び格子パターンの両方を含む第１校正用画像２００においては、位置合わせパターン２０２は、好適には、図６（Ａ）に示すように、格子パターン２０６が配置された領域の周辺の位置に配置することができる。位置合わせパターンのみを含む第２校正用画像２１０においても、図６（Ｂ）に示すように、図６（Ａ）に示した校正用画像と同じ位置（格子パターンが含まれるとしたら配置される領域の周辺の位置）に位置合わせパターン２１２が配置される。
【0052】
図６（Ａ）に例示する第１校正用画像２００では、位置合わせパターン２０２は、プロジェクタ１５０の全投影画像領域の１０×７ブロックの外周の四隅に矩形マーカ２０２ＬＴ，２０２ＲＴ，２０２ＬＢ，２０２ＲＢを配置したものを用いている。図６（Ｂ）に例示する第２校正用画像でも同様に、位置合わせパターン２１２は、１０×７ブロックの外周の四隅に矩形マーカ２１２ＬＴ，２１２ＲＴ，２１２ＬＢ，２１２ＲＢを配置したものを用いている。
【0053】
しかしながら、位置合わせパターン２０２，２１２は、特に限定されるものではない。位置合わせパターン２０２，２１２のマーカの形状は、円形など任意の図形要素としてよいし、マーカの数も、少なくとも４点あればよい。なお、位置合わせのためのマーカ数を多くすることにより、位置合わせ精度を向上させることができる。
【0054】
ここで、再び図５を参照する。本実施形態による校正処理では、複数回に分けて、プロジェクタ１５０の投影像の幾何歪みを検出するための格子パターンの撮像が行われ、位置合わせパターンにより複数の撮像の結果が統合される。校正用シーン選択部１２０は、上述した校正用画像格納部１１８から各校正用画像を読み出し、複数のプロジェクタ１５０ａ～１５０ｃ各々に対し、適切な校正用画像を選択して出力する。ここで、校正用シーン選択部１２０は、複数のプロジェクタ１５０の投影像の位置関係を把握しており、校正用画像は、全体として過不足なく各プロジェクタ１５０の校正結果が得られるように、校正処理の各段階に応じて選択される。少なくとも１つのプロジェクタ１５０で投影させる校正用画像を含む各校正処理の段階におけるシーンを、校正用投影シーンと参照する。
【0055】
校正用シーン選択部１２０により、プロジェクタ１５０各々から、校正用投影シーンに応じた校正用画像が投影されることになる。このとき、ユーザは、カメラ１６０を用いて、校正用投影シーン毎に、投影された校正用投影像が画角に収まるようにして撮像を行う。校正用撮像画像入力部１２４は、カメラ１６０からの無線接続、有線接続、リムーバブル・メディアを介して各撮像画像の入力を受けて、校正処理のために複数の校正用撮像画像を準備する。なお、少なくとも１つの校正用投影シーンにおいては、ユーザは、スクリーンに対して正対して撮像することが求められ、典型的には、１回目の撮像が水準器などを用いてスクリーンに対して正対して行われる。この場合、２回目以降の撮像は、スクリーンに対して正対して行う必要はない。このスクリーン１０２に正対して撮像された校正用撮像画像を基準にして結果の統合が行われる。
【0056】
図２に示すような３台のプロジェクタ１５０ａ～１５０ｃを用いる実施形態においては、図７及び図８に示す２つの態様で校正用投影シーンを構成し、校正用撮像画像を撮像することができる。図７は、第１の態様において、校正用シーン選択部１２０が順次選択する校正用投影シーン及びその撮像方法を説明する図である。図８は、第２の態様において、校正用シーン選択部１２０が順次選択する校正用投影シーン及びその撮像方法を説明する図である。
【0057】
第１の態様では、図７に示すように、３回の撮像に対応した３個の校正用投影シーンが準備される。第１の校正用投影シーンでは、第１プロジェクタ１５０ａが図６（Ａ）に示す第１校正用画像２００を投影し、第２プロジェクタ１５０ｂが図６（Ｂ）に示す第２校正用画像２１０を投影する。第３プロジェクタ１５０ｃは何も投影しない。この第１の校正用投影シーンにおいては、カメラ１６０を用いて、第１プロジェクタ１５０ａ及び第２プロジェクタ１５０ｂの投影像２３０ａ，２３０ｂが視野に収まるように撮像が行われる。
【0058】
第２の校正用投影シーンでは、第１プロジェクタ１５０ａが何も投影せず、第２プロジェクタ１５０ｂが図６（Ａ）に示す第１校正用画像２００を投影し、第３プロジェクタ１５０ｃが図６（Ｂ）に示す第２校正用画像２１０を投影する。第２の校正用投影シーンにおいては、カメラ１６０を用いて、第２プロジェクタ１５０ｂ及び第３プロジェクタ１５０ｃの投影像２３２ｂ，２３２ｃが視野に収まるように撮像が行われる。最後の第３の校正用投影シーンでは、第３プロジェクタ１５０ｃが図６（Ａ）に示す第１校正用画像２００を投影する。第１プロジェクタ１５０ａ及び第２プロジェクタ１５０ｂは何も投影しない。この第３の校正用投影シーンにおいては、第３プロジェクタ１５０ｃの投影像２３４ｃが視野に収まるように撮像が行われる。
【0059】
なお、図７では、投影像を水平方向に３つ並べる３台のプロジェクタ１５０ａ～１５０ｃに対応して３個の校正用投影シーンが準備されている。しかしながら、Ｎ（Ｎ ≧ ２ ）台のプロジェクタ１５０に対して一般化すると、下記のようにＮ個の校正用投影シーンを構成すればよいことになる。すなわち、第ｎ（ １ ≦ ｎ ≦ Ｎ － １ 。）番目の校正用投影シーンは、投影像の配列において、隣接するプロジェクタのうちの一方（ｎ台目）が図６（Ａ）に示すような位置合わせパターン（１台目は位置合わせパターンを必ずしも投影することを要さない。）及び少なくとも格子パターンを含む校正用画像を投影し、かつ、他方（ｎ＋１台目）が図６（Ｂ）に示すような位置合わせパターンのみを含む校正用画像を投影するように準備される。最後となる第Ｎ番目の校正用投影シーンは、最後のプロジェクタ（Ｎ台目）が図６（Ａ）に示すような格子パターン及び位置合わせパターンの両方を含む校正用画像を投影するように準備される。２つの校正用撮像画像において、共通するプロジェクタ１５０が投影する位置合わせパターンを用いて、結果の統合が行われる。
【0060】
上述した第１の態様では、カメラ１６０が一度の撮像で収める範囲が最大でも２台分の投影範囲となるので、台数Ｎが増大したとしても、スクリーン１０２に対する奥行きの制約が緩和されるので、ひいては多様なスクリーンの並べ方に対応することができる。なお、投影像を垂直方向に並べる場合についても、投影像を２次元で一筆書きに並べる場合についても、同様である。
【0061】
第２の態様では、図８に示すように、２回の撮像に対応した２個の校正用投影シーンが準備される。第１の校正用投影シーンでは、第１プロジェクタ１５０ａ及び第３プロジェクタ１５０ｃが図６（Ａ）に示す第１校正用画像２００を投影し、第２プロジェクタ１５０ｂが図６（Ｂ）に示す位置合わせパターンのみの第２校正用画像２１０を投影する。
第２の校正用投影シーンでは、第２プロジェクタ１５０ｂが図６（Ａ）に示す第１校正用画像２００を投影する。第１プロジェクタ１５０ａ及び第３プロジェクタ１５０ｃは何も投影しない。第１の校正用投影シーンにおいては、第１プロジェクタ１５０ａ～第３プロジェクタ１５０ｃの投影像２４０ａ～２４０ｃが、第２の校正用投影シーンにおいては、第２プロジェクタ１５０ｂの投影像２４２ｂが、視野に収まるようにそれぞれカメラ１６０で撮像される。
第２の校正用投影シーンでは、第２プロジェクタ１５０ｂが図６（Ａ）に示す第１校正用画像２００を投影する。第１プロジェクタ１５０ａ及び第３プロジェクタ１５０ｃは何も投影しない。第１の校正用投影シーンにおいては、第１プロジェクタ１５０ａ～第３プロジェクタ１５０ｃの投影像２４０ａ～２４０ｃが、第２の校正用投影シーンにおいては、第２プロジェクタ１５０ｂの投影像２４２ｂが、視野に収まるようにそれぞれカメラ１６０で撮像される。
【0062】
なお、図８では、投影像を水平方向に３つ並べる３台のプロジェクタ１５０ａ～１５０ｃに対応して２個の校正用投影シーンが準備されている。Ｎ（ Ｎ ≧ ３ ）台のプロジェクタ１５０に対し一般化すると、下記のように２個の校正用投影シーンを構成すればよいことになる。すなわち、第１の校正用投影シーンでは、投影像の配列において、複数のプロジェクタ１５０のうちの交互に選択された第１のグループのもの（例えば奇数台目）が少なくとも格子パターンを含む第１校正用画像を投影するように構成される。第２の校正用投影シーンでは、投影像の配列において、上記第１のグループのものにそれぞれ隣接する第２のグループのもの（例えば偶数台目）が格子パターンを投影するように構成される。更に、上記第１の校正用投影シーン及び第２の校正用投影シーンは、少なくとも１つの共通するプロジェクタが位置合わせパターンを投影するように構成される。
【0063】
より好ましくは、第２のグループのもの（例えば偶数台目）が、第１の校正用投影シーンにおいて、位置合わせパターンのみを含む第２校正用画像を投影するように構成され、第２の校正用投影シーンにおいて、格子パターン及び位置合わせパターンの両方を含む第１校正用画像を投影するように構成することができる。
【0064】
上述した第２の態様では、カメラ１６０が一度の撮像で収める範囲が広くなるものの、撮像回数が２回で済むことになる。このため、スクリーン１０２に対する奥行きの制約上の問題が回避できる場合には、校正作業が簡素化される。なお、投影像を垂直方向に並べる場合についても同様である。また、上述した説明では、第１及び第２のグループに対して１回ずつ全体の撮像を行うものとして説明した。しかしながら、他の実施形態では、必要な画角を小さくするために、第１及び第２のグループそれぞれを複数回に分けて分割撮像し、グループ内で共通する位置合わせパターンを介して統合する態様としてもかまわない。
【0065】
ここで、再び図５を参照する。補正係数算出部１３０は、校正用撮像画像入力部１２４により準備された複数の校正用撮像画像を読み出し、補正処理部１１４ａ～１１４ｂに対し設定する各種補正係数を計算する。ここでは、各校正用撮像画像と、上述した校正用シーンとは、対応付けられて校正用撮像画像入力部１２４に与えられているものとする。補正係数算出部１３０は、より詳細には、特徴点抽出部１３２と、格子点変換部１３４と、幾何学的な補正係数を計算する幾何補正係数計算部１３６と、投影像のブレンディングの補正係数を算出する輝度調整部１３８と、階調変更部１３９と、重複領域検出部１４０とを含む。
【0066】
特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から特徴点を抽出する。ここで抽出される特徴点は、校正用画像の格子パターンに対応する、投影像の歪みを示す格子点と、校正用画像の位置合わせパターンに対応する、校正用撮像装置間の位置合わせの基準となる位置合わせ点とを含みうる。
【0067】
特徴点抽出部１３２により抽出されたプロジェクタ毎の格子点及び撮像画像毎の位置合わせ点は、格子点変換部１３４へ渡される。格子点変換部１３４は、上記特徴点抽出部１３２により複数の校正用撮像画像から抽出されたプロジェクタ１５０各々の投影像の格子点（この段階では格子点は各々の校正用撮像画像の座標系上の点である。）を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換し、統合する。共通座標系としては、説明する実施形態では、スクリーン１０２に正対して撮像された第１の校正用撮像画像の座標系である。
【0068】
格子点変換部１３４により共通座標系上に変換されたプロジェクタ毎の格子点は、幾何補正係数計算部１３６へ渡される。幾何補正係数計算部１３６は、共通座標系上の格子点に基づいて、上記複数のプロジェクタ１５０各々から投影する投影画像を与えるプロジェクタ毎の幾何補正係数を計算する。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。
【0069】
重複領域検出部１４０は、複数のプロジェクタ１５０各々に対し、注目するプロジェクタ（例えば１５０ａ）の投影像と、この注目するプロジェクタに隣接するプロジェクタ各々（例えば１５０ｂ）の投影像との間の重複領域を検出する。輝度調整部１３８は、重複領域の検出結果に基づき、これらの投影像の重ね合わせを調整するブレンディング係数を計算する。ブレンディング係数が１未満なら重複領域の輝度を低減する効果がある。このプロジェクタ毎のブレンディング係数により、スクリーン１０２上における複数のプロジェクタ１５０の投影像が重なる部分において、画像が滑らかに合成される。
【0070】
補正処理部１１４は、それぞれ、幾何補正係数計算部１３６及び輝度調整部１３８によって計算された各種補正係数に基づき、コンテンツ画像からプロジェクタ毎の投影画像を生成する。より具体的には、補正処理部１１４は、まず、幾何補正係数計算部１３６によって計算された幾何補正係数に基づき、コンテンツ画像から、プロジェクタ毎の中間画像を生成する。中間画像は、コンテンツ画像のプロジェクタが担当する画像を、検出された幾何歪みの逆に変形させたものとなる。補正処理部１１４は、続いて、上記中間画像に対し、上記輝度調整部１３８によって計算されたブレンディング係数を乗じて、プロジェクタ毎の最終的な投影画像を算出する。投影モード中、切替部１２２によって、補正処理部１１４により計算された投影画像が選択され、プロジェクタ１５０に出力されることになる。
【0071】
なお、本実施形態の処理は、単一の情報処理装置１１０により実現されるものとして説明したが、投影システム１００の実施形態は、図５に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う情報処理装置１１０の負荷を軽減するため、補正処理部１１４ａ～１１４ｃ各々をプロジェクタ１５０ａ～１５０ｃ各々上で実現してもよい。他の実施形態では、本実施形態で説明した処理を複数の情報処理装置１１０が分散して実行してもよいし、情報処理装置１１０が有する機能をいずれかのプロジェクタ１５０上で実装してもよいし、図５に示した情報処理装置１１０が有する機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。更に、他の実施形態では、補正係数算出部１３０の機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。
【0072】
＜全体処理フロー＞
以下、図９を参照しながら、各種補正係数の計算処理及び補正係数に基づく補正処理の全体的な流れについて説明する。図９は、本実施形態による各種補正係数の計算処理及び補正係数に基づく補正処理の全体的な処理の流れを示すフローチャートである。図９に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。なお、図９には、ステップＳ１０１～ステップＳ１０４で示す第１の態様と、ステップＳ１０５～ステップＳ１０８で示す第２の態様との両方がまとめて示されていることに留意されたい。
以下、図９を参照しながら、各種補正係数の計算処理及び補正係数に基づく補正処理の全体的な流れについて説明する。図９は、本実施形態による各種補正係数の計算処理及び補正係数に基づく補正処理の全体的な処理の流れを示すフローチャートである。図９に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。なお、図９には、ステップＳ１０１～ステップＳ１０４で示す第１の態様と、ステップＳ１０５～ステップＳ１０８で示す第２の態様との両方がまとめて示されていることに留意されたい。
【0073】
図７に示す第１の態様では、ステップＳ１０１では、情報処理装置１１０は、第１プロジェクタ１５０ａから第１校正用画像（格子パターンを含む。）を出力させ、第２プロジェクタ１５０ｂから第２校正用画像（位置合わせパターンを含む。）を出力させる。ステップＳ１０２では、情報処理装置１１０は、第２プロジェクタ１５０ｂから第１校正用画像（格子パターン及び位置合わせパターンを含む。）を出力させ、第３プロジェクタ１５０ｃから第２校正用画像（位置合わせパターンを含む。）を出力させる。ステップＳ１０３では、情報処理装置１１０は、第３プロジェクタ１５０ｃから第１校正用画像（格子パターン及び位置合わせパターンを含む。）を出力させる。上記ステップＳ１０１～ステップＳ１０３の各段階で、ユーザは、例えば情報処理装置１１０が行うガイダンスに従い、カメラ１６０の画角に投影中の校正用画像が収まるように撮像を行う。ステップＳ１０４では、情報処理装置１１０は、カメラ１６０からの複数の校正用撮像画像の入力をまとめて受けて、ステップＳ１０９へ処理が進められる。
【0074】
これに対して図８に示す第２の態様では、ステップＳ１０５では、情報処理装置１１０は、第１プロジェクタ１５０ａ及び第３プロジェクタ１５０ｃから第１校正用画像（格子パターンを含む。）を出力させ、第２プロジェクタ１５０ｂから第２校正用画像（位置合わせパターンを含む。）を出力させる。ステップＳ１０６では、情報処理装置１１０は、カメラ１６０からステップＳ１０５で撮像された校正用撮像画像の入力を受ける。ステップＳ１０７では、情報処理装置１１０は、第２プロジェクタ１５０ｂから第１校正用画像（格子パターン及び位置合わせパターンを含む。）を出力させる。ステップＳ１０８では、情報処理装置１１０は、カメラ１６０からステップＳ１０７で撮像された校正用撮像画像の入力を受け、ステップＳ１０９へ処理が進められる。
【0075】
ステップＳ１０９では、詳細を後述するが、情報処理装置１１０は、各プロジェクタの幾何補正係数を計算する。ステップＳ１０９におけるプロジェクタ毎の幾何補正係数算出処理では、各校正用撮像画像からの特徴点の抽出、各校正用撮像画像の格子点の共通座標系への変換、及び各プロジェクタの幾何補正係数の算出が行われる。ステップＳ１１０では、詳細を後述するが、情報処理装置１１０は、各プロジェクタのブレンディング係数を計算する。
【0076】
ステップＳ１１１では、情報処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０９及びステップＳ１１０で計算されたプロジェクタ毎の幾何補正係数及びブレンディング係数を設定する。ステップＳ１１２では、情報処理装置１１０は、切替部１２２に対し、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えさせて、投影モードに移行する。
【0077】
ステップＳ１１３では、情報処理装置１１０は、コンテンツ画像を読み出す。ステップＳ１１４では、情報処理装置１１０は、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ１１５では、情報処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。
【0078】
ステップＳ１１６では、情報処理装置１１０は、ユーザからの投影モードの終了指示を受け付けたか否かを判定する。ステップＳ１１６で、投影モードの終了指示を受け付けていないと判定された場合（ＮＯ）は、ステップＳ１１３へ処理をループさせ、投影画像を更新する。動画であれば次のフレームに対する処理へ進められる。ステップＳ１１６で、投影モードの終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１１７へ処理を分岐させ、本処理を終了する。
【0079】
＜幾何補正係数の計算＞
以下、図１０～図１６及び図２０（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図１０は、本実施形態による補正係数算出部１３０が実行する幾何補正係数の計算処理を示すフローチャートである。図１０に示す処理は、図９に示したステップＳ１０９で呼び出されて、ステップＳ２００から開始される。
以下、図１０～図１６及び図２０（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図１０は、本実施形態による補正係数算出部１３０が実行する幾何補正係数の計算処理を示すフローチャートである。図１０に示す処理は、図９に示したステップＳ１０９で呼び出されて、ステップＳ２００から開始される。
【0080】
ステップＳ２０１では、特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタ１５０各々の投影像の円形状の重心座標を格子点座標（小数点精度）として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。
【0081】
ステップＳ２０２では、特徴点抽出部１３２は、複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタ１５０各々の投影像の矩形マーカの重心座標を位置合わせ点座標として抽出する。矩形マーカの重心座標も同様に、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。
【0082】
図７に示した第１の態様について、より具体的に説明すると、特徴点抽出部１３２は、第ｎ（ １ ≦ ｎ ≦ Ｎ － １ 。）番目の校正用投影シーンを撮像した校正用撮像画像各々から、投影像の配列において、隣接するプロジェクタのうちの一方（ｎ台目）が投影する位置合わせパターン（１台目は必ずしも投影されない。）の位置合わせ点及び少なくとも格子パターンの格子点と、他方（ｎ＋１台目）が投影する位置合わせパターンの位置合わせ点とを抽出する。最後の第Ｎ番目の校正用投影シーンを撮像した校正用撮像画像からは、最後のプロジェクタ（Ｎ台目）が投影する格子パターンの格子点と、位置合わせパターンの位置合わせ点とが抽出される。
【0083】
なお、１つの校正用撮像画像において、一方のプロジェクタの円パターンと、他方のプロジェクタの４つの位置合わせ矩形マーカとは、互いの位置関係を利用して識別することができる。図７に示す第１の態様で校正用投影シーンが構成される場合は、円パターンの外側に矩形マーカが存在し、左右の隣接プロジェクタの８つの矩形マーカが、左側プロジェクタの左側２つの矩形マーカ、右側プロジェクタの左側２つの矩形マーカ、左側プロジェクタの右側２つの矩形マーカ、そして右側プロジェクタの右側２つの矩形マーカの順に存在する。このような位置関係に基づいて、各々の円パターン及び矩形マーカを識別することができる。なお、位置関係以外にも、例えば、投影する矩形マーカの色や形をプロジェクタ毎に変更することによって、撮像された矩形マーカの色や形を識別し、これら識別された特徴に基づいて判別を行ってもよい。
【0084】
図８に示した第２の態様について説明すると、特徴点抽出部１３２は、第１番目の校正用投影シーンを撮像した校正用撮像画像から、投影像の配列において、第１のグループのもの（ 例えば奇数台目）が投影する格子パターンの格子点を抽出する。第２番目の校正用投影シーンを撮像した校正用撮像画像からは、上記第２のグループのもの（例えば偶数台目）が投影する格子パターンの格子点が抽出される。特徴点抽出部１３２は、更に、上記第１の校正用投影シーン及び第２の校正用投影シーンをそれぞれ撮像した校正用撮像画像各々から、共通するプロジェクタ１５０が投影する位置合わせパターンの位置合わせ点を抽出する。
【0085】
ステップＳ２０３では、格子点変換部１３４は、所定の校正用撮像画像の対について、撮像画像間で共通する矩形マーカの位置合わせ点座標に基づき、射影変換係数を計算する。ステップＳ２０４では、格子点変換部１３４は、ステップＳ２０３で計算された射影変換係数に基づき、プロジェクタ各々の投影像の格子点座標を、共通座標系に変換し、統合する。
【0086】
図１１は、第１の態様において、各校正用投影シーンを撮像して準備された３つの校正用撮像画像と、これらの撮像画像間各々で計算される射影変換係数について説明する図である。図１２は、第２の態様において、各校正用投影シーンを撮像して準備された２つの校正用撮像画像と、これら撮像画像間で計算される射影変換係数について説明する図である。
【0087】
第１の態様においては、図１１に示すように、第１の校正用撮像画像２５０及び第２の校正用撮像画像２６０の対について、撮像画像間で共通する第２プロジェクタ１５０ｂの投影像２５２ｂ，２６２ｂの矩形マーカ２５４，２６４の位置合わせ点座標の対が求められる。格子点変換部１３４は、この位置合わせ点座標の対（２５４，２６４）に基づき、第２の校正用撮像画像２６０の座標系から第１の校正用撮像画像２５０の座標系へ変換する射影変換の係数を計算する。同様に、第２の校正用撮像画像２６０，及び第３の校正用撮像画像２７０の対について、撮像画像間で共通する第３プロジェクタ１５０ｃの投影像２６２ｃ，２７２ｃの矩形マーカ２６４，２７４の位置合わせ点座標の対が求められる。この位置合わせ点座標の対（２６４，２７４）に基づき、第３の校正用撮像画像２７０の座標系から第２の校正用撮像画像２６０の座標系へ変換する射影変換の係数が計算される。
【0088】
射影変換の変換式は、下記式（１）で表され、下記式（１）の分母を払って整理すると下記式（２）で表す一次多項式に展開することができる。
【0089】
【数1】
【0090】
【数2】
【0091】
第１の態様において、２対の撮像画像間の射影変換係数ａ～ｈがそれぞれ計算されると、格子点変換部１３４は、抽出された第２の校正用撮像画像の格子点を、第１の撮像画像の座標系へ変換する射影変換を実行する。格子点変換部１３４は、更に、抽出された第３の校正用撮像画像の格子点を、第３の校正用撮像画像の座標系から第２の校正用撮像画像の座標系へ変換する射影変換を実行し、更に、第２の校正用撮像画像の座標系から第１の校正用撮像画像の座標系へ変換する射影変換を実行する。これにより、すべてのプロジェクタ１５０ａ～１５０ｃの格子点座標が、スクリーンに正対して撮像された第１の校正用撮像画像の座標系である共通座標系に変換され、統合される。
【0092】
第２の態様においては、図１２に示すように、第１の校正用撮像画像２８０及び第２の校正用撮像画像２９０の対について、撮像画像間で共通する第２プロジェクタ１５０ｂの投影像２８２ｂ，２９２ｂの矩形マーカ２８４，２９４の位置合わせ点座標の対が求められる。そして、この位置合わせ点座標の対に基づき、第２の校正用撮像画像２９０の座標系から第１の校正用撮像画像２８０の座標系へ変換する射影変換の係数が計算される。格子点変換部１３４は、１組の校正用撮像画像間の射影変換係数ａ～ｈに基づいて、第２の校正用撮像画像の抽出された格子点を、第１の撮像画像の座標系へ変換する射影変換を実行し、共通座標系に変換する。
【0093】
図１３は、共通座標系３００上に統合された各プロジェクタの格子点座標の集合を模式的に示す図である。図１３に示すように、各プロジェクタの格子点座標の集合３０２ａ，３０２ｂ，３０２ｃは、それぞれ、第１の校正用撮像画像の共通座標系３００上に変換され、統合されている。なお、図１３には、撮像された複数のプロジェクタ１５０ａ～１５０の円形状が重ね合わせて表現されているが、画像自体は重ね合わせる必要はない。
【0094】
再び図１０を参照すると、ステップＳ２０５では、幾何補正係数計算部１３６は、プロジェクタ１５０各々について、共通座標系上に変換及び統合された格子点座標各々を線形に外挿し、投影可能領域の外周座標を計算する。
【0095】
図１４は、統合された格子点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。図１４（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの格子点を示し、図１４（Ｂ）は、共通座標系上の対応する４つの格子点を示す。図１４（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（４隅及び４辺上の格子点）は、外周部に位置する４つの格子点（例えばＰ００Ｐ～Ｐ１１Ｐ）の四辺形パッチを外挿する位置（格子点間距離の１.５倍の距離の位置）に定められる。
【0096】
共通座標系における各プロジェクタの投影可能領域に対応する外周画素の座標（４隅及び４辺上の格子点）は、図１４（Ｂ）に示すように、外周部に位置する各４つの格子点座標から線形に外挿することによって計算することができる。同様に、外周座標（４隅及び４辺上の格子点）以外のプロジェクタ・メモリ上の任意の座標点に対応する共通座標系上の点も、近傍の４点の格子点座標を線形に内挿又は外挿して求めることができる。
【0097】
ここで、プロジェクタ・メモリ上の任意の座標点ＱＰが、プロジェクタ・メモリ上での座標位置が近傍にある４つの格子点Ｐ００Ｐ，Ｐ１０Ｐ，Ｐ０１Ｐ，Ｐ１１Ｐにおいて、ｘ軸方向にｔ :１－ｔ （ ０ ＜ ｔ ＜ １ ）で、ｙ軸方向にｓ：１－ｓ（ ０ ＜ ｓ ＜ １ ） で内分する点だとする。すると、座標点ＱＰに対応する共通座標系上の点ＱＣは、対応する４つの格子点Ｐ００Ｃ，Ｐ１０Ｃ，Ｐ０１Ｃ，Ｐ１１Ｃの座標ベクトルから、下記式（３）を用いて計算することができる。外挿する点の場合は、上記ｔ及びｓに対し、－１.５ ＜ ｔ＜ ０ 、－１.５ ＜ ｓ ＜ ０ の範囲を設定して下記式（３）を用いて計算することができる。
【0098】
【数3】
【0099】
上述した線形的な外挿をプロジェクタ毎に行うことにより、３つのプロジェクタ１５０ａ～１５０ｃの投影可能領域（つまり全面白画像を投影して映る範囲である。）が共通座標系上で検出される。図１５（Ａ）には、共通座標系３００上において検出された３つのプロジェクタの投影可能領域３０４ａ～３０４ｃが表されている。第１プロジェクタ１５０ａの投影可能領域３０４ａは、実線の白線で示され、第２プロジェクタ１５０ｂの投影可能領域３０４ｂは、破線の白線で示され、第３プロジェクタ１５０ｃの投影可能領域３０４ｃは、２点鎖線の白線で示されている。
【0100】
再び図１０を参照すると、ステップＳ２０６では、幾何補正係数計算部１３６は、共通座標系において、すべてのプロジェクタの投影可能領域の論理和（ＯＲ）を求めて、コンテンツ画像をマップするための補正後投影目標領域を上記論理和の領域内に設定する。補正後投影目標領域は、コンテンツ画像を、そのアスペクト比を保って、すべてのプロジェクタの投影可能領域３０４ａ～３０４ｃの論理和となる領域内に最大の大きさでマップするように設定される。
【0101】
共通座標系上で各投影可能領域の４隅の点が既知であり、これらを結ぶ４つの辺（上辺、下辺、左辺、右辺）も、それぞれ格子点幅で線形区分された形で求まり、それらの存在範囲も把握される。したがって、共通座標系上での３つのプロジェクタの投影可能領域３０４ａ～３０４ｃの上辺３０６Ｔ、及び下辺３０６Ｂで挟まれた範囲、同じく左辺３０６Ｌ、右辺３０６Ｒで挟まれた範囲に、３つの論理和の領域内に取り得る矩形範囲が定まる。
【0102】
補正後投影目標領域３１０は、図１５（Ａ）の点線で示した矩形領域のように、４辺３０６Ｔ，３０６Ｂ，３０６Ｌ，３０６Ｒの矩形範囲内にコンテンツ画像のアスペクト比（例えばＭ ： Ｎ ）を保って最大サイズで割り付けられた領域となる。図１５（Ａ）の例示では、若干縦方向に余りがあるので、上下に余白が設けられて、補正後投影目標領域がセンタリングされている。そして、図１５（Ｂ）に示すように、この補正後投影目標領域３１０に、投影すべきコンテンツ画像３２０が貼り付けられることになる。
【0103】
再び図１０を参照すると、ステップＳ２０７～ステップＳ２１１のループでは、プロジェクタ毎に、ステップＳ２０８～ステップＳ２１０で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。ステップＳ２０８では、幾何補正係数計算部１３６は、共通座標系上の格子点座標を、元のコンテンツ画像の座標系に変換する。以下、共通座標系上で補正後投影目標領域３１０に貼り付けられるコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。
【0104】
ステップＳ２０９では、幾何補正係数計算部１３６は、プロジェクタ・メモリ上の格子点座標を、共通座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ２１０では、幾何補正係数計算部１３６は、プロジェクタ・メモリ上の整数画素座標を、共通座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。
【0105】
ステップＳ２０８～ステップＳ２１０で示す各処理で計算される幾何補正係数は、図１６に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。
【0106】
図１６に示すプロジェクタ・メモリ３３０ａの１つの格子点Ｐ４２Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の格子点Ｐ４２Ｐに対しては、共通座標系３００上の対応点Ｐ４２Ｃ（ ＸＰ４２Ｃ ，ＹＰ４２Ｃ）が抽出されている。そして、補正後投影目標領域３１０にコンテンツ画像がマップされるため、図１６に示すように、共通座標系３００上の対応点Ｐ４２Ｃに対しては、更に、等倍コンテンツ画像上での対応する画素位置Ｐ４２ｍ（ＸＰ４２ｍ ，ＹＰ４２ｍ）が定まる。
【0107】
等倍コンテンツ画像上での対応する画素位置Ｐ４２ｍ（ ＸＰ４２ｍ ，ＹＰ４２ｍ ）は、共通座標系３００上の対応点Ｐ４２Ｃの座標（ ＸＰ４２Ｃ ， ＹＰ４２Ｃ ）から、以下式（４）で計算することができる。下記式（４）中、座標（ Ｘ０ ，Ｙ０）は、共通座標系上での投影コンテンツ画像の左上の原点の座標であり、Ｒは、コンテンツ画像の変倍率を表す。なお、ここでは、説明の便宜上、等倍コンテンツ画像を、所定の変倍率Ｒで、そのまま補正後投影目標領域３１０にマップするものとしているが、コンテンツの共通座標系上へのマップの仕方は特に限定されるものではない。
【0108】
【数4】
【0109】
図２０（Ａ）は、ステップＳ２０８～ステップＳ２１０の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図２０（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。
【0110】
ステップＳ２０７～ステップＳ２１１のループがプロジェクタ台数分だけ繰り返され、すべてのプロジェクタについて、プロジェクタ・メモリ上の整数画素座標と等倍コンテンツ画像の座標系との対応付けが完了すると、ステップＳ２１２に進められる。ステップＳ２１２では、本処理を終了し、図１１に示した呼び出し元へ処理が戻される。これにより、すべてのプロジェクタ１５０ａ～１５０ｃそれぞれのための幾何補正係数が準備される。
【0111】
なお、説明する実施形態では、幾何補正係数として、プロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置を求めているが、これに限定されるものではない。他の実施形態では、プロジェクタ・メモリ上の各格子点ＰｉｊＰに対する等倍コンテンツ画像上での画素位置Ｐｉｊｍを幾何補正係数として求め、後述する補正処理部１１４で、格子点以外の座標については四辺形パッチ毎に射影変換あるいは線形変換することにより計算する態様としてもよい。
【0112】
＜ブレンディング係数の計算＞
以下、図１７～図２０を参照しながら、各プロジェクタのブレンディング係数の計算処理の詳細について説明する。図１７は、本実施形態による補正係数算出部１３０が実行するブレンディング係数の計算処理を示すフローチャートである。図１７に示す処理は、図９に示したステップＳ１１０で呼び出されて、ステップＳ３００から開始される。ステップＳ３０１～ステップＳ３１３のループでは、注目するプロジェクタ毎に、ステップＳ３０２～ステップＳ３１２で示す各処理が実行され、複数のプロジェクタ１５０ａ～１５０ｃ各々のブレンディング係数が求められる。
以下、図１７～図２０を参照しながら、各プロジェクタのブレンディング係数の計算処理の詳細について説明する。図１７は、本実施形態による補正係数算出部１３０が実行するブレンディング係数の計算処理を示すフローチャートである。図１７に示す処理は、図９に示したステップＳ１１０で呼び出されて、ステップＳ３００から開始される。ステップＳ３０１～ステップＳ３１３のループでは、注目するプロジェクタ毎に、ステップＳ３０２～ステップＳ３１２で示す各処理が実行され、複数のプロジェクタ１５０ａ～１５０ｃ各々のブレンディング係数が求められる。
【0113】
ステップＳ３０２では、重複領域検出部１４０は、共通座標系３００において、注目プロジェクタと、該注目プロジェクタの隣接プロジェクタとの投影可能領域の外周座標に基づき、これらの重複領域を検出する。図１８は、プロジェクタ・メモリ３３０上の各座標に対するブレンディング係数の対応付けを説明する図である。図１８に示すように、共通座標系３００での補正後投影目標領域３１０の最上辺においては、左原点（○）から右方向へ探索することにより、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）及び終了点（◎）が検出される。すなわち、左原点（○）から右方向へ探索した場合に、第２プロジェクタ１５０ｂの投影可能領域３０４ｂから第１プロジェクタ１５０ａの投影可能領域３０４ａまでが重複領域である。他の水平ラインについても同様に重複領域の開始点及び終了点が検出される。
【0114】
再び図１７を参照すると、ステップＳ３０２では、輝度調整部１３８は、まず、共通座標系の各座標に対するブレンディング係数を０で初期化する。ステップＳ３０４～ステップＳ３１１のループでは、共通座標系の水平ライン（補正後投影目標領域に対応する部分のみでよい。）毎に、ステップＳ３０５～ステップＳ３１０で示す各処理が実行される。ステップＳ３０５～ステップＳ３１０で示す各処理により、共通座標系上の各座標位置に対し、ブレンディング係数の中間結果が割り当てられる。
【0115】
ステップＳ３０５では、注目する水平ラインにおいて、上述した投影可能領域の外周座標と、検出された重複領域とに基づき、当該プロジェクタの投影可能領域の開始点及び終了点、並びに隣接プロジェクタとの重複領域の開始点及び終了点を設定する。
【0116】
ステップＳ３０６～ステップＳ３１０のループでは、共通座標系の水平ラインの各画素毎（投影可能領域内のみ。）に、ステップＳ３０７～ステップＳ３０９で示す処理が実行される。ステップＳ３０７～ステップＳ３０９で示す処理により、水平ラインにおける共通座標系上の各画素毎にブレンディング係数が決定される。
【0117】
ステップＳ３０７では、輝度調整部１３８は、注目する画素が重複領域に該当するか否かに応じて処理を分岐させる。ステップＳ３０７で、重複領域に該当しないと判定された場合（ＮＯ）は、ステップＳ３０８Ａ、Ｓ３０８Ｂへ処理が進められる。この場合は、非重複領域であるため階調変更部１３９はＲＧＢレンジをリミテッドレンジ（１６～２３５）に変更する（元のＲＧＢ画像がリミテッドレンジの場合、変更しなくてよい。）。また、ステップＳ３０８Ｂでは、輝度調整部１３８は、ブレンディング係数を最大値１に決定する。階調の変更の詳細を図２２にて説明する。
【0118】
一方、ステップＳ３０７で、重複領域に該当すると判定された場合（ＹＥＳ）は、ステップＳ３０９Ａ，Ｓ３０９Ｂへ処理が進められる。この場合は、重複領域であるため階調変更部１３９はＲＧＢレンジをフルレンジ（０～２５５）に変更する（元のＲＧＢ画像がフルレンジの場合、変更しなくてよい。）。また、ステップＳ３０９Ｂでは、輝度調整部１３８は、ブレンディング係数を所定の関係式にしたがって計算する。
【0119】
図１９は、プロジェクタの入出力特性のグラフを示すが、プロジェクタの入出力特性は、典型的には、線形とはならない。上記重複領域に対応する画素に対するブレンディング係数の計算では、この入出力特性の逆補正を一旦施して線形になるように補正した上で、両側のプロジェクタからの光量が合計して１となるように重み付けを行う。
【0120】
具体的には、図１８の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点(●)までの範囲の画素に対しては、上記ステップＳ３０８でブレンディング係数が最大１に決定される。一方、重複領域の開始点(●)から終了点（◎）までの範囲の画素に対しては、上記ステップＳ３０９で、開始点（●)からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。図１９に示すような入出力特性であれば、開始点から終了点まで距離で正規化した開始点からの水平距離ｘ（０．０≦ｘ≦１．０）に対するブレンディング係数ｙは、下記式（５）で計算することができる。
【0121】
【数5】
【0122】
ステップＳ３１２では、輝度調整部１３８は、プロジェクタ・メモリ上の整数画素座標各々に対し、図２０（Ａ）に示すデータ構造によって対応付けられる共通座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。図２０（Ｂ）は、ステップＳ３０２～ステップＳ３１２の処理で計算された１つのプロジェクタのブレンディング係数のデータ構造を例示する。図２０（Ｂ）に示すように、プロジェクタ・メモリの全画素に対するブレンディング係数が求められる。
【0123】
ステップＳ３０１～ステップＳ３１３のループで、すべてプロジェクタについての処理が完了すると、ステップＳ３１４で本処理を終了し、図９に示した呼び出し元へ処理が戻される。
【0124】
上述した処理により、複数のプロジェクタ１５０ａ～１５０ｃの各々に対して、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。なお、上述した説明では、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域について説明している。第２プロジェクタ１５０ｂが対象となる場合は、左右の第１プロジェクタ１５０ａ及び第３プロジェクタ１５０ｃを合わせて、２つの重複領域についてブレンディング補正の計算が行われることとなる。
【0125】
＜階調補正＞
図２１は、投影システム１００における階調補正を説明する図である。３台のプロジェクタを使用した投影システムでは、隙間をつくらないように投影画像の一部が重なるように配置される。情報処理装置１１０から例えばネットワーク経由で各プロジェクタに投影画像が送信される。各プロジェクタは、送信された画像をＲＡＭやＳＤＤなどに保存して、投影開始の指示が送信された場合、投影する。動画の場合、情報処理装置１１０は各プロジェクタ１５０ａ～１５０ｃの間で同期を取って投影する。例えば、情報処理装置１１０は全てのプロジェクタから投影完了を受信してから次の投影画像の投影を指示する。同期はプロジェクタ１５０ａ～１５０ｃ間で通信して取ってもよい。
図２１は、投影システム１００における階調補正を説明する図である。３台のプロジェクタを使用した投影システムでは、隙間をつくらないように投影画像の一部が重なるように配置される。情報処理装置１１０から例えばネットワーク経由で各プロジェクタに投影画像が送信される。各プロジェクタは、送信された画像をＲＡＭやＳＤＤなどに保存して、投影開始の指示が送信された場合、投影する。動画の場合、情報処理装置１１０は各プロジェクタ１５０ａ～１５０ｃの間で同期を取って投影する。例えば、情報処理装置１１０は全てのプロジェクタから投影完了を受信してから次の投影画像の投影を指示する。同期はプロジェクタ１５０ａ～１５０ｃ間で通信して取ってもよい。
【0126】
図２２はフルレンジからリミテッドレンジへの階調補正を説明する図である。フルレンジとは、ＲＧＢ信号を０～２５５（８bitの場合）の２５６階調で表す階調表現方法をいい、リミテッドレンジとはＲＧＢ信号を１６～２３５（８bitの場合）の２２０階調で表す階調表現方法をいう。一般にコンピュータ内部ではフルレンジで処理される。ＰＣモニターはフルレンジで処理することが一般的である。テレビ受像機は元来リミテッドレンジであったが、通常のテレビはリミテッドレンジをフルレンジに変換する機能を有している。
【0127】
図２２（ａ）は元の画像データのＲＧＢレンジがフルレンジの場合に、非重複領域の階調変換を模式的に示す図である。非重複領域はリミテッドレンジに変換されるので、階調が狭くなる。フルレンジのＲＧＢ信号からリミテッドレンジのＲＧＢ信号への変換は、フルレンジを均等にリミテッドレンジに対応づけることで行われる。「２５６－２２０＝３６」なので、図２２（ｂ）に示すように、約７階調に１回、フルレンジのＲＧＢ値は同じリミテッドレンジの同じＲＧＢ値に対応づけられる。図２２（ｂ）は対応テーブルの一例を示す図である。このような対応テーブルによりフルレンジのＲＧＢ信号はリミテッドレンジに変換される。なお、均等に対応づける図２２（ｂ）の例は一例であって、暗い領域（例えば１６未満）と明るい領域（例えば２３５超）の少なくともどちらか一方でフルレンジとリミテッドレンジを１対１に対応付け、中間領域でフルレンジのＲＧＢ値を同じリミテッドレンジのＲＧＢ値に対応づけてもよい。
【0128】
なお、重複領域の階調はフルレンジのままなので、元の画像データのＲＧＢレンジがフルレンジの場合、変換は不要である。
【0129】
例えば、フルレンジで１０の非重複領域のＲＧＢ値は２５に変換される。重複領域の同じく１０のＲＧＢ値は変換されない。この結果、２５＞１０となり、非重複領域の黒レベルは持ち上げられ、重複領域が非重複領域よりも暗く投影される。重複領域は暗くなるように補正されたわけではないので黒つぶれしにくい。
【0130】
コンピュータ内で扱われる画像データは主にフルレンジであると説明したが、変換前の画像データがリミテッドレンジの場合もある。ＲＧＢ信号がリミテッドレンジ（16～235）である場合、階調変更部１３９は、非重複領域のＲＧＢレンジをリミテッドレンジのままとする。そして重複領域についてはＲＧＢレンジをフルレンジに変換する。
【0131】
図２３はリミテッドレンジからフルレンジへの階調補正を説明する図である。図２３（ａ）は元のＲＧＢ信号がリミテッドレンジの場合に、重複領域の階調変換を模式的に示す図である。重複領域はフルレンジに変換されるので、階調が広くなる。リミテッドレンジのＲＧＢからフルテッドレンジのＲＧＢへの変換は、リミテッドレンジを均等にフルレンジに対応づけることで行われる。したがって、フルレンジからリミテッドレンジとは逆の変換になる。図２３（ｂ）に示すように、約７階調に１回の割合で、リミテッドレンジのＲＧＢ値は異なるフルレンジに対応づけられる。例えば、ＲＧＢ値が２２の場合、２回に１回ずつ、フルレンジの６又は７に対応づけられる。図２３（ｂ）は対応テーブルの一例を示す図である。このような対応テーブルによりリミテッドレンジのＲＧＢ信号はフルレンジに変換される。なお、均等に対応づける図２３（ｂ）の例は一例であって、暗い領域（例えば１６未満）又は明るい領域（例えば２３５超）の少なくとも一方でリミテッドレンジとフルレンジを１対１に対応付け、中間領域でリミテッドレンジのＲＧＢ値を異なるフルレンジのＲＧＢ値に対応づけてもよい。
【0132】
例えば、リミテッドレンジで２５の非重複領域のＲＧＢ値は２５のまま変換されない。重複領域の同じく２５のＲＧＢ値は１０に変換される。この結果、２５＞１０となり、重複領域が非重複領域よりも暗く投影される。重複領域は階調が広がっているので黒つぶれしにくい。
【0133】
階調補正の後、ブレンディング処理により、隣り合うプロジェクタの重複領域が非重複領域と同等となるように調整されるので、重なり領域が不自然に明るくなってしまうのを防ぐことができる。
【0134】
なお、本実施形態では、フルレンジとリミテッドレンジという用語で説明したが、重複領域の方が非重複領域よりも階調が大きくなればよい。したがって、例えば、非重複領域のＲＧＢレンジを５０～２００、重複領域のＲＧＢレンジを０～２５５としてもよい。あるいは、非重複領域のＲＧＢレンジを５０～２５５、重複領域のＲＧＢレンジを０～２５５としてもよい。
【0135】
＜補正処理＞
以下、図２０及び図２４を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。図２４は、上記補正係数に基づく補正処理を説明する図である。上述した幾何補正係数計算部１３６で算出された各プロジェクタの幾何補正係数と、上述した輝度調整部１３８で算出された各プロジェクタのブレンディング係数とが、図９に示したステップＳ１１１で、各補正処理部１１４に設定される。
以下、図２０及び図２４を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。図２４は、上記補正係数に基づく補正処理を説明する図である。上述した幾何補正係数計算部１３６で算出された各プロジェクタの幾何補正係数と、上述した輝度調整部１３８で算出された各プロジェクタのブレンディング係数とが、図９に示したステップＳ１１１で、各補正処理部１１４に設定される。
【0136】
まず、補正処理部１１４は、プロジェクタ・メモリの全画素と、等倍コンテンツ画像上での対応する画素位置との対応付けデータを準備する。上述した幾何補正係数計算部１３６での処理により、図２０（Ａ）に示すようなプロジェクタ・メモリの全画素に対する画素位置が求められている場合は、補正処理部１１４は、図２０（Ａ）に示す対応付けデータをそのまま読み出す。プロジェクタ・メモリの格子点座標毎の等倍コンテンツ画像上での画素位置だけが与えられている場合は、格子点以外のプロジェクタ・メモリ上の全画素について、格子点の座標から線形補間等で、参照すべき等倍コンテンツ画像上の座標を計算し、図２０（Ａ）に示すような対応付けデータを計算する。
【0137】
補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置（小数点数）に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。補正処理部１１４は、更に、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図２０（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。
【0138】
図２４には、３台のプロジェクタ１５０ａ～１５０ｃについて、補正処理部１１４ａ～１１４ｃによりコンテンツ画像から最終的に得られた投影画像３５０ａ～３５０ｃが示されている。図２４に示すように、投影モード中、これらの投影画像３５０ａ～３５０ｃが、プロジェクタ１５０から投影される。投影画像３５０は、対応するプロジェクタ１５０が担当すべきコンテンツ画像の部分に対し各種補正がかけられているので、投影画像３５０ａ～３５０ｃの投影像は、投影面上で好適に重なり合わせられて、単一の投影像３５２に合成される。
【0139】
＜主な効果＞
以上説明したように、本実施形態の投影システムは、重複領域の階調を非重複領域よりも広くすることで、黒つぶれを抑制しながら重複領域が不自然に明るくなってしまうのを防ぐことができる。
以上説明したように、本実施形態の投影システムは、重複領域の階調を非重複領域よりも広くすることで、黒つぶれを抑制しながら重複領域が不自然に明るくなってしまうのを防ぐことができる。
【0140】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0141】
例えば、図５などの構成例は、情報処理装置１１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置１１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0142】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0143】
１００ 投影システム
１１０ 情報処理装置
１５０ プロジェクタ
１１０ 情報処理装置
１５０ プロジェクタ
【先行技術文献】
【特許文献】
【0144】
【文献】特許３９０８２５５号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】