特許 7352239 プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-20

(45)【発行日】2023-09-28

(54)【発明の名称】プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法

(51)【国際特許分類】

   H04N 13/327 20180101AFI20230921BHJP

   H04N 13/39 20180101ALI20230921BHJP

   G09G 5/00 20060101ALI20230921BHJP

   G03B 21/00 20060101ALI20230921BHJP

   G03B 21/14 20060101ALI20230921BHJP

【ＦＩ】

H04N13/327

H04N13/39

G09G5/00 510B

G09G5/00 510V

G09G5/00 550C

G03B21/00 D

G03B21/14 Z

【請求項の数】 5

(21)【出願番号】P 2019108015

(22)【出願日】2019-06-10

(65)【公開番号】P2020202486

(43)【公開日】2020-12-17

【審査請求日】2022-06-09

(73)【特許権者】

【識別番号】519011485

【氏名又は名称】株式会社アブストラクトエンジン

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(74)【代理人】

【識別番号】100194836

【弁理士】

【氏名又は名称】長谷部 優一

(72)【発明者】

【氏名】真鍋 大度

(72)【発明者】

【氏名】石橋 素

(72)【発明者】

【氏名】花井 裕也

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２００３－２７０７１９（ＪＰ，Ａ）

【文献】特表２０１３－５２０７５１（ＪＰ，Ａ）

【文献】特開２０００－３５２７６１（ＪＰ，Ａ）

【文献】特開２０１６－０８１４９７（ＪＰ，Ａ）

【文献】国際公開第２０１５／１７０６８０（ＷＯ，Ａ１）

【文献】特開２００５－３２６２４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ９／３１

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラとを備えるプロジェクションシステムにであって、
前記プロジェクション制御装置は、
それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得する画像変換手段と、
それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させるプロジェクタ制御手段と、
前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得する第１のキャリブレーション手段とを有する
ことを特徴とするプロジェクションシステム。

【請求項2】

前記プロジェクション制御装置は、
前記３Ｄ座標空間内に配置されたチェッカー画像が形成されたチェッカーボードと複数のマーカとを有する第２のキャリブレーションオブジェクトを前記センサカメラに撮像させると共に、前記マーカ検知手段に前記第２のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、前記センサカメラが撮像する２Ｄ画像の２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、前記センサカメラについてキャリブレーション処理を行ってカメラキャリブレーションパラメータを取得する第２のキャリブレーション手段をさらに有する
ことを特徴とする請求項１に記載のプロジェクションシステム。

【請求項3】

３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラとを備えるプロジェクションシステムを構成する前記プロジェクション制御装置において、
それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得する画像変換手段と、
それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させるプロジェクタ制御手段と、
前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得する第１のキャリブレーション手段と
を有することを特徴とするプロジェクション制御装置。

【請求項4】

３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラとを備えるプロジェクションシステムを構成する前記プロジェクション制御装置に搭載されたコンピュータを、
それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得する画像変換手段と、
それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させるプロジェクタ制御手段と
前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得する第１のキャリブレーション手段として機能させる
ことを特徴とするプロジェクション制御プログラム。

【請求項5】

３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラとを備えるプロジェクションシステムの制御方法において、
前記プロジェクション制御装置は、画像変換手段、プロジェクタ制御手段及び第１のキャリブレーション手段を備え、
前記画像変換手段は、それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得し、
前記プロジェクタ制御手段は、それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させ、
前記第１のキャリブレーション手段は、前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得する
ことを特徴とするプロジェクションシステムの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法に関し、例えば、プロジェクションシステムのキャリブレーションに適用し得る。

【背景技術】

【0002】

従来、プロジェクタを用いて映像を投影面に投影する際には、投射面上の投射画像の歪みを抑制するためのキャリブレーションが行われる。

【0003】

従来、プロジェクタの投影画像をキャリブレーションする技術としては、特許文献１、２の記載技術が存在する。特許文献１、２の記載技術では、プロジェクタにより投影された投射画像（輪郭が矩形の投影画像）の四隅の点を移動させることで、投影画像の輪郭を正確な矩形とすることで投影画像の歪みを抑制している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－３０４５５２号公報

【文献】特開２０１９－０７８８４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来のプロジェクタのキャリブレーションでは、あくまで、画像を投影面に投影することが前提となっているため、映像を３Ｄ空間上に投影（例えば、発煙装置で煙を充満させた空間への映像投影）して、３Ｄ空間上に所望の３Ｄ画像を結像させることについてまでは想定されていない。

【0006】

そのため、プロジェクタを用いて３Ｄ空間上に所望の３Ｄ画像を結像させることができるプロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法が望まれている。

【課題を解決するための手段】

【0007】

第１の本発明は、３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラとを備えるプロジェクションシステムにであって、前記プロジェクション制御装置は、それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得する画像変換手段と、それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させるプロジェクタ制御手段と、前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得する第１のキャリブレーション手段をさらに有することを特徴とする。

【0008】

第２の本発明は、３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラを備えるプロジェクションシステムを構成する前記プロジェクション制御装置において、それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得する画像変換手段と、それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させるプロジェクタ制御手段と、前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得する第１のキャリブレーション手段とを有することを特徴とする。

【0009】

第３の本発明のプロジェクション制御プログラムは、３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラとを備えるプロジェクションシステムの制御方法において、前記プロジェクション制御装置は、画像変換手段プロジェクタ制御手段及び第１のキャリブレーション手段を備え、前記画像変換手段は、それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得し、前記プロジェクタ制御手段は、それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させ前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得する第１のキャリブレーション手段として機能させることを特徴とする。

【0010】

第４の本発明は、３Ｄ座標空間に設置された複数のプロジェクタと、前記プロジェクタを制御するプロジェクション制御装置と、前記３Ｄ座標空間内に存在するマーカの位置を検知するマーカ検知手段と、前記３Ｄ座標空間内を撮像するセンサカメラとを備えるプロジェクションシステムの制御方法において、前記プロジェクション制御装置は、画像変換手段、プロジェクタ制御手段及び第１のキャリブレーション手段を備え、前記画像変換手段は、それぞれの前記プロジェクタについて、キャリブレーションを行った結果取得されるプロジェクタキャリブレーションパラメータを取得し、それぞれの前記プロジェクタについて、プロジェクタキャリブレーションパラメータを用いて、前記３Ｄ座標空間上の３Ｄ画像を、それぞれの前記プロジェクタ用の２Ｄ画像に変換して取得し、前記プロジェクタ制御手段は、それぞれの前記プロジェクタに、前記画像変換手段が取得した２Ｄ画像の画像光を前記３Ｄ座標空間内に照射させ、前記第１のキャリブレーション手段は、前記３Ｄ座標空間内に配置された投影面が設けられた被投影体と複数のマーカを有する第１のキャリブレーションオブジェクトを含む空間に対して、前記第１のキャリブレーションオブジェクトに所定のキャリブレーション動画像を投影させている間、前記センサカメラに前記第１のキャリブレーションオブジェクトを撮像させると共に前記マーカ検知手段に前記第１のキャリブレーションオブジェクトのマーカを検知させ、前記センサカメラが撮像した撮像画像と前記マーカ検知手段の検知結果に基づいて、それぞれの前記プロジェクタの２Ｄ座標と３Ｄ座標の対応関係のサンプルを取得し、取得したサンプルに基づいて、それぞれの前記プロジェクタのプロジェクタキャリブレーションパラメータを取得することを特徴とする。

【発明の効果】

【0011】

本発明によれば、プロジェクタを用いて３Ｄ空間上に所望の３Ｄ画像を結像させることができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係るプロジェクションシステムの全体構成を示すブロック図である。

【図2】実施形態に係るプロジェクションシステムで３Ｄ画像を結像させる３Ｄ座標空間の斜視図である。

【図3】実施形態に係るプロジェクションシステムで３Ｄ画像を結像させる３Ｄ座標空間の正面図である。

【図4】実施形態に係るプロジェクションシステムにおける各装置の配置位置の例について示した図である。

【図5】実施形態に係るフレームに設置される各装置（モーションキャプチャカメラ、プロジェクタ）の位置を示した図である。

【図6】実施形態に係る３Ｄ座標空間において、原点Ｐ０を中心とする床面周辺に設置される各装置（プロジェクタ、デジタルフィルムカメラ、発煙装置）の位置を示した図である。

【図7】実施形態に係るキャリブレーション用ワンドの構成について示す図（斜視図）である。

【図8】実施形態に係るキャリブレーション用ボードの構成を示す図（平面図）である。

【図9】実施形態に係るキャリブレーションオブジェクトの構成を示す図（斜視図と平面図）である。

【図10】実施形態に係るキャリブレーションオブジェクトの個体識別に関する説明図である。

【図11】実施形態に係るキャリブレーション用ボードについて検知対象となる位置（認識位置）について示した図である。

【図12】実施形態に係るキャリブレーション用ボード上で検知される検知位置について示した説明図である。

【図13】実施形態に係るキャリブレーションオブジェクトについて認識対象となる認識位置について示した図である。

【図14】実施形態に係るプロジェクションシステムにおいて行われるキャリブレーション処理の基本的な流れについて示したフローチャートである。

【図15】実施形態に係るモーションキャプチャシステムのキャリブレーション方法について示した説明図である。

【図16】実施形態に係るデジタルフィルムカメラのキャリブレーション方法について示した説明図である。

【図17】実施形態に係るモーションキャプチャ処理部による各デジタルフィルムカメラのキャリブレーションの処理の流れについて示したフローチャートである。

【図18】実施形態に係る各デジタルフィルムカメラに関するキャリブレーション処理について示した図である。

【図19】実施形態に係る３Ｄ座標空間内に、キャリブレーションオブジェクトが設置された状態について示した図（斜視図）である。

【図20】実施形態に係るキャリブレーションオブジェクトにグレイコードパターンが投影された状態で示す図である。

【図21】実施形態に係るプロジェクションシステムにおいて、３Ｄモデル（３Ｄモデルシーケンス）に基づく３Ｄ画像を３Ｄ座標空間ＣＳに結像させる処理について示したフローチャートである。

【図22】実施形態に係るプロジェクションシステムで３Ｄ座標空間に３Ｄモデル（３Ｄモデルシーケンス）に基づく３Ｄ画像が結像された状態について示した図である。

【図23】実施形態に係るプロジェクションシステムにおいて、３Ｄ座標空間内にインタラクティブ３Ｄ画像結像させる処理について示したフローチャートである。

【図24】実施形態に係るプロジェクションシステムにおいて、３Ｄ座標空間内にインタラクティブ３Ｄ画像結像させた状態について示した図である。

【発明を実施するための形態】

【0013】

（Ａ）主たる実施形態
以下、本発明によるプロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法の一実施形態を、図面を参照しながら詳述する。

【0014】

（Ａ－１）実施形態の構成
図１は、この実施形態のプロジェクションシステム１の全体構成を示すブロック図である。

【0015】

プロジェクションシステム１は、全体の各装置を制御するプロジェクション制御装置１０、２８台のモーションキャプチャカメラ２０（２０－１～２０－２８）、２台のデジタルフィルムカメラ３０（３０－１、２０－３）、２４台のプロジェクタ４０（４０－１～４０－２４）、及び４台の発煙装置５０（５０－１～５０－４）を有している。なお、プロジェクションシステム１を構成する各装置の数は図１の例に限定されないものである。

【0016】

モーションキャプチャカメラ２０は、光学式のモーションキャプチャシステムに用いられるカメラ（センサ）である。

【0017】

デジタルフィルムカメラ３０は、後述するキャリブレーション用動画像（後述するグレイコードパターン）を検知するためのセンサカメラとして機能する装置である。デジタルフィルムカメラ３０は、センサカメラとして機能する種々のカメラ装置やイメージセンサに置き換えることができる。

【0018】

プロジェクタ４０は、供給される２Ｄ画像の映像信号に基づいた光（投影光）を発光する投影装置である。プロジェクタ４０としては、種々のプロジェクタを適用することができる。

【0019】

プロジェクションシステム１は、プロジェクタ４０を用いて、３Ｄ空間である３Ｄ座標空間ＣＳ内に、３Ｄ画像を結像させるシステムである。３Ｄ座標空間ＣＳは、図１に示すように、互いに直交する３つの軸（Ｘ軸、Ｙ軸、Ｚ軸）の座標（以下、「３Ｄ座標」と呼ぶ）により位置が定まる３Ｄ空間である。以下では、３Ｄ座標空間ＣＳ内の各３Ｄ座標の画素を「３Ｄ画素」と呼ぶものとする。また、以下では、プロジェクタ４０やデジタルフィルムカメラ３０等２Ｄ画像の投影や撮像を行う装置において処理される画素を「２Ｄ画素」と呼ぶものとする。

【0020】

図１に示すように、３Ｄ座標空間ＣＳ内には、プロジェクタ４０により映像を投影する投影面は存在しない。プロジェクションシステム１では、３Ｄ座標空間ＣＳ内で複数のプロジェクタ４０から照射される光をレンダリングすることで３Ｄ画像（３Ｄ画素）を結像させる。言い換えると、プロジェクションシステム１では、３Ｄ画素を結像させたい位置に、複数のプロジェクタ４０の光を交差させることで３Ｄ座標空間ＣＳ内における３Ｄ画素を結像させることができる。

【0021】

本来、プロジェクタ４０は、主に投影面に２Ｄ画像を投影することを目的とした装置である。３Ｄ座標空間ＣＳ内に結像させたい３Ｄ画像（３Ｄモデル）を、２Ｄ画像（各プロジェクタ４０から当該３Ｄ画像（３Ｄモデル）を見た場合の２Ｄ画像）に変換して、各プロジェクタ４０から３Ｄ座標空間ＣＳ内に投影する。すなわち、プロジェクションシステム１では、複数のプロジェクタ４０から照射される２Ｄ画像を、３Ｄ座標空間ＣＳ内でレンダリングすることで３Ｄ画像（３Ｄ画像を構成する各３Ｄ画素）を結像させる。そのためには、３Ｄ画像を結像させたい空間の周囲にプロジェクタ４０を多数配置することで、３Ｄ画像を結像させる際に、プロジェクタ４０からの死角がより少ない状態とすることが望ましい。

【0022】

また、複数のプロジェクタ４０から照射される２Ｄ画像を、３Ｄ座標空間ＣＳ内で高精度にレンダリングさせるためには、各プロジェクタ４０が３Ｄ座標空間ＣＳ内に光を照射する際の制御（例えば、キャリブレーション等）が高精度になされている必要がある。そのため、プロジェクションシステム１では、各プロジェクタ４０に対する制御を行うためのセンサとして、モーションキャプチャカメラ２０及びデジタルフィルムカメラ３０を複数備えている。また、この実施形態では、発煙装置５０を用いて、３Ｄ座標空間ＣＳ内に発煙装置５０から発煙する煙（例えば、フォグ、ヘイズ）を充満させることで、プロジェクタ４０の光を煙（煙の分子）に反射させて３Ｄ画素をより鮮明に結像させるようにしている。発煙装置５０としては、スモークマシン、フォグマシン、ヘイズマシン等の種々の舞台効果用の発煙装置を適用することができるため、詳しい説明については省略する。なお、煙がなくても３Ｄ画像が十分鮮明に結像できる環境である場合には、発煙装置５０を除外するようにしてもよい。

【0023】

次に、この実施形態の例における３Ｄ座標空間ＣＳの構成について図２、図３を用いて説明する。

【0024】

図２は、３Ｄ座標空間ＣＳの斜視図である。図３は、３Ｄ座標空間ＣＳの正面図である。

【0025】

図２、図３に示すように、３Ｄ座標空間ＣＳでは、床面ＦＲに設定された原点Ｐ０を基準とする座標系が設定されている。３Ｄ座標空間ＣＳでは、原点Ｐ０を基準として、図２の方向から見て右方向が＋Ｘ方向、左方向が－Ｘ方向、手前方向が－Ｙ方向、奥行き方向が＋Ｙ方向、上方向が＋Ｚ方向、下方向が－Ｚ方向となっている。以下では、３Ｄ座標空間ＣＳ内の座標を示す場合（Ｘ，Ｙ，Ｚ）の形式で示すものとする。例えば、Ｘ軸の位置が１、Ｙ軸の位置が１、Ｚ軸の位置が１の座標は（１，１，１）と表されるものとする。したがって、原点Ｐ０の座標は（０，０，０）となる。３Ｄ座標空間ＣＳの各３Ｄ座標に対応する実際の位置（原点Ｐ０からの物理的な距離（実寸））は、３Ｄ座標空間ＣＳにおける３Ｄ画像の解像度（各３Ｄ画素の実寸）に応じた位置となる。例えば、各３Ｄ画素のＸ軸方向の実寸が５ｍｍであった場合、座標（１，０，０）に対応する物理的な位置は、原点Ｐ０から右方向に５ｍｍの位置ということになる。以上のように、３Ｄ座標空間ＣＳの各座標は原点Ｐ０を基点とする実際の位置と対応付けられる。

【0026】

そして、この実施形態では、説明を簡易とするため、原点Ｐ０の周辺に３Ｄ画像が結像されるものとする。したがって、この実施形態では、原点Ｐ０の周囲に各装置が配置されることになる。そこで、図２、図３では、各装置を設置する際の目安として、原点Ｐ０を底面の中心とする直方空間ＣＢを点線で図示している。直方空間ＣＢは、原点Ｐ０を底面の中心として幅（Ｘ軸方向）１０ｍ（３Ｄ座標空間ＣＳでは２ｋ）、奥行き（Ｙ軸方向）１０ｍ（座標空間では２ｋ）、高さ（Ｚ軸方向）５ｍ（座標空間ではｋ）の直方体形状となっている。図２、図３では、直方空間ＣＢの各頂点の位置をＰ１０１～Ｐ１０４、Ｐ２０１～Ｐ２０４と図示している。

【0027】

図４は、プロジェクションシステム１における各装置（プロジェクション制御装置１０を除く）の配置位置の例について示した図（原点Ｐ０の周辺の斜視図）である。

【0028】

図４では、直方空間ＣＢの上面の位置に断面が矩形の角環形状のフレームＦＷが配置されている。フレームＦＷは、例えば、アルミニウム等の金属製の棒（フレーム）の集合体により形成することができる。フレームＦＷは、下面が直方空間ＣＢの上面に接する位置に支持・固定されているものとする。フレームＦＷを固定する方法は限定されないものである。

【0029】

また、図４では、直方空間ＣＢの奥側の床面ＦＲに左右方向（Ｘ軸方向）を長手方向とする直方体形状の台ＳＴが配置されている。図４の例では、台ＳＴの長手方向の一辺が直方空間ＣＢの奥側床面ＦＲ上の一辺（位置Ｐ１０３－Ｐ１０４の線）とほぼ接するように配置されている。

【0030】

この実施形態では、プロジェクションシステム１を構成するモーションキャプチャカメラ２０及びプロジェクタ４０は、それぞれフレームＦＷ又は台ＳＴに支持・固定されるものとするが、各装置を支持・固定する方法は上記の例に限定されず種々の方法を適用することができる。

【0031】

図５は、フレームＦＷに設置される各装置（モーションキャプチャカメラ２０、プロジェクタ４０）の位置を示した図である。図５では、フレームＦＷ（フレームＦＷに取り付けされた装置を含む）を上方向から見た場合の図となっている。図５では、フレームＦＷを上方向から見た場合において、フレームＦＷの上面でモーションキャプチャカメラ２０が設置される部分を実線で図示し、フレームＦＷの下面でプロジェクタ４０が設置される部分を点線で図示し、フレームＦＷの下面でデジタルフィルムカメラ３０が設置される部分を一点鎖線で図示している。

【0032】

図６は、原点Ｐ０を中心とする床面ＦＲ周辺（台ＳＴを含む）に設置される各装置（プロジェクタ４０、及び発煙装置５０）の位置を示した図である。図６では、原点Ｐ０を中心とする床面ＦＲ周辺を上方向からみた図となっている。

【0033】

図４～図６に示すように、２８台のモーションキャプチャカメラ２０－１～２０－２８は、フレームＦＷの上面で原点Ｐ０の周りを囲うように配置されている。具体的には、角環形状のフレームＦＷの各辺の上面に、概ね等間隔でそれぞれ７台ずつモーションキャプチャカメラ２０が配置されている。

【0034】

また、図４～図６に示すように、２４台のプロジェクタ４０－１～４０－２４のうち、１６台のプロジェクタ４０－１～４０－１６がそれぞれフレームＦＷの下面に支持・固定されており、８台のプロジェクタ４０－１７～４０－２４がそれぞれ台ＳＴの上に設置されている。１６台のプロジェクタ４０－１～４０－１６は、フレームＦＷの下面で原点Ｐ０の周りを囲うように配置（固定）されている。具体的には、角環形状のフレームＦＷの各辺の下面に、概ね等間隔でそれぞれ４台ずつプロジェクタ４０が配置されている。そして、残りの８台のプロジェクタ４０－１７～４０－２４は、台ＳＴで、左右方向（Ｘ軸方向）に概ね等間隔に並べて配置されている。

【0035】

さらに、図４～図６に示すように、２台のデジタルフィルムカメラ３０－１、３０－２は、それぞれＦＷの下面で手前側の辺と奥側の辺に配置されている。デジタルフィルムカメラ３０－１、３０－２のＸ方向の位置は概ね原点Ｐ０（３Ｄ画像を結像する際の中心）と一致しているものとする。なお、ここでは、各モーションキャプチャカメラ２０、各デジタルフィルムカメラ３０、及び各プロジェクタ４０の光軸が、概ね原点Ｐ０に向けるように設置されているものとする。

【0036】

さらにまた、図４～図６に示すように、４台の発煙装置５０－１～５０－４は、それぞれ直方空間ＣＢの右側と左側に２台ずつ分けて配置されている。

【0037】

この実施形態の例では、図４～図６に示すように、３Ｄ画像を結像する際の基準（中心）である原点Ｐ０を囲うように、各装置（モーションキャプチャカメラ２０、デジタルフィルムカメラ３０、プロジェクタ４０、発煙装置５０）を設置（直方空間ＣＢの境界周辺に設置）しているが、各装置の位置は後述するキャリブレーションにより認識される要素である。したがって、各装置の設置数や位置は、図４～図６の例に限定されないものであり、結像される３Ｄ画像の位置や形状に応じた種々の設置パターンを適用することが望ましい。

【0038】

次に、プロジェクションシステム１における各装置のキャリブレーションの際に基準として用いられるオブジェクト（以下、「キャリブレーションオブジェクト」と呼ぶ）について説明する。

【0039】

まず、各モーションキャプチャカメラ２０のキャリブレーションに用いられるキャリブレーションオブジェクトであるキャリブレーション用ワンド７０の構成について説明する。

【0040】

図７は、キャリブレーション用ワンド７０の構成について示す図（斜視図）である。

【0041】

図７に示すように、キャリブレーション用ワンド７０には、棒形状のワンド部７１と、ワンド部７１に付けられた棒形状の支持部材７３（７３－１～７３－３）と、それぞれの支持部材７３（７３－１～７３－３）に支持されている再帰性反射マーカ７２（７２－１～７３－３）を有している。また、ワンド部７１には、オペレータが把持するための把手部材７１ａが取り付けられている。キャリブレーション用ワンド７０については、種々のモーションキャプチャカメラのキャリブレーションに用いられるキャリブレーションオブジェクトと同様の物を適用することができるため、詳しい説明については省略する。

【0042】

次に、各デジタルフィルムカメラ３０のキャリブレーションに用いられるキャリブレーションオブジェクトであるキャリブレーション用ボード８０の構成について説明する。

【0043】

図８は、キャリブレーション用ボード８０の構成を示す図（平面図）である。

【0044】

キャリブレーション用ボード８０は、矩形の板面にチェック模様（市松模様）の画像が形成（印刷）されたチェッカーボード８１と、チェッカーボード８１に付けられた支持部材８３（８３－１～８３－３）と、それぞれの支持部材８３（８３－１～８３－３）に支持されている再帰性反射マーカ８２（８２－１～８３－３）を有している。

【0045】

各再帰性反射マーカ８２は、表面が再帰性反射材料（シートあるいは塗料など）で覆われた球形状の部材である。再帰性反射マーカ８２の芯材は限定されないものであるが例えば、種々の金属、樹脂、ラバー等の材料を用いることができる。再帰性反射マーカ８２は、例えば、球形状の芯材を再帰性反射材料の層が形成されたフィルムで覆うことにより構成することができる。再帰性反射マーカ８２を構成する球形の寸法（例えば、直径）は限定されないものであるが、例えば、直径３～５ｃｍ程度の球形状を適用することができる。

【0046】

この実施形態のチェッカーボード８１の形状は限定されないものである。チェッカーボード８１としては、例えば、約６０ｃｍ×８５ｃｍの矩形（いわゆるＡ１用紙程度のサイズ）を適用することができる。また、チェッカーボード８１に形成されるチェック模様（市松模様）を構成する各グリッド（マス目）の寸法は限定されないものであるが、例えば、７．５ｃｍ×７．５ｃｍの正方形を適用することができる。支持部材８３の長さについても限定されないものである。支持部材８３の長さは、例えば、３ｃｍ～５ｃｍ程度としてもよい。

【0047】

キャリブレーション用ボード８０では、チェッカーボード８１の短手方向の一方の辺に１つの再帰性反射マーカ８２－１が支持部材８３－１を用いて取り付けされており、チェッカーボード８１の短手方向の他方の辺に２つの再帰性反射マーカ８２－２、８２－３が支持部材８３－２、８３－３を用いて取り付けされている。すなわち、キャリブレーション用ボード８０では、対向する２辺（例えば、短手方向又は長手方向で対抗する２辺）に取り付ける再帰性反射マーカ８２の数を異なる数とすることで、キャリブレーションの際にチェッカーボード８１の各辺や姿勢を識別することを容易としている。例えば、キャリブレーション用ボード８０において、チェッカーボード８１の短手方向の一方の端に２つの再帰性反射マーカ８２を取り付け、他方の端に３つの再帰性反射マーカ８２を取り付けるようにしてもよい。また、例えば、キャリブレーション用ボード８０において、長手方向の各辺にそれぞれ数の異なる再帰性反射マーカ８２を取り付けるようにしてもよい。

【0048】

次に、各プロジェクタ４０のキャリブレーションに用いられるキャリブレーションオブジェクト９０の構成について説明する。

【0049】

図９は、キャリブレーションオブジェクト９０の構成を示す図（斜視図と平面図）である。

【0050】

図９（ａ）は、キャリブレーションオブジェクト９０の斜視図であり、図９（ｂ）は、キャリブレーションオブジェクト９０の平面図（上側から見た図）である。

【0051】

図９に示すように、キャリブレーションオブジェクト９０は、被投影オブジェクト９１と、被投影オブジェクト９１の上面に付けられた４つの支持部材９３（９３－１～９３－４）と、各支持部材９３（９３－１～９３－４）に支持されている４つの再帰性反射マーカ９２（９２－１～９２－４）とを有している。

【0052】

この実施形態では、被投影オブジェクト９１は、三角柱の形状であるものとする。被投影オブジェクト９１の形状は三角柱に限定されず、他の多面体の形状（例えば、四角柱、五角柱等）を適用することもできる。また、被投影オブジェクト９１の上面及び下面の形状や各辺の寸法は限定されないものとする。この実施形態の例では、被投影オブジェクト９１の高さを１８０ｃｍ、三角柱の上面／下面の三角形の一辺の寸法が９０ｃｍであるものとする。この実施形態では、被投影オブジェクト９１の上面及び下面の形状は正三角形であるものとして説明するが、正三角形に限らず種々の三角形（例えば、二等辺三角形等）に変更してもよい。なお、被投影オブジェクト９１を三角柱の形状とすることで変形を抑制し、精度の高いキャリブレーションに寄与することができる。被投影オブジェクト９１の材料は限定されないものであるが、変形しにくく（高剛性）かつ軽量な材料であることが望ましい。被投影オブジェクト９１の材料としては、例えば、木や樹脂等を材料とする板を適用することができる。また、被投影オブジェクト９１では、下面及び又は上面の板を除外するようにしてもよい。すなわち、被投影オブジェクト９１は、筒形状としてもよい。

【0053】

なお、被投影オブジェクト９１の各投影面（各側面）は、白色であることが望ましい。

【0054】

被投影オブジェクト９１の上面の多角形（この実施形態では三角形）の各頂点には、それぞれ再帰性反射マーカ９２－１～９２－３が配置（立設）されている。また、被投影オブジェクト９１の上面の多角形には、キャリブレーションの際に各辺を識別するためにいずれかの１辺にもう一つの再帰性反射マーカ９２－４が立設されている。もう一つの再帰性反射マーカ９２－４を配置する辺については限定されないものであるが、この実施形態では、再帰性反射マーカ９２－１と再帰性反射マーカ９２－３の間の辺に配置されているものとする。

【0055】

また、この実施形態では、キャリブレーションオブジェクト９０が一つでもプロジェクタ４０のキャリブレーションは可能であるが、効率性を上げるために（１度のキャリブレーションでより多くのサンプルを取得することで、キャリブレーションに要する時間短縮するために）複数のキャリブレーションオブジェクト９０を用いることが望ましい。

【0056】

その場合、キャリブレーションの際に、各キャリブレーションオブジェクト９０を識別（個体識別）するための構成については限定されないものである。この実施形態の例では、キャリブレーションオブジェクト９０ごとに、もう１つ（４つ目）の再帰性反射マーカ９２－４の位置を変化させることで、キャリブレーションの際に、各キャリブレーションオブジェクト９０の個体識別を可能としている。

【0057】

例えば、図１０に示すように、再帰性反射マーカ９２－１と再帰性反射マーカ９２－３の間で、再帰性反射マーカ９２－４を配置する位置を変化させることで、各キャリブレーションオブジェクト９０の個体識別を行うことが可能な構成とすることができる。ここでは、プロジェクタ４０のキャリブレーションに、２つのキャリブレーションオブジェクト９０（９０－１、９０－２）を用いるものとする。図１０（ａ）は、キャリブレーションオブジェクト９０－１の平面図であり、図１０（ｂ）はキャリブレーションオブジェクト９０－２の平面図である。

【0058】

ここで、キャリブレーションオブジェクト９０（９０－１、９０－２）において、再帰性反射マーカ９２－１と再帰性反射マーカ９２－３との間（各再帰性反射マーカ９２の中心位置の間）の距離をＬ３０１、再帰性反射マーカ９２－３と再帰性反射マーカ９２－４との間（各再帰性反射マーカ９２の中心位置の間）の距離をＬ３０２とする。

【0059】

ここでは、図１０に示すように、キャリブレーションオブジェクト９０－１では、Ｌ３０１とＬ３０２との比率（以下、「設置位置比率」と呼ぶ）が３対１（Ｌ３０１／Ｌ３０２＝３／１）となっており、キャリブレーションオブジェクト９０－２では、設置位置比率が４対１（Ｌ３０１／Ｌ３０２＝４／１）となっている。すなわち、キャリブレーションの際、各キャリブレーションオブジェクト９０（９０－１、９０－２）におけるもう１つの再帰性反射マーカ９２－４の位置に応じたパラメータ（例えば、設置位置比率）を用いて、各キャリブレーションオブジェクト９０（９０－１、９０－２）の個体識別が可能となる。

【0060】

次に、プロジェクション制御装置１０の内部構成について説明する。

【0061】

図１では、プロジェクション制御装置１０の機能的構成のブロック図も図示されている。

【0062】

図１に示すようにプロジェクション制御装置１０は、機能的には、モーションキャプチャ処理部１１０、キャリブレーション制御部１２０、ビジュアル制御部１３０、ビジュアル処理部１４０、及び発煙制御部１５０を有している。

【0063】

プロジェクション制御装置１０を構成する各要素は、それぞれコンピュータを用いてソフトウェア的に構成するようにしてもよいし、一部又は全部をハードウェア(例えば、専用の半導体チップ）を用いて構成するようにしてもよい。この実施形態では、プロジェクション制御装置１０は１又は複数のコンピュータにプログラム（実施形態に係るプロジェクション制御プログラム）を用いて構成されているものとする。すなわち、プロジェクション制御装置１０を構成するハードウェア（コンピュータ）の数は限定されないものであり、複数のハードウェア群で構成される場合もあり得るものとする。

【0064】

モーションキャプチャ処理部１１０は、各モーションキャプチャカメラ２０を制御し、各モーションキャプチャカメラ２０の検知結果を処理して、再帰性反射マーカ（各モーションキャプチャカメラ２０の視野内で検知された再帰性反射マーカ）の位置を検知する処理を行う。この実施形態では、各モーションキャプチャカメラ２０は、センサ光（例えば、赤外線光）を発光して、再帰性反射マーカで反射された反射光を検知する等の処理を行うものであるものとする。すなわち、この実施形態では、各モーションキャプチャカメラ２０とモーションキャプチャ処理部１１０により、３Ｄ座標空間ＣＳ内におけるマーカ（この実施形態では、再帰性反射マーカ）の位置を認識することができるシステム（以下、「モーションキャプチャシステム」と呼ぶ）が構成されている。この実施形態では、上記のような光学的なセンサとしてのモーションキャプチャカメラ２０を用いたモーションキャプチャシステムが適用されるものとして説明するが、モーションキャプチャシステムの具体的な方式は限定されないものであり、光学式以外にも電磁波等その他の手段を用いてキャプチャ対象のマーカの位置を検知する方式を適用するようにしてもよい。その場合、モーションキャプチャするマーカについても検知方式に応じた構成とする必要がある。

【0065】

モーションキャプチャ処理部１１０は、リアルタイムに３Ｄ座標空間ＣＳ内の再帰性反射マーカの位置を検知して、その検知結果（３Ｄ座標等）を出力する（以下、このリアルタイムな検知結果の出力を単に「ストリーム」とも呼ぶ）。

【0066】

キャリブレーション制御部１２０は、各プロジェクタ４０に対してキャリブレーションする機能、及び各デジタルフィルムカメラ３０に対してキャリブレーションする機能等を担っている。

【0067】

具体的には、キャリブレーション制御部１２０は、モーションキャプチャ処理部１１０から供給されるストリームと、各デジタルフィルムカメラ３０で撮像される画像（各プロジェクタ４０によりキャリブレーションオブジェクト９０に投影されたキャリブレーション用パターンを撮像した画像）に基づいて、各プロジェクタ４０をキャリブレーションする処理等を行う。また、キャリブレーション制御部１２０は、モーションキャプチャ処理部１１０から供給されるストリームと、各デジタルフィルムカメラ３０で撮像される画像（キャリブレーション用ボード８０のチェッカーボード８１に形成されたキャリブレーション用画像としてのチェッカー画像）に基づいて、各デジタルフィルムカメラ３０をキャリブレーションする処理を行う。キャリブレーション制御部１２０による各プロジェクタ４０に対するキャリブレーション処理、及び各デジタルフィルムカメラ３０のキャリブレーション処理の具体例については後述する。また、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０に対してキャリブレーション処理に基づく制御処理（例えば、焦点距離、光軸方向等の種々のパラメータに基づく制御処理）を行う。

【0068】

ここでは、キャリブレーション制御部１２０には、予めキャリブレーション用ボード８０の構成情報（以下、「ボード構成情報」と呼ぶ）及びキャリブレーションオブジェクト９０の構成情報（以下、「オブジェクト構成情報」と呼ぶ）が設定されているものとする。

【0069】

まず、ボード構成情報について説明する。

【0070】

ボード構成情報には、キャリブレーション用ボード８０上で検知対象となる各位置（以下、「認識位置」と呼ぶ）の相対的な位置関係に関する情報が含まれている。

【0071】

図１１は、キャリブレーション用ボード８０について検知対象となる位置（以下、「認識位置」と呼ぶ）について示した図である。

【0072】

図１１では、キャリブレーション用ボード８０上の認識位置として、再帰性反射マーカ８２－１～８２－３の中心位置ＰＭ１０１～ＰＭ１０３と、チェッカーボード８１に形成されたチェッカー画像における各交点の位置ＰＣ０１～ＰＣ７０が図示されている。

【0073】

キャリブレーション制御部１２０では、モーションキャプチャシステムのストリームに基づいて、３Ｄ座標空間ＣＳにおける認識位置ＰＭ１０１～ＰＭ１０３（例えば、再帰性反射マーカ８２－１～８２－３の中心位置）を認識することができる。また、キャリブレーション制御部１２０では、デジタルフィルムカメラ３０で撮像される画像上で、認識位置ＰＣ０１～ＰＣ７０（チェッカー画像上の各交点の位置）を認識することができる。

【0074】

したがって、この実施形態のボード構成情報には、キャリブレーション用ボード８０における各認識位置ＰＭ１０１～ＰＭ１０３、ＰＣ０１～ＰＣ７０の相対的な位置に関する情報（以下、「相対的位置情報」と呼ぶ）が含まれていることになる。

【0075】

相対的位置情報としては、例えば、３Ｄ座標空間ＣＳ上における認識位置ＰＭ１０１～ＰＭ１０３（再帰性反射マーカ８２－１～８２－３の中心位置の３Ｄ座標）に基づいて、３Ｄ座標空間ＣＳ上における認識位置ＰＣ０１～ＰＣ７０（チェッカー画像上の各交点の位置の３Ｄ座標）を算出することができるデータであれば、具体的なデータ形式は限定されないものである。

【0076】

例えば、キャリブレーション用ボード８０の構成を、図１２のように調整することで、相対的位置情報を用いた認識位置ＰＣ０１～ＰＣ７０（チェッカー画像上の各交点の位置の３Ｄ座標）の算出処理を効率的に行うことができる。

【0077】

図１２に示すキャリブレーション用ボード８０では、長手方向で対向する再帰性反射マーカ８２－１の中心位置（ＰＭ１０１）と、再帰性反射マーカ８２－２の中心位置（ＰＭ１０２）とを通る線Ａｘがチェッカー画像のいずれかの長手方向に並んだ各交点（図１２では、ＰＣ０１～ＰＣ１０）を通るように、再帰性反射マーカ８２－１、８２－２の取付位置が調整されている。また、図１２に示すキャリブレーション用ボード８０では、短手方向で対向する再帰性反射マーカ８２－２の中心位置（ＰＭ１０２）と、再帰性反射マーカ８３－３の中心位置（ＰＭ１０３）とを通る線Ａｙがチェッカー画像の短手方向の各交点を結ぶ線（例えば、ＰＣ１０、ＰＣ２０、ＰＣ３０、ＰＣ４０、ＰＣ５０、ＰＣ６０、ＰＣ７０を結ぶ線）と並行となるように、再帰性反射マーカ８２－２、８２－３の取付位置が調整されている。言い換えると、キャリブレーション用ボード８０において、各再帰性反射マーカ８２からチェッカーボード８１までのオフセット距離（各支持部材８３の長さ）は、同一に調整されていることが望ましい。

【0078】

図１２に示すように、キャリブレーション用ボード８０における各再帰性反射マーカ８２の位置を調整することで、線Ａｘ上に必ず認識位置Ｐ０１～Ｐ１０が存在することや、線Ａｘ及び線Ａｙに並行な線上にチェッカー画像上の各認識位置（ＰＣ０１～ＰＣ７０）が並べて配置されていることが特定できるので、より少ない数の再帰性反射マーカ８２で、かつ、より少ない処理量でチェッカー画像上の各認識位置（ＰＣ０１～ＰＣ７０の３Ｄ座標）の算出を行うことができる。例えば、図１２に示すように、キャリブレーション用ボード８０における各再帰性反射マーカ８２の位置を調整することで、ボード構成情報として各再帰性反射マーカ８２の位置からチェッカー画像までの距離（例えば、チェッカー画像上で最も近い交点までの距離（例えば、ＰＭ１０１とＰＣ０１との間の距離）；以下「オフセット距離」とも呼ぶ）や、チェッカー画像の各マス目の距離（縦方向及び横方向の距離）を登録しておけば良いことになる。

【0079】

なお、再帰性反射マーカ８２の数が増えると、キャリブレーション用ボード８０自体の製作や調整が難しくなり、精度が落ちやすくなるため、再帰性反射マーカ８２の数は可能な限り抑制する方が望ましい。

【0080】

次に、キャリブレーションオブジェクト９０に関するオブジェクト構成情報について説明する。

【0081】

キャリブレーションオブジェクト９０のオブジェクト構成情報には、キャリブレーションオブジェクト９０上の各認識位置の相対的な位置関係に関する情報が含まれている。

【0082】

図１３は、キャリブレーションオブジェクト９０について認識対象となる認識位置について示した図である。

【0083】

図１３では、キャリブレーションオブジェクト９０上の認識位置として、再帰性反射マーカ９２－１～９２－４の中心位置ＰＭ２０１～ＰＭ２０４と、被投影オブジェクト９１の各頂点（三角柱の各頂点）の位置ＰＨ０１～ＰＨ０６が図示されている。

【0084】

キャリブレーション制御部１２０では、モーションキャプチャシステムのストリームに基づいて、３Ｄ座標空間ＣＳにおける認識位置ＰＭ２０１～ＰＭ２０４（再帰性反射マーカ９２－１～９２－４の中心位置）を認識することができる。

【0085】

この実施形態のオブジェクト構成情報には、キャリブレーションオブジェクト９０における各認識位置ＰＭ２０１～ＰＭ２０４、ＰＨ０１～ＰＨ０６の相対的な位置に関する情報がオブジェクト構成情報に含まれている必要がある。

【0086】

オブジェクト構成情報としては、例えば、３Ｄ座標空間ＣＳ上における認識位置ＰＭ２０１～ＰＭ２０４（再帰性反射マーカ９２－１～９２－４の中心位置の３Ｄ座標）に基づいて、３Ｄ座標空間ＣＳ上における認識位置ＰＨ０１～ＰＨ０６（被投影オブジェクト９１の各頂点の位置の３Ｄ座標）を算出することができるデータであれば、具体的なデータ形式は限定されないものである。

【0087】

例えば、ここでは、再帰性反射マーカ９２－１～９２－３の中心位置（認識位置ＰＭ２０１～ＰＭ２０３）の直下に、被投影オブジェクト９１の各頂点（認識位置ＰＨ０１～ＰＨ０６）が位置するように、再帰性反射マーカ９２－１～９２－３の位置が調整されているものとする。そうすると、再帰性反射マーカ９２－１～９２－３の中心位置（認識位置ＰＭ２０１～ＰＭ２０３）の水平方向の座標（Ｘ軸及びＹ軸の座標）が、直下の被投影オブジェクト９１の各頂点（認識位置ＰＨ０１～ＰＨ０６）と一致することになる。例えば、再帰性反射マーカ９２－１の中心位置（認識位置ＰＭ２０１）と、その直下の頂点の位置（認識位置ＰＨ０１、ＰＨ０４）の水平方向の座標が一致することになる。この場合、オブジェクト構成情報に、再帰性反射マーカ９２－１～９２－３の中心位置（認識位置ＰＭ２０１～ＰＭ２０３）と、その直下の被投影オブジェクト９１の各頂点（認識位置ＰＨ０１～ＰＨ０６）の位置までの距離が登録されていれば良いことになる。具体的には例えば、再帰性反射マーカ９２－１の中心位置（認識位置ＰＭ２０１）と、直下の頂点の位置（認識位置ＰＨ０１、ＰＨ０４）への距離がオブジェクト構成情報に含まれることになる。なお、再帰性反射マーカ９２－１の中心位置（認識位置ＰＭ２０１）と認識位置ＰＨ０１の位置の距離（オフセット距離）と、被投影オブジェクト９１（三角柱）の高さの情報がオブジェクト構成情報に含まれていれば、再帰性反射マーカ９２－１の中心位置（認識位置ＰＭ２０１）に基づいて、その直下の認識位置ＰＨ０１、ＰＨ０４の３Ｄ座標を算出することができることになる。

【0088】

さらに、上述の通り、キャリブレーションオブジェクト９０では、再帰性反射マーカ９２－１（ＰＭ２０１）と再帰性反射マーカ９２－３（ＰＭ２０３）とを通る線上にだけ再帰性反射マーカ９２－４（ＰＭ２０４）が存在する。したがって、ビジュアル制御部１３０では、まず１直線上に並んだ３つの再帰性反射マーカ９２－１、９２－４、９２－３（ＰＭ２０１、ＰＭ２０４、ＰＭ２０３）を検出することで、キャリブレーションオブジェクト９０自体及び中間にある再帰性反射マーカ９２－４（ＰＭ２０４）の位置を検出することができる。

【0089】

例えば、キャリブレーション制御部１２０では、キャリブレーションオブジェクト９０上の再帰性反射マーカ９２－４（ＰＭ２０４）の位置を検出することで、その他の再帰性反射マーカ９２－１～９２－３（ＰＭ２０１～ＰＭ２０３）も個別に認識することができる。また、上述の通り、各キャリブレーションオブジェクト９０では、再帰性反射マーカ９２－４の位置に特徴があるので、ビジュアル制御部１３０は、再帰性反射マーカ９２－４の位置に応じて、各キャリブレーションオブジェクト９０の個体を識別することができる。

【0090】

ビジュアル処理部１４０は、各プロジェクタ４０を制御する機能を担っている。ビジュアル処理部１４０は、例えば、各プロジェクタ４０に投影させる２Ｄ画像を生成して映像信号に変換して各プロジェクタ４０に供給する処理を行う。また、ビジュアル処理部１４０は、各プロジェクタ４０に対する各種制御処理（例えば、明るさ、焦点距離等の種々のパラメータに基づく制御処理）を行う。

【0091】

発煙制御部１５０は、各発煙装置５０を制御する機能を担っている。発煙制御部１５０は、各発煙装置５０を制御して、３Ｄ座標空間ＣＳ（直方空間ＣＢを含む空間）内に煙（例えば、フォグ、ヘイズ等）を放出させる処理等を行う。発煙制御部１５０としては、種々のスモークマシン（例えば、フォグマシンやヘイズマシン等）を制御するアプリケーションを適用することができるため詳しい説明を省略する。

【0092】

ビジュアル処理部１４０は、プロジェクション制御装置１０の全体を制御する機能（メインコントロール機能）を担っている。ビジュアル処理部１４０は、各要素に対してキャリブレーションに必要な処理実行の指示や、３Ｄ画像の結像を指示する処理等を行う。

【0093】

（Ａ－２）実施形態の動作
次に、以上のような構成を有するこの実施形態におけるプロジェクションシステム１の動作（実施形態に係るプロジェクション制御方法）について説明する。

【0094】

図１４は、プロジェクションシステム１において行われるキャリブレーション処理の基本的な流れについて示したフローチャートである。

【0095】

ここでは、まず、プロジェクションシステム１を構成する各装置が、図４に示すように原点Ｐ０を囲うように配置された状態で、プロジェクション制御装置１０においてキャリブレーションの処理が開始されたものとする。この実施形態のプロジェクション制御装置１０では、ビジュアル処理部１４０が全体のキャリブレーションの流れ（例えば、図１４のフローチャートの各プロセスの制御）を行うものとする。

【0096】

ビジュアル処理部１４０は、キャリブレーション処理を開始すると、まず、モーションキャプチャ処理部１１０を制御して、各モーションキャプチャカメラ２０のキャリブレーション（モーションキャプチャシステム単体のキャリブレーション）の処理を実行させる（Ｓ１０１）。

【0097】

このとき、図１５に示すように、各モーションキャプチャカメラ２０の視野内（原点Ｐ０の周辺）で、オペレータがキャリブレーション用ワンド７０を持って振り回す動作を繰り返すことで、各モーションキャプチャカメラ２０により、各再帰性反射マーカ７２－１１～７３－３からの反射光（センサ光を反射した光）が受光される。モーションキャプチャ処理部１１０が、各モーションキャプチャカメラ２０を制御してキャリブレーション（キャリブレーション用ワンド７０に対する検知結果に基づくキャリブレーション）する処理については、種々のモーションキャプチャカメラ（モーションキャプチャセンサ）のキャリブレーションと同様の処理を適用することができるため、詳しい説明を省略する。

【0098】

また、モーションキャプチャ処理部１１０は、原点Ｐ０の位置を認識・登録する処理を行う。このとき、原点Ｐ０の位置に、キャリブレーション用ワンド７０の所定の再帰性反射マーカ７２（例えば、中央の再帰性反射マーカ７３－２）が原点Ｐ０に設置されている必要がある。この実施形態の例では、モーションキャプチャ処理部１１０が、原点Ｐ０を登録する処理を行う際に、オペレータにより、キャリブレーション用ワンド７０の再帰性反射マーカ７２が設置されるものとして説明する。なお、最初から原点Ｐ０に再帰性反射マーカを設置しておくようにしてもよい。

【0099】

以上の処理により、モーションキャプチャ処理部１１０において、各モーションキャプチャカメラ２０のキャリブレーション及び原点Ｐ０の認識・登録が行われる。

【0100】

次に、ビジュアル処理部１４０は、モーションキャプチャ処理部１１０とキャリブレーション制御部１２０を制御して、各デジタルフィルムカメラ３０のキャリブレーションの処理を行う（Ｓ１０２）。

【0101】

このとき、図１６に示すように、オペレータがキャリブレーション用ボード８０を持ち、原点Ｐ０を中心とした直方空間ＣＢ内で、キャリブレーション用ボード８０を様々な位置で、様々な姿勢に傾けることを繰り返すことで、モーションキャプチャシステムにキャリブレーション用ボード８０の各再帰性反射マーカ８２の位置を検知させると同時に、各デジタルフィルムカメラ３０にキャリブレーション用ボード８０のチェッカーボード８１に形成されたチェッカー画像を撮像させることができる。このとき、ビジュアル処理部１４０は、キャリブレーション制御部１２０に対して、各デジタルフィルムカメラ３０に対するキャリブレーションを指示すると共に、モーションキャプチャシステムのストリームを供給する。そして、キャリブレーション制御部１２０は、ビジュアル制御部１３０の制御に従って、モーションキャプチャシステムのストリームと、各デジタルフィルムカメラ３０で撮像された映像に基づいて、各デジタルフィルムカメラ３０のキャリブレーション処理を行う。

【0102】

図１７は、モーションキャプチャ処理部１１０による各デジタルフィルムカメラ３０のキャリブレーションの処理の流れについて示したフローチャートである。

【0103】

図１８では、各デジタルフィルムカメラ３０に関するキャリブレーション処理について図示している。

【0104】

まず、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０で撮像された画像に基づいてデジタルフィルムカメラ３０の内部パラメータに関するキャリブレーションを行う（Ｓ２０１）。デジタルフィルムカメラ３０において、キャリブレーション対象となる内部パラメータとしては、例えば、焦点距離、主点（光学的な中心位置〉、ゆがみ係数が挙げられる。このとき、オペレータは、例えば、キャリブレーション対象のデジタルフィルムカメラ３０にキャリブレーション用ボード８０を向けて、Ｐ１０１～Ｐ２０４の空間上のポイントを満遍なく取得するように上下左右に移動させたり、傾けたりする等行い、デジタルフィルムカメラ３０で数十枚のパターン（２０～３０パターン程度）の画像が撮像されることが望ましい。そして、キャリブレーション制御部１２０は、このときデジタルフィルムカメラ３０で撮像されたキャリブレーション用ボード８０の画像（チェッカー画像を撮像した画像）に基づいて、内部パラメータのキャリブレーションを行う。

【0105】

例えば、デジタルフィルムカメラ３０で図１８に示すような画像が撮像された場合を想定する。

【0106】

図１８では、説明の都合上、キャリブレーション用ボード８０上の各認識位置（ＰＭ１０１～ＰＭ１０３、ＰＣ０１～ＰＣ７０）の位置を示す符号及び目印を付している。

【0107】

デジタルフィルムカメラ３０で図１８に示すような画像が撮像されたものとする。そして、キャリブレーション制御部１２０は、モーションキャプチャシステムのストリームに基づいて、認識位置ＰＭ１０１～ＰＭ１０３の３Ｄ座標を取得する。そして、キャリブレーション制御部１２０は、取得した認識位置ＰＭ１０１～ＰＭ１０３の３Ｄ座標とボード構成情報とに基づいて、認識位置ＰＣ０１～ＰＣ７０（チェッカ－画像の各交点）の３Ｄ座標を算出する。また、キャリブレーション制御部１２０は、デジタルフィルムカメラ３０で撮像された２Ｄ画像（図１８に示す画像）におけるチェッカー画像の各交点の位置を、認識位置ＰＣ０１～ＰＣ７０の２Ｄ座標として取得する。これにより、キャリブレーション制御部１２０は、デジタルフィルムカメラ３０で、図１８に示す画像が撮像された時点における認識位置ＰＣ０１～ＰＣ７０の３Ｄ座標と、当該デジタルフィルムカメラ３０が撮像した２Ｄ画像における２Ｄ座標との対応関係のサンプル（リスト）を得ることができる。キャリブレーション制御部１２０は、複数の撮像画像（デジタルフィルムカメラ３０における撮像画像）について、上記のような処理を繰り返すことで、３Ｄ座標空間ＣＳ内の多数の３Ｄ座標に対応する２Ｄ座標のサンプルが得られることになる。

【0108】

キャリブレーション制御部１２０は、このとき得られた３Ｄ座標に対応する２Ｄ座標（以下、「サンプル座標」と呼ぶ）に基づいて、デジタルフィルムカメラ３０のキャリブレーション（座標空間ＣＳを撮像する際に必要なキャリブレーション）を行う。このようなデジタルフィルムカメラ３０のキャリブレーションについては種々の方式を適用することができる。デジタルフィルムカメラ３０等のカメラモデルにおいて、座標サンプルに基づき内部パラメータ及び外部パラメータを取得際には、既存の理論やオープンソースの環境（ライブラリ）を用いたプログラムによる処理を適用することができる。カメラモデルにおいて座標サンプルに基づいたキャリブレーションを行うことが可能なオープンソースの環境としては、例えば、ＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）等を適用することができる。

【0109】

以下では、デジタルフィルムカメラ３０の内部パラメータ取得には、このＯｐｅｎＣＶのカメラモデルを適用するものとして説明する。ＯｐｅｎＣＶのカメラモデルには、キャリブレーション処理用の関数として、ｃａｌｉｂｒａｔｅＣａｍｅｒａ関数等が用意されており、デジタルフィルムカメラ３０の内部パラメータ取得にも適用することができる。

【0110】

一般的なカメラモデルでは、内部パラメータは、いわゆるカメラ行列を構成する焦点距離［ｆｘ，ｆｙ］、主点［ｃｘ，ｃｙ］、及び歪み係数［ｋ_１，・・・，ｋ_６，ｐ_１，ｐ_２，ｓ_１，・・・，ｓ_４］で表現される。

【0111】

例えば、このＯｐｅｎＣＶの、ｃａｌｉｂｒａｔｅＣａｍｅｒａ関数に、キャリブレーション用ボード８０を撮像する処理で得られた座標サンプルのリスト、デジタルフィルムカメラ３０の解像度、内部パラメータの初期値（例えば、デジタルフィルムカメラ３０のスペックに基づく所定値）を入力して所定の処理を行うことで、求めるべき内部パラメータ（焦点距離、主点、及び歪み係数）を得ることができる。

【0112】

次に、キャリブレーション制御部１２０は、モーションキャプチャシステムのストリームと、各デジタルフィルムカメラ３０で撮像された画像に基づいてデジタルフィルムカメラ３０の外部パラメータのキャリブレーションを行う（Ｓ２０２）。このとき、オペレータは、例えば、キャリブレーション対象のデジタルフィルムカメラ３０にキャリブレーション用ボード８０を向けて、Ｐ１０１～Ｐ２０４の空間上のポイントを満遍なく取得するように上下左右に移動させたり、傾けたりする等行い、デジタルフィルムカメラ３０で数十パターン（２０～３０パターン程度）の画像が撮像されることが望ましい。

【0113】

キャリブレーション制御部１２０は、外部パラメータとして、各デジタルフィルムカメラ３０の位置及び姿勢を取得する。一般的なカメラモデルにおいて、位置はｔ、姿勢（回転）はＲと表される。一般的なカメラモデルにおいて、座標サンプルに基づき外部パラメータ（位置ｔ及び回転Ｒ）を取得する方法としては、例えば、Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ（以下、「ＰｎＰ」と呼ぶ）問題の解法を利用する方法が挙げられる。ＰｎＰ問題とは、３Ｄ空間中にある点群と，２Ｄ画像上にある点群の関係からカメラの位置姿勢を推定する問題であり種々の解法が存在する。すなわち、キャリブレーション制御部１２０は、キャリブレーション用ボード８０を撮像する処理で得られたサンプルのリスト（３Ｄ座標のリスト、及び当該３Ｄ座標のリストに対応する２Ｄ座標のリスト）を、このＰｎＰ問題の解法に当てはめることにより、デジタルフィルムカメラ３０の外部パラメータ（位置ｔ及び回転Ｒ）を得ることができる。ＰｎＰ問題の解法について種々の方式を適用することができるため、ここでは詳しい説明を省略する。

【0114】

以上のように、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０に対するキャリブレーション処理（内部パラメータ及び外部パラメータの取得）を行う。以下では、デジタルフィルムカメラ３０のキャリブレーションで処理されるパラメータ（内部パラメータ及び外部パラメータを含むパラメータ）を総称して「カメラキャリブレーションパラメータ」と呼ぶ。

【0115】

ステップＳ２０１、Ｓ２０２に処理において、キャリブレーション制御部１２０は、キャリブレーション用ボード８０が静止しているタイミングで座標サンプルを取得することが望ましい。オペレータがキャリブレーション用ボード８０の静止を継続しなければならない最低限の時間（以下、「最低静止時間」と呼ぶ）については限定されないものであるが、キャリブレーション制御部１２０がサンプル取得をするのに十分な時間が確保されている必要がある。オペレータがキャリブレーション用ボード８０のポジションを変更するタイミングについては、オペレータの判断で成されるようにし、キャリブレーション制御部１２０がそれに追随するように座標サンプルを取得するようにしてもよい。また、キャリブレーション制御部１２０が、オペレータに対して、キャリブレーション用ボード８０のポジション変更（静止の終了）に適切なタイミングを促す所定の出力（例えば、図示しないディスプレイやスピーカによる所定の出力）を行うようにしてもよい。また、キャリブレーション制御部１２０は、十分な数のサンプル座標がえられたときに、座標サンプルの取得が終了したことを通知する所定の出力（例えば、図示しないディスプレイやスピーカによる所定の出力）を行うようにしてもよい。

【0116】

ここで再び上述の図１４のフローチャートの説明に戻る。

【0117】

次に、図１９に示すように、オペレータにより、３Ｄ座標空間ＣＳ内（原点Ｐ０の周辺）に、２つのキャリブレーションオブジェクト９０（９０－１、９０－２）が設置され、ビジュアル制御部１３０により、キャリブレーションオブジェクト９０－１、９０－２を認識・登録する処理（以下、「剛体登録処理」と呼ぶ）が行われたものとする（Ｓ１０３）。

【0118】

図１９は、３Ｄ座標空間ＣＳ内に、キャリブレーションオブジェクト９０－１、９０－２が設置された状態について示した図（斜視図）である。

【0119】

上述の通り、ビジュアル制御部１３０は、モーションキャプチャシステムのストリームに基づいて、複数のキャリブレーションオブジェクト９０を検出し、各キャリブレーションオブジェクト９０の個体識別し、さらに各キャリブレーションオブジェクト９０の各再帰性反射マーカ９２の位置（ＰＭ２０１～ＰＭ２０４の３Ｄ座標）に基づいて、各キャリブレーションオブジェクト９０を構成する被投影オブジェクト９１の位置及び向き（例えば、各被投影オブジェクト９１を構成する各側面の４隅の３Ｄ座標）を認識・登録することができる。以後、ビジュアル制御部１３０では、モーションキャプチャシステムのストリームに基づいて、各キャリブレーションオブジェクト９０の動きを検出することができる。すなわち、ビジュアル制御部１３０では、以後、各キャリブレーションオブジェクト９０がオペレータ等により動かされた場合（ポジション変更された場合）でも、リアルタイムに各キャリブレーションオブジェクト９０を構成する被投影オブジェクト９１の各側面の３Ｄ座標（各側面の４隅の３Ｄ座標）を認識することができる。

【0120】

以上のように、ビジュアル制御部１３０では、各キャリブレーションオブジェクト９０の剛体登録処理が行われる。

【0121】

次に、ビジュアル制御部１３０は、剛体登録した各キャリブレーションオブジェクト９０を用いて、各プロジェクタ４０のキャリブレーションをする処理に移行する。この実施形態では、キャリブレーションオブジェクト９０を複数のポジションに変更して各プロジェクタ４０のキャリブレーションに必要なサンプル取得処理を行うものとする。以下では、キャリブレーションオブジェクト９０の１つのポジションについて各プロジェクタ４０のキャリブレーションを行う処理を「１ターン」と数えるものとする。すなわち、ここでは、複数ターンにわたって各プロジェクタ４０のサンプル取得処理が行われるものとする。実施するターンの数については限定されないものであるが、ここでは、ビジュアル制御部１３０は、３ターンのサンプル取得処理を行うものとして説明する。

【0122】

まず、ビジュアル制御部１３０は、キャリブレーション対象になるプロジェクタ４０（今回のターンで未選択のプロジェクタ４０）を選択する（Ｓ１０４）。

【0123】

次に、ビジュアル制御部１３０は、ビジュアル処理部１４０を介して、今回選択したプロジェクタ４０からグレイコードパターンの動画像（キャリブレーション用の動画像）の照射を開始させる（Ｓ１０５）。これにより、図２０に示すように、剛体登録されたキャリブレーションオブジェクト９０－１、９０－２に、キャリブレーション対象のプロジェクタ４０から照射されたグレイコードパターンが投影されることになる。なお、図２０（ａ）では、キャリブレーションオブジェクト９０－１のみを抜き出して図示している。ビジュアル処理部１４０は、例えば、予めプロジェクタ４０の仕様（解像度等）に合うグレイコードパターンの動画像データを保持しておき、その動画像データに基づく映像信号をプロジェクタ４０に供給するようにしてもよいし、グレイコードパターンを生成するためのパラメータを保持しておいて、プロジェクタ４０の仕様に合わせたグレイコードパターンの動画像（映像信号）を生成（例えば、種々のグレイコードパターン生成プログラムを用いて生成）してプロジェクタ４０に供給するようにしてもよい。グレイコードパターンの動画像の形式自体は限定されないものであり、種々のグレイコードパターン（例えば、３Ｄ計測や３Ｄプロジェクションマッピング等で用いられるグレイコードパターン）を適用することができるため、ここでは、グレイコードパターン自体及びグレイコードパターン生成処理の詳細についての説明は省略する。

【0124】

そして、ビジュアル制御部１３０は、キャリブレーション制御部１２０を介して、各デジタルフィルムカメラ３０を制御し、キャリブレーションオブジェクト９０－１、９０－２に投影されたグレイコードパターンを撮像させる（Ｓ１０６）。

【0125】

キャリブレーション制御部１２０は、グレイコードパターンが投影される各平面に投影されたグレイコードパターンに基づいて、キャリブレーション対象のプロジェクタ４０における２Ｄ画像（以下、「プロジェクタ画像」とも呼ぶ）を構成する２Ｄ画素（以下、「プロジェクタ画素」とも呼ぶ）の２Ｄ座標と、３Ｄ座標の対応付けのサンプル（以下、このサンプルについても「座標サンプル」と呼ぶ）を取得する（Ｓ１０７）。ここでは、キャリブレーション制御部１２０は、キャリブレーションオブジェクト９０－１、９０－２の各面だけでなく、床面ＦＲに投影されたグレイコードパターンも含めて解析対象とするものとする。

【0126】

したがって、キャリブレーション処理を行う際には、床面ＦＲは、グレイコードパターンを鮮明に投影するために、白色の状態となっていることが望ましい。例えば、キャリブレーション処理を行う際にのみ、床面ＦＲを白色のシートで覆った状態とするようにしてもよい。また、可能であれば、床面ＦＲを最初から白色に着色しておくようにしてもよい。

【0127】

具体的には、キャリブレーション制御部１２０は、キャリブレーションオブジェクト９０－１、９０－２及び床面ＦＲに投影されたグレイコードパターンを解析して、３Ｄ座標ごとのグレイコード（時系列的で変化するビットパターン）を認識する。

【0128】

上述の通り、各キャリブレーションオブジェクト９０（９０－１、９０－２）について剛体登録がなされていることから、各キャリブレーションオブジェクト９０（被投影オブジェクト９１）を構成する各平面（側面）の形状及び向きは明らかとなっている。キャリブレーション制御部１２０は、剛体登録の結果と、各キャリブレーションオブジェクト９０の各再帰性反射マーカ９２の位置（モーションキャプチャシステムのストリーム）に基づいて、各キャリブレーションオブジェクト９０（被投影オブジェクト９１）の各平面の位置及び向きをリアルタイムに認識することができる。また、床面ＦＲの位置及び向きは座標空間ＣＳの構成から既知である。そして、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０の視点から、各キャリブレーションオブジェクト９０を見た場合に表を向いている平面以外をマスク（グレイコードパターン解析対象から除外）する処理を行う。以下では、任意のデジタルフィルムカメラ３０の視点から見て、表を向いている平面を「表面」と呼び、そうでない平面を「非表面」と呼ぶものとする。

【0129】

このとき、キャリブレーション制御部１２０は、例えば、各デジタルフィルムカメラ３０視線ベクトル（外部パラメータにおける位置ｔを基点とした姿勢（回転）Ｒ方向へのベクトル）と、各キャリブレーションオブジェクト９０の平面（側面）の法線ベクトルとの内積を求め、その内積に応じて各デジタルフィルムカメラ３０の視点から、各キャリブレーションオブジェクト９０を見た場合の表面と非表面を確認する。任意のデジタルフィルムカメラ３０の視線ベクトルと、任意のキャリブレーションオブジェクト９０の任意の平面の法線ベクトルとの内積が所定値以上（例えば、０以上）の平面については、当該デジタルフィルムカメラ３０から見える表面としてもよい。以上のように、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０について、グレイコードパターンを解析する対象となる表面と非表面を確認し、非表面をマスクする。

【0130】

そして、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０について、表面であっても、視点から重なって見える領域（以下、「重複領域」と呼ぶ）についてもマスクする処理を行う。例えば、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０について、重複領域がある場合、当該領域については、視点から近い方の平面の領域を残して、視点からより遠い方の平面の領域をマスクする。

【0131】

そして、キャリブレーション制御部１２０は、重複領域についてマスクする処理を行った後、さらに、各平面について、輪郭周辺の領域をマスクする処理（以下、「輪郭処理」と呼ぶ）を行う。これは、各平面の輪郭周辺については、隣接する平面と誤認識する可能性があるため、キャリブレーションの精度を低下させるおそれがあるためである。

【0132】

例えば、デジタルフィルムカメラ３０－１から、キャリブレーションオブジェクト９０－１を見た場合の画像が図２０（ａ）のような内容であったものとする。このとき、デジタルフィルムカメラ３０－１から見てＰＯ１１１、ＰＯ１１２、ＰＯ１２２、ＰＯ１２１の４点を頂点とする矩形の平面ＳＲ１は表面となっている。そして、図２０（ｂ）は、この平面ＳＲ１を抜き出して輪郭周辺をマスクする処理について示した図となっている。図２０（ｂ）では、平面ＳＲ１の実際の輪郭形状（矩形）よりも少々小さ目の形状（矩形）をＳＷ１、平面ＳＲ１の実際の輪郭形状（矩形）よりも少々大き目の形状（矩形）をＳＢ１と図示している。キャリブレーション制御部１２０は、ＳＲ１の輪郭処理において、このＳＢ１とＳＷ１により囲われた帯状の領域（以下、「輪郭周辺領域」と呼ぶ；図２０（ｂ）では斜線で図示した領域）をマスクする処理を行う。

【0133】

具体的には、キャリブレーション制御部１２０は、ＳＢ１をブラックマスク領域として設定し、ＳＷ１をホワイトマスク領域として設定することで図２０（ｂ）に示すような、ＳＲ１の輪郭に沿った帯状のマスク領域を設定することができる。ＳＲ１の輪郭とＳＢ１の輪郭との差分（オフセット量）、及びＳＲ１の輪郭とＳＷ１の輪郭との差分（オフセット量）の設定方法（すなわち、輪郭周辺領域を構成する帯の幅の設定方法）については限定されないものである。例えば、ＳＢ１の輪郭にＳＲ１の輪郭の形状を所定倍率（例えば、倍率１０２％程度；オフセット量は＋２％）で拡大した領域を適用し、ＳＷ１の輪郭にＳＲ１の輪郭の形状を所定倍率（例えば、倍率９８％程度；オフセット量は－２％）で縮小した領域を適用するようにしてもよい。

【0134】

また、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０について、視点から見て、床面ＦＲ上で、各キャリブレーションオブジェクト９０の各平面のブラックマスク領域で囲われる領域（視点から見て床面ＦＲ上でブラックマスク領域と重なる領域）をマスクする処理を行う。

【0135】

以上の処理により、各デジタルフィルムカメラ３０について、グレイコードパターン解析の対象とする平面の領域（以下、「解析対象領域」と呼ぶ）を抽出する処理を行うことができる。

【0136】

そして、キャリブレーション制御部１２０は、各デジタルフィルムカメラ３０について、解析対象領域の各３Ｄ画素（以下、「解析対象３Ｄ画素」と呼ぶ）を認識し、さらに、各デジタルフィルムカメラ３０で撮像された２Ｄ画像から、それぞれの解析対象３Ｄ画素に投影されるグレイコード（時系列的なビットパターン；投影したプロジェクタ４０上の２Ｄ座標に対応するグレイコード）を認識することができる。

【0137】

グレイコードパターンの動画像では、２Ｄ画素ごとに異なるグレイコードが設定されていることから、キャリブレーション制御部１２０では、解析対象３Ｄ画素ごとのグレイコード（時系列ごとのビットパターン）を解析することで、３Ｄ座標と２Ｄ座標（キャリブレーション対象のプロジェクタ４０上の２Ｄ座標）とを対応付けた座標サンプルを得ることができる。

【0138】

次に、ビジュアル制御部１３０は、今回のターンでサンプル取得処理が未実施のプロジェクタの有無を確認し（Ｓ１０８）、未実施のプロジェクタ４０がある場合には上述のステップＳ１０４に移行して次のプロジェクタ４０のキャリブレーション処理に移行し、未実施のプロジェクタ４０が無い場合には、今回のターンの処理を終了して後述のステップＳ１０９の処理に移行する。

【0139】

１つのターンの処理が終了すると、ビジュアル制御部１３０は、今までに実行したターン数が閾値（例えば、３）に達したか否かを確認し（Ｓ１０９）、閾値に達した場合には後述するステップＳ１１１の処理に移行し、閾値未満の場合には後述するステップＳ１１０の処理に移行して次のターンへの移行の準備を行う。

【0140】

次のターンの処理に移行する場合、ビジュアル制御部１３０は、オペレータによりキャリブレーションオブジェクト９０－１、９０－２のポジション変更がなされるまで待機し（Ｓ１１０）、上述のステップＳ１０４の処理に戻って次のターンの処理に移行する。

【0141】

例えば、ビジュアル制御部１３０は、オペレータからポジション変更が終了したことを示す所定の入力（例えば、図示しないキーボードやＧＵＩを用いた所定の操作入力）が行われるまで待機するようにしてもよいし、モーションキャプチャシステムからのストリームに基づいてキャリブレーションオブジェクト９０－１、９０－２の移動（例えば、所定以上の移動量の移動）及び静止（例えば、移動した後の所定時間以上連続した静止）があるまで待機するようにしてもよい。

【0142】

上述のステップＳ１０９で、所定回数のターンの処理が完了したと判断された場合、ビジュアル制御部１３０は、キャリブレーション制御部１２０を制御して、上述のステップＳ１０７で取得した座標サンプルに基づいて、各プロジェクタ４０について、キャリブレーション処理を行う。具体的には、ビジュアル制御部１３０は、キャリブレーション制御部１２０を制御して、内部パラメータ及び外部パラメータ（プロジェクタ４０に、デジタルフィルムカメラ３０と同様のカメラモデルを適用した場合の内部パラメータ及び外部パラメータ）を算出する処理を実行し（Ｓ１１１）、一連のキャリブレーションの処理を終了する。

【0143】

各プロジェクタ４０について、上述のステップＳ１０７で取得した座標サンプルを用いて、内部パラメータ及び外部パラメータを算出する処理については、基本的に上述のデジタルフィルムカメラ３０のキャリブレーションと同様の処理を適用することができるため、詳しい説明を省略する。

【0144】

ただし、各プロジェクタ４０の内部パラメータを算出する際に設定する初期値（ｃａｌｉｂｒａｔｅＣａｍｅｒａ関数に設定する内部パラメータの初期値）については以下のように設定することが望ましい。一般的にプロジェクタは歪み（歪み係数）が無視できるほど小さいため、必要な精度によっては初期値を０と置いて処理するほうが効率的である。そのため、各プロジェクタ４０の内部パラメータを算出する際に設定する内部パラメータのうち歪み係数に係る全てのパラメータ（ｋ_１，・・・，ｋ_６，ｐ_１，ｐ_２，ｓ_１，・・・，ｓ_４）の初期値については、を０に設定することが望ましい。また、焦点距離［ｆｘ，ｆｙ］の初期値は、プロジェクタ４０のスペックに基づき計算した値を初期値とすることが望ましい。さらに、主点［ｃｘ，ｃｙ］の初期値については、[０．５ｗ，０．５ｈ］を設定することが望ましい。以下では、プロジェクタ４０のキャリブレーションで処理されるパラメータ（内部パラメータ及び外部パラメータを含むパラメータ）を総称して「プロジェクタキャリブレーションパラメータ」と呼ぶ。

【0145】

以上のように、プロジェクションシステム１では、各装置のキャリブレーション処理が行われる。

【0146】

次に、上述のキャリブレーション処理が行われた後、プロジェクションシステム１で、３Ｄ座標空間ＣＳ（例えば、原点Ｐ０周辺）に３Ｄ画像を結像させる処理の例について説明する。

【0147】

図２１は、動作する３Ｄモデル（３Ｄモデルシーケンス）に基づく３Ｄ画像を３Ｄ座標空間ＣＳに結像させる処理（以下、「３Ｄ画像結像処理」と呼ぶ）について示したフローチャートである。

【0148】

ここでは、例として、図２２に示すように、ダンス等の動作を行う人型の３Ｄモデルに基づく３Ｄ画像を３Ｄ座標空間ＣＳに結像させる処理について説明する。

【0149】

ここでは、まず、ビジュアル制御部１３０には、図２２に示すようなダンスの動作を行う人型の３Ｄモデルのシーケンス（３Ｄ動画像）を示すデータ（以下、「３Ｄモデルシーケンスデータ」と呼ぶ）が保持されているものとする。３Ｄモデルシーケンスデータの具体的な形式は限定されないものであるが、例えば、図２２に示すような人型の３Ｄモデルの基本データ（例えば、骨格のモデルやテクスチャのデータ）と、当該３Ｄモデルのモーションのデータ（例えば、骨格の動作等）の組み合わせでも良いし、時系列ごとの３Ｄ画像（各３Ｄ画素の画素値の集合体）を合わせた３Ｄ動画像のデータであってもよい。すなわち、３Ｄモデルシーケンスデータは、３Ｄ座標空間ＣＳにおける時系列的な３Ｄ画像（３Ｄ動画像）を生成できるデータであれば良い。

【0150】

そして、ビジュアル制御部１３０は、３Ｄ画像結像処理を開始すると、まず、キャリブレーション制御部１２０が取得したキャリブレーション処理の結果（プロジェクタ４０ごとのプロジェクタキャリブレーションパラメータ等）をロードして、ビジュアル処理部１４０に設定する（Ｓ３０１）。

【0151】

また、ビジュアル制御部１３０は、３Ｄ画像結像処理を開始するにあたって、発煙制御部１５０を介して発煙装置５０－１～５０－４を制御し発煙を開始させる（Ｓ３０２）。

【0152】

次に、ビジュアル制御部１３０は、３Ｄモデルシーケンスデータに基づいて、時系列ごと（１フレームのタイミングごと）に、３Ｄ画像（各３Ｄ画素の画素値）を取得して、ビジュアル処理部１４０に供給する。

【0153】

ビジュアル処理部１４０は、ビジュアル制御部１３０から供給された時系列ごと（１フレームのタイミングごと）の３Ｄ画像（３Ｄ座標の画素）を、各プロジェクタ４０のプロジェクタキャリブレーションパラメータ（内部パラメータ及び外部パラメータ）に基づき、各プロジェクタ４０の２Ｄ画像（プロジェクタ画像）に変換する処理を行って取得する。そして、ビジュアル処理部１４０は、時系列ごと（１フレームのタイミングごと）に、各プロジェクタ４０について取得した２Ｄ画像に基づく映像信号を生成して、各プロジェクタ４０に供給する（Ｓ３０３）。

【0154】

これにより、各プロジェクタ４０から、それぞれのプロジェクタ４０のプロジェクタキャリブレーションパラメータに基づき取得された２Ｄ画像（プロジェクタ画像）が、３Ｄ座標空間ＣＳ内にレンダリング（照射）され、３Ｄ画像として結像されることになる。

【0155】

図２３は、３Ｄ座標空間ＣＳ内の再帰性反射マーカのモーション（動き）に合わせた３Ｄ画像（以下、「インタラクティブ３Ｄ画像」と呼ぶ）を３Ｄ座標空間ＣＳ内に結像させる処理（以下、「インタラクティブ３Ｄ画像結像処理」と呼ぶ）について示したフローチャートである。

【0156】

ここでは、例として、図２３に示すように、３Ｄ座標空間ＣＳ内に再帰性反射マーカＴＭを手に持った人がいた場合、その再帰性反射マーカＴＭを基準とした３Ｄ画像を３Ｄ座標空間ＣＳに結像させる処理について説明する。

【0157】

そして、ビジュアル制御部１３０は、インタラクティブ３Ｄ画像結像処理を開始すると、まず、キャリブレーション制御部１２０が取得したキャリブレーション処理の結果（プロジェクタ４０ごとのプロジェクタキャリブレーションパラメータ等）をロードして、ビジュアル処理部１４０に設定する（Ｓ４０１）。

【0158】

また、ビジュアル制御部１３０は、インタラクティブ３Ｄ画像結像処理を開始するにあたって、発煙制御部１５０を介して発煙装置５０－１～５０－４を制御し発煙を開始させる（Ｓ４０２）。

【0159】

次に、ビジュアル制御部１３０は、モーションキャプチャ処理部１１０を制御して、モーションキャプチャシステムのストリーム供給を開始させる（Ｓ４０３）。

【0160】

次に、ビジュアル制御部１３０は、モーションキャプチャシステムからのストリームに基づいて、３Ｄ座標空間ＣＳ内における再帰性反射マーカＴＭの位置（３Ｄ座標）をリアルタイムに認識し、認識した再帰性反射マーカＴＭの位置（３Ｄ座標）に応じた３Ｄ画像を生成して、ビジュアル処理部１４０に供給する。

【0161】

このとき、ビジュアル制御部１３０が生成する３Ｄ画像は、再帰性反射マーカＴＭの位置（３Ｄ座標）に応じた３Ｄ画像であればその具体的な構成は限定されないものである。例えば、図２４のように、人間が手に持っている再帰性反射マーカＴＭ自体（例えば、再帰性反射マーカＴＭの中心）やその周囲（再帰性反射マーカＴＭを中心とする球状の空間）に対して所定の色（例えば、白色等）の画素値の３Ｄ画素を描画する３Ｄ画像を生成するようにしてもよい。

【0162】

ビジュアル処理部１４０は、ビジュアル制御部１３０から供給された３Ｄ画像（３Ｄ座標の画素）を、各プロジェクタ４０のプロジェクタキャリブレーションパラメータ（内部パラメータ及び外部パラメータ）に基づき、各プロジェクタ４０の２Ｄ画像（プロジェクタ画像）に変換する処理を行って取得する。そして、ビジュアル処理部１４０は、各プロジェクタ４０について取得した２Ｄ画像に基づく映像信号を生成して、各プロジェクタ４０に供給する（Ｓ４０４）。

【0163】

これにより、各プロジェクタ４０から、それぞれのプロジェクタ４０のプロジェクタキャリブレーションパラメータに基づき取得された２Ｄ画像が、３Ｄ座標空間ＣＳ内にレンダリング（照射）され、３Ｄ画像として結像されることになる。

【0164】

（Ａ－３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。

【0165】

この実施形態のプロジェクションシステム１では、３Ｄ画像（３Ｄ画素）を各プロジェクタ４０用の２Ｄ画像（２Ｄ画素）に変換して取得し、取得した２Ｄ画像を各プロジェクタ４０から照射させて３Ｄ座標空間ＣＳ内でレンダリングすることで、３Ｄ座標空間ＣＳ内に３Ｄ画像を結像させることができる。

【0166】

また、この実施形態のプロジェクションシステム１では、モーションキャプチャシステム、デジタルフィルムカメラ３０、及びキャリブレーションオブジェクト９０を用いることで、高精度かつ効率的に、各プロジェクタ４０のキャリブレーション（プロジェクタキャリブレーションパラメータの取得）を行うことができる。

【0167】

さらに、この実施形態のプロジェクションシステム１では、モーションキャプチャシステム及びキャリブレーション用ボード８０を用いることで、高精度かつ効率的に、各デジタルフィルムカメラ３０のキャリブレーション（内部パラメータ及び外部パラメータの取得）を行うことができる。

【0168】

（Ｂ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

【0169】

（Ｂ）上記の実施形態では、プロジェクション制御装置１０を、各装置のキャリブレーションの制御処理と、３Ｄ画像結像の処理の両方を行う装置として説明したが、キャリブレーションのみ行う装置として構成し、３Ｄ画像結像の処理については別の装置で行うようにしてもよい。すなわち、キャリブレーションの制御処理と、３Ｄ画像結像の制御処理については別装置（別プログラム）として構成するようにしてもよいことは当然である。

【符号の説明】

【0170】

１…プロジェクションシステム、１０…プロジェクション制御装置、１１０…モーションキャプチャ処理部、１２０…キャリブレーション制御部、１３０…ビジュアル制御部、１４０…ビジュアル処理部、１５０…発煙制御部、２０、２０－１～２０－２８…モーションキャプチャカメラ、３０、３０－１、３０－２…デジタルフィルムカメラ、４０、４０－１～４０－２４…プロジェクタ、５０、５０－１～５０－４…発煙装置、７０…キャリブレーション用ワンド、７１…ワンド部、７１ａ…把手部材、７１、７２－１～７３－３…再帰性反射マーカ、７３、７３－１～７３－３…支持部材、８０…キャリブレーション用ボード、８１…チェッカーボード、８２、８２－１～８２－３…再帰性反射マーカ、８３、８３－１～８３－３…支持部材、９０、９０－１、９０－２…キャリブレーションオブジェクト、９１…被投影オブジェクト、９２、９２－１～９２－４…再帰性反射マーカ、９３、９３－１～９３－４…支持部材。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】