特開 2024-26963 処理装置、処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024026963

(43)【公開日】2024-02-29

(54)【発明の名称】処理装置、処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20240221BHJP

   G09G 5/00 20060101ALI20240221BHJP

   G09G 5/02 20060101ALI20240221BHJP

   G06T 7/593 20170101ALI20240221BHJP

【ＦＩ】

H04N5/74 D

G09G5/00 510B

G09G5/00 X

G09G5/00 510V

G09G5/00 550C

G09G5/02 B

G06T7/593

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022129563

(22)【出願日】2022-08-16

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）発行日２０２２年２月５日 羽田理恵および橋本直己が、映像情報メディア学会技術報告、Ｖｏｌ．４６、Ｎｏ．４（ｐｐ．３７－４０）にて、橋本直己および羽田理恵が発明した「複数のＰｒｏＣａｍユニットを用いた室内広域投影システムの検討」について公開した。 （２）開催日２０２２年２月１２日 羽田理恵および橋本直己が、映像情報メディア学会 メディア工学研究会 学生研究発表会にて、橋本直己および羽田理恵が発明した「複数のＰｒｏＣａｍユニットを用いた室内広域投影システムの検討」について公開した。

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】橋本 直己

(72)【発明者】

【氏名】羽田 理恵

【テーマコード（参考）】

5C058

5C182

5L096

【Ｆターム（参考）】

5C058BA23

5C058BA27

5C058BB25

5C058EA03

5C182AA04

5C182AA14

5C182AC31

5C182BA14

5C182BB04

5C182BB05

5C182BB13

5C182CA21

5C182CB11

5C182CC24

5C182DA70

5L096AA09

5L096CA05

5L096CA17

5L096FA09

5L096FA66

5L096FA67

5L096FA69

5L096FA76

5L096GA40

(57)【要約】

【課題】複数のプロジェクタのそれぞれの投影面が重なる重複投影面の三次元形状を容易に精度よく特定する。
【解決手段】処理装置１は、複数のグレイコード画像のそれぞれを、第１の投影撮影装置２ａで投影した各重複投影面のそれぞれを、第１の投影撮影装置２ａで撮影した第１の撮影データ群１４と、第２の投影撮影装置２ｂで撮影した第２の撮影データ群１５を取得する。処理装置１は、第１の撮影データ群１４の各撮影データにおいて単一の色を有する第１の領域における基準点と、第１の領域の色の出現順序が同じで、第２の撮影データ群１５の各撮影データにおいて単一の色を有する第２の領域における基準点を、重複投影面において一致する対応点と特定し、第１の投影撮影装置２ａによって特定される対応点における三次元座標と、第２の投影撮影装置２ｂによって特定される対応点における三次元座標から、対応点の三次元座標を算出する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

プロジェクタとカメラを備える投影撮影装置を備え、複数の投影撮影装置のそれぞれが投影する重複投影面が形成される表示システムに用いられる処理装置であって、
第１の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標を対応づける第１の三次元復元データと、
第２の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標が前記第１の三次元復元データと同じ座標系に変換された三次元座標を対応づける第２の三次元復元データと、を記憶する記憶装置と、
第１の色の領域と第２の色の領域の配置が異なる複数のグレイコード画像のそれぞれを、第１の投影撮影装置で投影した各重複投影面のそれぞれを、前記第１の投影撮影装置で撮影した第１の撮影データ群と、前記第２の投影撮影装置で撮影した第２の撮影データ群を取得する取得部と、
前記第１の撮影データ群の各撮影データと前記第２の撮影データ群の各撮影データを、撮影対象のグレイコード画像の所定の順序で並べ、前記第１の撮影データ群の各撮影データにおいて単一の色を有する第１の領域における第１の色の領域と第２の色の領域の出現順序と、前記第２の撮影データ群の各撮影データにおいて単一の色を有する第２の領域における第１の色の領域と第２の色の領域の出現順序が同じ場合、前記第１の領域における基準点と第２の領域における基準点を、前記重複投影面において一致する対応点と特定し、
前記第１の三次元復元データから特定される前記対応点における三次元座標と、前記第２の三次元復元データから特定される前記対応点における三次元座標から、前記対応点の三次元座標を算出する算出部
を備える処理装置。

【請求項2】

前記記憶装置はさらに、前記第１の投影撮影装置と前記第２の投影撮影装置それぞれの、前記重複投影面に対する距離を特定する位置姿勢データを記憶し、
前記算出部は、前記第１の投影撮影装置および前記第２の投影撮影装置のうち、前記対応点からより近い投影撮影装置における三次元座標に、より大きい重みをかけて、前記対応点の三次元座標を算出する
請求項１に記載の処理装置。

【請求項3】

前記算出部は、式（１）により、前記対応点の三次元座標を算出する
請求項１に記載の処理装置。

【数1】

【請求項4】

前記算出部はさらに、前記第１の撮影データ群および前記第２の撮影データ群から各対応点の三次元座標を算出して、前記重複投影面における三次元復元データを生成する
をさらに備える請求項１に記載の処理装置。

【請求項5】

前記三次元復元データを参照して、コンテンツデータを補正する補正部
をさらに備える請求項１に記載の処理装置。

【請求項6】

プロジェクタとカメラを備える投影撮影装置を備え、複数の投影撮影装置のそれぞれが投影する重複投影面が形成される表示システムに用いられる処理方法であって、
コンピュータが、第１の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標を対応づける第１の三次元復元データと、第２の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標が前記第１の三次元復元データと同じ座標系に変換された三次元座標を対応づける第２の三次元復元データと、を記憶装置に記憶するステップと、
前記コンピュータが、第１の色の領域と第２の色の領域の配置が異なる複数のグレイコード画像のそれぞれを、第１の投影撮影装置で投影した各重複投影面のそれぞれを、前記第１の投影撮影装置で撮影した第１の撮影データ群と、前記第２の投影撮影装置で撮影した第２の撮影データ群を取得するステップと、
前記コンピュータが、前記第１の撮影データ群の各撮影データと前記第２の撮影データ群の各撮影データを、撮影対象のグレイコード画像の所定の順序で並べ、前記第１の撮影データ群の各撮影データにおいて単一の色を有する第１の領域における第１の色の領域と第２の色の領域の出現順序と、前記第２の撮影データ群の各撮影データにおいて単一の色を有する第２の領域における第１の色の領域と第２の色の領域の出現順序が同じ場合、前記第１の領域における基準点と第２の領域における基準点を、前記重複投影面において一致する対応点と特定するステップと、
前記コンピュータが、前記第１の三次元復元データから特定される前記対応点における三次元座標と、前記第２の三次元復元データから特定される前記対応点における三次元座標から、前記対応点の三次元座標を算出するステップ
を備える処理方法。

【請求項7】

コンピュータを、請求項１ないし５のいずれか１項に記載の処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、プロジェクションマッピングが普及している。また広い範囲にプロジェクションマッピングを行うために、複数のプロジェクタを用いられる場合がある。

【0003】

プロジェクションマッピングにおいて、歪みのない画像を表示するために、投影面の三次元形状の特定する三次元復元が必要になる。例えば、ステレオカメラを使用して，投影面の三次元形状を計測する方法がある（非特許文献１）。非特許文献１において、ステレオカメラの構成に、黒と白の市松模様などで形成された物理的な校正ボードを用いる必要がある。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ramesh Raskar, et al. Multi-projector displays using camera-based registration. In Proceedings Visualization ’99, pp. 161-522, 1999

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数のプロジェクタのそれぞれの投影面が重なる重複投影面の三次元形状を特定するために、非特許文献１のように校正ボードを用いる方法が考えられる。しかしながら、物理的な校正ボードを用いて三次元形状を特定するのは、負担が大きい。

【0006】

従って本発明の目的は、複数のプロジェクタのそれぞれの投影面が重なる重複投影面の三次元形状を容易に精度よく特定する技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の一態様の処理装置は、プロジェクタとカメラを備える投影撮影装置を備え、複数の投影撮影装置のそれぞれが投影する重複投影面が形成される表示システムに用いられる処理装置であって、第１の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標を対応づける第１の三次元復元データと、第２の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標が前記第１の三次元復元データと同じ座標系に変換された三次元座標を対応づける第２の三次元復元データと、を記憶する記憶装置と、第１の色の領域と第２の色の領域の配置が異なる複数のグレイコード画像のそれぞれを、第１の投影撮影装置で投影した各重複投影面のそれぞれを、前記第１の投影撮影装置で撮影した第１の撮影データ群と、前記第２の投影撮影装置で撮影した第２の撮影データ群を取得する取得部と、前記第１の撮影データ群の各撮影データと前記第２の撮影データ群の各撮影データを、撮影対象のグレイコード画像の所定の順序で並べ、前記第１の撮影データ群の各撮影データにおいて単一の色を有する第１の領域における第１の色の領域と第２の色の領域の出現順序と、前記第２の撮影データ群の各撮影データにおいて単一の色を有する第２の領域における第１の色の領域と第２の色の領域の出現順序が同じ場合、前記第１の領域における基準点と第２の領域における基準点を、前記重複投影面において一致する対応点と特定し、前記第１の三次元復元データから特定される前記対応点における三次元座標と、前記第２の三次元復元データから特定される前記対応点における三次元座標から、前記対応点の三次元座標を算出する算出部を備える。

【0008】

本発明の一態様の処理方法は、プロジェクタとカメラを備える投影撮影装置を備え、複数の投影撮影装置のそれぞれが投影する重複投影面が形成される表示システムに用いられる処理方法であって、コンピュータが、第１の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標を対応づける第１の三次元復元データと、第２の投影撮影装置によって特定される、前記重複投影面の各位置の三次元座標を対応づける第２の三次元復元データと、を記憶装置に記憶するステップと、前記コンピュータが、第１の色の領域と第２の色の領域の配置が異なる複数のグレイコード画像のそれぞれを、第１の投影撮影装置で投影した各重複投影面のそれぞれを、前記第１の投影撮影装置で撮影した第１の撮影データ群と、前記第２の投影撮影装置で撮影した第２の撮影データ群を取得するステップと、前記コンピュータが、前記第１の撮影データ群の各撮影データと前記第２の撮影データ群の各撮影データを、撮影対象のグレイコード画像の所定の順序で並べ、前記第１の撮影データ群の各撮影データにおいて単一の色を有する第１の領域における第１の色の領域と第２の色の領域の出現順序と、前記第２の撮影データ群の各撮影データにおいて単一の色を有する第２の領域における第１の色の領域と第２の色の領域の出現順序が同じ場合、前記第１の領域における基準点と第２の領域における基準点を、前記重複投影面において一致する対応点と特定するステップと、前記コンピュータが、前記第１の三次元復元データから特定される前記対応点における三次元座標と、前記第２の三次元復元データから特定される前記対応点における三次元座標から、前記対応点の三次元座標を算出するステップ、を備える。

【0009】

本発明の一態様は、上記処理装置として、コンピュータを機能させるプログラムである。

【発明の効果】

【0010】

本発明によれば、複数のプロジェクタのそれぞれの投影面が重なる重複投影面の三次元形状を容易に精度よく特定する技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施の形態に係る表示システムのシステム構成を説明する図である。

【図2】図２は、本発明の実施の形態に係る処理装置の機能を説明する機能ブロック図である。

【図3】図３は、グレイコード画像データ群の各画像の一例を説明する図である。

【図4】図４は、取得部が投影撮影装置から撮影データ群を取得する処理の一例を説明する図である。

【図5】図５は、各投影撮影装置による撮影データを模式的に説明する図である。

【図6】図６は、各投影撮影装置による撮影データの一例を説明する図である。

【図7】図７は、算出部による算出処理の一例を説明するフローチャートである。

【図8】図８は、各投影撮影装置が算出した三次元点の位置と、算出部が算出した三次元点の位置を比較する図である。

【図9】図９は、処理装置に用いられるコンピュータのハードウエア構成を説明する図である。

【発明を実施するための形態】

【0012】

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

【0013】

（表示システム）
図１を参照して、本発明の実施の形態に係る処理装置１が用いられる表示システム５を説明する。表示システム５は、処理装置１と、第１の投影撮影装置２ａおよび第２の投影撮影装置２ｂを備える。表示システム５は、複数の投影撮影装置２を備えれば良く、その数は問わない。

【0014】

処理装置１は、複数の投影撮影装置２のそれぞれに接続する一般的なコンピュータである。処理装置１は、投影撮影装置２に、画像データを入力したり、投影撮影装置２が撮影した画像データを取得したりする。

【0015】

投影撮影装置２は、プロジェクタとカメラを備える装置である。投影撮影装置２は、処理装置１から入力された画像データを投影面に投影したり、投影面を撮影した画像データを処理装置１に入力したりする。投影撮影装置２が投影し撮影する画像データは、静止画であっても良いし、動画であっても良い。

【0016】

投影撮影装置２は、プロジェクタが投影した投影面をカメラで撮影可能に形成される。投影撮影装置２は、プロジェクタとカメラが一体となるように固定されても良い。投影撮影装置２は、ＰｒｏＣａｍ、カメラ付きプロジェクタなどと称される場合もある。本発明の実施の形態において、投影撮影装置２は、プロジェクタにカメラが固定される装置である場合を説明するが、これに限らない。投影撮影装置２は、プロジェクタとカメラを備え、プロジェクタとカメラとの相対的な位置および姿勢が、予め特定可能であれば良い。

【0017】

投影撮影装置２は、図１に示すように、室内空間４などの壁を有する環境に設置される。表示システム５において、複数の投影撮影装置２のそれぞれが投影する重複投影面が形成される。第１の投影撮影装置２ａによって投影される第１の投影面３ａと、第２の投影撮影装置２ｂによって投影される第２の投影面３ｂは、重複するように、各投影撮影装置２の設置位置および投影方向が調整される。

【0018】

処理装置１は、投影撮影装置２が投影する各投影面における三次元形状を特定して、特定した三次元形状にあわせて補正したコンテンツデータを、投影撮影装置２に入力し、撮影させる。

【0019】

図１に示すように、複数の投影撮影装置２を用いて広い投影面を実現する際、重複投影面が形成される。しかしながら、重複投影面は、各投影撮影装置２が撮影した各撮影データから三次元形状が算出されるので、第１の投影撮影装置２ａが撮影した撮影データから特定した重複投影面の形状と、第２の投影撮影装置２ｂが撮影した撮影データから特定した重複投影面の形状と三次元形状に誤差がある場合が考えられる。この誤差によって、第１の投影撮影装置２ａによって重複投影面に投影される画像と、第２の投影撮影装置２ｂによって重複投影面に投影される画像にずれが生じ、高精細なコンテンツを表示することができない。そこで処理装置１は、複数のプロジェクタのそれぞれの投影面が重なる重複投影面の三次元形状を容易に精度よく特定する。また処理装置１は、特定された重複投影面の三次元形状に従ってコンテンツを補正して、コンテンツを高精細に投影することが可能になる。

【0020】

（処理装置）
図２を参照して、処理装置１の機能を説明する。

【0021】

図２に示すように処理装置１は、グレイコード画像データ群１１、設定データ１２、コンテンツデータ群１３、第１の撮影データ群１４、第２の撮影データ群１５、三次元復元データ１６および補正後コンテンツデータ群１７の各データと、取得部２１、算出部２２および補正部２３の各機能を備える。各データは、メモリ９０２またはストレージ９０３等の記憶装置に記憶される。各機能は、CPU９０１に実装される。

【0022】

グレイコード画像データ群１１は、図３に示すように、第１の色の領域と第２の色の領域の配置が異なる複数のグレイコード画像を含む。本発明の実施の形態において第１の色は黒で、第２の色は白であるが、これに限らない。グレイコード画像を投影して撮影した撮影データにおいて、処理装置１が第１の色の領域と第２の色の領域を識別可能であれば、どのような色であっても良い。

【0023】

各グレイコード画像は、同じ大きさを有し、投影面に同じ大きさで投影される。各グレイコード画像は、１つ以上の黒領域と、１つ以上の白領域を有する。各グレイコード画像において、それぞれ異なるパターンで、黒領域と白領域が配置される。グレイコード画像データ群１１が有するグレイコード画像の数およびパターンのバリエーションが多いほど、後述の対応点の数が増えるので、重複投影面の形状を精度良く算出することが可能になる。グレイコード画像の数およびパターンのバリエーションは、重複投影面の形状、表示システム５に求められる精細さなどに応じて、適宜設定される。

【0024】

設定データ１２は、投影撮影装置２を環境に設置した時点で決定される各種の設定値を含む。設定データ１２は、例えば、第１の投影撮影装置２ａの校正データ１２ａ、第２の投影撮影装置２ｂの校正データ１２ｂ、第１の三次元復元データ１２ｃ、第２の三次元復元データ１２ｄおよび位置姿勢推定データ１２ｅを含む。設定データ１２が特定する各設定値は、周知の方法で特定される。

【0025】

第１の投影撮影装置２ａの校正データ１２ａは、第１の投影撮影装置２ａに関する設定データを含む。第１の投影撮影装置２ａの校正データ１２ａは、第１の投影撮影装置２ａにおけるプロジェクタおよびカメラの相対的な位置姿勢、プロジェクタの内部パラメータ、およびカメラの内部パラメータを含む。

【0026】

第２の投影撮影装置２ｂの校正データ１２ｂは、第１の投影撮影装置２ａの校正データ１２ａと同様に、第２の投影撮影装置２ｂに関する設定データを含む。

【0027】

第１の三次元復元データ１２ｃおよび第２の三次元復元データ１２ｄは、それぞれ、投影面における各位置の三次元座標を対応づけるデータである。第１の三次元復元データ１２ｃおよび第２の三次元復元データ１２ｄは、それぞれ、少なくとも重複投影面の各位置の三次元座標を対応づける。第１の三次元復元データ１２ｃは、第１の投影撮影装置２ａによって、具体的には、第１の投影撮影装置２ａが撮影した撮影データから特定される。第１の三次元復元データ１２ｃは、第１の投影面３ａにおける各位置の三次元座標を含んでも良い。第２の三次元復元データ１２ｄは、第２の投影撮影装置２ｂによって、具体的には、第２の投影撮影装置２ｂが撮影した撮影データから特定される。第２の三次元復元データ１２ｄは、重複投影面の各位置の三次元座標が第１の三次元復元データ１２ｃと同じ座標系に変換された三次元座標を対応づける。第２の三次元復元データ１２ｄは、第２の投影面３ｂにおける各位置の三次元座標を含んでも良い。

【0028】

第１の三次元復元データ１２ｃは、第１の投影撮影装置２ａのプロジェクタが、グレイコードと正弦波コードを用いた位相シフトパターンを撮影し、カメラで撮影した撮影データから特定される。この撮影データから、第１の投影撮影装置２ａのプロジェクタで表示した画素と、第１の投影撮影装置２ａのカメラで撮影した画素の対応関係が特定され、投影面の三次元形状が特定される。第２の三次元復元データ１２ｄは、第１の三次元復元データ１２ｃと同様に特定される。後述の位置姿勢勢推定データ１２ｅによって、第２の投影撮影装置２ｂによって特定される三次元点群座標系を、第１の投影撮影装置２ａによって特定される三次元座標系に剛体変換することで、第１の三次元復元データ１２ｃの各三次元座標と第２の三次元復元データ１２ｄの各三次元座標は、同じ座標系で表現される。

【0029】

位置姿勢推定データ１２ｅは、２つの投影撮影装置２間の相対的な位置姿勢を推定するデータである。第１の投影撮影装置２ａによって特定された投影面の三次元点と、第２の投影撮影装置２ｂが投影したグレイコードおよび正弦波コードを、第１の投影撮影装置２ａで撮影した画像の二次元点の対応関係から、ＰｎＰ（Perspective-n-Point）問題を解くことで、２つの投影撮影装置２間の相対的な位置姿勢が推定される。本発明の実施の形態において「三次元点」は、三次元座標の値を有する点で、「二次元点」は、二次元座標の値を有する点である。位置姿勢推定データ１２ｅから、第２の投影撮影装置２ｂによって特定される三次元点群座標系を、第１の投影撮影装置２ａによって特定される三次元座標系に剛体変換することが可能になる。位置姿勢推定データ１２ｅはさらに、第１の投影撮影装置２ａと第２の投影撮影装置２ｂそれぞれの、重複投影面に対する距離を特定する。

【0030】

コンテンツデータ群１３は、投影撮影装置２の投影によりユーザが視認するコンテンツのデータを含む。コンテンツは、少なくとも画像で表現され、画像の他、音などの画像以外の手法で表現されても良い。

【0031】

第１の撮影データ群１４は、グレイコード画像データ群１１の各グレイコード画像を、第１の投影撮影装置２ａが投影した各投影面を、第１の投影撮影装置２ａが撮影した撮影データの集合である。第２の撮影データ群１５は、グレイコード画像データ群１１の各グレイコード画像を、第１の投影撮影装置２ａが投影した各投影面を、第２の投影撮影装置２ｂが撮影した撮影データの集合である。第１の撮影データ群１４および第２の撮影データ群１５は、取得部２１によって取得される。

【0032】

第１の撮影データ群１４の各撮影データと、第２の撮影データ群１５の各撮影データは、投影対象のグレイコード画像と対応付けられる。例えば、グレイコード画像データ群１１の各グレイコード画像が投影された順に、その投影面を撮影した撮影データが並ぶなど、投影された画像と、撮影した画像の対応づけが可能である。

【0033】

三次元復元データ１６は、処理装置１が特定した重複投影面の形状である。三次元復元データ１６は、算出部２２によって算出される。

【0034】

補正後コンテンツデータ群１７は、コンテンツデータ群１３が三次元復元データ１６を参照して補正されたデータである。補正後コンテンツデータ群１７は、補正部２３がコンテンツデータ群１３を補正して、補正後コンテンツデータ群１７を出力する。

【0035】

取得部２１は、グレイコード画像データ群１１のグレイコード画像のそれぞれを、第１の投影撮影装置２ａに入力し、第１の投影撮影装置２ａに投影させる。取得部２１は、グレイコード画像のそれぞれを、第１の投影撮影装置２ａで投影した各重複投影面のそれぞれを、第１の投影撮影装置２ａで撮影した第１の撮影データ群１４と、第２の投影撮影装置２ｂで撮影した第２の撮影データ群１５を取得する。

【0036】

図４を参照して、取得部２１による処理を説明する。図４に示す処理の順序は一例であって、これに限るものでない。

【0037】

ステップＳ１０１において取得部２１は、グレイコード画像データ群１１を、第１の投影撮影装置２ａに入力する。ステップＳ１０２において第１の投影撮影装置２ａは、グレイコード画像データ群１１の各グレイコード画像を、順次投影する。

【0038】

ステップＳ１０３において第１の投影撮影装置２ａは、各グレイコード画像が投影された投影面のそれぞれを撮影して、第１の撮影データ群１４を生成する。ステップＳ１０５において第１の投影撮影装置２ａは、第１の撮影データ群１４を、処理装置１に入力する。

【0039】

ステップＳ１０４において第２の投影撮影装置２ｂは、各グレイコード画像が投影された投影面のそれぞれを撮影して、第２の撮影データ群１５を生成する。ステップＳ１０６において第２の投影撮影装置２ｂは、第２の撮影データ群１５を、処理装置１に入力する。

【0040】

算出部２２は、第１の投影撮影装置２ａの座標系における、重複投影面上の所定の点に対応する点の三次元座標と、第２の投影撮影装置２ｂの座標系における、重複投影面状の所定の点に対応する点の三次元座標から、重複投影面上の所定の点の三次元座標を特定する。第１の投影撮影装置２ａの座標系における、重複投影面上の所定の点に対応する点の三次元座標は、第１の三次元復元データ１２ｃから特定される。第２の投影撮影装置２ｂの座標系における、重複投影面上の所定の点に対応する点の三次元座標は、第２の三次元復元データ１２ｄから特定される。

【0041】

まず算出部２２は、第１の撮影データ群１４の各撮影データと第２の撮影データ群１５の各撮影データを、撮影対象のグレイコード画像の所定の順序で並べる。例えば算出部２２は、各撮影データを、その撮影対象のグレイコード画像が第１の投影撮影装置２ａによって投影された順に、並べる。

【0042】

図５を参照して、第１のグレイコード画像データ１１ａが最初に投影され、次に、第２のグレイコード画像データ１１ｂが投影される場合を説明する。図５では、グレイコード画像データが２つの場合を説明するが、３つ以上のグレイコード画像データを用いる場合も同様である。なお、図５に示す各撮影データは、グレイコード画像が投影された部分以外をトリミングした画像である。

【0043】

算出部２２は、第１の撮影データ群１４の各撮影データを、第１のグレイコード画像データ１１ａが投影された重複投影面を撮影した撮影データ１４ａ、第２のグレイコード画像データ１１ｂが投影された重複投影面を撮影した撮影データ１４ｂの順で並べる。同様に算出部２２は、第２の撮影データ群１５の各撮影データを、第１のグレイコード画像データ１１ａが投影された重複投影面を撮影した撮影データ１５ａ、第２のグレイコード画像データ１１ｂが投影された重複投影面を撮影した撮影データ１５ｂの順で並べる。

【0044】

ここで算出部２２は、第１の撮影データ群１４の各撮影データにおいて単一の色を有する領域を定義する。各撮影データにおいて単一の色を有する領域は、いずれの撮影データにおいても、１つの色、具体的には黒または白で描画されることを意味する。例えば、第１の撮影データ群１４の各撮影データにおける黒と白の境界をマージすることで、第１の撮影データ群１４で定義される各領域が特定される。図５に示す例の場合、第１の領域データＲ１４が、各領域を定義する。第１の領域データＲ１４は、領域ｒ１４（０）から、領域ｒ１４（１１）までの１２の領域を定義する。

【0045】

同様に算出部２２は、第２の撮影データ群１５の各撮影データにおいて単一の色を有する領域を定義する。図５に示す例の場合、第２の領域データＲ１５が、各領域を定義する。第２の領域データＲ１５は、領域ｒ１５（０）から、領域ｒ１５（１１）までの１２の領域を定義する。

【0046】

算出部２２は、第１の撮影データ群１４の各撮影データの第１の領域における黒の領域と白の色の領域の出現順序と、第２の撮影データ群１５の各撮影データの第２の領域における黒の色の領域と白の色の領域の出現順序が同じ場合、第１の撮影データ群１４における第１の領域と、第２の撮影データ群１５における第２の領域はともに、重複投影面上のある点に対応する点を含む。算出部２２は、第１の撮影データ群１４における第１の領域と第２の撮影データ群１５における第２の領域を、領域のペアと定義する。

【0047】

例えば図５に示す例において、黒＝１および白＝０とした場合、第１の撮影データ群１４の領域ｒ１４（０）の色の出現順序は“１０”で、ｒ１４（４）の色の出現順序は“０１”となる。一方、第１の撮影データ群１４の領域ｒ１５（０）の色の出現順序は“１０”で、ｒ１５（４）の色の出現順序は“０１”となる。第１の撮影データ群１４の領域ｒ１４（０）と第２の撮影データ群１５の領域ｒ１５（０）は、ともに出現順序はが“１０”なので領域ペアとなる。第１の撮影データ群１４の領域ｒ１４（４）と第２の撮影データ群１５の領域ｒ１５（４）は、ともに出現順序はが“０１”なので領域ペアとなる。

【0048】

なお、図５に示す例において、２つのグレイコード画像を用いて定義される領域を説明するので、第１の撮影データ群１４の撮影データにおいて、出現順序が同じ複数の領域が出現する場合がある。図４に示すように、複数かつバリエーションが豊かなグレイコード画像を投影して領域を定義することにより、出現順序は、その領域の識別子となりうる。従って、出現順序が同じ複数の領域が出現しないように、グレイコード画像データ群１１の各画像を選択することにより、第１の撮影データ群１４で定義されたある領域の出現順序と、第２の撮影データ群１５で定義されたある領域の出現順序が一致する場合、これらの領域は、重複投影面上のある領域に対応する。

【0049】

算出部２２は、領域ペアで定義する第１の撮影データ群１４における第１の領域と第２の撮影データ群１５における第２の領域について、第１の領域における基準点と第２の領域における基準点を、重複投影面において一致する対応点と特定する。基準点は、例えば、各領域における重心である。基準点は、重心以外の手法で特定されても良い。

【0050】

図６を参照して、投影撮影装置によって撮影された撮影データを用いて、各領域とその重心を説明する。図６（ａ）は、第１の投影撮影装置２ａが撮影した画像で、（ｂ）は、第２の投影撮影装置２ｂが撮影した画像である。図６（ａ）および（ｂ）において、左上から右下への斜め線のハッチング（第１のハッチング）が付された部分は、第１の投影撮影装置２ａによって投影される部分で、右上から左下への斜め線のハッチング（第２のハッチング）が付された部分は、第２の投影撮影装置２ｂによって投影される部分である。第１のハッチングと、第２のハッチングが重なる部分は、第１の投影撮影装置２ａと第２の投影撮影装置２ｂの両方によって投影される重複投影面である。

【0051】

図６（ｃ）および（ｄ）は、図６（ａ）および（ｂ）それぞれの一点鎖線部分を拡大した図である。図６（ｃ）および（ｄ）において、細線で区切られた部分が、算出部２２によって特定された領域である。領域中の黒点が、その領域の重心である。なお、第１の投影撮影装置２ａと第２の投影撮影装置２ｂは、投影面に対する位置姿勢が異なるので、図６（ｃ）および（ｄ）において、領域の形状は異なる。

【0052】

算出部２２は、第１の三次元復元データ１２ｃから特定される対応点の三次元座標と、第２の三次元復元データ１２ｄから特定される対応点の三次元座標から、対応点の三次元座標を算出する。具体的には算出部２２は、第１の投影撮影装置２ａおよび第２の投影撮影装置２ｂのうち、対応点からより近い投影撮影装置における三次元座標に、より大きい重みをかけ、対応点からより遠い投影撮影装置における三次元座標に、より小さい重みをかけて、対応点の三次元座標を算出する。重複投影面から第１の投影撮影装置２ａまでの距離が第２の投影撮影装置２ｂまでの距離よりも短い場合、算出部２２は、第１の投影撮影装置２ａの撮影データから生成された第１の三次元復元データ１２ｃから特定される対応点により大きな重みをかけ、第２の投影撮影装置２ｂの撮影データから生成された第２の三次元復元データ１２ｄから特定される対応点により小さな重みをかけて、対応点の三次元座標を算出する。

【0053】

算出部２２は、式（１）により、対応点の三次元座標を算出する。

【0054】

【数1】

【0055】

算出部２２は、第１の撮影データ群１４および第２の撮影データ群１５から各領域の各対応点の三次元座標を算出して、重複投影面における三次元復元データ１６を生成する。算出部２２は、第１の撮影データ群１４の各領域と、第２の撮影データ群１５の各領域について、黒と白の出現順序をキーに、各対応ペアを特定する。算出部２２は、各対応ペアの対応点を算出し、式（１）等から各対応点の三次元座標を算出する。算出部２２は、各対応点とその対応点の三次元座標を対応づけた三次元復元データ１６を生成する。

【0056】

図７を参照して、算出部２２による算出処理を説明する。図７に示す処理の順序は一例であって、これに限るものでない。例えば、ステップＳ２０３およびステップＳ２０４の処理は、ステップＳ２０１およびステップＳ２０２の処理と並行して実行されても良いし、ステップＳ２０１およびステップＳ２０２の処理の後に実行されても良い。

【0057】

ステップＳ２０１において算出部２２は、第１の投影撮影装置２ａの撮影範囲のうち重複投影面である第１の撮影範囲を、第１の撮影データ群１４の各撮影データにおいて、単一の色を有する複数の領域に区分する。ステップＳ２０２において算出部２２は、ステップＳ２０１で特定した各領域に、黒または白の出現順序を対応づける。

【0058】

ステップＳ２０３において算出部２２は、第２の投影撮影装置２ｂの撮影範囲のうち重複投影面である第２の撮影範囲を、第２の撮影データ群１５の各撮影データにおいて、単一の色を有する複数の領域に区分する。ステップＳ２０４において算出部２２は、ステップＳ２０３で特定した各領域に、黒または白の出現順序を対応づける。

【0059】

ステップＳ２０５において算出部２２は、出現順序が一致する第１の撮影範囲の領域と第２の撮影範囲の領域を、領域ペアと特定する。各領域ペアについて、ステップＳ２０６およびステップＳ２０７の処理を行う。

【0060】

ステップＳ２０６において算出部２２は、処理対象の領域ペアについて、第１の撮影範囲における領域の重心と、第２の撮影範囲における領域の重心を、対応点と特定する。ステップＳ２０７において算出部２２は、式（１）などにより、ステップＳ２０７で特定した対応点の三次元座標を算出する。

【0061】

各領域ペアについて、ステップＳ２０６およびステップＳ２０７の処理が終了すると、ステップＳ２０８において算出部２２は、三次元復元データ１６を生成する。三次元復元データ１６は、ステップＳ２０７で算出した各対応点の三次元座標を含む。

【0062】

補正部２３は、三次元復元データ１６を参照して、コンテンツデータを補正する。補正部２３は、コンテンツデータ群１３の各コンテンツから、第１の投影撮影装置２ａと第２の投影撮影装置２ｂのそれぞれに入力する補正後のコンテンツデータを生成する。

【0063】

例えば補正部２３は、三次元復元データ１６が特定する各対応点の座標を第１の投影撮影装置２ａの座標系に変換した座標と、第１の三次元復元データ１２ｃから特定される対応点の座標との差分に応じて、第１の投影撮影装置２ａに入力するコンテンツに二次元的な歪みをかけて補正する。第１の三次元復元データ１２ｃから特定される対応点の座標は、三次元復元データ１６が特定する対応点の座標を算出する際に参照された第１の投影撮影装置２ａの座標系の対応点の座標、具体的には、式（１）のＭｊ（ｉ）（ｊ＝１）である。

【0064】

同様に、補正部２３は、三次元復元データ１６が特定する各対応点の座標を第２の投影撮影装置２ｂの座標系に変換した座標と、第２の三次元復元データ１２ｄから特定される対応点の座標との差分に応じて、第２の投影撮影装置２ｂに入力するコンテンツに二次元的な歪みをかけて補正する。第２の三次元復元データ１２ｄから特定される対応点の座標は、三次元復元データ１６が特定する対応点の座標を算出する際に参照された第２の投影撮影装置２ｂの座標系の対応点の座標、具体的には、式（１）のＭｊ（ｉ）（ｊ＝２）である。

【0065】

図７（ａ）は、三次元復元データ１６における各対応点を第１の投影撮影装置２ａの座標系に変換した点（▲）と、第１の三次元復元データ１２ｃから特定される各対応点に対応する点（□）を対応づけた図である。図７（ｂ）は、三次元復元データ１６における各対応点を第２の投影撮影装置２ｂの座標系に変換した点（▲）と、第１の三次元復元データ１２ｃから特定される各対応点に対応する点（□）を対応づけた図である。

【0066】

図７（ａ）は、「▲」と「□」がほぼ重なる一方、図７（ａ）は「▲」と「□」がずれる。従って、補正部２３は、第１の投影撮影装置２ａに入力するコンテンツよりも、第２の投影撮影装置２ｂに入力するコンテンツに、より大きな二次元的な歪みをかけて補正する。

【0067】

また補正部２３は、第１の投影撮影装置２ａのみが投影する投影面における三次元形状として第１の三次元復元データ１２ｃを参照し、第２の投影撮影装置２ｂのみが投影する投影面における三次元形状として第２の三次元復元データ１２ｄを参照する。補正部２３は、そのほか、投影面に対する各投影撮影装置２の位置姿勢などの設定データ１２の各データを参照して、補正後コンテンツデータを生成する。補正部２３は、Two-Pass Renderingなどの既存技術を用いて、補正しても良い。

【0068】

本発明の実施の形態に係る処理装置１は、複数のプロジェクタのそれぞれの投影面が重なる重複投影面の三次元形状を容易に精度よく特定することができる。また重複投影面の三次元形状を容易に精度よく特定することにより、高精度なコンテンツを投影することができる。

【0069】

上記説明した本実施形態の処理装置１は、例えば、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムが用いられる。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされたプログラムを実行することにより、処理装置１の各機能が実現される。

【0070】

なお、処理装置１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また処理装置１は、コンピュータに実装される仮想マシンであっても良い。

【0071】

処理装置１のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD(Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0072】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0073】

１ 処理装置
２ 投影撮影装置
３ 投影面
４ 室内空間
５ 表示システム
１１ グレイコード画像データ群
１２ 設定データ
１２ａ 第１の投影撮影装置の校正データ
１２ｂ 第２の投影撮影装置の校正データ
１２ｃ 第１の三次元復元データ
１２ｄ 第２の三次元復元データ
１２ｅ 位置姿勢推定データ
１３ コンテンツデータ群
１４ 第１の撮影データ群
１５ 第２の撮影データ群
１６ 三次元復元データ
１７ 補正後コンテンツデータ群
２１ 取得部
９０１ CPU
９０２ メモリ
９０３ ストレージ
９０４ 通信装置
９０５ 入力装置
９０６ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】