ホーム > 特許ランキング > 国立大学法人東北大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-06
(45)【発行日】2024-12-16
(54)【発明の名称】投影システム、投影システム制御装置、投影方法及びプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20241209BHJP
G09G 5/37 20060101ALI20241209BHJP
H04N 5/74 20060101ALI20241209BHJP
H04N 9/31 20060101ALI20241209BHJP
G03B 21/00 20060101ALI20241209BHJP
G03B 21/14 20060101ALI20241209BHJP
【ＦＩ】
G09G5/00 550C
G09G5/00 510B
G09G5/37 300
H04N5/74 D
H04N9/31 850
G03B21/00 F
G03B21/14 D
【請求項の数】
12
(21)【出願番号】P 2021543052
(86)(22)【出願日】2020-08-28
(86)【国際出願番号】 JP2020032650
(87)【国際公開番号】W WO2021039977
(87)【国際公開日】2021-03-04
【審査請求日】2023-05-18
(31)【優先権主張番号】P 2019156876
(32)【優先日】2019-08-29
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構、「戦略的創造研究推進事業」「高速画像処理を用いた知能システムの応用展開」産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(72)【発明者】
【氏名】鏡 慎吾
【審査官】越川 康弘
(56)【参考文献】
【文献】国際公開第２００９／１４２０１５（ＷＯ，Ａ１）
【文献】特開２０１７－２１５３７４（ＪＰ，Ａ）
【文献】特開２００８－１１３４１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３６
Ｈ０４Ｎ ５／７４
Ｈ０４Ｎ ９／３１
Ｇ０３Ｂ ２１／００
Ｇ０３Ｂ ２１／１４
(57)【特許請求の範囲】
【請求項1】
コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、
前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、
前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値と１つ前の撮影タイミングの投影機変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、
前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、
を備え、
前記所定の条件は、所定の輝度値の無地の領域と前記所定の輝度値よりも低い輝度値の無地の領域とを有する、複数の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含み、
前記所定の面積は、前記投影面の位置、向き、又は形状の変化の速さと、前記投影面の表面の模様とに応じた面積であり、
前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、
投影システム。
【請求項2】
前記所定の条件は、さらに、外周からの距離が所定の距離以内の領域である外領域に、輝度値の異なる無地の領域を、前記外領域以外の領域よりも多く有する、という条件を含む、請求項１に記載の投影システム。
【請求項3】
前記所定の条件は、さらに、前記外領域以外の領域において、輝度値の異なる複数種類の前記無地の領域を、単位面積あたりに各種類について１又は複数有し、１つ１つの前記無地の領域の面積は前記投影面上の表面の模様に応じた所定の面積よりも大きい、という条件を含む、請求項２に記載の投影システム。
【請求項4】
前記所定の条件は、さらに、前記パターン画像が多角形であるという条件と、前記外領域以外の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件と、前記外領域内の領域であって前記多角形の頂点を含む所定の大きさの領域を隅領域として、前記外領域内の前記隅領域以外の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一という条件と、前記隅領域は、１種類の無地の領域である、という条件と、を含む、請求項３に記載の投影システム。
【請求項5】
前記所定の条件は、さらに、前記パターン画像が円又は楕円であるという条件と、前記外領域以外の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件と、前記外領域内の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件と、を含む、請求項３に記載の投影システム。
【請求項6】
前記投影機変形値取得部は、さらに、前記投影面上の反射率の分布を示す画像に基づいて、前記投影機変形値を取得する、請求項１から５のいずれか一項に記載の投影システム。
【請求項7】
前記投影面上には、同一の形状の２種類のパターン画像が投影され、一方のパターン画像における各ピクセルの輝度値と他方のパターン画像における対応する各ピクセルの輝度値との合計値は、ピクセルによらず略同一である、請求項１から６のいずれか一項に記載の投影システム。
【請求項8】
前記投影面が平面であって投影機１又はカメラ２が所定の性能を満たす場合に前記投影面に表示される画像を仮想画像とし、前記仮想画像と前記投影機が投影する画像とのずれを画像ずれとして、２つ前の撮影タイミングに撮影されたカメラ画像に基づいて取得された投影機変形値と１つ前の撮影タイミングに撮影されたカメラ画像に基づいて取得された投影機変形値とに基づいて、前記画像ずれを減少させるように前記投影機変形値取得部が取得した投影機変形値を補正する補正部、をさらに備える請求項１から７のいずれか一項に記載の投影システム。
【請求項9】
コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、
前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、
前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値と１つ前の撮影タイミングの投影機変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、
前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、
を備え、
前記所定の条件は、所定の輝度値の無地の領域と前記所定の輝度値よりも低い輝度値の無地の領域とを有する、複数の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含み、
前記所定の面積は、前記投影面の位置、向き、又は形状の変化の速さと、前記投影面の表面の模様とに応じた面積であり、
前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、
投影システム制御装置。
【請求項10】
コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影ステップと、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面をカメラにより撮影する撮影ステップと、
前記撮影ステップによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出ステップと、
前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値と１つ前の撮影タイミングの投影機変形値とに基づき、前記投影ステップにおいて投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得ステップと、
前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得ステップと、
を有し、
前記所定の条件は、所定の輝度値の無地の領域と前記所定の輝度値よりも低い輝度値の無地の領域とを有する、複数の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含み、
前記所定の面積は、前記投影面の位置、向き、又は形状の変化の速さと、前記投影面の表面の模様とに応じた面積であり、
前記カメラ変形値算出ステップは、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影タイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、
投影方法。
【請求項11】
コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、を備えるコンピュータを、前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、
前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値と１つ前の撮影タイミングの投影機変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、
前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、
を備え、
前記所定の条件は、所定の輝度値の無地の領域と前記所定の輝度値よりも低い輝度値の無地の領域とを有する、複数の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含み、
前記所定の面積は、前記投影面の位置、向き、又は形状の変化の速さと、前記投影面の表面の模様とに応じた面積であり、
前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、
投影システムとして動作させるためのプログラム。
【請求項12】
コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、を備えるコンピュータを、前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、
前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値と１つ前の撮影タイミングの投影機変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、
前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、
を備え、
前記所定の条件は、所定の輝度値の無地の領域と前記所定の輝度値よりも低い輝度値の無地の領域とを有する、複数の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含み、
前記所定の面積は、前記投影面の位置、向き、又は形状の変化の速さと、前記投影面の表面の模様とに応じた面積であり、
前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、
投影システム制御装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投影システム、投影システム制御装置、投影方法及びプログラムに関する。本願は、２０１９年８月２９日に、日本に出願された特願２０１９－１５６８７６号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【0002】
従来、移動する投影面に画像を追従させるプロジェクションマッピングの技術では、画像が投影された状態にある投影面をカメラで撮影し、撮影結果に基づいて投影面の動きに画像（投影コンテンツ）を追従させる。このようなプロジェクションマッピングの技術では、プロジェクタやカメラの位置合わせや投影面へのマーキングが予め必要であり、ユーザが技術を使いにくいという問題がある。そこで、例えば、投影面上のテクスチャに投影コンテンツが重畳した場合に得られるカメラ画像をシミュレートしながら追従する方法が提案されている（非特許文献１）。この方法の場合、投影面上のテクスチャと投影面上の投影コンテンツとのそれぞれを、カメラ画像を用いて追跡できれば、事前の位置合わせやマーキング等が不要である。しかしながら、このような方法は、演算量が多く、投影面の移動にコンテンツ画像を追従させることが困難である。その他にも、例えば、投影面を無地のものに限定し、かつ、投影面の形状を既知のものに限定する（非特許文献２）ことで、シミュレートすることなく投影コンテンツを追従させる方法も提案されている。しかしながら、追跡の手がかりとして投影面上のテクスチャを利用できないという問題がある。
【0003】
そして、これらの提案された２つの方法はいずれもコンテンツ画像の動きをカメラで追うことができるほどの特徴がコンテンツ画像に無ければならないという問題もある。そこで、投影面が無地ではない場合について、人が知覚しにくいパターン画像を投影する映像の中に隠し、パターン画像によってコンテンツ画像の動きを追うことが提案されている。しかしながら、この方法は、カメラによって複数の連続する画像を撮影する必要がある（特許文献１、非特許文献３）。そのため、投影面の移動に追従できる限界がカメラのシャッタースピードに依存し、投影面の移動が速い場合には、うまく動作しないという問題がある。このように、投影面が無地ではない場合については、投影面上に順番に投影される複数の画像の、投影面上の位置のずれが大きくなってしまう場合があった。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１７／００２２９３号
【非特許文献】
【0005】
【文献】S. Audet, M. Okutomi, M. Tanaka, “Augmenting moving planar surfaces robustly with videoprojection and direct image alignment”, Virtual Reality, vol. 17, 2013.
【文献】S. Kagami and K. Hashimoto, “Sticky projection mapping: 450-fps tracking projection onto a moving planar surface”, Proc. SIGGRAPH Asia 2015 Emerging Technologies, 2015.
【文献】Ramesh Raskar, Greg Welch, Matt Cutts, Adam Lake, Lev Stesin, and Henry Fuchs “The Office of the Future: A Unified Approach to Image-Based Modeling and Spatially Immersive Displays”, Computer Graphics Proceedings, Annual Conference Series, 1998.
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記事情に鑑み、本発明は、投影面に投影される画像を投影面の移動に合わせて移動させる技術において、移動する投影面上に順番に投影される複数の画像の投影面上の位置のずれを抑制する技術を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の一態様は、コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、を備え、前記所定の条件は、輝度値の異なる無地の領域を複数種類有する、という条件を含む、投影システムである。
【0008】
本発明の一態様は、コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、を備え、前記所定の条件は、輝度値の異なる無地の領域を複数種類有し、複数種類の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含む、投影システム制御装置である。
【0009】
本発明の一態様は、コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影ステップと、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影する撮影ステップと、前記撮影ステップによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出ステップと、前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値とに基づき、前記投影ステップにおいて投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得ステップと、前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得ステップと、を有し、前記所定の条件は、輝度値の異なる無地の領域を複数種類有する、という条件を含む、投影方法である。
【0010】
本発明の一態様は、上記の投影システムとしてコンピュータを機能させるためのプログラムである。
【0011】
本発明の一態様は、上記の投影システム制御装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【0012】
本発明により、投影面に投影される画像を投影面の移動に合わせて移動させる技術において、移動する投影面上に順番に投影される複数の画像の投影面上の位置のずれを抑制する技術を提供することが可能となる。
【図面の簡単な説明】
【0013】
【図1】第１実施形態の投影システム１００のシステム構成の一例を示す図。
【図2】第１実施形態におけるコンテンツ画像及びパターン画像が投影される順番の一例と所定の撮影タイミングとの一例を示すタイミングチャート。
【図3】第１実施形態における変形値の履歴を示す情報の一例を示す概略図。
【図4】第１実施形態におけるパターン画像の一例を示す第１の図。
【図5】第１実施形態におけるパターン画像の一例を示す第２の図。
【図6】第１実施形態における制御部３０の機能構成の一例を示す図。
【図7】第１実施形態における対象箇所の一例を示す図。
【図8】第１実施形態における投影機行列取得前のパターン画像と、投影機行列が表すホモグラフィ変換の実行後のパターン画像とを示す実験結果の一例を示す図。
【図9】第１実施形態における投影システム１００が実行する処理の流れの一例を示すフローチャート。
【図10】第２実施形態における実施形態の投影システム１００のシステム構成の一例を示す図。
【図11】第２実施形態における制御部３０ａの機能構成の一例を示す図。
【図12】第２実施形態における第１制御点と第２制御点とを説明する説明図。
【図13】第２実施形態における投影システム１００ａが実行する処理の流れの一例を示すフローチャート。
【図14】変形例におけるコンテンツ画像及びパターン画像が投影される順番の一例と所定の撮影タイミングとの一例を示す第１のタイミングチャート。
【図15】変形例におけるコンテンツ画像及びパターン画像が投影される順番の一例と所定の撮影タイミングとの一例を示す第２のタイミングチャート。
【図16】変形例における送信画像取得部３０８の一例を示す図。
【発明を実施するための形態】
【0014】
（第１の実施形態）
図１は第１実施形態の投影システム１００のシステム構成の一例を示す図である。投影システム１００は、移動、回転又は変形可能な投影面９０に所定のフレームレートで複数の静止画像を切り替えながら投影する。フレームレートは、単位時間に投影面９０に投影される静止画像の数である。フレームレートは、例えば、２４００ｆｐｓ（frame per second）である。投影システム１００は、少なくとも２種類の静止画像を投影面９０に投影する。静止画像の１つはコンテンツ画像であり、１つはパターン画像である。投影面９０は、表面が無地ではない。以下、投影面９０の表面の模様を物体テクスチャという。
図１は第１実施形態の投影システム１００のシステム構成の一例を示す図である。投影システム１００は、移動、回転又は変形可能な投影面９０に所定のフレームレートで複数の静止画像を切り替えながら投影する。フレームレートは、単位時間に投影面９０に投影される静止画像の数である。フレームレートは、例えば、２４００ｆｐｓ（frame per second）である。投影システム１００は、少なくとも２種類の静止画像を投影面９０に投影する。静止画像の１つはコンテンツ画像であり、１つはパターン画像である。投影面９０は、表面が無地ではない。以下、投影面９０の表面の模様を物体テクスチャという。
【0015】
パターン画像は、投影面９０の位置、向き又は形状（以下「３次元状態」という。）の変化に応じたコンテンツ画像の補正のために投影面９０に投影される画像である。パターン画像は、具体的には、以下の第１パターン画像条件を満たす画像である。第１パターン画像条件は、輝度値の異なる無地の領域を複数種類有し、複数種類の無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含む。所定の面積は、例えば、投影面９０の位置、向き、又は形状の変化の速さと、物体テクスチャとに応じて予め定められた面積である。所定の面積は、例えば第１逆投影条件を満たす面の面積であってもよい。第１逆投影条件は、形状が、逆投影ベクトルとフレームタイムとの積が対角線の長さに等しい長方形という条件である。逆投影ベクトルは、投影面９０の動きベクトルをパターン画像に逆投影したベクトルである。また、所定の面積は、例えば第２逆投影条件を満たす面の面積であってもよい。第２逆投影条件は、面積が、逆投影ベクトルとフレームタイムとの積の二乗に等しい、という条件である。所定の面積は、無地の領域の少なくとも１つが一方向に長い形状である場合には、例えば第３逆投影条件を満たす面の面積であってもよい。第３逆投影条件は、面積が略０という条件である。所定の面積は、例えば第４逆投影条件を満たす面の面積であってもよい。第４逆投影条件は、後述するカメラ２の撮影した画像にパターン画像の有する複数の無地の領域が写るという条件である。なお、所定の面積は、必ずしも第１逆投影条件、第２逆投影条件、第３逆投影条件又は第４逆投影逆条件のうちの１つだけを満たす面の面積である必要は無い。所定の面積は、例えば、第１逆投影条件、第２逆投影条件、第３逆投影条件又は第４逆投影条件のうちの複数を満たす面の面積であってもよい。所定の面積は、例えば、第３逆投影条件及び第４逆投影条件を満たす面の面積であってもよい。
【0016】
パターン画像は第１パターン画像条件を満たすため、パターン画像の振幅スペクトルには高周波数成分が多く含まれる。このため、パターン画像の位置、向き又は形状の変化は、第１パターン画像条件を満たさない画像よりも検知しやすい。パターン画像のより詳細な説明は後述する。
【0017】
コンテンツ画像は、パターン画像と異なる画像であって投影システム１００のユーザが見物人に視認させたい画像である。そのため、コンテンツ画像は、単位時間中に投影面９０に投影される回数がパターン画像よりも多い。パターン画像よりも回数が多く投影面９０に投影されるため、ユーザはパターン画像よりもコンテンツ画像を視認しやすい。コンテンツ画像は、例えば、単位時間中にフレームレートの（５／６）回投影され、パターン画像は、例えば、単位時間中にフレームレートの（１／６）回投影される。単位時間中に投影される複数のコンテンツ画像は、必ずしも全てが同じである必要は無い。例えば、残像効果により投影システム１００のユーザが見物人に視認させたいコンテンツ画像として見物人に視認されるような複数枚の異なる画像であってもよい。
【0018】
投影システム１００は、投影面９０の３次元状態が変化した場合に、投影面９０と同様に位置、向き又は形状を変化させたコンテンツ画像を投影面９０に投影する。
【0019】
投影システム１００は、投影機１、カメラ２及び制御装置３を備える。投影機１は、複数の画像データを１つ１つ順番に取得する。
投影機１は、時系列に入力された画像データが示す静止画像を入力された順番で投影面９０に投影する。投影機１は、例えば、ＬＥＤ(Light Emitting Diode)とＤＭＤ(Digital Micromirror Device)とを備えるＤＬＰ（Digital Light Processing）方式のプロジェクタである。
投影機１は、時系列に入力された画像データが示す静止画像を入力された順番で投影面９０に投影する。投影機１は、例えば、ＬＥＤ(Light Emitting Diode)とＤＭＤ(Digital Micromirror Device)とを備えるＤＬＰ（Digital Light Processing）方式のプロジェクタである。
【0020】
カメラ２は、投影面９０を所定の撮影タイミングで撮影する。カメラ２は、撮影結果の画像（以下「カメラ画像」という。）の画像データを制御装置３に送信する。撮影タイミングは、投影面９０にパターン画像が投影されているタイミングである。カメラ２はパターン画像が投影された状態にある投影面９０を撮影するため、カメラ画像には、物体テクスチャにパターン画像が重畳された像が写る。撮影タイミングは、例えば、制御装置３から所定の信号（以下「撮影指示信号」という。）が送られてきたタイミングであってもよいし、予め定められた所定のタイミングであってもよい。以下、簡単のため、撮影指示信号を受信したタイミングでカメラ２が投影面９０を撮影する場合を例に投影システム１００を説明する。
【0021】
図２は、第１実施形態におけるコンテンツ画像及びパターン画像が投影される順番の一例と所定の撮影タイミングとの一例を示すタイミングチャートである。
図２は、コンテンツ画像が５回投影されるとパターン画像が１回投影されることを示す。図２においてカメラトリガーのタイミングチャートは、カメラ２が撮影するタイミングを示す。カメラトリガーが“Ｈｉ”の場合に、カメラ２は投影面９０を撮影する。カメラトリガーが“Ｌｏｗ”の場合には、カメラ２は投影面９０を撮影しない。
図２は、コンテンツ画像が５回投影されるとパターン画像が１回投影されることを示す。図２においてカメラトリガーのタイミングチャートは、カメラ２が撮影するタイミングを示す。カメラトリガーが“Ｈｉ”の場合に、カメラ２は投影面９０を撮影する。カメラトリガーが“Ｌｏｗ”の場合には、カメラ２は投影面９０を撮影しない。
【0022】
制御装置３は、投影機１に画像データを送信する。制御装置３は、１つのカメラ画像に基づいて、投影面９０に投影されたコンテンツ画像が投影面９０の３次元状態に応じた位置、向き又は形状であるように基準コンテンツ画像を変換（以下「画像変形」という。）する値（以下「変形値」という。）、を算出する。画像変形は、例えば、ホモグラフィ変換である。画像変形は、例えば、動径基底関数近似であってもよい。変形値は、例えば、ホモグラフィ変換を表す行列である。変形値は、例えば、動径基底関数の係数であってもよい。基準コンテンツ画像は、投影面９０が予め定められた第１の所定の３次元状態（以下「初期状態」という。）である場合に、投影面９０に投影されるコンテンツ画像である。制御装置３は、算出した変形値によって基準コンテンツ画像を変換する。制御装置３は、画像変形後の基準コンテンツ画像（以下「送信コンテンツ画像」という。）の画像データを投影機１に送信する。また、制御装置３は、算出した変形値による画像変形を基準パターン画像に対しても実行する。基準パターン画像は、投影面９０が初期状態である場合に、投影面９０に投影されるパターン画像である。制御装置３は、所定のタイミングで送信コンテンツ画像に代えて、画像変形後の基準パターン画像（以下「送信パターン画像」という。）の画像データを投影機１に送信する。制御装置３が単位時間中に送信パターン画像の画像データを送信する回数は、単位時間中に送信コンテンツ画像の画像データを送信する回数よりも少ない。
【0023】
制御装置３は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部３０を備え、プログラムを実行する。制御装置３は、プログラムの実行によって制御部３０、通信部３１及び記憶部３２を備える装置として機能する。より具体的には、プロセッサ９１が記憶部３２に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、制御装置３は、制御部３０、通信部３１及び記憶部３２を備える装置として機能する。
【0024】
通信部３１は、自装置を投影機１、カメラ２及び外部装置に接続するための通信インタフェースを含んで構成される。通信部３１は、無線又は有線を介して、投影機１、カメラ２及び外部装置と通信する。通信部３１は、例えば、投影機１に送信コンテンツ画像及び送信パターン画像の画像データを投影機１に送信する。通信部３１は、例えば、カメラ２が送信したカメラ画像の画像データを受信する。通信部３１は、例えば、外部装置が出力した基準コンテンツ画像の画像データを取得する。通信部３１は、取得した各種情報を制御部３０に出力する。
【0025】
記憶部３２は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体を用いて構成される。記憶部３２は、制御装置３に関する各種情報を記憶する。記憶部３２は、例えば、基準コンテンツ画像の画像データを記憶する。記憶部３２は、例えば、基準パターン画像の画像データを記憶する。記憶部３２は、例えば、送信パターン画像の画像データを記憶する。記憶部３２は、例えば、送信コンテンツ画像の画像データを記憶する。記憶部３２が記憶する基準コンテンツ画像の画像データは予め記憶部３２に記録された情報であってもよいし、通信部３１を介して取得された後に記憶部３２に記録された情報であってもよい。記憶部３２は、例えば、変形値の履歴を示す情報を記憶する。より具体的には、記憶部３２は、後述するテクスチャ変形値の履歴と、パターン変形値の履歴と、投影機変形値の履歴とを記憶する。
【0026】
図３は、第１実施形態における変形値の履歴を示す情報の一例を示す概略図である。
図３は、記憶部３２が記憶する変形値の履歴を示す情報の一例を示す。変形値の履歴を示す情報では、“撮影タイミング”の項目と“テクスチャ変形値”の項目と“パターン変形値”の項目と“撮影機変形値”の項目とが対応付けられている。“撮影タイミング”は、撮影タイミングを示す。“テクスチャ変形値”は、対応する撮影タイミングで撮影されたカメラ画像に基づいて算出されたテクスチャ変形値を示す。“パターン変形値”は、対応する撮影タイミングで撮影されたカメラ画像に基づいて算出されたパターン変形値を示す。“撮影機変形値”は、対応する撮影タイミングで撮影されたカメラ画像に基づいて算出された撮影機変形値を示す。例えば、図３において、データＤ１０１は、Ｔ２の撮影タイミングに撮影されたカメラ画像に基づいて算出されたテクスチャ変形値はＶｃ２であり、パターン変形値はＶｐ２であり、撮影機変形値はＶｔ２であることを示す。
図３は、記憶部３２が記憶する変形値の履歴を示す情報の一例を示す。変形値の履歴を示す情報では、“撮影タイミング”の項目と“テクスチャ変形値”の項目と“パターン変形値”の項目と“撮影機変形値”の項目とが対応付けられている。“撮影タイミング”は、撮影タイミングを示す。“テクスチャ変形値”は、対応する撮影タイミングで撮影されたカメラ画像に基づいて算出されたテクスチャ変形値を示す。“パターン変形値”は、対応する撮影タイミングで撮影されたカメラ画像に基づいて算出されたパターン変形値を示す。“撮影機変形値”は、対応する撮影タイミングで撮影されたカメラ画像に基づいて算出された撮影機変形値を示す。例えば、図３において、データＤ１０１は、Ｔ２の撮影タイミングに撮影されたカメラ画像に基づいて算出されたテクスチャ変形値はＶｃ２であり、パターン変形値はＶｐ２であり、撮影機変形値はＶｔ２であることを示す。
【0027】
記憶部３２は、予め基準テクスチャ画像を記憶する。基準テクスチャ画像は、予め定められた第２の所定の３次元状態（以下「基準状態」という。）にあって投影面９０を略一様に照射する所定の光が照射された状態にある投影面９０、をカメラ２で撮影した撮影結果の画像である。所定の光は、例えば、投影機１が放射する白色光等の単一色の光である。所定の光は、例えば、投影面９０が位置する部屋における間接照明の光であってもよい。以下、簡単のため、所定の光が、投影機１が放射する白色光である場合を例に説明する。このように、基準テクスチャ画像は略一様に照明された状態にある投影面９０の画像であるため、基準テクスチャ画像は投影面９０上の反射率の分布を示す画像である。なお、基準状態と初期状態とは同一であってもよいし、異なってもよい。
【0028】
（パターン画像について）
ここでパターン画像の詳細を説明する。パターン画像は、第１パターン画像条件を満たすパターン画像であればどのようなパターン画像であってもよい。投影面９０が平面である場合、パターン画像は例えば、第１パターン画像条件にくわえてさらに以下の第２パターン画像条件を満たすことが望ましい。
ここでパターン画像の詳細を説明する。パターン画像は、第１パターン画像条件を満たすパターン画像であればどのようなパターン画像であってもよい。投影面９０が平面である場合、パターン画像は例えば、第１パターン画像条件にくわえてさらに以下の第２パターン画像条件を満たすことが望ましい。
【0029】
第２パターン画像条件は、外周からの距離が所定の距離以内の領域（以下「外領域」という。）に輝度値の異なる無地の領域を、外領域以外の領域よりも多く有するという条件を含む。
【0030】
パターン画像は、第１パターン画像条件、第２パターン画像条件にくわえて、さらに、以下の第３パターン画像条件を満たしてもよい。
【0031】
第３パターン画像条件は、外領域以外の領域において、輝度値の異なる複数種類の無地の領域を、単位面積あたりに各種類について１又は複数有し、１つ１つの無地の領域の面積は物体テクスチャの模様に応じた所定の面積よりも大きい、という条件である。
【0032】
パターン画像が多角形である場合には、パターン画像は例えば、第１パターン画像条件、第２パターン画像条件及び第３パターン画像条件にくわえて、さらに以下の第４パターン画像条件、第５パターン画像条件及び第６パターン画像条件を満たしてもよい。このような条件を満たすパターン画像は、投影面９０が平面である場合に用いられることが望ましい。
【0033】
第４パターン画像条件は、外領域以外の領域における単位面積中には各種類の無地の領域がそれぞれ１又は複数存在し種類ごとの無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件を含む。
【0034】
第５パターン画像条件は、外領域内の隅領域以外の領域における単位面積中には各種類の無地の領域がそれぞれ１又は複数存在し種類ごとの無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件を含む。隅領域は、多角形の頂点を含む所定の大きさの領域であって外領域内の領域である。
【0035】
第６パターン画像条件は、隅領域は、１種類の無地の領域である、という条件を含む。
【0036】
パターン画像が円又は楕円である場合には、パターン画像は例えば、第１パターン画像条件、第２パターン画像条件及び第３パターン画像条件にくわえて、さらに第４パターン画像条件と、以下の第７パターン画像条件を満たしてもよい。このような条件を満たすパターン画像は、投影面９０が平面である場合に用いられることが望ましい。
【0037】
第７パターン画像条件は、外領域内の領域における単位面積中には各種類の無地の領域がそれぞれ１又は複数存在し種類ごとの無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件を含む。
【0038】
図４及び図５は、第１実施形態におけるパターン画像条件を満たすパターン画像の一例を示す図である。より具体的には、図４は、第１実施形態におけるパターン画像の一例を示す第１の図である。
図４は、パターン画像Ａ１を示す。図４は、パターン画像Ａ１が正方形であることを示す。図４は、パターン画像Ａ１の外領域は、パターン画像Ａ１の外周から内側に向けて厚さＥの領域であることを示す。図４は、パターン画像Ａ１の外領域には、白の領域と黒の領域とがパターン画像Ａ１の外周に沿って交互に配置されていることを示す。白の領域は、輝度値が所定の輝度値の領域であって、黒の領域は輝度値が白の領域よりも低い領域である。図４は、正方形の頂点を含む一辺がＥの正方形の領域が、白の領域であることを示す。図４において、正方形の頂点を含む一辺がＥの正方形の白の領域がパターン画像Ａ１の隅領域である。パターン画像Ａ１が投影面９０に投影される場合、白の領域は、所定の強度の光が照射される領域である。黒の領域は白の領域に照射される光の強度よりも弱い強度の光が照射される領域である。黒の領域に照射される光の強度は白の領域に照射される光の強度よりも弱ければどのような強度であってもよく、例えば、強度が０であってもよい。
図４は、パターン画像Ａ１を示す。図４は、パターン画像Ａ１が正方形であることを示す。図４は、パターン画像Ａ１の外領域は、パターン画像Ａ１の外周から内側に向けて厚さＥの領域であることを示す。図４は、パターン画像Ａ１の外領域には、白の領域と黒の領域とがパターン画像Ａ１の外周に沿って交互に配置されていることを示す。白の領域は、輝度値が所定の輝度値の領域であって、黒の領域は輝度値が白の領域よりも低い領域である。図４は、正方形の頂点を含む一辺がＥの正方形の領域が、白の領域であることを示す。図４において、正方形の頂点を含む一辺がＥの正方形の白の領域がパターン画像Ａ１の隅領域である。パターン画像Ａ１が投影面９０に投影される場合、白の領域は、所定の強度の光が照射される領域である。黒の領域は白の領域に照射される光の強度よりも弱い強度の光が照射される領域である。黒の領域に照射される光の強度は白の領域に照射される光の強度よりも弱ければどのような強度であってもよく、例えば、強度が０であってもよい。
【0039】
図４は、パターン画像Ａ１の外領域における白の領域は、長さがＬで厚さがＥの長方形又は一辺の長さがＥの正方形であることを示す。長さＬはＥよりも長い。図４は、パターン画像Ａ１の外領域における黒の領域は、長さがＬで厚さがＥの長方形であることを示す。図４は、パターン画像Ａ１の外領域以外の領域では、一辺がＬの正方形の白の領域と一辺がＬの正方形の黒の領域とが交互に配置されていることを示す。
【0040】
図５は、第１実施形態におけるパターン画像の一例を示す第２の図である。
図５は、パターン画像Ａ２を示す。パターン画像Ａ２は、図４に示すパターン画像Ａ１における白の領域と黒の領域とが反転したパターン画像である。すなわち、パターン画像Ａ１とパターン画像Ａ２との形状は同一である。そして、パターン画像Ａ１（一方）における各ピクセルの輝度値とパターン画像Ａ２（他方）における対応する各ピクセルの輝度値との合計値は、ピクセルによらず略同一である。図５において、正方形の頂点を含む一辺がＥの正方形の黒の領域がパターン画像Ａ２の隅領域である。
ここまででパターン画像の詳細の説明を終了する。
図５は、パターン画像Ａ２を示す。パターン画像Ａ２は、図４に示すパターン画像Ａ１における白の領域と黒の領域とが反転したパターン画像である。すなわち、パターン画像Ａ１とパターン画像Ａ２との形状は同一である。そして、パターン画像Ａ１（一方）における各ピクセルの輝度値とパターン画像Ａ２（他方）における対応する各ピクセルの輝度値との合計値は、ピクセルによらず略同一である。図５において、正方形の頂点を含む一辺がＥの正方形の黒の領域がパターン画像Ａ２の隅領域である。
ここまででパターン画像の詳細の説明を終了する。
【0041】
図６は、第１実施形態における制御部３０の機能構成の一例を示す図である。制御部３０は、基準コンテンツ画像取得部３０１、カメラ変形値算出部３０２、投影機変形値取得部３０３、送信コンテンツ画像取得部３０４、送信パターン画像取得部３０５及び通信制御部３０６を備える。
【0042】
基準コンテンツ画像取得部３０１は、基準コンテンツ画像の画像データを取得する。基準コンテンツ画像取得部３０１は、記憶部３２に記録されている基準コンテンツ画像の画像データを読み出してもよいし、通信部３１を介して入力された基準コンテンツ画像の画像データを取得してもよい。
【0043】
カメラ変形値算出部３０２は、カメラ画像が取得されるたびに、カメラ画像に基づいて、カメラ２から見た投影面９０の位置、向き又は形状の変化を表す変形値（以下「テクスチャ変形値」という。）を算出する。より具体的には、カメラ変形値算出部３０２は、カメラ画像が取得されるたびに、カメラ画像に写る物体テクスチャの画像（以下「物体テクスチャ画像」という。）に基づいてテクスチャ変形値を算出する。カメラ変形値算出部３０２は、テクスチャ変形値を算出可能な方法であれば、どのような方法でテクスチャ変形値を算出してもよい。例えば、カメラ変形値算出部３０２は、予め定められた所定の変形値を初期条件とし変形値を予め定められた所定の規則に則って更新する収束計算によってテクスチャ変形値を算出してもよい。この場合、収束計算の収束条件は、カメラ画像に写る物体テクスチャ画像と、画像変形後の基準テクスチャ画像との対象箇所における一致の度合が所定の度合以上という条件である。対象箇所は、もし仮に画像変形後の基準テクスチャ画像が投影面９０に投影されたらカメラ画像に写る箇所である。一致の度合は、例えば、物体テクスチャ画像と画像変形後の基準テクスチャ画像との輝度値の差分二乗和の小ささである。カメラ変形値算出部３０２は、収束計算中に物体テクスチャの輝度を調整してもよい。具体的には、収束計算中に基準テクスチャ画像の全ピクセルの輝度値の平均値で、物体テクスチャの輝度を割り算してもよい。このようにすることで、基準テクスチャ画像と物体テクスチャとの輝度値のずれが小さくなるため、不適切な鞍点又は局所解で収束計算が収束してしまう可能性や収束せずに発散してしまう可能性を軽減することができる。算出されたテクスチャ変形値は記憶部３２に記録されてもよい。
【0044】
カメラ変形値算出部３０２は、例えば、パターン画像が白の領域と黒の領域との２種類の領域を有する画像である場合、投影面９０の全面ではなく以下の対象箇所条件を満たす領域内の各位置を対象箇所としてテクスチャ変形値を算出してもよい。対象箇所条件は、１つ前の撮影タイミングにおいて前段パターン画像の白の領域が位置した領域という条件である。前段パターン画像は、１つ前の撮影タイミングに撮影されたカメラ画像に写るパターン画像である。例えば、対象箇所は、前段パターン画像の白の領域内の全位置ではなくてもよく、例えば、前段パターン画像の白の領域内の一部であってもよい。より具体的には、対象箇所は、例えば、前段パターン画像の白の領域内の領域であり、投影面９０の移動又は回転の速さと撮影タイミングの間隔とに応じた距離だけ白の領域の外周から離れた位置に位置する領域内の位置であってもよい。距離は、例えば、投影面９０の移動の速さをｖとし、撮影タイミングの間隔をΔｔとして、ｖ×Δｔである。対象箇所は、白の領域ではなく黒の領域であってもよいし、黒の領域内の一部であってもよい。対象箇所は、白の領域と黒の領域とであってもよいし、白の領域内の一部と黒の領域内の一部とであってもよい。
【0045】
カメラ変形値算出部３０２が、テクスチャ変形値を取得する時点では、取得されたばかりのカメラ画像内のどこにパターン画像があるかは判定されていない。そのため、対象箇所が無地の領域の全域である場合、カメラ画像に写る対象領域内の各ピクセルが表す領域が、パターン画像の白の領域なのか黒の領域なのかの判別は困難である。一方、対象箇所が無地の領域内の一部である場合、対象箇所は、パターン画像の白の領域である。そのため、対象箇所が無地の領域の全面である場合よりも、テクスチャ変形値を精度よく算出することができる。
【0046】
図７は、第１実施形態における対象箇所の一例を示す図である。図７は、実験結果のカメラ画像の一例を示す。図７において対象箇所は、領域Ｒ１内の各位置である。距離ｄは、領域Ｒ１の外周と白の領域の外周との間の距離である。
【0047】
テクスチャ変形値による画像変形は、カメラ画像内の対象箇所の物体テクスチャ画像を基準テクスチャ画像における対象箇所の画像に所定の一致の度合以上の度合で一致させる変換である。そのため、テクスチャ変形値は、カメラ画像と基準テクスチャ画像とのピクセル間の対応関係を示す。
【0048】
投影機変形値取得部３０３は、カメラ画像とテクスチャ変形値とに基づいて、投影機変形値を取得する。投影機変形値は、基準コンテンツ画像を送信コンテンツ画像に変換する画像変形を表す変形値である。投影機変形値取得部３０３は、例えば、まずパターン画像抽出処理を実行する。パターン画像抽出処理は、カメラ画像からパターン画像を抽出する処理である。パターン画像抽出処理は例えば以下の処理である。投影機変形値取得部３０３は、まず、カメラ画像に対してテクスチャ変形値による画像変形を実行する。次に投影機変形値取得部３０３は、テクスチャ変形値が示すピクセル間の対応関係を用いて、画像変形後のカメラ画像の各ピクセルの輝度値を基準テクスチャ画像の対応するピクセルの輝度値で割り算する。割り算によってパターン画像が抽出される理由は以下の理由による。
【0049】
カメラ画像に写るパターン画像には投影面９０上の反射率の分布が重畳されている。そのため、カメラ画像に写る像の輝度値は、照射されるパターン画像の輝度値と室内背景光の強度の和に反射率を乗算した値に略比例する。なお、室内背景光は投影面９０上で位置に依らず略一様とする。一方、基準テクスチャ画像は、それを取得した際に照射されていた一様光の強度と反射率の積に略比例する。そのため、基準テクスチャ画像の各ピクセルの輝度値でカメラ画像の対応する各ピクセルの輝度値を割り算すれば、反射率の項が消え、割り算の結果のピクセル間の大小関係はパターン画像の輝度値のピクセル間の大小関係に一致する。これが、割り算によってパターン画像が抽出される理由である。
【0050】
次に、投影機変形値取得部３０３は、基準パターン画像と抽出後のパターン画像との間の一致の度合を所定の度合以上にする画像変形を表す変形値を取得する。例えば、投影機変形値取得部３０３は、基準パターン画像の輝度値と抽出後のパターン画像の輝度値との間の差分二乗和を最小にする画像変形を表す変形値を取得する。取得された変形値がパターン変形値である。
【0051】
次に、投影機変形値取得部３０３は、取得したパターン変形値と、１つ前の撮影タイミングの投影機変形値とに基づいて、投影機変形値を取得する。投影機変形値を取得するため、投影機変形値取得部３０３は、まず、カメラ基準点と投影機基準点との位置を取得する。カメラ基準点は、パターン画像上に予め定義された複数の基準点（以下「パターン基準点」という。）がパターン変形値に基づいてカメラ画像上に射影された点である。投影機基準点は、パターン基準点が１つ前の撮影タイミングの投影機変形値に基づいて投影機画像上に射影された点である。投影機画像は、投影機１が投影する画像である。カメラ基準点と投影機基準点とは、予めカメラ基準点ごとに異なる投影機基準点が対応付けられている。
【0052】
投影機変形値取得部３０３は、各カメラ基準点の射影先が対応する投影機基準点に一致する画像変形（以下「対象画像変形」という。）を表す変形値（以下「対象変形値」という。）を取得する。投影機変形値取得部３０３は、例えば、カメラ基準点の射影先と対応する投影機基準点の間の距離の二乗和を収束計算によって最小化させる。二乗和が最小になる画像変形が対象画像変形であり、二乗和が最小になる画像変形を表す変形値が対象変形値である。対象画像変形は、例えばホモグラフィ変換である。対象画像変形は、例えば、画像を三角メッシュに分割した際の各メッシュ領域に対するアフィン変換でもよい。
【0053】
このようにして求めたカメラ画像から投影機画像への画像変形を用いることで、カメラ画像上に写るテクスチャ画像を投影機画像上に写像することができる。投影機変形値取得部３０３が取得する投影機変形値は、コンテンツ画像の所定の位置を投影機画像上に写像されたテクスチャ画像の所定の位置に一致させる画像変形を表す。投影機変形値取得部３０３は、投影機変形値を、対象変形値と同様の手順で取得する。
【0054】
送信コンテンツ画像取得部３０４は、基準コンテンツ画像及び投影機変形値に基づいて、送信コンテンツ画像の画像データを取得する。具体的には、送信コンテンツ画像取得部３０４は、取得した投影機変形値が表す画像変形を基準コンテンツ画像に対して実行する。投影機変形値に基づいた画像変形が行われた後の基準コンテンツ画像が送信コンテンツ画像である。
【0055】
送信パターン画像取得部３０５は、基準パターン画像及び投影機変形値に基づいて、送信パターン画像の画像データを取得する。具体的には、送信パターン画像取得部３０５は、投影機変形値が表す画像変形を基準パターン画像に対して実行する。投影機変形値が表す画像変形が行われた後の基準パターン画像が送信パターン画像である。
【0056】
図８は、第１実施形態における投影機変形値取得前のパターン画像と、投影機変形値が表す画像変形の実行後のパターン画像とを示す実験結果の一例である。
図８（Ａ）は、カメラ画像に写る、投影機変形値取得前のパターン画像を示す。図８（Ｂ）は、カメラ画像に写る、投影機変形値が表す画像変形の実行後のパターン画像である。図８は、投影面９０の移動に応じて、パターン画像も移動していることを示す。
図８（Ａ）は、カメラ画像に写る、投影機変形値取得前のパターン画像を示す。図８（Ｂ）は、カメラ画像に写る、投影機変形値が表す画像変形の実行後のパターン画像である。図８は、投影面９０の移動に応じて、パターン画像も移動していることを示す。
【0057】
通信制御部３０６は、通信部３１を介して送信コンテンツ画像及び送信パターン画像を投影機１に送信する。通信制御部３０６は、送信パターン画像を送信したタイミングで撮影指示信号をカメラ２に送信する。
【0058】
図９は、第１実施形態における投影システム１００が実行する処理の流れの一例を示すフローチャートである。
投影機１が、時系列に入力された画像データが示す静止画像を入力された順番で投影面９０に投影する（ステップＳ１０１）。カメラ２が、撮影タイミングに投影面９０を撮影する（ステップＳ１０２）。次にカメラ変形値算出部３０２が、カメラ２の撮影結果のカメラ画像に基づいて、テクスチャ変形値を算出する（ステップＳ１０３）。次に、投影機変形値取得部３０３が、カメラ画像とテクスチャ変形値とに基づいて、パターン変形値を取得する（ステップＳ１０４）。次に、投影機変形値取得部３０３が、ステップＳ１０４において取得したパターン変形値と、１つ前の撮影タイミングの投影機変形値とに基づいて投影機変形値を取得する（ステップＳ１０５）。次に、送信コンテンツ画像取得部３０４が、基準コンテンツ画像及び投影機変形値に基づいて送信コンテンツ画像の画像データを取得する（ステップＳ１０６）。次に、送信パターン画像取得部３０５が、基準パターン画像及び投影機変形値に基づいて送信パターン画像の画像データを取得する（ステップＳ１０７）。次に、通信制御部３０６が、通信部３１を介して、送信コンテンツ画像の画像データと送信パターン画像の画像データとを所定の順番で投影機１に送信する（ステップＳ１０８）。投影機１は、画像データを受信した順番に、送信コンテンツ画像又は送信パターン画像を投影面９０に投影する（ステップ１０９）。ステップＳ１０９の後、所定の終了条件が満たされるまで、ステップＳ１０２からステップＳ１０９の処理が繰り返される。所定の終了条件は、例えば、制御装置３に電力が供給されないという条件である。
投影機１が、時系列に入力された画像データが示す静止画像を入力された順番で投影面９０に投影する（ステップＳ１０１）。カメラ２が、撮影タイミングに投影面９０を撮影する（ステップＳ１０２）。次にカメラ変形値算出部３０２が、カメラ２の撮影結果のカメラ画像に基づいて、テクスチャ変形値を算出する（ステップＳ１０３）。次に、投影機変形値取得部３０３が、カメラ画像とテクスチャ変形値とに基づいて、パターン変形値を取得する（ステップＳ１０４）。次に、投影機変形値取得部３０３が、ステップＳ１０４において取得したパターン変形値と、１つ前の撮影タイミングの投影機変形値とに基づいて投影機変形値を取得する（ステップＳ１０５）。次に、送信コンテンツ画像取得部３０４が、基準コンテンツ画像及び投影機変形値に基づいて送信コンテンツ画像の画像データを取得する（ステップＳ１０６）。次に、送信パターン画像取得部３０５が、基準パターン画像及び投影機変形値に基づいて送信パターン画像の画像データを取得する（ステップＳ１０７）。次に、通信制御部３０６が、通信部３１を介して、送信コンテンツ画像の画像データと送信パターン画像の画像データとを所定の順番で投影機１に送信する（ステップＳ１０８）。投影機１は、画像データを受信した順番に、送信コンテンツ画像又は送信パターン画像を投影面９０に投影する（ステップ１０９）。ステップＳ１０９の後、所定の終了条件が満たされるまで、ステップＳ１０２からステップＳ１０９の処理が繰り返される。所定の終了条件は、例えば、制御装置３に電力が供給されないという条件である。
【0059】
このように構成された投影システム１００は、第１パターン画像条件を満たすパターン画像に基づいて投影するコンテンツ画像を制御するため、１つのパターン画像に基づいて投影面９０の移動、回転又は変形に応じたコンテンツ画像を投影することができる。そのため、投影システム１００は、投影面に投影される画像を投影面の移動に合わせて移動させる技術において、移動する投影面上に順番に投影される複数の画像の投影面上の位置のずれを抑制することができる。
【0060】
（第２の実施形態）
投影システム１００が備える投影機１又はカメラ２の性能が所定の性能を満たさない場合には、画像の投影面上の位置のずれは、装置の性能が所定の性能を満たす場合よりも大きくなる。例えば、投影機１のレンズに所定の大きさ以上の歪がある場合や、カメラ２が撮影してから投影機１が画像を投影するまでに所定の時間以上の遅延（以下「遅延時間Δｔ」という。）がある場合に、位置のずれは大きくなる。また、投影面９０が平面でない場合にも、位置のずれは大きくなる。位置のずれとは、具体的には、仮想画像と投影面９０に投影される画像との間のずれ（以下「画像ずれ」という。）である。仮想画像とは、仮に投影面９０が平面であって投影機１又はカメラ２の性能が所定の性能を満たす場合に投影面９０に表示される画像である。そこで、画像ずれを補正するために、制御部３０は、さらに、補正部３０７を備えてもよい。
投影システム１００が備える投影機１又はカメラ２の性能が所定の性能を満たさない場合には、画像の投影面上の位置のずれは、装置の性能が所定の性能を満たす場合よりも大きくなる。例えば、投影機１のレンズに所定の大きさ以上の歪がある場合や、カメラ２が撮影してから投影機１が画像を投影するまでに所定の時間以上の遅延（以下「遅延時間Δｔ」という。）がある場合に、位置のずれは大きくなる。また、投影面９０が平面でない場合にも、位置のずれは大きくなる。位置のずれとは、具体的には、仮想画像と投影面９０に投影される画像との間のずれ（以下「画像ずれ」という。）である。仮想画像とは、仮に投影面９０が平面であって投影機１又はカメラ２の性能が所定の性能を満たす場合に投影面９０に表示される画像である。そこで、画像ずれを補正するために、制御部３０は、さらに、補正部３０７を備えてもよい。
【0061】
【0062】
投影システム１００ａは、制御装置３に代えて制御装置３ａを備える点で投影システム１００と異なる。制御装置３ａは、制御部３０に代えて制御部３０ａを備える点で制御装置３と異なる。制御部３０ａは、制御部３０が備える各機能部にくわえてさらに補正部３０７を備える点で制御部３０と異なる。
【0063】
【0064】
補正部３０７は、投影機変形値の値を、画像ずれを少なくする値に変更する。補正部３０７は、カメラ画像が撮影されるたびに、２つ前の撮影タイミングの投影機変形値と１つ前の撮影タイミングの投影機変形値とに基づいて、投影機変形値取得部３０３が取得した投影機変形値を補正する値（以下「投影機変形補正値」という。）を取得する。投影機変形補正値は、画像ずれを減少させる値である。具体的には、補正部３０７は、投影面９０上の予め定められた４つの位置（以下「第１制御点」という。）に、投影面９０に投影されたパターン画像上の予め定められた４つの位置（以下「第２制御点」という。）を近づける値を投影機変形補正値として取得する。なお、２つ前の撮影タイミングの投影機変形値とは、２つ前の撮影タイミングで撮影されたカメラ画像に基づいて取得された撮影機変形値である。１つ前の撮影タイミングの投影機変形値とは、１つ前の撮影タイミングで撮影されたカメラ画像に基づいて取得された撮影機変形値である。
【0065】
図１２は、第２実施形態における第１制御点と第２制御点とを説明する説明図である。図１２において、矢印は、第２制御点が第１制御点まで移動することを示す。図１２は複数の第２制御点が１つの第１制御点に移動することは無いことを示す。
【0066】
図１３は、第２実施形態における投影システム１００ａが実行する処理の流れの一例を示すフローチャートである。以下、投影システム１００が行う処理と同様の処理については図９と同じ符号を付すことで説明を省略する。
【0067】
ステップＳ１０５の次に、補正部３０７が、２つ前の撮影タイミングの投影機変形値と１つ前の撮影タイミングの投影機変形値とに基づいて、投影機変形補正値を取得する（ステップＳ１１０）。次に、補正部３０７は、取得した投影機変形補正値によって、ステップＳ１０４で取得された投影機変形値を補正する（ステップＳ１１１）。補正は、投影機補正値の定義に依存した所定の演算を投影機変形値に対して実行することである。所定の演算は、例えば、投影機変形値に投影機変形補正値を乗算することであってもよいし、投影機変形値に投影機変形補正値を足し算することであってもよい。ステップＳ１１１の次に、補正後の投影機変形値を用いてステップＳ１０５の処理が実行される。
【0068】
このように構成された第２実施形態の投影システム１００ａは、投影機変形補正値を取得し、取得した投影機変形補正値によって投影機変形値を補正する。そのため、投影システム１００ａは、投影機１又はカメラ２が所定の性能を満たさないことや、投影面９０が平面でないことに依存する画像ずれを投影システム１００よりも抑制して、画像を投影することができる。
【0069】
（変形例）
送信コンテンツ画像取得部３０４は、必ずしもパターン画像を抽出した後に抽出したパターン画像に基づいて投影機行列を取得する必要は無い。送信コンテンツ画像取得部３０４は、パターン画像のエッジを用いて投影機変形値を算出してもよい。
送信コンテンツ画像取得部３０４は、必ずしもパターン画像を抽出した後に抽出したパターン画像に基づいて投影機行列を取得する必要は無い。送信コンテンツ画像取得部３０４は、パターン画像のエッジを用いて投影機変形値を算出してもよい。
【0070】
補正部３０７は、例えば、Ｓｍｉｔｈ予測器であってもよい。また、補正部３０７は、投影機変形補正値を取得する場合に、必ずしも投影面９０上の４点を用いる必要はない。５点以上であってもよいし４点未満であってもよい。
【0071】
コンテンツ画像及びパターン画像は、必ずしも１種類のパターン画像が図２のような順番で投影されなくてもよい。例えば、白の領域と黒の領域とを有する２種類のパターン画像であって、白の領域と黒の領域とが反転している２種類のパターン画像が１回ずつ連続して投影されてもよい。２種類のパターン画像は、例えば、図４に示すパターン画像（以下「第１パターン画像」という。）と図５に示すパターン画像（以下「第２パターン画像」という。）との２種類のパターン画像である。
【0072】
図１４は、変形例におけるコンテンツ画像及びパターン画像が投影される順番の一例と所定の撮影タイミングとの一例を示す第１のタイミングチャートである。
図１４は、コンテンツ画像が５回投影されると第１パターン画像が１回投影され、次に第２パターン画像が１回投影されることを示す。図１４は、カメラ２は、第１パターン画像を撮影し、第２パターン画像を撮影しないことを示す。このように第１パターン画像と第２パターン画像とが投影されることで、ユーザにとっては、第１パターン画像と第２パターン画像との平均の画像が投影面９０に投影されているように見える。そのため、ユーザが、第１パターン画像及び第２パターン画像の模様を視認しにくくなる。
図１４は、コンテンツ画像が５回投影されると第１パターン画像が１回投影され、次に第２パターン画像が１回投影されることを示す。図１４は、カメラ２は、第１パターン画像を撮影し、第２パターン画像を撮影しないことを示す。このように第１パターン画像と第２パターン画像とが投影されることで、ユーザにとっては、第１パターン画像と第２パターン画像との平均の画像が投影面９０に投影されているように見える。そのため、ユーザが、第１パターン画像及び第２パターン画像の模様を視認しにくくなる。
【0073】
なお、第１パターン画像と第２パターン画像との２種類のパターン画像が投影される場合、以下の図１５に示すように、第１パターン画像と第２パターン画像とはパターン画像の投影のタイミングのたびに切り替えて投影されてもよい。
【0074】
図１５は、変形例におけるコンテンツ画像及びパターン画像が投影される順番の一例と所定の撮影タイミングとの一例を示す第２のタイミングチャートである。
図１５は、コンテンツ画像が５回投影されると第１パターン画像が１回投影され、次にコンテンツ画像が５回撮影されると第２パターン画像が１回投影されることを示す。このように第１パターン画像と第２パターン画像とが交互に投影されることで、ユーザにとっては、第１パターン画像と第２パターン画像との平均の画像が投影面９０に投影されているように見える。そのため、ユーザが、第１パターン画像及び第２パターン画像の模様を視認しにくくなる。
図１５は、コンテンツ画像が５回投影されると第１パターン画像が１回投影され、次にコンテンツ画像が５回撮影されると第２パターン画像が１回投影されることを示す。このように第１パターン画像と第２パターン画像とが交互に投影されることで、ユーザにとっては、第１パターン画像と第２パターン画像との平均の画像が投影面９０に投影されているように見える。そのため、ユーザが、第１パターン画像及び第２パターン画像の模様を視認しにくくなる。
【0075】
なお、投影システム１００及び１００ａは、例えば、１つのコンテンツ画像の赤画像、緑画像及び青画像を順番に切り替えながら投影面９０に投影してもよい。赤画像は、コンテンツ画像の各ピクセルの赤の輝度値を表す画像であって、赤色の光で投影面に投影される画像である。緑画像は、コンテンツ画像の各ピクセルの緑の輝度値を表す画像であって、赤色の光で投影面に投影される画像である。青画像は、コンテンツ画像の各ピクセルの青の輝度値を表す画像であって、青色の光で投影面に投影される画像である。
【0076】
なお、第１パターン画像と第２パターン画像とは、以下の２つの条件を満たすパターン画像であればどのようなパターン画像であってもよい。条件の１つは、形状は同一という条件である。条件の１つは、第１パターン画像における各ピクセルの輝度値と第２パターン画像における対応する各ピクセルの輝度値との合計値がピクセルによらず略同一という条件である。
【0077】
必ずしも投影面９０の位置、向き又は形状が変化しなくても、投影面９０と投影機１とカメラ２との間の位置関係が変わる場合であれば、投影システム１００及び１００ａは、位置関係の変化に応じたコンテンツ画像を投影面９０に投影することができる。投影面９０と投影機１とカメラ２との間の位置関係が変わる場合は、例えば、投影機１の位置又は向きが変化する場合やカメラ２の位置又は向きが変化する場合である。
【0078】
なお、投影面９０上のパターン画像は、物体テクスチャが形成又は描画された領域内に位置する。また、投影面９０上のパターン画像の大きさは、見物人が見る投影面９０上の領域よりも大きい。なお、コンテンツ画像はカラーの画像であってもよいし、二値画像であってもよい。
【0079】
なお、画像を投影するために投影機１が放射する光は、可視光であってもよいし、Ｘ線であってもよいし、紫外光であってもよいし、赤外光であってもよいし、テラヘルツ波であってもよい。カメラ２は、可視光だけでなく、Ｘ線を受光可能であってもよいし、紫外光を受光可能であってもよいし、赤外線を受光可能であってもよいし、テラヘルツ波を受光可能であってもよい。
【0080】
なお、制御装置３及び３ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0081】
制御装置３及び３ａは、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、制御装置３が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。例えば、基準コンテンツ画像取得部３０１、カメラ変形値算出部３０２、投影機変形値取得部３０３、送信コンテンツ画像取得部３０４、送信パターン画像取得部３０５、通信制御部３０６及び補正部３０７はそれぞれ異なる情報処理装置に実装されてもよい。
【0082】
なお、送信コンテンツ画像取得部３０４は、第１変換部の一例である。送信パターン画像取得部３０５は、第２変換部の一例である。なお、制御装置３は投影システム制御装置の一例である。
【0083】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば送信コンテンツ画像取得部３０４及び送信パターン画像取得部３０５はそれぞれ異なる機能部である必要はない。例えば制御部３０又は３０ａは、送信コンテンツ画像取得部３０４及び送信パターン画像取得部３０５に代えて、送信画像取得部３０８を備えてもよい。送信画像取得部３０８は、送信コンテンツ画像取得部３０４が実行する処理と送信パターン画像取得部３０５が実行する処理とを実行する。
【0084】
【0085】
なお、第１パターン画像条件は、必ずしも輝度値の異なる無地の領域を複数種類有するという条件と、複数種類の無地の領域の少なくとも１つの面積が所定の面積より大きいという条件との２つを含む必要は無い。第１パターン画像条件は、必ずしも輝度値の異なる無地の領域を複数種類有するという条件だけを含む条件であってもよい。
【符号の説明】
【0086】
１００、１００ａ…投影システム、 １…投影機、 ２…カメラ、 ３、３ａ…制御装置、 ３０、３０ａ…制御部、 ３１…通信部、 ３２…記憶部、 ３０１…基準コンテンツ画像取得部、 ３０２…カメラ変形値算出部、 ３０３…投影機変形値取得部、 ３０４…送信コンテンツ画像取得部、 ３０５…送信パターン画像取得部、 ３０６…通信制御部、 ３０７…補正部、 ３０８…送信画像取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】