特許 7588330 画像投写システム、画像投写システムの制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-14

(45)【発行日】2024-11-22

(54)【発明の名称】画像投写システム、画像投写システムの制御方法、及びプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241115BHJP

   H04N 5/74 20060101ALI20241115BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 X

G09G5/00 510B

G09G5/00 510V

G09G5/00 530M

H04N5/74 Z

【請求項の数】 13

(21)【出願番号】P 2023155623

(22)【出願日】2023-09-21

(62)【分割の表示】P 2020054873の分割

【原出願日】2020-03-25

(65)【公開番号】P2023178290

(43)【公開日】2023-12-14

【審査請求日】2023-09-21

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100183265

【弁理士】

【氏名又は名称】中谷 剣一

(72)【発明者】

【氏名】林 伊織

【審査官】武田 悟

(56)【参考文献】

【文献】特開２０１７－１１６６８９（ＪＰ，Ａ）

【文献】特開２００９－２０３９０（ＪＰ，Ａ）

【文献】特開２０１９－４５５４９（ＪＰ，Ａ）

【文献】特開２０１９－２０１３６２（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２００７－００５２０５２（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｈ０４Ｎ ５／７４

Ｇ０３Ｂ ２１／１４

(57)【特許請求の範囲】

【請求項1】

自機の投写領域の領域情報を含む投写画像を各々並べて投写対象物に投写する複数のプロジェクタと、
前記投写対象物と、複数の前記プロジェクタによって前記投写対象物に投写されたそれぞれの前記投写画像と、を撮像する撮像部と、
前記撮像部によって撮像された前記投写画像に含まれる前記領域情報に基づいて、前記投写画像の領域を示す領域画像を生成する制御部と、
前記領域画像を、前記撮像部によって撮像された前記投写対象物の撮像画像に重畳して表示する表示端末と、
を備える、画像投写システム。

【請求項2】

前記表示端末は、前記撮像部によって撮像された前記投写対象物の撮像画像に重畳して選択可能に前記領域画像を表示する、請求項１に記載の画像投写システム。

【請求項3】

前記表示端末で選択される前記領域画像に対応する前記プロジェクタを調整可能にする、請求項２に記載の画像投写システム。

【請求項4】

前記複数のプロジェクタは、自機の識別情報を含む前記投写画像を各々並べて前記投写対象物に投写する、請求項１に記載の画像投写システム。

【請求項5】

前記制御部は、前記撮像部によって撮像された前記投写画像に含まれる前記識別情報に基づいて、前記投写画像と前記投写画像を投写する前記プロジェクタとの関連付けを行う、請求項４に記載の画像投写システム。

【請求項6】

前記識別情報は、前記プロジェクタによって前記投写対象物に投写されるマーカーを含む、請求項４又は５に記載の画像投写システム。

【請求項7】

前記制御部は、前記投写対象物に投写される前記マーカーの形状に基づいて前記領域画像を生成する、請求項６に記載の画像投写システム。

【請求項8】

前記マーカーは、二次元コードを含む、請求項６又は７に記載の画像投写システム。

【請求項9】

前記識別情報は、前記プロジェクタの光が変調されて前記プロジェクタを識別する光ＩＤを含む、請求項４から８のいずれか一項に記載の画像投写システム。

【請求項10】

前記制御部は、前記表示端末の位置情報を取得し、前記位置情報に基づいて前記表示端末に表示する前記領域画像を補正する、請求項１から９のいずれか一項に記載の画像投写システム。

【請求項11】

前記表示端末に表示される前記投写対象物の前記撮像画像は、前記撮像部によってリアルタイムに撮像された映像であって、
前記表示端末は、前記映像に前記領域画像を重畳して表示する、請求項１から１０のいずれか一項に記載の画像投写システム。

【請求項12】

複数のプロジェクタと、前記プロジェクタの投写画像を撮像する撮像部と、前記投写画像に関する情報を表示する表示端末と、前記プロジェクタを制御する制御部と、を備える画像投写システムの制御方法であって、
自機の投写領域の領域情報を含む前記投写画像を、複数の前記プロジェクタで投写対象物に各々並べて投写する投写ステップと、
前記投写対象物と、複数の前記プロジェクタによって前記投写対象物に投写されたそれぞれの前記投写画像と、を前記撮像部で撮像する撮像ステップと、
前記プロジェクタの前記投写画像の領域を示す領域画像を、前記領域情報に基づいて前記制御部により生成する領域画像生成ステップと、
前記領域画像を、前記撮像部によって撮像された前記投写対象物の撮像画像に重畳して前記表示端末に表示する表示ステップと、
を含む、画像投写システムの制御方法。

【請求項13】

自機の投写領域の領域情報を含む投写画像を各々並べて投写対象物に投写する複数のプロジェクタを制御する制御部により実行されるプログラムであって、前記領域情報は、前記複数のプロジェクタによって前記投写対象物に投写されたそれぞれの前記投写画像を撮像部で撮像することにより取得した情報であり、
前記プロジェクタの前記投写画像の領域を示す領域画像を、前記領域情報に基づいて生成する領域画像生成ステップと、
前記領域画像を、前記撮像部によって撮像される前記投写対象物の撮像画像に重畳して表示端末に表示する表示ステップと、
を含む、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像投写システム、画像投写システムの制御方法、及びプログラムに関する。

【背景技術】

【0002】

従来、複数のプロジェクタによって投写面に投写画像を並べて投写する画像投写システムが知られている。例えば、特許文献１では、それぞれのプロジェクタと投写面上の投写画像との関連付けを行う画像投写システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１１６６８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の画像投写システムにおいて、投写面における投写画像の領域を示す枠画像を表示端末に表示させ、操作対象となるプロジェクタについての枠画像を表示端末で選択して、当該プロジェクタを調整することが考えられる。

【0005】

しかしながら、表示端末で枠画像のみを確認して操作対象となるプロジェクタを選択するため、実際の投写対象となるスクリーンや建物等と投写画像との位置関係を表示端末上で確認することができず、プロジェクタの直感的な選択が困難となり得る。

【0006】

例えば、台数の多いマルチプロジェクションの場合や、ブレンディング処理等によって投写画像の境界が明確でない場合等では、表示端末で枠画像のみを確認して、操作対象となるプロジェクタを選択することはよりいっそう困難となり得る。

【0007】

従って、本開示の目的は、上記課題を解決することにあって、操作対象となるプロジェクタを直感的に選択でき、操作性を向上させることができる画像投写システム、画像投写システムの制御方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

本開示の一態様の画像投写システムは、自機の投写領域の領域情報を含む投写画像を各々並べて投写対象物に投写する複数のプロジェクタと、投写対象物と、複数のプロジェクタによって投写対象物に投写されたそれぞれの投写画像と、を撮像する撮像部と、撮像部によって撮像された投写画像に含まれる領域情報に基づいて、投写画像の領域を示す領域画像を生成する制御部と、領域画像を、撮像部によって撮像された投写対象物の撮像画像に重畳して表示する表示端末とを備える。

【0009】

本開示の一態様の画像投写システムの制御方法は、複数のプロジェクタと、プロジェクタの投写画像を撮像する撮像部と、投写画像に関する情報を表示する表示端末と、プロジェクタを制御する制御部と、を備える画像投写システムの制御方法であって、自機の投写領域の領域情報を含む投写画像を、複数のプロジェクタで投写対象物に各々並べて投写する投写ステップと、投写対象物と、複数のプロジェクタによって投写対象物に投写されたそれぞれの投写画像と、を撮像部で撮像する撮像ステップと、プロジェクタの投写画像の領域を示す領域画像を、領域情報に基づいて制御部により生成する領域画像生成ステップと、領域画像を、撮像部によって撮像された投写対象物の撮像画像に重畳して表示端末に表示する表示ステップとを含む。

【0010】

本開示の一態様のプログラムは、自機の投写領域の領域情報を含む投写画像を各々並べて投写対象物に投写する複数のプロジェクタを制御する制御部により実行されるプログラムであって、プロジェクタの投写画像の領域を示す領域画像を、領域情報に基づいて生成する領域画像生成ステップと、領域画像を、撮像部によって撮像される投写対象物の撮像画像に重畳して表示端末に表示する表示ステップとを含む。

【発明の効果】

【0011】

本開示に係る画像投写システム、画像投写システムの制御方法、及びプログラムによれば、操作対象となるプロジェクタを直感的に選択でき、操作性を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】本開示に係る実施の形態１の画像投写システムの概略構成図

【図2】本開示に係る実施の形態１の画像投写システムの概略構成を示すブロック図

【図3】本開示に係る実施の形態１の画像投写システムの制御方法のフローを示す概略図

【図4】本開示に係る実施の形態１の操作端末の表示部の表示内容を示す概略図

【図5】本開示に係る実施の形態２の画像投写システムの概略構成を示すブロック図

【図6】本開示に係る実施の形態２の投写対象物に識別情報の二次元コードが投写された状態を示す模式図

【図7】本開示に係る実施の形態２の画像補正方法のフローを示す概略図

【発明を実施するための形態】

【0013】

本開示の第１態様の画像投写システムは、自機の識別情報及び投写領域の領域情報を含む投写画像を各々並べて投写対象物に投写する複数のプロジェクタと、投写対象物と、複数のプロジェクタによって投写対象物に投写されたそれぞれの投写画像と、を撮像する撮像部と、撮像部によって撮像された投写画像に含まれる識別情報に基づいて、投写画像と投写画像を投写するプロジェクタとを関連付け、領域情報に基づいて、投写画像の領域を示す領域画像を生成する制御部と、領域画像を、撮像部によって撮像された投写対象物の撮像画像に重畳して選択可能に表示する表示端末とを備え、表示端末で選択される領域画像に対応するプロジェクタを調整可能にする。

【0014】

このようなシステムにより、領域画像を投写対象物の撮像画像に重畳して表示端末に表示することで、領域画像と投写対象物の撮像画像との位置関係を表示端末で確認することができる。これにより、調整を行う投写画像に対応する領域画像を直感的に選択することができ、操作性を向上させることができる。

【0015】

本開示の第２態様の画像投写システムにおいては、識別情報は、プロジェクタによって投写対象物に投写されるマーカーを含んでもよい。

【0016】

このようなシステムにより、マーカーから投写画像の領域を算出することができ、より正確な領域の領域画像を生成することができる。

【0017】

本開示の第３態様の画像投写システムにおいては、制御部は、投写対象物に投写されるマーカーの形状に基づいて領域画像を生成してもよい。

【0018】

このようなシステムにより、プロジェクタと投写対象物との位置関係により投写画像の領域が変形している場合でも、マーカーの形状から投写画像の領域を算出することができ、より正確な領域の領域画像を生成することができる。

【0019】

本開示の第４態様の画像投写システムにおいては、マーカーは、二次元コードを含んでもよい。

【0020】

このようなシステムにより、二次元コードによって投写画像とプロジェクタとを関連付けることができると共に、投写画像の領域を算出することができる。

【0021】

本開示の第５態様の画像投写システムにおいては、識別情報は、プロジェクタの光が変調されてプロジェクタを識別する光ＩＤを含んでもよい。

【0022】

このようなシステムにより、光ＩＤを用いることで、視覚では判別できないように投写画像に識別情報を含ませることができる。

【0023】

本開示の第６態様の画像投写システムにおいては、制御部は、表示端末の位置情報を取得し、位置情報に基づいて表示端末に表示する領域画像を補正してもよい。

【0024】

このようなシステムにより、位置情報に基づいて領域画像を補正することで、表示端末を移動させても、識別情報に基づいて投写画像とプロジェクタとを再度関連付けることなく、表示端末に領域画像を表示させることができる。

【0025】

本開示の第７態様の画像投写システムにおいては、表示端末に表示される投写対象物の撮像画像は、撮像部によってリアルタイムに撮像された映像であって、表示端末は、映像に領域画像を重畳して表示してもよい。

【0026】

このようなシステムにより、撮像部がリアルタイムに撮像した映像を表示端末に表示することで、調整を行う投写画像に対応する領域画像をより直感的に選択することができる。

【0027】

本開示の第８態様の画像投写システムの制御方法は、複数のプロジェクタと、プロジェクタの投写画像を撮像する撮像部と、投写画像に関する情報を表示する表示端末と、プロジェクタを制御する制御部と、を備える画像投写システムの制御方法であって、自機の識別情報及び投写領域の領域情報を含む投写画像を、複数のプロジェクタで投写対象物に各々並べて投写する投写ステップと、投写対象物と、複数のプロジェクタによって投写対象物に投写されたそれぞれの投写画像と、を撮像部で撮像する撮像ステップと、撮像ステップによって撮像された投写画像に含まれる識別情報に基づいて、投写画像と投写画像を投写するプロジェクタとを制御部により関連付ける関連付けステップと、関連付けステップによって関連付けられたプロジェクタの投写画像の領域を示す領域画像を、領域情報に基づいて制御部により生成する領域画像生成ステップと、領域画像を、撮像部によって撮像された投写対象物の撮像画像に重畳して選択可能に表示端末に表示する表示ステップとを含み、表示端末で選択される領域画像に対応するプロジェクタを調整可能にする。

【0028】

このような方法により、領域画像を投写対象物の撮像画像に重畳して表示端末に表示することで、領域画像と投写対象物の撮像画像との位置関係を表示端末で確認することができる。これにより、調整を行う投写画像に対応する領域画像を直感的に選択することができ、操作性を向上させることができる。

【0029】

本開示の第９態様のプログラムは、自機の識別情報及び投写領域の領域情報を含む投写画像を各々並べて投写対象物に投写する複数のプロジェクタを制御する制御部により実行されるプログラムであって、撮像部によって撮像される投写画像に含まれる識別情報に基づいて、投写画像と投写画像を投写するプロジェクタとを関連付ける関連付けステップと、関連付けステップによって関連付けられたプロジェクタの投写画像の領域を示す領域画像を、領域情報に基づいて生成する領域画像生成ステップと、領域画像を、撮像部によって撮像される投写対象物の撮像画像に重畳して選択可能に表示端末に表示する表示ステップとを含み、表示端末で選択される領域画像に対応するプロジェクタを調整可能にする。

【0030】

このようなプログラムにより、領域画像を投写対象物の撮像画像に重畳して表示端末に表示することで、領域画像と投写対象物の撮像画像との位置関係を表示端末で確認することができる。これにより、調整を行う投写画像に対応する領域画像を直感的に選択することができ、操作性を向上させることができる。

【0031】

以下に、本開示に係る実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によって本開示が限定されるものではない。

【0032】

（実施の形態１）
まず、図１を用いて、本実施の形態の画像投写システム１の概略構成について説明する。図１は、画像投写システム１の概略構成を示す模式図である。

【0033】

図１に示すように、画像投写システム１は、投写対象物３に投写画像５を投写する複数のプロジェクタ１０と、プロジェクタ１０を操作するための操作端末３０とを備える。それぞれのプロジェクタ１０は、例えば、無線ネットワークを介して操作端末３０に接続される。

【0034】

投写対象物３は、プロジェクタ１０によって投写画像５を投写可能な物体である。例えば、投写対象物３は、建物やスクリーン等である。

【0035】

画像投写システム１において、複数のプロジェクタ１０は、それぞれ、投写対象物３に投写画像５を投写する。図１において、それぞれの投写画像５の外縁を太線で図示している。本実施の形態のプロジェクタ１０の投写画像５は、投写対象物３において並んで配置されるようにプロジェクタ１０によって投写される。例えば、投写画像５は、投写対象物３において複数方向（縦横）に並んで配置される。これにより、投写対象物３上において広範囲に投写画像５を投写することができる。

【0036】

複数のプロジェクタ１０から投写されるそれぞれの投写画像５は、投写対象物３において、隣接する投写画像５の一部が互いに重複した状態となるように投写される。これにより、それぞれの投写画像５の間に投写画像５が投影されない空白部分を形成することなく、投写画像５を一体的に表示することができる。また、隣接する投写画像５において重複領域において、輝度を調整して画像の繋ぎ目を目立たなくするように、例えばブレンディング処理等が行われる。なお、複数の投写画像５のうちの一部の投写画像５において重複部分がなくてもよく、又は複数の投写画像５の全てにおいて重複部分がなくてもよい。

【0037】

投写画像５は、プロジェクタ１０の識別情報７を含む。識別情報７は、投写画像５とプロジェクタ１０との対応関係を識別できる情報である。本実施形態の識別情報７は、プロジェクタ１０によって投写対象物３上に投写されるマーカーである。マーカーは、例えば、ＱＲコード（登録商標）等の二次元コードである。

【0038】

本実施の形態の識別情報７（二次元コード）には、プロジェクタ１０の投写領域の領域情報が含まれる。ここで、領域情報とは、投写画像５に表示される少なくとも３点の位置を示す情報であって、プロジェクタ１０の投写領域と関連付けられる情報である。当該領域情報に基づいて、プロジェクタ１０の投写領域が算出される。

【0039】

本実施の形態の操作端末３０は、撮像部３１（図２）と、表示部（表示端末）３２と、制御部３３（図２）とを備える。例えば、操作端末３０は、タブレット端末、スマートフォン、パーソナルコンピュータ（ＰＣ）等の情報処理装置である。

【0040】

撮像部３１は、例えば、操作端末３０に搭載されるカメラである。撮像部３１は、投写対象物３及び投写画像５を撮像する。撮像部３１は、投写画像５に表示される識別情報７を撮像する。

【0041】

表示部３２は、例えば、操作端末３０のディスプレイである。表示部３２は、撮像部３１によって撮像された情報を表示する。具体的には、表示部３２は、撮像部３１によって撮像された投写対象物３の画像（撮像画像）を表示する。さらに、表示部３２は、撮像部３１によって撮像された投写画像５の領域を示す枠画像５２（図４）を、投写対象物３の画像（撮像画像）に重畳して表示する。例えば、当該撮像画像において重畳して表示する部分の画素を、枠画像５２の情報に基づく画素とする。

【0042】

なお、表示部３２に表示される投写対象物３の画像（撮像画像）は、撮像部３１によってリアルタイムに撮像された映像であってもよく、当該映像に枠画像５２を重畳して表示してもよい。これにより、調整を行う投写画像５に対応する枠画像５２をより直感的に選択することができる。

【0043】

制御部３３は、表示部３２において選択される枠画像５４（図４）に対応するプロジェクタ１０の制御を行う。制御部３３は、例えば、メモリと、ＣＰＵなどのプロセッサに対応する処理回路とを備える。制御部３３は、メモリに記憶されたプログラムをプロセッサが実行することにより、プロジェクタ１０の調整を行う。

【0044】

次に、図２を用いて、画像投写システム１のより具体的な構成について説明する。図２は、画像投写システム１の概略構成を示すブロック図である。

【0045】

図２に示すように、操作端末３０の制御部３３は、情報解析部３４と、関連付け部３５と、枠画像生成部３６と、プロジェクタ制御部３７とを備える。

【0046】

情報解析部３４は、撮像部３１によって撮像された投写画像５に含まれる識別情報７の二次元コードを解析する。情報解析部３４は、識別情報７の二次元コードを解析して、投写画像５がどのプロジェクタ１０から投写されているかを識別する。

【0047】

本実施の形態の情報解析部３４は、識別情報７の二次元コードの大きさから、投写対象物３の投写画像５の領域を算出する。例えば、制御部３３の記憶部（図示略）には、投写画像５の領域と二次元コードの大きさとの関係が予め記憶されており、情報解析部３４は、当該関係に基づいて投写画像５の領域を算出する。

【0048】

本実施の形態の情報解析部３４は、投写対象物３上の投写画像５の領域の算出において、投写対象物３上に投写される二次元コードの形状をさらに用いる。情報解析部３４は、二次元コードの形状が正方形形状ではなく、例えば、長方形形状や台形形状等の歪んだ形状で投写対象物３に投写されているかどうかを識別する。二次元コードの形状が歪んだ形状である場合、情報解析部３４は、二次元コードの形状に応じて投写画像５の領域を補正する。

【0049】

投写画像５の領域形状と投写対象物３上に投写される二次元コードの形状とは、例えば相似の関係にある。情報解析部３４は、例えば、正方形形状からの変形率（縦方向の変形率及び横方向の変形率）に基づいて、投写画像５の領域を補正する。

【0050】

関連付け部３５は、情報解析部３４による解析結果に基づいて、投写画像５と当該投写画像５を投写するプロジェクタ１０とを関連付ける。これにより、複数の投写画像５と複数のプロジェクタ１０との対応関係を把握することができる。

【0051】

枠画像生成部３６は、投写画像５の領域を示す枠画像５２を生成する。具体的には、枠画像生成部３６は、情報解析部３４が解析した投写画像５の領域に対応した、表示部３２に表示する画像（枠画像５２）を生成する。枠画像５２の領域が明確になるように、枠画像５２には外枠が表示される。

【0052】

プロジェクタ制御部３７は、プロジェクタ１０を制御して、プロジェクタ１０によって投写される投写画像５を調整する。例えば、プロジェクタ制御部３７は、投写画像５の明るさ、コントラスト、カラーマッチング、ブレンディング、歪み等を調整するためのコマンドをプロジェクタ１０に送信する。

【0053】

プロジェクタ１０は、投写部１１と、コマンド受信部１２と、画像処理部１３とを備える。

【0054】

投写部１１は、投写対象物３に投写画像５を投写する。コマンド受信部１２は、操作端末３０のプロジェクタ制御部３７からのコマンドを受信する。さらに、コマンド受信部１２は、受信したコマンドを画像処理部１３へ送信する。

【0055】

画像処理部１３は、コマンド受信部１２によって受信したコマンドに基づいて、投写対象物３に投写する画像の処理を行う。画像処理部１３は、入力部１４と、補正部１５と、出力部１６とを有する。

【0056】

入力部１４は、画像供給装置（図示略）から画像データを取得する。画像供給装置は、プロジェクタ１０に画像データを供給する装置である。画像供給装置は、例えば、タブレット端末、スマートフォン、パーソナルコンピュータ（ＰＣ）等の情報処理装置である。画像供給装置は、例えばケーブルや無線ネットワーク等を通じて入力部１４に接続される。

【0057】

補正部１５は、コマンド受信部１２によって受信したコマンドに基づいて、入力部１４が取得した画像データを補正する。出力部１６は、補正部１５による補正後の画像データを投写部１１へ出力する。出力部１６によって出力される補正後の画像データは、投写部１１によって投写対象物３に投写されて、投写対象物３上に投写画像５が表示される。

【0058】

次に、図３を用いて、画像投写システム１の制御方法について説明する。図３は、画像投写システム１の制御方法のフローを示す概略図である。

【0059】

図３に示すように、画像投写システム１の制御方法は、投写ステップＳＴ１０と、撮像ステップＳＴ２０と、情報解析ステップＳＴ３０と、関連付けステップＳＴ４０と、枠画像生成ステップＳＴ５０とを含む。さらに、画像投写システム１の制御方法は、表示ステップＳＴ６０と、選択ステップＳＴ７０と、調整ステップＳＴ８０とを含む。

【0060】

投写ステップＳＴ１０において、複数のプロジェクタ１０によって、自機の識別情報７を含む投写画像５を投写対象物３に各々並べて投写する。それぞれのプロジェクタ１０（投写部１１）は、出力部１６によって出力される画像データを投写対象物３に投写する。これにより、投写対象物３上に、投写画像５が縦横に並んだ状態で表示される。投写ステップＳＴ１０において、投写画像５とプロジェクタ１０との関連付けを行うときに、一時的に識別情報７の二次元コードが投写され、当該関連付けが完了した後は、投写画像５において二次元コードは非表示となる。

【0061】

撮像ステップＳＴ２０において、投写対象物３と、投写対象物３に投写された投写画像５とを撮像部３１により撮像する。撮像ステップＳＴ２０において、投写画像５の識別情報７を撮像部３１により撮像する。

【0062】

情報解析ステップＳＴ３０において、撮像部３１により撮像された識別情報７を情報解析部３４により解析する。情報解析部３４による解析情報は、関連付け部３５に送信される。

【0063】

関連付けステップＳＴ４０において、情報解析部３４による解析情報によって、投写画像５と、当該投写画像５を投写するプロジェクタ１０とを関連付け部３５により関連付ける。

【0064】

枠画像生成ステップＳＴ５０において、関連付けステップＳＴ４０によって関連付けられたプロジェクタ１０の投写画像５の領域を示す枠画像５２を枠画像生成部３６により生成する。

【0065】

撮像ステップＳＴ２０、情報解析ステップＳＴ３０、関連付けステップＳＴ４０、及び枠画像生成ステップＳＴ５０は、複数のプロジェクタ１０のそれぞれに関して順に行われる。これにより、それぞれのプロジェクタ１０に関する枠画像５２が生成される。

【0066】

表示ステップＳＴ６０において、撮像部３１によって撮像された投写対象物３の画像（撮像画像）にそれぞれのプロジェクタ１０に関する枠画像５２を重畳して表示部３２に表示する。投写対象物３において、隣接する投写画像５の一部が互いに重複した状態となって投写される場合、対応する枠画像５２も一部が互いに重複した状態で表示される。

【0067】

選択ステップＳＴ７０において、操作対象となるプロジェクタ１０に対応する枠画像５２が、表示部３２において選択される。

【0068】

調整ステップＳＴ８０において、選択された枠画像５４に対応するプロジェクタ１０を制御する。これにより、当該プロジェクタ１０によって投写される投写画像５の調整を行う。

【0069】

次に、図４を用いて、表示部３２の表示内容の一例について説明する。図４は、表示部３２の表示内容を示す概略図である。

【0070】

図４に示すように、表示部３２は、第１表示部４１と、第２表示部４２と、第３表示部４３と、第４表示部４４とを有する。

【0071】

第１表示部４１において、撮像部３１によって撮像された投写対象物３の画像（撮像画像５０）、及び枠画像５２が表示される。第１表示部４１において、枠画像５２が撮像画像５０上に重畳して表示される。プロジェクタ１０の調整を行う際、複数の枠画像５２のうち、調整を行うプロジェクタ１０によって投写される投写画像５に対応する枠画像５２が選択される。選択された枠画像５４は、例えば、他の枠画像５２の線よりも太い線で強調表示される。

【0072】

第２表示部４２において、選択された枠画像５４に対応するプロジェクタ１０の情報が表示される。第２表示部４２において、例えば、プロジェクタ１０の識別番号が表示される。

【0073】

第３表示部４３において、操作対象となるプロジェクタ１０の調整項目が表示される。第３表示部４３において、例えば、投写画像５の明るさ、コントラスト、カラーマッチング、ブレンディング、歪み補正等に関する調整項目が表示される。

【0074】

第４表示部４４において、第１表示部４１に表示される画像の設定情報が表示される。第４表示部４４において、例えば、第１表示部４１における表示モードや第１表示部４１に表示するコンテンツ等の設定情報が表示される。表示モードは、例えば、撮像部３１によって撮像された過去の画像を撮像画像５０として表示する通常モードと、撮像部３１によってリアルタイムに撮像された映像を撮像画像５０として表示するＡＲモードとを含む。

【0075】

なお、本開示は上記実施の形態に限定されるものではなく、その他種々の態様で実施できる。例えば、識別情報７は、投写画像５とプロジェクタ１０との対応関係を識別できる情報であれば、二次元コードに限定されない。識別情報７は、例えば、プロジェクタ１０の光が変調されてプロジェクタ１０を識別する光ＩＤを含んでいてもよい。光ＩＤは、それぞれのプロジェクタ１０に対応するＩＤである。光ＩＤは、プロジェクタ１０の光の点滅を用いて情報を伝達する可視光通信技術であって、プロジェクタ１０から投写される光のＯＮ／ＯＦＦ制御に基づいて生成される。

【0076】

光ＩＤによって投写画像５とプロジェクタ１０との対応関係を識別する場合、投写画像５の領域を算出するために、投写画像５にマーカーを投写してもよい。マーカーは、例えば、投写画像５の領域全体に一時的に表示されてもよい。マーカーの形状は、例えば、多角形形状、円形状、楕円形状等の任意の形状であってもよい。

【0077】

また、操作端末３０は、撮像部３１と、表示部（表示端末）３２と、制御部３３とを備えるとしたが、これに限定されない。例えば、撮像部３１、表示部３２、及び制御部３３は、それぞれ独立した装置であってもよい。

【0078】

また、枠画像５２は、他の画像と識別可能に表示される領域画像であればよく、例えば、外枠が表示されない画像であってもよい。

【0079】

また、撮像ステップＳＴ２０、情報解析ステップＳＴ３０、関連付けステップＳＴ４０、及び枠画像生成ステップＳＴ５０は、複数のプロジェクタ１０のそれぞれに関して順に行われるとしたが、これに限定されない。撮像ステップＳＴ２０、情報解析ステップＳＴ３０、関連付けステップＳＴ４０、及び枠画像生成ステップＳＴ５０は、複数のプロジェクタ１０に関して同時に行われてもよい。これにより、より効率的に枠画像５２を生成することができる。

【0080】

また、識別情報７には、プロジェクタ１０の投写領域の領域情報が含まれるとしたが、投写画像５は、識別情報７とは別に領域情報を含んでいてもよい。

【0081】

（実施の形態２）
次に、実施の形態２の画像投写システム１Ａについて、主に実施の形態１と異なる点について説明する。実施の形態２においては、実施の形態１と同一又は同等の構成については同じ符号を付して説明する。また、実施の形態２では、実施の形態１と重複する記載は、適宜省略する。

【0082】

図５は、画像投写システム１Ａの概略構成を示すブロック図である。図６は、投写対象物３に識別情報７の二次元コードが投写された状態を示す模式図である。画像投写システム１Ａにおいては、操作端末３０Ａの位置情報に基づいて、表示部３２に表示される画像が補正される。具体的には、移動前のＰ１地点を基準とした識別情報７の二次元コードの座標から、移動後のＰ２地点を基準とした識別情報７の二次元コードの座標に座標変換を行うことで、表示部３２に表示される画像が補正される。

【0083】

図５に示すように、制御部３３Ａは、座標取得部６０と、位置情報取得部６２と、座標変換部６４と、画像補正部６６とをさらに備える。

【0084】

座標取得部６０は、移動前の操作端末３０ＡのＰ１地点（図６）を基準とした識別情報７の二次元コードの座標を取得する。例えば、座標取得部６０は、Ｐ１地点を基準として、識別情報７の二次元コードの四隅Ｑ１～Ｑ４の座標を取得する。座標取得部６０は、例えば距離センサ等によって四隅Ｑ１～Ｑ４の座標を取得する。取得した四隅Ｑ１～Ｑ４の座標は記憶部（図示略）に記憶される。

【0085】

位置情報取得部６２は、例えば、ＧＰＳ等の衛星測位システムによって、操作端末３０Ａの位置情報を取得する。位置情報取得部６２によって取得された位置情報は、記憶部に記憶される。位置情報取得部６２は、移動前のＰ１地点での操作端末３０Ａの位置情報（第１位置情報）及び移動後のＰ２地点での操作端末３０Ａの位置情報（第２位置情報）を取得する。

【0086】

座標変換部６４は、移動後のＰ２地点を基準とした識別情報７の二次元コードの四隅Ｑ１～Ｑ４の座標を算出する。座標変換部６４は、座標取得部６０によって取得されたＰ１地点を基準としたＱ１～Ｑ４の座標を、Ｐ２地点を基準としたＱ１～Ｑ４の座標に座標変換する。座標変換部６４は、位置情報取得部６２によって取得された第１位置情報及び第２位置情報に基づいて座標変換を行う。

【0087】

画像補正部６６は、表示部３２に表示される枠画像５２を補正する。画像補正部６６は、座標変換部６４によって算出されたＰ２地点を基準としたＱ１～Ｑ４の座標に基づいて、表示部３２に表示する画像を補正する。具体的には、画像補正部６６は、Ｐ２地点を基準としたＱ１～Ｑ４の座標に基づいて、Ｐ２地点の操作端末３０Ａから撮像した場合に想定される二次元コードの形状及び大きさを算出する。画像補正部６６は、想定される二次元コードの形状及び大きさに基づいて、移動後の操作端末３０Ａから撮像した場合に想定される枠画像５２’を生成する。

【0088】

次に、画像補正部６６による画像の補正方法の一例について、図７を用いて説明する。図７は、画像補正方法の一例のフローを示す概略図である。

【0089】

図７に示すように、画像の補正方法は、座標取得ステップＳＴ９０と、第１位置情報取得ステップＳＴ９１と、第２位置情報取得ステップＳＴ９２と、座標変換ステップＳＴ９３と、補正ステップＳＴ９４とを含む。画像の補正は、例えば、操作端末３０Ａの位置が所定の距離以上移動した場合に行われる。

【0090】

座標取得ステップＳＴ９０において、Ｐ１地点を基準とした識別情報７の二次元コードの座標を取得する。例えば、識別情報７の二次元コードの四隅Ｑ１～Ｑ４の座標を測定する。測定された四隅Ｑ１～Ｑ４の座標は、制御部３３Ａの記憶部に記憶される。座標取得ステップＳＴ９０は、例えば、撮像ステップＳＴ２０（図３）において行われる。

【0091】

第１位置情報取得ステップＳＴ９１において、移動前のＰ１地点での操作端末３０Ａの位置情報（第１位置情報）を位置情報取得部６２によって取得する。取得された第１位置情報は、記憶部に記憶される。

【0092】

第２位置情報取得ステップＳＴ９２において、移動後のＰ２地点での操作端末３０Ａの位置情報（第２位置情報）を位置情報取得部６２によって取得する。取得された第２位置情報は、記憶部に記憶される。

【0093】

座標変換ステップＳＴ９３において、移動後のＰ２地点を基準とした識別情報７の二次元コードの四隅Ｑ１～Ｑ４の座標を算出する。具体的には、座標変換ステップＳＴ９３において、第１位置情報及び第２位置情報に基づいて、Ｐ１地点を基準としたＱ１～Ｑ４の座標をＰ２地点を基準としたＱ１～Ｑ４の座標に変換する。

【0094】

補正ステップＳＴ９４において、座標変換ステップＳＴ９３によって算出されたＱ１～Ｑ４の座標に基づいて、表示部３２に表示する画像（枠画像５２）を補正する。

【0095】

なお、本開示は、上記実施の形態に限定されるものではなく、その他種々の態様で実施できる。上述の画像の補正方法は一例であって、位置情報に基づいた他の補正方法によって画像を補正してもよい。

【0096】

また、識別情報７が二次元コードの場合について説明したが、これに限定されない。識別情報７は、例えば、投写画像５の四隅に投写されるマーカーを含んでいてもよい。Ｐ１地点を基準とした４点のマーカーの座標からＰ２を基準とした４点のマーカーの座標に座標変換を行い、当該座標変換の結果に基づいて画像を補正してもよい。

【0097】

また、識別情報７の二次元コードの四隅Ｑ１～Ｑ４の座標を用いて画像の補正を行うとしたが、画像の補正において、投写画像５に投写される識別情報７の少なくとも３点の座標を用いてもよい。

【0098】

また、画像補正部６６は、操作端末３０Ａの位置に応じて、投写対象物３の画像（撮像画像５０）をさらに補正してもよい。

【0099】

なお、上記様々な実施の形態のうちの任意の実施の形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

【0100】

本開示は、添付図面を参照しながら好ましい実施の形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形や修正は明白である。そのような変形や修正は、添付した特許請求の範囲による本開示の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。また、実施の形態における要素の組み合わせや順序の変化は、本開示の範囲および思想を逸脱することなく実現し得るものである。

【産業上の利用可能性】

【0101】

本開示に係る画像投写システム、画像投写システムの制御方法、及びプログラムは、マルチプロジェクションシステムに有用である。

【符号の説明】

【0102】

１，１Ａ 画像投写システム
３ 投写対象物
５ 投写画像
７ 識別情報
１０ プロジェクタ
１１ 投写部
１２ コマンド受信部
１３ 画像処理部
１４ 入力部
１５ 補正部
１６ 出力部
３０，３０Ａ 操作端末
３１ 撮像部
３２ 表示部
３３，３３Ａ 制御部
３４ 情報解析部
３５ 関連付け部
３６ 枠画像生成部
３７ プロジェクタ制御部
４１ 第１表示部
４２ 第２表示部
４３ 第３表示部
５０ 撮像画像
６０ 座標取得部
６２ 位置情報取得部
６４ 座標変換部
６６ 画像補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】