特許 6620979 携帯端末、投写システム、投写システムの制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6620979

(24)【登録日】2019年11月29日

(45)【発行日】2019年12月18日

(54)【発明の名称】携帯端末、投写システム、投写システムの制御方法およびプログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20191209BHJP

   H04N 5/232 20060101ALI20191209BHJP

【ＦＩ】

   H04N5/74 D

   H04N5/232 300

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2015-208851(P2015-208851)

(22)【出願日】2015年10月23日

(65)【公開番号】特開2017-85234(P2017-85234A)

(43)【公開日】2017年5月18日

【審査請求日】2018年10月4日

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】橋本 浩幸

【審査官】 庄司 琴美

(56)【参考文献】

【文献】 特開２０１５−１３９００６（ＪＰ，Ａ）

【文献】 特開２０１３−１９２０９８（ＪＰ，Ａ）

【文献】 特開２０１５−０９１００８（ＪＰ，Ａ）

【文献】 特開２０１４−００３５８６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

プロジェクターにより映像が投写される構造体の映像を撮影する撮影手段と、
前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得する取得手段と、
前記取得手段により取得された前記映像データを前記プロジェクターに送信する第１送信手段と、
前記プロジェクターにより前記テストパターンが投写されているときに前記撮影手段により撮影された映像を、当該映像から前記写像情報を計算する計算手段を有するサーバーに送信する第２送信手段と
を有し、
前記取得手段は、前記サーバーにより計算された写像情報を用いて生成された映像データを取得する
携帯端末。

【請求項2】

プロジェクターにより映像が投写される構造体の映像を撮影する撮影手段と、
前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得する取得手段と、
前記取得手段により取得された前記映像データを前記プロジェクターに送信する第１送信手段と、
前記写像情報を計算する計算手段と、
前記写像情報を、当該写像情報を用いて映像データを生成する生成手段を有するサーバーに送信する第３送信手段と
を有し、
前記取得手段は、前記計算手段により計算された写像情報を用いて生成された映像データを前記サーバーから取得する
携帯端末。

【請求項3】

前記写像情報を用いて映像データを生成する生成手段を有し、
前記取得手段は、前記生成手段から前記映像データを取得する
ことを特徴とする請求項１に記載の携帯端末。

【請求項4】

前記撮影手段により撮影された映像を表示する表示手段を有する
ことを特徴とする請求項１ないし３のいずれか一項に記載の携帯端末。

【請求項5】

前記表示手段に表示されている映像のうち少なくとも一部の領域の指定を受け付ける第１受け付け手段を有し、
前記取得手段は、前記第１受け付け手段により指定が受け付けられた領域の座標を用いて計算された写像情報を用いて生成された映像を取得する
ことを特徴とする請求項４に記載の携帯端末。

【請求項6】

前記表示手段に表示されている映像に重畳される画像オブジェクトの描画指示を受け付ける第２受け付け手段を有し、
前記取得手段は、前記第２受け付け手段により受け付けられた描画指示に係る画像オブジェクトを含む映像を表示するための映像データを取得する
ことを特徴とする請求項４または５に記載の携帯端末。

【請求項7】

前記テストパターンは、複数の特徴点を含む
ことを特徴とする請求項１ないし４のいずれか一項に記載の携帯端末。

【請求項8】

プロジェクターと、
前記プロジェクターと通信する携帯端末と
を有し、
前記プロジェクターは、
所定のテストパターンの映像を構造体に投写する投写手段
を有し、
前記携帯端末は、
前記構造体の映像を撮影する撮影手段と、
前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得する取得手段と、
前記取得手段により取得された前記映像データを前記プロジェクターに送信する通信手段と、
前記プロジェクターにより前記テストパターンが投写されているときに前記撮影手段により撮影された映像を、当該映像から前記写像情報を計算する計算手段を有するサーバーに送信する第２送信手段と
を有し、
前記プロジェクターはさらに、
前記通信手段により送信された前記映像データを受信する受信手段と、
前記受信手段により受信された前記映像データにより示される映像を前記投写手段に投写させる制御手段と
を有し、
前記取得手段は、前記サーバーにより計算された写像情報を用いて生成された映像データを取得する
投写システム。

【請求項9】

プロジェクターと、
前記プロジェクターと通信する携帯端末と
を有し、
前記プロジェクターは、
所定のテストパターンの映像を構造体に投写する投写手段
を有し、
前記携帯端末は、
前記構造体の映像を撮影する撮影手段と、
前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得する取得手段と、
前記取得手段により取得された前記映像データを前記プロジェクターに送信する通信手段と、
前記写像情報を計算する計算手段と、
前記写像情報を、当該写像情報を用いて映像データを生成する生成手段を有するサーバーに送信する第３送信手段と
を有し、
前記取得手段は、前記計算手段により計算された写像情報を用いて生成された映像データを前記サーバーから取得する
投写システム。

【請求項10】

プロジェクターが、所定のテストパターンの映像を構造体に投写するステップと、
携帯端末の撮影手段が、前記構造体の映像を撮影するステップと、
前記携帯端末が、前記テストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を取得するステップと、
前記携帯端末が、前記写像情報を用いて生成された映像データを取得するステップと、
前記携帯端末が、前記取得された前記映像データを前記プロジェクターに送信するステップと、
前記プロジェクターが、前記送信された前記映像データを受信するステップと、
前記プロジェクターが、前記受信された前記映像データにより示される映像を投写するステップと、
前記携帯端末が、前記プロジェクターにより前記テストパターンが投写されているときに前記撮影手段により撮影された映像を、当該映像から前記写像情報を計算する計算手段を有するサーバーに送信するステップと
を有し、
前記映像データを取得するステップにおいて、前記携帯端末が、前記サーバーにより計算された写像情報を用いて生成された映像データを取得する
投写システムの制御方法。

【請求項11】

プロジェクターが、所定のテストパターンの映像を構造体に投写するステップと、
携帯端末の撮影手段が、前記構造体の映像を撮影するステップと、
前記携帯端末が、前記テストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を取得するステップと、
前記携帯端末が、前記写像情報を用いて生成された映像データを取得するステップと、
前記携帯端末が、前記取得された前記映像データを前記プロジェクターに送信するステップと、
前記プロジェクターが、前記送信された前記映像データを受信するステップと、
前記プロジェクターが、前記受信された前記映像データにより示される映像を投写するステップと、
前記携帯端末が、写像情報を計算するステップと、
前記携帯端末が、前記写像情報を、当該写像情報を用いて映像データを生成する生成手段を有するサーバーに送信するステップと
を有し、
前記映像データを取得するステップにおいて、前記携帯端末が、前記計算された写像情報を用いて生成された映像データを前記サーバーから取得する
投写システムの制御方法。

【請求項12】

映像を撮影する撮影手段を有するコンピューターに、
プロジェクターにより映像が投写される構造体の映像を前記撮影手段が撮影するステップと、
前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得するステップと、
前記取得された前記映像データを前記プロジェクターに送信するステップと、
前記プロジェクターにより前記テストパターンが投写されているときに前記撮影手段により撮影された映像を、当該映像から前記写像情報を計算する計算手段を有するサーバーに送信するステップと
を実行させるためのプログラムであって、
前記映像データを取得するステップにおいて、前記サーバーにより計算された写像情報を用いて生成された映像データが取得される
プログラム。

【請求項13】

映像を撮影する撮影手段を有するコンピューターに、
プロジェクターにより映像が投写される構造体の映像を前記撮影手段が撮影するステップと、
前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得するステップと、
前記取得された前記映像データを前記プロジェクターに送信するステップと、
写像情報を計算するステップと、
前記写像情報を、当該写像情報を用いて映像データを生成する生成手段を有するサーバーに送信するステップと
を実行させるためのプログラムであって、
前記映像データを取得するステップにおいて、前記計算された写像情報を用いて生成された映像データが前記サーバーから取得される
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プロジェクションマッピングに関する。

【背景技術】

【0002】

構造体の表面に映像を投写する、いわゆるプロジェクションマッピングといわれる技術が知られている（例えば特許文献１）。一般にプロジェクションマッピングにおいては、映像を投写する構造体の立体形状を示す三次元情報を用いて、投写される映像を写像変換してコンテンツを作成している。したがって、プロジェクションマッピング用のコンテンツの作成には、構造体すなわちプロジェクションマッピングを行う環境の厳密な計測や、映像編集ソフトウェアの操作を行うことが要求される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１９２１８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、プロジェクションマッピング用コンテンツの作成には多くの時間と作業工程を要していた。多くの機材と工数を要するため、例えば小規模なプロジェクションマッピングを手軽に行うことは困難であった。また、従来、プロジェクションマッピングを鑑賞する場所とプロジェクターの設置場所とが異なるため，投写する画像の補正に際しては、鑑賞場所に応じた画像補正を行う必要があった。その結果として後日にプロジェクターの設置位置や鑑賞場所を変更することが困難であった。

【0005】

これに対し本発明は、より簡易にプロジェクションマッピングを行う技術を提供する。

【課題を解決するための手段】

【0006】

本発明は、プロジェクターにより映像が投写される構造体の映像を撮影する撮影手段と、前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得する取得手段と、前記取得手段により取得された前記映像データを前記プロジェクターに送信する第１送信手段とを有する携帯端末を提供する。
この携帯端末によれば、より簡易にプロジェクションマッピングを行うことができる。

【0007】

この携帯端末は、前記プロジェクターにより前記テストパターンが投写されているときに前記撮影手段により撮影された映像を、当該映像から前記写像情報を計算する計算手段を有するサーバーに送信する第２送信手段を有し、前記取得手段は、前記サーバーにより計算された写像情報を用いて生成された映像データを取得してもよい。
この携帯端末によれば、携帯端末が計算手段を有する場合と比較して携帯端末の負荷を軽減することができる。

【0008】

この携帯端末は、前記写像情報を計算する計算手段を有し、前記取得手段は、前記計算手段により計算された写像情報を用いて生成された映像データを取得してもよい。
この携帯端末によれば、サーバーが計算手段を有する場合と比較してサーバーの負荷および通信量を軽減することができる。

【0009】

前記携帯端末は、前記写像情報を、当該写像情報を用いて映像データを生成する生成手段を有するサーバーに送信する第３送信手段を有し、前記取得手段は、前記サーバーから前記映像データを取得してもよい。

【0010】

この携帯端末は、前記写像情報を用いて映像データを生成する生成手段を有し、前記取得手段は、前記生成手段から前記映像データを取得してもよい。
この携帯端末によれば、サーバーが生成手段を有する場合と比較してサーバーの負荷を軽減することができる。

【0011】

この携帯端末は、前記撮影手段により撮影された映像を表示する表示手段を有してもよい。
この携帯端末によれば、撮影された映像をより簡単に確認することができる。

【0012】

この携帯端末は、前記表示手段に表示されている映像のうち少なくとも一部の領域の指定を受け付ける第１受け付け手段を有し、前記取得手段は、前記第１受け付け手段により指定が受け付けられた領域の座標を用いて計算された写像情報を用いて生成された映像を取得してもよい。
この携帯端末によれば、指定した領域に所望の映像を投写することができる。

【0013】

この携帯端末は、前記表示手段に表示されている映像に重畳される画像オブジェクトの描画指示を受け付ける第２受け付け手段を有し、前記取得手段は、前記第２受け付け手段により受け付けられた描画指示に係る画像オブジェクトを含む映像を表示するための映像データを取得してもよい。
この携帯端末によれば、表示手段に表示される映像を見ながらマッピングする画像オブジェクトを編集することができる。

【0014】

前記テストパターンは、複数の特徴点を含んでもよい。
この携帯端末によれば、複数の特徴点により構造体の形状に関する情報を取得することができる。

【0015】

また、本発明は、所定のテストパターンの映像を構造体に投写する投写手段と、前記テストパターンが前記構造体に投写されているときに携帯端末で撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像を受信する受信手段と、前記受信手段により受信された映像を前記投写手段に投写させる制御手段とを有するプロジェクターを提供する。
このプロジェクターによれば、より簡易にプロジェクションマッピングを行うことができる。

【0016】

さらに、本発明は、プロジェクターと、前記プロジェクターと通信する携帯端末とを有し、前記プロジェクターは、所定のテストパターンの映像を構造体に投写する投写手段を有し、前記携帯端末は、前記構造体の映像を撮影する撮影手段と、前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得する取得手段と、前記取得手段により取得された前記映像データを前記プロジェクターに送信する通信手段とを有し、前記プロジェクターはさらに、前記通信手段により送信された前記映像データを受信する受信手段と、前記受信手段により受信された前記映像データにより示される映像を前記投写手段に投写させる制御手段とを有する投写システムを提供する。
この投写システムによれば、より簡易にプロジェクションマッピングを行うことができる。

【0017】

さらに、本発明は、プロジェクターが、所定のテストパターンの映像を構造体に投写するステップと、携帯端末の撮影手段が、前記構造体の映像を撮影するステップと、前記携帯端末が、前記テストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を取得するステップと、前記携帯端末が、前記写像情報を用いて生成された映像データを取得するステップと、前記携帯端末が、前記取得された前記映像データを前記プロジェクターに送信するステップと、前記プロジェクターが、前記送信された前記映像データを受信するステップと、前記プロジェクターが、前記受信された前記映像データにより示される映像を投写するステップとを有する投写システムの制御方法を提供する。
この制御方法によれば、より簡易にプロジェクションマッピングを行うことができる。

【0018】

さらに、本発明は、映像を撮影する撮影手段を有するコンピューターに、プロジェクターにより映像が投写される構造体の映像を前記撮影手段が撮影するステップと、前記プロジェクターにより所定のテストパターンが投写されているときに前記撮影手段により撮影された映像を用いて得られた、前記構造体における映像の歪みを示す写像情報を用いて生成された映像データを取得するステップと、前記取得された前記映像データを前記プロジェクターに送信するステップとを実行させるためのプログラムを提供する。
このプログラムによれば、より簡易にプロジェクションマッピングを行うことができる。

【図面の簡単な説明】

【0019】

【図1】第１実施形態に係る投写システム１の構成を例示する図。

【図2】プロジェクター１０のハードウェア構成を例示する図。

【図3】携帯端末２０のハードウェア構成を例示する図。

【図4】サーバー３０のハードウェア構成を例示する図。

【図5】投写システム１の第１実施形態に係る動作を例示するシーケンスチャート。

【図6A】表示される映像を例示する図。

【図6B】領域の指定を例示する図。

【図7】マッピング映像データに従った映像が投写された構造体を例示する図。

【図8】第２実施形態に係る投写システム２の構成を例示する図。

【図9】投写システム２の第２実施形態に係る動作を例示するシーケンスチャート。

【図10】ＵＩ画面を例示する図。

【図11】マッピング映像データに従った映像が投写された構造体を例示する図。

【発明を実施するための形態】

【0020】

１．第１実施形態
１−１．構成
図１は、第１実施形態に係る投写システム１の構成を例示する図である。投写システム１は、プロジェクションマッピングを行うためのシステムである。投写システム１は、プロジェクター１０、携帯端末２０、およびサーバー３０を有する。プロジェクター１０は、映像を投写する。携帯端末２０は、プロジェクター１０が投写するコンテンツすなわち映像データを生成するための装置であり、投写システム１におけるクライアント装置である。サーバー３０は、携帯端末２０と協働して映像データを生成する装置であり、投写システム１におけるサーバー装置である。

【0021】

投写システム１は、投写手段１１、受信手段１２、制御手段１３、撮影手段２１、表示手段２２、受け付け手段２３、送信手段２４、取得手段２５、送信手段２６、計算手段３１、取得手段３２、記憶手段３３、生成手段３４、および送信手段３５を有する。この例で、投写手段１１、受信手段１２、および制御手段１３はプロジェクター１０に、撮影手段２１、表示手段２２、受け付け手段２３、送信手段２４、取得手段２５、および送信手段２６は携帯端末２０に、計算手段３１、取得手段３２、記憶手段３３、生成手段３４、および送信手段３５はサーバー３０に、それぞれ実装されている。

【0022】

プロジェクター１０の投写手段１１は、所定のテストパターンの映像を構造体（図示略。）に投写する。構造体とは、物理的に実体のあるオブジェクトをいい、例えばビルや家などの建築物、およびブロックや箱など移動可能な物体の少なくとも一方を含む。携帯端末２０の撮影手段２１は、プロジェクター１０によりテストパターンが投写された構造体の映像を撮影する。表示手段２２は、撮影手段が撮影した映像を表示する。受け付け手段２３（第１受け付け手段の一例）は、ユーザーの操作入力、例えば、表示手段２２に表示されている映像のうち少なくとも一部の領域の指定を受け付ける。送信手段２４（第２送信手段の一例）は、撮影手段２１により撮影された映像を示す映像データ、および受け付け手段２３が指定を受け付けた領域を特定する情報（以下「領域情報」という）をサーバー３０に送信する。

【0023】

サーバー３０の計算手段３１は、携帯端末２０から送信された映像データおよび領域情報を用いて写像情報を計算する。写像情報とは、構造体における映像の歪みを示す情報をいう。取得手段３２は、計算手段３１により計算された写像情報を取得する。記憶手段３３は、プロジェクションマッピングの基となる映像データを記憶している。この映像データは、例えば、動画または静止画を示すデータである。この映像データは、平面に投写されたときに意図したとおりに写る映像を示すデータである。生成手段３４は、記憶手段３３に記憶されている映像データを、取得手段３２が取得した写像情報を用いて、構造体の歪みに応じて変換する。すなわち、生成手段３４は、プロジェクションマッピング用の映像データを生成する。送信手段３５は、生成手段３４により生成された映像データを、携帯端末２０に送信する。

【0024】

携帯端末２０の取得手段２５は、サーバー３０からプロジェクションマッピング用の映像データを取得する。送信手段２６（第１送信手段の一例）は、取得手段２５が取得した映像データをプロジェクター１０に送信する。プロジェクター１０の受信手段１２は、携帯端末２０から映像データを受信する。制御手段１３は、受信手段１２により受信された映像データに従った映像を投写するよう、投写手段１１を制御する。

【0025】

図２は、プロジェクター１０のハードウェア構成を例示する図である。プロジェクター１０は、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１、ＲＡＭ（Random Access Memory）１０２、ＩＦ部１０４、画像処理回路１０５、投写ユニット１０６、および操作パネル１０７を有する。

【0026】

ＣＰＵ１００は、プロジェクター１０の各部を制御する制御装置である。ＲＯＭ１０１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ１０２は、データを記憶する揮発性の記憶装置であり、ＣＰＵ１００が処理を実行する際のワークエリアとして機能する。

【0027】

ＩＦ部１０４は、外部装置と信号またはデータのやりとりを仲介するインターフェースである。ＩＦ部１０４は、外部装置と信号またはデータのやりとりをするための端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子、マイクロフォン端子など）および無線ＬＡＮインターフェースを含む。これらの端子は、映像入力端子に加え、映像出力端子を含んでもよい。ＩＦ部１０４は、異なる複数の映像供給装置から映像信号の入力を受け付けてもよい。

【0028】

画像処理回路１０５は、入力された映像信号（以下「入力映像信号」という）に所定の画像処理（例えばサイズ変更、台形補正等）を施す。

【0029】

投写ユニット１０６は、画像処理が施された映像信号に従って、スクリーンまたは壁面等の投写面に画像を投写する。投写ユニット１０６は、光源、光変調器、および光学系（いずれも図示略）を有する。光源は、高圧水銀ランプ、ハロゲンランプ、もしくはメタルハライドランプなどのランプ、またはＬＥＤ（Light Emitting Diode）もしくはレーザーダイオードなどの固体光源、およびこれらの駆動回路を含む。光変調器は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルまたはＤＭＤ（Digital Mirror Device）、およびこれらの駆動回路を有する。なお、液晶パネルは、透過型および反射型のいずれの方式であってもよい。光学系は、光変調器により変調された光をスクリーンに投写する素子などで構成されており、例えばミラー、レンズ、およびプリズムを有する。光源および光変調器は色成分毎に設けられていてもよい。

【0030】

操作パネル１０７は、ユーザーがプロジェクター１０に対し指示を入力するための入力装置であり、例えば、キーパッド、ボタン、またはタッチパネルを含む。

【0031】

プロジェクター１０において、ＣＰＵ１００がＲＯＭ１０１に記憶されているプログラムを実行することにより、図１に示した機能が実装される。投写ユニット１０６は、投写手段１１の一例である。ＩＦ部１０４は、受信手段１２の一例である。ＣＰＵ１００は、制御手段１３の一例である。

【0032】

図３は、携帯端末２０のハードウェア構成を例示する図である。携帯端末２０は、ＣＰＵ２００、メモリー２０１、ストレージ２０２、入力装置２０３、表示装置２０４、通信ＩＦ２０５、およびカメラ２０６を有するコンピューター装置、例えば、スマートフォンまたはタブレット端末である。ＣＰＵ２００は、各種演算を行い、また他のハードウェア要素を制御する装置である。メモリー２０１は、ＣＰＵ２００が処理を実行する際に用いられるコードおよびデータを記憶する記憶装置であり、例えばＲＯＭおよびＲＡＭを含む。ストレージ２０２は、各種のデータおよびプログラムを記憶する不揮発性の記憶装置であり、例えばＨＤＤ（Hard Disk Drive）またはフラッシュメモリーを含む。入力装置２０３は、ＣＰＵ２００に情報を入力するための装置であり、例えばタッチスクリーンおよびボタンを含んでいる。表示装置２０４は、映像を出力する装置であり、例えば液晶ディスプレイまたは有機ＥＬディスプレイを含む。通信ＩＦ２０５は、ネットワーク（図示略）を介してサーバー３０と通信を行うインターフェースである。このネットワークは、例えば、インターネット、無線ＬＡＮ、および移動通信網の少なくとも１つを含む。カメラ２０６は、映像を撮影する装置であり、例えば、レンズ、ＣＭＯＳセンサー、および画像処理回路を含む。

【0033】

この例で、ストレージ２０２は、コンピューター装置を投写システム１におけるクライアント装置として機能させるためのプログラム（以下「クライアントプログラム」という）を記憶している。ＣＰＵ２００がクライアントプログラムを実行することにより、図１に示した機能が実装される。クライアントプログラムを実行しているＣＰＵ２００により制御されるカメラ２０６は撮影手段２１の一例であり、表示装置２０４は表示手段２２の一例であり、入力装置２０３は受け付け手段２３の一例であり、通信ＩＦ２０５は送信手段２４、取得手段２５、および送信手段２６の一例である。

【0034】

図４は、サーバー３０のハードウェア構成を例示する図である。サーバー３０は、ＣＰＵ３００、メモリー３０１、ストレージ３０２、および通信ＩＦ３０５を有するコンピューター装置である。ＣＰＵ３００は、各種演算を行い、また他のハードウェア要素を制御する装置である。メモリー３０１は、ＣＰＵ３００が処理を実行する際に用いられるコードおよびデータを記憶する記憶装置であり、例えばＲＯＭおよびＲＡＭを含む。ストレージ３０２は、各種のデータおよびプログラムを記憶する不揮発性の記憶装置であり、例えばＨＤＤ（Hard Disk Drive）またはフラッシュメモリーを含む。通信ＩＦ３０５は、ネットワーク（図示略）を介して携帯端末２０と通信を行うインターフェースである。

【0035】

この例で、ストレージ３０２は、コンピューター装置を投写システム１におけるサーバー装置として機能させるためのプログラム（以下「サーバープログラム」という）を記憶している。ＣＰＵ３００がサーバープログラムを実行することにより、図１に示した機能が実装される。サーバープログラムを実行しているＣＰＵ３００は、計算手段３１、取得手段３２、および生成手段３４の一例であり、サーバープログラムを実行しているＣＰＵ３００により制御される通信ＩＦ３０５は送信手段３５の一例であり、メモリー３０１またはストレージ３０２は記憶手段３３の一例である。

【0036】

１−２．動作
図５は、投写システム１の第１実施形態に係る動作を例示するシーケンスチャートである。以下の説明において、携帯端末２０の処理はクライアントプログラムによるものであり、サーバー３０の処理はサーバープログラムによるものである。図５のシーケンスの開始前において、プロジェクター１０はある構造体に映像を投写する位置に設置されている。

【0037】

ステップＳ１０において、プロジェクター１０の投写ユニット１０６は、テストパターンの映像を構造体に投写する。テストパターンは、映像が投写される面の形状に起因する映像の歪みを補正するための映像であり、具体的には、格子模様等、複数の特徴点を含む静止画の映像である。テストパターンの映像データは、ＲＯＭ１０１に記憶されている。あるいは、テストパターンの映像データは、携帯端末２０から供給されてもよい。

【0038】

ステップＳ１１において、携帯端末２０のクライアントプログラムは、構造体に投写されたテストパターンの映像を、カメラ２０６を用いて撮影する。ここで撮影される映像は静止画である。ステップＳ１２において、クライアントプログラムは、撮影した映像を表示装置２０４に表示する。ステップＳ１３において、クライアントプログラムは、表示されている映像において、プロジェクションマッピングを行う領域の指定を受け付ける。

【0039】

図６Ａは表示される映像を例示する図であり、図６Ｂは領域の指定を例示する図である。カメラ２０６により撮影された映像には、構造体Ｏおよびその周辺の構造体に投写されたテストパターンが含まれている。ユーザーは、この映像のうちプロジェクションマッピングを行う領域として領域Ａを指定している。領域Ａは、タッチスクリーンを用いて指定される。

【0040】

再び図５を参照する。ステップＳ１４において、クライアントプログラムは、撮影された映像を示す映像データ（以下「撮影映像データ」という）および領域Ａを特定する情報（以下「領域情報」という）をサーバー３０に送信する。

【0041】

ステップＳ１５において、サーバー３０のサーバープログラムは、携帯端末２０から受信した撮影映像データおよび領域情報に基づいて、写像情報を計算する。写像情報は、入力映像（表示したい映像）と出力映像（プロジェクター１０が投写する映像）との画素の対応関係を示す情報であれば、どのような形式のものであってもよい。

【0042】

ステップＳ１６において、サーバープログラムは、データベースに記憶している映像データ（以下「コンテンツ映像データ」という）の中から選択された一のコンテンツ映像データにより示される映像を、ステップＳ１５で計算した写像情報を用いて射影変換し、プロジェクションマッピング用の映像データ（以下「マッピング映像データ」という）を生成する。ステップＳ１７において、サーバープログラムは、生成されたマッピング映像データを、撮影映像データの送信元である携帯端末２０に送信する。

【0043】

ステップＳ１７において、携帯端末２０のクライアントプログラムは、サーバー３０からマッピング映像データを受信する。クライアントプログラムは、受信したマッピング映像データを、プロジェクター１０が処理可能な形態のデータに変換する。ステップＳ１８において、クライアントプログラムは、変換したマッピング映像データをプロジェクター１０に送信する。

【0044】

ステップＳ１９において、プロジェクター１０は、携帯端末２０から受信したマッピング映像データに従って映像を投写する。

【0045】

図７は、マッピング映像データに従った映像が投写された構造体を例示する図である。携帯端末２０の位置から見ると、映像は正しく（歪みが低減されて）表示されている。このように本実施形態によれば、特定の鑑賞位置からの映像を歪みの無い形状に調整することができる。

【0046】

２．第２実施形態
２−１．構成
図８は、第２実施形態に係る投写システム２の構成を例示する図である。投写システム２において構造体に投写される映像はあらかじめサーバー３０に記憶されていたが、第２実施形態において、携帯端末２０は画像オブジェクトの描画指示を受け付け、プロジェクター１０はこの画像オブジェクトを含む映像を投写する。以下の説明においては、第１実施形態と相違する要素を中心に説明する。

【0047】

投写システム２は、投写手段１１、受信手段１２、制御手段１３、撮影手段２１、表示手段２２、送信手段２４、取得手段２５、計算手段３１、送信手段３６、受け付け手段２７、および生成手段２８を有する。この例で、投写手段１１、受信手段１２、および制御手段１３はプロジェクター１０に、撮影手段２１、表示手段２２、送信手段２４、取得手段２５、受け付け手段２７、および生成手段２８は携帯端末２０に、計算手段３１および送信手段３６はサーバー３０に、それぞれ実装されている。

【0048】

携帯端末２０の送信手段２４は、撮影手段２１により撮影された映像を示す映像データ（「撮影映像データ」）をサーバー３０に送信する。サーバー３０の計算手段３１は、携帯端末２０から送信された映像データを用いて写像情報を計算する。送信手段３６は、計算手段３１により計算された写像情報を、携帯端末２０に送信する。

【0049】

携帯端末２０の受け付け手段２７（第２受け付け手段の一例）は、ユーザーによる画像オブジェクトの描画指示を受け付ける。画像オブジェクトとは画像要素の集合をいう。画像要素とは、点、線、領域、およびこれらの色をいう。画像オブジェクトは、例えば、多角形、楕円、または線である。あるいは、画像オブジェクトは、手書きの線画を含んでもよい。

【0050】

生成手段２８は、受け付け手段２７により描画が受け付けられた画像オブジェクトを含む映像データを、サーバー３０から受信した写像情報を用いて生成する。取得手段２５は、生成手段２８により生成された映像データを取得する。

【0051】

２−２．動作
図９は、投写システム２の第２実施形態に係る動作を例示するシーケンスチャートである。ステップＳ２０において、プロジェクター１０の投写ユニット１０６は、テストパターンの映像を構造体に投写する。ステップＳ２１において、携帯端末２０のクライアントプログラムは、構造体に投写されたテストパターンの映像を、カメラ２０６を用いて撮影する。ステップＳ２２において、クライアントプログラムは、撮影した映像を表示装置２０４に表示する。ステップＳ２３において、クライアントプログラムは、撮影データをサーバーに送信する。

【0052】

ステップＳ２４において、サーバー３０のサーバープログラムは、携帯端末２０から受信した撮影データを用いて写像情報を計算する。ステップＳ２５において、サーバープログラムは、計算された写像情報を携帯端末２０に送信する。ステップＳ２６において、携帯端末２０のクライアントプログラムは、画像オブジェクトの描画を受け付ける。

【0053】

図１０はＵＩ画面を例示する図である。カメラ２０６を用いて撮影された映像が表示されているところに、ユーザーは自信の指やスタイラスペンＰを用いて撮影映像の上に（撮影映像に重畳して）画像オブジェクトを描画することができる。あるいは、ユーザーは、規定の画像オブジェクトを、その位置、大きさ、および向きを指定して撮影映像の上に貼り付けることができる。ここでの画像オブジェクトの編集には、公知の画像編集ソフトウェアの技術を用いることができる。

【0054】

再び図９を参照する。ステップＳ２７において、クライアントプログラムは、ＵＩ画面を介して入力された指示に応じて描画された画像オブジェクトを含むマッピング映像データを生成する。このマッピング映像データは、サーバー３０から受信した写像情報を用いて写像変換された画像オブジェクトを含んでいる。

【0055】

ステップＳ２８において、クライアントプログラムは、携帯端末２０にマッピング映像データを送信する。ステップＳ２９において、プロジェクター１０は、携帯端末２０から受信したマッピング映像データに従って映像を表示する。ここで表示される映像は、ステップＳ２６においてユーザーの操作入力に応じて編集された画像オブジェクトを含んでいる。この画像オブジェクトは、背景（構造体Ｏ）との位置関係やサイズの関係もＵＩ画面を介して指定されている。すなわち、ユーザーが携帯端末２０を介して描画した画像オブジェクトが、ほぼインタラクティブに実際にプロジェクションマッピングされる。

【0056】

図１１は、マッピング映像データに従った映像が投写された構造体を例示する図である。携帯端末２０の位置から見ると、映像は正しく（歪みが低減されて）表示されている。このように本実施形態によれば、構造体に対してプロジェクションマッピングする画像オブジェクトをインタラクティブに編集することができる。またこのとき、本実施形態によれば、特定の鑑賞位置からの映像を歪みの無い形状に調整することができる。

【0057】

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

【0058】

携帯端末２０およびサーバー３０における機能の分担は第１実施形態および第２実施形態で例示したものに限定されない。携帯端末２０およびサーバー３０が有する機能には、写像情報を計算する機能およびマッピング映像データを生成する機能が含まれる。第１実施形態においてはサーバー３０がこれら２つの機能（計算手段３１および生成手段３４）を有する例を説明した。第２実施形態においては携帯端末２０が生成手段２８を、サーバー３０が計算手段３１を有する例を説明した。例えば、これら２つの機能はいずれも携帯端末２０に集約されていてもよい。あるいは、写像情報を計算する機能を携帯端末２０が有し、マッピング映像データを生成する機能をサーバー３０が有していてもよい。なお、写像情報を計算する機能およびマッピング映像データを生成する機能がいずれも携帯端末２０以外の装置に実装されている場合、これら２つの機能はそれぞれ異なる２台のサーバーに実装されていてもよい。なお、写像情報を計算する機能を携帯端末２０が有する場合、携帯端末２０は、この写像情報をサーバー３０に送信する送信手段（第３送信手段の一例）を有する。

【0059】

マッピング映像データにより示される映像は、第１実施形態および第２実施形態で例示したものに限定されない。第１実施形態において領域の指定に加えて画像オブジェクトの描画の指示が受け付けられ、この指示に基づいてサーバー３０がマッピング映像データを生成してもよい。また、第２実施形態において、携帯端末２０に記憶されている動画や静止画を表示する領域をＵＩ画面上で指定し、その領域に動画や静止画を表示するマッピング映像データを携帯端末２０が生成してもよい。

【0060】

実施形態においては撮影映像が静止画である例を説明したが、撮影映像は動画であってもよい。すなわち、携帯端末２０は構造体Ｏの映像を動画で撮影し続け、表示装置に２０４にリアルタイムで撮影画像を表示してもよい。

【0061】

第２実施形態において、ＵＩ画面上で描画した画像オブジェクトを含むマッピング映像データをプロジェクター１０に送信した後は、クライアントプログラムは、携帯端末２０上で描画された画像オブジェクトの表示を停止してもよい。例えば、カメラ２０６を介して構造体Ｏの映像を（動画で）撮影し続けているような場合、構造体Ｏに投写された画像と、ＵＩ画面で描画された画像とが重なってしまうことがあるが、この例によればこの事態が避けられる。

【0062】

プロジェクター１０は、携帯端末２０から受信したマッピング映像データをＲＡＭ１０２等に記憶してもよい。この例によれば、携帯端末２０との接続が切断された後も映像を投写することができる。

【0063】

マッピング映像データを生成する機能がネットワーク上のサーバーに実装されている場合、プロジェクター１０は、携帯端末２０を介さずにマッピング映像データを取得してもよい。例えば、携帯端末２０は、マッピング映像データをダウンロードするためのＵＲＬをプロジェクター１０に通知し、プロジェクター１０はこのＵＲＬからマッピング映像データを取得してもよい。

【0064】

投写システムを構成する装置のハードウェア構成は実施形態で例示したものに限定されない。例えば、携帯端末２０はカメラを内蔵しておらず、外部装置であるカメラから撮影映像を取得してもよい。

【0065】

プロジェクター１０、携帯端末２０、およびサーバー３０において実行されるプログラムは、光ディスク、半導体メモリー等の各種記憶された状態で提供されてもよい。あるいは、これらのプログラムは、インターネット等のネットワークを介してダウンロードおよびインストールされてもよい。

【符号の説明】

【0066】

１…投写システム、２…投写システム、１０…プロジェクター、１１…投写手段、１２…受信手段、１３…制御手段、２０…携帯端末、２１…撮影手段、２２…表示手段、２３…受け付け手段、２４…送信手段、２５…取得手段、２６…送信手段、２７…受け付け手段、２８…生成手段、３０…サーバー、３１…計算手段、３２…取得手段、３３…記憶手段、３４…生成手段、１００…ＣＰＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０４…ＩＦ部、１０５…画像処理回路、１０６…投写ユニット、１０７…操作パネル、２００…ＣＰＵ、２０１…メモリー、２０２…ストレージ、２０３…入力装置、２０４…表示装置、２０５…通信ＩＦ、２０６…カメラ、３００…ＣＰＵ、３０１…メモリー、３０２…ストレージ、３０６…通信ＩＦ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】