特開 2022-146116 端末装置、投影システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022146116

(43)【公開日】2022-10-05

(54)【発明の名称】端末装置、投影システム及びプログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20220928BHJP

   G03B 21/00 20060101ALI20220928BHJP

   G03B 21/14 20060101ALI20220928BHJP

   G09G 5/00 20060101ALI20220928BHJP

   G09G 5/36 20060101ALI20220928BHJP

【ＦＩ】

H04N5/74 D

G03B21/00 D

G03B21/14 Z

G09G5/00 510B

G09G5/00 550C

G09G5/00 510V

G09G5/00 510H

G09G5/00 X

G09G5/00 555D

G09G5/36 510A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021046923

(22)【出願日】2021-03-22

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110002022

【氏名又は名称】弁理士法人コスモ国際特許事務所

(72)【発明者】

【氏名】原 駿介

(72)【発明者】

【氏名】成川 哲郎

【テーマコード（参考）】

2K203

5C058

5C182

【Ｆターム（参考）】

2K203FA25

2K203FA62

2K203FA82

2K203FB03

2K203GB35

2K203KA56

2K203KA85

2K203KA90

2K203MA07

2K203MA40

5C058BA27

5C058EA02

5C182AA03

5C182AA04

5C182AA12

5C182AB08

5C182AC03

5C182AC31

5C182AC33

5C182BA06

5C182BA14

5C182BA65

5C182BB01

5C182CA01

5C182CB12

5C182CC21

5C182CC24

5C182DA70

(57)【要約】

【課題】測定用画像の投影から投影画像の補正までの一連の処理を効率よく実行することができる端末装置、投影システム及びプログラムを提供する。
【解決手段】端末装置である携帯端末２０は、撮像部２６と、少なくとも１つのプロセッサである制御部２１を備え、制御部２１は、投影装置１０によって投影されている測定用画像４１の撮像を撮像部２６に指示し、撮像部２６により測定用画像が撮像された画像である補正用画像を取得し、投影装置１０に投影させる投影映像を、該補正用画像に基づいて補正させるための指示データを生成する。
【選択図】 図９

【特許請求の範囲】

【請求項1】

撮像部と、
少なくとも１つのプロセッサと、
を備え、前記少なくとも１つのプロセッサは、
投影装置によって投影されている測定用画像の撮像を前記撮像部に指示し、
前記撮像部により前記測定用画像が撮像された画像である補正用画像を取得し、
前記投影装置に投影させる投影映像を、前記補正用画像に基づいて補正させるための指示データを生成する、
ことを特徴とする端末装置。

【請求項2】

表示部を備え、前記表示部には、第１操作部と第２操作部が並んで表示され、
前記プロセッサは、前記第１操作部の操作に応じて、前記投影装置によって投影されている前記測定用画像の撮像を前記撮像部に指示し、前記撮像部により撮像された前記補正用画像を取得し、
前記プロセッサは、前記第２操作部の操作に応じて、前記投影装置に投影させる前記投影映像を、前記補正用画像に基づいて補正させるための前記指示データを生成する、ことを特徴とする請求項１に記載の端末装置。

【請求項3】

投影制御装置と通信を行うための通信部を備え、
前記プロセッサは、前記撮像部に前記測定用画像を撮像させる前に、前記投影装置による画像の投影を制御する前記投影制御装置に前記測定用画像を投影させるための投影指示情報を送信し、
前記プロセッサは、前記撮像部に前記測定用画像を撮像させた後に、前記補正用画像を前記投影制御装置に送信し、
前記プロセッサは、前記第２操作部が操作された場合に、前記指示データを前記投影制御装置に送信することで、前記投影制御装置に補正情報に基づいた補正を実行させる、
ことを特徴とするは請求項２に記載の端末装置。

【請求項4】

前記表示部には、前記第１操作部と前記第２操作部の組合せが、異なる測定点に対応して複数設けられて、前記第１操作部と前記第２操作部の各組合せによる操作に応じた複数の前記補正情報及び各前記測定点の位置に対する予測点の位置から加重平均を用いて前記予測点の前記補正情報を算出するための前記予測点の位置を決定する予測点位置決定部が表示されることを特徴とする請求項３に記載の端末装置。

【請求項5】

前記予測点位置決定部には、スライド操作可能に形成される予測点位置決定スライドバーが表示されることを特徴とする請求項４に記載の端末装置。

【請求項6】

前記表示部には、前記撮像部による前記投影された前記補正用画像の撮像を試写する試写操作部が表示されることを特徴とする請求項２乃至請求項５の何れかに記載の端末装置。

【請求項7】

請求項３乃至請求項６の何れかに記載の端末装置と、
前記端末装置と通信する通信部を備え、前記端末装置から前記指示データを取得して投影映像の補正情報を算出する画像補正処理部を備える投影制御装置と、投影映像を投影する投影部と、
を有することを特徴とする投影システム。

【請求項8】

前記投影制御装置は、前記第１操作部及び前記第２操作部の操作に応じて算出された異なる測定点に対応する複数の前記補正情報及び各前記測定点の位置に対する予測点の位置から加重平均を用いて前記予測点の前記補正情報を算出する測定処理部を有することを特徴とする請求項７に記載の投影システム。

【請求項9】

コンピュータが実行するプログラムであって、前記コンピュータを、
投影された測定用画像の撮像部による撮像と、撮像した前記測定用画像である補正用画像に基づいた投影映像の補正情報の算出と、を操作する測定補正操作部を表示させるよう機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投影制御装置、投影システム及びプログラムに関する。

【背景技術】

【0002】

従来から、特許文献１のように、カーテン等の凹凸のある投影面撮像に市松模様の測定用画像を投影し、投影された測定用画像を撮像した補正用画像に基づいて画像の補正情報を生成することで、凹凸のある投影面にも矩形な投影を行うことができる投影装置があった。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１６９９１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし従来は、ＰＣ（パーソナルコンピュータ）から投影装置に補正用画像を投影させ、デジタルカメラで撮像を行い、その撮像した画像をＰＣに送ってＰＣ上で投影画像を補正する、という手順だった。ゆえに、測定用画像の投影から投影画像の補正までの各処理の指示が別々の装置で行われるため、一連の処理に時間が掛かっていた。

【0005】

本発明は、測定用画像の投影から投影画像の補正までの一連の処理を効率よく実行することができる端末装置、投影システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の端末装置は、撮像部と、少なくとも１つのプロセッサと、を備え、前記少なくとも１つのプロセッサは、投影装置によって投影されている測定用画像の撮像を前記撮像部に指示し、前記撮像部により前記測定用画像が撮像された画像である補正用画像を取得し、前記投影装置に投影させる投影映像を、前記補正用画像に基づいて補正させるための指示データを生成する、ことを特徴とする。

【0007】

本発明の投影システムは、通信部を備えた上述の端末装置と、前記端末装置と通信する通信部を備え、前記端末装置から前記指示データを取得して投影映像の補正情報を算出する画像補正処理部を備える前記投影制御装置と、投影映像を投影する投影部と、を有することを特徴とする。

【0008】

本発明のプログラムは、コンピュータが実行するプログラムであって、前記コンピュータを、投影された測定用画像の撮像部による撮像と、撮像した前記測定用画像である補正用画像に基づいた投影映像の補正情報の算出と、を操作する測定補正操作部を表示させるよう機能させる。

【発明の効果】

【0009】

本発明によれば、測定用画像の投影から投影画像の補正までの一連の処理を効率よく実行することができる端末装置、投影システム及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る投影システムによりカーテンに投影画像を投影している様子を示す模式図である。

【図2】本発明の実施形態に係る投影制御装置及び投影部を示す制御ブロック図である。

【図3】本発明の実施形態に係る携帯端末の制御ブロック図である。

【図4】本発明の実施形態に係る画像補正処理部で補正情報を算出するフロー図である。

【図5】本発明の実施形態に係る撮像画像と表示素子との対応関係を示す模式図である。

【図6】本発明の実施形態に係る投影画像と変形後の投影画像及び表示素子の対応関係を示す模式図である。

【図7】本発明の実施形態に係る視点１，２と予測点１，２，３との位置関係を示す模式図である。

【図8】本発明の実施形態に係る予測点における補正情報を算出するフロー図である。

【図9】本発明の実施形態に係る携帯端末の表示部に表示されるＵＩ画面を示す図である。

【図10】本発明の実施形態に係る携帯端末の表示部に表示されるＵＩ画面を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について述べる。図１は、室内において投影制御装置３０を備える投影装置１０及び携帯端末２０を含む投影システム１がカーテン２の一部を被投影面３として、投影画像を投影している様子を示す。本実施形態に係る投影システム１によれば、不規則に波打つように湾曲する被投影面３（カーテン２）に投影すると、図１の２点鎖線で示すような歪んだ投影画像（静止画や動画を含む、投影映像ともいう。）Ｐ１となるところ、これを補正し、実線で示すような矩形の投影画像Ｐ２とすることができる。そして、ユーザＵが投影画像Ｐ２を見る位置を移動しても、即座に投影画像が補正されて、矩形の投影画像Ｐ２を見ることができるものである。

【0012】

図２は、投影装置１０が備える投影制御装置３０を含む制御ブロック図である。投影制御装置３０は、制御部３１と画像補正処理部３４と測定処理部３５とを含むＣＰＵ（又はプロセッサともいい、コンピュータともいう。）、画像入力部３３を含むフロントエンドユニット、投影画像処理部３７を含むフォーマッタユニットを備える。画像入力部３３から入力された各種規格の画像信号は、システムバスＳＢを介して制御部３１の画像変換部で表示に適した所定のフォーマットの画像信号に統一するように変換された後、後に説明する画像補正処理部３４や測定処理部３５での処理が実行され、投影画像処理部３７に出力される。

【0013】

投影画像処理部３７は、画像補正処理部３４や測定処理部３５での処理が実行された出力画像に対応して表示素子５０を駆動し、画像生成時に要求される所定波長帯域の光が光源装置６０から出射されるよう光源装置６０を制御する。投影光学系１５は、表示素子５０で生成された画像光を投影光として出射することができる。投影光学系１５は、固定レンズや可動レンズを備え、モータ１６によりフォーカス調整を行うことができる。画像光を投影可能に形成される投影部１１は、投影画像処理部３７と、表示素子５０と、光源装置６０と、投影光学系１５と、を含む。なお、表示素子５０は、複数のマイクロミラーを備えるＤＭＤ（Digital Micromirror Device）とすることができる。

【0014】

操作部３２には、投影装置１０（投影制御装置３０）の各種操作や設定を行うことができるキースイッチやインジケータを備える。操作部３２の操作信号は、制御部３１に送信される。

【0015】

制御部３１はシステムバスＳＢを介して音声処理部３８と接続されている。音声処理部３８は、ＰＣＭ音源等の音源回路を備えており、投影モード及び再生モード時には音声データをアナログ化し、スピーカ３８ａを駆動して拡声放音させる。

【0016】

また、投影制御装置３０は、記憶部４０を有する。記憶部４０は、システムバスＳＢを介して制御部３１や画像補正処理部３４、投影画像処理部３７と接続されている。記憶部４０は、例えば、ＳＳＤ（Solid State Drive）やＳＲＡＭ（Static Random Access Memory）で構成される。記憶部４０には、補正時に投影される測定用画像４１と、制御部３１や画像補正処理部３４、測定処理部３５を機能させる制御プログラム４２（プログラム）と、詳細は後述するが、投影された測定用画像４１をユーザＵが任意の位置で撮像した画像（補正用画像）や位置等の情報である測定情報４３と、ユーザＵが測定用画像４１を撮像した位置に対応する画像補正用の情報である補正情報４４と、が記憶される。

【0017】

通信部３６は、例えばネットワークインタフェースコントローラ（NIC）であり、通信データを携帯端末２０の通信部２２との間で無線通信路を介して送受信可能に形成される。通信部３６は、システムバスＳＢを介して制御部３１や記憶部４０と接続される。

【0018】

図３は、携帯端末２０（端末装置）の制御ブロック図である。携帯端末２０は、ここではスマートフォンとされるが、タブレットＰＣ（Personal Computer）、ノートＰＣ等とすることもできる。携帯端末２０は、制御部２１と、通信部２２と、記憶部２３と、表示部２４と、撮像部２６とを含み、バス２９により各部は接続される。制御部２１は、各部を制御するプロセッサである。また、記憶部２３は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）から構成される。制御部２１のプロセッサは、記憶部２３のＲＯＭに記憶されたアプリケーションプログラムをＲＡＭに展開して実行する。

【0019】

携帯端末２０の通信部２２は、例えばアンテナと送受信回路で構成され、無線通信路を介して通信データを投影制御装置３０の通信部３６と送受信可能に形成される。表示部２４及び操作部２５は、表示部２４とされる液晶ディスプレイまたは有機ＥＬディスプレイ等により構成されるディスプレイパネルの表面に、操作部２５とされる透明なタッチパネルを積層し、表示機能と入力機能を兼ね備えたタッチパネルディスプレイにより構成することができる。タッチパネルは、指等で触れた位置を感知する静電容量方式等により構成される。ユーザＵは、操作部２５を介して表示部２４に表示された操作画面を操作して、携帯端末２０や投影装置１０を操作することができる。また、携帯端末２０は、カメラ機能とされる撮像部２６を有し、被投影面３に投影された画像を撮像し、この撮像画像を記憶部２３に保存することができる。

【0020】

ユーザＵが任意の位置（予測点、図１参照）から被投影面３に投影される投影画像を見ても、凹凸のないスクリーン等に投影したかのように矩形に見えるよう補正して投影するための投影方法の概略は、先ず、投影装置１０の投影部１１により測定用画像４１（図２参照）を被投影面３に投影し、図１に示す、被投影面３に対して左側の測定点（視点１、第１地点ともいう。）から投影された測定用画像４１を撮像して補正情報４４（図２参照）を算出し、同様に被投影面３に対して右側の測定点（視点２、第２地点ともいう。）から測定用画像４１を撮像して補正情報４４を算出し、これらの補正情報４４に対して加重平均を用いて予測点（すなわち、ユーザＵが投影画像を見る位置、第３地点ともいう。）の補正情報４４を算出して、投影画像を補正する。なお、第２地点は、第１地点とは異なり、第３地点は、第１地点及び第２地点と異なる。

【0021】

ここで、視点１、視点２に対応して算出される各補正情報４４（補正情報４４－１（第１補正データ），４４－２（第２補正データ）とする）は、各視点から被投影面３を見た場合に矩形に見えるように補正するための補正情報４４である。そして、各視点における補正情報４４の算出は、投影された測定用画像４１を撮像した撮像画像（以下、単に「補正用画像」ともいう。）を含む測定情報４３に基づいて行われる公知の補正方法を用いることができる。

【0022】

以下、図４のフローチャートに基づいて、各視点における補正情報４４の算出の一例について説明する。補正情報４４を算出する工程では、先ず、ステップＳ１０３で、投影制御装置３０の投影部１１により、投影制御装置３０の記憶部４０に保存される測定用画像４１が被投影面３に投影される。ここで、測定用画像４１は、格子状の市松模様の画像や、横縞模様、縦縞模様等が用いられて、格子や縞模様の幅が異なる複数の測定用画像４１が用いられることもある。

【0023】

次に、ステップＳ１０５で、投影した測定用画像４１が撮像され、撮像画像（補正用画像）が生成される。投影システム１では、携帯端末２０の撮像部２６で撮像し、撮像画像（補正用画像）が携帯端末２０の記憶部２３に保存される。携帯端末２０の記憶部２３に保存された補正用画像は、携帯端末２０の記憶部２３から投影制御装置３０の通信部３６を介して投影制御装置３０に送信され、測定情報４３として記憶部４０に保存される。

【0024】

次に、ステップＳ１０７で、画像補正処理部３４により、撮像画像（補正用画像）の画素位置（Ｓｉ）に対応する表示素子５０の画素位置（Ｐｉ）を算出する。これは、図５に示すように、投影された測定用画像４１を撮像した撮像画像（補正用画像）２６ａの画素位置の座標Ｓｉに対して、測定用画像４１を投影しているＤＭＤ（Digital Micromirror Device）としての表示素子５０の座標Ｐｉを求める矢印Ｓ１０７ａで示す処理である。

【0025】

次に、ステップＳ１０９で、画像補正処理部３４により、出力映像（又は出力画像、すなわち、測定用画像４１）の画素位置に対応する撮像画像（補正用画像）の画素位置（Ｓｉ）を算出する。これは、図５に示す、矢印Ｓ１０９ａで示す処理である。出力映像の画素位置に対応する撮像画像（補正用画像）の画素位置（Ｓｉ）の算出は、ステップＳ１０７で求めた対応関係が用いられる。ステップＳ１０７及びステップＳ１０９により、撮像画像（補正用画像）と出力映像の画素との位置対応関係が取得され、補正情報４４が算出される。換言すれば、補正情報４４は、表示素子５０の座標Ｐｉと撮像画像の座標Ｓｉを用いて算出される。

【0026】

次に、ステップＳ１１１により、撮像画像（補正用画像）から切り抜き矩形が決定される。すなわち、図６に示すように、変形して投影されている投影画像（図６の測定用画像４１）の範囲のうち、表示素子５０に対応するアスペクト比の矩形Ｓ１１１ａが、投影装置１０（投影部１１）により矩形に投影可能な範囲である。画像補正処理部３４は、この投影可能な矩形の範囲を、撮像画像（補正用画像）２６ａの測定用画像４１から決定する。

【0027】

次に、ステップＳ１１３により、画像補正処理部３４は、投影画像の形状の補正情報４４から切り抜き矩形枠内に収まる入力映像の変形を行う。すなわち、ステップＳ１１１で決定した矩形Ｓ１１１ａの範囲に収まるように、ステップＳ１０７，Ｓ１０９の算出結果（補正情報４４）を用いて、ユーザＵが観賞するための投影画像を変形する。補正情報４４の算出は、図６の表示素子５０の補正用画像５０－４１が、被投影面３では補正用画像３－４１のように変形して投影されるので、被投影面３に矩形Ｓ１１１ａのように投影するには、表示素子５０にて変形画像Ｓ１１３ａを投影すればよいことに基づく。

【0028】

従って、投影画像の画素座標（すなわち表示素子５０の座標）に対して、相対的な（投影画像の）変形後の表示素子５０の座標Ｐｊが算出され、更に、変形後の表示素子５０の座標Ｐｊに対応する表示素子５０の座標Ｐｋが算出される。

【0029】

このようにして、画像補正処理部３４では、各視点から被投影面３を見たときに、きれいな矩形に見えるための補正情報４４を算出することができる。この補正情報４４は、測定点（視点１，２）ごとに算出することができる。視点１では、補正情報４４－１が算出され、視点２では、補正情報４４－２が算出される。

【0030】

そして、測定処理部３５では、複数の異なる視点における各補正情報４４（補正情報４４－１（第１補正データ），４４－２（第２補正データ））及び各測定点（視点１、視点２）の位置（第１位置データ、第２位置データ）に対する予測点の位置（ユーザＵが被投影面３を見る任意の位置、第３位置データ）から加重平均を用いて、予測点の補正情報４４－Ｆ（第３補正データ）を算出する。図７に示すように、例えば、予測点１が、視点１と視点２の間をｌ_１：ｌ_２で内分する位置における予測変形（予測点１における補正情報４４－Ｆの算出、予測補正ともいう）は、式（１）を用いる。
Ｐ＝（ｌ_１Ｐ_２＋ｌ_２Ｐ_１）／（ｌ_１＋ｌ_２） ・・・（１）

【0031】

また、ｌ_１：ｌ_２で外分する予測点２の予測変形を行うには、式（２）、予測点３の予測変形を行うには式（３）を用いる。
予測点２；ｌ_１＞ｌ_２ Ｐ＝（－ｌ_２Ｐ_１＋ｌ_１Ｐ_２）／（ｌ_１－ｌ_２） ・・・（２）
予測点３；ｌ_１＜ｌ_２ Ｐ＝（ｌ_２Ｐ_１－ｌ_１Ｐ_２）／（－ｌ_１＋ｌ_２） ・・・（３）

【0032】

ここで、式（１）～（３）のＰ，Ｐ_１，Ｐ_２は、補正情報４４－１，４４－２を算出する際に用いた座標Ｓｉ，Ｐｉ，Ｐｊ，Ｐｋのうち何れかの座標。換言すれば、加重平均は、表示素子５０の座標（Ｐｉ，Ｐｊ，Ｐｋ）又は撮像画像（補正用画像）２６ａの座標（Ｓｉ）に対して適用される。まとめると、加重平均は、以下の４つのケースについて行うことができる。
（Ａ）表示素子５０の座標に対する撮像画像２６ａの座標（Ｓｉ）
（Ｂ）撮像画像２６ａの座標（Ｓｉ）に対する表示素子５０の座標（Ｐｉ）
（Ｃ）表示素子５０の座標に対する変形後の表示素子５０の座標（Ｐｊ）
（Ｄ）変形後の表示素子５０の座標（Ｐｊ）に対する表示素子５０の座標（Ｐｋ）

【0033】

なお、各視点から撮像した撮像画像２６ａ及び各視点（各測定点）の位置情報は、測定情報４３として記憶部２３に保存されている。予測点や各視点における位置情報は、携帯端末２０が備えるＧＰＳ受信部から出力されるＧＰＳ情報、携帯端末２０が備える加速度センサから検出される撮像画像２６ａの撮像時の角度情報又はユーザＵの設定（ユーザ設定）の何れかにより取得し決定することができる。

【0034】

而して、予測点（第３地点）における補正情報４４－Ｆ（第３補正データ）を算出して投影画像を補正する投影方法は、第１地点（視点１）で撮像された第１撮像画像（補正用画像）及び第２地点（視点２）で撮像された第２撮像画像（補正用画像）を通信部３６を介して取得する工程と、第１撮像画像に基づいて第１補正データ（補正情報４４－１）を取得するとともに、第２撮像画像に基づいて第２補正データ（補正情報４４－２）を取得する工程と、第１地点の第１位置データ、第２地点の第２位置データ、第３地点（予測点）の第３位置データ、をそれぞれ取得する工程と、第１補正データ、第２補正データ、第１～第３位置データを用いて第３地点に対応する第３補正データ（補正情報４４－Ｆ）を決定する工程と、決定された第３補正データに基づいて投影装置１０に投影させる投影画像を補正する工程と、を含む。

【0035】

そして、第３補正データは、第１補正データ、第２補正データに対して、第１位置データ及び第２位置データに対する第３位置データから加重平均を用いて算出される。そして、第１撮像画像に基づいて第１補正データを取得するとともに、第２撮像画像に基づいて第２補正データを取得する工程は、第１撮像画像、第２撮像画像の画素位置の座標に対して表示素子の座標を求め、この対応関係を用いて出力画像の画素位置に対応する第１撮像画像、第２撮像画像の座標を用いて第１補正データ、第２補正データを算出する工程と、を含む。第１補正データ、第２補正データ、第１位置データ、第２位置データ、第３位置データを用いて第３地点に対応する第３補正データを決定する工程は、上記の（Ａ）～（Ｄ）の何れかの座標に対して加重平均を適用する。

【0036】

具体的には、予測点の補正情報４４－Ｆ（予測補正、第３補正データ）は、図８に示すフローチャートに従って算出される。予測補正の処理が開始されると、ステップＳ２０３で、視点１において、携帯端末２０により、被投影面３に投影された測定用画像４１の撮像が行われ、投影制御装置３０の記憶部４０に撮像画像（補正用画像）を含む測定情報４３－１（図１参照）が保存される。次に、ステップ２０５で、画像補正処理部３４により視点１の測定情報４３－１（第１撮像画像及び第１位置データを含む）から補正情報４４－１（第１補正データ）が算出され記憶部４０に保存される。そして、ステップＳ２０６で、視点１の補正情報（第１補正データ）に基づいて、視点１に対応した補正した映像の投影が投影部１１により行われる。

【0037】

ステップＳ２０７，２０９では、ステップＳ２０３，２０５と同様に、視点２の測定が行われ（ステップＳ２０３）、視点２の測定情報４３－２（第２撮像画像及び第２位置データを含む）から視点２の補正情報４４－２（第２補正データ）（図１参照）が算出され、記憶部４０に保存される（ステップＳ２０５）。そして、ステップＳ２１０で、視点２の補正情報（第２補正データ）に基づいて、視点２に対応した補正した映像の投影が投影部１１により行われる。そして、ステップＳ２１１で、予測点の位置情報（第３位置データ）が検出され、投影制御装置３０に送信され、記憶部４０で記憶される。次に、ステップＳ２１３では、測定処理部３５で、視点１の補正情報４４－１と視点２の補正情報４４－２に対して加重平均を用いて予測点の補正情報４４－Ｆ（第３補正データ）（予測補正）が算出される。測定処理部３５は、ステップＳ２１５で、算出した予測点の補正情報４４－Ｆを記憶部４０に保存する。

【0038】

このように算出された予測点の補正情報４４－Ｆを用いて、画像補正処理部３４は、入力画像の変形を行って、補正変形後の投影画像に基づいて、投影装置１０の投影画像処理部３７により投影部１１の光源装置６０や表示素子５０が制御されて、投影光学系１５から投影画像の投影光が投影される。すると、ユーザＵは、不規則な面を備える被投影面３に投影された画像であっても、任意の位置に移動しても、即座にきれいな矩形の投影画像を見ることができる。

【0039】

各測定点における補正用画像の投影や撮像、予測点位置の設定や補正情報の算出の操作は、携帯端末２０により行うことができる。図９に、携帯端末２０の表示部２４（操作部２５）に表示されるユーザインターフェース画面３００（ＵＩ画面３００）の一例を示す。ＵＩ画面３００の左上の「接続」ボタン３０１及び「切断」ボタン３０２は、投影装置１０（投影制御装置３０）との通信部２２，３６を介した接続及び切断を行うためのボタンである。

【0040】

ＵＩ画面３００の左側には、カメラ画面３２０が表示される。カメラ画面３２０は、携帯端末２０の撮像部２６により撮像している画像が映し出される。ＵＩ画面３００の右上には、測定補正操作部３１０が設けられる。測定補正操作部３１０は、「視点１測定」ボタン３１１－１、「視点２測定」ボタン３１１－２（以上、第１操作部）を備える測定部３１１と、「視点１補正」ボタン３１２－１、「視点２補正」ボタン３１２－２（以上、第２操作部）を備える補正部３１２と、「視点＋」ボタン３１５、「補正＋」ボタン３１６を含む。制御部２１は、第１操作部の操作に応じて、投影装置１０によって投影されている測定用画像の撮像を撮像部２６に指示し、撮像部２６により撮像された補正用画像を取得する。また、制御部２１は、第２操作部の操作に応じて、投影装置１０に投影させる投影映像を、補正用画像に基づいて補正させるための指示データを生成する。

【0041】

具体的には、例えば、ユーザＵは、図１の視点１の位置で「視点１測定」ボタン３１１－１を押すと、制御部２１は、投影制御装置３０に測定用画像４１を投影させるための投影指示情報を通信部２２，３６を介して送信する。すると、投影装置１０から測定用画像４１が出射され、被投影面３に投影される。そして、撮像部２６は、投影された測定用画像４１を撮像し、記憶部２３に保存する。同様に、視点２の位置で「視点２測定」ボタン３１１－２押すと、測定用画像４１が投影されて撮像され、記憶部２３に保存する。

【0042】

また、例えば、ユーザＵは、「視点１補正」ボタン３１２－１を押すと、記憶部２３に保存した補正用画像及び視点１の位置情報から投影装置１０に投影させる投影映像を補正用画像に基づいて補正させるための指示データを生成する。そして、携帯端末２０は、この指示データを投影装置１０に送信し、投影装置１０は、視点１で補正した投影画像の投影を行う。

【0043】

測定部３１１の右側には、「視点＋」ボタン３１５が表示されている。「視点＋」ボタン３１５は、２か所の視点（視点１，２）（すなわち、測定部３１１）を更に増やすことができる視点増加部である。補正部３１２の右側に配置される「補正＋」ボタン３１６は、「視点＋」ボタン３１５で増加した視点に対応する補正部３１２を形成するための補正増加部である。

【0044】

ＵＩ画面３００の右側略中央に表示される「補正なし」ボタン３０３は、携帯端末２０の撮像部２６により、投影された測定用画像４１の撮像を試写するための試写操作部とされる。測定部３１１による撮像の前に、投影画像が画角に収まるか否か等の試写をすることができる。この場合も、カメラ画面３２０で撮像の状態を確認することができる。

【0045】

「補正なし」ボタン３０３の右側には、「設定」ボタン３４０が表示されている。「設定」ボタン３４０は、投影装置１０により投影する測定用画像４１に関する設定を行うことができる。「設定」ボタン３４０を押すと、表示部２４は、図１０のＵＩ画面３４９に切り替わる。ＵＩ画面３４９の上段の「ドットパターンの明るさ」３４１は、測定用画像４１の明るさを調整することができる。「ドットパターンのピッチ幅」３４２は、格子状（市松模様）や横縞、縦縞からなる測定用画像４１の縞模様のピッチ幅を設定することができる。「ドットパターンの枚数」３４３は、投影される測定用画像４１の枚数（種類）を設定することができる。これらの設定は、測定部３１１による測定情報４３の算出において、エラーが発生した場合に行うことができる。

【0046】

「補正なし」ボタン３０３及び「設定」ボタン３４０の下方には、予測点位置決定部３３０が表示される。予測点位置決定部３３０は、異なる測定点に対応して複数設けられる第１操作部と第２操作部の組合せによる操作に応じた複数の補正情報及び測定点の位置に対する予測点の位置から加重平均を用いて予測点の補正情報を算出するための予測点位置を決定することができる。予測点位置決定部３３０には、「予測点補正」ボタン３３１及び予測点位置決定スライドバー３３２が表示されている。予測点位置決定スライドバー３３２には、視点１の位置を示すポイント３３２ａと、視点２の位置を示すポイント３３２ｂと、視点１，２を結ぶライン３３２ｃと、ライン３３２ｃ上をスライドして移動操作可能な予測点のポイント３３２ｄが表示されている。

【0047】

ユーザＵの設定により予測点（位置）を決定したい場合には、予測点位置決定スライドバー３３２により設定することができる。予測点の設定は、予測点を示すポイント３３２ｄをライン３３２ｃに沿って移動させることで行うことができる。従って、予測点が、測定点（視点１，２）に対して内分する位置か、外分する位置か（視点１，２のどちら側の位置で外分するか）を決定することができる。投影制御装置３０の測定処理部３５は、予測点位置決定スライドバー３３２で設定された予測点位置に基づいて、前述の式（１）～（３）の何れかの式を用いて加重平均を適用するかを決定する。予測点を、携帯端末２０が備えるＧＰＳ受信から出力されるＧＰＳ情報による場合又は携帯端末２０が備える加速度センサから検出される撮像画像の撮像時の角度情報による場合は、この操作は必要ない。

【0048】

予測点を示すポイント３３２ｄをスライドさせて予測点の決定後、「予測点補正」ボタン３３１を押すことで、予測点位置決定スライドバー３３２で設定した予測点の位置情報（予測点位置）が投影制御装置３０に送信される。投影制御装置３０は、受信した予測点の位置情報に基づいて、測定処理部３５により加重平均を用いて、予測点における補正情報４４－Ｆが算出される。投影制御装置３０は、予測点の補正情報４４－Ｆに基づいて、投影画像を補正する。なお、予測点をＧＰＳや撮像画像から算出する場合には、予測点位置決定スライドバー３３２を操作ができない表示として、「予測点補正」ボタン３３１を点滅させる等して、「予測点補正」ボタン３３１を押すことで測定処理部３５により加重平均を用いた予測点における補正情報４４－Ｆを算出させてもよい。

【0049】

以上、本発明の実施形態を説明したが、本発明は本実施形態によって限定されることは無く、種々の変更を加えて実施することができる。例えば、画像補正処理部３４や測定処理部３５は、携帯端末２０に備えるようにして、携帯端末２０で各視点（視点１，２）及び予測点の補正情報４４を算出するようにしてもよい。この場合、測定情報４３や補正情報４４は、携帯端末２０の記憶部２３に保存するようにすることもできる。また、投影装置１０をプロジェクタとして、投影制御装置３０をＰＣ（パーソナルコンピュータ）とすることもできる。

【0050】

また、測定点（視点）は、本実施形態においては２箇所としたが、３箇所以上の測定点として、これら複数の測定点における補正情報４４に対して加重平均を用いて予測点の補正情報４４－Ｆを算出することもできる。

【0051】

以上の実施形態によれば、端末装置である携帯端末２０は、撮像部２６と、少なくとも１つのプロセッサである制御部２１を備え、制御部２１は、投影装置１０によって投影されている測定用画像４１の撮像を撮像部２６に指示し、撮像部２６により測定用画像が撮像された画像である補正用画像を取得し、投影装置１０に投影させる投影映像を、該補正用画像に基づいて補正させるための指示データを生成する。これにより、携帯端末２０の操作だけで、測定用画像の投影から投影画像の補正までの一連の処理を効率よく実行することができる。

【0052】

また、表示部２４を備え、表示部２４には、第１操作部（「視点１測定」ボタン３１１－１、「視点２測定」ボタン３１１－２）と第２操作部（「視点１補正」ボタン３１２－１、「視点２補正」ボタン３１２－２）が並んで表示され、制御部２１は、第１操作部の操作に応じて、投影装置１０によって投影されている測定用画像４１の撮像を撮像部２６に指示し、撮像部２６により撮像された補正用画像を取得し、又、制御部２１は、第２操作部の操作に応じて、投影装置１０に投影させる投影映像を補正用画像に基づいて補正させるための指示データを生成する。これにより、携帯端末２０の操作により、各視点ごとに補正された画像を投影装置１０により投影することができる。

【0053】

また、投影制御装置３０と通信を行うための通信部２２を備え、制御部２１は、撮像部２６に測定用画像４１を撮像させる前に、投影装置１０による画像の投影を制御する投影制御装置３０に測定用画像４１を投影させるための投影指示情報を送信する。又、制御部２１は、撮像部２６に測定用画像４１を撮像させた後に、補正用画像を投影制御装置３０に送信する。又、制御部２１は、第２操作部が操作された場合に、指示データを投影制御装置３０に送信することで、投影制御装置３０に補正情報に基づいた補正を実行させる。これにより、各視点ごとにおける補正された画像の投影が確実に行うことができる。

【0054】

また、表示部２４には、第１操作部と第２操作部の組合せが、異なる測定点に対応して複数設けられて、第１操作部と第２操作部の各組み合わせによる操作に応じた複数の補正情報４４－１，４４－２及び測定点（視点１，２）の位置に対する予測点の位置から加重平均を用いて予測点の補正情報４４－Ｆを算出するための予測点位置を決定する予測点位置決定部３３０が表示される。これにより、ユーザＵにより、予測点位置の設定を行うことができる。従って、予め予測点位置を設定して記憶部４０（又は記憶部２３）に保存しておくことで、投影の都度予測点位置の設定や検出を行う必要がない。

【0055】

また、予測点位置決定部３３０には、スライド操作可能に形成される予測点位置決定スライドバー３３２が表示される。これにより、分かり易いスライド操作を表示するので、ユーザＵによる予測点位置の設定を容易に行うことができる。

【0056】

また、表示部２４には、撮像部２６による投影された測定用画像４１の撮像を試写する「補正なし」ボタン３０３からなる試写操作部が表示される。これにより、適切な測定用画像４１の撮像を行うことができる。

【0057】

また、投影システム１は、携帯端末２０と、携帯端末２０と通信する通信部３６を備え、携帯端末２０から指示データを取得して投影映像の補正情報を算出する画像補正処理部３４を備える投影制御装置３０と、投影映像を投影する投影部１０と、を有する。これにより、凹凸面に対して補正した投影映像を投影することができる投影システム１を携帯端末２０から操作することができる。

【0058】

また、投影制御装置３０は、第１操作部及び第２操作部の操作に応じて算出された異なる測定点に対応する複数の補正情報及び測定点の位置に対する予測点の位置から加重平均を用いて予測点の補正情報を算出する測定処理部３５を有する。これにより、ユーザＵが投影画像を見る位置を移動しても、投影画像の補正情報４４の算出に必要な情報を容易に得ることができる端末装置を備えた投影システム１を提供することができる。

【0059】

また、携帯端末２０のアプリケーションプログラムは、投影された測定用画像４１の撮像部２６による撮像と、撮像した測定用画像４１に基づいた投影画像の補正情報４４の算出と、を操作する測定補正操作部３１０を表示させる。これにより、携帯端末２０の操作だけで、測定用画像の投影から投影画像の補正までの一連の処理を効率よく実行し、ユーザＵが投影画像を見る位置を移動しても、投影画像の補正情報４４の算出に必要な操作が簡単なＵＩ画面３００を備える携帯端末２０を提供することができる。

【0060】

なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0061】

以下に、本願出願の最初の特許請求の範囲に記載された発明を付記する。
［１］撮像部と、
少なくとも１つのプロセッサと、
を備え、前記少なくとも１つのプロセッサは、
投影装置によって投影されている測定用画像の撮像を前記撮像部に指示し、
前記撮像部により前記測定用画像が撮像された画像である補正用画像を取得し、
前記投影装置に投影させる投影映像を、前記補正用画像に基づいて補正させるための指示データを生成する、
ことを特徴とする端末装置。
［２］表示部を備え、前記表示部には、第１操作部と第２操作部が並んで表示され、
前記プロセッサは、前記第１操作部の操作に応じて、前記投影装置によって投影されている前記測定用画像の撮像を前記撮像部に指示し、前記撮像部により撮像された前記補正用画像を取得し、
前記プロセッサは、前記第２操作部の操作に応じて、前記投影装置に投影させる前記投影映像を、前記補正用画像に基づいて補正させるための前記指示データを生成する、ことを特徴とする前記［１］に記載の端末装置。
［３］投影制御装置と通信を行うための通信部を備え、
前記プロセッサは、前記撮像部に前記測定用画像を撮像させる前に、前記投影装置による画像の投影を制御する前記投影制御装置に前記測定用画像を投影させるための投影指示情報を送信し、
前記プロセッサは、前記撮像部に前記測定用画像を撮像させた後に、前記補正用画像を前記投影制御装置に送信し、
前記プロセッサは、前記第２操作部が操作された場合に、前記指示データを前記投影制御装置に送信することで、前記投影制御装置に補正情報に基づいた補正を実行させる、
ことを特徴とするは前記［２］に記載の端末装置。
［４］前記表示部には、前記第１操作部と前記第２操作部の組合せが、異なる測定点に対応して複数設けられて、前記第１操作部と前記第２操作部の各組合せによる操作に応じた複数の前記補正情報及び各前記測定点の位置に対する予測点の位置から加重平均を用いて前記予測点の前記補正情報を算出するための前記予測点の位置を決定する予測点位置決定部が表示されることを特徴とする前記［３］に記載の端末装置。
［５］前記予測点位置決定部には、スライド操作可能に形成される予測点位置決定スライドバーが表示されることを特徴とする前記［４］に記載の端末装置。
［６］前記表示部には、前記撮像部による前記投影された前記補正用画像の撮像を試写する試写操作部が表示されることを特徴とする前記［２］乃至前記［５］の何れかに記載の端末装置。
［７］前記［３］乃至前記［６］の何れかに記載の端末装置と、
前記端末装置と通信する通信部を備え、前記端末装置から前記指示データを取得して投影映像の補正情報を算出する画像補正処理部を備える投影制御装置と、投影映像を投影する投影部と、
を有することを特徴とする投影システム。
［８］前記投影制御装置は、前記第１操作部及び前記第２操作部の操作に応じて算出された異なる測定点に対応する複数の前記補正情報及び各前記測定点の位置に対する予測点の位置から加重平均を用いて前記予測点の前記補正情報を算出する測定処理部を有することを特徴とする前記［７］に記載の投影システム。
［９］コンピュータが実行するプログラムであって、前記コンピュータを、
投影された測定用画像の撮像部による撮像と、撮像した前記測定用画像である補正用画像に基づいた投影映像の補正情報の算出と、を操作する測定補正操作部を表示させるよう機能させるプログラム。

【符号の説明】

【0062】

１ 投影システム ２ カーテン
３ 被投影面 １０ 投影装置
１１ 投影部 １５ 投影光学系
１６ モータ ２０ 携帯端末
２１ 制御部 ２２ 通信部
２３ 記憶部 ２４ 表示部
２５ 操作部 ２６ 撮像部
２６ａ 撮像画像 ２９ バス
３０ 投影制御装置 ３１ 制御部
３２ 操作部 ３３ 画像入力部
３４ 画像補正処理部 ３５ 測定処理部
３６ 通信部 ３７ 投影画像処理部
３８ 音声処理部 ３８ａ スピーカ
４０ 記憶部 ４１ 測定用画像
４２ 制御プログラム ４３ 測定情報
４４ 補正情報 ５０ 表示素子
６０ 光源装置
３００ ユーザインターフェース画面（ＵＩ画面）
３１０ 測定補正操作部 ３１１ 測定部
３１２ 補正部 ３２０ カメラ画面
３３０ 予測点位置決定部 ３３２ 予測点位置決定スライドバー
３４９ ＵＩ画面
Ｕ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】