(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024032228
(43)【公開日】2024-03-12
(54)【発明の名称】画像補正方法、情報処理装置、及びプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20240305BHJP
G09G 5/36 20060101ALI20240305BHJP
G03B 21/00 20060101ALI20240305BHJP
G03B 21/14 20060101ALI20240305BHJP
H04N 5/74 20060101ALI20240305BHJP
G06F 3/0484 20220101ALI20240305BHJP
G06T 3/08 20240101ALI20240305BHJP
【FI】
G09G5/00 550C
G09G5/00 510B
G09G5/00 530H
G09G5/36 520D
G09G5/00 510H
G09G5/36 520P
G09G5/00 530T
G09G5/00 X
G03B21/00 D
G03B21/14 Z
H04N5/74 D
G06F3/0484
G06T3/00 735
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022135781
(22)【出願日】2022-08-29
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】横山 壱星
(72)【発明者】
【氏名】森 悠貴
(72)【発明者】
【氏名】内山 喜照
(72)【発明者】
【氏名】見上 誠
(72)【発明者】
【氏名】山口 勝義
【テーマコード(参考)】
2K203
5B057
5C058
5C182
5E555
【Fターム(参考)】
2K203FA02
2K203FA62
2K203FA82
2K203GC26
2K203GC30
2K203HB14
2K203KA36
2K203KA56
2K203KA83
2K203KA85
2K203KA89
2K203MA07
5B057BA02
5B057BA23
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CC01
5B057CD11
5C058BA27
5C058BB25
5C058EA02
5C182AA03
5C182AA04
5C182AA12
5C182AB02
5C182AB08
5C182AC02
5C182AC03
5C182AC13
5C182AC39
5C182AC43
5C182BA01
5C182BA03
5C182BA06
5C182BA14
5C182BA29
5C182BA46
5C182BA75
5C182BC01
5C182BC22
5C182BC25
5C182CB13
5C182CB33
5C182CB42
5C182CB44
5C182CB47
5C182CB52
5C182CC04
5C182CC26
5C182DA70
5E555AA11
5E555AA41
5E555AA76
5E555BA06
5E555BA29
5E555BB06
5E555BB29
5E555BC04
5E555BC13
5E555CA12
5E555CA42
5E555CA44
5E555CB12
5E555CB21
5E555CB33
5E555DA03
5E555DA24
5E555DB54
5E555DB56
5E555DC05
5E555DD02
5E555DD06
5E555DD11
5E555EA07
5E555EA08
5E555EA09
5E555FA00
(57)【要約】 (修正有)
【課題】投写面に投写される画像の形を補正する操作を行う利便性を改善する。
【解決手段】画像補正方法は、プロジェクターから投写面に投写される画像の形を補正する第1の方法及び第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付け、第1の方法が選択された場合にプロジェクターに第1のパターン画像を投写させる信号を出力し、第1のパターン画像の投写によって投写面に現れる第1の投写画像と投写面とを含む第1の撮像画像に基づいて、画像の形を補正する第1の補正データを生成することと、第2の方法が選択された場合にプロジェクターに第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力し、第2のパターン画像の投写によって投写面に現れる第2の投写画像と投写面とを含む第2の撮像画像に基づいて、画像の形を補正する第2の補正データを生成することと、を含む。
【選択図】
図6
【特許請求の範囲】
【請求項1】
プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、
前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、
前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、
前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、
を含む、画像補正方法。
【請求項2】
前記入力を受け付けることは、
投写範囲を区画する輪郭を前記投写面が含むか否かの選択を受け付けることを含む、
請求項1に記載の画像補正方法。
【請求項3】
前記第1の方法は、
前記投写面の表面の形状に基づいて、前記画像の形を補正すること、
を含む
請求項1に記載の画像補正方法。
【請求項4】
前記第2の方法は、
前記プロジェクターによる前記画像の投写によって前記投写面に現れる投写画像を、前記投写面における投写範囲に収める補正を含む、
請求項1に記載の画像補正方法。
【請求項5】
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像、及び前記第2のパターン画像とは異なる第3のパターン画像を投写させる信号を出力すること、をさらに含み、
前記第2の補正データを生成することは、
前記投写面を撮像することによって取得される、前記第3のパターン画像の投写によって前記投写面に現れる第3の投写画像と、前記投写面とを含む第3の撮像画像、及び、前記第2の撮像画像、に基づいて、前記第2の方法を用いて前記画像の形を補正するための前記第2の補正データを生成することを含む、
請求項4に記載の画像補正方法。
【請求項6】
前記第2のパターン画像は、前記第1のパターン画像よりも、検出点の数が少ない、
請求項1乃至請求項5のいずれか一項に記載の画像補正方法。
【請求項7】
処理装置を含み、
前記処理装置は、
プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、
前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、
前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、
前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、
を実行する、情報処理装置。
【請求項8】
プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、
前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、
前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、
前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、
をコンピューターに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像補正方法、情報処理装置、及びプログラムに関する。
【背景技術】
【0002】
投写面に投写される画像を補正する技術が知られている。
例えば、特許文献1は、被投影面上に投影された複数のパターンの画像を撮像する撮像装置と、撮像されたパターンに基づいて、プロジェクターが投影する画像に対応する画像データを補正する画像データ出力装置と、を備えるシステムを開示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1にドットパターンの例が複数記載されているように、パターン画像には複数の種類がある。また、投写面に投写される画像の形を補正する方法は複数ある。
しかしながら、それぞれの方法ごとに用いるパターン画像について検討が行われていない。このため、補正のための操作を行うユーザーの利便性の点において改善の余地があった。
【課題を解決するための手段】
【0005】
本開示の画像補正方法の一態様は、プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、を含む。
【0006】
本開示の情報処理装置の一態様は、処理装置を含み、前記処理装置は、プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、を実行する。
【0007】
本開示のプログラムの一態様は、プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、をコンピューターに実行させる。
【図面の簡単な説明】
【0008】
【
図1】本開示の実施形態に係る投写システムの構成の一例を示す図である。
【
図2】プロジェクターの電気的な構成の一例を模式的に示す図である。
【
図3】情報処理装置の電気的な構成の一例を示す図である。
【
図4】第1のパターン画像、第2のパターン画像、及び第3のパターン画像の一例を示す図である。
【
図5】第2のパターン画像を投写面に投写したときの投写範囲の輪郭とパターン部との関係を示す図である。
【
図6】情報処理装置による画像補正処理の一例を示すフローチャートである。
【
図7】情報処理装置による画像補正処理の一例を示すフローチャートである。
【
図8】画像補正処理の進行に伴ってディスプレイに表示されるユーザーインターフェース画像の遷移の一例を示す図である。
【
図9】画像補正処理の進行に伴ってディスプレイに表示されるユーザーインターフェース画像の遷移の一例を示す図である。
【
図10】第1の向き、及び第2の向きと、ユーザーインターフェース画像の向きとの説明図である。
【
図11】情報処理装置による表示処理の一例を示すフローチャートである。
【
図12】情報処理装置の変形の形態の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本開示に係る好適な形態を説明する。なお、図面において、各部の寸法および縮尺が実際と適宜に異なる場合があり、また、理解を容易にするために模式的に示している部分を含む場合がある。以下の説明において、本開示を限定する旨の特段の記載がない限り、本開示の範囲は以下の説明に記載された形態に限られない。また、本開示の範囲は当該形態の均等の範囲を含む。
【0010】
1.実施形態
[投写システム1の構成]
図1は、本実施形態に係る投写システム1の構成の一例を模式的に示す図である。
投写システム1は、
図1に示されるように、プロジェクター10と、情報処理装置20と、を含む。
プロジェクター10は、画像データDGに基づく画像の画像光LGを投写面SPに投写する装置である。投写面SPは、画像光LGが投写される物体の表面である。以下の説明において、画像光LGが投写される物体を「被投写物OP」と称する。また、投写面SPに投写される画像を「対象画像GO」と称し、画像光LGの投写によって投写面SPに現れる画像を「投写画像GP」と称する。
【0011】
また、本実施形態において、対象画像GOは、長辺ALGOと短辺ASGOとを有する矩形状である。この短辺ASGOが鉛直CVに沿うように対象画像GOがプロジェクター10から投写されるものとする。なお、対象画像GOの短辺ASOGは鉛直CVと完全に平行である必要はなく、水平CHよりも鉛直CVに近ければよい。
【0012】
情報処理装置20は、コンピューターの一例である。情報処理装置20は、プロジェクター10との間で信号を伝送可能な装置であり、画像データDGの信号をプロジェクター10へ供給する。情報処理装置20とプロジェクター10との間の信号の伝送路は有線、及び無線のいずれでもよい。また、伝送路に採用される規格は、特には制限されない。なお、
図1には、伝送路が無線の形態が示されている。
【0013】
また、本実施形態の情報処理装置20は、筐体200と、ディスプレイ210と、撮像装置220と、を含む携帯型の装置である。すなわち、筐体200は、ユーザーUが携帯可能な大きさであり、当該筐体200に、ディスプレイ210、及び撮像装置220が収められており、当該筐体200がユーザーUの手によって保持される。情報処理装置20の具体的形態の代表的な例は、スマートフォン、携帯電話機、タブレット型パーソナルコンピューター、及び、ラップトップ型パーソナルコンピューターなどの携帯型端末である。撮像装置220は、情報処理装置20と別体に設けられてもよい。
図1には、情報処理装置20が、撮像装置220を内蔵したスマートフォンの形態で示されている。
【0014】
次いで、プロジェクター10、及び情報処理装置20のそれぞれの電気的な構成について、より詳細に説明する。
【0015】
[プロジェクター10の構成]
図2は、プロジェクター10の電気的な構成の一例を示す図である。
図2に示されるように、プロジェクター10は、第1の処理装置100と、第1の記憶装置120と、光学装置130と、第1の通信装置140と、操作入力装置150と、を含み、それぞれがバスに接続される。第1の処理装置100は、例えばCPU(Central Processing Unit)などの1つ又は複数のプロセッサーを含む。第1の処理装置100の機能の一部は、FPGA(Field Programmable Gate Array)等の回路によって構成されてもよい。第1の記憶装置120は、第1の処理装置100が読み取り可能な記録媒体である。第1の記憶装置120は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)、又はEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Random Access Memory)である。
本実施形態の第1の処理装置100は、プロジェクター10の各部を制御する第1の制御部101として機能する。第1の処理装置100は、その他の機能部として更に機能してもよい。
【0016】
光学装置130は、第1の制御部101による制御に基づいて、対象画像GOに基づく画像光LGを放出する装置である。具体的には、光学装置130は、光源と、光変調装置と、光学系と、を含む。光源は、放電ランプ、及び半導体光源などである。放電ランプの代表的な例は、ハロゲンランプ、キセノンランプ、及び超高圧水銀ランプなどである。半導体光源の代表的な例は、LED(light-emitting diode)、及びレーザーダイオードなどである。光変調装置は、第1の制御部101の制御に基づいて、光源の光を光変調する光変調素子を含む。光変調素子は、例えば、液晶パネル、及びデジタルミラーデバイス(Digital Micromirror Device)などである。光変調素子は、単一の液晶パネルまたはデジタルミラーデバイスであってもよく、複数の液晶パネルまたはデジタルミラーデバイスを含んでいてもよい。光学系は、光変調装置から出力された光の拡大率及び結像位置を調整する1又は複数の光学素子を含む。光学系の出力光が画像光LGとして光学装置130から放出され、投写面SPに投写される。
【0017】
第1の通信装置140は、情報処理装置20との間で通信する装置である。通信方式は、無線方式、及び有線方式のいずれでもよい。通信方式が無線方式である場合、第1の通信装置140は、例えば、アンテナ、RF(Radio Frequency)回路、及びベースバンド回路等を含む無線通信モジュールを備える。通信方式が有線方式である場合、第1の通信装置140は、通信ケーブルが接続されるコネクター、及び、コネクターを介して送受信する信号を処理するインターフェース回路を含む有線通信モジュールを備える。
第1の通信装置140の通信により、情報処理装置20からプロジェクター10へ各種の信号が与えられる。信号は、例えば、対象画像GOの画像データDGの信号、後述する第1の補正データ、及び第2の補正データの信号などである。
【0018】
操作入力装置150は、ユーザーUの操作による入力を受け付ける装置である。操作入力装置150は、例えば、プロジェクター10の本体に設けられたボタン、及び、プロジェクター10をリモートコントロールするリモートコントローラーなどである。
【0019】
[情報処理装置20の構成]
図3は、情報処理装置20の電気的な構成の一例を示す図である。
図3に示されるように、情報処理装置20は、第2の処理装置230と、第2の記憶装置240と、第2の通信装置250と、ディスプレイ210と、撮像装置220と、を含み、それぞれがバスに接続される。
第2の処理装置230は、例えば、上述のCPUなどのプロセッサーを含む。
第2の記憶装置240は、例えば、上述の不揮発性メモリーと上述の揮発性メモリーとを含む。
第2の通信装置250は、プロジェクター10の第1の通信装置140との間で通信する装置である。すなわち、第2の通信装置250は、第1の通信装置140に対応する通信方式、及び通信規格に応じた上述の無線通信モジュール、又は有線通信モジュールを備える。
【0020】
ディスプレイ210は、各種の情報を含む画像を表示する装置である。本実施形態のディスプレイ210は、入力装置としても用いられる。具体的には、ディスプレイ210は、第2の処理装置230の制御に基づき画像を表示する表示パネル212と、ユーザーUの操作による入力を出力するタッチセンサーパネル214と、を含む。本実施形態のディスプレイ210の外観の形状は、
図1に示されるように、長辺ALDと短辺ASDとを有する矩形状である。
【0021】
以下の説明において、ディスプレイ210の長辺ALDを鉛直CVに沿わせるようにユーザーUが、情報処理装置20の筐体200を保持する保持形態を「縦持ち」と称する。また、ディスプレイ210の短辺ASDを鉛直CVに沿わせるようにユーザーUが情報処理装置20の筐体200を保持する保持形態を「横持ち」と称する。なお、縦持ちは、ディスプレイ210の長辺ALDが鉛直CVと完全に平行な姿勢に限らず、長辺ALDが水平CHよりも鉛直CVに近い姿勢を含む。また、横持ちは、ディスプレイ210の短辺ASDが鉛直CVと完全に平行な姿勢に限らず、短辺ASDが水平CHよりも鉛直CVに近い姿勢を含む。
【0022】
図3に戻り、撮像装置220は、第2の処理装置230の制御に基づき、外部の被写体の撮像を実行し、撮像によって得られた撮像画像GCを出力する装置である。具体的には、撮像装置220は、結像光学系222と、撮像素子224と、を含む。結像光学系222は、被写体像を撮像素子224に結像させる光学素子を含む。撮像素子224は、被写体像の撮像画像GCの信号を出力する。撮像装置220において、撮像範囲Bの平面視における形状は、
図1に示される通り、長辺ALBと短辺ASBとを有する矩形状である。この撮像範囲Bの形状は、例えば、撮像素子224における撮像面の外形の形状、及び、結像光学系222が含むマスクのマスキング形状などによって規定される。
本実施形態の情報処理装置20において、撮像範囲Bの長辺ALB、及び短辺ASBの向きは、ディスプレイ210の長辺ALD、及び短辺ASDの方向に一致する。すなわち、撮像範囲Bの長辺ALBは、ディスプレイ210の長辺ALDに沿っており、また、撮像範囲Bの短辺ASBは、ディスプレイ210の短辺ASDに沿っている。したがって、ユーザーUは、投写画像GPのように水平CHに長い被写体を撮像するときには、情報処理装置20の筐体200を横持ちにすることで、被写体の全体を撮像範囲Bに収めやすくなる。なお、撮像範囲Bの長辺ALB、及び短辺ASBと、ディスプレイ210の長辺ALD、及び短辺ASDの方向とは完全に平行である必要はない。両者の間にズレがあってもよい。
【0023】
図3に戻り、上述の第2の記憶装置240は、アプリ242と、リソースデータ244と、を記憶する。アプリ242はプログラムの一例である。リソースデータ244は、アプリ242の実行に用いられるリソースデータである。リソースデータ244は、例えば、アプリ242の画面に対応するユーザーインターフェース画像GAUのデータ、及び、後述するパターン画像の画像データDG等のデータを含む。
本実施形態のアプリ242は、対象画像GOの形を補正するための画像補正処理を実行する機能を第2の処理装置230に実現させるプログラムを含む。第2の処理装置230は、このアプリ242を実行することで、投写制御部231、撮像制御部232、アプリ画面制御部233、入力取得部234、及び補正部235として機能する。
【0024】
投写制御部231は、プロジェクター10による対象画像GOの投写を制御する。具体的には、投写制御部231は、対象画像GOの画像データDGの信号をプロジェクター10に第2の通信装置250を介して与えることによって、対象画像GOの画像光LGをプロジェクター10に投写させる。
撮像制御部232は、撮像装置220を制御することで当該撮像装置220による撮像を実行し、撮像画像GCを取得する。
【0025】
アプリ画面制御部233は、画像補正処理の進行に応じて、ディスプレイ210に表示するユーザーインターフェース画像GAUを切り替える制御を実行する。
入力取得部234は、ユーザーインターフェース画像GAUに対するユーザーUの操作による入力をタッチセンサーパネル214の出力信号に基づいて取得することで、当該入力を受け付ける。
【0026】
補正部235は、対象画像GOの形を補正するための補正データを生成する。
本実施形態の補正部235は、被投写物OPの種類ごとに異なる方法を用いて対象画像GOの形を補正するための補正データを生成する。ただし、いずれの方法も、方法ごとにパターンが異なるパターン画像を対象画像GOとしてプロジェクター10から投写したときの投写画像GPを当該投写面SPともに撮像した撮像画像GCに基づいて補正データを生成する方法である。
【0027】
本実施形態において、被投写物OPの種類は、投写用に設計された物品であるか否かに応じて分類される。以下の説明では、投写用に設計された物品ではない被投写物OPを「第1種被投写物OP1」と称し、投写用に設計された物品の被投写物OPを「第2種被投写物OP2」と称する。
第1種被投写物OP1の代表的な例は、建築物の室内、又は屋外の壁などである。
第2種被投写物OP2の代表的な例は、投写用に販売されているスクリーン、及び、ボードなどである。
【0028】
本実施形態の分類によれば、第1種被投写物OP1と第2種被投写物OP2との間に、少なくとも2つの相違点がある。
1つ目の相違点は次の通りである。すなわち、第2種被投写物OP2の表面において投写面SPに用いられる投写範囲は、当該第2種被投写物OP2の表面を縁取る外形、又は、当該表面に付されたマークなどによって区画される。一方、第1種被投写物OP1の表面において投写面SPに用いられる範囲は明確には区画されない。
【0029】
2つ目の相違点は次の通りである。すなわち、第2種被投写物OP2の投写面SPの多くは平坦な面である。一方、第1種被投写物OP1の投写面SPの多くは平坦な面ではない。本開示において、平坦な面とは、完全に平らな面に制限されるものではない。すなわち、平坦な面とは、投写面SPに正対する位置から画像光LGが投写された状態において、所定の位置に居る視聴者が視認できる大きさの歪みを投写画像GPに生じさせる形状を含まない面である。投写画像GPに歪みを生じさせる形状は、例えば、投写面SPの奥行き方向への曲形状、凹形状、及び凸形状などである。曲形状は、例えば、湾曲形状、及び屈曲形状などである。また所定の位置は、例えば、プロジェクター10の仕様などによって規定される視聴距離だけ投写面SPから離れた位置である。
【0030】
上述の2つの相違点によれば、第2種被投写物OP2は、投写面SPとして用いられる投写範囲が明確に区画され、かつ、当該投写範囲の表面が平坦である物品と言える。一方、第1種被投写物OP1は、投写面SPとして用いられる投写範囲が明確には規定されておらず、また、当該投写面SPの表面が平坦でない可能性を有する物品と言える。
【0031】
そこで、本実施形態の補正部235は、被投写物OPが第1種被投写物OP1に該当する場合、投写面SPの表面が平坦な面でないために、当該表面の形状によって生じる歪みを解消できる方法を用いて対象画像GOの形を補正する。以下の説明では、この方法を「第1の方法」と称する。
また、補正部235は、被投写物OPが第2種被投写物OP2に該当する場合、投写面SPの投写範囲に投写画像GPを収めることができる方法を用いて対象画像GOの形を補正する。以下の説明では、この方法を「第2の方法」と称する。また、第2種被投写物OP2における投写面SPの投写範囲を縁取る線を「輪郭J」と称する。輪郭Jについては
図5を参照して後述する。
【0032】
上述の通り、第1の方法、及び第2の方法のいずれも、互いに異なるパターン画像を対象画像GOとしてプロジェクター10から投写する。以下の説明において、第1の方法に対応するパターン画像を「第1のパターン画像GOP1」と称し、第2の方法に対応するパターン画像を「第2のパターン画像GOP2」と称する。なお、本実施形態の第2の方法は、詳細は後述するが、第2のパターン画像GOP2をプロジェクター10から投写すること、の他に、当該第2のパターン画像GOP2とは異なる第3のパターン画像GOP3を対象画像GOとしてプロジェクター10から投写すること、を含む。
【0033】
また、以下の説明において、第1のパターン画像GOP1の投写によって投写面SPに現れる投写画像GPを「第1の投写画像GP1」と称し、当該第1の投写画像GP1と投写面SPとを含む撮像画像GCを「第1の撮像画像GC1」と称する。
第2のパターン画像GOP2の投写によって投写面SPに現れる投写画像GPを「第2の投写画像GP2」と称し、当該第2の投写画像GP2と投写面SPとを含む撮像画像GCを「第2の撮像画像GC2」と称する。
第3のパターン画像GOP3の投写によって投写面SPに現れる投写画像GPを「第3の投写画像GP3」と称し、当該第3の投写画像GP3と投写面SPとを含む撮像画像GCを「第3の撮像画像GC3」と称する。
【0034】
[パターン画像の例示]
図4は第1のパターン画像GOP1、第2のパターン画像GOP2、及び第3のパターン画像GOP3の一例を示す図である。
第1のパターン画像GOP1は、画像における縦方向F1、及び横方向F2のそれぞれに所定の間隔でドットEが並んだパターンを示す矩形状の画像である。各ドットEは、投写面SPにおける検出点であり、第1の補正量の算出対象のポイントに対応する。すなわち、ドットEの密度が高いほど、投写面SPがより精細に検出されるため、より精細な補正が実現される。
【0035】
検出点である各ドットEにおいて求められる第1の補正量は、投写面SPの表面の凹凸等の形状によって生じる、奥行き方向への投写位置のずれ量を補正する値である。すなわち、本実施形態の補正部235は、第1のパターン画像GOP1における各ドットEの位置と、上述の第1の撮像画像GC1における各ドットEの位置と、に基づいて、第1のパターン画像GOP1におけるドットEごとに上述の第1の補正量を算出する。なお、第1のパターン画像GOP1における各ドットEの位置はプロジェクター座標系における位置であり、第1の撮像画像GC1における各ドットEの位置はカメラ画像座標系における位置である。プロジェクター座標系は、第1のパターン画像GOP1などの対象画像GOにおける位置を一意に特定する座標系である。カメラ画像座標系は、撮像装置220の撮像によって取得された撮像画像GCにおける位置を一意に特定する座標系である。
【0036】
対象画像GOの形が各第1の補正量に基づいて補正されることで、凹凸等の形状によって生じる歪みが抑えられた投写画像GPが得られる。なお、補正部235は、第1のパターン画像GOP1における各ドットEの第1の補正量に基づく補間により、各ドットEの間の位置における第1の補正量を求めてもよい。
【0037】
本実施形態において、第1のパターン画像GOP1を用いて第1の補正量を求めること、を含む方法が、上述の第1の方法に対応する。
【0038】
第2のパターン画像GOP2は、第1の色で塗られた四角形と、第2の色で塗られた四角形とが交互に縦方向、及び横方向のそれぞれに並べられたパターン部PT、を含む画像である。本実施形態において、第1の色は白色であり、第2の色は黒色である。また、パターン部PTが示すパターンは、一般に、チェッカーパターンと呼ばれる。以下の説明において、パターン部PTが含む四角形のそれぞれの各頂点を「チェッカーコーナーPTC」と称する。
【0039】
パターン部PTの各チェッカーコーナーPTCが投写面SPにおける検出点であり、各検出点が上述のプロジェクター座標系とカメラ画像座標系との対応関係の取得に用いられる。また、パターン部PTは、第2種被投写物OP2における投写範囲を区画する輪郭Jの検出に用いられる。
具体的には、本実施形態の補正部235は、第2のパターン画像GOP2における検出点である各チェッカーコーナーPTCの位置と、上述の第2の撮像画像GC2における検出点である各チェッカーコーナーPTCの位置と、に基づいて、射影変行列を求める。射影変換行列は、カメラ画像座標系をプロジェクター座標系へ変換する行列である。さらに、補正部235は、第2の撮像画像GC2において、パターン部PTの全体を包囲する位置にある線、又は、投写範囲を示すマークに基づき、第2種被投写物OP2における投写範囲の輪郭Jを検出する。そして、補正部235は、投写画像GPを投写範囲に収めるために対象画像GOの形を補正する第2の補正量を、撮像画像GCにおける輪郭J、及び、上述の射影変換行列に基づいて求める。
なお、補正部235は、第2のパターン画像GOP2における各チェッカーコーナーPTCの位置と、撮像画像GCにおける各チェッカーコーナーPTCの位置と、に基づいて、投写画像GPのロール角方向への回転を補正するための補正量を求め、当該補正量を第2の補正量に含めてもよい。ロール角方向は、投写面SPの法線方向を中心とする回転方向である。
【0040】
本実施形態において、第2のパターン画像GOP2を用いて第2の補正量を求めること、を含む方法が、上述の第2の方法に対応する。
【0041】
ここで、第2の方法において、第2のパターン画像GOP2のチェッカーコーナーPTCの密度が第1のパターン画像GOP1のドットEの密度より小さくても、プロジェクター座標系とカメラ画像座標系との対応関係、及び輪郭Jが求められる。加えて、上述の通り、第2種被投写物OP2は、投写範囲の表面が比較的平坦であり、表面内の凹凸等の形状による歪みは目立たないため、上述の第1の補正量を求める必要はない。
したがって、第2のパターン画像GOP2において、パターン部PTの検出点であるチェッカーコーナーPTCの密度は、第1のパターン画像GOP1の検出点であるドットEの密度よりも小さくなっている。
この結果、第2のパターン画像GOP2は、第1のパターン画像GOP1よりも、検出点であるチェッカーコーナーPTCの数が少なくなるため、第2のパターン画像GOP2を用いた処理の高速化が図られる。
また、投写面SPの表面の凹凸などの形状によって、第2の投写画像GP2に歪みが生じた場合でも、検出点であるチェッカーコーナーPTCの密度が小さい分、歪みによって位置がずれるチェッカーコーナーPTCの数が抑えられる。この結果、投写面SPの表面が凹凸などの対象の形状を含む場合でも、当該形状による影響が抑えられ、第2の補正量が正常に求められず、第2の補正データの生成に失敗する、といった事態が防止される。換言すれば、第2の補正量の算出、及び第2の補正データの生成について、チェッカーコーナーPTCの位置ずれ等の検出誤差、及びノイズに対する耐性が高められる。
【0042】
さて、本実施形態の第2のパターン画像GOP2において、パターン部PTのサイズは、第2のパターン画像GOP2の中央に比較的小さく、また、パターン部PTの周囲に、模様が付されていないマージン領域部PTMが設けられる。パターン部PTのサイズは例えば、第2のパターン画像GOP2の1/2などである。
この第2のパターン画像GOP2によれば、仮に第2の投写画像GP2が投写範囲よりも大きい状態であっても、第2の投写画像GP2におけるパターン部PTが投写範囲に収まる確実性が高められる。
【0043】
しかしながら、パターン部PTのサイズが小さいため、例えば、
図5に示すように、第2の投写画像GP2におけるパターン部PTが投写面SPの投写範囲を示す輪郭Jに対して小さくなり易い。一方、プロジェクター座標系とカメラ画像座標系との対応関係を示す射影変換行列、及び投写範囲の輪郭Jは、パターン部PTが投写範囲内に大きく映っているほど高い精度で求められる。
すなわち、第2のパターン画像GOP2を用いて求められた第2の補正量の精度は、向上の余地が十分にある。
そこで、本実施形態の第2の方法は、第2の撮像画像GC2に基づいて輪郭J、及び、射影変換行列を求めることの後に、当該第2のパターン画像GOP2とは異なる第3のパターン画像GOP3をプロジェクター10から投写することと、当該投写によって現れる第3の投写画像GP3を撮像した上記第3の撮像画像GC3に基づいて、輪郭J、及び、射影変換行列を、再度、求めることと、を含む。
かかる第2の方法によれば、輪郭J、及び、射影変換行列の精度が高められ、結果として、第2の補正量の精度も高められる。
【0044】
第2の方法における第3のパターン画像GOP3は、
図4に示すように、パターン部PTのサイズを第2のパターン画像GOP2よりも大きくした画像である。より具体的には、この第3のパターン画像GOP3のパターン部PTは、第2のパターン画像GOP2のパターン部PTのサイズを基準に、第2の撮像画像GC2に基づいて求められた輪郭Jと、当該第2の撮像画像GC2におけるパターン部PTとの間の距離に基づいて、拡大されたものである。第3のパターン画像GOP3の生成は、例えば、補正部235によって行われる。
【0045】
[情報処理装置の動作]
A:画像補正処理
図6、及び
図7は、情報処理装置20による画像補正処理の一例を示すフローチャートである。
図8、及び9は、画像補正処理の進行に伴ってディスプレイ210に表示されるユーザーインターフェース画像GAUの遷移の一例を示す図である。
情報処理装置20においてアプリ242が起動されると、
図6に示すように、第2の処理装置230のアプリ画面制御部233が第1のユーザーインターフェース画像GAU1をディスプレイ210に表示する(ステップSa1)。第1のユーザーインターフェース画像GAU1は、
図8に示すように、アプリ242の起動中であることをユーザーUに通知する画像である。
【0046】
次いで、
図6に示すように、アプリ画面制御部233は、第2のユーザーインターフェース画像GAU2をディスプレイ210に表示する(ステップSa2)。第2のユーザーインターフェース画像GAU2は、
図8に示すように、第1の方法、及び第2の方法のいずれかを選択する操作を入力すること、に用いられる画像である。
上述の通り、第1の方法は、被投写物OPが第1種被投写物OP1である場合に対応する。第2の方法は、被投写物OPが第2種被投写物OP2である場合に対応する。この第2種被投写物OP2の投写面SPは、上述の通り、投写範囲を区画する輪郭Jを含む。
そして、第2のユーザーインターフェース画像GAU2は、第1種被投写物OP1を示唆する第1の選択候補画像H21と、投写面SPが輪郭Jを含む第2種被投写物OP2を示唆する第2の選択候補画像H22と、を含む。
ディスプレイ210において、第1の選択候補画像H21、及び第2の選択候補画像H22の表示領域がタッチボタンとして機能する。
したがって、ユーザーUが第1の選択候補画像H21、及び第2の選択候補画像H22のいずれかをタッチ操作することで、第1の方法、及び第2の方法のいずれかが選択される。
【0047】
図6に示すように、ユーザーUが第1の選択候補画像H21、及び第2の選択候補画像H22のいずれかをタッチ操作によって選択した場合、選択したことを示す操作の入力を入力取得部234が受け付ける(ステップSa3)。なお、このステップSa3において、第1の方法、及び前記第2の方法のいずれかを選択することは、被投写物OPが第1種被投写物OP1、及び第2種被投写物OP2のいずれかを選択すること、すなわち、投写面SPが投写範囲を区画する輪郭Jを含むか否かの選択を受け付けることを含む。
そして、入力取得部234は、第1の方法、及び第2の方法のどちらの方法がユーザーUによって選択されたかを、タッチ操作された第1の選択候補画像H21、及び第2の選択候補画像H22に基づいて判定する(ステップSa4)。
【0048】
第1の方法が選択された場合(ステップSa4:第1の方法)、アプリ画面制御部233は、第3のユーザーインターフェース画像GAU3をディスプレイ210に表示する(ステップSa5)。
第3のユーザーインターフェース画像GAU3は、
図8に示すように、次の4つの事項をユーザーUに通知する画像である。
第1の事項は、台形歪み補正が完了済みであることの確認である。第2の事項は、台形歪み補正が完了済みの投写画像GPの形である。第3の事項は、台形歪み補正が未完了の場合に手動操作によって台形歪み補正を実行することである。第4の事項は、台形歪み補正が完了済みであることを示す操作の入力が必要なことである。
第3のユーザーインターフェース画像GAU3において、第1の事項は文字列情報H31によって通知され、第2の事項は挿画H32によって通知され、第3の事項は文字列情報H33によって通知され、また、第4の事項はボタン画像H34によって通知される。ディスプレイ210において、ボタン画像H34の表示領域がタッチボタンとして機能する。ユーザーUがボタン画像H34をタッチ操作することで、台形歪み補正が完了済みであることを示す操作が入力される。
【0049】
なお、台形歪みは、プロジェクター10が投写面SPに対して傾いて設置された場合に投写画像GPが台形状に変形する現象である。台形歪み補正は、矩形状の対象画像GOにおいて、四隅のうちの1又は複数の角部の位置を調整することで実施される。また、手動操作による台形歪み補正は、対象画像GOの角部の位置を調整するために、ユーザーUがプロジェクター10の操作入力装置150を操作することによって行われる。
【0050】
図6に示すように、台形歪み補正が完了済みであることを示す操作の入力を入力取得部234が受け付けた場合(ステップSa6)、アプリ画面制御部233は、第4のユーザーインターフェース画像GAU4をディスプレイ210に表示する(ステップSa7)。
第4のユーザーインターフェース画像GAU4は、
図8に示すように、次の3つの事項をユーザーUに通知する画像である。
第1の事項は、上述の第1のパターン画像GOP1の投写による第1の投写画像GP1の撮像を行うことである。第2の事項は、撮像の仕方の説明であり、具体的には、撮像時のディスプレイ210の向きである。第3の事項は、プロジェクター10による第1のパターン画像GOP1の投写を指示する操作を入力することである。
第4のユーザーインターフェース画像GAU4において、第1の事項は文字列情報H41によって通知され、第2の事項は文字列情報H42、及び挿画H43によって通知される。また、第3の事項はボタン画像H44によって通知される。ディスプレイ210において、ボタン画像H44の表示領域がタッチボタンとして機能する。ユーザーUがボタン画像H44をタッチ操作することで、第1のパターン画像GOP1の投写を開始する操作が入力される。
【0051】
図6に示すように、第1のパターン画像GOP1の投写を指示する操作の入力を入力取得部234が受け付けた場合(ステップSa8)、投写制御部231は、第1のパターン画像GOP1をプロジェクター10から投写するための制御を行う(ステップSa9)。具体的には、投写制御部231は、第1のパターン画像GOP1の画像データDGを第2の記憶装置240から読み出す。そして、投写制御部231は、画像データDGをプロジェクター10へ第2の通信装置250を介して与え、第1のパターン画像GOP1をプロジェクター10に投写させる。この結果、プロジェクター10から第1のパターン画像GOP1が投写され、当該第1のパターン画像GOP1に対応した第1の投写画像GP1が投写面SPに現れる。
【0052】
次いで、アプリ画面制御部233は、第5のユーザーインターフェース画像GAU5をディスプレイ210に表示する(ステップSa10)。
第5のユーザーインターフェース画像GAU5は、
図8に示すように、第1の投写画像GP1と投写面SPとを含む第1の撮像画像GC1を手動で撮像することによって取得すること、に用いられる画像である。
具体的には、第5のユーザーインターフェース画像GAU5は、撮像装置220のファインダー映像を表示するファインダー表示領域H51と、第1の投写画像GP1の撮像の仕方をユーザーUに通知する文字列情報H52と、シャッターボタン画像H53と、を含む。
【0053】
本実施形態において、ファインダー表示領域H51は、撮像範囲Bと同じアスペクト比の長辺ALHと短辺ASHとを有した矩形状の領域である。第5のユーザーインターフェース画像GAU5において、ディスプレイ210の短辺ASDとファインダー表示領域H51の短辺ASHとが平行になる向きで当該ファインダー表示領域H51が配置される。この配置により、ファインダー表示領域H51の短辺ASHと、ディスプレイ210の長辺ALDとが平行になる向きで当該ファインダー表示領域H51を表示する場合に比べ、ファインダー表示領域H51の表示面積が大きくなる。
文字列情報H52は、ファインダー表示領域H51に重畳され、ファインダー表示領域H51によって阻害されることなく視認性が確保される。
シャッターボタン画像H53は、撮像を指示する操作を入力するための画像であり、シャッターボタン画像H53の表示領域がタッチボタンとして機能する。ユーザーUがシャッターボタン画像H53をタッチ操作することで、撮像を指示する操作が入力される。
【0054】
図6に示すように、撮像を指示する操作の入力を入力取得部234が受け付けた場合(ステップSa11)、撮像制御部232は、撮像装置220を制御することで撮像を実行する(ステップSa12)。この撮像により、第1のパターン画像GOP1に対応する第1の投写画像GP1と、投写面SPとを含む第1の撮像画像GC1が取得される。
【0055】
次いで、補正部235が、第1の撮像画像GC1に基づいて、対象画像GOの形を補正するための第1の補正データを生成する(ステップSa13)。第1の補正データは、対象画像GOの形を、上述した第1の方法を用いて補正するためのデータである。本実施形態では、第1の補正データは、上述の第1の補正量を含むデータである。
【0056】
そして、投写制御部231は、第1の補正データをプロジェクター10へ第2の通信装置250を介して送信する(ステップSa14)。プロジェクター10において、第1の処理装置100の例えば第1の制御部101が、第1の補正データに基づいて対象画像GOの形を補正することで、投写画像GPの歪みが抑えられる。
【0057】
その後、アプリ画面制御部233は、第6のユーザーインターフェース画像GAU6をディスプレイ210に表示する(ステップSa15)。
第6のユーザーインターフェース画像GAU6は、
図8に示すように、補正が完了したことをユーザーUに通知する画像である。
【0058】
図6に示すように、上述のステップSa3においてユーザーUによって第2の方法が選択された場合(ステップSa4:第2の方法)、
図7に示すように、アプリ画面制御部233が第7のユーザーインターフェース画像GAU7をディスプレイ210に表示する(ステップSa16)。
第7のユーザーインターフェース画像GAU7は、
図9に示すように、次の3つの事項をユーザーUに通知する画像である。
第1の事項は、投写画像GPが投写面SPの投写範囲よりも大きい状態とする位置にプロジェクター10の位置を手動で調整することである。第2の事項は、投写画像GPが投写面SPの投写範囲よりも大きい状態の例示である。第3の事項は、プロジェクター10の位置が調整済みであることを示す操作の入力である。
第7のユーザーインターフェース画像GAU7において、第1の事項は文字列情報H71によって通知され、第2の事項は挿画H72によって通知される。また、第3の事項はボタン画像H73によって通知される。ディスプレイ210において、ボタン画像H73の表示領域がタッチボタンとして機能する。ユーザーUがボタン画像H73をタッチ操作することで、プロジェクター10の位置が調整済みであり、投写画像GPが投写面SPの投写範囲よりも大きい状態であることを示す操作が入力される。
【0059】
図7に示すように、投写画像GPが投写面SPの投写範囲よりも大きい状態であることを示す操作の入力を入力取得部234が受け付けた場合(ステップSa17)、アプリ画面制御部233は、第8のユーザーインターフェース画像GAU8をディスプレイ210に表示する(ステップSa18)。
第8のユーザーインターフェース画像GAU8は、
図9に示すように、次の3つの事項をユーザーUに通知する画像である。第1の事項は、互いに異なる第2のパターン画像GOP2、及び、第3のパターン画像GOP3の投写ごとに撮像を行うことである。第2の事項は、撮像の仕方の説明であり、具体的には、撮像時のディスプレイ210の向きである。第3の事項は、プロジェクター10による第2のパターン画像GOP2の投写を指示する操作の入力である。
第1の事項の通知により、本実施形態の第2の方法は、2回の撮像を含むことがユーザーUに通知される。
【0060】
第8のユーザーインターフェース画像GAU8において、第1の事項は文字列情報H81によって通知され、第2の事項は文字列情報H82、及び挿画H83によって通知され、第3の事項はボタン画像H84によって通知される。ディスプレイ210において、ボタン画像H84の表示領域がタッチボタンとして機能する。ユーザーUがボタン画像H84をタッチ操作することで、第2のパターン画像GOP2の投写を開始する操作が入力される。
【0061】
図7に示すように、第2のパターン画像GOP2の投写を指示する操作の入力を入力取得部234が受け付けた場合(ステップSa19)、投写制御部231は、第2のパターン画像GOP2をプロジェクター10から投写するための制御を行う(ステップSa20)。このステップSa20における投写制御部231の具体的な処理については、ステップSa9と同様である。ステップSa20の処理の結果、プロジェクター10から第2のパターン画像GOP2が投写され、当該第2のパターン画像GOP2に対応した第2の投写画像GP2が投写面SPに現れる。
【0062】
次いで、アプリ画面制御部233は、第9のユーザーインターフェース画像GAU9をディスプレイ210に表示する(ステップSa21)。
第9のユーザーインターフェース画像GAU9は、
図9に示すように、第2の投写画像GP2と投写面SPとを含む第2の撮像画像GC2を手動で撮像することによって取得すること、に用いられる画像である。
具体的には、第9のユーザーインターフェース画像GAU9は、ファインダー表示領域H91と、文字列情報H92と、シャッターボタン画像H93と、を含む。ファインダー表示領域H91、文字列情報H92、及びシャッターボタン画像H93の外観のそれぞれの形状、及び向きはいずれも、
図8に示した第5のユーザーインターフェース画像GAU5のファインダー表示領域H51、文字列情報H52、及びシャッターボタン画像H53と同じである。また、文字列情報H92が示す撮像の仕方は、第2の方法に因んだ内容となっている。
【0063】
図7に示すように、撮像を指示する操作の入力を入力取得部234が受け付けた場合(ステップSa22)、撮像制御部232は、撮像装置220を制御することで、投写面SPの撮像を実行する(ステップSa23)。この撮像により、第2のパターン画像GOP2に対応する第2の投写画像GP2と、投写面SPとを含む第2の撮像画像GC2が取得される。
【0064】
次いで、補正部235が、第2の撮像画像GC2に基づいて、対象画像GOの形を補正するための第2の補正データを生成する(ステップSa24)。第2の補正データは、対象画像GOの形を、上述した第2の方法を用いて補正するためのデータである。本実施形態では、第2の補正データは、上述の第2の補正量を含むデータである。
【0065】
次に、補正部235は、第2のパターン画像GOP2におけるパターン部PTを、第2の補正データによって示される投写範囲の輪郭Jに基づいて拡大し、当該パターン部PTを含む第3のパターン画像GOP3を生成する(ステップSa25)。そして、投写制御部231が、第3のパターン画像GOP3をプロジェクター10から投写するための制御を行う(ステップSa26)。具体的には、投写制御部231は、ステップSa25において生成された第3のパターン画像GOP3の画像データDGをプロジェクター10へ第2の通信装置250を介して与え、第3のパターン画像GOP3をプロジェクター10に投写させる。この結果、プロジェクター10から第3のパターン画像GOP3が投写され、当該第3のパターン画像GOP3に対応した第3の投写画像GP3が投写面SPに現れる。
【0066】
次に、アプリ画面制御部233は、第10のユーザーインターフェース画像GAU10をディスプレイ210に表示する(ステップSa27)。
第10のユーザーインターフェース画像GAU10は、
図9に示すように、第3のパターン画像GOP3に対応する第3の投写画像GP3と投写面SPとを含む第3の撮像画像GC3を手動で撮像することによって取得すること、に用いられる画像である。
第10のユーザーインターフェース画像GAU10は、第9のユーザーインターフェース画像GAU9と同様に、ファインダー表示領域H101と、文字列情報H102と、シャッターボタン画像H103と、を含む。また、ファインダー表示領域H101、文字列情報H102、及びシャッターボタン画像H103の外観のそれぞれの形状はいずれも、第9のユーザーインターフェース画像GAU9のファインダー表示領域H91、文字列情報H92、及びシャッターボタン画像H93と同じである。
【0067】
図7に示すように、撮像を指示する操作の入力を入力取得部234が受け付けた場合(ステップSa28)、撮像制御部232は、撮像装置220を制御することで撮像を実行する(ステップSa29)。この撮像により、第3のパターン画像GOP3に対応する第3の投写画像GP3と投写面SPとを含む第3の撮像画像GC3が取得される。
【0068】
次いで、補正部235が、第3の撮像画像GC3に基づいて、対象画像GOの形を補正するための第2の補正データを、再度、生成する(ステップSa30)。この結果、より精度が高い第2の補正データが得られる。
【0069】
そして、投写制御部231は、ステップSa30において得られた第2の補正データをプロジェクター10へ第2の通信装置250を介して送信する(ステップSa31)。プロジェクター10において、第1の処理装置100の例えば第1の制御部101が、第2の補正データに基づいて対象画像GOの形を補正することで、投写面SPの投写範囲に投写画像GPが収められる。
【0070】
その後、アプリ画面制御部233は、上述したステップSa15に処理を進め、第6のユーザーインターフェース画像GAU6をディスプレイ210に表示する。
【0071】
なお、上述の画像補正処理において、プロジェクター10が第1の補正データ、又は第2の補正データに基づいて、対象画像GOの形を補正する代わりに、情報処理装置20が第1の補正データ、又は第2の補正データに基づいて、対象画像GOの形を補正してもよい。この場合、ステップSa14における第1の補正データの送信、及び、ステップSa31における第2の補正データの送信は不要である。また、この場合、情報処理装置20は、補正後の対象画像GOをプロジェクター10に送信する。
【0072】
B:ユーザーインターフェース画像の表示処理
図8、及び9に示す通り、画像補正処理の進行に伴って、第1のユーザーインターフェース画像GAU1から第10のユーザーインターフェース画像GAU10のユーザーインターフェース画像GAUが1つずつディスプレイ210に、情報処理装置20のアプリ画面制御部233の制御によって表示される。
【0073】
また、本実施形態のアプリ画面制御部233は、表示対象のユーザーインターフェース画像GAUが、プロジェクター10から対象画像GOが投写される投写面SPと、プロジェクター10からの対象画像GOの投写によって当該投写面SPに現れる投写画像GPと、を含む撮像画像GCを撮像することによって取得すること、に用いられる第2の画像に該当するか否かに応じて、当該ユーザーインターフェース画像GAUを第1の向きK1、及び第2の向きK2のいずれかの向きで表示する。
本実施形態の一群のユーザーインターフェース画像GAUのうち、第5のユーザーインターフェース画像GAU5、第9のユーザーインターフェース画像GAU9、及び第10のユーザーインターフェース画像GAU10が第2の画像に該当する。なお、一群のユーザーインターフェース画像GAUのうち、第2の画像以外の画像を「第1の画像」と称する。すなわち、本実施形態において、第1の画像は、第1のユーザーインターフェース画像GAU1から第4のユーザーインターフェース画像GAU4、及び第6のユーザーインターフェース画像GAU6から第8のユーザーインターフェース画像GAU8のそれぞれである。
【0074】
図10は、第1の向きK1、及び第2の向きK2と、ユーザーインターフェース画像GAUの向きLとの説明図である。
図10に示すように、第1の向きK1は、ディスプレイ210の長辺ALDに沿う向きである。第2の向きK2は、ディスプレイ210の短辺ASDに沿う向きである。
【0075】
また、ユーザーインターフェース画像GAUの向きLは、当該ユーザーインターフェース画像GAUが含む画像オブジェクトGAUOのうち、向きが一意に定まる画像オブジェクトGAUOの当該向きによって決定される。
例えば、
図10の形態Aに示すように、画像オブジェクトGAUOが、文字列によって情報をユーザーUに通知する画像である場合、画像オブジェクトGAUOの向きLは、当該文字列の文字の上下の向きとなる。
また例えば、
図10の形態Bに示すように、画像オブジェクトGAUOが、アイコンなどの図像を示す画像である場合、当該図像の上下の向きとなる。なお、図像は、円形や正方形といった、上下の向きが特定されない単純な図形のみを含むものでないとする。
【0076】
図11は、画像補正処理の進行に伴うユーザーインターフェース画像GAUの表示処理の一例を示す図である。
アプリ画面制御部233は、
図11に示すように、先ず、第1のユーザーインターフェース画像GAU1から第2のユーザーインターフェース画像GAU2の向きLを、第1の向きK1で表示する(ステップSb1)。このステップSb1の処理により、
図8に示すように、例えば、第2のユーザーインターフェース画像GAU2において、第1の選択候補画像H21、及び第2の選択候補画像H22が第1の向きK1を向いた状態で表示される。
【0077】
次いで、
図11に示すように、第2のユーザーインターフェース画像GAU2において、第1の方法が選択された場合(ステップSb2:第1の方法)、アプリ画面制御部233は、第3のユーザーインターフェース画像GAU3から第4のユーザーインターフェース画像GAU4を、第1の向きK1を向いた状態で表示する(ステップSb3)。このステップSb3の処理により、
図8に示すように、例えば、第4のユーザーインターフェース画像GAU4において、文字列情報H41、H42、及び挿画H43などが第1の向きK1を向いた状態で表示される。
【0078】
次に、アプリ画面制御部233は、上記第2の画像に該当する第5のユーザーインターフェース画像GAU5を、第2の向きK2で表示する(ステップSb4)。このステップSb4の処理により、
図8に示すように、第5のユーザーインターフェース画像GAU5において、文字列情報H52が第2の向きK2を向いた状態で表示される。
多くのユーザーUは、第5のユーザーインターフェース画像GAU5が第2の向きK2で表示された場合、撮像の仕方を示す文字列情報H52を読み取り易くするために、ディスプレイ210の短辺ASDが鉛直CVに近い姿勢、すなわち、上述の横持ちで情報処理装置20を保持する。したがって、第5のユーザーインターフェース画像GAU5が第2の向きK2を向いた状態で表示されることにより、当該第5のユーザーインターフェース画像GAU5の直前の第4のユーザーインターフェース画像GAU4が第1の向きK1を向いた状態で表示されている場合でも、横持ちで情報処理装置20を保持する、という動作がユーザーUに誘起される。
【0079】
一方、第1のパターン画像GOP1の投写に対応する第1の投写画像GP1は、水平CHに長い矩形状である。また、本実施形態の情報処理装置20において、上述の通り、撮像範囲Bの長辺ALB、及び短辺ASBの向きは、ディスプレイ210の長辺ALD、及び短辺ASDの向きに一致する。
したがって、横持ちで情報処理装置20が保持されることで、第1の投写画像GP1の全体を含む第1の撮像画像GC1が、より確実に取得される。
この結果、第1の撮像画像GC1において、一部のパターンが欠落するといった事態が防止される。この結果、当該パターンの欠落によって、正常な補正データが得られない、といった事態を防止できる。
【0080】
また、第5のユーザーインターフェース画像GAU5が含む文字列情報H52は、撮像時に横持ちで情報処理装置20を保持することをユーザーUに通知する内容を含む。
第5のユーザーインターフェース画像GAU5が文字列情報H52を含むことで、より確実に、横持ちで情報処理装置20を保持する、という指示がユーザーUに伝えられる。
【0081】
図11に示すように、その後、アプリ画面制御部233は、第6のユーザーインターフェース画像GAU6を、第1の向きK1を向いた状態で表示し(ステップSb5)、処理を終了する。
【0082】
また、第2のユーザーインターフェース画像GAU2において、第2の方法が選択された場合(ステップSb2:第2の方法)、アプリ画面制御部233は、第7のユーザーインターフェース画像GAU7から第8のユーザーインターフェース画像GAU8を、第1の向きK1を向いた状態で表示する(ステップSb6)。このステップSb6の処理により、
図9に示すように、例えば、第8のユーザーインターフェース画像GAU8において、文字列情報H81、H82、及び挿画H83などが第1の向きK1を向いた状態で表示される。
【0083】
次いで、
図11に示すように、アプリ画面制御部233は、上記第2の画像に該当する第9のユーザーインターフェース画像GAU9から第10のユーザーインターフェース画像GAU10を、第2の向きK2を向いた状態で表示する(ステップSb7)。このステップSb7の処理により、
図9に示すように、第9のユーザーインターフェース画像GAU9において、文字列情報H92が第2の向きK2を向いた状態で表示され、また、第10のユーザーインターフェース画像GAU10において、文字列情報H102が第2の向きK2を向いた状態で表示される。
このステップSb7の処理により、ステップSb4の処理と同様に、第9のユーザーインターフェース画像GAU9の直前の第8のユーザーインターフェース画像GAU8が第1の向きK1を向いた状態で表示されている場合でも、横持ちで情報処理装置20を保持する、という動作がユーザーUに誘起される。そして、横持ちで情報処理装置20が保持されることで、水平CHに長い第2の投写画像GP2の全体を含む第2の撮像画像GC2、及び第3の投写画像GP3の全体を含む第3の撮像画像GC3が、より確実に取得される。
したがって、第2の撮像画像GC2、及び第3の撮像画像GC3において、一部のパターンが欠落するといった事態が防止される。この結果、当該パターンの欠落によって、正常な補正データが得られない、といった事態を防止できる。
【0084】
また、第9のユーザーインターフェース画像GAU9が含む文字列情報H92、及び、第10のユーザーインターフェース画像GAU10が含む文字列情報H102のいずれも撮像時に横持ちで情報処理装置20を保持することをユーザーUに通知する内容を含む。
したがって、第5のユーザーインターフェース画像GAU5と同様に、より確実に、横持ちで情報処理装置20を保持する、という指示がユーザーUに伝えられる。
【0085】
上述した情報処理装置20が備える第2の処理装置230は、次の一連の処理を実行する。処理の1つは、プロジェクター10から投写面SPに投写される対象画像GOの形を補正する第1の方法、及び、当該対象画像GOの形を補正する方法であり、かつ第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることである(
図6:ステップSa3)。また、処理の1つは、第1の方法が選択された場合に、プロジェクター10に第1のパターン画像GOP1を投写させるための信号を出力することである(
図6:ステップSa9)。また、処理の1つは、投写面SPを撮像することによって取得される、第1のパターン画像GOP1の投写によって投写面SPに現れる第1の投写画像GP1と、投写面SPとを含む第1の撮像画像GC1に基づいて、第1の方法を用いて対象画像GOの形を補正するための第1の補正データを生成することである(
図6:ステップSa13)。また、処理の1つは、第2の方法が選択された場合に、プロジェクター10に、第1のパターン画像GOP1とは異なる第2のパターン画像GOP2を投写させる信号を出力することである(
図7:ステップSa20)。また、処理の1つは、投写面SPを撮像することによって取得される、第2のパターン画像GOP2の投写によって投写面SPに現れる第2の投写画像GP2と、投写面SPとを含む第2の撮像画像GC2に基づいて、第2の方法を用いて対象画像GOの形を補正するための第2の補正データを生成することである(
図7:ステップSa24)。
【0086】
第2の処理装置230が、この一連の処理を実行することにより、第1の方法、及び第2のそれぞれの方法において互いに異なる適切な第1のパターン画像GOP1、及び第2のパターン画像GOP2が用いられる。
したがって、第1の方法、及び第2の方法の両方で、例えば、同じパターンの画像が用いられることにより、補正データの精度が高くない、又は、補正データが正常に求められずに失敗する、といった事態が抑えられる。
この結果、より精度が高い補正データによって高品質な投写画像GPが得られ、また、ユーザーUが複数回に亘って補正のための操作を繰り返す事態の発生が低減されるため、当該ユーザーUの利便性が向上する。
【0087】
本実施形態において、上記入力を受け付けることは(
図6:ステップSa3)、投写面SPが投写範囲を区画する輪郭Jを含むか否かの選択を受け付けることを含む。
したがって、ユーザーUは、投写面SPが投写範囲の輪郭Jを含むか否かによって第1の方法、及び第2の方法のいずれかを選択し、補正を適切に行うことができる。
【0088】
本実施形態において、第1の方法は、投写面SPの表面の形状に基づいて、対象画像GOの形を補正すること、を含む。
この第1の方法により、投写面SPの表面が平坦な面でなく、当該表面の形状に起因して投写画像GPに歪みが生じる場合に対応する補正を、第1のパターン画像GOP1を用いて適切に行うことができる。
【0089】
本実施形態において、第2の方法は、プロジェクター10による対象画像GOの投写によって投写面SPに現れる投写画像GPを、投写面SPにおける投写範囲に収める補正を含む。
この第2の方法により、ユーザーUは、投写範囲の輪郭Jに投写画像GPを収めるための補正を、第2のパターン画像GOP2を用いて適切に行うことができる。
【0090】
本実施形態において、第2の処理装置230が実行する一連の処理は、次の処理を含む。すなわち、第2の方法が選択された場合に、プロジェクター10に、第1のパターン画像GOP1、及び第2のパターン画像GOP2とは異なる第3のパターン画像GOP3を投写させる信号を出力することである(
図7:ステップSa26)。また、第2の補正データを生成することは、投写面SPを撮像することによって取得される、第3のパターン画像GOP3の投写によって投写面SPに現れる第3の投写画像GP3と、投写面SPとを含む第3の撮像画像GC3、及び第2の撮像画像GC2に基づいて、第2の方法を用いて対象画像GOの形を補正するための第2の補正データを生成することを含む(
図7:ステップSa24からステップSa30)。
以上の処理により、第2の補正データがより正確に求められる。
【0091】
本実施形態において、上記第2のパターン画像GOP2は、第1のパターン画像GOP1よりも、検出点の数が少ない。
したがって、第2のパターン画像GOP2を用いた処理の高速化が図られる。また、第2の補正データの生成について、検出誤差、及びノイズに対する耐性が高められる。
【0092】
また、上述した情報処理装置20は、長辺ALDと短辺ASDとを有するディスプレイ210を有する携帯型の装置である。情報処理装置20の第2の処理装置230は、次の一連の処理を実行する。処理の1つは、このディスプレイ210に、第1の画像を表示することである(
図11:ステップSb1からSb3、Sb5、及びSb6)。本実施形態において、第1の画像は、第1のユーザーインターフェース画像GAU1から第4のユーザーインターフェース画像GAU4、第6のユーザーインターフェース画像GAU6から第8のユーザーインターフェース画像GAU8、及び第10のユーザーインターフェース画像GAU10のそれぞれである。また、処理の1つは、プロジェクター10から対象画像GOが投写される投写面SPと、プロジェクター10からの対象画像GOの投写によって投写面SPに現れる投写画像GPと、を含む撮像画像GCを撮像することによって取得すること、に用いる第2の画像を、ディスプレイ210の短辺ASDに沿う向きで表示することである(
図11:ステップSb4、Sb7)。本実施形態において、第2の画像は、第5のユーザーインターフェース画像GAU5、第8のユーザーインターフェース画像GAU8、及び第9のユーザーインターフェース画像GAU9のそれぞれである。
第2の処理装置230が、この一連の処理を実行することにより、投写画像GPの全体を含む撮像画像GCが、ユーザーUの撮像によって確実に取得される。
【0093】
本実施形態において、第2の処理装置230が実行する一連の処理は、次の処理を含む。すなわち、処理の1つは、第2の画像を介して撮像を指示する入力を受け付けた場合に、投写面SPを撮像することによって、上記撮像画像GCを取得することである(
図6:ステップSa12、
図7:ステップSa23、ステップSa29)。また、処理の1つは、撮像画像GCに基づいて、上記対象画像GOの形を補正するための補正データを生成することとである(
図6:ステップSa10、
図7:ステップSa24、ステップSa30)。
第2の処理装置230が、この一連の処理を実行することにより、投写画像GPの一部が撮像画像GCに写っていないがために、正常な補正データが得られない、といった事態を防止できる。
【0094】
本実施形態において、第2の画像は、ディスプレイ210の短辺ASDが水平CHよりも鉛直CVに近い姿勢で携帯型の情報処理装置20を保持することを通知する情報を含む。本実施形態において、当該情報は、文字列情報H52、H92、H102のそれぞれである。
したがって、より確実に、横持ちで情報処理装置20を保持する、という指示がユーザーUに伝えられる。
【0095】
本実施形態において、携帯型の情報処理装置20が投写面SPを撮像する撮像範囲Bは、長辺ALBと短辺ASBとを有し、撮像範囲Bの短辺ASBは、ディスプレイ210の短辺ASDに沿い、撮像範囲Bの長辺ALBは、ディスプレイ210の長辺SLDに沿う。
したがって、横持ちで情報処理装置20を保持することで、投写画像GPの全体を含む撮像画像GCがより確実に取得される。
【0096】
3.変形例
以上に例示した形態は多様に変形され得る。上述の形態に適用され得る具体的な変形の形態を以下に例示する。以下の例示から任意に選択された2以上の形態は、技術的な矛盾を生じさせない範囲で相互に適宜に併合され得る。
【0097】
(変形の形態1)
第1の方法に用いられる第1のパターン画像GOP1は、
図4に示したパターンに限らない。すなわち、第1のパターン画像GOP1は、それぞれのドットEが不均一な輝度分布を有し、かつ、それぞれのドットEを単一色で塗られた領域で包囲したパターンでもよい。このパターンが用いられることで、ドットEの検出において、撮像時のノイズの影響が抑えられる。
また、第2の方法に用いられる第2のパターン画像GOP2のパターンは、チェッカーパターンに限らない。例えば、チェッカーパターンに代えて、チェッカーコーナーPTCに対応する各位置にクロス線が設けられたクロス線パターン、及び、当該各位置にArUcoマーカーが設けられたパターンでもよい。
【0098】
(変形の形態2)
第2の画像に該当するユーザーインターフェース画像GAUをディスプレイ210に表示する場合に、次のようにして、ディスプレイ210の短辺ASDが水平CHよりも鉛直CVに近い姿勢で携帯型の情報処理装置20を保持することをユーザーUに通知してもよい。すなわち、情報処理装置20は、次の第1の処理から第4の処理の少なくともいずれか1つの処理を、文字列情報H52、H92、H102の表示に代えて、又は、当該表示と併せて実行する。
【0099】
第1の処理は、ファインダー表示領域H51、H91、H101におけるファインダー映像を他の映像に変更することによって、上記通知を行う処理である。
具体的には、情報処理装置20は、
図12に示すように、当該情報処理装置20の姿勢を検出するセンサー260を含み、第2の処理装置230は、第2の画像が表示されている場合、次の動作を実行する。すなわち、第2の処理装置230は、センサー260の出力によって、情報処理装置20が縦持ちされていることが示される場合、ファインダー表示領域H51、H91、H101におけるファインダー映像を、例えば砂嵐の映像のような他の映像に切り替える。この映像の切り替えにより、縦持ちの状態では、撮像できない旨がユーザーUに示唆される。映像は、動画像でも静止画像でもいずれもよい。なお、センサー260は、例えば加速度センサー、又はジャイロセンサーである。
【0100】
第2の処理は、ファインダー表示領域H51、H91、H101におけるファインダー映像を90度回転させることによって、上記通知を行う処理である。
具体的には、情報処理装置20は、
図12に示す構成を備え、第2の処理装置230は、第2の画像が表示されている場合、次の動作を実行する。すなわち、第2の処理装置230は、センサー260の出力によって、情報処理装置20が縦持ちされていることが示される場合、ファインダー表示領域H51、H91、H101におけるファインダー映像を、90度回転した状態で表示する。ファインダー映像が90度回転して表示されることで、情報処理装置20を90度回転させて横持ちに持ち替える必要があることがユーザーUに示唆される。
【0101】
第3の処理は、バイブレーターの振動によって上記通知を行う処理である。
具体的には、情報処理装置20は、
図12に示す構成に加え、更にバイブレーターを含む。そして、第2の処理装置230は、第2の画像が表示されている場合に、次の動作を実行する。すなわち、情報処理装置20は、
図12に示す構成を備え、第2の処理装置230は、センサー260の出力によって、縦持ちで情報処理装置20が保持されていることが示される場合に、例えば、「ヴヴッ、ヴヴッ」といった、ユーザーUに否定感を与える振動をバイブレーターによって出力する。その後、ユーザーUが横持ちにすると、例えば「ヴッ、ヴッ」といった、ユーザーUに肯定感を与える振動を出力して停止する。
【0102】
第4の処理は、プロジェクター10の投写画像GPによって上記通知を行う処理である。
具体的には、情報処理装置20は、
図12に示す構成を備え、第2の処理装置230は、センサー260の出力によって、縦持ちで情報処理装置20が保持されていることが示される場合に、横持ちで情報処理装置20を保持することを通知する画像を、プロジェクター10に投写させるための信号を出力する。その後、第2の処理装置230は、センサー260の出力によって、横持ちで情報処理装置20が保持されていることが示される場合に、横持ちで情報処理装置20を保持することを通知する画像の投写をプロジェクター10に停止させる。第2の処理装置230は、情報処理装置20に第2の画像を表示する場合、横持ちで情報処理装置20を保持することを通知する画像をプロジェクター10に投写させるための信号を、第2の画像が表示されている期間に出力してもよく、また、当該信号を、第2の画像が表示される前、例えば、第1の画像から第2の画像に移行するときに出力してもよい。
【0103】
これら第1の処理から第4の処理により、より確実に、横持ちで情報処理装置20を保持する、という指示がユーザーUに伝えられる。
【0104】
(変形の形態3)
情報処理装置20は、第1の画像に該当するユーザーインターフェース画像GAUを、情報処理装置20の姿勢に応じた向きで表示してもよい。
具体的には、情報処理装置20は、
図12に示す構成を備える。そして、第2の処理装置230は、ディスプレイ210に第1の画像を表示する処理において(
図11:ステップSb1、Sb3、Sb5、及びSb7)、次の動作を実行する。すなわち、第2の処理装置230は、センサー260の出力に基づいて、ディスプレイ210の長辺ALDに第1の画像が沿う向きである第1の向きK1、及び、ディスプレイ210の短辺ASDに第1の画像が沿う向きである第2の向きK2のいずれかで、第1の画像をディスプレイ210に表示する。
この処理により、第1の画像が情報処理装置20の姿勢、すなわち、ユーザーUの持ち方に応じて適切な向きで表示される。
【0105】
(変形の形態4)
変形の形態3において、更に、情報処理装置20の第2の処理装置230は、次の処理を行ってもよい。すなわち、第2の処理装置230は、ディスプレイ210に第1の画像を表示する処理において(
図11:ステップSb1、Sb3、Sb5、及びSb6)、ディスプレイ210の長辺ALDが水平CHよりも鉛直CVに近いことをセンサー260の出力が示す場合に、ディスプレイ210の長辺ALDに第1の画像が沿う向きである第1の向きK1で第1の画像を表示する。また、第2の処理装置230は、ディスプレイ210の短辺ASDに第2の画像が沿う向きである第2の向きK2で第2の画像を表示する処理において(
図11:ステップSb4、及びSb7)、ディスプレイ210の長辺ALDに第1の画像が沿う向きである第1の向きK1で第1の画像を表示した後に、ディスプレイ210の短辺ASDに第2の画像が沿う向きである第2の向きK2で第2の画像を表示する。
この処理により、第2の画像の直前の第1の画像が第1の向きK1で表示される場合でも、第2の画像が第2の向きK2で表示されるため、横持ちで情報処理装置20を保持する、という動作がユーザーUに誘起される。
【0106】
(変形の形態5)
情報処理装置20は、1台のコンピューターに限らず、複数のコンピューターによって実現されてもよい。具体的には、情報処理装置20の第2の処理装置230が備える各機能部は、複数のコンピューターがそれぞれ備える各プロセッサーによって実現されてもよい。
【0107】
(変形の形態6)
情報処理装置20の第2の処理装置230が備える各機能部の1つ以上を、プロジェクター10の第1の処理装置100が備えてもよい。この場合には、アプリ242およびリソースデータ244の少なくとも一部が、プロジェクター10の第1の記憶装置120に記憶されていてもよい。
【0108】
(変形の形態7)
第2の方法において、ステップSa25からステップSa30が省略されてもよい。すなわち、第3のパターン画像GOP3が用いられずに、第2のパターン画像GOP2に基づいて生成された第2の補正データが、ステップSa31において、プロジェクター10に送信されてもよい。この場合には、第2のパターン画像GOP2におけるパターン部PTの大きさは、投写範囲に収まる確実性、及び補正量の精度に応じた大きさとしてもよく、上述した実施形態とは異なっていてもよい。
【0109】
4.本開示のまとめ
以下、本開示のまとめを付記する。
【0110】
(付記1)
プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、
前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、
前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、
前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、
を含む、画像補正方法。
付記1によれば、ユーザーの利便性が向上する。
【0111】
(付記2)
前記入力を受け付けることは、
投写範囲を区画する輪郭を前記投写面が含むか否かの選択を受け付けることを含む、
付記1に記載の画像補正方法。
付記2によれば、投写面が投写範囲の輪郭を含むか否かによって第1の方法、及び第2の方法のいずれかを選択し、補正を適切に行うことができる。
【0112】
(付記3)
前記第1の方法は、
前記投写面の表面の形状に基づいて、前記画像の形を補正すること、
を含む
付記1、又は付記2に記載の画像補正方法。
付記3によれば、投写面の表面が平坦な面でない場合に対応する補正を、第1のパターン画像を用いて適切に行うことができる。
【0113】
(付記4)
前記第2の方法は、
前記プロジェクターによる前記画像の投写によって前記投写面に現れる投写画像を、前記投写面における投写範囲に収める補正を含む、
付記1から付記3のいずれかに記載の画像補正方法。
付記4によれば、投写範囲の輪郭に投写画像を収めるための補正を、第2のパターン画像を用いて適切に行うことができる。
【0114】
(付記5)
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像、及び前記第2のパターン画像とは異なる第3のパターン画像を投写させる信号を出力すること、をさらに含み、
前記第2の補正データを生成することは、
前記投写面を撮像することによって取得される、前記第3のパターン画像の投写によって前記投写面に現れる第3の投写画像と、前記投写面とを含む第3の撮像画像、及び、前記第2の撮像画像、に基づいて、前記第2の方法を用いて前記画像の形を補正するための前記第2の補正データを生成することを含む、
付記4に記載の画像補正方法。
付記5によれば、第2の補正データがより正確に求められる。
【0115】
(付記6)
前記第2のパターン画像は、前記第1のパターン画像よりも、検出点の数が少ない、
付記1から付記5のいずれかに記載の画像補正方法。
付記6によれば、第2のパターン画像を用いた処理の高速化が図られる。また、第2の補正データの生成について、検出誤差、及びノイズに対する耐性が高められる。
【0116】
(付記7)
処理装置を含み、
前記処理装置は、
プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、
前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、
前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、
前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、
を実行する、情報処理装置。
付記7によれば、付記1と同様な効果を奏する。
【0117】
(付記8)
プロジェクターから投写面に投写される画像の形を補正する第1の方法、及び、前記画像の形を補正する方法であり、かつ前記第1の方法とは異なる第2の方法のいずれかを選択する入力を受け付けることと、
前記第1の方法が選択された場合に、前記プロジェクターに第1のパターン画像を投写させるための信号を出力することと、
前記投写面を撮像することによって取得される、前記第1のパターン画像の投写によって前記投写面に現れる第1の投写画像と、前記投写面とを含む第1の撮像画像に基づいて、前記第1の方法を用いて前記画像の形を補正するための第1の補正データを生成することと、
前記第2の方法が選択された場合に、前記プロジェクターに、前記第1のパターン画像とは異なる第2のパターン画像を投写させる信号を出力することと、
前記投写面を撮像することによって取得される、前記第2のパターン画像の投写によって前記投写面に現れる第2の投写画像と、前記投写面とを含む第2の撮像画像に基づいて、前記第2の方法を用いて前記画像の形を補正するための第2の補正データを生成することと、
をコンピューターに実行させる、プログラム。
付記8によれば、付記1と同様な効果を奏する。
【符号の説明】
【0118】
1…投写システム、10…プロジェクター、20…情報処理装置、220…撮像装置、230…第2の処理装置、231…投写制御部、232…撮像制御部、235…補正部、242…アプリ、GC…撮像画像、GO…対象画像、GOP1…第1のパターン画像、GOP2…第2のパターン画像、GOP3…第3のパターン画像、GP…投写画像、J…輪郭、OP…被投写物、SP…投写面。