IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > セイコーエプソン株式会社

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ セイコーエプソン株式会社の特許一覧

特開2024-99941プログラム、点の選択方法および情報処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024099941
(43)【公開日】2024-07-26
(54)【発明の名称】プログラム、点の選択方法および情報処理装置
(51)【国際特許分類】
   H04N 5/74 20060101AFI20240719BHJP
   G03B 21/00 20060101ALI20240719BHJP
   G09G 5/00 20060101ALI20240719BHJP
   G09G 5/377 20060101ALI20240719BHJP
   G09G 5/373 20060101ALI20240719BHJP
   G09G 5/08 20060101ALI20240719BHJP
【ＦＩ】
H04N5/74 D
G03B21/00 D
G09G5/00 510B
G09G5/00 X
G09G5/00 550C
G09G5/377 100
G09G5/00 510H
G09G5/373
G09G5/08 E
G09G5/00 510V
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023003592
(22)【出願日】2023-01-13
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】久保田 真司
【テーマコード（参考）】
2K203
5C058
5C182
【Ｆターム（参考）】
2K203FA82
2K203FA93
2K203FB04
2K203GB46
2K203KA56
2K203MA23
5C058BA27
5C058EA02
5C182AA03
5C182AA04
5C182AB15
5C182AC03
5C182AC31
5C182AC38
5C182AC39
5C182BA01
5C182BA04
5C182BA14
5C182BB12
5C182BC01
5C182BC03
5C182BC22
5C182BC25
5C182CA32
5C182CA54
5C182CB11
5C182CB13
5C182CB14
5C182CB54
5C182CC02
5C182CC21
5C182CC24
5C182DA70
(57)【要約】
【課題】投射面上に表示された投射画像を撮像した撮像画像から検出された複数の点の中から、投射画像の補正に用いられる射影変換行列の生成に必要な点を適切に選択する。
【解決手段】処理装置に、第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、 表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、
を実行させる、プログラム。
【選択図】図２７
【特許請求の範囲】
【請求項1】
処理装置に、
第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、 表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、
を実行させる、
プログラム。
【請求項2】
前記処理装置に、
前記表示装置に表示された画像の大きさを変更する倍率変更操作を前記ユーザーから受け付けることと、
前記表示装置を制御することで、前記倍率変更操作に基づいて前記第１重畳画像の大きさが変更された第２重畳画像を表示することと、
を更に実行させる、
請求項１に記載のプログラム。
【請求項3】
前記処理装置に、
前記表示装置に表示された画像の大きさを変更する倍率変更操作を前記ユーザーから受け付けることと、
前記表示装置を制御することで、前記倍率変更操作に基づいて前記第１撮像画像の大きさが変更された第２撮像画像に前記複数の第１表示画像の少なくとも一部が重畳された第３重畳画像を表示することと、
を更に実行させる、
請求項１に記載のプログラム。
【請求項4】
前記処理装置に、
第２投射装置によって第２投射画像が表示された前記投射面上の領域であって、角を有する第２表示領域を含む範囲を撮像した結果を表す第３撮像画像を取得することと、
前記第３撮像画像に画像処理を実行することで、前記第３撮像画像に含まれる前記第２表示領域を示す第２の画像の角に対応する複数の第２特徴点を検出することと、
前記表示装置を制御することで、前記複数の第２特徴点と一対一で対応する複数の第２表示画像であって、前記ユーザーによる選択の対象である前記複数の第２表示画像の少なくとも一部が前記第３撮像画像に重畳された第４重畳画像を表示することと、
前記ユーザーによって前記複数の第１表示画像のうちの少なくとも一つの第１表示画像が選択される場合、前記第１重畳画像の表示態様と、前記第４重畳画像の表示態様とを相違させることと、
を更に実行させる、
請求項１に記載のプログラム。
【請求項5】
前記処理装置に、
前記表示装置を制御することで、前記ユーザーの選択の対象となる画像であって、前記第１重畳画像と対応する第１ボタン画像と、前記ユーザーの選択の対象となる画像であって、前記第４重畳画像と対応する第２ボタン画像とを表示することを更に実行させ、
前記第１重畳画像の表示態様と、前記第４重畳画像の表示態様とを相違させることは、
前記第１ボタン画像を選択するボタン選択操作を前記ユーザーから受け付けることと、
前記第１ボタン画像の表示態様を変更することと、
を含む、
請求項４に記載のプログラム。
【請求項6】
前記処理装置に、
前記ユーザーによる前記複数の第１表示画像の選択を終了する選択終了操作を前記ユーザーから受け付けることと、
前記表示装置を制御することで、前記選択終了操作を受け付けたことを示す完了画像を表示することと、
を更に実行させる、
請求項４または５に記載のプログラム。
【請求項7】
前記処理装置に、前記表示装置を制御することで、前記ユーザーの選択の対象となる画像であって、前記第１重畳画像と対応する第１ボタン画像と、前記ユーザーの選択の対象となる画像であって、前記第４重畳画像と対応する第２ボタン画像とを表示することを更に実行させ、
前記完了画像は、前記第１ボタン画像に重畳される、
請求項６に記載のプログラム。
【請求項8】
第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、
表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、を含む、
点の選択方法。
【請求項9】
処理装置を備え、
前記処理装置は、
第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、
表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、
を実行する、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、点の選択方法および情報処理装置に関する。
【背景技術】
【0002】
プロジェクター等の装置によって投射面上に表示される画像の位置、および、画像の形状を補正する技術が開発されている。例えば、特許文献１には、投射面上に表示された画像を補正することで、特定の期間において表示されていた位置と同じ位置に画像を表示させるプロジェクターが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－０９２１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
投射面上に表示された画像の補正には、当該画像を含む範囲を撮像した複数の撮像画像の各々から検出される複数の点の座標に基づく射影変換行列が用いられる。画像処理によって、投射面上に表示された画像を含む範囲を撮像した撮像画像から点が検出される場合、射影変換行列の生成に必要となる数よりも多い数の点が検出されることがある。必要以上の点は射影変換行列の生成精度の低下を招く可能性があることから、検出された複数の点の中から射影変換行列の生成に必要となる点を取捨選択することが好ましい。しかしながら、従来の技術において、検出された複数の点の中から射影変換行列の生成に必要となる点をユーザーが選択するための適切な手段は開示されておらず、この結果、画像の補正が適切に実施されない場合があった。
【課題を解決するための手段】
【0005】
本発明に係るプログラムの一態様は、処理装置に、第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、を実行させる。
【0006】
本発明に係る点の選択方法の一態様は、第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、を含む。
【0007】
本発明に係る情報処理装置の一態様は、処理装置を備え、処理装置は、第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、を実行する。
【図面の簡単な説明】
【0008】
【図1】第１の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。
【図2】第２の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図3】第３の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図4】第４の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。
【図5】第５の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図6】第６の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図7】第１実施形態に係るプロジェクター１の構成を示すブロック図である。
【図8】第１実施形態に係る記憶装置１０の構成を示すブロック図である。
【図9】第１投射画像情報１０２の示す画像の一例を図示した模式図である。
【図10】第１撮像画像情報１０５の示す画像の一例を図示した模式図である。
【図11】第２撮像画像情報１０６の示す画像の一例を図示した模式図である。
【図12】第３撮像画像情報１０７の示す画像の一例を図示した模式図である。
【図13】第４撮像画像情報１０８の示す画像の一例を図示した模式図である。
【図14】第２の補正について説明するための模式図である。
【図15】第１の期間から第３の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。
【図16】第４の期間から第６の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。
【図17】第２実施形態に係る投射システムＳｙｓＡの概要を説明するための模式図である。
【図18】第２実施形態に係る投射システムＳｙｓＡの構成を示すブロック図である。
【図19】第２実施形態に係る記憶装置１０Ａの構成を示すブロック図である。
【図20】第２撮像画像情報１０６Ａ－１の示す画像の一例を図示した模式図である。
【図21】第２撮像画像情報１０６Ａ－２の示す画像の一例を図示した模式図である。
【図22】操作画像ＧＮ１を説明するための模式図である。
【図23】操作画像ＧＮ２を説明するための模式図である。
【図24】操作画像ＧＮ３を説明するための模式図である。
【図25】操作画像ＧＮ４を説明するための模式図である。
【図26】ユーザーからの倍率変更操作に基づいて撮像画像ＧＳ５の大きさが変更された撮像画像ＧＳ５ｎを図示した模式図である。
【図27】投射システムＳｙｓＡの動作について説明するためのフローチャートである。
【図28】操作画像ＧＮ５を説明するための模式図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
【0010】
１．第１実施形態
第１実施形態では、投射面上に表示された画像の形状をユーザーからの操作に基づいて補正する第１の補正と、第１の補正によって補正された画像を投射面上の所定の位置に表示するための補正である第２の補正とを実行するプロジェクターを例示して、本発明に係るプログラム、点の選択方法および情報処理装置について説明する。第２の補正では、投射面上に表示された画像を含む範囲を撮像した撮像画像から検出された複数の点の座標に基づいて生成された射影変換行列が用いられる。本実施形態に係るプロジェクターは、当該撮像画像から検出された複数の点の中から射影変換行列の生成に必要となる点をユーザーが選択するための複数の画像であって、当該撮像画像から検出された複数の点と一対一で対応する複数の指示画像を投射面上に表示する。
【0011】
１．１．プロジェクターの概要
以下、図１～図６を参照しつつ、第１実施形態に係るプロジェクター１の概要について説明する。
【0012】
図１は、第１の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。プロジェクター１は、投射面である壁面Ｗ１の領域Ｒ２に投射光を投射することで、投射画像ＧＰ１を表示する。投射画像ＧＰ１は、複数の点を含む。なお、第１の期間における投射画像ＧＰ１を「投射画像ＧＰ１－１」ということがある。
【0013】
プロジェクター１は、投射面の所定の領域を含む範囲を撮像する撮像装置１４と、投射面に投射光を投射する投射装置１６とを備える。撮像装置１４は、集光のための撮像レンズ１４２と、撮像レンズ１４２によって集光された光を電気信号に変換することで撮像画像を生成する撮像素子１４０とを備える。撮像素子１４０は、複数の画素を備える。投射装置１６は、不図示の光源と、光源から発せられた光を投射面上に投射画像を表示するための投射光に変調する光変調器１６０と、光変調器１６０によって変調された投射光を投射面に投射する投射レンズ１６２とを備える。光変調器１６０は、複数の画素を備える。プロジェクター１は、投射装置１６を制御することで、投射面上に投射画像を表示する。本実施形態において、プロジェクター１は、投射装置１６を制御することで、壁面Ｗ１上に投射画像を表示する。
【0014】
第１の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ１－１が表示された領域Ｒ２を含む範囲を撮像する。領域Ｒ２は、領域Ｒ１を含む。すなわち、プロジェクター１は、領域Ｒ１を含む範囲を撮像する。領域Ｒ１は、複数の角ＣＮ１を含む。複数の角ＣＮ１は、角ＣＮ１－１、角ＣＮ１－２、角ＣＮ１－３および角ＣＮ１－４を含む。領域Ｒ１は、例えば壁面Ｗ１上に設置されるスクリーン上における当該スクリーンの枠に囲まれた領域であってもよいし、壁面Ｗ１の表面の一部に描かれた枠線に囲まれた壁面Ｗ１上の領域であってもよい。また、プロジェクター１は、投射画像ＧＰ１－１が表示された領域Ｒ２を含む範囲を撮像した結果を表す撮像画像と、投射画像ＧＰ１－１が表示される場合にプロジェクター１から投射される画像とに基づいて、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報を生成する。
【0015】
領域Ｒ１の位置、具体的には領域Ｒ１の四隅の位置は、壁面Ｗ１上に明示的に示される。図１において、領域Ｒ１の位置は太い直線によって図示されているが、これに限定されない。例えば、領域Ｒ１の角の位置を示すマーカーが領域Ｒ１の四隅の各々に貼付されることで、領域Ｒ１の位置が示されてもよい。図１において、領域Ｒ１の位置を示す太い直線は、スクリーンの枠又は壁面Ｗ１の表面の一部に描かれた枠線と対応する。
【0016】
図２は、第２の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第２の期間は、第１の期間よりも後の期間である。プロジェクター１は、投射装置１６を制御することで、壁面Ｗ１の領域Ｒ１に投射画像ＧＰ２を表示する。投射画像ＧＰ２は、角ＣＮ２－１、角ＣＮ２－２、角ＣＮ２－３および角ＣＮ２－４を有する。なお、第２の期間における投射画像ＧＰ２を「投射画像ＧＰ２－１」ということがある。
【0017】
また、プロジェクター１は、投射装置１６を制御することで、角ＣＮ２－１の位置を示すポインター画像ＧＣ１－１、角ＣＮ２－２の位置を示すポインター画像ＧＣ１－２、角ＣＮ２－３の位置を示すポインター画像ＧＣ１－３、および、角ＣＮ２－４の位置を示すポインター画像ＧＣ１－４を表示する。ポインター画像ＧＣ１－１～ＧＣ１－４は、例えば、２つの直線が互いに交差する十字形状である。なお、ポインター画像ＧＣ１－１～ＧＣ１－４を区別しない場合、ポインター画像ＧＣ１－１～ＧＣ１－４を「ポインター画像ＧＣ１」ということがある。
【0018】
ユーザーは、ポインター画像ＧＣ１を移動する操作を実行することで、当該ポインター画像ＧＣ１が示す投射画像ＧＰ２の角の位置を変更する。例えば、ユーザーは、ポインター画像ＧＣ１－１を移動する操作を実行することで、ポインター画像ＧＣ１－１が示す角ＣＮ２－１の位置を変更する。プロジェクター１は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２の形状を補正する。ユーザーは、投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２の形状を所望の形状に修正する。例えば、スクリーン枠と略相似な形状となるように、投射画像ＧＰ２の形状がユーザーにより修正される。すなわち、スクリーン枠が矩形なら、投射画像ＧＰ２の形状も矩形となるように、ユーザーからの操作に基づいて投射画像ＧＰ２の形状が整形される。なお、ユーザーからの操作に基づいて投射画像の形状を補正することを「第１の補正」ということがある。
【0019】
図３は、第３の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第３の期間は、第２の期間よりも後の期間である。なお、第３の期間における投射画像ＧＰ２を「投射画像ＧＰ２－２」ということがある。投射画像ＧＰ２－２は、第１の補正が実行された投射画像ＧＰ２である。また、投射画像ＧＰ２－２は、領域Ｒ１に表示される。
【0020】
第３の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像する。また、プロジェクター１は、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像に画像処理を実行することで、当該撮像画像に含まれる領域Ｒ１を示す画像の有する四つの角に対応する複数の点を検出する。なお、複数の点を検出するために、投射光が領域Ｒ１の内側だけでなく、領域Ｒ１を示す太い直線（例えばスクリーン枠）にも当たった状態で、領域Ｒ１を含む範囲が撮像されることが好ましい。これにより、太い直線、例えばスクリーン枠の明るさが向上し、スクリーン枠に関する複数の点が検出されやすくなる。
【0021】
また、プロジェクター１は、投射装置１６を制御することで、角ＣＮ１－１の位置を示す角画像ＧＣ２－１、角ＣＮ１－２の位置を示す角画像ＧＣ２－２、角ＣＮ１－３の位置を示す角画像ＧＣ２－３、および、角ＣＮ１－４の位置を示す角画像ＧＣ２－４を壁面Ｗ１上に表示する。なお、角画像ＧＣ２－１～ＧＣ２－４を区別しない場合、角画像ＧＣ２－１～ＧＣ２－４を「角画像ＧＣ２」ということがある。
【0022】
また、プロジェクター１は、投射装置１６を制御することで、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された複数の点と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１上に表示する。複数の指示画像ＧＤは、当該撮像画像から検出された複数の点と、当該撮像画像に含まれる領域Ｒ１を示す画像との相対的な位置関係をユーザーに示すための画像である。複数の指示画像ＧＤは、角ＣＮ１－１に対応する一以上の指示画像ＧＤと、角ＣＮ１－２に対応する一以上の指示画像ＧＤと、角ＣＮ１－３に対応する一以上の指示画像ＧＤと、角ＣＮ１－４に対応する一以上の指示画像ＧＤとを含む。角ＣＮ１－１に対応する一以上の指示画像ＧＤは、指示画像ＧＤ－２を含む。角ＣＮ１－４に対応する一以上の指示画像ＧＤは、指示画像ＧＤ－１を含む。なお、指示画像ＧＤの表示態様は、ポインター画像ＧＣ１の表示態様と相違する。
【0023】
ユーザーは、角画像ＧＣ２－１～ＧＣ２－４の中から、一つの角画像ＧＣ２を選択する操作を実行する。換言すれば、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２が示す領域Ｒ１の角を選択する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２を選択する。例えば、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４の中から、角画像ＧＣ２－４を選択する操作を実行する。換言すれば、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４のうちの角画像ＧＣ２－４が示す角ＣＮ１－４を選択する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの角画像ＧＣ２－４を選択する。なお、プロジェクター１は、ユーザーによって選択された一つの角画像ＧＣ２の表示態様を変更してもよい。例えば、ユーザーによって角画像ＧＣ２－４が選択された場合、プロジェクター１は、投射装置１６を制御することで、角画像ＧＣ２－４の表示態様を、他の角画像ＧＣ２－１～ＧＣ２－３の表示態様と異ならせてもよい。これにより、ユーザーは、現在選択されている角画像ＧＣ２を容易に確認することができる。
【0024】
角画像ＧＣ２－１～ＧＣ２－４の中から一つの角画像ＧＣ２が選択された場合、ユーザーは、当該一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤの中から、選択の候補となる一つの指示画像ＧＤを決定する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、選択の候補となる一つの指示画像ＧＤを決定する。また、プロジェクター１は、投射装置１６を制御することで、当該一つの指示画像ＧＤを他の指示画像ＧＤと識別可能に表示する。例えば、角画像ＧＣ２－１～ＧＣ２－４の中から、角画像ＧＣ２－４が選択された場合であって、角画像ＧＣ２－４が示す角ＣＮ１－４に対応する一以上の指示画像ＧＤの中から、選択の候補となる一つの指示画像ＧＤとして指示画像ＧＤ－１が決定された場合、プロジェクター１は、投射装置１６を制御することで、指示画像ＧＤ－１を他の指示画像ＧＤと識別可能に表示する。具体的には、プロジェクター１は、投射装置１６を制御することで、時間の経過とともに指示画像ＧＤ－１の表示態様を変更する。より具体的には、プロジェクター１は、指示画像ＧＤ－１を繰り返し点滅させることで、指示画像ＧＤ－１を他の指示画像ＧＤと識別可能に表示する。
【0025】
複数の指示画像ＧＤのうちの一つの指示画像ＧＤが他の指示画像ＧＤと識別可能に表示された場合、ユーザーは、当該一つの指示画像ＧＤを選択する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、当該一つの指示画像ＧＤと対応する点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。また、プロジェクター１は、投射装置１６を制御することで、当該一つの指示画像ＧＤの表示態様を変更する。例えば、複数の指示画像ＧＤのうちの指示画像ＧＤ－２が他の指示画像ＧＤと識別可能に表示された場合、ユーザーは、指示画像ＧＤ－２を選択する操作を実行する。プロジェクター１は、指示画像ＧＤ－２と対応する点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。また、プロジェクター１は、投射装置１６を制御することで、指示画像ＧＤ－２の表示態様を変更する。具体的には、プロジェクター１は、投射装置１６を制御することで、指示画像ＧＤ－２の色を変更する。これにより、ユーザーは、表示態様が変更された指示画像ＧＤと対応する点が選択されたことを容易に確認することができる。
【0026】
なお、他の指示画像ＧＤと識別可能に表示された一つの指示画像ＧＤを選択するユーザーからの操作に基づいて当該一つの指示画像ＧＤと対応する点が選択された場合、ユーザーは、当該一つの指示画像ＧＤとは異なる別の指示画像ＧＤを選択の候補として決定する操作を実行してもよい。プロジェクター１は、ユーザーからの操作に基づいて、当該別の指示画像ＧＤを選択の候補として決定する。すなわち、プロジェクター１は、投射装置１６を制御することで、当該別の指示画像ＧＤを他の指示画像ＧＤと識別可能に表示する。また、ユーザーは、他の指示画像ＧＤと識別可能に表示された当該別の指示画像ＧＤを選択する操作を実行してもよい。プロジェクター１は、当該別の指示画像ＧＤと対応する点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。また、プロジェクター１は、投射装置１６を制御することで、当該別の指示画像ＧＤの表示態様を変更する。すなわち、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４の中から選択された一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。プロジェクター１は、ユーザーによって選択された一以上の指示画像ＧＤと一対一で対応する一以上の点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された一以上の点を選択する。
【0027】
角画像ＧＣ２－１～ＧＣ２－４の中から選択された一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤと一対一で対応する一以上の点の中から、一以上の点の選択が終了した場合、プロジェクター１は、投射装置１６を制御することで、当該一つの角画像ＧＣ２の表示態様を変更する。例えば、角画像ＧＣ２－１～ＧＣ２－４の中から、角画像ＧＣ２－１が選択された場合であって、角画像ＧＣ２－１が示す角ＣＮ１－１に対応する一以上の指示画像ＧＤと一対一で対応する一以上の点の中からの一以上の点の選択が終了した場合、プロジェクター１は、投射装置１６を制御することで、角画像ＧＣ２－１の表示態様を変更する。具体的には、プロジェクター１は、投射装置１６を制御することで、角画像ＧＣ２－１の色を変更する。これにより、ユーザーは、表示態様が変更された角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤと一対一で対応する一以上の点の中から、一以上の点が選択されたことを容易に確認することができる。
【0028】
ユーザーは、領域Ｒ１の有する四つの角の各々において、一以上の指示画像ＧＤを選択する。すなわち、ユーザーは、角画像ＧＣ２－１が示す角ＣＮ１－１に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。また、ユーザーは、角画像ＧＣ２－２が示す角ＣＮ１－２に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。また、ユーザーは、角画像ＧＣ２－３が示す角ＣＮ１－３に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。また、ユーザーは、角画像ＧＣ２－４が示す角ＣＮ１－４に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。従って、プロジェクター１は、ユーザーによって選択された四以上の指示画像ＧＤと一対一で対応する四以上の点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された四以上の点を選択する。
【0029】
図４は、第４の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。第４の期間は、第３の期間よりも後の期間である。具体的には、第４の期間は、ユーザーが領域Ｒ１の有する四つの角の各々において一以上の指示画像ＧＤを選択した後の期間である。
【0030】
第４の期間において、プロジェクター１の位置、向きおよび角度等は、第１の期間、第２の期間および第３の期間におけるプロジェクター１の位置、向きおよび角度等と異なる場合を想定する。このような、プロジェクター１の位置、向きおよび角度等の変化は、例えば、ユーザーのプロジェクター１に対する意図しない接触等に起因して生じ得るものである。すなわち、プロジェクター１は、第１の期間、第２の期間および第３の期間において投射光が投射された壁面Ｗ１の領域Ｒ２とは異なる領域Ｒ３に投射光を投射することで、投射画像ＧＰ１を表示する。領域Ｒ３は、領域Ｒ１を含む。なお、第４の期間における投射画像ＧＰ１を「投射画像ＧＰ１－２」ということがある。
【0031】
第４の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ１－２が表示された領域Ｒ３を含む範囲を撮像する。すなわち、プロジェクター１は、領域Ｒ１を含む範囲を撮像する。また、プロジェクター１は、投射画像ＧＰ１－２が表示された領域Ｒ３を含む範囲を撮像した結果を表す撮像画像と、投射画像ＧＰ１－２が表示される場合にプロジェクター１から投射される画像とに基づいて、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報を生成する。
【0032】
図５は、第５の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第５の期間は、第４の期間よりも後の期間である。プロジェクター１は、投射装置１６を制御することで、壁面Ｗ１上に投射画像ＧＰ２を表示する。プロジェクター１の位置、向きおよび角度等の変化に伴い、第５の期間において投射画像ＧＰ２が表示される位置は、第３の期間において投射画像ＧＰ２が表示されていた位置と相違する。また、第５の期間における投射画像ＧＰ２の形状は、第３の期間における投射画像ＧＰ２の形状と相違する。なお、第５の期間における投射画像ＧＰ２を「投射画像ＧＰ２－３」ということがある。すなわち、投射画像ＧＰ２－３が表示される位置は、投射画像ＧＰ２－２が表示されていた位置と相違する。また、投射画像ＧＰ２－３の形状は、投射画像ＧＰ２－２の形状と相違する。また、投射画像ＧＰ２－３は、領域Ｒ１に表示される。すなわち、投射画像ＧＰ２－３は、ユーザーが所望する投射画像ＧＰ２－２から位置及び形状がずれてしまった投射画像である。
【0033】
第５の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ２－３が表示された領域Ｒ１を含む範囲を撮像する。また、プロジェクター１は、投射画像ＧＰ２－３が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像に画像処理を実行することで、当該撮像画像に含まれる領域Ｒ１を示す画像の有する四つの角に対応する複数の点を検出する。
【0034】
プロジェクター１は、第１の期間において取得された撮像画像に基づいて生成された、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報、第３の期間において取得された撮像画像から検出された複数の点のうちの、ユーザーからの操作に基づいて選択された四以上の点の座標、第４の期間において取得された撮像画像に基づいて生成された、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報、および、第５の期間において取得された撮像画像から検出された複数の点のうちの、上記ユーザーからの操作に基づいて選択された四以上の点と一対一で対応する四以上の点の座標に基づいて、投射画像ＧＰ２が表示される位置、および、投射画像ＧＰ２の形状を補正するための射影変換行列を生成する。ここで、第５の期間における撮像画像から検出された複数の点の中から、第３の期間においてユーザーが選択した四以上の点が探索される。また、プロジェクター１は、当該射影変換行列に基づいて、投射画像ＧＰ２を補正する。なお、撮像画像から検出された複数の点の座標に基づいて生成された射影変換行列を用いて投射画像を補正することを「第２の補正」ということがある。
【0035】
図６は、第６の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第６の期間は、第５の期間よりも後の期間である。具体的には、第６の期間は、第２の補正が実行された後の期間である。なお、第６の期間における投射画像ＧＰ２を「投射画像ＧＰ２－４」ということがある。投射画像ＧＰ２－４は、第２の補正が実行された投射画像ＧＰ２である。また、投射画像ＧＰ２－４は、領域Ｒ１に表示される。
【0036】
投射画像ＧＰ２－４が表示される位置は、投射画像ＧＰ２－２が表示されていた位置と同様である。また、投射画像ＧＰ２－４の形状は、投射画像ＧＰ２－２の形状と同様である。すなわち、プロジェクター１は、プロジェクター１の位置、向きおよび角度等が変化した場合であっても、投射画像ＧＰ２－３に対して第２の補正を実行することで、投射画像ＧＰ２－３が表示される位置、および、投射画像ＧＰ２－３の形状を、投射画像ＧＰ２－２と同様にすること、すなわち投射画像ＧＰ２－２の状態にほぼ戻すことができる。換言すれば、プロジェクター１は、投射画像ＧＰ２に対して第２の補正を実行することで、領域Ｒ１の有する四つの角のそれぞれと、投射画像ＧＰ２の有する四つの角のそれぞれとの位置関係を、第３の期間と同様に維持することができる。具体的には、投射画像ＧＰ２に対してある周期で第２の補正を実行することで、角ＣＮ１－１に対する角ＣＮ２－１の位置、角ＣＮ１－２に対する角ＣＮ２－２の位置、角ＣＮ１－３に対する角ＣＮ２－３の位置および角ＣＮ１－４に対する角ＣＮ２－４の位置を、ほぼ一定に維持することができる。したがって、今回（第５の期間）の投射画像ＧＰ２に対して第２の補正が実行されることで、今回の投射画像ＧＰ２の状態を、前回（第３の期間）の投射画像ＧＰ２の状態にほぼ戻すことができる。また、プロジェクター１は、ユーザーからの操作に基づいて第１の補正を行うことで、第２の補正が実行された場合に表示される投射画像ＧＰ２の基準となる投射画像ＧＰ２－２の形状を、ユーザーの所望する形状に調整する。すなわち、第１の補正が行われた投射画像ＧＰ２に対してある周期で第２の補正が実行されることで、ユーザーは、プロジェクター１の位置、向きおよび角度等を正確に調整することなく、簡便に、投射画像ＧＰ２－２の形状を調整することができる。
【0037】
また、プロジェクター１は、第３の期間において取得された撮像画像から検出された複数の点と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１上に表示する。また、プロジェクター１は、指示画像ＧＤを選択するユーザーからの操作に基づいて、四以上の点を選択し、選択された四以上の点の座標に基づいて第２の補正を実行する。すなわち、ユーザーは、第２の補正に用いられる射影変換行列に必要となる点を適切に選択することができる。また、プロジェクター１は、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像ＧＰ２の形状をユーザーの所望の形状で維持することができる。
【0038】
１．２．プロジェクターの構成および機能
以下、図７～図１４を参照しつつ、第１実施形態に係るプロジェクター１の構成および機能について説明する。
【0039】
図７は、第１実施形態に係るプロジェクター１の構成を示すブロック図である。プロジェクター１は、各種情報を記憶する記憶装置１０と、プロジェクター１の動作を制御する処理装置１２と、投射面の所定の領域を含む範囲を撮像する撮像装置１４と、投射面に投射光を投射する投射装置１６と、ユーザーからの入力操作を受け付ける操作装置１８とを備える。処理装置１２は、投射制御部１２０、撮像制御部１２１、検出部１２２、補正部１２３、座標管理部１２４および行列生成部１２５としての機能を有する。撮像装置１４は、前述の通り、撮像素子１４０と、撮像レンズ１４２とを備える。また、投射装置１６は、前述の通り、不図示の光源と、光変調器１６０と、投射レンズ１６２とを備える。
【0040】
記憶装置１０は、例えば、ＲＡＭ等の揮発性メモリーおよびＲＯＭ等の不揮発性メモリーを含んで構成される。ここで、ＲＡＭとは、Random Access Memoryの略称である。また、ＲＯＭとは、Read Only Memoryの略称である。
【0041】
図８は、第１実施形態に係る記憶装置１０の構成を示すブロック図である。記憶装置１０の有する不揮発性メモリーは、プロジェクター１の動作を規定するプログラム１００と、投射面上に投射される画像を表す投射画像情報１０１と、投射画像が表示された投射面上の領域を含む範囲を撮像した結果を表す撮像画像情報１０４と、各種画像に含まれる点の座標を表す座標情報１０９と、二次元の座標変換および画像の補正等に用いられる射影変換行列１１５とを記憶する。
【0042】
投射画像情報１０１は、投射画像ＧＰ１が表示される際に投射される画像を表す第１投射画像情報１０２と、投射画像ＧＰ２が表示される際に投射される画像を表す第２投射画像情報１０３とを含む。
【0043】
撮像画像情報１０４は、第１の期間において取得された撮像画像を表す第１撮像画像情報１０５と、第３の期間において取得された撮像画像を表す第２撮像画像情報１０６と、第４の期間において取得された撮像画像を表す第３撮像画像情報１０７と、第５の期間において取得された撮像画像を表す第４撮像画像情報１０８とを含む。
【0044】
座標情報１０９は、第１投射画像情報１０２の示す画像に含まれる複数の点の座標を表す第１座標情報１１０と、第１撮像画像情報１０５の示す画像から検出された複数の点の座標を表す第２座標情報１１１と、第２撮像画像情報１０６の示す画像から検出された複数の点の座標を表す第３座標情報１１２と、第３撮像画像情報１０７の示す画像から検出された複数の点の座標を表す第４座標情報１１３と、第４撮像画像情報１０８の示す画像から検出された複数の点の座標を表す第５座標情報１１４とを含む。
【0045】
射影変換行列１１５は、第１の期間における光変調器１６０の備える複数の画素と、第１の期間における撮像素子１４０の備える複数の画素との対応関係を表す第１射影変換行列１１６、第４の期間における光変調器１６０の備える複数の画素と、第４の期間における撮像素子１４０の備える複数の画素との対応関係を表す第２射影変換行列１１７、および、第２の補正に用いられる第３射影変換行列１１８を含む。
【0046】
記憶装置１０の有する揮発性メモリーは、プログラム１００を実行する際のワークエリアとして処理装置１２に利用される。
【0047】
なお、記憶装置１０の一部または全部は、外部記憶装置または外部サーバー等に設けられてもよい。また記憶装置１０に記憶される各種情報の一部または全部は、予め記憶装置１０に記憶されてもよいし、外部記憶装置または外部サーバー等から取得されてもよい。
【0048】
図７に戻り、処理装置１２は、１または複数のＣＰＵを含んで構成される。但し、処理装置１２は、ＣＰＵの代わりに、または、ＣＰＵに加えて、ＦＰＧＡ等のプログラマブルロジックデバイスを備えるものでもよい。ここで、ＣＰＵとはCentral Processing Unitの略称であり、ＦＰＧＡとはField-Programmable Gate Arrayの略称である。
【0049】
処理装置１２は、処理装置１２が有するＣＰＵ等がプログラム１００を実行することで、図７に示す投射制御部１２０、撮像制御部１２１、検出部１２２、補正部１２３、座標管理部１２４および行列生成部１２５として機能する。
【0050】
投射制御部１２０は、投射装置を制御することで、投射面に対して、画像を表示するための投射光を投射させる。具体的には、投射制御部１２０は、投射画像情報１０１に基づく投射光を投射装置に投射させることで、投射面上に投射画像を表示させる。換言すれば、投射制御部１２０は、投射画像情報１０１の示す画像を投射装置から投射させることで、投射面上に投射画像を表示させる。また、投射制御部１２０は、投射装置を制御することで、ユーザーの操作を補助するための画像を投射面上に表示させる。
【0051】
本実施形態において、投射制御部１２０は、投射装置１６を制御することで、壁面Ｗ１に対して、画像を表示するための投射光を投射させる。
【0052】
具体的には、投射制御部１２０は、投射画像情報１０１に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像を表示させる。より具体的には、投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像ＧＰ１を表示させる。また、投射制御部１２０は、第２投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像ＧＰ２を表示させる。
【0053】
また、投射制御部１２０は、投射装置１６を制御することで、投射画像ＧＰ２の有する角に位置するポインター画像ＧＣ１を壁面Ｗ１上に表示させる。
【0054】
また、投射制御部１２０は、投射装置１６を制御することで、壁面Ｗ１上の領域Ｒ１の有する角に位置する角画像ＧＣ２を壁面Ｗ１上に表示させる。また、投射制御部１２０は、ユーザーからの操作に基づいて、角画像ＧＣ２の表示態様を変更させる。
【0055】
また、投射制御部１２０は、投射装置１６を制御することで、第２撮像画像情報１０６の示す画像から検出された複数の点と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１上に表示させる。また、投射制御部１２０は、ユーザーからの操作に基づいて、指示画像ＧＤの表示態様を変更させる。
【0056】
図９は、第１投射画像情報１０２の示す画像の一例を図示した模式図である。本実施形態において、第１投射画像情報１０２は、画像ＧＦ１を表す。投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像ＧＰ１を表示させる。換言すれば、投射制御部１２０は、第１投射画像情報１０２の示す画像ＧＦ１を投射装置１６から投射させることで、壁面Ｗ１上に投射画像ＧＰ１を表示させる。
【0057】
画像ＧＦ１は、複数の点を含む。画像ＧＦ１に含まれる複数の点は、投射画像ＧＰ１に含まれる複数の点と一対一で対応する。
【0058】
図７に戻り、撮像制御部１２１は、撮像装置を制御することで、投射画像が表示された投射面上の領域を含む範囲を撮像させる。また、撮像制御部１２１は、当該撮像装置から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す撮像画像情報１０４を記憶装置１０に記憶させる。
【0059】
本実施形態において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－１が表示された壁面Ｗ１上の領域Ｒ２を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第１撮像画像情報１０５を記憶装置１０に記憶させる。
【0060】
また、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－２が表示された壁面Ｗ１上の領域Ｒ３を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第３撮像画像情報１０７を記憶装置１０に記憶させる。
【0061】
また、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－２が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第２撮像画像情報１０６を記憶装置１０に記憶させる。
【0062】
また、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－３が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第４撮像画像情報１０８を記憶装置１０に記憶させる。
【0063】
検出部１２２は、各種画像情報の示す画像に対して画像処理を実行することで、当該画像に含まれる点を検出する。すなわち、検出部１２２は、検出された点の座標を表す座標情報１０９を取得する。また、検出部１２２は、取得した座標情報１０９を記憶装置１０に記憶させる。
【0064】
本実施形態において、検出部１２２は、撮像画像情報１０４の示す画像に対して画像処理を実行することで、撮像画像情報１０４の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、撮像画像情報１０４の示す画像に含まれる複数の点の座標を表す座標情報１０９を取得する。また、検出部１２２は、取得した座標情報１０９を記憶装置１０に記憶させる。
【0065】
具体的には、検出部１２２は、第１撮像画像情報１０５の示す画像に対して画像処理を実行することで、第１撮像画像情報１０５の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第１撮像画像情報１０５の示す画像に含まれる複数の点の座標を表す第２座標情報１１１を取得する。また、検出部１２２は、取得した第２座標情報１１１を記憶装置１０に記憶させる。
【0066】
また、検出部１２２は、第２撮像画像情報１０６の示す画像に対して画像処理を実行することで、第２撮像画像情報１０６の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第２撮像画像情報１０６の示す画像に含まれる複数の点の座標を表す第３座標情報１１２を取得する。また、検出部１２２は、取得した第３座標情報１１２を記憶装置１０に記憶させる。
【0067】
また、検出部１２２は、第３撮像画像情報１０７の示す画像に対して画像処理を実行することで、第３撮像画像情報１０７の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第３撮像画像情報１０７の示す画像に含まれる複数の点の座標を表す第４座標情報１１３を取得する。また、検出部１２２は、取得した第４座標情報１１３を記憶装置１０に記憶させる。
【0068】
また、検出部１２２は、第４撮像画像情報１０８の示す画像に対して画像処理を実行することで、第４撮像画像情報１０８の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第４撮像画像情報１０８の示す画像に含まれる複数の点の座標を表す第５座標情報１１４を取得する。また、検出部１２２は、取得した第５座標情報１１４を記憶装置１０に記憶させる。
【0069】
検出部１２２は、第１投射画像情報１０２の示す画像ＧＦ１に対して画像処理を実行することで、画像ＧＦ１に含まれる複数の点を検出してもよい。検出部１２２は、画像ＧＦ１に含まれる複数の点を検出した場合、第１投射画像情報１０２の示す画像ＧＦ１に含まれる複数の点の座標を表す第１座標情報１１０を取得する。また、検出部１２２は、取得した第１座標情報１１０を記憶装置１０に記憶させる。なお、本実施形態において、第１座標情報１１０は、予め記憶装置１０に記憶されている場合を想定する。
【0070】
点の検出に係る機能において、公知の画像処理技術が用いられてもよい。点の検出に係る公知の画像処理技術として、例えば、テンプレートマッチング、重心検出、および、「ＡＫＡＺＥ」と呼ばれるアルゴリズム等が挙げられる。本明細書において、点の検出に係る詳細な技術的説明は省略する。
【0071】
座標管理部１２４は、ユーザーからの操作に基づいて、撮像画像から検出された点の座標を管理する。また、座標管理部１２４は、撮像画像から検出された点の座標の管理に係る各種処理を実行する。
【0072】
本実施形態において、座標管理部１２４は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２を選択する。また、座標管理部１２４は、撮像画像から検出された点の座標の管理に係る操作をユーザーから受け付けたか否か判定する。
【0073】
また、座標管理部１２４は、壁面Ｗ１上において他の指示画像ＧＤと識別可能に表示された一つの指示画像ＧＤを選択するユーザーからの操作に基づいて、当該一つの指示画像ＧＤと対応する点であって、第２撮像画像情報１０６の示す画像から検出された点を選択する。また、座標管理部１２４は、当該ユーザーからの操作に基づいて、第３座標情報１１２を更新する。
【0074】
行列生成部１２５は、対応関係にある複数の点の座標に基づいて、射影変換行列１１５を生成する。すなわち、行列生成部１２５は、座標情報１０９に基づいて、射影変換行列１１５を生成する。
【0075】
本実施形態において、行列生成部１２５は、第１座標情報１１０と、第２座標情報１１１とに基づいて、第１射影変換行列１１６を生成する。また、行列生成部１２５は、生成した第１射影変換行列１１６を記憶装置１０に記憶させる。
【0076】
第１射影変換行列１１６は、第１の期間における光変調器１６０の備える複数の画素と、第１の期間における撮像素子１４０の備える複数の画素との対応関係を示す情報である。具体的には、第１射影変換行列１１６は、第１の期間における撮像素子１４０の備える画素の座標を、第１の期間における光変調器１６０の備える画素の座標へ変換するための射影変換行列である。換言すれば、第１射影変換行列１１６は、プロジェクター１の位置、向きおよび角度等が変化する前の撮像素子１４０が備える画素の座標を、プロジェクター１の位置、向きおよび角度等が変化する前の光変調器１６０が備える画素の座標へ変換するための射影変換行列である。
【0077】
また、行列生成部１２５は、第１座標情報１１０と、第４座標情報１１３とに基づいて、第２射影変換行列１１７を生成する。また、行列生成部１２５は、生成した第２射影変換行列１１７を記憶装置１０に記憶させる。
【0078】
第２射影変換行列１１７は、第４の期間における光変調器１６０の備える複数の画素と、第４の期間における撮像素子１４０の備える複数の画素との対応関係を示す情報である。具体的には、第２射影変換行列１１７は、第４の期間における撮像素子１４０の備える画素の座標を、第４の期間における光変調器１６０の備える画素の座標へ変換するための射影変換行列である。換言すれば、第２射影変換行列１１７は、プロジェクター１の位置、向きおよび角度等が変化した後の撮像素子１４０が備える画素の座標を、プロジェクター１の位置、向きおよび角度等が変化した後の光変調器１６０が備える画素の座標へ変換するための射影変換行列である。
【0079】
また、行列生成部１２５は、第３座標情報１１２と、第１射影変換行列１１６と、第５座標情報１１４と、第２射影変換行列１１７とに基づいて、第３射影変換行列１１８を生成する。また、行列生成部１２５は、生成した第３射影変換行列１１８を記憶装置１０に記憶させる。
【0080】
第３射影変換行列１１８は、第３の期間における光変調器１６０の備える複数の画素と、第５の期間における光変調器１６０の備える複数の画素との対応関係を示す情報である。具体的には、第３射影変換行列１１８は、第３の期間における光変調器１６０の備える画素の座標を、第５の期間における光変調器１６０の備える画素の座標へ変換するための射影変換行列である。換言すれば、第３射影変換行列１１８は、プロジェクター１の位置、向きおよび角度等が変化する前の光変調器１６０が備える画素の座標を、プロジェクター１の位置、向きおよび角度等が変化した後の光変調器１６０が備える画素の座標へ変換するための射影変換行列である。
【0081】
補正部１２３は、投射面上に表示される投射画像の位置および形状を補正する。具体的には、補正部１２３は、ユーザーからの操作に基づいて、第１の補正を実行する。また、補正部１２３は、行列生成部１２５によって生成された射影変換行列１１５に基づいて、第２の補正を実行する。
【0082】
本実施形態において、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２を補正する第１の補正を実行する。換言すれば、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて、投射画像ＧＰ２が表示される際に投射される画像を表す第２投射画像情報１０３を更新する。
【0083】
また、補正部１２３は、第３射影変換行列１１８に基づいて、投射画像ＧＰ２を補正する第２の補正を実行する。換言すれば、補正部１２３は、第３射影変換行列１１８に基づいて、投射画像ＧＰ２が表示される際に投射される画像を表す第２投射画像情報１０３を更新する。
【0084】
図１０は、第１撮像画像情報１０５の示す画像の一例を図示した模式図である。本実施形態において、第１撮像画像情報１０５は、撮像画像ＧＳ１を表す。
【0085】
撮像画像ＧＳ１は、画像ＧＳ１１を含む。画像ＧＳ１１は、壁面Ｗ１を表す画像である。画像ＧＳ１１は、画像ＧＶ１１と、画像ＧＶ１２とを含む。
【0086】
画像ＧＶ１１は、領域Ｒ１を表す画像である。画像ＧＶ１１は、角ＣＮ３－１、角ＣＮ３－２、角ＣＮ３－３および角ＣＮ３－４を有する。角ＣＮ３－１は、角ＣＮ１－１と対応する。角ＣＮ３－２は、角ＣＮ１－２と対応する。角ＣＮ３－３は、角ＣＮ１－３と対応する。角ＣＮ３－４は、角ＣＮ１－４と対応する。
【0087】
画像ＧＶ１２は、投射画像ＧＰ１－１を表す画像である。画像ＧＶ１２は、複数の点を含む。第２座標情報１１１は、画像ＧＶ１２に含まれる複数の点の座標を表す。画像ＧＶ１２に含まれる複数の点は、投射画像ＧＰ１－１に含まれる複数の点と一対一で対応する。また、画像ＧＶ１２に含まれる複数の点は、画像ＧＦ１に含まれる複数の点と一対一で対応する。
【0088】
図１１は、第２撮像画像情報１０６の示す画像の一例を図示した模式図である。本実施形態において、第２撮像画像情報１０６は、撮像画像ＧＳ２を表す。
【0089】
撮像画像ＧＳ２は、画像ＧＳ２１を含む。画像ＧＳ２１は、壁面Ｗ１を表す画像である。画像ＧＳ２１は、画像ＧＶ２１と、画像ＧＶ２２とを含む。
【0090】
画像ＧＶ２１は、領域Ｒ１を表す画像である。画像ＧＶ２１は、角ＣＮ４－１、角ＣＮ４－２、角ＣＮ４－３および角ＣＮ４－４を有する。角ＣＮ４－１は、角ＣＮ１－１と対応する。すなわち、角ＣＮ４－１は、角画像ＧＣ２－１と対応する。角ＣＮ４－２は、角ＣＮ１－２と対応する。すなわち、角ＣＮ４－２は、角画像ＧＣ２－２と対応する。角ＣＮ４－３は、角ＣＮ１－３と対応する。すなわち、角ＣＮ４－３は、角画像ＧＣ２－３と対応する。角ＣＮ４－４は、角ＣＮ１－４と対応する。すなわち、角ＣＮ４－４は、角画像ＧＣ２－４と対応する。画像ＧＶ１２は、投射画像ＧＰ２－２を表す画像である。
【0091】
撮像画像ＧＳ２は、複数の点Ｄ１を含む。複数の点Ｄ１は、複数の指示画像ＧＤと一対一で対応する。また、複数の点Ｄ１は、角ＣＮ４－１に対応する一以上の点Ｄ１と、角ＣＮ４－２に対応する一以上の点Ｄ１と、角ＣＮ４－３に対応する一以上の点Ｄ１と、角ＣＮ４－４に対応する一以上の点Ｄ１とを含む。また、複数の点Ｄ１は、点Ｄ１－１を含む。点Ｄ１－１は、指示画像ＧＤ－１と対応する。例えば、ユーザーが指示画像ＧＤ－１を選択する操作を実行した場合、座標管理部１２４は、指示画像ＧＤ－１と対応する点Ｄ１－１を選択する。また、座標管理部１２４は、当該ユーザーからの操作に基づいて、第３座標情報１１２を更新する。ユーザーからの操作に基づいて更新された第３座標情報１１２は、ユーザーからの操作に基づいて選択された点Ｄ１の座標を表す。
【0092】
図１２は、第３撮像画像情報１０７の示す画像の一例を図示した模式図である。本実施形態において、第３撮像画像情報１０７は、撮像画像ＧＳ３を表す。
【0093】
撮像画像ＧＳ３は、画像ＧＳ３１を含む。画像ＧＳ３１は、壁面Ｗ１を表す画像である。画像ＧＳ３１は、画像ＧＶ３１と、画像ＧＶ３２とを含む。
【0094】
画像ＧＶ３１は、領域Ｒ１を表す画像である。画像ＧＶ３１は、角ＣＮ５－１、角ＣＮ５－２、角ＣＮ５－３および角ＣＮ５－４を有する。角ＣＮ５－１は、角ＣＮ１－１と対応する。角ＣＮ５－２は、角ＣＮ１－２と対応する。角ＣＮ５－３は、角ＣＮ１－３と対応する。角ＣＮ５－４は、角ＣＮ１－４と対応する。
【0095】
画像ＧＶ３２は、投射画像ＧＰ１－２を表す画像である。画像ＧＶ３２は、複数の点を含む。第４座標情報１１３は、画像ＧＶ３２に含まれる複数の点の座標を表す。画像ＧＶ３２に含まれる複数の点は、投射画像ＧＰ１－２に含まれる複数の点と一対一で対応する。また、画像ＧＶ３２に含まれる複数の点は、画像ＧＦ１に含まれる複数の点と一対一で対応する。
【0096】
図１３は、第４撮像画像情報１０８の示す画像の一例を図示した模式図である。本実施形態において、第４撮像画像情報１０８は、撮像画像ＧＳ４を表す。
【0097】
撮像画像ＧＳ４は、画像ＧＳ４１を含む。画像ＧＳ４１は、壁面Ｗ１を表す画像である。画像ＧＳ４１は、画像ＧＶ４１と、画像ＧＶ４２とを含む。
【0098】
画像ＧＶ４１は、領域Ｒ１を表す画像である。画像ＧＶ４１は、角ＣＮ６－１、角ＣＮ６－２、角ＣＮ６－３および角ＣＮ６－４を有する。角ＣＮ６－１は、角ＣＮ１－１と対応する。角ＣＮ６－２は、角ＣＮ１－２と対応する。角ＣＮ６－３は、角ＣＮ１－３と対応する。角ＣＮ６－４は、角ＣＮ１－４と対応する。画像ＧＶ４２は、投射画像ＧＰ２－３を表す画像である。
【0099】
撮像画像ＧＳ４は、複数の点Ｄ２を含む。また、複数の点Ｄ２は、角ＣＮ６－１に対応する一以上の点Ｄ２と、角ＣＮ６－２に対応する一以上の点Ｄ２と、角ＣＮ６－３に対応する一以上の点Ｄ２と、角ＣＮ６－４に対応する一以上の点Ｄ２とを含む。第５座標情報１１４は、複数の点Ｄ２の座標を表す。
【0100】
図１４は、第２の補正について説明するための模式図である。図１４では、第２の補正の前後で光変調器１６０に表示される画像をそれぞれ示している。画像ＧＦ２－２は、第３の期間および第５の期間において光変調器１６０に表示される画像である。すなわち、画像ＧＦ２－２は、第１の補正によって更新された第２投射画像情報１０３の示す画像である。また、画像ＧＦ２－２は、第２の補正が実行される前の画像である。画像ＧＦ２－４は、第６の期間において光変調器１６０に表示される画像である。すなわち、画像ＧＦ２－４は、第１の補正および第２の補正によって更新された第２投射画像情報１０３の示す画像である。補正部１２３は、第３射影変換行列１１８に基づいて、画像ＧＦ２－２を、画像ＧＦ２－４へ補正する。
【0101】
点Ｄ３－１は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－１に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。同様に、点Ｄ３－２は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－２に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。また、点Ｄ３－３は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－３に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。また、点Ｄ３－４は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－４に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。領域Ｒ４は、点Ｄ３－１、点Ｄ３－２、点Ｄ３－３および点Ｄ３－４を頂点とする四角形で囲まれた領域である。すなわち、領域Ｒ４は、画像ＧＶ２１の示す第３の期間における領域Ｒ１と対応する、光変調器１６０上の領域である。画像ＧＦ２－２は、領域Ｒ４の内側に表示される
【0102】
点Ｄ４－１は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－１に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。同様に、点Ｄ４－２は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－２に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。また、点Ｄ４－３は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－３に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。また、点Ｄ４－４は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－４に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。領域Ｒ５は、点Ｄ４－１、点Ｄ４－２、点Ｄ４－３および点Ｄ４－４を頂点とする四角形で囲まれた領域である。すなわち、領域Ｒ５は、画像ＧＶ４１の示す第５の期間における領域Ｒ１と対応する、光変調器１６０上の領域である。
【0103】
第２の補正に用いられる第３射影変換行列１１８は、点Ｄ３－１の座標を点Ｄ４－１の座標へ、点Ｄ３－２の座標を点Ｄ４－２の座標へ、点Ｄ３－３の座標を点Ｄ４－３の座標へ、点Ｄ３－４の座標を点Ｄ４－４の座標へ、それぞれ変換する行列である。このため、第３射影変換行列１１８に基づいて、画像ＧＦ２－２が画像ＧＦ２－４へ補正される場合、画像ＧＦ２－２の有する四つの角と、領域Ｒ４の有する四つの角との位置関係は、画像ＧＦ２－４の有する四つの角と、領域Ｒ５の有する四つの角との位置関係に引き継がれる。この結果、第６の期間において、光変調器１６０に画像ＧＦ２－４を表示することで壁面Ｗ１上に投射画像ＧＰ２－４を表示する場合、領域Ｒ１の有する角ＣＮ１－１～ＣＮ１－４と、投射画像ＧＰ２の有する角ＣＮ２－１～角ＣＮ２－４との位置関係は、第３の期間と同様に維持される。
【0104】
図７に戻り、撮像素子１４０は、例えば、ＣＣＤまたはＣＭＯＳ等を一例とするイメージセンサーである。ここで、ＣＣＤとはCharge Coupled Deviceの略称であり、ＣＭＯＳとはComplementary Metal Oxide Semiconductorの略称である。
【0105】
撮像装置１４は、撮像制御部１２１の制御により、投射画像が表示された投射面上の領域を含む範囲を撮像する。また、撮像装置１４は、投射画像が表示された投射面上の領域を含む範囲を撮像した結果を表す撮像画像情報１０４を処理装置１２へ出力する。換言すれば、撮像装置１４は、撮像画像情報１０４の示す撮像画像を処理装置１２へ出力する。
【0106】
光変調器１６０は、例えば、１または複数の液晶パネルを含んで構成される。なお、光変調器１６０は、液晶パネルの代わりに、ＤＭＤを含んで構成されてもよい。光変調器１６０は、処理装置１２から入力される信号に基づいて、光源から発せられた光を、投射面上に投射画像を表示するための投射光に変調する。光源は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤまたはレーザー光源等を含む。ここで、ＬＥＤとはLight Emitting Diodeの略称であり、ＤＭＤとはDigital Mirror Deviceの略称である。
【0107】
投射装置１６は、投射制御部１２０の制御により、投射面上に投射画像を表示するための投射光を投射する。換言すれば、投射装置１６は、処理装置１２から入力された画像を投射面へ投射する。
【0108】
操作装置１８は、プロジェクター１のユーザーから、プロジェクター１に対する入力操作を受け付ける。操作装置１８は、例えば、プロジェクター１の筐体に設けられたタッチパネルまたは操作ボタン等を含んで構成される。操作装置１８がタッチパネルを含んで構成される場合、操作装置１８は、検出したタッチ位置を示すデータを処理装置１２へ出力する。また、操作装置１８が操作ボタンを含んで構成される場合、操作装置１８は、押下されたボタンを識別するデータを処理装置１２へ出力する。また、操作装置１８は、ユーザーの操作に基づいてリモートコントローラーから出力される操作信号を受信するための受信装置を含んで構成されてもよい。操作装置１８が受信装置を含んで構成される場合、操作装置１８はリモートコントローラーから受信した操作信号の示すデータを処理装置１２へ出力する。これにより、プロジェクター１に対する入力操作の内容が処理装置１２へ伝達される。
【0109】
１．３．プロジェクターの動作
以下、図１５および図１６を参照しつつ、第１実施形態に係るプロジェクター１の動作について説明する。
【0110】
図１５は、第１の期間から第３の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。図１５のフローチャートに示す一連の動作は、第２の補正に係る準備のための動作である。また、図１５のフローチャートに示す一連の動作は、例えば、プロジェクター１の電源がＯＮになり、操作装置１８がプロジェクター１のユーザーから動作開始に関する入力操作を受け付けた際に開始される。
【0111】
ステップＳ１０１において、投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ２に投射画像ＧＰ１－１を表示させる。
【0112】
ステップＳ１０２において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－１が表示された壁面Ｗ１上の領域Ｒ２を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ１を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ１を表す第１撮像画像情報１０５を記憶装置１０に記憶させる。
【0113】
ステップＳ１０３において、検出部１２２は、第１撮像画像情報１０５の示す撮像画像ＧＳ１に対して画像処理を実行することで、撮像画像ＧＳ１に含まれる複数の点を検出する。すなわち、検出部１２２は、撮像画像ＧＳ１に含まれる複数の点の座標を表す第２座標情報１１１を取得する。また、検出部１２２は、取得した第２座標情報１１１を記憶装置１０に記憶させる。
【0114】
ステップＳ１０４において、行列生成部１２５は、第１座標情報１１０と、第２座標情報１１１とに基づいて、第１射影変換行列１１６を生成する。また、行列生成部１２５は、生成した第１射影変換行列１１６を記憶装置１０に記憶させる。
【0115】
ステップＳ１０５において、投射制御部１２０は、第２投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ１に投射画像ＧＰ２－１を表示させる。また、投射制御部１２０は、投射装置１６を制御することで、投射画像ＧＰ２－１の有する角に位置するポインター画像ＧＣ１を壁面Ｗ１上に表示させる。すなわち、投射制御部１２０は、投射装置１６を制御することで、角ＣＮ２－１の位置を示すポインター画像ＧＣ１－１と、角ＣＮ２－２の位置を示すポインター画像ＧＣ１－２と、角ＣＮ２－３の位置を示すポインター画像ＧＣ１－３と、角ＣＮ２－４の位置を示すポインター画像ＧＣ１－４とを表示させる。
【0116】
ステップＳ１０６において、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２－１の角の位置を変更することで、投射画像ＧＰ２の形状を補正する第１の補正を実行する。換言すれば、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて、第２投射画像情報１０３を更新する。第１の補正が実行された場合、壁面Ｗ１上には、投射画像ＧＰ２－２が表示される。
【0117】
ステップＳ１０７において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－２が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ２を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ２を表す第２撮像画像情報１０６を記憶装置１０に記憶させる。
【0118】
ステップＳ１０８において、検出部１２２は、第２撮像画像情報１０６の示す撮像画像ＧＳ２に対して画像処理を実行することで、撮像画像ＧＳ２に含まれる複数の点Ｄ１を検出する。すなわち、検出部１２２は、撮像画像ＧＳ２に含まれる複数の点Ｄ１の座標を表す第３座標情報１１２を取得する。また、検出部１２２は、取得した第３座標情報１１２を記憶装置１０に記憶させる。
【0119】
ステップＳ１０９において、投射制御部１２０は、投射装置１６を制御することで、壁面Ｗ１上の領域Ｒ１の有する角に位置する角画像ＧＣ２を壁面Ｗ１上に表示させる。すなわち、投射制御部１２０は、投射装置１６を制御することで、角ＣＮ１－１の位置を示す角画像ＧＣ２－１と、角ＣＮ１－２の位置を示す角画像ＧＣ２－２と、角ＣＮ１－３の位置を示す角画像ＧＣ２－３と、角ＣＮ１－４の位置を示す角画像ＧＣ２－４とを表示させる。また、投射制御部１２０は、投射装置１６を制御することで、複数の点Ｄ１と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１上に表示させる。
【0120】
ステップＳ１１０において、座標管理部１２４は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２を選択する。換言すれば、座標管理部１２４は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２が示す領域Ｒ１の角を選択する。
【0121】
ステップＳ１１１において、投射制御部１２０は、投射装置１６を制御することで、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤの中から決定された、選択の候補となる一つの指示画像ＧＤを繰り返し点滅させることで、指示画像ＧＤを他の指示画像ＧＤと識別可能に表示する。
【0122】
ステップＳ１１２において、座標管理部１２４は、他の指示画像ＧＤと識別可能に表示された一つの指示画像を選択するユーザーからの操作に基づいて、当該一つの指示画像ＧＤと対応する点Ｄ１を選択する。また、座標管理部１２４は、当該ユーザーからの操作に基づいて、第３座標情報１１２を更新する。
【0123】
ステップＳ１１３において、投射制御部１２０は、投射装置１６を制御することで、ユーザーからの操作に基づいて選択された点Ｄ１と対応する指示画像ＧＤの色を変更する。
【0124】
ステップＳ１１４において、座標管理部１２４は、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２が示す領域Ｒ１の角における一以上の指示画像ＧＤの選択を終了するユーザーからの操作を受け付けたか否か判定する。換言すれば、座標管理部１２４は、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を受け付けたか否か判定する。ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を受け付けた場合、すなわち、ステップＳ１１４でＹＥＳの場合、座標管理部１２４は処理をステップＳ１１５へ進める。また、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を受け付けていない場合、すなわち、ステップＳ１１４でＮＯの場合、座標管理部１２４は処理をステップＳ１１１へ進める。
【0125】
ステップＳ１１４における判定の結果がＮＯの場合、処理装置１２は、ステップＳ１１１～Ｓ１１３における処理を再度実行することで、ユーザーからの操作に基づく点Ｄ１の選択を続行する。
【0126】
ステップＳ１１５において、投射制御部１２０は、投射装置１６を制御することで、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２の色を変更する。
【0127】
ステップＳ１１６において、座標管理部１２４は、指示画像ＧＤの選択を終了するユーザーからの操作を受け付けたか否か判定する。すなわち、座標管理部１２４は、点Ｄ１の選択を終了するユーザーからの操作を受け付けたか否か判定する。点Ｄ１の選択を終了するユーザーからの操作を受け付けた場合、すなわち、ステップＳ１１６でＹＥＳの場合、座標管理部１２４を備える処理装置１２は図１５のフローチャートに示す一連の動作を終了する。また、点Ｄ１の選択を終了するユーザーからの操作を受け付けていない場合、すなわち、ステップＳ１１６でＮＯの場合、座標管理部１２４は処理をステップＳ１１０へ進める。
【0128】
処理装置１２は、ステップＳ１１６における判定の結果がＹＥＳとなるまで、ステップＳ１１０～Ｓ１１５における処理を繰り返し実行することで、四以上の点Ｄ１を選択する。すなわち、処理装置１２は、角画像ＧＣ２－１が示す角ＣＮ１－１と対応関係にある角ＣＮ４－１に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角画像ＧＣ２－２が示す角ＣＮ１－２と対応関係にある角ＣＮ４－２に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角画像ＧＣ２－３が示す角ＣＮ１－３と対応関係にある角ＣＮ４－３に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角画像ＧＣ２－４が示す角ＣＮ１－４と対応関係にある角ＣＮ４－４に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することによって、四以上の点Ｄ１を選択する。
【0129】
なお、処理装置１２は、例えばステップＳ１０８より後かつステップＳ１０９より前の段階において、複数の点Ｄ１を間引く処理を実行してもよい。例えば、角ＣＮ１－１に対応する複数の点Ｄ１の個数は、実際には数十個ほどであるが、これらと対応する複数の指示画像ＧＤを全て表示すると、ユーザーは数の多さに起因してどの点Ｄ１を選択するべきか把握しづらくなる。したがって、処理装置１２は、複数の点Ｄ１それぞれが、撮像画像ＧＳ２における位置に応じた値すなわち特徴量を有することを利用し、複数の点Ｄ１を間引く処理を実行してもよい。特徴量は、図１５のステップＳ１０８において撮像画像ＧＳ２に対して画像処理を実行した結果として算出される。例えば、処理装置１２は、所定の閾値未満の特徴量を有する複数の点Ｄ１に対応する複数の指示画像ＧＤを表示しないようにする。所定の閾値未満の特徴量を有する複数の点Ｄ１は、例えば領域Ｒ１の有する角に対応しない点など、投射画像ＧＰの位置及び形状の制御に対する寄与が小さい成分である。
【0130】
図１６は、第４の期間から第６の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。図１６のフローチャートに示す一連の動作は、第２の補正を実行するための動作である。図１６のフローチャートに示す一連の動作は、例えば、一定時間毎に開始されてもよいし、ユーザーから動作開始に関する入力操作を受け付けた際に開始されてもよい。
【0131】
ステップＳ２０１において、投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ３に投射画像ＧＰ１－２を表示させる。
【0132】
ステップＳ２０２において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－２が表示された壁面Ｗ１上の領域Ｒ３を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ３を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ３を表す第３撮像画像情報１０７を記憶装置１０に記憶させる。
【0133】
ステップＳ２０３において、検出部１２２は、第３撮像画像情報１０７の示す撮像画像ＧＳ３に対して画像処理を実行することで、撮像画像ＧＳ３に含まれる複数の点を検出する。すなわち、検出部１２２は、撮像画像ＧＳ３に含まれる複数の点の座標を表す第４座標情報１１３を取得する。また、検出部１２２は、取得した第４座標情報１１３を記憶装置１０に記憶させる。
【0134】
ステップＳ２０４において、行列生成部１２５は、第１座標情報１１０と、第４座標情報１１３とに基づいて、第２射影変換行列１１７を生成する。また、行列生成部１２５は、生成した第２射影変換行列１１７を記憶装置１０に記憶させる。
【0135】
ステップＳ２０５において、投射制御部１２０は、第２投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ１に投射画像ＧＰ２－３を表示させる。
【0136】
ステップＳ２０６において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－３が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ４を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ４を表す第４撮像画像情報１０８を記憶装置１０に記憶させる。
【0137】
ステップＳ２０７において、検出部１２２は、第４撮像画像情報１０８の示す撮像画像ＧＳ４に対して画像処理を実行することで、撮像画像ＧＳ４に含まれる複数の点Ｄ２を検出する。すなわち、検出部１２２は、撮像画像ＧＳ４に含まれる複数の点Ｄ２の座標を表す第５座標情報１１４を取得する。また、検出部１２２は、取得した第５座標情報１１４を記憶装置１０に記憶させる。
【0138】
ステップＳ２０８において、行列生成部１２５は、第３座標情報１１２と、第１射影変換行列１１６と、第５座標情報１１４と、第２射影変換行列１１７とに基づいて、第３射影変換行列１１８を生成する。また、行列生成部１２５は、生成した第３射影変換行列１１８を記憶装置１０に記憶させる。
【0139】
なお、ステップＳ２０７の後かつステップＳ２０８の前に、処理装置１２は、撮像画像ＧＳ４から検出された複数の点Ｄ２の中から、第３の期間においてユーザーが選択した四以上の点Ｄ１に相当する点を探索するプロセスを実行してもよい。具体的には、処理装置１２は、複数の点Ｄ２のうちユーザーが選択した四以上の点Ｄ１と同じ特徴量を有する点を探索する。これは、処理装置１２が第２の補正を実行するにあたり、撮像画像ＧＳ２における四以上の点Ｄ１が、撮像画像ＧＳ４においてどこに移動したのかを精度よく認識する必要があるからである。処理装置１２は、点Ｄ１が特徴量を有することを利用し、第５の期間における複数の点Ｄ２と第３の期間における四以上の点Ｄ１との対応付け、すなわちマッチングを精度よく行うことができる。これにより、第５の期間における複数の点Ｄ２と第３の期間における四以上の点Ｄ１とのマッチングエラーが抑制され、第３射影変換行列１１８の生成精度がさらに向上する。
【0140】
ステップＳ２０９において、補正部１２３は、第３射影変換行列１１８に基づいて、投射画像ＧＰ２－３を補正する第２の補正を実行する。換言すれば、補正部１２３は、第３射影変換行列１１８に基づいて、第２投射画像情報１０３を更新する。第２の補正が実行された場合、壁面Ｗ１上には、投射画像ＧＰ２－４が表示される。
【0141】
ステップＳ２０９における処理が実行された後、処理装置１２は、図１６のフローチャートに示す一連の動作を終了する。
【0142】
以上より、第１実施形態によれば、プロジェクター１は、第２の補正を実行することで、表示領域に表示された投射画像の位置および形状を補正する。すなわち、プロジェクター１は、プロジェクター１の位置、向きおよび角度等が変化した場合であっても、投射画像が表示される位置、および、投射画像の形状を、プロジェクター１の位置、向きおよび角度等が変化する前と同様に維持することができる。換言すれば、プロジェクター１は、表示領域の有する四つの角と、投射画像の有する四つの角との位置関係を維持することができる。
【0143】
また、第１実施形態によれば、プロジェクター１は、ユーザーからの操作に基づいて第１の補正を実行することで、表示領域に表示された投射画像の形状を補正する。すなわち、プロジェクター１は、ユーザーの所望する形状で投射画像を表示することができる。また、ユーザーは、プロジェクター１の位置、向きおよび角度等を正確に調整することなく、簡便に、投射画像の形状を調整することができる。
【0144】
また、第１実施形態によれば、プロジェクター１は、投射画像が表示された領域を含む範囲を撮像した撮像画像から検出された複数の点と一対一で対応する複数の指示画像を、投射面上に表示する。また、プロジェクター１は、指示画像を選択するユーザーからの操作に基づいて、四以上の点を選択し、選択された四以上の点の座標に基づいて第２の補正を実行する。すなわち、ユーザーは、第２の補正に用いられる射影変換行列の生成に必要となる点を適切に選択することができる。また、プロジェクター１は、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状をユーザーの所望の形状で維持することができる。
【0145】
２．第２実施形態
以下において、本発明の第２実施形態を説明する。なお、以下に例示する各形態において、作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
【0146】
第２実施形態では、第１の補正と、第２の補正とを実行する投射システムを例示して、本発明に係るプログラム、点の選択方法および情報処理装置について説明する。第２実施形態では、投射システムの備える情報処理装置が、第２の補正に用いられる射影変換行列を生成する。また、第２実施形態に係る投射システムは、当該射影変換行列の生成に必要となる点をユーザーが選択するための複数の画像であって、投射面上に表示された画像を含む範囲を撮像した撮像画像から検出された複数の点と一対一で対応する複数の表示画像を表示装置に表示させる。
【0147】
図１７は、第２実施形態に係る投射システムＳｙｓＡの概要を説明するための模式図である。投射システムＳｙｓＡは、プロジェクター１Ａ－１と、プロジェクター１Ａ－２と、コンピューター２Ａとを備える。
【0148】
プロジェクター１Ａ－１およびプロジェクター１Ａ－２は、各々、撮像装置１４と、投射装置１６とを備える。なお、区別のため、プロジェクター１Ａ－１の備える撮像装置１４を「撮像装置１４－１」、プロジェクター１Ａ－１の備える投射装置１６を「投射装置１６－１」、プロジェクター１Ａ－２の備える撮像装置１４を「撮像装置１４－２」、プロジェクター１Ａ－２の備える投射装置１６を「投射装置１６－２」ということがある。また、プロジェクター１Ａ－１と、プロジェクター１Ａ－２とを区別しない場合、プロジェクター１Ａ－１およびプロジェクター１Ａ－２を「プロジェクター１Ａ」ということがある。図１７において、撮像装置１４－１および撮像装置１４－２の図示は省略する。
【0149】
コンピューター２Ａは、各種画像が表示される表示装置２６を備える。また、コンピューター２Ａは、プロジェクター１Ａ－１およびプロジェクター１Ａ－２と通信可能に接続され、各種情報の送受信を行う。例えば、コンピューター２Ａとプロジェクター１Ａとの通信には、ＨＤＭＩ接続、有線または無線ＬＡＮ接続、ＵＳＢ接続、およびＢｌｕｅｔｏｏｔｈ接続等が用いられてもよい。ＨＤＭＩ接続でデータの送受信が行われる場合、ＤＤＣ、ＣＥＣ、またはＥＤＩＤのプロトコルが活用されてもよい。また、コンピューター２Ａおよびプロジェクター１Ａは、各種情報を定義可能な標準プロトコルおよびデータを活用して送受信を行ってもよいし、ベンダー独自で定義したプロトコルおよびデータを活用して送受信を行ってもよい。ここで、ＨＤＭＩとはHigh-Definition Multimedia Interfaceの略称である。また、ＬＡＮとはLocal Area Networkの略称である。また、ＵＳＢとはUniversal Serial Busの略称である。また、ＤＤＣとはDisplay Data Channelの略称である。また、ＣＥＣとはConsumer Electronics Controlの略称である。また、ＥＤＩＤとはExtended Display Identification Dataの略称である。また、ＨＤＭＩおよびＢｌｕｅｔｏｏｔｈは登録商標である。
【0150】
コンピューター２Ａは、投射装置１６－１を制御することで、壁面Ｗ１の領域Ｒ１に投射画像ＧＰ２－６を表示させる。投射画像ＧＰ２－６は、投射画像ＧＰ２－２と同様、第１の補正によって補正された投射画像ＧＰ２である。
【0151】
コンピューター２Ａは、投射装置１６－２を制御することで、壁面Ｗ１の領域Ｒ６に投射画像ＧＰ３－１を表示させる。投射画像ＧＰ３－１は、投射画像ＧＰ２－６と同様、第１の補正によって補正された投射画像ＧＰ３である。なお、投射画像ＧＰ３－１は、投射画像ＧＰ３の一例である。領域Ｒ６は、角ＣＮ７－１、角ＣＮ７－２、角ＣＮ７－３および角ＣＮ７－４を有する。また、領域Ｒ６は、領域Ｒ７に含まれる。領域Ｒ７は、プロジェクター１Ａ－２から投射光が投射される領域である。
【0152】
領域Ｒ６の位置、具体的には領域Ｒ６の四隅の位置は、壁面Ｗ１上に明示的に示される。図１７において、領域Ｒ６の位置は太い直線によって図示されているが、これに限定されない。例えば、領域Ｒ６の角の位置を示すマーカーが領域Ｒ６の四隅の各々に貼付されることで、領域Ｒ６の位置が示されてもよい。
【0153】
コンピューター２Ａは、撮像装置１４－１を制御することで、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像を取得する。また、コンピューター２Ａは、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像に画像処理を実行することで、当該撮像画像に含まれる領域Ｒ１を示す画像の有する四つの角に対応する複数の点を検出する。
【0154】
コンピューター２Ａは、撮像装置１４－２を制御することで、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像を取得する。また、コンピューター２Ａは、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像に画像処理を実行することで、当該撮像画像に含まれる領域Ｒ６を示す画像の有する四つの角に対応する複数の点を検出する。
【0155】
コンピューター２Ａは、表示装置２６を制御することで、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された複数の点と一対一で対応する複数の表示画像を表示する。当該複数の表示画像は、当該撮像画像から検出された複数の点と、当該撮像画像に含まれる領域Ｒ１を示す画像との相対的な位置関係をユーザーに示すための画像である。具体的には、コンピューター２Ａは、表示装置２６を制御することで、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された複数の点と一対一で対応する複数の表示画像が当該撮像画像に重畳された画像を表示する。
【0156】
コンピューター２Ａは、表示装置２６を制御することで、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像から検出された複数の点と一対一で対応する複数の表示画像を表示する。当該複数の表示画像は、当該撮像画像から検出された複数の点と、当該撮像画像に含まれる領域Ｒ６を示す画像との相対的な位置関係をユーザーに示すための画像である。具体的には、コンピューター２Ａは、表示装置２６を制御することで、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像から検出された複数の点と一対一で対応する複数の表示画像が当該撮像画像に重畳された画像を表示する。
【0157】
より具体的には、コンピューター２Ａは、表示装置２６を制御することで、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像に複数の表示画像が重畳された画像と、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像に複数の表示画像が重畳された画像とを含む操作画像ＧＮを表示する。
【0158】
ユーザーは、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像に複数の表示画像が重畳された画像から、表示画像を選択する操作を実行する。コンピューター２Ａは、ユーザーの選択の対象となった表示画像と対応する点であって、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。
【0159】
ユーザーは、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像に複数の表示画像が重畳された画像から、表示画像を選択する操作を実行する。コンピューター２Ａは、ユーザーの選択の対象となった表示画像と対応する点であって、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。
【0160】
コンピューター２Ａは、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された複数の点のうちの、ユーザーからの操作に基づいて選択された点の座標に基づいて、投射画像ＧＰ２が表示される位置、および、投射画像ＧＰ２の形状を補正するための射影変換行列を生成する。また、コンピューター２Ａは、当該射影変換行列を用いて投射画像ＧＰ２に対して第２の補正を実行することで、投射画像ＧＰ２が表示される位置、および、投射画像ＧＰ２の形状を、投射画像ＧＰ２－６と同様に維持することができる。
【0161】
コンピューター２Ａは、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像した結果を表す撮像画像から検出された複数の点のうちの、ユーザーからの操作に基づいて選択された点の座標に基づいて、投射画像ＧＰ３が表示される位置、および、投射画像ＧＰ３の形状を補正するための射影変換行列を生成する。また、コンピューター２Ａは、当該射影変換行列を用いて投射画像ＧＰ３に対して第２の補正を実行することで、投射画像ＧＰ３が表示される位置、および、投射画像ＧＰ３の形状を、投射画像ＧＰ３－１と同様に維持することができる。
【0162】
また、コンピューター２Ａは、表示装置２６を制御することで、投射画像が表示された領域を含む範囲を撮像した結果を表す撮像画像から検出された複数の点と一対一で対応する複数の表示画像を表示する。また、コンピューター２Ａは、表示画像を選択するユーザーからの操作に基づいて、複数の点を選択し、選択された複数の点の座標に基づいて第２の補正を実行する。すなわち、ユーザーは、第２の補正に用いられる射影変換行列に必要となる点を適切に選択することができる。また、コンピューター２Ａは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状をユーザーの所望の形状で維持することができる。
【0163】
図１８は、第２実施形態に係る投射システムＳｙｓＡの構成を示すブロック図である。前述の通り、投射システムＳｙｓＡは、プロジェクター１Ａ－１と、プロジェクター１Ａ－２と、コンピューター２Ａとを備える。
【0164】
プロジェクター１Ａ－１は、撮像装置１４－１と、投射装置１６－１とを備える。また、プロジェクター１Ａ－２は、撮像装置１４－２と、投射装置１６－２とを備える。
【0165】
撮像装置１４－１および撮像装置１４－２は、各々、撮像素子１４０と、撮像レンズ１４２とを備える。なお、区別のため、撮像装置１４－１の備える撮像素子１４０を「撮像素子１４０－１」、撮像装置１４－２の備える撮像素子１４０を「撮像素子１４０－２」、撮像装置１４－１の備える撮像レンズ１４２を「撮像レンズ１４２－１」、撮像装置１４－２の備える撮像レンズ１４２を「撮像レンズ１４２－２」ということがある。
【0166】
投射装置１６－１および投射装置１６－２は、各々、光変調器１６０と、投射レンズ１６２とを備える。なお、区別のため、投射装置１６－１の備える光変調器１６０を「光変調器１６０－１」、投射装置１６－２の備える光変調器１６０を「光変調器１６０－２」、投射装置１６－１の備える投射レンズ１６２を「投射レンズ１６２－１」、投射装置１６－２の備える投射レンズ１６２を「投射レンズ１６２－２」ということがある。
【0167】
コンピューター２Ａは、各種情報を記憶する記憶装置１０Ａと、投射システムＳｙｓＡの動作を制御する処理装置１２Ａと、プロジェクター１Ａ－１およびプロジェクター１Ａ－２、ならびに、外部記憶装置および外部サーバー等との通信を実行する通信装置２４と、各種画像を表示する表示装置２６と、ユーザーからの入力操作を受け付ける操作装置１８とを備える。処理装置１２Ａは、座標管理部１２４の代わりに座標管理部１２４Ａとしての機能を有する点と、表示制御部１２６Ａとしての機能を有する点とにおいて、処理装置１２と相違する。
【0168】
なお、本実施形態における操作装置１８は、例えば、コンピューター２Ａと接続されたキーボード、または、マウス等のポインティングデバイスを含んで構成されてもよい。
【0169】
通信装置２４は、例えば、コネクターおよびインターフェース回路を有するインターフェース基板を含み、端末装置、外部記憶装置および外部サーバー等から各種情報を受信する機能と、端末装置、外部記憶装置および外部サーバー等へ各種情報を送信する機能とを有する。通信装置２４は、有線通信を利用して各種情報を送受信してもよいし、無線通信を利用して各種情報を送受信してもよい。無線通信が利用される場合、通信装置２４は、所定の通信規格に準拠した無線通信に対応するアンテナを含んで構成される。
【0170】
表示装置２６は、画像を表示するためのディスプレイパネルを含んで構成される。表示装置２６は、処理装置１２Ａが表示装置２６の備える複数の画素回路を制御することで、画像を表示する。例えば、表示装置２６が液晶パネルを含んで構成される場合、複数の画素回路の各々は液晶素子を備え、バックライトから発せられる光の透過率を液晶素子によって調整することで画像を表示する。また、表示装置２６が有機ＥＬパネルを含んで構成される場合、複数の画素回路の各々は発光素子を備え、発光素子から発せられる光の強弱を調整することで画像を表示する。ここで、ＥＬとはElectro-Luminescenceの略称である。
【0171】
図１９は、第２実施形態に係る記憶装置１０Ａの構成を示すブロック図である。記憶装置１０Ａは、プログラム１００の代わりにプログラム１００Ａを記憶する点と、投射画像情報１０１の代わりに投射画像情報１０１Ａを記憶する点と、撮像画像情報１０４の代わりに撮像画像情報１０４Ａを記憶する点と、座標情報１０９の代わりに座標情報１０９Ａを記憶する点と、射影変換行列１１５の代わりに射影変換行列１１５Ａを記憶する点と、操作画像ＧＮを表す操作画像情報１１９を記憶する点とにおいて、記憶装置１０と相違する。
【0172】
投射画像情報１０１Ａは、第２投射画像情報１０３の代わりに第２投射画像情報１０３－１および第２投射画像情報１０３－２を含む点において、投射画像情報１０１と相違する。
【0173】
第２投射画像情報１０３－１は、第２投射画像情報１０３と同様の情報である。すなわち、第２投射画像情報１０３－１は、投射画像ＧＰ２が表示される際に投射される画像を表す情報である。第２投射画像情報１０３－２は、投射画像ＧＰ３が表示される際に投射される画像を表す情報である。
【0174】
撮像画像情報１０４Ａは、第１撮像画像情報１０５の代わりに第１撮像画像情報１０５Ａ－１および第１撮像画像情報１０５Ａ－２を含む点と、第２撮像画像情報１０６の代わりに第２撮像画像情報１０６Ａ－１および第２撮像画像情報１０６Ａ－２を含む点とにおいて、撮像画像情報１０４と相違する。
【0175】
第１撮像画像情報１０５Ａ－１は、投射装置１６－１から第１投射画像情報１０２の示す画像ＧＦ１が投射されることで投射画像ＧＰ１が表示された領域Ｒ２を含む範囲を撮像装置１４－１が撮像した結果を表す情報である。第１撮像画像情報１０５Ａ－２は、投射装置１６－２から第１投射画像情報１０２の示す画像ＧＦ１が投射されることで投射画像が表示された領域Ｒ７を含む範囲を撮像装置１４－２が撮像した結果を表す情報である。
【0176】
第２撮像画像情報１０６Ａ－１は、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像装置１４－１が撮像した結果を表す情報である。第２撮像画像情報１０６Ａ－２は、投射画像ＧＰ３－１が表示された領域Ｒ６を含む範囲を撮像装置１４－２が撮像した結果を表す情報である。
【0177】
座標情報１０９Ａは、第２座標情報１１１の代わりに第２座標情報１１１Ａ－１および第２座標情報１１１Ａ－２を含む点と、第３座標情報１１２の代わりに第３座標情報１１２Ａ－１および第３座標情報１１２Ａ－２を含む点とにおいて、座標情報１０９と相違する。
【0178】
第２座標情報１１１Ａ－１は、第１撮像画像情報１０５Ａ－１の示す画像から検出された複数の点の座標を表す情報である。第２座標情報１１１Ａ－２は、第１撮像画像情報１０５Ａ－２の示す画像から検出された複数の点の座標を表す情報である。
【0179】
第３座標情報１１２Ａ－１は、第２撮像画像情報１０６Ａ－１の示す画像から検出された複数の点の座標を表す情報である。第３座標情報１１２Ａ－２は、第２撮像画像情報１０６Ａ－２の示す画像から検出された複数の点の座標を表す情報である。
【0180】
射影変換行列１１５Ａは、第１射影変換行列１１６の代わりに第１射影変換行列１１６Ａ－１および第１射影変換行列１１６Ａ－２を含む点において、射影変換行列１１５と相違する。
【0181】
第１射影変換行列１１６Ａ－１は、第１座標情報１１０と、第２座標情報１１１Ａ－１とに基づいて生成される射影変換行列である。また、第１射影変換行列１１６Ａ－１は、プロジェクター１Ａ－１の位置、向きおよび角度等が変化する前の撮像素子１４０－１が備える複数の画素の座標を、プロジェクター１Ａ－１の位置、向きおよび角度等が変化する前の光変調器１６０－１が備える複数の画素の座標へ変換するための射影変換行列である。
【0182】
第１射影変換行列１１６Ａ－２は、第１座標情報１１０と、第２座標情報１１１Ａ－２とに基づいて生成される射影変換行列である。また、第１射影変換行列１１６Ａ－２は、プロジェクター１Ａ－２の位置、向きおよび角度等が変化する前の撮像素子１４０－２が備える複数の画素の座標を、プロジェクター１Ａ－２の位置、向きおよび角度等が変化する前の光変調器１６０－２が備える複数の画素の座標へ変換するための射影変換行列である。
【0183】
図１８に戻り、処理装置１２Ａは、処理装置１２Ａが有するＣＰＵ等がプログラム１００Ａを実行することで、図１８に示す投射制御部１２０、撮像制御部１２１、検出部１２２、補正部１２３、座標管理部１２４Ａ、行列生成部１２５および表示制御部１２６Ａとして機能する。
【0184】
座標管理部１２４Ａは、ユーザーからの操作に基づいて、撮像画像から検出された点の座標を管理する。また、座標管理部１２４Ａは、撮像画像から検出された点の座標の管理に係る各種処理を実行する。
【0185】
座標管理部１２４Ａは、表示装置２６に表示された表示画像を選択するユーザーからの操作に基づいて、ユーザーの選択の対象となった表示画像と対応する点であって、第２撮像画像情報１０６Ａ－１の示す画像から検出された点を選択する。また、座標管理部１２４Ａは、当該ユーザーからの操作に基づいて、第３座標情報１１２Ａ－１を更新する。
【0186】
また、座標管理部１２４Ａは、表示装置２６に表示された表示画像を選択するユーザーからの操作に基づいて、ユーザーの選択の対象となった表示画像と対応する点であって、第２撮像画像情報１０６Ａ－２の示す画像から検出された点を選択する。また、座標管理部１２４Ａは、当該ユーザーからの操作に基づいて、第３座標情報１１２Ａ－２を更新する。
【0187】
また、座標管理部１２４Ａは、撮像画像から検出された点の座標の管理に係る操作をユーザーから受け付けたか否か判定する。
【0188】
表示制御部１２６Ａは、表示装置２６を制御することで、各種画像を表示する。また、表示制御部１２６Ａは、ユーザーからの操作に基づいて、表示装置２６に表示された画像を更新する。
【0189】
本実施形態において、表示制御部１２６Ａは、表示装置２６を制御することで、操作画像情報１１９の示す操作画像ＧＮを表示する。また、表示制御部１２６Ａは、ユーザーからの操作に基づいて、操作画像ＧＮを更新する。
【0190】
図２０は、第２撮像画像情報１０６Ａ－１の示す画像の一例を図示した模式図である。本実施形態において、第２撮像画像情報１０６Ａ－１は、撮像画像ＧＳ５を表す。
【0191】
撮像画像ＧＳ５は、画像ＧＳ５１を含む。画像ＧＳ５１は、壁面Ｗ１を表す画像である。画像ＧＳ５１は、画像ＧＶ５１と、画像ＧＶ５２とを含む。
【0192】
画像ＧＶ５１は、領域Ｒ１を表す画像である。画像ＧＶ５１は、角ＣＮ８－１、角ＣＮ８－２、角ＣＮ８－３および角ＣＮ８－４を有する。角ＣＮ８－１は、角ＣＮ１－１と対応する。角ＣＮ８－２は、角ＣＮ１－２と対応する。角ＣＮ８－３は、角ＣＮ１－３と対応する。角ＣＮ８－４は、角ＣＮ１－４と対応する。画像ＧＶ５２は、投射画像ＧＰ２－６を表す画像である。
【0193】
撮像画像ＧＳ５は、複数の点Ｄ５を含む。複数の点Ｄ５は、角ＣＮ８－１に対応する一以上の点Ｄ５と、角ＣＮ８－２に対応する一以上の点Ｄ５と、角ＣＮ８－３に対応する一以上の点Ｄ５と、角ＣＮ８－４に対応する一以上の点Ｄ５とを含む。第３座標情報１１２Ａ－１は、複数の点Ｄ５の座標を表す。
【0194】
図２１は、第２撮像画像情報１０６Ａ－２の示す画像の一例を図示した模式図である。本実施形態において、第２撮像画像情報１０６Ａ－２は、撮像画像ＧＳ６を表す。
【0195】
撮像画像ＧＳ６は、画像ＧＳ６１を含む。画像ＧＳ６１は、壁面Ｗ１を表す画像である。画像ＧＳ６１は、画像ＧＶ６１と、画像ＧＶ６２とを含む。
【0196】
画像ＧＶ６１は、領域Ｒ６を表す画像である。画像ＧＶ６１は、角ＣＮ９－１、角ＣＮ９－２、角ＣＮ９－３および角ＣＮ９－４を有する。角ＣＮ９－１は、角ＣＮ７－１と対応する。角ＣＮ９－２は、角ＣＮ７－２と対応する。角ＣＮ９－３は、角ＣＮ７－３と対応する。角ＣＮ９－４は、角ＣＮ７－４と対応する。画像ＧＶ６２は、投射画像ＧＰ３－１を表す画像である。
【0197】
撮像画像ＧＳ６は、複数の点Ｄ６を含む。複数の点Ｄ６は、角ＣＮ９－１に対応する一以上の点Ｄ６と、角ＣＮ９－２に対応する一以上の点Ｄ６と、角ＣＮ９－３に対応する一以上の点Ｄ６と、角ＣＮ９－４に対応する一以上の点Ｄ６とを含む。第３座標情報１１２Ａ－２は、複数の点Ｄ６の座標を表す。
【0198】
以下、図２２～図２６を参照しつつ、操作画像ＧＮについて説明する。
【0199】
図２２は、操作画像ＧＮ１を説明するための模式図である。操作画像ＧＮ１は、操作画像ＧＮの一例である。表示制御部１２６Ａは、表示装置２６を制御することで、操作画像ＧＮ１を表示する。
【0200】
操作画像ＧＮ１は、重畳画像ＧＬ１と、重畳画像ＧＬ２と、ボタン画像ＧＢ１と、ボタン画像ＧＢ２と、ボタン画像ＧＢ３と、ボタン画像ＧＢ４と、ボタン画像ＧＢ５とを含む。重畳画像ＧＬ１は、複数の表示画像ＧＭ１を含む。複数の表示画像ＧＭ１は、撮像画像ＧＳ５から検出された複数の点Ｄ５と一対一で対応する。重畳画像ＧＬ２は、複数の表示画像ＧＭ２を含む。複数の表示画像ＧＭ２は、撮像画像ＧＳ６から検出された複数の点Ｄ６と一対一で対応する。なお、ボタン画像ＧＢ１～ＧＢ５を区別しない場合、ボタン画像ＧＢ１～ＧＢ５を「ボタン画像ＧＢ」ということがある。
【0201】
重畳画像ＧＬ１は、撮像画像ＧＳ５に複数の表示画像ＧＭ１が重畳された画像である。表示画像ＧＭ１は、当該表示画像ＧＭ１と対応する点Ｄ５の位置に位置する。すなわち、ユーザーは、重畳画像ＧＬ１を確認することで、撮像画像ＧＳ５から検出された点Ｄ５の位置を把握することができる。
【0202】
重畳画像ＧＬ２は、撮像画像ＧＳ６に複数の表示画像ＧＭ２が重畳された画像である。表示画像ＧＭ２は、当該表示画像ＧＭ２と対応する点Ｄ６の位置に位置する。すなわち、ユーザーは、重畳画像ＧＬ２を確認することで、撮像画像ＧＳ６から検出された点Ｄ６の位置を把握することができる。
【0203】
ユーザーは、ボタン画像ＧＢを押下する操作、換言すれば、ボタン画像ＧＢを選択する操作を実行する。コンピューター２Ａは、ユーザーに選択されたボタン画像ＧＢに応じた処理を実行する。換言すれば、コンピューター２Ａは、ボタン画像ＧＢを選択するユーザーからの操作に基づいて、各種処理を実行する。
【0204】
ボタン画像ＧＢ１は、重畳画像ＧＬ１と対応する画像である。ユーザーは、ボタン画像ＧＢ１を選択する操作を実行する。コンピューター２Ａは、ボタン画像ＧＢ１を選択するユーザーからの操作に基づいて、重畳画像ＧＬ１を選択する。
【0205】
ボタン画像ＧＢ２は、重畳画像ＧＬ２と対応する画像である。ユーザーは、ボタン画像ＧＢ２を選択する操作を実行する。コンピューター２Ａは、ボタン画像ＧＢ２を選択するユーザーからの操作に基づいて、重畳画像ＧＬ２を選択する。
【0206】
ボタン画像ＧＢ５は、ユーザーによる複数の表示画像ＧＭ１の選択を終了する操作のための画像である。ユーザーは、ボタン画像ＧＢ５を選択する操作を実行する。コンピューター２Ａは、ボタン画像ＧＢ５を選択するユーザーからの操作に応じて、表示画像ＧＭ１と対応する点Ｄ５の選択を終了する。なお、以下において、ユーザーによる複数の表示画像ＧＭ１の選択を終了する操作を「選択終了操作」ということがある。ボタン画像ＧＢ５を選択する操作は、選択終了操作の一例である。
【0207】
ボタン画像ＧＢ３およびボタン画像ＧＢ４は、表示された画像の大きさを変更する操作のための画像である。具体的には、ボタン画像ＧＢ３は、表示された画像を拡大するための画像である。また、ボタン画像ＧＢ４は、表示された画像を縮小するための画像である。例えば、ユーザーは、ボタン画像ＧＢ３を選択する操作を実行する。コンピューター２Ａは、ボタン画像ＧＢ３を選択するユーザーからの操作に応じて、表示装置２６に表示された画像を拡大する。なお、以下において、表示装置２６に表示された画像の大きさを変更する操作を「倍率変更操作」ということがある。ボタン画像ＧＢ３またはボタン画像ＧＢ４を選択する操作は、倍率変更操作の一例である。
【0208】
図２３は、操作画像ＧＮ２を説明するための模式図である。操作画像ＧＮ２は、操作画像ＧＮの一例である。ボタン画像ＧＢ１を選択するユーザーからの操作に基づいて重畳画像ＧＬ１が選択された場合、表示制御部１２６Ａは、表示装置２６を制御することで、表示される画像を、操作画像ＧＮ１から操作画像ＧＮ２へ更新する。なお、以下において、ボタン画像ＧＢ１を選択する操作を「ボタン選択操作」ということがある。
【0209】
操作画像ＧＮ２は、ボタン画像ＧＢ１の代わりにボタン画像ＧＢ１ｐを含む点と、重畳画像ＧＬ２の代わりに重畳画像ＧＬ２ｐを含む点とを除き、操作画像ＧＮ１と同様に構成される。
【0210】
ボタン画像ＧＢ１ｐの表示態様は、ボタン画像ＧＢ１の表示態様と相違する。例えば、ボタン画像ＧＢ１ｐの色は、ボタン画像ＧＢ１の色と相違する。すなわち、コンピューター２Ａは、ユーザーからのボタン選択操作に基づいて、ボタン画像ＧＢ１の表示態様を変更する。これにより、ユーザーは、ボタン画像ＧＢ１ｐを確認することで、ボタン画像ＧＢ１が選択されたことを把握することができる。
【0211】
重畳画像ＧＬ２ｐの表示態様は、重畳画像ＧＬ２の表示態様と相違する。例えば、重畳画像ＧＬ２ｐの色は、重畳画像ＧＬ２の色と相違する。すなわち、コンピューター２Ａは、ユーザーからのボタン選択操作に基づいて、重畳画像ＧＬ２の表示態様を変更する。これにより、ユーザーは、重畳画像ＧＬ２ｐを確認することで、重畳画像ＧＬ１が選択されたことを把握することができる。なお、重畳画像ＧＬ１は、重畳画像ＧＬ２ｐに対して、ユーザーからの視認性が良い表示態様であることが好ましい。例えば、重畳画像ＧＬ１は、重畳画像ＧＬ２ｐに対して、高コントラストで表示されることが好ましい。これにより、ユーザーは、より確実に、重畳画像ＧＬ１が選択されたことを把握することができる。
【0212】
ボタン画像ＧＢ１を選択するユーザーからの操作に基づいて重畳画像ＧＬ１が選択された場合、ユーザーは、重畳画像ＧＬ１から表示画像ＧＭ１を選択する操作を実行する。コンピューター２Ａは、表示画像ＧＭ１を選択するユーザーからの操作に基づいて、ユーザーの選択の対象となった表示画像ＧＭ１と対応する点Ｄ５を選択する。また、コンピューター２Ａは、当該ユーザーからの操作に基づいて、第３座標情報１１２Ａ－１を更新する。ユーザーからの操作に基づいて更新された第３座標情報１１２Ａ－１は、ユーザーからの操作に基づいて選択された点Ｄ５の座標を表す。
【0213】
ユーザーによる複数の表示画像ＧＭ１の選択が終了した場合、ユーザーは、選択終了操作を実行する。
【0214】
図２４は、操作画像ＧＮ３を説明するための模式図である。操作画像ＧＮ３は、操作画像ＧＮの一例である。ユーザーが選択終了操作を実行した場合、表示制御部１２６Ａは、表示装置２６を制御することで、表示される画像を、操作画像ＧＮ２から操作画像ＧＮ３へ更新する。
【0215】
操作画像ＧＮ３は、完了画像ＧＴ１を含む点を除き、操作画像ＧＮ２と同様に構成される。完了画像ＧＴ１は、コンピューター２Ａが選択終了操作を受け付けたことをユーザーに示すための画像である。すなわち、コンピューター２Ａは、ユーザーからの選択終了操作に基づいて、完了画像ＧＴ１を表示する。これにより、ユーザーは、完了画像ＧＴ１を確認することで、選択終了操作が適切に実行されたことを把握することができる。
【0216】
また、完了画像ＧＴ１は、ボタン画像ＧＢ１に重畳される。すなわち、ユーザーは、ボタン画像ＧＢ１に重畳された完了画像ＧＴ１を確認することで、ボタン画像ＧＢ１と対応する重畳画像ＧＬ１における表示画像ＧＭ１の選択が完了したことを把握することができる。
【0217】
なお、ボタン画像ＧＢ２を選択するユーザーからの操作に基づいて重畳画像ＧＬ２が選択された場合、コンピューター２Ａは、ボタン画像ＧＢ２の表示態様と、重畳画像ＧＬ１の表示態様とを変更してもよい。ユーザーは、重畳画像ＧＬ２から表示画像ＧＭ２を選択する操作を実行する。コンピューター２Ａは、表示画像ＧＭ２を選択するユーザーからの操作に基づいて、ユーザーの選択の対象となった表示画像ＧＭ２と対応する点Ｄ６を選択する。また、コンピューター２Ａは、当該ユーザーからの操作に基づいて、第３座標情報１１２Ａ－２を更新する。ユーザーからの操作に基づいて更新された第３座標情報１１２Ａ－２は、ユーザーからの操作に基づいて選択された点Ｄ６の座標を表す。ユーザーによる複数の表示画像ＧＭ２の選択が終了した場合、ユーザーは、複数の表示画像ＧＭ２の選択を終了する操作を実行する。コンピューター２Ａは、ユーザーによる複数の表示画像ＧＭ２の選択を終了する操作に基づいて、完了画像を表示してもよい。当該完了画像は、ボタン画像ＧＢ２に重畳されてもよい。
【0218】
図２５は、操作画像ＧＮ４を説明するための模式図である。操作画像ＧＮ４は、操作画像ＧＮの一例である。ユーザーが、倍率変更操作、具体的には、ボタン画像ＧＢ３を選択する操作を実行した場合、表示制御部１２６Ａは、表示装置２６を制御することで、表示される画像を、操作画像ＧＮ２から操作画像ＧＮ４へ更新する。
【0219】
操作画像ＧＮ４は、重畳画像ＧＬ１の代わりに重畳画像ＧＬ１ｎを含む点において、操作画像ＧＮ２と相違する。重畳画像ＧＬ１ｎは、ユーザーからの倍率変更操作に基づいて撮像画像ＧＳ５の大きさが変更された撮像画像ＧＳ５ｎに複数の表示画像ＧＭ１が重畳された画像である。図２６は、ユーザーからの倍率変更操作に基づいて撮像画像ＧＳ５の大きさが変更された撮像画像ＧＳ５ｎを図示した模式図である。
【0220】
重畳画像ＧＬ１から表示画像ＧＭ１が選択される場合、ユーザーは、倍率変更操作を実行することで、重畳画像ＧＬ１の大きさを変更してもよい。すなわち、コンピューター２Ａは、ユーザーからの倍率変更操作に基づいて、表示される画像を、重畳画像ＧＬ１から重畳画像ＧＬ１ｎへ更新する。これにより、ユーザーは、重複画像における表示画像ＧＭ１の位置を正確に確認することができる。
【0221】
図２７は、投射システムＳｙｓＡの動作について説明するためのフローチャートである。図２７のフローチャートに示す一連の動作は、図１５のフローチャートに示す一連の動作と同様、第２の補正に係る準備のための動作である。また、図２７のフローチャートに示す一連の動作は、例えば、プロジェクター１Ａ－１、プロジェクター１Ａ－２およびコンピューター２Ａの電源がＯＮになり、操作装置１８が投射システムＳｙｓＡのユーザーから動作開始に関する入力操作を受け付けた際に開始される。
【0222】
図２７に示すフローチャートは、処理装置１２Ａが、ステップＳ１０９～Ｓ１１６の代わりにステップＳ３０１～Ｓ３０９の処理を実行する点において、図１５に示すフローチャートと相違する。なお、本実施形態において、投射システムＳｙｓＡは、ステップＳ１０１～Ｓ１０８の処理を、プロジェクター１Ａ－１と、プロジェクター１Ａ－２との２台分について実施する。
【0223】
例えば、ステップＳ１０７において、撮像制御部１２１は、撮像装置１４－１を制御することで、投射画像ＧＰ２－６が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ５を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ５を表す第２撮像画像情報１０６Ａ－１を記憶装置１０に記憶させる。
【0224】
また、ステップＳ１０７において、撮像制御部１２１は、撮像装置１４－２を制御することで、投射画像ＧＰ３－１が表示された壁面Ｗ１上の領域Ｒ６を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ６を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ６を表す第２撮像画像情報１０６Ａ－２を記憶装置１０に記憶させる。
【0225】
また、ステップＳ１０８において、検出部１２２は、第２撮像画像情報１０６Ａ－１の示す撮像画像ＧＳ５に対して画像処理を実行することで、撮像画像ＧＳ５に含まれる複数の点Ｄ５を検出する。すなわち、検出部１２２は、撮像画像ＧＳ５に含まれる複数の点Ｄ５の座標を表す第３座標情報１１２Ａ－１を取得する。また、検出部１２２は、取得した第３座標情報１１２Ａ－１を記憶装置１０に記憶させる。
【0226】
また、ステップＳ１０８において、検出部１２２は、第２撮像画像情報１０６Ａ－２の示す撮像画像ＧＳ６に対して画像処理を実行することで、撮像画像ＧＳ６に含まれる複数の点Ｄ６を検出する。すなわち、検出部１２２は、撮像画像ＧＳ６に含まれる複数の点Ｄ６の座標を表す第３座標情報１１２Ａ－２を取得する。また、検出部１２２は、取得した第３座標情報１１２Ａ－２を記憶装置１０に記憶させる。
【0227】
ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、操作画像ＧＮ１を表示する。
【0228】
すなわち、ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、重畳画像ＧＬ１を表示する。また、ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、重畳画像ＧＬ２を表示する。また、ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、ボタン画像ＧＢ１を表示する。また、ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、ボタン画像ＧＢ２を表示する。また、ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、ボタン画像ＧＢ３を表示する。また、ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、ボタン画像ＧＢ４を表示する。また、ステップＳ３０１において、表示制御部１２６Ａは、表示装置２６を制御することで、ボタン画像ＧＢ５を表示する。
【0229】
ステップＳ３０１における処理が実行された場合、コンピューター２Ａは、ボタン画像ＧＢ１またはボタン画像ＧＢ２を選択するユーザーからの操作を受け付ける。すなわち、ステップＳ３０２において、座標管理部１２４Ａは、操作装置１８から、ボタン画像ＧＢ１またはボタン画像ＧＢ２を選択するユーザーからの操作の内容を示すデータを取得する。
【0230】
一例として、以下では、ユーザーがボタン画像ＧＢ１を選択する操作を実行した場合を説明する。すなわち、ステップＳ３０２において、座標管理部１２４Ａは、ボタン画像ＧＢ１を選択するユーザーからの操作に基づいて、重畳画像ＧＬ１を選択する。なお、ユーザーがボタン画像ＧＢ２を選択する操作を実行した場合、座標管理部１２４Ａは、ボタン画像ＧＢ２を選択するユーザーからの操作に基づいて、重畳画像ＧＬ２を選択する。
【0231】
ステップＳ３０３において、表示制御部１２６Ａは、表示装置２６を制御することで、表示される画像を、操作画像ＧＮ１から操作画像ＧＮ２へ更新する。
【0232】
すなわち、ステップＳ３０３において、表示制御部１２６Ａは、表示装置２６を制御することで、重畳画像ＧＬ２ｐを表示する。また、ステップＳ３０３において、表示制御部１２６Ａは、表示装置２６を制御することで、ボタン画像ＧＢ１ｐを表示する。
【0233】
ステップＳ３０４において、座標管理部１２４Ａは、ユーザーから倍率変更操作を受け付けたか否か判定する。例えば、座標管理部１２４Ａは、ユーザーからボタン画像ＧＢ３を選択する操作を受け付けたか否か判定する。ユーザーから倍率変更操作を受け付けた場合、すなわち、ステップＳ３０４でＹＥＳの場合、座標管理部１２４Ａは処理をステップＳ３０５へ進める。また、ユーザーから倍率変更操作を受け付けていない場合、すなわち、ステップＳ３０４でＮＯの場合、座標管理部１２４Ａは処理をステップＳ３０６へ進める。
【0234】
一例として、以下では、ユーザーがボタン画像ＧＢ３を選択することで、倍率変更操作を実行した場合を説明する。なお、ユーザーは、ボタン画像ＧＢ４を選択することで、倍率変更操作を実行してもよい。
【0235】
ステップＳ３０５において、表示制御部１２６Ａは、ユーザーからの倍率変更操作に基づいて、表示装置２６に表示される画像を更新する。
【0236】
すなわち、ステップＳ３０５において、表示制御部１２６Ａは、ボタン画像ＧＢ３を選択するユーザーからの倍率変更操作に基づいて、表示装置２６に表示される画像を、重畳画像ＧＬ１から重畳画像ＧＬ１ｎへ更新する。
【0237】
ステップＳ３０６において、座標管理部１２４Ａは、表示画像ＧＭ１を選択するユーザーからの操作に基づいて、ユーザーの選択の対象となった表示画像ＧＭ１と対応する点Ｄ５を選択する。また、座標管理部１２４Ａは、当該ユーザーからの操作に基づいて、第３座標情報１１２Ａ－１を更新する。
【0238】
なお、ステップＳ３０２において重畳画像ＧＬ２が選択された場合、ステップＳ３０６において、座標管理部１２４Ａは、表示画像ＧＭ２を選択するユーザーからの操作に基づいて、ユーザーの選択の対象となった表示画像ＧＭ２と対応する点Ｄ６を選択する。また、座標管理部１２４Ａは、当該ユーザーからの操作に基づいて、第３座標情報１１２Ａ－２を更新する。
【0239】
ステップＳ３０７において、座標管理部１２４Ａは、ユーザーから選択終了操作を受け付けたか否か判定する。換言すれば、座標管理部１２４Ａは、点Ｄ５の選択を終了するか否か判定する。ユーザーから選択終了操作を受け付けた場合、すなわち、ステップＳ３０７でＹＥＳの場合、座標管理部１２４Ａは処理をステップＳ３０８へ進める。また、ユーザーから選択終了操作を受け付けていない場合、すなわち、ステップＳ３０７でＮＯの場合、座標管理部１２４Ａは処理をステップＳ３０４へ進める。
【0240】
ステップＳ３０７における判定の結果がＹＥＳの場合、処理装置１２Ａは、点Ｄ５の選択を終了する。また、ステップＳ３０７における判定の結果がＮＯの場合、処理装置１２Ａは、ステップＳ３０４～Ｓ３０６における処理を再度実行することで、ユーザーからの操作に基づく点Ｄ５の選択を続行する。具体的には、処理装置１２Ａは、ステップＳ３０７における判定の結果がＹＥＳとなるまで、ステップＳ３０４～Ｓ３０６における処理を繰り返し実行することで、四以上の点Ｄ５を選択する。
【0241】
ステップＳ３０８において、表示制御部１２６Ａは、表示装置２６を制御することで、完了画像ＧＴ１を表示する。
【0242】
ステップＳ３０９において、座標管理部１２４Ａは、ユーザーから図２７のフローチャートに示す一連の動作を終了させる操作を受け付けたか否か判定する。ユーザーから図２７のフローチャートに示す一連の動作を終了させる操作を受け付けた場合、すなわち、ステップＳ３０９でＹＥＳの場合、座標管理部１２４Ａを備える処理装置１２Ａは図２７のフローチャートに示す一連の動作を終了する。また、ユーザーから図２７のフローチャートに示す一連の動作を終了させる操作を受け付けていない場合、すなわち、ステップＳ３０９でＮＯの場合、座標管理部１２４Ａは処理をステップＳ３０２へ進める。
【0243】
表示画像ＧＭ１の選択が終了した場合であって、ステップＳ３０９における判定の結果がＮＯの場合、ユーザーは、ボタン画像ＧＢ２を選択する操作を実行する。コンピューター２Ａは、ボタン画像ＧＢ２を選択するユーザーからの操作に基づいて、重畳画像ＧＬ２を選択する。すなわち、処理装置１２Ａは、重畳画像ＧＬ１が選択された場合と同様に、ユーザーからの操作に基づいて、ステップＳ３０７における判定の結果がＹＥＳとなるまで、ステップＳ３０４～Ｓ３０６における処理を繰り返し実行することで、四以上の点Ｄ６を選択する。また、処理装置１２Ａは、ユーザーからの操作に基づいて、第３座標情報１１２Ａ－２を更新する。
【0244】
ユーザーの操作に基づいて更新された第３座標情報１１２Ａ－１、および、ユーザーの操作に基づいて更新された第３座標情報１１２Ａ－２は、各々、第２の補正に用いられる射影変換行列の生成に使用される。すなわち、コンピューター２Ａは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となる。
【0245】
以上より、第２実施形態によれば、投射システムＳｙｓＡは、投射画像が表示された領域を含む範囲を撮像した撮像画像から検出された複数の点と一対一で対応する複数の表示画像を、表示装置に表示させる。また、投射システムＳｙｓＡは、表示画像を選択するユーザーからの操作に基づいて、四以上の点を選択する。すなわち、ユーザーは、第２の補正に用いられる射影変換行列の生成に必要となる点を適切に選択することができる。また、投射システムＳｙｓＡは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状を維持することができる。
【0246】
以上に説明したように、第２実施形態に係るプログラム１００Ａは、処理装置１２Ａに、投射装置１６－１によって投射画像ＧＰ２－６が表示された壁面Ｗ１上の領域であって、角を有する領域Ｒ１を含む範囲を撮像した結果を表す撮像画像ＧＳ５を取得することと、撮像画像ＧＳ５に画像処理を実行することで、撮像画像ＧＳ５に含まれる領域Ｒ１を示す画像ＧＶ５１の有する角に対応する複数の点Ｄ５を検出することと、表示装置２６を制御することで、複数の点Ｄ５と一対一で対応する複数の画像であって、ユーザーの選択の対象となる複数の表示画像ＧＭ１の少なくとも一部が撮像画像ＧＳ５に重畳された重畳画像ＧＬ１を表示することと、を実行させる。
【0247】
また、第２実施形態に係る点の選択方法は、投射装置１６－１によって投射画像ＧＰ２－６が表示された壁面Ｗ１上の領域であって、角を有する領域Ｒ１を含む範囲を撮像した結果を表す撮像画像ＧＳ５を取得することと、撮像画像ＧＳ５に画像処理を実行することで、撮像画像ＧＳ５に含まれる領域Ｒ１を示す画像ＧＶ５１の角に対応する複数の点Ｄ５を検出することと、表示装置２６を制御することで、複数の点Ｄ５と一対一で対応する複数の画像であって、ユーザーの選択の対象となる複数の表示画像ＧＭ１の少なくとも一部が撮像画像ＧＳ５に重畳された重畳画像ＧＬ１を表示することと、を含む。
【0248】
また、第２実施形態に係るコンピューター２Ａは、処理装置１２Ａを備え、処理装置１２Ａは、投射装置１６－１によって投射画像ＧＰ２－６が表示された壁面Ｗ１上の領域であって、角を有する領域Ｒ１を含む範囲を撮像した結果を表す撮像画像ＧＳ５を取得することと、撮像画像ＧＳ５に画像処理を実行することで、撮像画像ＧＳ５に含まれる領域Ｒ１を示す画像ＧＶ５１の有する角に対応する複数の点Ｄ５を検出することと、表示装置２６を制御することで、複数の点Ｄ５と一対一で対応する複数の画像であって、ユーザーの選択の対象となる複数の表示画像ＧＭ１の少なくとも一部が撮像画像ＧＳ５に重畳された重畳画像ＧＬ１を表示することと、を実行する。
【0249】
すなわち、投射システムＳｙｓＡは、投射画像ＧＰ２－６が表示された領域Ｒ１を含む範囲を撮像した撮像画像ＧＳ５から検出された複数の点Ｄ５と一対一で対応する複数の表示画像ＧＭ１を含む重畳画像ＧＬ１を、表示装置２６に表示させる。これにより、ユーザーは、重畳画像ＧＬ１から表示画像ＧＭ１を選択することで、第２の補正に用いられる射影変換行列の生成に必要となる点Ｄ５を適切に選択することができる。従って、投射システムＳｙｓＡは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状を維持することができる。
【0250】
なお、第１実施形態において、プログラム１００Ａは「プログラム」の一例であり、処理装置１２Ａは「処理装置」の一例であり、投射装置１６－１は「第１投射装置」の一例であり、投射画像ＧＰ２－６は「第１投射画像」の一例であり、壁面Ｗ１は「投射面」の一例であり、領域Ｒ１は「第１表示領域」の一例であり、撮像画像ＧＳ５は「第１撮像画像」の一例であり、画像ＧＶ５１は「第１の画像」の一例であり、複数の点Ｄ５は「複数の第１特徴点」の一例であり、表示装置２６は「表示装置」の一例であり、表示画像ＧＭ１は「第１表示画像」の一例であり、複数の表示画像ＧＭ１は「複数の第１表示画像」の一例であり、重畳画像ＧＬ１は「第１重畳画像」の一例であり、コンピューター２Ａは「情報処理装置」の一例である。また、「第１表示領域の有する角」は角ＣＮ１－１～ＣＮ１－４のうちいずれか１つの角を一例とする。また、「第１の画像の有する角」は、角ＣＮ８－１～ＣＮ８－４のうち１つの角を一例とする。
【0251】
また、第２実施形態に係るプログラム１００Ａは、処理装置１２Ａに、表示装置２６に表示された画像の大きさを変更する倍率変更操作をユーザーから受け付けることと、表示装置２６を制御することで、倍率変更操作に基づいて撮像画像ＧＳ５の大きさが変更された撮像画像ＧＳ５ｎに複数の表示画像ＧＭ１の少なくとも一部が重畳された重畳画像ＧＬ１ｎを表示することと、を更に実行させる。
【0252】
すなわち、投射システムＳｙｓＡは、ユーザーからの倍率変更操作に基づいて、複数の表示画像ＧＭ１を含む重畳画像を拡大または縮小する。これにより、ユーザーは、重複画像における表示画像ＧＭ１の位置を正確に確認することができる。
【0253】
なお、第１実施形態において、撮像画像ＧＳ５ｎは「第２撮像画像」の一例であり、重畳画像ＧＬ１ｎは「第３重畳画像」の一例である。
【0254】
また、第２実施形態に係るプログラム１００Ａは、処理装置１２Ａに、投射装置１６－２によって投射画像ＧＰ３－１が表示された壁面Ｗ１上の領域であって、角を有する領域Ｒ６を含む範囲を撮像した結果を表す撮像画像ＧＳ６を取得することと、撮像画像ＧＳ６に画像処理を実行することで、撮像画像ＧＳ６に含まれる領域Ｒ６を示す画像ＧＶ６１の有する角に対応する複数の点Ｄ６を検出することと、表示装置２６を制御することで、複数の点Ｄ６と一対一で対応する複数の画像であって、ユーザーによる選択の対象である複数の表示画像ＧＭ２の少なくとも一部が撮像画像ＧＳ６に重畳された重畳画像ＧＬ２を表示することと、ユーザーによって複数の表示画像ＧＭ１のうちの少なくとも一つの表示画像ＧＭ１が選択される場合、重畳画像ＧＬ１の表示態様と、重畳画像ＧＬ２の表示態様とを相違させることと、を更に実行させる。
【0255】
例えば、投射システムＳｙｓＡは、重畳画像ＧＬ２を、重畳画像ＧＬ２ｐに更新することで、重畳画像ＧＬ１の表示態様と、重畳画像ＧＬ２の表示態様とを相違させる。すなわち、投射システムＳｙｓＡは、重畳画像ＧＬ１を、重畳画像ＧＬ２ｐに対して、ユーザーからの視認性が良い表示態様で表示させることができる。これにより、ユーザーは、表示画像ＧＭ１を選択する場合に、重畳画像ＧＬ１から選択すればよいことを容易に把握することができる。
【0256】
なお、第１実施形態において、投射装置１６－２は「第２投射装置」の一例であり、投射画像ＧＰ３－１は「第２投射画像」の一例であり、領域Ｒ６は「第２表示領域」の一例であり、撮像画像ＧＳ６は「第３撮像画像」の一例であり、画像ＧＶ６１は「第２の画像」の一例であり、複数の点Ｄ６は「複数の第２特徴点」の一例であり、複数の表示画像ＧＭ２は「複数の第２表示画像」の一例であり、重畳画像ＧＬ２は「第４重畳画像」の一例である。また、「第２表示領域の有する四つの角」は角ＣＮ７－１～ＣＮ４－４のうちいずれか１つの角を一例とする。また、「第２の画像の有する四つの角」は、角ＣＮ９－１～ＣＮ９－４のうちいずれか１つの角を一例とする。
【0257】
また、第２実施形態に係るプログラム１００Ａは、処理装置１２Ａに、表示装置２６を制御することで、ユーザーの選択の対象となる画像であって、重畳画像ＧＬ１と対応するボタン画像ＧＢ１と、ユーザーの選択の対象となる画像であって、重畳画像ＧＬ２と対応するボタン画像ＧＢ２とを表示することを更に実行させ、重畳画像ＧＬ１の表示態様と、重畳画像ＧＬ２の表示態様とを相違させることは、ボタン画像ＧＢ１を選択するボタン選択操作をユーザーから受け付けることと、ボタン画像ＧＢ１の表示態様を変更することと、を含む。
【0258】
すなわち、投射システムＳｙｓＡは、ボタン選択操作に基づいてボタン画像ＧＢ１の表示態様を変更することで、ボタン画像ＧＢ１と対応する重畳画像ＧＬ１が選択されたことをユーザーに示すことができる。これにより、ユーザーは、ボタン画像ＧＢ１の表示態様が変更されたボタン画像ＧＢ１ｐを確認することで、重畳画像ＧＬ１が選択されたことを把握することができる。
【0259】
なお、第１実施形態において、ボタン画像ＧＢ１は「第１ボタン画像」の一例であり、ボタン画像ＧＢ２は「第２ボタン画像」の一例である。
【0260】
また、第２実施形態に係るプログラム１００Ａは、処理装置１２Ａに、ユーザーによる複数の表示画像ＧＭ１の選択を終了する選択終了操作をユーザーから受け付けることと、表示装置２６を制御することで、選択終了操作を受け付けたことを示す完了画像ＧＴ１を表示することと、を更に実行させる。
【0261】
これにより、ユーザーは、完了画像ＧＴ１を確認することで、選択終了操作が適切に実行されたことを把握することができる。
【0262】
なお、第１実施形態において、完了画像ＧＴ１は「完了画像」の一例である。
【0263】
また、第２実施形態に係るプログラム１００Ａは、処理装置１２Ａに、表示装置２６を制御することで、ユーザーの選択の対象となる画像であって、重畳画像ＧＬ１と対応するボタン画像ＧＢ１と、ユーザーの選択の対象となる画像であって、重畳画像ＧＬ２と対応するボタン画像ＧＢ２とを表示することを更に実行させ、完了画像ＧＴ１は、ボタン画像ＧＢ１に重畳される。
【0264】
これにより、ユーザーは、ボタン画像ＧＢ１に重畳された完了画像ＧＴ１を確認することで、ボタン画像ＧＢ１と対応する重畳画像ＧＬ１における表示画像ＧＭ１の選択が完了したことを把握することができる。
【0265】
３．変形例
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
【0266】
３．１．変形例１
前述の実施形態において、ユーザーからの倍率変更操作に応じて、重畳画像ＧＬ１が重畳画像ＧＬ１ｎへ更新される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、ユーザーからの倍率変更操作に応じて、重畳画像ＧＬ１に含まれる表示画像ＧＭ１の大きさも併せて変更されてもよい。
【0267】
図２８は、操作画像ＧＮ５を説明するための模式図である。操作画像ＧＮ５は、操作画像ＧＮの一例である。本変形例において、ユーザーが、倍率変更操作、具体的には、ボタン画像ＧＢ３を選択する操作を実行した場合、表示制御部１２６Ａは、表示装置２６を制御することで、表示される画像を、操作画像ＧＮ２から操作画像ＧＮ５へ更新する。
【0268】
操作画像ＧＮ５は、重畳画像ＧＬ１ｎの代わりに重畳画像ＧＬ１ｘを含む点において、操作画像ＧＮ４と相違する。重畳画像ＧＬ１ｘは、ユーザーからの倍率変更操作に基づいて重畳画像ＧＬ１の大きさが変更された画像である。重畳画像ＧＬ１ｘは、複数の表示画像ＧＭ１ｘを含む。表示画像ＧＭ１ｘは、ユーザーからの倍率変更操作に基づいて表示画像ＧＭ１の大きさが変更された画像である。複数の表示画像ＧＭ１ｘは、複数の表示画像ＧＭ１と一対一で対応する。すなわち、表示画像ＧＭ１ｘを選択する操作は、表示画像ＧＭ１を選択する操作と同様である。
【0269】
すなわち、変形例１に係るプログラムは、変形例１に係る処理装置に、表示装置２６に表示された画像の大きさを変更する倍率変更操作をユーザーから受け付けることと、表示装置２６を制御することで、倍率変更操作に基づいて重畳画像ＧＬ１の大きさが変更された重畳画像ＧＬ１ｘを表示することと、を更に実行させる。
【0270】
すなわち、変形例１に係る投射システムは、ユーザーからの倍率変更操作に基づいて、重畳画像ＧＬ１を拡大または縮小する。これにより、ユーザーは、重畳画像ＧＬ１の大きさを、ユーザーの好みに合わせて変更することができる。
【0271】
なお、第１実施形態において、表示装置２６は「表示装置」の一例であり、重畳画像ＧＬ１は「第１重畳画像」の一例であり、重畳画像ＧＬ１ｘは「第２重畳画像」の一例である。
【0272】
３．２．変形例２
前述の実施形態および変形例において、撮像画像から検出された複数の点と一対一で対応する複数の表示画像の全部が表示される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、撮像画像から検出された複数の点と一対一で対応する複数の表示画像の一部が表示されてもよい。具体的には、撮像画像から検出された点の数が所定の数よりも多い場合、当該所定の数の表示画像を表示してもよい。撮像画像から検出された複数の点と一対一で対応する複数の表示画像の一部が表示される場合、表示される表示画像は、例えば、撮像画像から検出された複数の点のうちの、所定の条件を充足する点と対応する表示画像であってもよい。すなわち、表示される表示画像の数が限定されることで、ユーザーは、表示画像の選択を行い易くなる。
【0273】
３．３．変形例３
前述の実施形態および変形例において、倍率変更操作が、ボタン画像ＧＢ３またはボタン画像ＧＢ４を選択する操作である場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、操作装置１８がマウスを含んで構成される場合、倍率変更操作は、マウスホイールを回転させる操作であってもよい。また、倍率変更操作に限らず、ボタン画像ＧＢを選択するユーザーからの操作に基づいて実行される処理は、他の手段によって実現されてもよい。
【0274】
３．4．変形例4
前述の実施形態および変形例において、領域Ｒ１は四つの角を有したが、本開示はこれに限定されず、領域Ｒ１の角の数は１以上であればよい。例えば、領域Ｒ１の外縁は１つの角と曲線を備えてもよい。また、画像ＧＶ５１は四つの角を有したが、本開示はこれに限定されず、画像ＧＶ５１の角の数は１以上であればよい。例えば、画像ＧＶ５１の外縁は１つの角と曲線を備えてもよい。また、領域Ｒ６は四つの角を有したが、本開示はこれに限定されず、領域Ｒ６の角の数は１以上であればよい。例えば、領域Ｒ６の外縁は１つの角と曲線を備えてもよい。また、画像ＧＶ６１は四つの角を有したが、本開示はこれに限定されず、画像ＧＶ６１の角の数は１以上であればよい。例えば、画像ＧＶ６１の外縁は１つの角と曲線を備えてもよい。
【0275】
４．付記
以下、付記として本発明のまとめを記載する。
【0276】
４．１．付記１
処理装置に、第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、を実行させる、プログラム。
【0277】
すなわち、付記１に記載のプログラムに従って動作する投射システムは、第１投射画像が表示された第１表示領域を含む範囲を撮像した第１撮像画像から検出された複数の第１特徴点と一対一で対応する複数の第１表示画像を含む第１重畳画像を、表示装置に表示させる。これにより、ユーザーは、第１重畳画像から第１表示画像を選択することで、第２の補正に用いられる射影変換行列の生成に必要となる第１特徴点を適切に選択することができる。従って、付記１に記載のプログラムに従って動作する投射システムは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状を維持することができる。
【0278】
４．２．付記２
前記処理装置に、前記表示装置に表示された画像の大きさを変更する倍率変更操作を前記ユーザーから受け付けることと、前記表示装置を制御することで、前記倍率変更操作に基づいて前記第１重畳画像の大きさが変更された第２重畳画像を表示することと、を更に実行させる、付記１に記載のプログラム。
【0279】
すなわち、付記２に記載のプログラムに従って動作する投射システムは、ユーザーからの倍率変更操作に基づいて、第１重畳画像を拡大または縮小する。これにより、ユーザーは、第１重畳画像の大きさを、ユーザーの好みに合わせて変更することができる。
【0280】
４．３．付記３
前記処理装置に、前記表示装置に表示された画像の大きさを変更する倍率変更操作を前記ユーザーから受け付けることと、前記表示装置を制御することで、前記倍率変更操作に基づいて前記第１撮像画像の大きさが変更された第２撮像画像に前記複数の第１表示画像の少なくとも一部が重畳された第３重畳画像を表示することと、を更に実行させる、付記１に記載のプログラム。
【0281】
すなわち、付記３に記載のプログラムに従って動作する投射システムは、ユーザーからの倍率変更操作に基づいて、複数の第１表示画像を含む重畳画像を拡大または縮小する。これにより、ユーザーは、重複画像における第１表示画像の位置を正確に確認することができる。
【0282】
４．４．付記４
前記処理装置に、第２投射装置によって第２投射画像が表示された前記投射面上の領域であって、角を有する第２表示領域を含む範囲を撮像した結果を表す第３撮像画像を取得することと、前記第３撮像画像に画像処理を実行することで、前記第３撮像画像に含まれる前記第２表示領域を示す第２の画像の角に対応する複数の第２特徴点を検出することと、前記表示装置を制御することで、前記複数の第２特徴点と一対一で対応する複数の第２表示画像であって、前記ユーザーによる選択の対象である前記複数の第２表示画像の少なくとも一部が前記第３撮像画像に重畳された第４重畳画像を表示することと、前記ユーザーによって前記複数の第１表示画像のうちの少なくとも一つの第１表示画像が選択される場合、前記第１重畳画像の表示態様と、前記第４重畳画像の表示態様とを相違させることと、を更に実行させる、付記１に記載のプログラム。
【0283】
すなわち、付記４に記載のプログラムに従って動作する投射システムは、第１重畳画像を、第４重畳画像に対して、ユーザーからの視認性が良い表示態様で表示させることができる。これにより、ユーザーは、第１表示画像を選択する場合に、第１重畳画像から選択すればよいことを容易に把握することができる。
【0284】
４．５．付記５
前記処理装置に、前記表示装置を制御することで、前記ユーザーの選択の対象となる画像であって、前記第１重畳画像と対応する第１ボタン画像と、前記ユーザーの選択の対象となる画像であって、前記第４重畳画像と対応する第２ボタン画像とを表示することを更に実行させ、前記第１重畳画像の表示態様と、前記第４重畳画像の表示態様とを相違させることは、前記第１ボタン画像を選択するボタン選択操作を前記ユーザーから受け付けることと、前記第１ボタン画像の表示態様を変更することと、を含む、付記４に記載のプログラム。
【0285】
すなわち、付記５に記載のプログラムに従って動作する投射システムは、ボタン選択操作に基づいて第１ボタン画像の表示態様を変更することで、第１ボタン画像と対応する第１重畳画像が選択されたことをユーザーに示すことができる。これにより、ユーザーは、表示態様が変更された第１ボタン画像を確認することで、第１重畳画像が選択されたことを把握することができる。
【0286】
４．６．付記６
前記処理装置に、前記ユーザーによる前記複数の第１表示画像の選択を終了する選択終了操作を前記ユーザーから受け付けることと、前記表示装置を制御することで、前記選択終了操作を受け付けたことを示す完了画像を表示することと、を更に実行させる、付記４または５に記載のプログラム。
【0287】
これにより、ユーザーは、完了画像を確認することで、選択終了操作が適切に実行されたことを把握することができる。
【0288】
４．７．付記７
前記処理装置に、前記表示装置を制御することで、前記ユーザーの選択の対象となる画像であって、前記第１重畳画像と対応する第１ボタン画像と、前記ユーザーの選択の対象となる画像であって、前記第４重畳画像と対応する第２ボタン画像とを表示することを更に実行させ、前記完了画像は、前記第１ボタン画像に重畳される、付記６に記載のプログラム。
【0289】
これにより、ユーザーは、第１ボタン画像に重畳された完了画像を確認することで、第１ボタン画像と対応する第１重畳画像における第１表示画像の選択が完了したことを把握することができる。
【0290】
４．８．付記８
第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、を含む、点の選択方法。
【0291】
すなわち、付記８に記載の点の選択方法を実現する投射システムは、第１投射画像が表示された第１表示領域を含む範囲を撮像した第１撮像画像から検出された複数の第１特徴点と一対一で対応する複数の第１表示画像を含む第１重畳画像を、表示装置に表示させる。これにより、ユーザーは、第１重畳画像から第１表示画像を選択することで、第２の補正に用いられる射影変換行列の生成に必要となる第１特徴点を適切に選択することができる。従って、付記８に記載の点の選択方法を実現する投射システムは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状を維持することができる。
【0292】
４．９．付記９
処理装置を備え、前記処理装置は、第１投射装置によって第１投射画像が表示された投射面上の第１表示領域であって、角を有する前記第１表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記第１表示領域を示す第１の画像の角に対応する複数の第１特徴点を検出することと、表示装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の第１表示画像であって、ユーザーによる選択の対象である前記複数の第１表示画像の少なくとも一部が前記第１撮像画像に重畳された第１重畳画像を表示することと、を実行する、情報処理装置。
【0293】
すなわち、付記９に記載の情報処理装置を備える投射システムは、第１投射画像が表示された第１表示領域を含む範囲を撮像した第１撮像画像から検出された複数の第１特徴点と一対一で対応する複数の第１表示画像を含む第１重畳画像を、表示装置に表示させる。これにより、ユーザーは、第１重畳画像から第１表示画像を選択することで、第２の補正に用いられる射影変換行列の生成に必要となる第１特徴点を適切に選択することができる。従って、付記９に記載の情報処理装置を備える投射システムは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状を維持することができる。
【符号の説明】
【0294】
１…プロジェクター、２Ａ…コンピューター、１０…記憶装置、１２…処理装置、１４…撮像装置、１６…投射装置、１８…操作装置、２４…通信装置、２６…表示装置、１００…プログラム、１０１…投射画像情報、１０２…第１投射画像情報、１０３…第２投射画像情報、１０４…撮像画像情報、１０５…第１撮像画像情報、１０６…第２撮像画像情報、１０７…第３撮像画像情報、１０８…第４撮像画像情報、１０９…座標情報、１１０…第１座標情報、１１１…第２座標情報、１１２…第３座標情報、１１３…第４座標情報、１１４…第５座標情報、１１５…射影変換行列、１１６…第１射影変換行列、１１７…第２射影変換行列、１１８…第３射影変換行列、１１９…操作画像情報、１２０…投射制御部、１２１…撮像制御部、１２２…検出部、１２３…補正部、１２４…座標管理部、１２５…行列生成部、１２６Ａ…表示制御部、１４０…撮像素子、１４２…撮像レンズ、１６０…光変調器、１６２…投射レンズ、ＧＰ１…投射画像、ＧＣ１…ポインター画像、ＧＣ２…角画像、ＧＤ…指示画像、ＧＦ１…画像、ＧＳ１…撮像画像、ＧＬ１…重畳画像、ＧＭ１…表示画像、ＧＮ１…操作画像、ＧＢ１…ボタン画像、ＧＴ１…完了画像、ＣＮ１…角、Ｄ１…点、Ｒ１…領域、Ｗ１…壁面、ＳｙｓＡ…投射システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.