ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024099868
(43)【公開日】2024-07-26
(54)【発明の名称】投射方法およびプログラム
(51)【国際特許分類】
H04N 5/74 20060101AFI20240719BHJP
G03B 21/00 20060101ALI20240719BHJP
G09G 5/00 20060101ALI20240719BHJP
G09G 5/37 20060101ALI20240719BHJP
G09G 5/08 20060101ALI20240719BHJP
【ＦＩ】
H04N5/74 Z
G03B21/00 D
G09G5/00 510B
G09G5/00 X
G09G5/00 550C
G09G5/37 600
G09G5/37 300
G09G5/00 530H
G09G5/00 550B
G09G5/08 D
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023003458
(22)【出願日】2023-01-13
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】久保田 真司
【テーマコード（参考）】
2K203
5C058
5C182
【Ｆターム（参考）】
2K203FA82
2K203FB04
2K203GB46
2K203KA56
2K203MA23
5C058AA18
5C058BA27
5C058BA35
5C058EA02
5C058EA54
5C182AA03
5C182AA04
5C182AC03
5C182AC38
5C182AC39
5C182BA01
5C182BA03
5C182BA06
5C182BA14
5C182CA32
5C182CA54
5C182CB11
5C182CB12
5C182CB42
5C182CC26
5C182DA65
5C182DA70
(57)【要約】
【課題】投射画像の形状を簡便に調整し、調整された形状を維持する。
【解決手段】投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、投射画像が表示される表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、第１撮像画像に画像処理を実行することで、第１撮像画像に含まれる表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、投射装置を制御することで、投射画像の角に位置するとともに投射画像の形状を調整するためのポインター画像を表示することと、ポインター画像を移動するためのユーザー操作に基づいて投射画像の角の位置を変更することで、投射画像の形状を補正する第１の補正を実行することと、複数の第１特徴点に基づいて、表示領域の四つの角と、第１の補正によって決定された投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む、投射方法。
【選択図】図１５
【解決手段】投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、投射画像が表示される表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、第１撮像画像に画像処理を実行することで、第１撮像画像に含まれる表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、投射装置を制御することで、投射画像の角に位置するとともに投射画像の形状を調整するためのポインター画像を表示することと、ポインター画像を移動するためのユーザー操作に基づいて投射画像の角の位置を変更することで、投射画像の形状を補正する第１の補正を実行することと、複数の第１特徴点に基づいて、表示領域の四つの角と、第１の補正によって決定された投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む、投射方法。
【選択図】図１５
【特許請求の範囲】
【請求項1】
投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、
を含む、投射方法。
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、
を含む、投射方法。
【請求項2】
前記第１の画像の四つの角は、第１の角、第２の角、第３の角および第４の角を含み、
前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、
前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、
前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、
前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、
前記第２の補正を実行するための前記複数の第１特徴点を設定することは、
前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、
を更に含み、
前記第２の補正を実行することは、
前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、
前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、
前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行することと、
を含む、請求項１に記載の投射方法。
前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、
前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、
前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、
前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、
前記第２の補正を実行するための前記複数の第１特徴点を設定することは、
前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、
を更に含み、
前記第２の補正を実行することは、
前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、
前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、
前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行することと、
を含む、請求項１に記載の投射方法。
【請求項3】
前記投射装置を制御することで、前記表示領域の有する四つの角と一対一で対応する四つの角画像を前記投射面に表示することと、
前記第１の角において、一以上の第１特徴点の選択が終了した場合、前記四つの角画像のうち前記第１の角に対応する一つの角画像の表示態様を変更することと、
を更に含み、
前記第１の画像の四つの角は、前記四つの角画像と一対一で対応する、
請求項２に記載の投射方法。
前記第１の角において、一以上の第１特徴点の選択が終了した場合、前記四つの角画像のうち前記第１の角に対応する一つの角画像の表示態様を変更することと、
を更に含み、
前記第１の画像の四つの角は、前記四つの角画像と一対一で対応する、
請求項２に記載の投射方法。
【請求項4】
前記一つの第１特徴点を選択することに応じて、前記一つの指示画像の表示態様を変更することを更に含む、
請求項２または３に記載の投射方法。
請求項２または３に記載の投射方法。
【請求項5】
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、時間の経過に応じて表示態様が変化する前記一つの指示画像を表示することを含む、
請求項２に記載の投射方法。
請求項２に記載の投射方法。
【請求項6】
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、前記一つの指示画像を、前記ポインター画像とは異なる表示態様で表示することを含む、
請求項２に記載の投射方法。
請求項２に記載の投射方法。
【請求項7】
処理装置に、
投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、
プログラム。
投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投射方法およびプログラムに関する。
【背景技術】
【0002】
プロジェクター等の装置によって投射面上に表示される画像の位置、および、画像の形状を補正する技術が開発されている。例えば、特許文献１には、プロジェクターの位置が初期位置からずれた場合に、投射面上に表示される画像を補正することで、プロジェクターが初期位置に位置していた期間において表示されていた位置と同じ位置に画像を表示させるプロジェクターが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－０９２１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載のプロジェクターが初期位置に位置している補正の基準となる期間において、投射面上に表示された画像の形状がユーザーの所望する形状ではなかった場合、当該形状が維持されることがあった。このため、補正の基準となる期間において投射面上に表示される画像の形状を、予めユーザーの所望する形状に調整する必要がある。当該調整では、ユーザーがプロジェクターの位置、向きおよび角度等を正確に設定する必要があり、ユーザーの手間がかかった。
【課題を解決するための手段】
【0005】
本発明に係る投射方法の一態様は、投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む。
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む。
【0006】
本発明に係るプログラムの一態様は、処理装置に、投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、ポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる。
【図面の簡単な説明】
【0007】
【図1】第１の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。
【図2】第２の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図3】第３の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図4】第４の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。
【図5】第５の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図6】第６の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。
【図7】第１実施形態に係るプロジェクター１の構成を示すブロック図である。
【図8】第１実施形態に係る記憶装置１０の構成を示すブロック図である。
【図9】第１投射画像情報１０２の示す画像の一例を図示した模式図である。
【図10】第１撮像画像情報１０５の示す画像の一例を図示した模式図である。
【図11】第２撮像画像情報１０６の示す画像の一例を図示した模式図である。
【図12】第３撮像画像情報１０７の示す画像の一例を図示した模式図である。
【図13】第４撮像画像情報１０８の示す画像の一例を図示した模式図である。
【図14】第２の補正について説明するための模式図である。
【図15】第１の期間から第３の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。
【図16】第４の期間から第６の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。
【発明を実施するための形態】
【0008】
以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
【0009】
１．第１実施形態
第１実施形態では、投射面上に表示された画像の形状をユーザーからの操作に基づいて補正し、補正された画像を投射面上の所定の位置に表示するプロジェクターを例示して、本発明に係る投射方法およびプログラムについて説明する。すなわち、ユーザーは、本実施形態に係るプロジェクターの向きおよび角度を正確に設定することなく、簡便に、投射面上に表示された画像の形状を調整することができる。
第１実施形態では、投射面上に表示された画像の形状をユーザーからの操作に基づいて補正し、補正された画像を投射面上の所定の位置に表示するプロジェクターを例示して、本発明に係る投射方法およびプログラムについて説明する。すなわち、ユーザーは、本実施形態に係るプロジェクターの向きおよび角度を正確に設定することなく、簡便に、投射面上に表示された画像の形状を調整することができる。
【0010】
【0011】
図１は、第１の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。プロジェクター１は、投射面である壁面Ｗ１の領域Ｒ２に投射光を投射することで、投射画像ＧＰ１を表示する。投射画像ＧＰ１は、複数の点を含む。なお、第１の期間における投射画像ＧＰ１を「投射画像ＧＰ１－１」ということがある。
【0012】
プロジェクター１は、投射面の所定の領域を含む範囲を撮像する撮像装置１４と、投射面に投射光を投射する投射装置１６とを備える。撮像装置１４は、集光のための撮像レンズ１４２と、撮像レンズ１４２によって集光された光を電気信号に変換することで撮像画像を生成する撮像素子１４０とを備える。撮像素子１４０は、複数の画素を備える。投射装置１６は、不図示の光源と、光源から発せられた光を投射面上に投射画像を表示するための投射光に変調する光変調器１６０と、光変調器１６０によって変調された投射光を投射面に投射する投射レンズ１６２とを備える。光変調器１６０は、複数の画素を備える。プロジェクター１は、投射装置１６を制御することで、投射面上に投射画像を表示する。本実施形態において、プロジェクター１は、投射装置１６を制御することで、壁面Ｗ１上に投射画像を表示する。
【0013】
第１の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ１－１が表示された領域Ｒ２を含む範囲を撮像する。領域Ｒ２は、領域Ｒ１を含む。すなわち、プロジェクター１は、領域Ｒ１を含む範囲を撮像する。領域Ｒ１は、複数の角ＣＮ１を含む。複数の角ＣＮ１は、角ＣＮ１－１、角ＣＮ１－２、角ＣＮ１－３および角ＣＮ１－４を含む。領域Ｒ１は、例えば壁面Ｗ１上に設置されるスクリーン上における当該スクリーンの枠に囲まれた領域であってもよいし、壁面Ｗ１の表面の一部に描かれた枠線に囲まれた壁面Ｗ１上の領域であってもよい。また、プロジェクター１は、投射画像ＧＰ１－１が表示された領域Ｒ２を含む範囲を撮像した結果を表す撮像画像と、投射画像ＧＰ１－１が表示される場合にプロジェクター１から投射される画像とに基づいて、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報を生成する。
【0014】
領域Ｒ１の位置、具体的には領域Ｒ１の四隅の位置は、壁面Ｗ１上に明示的に示される。図１において、領域Ｒ１の位置は太い直線によって図示されているが、これに限定されない。例えば、領域Ｒ１の角の位置を示すマーカーが領域Ｒ１の四隅の各々に貼付されることで、領域Ｒ１の位置が示されてもよい。図１において、領域Ｒ１の位置を示す太い直線は、スクリーンの枠又は壁面Ｗ１の表面の一部に描かれた枠線と対応する。
【0015】
図２は、第２の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第２の期間は、第１の期間よりも後の期間である。プロジェクター１は、投射装置１６を制御することで、壁面Ｗ１の領域Ｒ１に投射画像ＧＰ２を表示する。投射画像ＧＰ２は、角ＣＮ２－１、角ＣＮ２－２、角ＣＮ２－３および角ＣＮ２－４を有する。なお、第２の期間における投射画像ＧＰ２を「投射画像ＧＰ２－１」ということがある。
【0016】
また、プロジェクター１は、投射装置１６を制御することで、角ＣＮ２－１の位置を示すポインター画像ＧＣ１－１、角ＣＮ２－２の位置を示すポインター画像ＧＣ１－２、角ＣＮ２－３の位置を示すポインター画像ＧＣ１－３、および、角ＣＮ２－４の位置を示すポインター画像ＧＣ１－４を表示する。ポインター画像ＧＣ１－１～ＧＣ１－４は、例えば、２つの直線が互いに交差する十字形状である。なお、ポインター画像ＧＣ１－１～ＧＣ１－４を区別しない場合、ポインター画像ＧＣ１－１～ＧＣ１－４を「ポインター画像ＧＣ１」ということがある。
【0017】
ユーザーは、ポインター画像ＧＣ１を移動する操作を実行することで、当該ポインター画像ＧＣ１が示す投射画像ＧＰ２の角の位置を変更する。例えば、ユーザーは、ポインター画像ＧＣ１－１を移動する操作を実行することで、ポインター画像ＧＣ１－１が示す角ＣＮ２－１の位置を変更する。プロジェクター１は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２の形状を補正する。ユーザーは、投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２の形状を所望の形状に修正する。例えば、スクリーン枠と略相似な形状となるように、投射画像ＧＰ２の形状がユーザーにより修正される。すなわち、スクリーン枠が矩形なら、投射画像ＧＰ２の形状も矩形となるように、ユーザーからの操作に基づいて投射画像ＧＰ２の形状が整形される。なお、ユーザーからの操作に基づいて投射画像の形状を補正することを「第１の補正」ということがある。
【0018】
図３は、第３の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第３の期間は、第２の期間よりも後の期間である。なお、第３の期間における投射画像ＧＰ２を「投射画像ＧＰ２－２」ということがある。投射画像ＧＰ２－２は、第１の補正が実行された投射画像ＧＰ２である。また、投射画像ＧＰ２－２は、領域Ｒ１に表示される。
【0019】
第３の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像する。また、プロジェクター１は、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像に画像処理を実行することで、当該撮像画像に含まれる領域Ｒ１を示す画像の有する四つの角に対応する複数の点を検出する。なお、複数の点を検出するために、投射光が領域Ｒ１の内側だけでなく、領域Ｒ１を示す太い直線（例えばスクリーン枠）にも当たった状態で、領域Ｒ１を含む範囲が撮像されることが好ましい。これにより、太い直線、例えばスクリーン枠の明るさが向上し、スクリーン枠に関する複数の点が検出されやすくなる。
【0020】
また、プロジェクター１は、投射装置１６を制御することで、角ＣＮ１－１の位置を示す角画像ＧＣ２－１、角ＣＮ１－２の位置を示す角画像ＧＣ２－２、角ＣＮ１－３の位置を示す角画像ＧＣ２－３、および、角ＣＮ１－４の位置を示す角画像ＧＣ２－４を壁面Ｗ１上に表示する。なお、角画像ＧＣ２－１～ＧＣ２－４を区別しない場合、角画像ＧＣ２－１～ＧＣ２－４を「角画像ＧＣ２」ということがある。
【0021】
また、プロジェクター１は、投射装置１６を制御することで、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された複数の点と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１上に表示する。複数の指示画像ＧＤは、当該撮像画像から検出された複数の点と、当該撮像画像に含まれる領域Ｒ１を示す画像との相対的な位置関係をユーザーに示すための画像である。複数の指示画像ＧＤは、角ＣＮ１－１に対応する一以上の指示画像ＧＤと、角ＣＮ１－２に対応する一以上の指示画像ＧＤと、角ＣＮ１－３に対応する一以上の指示画像ＧＤと、角ＣＮ１－４に対応する一以上の指示画像ＧＤとを含む。角ＣＮ１－１に対応する一以上の指示画像ＧＤは、指示画像ＧＤ－２を含む。角ＣＮ１－４に対応する一以上の指示画像ＧＤは、指示画像ＧＤ－１を含む。なお、指示画像ＧＤの表示態様は、ポインター画像ＧＣ１の表示態様と相違する。
【0022】
ユーザーは、角画像ＧＣ２－１～ＧＣ２－４の中から、一つの角画像ＧＣ２を選択する操作を実行する。換言すれば、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２が示す領域Ｒ１の角を選択する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２を選択する。例えば、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４の中から、角画像ＧＣ２－４を選択する操作を実行する。換言すれば、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４のうちの角画像ＧＣ２－４が示す角ＣＮ１－４を選択する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの角画像ＧＣ２－４を選択する。なお、プロジェクター１は、ユーザーによって選択された一つの角画像ＧＣ２の表示態様を変更してもよい。例えば、ユーザーによって角画像ＧＣ２－４が選択された場合、プロジェクター１は、投射装置１６を制御することで、角画像ＧＣ２－４の表示態様を、他の角画像ＧＣ２－１～ＧＣ２－３の表示態様と異ならせてもよい。これにより、ユーザーは、現在選択されている角画像ＧＣ２を容易に確認することができる。
【0023】
角画像ＧＣ２－１～ＧＣ２－４の中から一つの角画像ＧＣ２が選択された場合、ユーザーは、当該一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤの中から、選択の候補となる一つの指示画像ＧＤを決定する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、選択の候補となる一つの指示画像ＧＤを決定する。また、プロジェクター１は、投射装置１６を制御することで、当該一つの指示画像ＧＤを他の指示画像ＧＤと識別可能に表示する。例えば、角画像ＧＣ２－１～ＧＣ２－４の中から、角画像ＧＣ２－４が選択された場合であって、角画像ＧＣ２－４が示す角ＣＮ１－４に対応する一以上の指示画像ＧＤの中から、選択の候補となる一つの指示画像ＧＤとして指示画像ＧＤ－１が決定された場合、プロジェクター１は、投射装置１６を制御することで、指示画像ＧＤ－１を他の指示画像ＧＤと識別可能に表示する。具体的には、プロジェクター１は、投射装置１６を制御することで、時間の経過とともに指示画像ＧＤ－１の表示態様を変更する。より具体的には、プロジェクター１は、指示画像ＧＤ－１を繰り返し点滅させることで、指示画像ＧＤ－１を他の指示画像ＧＤと識別可能に表示する。
【0024】
複数の指示画像ＧＤのうちの一つの指示画像ＧＤが他の指示画像ＧＤと識別可能に表示された場合、ユーザーは、当該一つの指示画像ＧＤを選択する操作を実行する。プロジェクター１は、ユーザーからの操作に基づいて、当該一つの指示画像ＧＤと対応する点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。また、プロジェクター１は、投射装置１６を制御することで、当該一つの指示画像ＧＤの表示態様を変更する。例えば、複数の指示画像ＧＤのうちの指示画像ＧＤ－２が他の指示画像ＧＤと識別可能に表示された場合、ユーザーは、指示画像ＧＤ－２を選択する操作を実行する。プロジェクター１は、指示画像ＧＤ－２と対応する点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。また、プロジェクター１は、投射装置１６を制御することで、指示画像ＧＤ－２の表示態様を変更する。具体的には、プロジェクター１は、投射装置１６を制御することで、指示画像ＧＤ－２の色を変更する。これにより、ユーザーは、表示態様が変更された指示画像ＧＤと対応する点が選択されたことを容易に確認することができる。
【0025】
なお、他の指示画像ＧＤと識別可能に表示された一つの指示画像ＧＤを選択するユーザーからの操作に基づいて当該一つの指示画像ＧＤと対応する点が選択された場合、ユーザーは、当該一つの指示画像ＧＤとは異なる別の指示画像ＧＤを選択の候補として決定する操作を実行してもよい。プロジェクター１は、ユーザーからの操作に基づいて、当該別の指示画像ＧＤを選択の候補として決定する。すなわち、プロジェクター１は、投射装置１６を制御することで、当該別の指示画像ＧＤを他の指示画像ＧＤと識別可能に表示する。また、ユーザーは、他の指示画像ＧＤと識別可能に表示された当該別の指示画像ＧＤを選択する操作を実行してもよい。プロジェクター１は、当該別の指示画像ＧＤと対応する点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された点を選択する。また、プロジェクター１は、投射装置１６を制御することで、当該別の指示画像ＧＤの表示態様を変更する。すなわち、ユーザーは、角画像ＧＣ２－１～ＧＣ２－４の中から選択された一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。プロジェクター１は、ユーザーによって選択された一以上の指示画像ＧＤと一対一で対応する一以上の点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された一以上の点を選択する。
【0026】
角画像ＧＣ２－１～ＧＣ２－４の中から選択された一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤと一対一で対応する一以上の点の中から、一以上の点の選択が終了した場合、プロジェクター１は、投射装置１６を制御することで、当該一つの角画像ＧＣ２の表示態様を変更する。例えば、角画像ＧＣ２－１～ＧＣ２－４の中から、角画像ＧＣ２－１が選択された場合であって、角画像ＧＣ２－１が示す角ＣＮ１－１に対応する一以上の指示画像ＧＤと一対一で対応する一以上の点の中からの一以上の点の選択が終了した場合、プロジェクター１は、投射装置１６を制御することで、角画像ＧＣ２－１の表示態様を変更する。具体的には、プロジェクター１は、投射装置１６を制御することで、角画像ＧＣ２－１の色を変更する。これにより、ユーザーは、表示態様が変更された角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤと一対一で対応する一以上の点の中から、一以上の点が選択されたことを容易に確認することができる。
【0027】
ユーザーは、領域Ｒ１の有する四つの角の各々において、一以上の指示画像ＧＤを選択する。すなわち、ユーザーは、角画像ＧＣ２－１が示す角ＣＮ１－１に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。また、ユーザーは、角画像ＧＣ２－２が示す角ＣＮ１－２に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。また、ユーザーは、角画像ＧＣ２－３が示す角ＣＮ１－３に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。また、ユーザーは、角画像ＧＣ２－４が示す角ＣＮ１－４に対応する一以上の指示画像ＧＤの中から、一以上の指示画像ＧＤを選択する。従って、プロジェクター１は、ユーザーによって選択された四以上の指示画像ＧＤと一対一で対応する四以上の点であって、投射画像ＧＰ２－２が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像から検出された四以上の点を選択する。
【0028】
図４は、第４の期間において投射画像ＧＰ１が表示される様子を図示した模式図である。第４の期間は、第３の期間よりも後の期間である。具体的には、第４の期間は、ユーザーが領域Ｒ１の有する四つの角の各々において一以上の指示画像ＧＤを選択した後の期間である。
【0029】
第４の期間において、プロジェクター１の位置、向きおよび角度等は、第１の期間、第２の期間および第３の期間におけるプロジェクター１の位置、向きおよび角度等と異なる場合を想定する。このような、プロジェクター１の位置、向きおよび角度等の変化は、例えば、ユーザーのプロジェクター１に対する意図しない接触等に起因して生じ得るものである。すなわち、プロジェクター１は、第１の期間、第２の期間および第３の期間において投射光が投射された壁面Ｗ１の領域Ｒ２とは異なる領域Ｒ３に投射光を投射することで、投射画像ＧＰ１を表示する。領域Ｒ３は、領域Ｒ１を含む。なお、第４の期間における投射画像ＧＰ１を「投射画像ＧＰ１－２」ということがある。
【0030】
第４の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ１－２が表示された領域Ｒ３を含む範囲を撮像する。すなわち、プロジェクター１は、領域Ｒ１を含む範囲を撮像する。また、プロジェクター１は、投射画像ＧＰ１－２が表示された領域Ｒ３を含む範囲を撮像した結果を表す撮像画像と、投射画像ＧＰ１－２が表示される場合にプロジェクター１から投射される画像とに基づいて、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報を生成する。
【0031】
図５は、第５の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第５の期間は、第４の期間よりも後の期間である。プロジェクター１は、投射装置１６を制御することで、壁面Ｗ１上に投射画像ＧＰ２を表示する。プロジェクター１の位置、向きおよび角度等の変化に伴い、第５の期間において投射画像ＧＰ２が表示される位置は、第３の期間において投射画像ＧＰ２が表示されていた位置と相違する。また、第５の期間における投射画像ＧＰ２の形状は、第３の期間における投射画像ＧＰ２の形状と相違する。なお、第５の期間における投射画像ＧＰ２を「投射画像ＧＰ２－３」ということがある。すなわち、投射画像ＧＰ２－３が表示される位置は、投射画像ＧＰ２－２が表示されていた位置と相違する。また、投射画像ＧＰ２－３の形状は、投射画像ＧＰ２－２の形状と相違する。また、投射画像ＧＰ２－３は、領域Ｒ１に表示される。すなわち、投射画像ＧＰ２－３は、ユーザーが所望する投射画像ＧＰ２－２から位置及び形状がずれてしまった投射画像である。
【0032】
第５の期間において、プロジェクター１は、撮像装置１４を制御することで、投射画像ＧＰ２－３が表示された領域Ｒ１を含む範囲を撮像する。また、プロジェクター１は、投射画像ＧＰ２－３が表示された領域Ｒ１を含む範囲を撮像した結果を表す撮像画像に画像処理を実行することで、当該撮像画像に含まれる領域Ｒ１を示す画像の有する四つの角に対応する複数の点を検出する。
【0033】
プロジェクター１は、第１の期間において取得された撮像画像に基づいて生成された、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報、第３の期間において取得された撮像画像から検出された複数の点のうちの、ユーザーからの操作に基づいて選択された四以上の点の座標、第４の期間において取得された撮像画像に基づいて生成された、光変調器１６０の備える複数の画素と、撮像素子１４０の備える複数の画素との対応関係を示す情報、および、第５の期間において取得された撮像画像から検出された複数の点のうちの、上記ユーザーからの操作に基づいて選択された四以上の点と一対一で対応する四以上の点の座標に基づいて、投射画像ＧＰ２が表示される位置、および、投射画像ＧＰ２の形状を補正するための射影変換行列を生成する。ここで、第５の期間における撮像画像から検出された複数の点の中から、第３の期間においてユーザーが選択した四以上の点が探索される。また、プロジェクター１は、当該射影変換行列に基づいて、投射画像ＧＰ２を補正する。なお、撮像画像から検出された複数の点の座標に基づいて生成された射影変換行列を用いて投射画像を補正することを「第２の補正」ということがある。
【0034】
図６は、第６の期間において投射画像ＧＰ２が表示される様子を図示した模式図である。第６の期間は、第５の期間よりも後の期間である。具体的には、第６の期間は、第２の補正が実行された後の期間である。なお、第６の期間における投射画像ＧＰ２を「投射画像ＧＰ２－４」ということがある。投射画像ＧＰ２－４は、第２の補正が実行された投射画像ＧＰ２である。また、投射画像ＧＰ２－４は、領域Ｒ１に表示される。
【0035】
投射画像ＧＰ２－４が表示される位置は、投射画像ＧＰ２－２が表示されていた位置と同様である。また、投射画像ＧＰ２－４の形状は、投射画像ＧＰ２－２の形状と同様である。すなわち、プロジェクター１は、プロジェクター１の位置、向きおよび角度等が変化した場合であっても、投射画像ＧＰ２－３に対して第２の補正を実行することで、投射画像ＧＰ２－３が表示される位置、および、投射画像ＧＰ２－３の形状を、投射画像ＧＰ２－２と同様にすること、すなわち投射画像ＧＰ２－２の状態にほぼ戻すことができる。換言すれば、プロジェクター１は、投射画像ＧＰ２に対して第２の補正を実行することで、領域Ｒ１の有する四つの角のそれぞれと、投射画像ＧＰ２の有する四つの角のそれぞれとの位置関係を、第３の期間と同様に維持することができる。具体的には、投射画像ＧＰ２に対してある周期で第２の補正を実行することで、角ＣＮ１－１に対する角ＣＮ２－１の位置、角ＣＮ１－２に対する角ＣＮ２－２の位置、角ＣＮ１－３に対する角ＣＮ２－３の位置および角ＣＮ１－４に対する角ＣＮ２－４の位置を、ほぼ一定に維持することができる。したがって、今回（第５の期間）の投射画像ＧＰ２に対して第２の補正が実行されることで、今回の投射画像ＧＰ２の状態を、前回（第３の期間）の投射画像ＧＰ２の状態にほぼ戻すことができる。また、プロジェクター１は、ユーザーからの操作に基づいて第１の補正を行うことで、第２の補正が実行された場合に表示される投射画像ＧＰ２の基準となる投射画像ＧＰ２－２の形状を、ユーザーの所望する形状に調整する。すなわち、第１の補正が行われた投射画像ＧＰ２に対してある周期で第２の補正が実行されることで、ユーザーは、プロジェクター１の位置、向きおよび角度等を正確に調整することなく、簡便に、投射画像ＧＰ２－２の形状を調整することができる。
【0036】
【0037】
図７は、第１実施形態に係るプロジェクター１の構成を示すブロック図である。プロジェクター１は、各種情報を記憶する記憶装置１０と、プロジェクター１の動作を制御する処理装置１２と、投射面の所定の領域を含む範囲を撮像する撮像装置１４と、投射面に投射光を投射する投射装置１６と、ユーザーからの入力操作を受け付ける操作装置１８とを備える。処理装置１２は、投射制御部１２０、撮像制御部１２１、検出部１２２、補正部１２３、座標管理部１２４および行列生成部１２５としての機能を有する。撮像装置１４は、前述の通り、撮像素子１４０と、撮像レンズ１４２とを備える。また、投射装置１６は、前述の通り、不図示の光源と、光変調器１６０と、投射レンズ１６２とを備える。
【0038】
記憶装置１０は、例えば、ＲＡＭ等の揮発性メモリーおよびＲＯＭ等の不揮発性メモリーを含んで構成される。ここで、ＲＡＭとは、Random Access Memoryの略称である。また、ＲＯＭとは、Read Only Memoryの略称である。
【0039】
図８は、第１実施形態に係る記憶装置１０の構成を示すブロック図である。記憶装置１０の有する不揮発性メモリーは、プロジェクター１の動作を規定するプログラム１００と、投射面上に投射される画像を表す投射画像情報１０１と、投射画像が表示された投射面上の領域を含む範囲を撮像した結果を表す撮像画像情報１０４と、各種画像に含まれる点の座標を表す座標情報１０９と、二次元の座標変換および画像の補正等に用いられる射影変換行列１１５とを記憶する。
【0040】
投射画像情報１０１は、投射画像ＧＰ１が表示される際に投射される画像を表す第１投射画像情報１０２と、投射画像ＧＰ２が表示される際に投射される画像を表す第２投射画像情報１０３とを含む。
【0041】
撮像画像情報１０４は、第１の期間において取得された撮像画像を表す第１撮像画像情報１０５と、第３の期間において取得された撮像画像を表す第２撮像画像情報１０６と、第４の期間において取得された撮像画像を表す第３撮像画像情報１０７と、第５の期間において取得された撮像画像を表す第４撮像画像情報１０８とを含む。
【0042】
座標情報１０９は、第１投射画像情報１０２の示す画像に含まれる複数の点の座標を表す第１座標情報１１０と、第１撮像画像情報１０５の示す画像から検出された複数の点の座標を表す第２座標情報１１１と、第２撮像画像情報１０６の示す画像から検出された複数の点の座標を表す第３座標情報１１２と、第３撮像画像情報１０７の示す画像から検出された複数の点の座標を表す第４座標情報１１３と、第４撮像画像情報１０８の示す画像から検出された複数の点の座標を表す第５座標情報１１４とを含む。
【0043】
射影変換行列１１５は、第１の期間における光変調器１６０の備える複数の画素と、第１の期間における撮像素子１４０の備える複数の画素との対応関係を表す第１射影変換行列１１６、第４の期間における光変調器１６０の備える複数の画素と、第４の期間における撮像素子１４０の備える複数の画素との対応関係を表す第２射影変換行列１１７、および、第２の補正に用いられる第３射影変換行列１１８を含む。
【0044】
記憶装置１０の有する揮発性メモリーは、プログラム１００を実行する際のワークエリアとして処理装置１２に利用される。
【0045】
なお、記憶装置１０の一部または全部は、外部記憶装置または外部サーバー等に設けられてもよい。また記憶装置１０に記憶される各種情報の一部または全部は、予め記憶装置１０に記憶されてもよいし、外部記憶装置または外部サーバー等から取得されてもよい。
【0046】
図７に戻り、処理装置１２は、１または複数のＣＰＵを含んで構成される。但し、処理装置１２は、ＣＰＵの代わりに、または、ＣＰＵに加えて、ＦＰＧＡ等のプログラマブルロジックデバイスを備えるものでもよい。ここで、ＣＰＵとはCentral Processing Unitの略称であり、ＦＰＧＡとはField-Programmable Gate Arrayの略称である。
【0047】
処理装置１２は、処理装置１２が有するＣＰＵ等がプログラム１００を実行することで、図７に示す投射制御部１２０、撮像制御部１２１、検出部１２２、補正部１２３、座標管理部１２４および行列生成部１２５として機能する。
【0048】
投射制御部１２０は、投射装置を制御することで、投射面に対して、画像を表示するための投射光を投射させる。具体的には、投射制御部１２０は、投射画像情報１０１に基づく投射光を投射装置に投射させることで、投射面上に投射画像を表示させる。換言すれば、投射制御部１２０は、投射画像情報１０１の示す画像を投射装置から投射させることで、投射面上に投射画像を表示させる。また、投射制御部１２０は、投射装置を制御することで、ユーザーの操作を補助するための画像を投射面上に表示させる。
【0049】
本実施形態において、投射制御部１２０は、投射装置１６を制御することで、壁面Ｗ１に対して、画像を表示するための投射光を投射させる。
【0050】
具体的には、投射制御部１２０は、投射画像情報１０１に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像を表示させる。より具体的には、投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像ＧＰ１を表示させる。また、投射制御部１２０は、第２投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像ＧＰ２を表示させる。
【0051】
また、投射制御部１２０は、投射装置１６を制御することで、投射画像ＧＰ２の有する角に位置するポインター画像ＧＣ１を壁面Ｗ１上に表示させる。
【0052】
また、投射制御部１２０は、投射装置１６を制御することで、壁面Ｗ１上の領域Ｒ１の有する角に位置する角画像ＧＣ２を壁面Ｗ１上に表示させる。また、投射制御部１２０は、ユーザーからの操作に基づいて、角画像ＧＣ２の表示態様を変更させる。
【0053】
また、投射制御部１２０は、投射装置１６を制御することで、第２撮像画像情報１０６の示す画像から検出された複数の点と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１上に表示させる。また、投射制御部１２０は、ユーザーからの操作に基づいて、指示画像ＧＤの表示態様を変更させる。
【0054】
図９は、第１投射画像情報１０２の示す画像の一例を図示した模式図である。本実施形態において、第１投射画像情報１０２は、画像ＧＦ１を表す。投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１上に投射画像ＧＰ１を表示させる。換言すれば、投射制御部１２０は、第１投射画像情報１０２の示す画像ＧＦ１を投射装置１６から投射させることで、壁面Ｗ１上に投射画像ＧＰ１を表示させる。
【0055】
画像ＧＦ１は、複数の点を含む。画像ＧＦ１に含まれる複数の点は、投射画像ＧＰ１に含まれる複数の点と一対一で対応する。
【0056】
図７に戻り、撮像制御部１２１は、撮像装置を制御することで、投射画像が表示された投射面上の領域を含む範囲を撮像させる。また、撮像制御部１２１は、当該撮像装置から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す撮像画像情報１０４を記憶装置１０に記憶させる。
【0057】
本実施形態において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－１が表示された壁面Ｗ１上の領域Ｒ２を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第１撮像画像情報１０５を記憶装置１０に記憶させる。
【0058】
また、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－２が表示された壁面Ｗ１上の領域Ｒ３を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第３撮像画像情報１０７を記憶装置１０に記憶させる。
【0059】
また、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－２が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第２撮像画像情報１０６を記憶装置１０に記憶させる。
【0060】
また、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－３が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す第４撮像画像情報１０８を記憶装置１０に記憶させる。
【0061】
検出部１２２は、各種画像情報の示す画像に対して画像処理を実行することで、当該画像に含まれる点を検出する。すなわち、検出部１２２は、検出された点の座標を表す座標情報１０９を取得する。また、検出部１２２は、取得した座標情報１０９を記憶装置１０に記憶させる。
【0062】
本実施形態において、検出部１２２は、撮像画像情報１０４の示す画像に対して画像処理を実行することで、撮像画像情報１０４の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、撮像画像情報１０４の示す画像に含まれる複数の点の座標を表す座標情報１０９を取得する。また、検出部１２２は、取得した座標情報１０９を記憶装置１０に記憶させる。
【0063】
具体的には、検出部１２２は、第１撮像画像情報１０５の示す画像に対して画像処理を実行することで、第１撮像画像情報１０５の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第１撮像画像情報１０５の示す画像に含まれる複数の点の座標を表す第２座標情報１１１を取得する。また、検出部１２２は、取得した第２座標情報１１１を記憶装置１０に記憶させる。
【0064】
また、検出部１２２は、第２撮像画像情報１０６の示す画像に対して画像処理を実行することで、第２撮像画像情報１０６の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第２撮像画像情報１０６の示す画像に含まれる複数の点の座標を表す第３座標情報１１２を取得する。また、検出部１２２は、取得した第３座標情報１１２を記憶装置１０に記憶させる。
【0065】
また、検出部１２２は、第３撮像画像情報１０７の示す画像に対して画像処理を実行することで、第３撮像画像情報１０７の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第３撮像画像情報１０７の示す画像に含まれる複数の点の座標を表す第４座標情報１１３を取得する。また、検出部１２２は、取得した第４座標情報１１３を記憶装置１０に記憶させる。
【0066】
また、検出部１２２は、第４撮像画像情報１０８の示す画像に対して画像処理を実行することで、第４撮像画像情報１０８の示す画像に含まれる複数の点を検出する。すなわち、検出部１２２は、第４撮像画像情報１０８の示す画像に含まれる複数の点の座標を表す第５座標情報１１４を取得する。また、検出部１２２は、取得した第５座標情報１１４を記憶装置１０に記憶させる。
【0067】
検出部１２２は、第１投射画像情報１０２の示す画像ＧＦ１に対して画像処理を実行することで、画像ＧＦ１に含まれる複数の点を検出してもよい。検出部１２２は、画像ＧＦ１に含まれる複数の点を検出した場合、第１投射画像情報１０２の示す画像ＧＦ１に含まれる複数の点の座標を表す第１座標情報１１０を取得する。また、検出部１２２は、取得した第１座標情報１１０を記憶装置１０に記憶させる。なお、本実施形態において、第１座標情報１１０は、予め記憶装置１０に記憶されている場合を想定する。
【0068】
点の検出に係る機能において、公知の画像処理技術が用いられてもよい。点の検出に係る公知の画像処理技術として、例えば、テンプレートマッチング、重心検出、および、「ＡＫＡＺＥ」と呼ばれるアルゴリズム等が挙げられる。本明細書において、点の検出に係る詳細な技術的説明は省略する。
【0069】
座標管理部１２４は、ユーザーからの操作に基づいて、撮像画像から検出された点の座標を管理する。また、座標管理部１２４は、撮像画像から検出された点の座標の管理に係る各種処理を実行する。
【0070】
本実施形態において、座標管理部１２４は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２を選択する。また、座標管理部１２４は、撮像画像から検出された点の座標の管理に係る操作をユーザーから受け付けたか否か判定する。
【0071】
また、座標管理部１２４は、壁面Ｗ１上において他の指示画像ＧＤと識別可能に表示された一つの指示画像ＧＤを選択するユーザーからの操作に基づいて、当該一つの指示画像ＧＤと対応する点であって、第２撮像画像情報１０６の示す画像から検出された点を選択する。また、座標管理部１２４は、当該ユーザーからの操作に基づいて、第３座標情報１１２を更新する。
【0072】
行列生成部１２５は、対応関係にある複数の点の座標に基づいて、射影変換行列１１５を生成する。すなわち、行列生成部１２５は、座標情報１０９に基づいて、射影変換行列１１５を生成する。
【0073】
本実施形態において、行列生成部１２５は、第１座標情報１１０と、第２座標情報１１１とに基づいて、第１射影変換行列１１６を生成する。また、行列生成部１２５は、生成した第１射影変換行列１１６を記憶装置１０に記憶させる。
【0074】
第１射影変換行列１１６は、第１の期間における光変調器１６０の備える複数の画素と、第１の期間における撮像素子１４０の備える複数の画素との対応関係を示す情報である。具体的には、第１射影変換行列１１６は、第１の期間における撮像素子１４０の備える画素の座標を、第１の期間における光変調器１６０の備える画素の座標へ変換するための射影変換行列である。換言すれば、第１射影変換行列１１６は、プロジェクター１の位置、向きおよび角度等が変化する前の撮像素子１４０が備える画素の座標を、プロジェクター１の位置、向きおよび角度等が変化する前の光変調器１６０が備える画素の座標へ変換するための射影変換行列である。
【0075】
また、行列生成部１２５は、第１座標情報１１０と、第４座標情報１１３とに基づいて、第２射影変換行列１１７を生成する。また、行列生成部１２５は、生成した第２射影変換行列１１７を記憶装置１０に記憶させる。
【0076】
第２射影変換行列１１７は、第４の期間における光変調器１６０の備える複数の画素と、第４の期間における撮像素子１４０の備える複数の画素との対応関係を示す情報である。具体的には、第２射影変換行列１１７は、第４の期間における撮像素子１４０の備える画素の座標を、第４の期間における光変調器１６０の備える画素の座標へ変換するための射影変換行列である。換言すれば、第２射影変換行列１１７は、プロジェクター１の位置、向きおよび角度等が変化した後の撮像素子１４０が備える画素の座標を、プロジェクター１の位置、向きおよび角度等が変化した後の光変調器１６０が備える画素の座標へ変換するための射影変換行列である。
【0077】
また、行列生成部１２５は、第３座標情報１１２と、第１射影変換行列１１６と、第５座標情報１１４と、第２射影変換行列１１７とに基づいて、第３射影変換行列１１８を生成する。また、行列生成部１２５は、生成した第３射影変換行列１１８を記憶装置１０に記憶させる。
【0078】
第３射影変換行列１１８は、第３の期間における光変調器１６０の備える複数の画素と、第５の期間における光変調器１６０の備える複数の画素との対応関係を示す情報である。具体的には、第３射影変換行列１１８は、第３の期間における光変調器１６０の備える画素の座標を、第５の期間における光変調器１６０の備える画素の座標へ変換するための射影変換行列である。換言すれば、第３射影変換行列１１８は、プロジェクター１の位置、向きおよび角度等が変化する前の光変調器１６０が備える画素の座標を、プロジェクター１の位置、向きおよび角度等が変化した後の光変調器１６０が備える画素の座標へ変換するための射影変換行列である。
【0079】
補正部１２３は、投射面上に表示される投射画像の位置および形状を補正する。具体的には、補正部１２３は、ユーザーからの操作に基づいて、第１の補正を実行する。また、補正部１２３は、行列生成部１２５によって生成された射影変換行列１１５に基づいて、第２の補正を実行する。
【0080】
本実施形態において、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２を補正する第１の補正を実行する。換言すれば、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて、投射画像ＧＰ２が表示される際に投射される画像を表す第２投射画像情報１０３を更新する。
【0081】
また、補正部１２３は、第３射影変換行列１１８に基づいて、投射画像ＧＰ２を補正する第２の補正を実行する。換言すれば、補正部１２３は、第３射影変換行列１１８に基づいて、投射画像ＧＰ２が表示される際に投射される画像を表す第２投射画像情報１０３を更新する。
【0082】
図１０は、第１撮像画像情報１０５の示す画像の一例を図示した模式図である。本実施形態において、第１撮像画像情報１０５は、撮像画像ＧＳ１を表す。
【0083】
撮像画像ＧＳ１は、画像ＧＳ１１を含む。画像ＧＳ１１は、壁面Ｗ１を表す画像である。画像ＧＳ１１は、画像ＧＶ１１と、画像ＧＶ１２とを含む。
【0084】
画像ＧＶ１１は、領域Ｒ１を表す画像である。画像ＧＶ１１は、角ＣＮ３－１、角ＣＮ３－２、角ＣＮ３－３および角ＣＮ３－４を有する。角ＣＮ３－１は、角ＣＮ１－１と対応する。角ＣＮ３－２は、角ＣＮ１－２と対応する。角ＣＮ３－３は、角ＣＮ１－３と対応する。角ＣＮ３－４は、角ＣＮ１－４と対応する。
【0085】
画像ＧＶ１２は、投射画像ＧＰ１－１を表す画像である。画像ＧＶ１２は、複数の点を含む。第２座標情報１１１は、画像ＧＶ１２に含まれる複数の点の座標を表す。画像ＧＶ１２に含まれる複数の点は、投射画像ＧＰ１－１に含まれる複数の点と一対一で対応する。また、画像ＧＶ１２に含まれる複数の点は、画像ＧＦ１に含まれる複数の点と一対一で対応する。
【0086】
図１１は、第２撮像画像情報１０６の示す画像の一例を図示した模式図である。本実施形態において、第２撮像画像情報１０６は、撮像画像ＧＳ２を表す。
【0087】
撮像画像ＧＳ２は、画像ＧＳ２１を含む。画像ＧＳ２１は、壁面Ｗ１を表す画像である。画像ＧＳ２１は、画像ＧＶ２１と、画像ＧＶ２２とを含む。
【0088】
画像ＧＶ２１は、領域Ｒ１を表す画像である。画像ＧＶ２１は、角ＣＮ４－１、角ＣＮ４－２、角ＣＮ４－３および角ＣＮ４－４を有する。角ＣＮ４－１は、角ＣＮ１－１と対応する。すなわち、角ＣＮ４－１は、角画像ＧＣ２－１と対応する。角ＣＮ４－２は、角ＣＮ１－２と対応する。すなわち、角ＣＮ４－２は、角画像ＧＣ２－２と対応する。角ＣＮ４－３は、角ＣＮ１－３と対応する。すなわち、角ＣＮ４－３は、角画像ＧＣ２－３と対応する。角ＣＮ４－４は、角ＣＮ１－４と対応する。すなわち、角ＣＮ４－４は、角画像ＧＣ２－４と対応する。画像ＧＶ１２は、投射画像ＧＰ２－２を表す画像である。
【0089】
撮像画像ＧＳ２は、複数の点Ｄ１を含む。複数の点Ｄ１は、複数の指示画像ＧＤと一対一で対応する。また、複数の点Ｄ１は、角ＣＮ４－１に対応する一以上の点Ｄ１と、角ＣＮ４－２に対応する一以上の点Ｄ１と、角ＣＮ４－３に対応する一以上の点Ｄ１と、角ＣＮ４－４に対応する一以上の点Ｄ１とを含む。また、複数の点Ｄ１は、点Ｄ１－１を含む。点Ｄ１－１は、指示画像ＧＤ－１と対応する。例えば、ユーザーが指示画像ＧＤ－１を選択する操作を実行した場合、座標管理部１２４は、指示画像ＧＤ－１と対応する点Ｄ１－１を選択する。また、座標管理部１２４は、当該ユーザーからの操作に基づいて、第３座標情報１１２を更新する。ユーザーからの操作に基づいて更新された第３座標情報１１２は、ユーザーからの操作に基づいて選択された点Ｄ１の座標を表す。
【0090】
図１２は、第３撮像画像情報１０７の示す画像の一例を図示した模式図である。本実施形態において、第３撮像画像情報１０７は、撮像画像ＧＳ３を表す。
【0091】
撮像画像ＧＳ３は、画像ＧＳ３１を含む。画像ＧＳ３１は、壁面Ｗ１を表す画像である。画像ＧＳ３１は、画像ＧＶ３１と、画像ＧＶ３２とを含む。
【0092】
画像ＧＶ３１は、領域Ｒ１を表す画像である。画像ＧＶ３１は、角ＣＮ５－１、角ＣＮ５－２、角ＣＮ５－３および角ＣＮ５－４を有する。角ＣＮ５－１は、角ＣＮ１－１と対応する。角ＣＮ５－２は、角ＣＮ１－２と対応する。角ＣＮ５－３は、角ＣＮ１－３と対応する。角ＣＮ５－４は、角ＣＮ１－４と対応する。
【0093】
画像ＧＶ３２は、投射画像ＧＰ１－２を表す画像である。画像ＧＶ３２は、複数の点を含む。第４座標情報１１３は、画像ＧＶ３２に含まれる複数の点の座標を表す。画像ＧＶ３２に含まれる複数の点は、投射画像ＧＰ１－２に含まれる複数の点と一対一で対応する。また、画像ＧＶ３２に含まれる複数の点は、画像ＧＦ１に含まれる複数の点と一対一で対応する。
【0094】
図１３は、第４撮像画像情報１０８の示す画像の一例を図示した模式図である。本実施形態において、第４撮像画像情報１０８は、撮像画像ＧＳ４を表す。
【0095】
撮像画像ＧＳ４は、画像ＧＳ４１を含む。画像ＧＳ４１は、壁面Ｗ１を表す画像である。画像ＧＳ４１は、画像ＧＶ４１と、画像ＧＶ４２とを含む。
【0096】
画像ＧＶ４１は、領域Ｒ１を表す画像である。画像ＧＶ４１は、角ＣＮ６－１、角ＣＮ６－２、角ＣＮ６－３および角ＣＮ６－４を有する。角ＣＮ６－１は、角ＣＮ１－１と対応する。角ＣＮ６－２は、角ＣＮ１－２と対応する。角ＣＮ６－３は、角ＣＮ１－３と対応する。角ＣＮ６－４は、角ＣＮ１－４と対応する。画像ＧＶ４２は、投射画像ＧＰ２－３を表す画像である。
【0097】
撮像画像ＧＳ４は、複数の点Ｄ２を含む。また、複数の点Ｄ２は、角ＣＮ６－１に対応する一以上の点Ｄ２と、角ＣＮ６－２に対応する一以上の点Ｄ２と、角ＣＮ６－３に対応する一以上の点Ｄ２と、角ＣＮ６－４に対応する一以上の点Ｄ２とを含む。第５座標情報１１４は、複数の点Ｄ２の座標を表す。
【0098】
図１４は、第２の補正について説明するための模式図である。図１４では、第２の補正の前後で光変調器１６０に表示される画像をそれぞれ示している。画像ＧＦ２－２は、第３の期間および第５の期間において光変調器１６０に表示される画像である。すなわち、画像ＧＦ２－２は、第１の補正によって更新された第２投射画像情報１０３の示す画像である。また、画像ＧＦ２－２は、第２の補正が実行される前の画像である。画像ＧＦ２－４は、第６の期間において光変調器１６０に表示される画像である。すなわち、画像ＧＦ２－４は、第１の補正および第２の補正によって更新された第２投射画像情報１０３の示す画像である。補正部１２３は、第３射影変換行列１１８に基づいて、画像ＧＦ２－２を、画像ＧＦ２－４へ補正する。
【0099】
点Ｄ３－１は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－１に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。同様に、点Ｄ３－２は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－２に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。また、点Ｄ３－３は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－３に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。また、点Ｄ３－４は、撮像画像ＧＳ２に含まれる画像ＧＶ２１の有する角ＣＮ４－４に位置する点の座標を第１射影変換行列１１６によって変換することで得られる点である。領域Ｒ４は、点Ｄ３－１、点Ｄ３－２、点Ｄ３－３および点Ｄ３－４を頂点とする四角形で囲まれた領域である。すなわち、領域Ｒ４は、画像ＧＶ２１の示す第３の期間における領域Ｒ１と対応する、光変調器１６０上の領域である。画像ＧＦ２－２は、領域Ｒ４の内側に表示される
【0100】
点Ｄ４－１は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－１に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。同様に、点Ｄ４－２は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－２に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。また、点Ｄ４－３は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－３に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。また、点Ｄ４－４は、撮像画像ＧＳ４に含まれる画像ＧＶ４１の有する角ＣＮ６－４に位置する点の座標を第２射影変換行列１１７によって変換することで得られる点である。領域Ｒ５は、点Ｄ４－１、点Ｄ４－２、点Ｄ４－３および点Ｄ４－４を頂点とする四角形で囲まれた領域である。すなわち、領域Ｒ５は、画像ＧＶ４１の示す第５の期間における領域Ｒ１と対応する、光変調器１６０上の領域である。
【0101】
第２の補正に用いられる第３射影変換行列１１８は、点Ｄ３－１の座標を点Ｄ４－１の座標へ、点Ｄ３－２の座標を点Ｄ４－２の座標へ、点Ｄ３－３の座標を点Ｄ４－３の座標へ、点Ｄ３－４の座標を点Ｄ４－４の座標へ、それぞれ変換する行列である。このため、第３射影変換行列１１８に基づいて、画像ＧＦ２－２が画像ＧＦ２－４へ補正される場合、画像ＧＦ２－２の有する四つの角と、領域Ｒ４の有する四つの角との位置関係は、画像ＧＦ２－４の有する四つの角と、領域Ｒ５の有する四つの角との位置関係に引き継がれる。この結果、第６の期間において、光変調器１６０に画像ＧＦ２－４を表示することで壁面Ｗ１上に投射画像ＧＰ２－４を表示する場合、領域Ｒ１の有する角ＣＮ１－１～ＣＮ１－４と、投射画像ＧＰ２の有する角ＣＮ２－１～角ＣＮ２－４との位置関係は、第３の期間と同様に維持される。
【0102】
図７に戻り、撮像素子１４０は、例えば、ＣＣＤまたはＣＭＯＳ等を一例とするイメージセンサーである。ここで、ＣＣＤとはCharge Coupled Deviceの略称であり、ＣＭＯＳとはComplementary Metal Oxide Semiconductorの略称である。
【0103】
撮像装置１４は、撮像制御部１２１の制御により、投射画像が表示された投射面上の領域を含む範囲を撮像する。また、撮像装置１４は、投射画像が表示された投射面上の領域を含む範囲を撮像した結果を表す撮像画像情報１０４を処理装置１２へ出力する。換言すれば、撮像装置１４は、撮像画像情報１０４の示す撮像画像を処理装置１２へ出力する。
【0104】
光変調器１６０は、例えば、１または複数の液晶パネルを含んで構成される。なお、光変調器１６０は、液晶パネルの代わりに、ＤＭＤを含んで構成されてもよい。光変調器１６０は、処理装置１２から入力される信号に基づいて、光源から発せられた光を、投射面上に投射画像を表示するための投射光に変調する。光源は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤまたはレーザー光源等を含む。ここで、ＬＥＤとはLight Emitting Diodeの略称であり、ＤＭＤとはDigital Mirror Deviceの略称である。
【0105】
投射装置１６は、投射制御部１２０の制御により、投射面上に投射画像を表示するための投射光を投射する。換言すれば、投射装置１６は、処理装置１２から入力された画像を投射面へ投射する。
【0106】
操作装置１８は、プロジェクター１のユーザーから、プロジェクター１に対する入力操作を受け付ける。操作装置１８は、例えば、プロジェクター１の筐体に設けられたタッチパネルまたは操作ボタン等を含んで構成される。操作装置１８がタッチパネルを含んで構成される場合、操作装置１８は、検出したタッチ位置を示すデータを処理装置１２へ出力する。また、操作装置１８が操作ボタンを含んで構成される場合、操作装置１８は、押下されたボタンを識別するデータを処理装置１２へ出力する。また、操作装置１８は、ユーザーの操作に基づいてリモートコントローラーから出力される操作信号を受信するための受信装置を含んで構成されてもよい。操作装置１８が受信装置を含んで構成される場合、操作装置１８はリモートコントローラーから受信した操作信号の示すデータを処理装置１２へ出力する。これにより、プロジェクター１に対する入力操作の内容が処理装置１２へ伝達される。
【0107】
【0108】
図１５は、第１の期間から第３の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。図１５のフローチャートに示す一連の動作は、第２の補正に係る準備のための動作である。また、図１５のフローチャートに示す一連の動作は、例えば、プロジェクター１の電源がＯＮになり、操作装置１８がプロジェクター１のユーザーから動作開始に関する入力操作を受け付けた際に開始される。
【0109】
ステップＳ１０１において、投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ２に投射画像ＧＰ１－１を表示させる。
【0110】
ステップＳ１０２において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－１が表示された壁面Ｗ１上の領域Ｒ２を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ１を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ１を表す第１撮像画像情報１０５を記憶装置１０に記憶させる。
【0111】
ステップＳ１０３において、検出部１２２は、第１撮像画像情報１０５の示す撮像画像ＧＳ１に対して画像処理を実行することで、撮像画像ＧＳ１に含まれる複数の点を検出する。すなわち、検出部１２２は、撮像画像ＧＳ１に含まれる複数の点の座標を表す第２座標情報１１１を取得する。また、検出部１２２は、取得した第２座標情報１１１を記憶装置１０に記憶させる。
【0112】
ステップＳ１０４において、行列生成部１２５は、第１座標情報１１０と、第２座標情報１１１とに基づいて、第１射影変換行列１１６を生成する。また、行列生成部１２５は、生成した第１射影変換行列１１６を記憶装置１０に記憶させる。
【0113】
ステップＳ１０５において、投射制御部１２０は、第２投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ１に投射画像ＧＰ２－１を表示させる。また、投射制御部１２０は、投射装置１６を制御することで、投射画像ＧＰ２－１の有する角に位置するポインター画像ＧＣ１を壁面Ｗ１上に表示させる。すなわち、投射制御部１２０は、投射装置１６を制御することで、角ＣＮ２－１の位置を示すポインター画像ＧＣ１－１と、角ＣＮ２－２の位置を示すポインター画像ＧＣ１－２と、角ＣＮ２－３の位置を示すポインター画像ＧＣ１－３と、角ＣＮ２－４の位置を示すポインター画像ＧＣ１－４とを表示させる。
【0114】
ステップＳ１０６において、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２－１の角の位置を変更することで、投射画像ＧＰ２の形状を補正する第１の補正を実行する。換言すれば、補正部１２３は、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて、第２投射画像情報１０３を更新する。第１の補正が実行された場合、壁面Ｗ１上には、投射画像ＧＰ２－２が表示される。
【0115】
ステップＳ１０７において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－２が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ２を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ２を表す第２撮像画像情報１０６を記憶装置１０に記憶させる。
【0116】
ステップＳ１０８において、検出部１２２は、第２撮像画像情報１０６の示す撮像画像ＧＳ２に対して画像処理を実行することで、撮像画像ＧＳ２に含まれる複数の点Ｄ１を検出する。すなわち、検出部１２２は、撮像画像ＧＳ２に含まれる複数の点Ｄ１の座標を表す第３座標情報１１２を取得する。また、検出部１２２は、取得した第３座標情報１１２を記憶装置１０に記憶させる。
【0117】
ステップＳ１０９において、投射制御部１２０は、投射装置１６を制御することで、壁面Ｗ１上の領域Ｒ１の有する角に位置する角画像ＧＣ２を壁面Ｗ１上に表示させる。すなわち、投射制御部１２０は、投射装置１６を制御することで、角ＣＮ１－１の位置を示す角画像ＧＣ２－１と、角ＣＮ１－２の位置を示す角画像ＧＣ２－２と、角ＣＮ１－３の位置を示す角画像ＧＣ２－３と、角ＣＮ１－４の位置を示す角画像ＧＣ２－４とを表示させる。また、投射制御部１２０は、投射装置１６を制御することで、複数の点Ｄ１と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１上に表示させる。
【0118】
ステップＳ１１０において、座標管理部１２４は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２を選択する。換言すれば、座標管理部１２４は、ユーザーからの操作に基づいて、角画像ＧＣ２－１～ＧＣ２－４のうちの一つの角画像ＧＣ２が示す領域Ｒ１の角を選択する。
【0119】
ステップＳ１１１において、投射制御部１２０は、投射装置１６を制御することで、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２が示す領域Ｒ１の角に対応する一以上の指示画像ＧＤの中から決定された、選択の候補となる一つの指示画像ＧＤを繰り返し点滅させることで、指示画像ＧＤを他の指示画像ＧＤと識別可能に表示する。
【0120】
ステップＳ１１２において、座標管理部１２４は、他の指示画像ＧＤと識別可能に表示された一つの指示画像を選択するユーザーからの操作に基づいて、当該一つの指示画像ＧＤと対応する点Ｄ１を選択する。また、座標管理部１２４は、当該ユーザーからの操作に基づいて、第３座標情報１１２を更新する。
【0121】
ステップＳ１１３において、投射制御部１２０は、投射装置１６を制御することで、ユーザーからの操作に基づいて選択された点Ｄ１と対応する指示画像ＧＤの色を変更する。
【0122】
ステップＳ１１４において、座標管理部１２４は、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２が示す領域Ｒ１の角における一以上の指示画像ＧＤの選択を終了するユーザーからの操作を受け付けたか否か判定する。換言すれば、座標管理部１２４は、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を受け付けたか否か判定する。ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を受け付けた場合、すなわち、ステップＳ１１４でＹＥＳの場合、座標管理部１２４は処理をステップＳ１１５へ進める。また、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を受け付けていない場合、すなわち、ステップＳ１１４でＮＯの場合、座標管理部１２４は処理をステップＳ１１１へ進める。
【0123】
ステップＳ１１４における判定の結果がＮＯの場合、処理装置１２は、ステップＳ１１１～Ｓ１１３における動作を再度実行することで、ユーザーからの操作に基づく点Ｄ１の選択を続行する。
【0124】
ステップＳ１１５において、投射制御部１２０は、投射装置１６を制御することで、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２の色を変更する。
【0125】
ステップＳ１１６において、座標管理部１２４は、指示画像ＧＤの選択を終了するユーザーからの操作を受け付けたか否か判定する。すなわち、座標管理部１２４は、点Ｄ１の選択を終了するユーザーからの操作を受け付けたか否か判定する。点Ｄ１の選択を終了するユーザーからの操作を受け付けた場合、すなわち、ステップＳ１１６でＹＥＳの場合、座標管理部１２４を備える処理装置１２は図１５のフローチャートに示す一連の動作を終了させる。また、点Ｄ１の選択を終了するユーザーからの操作を受け付けていない場合、すなわち、ステップＳ１１６でＮＯの場合、座標管理部１２４は処理をステップＳ１１０へ進める。
【0126】
処理装置１２は、ステップＳ１１６における判定の結果がＹＥＳとなるまで、ステップＳ１１０～Ｓ１１５における動作を繰り返し実行することで、四以上の点Ｄ１を選択する。すなわち、処理装置１２は、角画像ＧＣ２－１が示す角ＣＮ１－１と対応関係にある角ＣＮ４－１に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角画像ＧＣ２－２が示す角ＣＮ１－２と対応関係にある角ＣＮ４－２に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角画像ＧＣ２－３が示す角ＣＮ１－３と対応関係にある角ＣＮ４－３に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角画像ＧＣ２－４が示す角ＣＮ１－４と対応関係にある角ＣＮ４－４に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することによって、四以上の点Ｄ１を選択する。
【0127】
なお、処理装置１２は、例えばステップＳ１０８より後かつステップＳ１０９より前の段階において、複数の点Ｄ１を間引く処理を実行してもよい。例えば、角ＣＮ１－１に対応する複数の点Ｄ１の個数は、実際には数十個ほどであるが、これらと対応する複数の指示画像ＧＤを全て表示すると、ユーザーは数の多さに起因してどの点Ｄ１を選択するべきか把握しづらくなる。したがって、処理装置１２は、複数の点Ｄ１それぞれが、撮像画像ＧＳ２における位置に応じた値すなわち特徴量を有することを利用し、複数の点Ｄ１を間引く処理を実行してもよい。特徴量は、図１５のステップＳ１０８において撮像画像ＧＳ２に対して画像処理を実行した結果として算出される。例えば、処理装置１２は、所定の閾値未満の特徴量を有する複数の点Ｄ１に対応する複数の指示画像ＧＤを表示しないようにする。所定の閾値未満の特徴量を有する複数の点Ｄ１は、例えば領域Ｒ１の有する角に対応しない点など、投射画像ＧＰの位置及び形状の制御に対する寄与が小さい成分である。
【0128】
図１６は、第４の期間から第６の期間までを含む時間帯におけるプロジェクター１の動作について説明するためのフローチャートである。図１６のフローチャートに示す一連の動作は、第２の補正を実行するための動作である。図１６のフローチャートに示す一連の動作は、例えば、一定時間毎に開始されてもよいし、ユーザーから動作開始に関する入力操作を受け付けた際に開始されてもよい。
【0129】
ステップＳ２０１において、投射制御部１２０は、第１投射画像情報１０２に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ３に投射画像ＧＰ１－２を表示させる。
【0130】
ステップＳ２０２において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１－２が表示された壁面Ｗ１上の領域Ｒ３を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ３を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ３を表す第３撮像画像情報１０７を記憶装置１０に記憶させる。
【0131】
ステップＳ２０３において、検出部１２２は、第３撮像画像情報１０７の示す撮像画像ＧＳ３に対して画像処理を実行することで、撮像画像ＧＳ３に含まれる複数の点を検出する。すなわち、検出部１２２は、撮像画像ＧＳ３に含まれる複数の点の座標を表す第４座標情報１１３を取得する。また、検出部１２２は、取得した第４座標情報１１３を記憶装置１０に記憶させる。
【0132】
ステップＳ２０４において、行列生成部１２５は、第１座標情報１１０と、第４座標情報１１３とに基づいて、第２射影変換行列１１７を生成する。また、行列生成部１２５は、生成した第２射影変換行列１１７を記憶装置１０に記憶させる。
【0133】
ステップＳ２０５において、投射制御部１２０は、第２投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、壁面Ｗ１の領域Ｒ１に投射画像ＧＰ２－３を表示させる。
【0134】
ステップＳ２０６において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ２－３が表示された壁面Ｗ１上の領域Ｒ１を含む範囲を撮像させる。また、撮像制御部１２１は、撮像装置１４から、当該撮像の結果を表す撮像画像ＧＳ４を取得する。また、撮像制御部１２１は、取得した撮像画像ＧＳ４を表す第４撮像画像情報１０８を記憶装置１０に記憶させる。
【0135】
ステップＳ２０７において、検出部１２２は、第４撮像画像情報１０８の示す撮像画像ＧＳ４に対して画像処理を実行することで、撮像画像ＧＳ４に含まれる複数の点Ｄ２を検出する。すなわち、検出部１２２は、撮像画像ＧＳ４に含まれる複数の点Ｄ２の座標を表す第５座標情報１１４を取得する。また、検出部１２２は、取得した第５座標情報１１４を記憶装置１０に記憶させる。
【0136】
ステップＳ２０８において、行列生成部１２５は、第３座標情報１１２と、第１射影変換行列１１６と、第５座標情報１１４と、第２射影変換行列１１７とに基づいて、第３射影変換行列１１８を生成する。また、行列生成部１２５は、生成した第３射影変換行列１１８を記憶装置１０に記憶させる。
【0137】
なお、ステップＳ２０７の後かつステップＳ２０８の前に、処理装置１２は、撮像画像ＧＳ４から検出された複数の点Ｄ２の中から、第３の期間においてユーザーが選択した四以上の点Ｄ１に相当する点を探索するプロセスを実行してもよい。具体的には、処理装置１２は、複数の点Ｄ２のうちユーザーが選択した四以上の点Ｄ１と同じ特徴量を有する点を探索する。これは、処理装置１２が第２の補正を実行するにあたり、撮像画像ＧＳ２における四以上の点Ｄ１が、撮像画像ＧＳ４においてどこに移動したのかを精度よく認識する必要があるからである。処理装置１２は、点Ｄ１が特徴量を有することを利用し、第５の期間における複数の点Ｄ２と第３の期間における四以上の点Ｄ１との対応付け、すなわちマッチングを精度よく行うことができる。これにより、第５の期間における複数の点Ｄ２と第３の期間における四以上の点Ｄ１とのマッチングエラーが抑制され、第３射影変換行列１１８の生成精度がさらに向上する。
【0138】
ステップＳ２０９において、補正部１２３は、第３射影変換行列１１８に基づいて、投射画像ＧＰ２－３を補正する第２の補正を実行する。換言すれば、補正部１２３は、第３射影変換行列１１８に基づいて、第２投射画像情報１０３を更新する。第２の補正が実行された場合、壁面Ｗ１上には、投射画像ＧＰ２－４が表示される。
【0139】
以上より、第１実施形態によれば、プロジェクター１は、第２の補正を実行することで、表示領域に表示された投射画像の位置および形状を補正する。すなわち、プロジェクター１は、プロジェクター１の位置、向きおよび角度等が変化した場合であっても、投射画像が表示される位置、および、投射画像の形状を、プロジェクター１の位置、向きおよび角度等が変化する前と同様に維持することができる。換言すれば、プロジェクター１は、表示領域の有する四つの角と、投射画像の有する四つの角との位置関係を維持することができる。
【0140】
また、第１実施形態によれば、プロジェクター１は、ユーザーからの操作に基づいて第１の補正を実行することで、表示領域に表示された投射画像の形状を補正する。すなわち、プロジェクター１は、ユーザーの所望する形状で投射画像を表示することができる。また、ユーザーは、プロジェクター１の位置、向きおよび角度等を正確に調整することなく、簡便に、投射画像の形状を調整することができる。
【0141】
以上に説明したように、第１実施形態に係る投射方法は、投射装置１６を制御することで、壁面Ｗ１上の領域であって、四つの角を有する領域Ｒ１の内側に、四つの角を有する投射画像ＧＰ２を表示することと、投射画像ＧＰ２が表示されている領域Ｒ１を含む範囲の撮像画像である撮像画像ＧＳ２を取得することと、撮像画像ＧＳ２に画像処理を実行することで、撮像画像ＧＳ２に含まれる領域Ｒ１を示す画像ＧＶ２１の有する四つの角に一対一で対応する複数の点Ｄ１を検出することと、投射装置１６を制御することで、投射画像ＧＰ２の有する角に位置するとともに投射画像ＧＰ２の形状を調整するためのポインター画像ＧＣ１を表示することと、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２の形状を補正する第１の補正を実行することと、複数の点Ｄ１に基づいて、領域Ｒ１の四つの角と、第１の補正によって決定された投射画像ＧＰ２の四つの角との位置関係を維持するための第２の補正を実行することと、を含む。
【0142】
また、第１実施形態に係るプログラム１００は、処理装置１２に、投射装置１６を制御することで、壁面Ｗ１上の領域であって、四つの角を有する領域Ｒ１の内側に、四つの角を有する投射画像ＧＰ２を表示することと、投射画像ＧＰ２が表示されている領域Ｒ１を含む範囲の撮像画像である撮像画像ＧＳ２を取得することと、撮像画像ＧＳ２に画像処理を実行することで、撮像画像ＧＳ２に含まれる領域Ｒ１を示す画像ＧＶ２１の有する四つの角に一対一で対応する複数の点Ｄ１を検出することと、投射装置１６を制御することで、投射画像ＧＰ２の有する角に位置するとともに投射画像ＧＰ２の形状を調整するためのポインター画像ＧＣ１を表示することと、ポインター画像ＧＣ１を移動するユーザーからの操作に基づいて投射画像ＧＰ２の角の位置を変更することで、投射画像ＧＰ２の形状を補正する第１の補正を実行することと、複数の点Ｄ１に基づいて、領域Ｒ１の四つの角と、第１の補正によって決定された投射画像ＧＰ２の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる。
【0143】
すなわち、プロジェクター１は、ユーザーからの操作に基づいて第１の補正を実行することで、投射画像ＧＰ２の形状を、ユーザーの所望の形状に補正する。また、プロジェクター１は、第２の補正を実行することで、投射画像ＧＰ２が表示される位置、および、投射画像ＧＰ２の形状を維持する。従って、プロジェクター１は、投射画像ＧＰ２の形状を、ユーザーの所望の形状で維持することができる。また、第１の補正は、ユーザーの操作に基づいて実行される。このため、ユーザーは、プロジェクター１の位置、向きおよび角度等を正確に調整することなく、簡便に、投射画像ＧＰ２の形状を調整することができる。
【0144】
なお、第１実施形態において、投射装置１６は「投射装置」の一例であり、壁面Ｗ１は「投射面」の一例であり、領域Ｒ１は「表示領域」の一例であり、投射画像ＧＰ２は「投射画像」の一例であり、撮像画像ＧＳ２は「第１撮像画像」の一例であり、画像ＧＶ２１は「第１の画像」の一例であり、点Ｄ１は「第１特徴点」の一例であり、複数の点Ｄ１は「複数の第１特徴点」の一例であり、ポインター画像ＧＣ１は「ポインター画像」の一例であり、プログラム１００は「プログラム」の一例であり、処理装置１２は「処理装置」の一例である。また、「四つの角を有する表示領域」における四つの角は角ＣＮ１－１～ＣＮ１－４を一例とする。また、「四つの角を有する投射画像」における四つの角は角ＣＮ２－１～ＣＮ２－４を一例とする。また、「第１の画像の四つの角」は、角ＣＮ４－１～ＣＮ４－４を一例とする。
【0145】
また、第１実施形態に係る投射方法において、画像ＧＶ２１の四つの角は、角ＣＮ４－１、角ＣＮ４－２、角ＣＮ４－３および角ＣＮ４－４を含み、複数の点Ｄ１は、角ＣＮ４－１に対応する一以上の点Ｄ１と、角ＣＮ４－２に対応する一以上の点Ｄ１と、角ＣＮ４－３に対応する一以上の点Ｄ１と、角ＣＮ４－４に対応する一以上の点Ｄ１と、を含み、投射装置１６を制御することで、複数の点Ｄ１と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１に表示することと、投射装置１６を制御することで、複数の指示画像ＧＤのうちの一つの指示画像ＧＤを他の指示画像ＧＤと識別可能に壁面Ｗ１に表示することと、壁面Ｗ１に表示される複数の指示画像ＧＤのうちの一つの指示画像ＧＤを選択するユーザー操作に応じて、選択された一つの指示画像ＧＤと対応する一つの点Ｄ１を、第２の補正を実行するための点Ｄ１として設定することと、第２の補正を実行するための複数の点Ｄ１を設定することは、角ＣＮ４－１に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角ＣＮ４－２に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することと、角ＣＮ４－３に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することと、角ＣＮ４－４に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することとを、含む、四以上の点Ｄ１を選択するユーザー操作を受け付けることと、を更に含み、第２の補正を実行することは、第１の補正が実行された投射画像ＧＰ２が表示されている領域Ｒ１を含む範囲を撮像した結果を表す撮像画像ＧＳ４を取得することと、撮像画像ＧＳ４に画像処理を実行することで、撮像画像ＧＳ４に含まれる領域Ｒ１を示す画像ＧＶ４１の有する四つの角の各々に一以上が対応する複数の点Ｄ２を検出することと、当該四以上の点Ｄ１の座標と、複数の点Ｄ２の座標と、に基づいて、第２の補正を実行することと、を含む。
【0146】
画像処理によって検出される点Ｄ１の数が多い場合、点Ｄ２との対応付けがうまくいかず、第２の補正に用いられる第３射影変換行列１１８の生成精度が低下する場合がある。このため、検出された複数の点Ｄ１をユーザーが取捨選択することが好ましい。プロジェクター１は、検出された複数の点Ｄ１と一対一で対応する複数の指示画像ＧＤを表示する。また、プロジェクター１は、指示画像ＧＤを選択するユーザーからの操作に基づいて、複数の点Ｄ１を選択し、選択された複数の点Ｄ１の座標に基づいて第２の補正を実行する。従って、プロジェクター１は、第２の補正に用いられる第３射影変換行列１１８を精度良く生成することが可能となり、より精確に、投射画像ＧＰ２の形状をユーザーの所望の形状で維持することができる。
【0147】
なお、第１実施形態において、角ＣＮ４－１は「第１の角」の一例であり、角ＣＮ４－２は「第２の角」の一例であり、角ＣＮ４－３は「第３の角」の一例であり、角ＣＮ４－４は「第４の角」の一例であり、複数の指示画像ＧＤは「複数の指示画像」の一例であり、一つの指示画像ＧＤは「一つの指示画像」の一例であり、撮像画像ＧＳ４は「第２撮像画像」の一例であり、画像ＧＶ４１は「第２の画像」の一例であり、点Ｄ２は「第２特徴点」の一例であり、複数の点Ｄ２は「複数の第２特徴点」の一例である。また、「第２の画像の有する四つの角」は、角ＣＮ６－１～ＣＮ６－４を一例とする。
【0148】
また、第１実施形態に係る投射方法は、投射装置１６を制御することで、領域Ｒ１の有する四つの角と一対一で対応する四つの角画像ＧＣ２を壁面Ｗ１に表示することと、角ＣＮ４－１において、一以上の点Ｄ１の選択が終了した場合、四つの角画像ＧＣ２のうち角ＣＮ４－１に対応する角画像ＧＣ２－１の表示態様を変更することと、を更に含み、画像ＧＶ２１の四つの角は、四つの角画像ＧＣ２と一対一で対応する。
【0149】
これにより、ユーザーは、点Ｄ１の選択が終了した角と、点Ｄ１の選択が終了していない角とを容易に見分けることができる。
【0150】
なお、第１実施形態において、四つの角画像ＧＣ２は「四つの角画像」の一例であり、角画像ＧＣ２－１は「一つの角画像」の一例である。
【0151】
また、第１実施形態に係る投射方法は、一つの点Ｄ１を選択することに応じて、一つの指示画像ＧＤの表示態様を変更することを更に含む。
【0152】
これにより、ユーザーは、選択された点Ｄ１と対応する指示画像ＧＤと、未選択の点Ｄ１と対応する指示画像ＧＤとを容易に見分けることができる。
【0153】
また、第１実施形態に係る投射方法において、複数の指示画像ＧＤのうちの一つの指示画像ＧＤを他の指示画像ＧＤと識別可能に壁面Ｗ１に表示することは、時間の経過に応じて表示態様が変化する当該一つの指示画像ＧＤを表示することを含む。
【0154】
例えば、プロジェクター１は、ユーザーの選択の候補となる一つの指示画像ＧＤを繰り返し点滅させたりすることで、時間の経過とともに当該指示画像ＧＤの表示態様を変更する。これにより、ユーザーは、選択の候補となる一つの指示画像ＧＤと、他の指示画像ＧＤとを容易に見分けることができる。
【0155】
また、第１実施形態に係る投射方法において、複数の指示画像ＧＤのうちの一つの指示画像ＧＤを他の指示画像ＧＤと識別可能に壁面Ｗ１に表示することは、当該一つの指示画像ＧＤを、ポインター画像ＧＣ１とは異なる表示態様で表示することを含む。
【0156】
これにより、ユーザーは、指示画像ＧＤと、ポインター画像ＧＣ１とを容易に見分けることができる。
【0157】
２．変形例
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
【0158】
２．１．変形例１
前述の実施形態において、一つの点Ｄ１が選択されることに応じて、当該一つの点Ｄ１と対応する指示画像ＧＤの色が変更される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、一つの点Ｄ１が選択されることに応じて、当該一つの点Ｄ１と対応する指示画像ＧＤの形状が変更されてもよい。また、一つの点Ｄ１が選択されることに応じて、当該一つの点Ｄ１と対応する指示画像ＧＤの大きさが変更されてもよい。
前述の実施形態において、一つの点Ｄ１が選択されることに応じて、当該一つの点Ｄ１と対応する指示画像ＧＤの色が変更される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、一つの点Ｄ１が選択されることに応じて、当該一つの点Ｄ１と対応する指示画像ＧＤの形状が変更されてもよい。また、一つの点Ｄ１が選択されることに応じて、当該一つの点Ｄ１と対応する指示画像ＧＤの大きさが変更されてもよい。
【0159】
２．２．変形例２
前述の実施形態および変形例において、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を操作装置１８が受け付けた場合、当該一つの角画像ＧＣ２の色が変更される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を操作装置１８が受け付けた場合、当該一つの角画像ＧＣ２の形状が変更されてもよい。また、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を操作装置１８が受け付けた場合、当該一つの角画像ＧＣ２の大きさが変更されてもよい。
前述の実施形態および変形例において、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を操作装置１８が受け付けた場合、当該一つの角画像ＧＣ２の色が変更される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を操作装置１８が受け付けた場合、当該一つの角画像ＧＣ２の形状が変更されてもよい。また、ユーザーからの操作に基づいて選択された一つの角画像ＧＣ２と対応する画像ＧＶ２１の角における一以上の点Ｄ１の選択を終了するユーザーからの操作を操作装置１８が受け付けた場合、当該一つの角画像ＧＣ２の大きさが変更されてもよい。
【0160】
２．３．変形例３
前述の実施形態および変形例において、プロジェクター１が本発明に係る投射方法を実現する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、処理装置１２と同様の機能を有する情報処理装置と、当該情報処理装置と通信可能に接続されたプロジェクターとを備える投射システムによって、本発明に係る投射方法が実現されてもよい。
前述の実施形態および変形例において、プロジェクター１が本発明に係る投射方法を実現する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、処理装置１２と同様の機能を有する情報処理装置と、当該情報処理装置と通信可能に接続されたプロジェクターとを備える投射システムによって、本発明に係る投射方法が実現されてもよい。
【0161】
２．４．変形例４
前述の実施形態および変形例において、投射画像ＧＰ１が、所謂水玉模様を有する画像である場合を例示したが、本発明はこのような態様に限定されるものではない。投射画像ＧＰ１は、例えば、画像の長手方向と平行な複数の直線と、画像の短手方向と平行な複数の直線とが描かれた、所謂格子状のパターンを有する画像であってもよい。また、投射画像ＧＰ１は、所謂チェッカーパターンを有する画像であってもよい。
前述の実施形態および変形例において、投射画像ＧＰ１が、所謂水玉模様を有する画像である場合を例示したが、本発明はこのような態様に限定されるものではない。投射画像ＧＰ１は、例えば、画像の長手方向と平行な複数の直線と、画像の短手方向と平行な複数の直線とが描かれた、所謂格子状のパターンを有する画像であってもよい。また、投射画像ＧＰ１は、所謂チェッカーパターンを有する画像であってもよい。
【0162】
２．５．変形例５
前述の実施形態および変形例において、第２撮像画像情報１０６が、第３の期間において取得された撮像画像、すなわち、第１の補正が実施された後に取得された撮像画像を表す場合を例示したが、本発明はこのような態様に限定されるものではない。第２撮像画像情報１０６は、第１の補正が実施される前に取得された撮像画像であってもよい。
前述の実施形態および変形例において、第２撮像画像情報１０６が、第３の期間において取得された撮像画像、すなわち、第１の補正が実施された後に取得された撮像画像を表す場合を例示したが、本発明はこのような態様に限定されるものではない。第２撮像画像情報１０６は、第１の補正が実施される前に取得された撮像画像であってもよい。
【0163】
２．６．変形例６
プロジェクター１によって実行される一部またはすべての制御は、処理装置１２によって実行されてもよい。また、処理装置１２によって実行される一部またはすべての制御は、プロジェクター１によって実行されてもよい。
プロジェクター１によって実行される一部またはすべての制御は、処理装置１２によって実行されてもよい。また、処理装置１２によって実行される一部またはすべての制御は、プロジェクター１によって実行されてもよい。
【0164】
３．付記
以下、付記として本発明のまとめを記載する。
以下、付記として本発明のまとめを記載する。
【0165】
３．１．付記１
投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む、投射方法。
投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む、投射方法。
【0166】
すなわち、付記１に記載の投射方法を実現するプロジェクターまたは投射システムは、ユーザーからの操作に基づいて第１の補正を実行することで、投射画像の形状を、ユーザーの所望の形状に補正する。また、付記１に記載の投射方法を実現するプロジェクターまたは投射システムは、第２の補正を実行することで、投射画像が表示される位置、および、投射画像の形状を維持する。従って、付記１に記載の投射方法を実現するプロジェクターまたは投射システムは、投射画像の形状を、ユーザーの所望の形状で維持することができる。また、第１の補正は、ユーザーの操作に基づいて実行される。このため、ユーザーは、プロジェクターの位置、向きおよび角度等を正確に調整することなく、簡便に、投射画像の形状を調整することができる。
【0167】
３．２．付記２
前記第１の画像の四つの角は、第１の角、第２の角、第３の角および第４の角を含み、前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、前記第２の補正を実行するための前記複数の第１特徴点を設定することは、前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、を更に含み、前記第２の補正を実行することは、前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行することと、を含む、
付記１に記載の投射方法。
前記第１の画像の四つの角は、第１の角、第２の角、第３の角および第４の角を含み、前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、前記第２の補正を実行するための前記複数の第１特徴点を設定することは、前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、を更に含み、前記第２の補正を実行することは、前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行することと、を含む、
付記１に記載の投射方法。
【0168】
画像処理によって検出される第１特徴点の数が多い場合、第２特徴点との対応付けがうまくいかず、第２の補正に用いられる射影変換行列の生成精度が低下する場合がある。このため、検出された複数の第１特徴点をユーザーが取捨選択することが好ましい。付記２に記載の投射方法を実現するプロジェクターまたは投射システムは、検出された複数の第１特徴点と一対一で対応する複数の指示画像を表示する。また、付記２に記載の投射方法を実現するプロジェクターまたは投射システムは、指示画像を選択するユーザーからの操作に基づいて、複数の第１特徴点を選択し、選択された複数の第１特徴点の座標に基づいて第２の補正を実行する。従って、付記１に記載の投射方法を実現するプロジェクターまたは投射システムは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状をユーザーの所望の形状で維持することができる。
【0169】
３．３．付記３
前記投射装置を制御することで、前記表示領域の有する四つの角と一対一で対応する四つの角画像を前記投射面に表示することと、前記第１の角において、一以上の第１特徴点の選択が終了した場合、前記四つの角画像のうち前記第１の角に対応する一つの角画像の表示態様を変更することと、を更に含み、前記第１の画像の四つの角は、前記四つの角画像と一対一で対応する、付記２に記載の投射方法。
前記投射装置を制御することで、前記表示領域の有する四つの角と一対一で対応する四つの角画像を前記投射面に表示することと、前記第１の角において、一以上の第１特徴点の選択が終了した場合、前記四つの角画像のうち前記第１の角に対応する一つの角画像の表示態様を変更することと、を更に含み、前記第１の画像の四つの角は、前記四つの角画像と一対一で対応する、付記２に記載の投射方法。
【0170】
これにより、ユーザーは、第１特徴点の選択が終了した角と、第１特徴点の選択が終了していない角とを容易に見分けることができる。
【0171】
３．４．付記４
前記一つの第１特徴点を選択することに応じて、前記一つの指示画像の表示態様を変更することを更に含む、付記２または３に記載の投射方法。
前記一つの第１特徴点を選択することに応じて、前記一つの指示画像の表示態様を変更することを更に含む、付記２または３に記載の投射方法。
【0172】
これにより、ユーザーは、選択された第１特徴点と対応する指示画像と、未選択の第１特徴点と対応する指示画像とを容易に見分けることができる。
【0173】
３．５．付記５
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、時間の経過に応じて表示態様が変化する前記一つの指示画像を表示することを含む、付記２から付記４のうちのいずれか一つに記載の投射方法。
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、時間の経過に応じて表示態様が変化する前記一つの指示画像を表示することを含む、付記２から付記４のうちのいずれか一つに記載の投射方法。
【0174】
例えば、付記５に記載の投射方法を実現するプロジェクターまたは投射システムは、ユーザーの選択の候補となる一つの指示画像を繰り返し点滅させたりすることで、時間の経過とともに当該指示画像の表示態様を変更する。これにより、ユーザーは、選択の候補となる一つの指示画像と、他の指示画像とを容易に見分けることができる。
【0175】
３．６．付記６
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、前記一つの指示画像を、前記ポインター画像とは異なる表示態様で表示することを含む、付記２から付記４のうちのいずれか一つに記載の投射方法。
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、前記一つの指示画像を、前記ポインター画像とは異なる表示態様で表示することを含む、付記２から付記４のうちのいずれか一つに記載の投射方法。
【0176】
これにより、ユーザーは、指示画像と、ポインター画像とを容易に見分けることができる。
【0177】
３．７．付記７
処理装置に、投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、プログラム。
処理装置に、投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、プログラム。
【0178】
すなわち、付記７に記載のプログラムに従って動作するプロジェクターまたは投射システムは、ユーザーからの操作に基づいて第１の補正を実行することで、投射画像の形状を、ユーザーの所望の形状に補正する。また、付記７に記載のプログラムに従って動作するプロジェクターまたは投射システムは、第２の補正を実行することで、投射画像が表示される位置、および、投射画像の形状を維持する。従って、付記７に記載のプログラムに従って動作するプロジェクターまたは投射システムは、投射画像の形状を、ユーザーの所望の形状で維持することができる。また、第１の補正は、ユーザーの操作に基づいて実行される。このため、ユーザーは、プロジェクターの位置、向きおよび角度等を正確に調整することなく、簡便に、投射画像の形状を調整することができる。
【符号の説明】
【0179】
１…プロジェクター、１０…記憶装置、１２…処理装置、１４…撮像装置、１６…投射装置、１８…操作装置、１００…プログラム、１０１…投射画像情報、１０２…第１投射画像情報、１０３…第２投射画像情報、１０４…撮像画像情報、１０５…第１撮像画像情報、１０６…第２撮像画像情報、１０７…第３撮像画像情報、１０８…第４撮像画像情報、１０９…座標情報、１１０…第１座標情報、１１１…第２座標情報、１１２…第３座標情報、１１３…第４座標情報、１１４…第５座標情報、１１５…射影変換行列、１１６…第１射影変換行列、１１７…第２射影変換行列、１１８…第３射影変換行列、１２０…投射制御部、１２１…撮像制御部、１２２…検出部、１２３…補正部、１２４…座標管理部、１２５…行列生成部、１４０…撮像素子、１４２…撮像レンズ、１６０…光変調器、１６２…投射レンズ、ＧＰ１…投射画像、ＧＣ１…ポインター画像、ＧＣ２…角画像、ＧＤ…指示画像、ＧＦ１…画像、ＧＳ１…撮像画像、ＣＮ１…角、Ｄ１…点、Ｒ１…領域、Ｗ１…壁面。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2024-01-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、
を含む、投射方法。
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、
を含む、投射方法。
【請求項2】
前記第１の画像の四つの角は、第１の角、第２の角、第３の角および第４の角を含み、
前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、
前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、
前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、
前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、
前記第２の補正を実行するための前記複数の第１特徴点を設定することは、
前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、
を更に含み、
前記第２の補正を実行することは、
前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、
前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、
を含み、
前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行する
請求項１に記載の投射方法。
前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、
前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、
前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、
前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、
前記第２の補正を実行するための前記複数の第１特徴点を設定することは、
前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、
を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、
を更に含み、
前記第２の補正を実行することは、
前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、
前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、
を含み、
前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行する
請求項１に記載の投射方法。
【請求項3】
前記投射装置を制御することで、前記表示領域の有する四つの角と一対一で対応する四つの角画像を前記投射面に表示することと、
前記第１の角において、一以上の第１特徴点の選択が終了した場合、前記四つの角画像のうち前記第１の角に対応する一つの角画像の表示態様を変更することと、
を更に含み、
前記第１の画像の四つの角は、前記四つの角画像と一対一で対応する、
請求項２に記載の投射方法。
前記第１の角において、一以上の第１特徴点の選択が終了した場合、前記四つの角画像のうち前記第１の角に対応する一つの角画像の表示態様を変更することと、
を更に含み、
前記第１の画像の四つの角は、前記四つの角画像と一対一で対応する、
請求項２に記載の投射方法。
【請求項4】
前記一つの第１特徴点を選択することに応じて、前記一つの指示画像の表示態様を変更することを更に含む、
請求項２または３に記載の投射方法。
請求項２または３に記載の投射方法。
【請求項5】
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、時間の経過に応じて表示態様が変化する前記一つの指示画像を表示することを含む、
請求項２に記載の投射方法。
請求項２に記載の投射方法。
【請求項6】
前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することは、前記一つの指示画像を、前記ポインター画像とは異なる表示態様で表示することを含む、
請求項２に記載の投射方法。
請求項２に記載の投射方法。
【請求項7】
処理装置に、
投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、
プログラム。
投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、
前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、
前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、
前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、
前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、
プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【0005】
本発明に係る投射方法の一態様は、投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む。
前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本発明に係るプログラムの一態様は、処理装置に、投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【0088】
画像ＧＶ２１は、領域Ｒ１を表す画像である。画像ＧＶ２１は、角ＣＮ４－１、角ＣＮ４－２、角ＣＮ４－３および角ＣＮ４－４を有する。角ＣＮ４－１は、角ＣＮ１－１と対応する。すなわち、角ＣＮ４－１は、角画像ＧＣ２－１と対応する。角ＣＮ４－２は、角ＣＮ１－２と対応する。すなわち、角ＣＮ４－２は、角画像ＧＣ２－２と対応する。角ＣＮ４－３は、角ＣＮ１－３と対応する。すなわち、角ＣＮ４－３は、角画像ＧＣ２－３と対応する。角ＣＮ４－４は、角ＣＮ１－４と対応する。すなわち、角ＣＮ４－４は、角画像ＧＣ２－４と対応する。画像ＧＶ２２は、投射画像ＧＰ２－２を表す画像である。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０１４５
【補正方法】変更
【補正の内容】
【0145】
また、第１実施形態に係る投射方法において、画像ＧＶ２１の四つの角は、角ＣＮ４－１、角ＣＮ４－２、角ＣＮ４－３および角ＣＮ４－４を含み、複数の点Ｄ１は、角ＣＮ４－１に対応する一以上の点Ｄ１と、角ＣＮ４－２に対応する一以上の点Ｄ１と、角ＣＮ４－３に対応する一以上の点Ｄ１と、角ＣＮ４－４に対応する一以上の点Ｄ１と、を含み、投射装置１６を制御することで、複数の点Ｄ１と一対一で対応する複数の指示画像ＧＤを壁面Ｗ１に表示することと、投射装置１６を制御することで、複数の指示画像ＧＤのうちの一つの指示画像ＧＤを他の指示画像ＧＤと識別可能に壁面Ｗ１に表示することと、壁面Ｗ１に表示される複数の指示画像ＧＤのうちの一つの指示画像ＧＤを選択するユーザー操作に応じて、選択された一つの指示画像ＧＤと対応する一つの点Ｄ１を、第２の補正を実行するための点Ｄ１として設定することと、を含み、第２の補正を実行するための複数の点Ｄ１を設定することは、角ＣＮ４－１に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択し、角ＣＮ４－２に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することと、角ＣＮ４－３に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することと、角ＣＮ４－４に対応する一以上の点Ｄ１から一以上の点Ｄ１を選択することとを、含む、四以上の点Ｄ１を選択するユーザー操作を受け付けることと、を更に含み、第２の補正を実行することは、第１の補正が実行された投射画像ＧＰ２が表示されている領域Ｒ１を含む範囲を撮像した結果を表す撮像画像ＧＳ４を取得することと、撮像画像ＧＳ４に画像処理を実行することで、撮像画像ＧＳ４に含まれる領域Ｒ１を示す画像ＧＶ４１の有する四つの角の各々に一以上が対応する複数の点Ｄ２を検出することと、当該四以上の点Ｄ１の座標と、複数の点Ｄ２の座標と、に基づいて、第２の補正を実行することと、を含む。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０１６５
【補正方法】変更
【補正の内容】
【0165】
３．１．付記１
投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む、投射方法。
投射装置を制御することで、投射面上の領域としての、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示される前記表示領域を含む範囲の撮像画像である第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するためのユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を含む、投射方法。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【0167】
３．２．付記２
前記第１の画像の四つの角は、第１の角、第２の角、第３の角および第４の角を含み、前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、前記第２の補正を実行するための前記複数の第１特徴点を設定することは、前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、を更に含み、前記第２の補正を実行することは、前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、を含み、前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行する、付記１に記載の投射方法。
前記第１の画像の四つの角は、第１の角、第２の角、第３の角および第４の角を含み、前記複数の第１特徴点は、前記第１の角に対応する一以上の第１特徴点と、前記第２の角に対応する一以上の第１特徴点と、前記第３の角に対応する一以上の第１特徴点と、前記第４の角に対応する一以上の第１特徴点と、を含み、前記投射装置を制御することで、前記複数の第１特徴点と一対一で対応する複数の指示画像を前記投射面に表示することと、前記投射装置を制御することで、前記複数の指示画像のうちの一つの指示画像を他の指示画像と識別可能に前記投射面に表示することと、前記投射面に表示される前記複数の指示画像のうちの前記一つの指示画像を選択するユーザー操作に応じて、選択された前記一つの指示画像と対応する一つの第１特徴点を、前記第２の補正を実行するための前記第１特徴点として設定することと、前記第２の補正を実行するための前記複数の第１特徴点を設定することは、前記第１の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第２の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第３の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、前記第４の角に対応する一以上の第１特徴点から一以上の第１特徴点を選択することと、を含む、四以上の第１特徴点を選択するユーザー操作を受け付けることと、を更に含み、前記第２の補正を実行することは、前記第１の補正が実行された前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第２撮像画像を取得することと、前記第２撮像画像に画像処理を実行することで、前記第２撮像画像に含まれる前記表示領域を示す第２の画像の有する四つの角の各々に一以上が対応する複数の第２特徴点を検出することと、を含み、前記四以上の第１特徴点の座標と、前記複数の第２特徴点の座標と、に基づいて、前記第２の補正を実行する、付記１に記載の投射方法。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】０１６８
【補正方法】変更
【補正の内容】
【0168】
画像処理によって検出される第１特徴点の数が多い場合、第２特徴点との対応付けがうまくいかず、第２の補正に用いられる射影変換行列の生成精度が低下する場合がある。このため、検出された複数の第１特徴点をユーザーが取捨選択することが好ましい。付記２に記載の投射方法を実現するプロジェクターまたは投射システムは、検出された複数の第１特徴点と一対一で対応する複数の指示画像を表示する。また、付記２に記載の投射方法を実現するプロジェクターまたは投射システムは、指示画像を選択するユーザーからの操作に基づいて、複数の第１特徴点を選択し、選択された複数の第１特徴点の座標に基づいて第２の補正を実行する。従って、付記２に記載の投射方法を実現するプロジェクターまたは投射システムは、第２の補正に用いられる射影変換行列を精度良く生成することが可能となり、より精確に、投射画像の形状をユーザーの所望の形状で維持することができる。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】０１７７
【補正方法】変更
【補正の内容】
【0177】
３．７．付記７
処理装置に、投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、プログラム。
処理装置に、投射装置を制御することで、投射面上の領域であって、四つの角を有する表示領域の内側に、四つの角を有する投射画像を表示することと、前記投射画像が表示されている前記表示領域を含む範囲を撮像した結果を表す第１撮像画像を取得することと、前記第１撮像画像に画像処理を実行することで、前記第１撮像画像に含まれる前記表示領域を示す第１の画像の有する四つの角に一対一で対応する複数の第１特徴点を検出することと、前記投射装置を制御することで、前記投射画像の有する角に位置するとともに前記投射画像の形状を調整するためのポインター画像を表示することと、前記ポインター画像を移動するための前記ユーザー操作に基づいて前記投射画像の角の位置を変更することで、前記投射画像の形状を補正する第１の補正を実行することと、前記複数の第１特徴点に基づいて、前記表示領域の四つの角と、前記第１の補正によって決定された前記投射画像の四つの角との位置関係を維持するための第２の補正を実行することと、を実行させる、プログラム。