特許 7151126 プロジェクター、及び、プロジェクターの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】プロジェクター、及び、プロジェクターの制御方法

(51)【国際特許分類】

   H04N 5/74 20060101AFI20221004BHJP

   H04N 17/00 20060101ALI20221004BHJP

【ＦＩ】

H04N5/74 D

H04N17/00 G

【請求項の数】 9

(21)【出願番号】P 2018063453

(22)【出願日】2018-03-29

(65)【公開番号】P2019176356

(43)【公開日】2019-10-10

【審査請求日】2021-02-12

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】田村 明彦

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１５－１６６８９３（ＪＰ，Ａ）

【文献】特開２０１７－１３８７７６（ＪＰ，Ａ）

【文献】特開２０１５－１５９５２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ９／３１

Ｈ０４Ｎ １７／００

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

プロジェクターであって、
光源と、面状に配置された画素により画像を形成して前記光源が発する光を変調する変調部とを備え、投射面に画像を投射する投射部と、
前記投射面の少なくとも一部を含む範囲を撮像する撮像部と、
前記投射部によって、位置特定用のマークが配置されたキャリブレーション画像を投射させて、前記撮像部の撮像画像から前記マークを検出することによりキャリブレーションを実行するキャリブレーション処理部と、
前記投射面に対する前記プロジェクターの設置状態に関する情報を取得する情報取得部と、
前記情報取得部により取得された情報に基づいて、前記プロジェクターの設置状態に対応するキャリブレーション画像を生成する画像生成部と、を備え、
前記画像生成部は、前記投射面に投射された前記キャリブレーション画像を撮像した前記撮像画像において、前記マークが直交する辺を有する形状となるように、前記キャリブレーション画像を生成し、また、前記情報取得部により取得された情報に基づいて、前記撮像画像における前記マークの配置を決定し、前記撮像画像における前記マークの座標を前記変調部における座標に変換することにより、前記キャリブレーション画像を生成し、
前記キャリブレーション処理部は、前記画像生成部により生成された前記キャリブレーション画像を前記投射部により投射させて、キャリブレーションを実行する、プロジェクター。

【請求項2】

前記画像生成部は、前記投射部が投射する投射画像の隅部に位置する前記マークが直交する辺を有する形状となるように、前記キャリブレーション画像を生成する、請求項１記載のプロジェクター。

【請求項3】

前記画像生成部は、設定された数の前記マークを含む前記キャリブレーション画像を生成し、前記キャリブレーション画像に配置された複数の前記マークの間隔が基準値以下となる場合に、設定された数より少ない前記マークを含む前記キャリブレーション画像を生成する、請求項１又は２に記載のプロジェクター。

【請求項4】

前記情報取得部が取得する情報は、前記投射面と前記撮像部との相対位置に関する情報を含む、請求項１から３のいずれか１項に記載のプロジェクター。

【請求項5】

前記撮像部は、レンズを含む撮像光学系と、撮像素子とを有し、
前記情報取得部が取得する情報は、前記投射面と前記撮像光学系の光軸との相対位置に関する情報を含む、請求項４記載のプロジェクター。

【請求項6】

前記情報取得部が取得する情報は、前記撮像光学系の光軸と前記撮像素子との相対位置に関する情報を含む、請求項５記載のプロジェクター。

【請求項7】

前記情報取得部が取得する情報は、前記投射面と、前記投射部と、前記撮像部との相対位置に関する情報を含む、請求項１から６のいずれか１項に記載のプロジェクター。

【請求項8】

前記投射部は、レンズを含む投射光学系を有し、
前記情報取得部が取得する情報は、前記投射面と、前記投射光学系の光軸と、前記撮像部との相対位置に関する情報を含む、請求項７記載のプロジェクター。

【請求項9】

光源と、面状に配置された画素により画像を形成して前記光源が発する光を変調する変調部とを備え、投射面に画像を投射する投射部と、前記投射面の少なくとも一部を含む範囲を撮像する撮像部と、を備えるプロジェクターの制御方法であって、
前記投射面に対する前記プロジェクターの設置状態に関する情報を取得し、
取得した情報に基づいて、前記プロジェクターの設置状態に対応するキャリブレーション画像を生成し、
生成された前記キャリブレーション画像を、前記投射部によって投射し、
前記撮像部の撮像画像からマークを検出することによりキャリブレーションを実行し、
前記キャリブレーション画像を生成することは、
前記投射面に投射された前記キャリブレーション画像を撮像した前記撮像画像において、前記マークが直交する辺を有する形状となるように、前記キャリブレーション画像を生成し、また、取得された情報に基づいて、前記撮像画像における前記マークの配置を決定し、前記撮像画像における前記マークの座標を前記変調部における座標に変換することにより、前記キャリブレーション画像を生成することを含む、
プロジェクターの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プロジェクター、及び、プロジェクターの制御方法に関する。

【背景技術】

【0002】

従来、位置特定用のマークを含むキャリブレーション画像を投射し、投射画像を撮影した撮影画像に基づいてキャリブレーションを実行するプロジェクターが知られている（例えば、特許文献１、２参照）。この種のプロジェクターでは、撮像画像におけるマークの形状の歪みなどが原因で、撮像画像からマークを検出する処理が失敗することがあった。このため、キャリブレーションが失敗した場合に、条件を変えてキャリブレーションをやり直す手法が提案された。例えば、特許文献２記載のプロジェクターは、マークの検出が失敗した場合、異なる種類のキャリブレーション画像を使ってキャリブレーションを実行する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１５９５２４号公報

【文献】特開２０１５－１６６８９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、キャリブレーションに要する時間を短縮したいというニーズがあり、キャリブレーションの効率を高めることが望まれていた。
本発明は、上述した事情に鑑みてなされたものであり、プロジェクターが投射画像を撮像してキャリブレーションを行う場合の成功率を高め、効率化を図ることを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明は、プロジェクターであって、投射面に画像を投射する投射部と、前記投射面の少なくとも一部を含む範囲を撮像する撮像部と、前記投射部によって、位置特定用のマークが配置されたキャリブレーション画像を投射させて、前記撮像部の撮像画像から前記マークを検出することによりキャリブレーションを実行するキャリブレーション処理部と、前記投射面に対する前記プロジェクターの設置状態に関する情報を取得する情報取得部と、前記情報取得部により取得された情報に基づいて、前記プロジェクターの設置状態に対応するキャリブレーション画像を生成する画像生成部と、を備え、前記キャリブレーション処理部は、前記画像生成部により生成された前記キャリブレーション画像を前記投射部により投射させて、キャリブレーションを実行する。
本発明によれば、プロジェクターの設置状態に対応するキャリブレーション画像を利用するため、キャリブレーションの実行時に、キャリブレーション画像のマークを検出しやすいという利点がある。このため、キャリブレーションの成功率を高めることができ、効率化を実現できる。

【0006】

また、本発明は、前記画像生成部は、前記投射面に投射された前記キャリブレーション画像を撮像した前記撮像画像において、前記マークが直交する辺を有する形状となるように、前記キャリブレーション画像を生成する構成であってもよい。
この構成によれば、撮像画像からキャリブレーション画像のマークを検出しやすいので、マークを検出する処理の成功率を、より一層向上させることができる。

【0007】

また、本発明は、前記画像生成部は、前記投射部が投射する投射画像の隅部に位置する前記マークが直交する辺を有する形状となるように、前記キャリブレーション画像を生成する構成であってもよい。
この構成によれば、撮像画像から投射画像の隅部に位置するマークを容易に検出できるので、キャリブレーションの精度の向上が期待できる。

【0008】

また、本発明は、前記画像生成部は、設定された数の前記マークを含む前記キャリブレーション画像を生成し、前記キャリブレーション画像に配置された複数の前記マークの間隔が基準値以下となる場合に、設定された数より少ない前記マークを含む前記キャリブレーション画像を生成する構成であってもよい。
この構成によれば、キャリブレーション画像に配置するマークの間隔を確保できるので、キャリブレーションの成功率をより一層高めることができる。

【0009】

また、本発明は、前記情報取得部が取得する情報は、前記投射面と前記撮像部との相対位置に関する情報を含む構成であってもよい。
この構成によれば、撮像画像におけるマークの位置や形状に大きな影響を与える投射面と撮像部との相対位置に対応して、キャリブレーション画像を生成できる。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0010】

また、本発明は、前記撮像部は、レンズを含む撮像光学系と、撮像素子とを有し、前記情報取得部が取得する情報は、前記投射面と前記撮像光学系の光軸との相対位置に関する情報を含む構成であってもよい。
この構成によれば、投射面と撮像光学系の光軸との相対位置に対応して、キャリブレーション画像を生成できる。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0011】

また、本発明は、前記情報取得部が取得する情報は、前記撮像光学系の光軸と前記撮像素子との相対位置に関する情報を含む構成であってもよい。
この構成によれば、撮像光学系の光軸と撮像素子との相対位置に対応して、キャリブレーション画像を生成できる。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0012】

また、本発明は、前記情報取得部が取得する情報は、前記投射面と、前記投射部と、前記撮像部との相対位置に関する情報を含む構成であってもよい。
この構成によれば、投射面、投射部及び撮像部の相対位置に対応して、キャリブレーション画像を生成できる。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0013】

また、本発明は、前記投射部は、レンズを含む投射光学系を有し、前記情報取得部が取得する情報は、前記投射面と、前記投射光学系の光軸と、前記撮像部との相対位置に関する情報を含む構成であってもよい。
この構成によれば、投射面、投射光学系の光軸及び撮像部の相対位置に対応して、キャリブレーション画像を生成できる。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0014】

また、本発明は、前記投射部は、光源と、面状に配置された画素により画像を形成して前記光源が発する光を変調する変調部とを備え、前記画像生成部は、前記情報取得部により取得された情報に基づいて、前記撮像画像における前記マークの配置を決定し、前記撮像画像における前記マークの座標を前記変調部における座標に変換することにより、前記キャリブレーション画像を生成する構成であってもよい。
この構成によれば、撮像画像におけるマークの形状が、容易に検出可能な形状となるようなキャリブレーション画像を生成できる。このため、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0015】

また、本発明は、投射面に画像を投射する投射部と、前記投射面の少なくとも一部を含む範囲を撮像する撮像部と、を備えるプロジェクターの制御方法であって、前記投射面に対する前記プロジェクターの設置状態に関する情報を取得し、取得した情報に基づいて、前記プロジェクターの設置状態に対応するキャリブレーション画像を生成し、生成された前記キャリブレーション画像を、前記投射部によって投射し、前記撮像部の撮像画像からマークを検出することによりキャリブレーションを実行する。
本発明によれば、プロジェクターの設置状態に対応するキャリブレーション画像を利用するため、キャリブレーションの実行時に、キャリブレーション画像のマークを検出しやすいという利点がある。このため、キャリブレーションの成功率を高めることができ、効率化を実現できる。

【0016】

本発明は、上述したプロジェクター、及び、プロジェクターの制御方法以外の種々の形態で実現することも可能である。例えば、上記の方法を実行するためにコンピューター（或いはプロセッサー）が実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。

【図面の簡単な説明】

【0017】

【図1】投射システムの概略構成図。

【図2】投射システムを構成するプロジェクター及び指示体のブロック図。

【図3】キャリブレーション画像と撮像画像との対応例を示す説明図。

【図4】プロジェクターの動作を示すフローチャート。

【図5】キャリブレーション画像生成処理のマークに関する処理を示す説明図。

【図6】プロジェクターの動作を示すフローチャート。

【図7】キャリブレーション画像生成処理の説明図。

【図8】キャリブレーション画像生成処理の説明図。

【図9】キャリブレーション画像生成処理の説明図。

【図10】キャリブレーション画像生成処理の説明図。

【図11】キャリブレーション画像生成処理の説明図。

【図12】キャリブレーション画像の別の例を示す図。

【発明を実施するための形態】

【0018】

［１．投射システムの概要］
図１は、本発明の一実施形態における投射システム１の斜視図である。投射システム１は、プロジェクター１００と、指示体７０とを有する。

【0019】

プロジェクター１００は、投射対象に画像光を投射して、投射対象の面に画像を形成する。図１には、プロジェクター１００が平面で構成されるスクリーンＳＣ（投射面）に投射する構成例を示す。プロジェクター１００が画像を投射する投射対象は平面に限定されず、スクリーンＳＣは、例えば幕であってもよいし壁面であってもよい。プロジェクター１００がスクリーンＳＣに画像を投射する機能および動作は、表示装置による「表示」に相当する。
図１の構成例では、プロジェクター１００はスクリーンＳＣの上方に設置され、プロジェクター１００は下方に向けて画像光を投射し、スクリーンＳＣに投射画像ＤＰを形成する。スクリーンＳＣにおいてプロジェクター１００の画像光が投射される範囲を、画像投射領域ＤＡとする。画像投射領域ＤＡは、プロジェクター１００が投射画像ＤＰを投射できる最大の範囲である。

【0020】

指示体７０は、プロジェクター１００を操作するユーザーが手に持って使用するペン型のデバイスである。指示体７０は、先端に配置されたチップボタン７１と、使用者が保持する軸部７２と、軸部７２に設けられたサイドボタン７３とを有する。チップボタン７１は、スクリーンＳＣに押しつけられることでオンになるスイッチである。また、サイドボタン７３は、ユーザーが指で押下操作するスイッチである。プロジェクター１００は、後述する位置検出ユニット４００（図２）の機能により、スクリーンＳＣに対して指示体７０による位置指示操作が行われた場合に、指示体７０により指示された位置を検出する。

【0021】

［２．指示体の構成］
図２は、投射システム１を構成するプロジェクター１００と指示体７０のブロック図である。
指示体７０は、チップボタン７１、サイドボタン７３、制御部７５、赤外線発光部７７、及び、赤外線受光部７９を備える。制御部７５は、指示体７０の各部を制御するＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。赤外線発光部７７は、赤外光領域の光を発するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源を備える。

【0022】

制御部７５は、赤外線発光部７７を動作させて、周期的に赤外線信号を送信する。赤外線発光部７７が送信する赤外線信号は、例えば、指示体７０を個体識別するための識別符号を含んでもよい。

【0023】

赤外線受光部７９は、後述する位置検出ユニット４００が送信する同期用の赤外線信号を受光し、制御部７５に出力する。制御部７５は、赤外線受光部７９により受光する信号に同期して、赤外線発光部７７により赤外線信号を送信する。

【0024】

制御部７５は、チップボタン７１及びサイドボタン７３の操作を検出可能に構成される。制御部７５は、チップボタン７１またはサイドボタン７３の操作を検出した場合、赤外線発光部７７により送信する赤外線信号に、検出した操作を示す操作データを含ませる。

【0025】

［３．プロジェクターの構成］
プロジェクター１００は、投射画像ＤＰを投射する投射ユニット２００と、位置検出ユニット４００とを有する。本実施形態では、プロジェクター１００の筐体に、投射ユニット２００と位置検出ユニット４００とを収容した構成とするが、位置検出ユニット４００を、プロジェクター１００の筐体とは別体として構成してもよい。また、投射ユニット２００と位置検出ユニット４００とは、後述するインターフェイス２４１、４４１を介して有線接続される構成として説明するが、無線通信により接続されてもよい。

【0026】

プロジェクター１００は、映像ソースとして機能する各種機器に接続され、映像ソースから入力される映像データに基づく画像を投射する。映像ソースは、プロジェクター１００に対して表示用のデータを送出する機器であり、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）プレイヤー等の映像再生装置やパーソナルコンピューター等である。投射ユニット２００は、映像ソースとして動作する各種機器に接続可能なインターフェイスを備えているが、ここでは図示を省略する。また、投射ユニット２００は、後述する不揮発性メモリー２２０に記憶する映像データを、映像ソースとすることもできる。

【0027】

投射ユニット２００は、プロセッサー２１０、不揮発性メモリー２２０、揮発性メモリー２３０、及び、画像投射部２６０を備える。また、インターフェイス（Ｉ／Ｆ）２４１、光源駆動部２４２、光変調装置駆動部２４３、赤外線（ＩＲ）受光部２４４、及び、操作検出部２４５を備える。

【0028】

プロセッサー２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイコン等で構成される演算処理装置であり、投射ユニット２００の各部を制御し、画像データを含む各種のデータを処理する。プロセッサー２１０は、不揮発性メモリー２２０が記憶する制御プログラムを実行することにより、上記の機能を実行する構成であってもよい。この場合、プロセッサー２１０は、後述する各種の機能を、ソフトウェアとハードウェアとの協働により実現する。プロセッサー２１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。また、また、プロセッサー２１０は、後述する各種機能を実装したハードウェアで構成されてもよい。例えば、プロセッサー２１０を、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）との組合せにより構成してもよい。また、プロセッサー２１０の機能の全てを、ハードウェアに実装した構成としてもよい。また、プログラマブルデバイスを用いて構成してもよい。また、プロセッサー２１０は、不揮発性メモリー２２０や揮発性メモリー２３０の一部または全部、及び、その他の回路と統合されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）で構成されてもよい。プロセッサー２１０の機能については後述する。

【0029】

不揮発性メモリー２２０は、プログラムやデータを不揮発的に記憶する記憶装置であり、磁気的記憶装置、フラッシュＲＯＭ等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。不揮発性メモリー２２０は、プロセッサー２１０が処理する設置情報２２１、パターン生成情報２２２、キャリブレーション画像データ２２３を記憶する。

【0030】

揮発性メモリー２３０は、プロセッサー２１０により処理されるデータや、プロセッサー２１０が実行するプログラム等を一時的に記憶する。例えば、揮発性メモリー２３０は、プロセッサー２１０が映像データのフレームを展開するフレームバッファーとして機能する。

【0031】

インターフェイス２４１は、プロセッサー２１０を位置検出ユニット４００に接続するインターフェイスである。インターフェイス２４１は、位置検出ユニット４００が備えるインターフェイス４４１に接続される。インターフェイス２４１、４４１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の汎用インターフェイスを用いることができる。

【0032】

赤外線受光部２４４は、画像投射部２６０が画像光を投射する方向からの赤外線信号を受光する。赤外線受光部２４４は、受光した赤外線信号をデコードして、プロセッサー２１０に出力する。プロセッサー２１０は、赤外線受光部２４４が受光した赤外線信号に基づき、例えば、指示体７０におけるチップボタン７１やサイドボタン７３の操作状態を検出する。

【0033】

操作検出部２４５は、プロジェクター１００の操作パネル（図示略）の操作を検出し、操作を示す操作データをプロセッサー２１０に出力する。また、操作検出部２４５は、リモコン（図示略）が送信する赤外線信号を受光してデコードすることにより、リモコンの操作を示す操作データを生成し、プロセッサー２１０に出力する。

【0034】

画像投射部２６０（投射部）は、光源２６１、光変調装置２６２、及び、投射光学系２６４を備える。光源２６１は、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ、或いは、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザー光源等の固体光源で構成される。光源２６１は、光源駆動部２４２から供給される電力により発光する。光源駆動部２４２は、光源２６１に駆動電流やパルスを供給する。光源駆動部２４２は、プロセッサー２１０の制御に従って、光源２６１の輝度を調整する機能を有してもよい。

【0035】

光変調装置２６２は、光源２６１が発する光を変調して画像光を生成し、画像光を投射光学系２６４に照射する。光変調装置２６２は、面状に配置された画素により画像を形成する光変調素子を備える。光変調素子は、透過型の液晶パネル、反射型の液晶パネル、ＤＭＤ（デジタルミラーデバイス）等を用いることができ、本実施形態では透過型の液晶パネル２６３を採用した例を示す。液晶パネル２６３（変調部）は、光変調装置駆動部２４３により駆動されて画像を形成し、光源２６１が発した光は液晶パネル２６３を透過することで変調される。

【0036】

光変調装置駆動部２４３には、プロセッサー２１０で処理された画像を表示するための画像信号が入力される。光変調装置駆動部２４３は、入力される画像信号に基づき、光変調装置２６２を駆動し、フレーム（画面）単位で画像を描画させる。

【0037】

投射光学系２６４は、投射レンズ２６５を含む光学系であり、光変調装置２６２で変調された光をスクリーンＳＣ上に結像させる。投射光学系２６４は、１枚の投射レンズ２６５で構成されてもよいし、複数の投射レンズ２６５を含むレンズ群を備えてもよく、プリズム等の各種の光学素子を備えてもよい。ここで、投射光学系２６４の光軸を、光軸ＡＸ１として示す。

【0038】

投射光学系２６４は、ズームレンズやフォーカスレンズ等を備えてもよく、これらのレンズを含むレンズ群を、プロセッサー２１０の制御に従って動作させるレンズ駆動部（図示略）を備えてもよい。

【0039】

プロセッサー２１０は、機能部として、投射制御部２１１、補正処理部２１２、情報取得部２１３、画像生成部２１４、及び、キャリブレーション処理部２１５を備える。これらの機能部は、プロセッサー２１０が不揮発性メモリー２２０からプログラムを読み出して実行することにより実現されてもよいし、ハードウェアにより実現されてもよい。

【0040】

投射制御部２１１は、光源駆動部２４２、光変調装置駆動部２４３、及び、画像投射部２６０の各部を制御して、映像ソースに基づく映像を、画像投射部２６０によりスクリーンＳＣに投射させる。また、投射制御部２１１は、プロジェクター１００がキャリブレーションを実行する場合、不揮発性メモリー２２０が記憶するキャリブレーション画像データ２２３に基づき、キャリブレーション画像を、スクリーンＳＣに投射させる。

【0041】

補正処理部２１２は、画像投射部２６０により投射される投射画像ＤＰの幾何補正を実行する。補正処理部２１２は、投射画像ＤＰの台形歪みや樽形歪みを補正するため、液晶パネル２６３に形成される画像を、歪みを補償するように変形させる処理を実行する。

【0042】

情報取得部２１３は、プロジェクター１００の設置状態に関する情報を取得し、不揮発性メモリー２２０に設置情報２２１として記憶させる。情報取得部２１３は、例えば、インターフェイス２４１を介して、位置検出ユニット４００から情報を取得する。この場合、設置情報２２１は、位置検出ユニット４００から取得される位置情報４２２等を含む。また、情報取得部２１３は、リモコン（図示略）や操作パネル（図示略）の操作に基づき、情報を取得してもよい。また、投射ユニット２００が、図示しない通信装置を備える構成である場合、情報取得部２１３は、通信装置により外部の装置とデータ通信を実行して、情報を取得してもよい。情報取得部２１３が取得する情報の詳細は後述する。

【0043】

画像生成部２１４は、情報取得部２１３が取得した設置情報２２１に基づき、キャリブレーション画像を投射するためのキャリブレーション画像データ２２３を生成する。画像生成部２１４は、パターン生成情報２２２を利用して、所定色の背景に複数のマークを配置したキャリブレーション画像データ２２３を生成する。パターン生成情報２２２は、キャリブレーション画像データ２２３に含まれるマークの形状や配置のルールに関する情報を含む。

【0044】

キャリブレーション処理部２１５は、画像生成部２１４が生成したキャリブレーション画像データ２２３を利用して、キャリブレーションを実行する。

【0045】

位置検出ユニット４００は、プロセッサー４１０、不揮発性メモリー４２０、揮発性メモリー４３０、及び、撮像部４６０を備える。また、インターフェイス（Ｉ／Ｆ）４４１、及び、赤外線（ＩＲ）発光部４４２を備える。

【0046】

プロセッサー４１０は、ＣＰＵやマイコン等で構成される演算処理装置であり、位置検出ユニット４００の各部を制御し、画像データを含む各種のデータを処理する。プロセッサー４１０は、不揮発性メモリー４２０が記憶する制御プログラムを実行することにより、上記の機能を実行する構成であってもよい。この場合、プロセッサー４１０は、後述する各種の機能を、ソフトウェアとハードウェアとの協働により実現する。プロセッサー４１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。また、また、プロセッサー４１０は、後述する各種機能を実装したハードウェアで構成されてもよい。例えば、プロセッサー４１０を、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとで構成してもよい。また、プログラマブルデバイスを用いて構成してもよい。また、プロセッサー４１０は、不揮発性メモリー４２０や揮発性メモリー４３０の一部または全部、及び、その他の回路と統合されたＳｏＣで構成されてもよい。プロセッサー４１０の機能については後述する。

【0047】

不揮発性メモリー４２０は、プログラムやデータを不揮発的に記憶する記憶装置であり、磁気的記憶装置、フラッシュＲＯＭ等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。不揮発性メモリー４２０は、プロセッサー４１０が処理するパラメーター４２１、及び、位置情報４２２を記憶する。

【0048】

揮発性メモリー４３０は、プロセッサー４１０により処理されるデータや、プロセッサー４１０が実行するプログラム等を一時的に記憶する。例えば、揮発性メモリー４３０は、撮像部４６０が撮像した撮像画像を撮像画像データとして一時的に格納するバッファーとして機能する。

【0049】

インターフェイス４４１は、インターフェイス２４１に接続され、プロセッサー４１０を投射ユニット２００に接続する。

【0050】

撮像部４６０は、所定の撮像範囲（画角）を撮像して撮像画像データを出力するデジタルカメラである。撮像部４６０の撮像範囲は、スクリーンＳＣの少なくとも一部を含み、望ましくは画像投射領域ＤＡを含む。位置検出ユニット４００が投射ユニット２００とは別体として構成される場合、位置検出ユニット４００は、撮像部４６０の撮像範囲が画像投射領域ＤＡを含むように設置される。

【0051】

撮像部４６０は、撮像光学系４６１、フィルター切換部４６３、及び撮像素子４６６を備える。撮像光学系４６１は、撮像レンズ４６２を含む光学系であり、画角内の光を集光して撮像素子４６６に向けて導く。撮像光学系４６１は、１枚の撮像レンズ４６２で構成されてもよいし、複数の撮像レンズ４６２を含むレンズ群を備えてもよく、プリズム等の各種の光学素子を備えてもよい。撮像レンズ４６２は、画像投射領域ＤＡの全体を含む広い範囲を撮像できるように、広角レンズや魚眼レンズで構成されることが好ましい。ここで、撮像光学系４６１の光軸を、光軸ＡＸ２として示す。

【0052】

撮像光学系４６１は、ズームレンズやフォーカスレンズ等を備えてもよく、これらのレンズを含むレンズ群を、プロセッサー４１０の制御に従って動作させるレンズ駆動部（図示略）を備えてもよい。

【0053】

撮像素子４６６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサーで構成される。撮像素子４６６は、撮像光学系４６１により集光された光を受光して、受光信号を出力する。また、撮像素子４６６は、受光信号をイメージデータに変換して、撮像画像データを生成する回路を備えてもよい。

【0054】

フィルター切換部４６３は、可視光透過フィルター４６４、及び、赤外光透過フィルター４６５を備える。可視光透過フィルター４６４は、可視光領域の光を透過するフィルターであり、可視光領域外の光の少なくとも一部を透過させないよう構成される。また、赤外光透過フィルター４６５は、赤外領域の光を透過するフィルターであり、赤外領域外の光の少なくとも一部を透過させないよう構成される。

【0055】

フィルター切換部４６３は、撮像光学系４６１と撮像素子４６６との間の光路上に配置される。フィルター切換部４６３は、プロセッサー４１０の制御に従って、可視光透過フィルター４６４、及び赤外光透過フィルター４６５を、それぞれ、光路に進入および退出させることが可能である。例えば、プロセッサー４１０が、撮像画像データに基づき指示体７０の指示位置を検出する場合、指示体７０が発する赤外光を撮像するため、赤外光透過フィルター４６５が使用される。また、プロセッサー４１０が、投射ユニット２００の投射画像ＤＰを撮像した撮像画像データを処理する場合、画像投射部２６０が投射する可視光の画像を撮像するため、可視光透過フィルター４６４が使用される。

【0056】

撮像部４６０は、フィルター切換部４６３の可視光透過フィルター４６４を透過した可視光を撮像素子４６６により受光して撮像する動作と、赤外光透過フィルター４６５を透過した赤外光を撮像素子４６６により受光して撮像する動作とを実行する。

【0057】

プロセッサー４１０は、機能部として、撮像処理部４１１、画像処理部４１２、クロス検出部４１３、及び、位置特定部４１４を備える。これらの機能部は、プロセッサー４１０が不揮発性メモリー４２０からプログラムを読み出して実行することにより実現されてもよいし、ハードウェアにより実現されてもよい。

【0058】

撮像処理部４１１は、撮像部４６０を制御して、画像投射領域ＤＡを含む範囲を撮像させ、撮像画像データを取得する。撮像処理部４１１は、フィルター切換部４６３の可視光透過フィルター４６４、及び赤外光透過フィルター４６５の切り換え、撮像素子４６６による撮像のタイミング、シャッター速度や露出の調整等の処理を行ってもよい。

【0059】

画像処理部４１２は、撮像処理部４１１の制御により取得された撮像画像データに対し、明るさ調整、コントラスト調整、減色等の画像処理を実行する。

【0060】

クロス検出部４１３は、プロジェクター１００がキャリブレーションを実行する場合に、補正処理部２１２により処理された撮像画像データから、キャリブレーション画像の縁やマークを検出する処理を行う。
位置特定部４１４は、補正処理部２１２により処理された撮像画像データから、指示体７０が発する光の像を検出することにより、指示体７０による指示位置を特定する。

【0061】

不揮発性メモリー４２０が記憶するパラメーター４２１は、画像処理部４１２が実行する画像処理、クロス検出部４１３が実行するマーク検出、及び、位置特定部４１４が実行する位置検出等の処理に用いられるパラメーターである。

【0062】

位置情報４２２は、位置検出ユニット４００の仕様や設置位置に関する情報である。例えば、位置情報４２２は、撮像部４６０の撮像光学系４６１に関する情報を含む。具体的には、位置情報４２２は、撮像レンズ４６２の光軸ＡＸ２と撮像素子４６６の撮像面との交点（いわゆるレンズセンター）と、撮像素子４６６の撮像面基準位置４６７とのずれ量を示す情報を含む。撮像面基準位置４６７は、例えば撮像素子４６６の撮像面の中心であり、レンズセンターと撮像面基準位置４６７のずれ量は個体差がある。このため、位置情報４２２は、プロジェクター１００の個体に関する情報を含み、例えばプロジェクター１００の出荷時に不揮発性メモリー４２０に書き込まれてもよい。

【0063】

また、位置情報４２２は、撮像部４６０の仕様に関する情報として、撮像レンズ４６２の屈折率など撮像光学系４６１の光学特性に関する情報、撮像画像の画素数等など撮像画像データの仕様に関する情報等を含む。

【0064】

また、位置情報４２２は、撮像光学系４６１と、投射光学系２６４との相対的な位置関係を示す情報を含んでも良い。この情報は、例えば、撮像光学系４６１の光軸ＡＸ２と、投射光学系２６４の光軸ＡＸ１との角度を含んでもよい。また、光軸ＡＸ１がスクリーンＳＣに交差する点と、光軸ＡＸ２がスクリーンＳＣに交差する点との距離を含んでもよい。また、位置情報４２２は、撮像素子４６６と、撮像光学系４６１と、投射光学系２６４との相対的な位置関係を含んでもよい。位置情報４２２に含まれる相対的な位置を示す情報は、例えば、プロジェクター１００の設置空間に仮想的に設定される３次元座標系を利用して、座標として表現されてもよい。

【0065】

［４．プロジェクターの動作］
［４－１．オートキャリブレーションの概要］
プロジェクター１００は、投射ユニット２００によりキャリブレーション画像をスクリーンＳＣに投射し、このキャリブレーション画像を位置検出ユニット４００で撮像することにより、オートキャリブレーションを実行する。オートキャリブレーションは、位置特定部４１４によって位置を検出するためのキャリブレーションデータを生成する処理である。詳細には、撮像部４６０が撮像した撮像画像における位置と、投射ユニット２００が投射する投射画像ＤＰにおける位置とを対応付けるキャリブレーションデータを生成する処理である。

【0066】

図３は、キャリブレーション画像と撮像画像との対応例を示す説明図である。キャリブレーション画像３０１は、投射ユニット２００が投射するキャリブレーション画像の一例である。また、撮像画像３１１は、投射ユニット２００がキャリブレーション画像３０１を投射した状態で、撮像部４６０がスクリーンＳＣを撮像した撮像画像の例である。

【0067】

キャリブレーション画像３０１は、揮発性メモリー２３０のフレームバッファーに展開される画像である。キャリブレーション画像３０１は、位置検出用のマーク３０２を、所定の背景に配置した画像である。キャリブレーション画像３０１に配置されるマーク３０２の数は特に制限されず、キャリブレーション画像３０１では、縦５列、横５列のマーク３０２が配置される。背景の色とマーク３０２の色は、クロス検出部４１３がマーク３０２と背景との境界を検出する処理に有利なように、輝度や階調の差が所定以上となるように決定される。また、クロス検出部４１３の処理に先立ち、画像処理部４１２が撮像画像データを減色して、グレースケール或いは２値の画像とした場合に、背景とマーク３０２とが同一色とならないよう決定されることが好ましい。例えば、マーク３０２は、白色等の高輝度の色であり、背景は黒などの低輝度の色である。

【0068】

図３に示すキャリブレーション画像３０１は、液晶パネル２６３が有する矩形の表示領域に対応するように、矩形の画像となっている。キャリブレーション画像３０１では、少なくともいずれかのマーク３０２が、キャリブレーション画像３０１の端部に位置する。より好ましくは、いずれかのマーク３０２が、キャリブレーション画像３０１の隅部に位置する。さらに好ましくは、いずれかのマーク３０２の一部と、キャリブレーション画像３０１の隅とが重なっている。ここで、キャリブレーション画像３０１の隅部とは、矩形のキャリブレーション画像３０１が有する４つの角のいずれか１以上及びその近傍を指す。また、キャリブレーション画像３０１の隅とは、矩形のキャリブレーション画像３０１が有する角をいう。キャリブレーション画像３０１の端部のマーク３０２は、投射画像ＤＰの端部を検出する処理に利用される。

【0069】

撮像画像３１１は、画像投射領域ＤＡを含む画角を撮像した画像であり、撮像レンズ４６２が広角レンズであることに起因する歪みを生じている。さらに、光軸ＡＸ２がスクリーンＳＣに正対していない場合には、歪みを生じる。図３の例では、マーク３０２を撮像したマーク３１２は、歪みのためにマーク３０２とは異なる形状となっている。特に、キャリブレーション画像３０１の隅部に位置するマーク３０２は、撮像画像３１１において大きく歪んだ形状となる。

【0070】

撮像画像３１１におけるマーク３１２の形状によって、プロセッサー４１０がマーク３１２を検出する処理が失敗することがある。例えば、マーク３１２の端部と背景との境界が不明瞭な場合や、マーク３１２の形状が、幾何学的な図形として認識しにくい形状である場合が挙げられる。このような場合、マーク３０２の数や位置が異なる別のキャリブレーション画像３０１を用いて、キャリブレーションを再試行することにより、対処可能であるが、キャリブレーションに要する時間が長くなる。

【0071】

本実施形態のプロジェクター１００は、プロジェクター１００の設置状態に対応するキャリブレーション画像を生成し、生成したキャリブレーション画像を利用してキャリブレーションを実行する。キャリブレーション画像がプロジェクター１００の設置状態に対応しているため、撮像画像３１１からマーク３１２を検出する処理の成功率の向上が期待できる。
以下、この動作について説明する。

【0072】

［４－２．キャリブレーションの内容］
図４は、プロジェクター１００の動作を示すフローチャートであり、キャリブレーションに関する動作を示す。

【0073】

プロセッサー２１０は、キャリブレーションの開始条件が成立したことに対応して、キャリブレーションを開始する（ステップＳ１１）。キャリブレーションの開始条件は、プロジェクター１００が設置後に最初に起動された場合、操作検出部２４５が検出した操作によりキャリブレーションが指示された場合、予め設定されたキャリブレーションの実行タイミングに達した場合等である。

【0074】

プロセッサー２１０は、情報取得部２１３及び画像生成部２１４の機能により、キャリブレーション画像を生成するキャリブレーション画像生成処理（ステップＳ１２）を実行する。ステップＳ１２の処理は、後述する。ステップＳ１２ではキャリブレーション画像データが生成され、不揮発性メモリー２２０にキャリブレーション画像データ２２３として記憶される。

【0075】

プロセッサー２１０は、キャリブレーション処理部２１５及び投射制御部２１１の機能により、ステップＳ１２で生成されたキャリブレーション画像データ２２３に基づく画像を、画像投射部２６０によって投射する（ステップＳ１３）。

【0076】

続いて、プロセッサー４１０は、撮像処理部４１１の機能により撮像部４６０を制御して、キャリブレーション画像が投射された画像投射領域ＤＡを撮像する（ステップＳ１４）。ステップＳ１４で、プロセッサー４１０は、撮像処理部４１１により撮像画像データを取得し、揮発性メモリー４３０に一時的に記憶させる。

【0077】

プロセッサー４１０は、クロス検出部４１３により、撮像画像から、キャリブレーション画像のマークに相当する画像を検出する（ステップＳ１５）。ステップＳ１５で、クロス検出部４１３の処理の前に、画像処理部４１２が撮像画像データの減色等を行ってもよい。

【0078】

続いて、プロセッサー２１０は、キャリブレーション処理部２１５によって、クロス検出部４１３がステップＳ１５で検出したマークの画像の縁を特定することにより、撮像画像における投射画像ＤＰの位置を特定する（ステップＳ１６）。マークの画像の縁は、マークの外縁ともいうことができ、詳細には、マークが写った部分の画像を構成するドットと背景との境界を指す。

【0079】

キャリブレーション処理部２１５は、画像投射部２６０により投射したキャリブレーション画像におけるマークの座標を検出し、取得する（ステップＳ１７）。キャリブレーション処理部２１５は、ステップＳ１７で取得した座標と、クロス検出部４１３が検出した撮像画像におけるマークの座標とをもとに、撮像画像における座標と投射画像における座標とを対応付ける（ステップＳ１８）。キャリブレーション処理部２１５は、ステップＳ１８の対応付けを示すキャリブレーションデータ（図示略）を生成し、不揮発性メモリー２２０に記憶させて（ステップＳ１９）、キャリブレーションを終了する。

【0080】

キャリブレーション処理部２１５が生成するキャリブレーションデータを用いると、撮像部４６０の撮像画像上の任意の座標から、位置検出ユニット４００が投射する画像上の座標を求めることができる。従って、プロセッサー４１０が撮像画像における指示体７０の指示位置を特定した場合に、プロセッサー２１０が揮発性メモリー２３０のバッファーに展開した画像における指示位置の座標を得ることができる。これにより、指示体７０の指示位置に投射されていた画像を特定できるので、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対する指示体７０等による操作の検出等が実行可能になる。

【0081】

［４－３．キャリブレーション画像の生成］
図５は、キャリブレーション画像生成処理におけるマークに関する処理を示す説明図である。
図５の符号Ａは、撮像部４６０の撮像画像における好ましい形状のマーク２９１を示す。マーク２９１は、複数の矩形２９２を組み合わせて構成される。マーク２９１の隅に位置する矩形２９２Ａは、直交する辺２９２Ｂ、２９２Ｃを有する。例えば、マーク２９１が、キャリブレーション画像の左下の隅部に位置するマークである場合、矩形２９２Ａは、キャリブレーション画像の左下の隅に位置する。つまり、辺２９２Ｂ、２９２Ｃの交点は、キャリブレーション画像の隅を示し、投射画像ＤＰの左下の端部の位置を示す。従って、撮像画像における矩形２９２Ａが直交する辺を有していることが、撮像画像から投射画像ＤＰの境界を検出する処理において有利である。また、矩形２９２Ａが、撮像画像において矩形であると、矩形２９２Ａを検出する処理の成功率が高い。
このため、画像生成部２１４は、図５に符号Ａで示すマーク２９１が得られるようにキャリブレーション画像を生成する。

【0082】

画像生成部２１４は、マーク２９１を構成する複数の矩形２９２の形状及び位置を特定するため、図５に符号Ｂで示すように、モデル図形２９５を処理する。モデル図形２９５は、矩形２９２の頂点に相当する複数の基準点２９６の集合であり、基準点２９６を直線で結ぶことで、マーク２９１を再現できる。

【0083】

画像生成部２１４は、撮像画像におけるモデル図形２９５の基準点２９６の座標を、光変調装置２６２における座標に変換し、さらに、投射制御部２１１が揮発性メモリー２３０のバッファーに展開する画像における座標に変換する。この変換後の座標を図５に符号Ｃで示す。

【0084】

画像生成部２１４は、変換後の基準点２９６を直線で結ぶことにより、キャリブレーション画像に配置するマーク３２５を合成する。マーク３２５を、矩形の背景に重ねて配置することで、キャリブレーション画像が得られる。

【0085】

図６は、プロジェクター１００の動作を示すフローチャートであり、図４のステップＳ１２に示したキャリブレーション画像生成処理を示す。
プロセッサー２１０は、情報取得部２１３により、プロジェクター１００の設置状態に関する情報を取得する（ステップＳ２１）。

【0086】

続いて、画像生成部２１４は、ステップＳ２１で取得された情報に基づき、３次元シミュレーションを実行する（ステップＳ２２）。ステップＳ２２で、画像生成部２１４は、投射レンズ２６５と、撮像レンズ４６２と、スクリーンＳＣとの３次元空間における相対位置を、仮想のシミュレーション空間に再現する。

【0087】

図７は、キャリブレーション画像生成処理の説明図であり、ステップＳ２２における３次元シミュレーションの様子を模式化して示す。
図７には、投射レンズ２６５の位置を示す点ＰＰＬ、撮像レンズ４６２の位置を示す点ＰＣＬ、及び、スクリーンの仮想位置を示す面ＳＣＩを３次元空間に配置した例を示す。図７の３次元空間はＸ－Ｙ－Ｚ直交座標系が設定されているので、点ＰＰＬ、点ＰＣＬ、面ＳＣＩの位置は、Ｘ，Ｙ，Ｚ座標で特定できる。

【0088】

画像生成部２１４は、情報取得部２１３が取得した情報に基づき、点ＰＰＬ、点ＰＣＬ、面ＳＣＩの座標を算出する。さらに、画像生成部２１４は、投射レンズ２６５の光軸ＡＸ１と面ＳＣＩとの交点ＰＰＥ、及び、撮像レンズ４６２の光軸ＡＸ２と面ＳＣＩとの交点ＰＣＥの座標を算出する。交点ＰＣＥは、カメラレンズセンター位置と呼ぶことができ、投射画像ＤＰと撮像画像との形状および座標の対応を求めるために利用される。

【0089】

３次元空間における各点および面の相対位置は、投射制御部２１１が揮発性メモリー２３０に展開するキャリブレーション画像と、液晶パネル２６３に描画される画像と、スクリーンＳＣの投射画像ＤＰと、撮像部４６０の撮像画像との相互の関係を決定する。従って、ステップＳ２２でシミュレーションを実行することで、キャリブレーション画像、液晶パネル２６３に描画される画像、投射画像ＤＰ、及び、撮像画像の座標の対応関係を求めることができる。

【0090】

図７に示すシミュレーションを行うため、情報取得部２１３がステップＳ２１で取得する情報は、プロジェクター１００の設置状態に関する情報である。この情報は、投射ユニット２００の構成または仕様に関する情報、位置検出ユニット４００の構成または仕様に関する情報、及び、相互の位置に関する情報に大別できる。

【0091】

投射ユニット２００の構成または仕様に関する情報は、投射光学系２６４のズーム倍率、液晶パネル２６３のアスペクト比、等である。

【0092】

位置検出ユニット４００の構成または仕様に関する情報は、位置情報４２２に含まれる各種情報である。例えば、撮像レンズ４６２の屈折率など撮像光学系４６１の光学特性に関する情報、撮像画像の画素数、アスペクト比など撮像画像データの仕様に関する情報を含む。また、例えば、光軸ＡＸ２と撮像素子４６６との相対位置に関する情報を含む。具体的には、撮像レンズ４６２の光軸ＡＸ２と撮像素子４６６の撮像面との交点であるレンズセンターと、撮像素子４６６の撮像面基準位置４６７とのずれ量を示す情報を含んでもよい。

【0093】

相互の位置に関する情報は、例えば、撮像光学系４６１と、投射光学系２６４との相対的な位置関係を示す情報を含んでも良い。具体的には、光軸ＡＸ２と光軸ＡＸ１との角度を含んでもよい。光軸ＡＸ１がスクリーンＳＣに交差する点とカメラレンズセンター位置との距離を含んでもよい。また、撮像素子４６６と、撮像光学系４６１と、投射光学系２６４との相対的な位置関係を含んでもよい。また、スクリーンＳＣと撮像部４６０との相対位置に関する情報を含んでもよい。また、スクリーンＳＣと撮像レンズ４６２の光軸ＡＸ２との相対位置に関する情報を含んでもよい。また、スクリーンＳＣと、投射光学系２６４と、撮像部４６０との相対位置に関する情報を含む構成であってもよい。

【0094】

図６に戻り、情報取得部２１３は、補正処理部２１２が実行する幾何補正のパラメーターを取得する（ステップＳ２３）。

【0095】

画像生成部２１４は、液晶パネル２６３の描画領域にキャリブレーション画像のマークを配置する（ステップＳ２４）。続いて、画像生成部２１４は、ステップＳ２３で取得された補正パラメーターに基づき、ステップＳ２４で配置したマークの幾何補正後の位置を求める（ステップＳ２５）。

【0096】

図８は、キャリブレーション画像生成処理の説明図であり、ステップＳ２４、Ｓ２５の処理を模式化して示す。図８には、液晶パネル２６３の描画領域に対応するパネル空間ＳＰ１を示す。パネル空間ＳＰ１は液晶パネル２６３の描画領域を示す仮想空間であり、パネル空間ＳＰ１における位置は液晶パネル２６３に描画される画像上の位置と見なすことができる。

【0097】

画像生成部２１４は、パネル空間ＳＰ１におけるキャリブレーション画像に相当する画像３３１を配置する。画像３３１は矩形であり、複数のマークを含む。パネル空間ＳＰ１における画像３３１のサイズ及び位置は、液晶パネル２６３の表示解像度に基づき決定される。画像３３１は複数のマークを含み、各々のマークの位置を符号３３２で示す。以下の例では、画像３３１には縦５×横５に並ぶ２５個のマークが配置される。位置３３２は、２５個のマークを配置する場合の典型的な位置であり、画像３３１において均等な間隔を空けて配置される。画像生成部２１４は、ステップＳ２４で、画像３３１をパネル空間ＳＰ１に配置し、位置３３２の座標を算出する。

【0098】

画像３３１は幾何補正がされる前の画像であり、幾何補正により変形する。画像３３１に対応する幾何補正後の画像を符号３３５で示す。画像３３５が含むマークの位置は、幾何補正によって位置３３２から位置３３６に移動する。画像生成部２１４は、ステップＳ２５で、移動後の位置３３６の座標を算出する。

【0099】

画像生成部２１４は、幾何補正後のマークの位置に対応する、スクリーンＳＣ上のマークの位置を求める（ステップＳ２６）。

【0100】

図９は、キャリブレーション画像生成処理の説明図であり、ステップＳ２６の処理を模式化して示す。
図９には、スクリーンＳＣの画像投射領域ＤＡに対応するスクリーン空間ＳＰ２を示す。スクリーン空間ＳＰ２は画像投射領域ＤＡを示す仮想空間であり、スクリーン空間ＳＰ２における位置はスクリーンＳＣ上の位置と見なすことができる。

【0101】

スクリーン空間ＳＰ２において、幾何補正されていない画像３３１に対応する投射画像３４１は、台形歪みを有している。これに対し、幾何補正された画像３３５に対応する投射画像３４３は矩形となり、投射画像３４３に含まれるマークの位置３４５は、投射画像３４３に均等に配置されている。
画像生成部２１４は、ステップＳ２６で、スクリーン空間ＳＰ２でのマークの位置３４５の座標を算出する。

【0102】

画像生成部２１４は、スクリーンＳＣと撮像画像との対応に基づいて、撮像画像におけるマークの位置を求める（ステップＳ２７）。
さらに、画像生成部２１４は、ステップＳ２７で求めたマークの位置に重ねて、マークを構成する矩形の基準点を配置し、各基準点の位置を求める（ステップＳ２８）。

【0103】

図１０は、キャリブレーション画像生成処理の説明図であり、ステップＳ２７、Ｓ２８の処理を模式化して示す。
図１０には、撮像素子４６６の撮像面に対応する撮像空間ＳＰ３を示す。撮像空間ＳＰ３は撮像画像を示す仮想空間であり、撮像空間ＳＰ３における位置は撮像画像上の位置と見なすことができる。

【0104】

撮像空間ＳＰ３における画像３５１は、スクリーン空間ＳＰ２の投射画像３４３を、撮像部４６０により撮像した場合の撮像画像を示す。画像３５１の形状は、撮像部４６０とスクリーンＳＣとの位置関係、及び、撮像レンズ４６２の屈折により、変形している。
画像生成部２１４は、ステップＳ２７で、撮像空間ＳＰ３におけるマークの位置３５３の座標を求める。さらに、ステップＳ２８で、画像生成部２１４は、２５個のマークの各々に対応する位置３５３に重なるように、基準点群３５４を配置する。基準点群３５４は、図５を参照して説明したように、マークを構成する矩形の頂点である基準点の集合である。１つの基準点群３５４は１つのマークに対応する。画像生成部２１４は、撮像画像におけるマークが好ましい形状となるように、基準点群３５４を配置する。図１０の基準点群３５４は、基準点がＸ軸方向およびＹ軸方向に平行に並んでいる。このため、撮像画像において、マークは、Ｘ軸方向およびＹ軸方向に平行な辺を有する矩形を含む。

【0105】

図６に戻り、画像生成部２１４は、撮像画像におけるマークの基準点の位置を変換して、液晶パネル２６３における基準点の位置を求める。

【0106】

図１１は、キャリブレーション画像生成処理の説明図であり、ステップＳ２９の処理を模式化して示す。図１１には、パネル空間ＳＰ１を示す。

【0107】

画像生成部２１４は、図７に示した３次元シミュレーションの結果から、撮像空間ＳＰ３における位置と、パネル空間ＳＰ１における位置との対応付けが可能である。このため、画像生成部２１４は、ステップＳ２８で撮像空間ＳＰ３に配置した基準点群３５４を、パネル空間ＳＰ１に変換する。この結果、パネル空間ＳＰ１には基準点群３６２が配置される。撮像空間ＳＰ３の画像３５１は、パネル空間ＳＰ１において矩形の画像３６１となる。画像３６１に含まれる基準点群３６２の位置、及び、各基準点の配置は、パネル空間ＳＰ１と撮像空間ＳＰ３との対応に基づき移動する。

【0108】

画像生成部２１４は、ステップＳ２９で配置した基準点を直線で結ぶことにより、キャリブレーション画像のマークを描画できる。
このようにして描画されるマークは、スクリーンＳＣに投射され、撮像部４６０により撮像された場合に、撮像画像において直交する辺を含む形状となる。つまり、撮像画像からの検出が容易なマークを得るためのキャリブレーション画像を生成することができる。

【0109】

図６に戻り、画像生成部２１４は、ステップＳ２９で求めた基準点群の位置に基づき、マークの間隔が設定値以下か否かを判定する（ステップＳ３０）。
画像生成部２１４は、マークの間隔が設定値より大きい場合（ステップＳ３０；Ｎｏ）、ステップＳ２９で求めた基準点に従ってキャリブレーション画像を生成する（ステップＳ３１）。ステップＳ３１で、画像生成部２１４は、生成したキャリブレーション画像のキャリブレーション画像データ２２３を不揮発性メモリー２２０に記憶させて、本処理を終了する。

【0110】

図１２は、キャリブレーション画像の例を示す図である。図１２に示すキャリブレーション画像３７１は、縦４列×横４列の１６個のマークを含む。ステップＳ３０においてマークの間隔が設定値以下の場合、隣接するマークの基準点どうしが近いか、或いは、マークとマークとが重複する。これにより、撮像画像において複数のマークを区別できない可能性がある。このため、画像生成部２１４は、ステップＳ３２で、キャリブレーション画像におけるマークの数を減少させる。例えば、ステップＳ２４～Ｓ２９で、縦５列×横５列の２５個のマークを含むキャリブレーション画像を生成する処理を行っていた場合、図１２に示すように、マークの数がより少ないキャリブレーション画像を生成する処理に切り換える。

【0111】

なお、ステップＳ３２では、マークのサイズを小さく設定する処理を行って、ステップＳ２４に戻ってもよい。この場合、マークの数を減少させずに、マークとマークとの間隔を確保できる。

【0112】

以上説明したように、本実施形態のプロジェクター１００は、スクリーンＳＣに画像を投射する画像投射部２６０と、スクリーンＳＣの少なくとも一部を含む範囲を撮像する撮像部４６０とを備える。また、画像投射部２６０によって、位置特定用のマークが配置されたキャリブレーション画像を投射させて、撮像部４６０の撮像画像からマークを検出することによりキャリブレーションを実行するキャリブレーション処理部２１５を備える。また、スクリーンＳＣに対するプロジェクター１００の設置状態に関する情報を取得する情報取得部２１３を備える。また、情報取得部２１３により取得された情報に基づいて、プロジェクター１００の設置状態に対応するキャリブレーション画像を生成する画像生成部２１４を備える。キャリブレーション処理部２１５は、画像生成部２１４により生成されたキャリブレーション画像を画像投射部２６０により投射させて、キャリブレーションを実行する。

【0113】

本発明を適用したプロジェクター１００によれば、プロジェクター１００の設置状態に対応するキャリブレーション画像を利用するため、キャリブレーションの実行時に、キャリブレーション画像のマークを検出しやすいという利点がある。このため、キャリブレーションの成功率を高めることができ、効率化を実現できる。

【0114】

また、画像生成部２１４は、スクリーンＳＣに投射されたキャリブレーション画像を撮像した撮像画像において、マークが直交する辺を有する形状となるように、キャリブレーション画像を生成する。これにより、撮像画像からキャリブレーション画像のマークを検出しやすいので、マークを検出する処理の成功率を、より一層向上させることができる。

【0115】

また、画像生成部２１４は、画像投射部２６０が投射する投射画像の隅部に位置するマークが直交する辺を有する形状となるように、キャリブレーション画像を生成する。これにより、撮像画像から投射画像の隅部に位置するマークを容易に検出できるので、キャリブレーションの精度の向上が期待できる。

【0116】

また、画像生成部２１４は、設定された数のマークを含むキャリブレーション画像を生成し、キャリブレーション画像に配置された複数のマークの間隔が基準値以下となる場合に、設定された数より少ないマークを含むキャリブレーション画像を生成する。これにより、キャリブレーション画像に配置するマークの間隔を確保できるので、キャリブレーションの成功率をより一層高めることができる。

【0117】

また、情報取得部２１３が取得する情報は、スクリーンＳＣと撮像部４６０との相対位置に関する情報を含む。これにより、撮像画像におけるマークの位置や形状に大きな影響を与えるスクリーンＳＣと撮像部４６０との相対位置に対応して、キャリブレーション画像を生成できる。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0118】

また、撮像部４６０は、撮像レンズ４６２を含む撮像光学系４６１と、撮像素子とを有し、情報取得部２１３が取得する情報は、スクリーンＳＣと撮像光学系４６１の光軸ＡＸ２との相対位置に関する情報を含む。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0119】

また、情報取得部２１３が取得する情報は、撮像光学系４６１の光軸ＡＸ２と撮像素子との相対位置に関する情報を含む。これにより、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0120】

また、情報取得部２１３が取得する情報は、スクリーンＳＣと、画像投射部２６０と、撮像部４６０との相対位置に関する情報を含む。これにより、スクリーンＳＣ、画像投射部２６０及び撮像部４６０の相対位置に対応して、キャリブレーション画像を生成できる。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0121】

また、画像投射部２６０は、投射レンズ２６５を含む投射光学系２６４を有し、情報取得部２１３が取得する情報は、スクリーンＳＣと、投射光学系２６４の光軸ＡＸ１と、撮像部４６０との相対位置に関する情報を含む。このため、撮像画像におけるマークの位置や形状を高精度に反映したキャリブレーション画像を生成できるので、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0122】

また、画像投射部２６０は、光源２６１と、面状に配置された画素により画像を形成して光源２６１が発する光を変調する液晶パネル２６３とを備える。画像生成部２１４は、情報取得部２１３により取得された情報に基づいて、撮像画像におけるマークの配置を決定し、撮像画像におけるマークの座標を液晶パネル２６３における座標に変換することにより、キャリブレーション画像を生成する。このため、撮像画像からマークを検出する処理の成功率を、より一層高めることができる。

【0123】

［５．他の実施形態］
上記実施形態は本発明を適用した一具体例を示すものであり、本発明はこれに限定されるものではない。
例えば、上記実施形態において、情報取得部２１３は、位置検出ユニット４００からインターフェイス２４１、４４１を介して情報を取得し、或いは、操作検出部２４５により検出した操作に基づき情報を取得する構成とした。本発明はこれに限定されず、例えば、ネットワークを介して通信する通信部をプロジェクター１００が備える構成とし、通信部によって外部のコンピューターやサーバー装置と通信して、情報を取得してもよい。また、画像生成部２１４は、情報取得部２１３により取得した情報が限られた情報である場合に、デフォルト値として不揮発性メモリー２２０が記憶する情報を用いて、キャリブレーション画像を生成してもよい。
また、上記実施形態で、画像生成部２１４は、３次元シミュレーション空間、パネル空間ＳＰ１、スクリーン空間ＳＰ２、及び、撮像空間ＳＰ３の間で位置を変換する処理を行うものとして説明した。画像生成部２１４が実行する具体的な処理は、例えば、いずれかの空間から他の空間への座標の射影変換であってもよいし、他の処理であってもよい。

【0124】

また、本発明のプロジェクターは、プロジェクター１００のようにスクリーンＳＣの上方に設置される例に限定されず、例えば、スクリーンＳＣの正面、或いは、スクリーンＳＣの下方から投射する構成であってもよい。また、背面投射型のプロジェクターであってもよい。また、プロジェクター１００は、短焦点型のプロジェクターであってもよい。

【0125】

また、図２に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、投射システム１を構成する他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

【符号の説明】

【0126】

１…投射システム、７０…指示体、７１…チップボタン、７２…軸部、７３…サイドボタン、７５…制御部、７７…赤外線発光部、７９…赤外線受光部、１００…プロジェクター、１３０…制御部、２００…投射ユニット、２１０…プロセッサー、２１１…投射制御部、２１２…補正処理部、２１３…情報取得部、２１４…画像生成部、２１５…キャリブレーション処理部、２２０…不揮発性メモリー、２２１…設置情報、２２２…パターン生成情報、２２３…キャリブレーション画像データ、２３０…揮発性メモリー、２４１…インターフェイス、２４２…光源駆動部、２４３…光変調装置駆動部、２４４…赤外線受光部、２４５…操作検出部、２６０…画像投射部（投射部）、２６１…光源、２６２…光変調装置、２６３…液晶パネル（変調部）、２６４…投射光学系、２６５…投射レンズ、２９１…マーク、２９２…矩形、２９２Ａ…矩形、２９２Ｂ、２９２Ｃ…辺、４００…位置検出ユニット、４１０…プロセッサー、４１１…撮像処理部、４１２…画像処理部、４１３…クロス検出部、４１４…位置特定部、４２０…不揮発性メモリー、４２１…パラメーター、４２２…位置情報、４３０…揮発性メモリー、４４１…インターフェイス、４４２…赤外線発光部、４６０…撮像部、４６１…撮像光学系、４６２…撮像レンズ、４６３…フィルター切換部、４６４…可視光透過フィルター、４６５…赤外光透過フィルター、４６６…撮像素子、４６７…撮像面基準位置、ＡＸ１、ＡＸ２…光軸、ＤＡ…画像投射領域、ＤＰ…投射画像、ＳＣ…スクリーン（投射面）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】