特許 6221287 プロジェクター及びプロジェクターの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6221287

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】プロジェクター及びプロジェクターの制御方法

(51)【国際特許分類】

   H04N 5/74 20060101AFI20171023BHJP

   G03B 21/00 20060101ALI20171023BHJP

   G03B 21/14 20060101ALI20171023BHJP

【ＦＩ】

   H04N5/74 D

   G03B21/00 D

   G03B21/14 Z

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2013-60482(P2013-60482)

(22)【出願日】2013年3月22日

(65)【公開番号】特開2014-187515(P2014-187515A)

(43)【公開日】2014年10月2日

【審査請求日】2016年2月25日

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】古井 志紀

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００２−７１３１５（ＪＰ，Ａ）

【文献】 特開２０１３−４２４１１（ＪＰ，Ａ）

【文献】 特開２０１０−４４２５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｇ０３Ｂ ２１／００

Ｇ０３Ｂ ２１／１４

(57)【特許請求の範囲】

【請求項1】

映像信号に応じて光を変調する光変調器とレンズを含み、前記映像信号が示す画像を、前記レンズを介して投射面に投射する投射部と、
前記投射部により画像が投射された前記投射面を撮像する撮像部と、
前記レンズの光軸に対する前記撮像部の光軸の相対的な回転を示す３次の回転行列が未知の状態で、前記投射面の法線ベクトルを算出する算出部と、
前記算出部により算出された前記法線ベクトルに基づいて、前記光変調器における画像を補正する補正部と
を備え、
前記投射部は、４点以上の特徴点を含む較正画像を前記投射面に投射し、
前記撮像部は、前記較正画像が投射された前記投射面を撮像し、
前記算出部は、前記光変調器における画像を前記撮像部により撮像された撮像画像に射影変換する第１の変換行列であって、前記撮像画像に含まれる前記特徴点に基づいて算出された第１の変換行列と、世界座標を前記光変調器における座標に透視変換する第２の変換行列、前記世界座標を前記撮像画像における座標に透視変換する既知の第３の変換行列、前記レンズに対する前記撮像部の相対的な位置を示す空間ベクトル、前記回転行列、および前記法線ベクトルとの関係に基づいて、前記法線ベクトルを算出する
プロジェクター。

【請求項2】

前記算出部は、次式（１）により前記法線ベクトルを算出する
ことを特徴とする請求項１に記載のプロジェクター。

【数1】

ここで、Ｈは前記第１の変換行列、λは任意定数、Ｂは前記第３の変換行列、Ｒは前記回転行列、Ｅは単位行列、ｔは前記空間ベクトル、ｎは前記法線ベクトル、Ａは前記第２の変換行列をそれぞれ示す。

【請求項3】

前記回転行列、前記第２の変換行列、前記空間ベクトル、前記法線ベクトル、および前記任意定数における未知のパラメーターの数の総和が、式（１）が示す方程式の数よりも少なく、
前記算出部は、反復法または最小二乗法により前記法線ベクトルを算出する
ことを特徴とする請求項２に記載のプロジェクター。

【請求項4】

前記第２の変換行列は既知である
ことを特徴とする請求項１乃至３のいずれか一項に記載のプロジェクター。

【請求項5】

前記空間ベクトルは既知である
ことを特徴とする請求項１乃至４のいずれか一項に記載のプロジェクター。

【請求項6】

映像信号に応じて光を変調する光変調器とレンズを含む投射部を用いて、前記映像信号が示す画像を、前記レンズを介して投射面に投射する工程と、
前記投射部により画像が投射された前記投射面を撮像部が撮像する工程と、
前記レンズの光軸に対する前記撮像部の光軸の相対的な回転を示す３次の回転行列が未知の状態で、前記投射面の法線ベクトルを算出する工程と、
算出された前記法線ベクトルに基づいて、前記光変調器における画像を補正する工程と
を有し、
前記投射する工程は、４点以上の特徴点を含む較正画像を前記投射面に投射し、
前記撮像する工程は、前記較正画像が投射された前記投射面を撮像し、
前記算出する工程は、前記光変調器における画像を前記撮像部により撮像された撮像画像に射影変換する第１の変換行列であって、前記撮像画像に含まれる前記特徴点に基づいて算出された第１の変換行列と、世界座標を前記光変調器における座標に透視変換する第２の変換行列、前記世界座標を前記撮像画像における座標に透視変換する既知の第３の変換行列、前記レンズに対する前記撮像部の相対的な位置を示す空間ベクトル、前記回転行列、および前記法線ベクトルとの関係に基づいて、前記法線ベクトルを算出する
プロジェクターの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プロジェクター及びプロジェクターの制御方法に関する。

【背景技術】

【0002】

プロジェクターにより画像が投射される投射面の傾きを、三角測量を利用して測定する技術が知られている。特許文献１には、投射面に投射された三点のポイントをデジタルカメラで撮像し、投射光軸の投射面に対する傾斜角度を垂直方向と水平方向とについて算出することが記載されている。特許文献２には、同一の対象点を複数のカメラで撮像し、各撮像素子面上における対象点の物理的な位置から、対象点の３次元の位置を検出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−４１６９号公報

【特許文献2】特開２００５−２２９４１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

三角測量を利用するためには、投射光学系または撮像光学系などの光学系間の相対的な位置関係（位置および角度）が既知である必要がある。特許文献１に記載の技術により投射面の傾きを測定するためには、投射レンズと撮像レンズとの位置関係が既知でなければならない。特許文献２に記載の技術によって対象点の３次元の位置を検出するためには、２つのカメラのレンズの位置関係が既知でなければならない。したがって、光学系間の位置関係が何らかの外的な要因（例えば、プロジェクターに衝撃が加わった場合、または煽り投射によってプロジェクターの筐体が歪んだ場合など）によって変化した場合、三角測量を利用した方法では測定誤差が大きくなるという問題がある。
本発明は、投射面の法線ベクトルの測定誤差を低減することを目的の一つとする。

【課題を解決するための手段】

【0005】

上述の課題を解決するため、本発明は、映像信号に応じて光を変調する光変調器とレンズを含み、前記映像信号が示す画像を、前記レンズを介して投射面に投射する投射部と、前記投射部により画像が投射された前記投射面を撮像する撮像部と、前記レンズの光軸に対する前記撮像部の光軸の相対的な回転を示す３次の回転行列が未知の状態で、前記投射面の法線ベクトルを算出する算出部と、前記算出部により算出された前記法線ベクトルに基づいて、前記光変調器における画像を補正する補正部とを備え、前記投射部は、４点以上の特徴点を含む較正画像を前記投射面に投射し、前記撮像部は、前記較正画像が投射された前記投射面を撮像し、前記算出部は、前記光変調器における画像を前記撮像部により撮像された撮像画像に射影変換する第１の変換行列であって、前記撮像画像に含まれる前記特徴点に基づいて算出された第１の変換行列と、世界座標を前記光変調器における座標に透視変換する第２の変換行列、前記世界座標を前記撮像画像における座標に透視変換する既知の第３の変換行列、前記レンズに対する前記撮像部の相対的な位置を示す空間ベクトル、前記回転行列、および前記法線ベクトルとの関係に基づいて、前記法線ベクトルを算出するプロジェクターを提供する。このプロジェクターによれば、三角測量を利用した場合に比べて、投射面の法線ベクトルの測定誤差が低減される。

【0008】

また、別の好ましい態様において、前記算出部は、次式（１）により前記法線ベクトルを算出することを特徴とする。

【数1】

ここで、Ｈは前記第１の変換行列、λは任意定数、Ｂは前記第３の変換行列、Ｒは前記回転行列、Ｅは単位行列、ｔは前記空間ベクトル、ｎは前記法線ベクトル、Ａは前記第２の変換行列をそれぞれ示す。このプロジェクターによれば、連立方程式を解くことにより投射面の法線ベクトルが算出される。
この態様において、前記回転行列、前記第２の変換行列、前記空間ベクトル、前記法線ベクトル、および前記任意定数における未知のパラメーターの数の総和が、式（１）が示す方程式の数よりも少なく、前記算出部は、反復法または最小二乗法により前記法線ベクトルを算出してもよい。このプロジェクターによれば、未知のパラメーターの数の総和が、式（１）が示す方程式の数と等しくない場合であっても、投射面の法線ベクトルが算出される。

【0009】

また、別の好ましい態様において、前記第２の変換行列は既知であることを特徴とする。このプロジェクターによれば、投射部のレンズが単焦点レンズである場合に、投射面の法線ベクトルの測定誤差が低減される。

【0010】

また、別の好ましい態様において、前記空間ベクトルは既知であることを特徴とする。このプロジェクターによれば、投射部のレンズがズームレンズであっても、投射面の法線ベクトルの測定誤差が低減される。

【0012】

また、本発明は、映像信号に応じて光を変調する光変調器とレンズを含む投射部を用いて、前記映像信号が示す画像を、前記レンズを介して投射面に投射する工程と、前記投射部により画像が投射された前記投射面を撮像部が撮像する工程と、前記レンズの光軸に対する前記撮像部の光軸の相対的な回転を示す３次の回転行列が未知の状態で、前記投射面の法線ベクトルを算出する工程と、算出された前記法線ベクトルに基づいて、前記光変調器における画像を補正する工程とを有し、前記投射する工程は、４点以上の特徴点を含む較正画像を前記投射面に投射し、前記撮像する工程は、前記較正画像が投射された前記投射面を撮像し、前記算出する工程は、前記光変調器における画像を前記撮像部により撮像された撮像画像に射影変換する第１の変換行列であって、前記撮像画像に含まれる前記特徴点に基づいて算出された第１の変換行列と、世界座標を前記光変調器における座標に透視変換する第２の変換行列、前記世界座標を前記撮像画像における座標に透視変換する既知の第３の変換行列、前記レンズに対する前記撮像部の相対的な位置を示す空間ベクトル、前記回転行列、および前記法線ベクトルとの関係に基づいて、前記法線ベクトルを算出するプロジェクターの制御方法を提供する。このプロジェクターの制御方法によれば、三角測量を利用した場合に比べて、投射面の法線ベクトルの測定誤差が低減される。

【図面の簡単な説明】

【0013】

【図1】プロジェクターの動作概要を説明する図。

【図2】プロジェクターの機能的構成を示すブロック図。

【図3】プロジェクターのハードウェア構成を示すブロック図。

【図4】歪み補正処理を示すフローチャート。

【図5】較正画像の例を示す図。

【図6】撮像画像の例を示す図。

【発明を実施するための形態】

【0014】

図１は、本発明の一実施形態に係るプロジェクター１の動作概要を説明する図である。プロジェクター１は、映像信号により示される画像（以下、「入力画像」という）をスクリーンＳＣに投射する装置である。スクリーンＳＣは、プロジェクター１から投射される画像を映し出す平面（投射面）である。プロジェクター１の投射軸がスクリーンＳＣに対して理想的な状態から傾いている場合、スクリーンＳＣ上に映し出される画像（以下、「投射画像」という）は、破線で示したように台形に歪んだものとなる。プロジェクター１は、この歪み（台形歪み）を補正する機能を有する。図１の例で、プロジェクター１は、補正後の画像として画像ＩｐｒをスクリーンＳＣに投射している。台形歪みの補正は、スクリーンＳＣの法線ベクトルを用いて行われる。

【0015】

図２は、プロジェクター１の機能的構成を示すブロック図である。プロジェクター１は、投射部１０１と、較正画像記憶部１０２と、撮像部１０３と、特徴点検出部１０４と、射影変換行列算出部１０５と、法線ベクトル算出部１０６と、補正値算出部１０７と、調整値算出部１０８と、レンズ駆動部１０９と、映像信号取得部１１０と、歪み補正部１１１とを有する。投射部１０１は、入力画像および較正画像を、レンズを介してスクリーンＳＣに投射する。較正画像は、台形歪みを補正するために用いられる、スクリーンＳＣの法線ベクトル（以下、「法線ベクトルｎ」と表現する）の算出に用いられる画像である。較正画像は、４点以上の特徴点を含む。投射部１０１は、映像信号に応じて光源（図示略）からの光を変調する光変調器を有する。較正画像記憶部１０２は、較正画像を示す画像データを記憶する。撮像部１０３は、投射部１０１により較正画像が投射されたスクリーンＳＣを撮像する。特徴点検出部１０４は、撮像部１０３により撮像された画像（以下、「撮像画像」という）に含まれる特徴点を検出する。射影変換行列算出部１０５は、特徴点検出部１０４により検出された特徴点に基づいて第１の変換行列（以下、「射影変換行列Ｈ」と表現する）を算出する。射影変換行列Ｈは、光変調器における画像を撮像画像に射影変換するための３次正方行列である。法線ベクトル算出部１０６（算出部の一例）は、射影変換行列算出部１０５により算出された射影変換行列Ｈに基づいて、レンズの光軸に対する撮像部１０３の光軸の相対的な回転（回転行列Ｒにより表される）が未知の状態で、法線ベクトルｎを算出する。補正値算出部１０７は、法線ベクトル算出部１０６により算出された法線ベクトルｎに基づいて、光変調器における画像を補正するための補正値を算出する。調整値算出部１０８は、法線ベクトル算出部１０６により算出された法線ベクトルｎに基づいて、レンズのフォーカスを調整するための調整値を算出する。レンズ駆動部１０９は、調整値算出部１０８により算出された調整値を用いて、レンズのフォーカスを調整する。映像信号取得部１１０は、外部装置から映像信号を取得する。歪み補正部１１１は、補正値算出部１０７により算出された補正値を用いて、光変調器における画像を補正する。

【0016】

図３は、プロジェクター１のハードウェア構成を示すブロック図である。プロジェクター１は、ＣＰＵ（Central Processing Unit）１０と、ＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、ＩＦ（インターフェース）部１３と、画像処理回路１４と、投射ユニット１５と、カメラ１６と、受光部１７と、操作パネル１８と、入力処理部１９とを有する。ＣＰＵ１０は、制御プログラム１１Ａを実行することによりプロジェクター１の各部を制御する制御装置である。ＲＯＭ１１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＯＭ１１は、ＣＰＵ１０が実行する制御プログラム１１Ａを記憶する。ＲＡＭ１２は、データを記憶する揮発性の記憶装置である。ＲＡＭ１２は、フレームメモリー１２ａを有する。フレームメモリー１２ａは、映像信号により示される映像のうち、１フレーム分の画像を記憶する領域である。

【0017】

ＩＦ部１３は、ＤＶＤ（Digital Versatile Disc）プレーヤー又はパーソナルコンピューターなどの外部装置と通信を行なう。ＩＦ部１３は、外部装置と接続するための各種端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線または無線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子など）を備える。ＩＦ部１３は、外部装置から取得した映像信号から、垂直・水平の同期信号を抽出する。画像処理回路１４は、映像信号により示される画像に所定の画像処理を施す。画像処理回路１４は、画像処理後の画像をフレームメモリー１２ａに書き込む。

【0018】

投射ユニット１５は、光源１５１と、液晶パネル１５２と、光学系１５３と、光源駆動回路１５４と、パネル駆動回路１５５と、光学系駆動部１５６とを有する。光源１５１は、高圧水銀ランプ、ハロゲンランプ、若しくはメタルハライドランプなどのランプ、又はＬＥＤ（Light Emitting Diode）若しくはレーザーダイオードなどの発光体を有し、液晶パネル１５２に光を照射する。液晶パネル１５２は、光源１５１から照射された光を画像データに応じて変調する光変調器である。この例で液晶パネル１５２は、マトリクス状に配置された複数の画素を有する。液晶パネル１５２は、例えば、ＸＧＡ（eXtended Graphics Array）の解像度を有し、１０２４×７６８個の画素により構成される表示領域を有する。この例で、液晶パネル１５２は透過型の液晶パネルであり、各画素の透過率が画像データに応じて制御される。プロジェクター１は、ＲＧＢの三原色に対応した３枚の液晶パネル１５２を有する。光源１５１からの光はＲＧＢの３色の色光に分離され、各色光は対応する液晶パネル１５２に入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等によって合成され、光学系１５３に射出される。光学系１５３は、液晶パネル６０３により画像光へと変調された光を拡大してスクリーンＳＣに投射する投射レンズ１５３１と、投射画像の焦点を調整するフォーカスレンズ１５３２とにより構成されている。投射レンズ１５３１には、単焦点レンズが用いられる。光源駆動回路１５４は、ＣＰＵ１０の制御に従って光源１５１を駆動する。パネル駆動回路１５５は、ＣＰＵ１０から出力された画像データに応じて液晶パネル１５２を駆動する。光学系駆動部１５６は、フォーカスレンズ１５３２のフォーカスを調整するモーター、および当該モーターをＣＰＵ１０の制御に従って駆動する駆動回路を有する。

【0019】

カメラ１６は、スクリーンＳＣを撮像し、画像データを生成するデジタルカメラである。カメラ１６は、例えば、投射ユニット１５が投射画像を投射可能な最大範囲を含む画角でスクリーンＳＣを撮像する。受光部１７は、コントローラーＲＣから送信される赤外線信号を受光し、受光した赤外線信号をデコードして入力処理部１９に出力する。操作パネル１８は、プロジェクター１の電源のオン／オフまたは各種操作を行うためのボタンおよびスイッチを有する。入力処理部１９は、コントローラーＲＣまたは操作パネル１８による操作内容を示す情報を生成し、ＣＰＵ１０に出力する。

【0020】

プロジェクター１において、プログラムを実行しているＣＰＵ１０は、特徴点検出部１０４、射影変換行列算出部１０５、法線ベクトル算出部１０６、補正値算出部１０７、および調整値算出部１０８の一例である。プログラムを実行しているＣＰＵ１０により制御されている投射ユニット１５（光学系駆動部１５６を除く）は、投射部１０１の一例である。プログラムを実行しているＣＰＵ１０により制御されている光学系駆動部１５６は、レンズ駆動部１０９の一例である。プログラムを実行しているＣＰＵ１０により制御されているカメラ１６は、撮像部１０３の一例である。ＲＯＭ１１は、較正画像記憶部１０２の一例である。プログラムを実行しているＣＰＵ１０により制御されているＩＦ部１３は、映像信号取得部１１０の一例である。プログラムを実行しているＣＰＵ１０により制御されている画像処理回路１４は、歪み補正部１１１の一例である。

【0021】

図４は、プロジェクター１が投射画像の台形歪みを補正する処理（以下、「歪み補正処理」という）を示すフローチャートである。歪み補正処理は、例えば、プロジェクター１の電源が投入されたことを契機として、または、ユーザーがコントローラーＲＣを操作して歪み補正処理を開始するための指示をプロジェクター１に入力したことを契機として開始される。ステップＳ１において、ＣＰＵ１０は、較正画像をスクリーンＳＣに投射する。具体的には、ＣＰＵ１０は、較正画像を示す画像データをＲＯＭ１１から読み出して、当該画像データをパネル駆動回路１５５に出力する。

【0022】

図５は、較正画像の例を示す図である。図５は、液晶パネル１５２に表示された較正画像Ｉｃを示している。図５において、実線は液晶パネル１５２の表示領域の輪郭を表し、破線は較正画像Ｉｃの輪郭を表す。この例で、較正画像Ｉｃは、特徴点以外の領域が透明、且つ矩形の画像である。図５の例では、較正画像Ｉｃは、点Ｕ１から点Ｕ４の４つの特徴点を有する。この例では、４つの頂点がそれぞれ特徴点である。特徴点は、液晶パネル１５２において複数の画素の集合として表示される。液晶パネル１５２における各特徴点の座標（ここでは、特徴点を構成する複数の画素の中心の座標）は、予めＲＯＭ１１に記憶されている。図５において、点Ｕ１から点Ｕ４の各特徴点の液晶パネル１５２上の座標は、Ｕ１（Ｘ０，Ｙ０）、Ｕ２（Ｘ１、Ｙ１）、Ｕ３（Ｘ２、Ｙ２）、Ｕ４（Ｘ３、Ｙ３）である。投射レンズ１５３１の光軸がスクリーンＳＣに対して理想的な状態から傾いている場合、スクリーンＳＣに映し出される較正画像Ｉｃは、歪んだものとなる。

【0023】

再び図４を参照する。ステップＳ２において、ＣＰＵ１０は、スクリーンＳＣに投射された較正画像Ｉｃを撮像する。ＣＰＵ１０は、較正画像Ｉｃが撮像された撮像画像をＲＡＭ１２に記憶する。ステップＳ３において、ＣＰＵ１０は、較正画像Ｉｃが撮像された撮像画像から特徴点を検出する。具体的には、ＣＰＵ１０は、撮像画像に含まれる４つの特徴点を検出し、撮像画像における各特徴点の座標を算出する。ＣＰＵ１０は、算出された各特徴点の座標をＲＡＭ１２に記憶する。

【0024】

図６は、撮像画像Ｉｐｈを示す図である。撮像画像Ｉｐｈは、スクリーンＳＣに投射された較正画像Ｉｃを撮像した画像である。図６において、実線は撮像画像Ｉｐｈの輪郭（カメラ１６のフレーム）を表し、破線は較正画像Ｉｃの輪郭を表す。撮像画像Ｉｐｈにおいて点ｕ１から点ｕ４の各特徴点は、較正画像Ｉｃにおける点Ｕ１から点Ｕ４の各特徴点にそれぞれ対応する。図６の例で、点ｕ１から点ｕ４の各特徴点の撮像画像Ｉｐｈ上の座標は、ｕ１（ｘ０、ｙ０）、ｕ２（ｘ１、ｙ１）、ｕ３（ｘ２、ｙ２）、ｕ４（ｘ３、ｙ３）である。

【0025】

再び図４を参照する。ステップＳ４において、ＣＰＵ１０は、液晶パネル１５２における各特徴点の座標と、撮像画像Ｉｐｈにおける各特徴点の座標とに基づいて、以下の式（２）に示す射影変換行列Ｈを算出する。

【数2】

具体的には、ＣＰＵ１０は、液晶パネル１５２における各特徴点（点Ｕ１から点Ｕ４）の座標をＲＯＭ１１から、撮像画像Ｉｐｈにおける各特徴点（点ｕ１から点ｕ４）の座標をＲＡＭ１２からそれぞれ読み出して、以下の式（３）に示す８元連立一次方程式を解くことにより、射影変換行列Ｈを算出する。なお、射影変換行列Ｈのパラメーターｉ₀は、定数（ｉ₀＝１）である。ＣＰＵ１０は、算出した射影変換行列ＨをＲＡＭ１２に記憶する。

【数3】

【0026】

ステップＳ５において、ＣＰＵ１０は、射影変換行列Ｈを用いて法線ベクトルｎを算出する。具体的には、ＣＰＵ１０は、ＲＡＭ１２から射影変換行列Ｈを読み出して、以下の式（４）に示す９元連立方程式を解くことにより、法線ベクトルｎ（３行１列の行列）を算出する。式（４）において「Ｔ」はある行列の転置を表す。

【数4】

各記号はそれぞれ以下の数または行列を示す。
λ：任意定数
Ｂ：世界座標を撮像画像における座標に透視変換するための座標変換行列（３次正方行列）
Ｒ：投射レンズ１５３１の光軸に対するカメラ１６の光軸の相対的な回転を示す３次の回転行列
Ｅ：３次の単位行列
ｔ：投射レンズ１５３１に対するカメラ１６の相対的な位置を示す空間ベクトル（３行１列の行列）
Ａ：世界座標を液晶パネル１５２における座標に透視変換するための座標変換行列（３次正方行列）
なお、座標変換行列Ａおよび座標変換行列Ｂは、３次元の世界座標を２次元の平面上の座標に変換する行列であり、ある２次元の平面上の座標を他の２次元の平面上の座標に変換する射影変換行列Ｈとは異なる種類の行列である。

【0027】

ここで、座標変換行列Ｂの各パラメーターは、カメラ１６に固有の値であり、プロジェクター１の製造時に測定された既知の値がＲＯＭ１１に記憶されている。座標変換行列Ａの各パラメーターは、投射レンズ１５３１により決まる値である。本実施形態では投射レンズ１５３１が単焦点レンズであるため（焦点距離が変化しないため）、座標変換行列Ａの各パラメーターは一定の値となる。そのため、座標変換行列Ａの各パラメーターについても、プロジェクター１の製造時に測定された既知の値がＲＯＭ１１に記憶されている。空間ベクトルｔは、単位ベクトルに正規化することができ、３つのパラメーターのうち２つのパラメーターに基づいて残りのパラメーターを算出することができる。つまり、空間ベクトルｔの未知のパラメーターの数は２つに減らすことができる。したがって、式（４）の右辺について、未知のパラメーターの数の総和は、任意定数λについて１つ、回転行列Ｒについて３つ、空間ベクトルｔについて２つ、法線ベクトルｎについて３つの合計９つとなる。これは式（４）から得られる方程式の数と等しいため、式（４）に示す９元連立方程式を解くことにより、法線ベクトルｎが算出される。なお、式（４）に示す９元連立方程式を解くと、法線ベクトルｎの解が２つ得られるが、ＣＰＵ１０は、算出された回転行列Ｒと空間ベクトルｔとが初期値により近くなる一方の法線ベクトルｎを採用する。回転行列Ｒと空間ベクトルｔの初期値は、予めＲＯＭ１１に記憶されている。ＣＰＵ１０は、算出された法線ベクトルｎを示すデータをＲＡＭ１２に記憶する。

【0028】

式（４）によれば、回転行列Ｒが未知の状態であっても、法線ベクトルｎが算出される。したがって、三角測量を利用した場合に比べて、法線ベクトルｎの測定誤差が低減される。例えば、投射レンズ１５３１の光軸に対するカメラ１６の光軸の相対的な回転が外的な要因（例えば、プロジェクター１に衝撃が加わった場合、または煽り投射によってプロジェクター１の筐体が歪んだ場合など）によって変化した場合であっても、精度の高い法線ベクトルｎが算出される。

【0029】

ステップＳ６において、ＣＰＵ１０は、法線ベクトルｎを用いて、投射レンズ１５３１に対するスクリーンＳＣの傾きを算出する。具体的には、ＣＰＵ１０は、ＲＡＭ１２から法線ベクトルｎを示すデータと投射レンズ１５３１の光軸の方向ベクトルを示すデータとを読み出して、法線ベクトルｎと投射レンズ１５３１の光軸とがなす角度θを算出する。投射レンズ１５３１の光軸の方向ベクトルを示すデータは、歪み補正処理が開始される前に予め測定され、ＲＡＭ１２に記憶されている。ＣＰＵ１０は、算出された角度θをＲＡＭ１２に記憶する。

【0030】

ステップＳ７において、ＣＰＵ１０は、スクリーンＳＣの傾きに応じて、台形歪みを補正するための射影変換行列（以下、「射影変換行列Ｆ」と表現する）を算出する。射影変換行列Ｆは、液晶パネル１５２における座標を、入力画像における座標に射影変換する３次正方行列である。具体的には、ＣＰＵ１０は、スクリーンＳＣの傾きに基づいて台形歪みの補正が行われない場合の投射画像を特定し、特定された投射画像に基づいて以下の式（５）に示す射影変換行列Ｆを算出する。ＣＰＵ１０は、算出された射影変換行列ＦをＲＡＭ１２に記憶する。射影変換行列Ｆの各パラメーターは、補正値の一例である。

【数5】

【0031】

ステップＳ８において、ＣＰＵ１０は、射影変換行列Ｆを用いて、入力画像を射影変換する。具体的には、ＣＰＵ１０は、以下の式（６）により、液晶パネル１５２における座標（Ｘｊ，Ｙｊ）に対して座標変換を行い、入力画像における座標（Ｘｋ，Ｙｋ）を算出する。

【数6】

ＣＰＵ１０は、入力画像における座標（Ｘｋ，Ｙｋ）の画素の階調値を、液晶パネル１５２における座標（Ｘｊ，Ｙｊ）の画素の階調値としてフレームメモリー１２ａに書き込む。なお、式（６）を用いた演算において、入力画像における座標が小数で算出された場合には、対応する階調値が存在しないことになる。この場合、ＣＰＵ１０は、画素補間（畳み込み演算）を行い、入力画像における複数の座標の階調値から一の階調値を算出する。ＣＰＵ１０は、画素補間により算出された階調値を、液晶パネル１５２における座標（Ｘｊ，Ｙｊ）の画素の階調値としてフレームメモリー１２ａに書き込む。このように、液晶パネル１５２についてＸ座標およびＹ座標を走査することにより、液晶パネル１５２が有するすべての画素について、その階調値が決定される。ステップＳ９において、ＣＰＵ１０は、液晶パネル１５２を駆動する。具体的には、ＣＰＵ１０は、フレームメモリー１２ａに書き込まれた画像データを読み出して、パネル駆動回路１５５に出力する。ステップＳ９の処理により、投射画像は、台形歪みのないものとなる。このように、本実施形態では、式（４）により算出された法線ベクトルｎに基づいて入力画像の射影変換が行われるため、三角測量により法線ベクトルｎが算出された場合に比べて、台形歪みの補正の精度が高くなる。

【0032】

ステップＳ１０において、ＣＰＵ１０は、法線ベクトルｎを用いて、投射レンズ１５３１からスクリーンＳＣまでの距離ｄＳＣを算出する。具体的には、ＣＰＵ１０は、ＲＡＭ１２から法線ベクトルｎを示すデータを読み出し、以下の式（７）により距離ｄＳＣを算出する。ＣＰＵ１０は、算出された距離ｄＳＣをＲＡＭ１２に記憶する。

【数7】

【0033】

ステップＳ１１において、ＣＰＵ１０は、距離ｄＳＣに応じて、フォーカスレンズ１５３２のフォーカスを調整するための調整値を算出する。ＣＰＵ１０は、予め定められた式をＲＯＭ１１から読み出して、距離ｄＳＣに応じた調整値を算出する。ＣＰＵ１０は、算出された調整値を示すデータをＲＡＭ１２に記憶する。ステップＳ１２において、ＣＰＵ１０は、調整値を用いてフォーカスレンズ１５３２のフォーカスを調整する。具体的には、ＣＰＵ１０は、調整値を示すデータをＲＡＭ１２から読み出して、光学系駆動部１５６に出力する。このように、本実施形態では、式（４）により算出された法線ベクトルｎに基づいてフォーカスの調整が行われるため、三角測量により法線ベクトルｎが算出された場合に比べて、フォーカスの調整の精度が高くなる。

【0034】

＜変形例＞
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、２つ以上のものが組み合わされて用いられても良い。

【0035】

（１）変形例１
上述の実施形態では、投射レンズ１５３１が単焦点レンズであって、座標変換行列Ａの各パラメーターが既知である場合について説明した。この点、投射レンズ１５３１は、焦点距離が変化するズームレンズであって、座標変換行列Ａのパラメーターのうちの１つが未知であってもよい。この場合、式（４）に示す連立方程式において、空間ベクトルｔの各パラメーターには、プロジェクター１の製造時に測定された既知の値が用いられる。空間ベクトルｔの各パラメーターの値は、予めＲＯＭ１１に記憶されている。これにより、式（４）の右辺について、未知のパラメーターの数の総和は、任意定数λについて１つ、回転行列Ｒについて３つ、法線ベクトルｎについて３つ、座標変換行列Ａについて１つの合計８つとなる。これは式（４）から得られる方程式の数よりも少ないため、式（４）に示す９本の方程式からなる８元連立方程式を解くことにより、法線ベクトルｎが算出される。未知のパラメーターの数が、式（４）から得られる方程式の数よりも少ない場合、ＣＰＵ１０は、反復法または最小二乗法により法線ベクトルｎを算出する。なお、座標変換行列Ａおよび空間ベクトルｔの各パラメーターのいずれもが既知であってもよい。

【0036】

（２）変形例２
投射レンズ１５３１がズームレンズである場合、プロジェクター１は、投射レンズ１５３１の焦点距離を取得するための構成を備えていてもよい。例えば、投射レンズ１５３１の焦点距離が、可変抵抗の抵抗値を変化させることにより制御される場合には、当該抵抗値に基づいて焦点距離が取得されてもよい。この場合、式（４）の右辺について、未知のパラメーターの数の総和は、実施形態と同様に合計９つとなる。したがって、実施形態と同様の方法により法線ベクトルｎが算出される。

【0037】

（３）その他の変形例
歪み補正処理において行われる処理は、図４に示した処理に限らない。例えば、フォーカスレンズ１５３２のフォーカスの調整に関する処理（ステップＳ１０からステップＳ１２）が、入力画像の射影変換に関する処理（ステップＳ６からステップＳ９）よりも前に行われてもよい。
較正画像は、図５に示したものに限らない。較正画像は、例えば、輪郭がユーザーに知覚されるように液晶パネル１５２に表示されてもよい。別の例で、較正画像は、４点を超える特徴点を含んでいてもよい。
プロジェクター１のハードウェア構成は、図３に示した構成に限らない。プロジェクター１は、図４に示した各ステップの処理を実行できれば、どのようなハードウェア構成であってもよい。例えば、液晶パネル１５２に代えて、デジタルミラーデバイス（ＤＭＤ）が光変調器として用いられてもよい。

【符号の説明】

【0038】

１…プロジェクター、１０１…投射部、１０２…較正画像記憶部、１０３…撮像部、１０４…特徴点検出部、１０５…射影変換行列算出部、１０６…法線ベクトル算出部、１０７…補正値算出部、１０８…調整値算出部、１０９…レンズ駆動部、１１０…映像信号取得部、１１１…歪み補正部、１０…ＣＰＵ、１１…ＲＯＭ、１２…ＲＡＭ、１３…ＩＦ部、１４…画像処理回路、１５…投射ユニット、１５１…光源、１５２…液晶パネル、１５３…光学系、１５３１…投射レンズ、１５３２…フォーカスレンズ、１５４…光源駆動回路、１５５…パネル駆動回路、１５６…光学系駆動部、１６…カメラ、１７…受光部、１８…操作パネル、１９…入力処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】