特許 6568223 投射装置、投射方法および投射プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6568223

(24)【登録日】2019年8月9日

(45)【発行日】2019年8月28日

(54)【発明の名称】投射装置、投射方法および投射プログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20190819BHJP

   G03B 21/00 20060101ALI20190819BHJP

【ＦＩ】

   H04N5/74 D

   G03B21/00 D

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2017-537552(P2017-537552)

(86)(22)【出願日】2016年8月31日

(86)【国際出願番号】JP2016003980

(87)【国際公開番号】WO2017038096

(87)【国際公開日】20170309

【審査請求日】2018年1月22日

(31)【優先権主張番号】特願2015-171877(P2015-171877)

(32)【優先日】2015年9月1日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】玉井 潤一

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１５−０８０１９０（ＪＰ，Ａ）

【文献】 国際公開第２００５／０５７９４１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ９／３１

Ｇ０３Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

投射面の表面状態に応じた歪を検出するためのパターン画像と、前記パターン画像が平面に表示された際の表示画像に対応する期待画像と、所望の投射画像とを少なくとも記憶する記憶手段と、
前記パターン画像および前記所望の投射画像を含む画像を前記投射面に投射する投射手段と、
前記投射面に表示された前記パターン画像の表示画像を取得して歪画像を抽出する画像取得手段と、
前記期待画像と前記歪画像とを比較することによって前記投射面の歪に関する歪パラメータを算出する歪量算出手段と、
前記歪パラメータを用いて前記投射面に投射する前記所望の投射画像を補正する歪補正処理手段と、
前記歪補正処理手段によって補正された前記所望の投射画像と、前記パターン画像とを含む画像データを前記投射手段に出力する画像出力手段とを備える投射装置。

【請求項2】

前記投射面を撮像し、撮像した前記画像データを前記画像取得手段に出力するカメラを備え、
前記画像取得手段は、
取得した前記画像データから前記パターン画像の表示画像を前記歪画像として抽出する請求項１に記載の投射装置。

【請求項3】

前記記憶手段は、
互いに対応付けられる複数の三角形の領域に分割された前記パターン画像および前記期待画像を記憶し、
前記歪量算出手段は、
前記パターン画像の表示画像に相当する前記歪画像および前記期待画像の対応する領域を比較し、前記歪パラメータを算出する請求項１に記載の投射装置。

【請求項4】

前記歪量算出手段は、
前記歪画像を構成する三角形を、前記期待画像を構成する三角形に変換する行列の逆行列を前記歪パラメータとして算出する請求項３に記載の投射装置。

【請求項5】

前記投射手段は、
前記パターン画像を構成する三角形の頂点を順番に投射していき、
前記歪量算出手段は、
前記投射面に表示された前記パターン画像の表示画像上の頂点が三角形を形成するごとに、形成された三角形に関して前記歪パラメータを順番に算出していく請求項３に記載の投射装置。

【請求項6】

前記カメラは、
前記投射面を鑑賞する位置に設置される請求項２に記載の投射装置。

【請求項7】

前記歪量算出手段は、
前記歪画像を構成する三角形のうち一定量以上の歪が発生した三角形を細分化する指示を出し、
前記歪補正処理手段は、
前記歪量算出手段の指示に応じて、前記一定量以上の歪が発生した三角形に対応する前記期待画像を構成する三角形を細分化する請求項３に記載の投射装置。

【請求項8】

前記投射面に表示される画像の周辺部が欠損する場合に、前記投射面に表示される画像の表示領域を調整する端画素調整手段を備え、
前記投射手段は、
前記期待画像の端部の画素を前記投射面に投射し、
前記画像取得手段は、
前記投射面に表示された前記端部の画素の位置を取得し、
前記端画素調整手段は、
前記画像取得手段によって取得された前記端部の画素の位置から定義される端画素参照位置の範囲内に収まるように前記期待画像を縮小した縮小期待画像を生成し、
前記画像出力手段は、
前記縮小期待画像に対応させて縮小した前記パターン画像を前記投射手段に出力し、
前記投射手段は、
前記画像出力手段によって出力された縮小された前記パターン画像を前記投射面に投射し、
前記歪量算出手段は、
縮小された前記パターン画像の表示画像に相当する前記歪画像と前記縮小期待画像とを比較することによって前記歪パラメータを算出する請求項１に記載の投射装置。

【請求項9】

投射面の表面状態に応じた歪を検出するためのパターン画像と、前記パターン画像が平面に表示された際の表示画像に対応する期待画像と、所望の投射画像とを少なくとも記憶手段に記憶させ、
前記パターン画像を前記投射面に投射し、
前記投射面に表示された前記パターン画像の表示画像を取得して歪画像を抽出し、
前記期待画像と前記歪画像とを比較することによって前記投射面の歪パラメータを算出し、
前記歪パラメータを用いて前記投射面に投射する前記所望の投射画像を補正し、
補正された前記所望の投射画像を前記投射面に投射する投射方法。

【請求項10】

投射面の表面状態に応じた歪を検出するためのパターン画像と、前記パターン画像が平面に表示された際の表示画像に対応する期待画像と、所望の投射画像とを少なくとも記憶手段に記憶させる処理と、
前記パターン画像を前記投射面に投射する処理と、
前記投射面に表示された前記パターン画像の表示画像を取得して歪画像を抽出する処理と、
前記期待画像と前記歪画像とを比較することによって前記投射面の歪パラメータを算出する処理と、
前記歪パラメータを用いて前記投射面に投射する前記所望の投射画像を補正する処理と、
補正された前記所望の投射画像を前記投射面に投射する処理とをコンピュータに実行させる投射プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投射装置、投射方法および投射プログラムに関する。特に、凹凸のある投射面に画像を投射する投射装置、投射方法および投射プログラムに関する。

【背景技術】

【0002】

一般的なプロジェクタは、平らな壁面に画像を投射することを想定している。そのようなプロジェクタでは、プロジェクタと壁面との位置関係によっては壁面に投射される画像が歪んでしまう。例えば、壁面に対して投射方向がまっすぐでないと、縦方向と横方向とで異なる拡大率で画像が投射されてしまう。そのような場合、台形補正機能を用いることによって画像の歪を除去することができる。特許文献１には、台形補正の一例が開示されている。

【0003】

画像を壁面に適切に投射するためには、その壁面に投射された画像を実際に撮像し、撮像した画像に基づいて補正することが有効である。特許文献２および３には、投射された画像を撮像し、撮像したパターンに基づいて投射画像を調整する装置が開示されている。

【0004】

また、曲面に投射される画像を投射するためには、台形補正以外の技術が必要となる。引用文献４には、凹凸のある面や曲面の投影面に対しても表示画像の歪を補正する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４−４２２６２号公報

【特許文献2】特開２０１４−１５０５４０号公報

【特許文献3】特開２０１３−１１８５９６号公報

【特許文献4】特開２００４−１４０８４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１〜３の技術によれば、平らな壁面に投射される画像の歪には対応できるものの、凹凸のある壁面に投射される画像の歪には対応できないという問題点があった。

【0007】

また、特許文献４の装置によれば、凹凸のある投影面を平らな仮想投影面に近似したり、投射した特定のパターンをカメラで撮像して三角測量の原理を用いて測距したりすることによって、凹凸のある投影面や曲面にも画像を投影することができる。しかしながら、特許文献４の装置は、三角測量の原理を用いて距離を測定するため、距離計測に時間がかかるという問題点があった。また、特許文献４の装置は、パターンが投射された箇所との距離しか測定できないため、凹凸面が複雑な場合には、見逃してしまう凹凸が発生してしまうという問題点があった。

【0008】

本発明は、複雑な凹凸を有する投射面であっても、平面と同様に画像を表示させることができる投射装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の投射装置は、投射面の表面状態に応じた歪を検出するためのパターン画像と、パターン画像が平面に表示された際の表示画像に対応する期待画像と、所望の投射画像とを少なくとも記憶する記憶部と、パターン画像および所望の投射画像を含む画像を投射面に投射する投射部と、投射面に表示されたパターン画像の表示画像を取得して歪画像を抽出する画像取得部と、期待画像と歪画像とを比較することによって投射面の歪に関する歪パラメータを算出する歪量算出部と、歪パラメータを用いて投射面に投射する所望の投射画像を補正する歪補正処理部と、歪補正処理部によって補正された所望の投射画像と、パターン画像とを含む画像データを投射部に出力する画像出力部とを備える。

【0010】

本発明の投射方法においては、投射面の表面状態に応じた歪を検出するためのパターン画像を投射面に投射し、投射面に表示されたパターン画像の表示画像を取得して歪画像を抽出し、パターン画像が平面に表示された際の表示画像に対応する期待画像と、歪画像とを比較することによって投射面の歪パラメータを算出し、歪パラメータを用いて投射面に投射する所望の投射画像を補正し、補正された所望の投射画像を投射面に投射する。

【0011】

本発明の投射プログラムは、投射面の表面状態に応じた歪を検出するためのパターン画像を投射面に投射する処理と、投射面に表示されたパターン画像の表示画像を取得して歪画像を抽出する処理と、パターン画像が平面に表示された際の表示画像に対応する期待画像と、歪画像とを比較することによって投射面の歪パラメータを算出する処理と、歪パラメータを用いて投射面に投射する所望の投射画像を補正する処理と、補正された所望の投射画像を投射面に投射する処理とをコンピュータに実行させる。

【発明の効果】

【0012】

本発明によれば、複雑な凹凸を有する投射面であっても、平面と同様に画像を表示させることができる投射装置を提供することが可能になる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態に係る投射装置の構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る投射装置の構成要素間におけるデータの流れを示す概念図である。

【図3】本発明の第１の実施形態に係る投射装置がパターン画像を凹凸面に投射する例について説明するための概念図である。

【図4】本発明の第１の実施形態に係る投射装置が平らな面にパターン画像を投射する際に得られる期待画像について説明するための概念図である。

【図5】本発明の第１の実施形態に係る投射装置において、パターン画像と期待画像とを比較する一例を示す概念図である。

【図6】本発明の第１の実施形態に係る投射装置が凹凸面に対して歪補正した投射画像を投射する一例を示す概念図である。

【図7】本発明の第１の実施形態に係る投射装置の動作を説明するためのフローチャートである。

【図8】本発明の第１の実施形態に係る投射装置が凹凸面にパターン画像を投射する一例について説明するための概念図である。

【図9】本発明の第１の実施形態に係る投射装置において、パターン画像と期待画像とを比較する一例を示す概念図である。

【図10】本発明の第１の実施形態に係る投射装置が凹凸面に対して歪補正した投射画像を投射する一例を示す概念図である。

【図11】本発明の第１の実施形態においてカメラを配置する位置について例示するための概念図である。

【図12】本発明の第２の実施形態に係る投射装置において、パターン画像と期待画像とを比較する一例を示す概念図である。

【図13】本発明の第２の実施形態に係る投射装置がパターン画像を細分化する一例を示す概念図である。

【図14】本発明の第３の実施形態に係る投射装置の構成を示すブロック図である。

【図15】本発明の第３の実施形態に係る投射装置による端画素キャリブレーションの一例を示す概念図である。

【図16】本発明の第３の実施形態に係る投射装置が投射した画像の端画素参照について説明するための概念図である。

【図17】本発明の第３の実施形態に係る投射装置が縮小期待画像を生成する一例について説明するための概念図である。

【図18】本発明の実施形態に係る投射装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由が無い限り、同様箇所には同一符号を付す。また、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。

【0015】

（構成）
まず、本発明の第１の実施形態に係る投射装置１０の構成について、図面を用いて説明する。図１は、本実施形態に係る投射装置１０の構成を示すブロック図である。図２は、本実施形態に係る投射装置１０の構成要素間におけるデータの流れを説明するための概念図である。

【0016】

本実施形態に係る投射装置１０は、記憶部１１、画像出力部１２、投射部１３、画像取得部１４、歪量算出部１５および歪補正処理部１６を備える。また、投射装置１０は、カメラ２０が撮像した画像データを取得するように構成される。なお、投射装置１０は、カメラ２０（撮像手段）を備えていてもよい。

【0017】

記憶部１１は、各種の画像データを記憶する。記憶部１１は、投射面の表面状態に応じた歪を検出するためのパターン画像（パターン画像１２０）、前記パターン画像が平面に表示された際の表示画像に対応する期待画像（期待画像１５０）、所望の投射画像（投射画像１６０）を少なくとも記憶する。また、記憶部１１は、投射面に表示されたパターン画像１２０の表示画像に相当する歪画像１４０や歪パラメータを記憶するように構成してもよい。

【0018】

画像出力部１２は、パターン画像１２０や歪補正された投射画像１６０などの画像データを投射部１３に出力する。すなわち、画像出力部１２は、歪補正処理部１６によって補正された投射画像１６０と、パターン画像１２０とを含む画像データを投射部１３に出力する。

【0019】

投射部１３は、画像出力部１２から出力された画像データを投射する。すなわち、投射部１３は、パターン画像１２０および投射画像１６０を含む画像を投射面に投射する。投射部１３は、一般的なプロジェクタで構成することができる。

【0020】

画像取得部１４は、カメラ２０が撮像した画像データを取得する。画像取得部１４は、取得した画像データからパターン画像１２０の表示画像（以下、歪画像１４０）を抽出する。すなわち、画像取得部１４は、投射面に表示されたパターン画像１２０の表示画像に相当する歪画像１４０を取得する。

【0021】

歪量算出部１５は、歪画像１４０と期待画像１５０とを比較することによって、投射面の歪量（歪パラメータとも呼ぶ）を算出する。

【0022】

歪補正処理部１６は、歪量算出部１５が算出した歪量を用いて、投射面に所望の投射画像１６０が表示されるように歪補正を行う。すなわち、歪補正処理部１６は、歪量算出部１５によって算出された歪量を用いて投射面に投射する投射画像１６０を補正する。

【0023】

カメラ２０は投射装置１０と接続される。カメラ２０は、投射面を撮像し、撮像した画像データを画像取得部１４に出力する。カメラ２０は、一般的なカメラで構成することができる。

【0024】

（本キャリブレーション）
図３〜図６は、本実施形態におけるキャリブレーション（以下、本キャリブレーション）について説明するための概念図である。本実施形態においては、凹凸のある投射面に映像を投影する際に、投射面上の凹凸に起因する映像の移動量（歪）を領域毎に算出することによって、平面に投影するのと同等の品質で凹凸のある投射面に画像を表示させる。

【0025】

図３は、複数の三角形で構成されるパターン画像１２０を凹凸面１００に投射した際に表示される表示画像１０１の一例を示す。画像取得部１４は、表示画像１０１から歪画像１４０を抽出する。図３において、いくつかの三角形の内部に示す数字は、それらの三角形に付与した番号である。なお、パターン画像１２０は、一部を順番に投射してもよいし、全体を一括で表示させてもよい。

【0026】

パターン画像を構成する三角形の大きさは、凹凸の大小に応じて変更すればよい。例えば、凹凸が大きい投射面では、パターン画像１２０を構成する三角形を小さくする。三角形を小さくすれば、補正の精度が上がるために映像品質が向上する。また、例えば、凹凸の小さい投射面では、パターン画像１２０を構成する三角形を大きくする。三角形を大きくすれば、キャリブレーションにかかる時間を短縮することができる。

【0027】

カメラ２０は、凹凸面１００を撮像する。凹凸面１００に表示された表示画像１０１は、凹凸面１００の状態に応じた歪を含む。

【0028】

図４は、パターン画像１２０を平面２００に投射した場合に表示されることが期待される期待画像２０１の一例を示す。図４の期待画像２０１は、事前に記憶部１１に記憶しておけばよく、実際に表示させる必要はない。図４において、いくつかの三角形の内部に示す数字は、それらの三角形に付与した番号である。同じ番号が付与された図３の三角形と図４の三角形とが対応する三角形であり、それらの形状や位置の違いが歪量に反映される。図３および図４の対応する三角形の形状や位置の違いが大きいほど歪量が大きい。

【0029】

図５は、表示画像１０１（歪画像に相当）と期待画像２０１とを比較する例である。本実施形態においては、表示画像１０１と期待画像２０１とを三角形ごとに比較する。例えば、表示画像１０１の左上の三角形ａｂｃは、期待画像２０１の三角形ＡＢＣと比較される。本実施形態においては、三角形ａｂｃと三角形ＡＢＣとの間の移動量２０５を算出し、三角形ごとの移動量２０５から逆行列（歪パラメータ）を算出する。すなわち、歪量算出部１５は、表示画像１０１（歪画像）を構成する三角形ａｂｃを、期待画像２０１を構成する三角形ＡＢＣに変換する行列の逆行列を歪パラメータとして算出する。歪補正処理部１６は、ここで算出される逆行列を用いて、投射面に表示される投射画像１６０の歪を補正する。

【0030】

図６は、歪補正された投射画像１６０を凹凸面１００に表示させる例である。本実施形態においては、投射装置１０から投射する映像を歪パラメータによってあらかじめ歪ませて投射することにより、凹凸面１００に投射されても歪がない映像を表示させることができる。すなわち、本実施形態においては、そのまま凹凸面１００に投射すると歪んでしまう投射画像に予め歪補正をすることによって、図６のように、平面に投射されるのと同じように凹凸面１００に投射画像１６０を表示させる。

【0031】

（動作）
次に、本実施形態に係る投射装置の動作について説明する。図７は、本実施形態に係る投射装置１０の動作を示すフローチャートである。

【0032】

まず、画像出力部１２は、パターン画像１２０を記憶部１１から取得し、取得したパターン画像１２０を出力する。投射部１３は、画像出力部１２が出力したパターン画像１２０を投射する（ステップＳ１１）。投射部１３から投射されたパターン画像１２０は、投射面上に表示される。

【0033】

カメラ２０は、投射面に表示された表示画像１０１を撮像する。画像取得部１４は、カメラによって撮像された表示画像１０１を取得し、取得した表示画像１０１から歪画像１４０を抽出する（ステップＳ１２）。画像取得部１４は、抽出した歪画像１４０を歪量算出部１５に出力する。

【0034】

歪量算出部１５は、画像取得部１４から歪画像１４０を取得するとともに、記憶部１１から期待画像１５０を取得する。そして、歪量算出部１５は、歪画像１４０と期待画像１５０とを比較することにより、歪パラメータを算出する（ステップＳ１３）。

【0035】

ここで、パターン画像を構成する三角形のうちキャリブレーションすべき三角形が残っており、キャリブレーションを継続する場合（ステップＳ１４でＹｅｓ）は、ステップＳ１１に戻る。一方、キャリブレーションを終了する場合（ステップＳ１４でＮｏ）は、ステップＳ１５に進む。

【0036】

キャリブレーションが終了すると（ステップＳ１４でＮｏ）、歪補正処理部１６は、歪量算出部１５から歪パラメータを取得する。歪補正処理部１６は、所望の投射画像１６０を記憶部１１から取得し、歪パラメータを用いて投射画像１６０を補正する（ステップＳ１５）。

【0037】

画像出力部１２は、補正された投射画像１６０を投射部１３に出力する。投射部１３は、補正された投射画像１６０を投射する（ステップＳ１６）。

【0038】

以上が、本実施形態に係る投射装置の動作についての説明である。

【0039】

（具体例）
ここで、本実施形態に係る投射装置が行うキャリブレーションについて、図８〜図１０を用いてより詳細に説明する。

【0040】

図８は、凹凸面１０３に表示画像１０４を表示させる例である。図８の例では、十字型のパターンをａ、ｂ、ｃ、ｄ、ｅ、・・・というような順番で凹凸面１０３に投射することによって表示画像１０４を順次表示させていき、三つの頂点によって形成される三角形ごとに歪パラメータを計算していく。

【0041】

キャリブレーション開始時において、投射装置１０は、パターンａ、ｂ、ｃを凹凸面１０３に順番に投影する。投影された十字型のパターンは、三角形ａｂｃを形成する。カメラ２０は、凹凸面１０３を撮像し、三角形ａｂｃを投射装置１０にフィードバックする。この段階では、表示画像１０４に含まれる三角形ａｂｃのみが取得される。

【0042】

歪量算出部１５は、取得された三角形ａｂｃと、期待画像１０５の三角形ＡＢＣとを用いて、以下の式１の関係を用いて逆行列Ｔ^-1を算出する。逆行列Ｔ^-1は、凹凸面１０３の局所的な状態に応じて三角形ａｂｃを三角形ＡＢＣに変換するための変換行列Ｔの逆行列であり、歪パラメータに相当する。式１の三角形ａｂｃや三角形ＡＢＣは、通常は２次元座標系で表現されるが、３次元座標系で表現されてもよい。変換行列Ｔのサイズや成分は、三角形ａｂｃや三角形ＡＢＣの座標系や変換条件に対応させて設定する。なお、歪パラメータの算出においては、三角形を構成する各頂点の移動量や各辺の傾きの違い、面積の違い、形状から求められる歪量などを考慮すればよい。
三角形ａｂｃ＝Ｔ^-1三角形ＡＢＣ・・・（１）
続けて、投射装置１０は、パターンｄ、ｅ、・・・を順番に投射していき、三角形ｂｃｄ、三角形ｃｄｅ、・・・の順に逆行列（歪パラメータ）を順次求めていく。すなわち、投射装置１０は、投射するパターンによって形成される三角形ごとに、表示画像１０４と期待画像１０５とに含まれる対応関係にある三角形を比較して歪パラメータを算出していく。その結果、投射装置１０は、凹凸面１０３の局所的な状態に応じた歪パラメータを求めることができる。

【0043】

次に、求めた歪パラメータを用いて投射画像を補正する例を示す。図１０のように、歪補正処理部１６は、三角形ごとの歪パラメータを用いて投射画像１０６を補正する。

【0044】

すなわち、歪補正処理部１６は、歪を補正した表示画像（以下、歪補正画像１０７）を凹凸面１０３上に表示させるために、歪補正画像１０７に逆行列（歪パラメータ）を適用することによって投射画像１０６の参照画素位置を算出する。歪補正処理部１６は、歪補正画像１０７の画素ごとに投射画像１０６の参照画素位置を算出すればよい。

【0045】

歪補正処理部１６は、歪補正画像１０７上に定義される三角形ごとに投射画像１０６の参照画素位置を算出する。このとき、歪補正処理部１６は、歪補正画像１０７の全領域に対して投射画像１０６の参照画素位置を算出することによって、凹凸面１０３に表示すべき画像を完成させる。なお、歪補正処理部１６は、歪補正画像１０７上に定義される三角形の全てについて歪パラメータが算出された段階で、投射画像１０６の参照画素位置を算出してもよい。

【0046】

以上のように、本実施形態によれば、複雑な凹凸を有する投射面であっても、平面と同様に画像を表示させることができる。

【0047】

本実施形態によれば、凹凸の大きい投射面では、パターン画像を構成する三角形のサイズを小さくすることにより、補正の精度が向上させて映像品質を向上することができる。また、本実施形態によれば、凹凸の小さい投射面では、パターン画像を構成する三角形のサイズを大きくすることにより、キャリブレーションにかかる時間を短縮することができる。

【0048】

ここで、カメラ２０の配置例を示す（図１１）。図１１の例では、凹凸面１００に投影された映像を見る観客の視点に合わせてカメラ２０を配置する。すなわち、図１１では、凹凸面１００（投射面）を鑑賞する位置にカメラ２０が設置される。

【0049】

カメラ２０は、観客が凹凸面１００を鑑賞する位置から凹凸面１００に表示された表示画像１０１を撮像する。

【0050】

投射装置１０は、カメラ２０から取得した表示画像１０１と期待画像２０１とを比較し、その差分から表示画像１０１の歪を検出する。この歪は、観客の視点から凹凸面１００を鑑賞した際に発生する歪を反映している。投射装置１０は、この歪みから歪パラメータを生成し、生成した歪パラメータで補正した投射画像１６０を凹凸面１００に投射する。この結果、観客は、歪のない投射画像を凹凸面１００上で鑑賞することができる。

【0051】

一般的なプロジェクションマッピングでは、投射画像を表示させる凹凸のある壁面の寸法を実際に測定しておく必要があった。そして、実測した凹凸面の状況を計算に入れてＣＡＤ（Computer Aided Design）等で図面を起こすことが必要であった。さらに、３次元のコンピュータグラフィックスソフトウェア等によって仮想空間をパソコンの中で作成し、実際にどのように表示されるのかをシミュレーションしながら映像の歪みを調整する必要があった。

【0052】

本実施形態によれば、壁面の寸法測定や、パソコンの中での仮想空間での歪み調整の手間をなくし、現場においても容易かつ短時間でキャリブレーションを実行することができる。

【0053】

（第２の実施形態）
次に、本発明の第２の実施形態に係る投射装置について説明する。第２の実施形態に係る投射装置は、局所的に大きな歪を有する凹凸面１００に投射画像１６０を投射するためのキャリブレーションを行う。

【0054】

図１２は、局所的に大きな歪を有する凹凸面に表示された歪画像１２１と、対応する期待画像２２１とを比較する例を示す。図１２においては、パターンａの投射位置が大きく歪んでいるため、三角形ａｂｃと三角形ＡＢＣとの間の移動量２０５が大きくなっている。

【0055】

図１２のように、局所的に大きな歪が発生した場合、歪量算出部１５は、パターン画像１２０の表示画像を構成する三角形のうち歪が大きな三角形を細分化する指示を出す。

【0056】

歪補正処理部１６は、歪量算出部１５からの指示に応じて、歪の大きな三角形を細分化する処理を行う。すなわち、歪補正処理部１６は、一定量以上の歪が発生した場合、期待画像を構成する領域をより細分化する。

【0057】

歪補正処理部１６は、図１３のように、期待画像２２１の一部をさらに細かく区分した期待画像２２２を生成する。なお、図１３は、期待画像２２１の一部を切り出すことを概念化したものであり、図１２における三角形ＡＢＣと三角形ａｂｃとの位置関係を正確に図示しているわけではない。本実施形態においては、細分化された領域（三角形）のそれぞれから歪補正画像を作成することによって、さらに高品質の画像を表示させることができる。

【0058】

図１３の例では、三角形ＡＢＣを４つの三角形（三角形ＡＳＴ、三角形ＢＵＴ、三角形ＣＳＵ、三角形ＳＵＴ）に細分化している。各三角形（三角形ＡＳＴ、三角形ＢＵＴ、三角形ＣＳＵ、三角形ＳＵＴ）に対応するのが、三角形ａｓｔ、三角形ｂｕｔ、三角形ｃｓｕ、三角形ｓｕｔである。

【0059】

図１２のように、三角形ＡＢＣと三角形ａｂｃとを比較しただけでは、歪が大きすぎて適正な画像を表示させることは難しい。このような場合、三角形ＡＢＣを細分化すれば、凹凸の局所状態をより反映することができるため、局所的な歪を解消することができる。すなわち、本実施形態によれば、期待画像２２２を構成する領域を細分化することによって、局所的に大きな歪がある場合であっても歪パラメータを正確に算出することができる。

【0060】

以上のように、本実施形態によれば、パターン画像を細分化することによって、局所的な歪みに対しても品質の高い映像を提供することが可能である。

【0061】

（第３の実施形態）
次に、本発明の第３の実施形態に係る投射装置について説明する。第３の実施形態に係る投射装置は、通常の方法で投影すると凹凸面の状態によって表示画像の端部が欠損して表示される場合に対応する例を示す。本実施形態においては、第１の実施形態に係るキャリブレーション（本キャリブレーション）の前に、画像の端画素を利用したキャリブレーション（以下、端画素キャリブレーション）を実行する。

【0062】

図１４のように、本実施形態に係る投射装置１０−３は、第１の実施形態に係る投射装置１０に端画素調整部１７を追加した構成を有する。

【0063】

端画素調整部１７は、表示画像の端部が欠損する場合、本キャリブレーションの前に、端画素を用いた端画素キャリブレーションを実行する。

【0064】

図１５は、投射面の表面状態に伴って、表示させたい期待画像２３１（左側）が表示画像２３２（右側）のように表示される例を示す。表示画像２３２（右側）は、両脇が抉れたように凹凸面に表示される。

【0065】

図１６は、端画素キャリブレーションを説明するための概念図である。

【0066】

まず、端画素キャリブレーションにおいては、期待画像２３１の端部に沿って、端画素参照を実行する。端画素参照において、投射装置１０−３は、図１６の右側のように１→２→３→４のような順番で端部の画素（以下、端画素）を投射していく。

【0067】

カメラ２０は、図１６の右側の順番で投射された端画素を撮像する。投射装置１０−３は、カメラ２０が撮像した端画素の位置から定義される端画素参照位置２３４（図１６の右側）を算出する。

【0068】

次に、端画素調整部１７は、図１７の左側のように、端画素参照位置２３４と期待画像２３１とを重ねあわせた画像を生成する。このとき、期待画像２３１の両脇部分は、端画素参照位置２３４からはみ出てしまっている。このままの状態で投射画像１６０を投射すると、投射画像１６０の端部が欠損した状態で表示されてしまう。

【0069】

ここで、端画素調整部１７は、図１７の右側のように、端画素参照位置２３４の範囲内に収まるように期待画像２３１を縮小した縮小期待画像２３５を生成する。

【0070】

端画素調整部１７が生成した縮小期待画像２３５を用いて本キャリブレーションを行えば、投射画像１６０を投射しても欠損が発生することはない。

【0071】

以上のように、本実施形態に係る投射装置によれば、投射面の状況によって端部が欠損してしまうような場合に、端部が欠損しないように投射画像を適正に表示させることができる。

【0072】

（ハードウェア構成）
図１８は、本発明の第１〜第３の実施形態に係る投射装置のハードウェア構成の一例を示すブロック図である。なお、図１８は、各実施形態に係る投射装置を実現するための位置構成例であって、必要なスペックに合わせて構成を追加・削除してもよい。

【0073】

プロセッサ９１は、記憶媒体９８等に格納されたプログラムを主記憶装置９５等に展開し、展開されたプログラムを実行する演算装置である。プロセッサ９１は、一般的な中央演算処理装置（ＣＰＵ：Central Processing Unit）で構成すればよい。歪量算出部１５や歪補正処理部１６の機能の一部は、プロセッサ９１に負わせればよい。

【0074】

投射系９２は、光源や液晶パネル、投射レンズなどを含む投射装置である。光源は、ハロゲンランプやキセノンランプ、メタルハライドランプ、超高圧水銀ランプ、レーザなどを用いて構成される。液晶パネルは、光源から出射された光を部分的に遮ったり、透過させたりする。投射レンズは、液晶パネルを通過した光を投射面に投射するためのレンズである。なお、投射系９２には、投射方向や拡大率などを制御する制御系を備えていてもよい。投射部１３の機能は、投射系９２に負わせればよい。

【0075】

コンバータ９３は、外部から入力されたアナログデータをデジタル変換する機能と、内部で生成されたデジタルデータをアナログ変換する機能とを有する回路である。コンバータ９３は、アナログデータをデジタル変換するＡ／Ｄ（Analog/Digital）変換コンバータと、デジタルデータをアナログ変換するＤ／Ａ（Digital/Analog）変換コンバータとを別々に構成してもよい。例えば、画像取得部１４にＡ／Ｄ変換機能を持たせ、画像出力部１２にＤ／Ａ変換機能を持たせればよい。

【0076】

主記憶装置９５は、プロセッサ９１が扱うプログラムやデータを一時的に展開するための記憶領域を有する装置である。例えば、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）を主記憶装置９５として構成することができる。記憶部１１の機能の一部を主記憶装置９５に負わせてもよい。

【0077】

入出力インターフェース９６は、外部や内部の入出力機器との間のデータ授受を行うインターフェースである。例えば、入出力インターフェース９６は、カメラ２０と接続される。また、例えば、入出力インターフェース９６は、図示しないキーボードやマウスなどの入力装置、図示しないディスプレイやプリンタ、ネットワークなどと接続されてもよい。投射部１３を入出力機器ととらえる場合、画像出力部１２の機能は、入出力インターフェース９６に負わせればよい。

【0078】

画像処理回路９７は、画像データに対して種々の処理を行う回路である。画像処理回路９７は、例えば、撮像データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行する集積回路である。歪量算出部１５や歪補正処理部１６の機能の一部は、画像処理回路９７に負わせればよい。

【0079】

記憶媒体９８は、プログラムやデータを記憶する媒体である。例えば、ハードディスクなどを記憶媒体９８として用いることができる。また、ＲＯＭ（Read Only Memory）を記憶媒体９８に加えてもよい。記憶部１１の機能は、記憶媒体９８に負わせればよい。記憶媒体は、例えばＳＤ（Secure Digital）カードやＵＳＢ（Universal Serial Bus）メモリなどの半導体記憶媒体などで実現してもよい。また、記憶媒体は、フレキシブルディスクなどの磁気記憶媒体、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc）などの光学記憶媒体やその他の記憶媒体によって実現してもよい。

【0080】

以上が、本発明の実施形態に係る投射装置を可能とするためのハードウェア構成の一例である。なお、図１８のハードウェア構成は、本実施形態に係る投射装置を可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、本実施形態に係る投射装置による処理をコンピュータに実行させる処理プログラムも本発明の範囲に含まれる。さらに、本発明の実施形態に係る処理プログラムを記録したプログラム記憶媒体も本発明の範囲に含まれる。

【0081】

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0082】

この出願は、２０１５年９月１日に出願された日本出願特願２０１５−１７１８７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0083】

１０ 投射装置
１１ 記憶部
１２ 画像出力部
１３ 投射部
１４ 画像取得部
１５ 歪量算出部
１６ 歪補正処理部
１７ 端画素調整部
２０ カメラ
９１ プロセッサ
９２ 投射系
９３ コンバータ
９５ 主記憶装置
９６ 入出力インターフェース
９７ 画像処理回路
９８ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】