特許 6780315 投影装置、投影システム、投影方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6780315

(24)【登録日】2020年10月19日

(45)【発行日】2020年11月4日

(54)【発明の名称】投影装置、投影システム、投影方法及びプログラム

(51)【国際特許分類】

   G03B 21/14 20060101AFI20201026BHJP

   G03B 21/00 20060101ALI20201026BHJP

   G09G 5/00 20060101ALI20201026BHJP

   G09G 5/36 20060101ALI20201026BHJP

   H04N 5/74 20060101ALI20201026BHJP

   G06T 1/00 20060101ALI20201026BHJP

【ＦＩ】

   G03B21/14 Z

   G03B21/00 F

   G09G5/00 510B

   G09G5/00 550C

   G09G5/36 520D

   G09G5/36 520P

   G09G5/00 X

   G09G5/00 510H

   G09G5/00 550D

   H04N5/74 D

   G06T1/00 500A

【請求項の数】4

【全頁数】15

(21)【出願番号】特願2016-123603(P2016-123603)

(22)【出願日】2016年6月22日

(65)【公開番号】特開2017-227761(P2017-227761A)

(43)【公開日】2017年12月28日

【審査請求日】2019年6月5日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100189913

【弁理士】

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】山口 倫治

(72)【発明者】

【氏名】高橋 敦英

(72)【発明者】

【氏名】石濱 孝規

(72)【発明者】

【氏名】黒崎 秀将

(72)【発明者】

【氏名】藤本 正樹

【審査官】 中村 直行

(56)【参考文献】

【文献】 特開２０１３−２４７６０１（ＪＰ，Ａ）

【文献】 特開２００３−００９０３９（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０２７５２７（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／０５５６２５（ＷＯ，Ａ１）

【文献】 特開２０１０−０６６３２７（ＪＰ，Ａ）

【文献】 特開２００６−１７８１５５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０１０３１９７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０２３２６１３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｂ ２１／００ − ２１／６４

Ｇ０９Ｇ ３／００ − ５／４２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／７４

(57)【特許請求の範囲】

【請求項1】

画像を投影する全天球タイプの投影装置と、上記投影装置の投影範囲を撮影する撮影装置と、を有する投影システムであって、
上記投影装置は、上記投影装置の取付基部方向を除く面に連続した投影画像を投影し、
上記投影装置が投影するテストパターン画像を観賞者の視点位置から撮影する撮影部と、
上記撮影部から得られた前記テストパターン画像に対して境界部分を継ぎ合わせる合成処理を実行することで天球状に連続した画像を得る合成部と、
上記合成部で得られた画像中の複数の被投影面を区分設定する区分設定部と、
上記区分設定部で区分設定した内容から、複数の被投影面の情報と、上記観賞者の視点の上記投影装置に対する位置情報と、を取得する取得部と、
上記取得部で取得した複数の被投影面の情報と視点の上記投影装置に対する位置情報とにより、観賞者の視点から見て画像が自然に連続するように、上記投影装置で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成部と、
画像に対する上記行列式作成部で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成部と、
を上記投影装置及び撮影装置のいずれか一方が備え、
画像に対し、上記マスク作成部で作成した補正マスク情報の対応領域毎に上記行列式作成部で作成した各補正視点変換行列で変形演算した後に上記投影装置で投影させる投影制御部を上記投影装置が備える
ことを特徴とする投影システム。

【請求項2】

上記撮影装置は、表示部と一体化したタッチパネルを備え、
上記区分設定部は、上記投影装置が投影するテストパターン画像を上記撮影装置で観賞者の視点位置から撮影して得られる撮影画像を上記表示部で表示し、表示した画像に対する上記タッチパネルでの操作を受付けて複数の被投影面を区分設定する、
ことを特徴とする請求項１記載の投影システム。

【請求項3】

画像を投影する全天球タイプの投影部と、上記投影部の投影範囲を撮影する撮影部と、、
を備えたシステムでの投影方法であって、
上記投影部は、上記投影部の取付基部方向を除く面に連続した投影画像を投影し、
上記投影部が投影するテストパターン画像を観賞者の視点位置から撮影する撮影工程と、
上記撮影工程から得られた前記テストパターン画像に対して境界部分を継ぎ合わせる合成処理を実行することで天球状に連続した画像を得る合成工程と、
上記合成工程で得られた画像中の複数の被投影面を区分設定する区分設定工程と、
上記区分設定工程で区分設定した内容から、複数の被投影面の情報と、上記観賞者の視点の上記投影部に対する位置情報と、を取得する取得工程と、
上記取得工程で取得した複数の被投影面の情報と視点の上記投影部に対する位置情報とにより、観賞者の視点から見て画像が自然に連続するように、上記投影部で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成工程と、
画像に対する上記行列式作成工程で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成工程と、
を上記投影部及び撮影部のいずれか一方が実行し、
画像に対し、上記マスク作成工程で作成した補正マスク情報の対応領域毎に上記行列式作成工程で作成した各補正視点変換行列で変形演算した後に上記投影部で投影させる投影制御工程を上記投影部が実行する、
ことを特徴とする投影方法。

【請求項4】

画像を投影する全天球タイプの投影部と、上記投影部の投影範囲を撮影する撮影部と、を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
取付基部方向を除く面に連続した投影画像を投影する上記投影部が投影するテストパターン画像を観賞者の視点位置から撮影する撮影部、
上記撮影部から得られた前記テストパターン画像に対して境界部分を継ぎ合わせる合成処理を実行することで天球状に連続した画像を得る合成部、
上記合成部で得られた画像中の複数の被投影面を区分設定する区分設定部、
上記区分設定部で区分設定した内容から、複数の被投影面の情報と、上記観賞者の視点の上記投影部に対する位置情報と、を取得する取得部、
上記取得部で取得した複数の被投影面の情報と視点の上記投影部に対する位置情報とにより、観賞者の視点から見て画像が自然に連続するように、上記投影部で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成部、
画像に対する上記行列式作成部で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成部、
画像に対し、上記マスク作成部で作成した補正マスク情報の対応領域毎に上記行列式作成部で作成した各補正視点変換行列で変形演算した後に上記投影部で投影させる投影制御部、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投影装置、投影システム、投影方法及びプログラムに関する。

【背景技術】

【0002】

画像表示装置の表示面の正面からずれた位置において、表示面を観察している観察者が歪みのない画像を観察することができる画像表示を行なうための技術が提案されている。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１２０３４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献に記載された技術は、平面の画像を表示する際の観察者から見た画像の歪みを修正するようにした技術である。

【0005】

ところで近年のビデオ鑑賞方法の多様化や、ＶＲ（仮想現実）技術を用いたゲームの製品化、家庭用プラネタリウムの普及等に伴い、一平面だけではなく多平面、例えば室内の天井面と４つの壁面、及び床面に連続した画像を投影させるような、所謂、全天球タイプと称される投影装置が提案されている。

【0006】

この種の全天球タイプの投影装置では、例えば天井面に専用の金具で装置本体を固定して投影を実行することで、装置の取付基部方向を除くほとんど全ての面に連続した画像を投影することができる。

【0007】

しかしながら、上記のような投影装置で画像を投影した場合、投影レンズの位置と、その画像を観賞する観賞者の視点の位置とが異なるため、特に壁面と壁面とが交差する角部などでは、本来の投影画像が直線であっても、観賞者からは屈曲した線に見えるなど、観賞者からは歪んだ画像が見えることになる。

【0008】

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、全天球タイプの画像投影に際して、観賞者が見易い自然な画像を投影することが可能な投影装置、投影システム、投影方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

本発明の一態様は、画像を投影する全天球タイプの投影装置と、上記投影装置の投影範囲を撮影する撮影装置と、を有する投影システムであって、上記投影装置は、上記投影装置の取付基部方向を除く面に連続した投影画像を投影し、上記投影装置が投影するテストパターン画像を観賞者の視点位置から撮影する撮影部と、上記撮影部から得られた前記テストパターン画像に対して境界部分を継ぎ合わせる合成処理を実行することで天球状に連続した画像を得る合成部と、上記合成部で得られた画像中の複数の被投影面を区分設定する区分設定部と、上記区分設定部で区分設定した内容から、複数の被投影面の情報と、上記観賞者の視点の上記投影装置に対する位置情報と、を取得する取得部と、上記取得部で取得した複数の被投影面の情報と視点の上記投影装置に対する位置情報とにより、観賞者の視点から見て画像が自然に連続するように、上記投影装置で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成部と、画像に対する上記行列式作成部で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成部と、を上記投影装置及び撮影装置のいずれか一方が備え、画像に対し、上記マスク作成部で作成した補正マスク情報の対応領域毎に上記行列式作成部で作成した各補正視点変換行列で変形演算した後に上記投影装置で投影させる投影制御部を上記投影装置が備えることを特徴とする。

【発明の効果】

【0010】

本発明によれば、全天球タイプの画像投影に際して、観賞者が見易い自然な画像を投影することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施形態に係るプロジェクタの主として電子回路の機能構成を示すブロック図。

【図2】同実施形態に係るプロジェクタの使用を想定した部屋と観賞者の環境の例を示す図。

【図3】同実施形態に係る図２の投影環境でプロジェクタが認識すべき投影面を示す図。

【図4】同実施形態に係るプロジェクタを設置した当初に実行する初期設定動作の基本的な処理内容を示すフローチャート。

【図5】同実施形態に係る補正マスク情報を示す図

【図6】同実施形態に係る投影動作時の基本的な処理内容を示すフローチャート。

【図7】本発明の第２の実施形態に係る初期設定動作時の処理内容を示すフローチャート。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、詳細に説明する。
（第１の実施形態）
以下、本発明を室内の天井面の略中央に専用の金具で固定して使用するプロジェクタ（投影部）１０に適用した場合の第１の実施形態について、図面を参照して説明する。

【0013】

図１は、このプロジェクタ１０の主として電子回路の機能構成を説明する。同図中、データ記憶部１１から投影すべき画像データが読出され、バスＢを介して投影画像駆動部１２に送られる。

【0014】

このデータ記憶部１１にはまた、後述する補正マスクデータや視点補正行列群データ等も記憶される。

【0015】

上記投影画像駆動部１２は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子１３を表示駆動する。

【0016】

このマイクロミラー素子１３は、アレイ状に配列された複数個、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

【0017】

一方で、光源部１４から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部１４は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部１４が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。

【0018】

また、ＬＥＤから出射された光を蛍光体に照射することで励起される、元の光とは波長が異なる原色光を用いるものとしても良い。この光源部１４からの原色光が、ミラー１５で全反射して上記マイクロミラー素子１３に照射される。

【0019】

そして、マイクロミラー素子１３での反射光で光像が形成され、形成された光像が投影レンズ部１６を介して外部に投射される。

【0020】

この投影レンズ部１６は、所謂魚眼レンズと呼称される超広角レンズにより、基部方向を除く全球画像を投影するもので、例えば投影光軸に沿った平面において投影画角２７０°、投影光軸と直交する平面において投影画角３６０°を実現するものである。
上記投影画像駆動部１２、マイクロミラー素子１３、光源部１４、ミラー１５、及び投影レンズ部１６により投影系ＰＩを構成する。

【0021】

上記各回路の動作すべてをＣＰＵ１７が制御する。このＣＰＵ１７は、メインメモリ１８及びプログラムメモリ１９と直接接続される。メインメモリ１８は、例えばＳＲＡＭで構成され、ＣＰＵ１７のワークメモリとして機能する。プログラムメモリ１９は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ１７が実行する動作プログラム、その他各種定型データ等を記憶する。

【0022】

ＣＰＵ１７は、上記プログラムメモリ１９に記憶されている動作プログラムや定型データ等を読出し、メインメモリ１８に展開して記憶させた上で当該プログラムを実行することにより、このプロジェクタ１０を統括して制御する。

【0023】

上記ＣＰＵ１７は、操作部２０からの操作信号に応じて各種投影動作を実行する。この操作部２０は、プロジェクタ１０の本体に備えるいくつかの操作キー、及びこのプロジェクタ１０専用の図示しないリモートコントローラからのキー操作信号を実施する受信部を含み、受付けたキー操作信号に応じた信号を上記ＣＰＵ１７へ送出する。

【0024】

上記ＣＰＵ１７はさらに、上記バスＢを介して音声処理部２１、通信部２２と接続される。
音声処理部２１は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部２３を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

【0025】

通信部２２は、例えばＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎ／１１ａｃ規格に則った無線ＬＡＮ通信、及びＩＥＥＥ８０２．１５規格に則った近距離無線通信によりアンテナ２４を介してプロジェクタ１０外部の機器とデータの送受信を行なう。

【0026】

次に上記実施形態の動作について説明する。
図２は、上記プロジェクタ１０の使用を想定した部屋ＲＭと観賞者ＥＪの環境の例を示す図である。同図で、プロジェクタ１０は部屋ＲＭの天井面の略中央に専用の天吊り金具（図示せず）により設置されるもので、投影レンズ部１６の投影光軸が直下方向に向けられる。

【0027】

ここでは、観賞者ＥＪがプロジェクタ１０のほぼ真下に載置されたソファＳＦに腰掛けた状態で、図の左方の壁に対向している。この観賞者ＥＪから見て右後方のコーナー部に棚ＳＬが設置されている。

【0028】

プロジェクタ１０を設置した当初の初期設定動作として、観賞者ＥＪの視点位置を設定する視点補正処理を実行する。また、部屋ＲＭの模様替えなどで棚ＳＬを含む家具の配置換えなどが実行された場合も、投影面が変わるために上記視点補正処理を実行する必要がある。

【0029】

図３は、上記図２の投影環境でプロジェクタ１０が認識すべき投影面を示す。すなわちここで投影面は、天井面ＴＰ、壁面ＷＬ１，ＷＬ２，ＷＬ３，ＷＬ４、床面ＦＬ、棚上面ＳＴ、棚側面ＳＳ１，ＳＳ２からなる。なお、上記壁面ＷＬ４は、この図３において、部屋ＲＭを切り開いた状態としているために図示していないが、上記壁面ＷＬ２と対向して、上記壁面ＷＬ１，ＷＬ３と隣接する、手前側の壁面である。

【0030】

次に図４を用いて、上述したプロジェクタ１０を設置した当初に実行する初期設定動作の基本的な処理の流れについて説明する。

【0031】

なお以下に示す動作は、上述した如くプロジェクタ１０のＣＰＵ１７が、プログラムメモリ１９から読出した動作プログラム等をメインメモリ１８に展開した上で実行するものである。プログラムメモリ１９に記憶される動作プログラム等は、このプロジェクタ１０の工場出荷時にプログラムメモリ１９に記憶されていたもののみならず、ユーザがこのプロジェクタ１０を購入した後にバージョンアップ用のプログラム等をインストールする内容を含む。

【0032】

その当初にＣＰＵ１７は、アンテナ２４及び通信部２２を介して外部の機器、例えばこのプロジェクタ１０専用のアプリケーションプログラムをインストールしたパーソナルコンピュータから、この部屋ＲＭの形状情報を取得する（ステップＳ１０１）。

【0033】

すなわち、上記アプリケーションプログラムにおいては、例えば部屋の形状と床面の縦横の辺の寸法、高さ、プロジェクタ１０を設置した位置と方向、主要な置物の置き場所と各寸法等を手順に従って入力することにより、必要な情報を作成してプロジェクタ１０へ送信する。情報を取得したプロジェクタ１０のＣＰＵ１７は、取得した情報をデータ記憶部１１に記憶させる。

【0034】

次いでＣＰＵ１７は、アンテナ２４及び通信部２２を介して外部の機器から、観賞者ＥＪの視点位置の情報を取得する（ステップＳ１０２）。

【0035】

すなわち上記アプリケーションプログラムにおいては、部屋ＲＭ内で観賞者ＥＪが座る位置と視点の高さ、及び主要な視線方向を手順に従って入力することにより、必要な情報を作成してプロジェクタ１０へ送信する。これにより、鑑賞者の視点のプロジェクタ１０に対する位置情報を取得できる。上記と同様に、情報を取得したプロジェクタ１０のＣＰＵ１７は、取得した情報をデータ記憶部１１に記憶させる。

【0036】

部屋の形状情報と観賞者の視点位置情報とを取得したＣＰＵ１７は、続いて各投影面毎に、観賞者ＥＪの視点から見て画像が自然に連続するように画像の投影位置を変換する視点補正行列を取り纏めた視点補正行列群を作成し、作成した視点補正行列群をデータ記憶部１１に記憶させる（ステップＳ１０３）。取得する被投影面の面情報としては、平面に限らず曲面でも良い。

【0037】

さらにＣＰＵ１７は、これら作成した視点補正行列群から、投影する画像中の画素位置に対応して、該当する投影面の視点補正行列を割り当てるための補正マスク情報を作成し、作成した補正マスク情報をデータ記憶部１１に記憶させて（ステップＳ１０４）、以上でこの図４の処理を終了する。。

【0038】

図５は、上記図４の処理によってＣＰＵ１７に作成された補正マスク情報を示す図である。上述したように投影レンズ部１６は魚眼レンズであり、投影光軸に沿った平面での投影画角が２７０°程度、投影光軸と直交する平面での投影画角が３６０°であるものとする。

【0039】

投影に用いる元画像は円形となっており、同図中に示すように各投影面の領域範囲が区分して設定されている。これら区分された各投影面の領域範囲毎に、対応する補正視点行列がデータ記憶部１１に記憶されており、それら補正視点行列を用いた座標変換を画像データに施すことで、観賞者ＥＪの視点位置から見た画像が各投影面で自然に連続したものとなる。
図６は、上記のようなプロジェクタ１０の初期設定を終え、実際にデータ記憶部１１に記憶している動画データ、あるいはアンテナ２４、通信部２２を介して外部から随時送信されてくる動画データを再生する際に、個々の１フレーム分の画像データに対して実行する、基本的な処理の流れを示す図である。

【0040】

すなわちＣＰＵ１７では、動画データを構成する個々の画像データに対して、投影前にデータ記憶部１１から読出し、あるいはアンテナ２４、通信部２２を介して当該画像データを取得した上で（ステップＳ２０１）、上記補正マスク情報と上記補正視点行列群とによる視点補正演算を実行する（ステップＳ２０２）。

【0041】

この視点補正演算においては、上述した如く元となる画像データに対して、補正マスク情報で区分設定される投影面毎の各画素情報を、対応する補正視点行列を用いて投影する座標位置を変換する演算を実行する。この変換演算により、観賞者ＥＪの視点位置から全体の画像が違和感なく連続しているように見えるようになる。

【0042】

こうして変換実行後の投影画像を用い、投影系ＰＩの投影画像駆動部１２によるマイクロミラー素子１３の表示動作と、光源部１４による発光動作とを同期させて実行することにより、マイクロミラー素子１３での反射光による投影画像が投影レンズ部１６によって部屋ＲＭ内のほぼ全面に渡って投影される（ステップＳ２０３）。

【0043】

以上に詳述した如く本実施形態によれば、全天球タイプの画像投影に際して、観賞者が見易い自然な画像を投影することが可能となる。

【0044】

なお上記実施形態では、プロジェクタ１０を設置した部屋ＲＭの形状情報と、観賞者ＥＪの視点位置情報がいずれも外部機器より入力されるものとして説明したが、プロジェクタ１０自体が上記投影レンズ部１６と同等の光学特性を有するレンズ光学系を含む撮像部を備えて、プロジェクタ１０により部屋ＲＭを撮影することにより、その形状情報と観賞者の視点位置情報とを取得するものとしても良い。

【0045】

その場合、例えば当該撮影部のレンズ開口に２色のカラーフィルタからなるカラー開口フィルタを設けるものとし、物体までの距離に応じてボケと色ズレが発生するため、その撮影画像から得られるボケと色ズレとを画像解析して、画素毎の物体までの距離を検出可能となる。

【0046】

したがって、得られる距離画像に基づいて、隣り合う画素間の距離の変化の連続性から各投影面を区分設定して位置情報を抽出する一方で、撮影画像から人物抽出処理及び顔認識処理した画像中の位置と上記距離画像とにより観賞者の視点の位置情報を取得することが可能となる。

【0047】

このようにプロジェクタ１０自体が撮像部を備えるものとすることで、プロジェクタ１０単体で上記図２乃至図６を用いて説明した初期設定動作が可能となり、取り扱いがより容易となる。

【0048】

（第２の実施形態）
以下、本発明をポータブルタイプのプロジェクタとし、携帯情報機器、例えばスマートフォンにインストールした専用のアプリプログラムを用いて初期設定するような投影システムに適用した第２の実施形態について説明する。

【0049】

なお、プロジェクタの機能的な回路構成自体は、上記図１に示した内容と基本的に同様であるものとし、同一部分には同一符号を使用して、その図示と説明とを省略するものとする。
同様に、スマートフォンのハードウェア回路の構成も、周知の技術と同様であるものとして、その図示と説明とを省略する。

【0050】

図７は、スマートフォンにインストールされたアプリケーションプログラムによる、プロジェクタ１０の初期設定のための処理内容を示すフローチャートである。同図では、ポータブルタイプのプロジェクタ１０を任意の画像投影を行なう場所に設置して電源を投入した上で、観賞者となるユーザが、観賞を行なう位置からスマートフォン側の当該アプリケーションアプリを起動して初期設定を行なうこととなる。

【0051】

その処理当初にスマートフォンでは、プロジェクタ１０に対してテストパターン画像の投影を指示するコマンドを送信する（ステップＳ３０１）。

【0052】

このコマンドをアンテナ２４、通信部２２を介して受信したプロジェクタ１０側では、ＣＰＵ１７がデータ記憶部１１から予め記憶しているテストパターンの画像データを読出して投影系ＰＩにより投影させる。

【0053】

スマートフォンでは、上記コマンド送信後に自動的にカメラモードの、特に撮影を行ないながら撮影範囲を移動させるパノラマ撮影モードを設定して連続的なシャッタボタンの操作を受付け、投影されたテストパターン画像の撮影を実行する（ステップＳ３０２）。

【0054】

このパノラマモードでの撮影に際してスマートフォンのユーザは、スマートフォンにより観賞位置から体を横方向に回転させながら撮影を続行し、１周３６０°の撮影を終えた時点でシャッタ操作をオフする。例えばシャッタボタンを指で押してから、指を離すまで撮影が行なわれる。

【0055】

また、パノラマモードでの撮影時にスマートフォンのレンズ光学系の撮影画角が最も広角となるように設定した状態で、縦（天地）方向の撮影範囲が投影されているテストパターン画像の範囲よりも狭い場合には、ユーザが２回転分連続して撮影を続行し、テストパターン画像の上側と下側とに分けて２周分７２０°に渡って撮影を行なうものとしても良い。

【0056】

スマートフォンでは、シャッタボタンがオフ操作されたか否かにより、撮影を終了したか否かを判断する（ステップＳ３０３）。ここでシャッタボタンがオフ操作されておらず、撮影が終了していないと判断した場合（ステップＳ３０３のＮｏ）、パノラマモードでの撮影を続行しながら、シャッタボタンがオフ操作されるのを待機する。

【0057】

上記ステップＳ３０３において、シャッタボタンがオフ操作され、撮影を終了したと判断した時点で（ステップＳ３０３のＹｅｓ）、スマートフォンでは撮影したテストパターン画像を、３６０°の範囲で天球状に連続した画像として境界部分を継ぎ合わせる合成処理を実行する（ステップＳ３０４）。

【0058】

合わせてスマートフォンでは、プロジェクタ１０に対してテストパターン画像の投影の停止を指示するコマンドを送信する（ステップＳ３０５）。

【0059】

このコマンドをアンテナ２４、通信部２２を介して受信したプロジェクタ１０側では、ＣＰＵ１７がその時点で投影系ＰＩによるテストパターン画像の投影を停止させる。

【0060】

さらにスマートフォン側では、上記合成処理により得られた画像に対して、ディスプレイ上で表示しながら、同ディスプレイと一体に設けられたタッチパネルで投影面のコーナーとなる点のタップ入力、投影面の辺となる位置のスクロール入力、及びディスプレイ上での表示位置を移動させるフリック入力を受付けることで、撮影した画像中の投影面を区分する入力をテストパターン画像に対応した座標位置の入力として受付ける（ステップＳ３０６）。

【0061】

この場合、さらにタッチパネル上で２本指によるスプレッド操作及びピンチ操作により、ディスプレイで表示している、撮影したテストパターン画像の拡大／縮小を行なうものとしても良い。

【0062】

これらの入力受付を行ないながら、さらにすべての投影面の区分入力を終了したことを指示する操作する入力がなされたか否かを判断する（ステップＳ３０７）。

【0063】

ここでまだすべての投影面の区分入力を終えておらず、その終了を指示する操作はなされていないと判断すると（ステップＳ３０７のＮｏ）、上記ステップＳ３０６からの処理に戻り、引き続き投影面の区分入力の受付を実行する。

【0064】

こうしてステップＳ３０６，Ｓ３０７の処理を繰返し実行し、投影面の区分入力を受付けながら、その入力を終えたことが操作されるのを待機する。

【0065】

そして上記ステップＳ３０７において、すべての投影面の区分入力を終えて、その終了を指示する操作がなされたと判断すると（ステップＳ３０７のＹｅｓ）、スマートフォンでは撮影され、撮影されたテストパターン画像におけるタッチ入力内容から、このプロジェクタ１０が設置された環境を構成する複数の投影面毎の位置座標情報を算出して所得する（ステップＳ３０８）。

【0066】

次にスマートフォンでは、これら投影面に囲まれたユーザ（観賞者）の視点位置の座標情報を算出して取得する（ステップＳ３０９）。

【0067】

部屋の各投影面の座標位置情報と観賞者の視点位置の座標情報とを取得したスマートフォンでは、各投影面毎に、ユーザである観賞者の視点から見て画像が自然に連続するように画像の投影位置を変換する視点補正行列を取り纏めた視点補正行列群を演算により作成する（ステップＳ３１０）。

【0068】

さらにスマートフォンでは、これら作成した視点補正行列群から、投影する画像中の画素位置に対応して、該当する投影面の視点補正行列を割り当てるための補正マスク情報を演算により作成する（ステップＳ３１１）。

【0069】

最後にスマートフォンは、作成した視点補正行列群の情報と補正マスクの情報とをプロジェクタ１０に対して送信し（ステップＳ３１２）、以上で図７に示す一連のプロジェクタ１０の初期設定のためのアプリケーションプログラムを終了する。

【0070】

スマートフォンから視点補正行列群の情報と補正マスクの情報とをアンテナ２４、通信部２２を介して受信したプロジェクタ１０のＣＰＵ１７では、以後、それらの情報に基づいて画像を変形して、この投影環境の形状と観賞者の視点位置とに応じた画像投影を実行可能となる。

【0071】

なお上記実施形態では、視点補正行列群の情報と補正マスクの情報とを演算により作成する処理をスマートフォン側で行なうものとして説明したが、これら演算処理はプロジェクタ１０側で実行するものとしても良い。

【0072】

以上に詳述した如く本実施形態によれば、ポータブルタイプのプロジェクタ１０に対し、例えばスマートフォンなどの撮像部と通信部とを有する携帯情報機器を用いて初期設定を実施することができるため、取り扱いを簡易化しながら、全天球タイプの画像投影に際して、観賞者が見易い自然な画像を投影することが可能となる。

【0073】

加えて上記実施形態では、携帯情報機器が有するディスプレイと一体化したタッチパネルでの操作により、各投影面を区分設定するための入力を受付けるものとしたので、視覚的に理解し易く、取り扱いをより簡易化できる。

【0074】

なお、上述した如くプロジェクタ１０の初期設定を行なう携帯情報機器はスマートフォンに限らず、撮像部と通信部とを有するような機器、例えばタブレットタイプのパーソナルコンピュータコンピュータや一般的なフィーチャーフォン等でも良い。

【0075】

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

【0076】

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
画像を投影する投影部と、
上記投影部が投影を行なう複数の被投影面の情報を取得する面情報取得部と、
観賞者の視点の上記投影部に対する位置情報を取得する視点情報取得部と、
上記面情報取得部で取得した複数の被投影面の情報と、上記視点情報取得部で取得した視点の位置情報とにより、上記投影部で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成部と、
画像に対する上記行列式作成部で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成部と、
画像に対し、上記マスク作成部で作成した補正マスク情報の対応領域毎に上記行列式作成部で作成した各補正視点変換行列で変形演算した後に上記投影部で投影させる投影制御部と、
を備えることを特徴とする投影装置。
［請求項２］
上記投影部の投影範囲を撮影可能なレンズ光学系を有する撮影部と、
上記撮影部で撮影した画像から距離画像を取得する距離画像取得手段と、
をさらに備え、
上記面情報取得部は、上記距離画像から複数の被投影面の位置情報を取得し、
上記視点情報取得部は、上記撮影部で撮影した画像から人物抽出処理及び顔認識処理した画像中の位置と上記距離画像とにより観賞者の視点の位置情報を取得する、
ことを特徴とする請求項１記載の投影装置。
［請求項３］
画像を投影する投影装置と、上記投影装置の投影範囲を撮影する撮影装置とを有する投影システムであって、
上記投影装置が投影するテストパターン画像を上記撮影装置で観賞者の視点位置から撮影して得られる撮影画像中の複数の被投影面を区分設定する区分設定部と、
上記区分設定部で区分設定した内容から、複数の被投影面の情報と、上記観賞者の視点の上記投影装置に対する位置情報とを取得する取得部と、
上記取得部で取得した複数の被投影面の情報と視点の上記投影装置に対する位置情報とにより、上記投影装置で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成部と、
画像に対する上記行列式作成部で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成部と、
を上記投影装置及び撮影装置のいずれか一方が備え、
画像に対し、上記マスク作成部で作成した補正マスク情報の対応領域毎に上記行列式作成部で作成した各補正視点変換行列で変形演算した後に上記投影装置で投影させる投影制御部を上記投影装置が備える
ことを特徴とする投影システム。
［請求項４］
上記撮影装置は、表示部と一体化したタッチパネルを備え、
上記区分設定部は、上記投影装置が投影するテストパターン画像を上記撮影装置で観賞者の視点位置から撮影して得られる撮影画像を上記表示部で表示し、表示した画像に対する上記タッチパネルでの操作を受付けて複数の被投影面を区分設定する、
ことを特徴とする請求項３記載の投影システム。
［請求項５］
画像を投影する投影部を備えた装置での投影方法であって、
上記投影部が投影を行なう複数の被投影面の情報を取得する面情報取得工程と、
観賞者の視点の上記投影部に対する位置情報を取得する視点情報取得工程と、
上記面情報取得工程で取得した複数の被投影面の情報と、上記視点情報取得工程で取得した視点の位置情報とにより、上記投影部で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成工程と、
画像に対する上記行列式作成工程で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成工程と、
画像に対し、上記マスク作成工程で作成した補正マスク情報の対応領域毎に上記行列式作成工程で作成した各補正視点変換行列で変形演算した後に上記投影部で投影させる投影制御工程と、
を有することを特徴とする投影方法。
［請求項６］
画像を投影する投影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
上記投影部が投影を行なう複数の被投影面の情報を取得する面情報取得部、
観賞者の視点の上記投影部に対する位置情報を取得する視点情報取得部、
上記面情報取得部で取得した複数の被投影面の情報と、上記視点情報取得部で取得した視点の位置情報とにより、上記投影部で投影する画像に対する被投影面毎の変形演算である補正視点変換行列群を作成する行列式作成部、
画像に対する上記行列式作成部で作成した各補正視点変換行列の対応領域を示す補正マスク情報を作成するマスク作成部、及び
画像に対し、上記マスク作成部で作成した補正マスク情報の対応領域毎に上記行列式作成部で作成した各補正視点変換行列で変形演算した後に上記投影部で投影させる投影制御部、
として機能させることを特徴とするプログラム。

【符号の説明】

【0077】

１０…プロジェクタ（投影部）、
１１…データ記憶部、
１２…投影画像駆動部、
１３…マイクロミラー素子、
１４…光源部、
１５…ミラー、
１６…投影レンズ部、
１７…ＣＰＵ、
１８…メインメモリ、
１９…プログラムメモリ、
２０…操作部、
２１…音声処理部、
２２…通信部、
２３…スピーカ部、
２４…アンテナ、
Ｂ…バス、
ＥＪ…観賞者、
ＦＬ…床面、
ＰＩ…投影系、
ＲＭ…部屋、
ＳＦ…ソファ、
ＳＬ…棚、
ＳＳ１，ＳＳ２…棚側面、
ＳＴ…棚上面、
ＴＰ…天井面、
ＷＬ１〜ＷＬ４…壁面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】