特開 2024-87977 投影制御装置、投影システム、投影制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024087977

(43)【公開日】2024-07-02

(54)【発明の名称】投影制御装置、投影システム、投影制御方法及びプログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20240625BHJP

   G03B 21/00 20060101ALI20240625BHJP

   G09G 5/00 20060101ALI20240625BHJP

   G09G 5/373 20060101ALI20240625BHJP

   G09G 5/37 20060101ALI20240625BHJP

   G06T 7/70 20170101ALI20240625BHJP

【ＦＩ】

H04N5/74 D

G03B21/00 D

G09G5/00 510B

G09G5/00 550C

G09G5/373 100

G09G5/37 320

G09G5/373 200

G06T7/70 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022202905

(22)【出願日】2022-12-20

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】斎藤 浩

【テーマコード（参考）】

2K203

5C058

5C182

5L096

【Ｆターム（参考）】

2K203FA25

2K203FA62

2K203FA82

2K203FA92

2K203FB04

2K203GB33

2K203GB48

2K203KA36

2K203KA83

2K203KA85

2K203MA21

5C058BA35

5C058EA02

5C182AA03

5C182AA04

5C182AA14

5C182AC02

5C182AC03

5C182AC35

5C182BA01

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA26

5C182BA29

5C182BC03

5C182BC22

5C182BC25

5C182BC26

5C182CA01

5C182CA21

5C182CB11

5C182CB13

5C182CB14

5C182CB23

5C182CB44

5C182CB47

5C182CC26

5L096AA06

5L096AA09

5L096BA08

5L096CA02

5L096DA02

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】画像の投影に係るより高度な視覚効果を実現する。
【解決手段】投影制御装置は、投影装置による投影可能領域内にある投影対象について、投影対象の位置及び向きの少なくとも一方の変化に応じて、投影装置により投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段を備える。投影システムは、画像を投影する投影装置と、投影装置の動作を制御する投影制御装置と、を備え、投影制御装置は、投影装置による投影可能領域内にある投影対象について、投影対象の位置及び向きの少なくとも一方の変化に応じて、投影装置により投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段を備える。
【選択図】図１８

【特許請求の範囲】

【請求項1】

投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段を備える投影制御装置。

【請求項2】

前記制御手段は、予め定められた位置から前記投影対象までの距離に対応する距離値を特定し、当該距離値に基づいて前記投影対象の前記位置を特定し、前記距離値に応じて表示倍率が異なるように調整された前記投影画像を、前記投影装置により前記投影対象の表面に投影させる、
請求項１に記載の投影制御装置。

【請求項3】

前記制御手段は、前記距離値が小さいほど前記表示倍率が大きくなるように調整された前記投影画像を、前記投影装置により前記投影対象の表面に投影させる、
請求項２に記載の投影制御装置。

【請求項4】

前記制御手段は、前記投影可能領域を含む範囲が撮影された画像である二次元撮影画像を取得し、当該二次元撮影画像における前記投影対象の画像内位置に基づいて前記投影対象の前記位置を特定し、所定の元画像のうち、前記二次元撮影画像における前記投影対象の前記画像内位置に対応する一部を、前記投影画像として前記投影対象の表面に投影させる、
請求項１に記載の投影制御装置。

【請求項5】

前記制御手段は、所定の元画像のうち、前記投影対象の前記向きに対応する一部を、前記投影画像として前記投影対象の表面に投影させる、
請求項１に記載の投影制御装置。

【請求項6】

前記制御手段は、前記投影装置により、前記投影可能領域内にある複数の前記投影対象の各々の表面にそれぞれ前記投影画像を投影させ、前記複数の投影対象の各々の位置及び向きの少なくとも一方の変化に応じて、各投影対象の表面に投影させる前記投影画像の内容を異ならせる、
請求項１に記載の投影制御装置。

【請求項7】

前記制御手段は、前記投影対象の特徴を特定し、特定された前記特徴に応じた内容の前記投影画像を、前記投影装置により前記投影対象の表面に対して投影させる、
請求項１に記載の投影制御装置。

【請求項8】

前記制御手段は、深度カメラによる前記投影対象の撮像結果に基づいて、予め定められた位置から前記投影対象までの距離に対応する距離値を特定し、当該距離値に基づいて前記投影対象の位置を特定する、
請求項１に記載の投影制御装置。

【請求項9】

画像を投影する投影装置と、
前記投影装置の動作を制御する投影制御装置と、
を備え、
前記投影制御装置は、前記投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段を備える、
投影システム。

【請求項10】

コンピュータが実行する投影制御方法であって、
投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる、
投影制御方法。

【請求項11】

コンピュータを、
投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投影制御装置、投影システム、投影制御方法及びプログラム
に関する。

【背景技術】

【0002】

従来、投影装置による投影可能領域内に位置する立体等の投影対象の表面に対して、選択的に投影画像を投影するプロジェクションマッピングが知られている（例えば、特許文献１）。このプロジェクションマッピングにおいては、投影可能領域内で投影対象が移動した場合に、投影画像が投影対象に追従するように投影画像の投影位置をリアルタイムに変更する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／１６７９１８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、投影画像によって表面が装飾された投影対象が動いているような視覚効果が得られる反面、投影対象の表面に投影される投影画像の内容は固定されたままである。このため、投影対象の状態を投影画像の内容に反映させるといった、より高度な視覚効果を実現することができないという課題がある。

【0005】

本発明は、画像の投影に係るより高度な視覚効果を実現することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る投影制御装置は、
投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段を備える。

【0007】

上記課題を解決するため、本発明に係る投影システムは、
画像を投影する投影装置と、
前記投影装置の動作を制御する投影制御装置と、
を備え、
前記投影制御装置は、前記投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段を備える。

【0008】

上記課題を解決するため、本発明に係る投影制御方法は、
コンピュータが実行する投影制御方法であって、
投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる。

【0009】

上記課題を解決するため、本発明に係るプログラムは、
コンピュータを、
投影装置による投影可能領域内にある投影対象について、前記投影対象の位置及び向きの少なくとも一方の変化に応じて、前記投影装置により前記投影対象の表面に投影させる投影画像の投影内容を異ならせる制御手段、
として機能させる。

【発明の効果】

【0010】

本発明によれば、画像の投影に係るより高度な視覚効果を実現することができる。

【図面の簡単な説明】

【0011】

【図1】投影システムの構成を示す模式図である。

【図2】投影制御装置の機能構成を示すブロック図である。

【図3】図１に示す状況において撮影された２Ｄ画像データを示す。

【図4】投影画像として抽出される部分を含む地図に係る抽出元画像データを示す。

【図5】投影対象の距離値の変化に応じて投影画像の表示倍率を大きくする例を示す図である。

【図6】代表点が点Ｐａから点Ｐｂに移動した場合の投影画像の変化を示す図である。

【図7】投影対象の距離値の変化に応じて投影画像の表示倍率を小さくする例を示す図である。

【図8】代表点が点Ｐａから点Ｐｃに移動した場合の投影画像の変化を示す図である。

【図9】投影装置から見て左右方向への投影対象の移動に応じて投影画像の表示内容を変更する例を示す図である。

【図10】図９に示す投影対象の移動の前後に撮影された２Ｄ画像データを示す図である。

【図11】代表点が点Ｐａから点Ｐｄに移動した場合の投影画像の変化を示す図である。

【図12】ユーザが投影対象を保持する高さを変化させる前後に撮影された２Ｄ画像データを示す図である。

【図13】代表点が点Ｐｄから点Ｐｅに移動した場合の投影画像の変化を示す図である。

【図14】投影対象の向きの変化に応じて投影画像の表示内容を変更する例を示す図である。

【図15】図１４に示すように投影対象の向きが変化した場合の投影画像の変化を示す図である。

【図16】投影可能領域内に複数の投影対象がある場合の投影画像の投影動作を示す図である。

【図17】図１６の状態において各投影対象に投影される投影画像を示す図である。

【図18】画像投影処理の制御手順を示すフローチャートである。

【図19】変形例に係る投影画像の変化を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態を図面に基づいて説明する。

【0013】

（情報処理システムの概要及び構成）
図１は、本実施形態の投影システム１の構成を示す模式図である。
投影システム１は、投影制御装置１０と、撮影装置２０と、投影装置３０（プロジェクタ）とを備える。投影制御装置１０は、無線又は有線により撮影装置２０及び投影装置３０と通信接続されており、撮影装置２０及び投影装置３０との間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。投影システム１は、投影制御装置１０による制御に従って投影装置３０が投影対象４０の表面４１に対して選択的に投影画像５０を投影することで、プロジェクションマッピングを行う。

【0014】

本実施形態では、投影装置３０による投影可能領域Ｒ内に位置するユーザ８０が、プロジェクションマッピングにおいて投影画像５０が投影される投影対象４０を保持している場合を例に挙げて説明する。投影対象４０は、本実施形態では板状のスクリーンである。また、投影対象４０の表面４１が投影装置３０に向けられているものとする。

【0015】

投影装置３０は、画像データに基づいて強度分布が調整された光を投影可能面Ｓに向けて射出することで、投影可能面Ｓに画像を投影することができる。投影装置３０の構成は、特には限られないが、例えば、光源と、表示素子と、投影レンズ群などを備えた構成とすることができる。表示素子は、例えばデジタルマイクロミラー素子（ＤＭＤ）であり、光源から出力された光の強度分布を調整して光像を形成する。投影レンズ群は、表示素子が形成した光像を集光して投影可能面Ｓに向けて射出する。

【0016】

本実施形態において、投影可能面Ｓは、鉛直方向に平行であり、かつ、鉛直方向上方から見て、投影装置３０による光の射出方向（射出される光束の中心が通る方向）に対して垂直であるものとする。投影可能面Ｓは、仮想的な面であってもよい。この場合、「投影可能面Ｓに画像を投影することができる」とは、投影可能面Ｓにスクリーンがあったと仮定した場合に当該スクリーンに画像を投影可能であることをいう。投影装置３０から射出されて投影可能面Ｓに至る光が通過する領域が、投影可能領域Ｒに相当する。

【0017】

以下では、鉛直方向上向きの方向をＹ方向とし、投影可能面Ｓに平行かつＹ方向に垂直な方向のうち、投影装置３０から投影可能面Ｓを見た場合における右方向をＸ方向とし、Ｘ方向及びＹ方向に垂直、かつ投影装置３０から投影可能面Ｓに向かう方向をＺ方向とする。また、投影装置３０から光が射出される位置（例えば、投影レンズ群のうち最後に光が透過するレンズの位置）を、射出位置Ｐ０とする。

【0018】

投影装置３０には、投影制御装置１０から、プロジェクションマッピングに用いられる投影用画像データ１３３（図２参照）が送信される。この投影用画像データ１３３は、投影対象４０の表面４１に投影される範囲に投影画像５０のデータを含み、投影画像５０以外の部分がマスクされている（すなわち、黒色に対応する画素値となっている）画像データである。投影装置３０は、この投影用画像データ１３３に基づいて強度分布が調整された光を射出位置Ｐ０から投影可能面Ｓに向けて射出することで、投影対象４０の表面４１に対して選択的に投影画像５０を投影するプロジェクションマッピングを行うことができる。

【0019】

撮影装置２０は、２Ｄカメラ２１及び深度カメラ２２を備える。図１では、撮影装置２０は、投影装置３０の上部に設置されている。撮影装置２０の設置位置はこれに限られないが、２Ｄカメラ２１及び深度カメラ２２が、投影装置３０の光の射出位置Ｐ０の近傍範囲に位置していることが好ましい。

【0020】

２Ｄカメラ２１は、射出位置Ｐ０の近傍範囲内から、投影可能面Ｓ及び投影可能領域Ｒを含む撮影範囲ＲＳを撮影して、２Ｄ画像データ１３２ａ（図２、図３参照）（二次元撮影画像）を生成する。本実施形態では、２Ｄ画像データ１３２ａはカラー画像データであるが、モノクロ画像データであってもよい。図１では、撮影範囲ＲＳが投影可能領域Ｒに略一致しているものとする。ただし、撮影範囲ＲＳは、投影可能領域Ｒを含むより広い範囲であってもよい。

【0021】

深度カメラ２２は、射出位置Ｐ０の近傍範囲内から撮影範囲ＲＳを撮影して、撮影範囲ＲＳ内に位置する物体の深度情報を含む深度画像データ１３２ｂ（図２参照）を生成する。深度画像データ１３２ｂは、各画素が、上記の物体（測距対象物）の奥行き（深度カメラ２２から測距対象物までの距離）に係る深度情報を含む。深度カメラ２２としては、例えば、ＴＯＦ（Time Of Flight）方式で距離を検出するもの、又はステレオ方式で距離を検出するものなどを用いることができる。
２Ｄカメラ２１により生成された２Ｄ画像データ１３２ａ、及び深度カメラにより生成された深度画像データ１３２ｂは、撮影画像データ１３２（図２参照）として投影制御装置１０の記憶部１３に記録される。

【0022】

撮影装置２０の２Ｄカメラ２１及び深度カメラ２２は、上記の撮影範囲ＲＳを所定のフレームレートで連続して撮影する。図１に示す撮影装置２０では、２Ｄカメラ２１及び深度カメラ２２が別個に設けられているが、各カメラが撮影範囲ＲＳを撮影可能であれば、この構成に限定されない。例えば、２Ｄカメラ２１及び深度カメラ２２が一体となっている構成であってもよい。

【0023】

また、２Ｄカメラ２１及び深度カメラ２２は、撮影範囲ＲＳを少なくとも含む範囲を撮影可能であればよく、２Ｄカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが異なっていてもよい。また、２Ｄカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが重複する範囲においては、２Ｄ画像データ１３２ａの画素と、深度画像データ１３２ｂの画素との対応付けがなされている。これにより、２Ｄ画像データ１３２ａにおける任意の画素を指定した場合に、深度画像データ１３２ｂにおいて当該画素に対応する画素を特定することができる。よって、２Ｄ画像データ１３２ａにおける任意の画素について、測距対象物の深度情報を取得することができる。

【0024】

投影制御装置１０は、撮影装置２０が取得した２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂに基づいて、投影可能領域Ｒ内にある投影対象４０の状態を特定する。投影対象４０の状態は、投影可能領域Ｒにおける投影対象４０の位置、及び投影対象４０の向き（姿勢）の少なくとも一方により定まる。本実施形態では、投影対象４０の位置及び向きの両方により投影対象４０の状態が特定されるものとする。

【0025】

また、投影制御装置１０は、特定した投影対象４０の状態に基づいて、当該状態に応じた内容の投影画像５０を投影対象４０の表面に投影するための投影用画像データ１３３を生成する。また、投影制御装置１０は、生成した投影用画像データ１３３を投影装置３０に送信することで、投影装置３０により投影対象４０の表面４１に対して投影画像５０を選択的に投影させる。これにより、プロジェクションマッピングが実現される。

【0026】

図２は、投影制御装置１０の機能構成を示すブロック図である。
投影制御装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。投影制御装置１０の各部は、バス１７を介して接続されている。投影制御装置１０は、本実施形態ではノートＰＣであるが、これに限られず、例えば据置型のＰＣ、スマートフォン、又はタブレット型端末などであってもよい。

【0027】

ＣＰＵ１１は、記憶部１３に記憶されているプログラム１３１を読み出して実行し、各種演算処理を行うことで、投影制御装置１０の動作を制御するプロセッサ（処理部）である。ＣＰＵ１１は、プログラム１３１に従って所定の処理を実行することにより、「制御手段」として機能する。なお、投影制御装置１０は、複数のプロセッサ（複数のＣＰＵ等）を有していてもよく、本実施形態のＣＰＵ１１が実行する複数の処理を、当該複数のプロセッサが実行してもよい。この場合には、複数のプロセッサが「処理部」に相当し、また「制御手段」として機能する。また、この場合において、複数のプロセッサが共通の処理に関与してもよいし、あるいは、複数のプロセッサが独立に異なる処理を並列に実行してもよい。

【0028】

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。

【0029】

記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体であり、プログラム１３１及び各種データを記憶する。記憶部１３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性メモリを含む。プログラム１３１は、コンピュータが読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３に記憶されるデータとしては、撮影装置２０から受信した２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂを含む撮影画像データ１３２と、上述した投影用画像データ１３３と、投影用画像データ１３３の生成に用いられる抽出元画像データ１３４（元画像）などがある。

【0030】

操作部１４は、表示部１５の表示画面に重ねられて設けられたタッチパネル、物理ボタン、マウスなどのポインティングデバイス、及びキーボードなどの入力装置のうち少なくとも１つを有し、入力装置に対する入力操作に応じた操作情報をＣＰＵ１１に出力する。

【0031】

表示部１５は、液晶ディスプレイなどの表示装置を備え、ＣＰＵ１１からの表示制御信号に従って表示装置において各種表示を行う。

【0032】

通信部１６は、ネットワークカード又は通信モジュール等により構成され、撮影装置２０及び投影装置３０との間で所定の通信規格に従ってデータの送受信を行う。また、通信部１６は、撮影装置２０及び投影装置３０以外の外部装置との間でデータの送受信を行うことが可能であってもよい。

【0033】

（情報処理システムの動作）
次に、投影システム１の動作について、プロジェクションマッピングを行うために投影制御装置１０が行う動作を中心に詳細に説明する。以下に説明する動作の主体は、特に明示しない場合には投影制御装置１０のＣＰＵ１１である。

【0034】

上述したように、投影システム１において行われるプロジェクションマッピングに係る動作の概要は以下のとおりである。
（１）撮影装置２０から送信された撮影画像データ１３２に基づいて、投影対象４０の状態（位置及び向き）を特定する。
（２）特定された投影対象４０の状態に基づいて、投影対象４０に投影する投影画像５０の内容を決定する。また、決定した内容の投影画像５０を投影対象４０の表面４１に投影させるための投影用画像データ１３３を生成する。
（３）投影用画像データ１３３を投影装置３０に送信し、投影装置３０により投影対象４０の表面４１に対して投影画像５０を選択的に投影させる。
この動作により、投影対象の位置及び向きの少なくとも一方の変化に応じて、投影装置３０により投影対象４０の表面４１に投影させる投影画像５０の投影内容を異ならせることができる。別の観点では、上記動作により、特定された投影対象４０の状態に応じて内容が異なる投影画像５０が、投影装置３０により投影対象４０の表面４１に投影される。
以下、（１）～（３）の各々について、図１及び図３に示す状況を例に挙げて詳述する。

【0035】

＜（１）投影対象の状態の特定＞
投影制御装置１０のＣＰＵ１１は、撮影装置２０から、２Ｄカメラ２１により撮影された２Ｄ画像データ１３２ａ、及び深度カメラ２２により撮影された深度画像データ１３２ｂを取得する。

【0036】

図３は、図１に示す状況において撮影された２Ｄ画像データ１３２ａを示す。
図３の２Ｄ画像データ１３２ａにおける右方向をＸａ方向とし、上方向をＹａ方向とする。２Ｄ画像データ１３２ａのＸａ方向についての各位置は、図１のＸ方向についての各位置に対応し、２Ｄ画像データ１３２ａのＹａ方向についての各位置は、図２のＹ方向についての各位置に対応する。

【0037】

ＣＰＵ１１は、２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂの各々において、撮影されている投影対象４０を抽出（検出）する。投影対象４０を抽出する方法は、特には限られない。一例を挙げると、２Ｄ画像データ１３２ａに対して所定の画像認識処理を行って、２Ｄ画像データ１３２ａにおいて、予め登録されている投影対象４０の形状及び／又は色を含む部分を抽出する方法を用いてもよい。また、動的に周囲との色差等に基づいて投影画像５０を識別して抽出してもよい。また、２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂの画素の対応関係に基づいて、２Ｄ画像データ１３２ａにおける投影対象４０の抽出結果から、深度画像データ１３２ｂにおいて投影対象４０に対応する部分を抽出してもよい。

【0038】

ＣＰＵ１１は、２Ｄ画像データ１３２ａにおいて、抽出した投影対象４０の代表点Ｐの画像内位置（ＸａＹａ座標平面上の位置）を特定する。画像内位置は、例えば、２Ｄ画像データ１３２ａを構成する画素マトリクスにおける、代表点Ｐに相当する画素の行方向行及び列方向の位置により特定される。代表点Ｐは、投影可能領域Ｒにおける投影対象４０の位置を表す。代表点Ｐは、例えば投影対象４０の表面４１の中心とすることができるが、これに限定されない。以下では、「投影対象４０の位置」と記した場合には、「投影対象４０の代表点Ｐの位置」を表すものとする。
図１及び図３に示す例において、投影対象４０の代表点Ｐは点Ｐａにあるものとする。

【0039】

また、ＣＰＵ１１は、深度画像データ１３２ｂにおいても代表点Ｐを特定し、当該代表点Ｐの画素の深度情報に基づいて、射出位置Ｐ０から代表点Ｐまでの距離に対応する距離値を特定する。ここで、距離値は、射出位置Ｐ０から代表点Ｐまでの距離に限られず、当該距離に対応する値であってもよい。
例えば、距離値は、代表点Ｐに係る深度情報から特定された距離そのもの（すなわち、深度カメラ２２による距離測定の基準点から代表点Ｐまでの距離）であってもよい。
また、距離値は、射出位置Ｐ０と代表点Ｐとを結ぶ仮想線分をＸＺ平面に投影した仮想線分の長さであってもよい。
また、距離値は、代表点Ｐを通りＺ方向に垂直な仮想面と、射出位置Ｐ０（又は深度カメラ２２による距離測定の基準点）とのＺ方向についての距離としてもよい。
本実施形態では、距離値は、代表点Ｐを通りＺ方向に垂直な仮想面（例えば、図５の仮想面Ｓａ、Ｓｂ）と、射出位置Ｐ０とのＺ方向についての距離（例えば、図５の距離値Ｄ１、Ｄ２）であるものとする。
なお、距離値は、予め定められた位置から投影対象４０（代表点Ｐ）までの距離に対応する値としてもよく、上記の「予め定められた位置」は、射出位置Ｐ０とは異なる位置であってもよい。

【0040】

２Ｄ画像データ１３２ａにおける代表点Ｐの画像内位置と、上述の距離値とに基づいて、投影可能領域Ｒにおける投影対象４０の位置が特定される。

【0041】

また、ＣＰＵ１１は、深度画像データ１３２ｂに基づいて、投影対象４０の向きを特定する。例えば、ＣＰＵ１１は、投影対象４０の４つの角部のうち少なくとも３点についての深度情報に基づいて、投影対象４０の表面４１の法線の向きを導出する。
導出した投影対象４０の向きと、上述した投影可能領域Ｒにおける投影対象４０の位置と、により、投影対象４０の状態が特定される。

【0042】

＜（２）投影画像の内容の決定、及び投影用画像データの生成＞
次に、ＣＰＵ１１は、特定された投影対象４０の状態に基づいて、投影画像５０の内容を決定する。本実施形態では、所定の地図のうち、投影対象４０の位置及び向きに応じた一部分が投影画像５０として投影対象４０に投影される例を用いて説明する。

【0043】

図４は、投影画像５０として抽出される部分を含む地図に係る抽出元画像データ１３４を示す。
図４の抽出元画像データ１３４における右方向をＸｂ方向とし、上方向をＹｂ方向とする。図３に示す２Ｄ画像データ１３２ａ上の任意の点は、図４に示す抽出元画像データ１３４におけるいずれかの点に対応する。例えば、図３に示す点Ｐａ（図３における代表点Ｐの位置）は、抽出元画像データ１３４上の点Ｑに対応する。また、２Ｄ画像データ１３２ａにおいて点Ｐａの＋Ｘａ方向側、及び－Ｘａ方向側にそれぞれ位置する点Ｐｄ、点Ｐｆは、抽出元画像データ１３４において点Ｑの＋Ｘｂ方向側、及び－Ｘｂ方向側にそれぞれ位置する点Ｑｄ、点Ｑｆに対応する。また、２Ｄ画像データ１３２ａにおいて点Ｐｄの＋Ｙａ方向側に位置する点Ｐｅは、抽出元画像データ１３４において点Ｑｄの＋Ｙｂ方向側に位置する点Ｑｅに対応する。

【0044】

ＣＰＵ１１は、２Ｄ画像データ１３２ａにおける投影対象４０の代表点Ｐに対応する抽出元画像データ１３４上の点を特定し、当該対応する点が投影画像５０の中心点となるように、抽出元画像データ１３４のうち投影画像５０として抽出する範囲を決定する。よって、２Ｄ画像データ１３２ａにおける代表点Ｐの位置が異なれば、抽出元画像データ１３４において抽出される投影画像５０の内容も異なることとなる。

【0045】

例えば、図３に示す状況においては、ＣＰＵ１１は、点Ｐａ（投影対象４０の代表点Ｐがある位置）に対応する抽出元画像データ１３４上の点Ｑが中心となるように、図４に示す投影画像５０ａを抽出する。
また、例えば投影対象４０の代表点Ｐが図３の点Ｐｄの位置にある場合には、ＣＰＵ１１は、抽出元画像データ１３４上で点Ｐｄに対応する点Ｑｄが中心となるように、図４に示す投影画像５０ｄを抽出する。
また、例えば投影対象４０の代表点Ｐが図３の点Ｐｅの位置にある場合には、ＣＰＵ１１は、抽出元画像データ１３４上で点Ｐｅに対応する点Ｑｅが中心となるように、図４に示す投影画像５０ｅを抽出する。
このように、ＣＰＵ１１は、抽出元画像データ１３４のうち、２Ｄ画像データ１３２ａにおける投影対象４０の画像内位置に対応する一部を、投影画像５０として抽出する。

【0046】

また、ＣＰＵ１１は、投影対象４０の代表点Ｐについて導出した距離値に応じて投影画像５０における地図の表示倍率が異なるように、投影画像５０の抽出範囲を決定する。本実施形態では、距離値が小さいほど表示倍率が大きくなるように投影画像５０を抽出する。

【0047】

例えば、図１及び図３に示す状況よりも投影対象４０が射出位置Ｐ０の近くに位置している場合（距離値が小さい場合）には、図４の投影画像５０ａよりも表示倍率が大きくなるように（すなわち、抽出元画像データ１３４におけるより狭い範囲が拡大されて投影対象４０に表示されるように）、投影画像５０ａよりも狭い投影画像５０ｂが抽出される。
逆に、図１及び図３に示す状況よりも投影対象４０が射出位置Ｐ０から遠くに位置している場合（距離値が大きい場合）には、図４の投影画像５０ａよりも表示倍率が小さくなるように（すなわち、より広い範囲が縮小されて投影対象４０に表示されるように）、投影画像５０ａよりも広い投影画像５０ｃが抽出される。

【0048】

また、ＣＰＵ１１は、投影対象４０の向きに応じて、抽出元画像データ１３４のうち投影画像５０として抽出する範囲を調整する。言い換えると、ＣＰＵ１１は、抽出元画像データ１３４のうち、投影対象４０の向きに対応する一部を投影画像５０として抽出する。

【0049】

例えば、投影対象４０の表面４１の向きが、図１に示す状態（投影対象４０の表面４１の法線ベクトルが－Ｚ方向を向いている状態）から、Ｙ方向を回転軸として、＋Ｙ方向から見て反時計回りに或る角度だけ回転させた向きである場合には、当該或る角度に応じて、抽出元画像データ１３４において抽出する投影画像５０の中心を－Ｘｂ方向にずらし、例えば図４における点Ｑｆを中心とする投影画像５０ｆを抽出する。反対に、投影対象４０の表面４１の向きが、図１に示す状態から、Ｙ方向を回転軸として、＋Ｙ方向から見て或る角度だけ時計回りに回転した向きである場合には、当該或る角度に応じて、抽出元画像データ１３４において抽出する投影画像５０の中心を＋Ｘｂ方向にずらす。
また、投影対象４０の表面４１の向きが、或る仰角だけ水平方向に対して上向きである場合には、当該仰角に応じて、抽出元画像データ１３４において抽出する投影画像５０の中心を－Ｙｂ方向にずらす。また、投影対象４０の表面４１の向きが、或る俯角だけ水平方向に対して下向きである場合には、当該俯角に応じて、抽出元画像データ１３４において抽出する投影画像５０の中心を＋Ｙｂ方向にずらす。

【0050】

投影画像５０が抽出されると、ＣＰＵ１１は、当該投影画像５０を投影対象４０の表面４１に投影させるための投影用画像データ１３３を生成する。すなわち、投影対象４０の表面４１に投影される範囲（投影可能領域Ｒ及び投影可能面Ｓのうち投影対象４０の表面４１に対応する範囲）に投影画像５０のデータを含み、投影画像５０以外の部分がマスクされている投影用画像データ１３３を生成する。

【0051】

＜（３）投影対象に対する投影画像の投影＞
投影用画像データ１３３が生成されると、ＣＰＵ１１は、投影装置３０に対して投影用画像データ１３３及び所定の制御信号を送信することで、投影装置３０により投影用画像データ１３３に基づいて画像を投影させる。これにより、投影対象４０の表面４１に対して投影画像５０が選択的に投影され、プロジェクションマッピングが行われる。

【0052】

ＣＰＵ１１は、撮影装置２０により所定のフレームレートで２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂが撮影されるごとに、当該２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂに基づいて投影対象４０の状態を特定し、投影画像５０の内容を決定して投影用画像データ１３３を生成する。また、投影用画像データ１３３を逐次投影装置３０に送信して投影させる。これにより、投影対象４０の状態（位置及び／又は向き）に変化があった場合には、当該変化に応じて投影画像５０の内容も変化する。すなわち、投影対象４０が移動した場合には、移動後の投影対象４０の表面４１に投影されるように投影画像５０の投影方向及び投影範囲が調整されるとともに、抽出元画像データ１３４のうち移動後の投影対象４０の位置に応じた範囲が抽出されて投影画像５０として投影される。また、投影対象４０の向きが変化した場合には、向きの変化後の投影対象４０の表面４１に投影されるように投影画像５０の投影方向及び投影範囲が調整されるとともに、抽出元画像データ１３４のうち投影対象４０の向きに応じた範囲が抽出されて投影画像５０として投影される。

【0053】

なお、撮影装置２０による撮影のフレームレートと、投影される投影画像５０（投影用画像データ１３３）のフレームレートとが異なっていてもよい。例えば、撮影装置２０による所定回数の撮影に対して１回の割合で投影用画像データ１３３を生成して投影画像５０投影することとしてもよい。

【0054】

＜投影対象の状態に応じた投影画像の具体例＞
以下、投影対象４０の状態及びその変化に応じた投影画像５０の決定方法、及び投影態様を、具体例を用いて説明する。

【0055】

図５は、投影対象４０の距離値の変化に応じて投影画像５０の表示倍率を大きくする例を示す図である。
図５では、ユーザ８０が投影装置３０に近付くように移動したことに応じて、或る時点において代表点Ｐが点Ｐａとなる位置にあった投影対象４０が、代表点Ｐが点Ｐｂとなる位置に移動した場合が示されている。点Ｐｂは、点Ｐａと射出位置Ｐ０とを結ぶ仮想線上にあり、点Ｐａよりも射出位置Ｐ０に近い点であるものとする。代表点Ｐが点Ｐａにある場合の距離値はＤ１であり、代表点Ｐが点Ｐｂにある場合の距離値はＤ２（＜Ｄ１）である。距離値Ｄ１は、点Ｐａを通る仮想面Ｓａと射出位置Ｐ０とのＺ方向についての距離である。距離値Ｄ２は、点Ｐｂを通る仮想面Ｓｂと射出位置Ｐ０とのＺ方向についての距離である。

【0056】

図６は、代表点Ｐが点Ｐａから点Ｐｂに移動した場合の投影画像５０の変化を示す図である。
投影対象４０の代表点Ｐが点Ｐａにある場合には、上述のとおり、抽出元画像データ１３４において点Ｐａに対応する点Ｑが中心となるように、図４における投影画像５０ａが抽出される。投影画像５０ａを含む投影用画像データ１３３に基づいて、投影対象４０には、図６の左側に示すように投影画像５０ａが投影される。

【0057】

点Ｐｂは、点Ｐａと射出位置Ｐ０とを結ぶ仮想線上にあるため、代表点Ｐが点Ｐｂに移動した後に撮影された２Ｄ画像データ１３２ａにおいて、点Ｐｂは、図３の点Ｐａと同一の位置にある。よって、図４の抽出元画像データ１３４において点Ｐｂに対応する点も、点Ｑである。投影対象４０の代表点Ｐが点Ｐｂにある場合には、抽出元画像データ１３４における点Ｑが中心となるように、図４における投影画像５０ｂが抽出される。ここで、代表点Ｐが点Ｐｂにある場合の距離値Ｄ２は、代表点Ｐが点Ｐａにある場合の距離値Ｄ１よりも小さいため、投影画像５０ｂは、投影画像５０ａよりも表示倍率が大きい画像となる。すなわち、図４に示すように、投影画像５０ｂは、投影画像５０ａと相似形状の領域であって、抽出元画像データ１３４における専有面積が投影画像５０ａよりも狭い領域とされ、当該狭い領域の画像が投影対象４０の大きさに合うように拡大されて（デジタルズームインされて）投影される。投影画像５０ｂを含む投影用画像データ１３３に基づいて、投影対象４０には、図６の右側に示すような、投影画像５０ａよりも表示倍率の大きい投影画像５０ｂが投影される。

【0058】

このように、本実施形態では、投影対象４０が投影装置３０に接近した場合には、接近の前後で同一の拡大率の画像を投影するための従来のプロジェクションマッピングにおける射影変換よりも、さらに大きな拡大率で投影画像５０が拡大されて投影される。言い換えると、本実施形態では、距離値の減少に応じて投影対象４０に同一画像を表示させるのに必要な倍率よりも大きい倍率で投影画像５０の表示倍率を変更する。

【0059】

投影画像５０の表示倍率は、距離値に対応付けられて予め定められていてもよい。
あるいは、投影対象４０が或る基準距離値の位置にある場合に投影画像５０を等倍で表示し、距離値が基準距離値とは異なる場合に、その距離値と基準距離値との差分、又は基準距離値に対する距離値の比率に応じて投影画像５０の表示倍率を定めることとしてもよい。基準距離値は、予め定められていてもよいし、ユーザ８０が設定可能であってもよい。例えば、投影可能領域Ｒ内に所定の基準マーカを設置しておき、当該基準マーカの位置を基準距離値の位置としてもよい。また、ユーザ８０が基準距離値を定める方法としては、例えば、ユーザ８０が或る開始ジェスチャーを行った場合に、そのときにユーザ８０が保持している投影対象４０の代表点Ｐを特定し、当該代表点Ｐに対応する距離値を基準距離値としてもよい。ユーザ８０が開始ジェスチャーを行ったか否かは、例えば、撮影装置２０による撮影画像データ１３２をＣＰＵ１１が解析することで判別することができる。

【0060】

図５及び図６に示すような動作によれば、ユーザ８０が投影装置３０に近付くことで、投影対象４０への投影画像５０が拡大されて地図の細部がよく見えるようになるという、ユーザ８０にとって直感的な視覚効果が実現される。

【0061】

図７は、投影対象４０の距離値の変化に応じて投影画像５０の表示倍率を小さくする例を示す図である。
図７では、ユーザ８０が投影装置３０から遠ざかるように移動したことに応じて、或る時点において代表点Ｐが点Ｐａとなる位置にあった投影対象４０が、代表点Ｐが点Ｐｃとなる位置に移動した場合が示されている。点Ｐｃは、点Ｐａと射出位置Ｐ０とを結ぶ仮想線上にあり、点Ｐａよりも射出位置Ｐ０から遠い点であるものとする。代表点Ｐが点Ｐｃにある場合の距離値はＤ３（＞Ｄ１）である。距離値Ｄ３は、点Ｐｃを通る仮想面Ｓｃと射出位置Ｐ０とのＺ方向についての距離である。

【0062】

図８は、代表点Ｐが点Ｐａから点Ｐｃに移動した場合の投影画像５０の変化を示す図である。
投影対象４０の代表点Ｐが点Ｐａにある場合には、図８の左側に示すように、図６の左側と同一の投影画像５０ａが投影される。

【0063】

点Ｐｃは、点Ｐａと射出位置Ｐ０とを結ぶ仮想線上にあるため、代表点Ｐが点Ｐｃに移動した後に撮影された２Ｄ画像データ１３２ａにおいて、点Ｐｃは、図３の点Ｐａと同一の位置にある。よって、図４の抽出元画像データ１３４において点Ｐｃに対応する点も、点Ｑである。投影対象４０の代表点Ｐが点Ｐｃにある場合には、抽出元画像データ１３４における点Ｑが中心となるように、図４における投影画像５０ｃが抽出される。ここで、代表点Ｐが点Ｐｃにある場合の距離値Ｄ３は、代表点Ｐが点Ｐａにある場合の距離値Ｄ１よりも大きいため、投影画像５０ｃは、投影画像５０ａよりも表示倍率が小さい画像となる。すなわち、図４に示すように、投影画像５０ｃは、投影画像５０ａと相似形状の領域であって、抽出元画像データ１３４における専有面積が投影画像５０ａよりも広い領域とされ、当該広い領域の画像が投影対象４０の大きさに合うように縮小されて（デジタルズームアウトされて）投影される。投影画像５０ｃを含む投影用画像データ１３３に基づいて、投影対象４０には、図８の右側に示すような、投影画像５０ａよりも表示倍率の小さい投影画像５０ｃが投影される。

【0064】

このように、本実施形態では、投影対象４０が投影装置３０から遠ざかった場合には、遠ざかる前後で同一の拡大率の画像を投影するための従来のプロジェクションマッピングにおける射影変換よりも、さらに投影画像５０が縮小されて投影される。言い換えると、本実施形態では、距離値の増大に応じて投影対象４０に同一画像を表示させるのに必要な倍率よりも小さい倍率で投影画像５０の表示倍率を変更する。
投影対象４０が遠ざかる場合の表示倍率も、投影対象４０が接近する場合の表示倍率と同様に定めることができる。

【0065】

図７及び図８に示すような動作によれば、ユーザ８０が投影装置３０から遠ざかることで、投影対象４０への投影画像５０が縮小されて地図のより広い範囲が見えるようになるという、ユーザ８０にとって直感的な視覚効果が実現される。

【0066】

なお、上記では、１つの抽出元画像データ１３４から抽出された異なる部分をデジタルズームイン又はデジタルズームアウトすることで投影画像５０の表示倍率を変更したが、これに限られない。例えば、投影画像５０の表示倍率に対応する縮尺の地図を含む抽出元画像データ１３４を都度取得して（又は、縮尺が互いに異なる地図を含む複数の抽出元画像データ１３４を予め用意して）、表示倍率に対応する縮尺の抽出元画像データ１３４から投影画像５０を抽出してもよい。各縮尺の地図の抽出元画像データ１３４は、地図の拡大及び縮小を含む地図データの加工及び生成が可能な、公開されているＡＰＩを呼び出して生成してもよい。

【0067】

また、図６及び図８では、代表点Ｐに係る距離値が変化する前後の投影画像５０を示したが、距離値が変化する途中の中間状態においては、中間の表示倍率の投影画像５０が投影される。また、距離値の変化量が所定の閾値以上である場合に投影画像５０の表示倍率を変更し、距離値の変化量が閾値未満である場合には投影画像５０の表示倍率を変更しないこととしてもよい。また、投影可能領域Ｒにおいて投影対象４０が移動しない場合においても、上記の方法により距離値に応じた表示倍率の投影画像５０が投影される。

【0068】

図９は、投影装置３０から見て左右方向への投影対象４０の移動に応じて投影画像５０の表示内容を変更する例を示す図である。
図１０は、図９に示す投影対象４０の移動の前後に撮影された２Ｄ画像データ１３２ａを示す図である。
図９及び図１０では、ユーザ８０が投影装置３０から見て右方向に（＋Ｘ方向に）移動したことに応じて、或る時点において代表点Ｐが点Ｐａとなる位置にあった投影対象４０が、代表点Ｐが点Ｐｄとなる位置に移動した場合が示されている。この移動の前後で、距離値は変化していないものとする。

【0069】

図１１は、代表点Ｐが点Ｐａから点Ｐｄに移動した場合の投影画像５０の変化を示す図である。
投影対象４０の代表点Ｐが点Ｐａにある場合には、図１１の左側に示すように、図６の左側と同一の投影画像５０ａが投影される。

【0070】

上述したように、図９及び図１０に示す点Ｐｄは、図４の抽出元画像データ１３４における点Ｑｄに対応する。よって、投影対象４０の代表点Ｐが点Ｐｄにある場合には、抽出元画像データ１３４における点Ｑｄが中心となるように、図４における投影画像５０ｄが抽出される。上述のとおり移動の前後で距離値は変化していないので、表示倍率は変更されない。このため、抽出元画像データ１３４における投影画像５０ｄの形状及び専有面積は、投影画像５０ａの形状及び専有面積と同一である。

【0071】

よって、図９～図１１に示すように、ユーザ８０が＋Ｘ方向に移動したことに応じて、投影対象４０に投影される地図が、図４に示す投影画像５０ａから投影画像５０ｄへ右方向（＋Ｘｂ方向）にシフトする。また、＋Ｘ方向に移動する投影対象４０に追従するように、投影画像５０の投影方向（投影用画像データ１３３における投影画像５０の位置）が調整される。

【0072】

なお、図９において代表点Ｐが点Ｐｄに移動した後の投影対象４０の表面４１は、ＸＹ平面に平行であるので、投影装置３０から見て投影対象４０の表面４１が若干傾斜する（投影装置３０と投影対象４０とを結ぶ線分が、投影対象４０の表面４１に対して垂直とならない）。このため、傾斜した表面４１に投影画像５０ｄが歪みなく投影されるようにマッピングを行った上で投影画像５０ｄを投影すること好ましい。この場合には、例えば、投影対象４０の少なくとも３つの角部の空間座標を特定し、これらの角部を通る面に斜めから投影画像５０ｄが正しく投影されるように、投影用画像データ１３３における投影画像５０ｄの形状及び範囲を調整すればよい。

【0073】

図１２は、ユーザ８０が投影対象４０を保持する高さを変化させる前後に撮影された２Ｄ画像データ１３２ａを示す図である。
図１２では、図１０に示すように代表点Ｐが点Ｐｄとなる位置から、代表点Ｐが点Ｐｅとなる位置に、ユーザ８０が投影対象４０を高く掲げた場合が示されている。

【0074】

図１３は、代表点Ｐが点Ｐｄから点Ｐｅに移動した場合の投影画像５０の変化を示す図である。
投影対象４０の代表点Ｐが点Ｐｄにある場合には、図１３の左側に示すように、図１１の右側と同一の投影画像５０ｄが投影される。

【0075】

上述したように、図１２に示す点Ｐｅは、図４の抽出元画像データ１３４における点Ｑｅに対応する。よって、投影対象４０の代表点Ｐが点Ｐｅにある場合には、抽出元画像データ１３４における点Ｑｅが中心となるように、図４における投影画像５０ｅが抽出される。代表点Ｐが点Ｐｄから点Ｐｅに移動する際に距離値は変化せず、したがって表示倍率は変化しないので、抽出元画像データ１３４における投影画像５０ｅの形状及び専有面積は、投影画像５０ｄの形状及び専有面積と同一である。

【0076】

よって、図１２及び図１３に示すように、ユーザ８０が投影対象４０を高く掲げたことに応じて、投影対象４０に投影される地図が、図４に示す投影画像５０ｄから投影画像５０ｅへ上方向（＋Ｙｂ方向）にシフトする。また、＋Ｙ方向に移動する投影対象４０に追従するように、投影画像５０の投影方向（投影用画像データ１３３における投影画像５０の位置）が調整される。

【0077】

図１１及び図１３では、代表点Ｐが上下左右方向に移動する前後の投影画像５０を示したが、移動の途中の中間状態においては、中間の位置に応じた投影画像５０が投影される。また、移動距離（上下左右方向の位置の変化量）が所定の閾値以上である場合に投影画像５０を変更し、移動距離が閾値未満である場合には投影画像５０を変更しないこととしてもよい。また、投影可能領域Ｒにおいて投影対象４０が移動しない場合においても、上記の方法により２Ｄ画像データ１３２ａ上の代表点Ｐの位置に応じた投影画像５０が投影される。

【0078】

図９～図１３に示すような動作によれば、ユーザ８０が投影装置３０から見て上下左右方向に移動したり、投影対象４０を上下左右方向に移動させたりすることで、投影対象４０への投影画像５０の内容が上下左右にシフトするという、ユーザ８０にとって直感的な視覚効果が実現される。

【0079】

図１４は、投影対象４０の向きの変化に応じて投影画像５０の表示内容を変更する例を示す図である。
図１４では、投影対象４０の表面４１がＸＹ平面に平行な状態から、Ｙ方向に平行な回転軸ＡＸを中心に、＋Ｙ方向から見て反時計回りに投影対象４０を角度θだけ回転させることで、投影対象４０の向きが変化した場合が示されている。この向きの変化の前後にわたって、投影対象４０の代表点Ｐは点Ｐａで一定であるものとする。また、向きの変化後の投影対象４０の表面４１に垂直な仮想線Ｌと、投影可能面Ｓとの交点を点Ｐｆとする。

【0080】

図１５は、図１４に示すように投影対象４０の向きが変化した場合の投影画像５０の変化を示す図である。
向きが変化する前、すなわち投影対象４０の表面４１がＸＹ平面に平行な状態においては、図１５の左側に示すように、図６の左側と同一の投影画像５０ａが投影される。上述のとおり、投影画像５０ａの中心は、図４の抽出元画像データ１３４における点Ｑである。

【0081】

投影対象４０の向きが変化した後は、投影対象４０の回転角θに応じて、図４の抽出元画像データ１３４において抽出する投影画像５０の中心が点Ｑから－Ｘｂ方向にずらされる。例えば、回転後の仮想線Ｌと投影可能面Ｓとの交点である点Ｐｆの、２Ｄ画像データ１３２ａ（図３）における位置を特定し、図４の抽出元画像データ１３４において点Ｐｆに対応する点Ｑｆを中心とする投影画像５０ｆを抽出する。投影対象４０の回転の前後で距離値は変化せず、したがって表示倍率は変化しないので、抽出元画像データ１３４における投影画像５０ｆの形状及び専有面積は、投影画像５０ａの形状及び専有面積と同一である。

【0082】

よって、図１４及び図１５に示すように、回転軸ＡＸを中心として回転させて投影対象４０の向きを変化させることにより、投影対象４０に投影される地図が、図４に示す投影画像５０ａから投影画像５０ｆへ左方向（－Ｘｂ方向）にシフトする。

【0083】

このような回転が行われると、投影装置３０から見て投影対象４０の表面４１が傾斜するため、傾斜した表面４１に投影画像５０ｄが歪みなく投影されるようにマッピングを行った上で投影画像５０ｄを投影すること好ましい。

【0084】

なお、回転角θに応じた投影画像５０の中心の決定方法は上記に限られない。例えば、回転角θと、抽出元画像データ１３４における投影画像５０の中心のずれ量とを予め対応付けて定めておいてもよい。
また、図１４及び図１５では、回転軸ＡＸを中心とした回転による投影対象４０の向きの左右方向の変化を例示したが、これに限られない。例えば、投影対象４０の表面４１が向く方向が上下方向に変化する場合（仰角又は俯角が変化する場合）には、抽出元画像データ１３４において抽出する投影画像５０の中心を上下方向（Ｙｂ方向）に変更すればよい。また、左右方向の向きの変化と、上下方向の向きの変化とを含む場合には、抽出元画像データ１３４において抽出する投影画像５０の中心を左右方向（Ｘｂ方向）及び上下方向（Ｙｂ方向）に変更すればよい。

【0085】

図１５では、投影対象４０の向きが変化する前後の投影画像５０を示したが、向きが変化する途中の中間状態においては、中間の向きに応じた投影画像５０が投影される。また、向きの変化量（例えば回転角θ）が所定の閾値以上である場合に投影画像５０を変更し、向きの変化量が閾値未満である場合には投影画像５０を変更しないこととしてもよい。また、投影対象４０の向きが変化しない場合においても、上記の方法により投影対象４０の向きに応じた投影画像５０が投影される。

【0086】

図１４及び図１５に示すような動作によれば、ユーザ８０が投影対象４０の向きを変化させることで、投影対象４０への投影画像５０の内容が上下左右にシフトするという、ユーザ８０にとって直感的な視覚効果が実現される。

【0087】

図５～図１５では、投影対象４０の代表点Ｐに係る距離値、投影対象４０の上下左右方向の位置、及び投影対象４０の向きのうちいずれか１つの要素が変化した場合を例示したが、これらのうち２つ以上の要素が変化した場合には、変化した全ての要素に応じて投影画像５０が調整される。例えば、距離値及び上下左右方向の位置がいずれも変化した場合には、上下左右方向の移動に応じて投影画像５０の中心が変更され、かつ、距離値の変化に応じて投影画像５０の表示倍率が変更される。

【0088】

図１６は、投影可能領域Ｒ内に複数の投影対象４０がある場合の投影画像５０の投影動作を示す図である。
図１６では、投影可能領域Ｒ内に２人のユーザ８０ａ、８０ｂが位置しており、ユーザ８０ａは投影対象４０ａを保持し、ユーザ８０ｂは投影対象４０ｂを保持している。投影対象４０ａの代表点Ｐは、点Ｐｃの位置にあり、投影対象４０ｂの代表点Ｐは、点Ｐｄの位置にあるものとする。

【0089】

図１７は、図１６の状態において各投影対象４０ａ、４０ｂに投影される投影画像５０を示す図である。
図１６のように、投影可能領域Ｒに複数の投影対象４０ａ、４０ｂがある場合には、ＣＰＵ１１は、複数の投影対象４０ａ、４０ｂの各々について状態（位置及び向き）を特定する。また、ＣＰＵ１１は、複数の投影対象４０ａ、４０ｂの各々の表面に、特定された状態に応じて内容が異なる投影画像５０を投影装置３０により投影させる。また、ＣＰＵ１１は、複数の投影対象４０ａ、４０ｂの各々の位置及び向きの少なくとも一方の変化に応じて、各投影対象４０ａ、４０ｂの表面に投影させる投影画像５０の内容を異ならせる。図１６及び図１７に示す例では、ＣＰＵ１１は、投影対象４０ａに、図８の右側と同一の投影画像５０ｃを投影させ、投影対象４０ｂに、図１１の右側と同一の投影画像５０ｄを投影させる。このような投影を行うための投影用画像データ１３３は、投影対象４０ａの表面４１に投影される範囲に投影画像５０ｃのデータを含み、投影対象４０ｂの表面４１に投影される範囲に投影画像５０ｄのデータを含み、投影画像５０ｃ、５０ｄ以外の部分がマスクされているデータである。

【0090】

なお、投影可能領域Ｒ内に複数の投影対象４０がある場合に、そのうち１つの投影対象４０に対して投影画像５０を投影することとしてもよい。この場合、例えば、投影画像５０を投影していた投影対象４０が投影可能領域Ｒの外部に出た場合に、他の投影対象４０が投影可能領域Ｒ内にあるか否かを判別し、投影可能領域Ｒに投影対象４０があると判別された場合に、投影画像５０の投影対象を当該投影対象４０に切り替えてもよい。

【0091】

＜画像投影処理＞
次に、上記の動作を実現するために投影制御装置１０のＣＰＵ１１が実行する画像投影処理について説明する。
図１８は、画像投影処理の制御手順を示すフローチャートである。
画像投影処理は、投影システム１の各装置の電源が投入され、所定の投影開始指示がユーザ８０又は投影システム１の管理者によりなされた場合に開始される。

【0092】

画像投影処理が開始されると、ＣＰＵ１１は、撮影装置２０による撮影を開始させる（ステップＳ１０１）。ＣＰＵ１１は、撮影装置２０から撮影画像データ１３２を取得し、２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂにおいて投影対象４０を抽出する（ステップＳ１０２）。

【0093】

ＣＰＵ１１は、２Ｄ画像データ１３２ａ及び深度画像データ１３２ｂにおいて投影対象４０が抽出されたか否かを判別する（ステップＳ１０３）。投影対象４０が抽出されたと判別された場合には（ステップＳ１０３で“ＹＥＳ”）、ＣＰＵ１１は、投影装置３０による投影光の射出位置Ｐ０から投影対象４０の代表点Ｐまでの距離に対応する距離値を導出する（ステップＳ１０４）。また、ＣＰＵ１１は、２Ｄ画像データ１３２ａにおける投影対象４０の画像内位置を導出する（ステップＳ１０５）。また、ＣＰＵ１１は、深度画像データ１３２ｂに基づいて、上述の方法により投影対象４０の向きを導出する（ステップＳ１０６）。

【0094】

ＣＰＵ１１は、投影対象４０の画像内位置及び向きに基づいて、抽出元画像データ１３４のうち投影画像５０として抽出する範囲の中心を決定する（ステップＳ１０７）。また、ＣＰＵ１１は、導出した距離値に基づいて投影対象４０の表示倍率を決定し、決定した表示倍率に応じて、抽出元画像データ１３４のうち投影対象４０として抽出する範囲を決定する（ステップＳ１０８）。

【0095】

ＣＰＵ１１は、投影対象４０に投影される範囲に投影画像５０を含み、かつ投影画像５０以外の部分がマスクされた投影用画像データ１３３を生成する（ステップＳ１０９）。そして、ＣＰＵ１１は、投影用画像データ１３３及び制御信号を投影装置３０に送信し、投影対象４０の表面４１に投影画像５０を投影させる（ステップＳ１１０）。

【0096】

ステップＳ１１０が終了した場合、又は、ステップＳ１０３において投影対象４０が抽出されなかったと判別された場合には（ステップＳ１０３で“ＮＯ”）、ＣＰＵ１１は、投影を終了させる指示がユーザ８０又は投影システム１の管理者からなされているか否かを判別する（ステップＳ１１１）。当該指示がなされていないと判別された場合には（ステップＳ１１１で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ１０２に戻す。当該指示がなされていると判別された場合には（ステップＳ１１１で“ＹＥＳ”）、ＣＰＵ１１は、画像投影処理を終了させる。

【0097】

（変形例）
続いて上記実施形態の変形例について説明する。以下では、上記実施形態との相違点について説明し、上記実施形態と共通する点については説明を省略する。また、以下の変形例に記載した２以上の特徴を組み合わせてもよい。

【0098】

上記実施形態では、投影対象４０の状態（位置及び／又は向き）に応じて、抽出元画像データ１３４の地図の一部分を投影画像５０として抽出して表示したが、投影対象４０の状態に応じた投影画像５０の内容はこれに限られない。
例えば、投影対象４０の状態に応じて抽出された地図の範囲内に位置する施設（例えば飲食店）の情報を含む投影画像５０を投影してもよい。さらに、図１９に示すように、投影対象４０の位置（距離値）の変化に応じて投影画像５０を拡大する際に、拡大前には表示されていなかった情報が表示されるようにしてもよい。また、拡大率の増大に応じて、表示される情報の量が段階的に多くなるように表示内容を変更してもよい。図１９には、投影対象４０の移動に応じて、投影対象４０への投影画像５０が、投影画像５０ａ、投影画像５０ｂ、投影画像５０ｇと、段階的に拡大された場合が例示されている。図１９に示す例においては、各投影画像５０の地図の範囲内に位置する飲食店の情報が表示されるようになっている。詳しくは、投影画像５０ａには、飲食店の領域のみが表示されている。また、投影画像５０ａよりも拡大された投影画像５０ｂには、飲食店の領域に加えて飲食店の名称「レストランＸ」が表示されている。また、投影画像５０ｂよりも拡大された投影画像５０ｇには、飲食店の領域及び名称に加えて、店舗の詳細情報（ここでは、営業時間）がさらに表示されている。逆に、距離値が増大する方向に投影対象４０が移動して、投影画像５０が縮小される場合には、表示される情報の量が段階的に少なくなるように表示内容が変更されてもよい。図１９では、飲食店の情報を例示したが、地図上の任意のオブジェクトについての情報としてもよい。また、投影画像５０が地図以外の画像である場合において、投影画像５０に含まれる任意のオブジェクトに係る情報を表示してもよい。
また、美術館や博物館といった展示施設の内部における投影対象４０の状態に応じて、展示されている物品（美術品等）のうち、投影対象４０の状態に対応する物品（例えば投影対象４０の近傍に位置する物品）の解説を含む投影画像５０を投影してもよい。
また、投影画像５０は、抽出元画像データ１３４の一部を抽出した画像に限られず、投影対象４０の状態に応じて別個の投影画像５０が投影されてもよい。
また、投影対象４０の状態に応じて、投影画像５０の色、明るさ、及び画質等が変更されてもよい。

【0099】

また、上記実施形態では、投影対象４０の状態に応じて投影画像５０の内容を決定したが、これに加えて、投影対象４０の特徴を加味して投影画像５０の内容を決定してもよい。すなわち、ＣＰＵ１１は、所定の方法で投影対象４０の特徴を特定し、特定された特徴に応じた内容の投影画像５０を投影装置３０により投影対象４０に対して投影させてもよい。ここで特定される特徴は、特には限られないが、例えば、投影対象４０の色、材質、形状、大きさ、又はこれらのうち２以上の組み合わせであってもよい。

【0100】

特定された特徴に応じて投影される投影画像５０の内容は、投影システム１の用途等に応じて適宜定めることができる。例えば、投影対象４０の色に応じた情報を含む投影画像５０を投影してもよい。一例を挙げると、投影対象４０が赤色であれば、投影対象４０の状態に応じて抽出された地図の範囲内に位置する飲食店の情報を含む投影画像５０を投影し、投影対象４０が白色であれば、抽出された地図の範囲内に位置する宿泊施設の情報を含む投影画像５０を投影する、といった制御を行ってもよい。

【0101】

（効果）
以上のように、本実施形態に係る投影制御装置１０は、制御手段としてのＣＰＵ１１を備え、ＣＰＵ１１は、投影装置３０による投影可能領域Ｒ内にある投影対象４０について、投影対象４０の位置及び向きの少なくとも一方の変化に応じて、投影装置３０により投影対象４０の表面４１に投影させる投影画像５０の投影内容を異ならせる。これにより、投影対象４０の位置及び向きの少なくとも一方を投影画像５０の内容に反映させることが可能となる。例えば、投影対象４０を移動させたり向きを変化させたりすることによって投影されるコンテンツ（投影画像５０）を操作する直感的なインターフェースを実現することができる。よって、単に同一の投影画像を投影対象４０に追従させる従来のプロジェクションマッピングと比較して、より高度な視覚効果やユーザインターフェースを実現することができる。これにより、プロジェクションマッピングのユーザエクスペリエンス（ＵＸ）が拡張され、例えばＡＲ（拡張現実）としての用途を広げることができる。

【0102】

また、ＣＰＵ１１は、予め定められた位置から投影対象４０までの距離に対応する距離値を特定し、当該距離値に基づいて投影対象４０の位置を特定し、距離値に応じて表示倍率が異なるように調整された投影画像５０を、投影装置３０により投影対象４０の表面４１に投影させる。これにより、投影対象４０を投影装置３０に近付けたり遠ざけたりすることで投影画像５０の表示倍率を操作する直感的なユーザインターフェース及び視覚効果を実現することができる。また、投影対象４０の位置に応じて異なる内容の投影画像５０を投影させることができる。

【0103】

また、ＣＰＵ１１は、距離値が小さいほど表示倍率が大きくなるように調整された投影画像５０を、投影装置３０により投影対象４０の表面４１に投影させる。これにより、投影対象４０を投影装置３０に近付けることで投影画像５０の表示倍率を大きくし、また、投影対象４０を投影装置３０から遠ざけることで投影画像５０の表示倍率を小さくする、直感的なユーザインターフェース及び視覚効果を実現することができる。

【0104】

また、ＣＰＵ１１は、投影可能領域Ｒを含む範囲が撮影された画像である２Ｄ画像データ１３２ａを取得し、当該２Ｄ画像データ１３２ａにおける投影対象４０の画像内位置に基づいて投影対象４０の位置を特定し、抽出元画像データ１３４のうち、２Ｄ画像データ１３２ａにおける投影対象４０の画像内位置に対応する一部を、投影画像５０として投影対象４０の表面４１に投影させる。これにより、投影装置３０から見て投影対象４０を上下左右に移動させることで投影画像５０の内容を変化させる直感的なユーザインターフェース及び視覚効果を実現することができる。また、投影対象４０の位置に応じて異なる内容の投影画像５０を投影させることができる。

【0105】

また、ＣＰＵ１１は、抽出元画像データ１３４のうち、投影対象４０の向きに対応する一部を、投影画像５０として投影対象４０の表面４１に投影させる。これにより、投影対象４０の向きを変化させることで投影画像５０の内容を変化させる直感的なユーザインターフェース及び視覚効果を実現することができる。また、投影対象４０の向きに応じて異なる内容の投影画像５０を投影させることができる。

【0106】

また、ＣＰＵ１１は、投影装置３０により、投影可能領域Ｒ内にある複数の投影対象４０の各々の表面４１にそれぞれ投影画像５０を投影させ、複数の投影対象４０の各々の位置及び向きの少なくとも一方の変化に応じて、各投影対象４０の表面４１に投影させる投影画像５０の内容を異ならせる。これにより、投影可能領域Ｒ内に位置する複数の投影対象４０に対して同時に、各投影対象４０の位置及び向きに応じた内容の投影画像５０を投影することができる。

【0107】

また、変形例に係るＣＰＵ１１は、投影対象４０の特徴を特定し、特定された特徴に応じた内容の投影画像５０を、投影装置３０により投影対象４０の表面４１に対して投影させる。これにより、投影対象４０の特徴に応じて内容が異なる投影画像５０を投影することができる。

【0108】

また、ＣＰＵ１１は、深度カメラによる投影対象４０の撮像結果に基づいて、予め定められた位置から投影対象４０までの距離に対応する距離値を特定し、当該距離値に基づいて投影対象４０の位置を特定する。これにより、投影対象４０の距離値を簡易かつ適切に特定することができる。

【0109】

また、本実施形態に係る投影システム１は、画像を投影する投影装置３０と、投影装置３０の動作を制御する投影制御装置１０と、を備える。投影制御装置１０は、ＣＰＵ１１を備え、ＣＰＵ１１は、投影装置３０による投影可能領域Ｒ内にある投影対象４０について、投影対象４０の位置及び向きの少なくとも一方の変化に応じて、投影装置３０により投影対象４０の表面４１に投影させる投影画像５０の投影内容を異ならせる。これにより、投影対象４０の位置及び向きの少なくとも一方を投影画像５０の内容に反映させることが可能となる。よって、従来のプロジェクションマッピングと比較して、より高度な視覚効果やユーザインターフェースを実現することができる。

【0110】

また、本実施形態に係る投影制御方法は、コンピュータとしてのＣＰＵ１１により実行され、投影装置３０による投影可能領域Ｒ内にある投影対象４０について、投影対象４０の位置及び向きの少なくとも一方の変化に応じて、投影装置３０により投影対象４０の表面４１に投影させる投影画像５０の投影内容を異ならせる。これにより、投影対象４０の位置及び向きの少なくとも一方を投影画像５０の内容に反映させることが可能となる。よって、従来のプロジェクションマッピングと比較して、より高度な視覚効果やユーザインターフェースを実現することができる。

【0111】

また、本実施形態に係るプログラム１３１は、コンピュータとしてのＣＰＵ１１を、投影装置３０による投影可能領域Ｒ内にある投影対象４０について、投影対象４０の位置及び向きの少なくとも一方の変化に応じて、投影装置３０により投影対象４０の表面４１に投影させる投影画像５０の投影内容を異ならせる制御手段、として機能させる。これにより、投影対象４０の位置及び向きの少なくとも一方を投影画像５０の内容に反映させることが可能となる。よって、従来のプロジェクションマッピングと比較して、より高度な視覚効果やユーザインターフェースを実現することができる。

【0112】

（その他）
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施形態では、投影制御装置１０、撮影装置２０、及び投影装置３０が別個となっている例を用いて説明したが、この態様に限られない。
例えば、投影制御装置１０と撮影装置２０とが一体となっていてもよい。一例を挙げると、投影制御装置１０の表示部１５のベゼルに、撮影装置２０の２Ｄカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、投影制御装置１０と投影装置３０とが一体となっていてもよい。例えば、上記実施形態における投影装置３０に投影制御装置１０の機能を組み込み、投影制御装置１０が実行していた処理を投影装置３０の図示しないＣＰＵが実行してもよい。この場合には、投影装置３０が「投影制御装置」に相当し、投影装置３０のＣＰＵが「制御手段」として機能する。
また、撮影装置２０と投影装置３０とが一体となっていてもよい。例えば、上記実施形態における投影装置３０の筐体に、撮影装置２０の２Ｄカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、投影制御装置１０、撮影装置２０及び投影装置３０が全て一体となっていてもよい。

【0113】

また、投影対象４０は、板状のスクリーンに限られない。また、投影対象４０は、必ずしもユーザ８０が保持しているものに限られず、表面に投影画像５０を投影可能な任意の物体であってもよい。

【0114】

また、投影対象４０までの距離（距離値）の導出方法は、上記実施形態のように深度カメラ２２を用いる方法に限られない。例えば、２Ｄカメラ２１及び距離センサを用い、２Ｄカメラ２１で撮影された２Ｄ画像データ１３２ａから投影対象４０を抽出し、この投影対象４０までの距離を距離センサにより計測してもよい。また、ＧＰＳ（Global Positioning System）などの測位衛星からの送信電波に基づいて投影対象４０の位置を特定し、投影装置３０からの距離を導出してもよい。また、投影画像５０の大きさが予め決まっている場合には、２Ｄ画像データ１３２ａに写っている投影画像５０の大きさに基づいて距離値を導出してもよい。

【0115】

また、投影対象４０の状態は、位置及び向きのいずれか一方により決定されてもよい。例えば、投影対象４０の位置のみを考慮して投影画像５０の内容を決定してもよい。

【0116】

また、上記実施形態では、距離値が小さいほど表示倍率が大きくなるように投影画像５０を調整したが、これに限られず、距離値が小さいほど表示倍率が小さくなるように投影画像５０を調整してもよい。

【0117】

また、以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３のＨＤＤ、ＳＳＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ、ＣＤ－ＲＯＭ等の情報記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。

【0118】

また、上記実施形態における投影システム１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。

【符号の説明】

【0119】

１ 投影システム
１０ 投影制御装置
１１ ＣＰＵ（制御手段）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 撮影画像データ
１３２ａ ２Ｄ画像データ（二次元撮影画像）
１３２ｂ 深度画像データ
１３３ 投影用画像データ
１３４ 抽出元画像データ（元画像）
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 撮影装置
２１ ２Ｄカメラ
２２ 深度カメラ
３０ 投影装置
４０、４０ａ、４０ｂ 投影対象
４１ 表面
５０ 投影画像
５０、５０ａ～５０ｆ 投影画像
８０、８０ａ、８０ｂ ユーザ
ＡＸ 回転軸
Ｄ１～Ｄ３ 距離値
Ｌ 仮想線
Ｐ 代表点
Ｐ０ 射出位置
Ｒ 投影可能領域
ＲＳ 撮影範囲
Ｓ 投影可能面
Ｓａ～Ｓｃ 仮想面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】