特許 6429414 プロジェクションマッピング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6429414

(24)【登録日】2018年11月9日

(45)【発行日】2018年11月28日

(54)【発明の名称】プロジェクションマッピング方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20181119BHJP

   G09G 5/36 20060101ALI20181119BHJP

   G09G 5/377 20060101ALI20181119BHJP

   G09G 5/38 20060101ALI20181119BHJP

   H04N 5/74 20060101ALI20181119BHJP

【ＦＩ】

   G09G5/00 530H

   G09G5/00 510B

   G09G5/00 550C

   G09G5/36 520F

   G09G5/36 520G

   G09G5/36 520K

   G09G5/36 520M

   G09G5/36 520P

   G09G5/38 A

   G09G5/00 510V

   H04N5/74 Z

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2017-56546(P2017-56546)

(22)【出願日】2017年3月22日

(65)【公開番号】特開2018-159795(P2018-159795A)

(43)【公開日】2018年10月11日

【審査請求日】2017年3月22日

(73)【特許権者】

【識別番号】517101469

【氏名又は名称】熊視多媒體創意有限公司

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】程 祥龍

【審査官】 越川 康弘

(56)【参考文献】

【文献】 特開２０１６−０１３１７２（ＪＰ，Ａ）

【文献】 特開２０１６−１７８４４８（ＪＰ，Ａ）

【文献】 特開２０１５−１９２３１０（ＪＰ，Ａ）

【文献】 特開２００９−０４９００７（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１７０６８０（ＷＯ，Ａ１）

【文献】 ＡＭＡＴＥＲＡＳ Ｍａｐｐｅｒ，日本，株式会社オリハルコンテクノロジーズ，２０１６年 ６月１１日，ＵＲＬ，https://web.archive.org/web/20160611214930/http://www.orihalcon.co.jp/amateras/mapper

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００−５／４２

Ｈ０４Ｎ ５／７４

(57)【特許請求の範囲】

【請求項1】

イメージを被投影実体上に投影するプロジェクションマッピング方法であって、
電子装置を利用して、そのプロファイルが該被投影実体のプロファイルとほぼ同一である３Ｄモデルを作成又はインポートするモデリング工程と、
該電子装置により自由に選択した視角方向から該３Ｄモデルを含むイメージ画面を取得する取得工程と、
投射装置を利用し、該電子装置中の該視角方向から取得した該イメージ画面を該被投影実体上に投射する投射工程と、
該電子装置中の該３Ｄモデルに対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該視角方向から取得した該イメージ画面中の３Ｄモデルのプロファイルを変化させ、該投射装置が投射する該３Ｄモデルのプロファイルを該被投影実体のプロファイルに完全に一致するまで変化させる調整工程と、
該電子装置に映像データを作成又はインポートし、該映像データを付加イメージに変換する変換工程と、
該付加イメージを調整後の該３Ｄモデルの表面に設置し、投影モデルを共同形成する投影工程と、
該電子装置により該視角方向から該投影モデルを含む投影イメージ画面を取得する再取得工程と、
該投射装置を利用して該視角方向から該投影イメージ画面を該被投影実体上に投射する再投射工程と、
を含むプロジェクションマッピング方法。

【請求項2】

更に再調整工程を含み、該投射装置、該被投影実体が方向、角度又は位置の少なくとも１つが互いに相対して変化する時、該投影モデルに対して調整を行い直し、該投射装置が投射する該イメージ画面中の該投影モデルを該被投影実体のプロファイルに再度一致させる請求項１に記載のプロジェクションマッピング方法。

【請求項3】

更に再モデリング工程を含み、該被投影実体がオリジナルプロファイルから変形プロファイルに変化するとき、該３Ｄモデルのプロファイルを該変形プロファイルに対応して補正し、その後、再度該投影工程を行う請求項１に記載のプロジェクションマッピング方法。

【請求項4】

前記取得工程において、該イメージ画面は、更に背景除去処理によって該視角から取得できる該３Ｄモデルのプロファイル及びパターンのみ有する請求項１に記載のプロジェクションマッピング方法。

【請求項5】

前記取得工程において、該投射装置は、第１投射ユニット及び第２投射ユニットを含み、該視角方向は、第１視角方向及び第２視角方向を含み、該第１投射ユニットは、該第１視角方向から該被投影実体に対して第１イメージ画面を投射し、該第２投射ユニットは、該第２視角方向から該被投射実体に対して第２イメージ画面を投射し、該被投影実体上に該第１イメージ画面及び該第２イメージ画面から共同投射する共同投射領域を生成する請求項１に記載のプロジェクションマッピング方法。

【請求項6】

前記取得工程において、該視角方向は、第１視角方向、第２視角方向及び第３視角方向を含み、該投射装置は、該第１投射ユニット、第２投射ユニット及び第３投射ユニットを含み、該第１、第２及び第３投射ユニットが該被投影実体を囲うように設置され、それぞれ該第１視角方向、該第２視角方向及び該第３視角方向から該被投影実体に対して第１投影画面、第２投影画面及び第３投影画面を投射し、該第１、第２、第３投影画面は、該被投影実体の全側表面を共同で囲う請求項１に記載のプロジェクションマッピング方法。

【請求項7】

イメージを被投影実体上に投影するプロジェクションマッピング方法であって、
電子装置を利用して、そのプロファイルが該被投影実体のプロファイルとほぼ同一である３Ｄモデルを作成又はインポートするモデリング工程と、
該電子装置に映像データを作成又はインポートし、該映像データを付加イメージに変換する変換工程と、
該付加イメージを該３Ｄモデルの表面に設置し、投影モデルを共同形成する投影工程と、
該電子装置により自由に選択した視角方向から該投影モデルを含むイメージ画面を取得する取得工程と、
投射装置を利用し、該電子装置中の該視角方向から取得した該イメージ画面を該被投影実体上に投射する投射工程と、
該電子装置中の該投影モデルに対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該視角方向から取得した該イメージ画面中の投影モデルのプロファイルを変化させ、該投射装置が投射する該投影モデルのプロファイルを該被投影実体のプロファイルに完全に一致するまで変化させる調整工程と、
を含むプロジェクションマッピング方法。

【請求項8】

更に再調整工程を含み、該投射装置、該被投影実体が方向、角度又は位置の少なくとも１つが互いに相対して変化する時、該投影モデルに対して調整を行い直し、該投射装置が投射する該イメージ画面中の該投影モデルを該被投影実体のプロファイルに再度一致させる請求項７に記載のプロジェクションマッピング方法。

【請求項9】

更に再モデリング工程を含み、該被投影実体は、オリジナルプロファイルから変形プロファイルに変化するとき、該３Ｄモデルのプロファイルを該変形プロファイルに対応して補正し、その後、再度該投影工程を行う請求項７に記載のプロジェクションマッピング方法。

【請求項10】

前記取得工程において、該イメージ画面は、更に背景除去処理によって該視角から取得できる該投影モデルのプロファイル及びパターンのみ有する請求項７に記載のプロジェクションマッピング方法。

【請求項11】

前記取得工程において、該投射装置は、第１投射ユニット及び第２投射ユニットを含み、該視角方向は、第１視角方向及び第２視角方向を含み、該第１投射ユニットは、該第１視角方向から該被投影実体に対して第１イメージ画面を投射し、該第２投射ユニットは、該第２視角方向から該被投射実体に対して第２イメージ画面を投射し、該被投影実体上に該第１イメージ画面及び該第２イメージ画面から共同投射する共同投射領域を生成する請求項７に記載のプロジェクションマッピング方法。

【請求項12】

前記取得工程において、該視角方向は、第１視角方向、第２視角方向及び第３視角方向を含み、該投射装置は、該第１投射ユニット、第２投射ユニット及び第３投射ユニットを含み、該第１、第２及び第３投射ユニットが該被投影実体を囲うように設置され、それぞれ該第１視角方向、該第２視角方向及び該第３視角方向から該被投影実体に対して第１投影画面、第２投影画面及び第３投影画面を投射し、該第１、第２、第３投影画面は、該被投影実体の全側表面を共同で囲う請求項７に記載のプロジェクションマッピング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像又は画像を３Ｄ物体に投影するプロジェクションマッピング方法に関し、特に、被投影実体がプロファイル又は方位が変化する時、電子装置によってイメージ画面を迅速に補正することができる投影方法に関する。

【背景技術】

【0002】

プロジェクションマッピングは、投影機器を利用して映像を実際の物体に投影する投影技術であり、一般は、芸術又は広告方面の表現方面に使用され、物体表面に設計された映像を投影し、被投影の実際の物体、例えば、建築物の壁、舞台、展示場、又は比較的大型の製品、自動車等の表面に色の変化、模様の変化又はその他の様々な視覚特殊効果等を表現し、非常に人気のある視覚表現技術であり、近年では各種大きさのショーイベントに普及し始めている。

【0003】

現在既知のプロジェクションマッピング技術は、投影機の実際の物体に対する視角を先に記録し、該視角に対して該相対視角に適合する投影映像を設計し、実際の物体の該投影映像に対応する位置及びプロファイルを計算し、投影映像中の実体物体以外の部分を黒塗りした後、設計した投影映像を対応する投影機で放映し、実際の物体表面が映像を放映しているかのようにさせる。

【0004】

但し、該投影技術は、幾つかの主な制限があり、そのうち１つは、投影機の実際物体に相対する視角を先に決定した後、該視角に対応する投影映像を作り、故に投影機と実際の物体の視角が固定されて変更することができず、一旦視角が変化すると投影映像全体を設計し直す必要がある。同様の理由で、実際の物体のプロファイル及び位置と映像設計時の両者とに差異がある場合、映像を設計し直す必要があり、十分に面倒である。また、同じく、先に視角を決定した後、該視角に対応して観測される、被投影物体に合わせた三次元プロファイルを二次元に投影する時の投影映像を設計し、従って、同一物体上に複数の異なる映像を投射したい場合、映像を製作し直す必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、投射装置及び実際の被投影物体の視角、位置、角度、更には被投影物体のプロファイルが変化する時、電子装置に簡単な操作を行い、各種異なる変化に合わせて投影する映像を設定し直すことができ、マッピング映像を設計し直す時間及びコストを低減するプロジェクションマッピング方法を提供することにある。

【0006】

本発明のもう１つの目的は、使用者が投影時に被投影実体のプロファイルにより生じる死角を減少させることを望み、同一投影実体に対して異なる投影方向にそれぞれ複数のマッピング映像を製作する必要がある時、該複数のマッピング映像を迅速に生成することができるようにすることである。

【0007】

本発明のもう１つの目的は、被投影実体の表面全体をマッピングの表現領域とすることができるようにすることを望み、複数のマッピング映像を異なる方向から共同で投射して合成する必要がある時、被投射実体の全体表面に投射する複数のマッピング映像を迅速に製作させることができるようにすることである。

【課題を解決するための手段】

【0008】

上記の目的を達成する為、本発明が提供するプロジェクションマッピング方法は、映像を投影実体上に投影し、モデリング工程、取得工程、投射工程、調整工程、変換工程、投影工程、再取得工程及び再投射工程を含む。

【0009】

該モデリング工程において、電子装置を利用して３Ｄモデルを作成又はインポートし、該３Ｄモデルの作成方式は制限せず、従来の３Ｄ製図ソフトウェアによりエンジニアが被投影実体の実際の写真に基づいて人工モデリングを行うか、レーザ、超音波等のスキャン方式を用いるか、又は空中撮影機を使用して撮影した後モデリングすることができる。

【0010】

該取得工程において、該電子装置は、少なくとも１つの視角方向に基づいて該３Ｄモデルを含むイメージ画面を取得する。

【0011】

その後、該イメージ画面を作成した後、続いて投射工程及び調整工程を行う。該投射工程において、投射装置を利用して該視角方向から該該イメージ画面を該投影実体に投射し、そのうち、実施時、該投射装置の数量及び種類は、特殊な制限を有していない。

【0012】

該調整工程において、該電子装置中の該３Ｄモデルに対して回転、変位、縮小拡大のうち少なくとも１種の動作を行い、該投射装置が投射する該イメージ画面中の該３Ｄモデルのプロファイルを該被投影実体のプロファイルに完全に合わせ、そのうち、該投影モデルのプロファイルが該被投影実体のプロファイルに完全に合っているかを判定する方式は、制限しない。

【0013】

プロファイルを再確認した後、該変換工程において、該電子装置に映像データを作成又はインポートし（幾つかの実施例ではマッピングパターンである）、該映像データを付加イメージに変換し、該投影工程において、該付加イメージを調整した後の該３Ｄモデルの表面に設置し、投影モデルを共同で形成し、そのうち、本発明は、該変換工程及び該投影工程以外の各工程間の先後の順序を制限しない。

【0014】

続いて、該再取得工程及び再投射工程を行う。該再取得工程において、該電子装置は、該視角方向から該投影モデルを含む投影イメージ画面を取得し、該再投射工程において、該投射装置を利用して該視角方向から該投射イメージ画面を該投影実体上に投射する。

【0015】

また、上記目的を達成する為、本発明が提供する他のプロジェクションマッピング方法は、イメージを投影実体に投影し、モデリング工程、変換工程、投影工程、取得工程、投射工程及び調整工程を含む。

【0016】

そのうち、本方法及び前記方法の差異は、本方法において、先ず該モデリング工程を行い、該変換工程及び該投影工程後、その他の該取得工程、該投射工程及び該調整工程を行い、該再取得工程及び該再投射工程を有さないことにある。但し、このような順序の変化は、依然として該モデリング工程、該変換工程及及び前記方法中の該モデリング工程、該変換工程の内容と一致し、故にここでは、再度説明せず、差異に対して説明を行う。

【0017】

本方法の該投影工程において、先ず該付加イメージを該３Ｄモデルの表面に設置し、投影モデルを共同で形成し、該取得工程において、該電子装置は、少なくとも１つの視角方向から該投影モデルを含むイメージ画面を含み、該投射工程において、投射装置を利用して該視角の方向から該投影モデルを含む該イメージ画面を該被投影実体上に投射する。

【0018】

最後に、調整工程において、該電子装置中の該投影モデルに対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該投射装置が投射する該イメージ画面中の該投影モデルのプロファイルを該被投影実体のプロファイルに完全に適合させる。

【0019】

また、該２種の方法の実施例において、該プロジェクションマッピング方法は、更に再調整工程を含み、該投射装置、該投影実体の互いに相対して方向、角度又は位置の少なくとも１つが変化する時、該投影モデルに対して調整を再度行い、該投射装置が投射する該イメージ画面中の該投影モデルを再度該被投影実体のプロファイルに合わせる。そのうち、如何に該投射装置、該投影実体の間の位置、方向、角度関係を検出、感知するかは、制限しない。

【0020】

また、該２種の方法の実施例において、該プロジェクションマッピング方法は、再モデリング工程を更に含み、該被投影実体をオリジナルプロファイルから変形プロファイルに変化させ、その後、その他の後続工程を再度行い、該変化後の３Ｄモデルを利用して生じる該イメージ画面に該被投影実体のプロファイルを再度適合させる。

【0021】

該２種の方法の幾つかの実施例において、該取得工程において、該イメージ画面は、更に、背景削除処理によって該視角により取得できる該投影モデル又は該３Ｄモデルのプロファイル及びパターンのみを有し、該方法によって該イメージ画面中の不要な部分を減少し、該投射装置が投影するイメージ品質を向上するか、幾つかの実施例において、該電子装置がプログラムを利用して該投影モデルの該３Ｄモデルのプロファイルを判断することができる。

【0022】

投射装置が発生する変化の応用に対して、該２種の方法の幾つかの実施例において、該取得工程において、該投射装置は、第１投射ユニット及び該２投射ユニットを含み、該視角方向は、第１視角方向及び第２視角方向を含み、該第１投射ユニットは、該第１視角方向から該被投影実体に対して第１イメージ画面を投射し、該第２投射ユニットは、該第２視角方向から該被投影実体に対して第２イメージ画面を投射し、該被投影実体上に該第１イメージ画面及び該第２イメージ画面が共同投射する共同投射領域を発生させ、該共同投射領域において、該被投影実体のプロファイル凹凸によって単一方向の投影時に生じる死角を減少する。

【0023】

もう１種の変化方式は、該２種の方向の幾つかの実施例において、該取得工程において、該視角方向は、第１視角方向、第２視角方向及び第３視角方向を含み、該投射装置は、第１投射ユニット、第２投射ユニット及び第３投射ユニットを含み、該第１、第２及び第３投射ユニットは、該被投影実体を囲うように設置され、それぞれ該第１視角方向、該第２視角方向及び該第３視角方向により、該被投影実体に対して第１投影画面、第２投影画面及び第３投影画面を投射し、該第１、第２、第３投影画面は、該被投影実体の側表面全体を共同に囲い、該被投影実体に投射する該付加イメージの面積を増加する。

【0024】

以上の説明から分かるように、本発明が提供する２種の方法の特徴は、何れも被投影実体及び投射装置の間の角度、位置、方向の変化時に迅速に投影映像を設計し直すことができるようにするためであり、方法上、何れも先ず該モデリング工程中の電子装置に３Ｄモデルを設置し、その後、表現したい映像データを付加イメージに製作し、該３Ｄモデルの表面に設置し、投影モデルを生成した後、最後に視角方向に基づいて該投影モデルを含むイメージを取得し、該投射装置に該被投射実体のイメージ画面を投射させ、従来技術の先ず映像の視角を決定し、その他の後続処理を行う技術と異なる。本発明を被投影実体及び投射装置の間の角度、位置、方向上の変化に対して投影映像を設定し直す必要がある時、被投影実体及び投射装置の間の相対変化に合わせて調整を行って設定し直した視角方向により該投影モデルの該イメージ画面を取得し、設定を完成することができる。

【0025】

また、被投影実体のプロファイルが変化する時、該モデリング工程において、該３Ｄモデルの外形を変化後の被投影実体のプロファイルに対応して取得工程及び後続の投射工程を再度行い、前記従来技術のような視角方向を選択する工程を用いず、該映像データの再製作を開始する。

【0026】

最後に、該被投影実体の該付加映像を呈現できる面積を増加させるか、投射時の死角を減少する必要がある場合、該投射装置中の複数の投射ユニットを利用し、該取得工程において、複数の異なる該視角方向に取得される複数の異なるイメージデータを取得した後、該被投影実体の表面に共同投影することができる。

【発明の効果】

【0027】

本発明のプロジェクションマッピング方法は、投射装置及び実際の被投影物体の視角、位置、角度、更には被投影物体のプロファイルが変化する時、電子装置に簡単な操作を行い、各種異なる変化に合わせて投影する映像を設定し直すことができ、マッピング映像を設計し直す時間及びコストを低減する。

【図面の簡単な説明】

【0028】

【図1】本発明のプロジェクションマッピング方法の実施例の実施フロー説明図である。

【図2】図１の実施例の実施時のモデリング工程及び取得工程後の説明図である。

【図3】図１の実施例の実施時の投影工程後の説明図である。

【図4】図１の実施例の実施時の調整工程後の説明図である。

【図5】図１の実施例の実施時の変換工程、投影工程及び取得工程後の説明図である。

【図6】図１の実施例の実施時の再投影工程を行う説明図である。

【図7】本発明のプロジェクションマッピング方法のもう１つの実施例の実施フロー説明図である。

【図8】図７の実施例の実施時のモデリング工程後の説明図である。

【図9】図７の実施例の実施時の変換工程、投影工程及び取得工程後の説明図である。

【図10】図７の実施例の実施時の投影工程後の説明図である。

【図11】図７の実施例の実施時の調整工程後の説明図である。

【図12】本発明のプロジェクションマッピング方法の可能実施例を実施するフロー説明図である。

【図13】図１２中の実施例において、３Ｄモデルのオリジナルプロファイルを変形プロファイルの説明図である。

【図14】本発明のプロジェクションマッピング方法の実施例において、被投影実体のプロファイルによりもたらされる陰影を減少するための実施方式の説明図である

【図15】本発明のプロジェクションマッピング方法の実施例において、被投影実体に投影する映像データの面積を可能な限り増加させることに使用する実施方式の説明図である。

【発明を実施するための形態】

【0029】

本発明の構造、使用及びその特徴についてより一層明確に、詳しく認識及び理解するため、好適実施例を挙げ、図面を合わせて以下に詳細を説明する。

【0030】

図１〜図６を参照し、図１に示すように、本発明が提供するプロジェクションマッピング方法は、イメージを被投影実体１０上に投影し、そのうち1つの方法において、モデリング工程２０、取得工程２１、投射工程２２、調整工程２３、変換工程２４及び投影工程２５、再取得工程２６及び再投射工程２７を含む。以下に各工程の内容に対して図２〜図４の実施例とあわせて詳細に説明を行う。

【0031】

図１及び図２に示すように、該モデリング工程２０において、先ず電子装置２０１としてのパソコンのプログラムを利用して３Ｄモデル２０２を作成するか、又はその他のパソコンから作成済の３Ｄモデル２０２をインポートする。そのうち、該３Ｄモデル２０２及び該被投影実体１０のプロファイルはほぼ同じであり、その理由は、該３Ｄモデル２０２の完全性は、後述のイメージ画面２１０を生成するとき、異なる投射状況に対応する能力に関係する。該３Ｄモデル２０２が該被投影実体１０のプロファイルに接近するほど、後述のイメージ画面２１０を生成する時に対応可能な角度、相対位置、方向上において変化能力が好ましくなれる。特に説明すべきこととして、該３Ｄモデル２０２は、必ずしも３つの次元の立体モデルを指すのではなく、該被投影実体１０は、平面であってもよく（例えば、フラグ時）、該３Ｄモデル２０２は、平面状のモデルであることができ、３Ｄと称するのは、ただ３つの次元の角度から該取得工程２１を行うことができるからである。

【0032】

そのうち、本発明は、該電子装置２０１の種類を制限せず、一般の家庭用デスクトップパソコン、ノートパソコン、携帯電話及び平板装置等の装置は、何れも該電子装置２０１の範疇に含まれる。また、本発明も該３Ｄモデル２０２の作成方式も制限せず、故に実際の応用において、現在の公知の３Ｄ製図ソフトウェアによりエンジニアが実際の実物写真に基づいてモデリングを行うか、レーザ、超音波等走査方式又は空中撮影機を利用して囲って撮影した後にモデリングし、その他の現在詳細に記載していないが、該電子装置２０１に被投影実体１０の３Ｄモデル２０２を発生することに用いる方式は、何れも本発明の範疇に属する。

【0033】

該３Ｄモデル２０２を作成した後、該取得工程２１を行う。該取得工程２１において、該電子装置２０１としての該パソコンは、視角方向２２２により該３Ｄモデル２０２を含むイメージ画面２１０を取得し、該パソコンのスクリーンでブラウジング確認を行うことができる。そのうち、該視角方向２２２は、実際の必要に応じて自由に選択を行うことができる。且つ本実施例において、該視角方向２２２は、これに制限するものではないが、該電子装置２０１の該スクリーン上で表示される角度方向であり、但し表示に便利にするため、図２は、該視角方向２２２を示していない。

【0034】

また、本実施例の取得工程２１において、該イメージ画面２１０は、更に、背景除去処理２１ａによって、該視角方向２２２から取得できる該３Ｄモデルのプロファイルのみを見ることができ、そのうち、背景除去処理２１ａの方式は、制限せず、従来の安置ブラック処理、又はその他のイメージ中の物体に背景除去を行う技術を使用し、図３、図４において、該イメージ画面２１０で見ることができ部分のプロファイルは、該３Ｄモデル２０２と一致する。但し、本発明は、該取得工程２１において、必ずしも該背景除去処理２１ａを有するように制限するものではなく、故に、幾つかの実施例において、その他の工程において、該背景除去処理２１ａを行うことができ、更には、該背景除去処理２１ａを行わなくともよい。また、幾つかの実施の応用において、該投射装置に該パソコンにイメージを入力できる撮像ユニットを結合し、使用者は、該パソコンにおいて、該投射装置２２０から該被投影実体１０へ向かう状況を直接確認することができ、取得後の該イメージ画面２１０が該被投影実体１０に投射される様子を模擬表示することができる。

【0035】

図１及び図３に示すように、該イメージ画面２１０を作成した後、該投射工程２２において、該投射装置２２０の投射ユニット２２１を利用して該視角方向２２２から該イメージ画面２１０を該被投影実体１０上に投射する。そのうち、本発明は、該投射ユニット２２１の数量及び種類に対して特殊な制限を行うことはなく、イメージを投射することに用いる投射機器は、何れも本発明に応用することができる。

【0036】

その後、図１、図３及び図４を参考とし、投射ユニット２２１から投射されるイメージ画面２１０中の該３Ｄモデル２０２のプロファイルが実際に該被投影実体１０に投射される時、機器、場所の関係又はその他の要素によって実際の被投影実体１０と差異を生じる可能性があり、故に該イメージ画面２１０中の該３Ｄモデル２０２に対して関連する回転、変位、縮小拡大等の調整を行う必要があり、該調整工程２３に移行する。

【0037】

該調整工程において、該パソコンを利用して該３Ｄモデル２０２に対して回転、変位、縮小拡大のうちの少なくとも１つの動作を行い、該投射ユニット２２１が投射する該イメージ画面２１０中の該３Ｄモデル２０２のプロファイルを該被投影実体１０のプロファイルに完全に合わせ、その後、後続のその他の工程を再度行う。

【0038】

但し、特に説明すべきこととして、本実施例において、該超絵師工程２３は、該電子装置２０１を利用して該電子装置２０１のスクリーン上で見られる該３Ｄモデル２０２に対して直接回転、変位、縮小拡大の工程（そのうち、該回転、変位、縮小拡大の動作は、３Ｄモデル２０２の自身又は画面中の観察点を変化する位置に対することができる）を行い、該視角方向２２２が取得した該３Ｄモデル２０２に影響を及ぼし、直接該投射ユニット２２１が投射する該３Ｄモデル２０２に対して回転、変位、縮小拡大を行うものではない。

【0039】

また、本発明は、該３Ｄモデル２０２のプロファイルが該被投影実体１０のプロファイルに合っているかを以下に判定するかの方式は、制限しない。該例において、使用者から直接人工方式で該イメージ画面２１０中の該3Dモデル２０２のプロファイルが該被投影実体１０と一致するかを判断する。但し、幾つかの実施例において、使用者は、該パソコンにおいて、関連のプログラムのイメージ分析等によって、該撮影ユニットが直接取得する該投射ユニット２２１が投射する該イメージ画面２１０、及び該投射ユニット２２１がある位置で観察できる該被投射実体１０のイメージに合わせて両者間のプロファイルの判定及び関連補正を自動でリアルタイムに行う。

【0040】

続いて、図１及び図５に示すように、該変換工程２４において、該電子装置２０１としてのパソコンで作成するか、その他のデータ供給元から映像データ２４１をインポートし、その後、該映像データ２４１を、従来のDirectX又はOpenGLの技術を利用して該映像データ２４１を材質として付加イメージ２４２に変換する。そのうち、本発明は、該映像データ２４１を該付加イメージ２４２に変換する方式を制限せず、該文章で提示されるDirectX又はOpenGLの技術は、説明のためであって制限するものではない。また、本発明は、該映像データ２４１の詳細な種類も制限せず、幾つかの実施例において、該映像データ２４１は、静的な画像イメージであることができ、その他の実施例において、該映像データ２４１は、動的に変化する映像データであることができる。

【0041】

図１、図５及び図６に示すように、該付加イメージ２４２を生成した後、該投影工程２５に移行する。該投影工程２５において、該付加イメージ２４２を該調整工程２３で調製された該３Ｄモデル２０２の表面に設置し、投影モデル２４３を共同形成し、続いて、再取得工程２６及び再投射工程２７を行う。

【0042】

該再取得工程２６において、該電子装置２０１により該視角方向２２２から該投影モデル２４３を含む投影イメージ画面２１１を取得し、該投射ユニット２２１により該視角方向から該投影イメージ画面２１１を該被投影実体１０に投影し、該投射ユニット２２１に投射された該イメージ画面２１０中の３Ｄモデル２０２を該投影モデル２４３に変換する。これにより、該投影実体１０に該付加イメージ２４２を呈現する。

【0043】

以上の説明から分かるように、該投影ユニット２２１の最後に該イメージ画面２１０中に投影する該投影モデル２４３が呈現する該付加イメージ２４２のプロファイルは、該投影工程２５において、該３Ｄモデル２０２の表面プロファイルを合わせて組み合わせを行い、使用者が該投射装置２２０が投射する該映像データ２４１を変化させたい時、該使用者は、直接該投影モデル２４３上に付加する該付加イメージ２４２に対して交換調整を行い、変化を反映させ、映像を設定し直す必要がない。

【0044】

また、以上の図１〜図６の説明は、ただ本発明が提供する方法の多種の実施例のうち１種であり、本発明が提供する他種のプロジェクションマッピング方法について、図７〜図１１に示すように、該方法は、同様に、イメージを被投影実体１０に投影し、モデリング工程２０、変換工程２４、投影工程２５、取得工程２１、投射工程２２及び調整工程２３を含む。

【0045】

そのうち、本方法と前記段落で記載される方法の最大の差異は、該方法は、先ず該調整工程２３を行った後、該変換工程２４及び該投影工程２５を行い、該再取得工程２６及び該再投射工程２７を行う。但し、本方法は、該モデリング工程２０後に該変換工程２４及び該投影工程２５を行い、且つ該再取得工程２６及び該再投射工程２７を実行しない。なぜならば、本方法において、順序以外、該モデリング工程２０、該変換工程２４の実際の内容及び前記方法と略同じであり、故にここでは、該モデリング工程２０及び該変換工程２４の内容に対しては説明せず、直接該投影工程２５により説明を開始する。

【0046】

図８に示すようなモデリング工程２０及び図９に示すような変換工程２４を経た後、同様に図９を参考とし、該投影工程２５において、該付加イメージ２４２を該３Ｄモデル２０２の表面に設置し、投影モデル２４３を共同で形成し、特に注意すべきこととして、本方法の本工程において、該３Ｄモデル２０２は、該調整工程２３を経て如何なる調整も行っていない。

【0047】

該取得工程２１において、該電子装置２０１としての該パソコンのスクリーン上に表示される角度方向（同様に、本実施例において、該視角方向２２２は、これに限定するものではないが、該電子装置２０１のスクリーン上に表示される角度方向であり、但し、表示に便利であるため、図９には同様に該視角方向２２２を示していない）から該投影モデル２４３を含むイメージ画面２１０を取得する。

【0048】

図７、図１０を参考とし、該投射工程２２において、該投射装置２２０の投射ユニット２２１を利用し、該視角方向２２２から該投影モデル２４３を含む該イメージ画面２１０を該被投影実体１０上に投射する。前記方法のように、投射ユニット２２１により投射されるイメージ画面２１０中の該投影モデル２４３のプロファイルが実際に該被投影実体１０上に投射される時、設備、場所の関係又はその他の要素等によって実際の被投影実体１０と差異を有する可能性があるので、該調整工程２３の部分に移行する。

【0049】

図１１に示すように、該調整工程２３において、該パソコンのスクリーン上で見られて取得される該イメージ画面２１０の該投影モデル２４３に対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該投射ユニット２２１が投射する該イメージ画面２１０中の該投影モデル２４３のプロファイルを該被投影実体１０のプロファイルと完全に一致させ、詳細な調整方式及び確認方法は、前記段落中の説明を参考にすることができる。

【0050】

図１２に示すように、本発明の他の幾つかの実施例において、更に多く実際の使用時に遭遇する各種状況に合わせ、該プロジェクションマッピング方法は、更に、再調整工程２８及び再モデリング工程２９を含み、該イメージ画面２１０において、該調整工程２３を経て設定完成後、該投射装置２２０、該被投射実体１０が相互に相対的に方向、角度又は位置の少なくとも１つが変化するか、該被投射実体１０のプロファイル及び該３Ｄモデル２０２が偏差を有するとしても該投影モデル２４３に対して調整を行い直し、該投射装置２２０が投射する該イメージ画面２１０中の該投影モデル２４３を再度該被投影実体１０のプロファイルに合わせることができる。但し、同様に、本発明は、該状況を判定する方法及び調整方式に対して如何なる制限も有さず、関連内容は、前記段落中の説明を参考にすることができる。

【0051】

そのうち、図１２は、前記段落において、図７の記載を合わせ、先ず該変換工程２４及び該投影工程２５を行い、その後、該調整工程２３の方法を行うことを基礎とし、該再調整工程２８及び該再モデリング工程２９を増加することによって説明を行い、但し、本発明は、該再調整工程２８及び該再モデリング工程２９が図７に示すような方法で行うことに制限するものではなく、図１に示すような方法に応用し、該再投射工程２７後に行うこともできる。

【0052】

図１２に示すように、該調整工程２３の後、該投射装置２２０、該被投射実体１０の間の位置、方向、角度関係の何れか１つが変化を発生する時、該再調整工程２８を実行する。該再調整工程２８において、該取得工程２１に戻り、該投影モデル２４３に対して該投射装置２２０、該被投影実体１０の間の位置、方向、角度関係のうちの少なくとも１つの変化を合わせて改めて補正を行い、該投射装置２２０が投射する該イメージ画面２１０中の該投影モデル２４３のプロファイルを変化後の該被投影実体１０のプロファイルを一致させ、取得を改めて行う。そのうち、該投射装置２２０、該被投影実体１０の位置、方向、角度関係の間の変化を如何に検出、感知するかは、制限せず、従来の装置、例えば、該投影実体１０周囲又はその上の位置に設置するセンサ、角度を検出する回転盤、又は人の眼で観察する等を用いることができる。

【0053】

また、該再調整工程２８を行った後（但し必須であると制限するものではない）依然として該イメージ画面２１０中の該投影モデル２４３のプロファイル及び該被投影実体１０のプロファイルを一致させることができない場合、要因は該モデリング工程２０で使用する該被投影実体１０のプロファイル及び実際の投影時のプロファイルが、オリジナルプロファイル２０３から変形プロファイル２０４に変化することにあり、故に該再モデリング工程２９を行う時、図１２、図１３に示すように、該３Ｄモデル２０２の外型を該変形プロファイル２０４及び該オリジナルプロファイル２０３間の変化に対応し、該３Ｄモデル２０２のプロファイルを該変形プロファイル２０４に補正し、その後、再度後続の取得工程２１等のその他の工程を再度行う。最後に投射される該イメージ画面２１０中の該投影モデル２４３のプロファイルを該被投射実体１０のプロファイルに再度一致させ、そのうち、如何に該３Ｄモデル２０２を補正する方式は限定せず、人工方式、又は被投影実体１０上にセンサ等の非人工の方式で補正することができる。

【0054】

最後に、本発明の方法の実際の応用上の細節について、ここで補充を加える。幾つかの実施例において、前記二種の方法の実施例に類似し、該取得工程２１時、該投影モデル２４３のプロファイルを判断することに便利にするか、或いは、幾つかの実施例において、該イメージ画面２１０中に投射する不必要な部分を減少し、該投射装置２２０が投射するイメージ品質を向上する。該イメージ画面２１０が該投射工程２２を実際に行う前、該背景除去処理２１ａによって該イメージ画面２１０を該視角方向２２２により取得できる該投影モデル２４３のプロファイル及びパターンのみをもたせる。

【0055】

また、該投射装置２２０の変化応用について、図１４及び図１５に示すように、幾つかの実施例において、該被投影実体１０のプロファイルの凹凸１０１によって単一方向から投影時に発生し得る投影死角を減少するため、該投射装置２２０の該投射ユニット２２１は、第１投射ユニット２２１ａ及び第２投射ユニット２２１ｂを含み、該取得工程２１において、該視角方向２２２は、第１視角方向２２２ａ及び第２視角方向２２２ｂを含み、該第１投射ユニット２２１ａは、該第１視角方向２２２ａから該被投影実体１０から第１イメージ画面２１２ａを投射し、該第２投射ユニット２２１ｂは、該第２視角方向２２２ｂから該被投射実体１０に対して第２イメージ画面２１２ｂを投射し、該被投射実体１０上に該第１イメージ画面２１２ａ及び該第２イメージ画面２１２ｂにより共同で投射する共同投射領域３０を生成する。該共同投射領域３０に対して異なる方向から該第１イメージ画面２１２ａ及び該第２イメージ画面２１０ａを投影し、該被投射実体１０上に投射する映像データ２４１を共同合成し、該被投射実体１０のプロファイルにより凹凸１０１によって単一方向の投影時に起こる死角を減少させる。

【0056】

他の変化方式は、該被投射実体１０上に呈現することができる該映像データ２４１の面積を増加させるため、鑑賞者に各種異なる角度から該被投影実体１０上を呈現する該付加イメージ２４２（図示せず）を見せている。図７及び図１５に示すように、幾つかの実施例において、該取得工程２１において、該視角方向２２２は、第１視角方向２２２ａ、第２視角方向２２２ｂ及び第３視角方向２２２ｃを含み、該第１視角方向２２２ａ、第２視角方向２２２ｂ及び第３視角方向２２２ｃに合わせてそれぞれ３種の異なる視角方向に対応する第１投影画面２１３ａ、第２投影画面２１３ｂ及び第３投影画面２１３ｃを生成する。該投射装置２２０の該投射ユニット２２１は、第１投射ユニット２２１ａ、第２投射ユニット２２１ｂを含み、更に第３投射ユニット２２１ｃを含み、該第１、第２及び第３投射ユニット２２１ａ、２２１ｂ、２２１ｃは、図に示すように、該被投影実体１０を囲うように設置され、それぞれ該第１、第２及び第３視角方向２２２ａ、２２２ｂ、２２２ｃから該投影画面２１３ａ、２１３ｂ、２１３ｃは、該被投影実体１０の全側表面１０２を共同で囲う。

【0057】

なお、本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない均等の範囲内で各種の変動や潤色を加えることができることは勿論である。

【符号の説明】

【0058】

１０ 被投影実体
１０１ プロファイル凹凸
１０２ 側表面
２０ モデリング工程
２０１ 電子装置
２０２ ３Ｄモデル
２０３ オリジナルプロファイル
２０４ 変形プロファイル
２１ 取得工程
２１ａ 背景除去処理
２１０ イメージ画面
２１１ 投影イメージ画面
２１２ａ 第１イメージ画面
２１２ｂ 第２イメージ画面
２１３ａ 第１投影画面
２１３ｂ 第２投影画面
２１３ｃ 第３投影画面
２２ 投射工程
２２０ 投射装置
２２１ 投射ユニット
２２１ａ 第１投射ユニット
２２１ｂ 第２投射ユニット
２２１ｃ 第３投射ユニット
２２２ 視角方向
２２２ａ 第１視角方向
２２２ｂ 第２視角方向
２２２ｃ 第３視角方向
２３ 調整工程
２４ 変換工程
２４１ 映像データ
２４２ 付加イメージ
２４３ 投影モデル
２５ 投影工程
２６ 再取得工程
２７ 再投射工程
２８ 再調整工程
２９ 再モデリング工程
３０ 共同投射領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】