特許 7078221 投影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-23

(45)【発行日】2022-05-31

(54)【発明の名称】投影システム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20220524BHJP

   A63F 9/30 20060101ALI20220524BHJP

   G09G 5/36 20060101ALI20220524BHJP

   G09G 5/38 20060101ALI20220524BHJP

   G06F 3/01 20060101ALI20220524BHJP

   H04N 5/74 20060101ALI20220524BHJP

【ＦＩ】

G09G5/00 550C

A63F9/30

G09G5/00 510B

G09G5/36 530Y

G09G5/38 A

G09G5/36 510M

G06F3/01 570

H04N5/74 Z

【請求項の数】 15

(21)【出願番号】P 2018069604

(22)【出願日】2018-03-30

(65)【公開番号】P2019179209

(43)【公開日】2019-10-17

【審査請求日】2021-03-12

(73)【特許権者】

【識別番号】306014714

【氏名又は名称】株式会社バンダイナムコアミューズメント

(73)【特許権者】

【識別番号】318016342

【氏名又は名称】株式会社バンダイナムコアミューズメントラボ

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】石井 源久

(72)【発明者】

【氏名】大塚 卓

(72)【発明者】

【氏名】青山 成美

【審査官】橋本 直明

(56)【参考文献】

【文献】特開２００６－０７２０７１（ＪＰ，Ａ）

【文献】特開２０１８－０３６８１３（ＪＰ，Ａ）

【文献】特開２０１８－０１８１６９（ＪＰ，Ａ）

【文献】特開２０１５－０８７７２６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２２３３２１（ＵＳ，Ａ１）

【文献】国際公開第２０１８／０４２９４８（ＷＯ，Ａ１）

【文献】特開２０１５－２１０３７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００

Ａ６３Ｆ ９／３０

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３８

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ ５／７４

(57)【特許請求の範囲】

【請求項1】

ユーザが動かして取り扱う第１の投影対象物に所定物体を表す第１の投影画像を投影する制御を行う第１の投影制御手段と、
前記第１の投影対象物の取り扱い状況を検出する検出手段と、
前記取り扱い状況が所定条件を満たしたか否かを判定する判定手段と、
前記判定手段により肯定判定された場合に、前記第１の投影画像に関連付けられた第２の投影画像を第２の投影対象物に投影する制御を行う第２の投影制御手段と、
前記取り扱い状況が前記所定条件を満たす前に至る中間状況に達したか否かを判定する中間判定手段と、
を備え、
前記第１の投影制御手段は、前記中間判定手段により肯定判定された場合に、前記第１の投影画像の投影制御として、前記第１の投影対象物に前記所定物体の揺動状態の画像を投影する制御を行う、
投影システム。

【請求項2】

前記第２の投影画像は、前記第１の投影画像と同じ画像、或いは、前記所定物体を前記第１の投影画像とは異なる表現で表した画像、である、
請求項１に記載の投影システム。

【請求項3】

前記第１の投影対象物の位置をトラッキングするトラッキング手段、
を更に備え、
前記第１の投影制御手段は、前記トラッキングに基づいて、動かされる前記第１の投影対象物に追従させるように前記第１の投影対象物に前記第１の投影画像を投影する制御を行う、
請求項１又は２に記載の投影システム。

【請求項4】

前記第１の投影制御手段は、前記判定手段により肯定判定された場合に、前記第１の投影対象物への前記第１の投影画像の投影を中止する、又は、投影する前記第１の投影画像を別の画像に差し替える変更を行う、
請求項１～３の何れか一項に記載の投影システム。

【請求項5】

前記ユーザによる前記第１の投影対象物の取り扱いは、前記所定物体を運ぶ又は移動させる取り扱いである、
請求項１～４の何れか一項に記載の投影システム。

【請求項6】

前記第１の投影対象物が所定の開始位置に位置したことを検出する開始検出手段、
を更に備え、
前記第１の投影制御手段は、前記開始検出手段の検出に応じて、前記第１の投影画像の前記第１の投影対象物への投影を開始する制御を行う、
請求項１～５の何れか一項に記載の投影システム。

【請求項7】

前記第１の投影対象物が所定の終了位置に位置したことを検出する終了検出手段、
を更に備え、
前記第１の投影制御手段は、前記終了検出手段の検出に応じて、前記第１の投影画像の前記第１の投影対象物への投影を終了する制御を行う、
請求項１～６の何れか一項に記載の投影システム。

【請求項8】

複数種類の前記所定物体のうち、一種類の前記所定物体を選択する選択手段、
を更に備え、
前記判定手段は、前記選択された所定物体に関連付けられた前記所定条件を満たしたか否かを判定する、
請求項１～７の何れか一項に記載の投影システム。

【請求項9】

前記検出手段は、前記ユーザによる前記第１の投影対象物の取り扱いに係る所定物理量を検出し、
前記判定手段は、前記所定物理量に基づいて前記所定条件を満足したか否かを判定する、
請求項１～８の何れか一項に記載の投影システム。

【請求項10】

前記所定物理量は、前記第１の投影対象物の位置、速度、加速度および姿勢の何れかである、
請求項９に記載の投影システム。

【請求項11】

ユーザが動かして取り扱う第１の投影対象物に第１の投影画像を投影する制御を行う第１の投影制御手段と、
前記第１の投影対象物の速度又は加速度を前記ユーザによる前記第１の投影対象物の取り扱いに係る所定物理量として検出することで、前記第１の投影対象物の取り扱い状況を検出する検出手段と、
前記取り扱い状況が所定条件を満たしたか否かを前記所定物理量に基づいて判定する判定手段と、
前記判定手段により肯定判定された場合に、前記第１の投影画像に関連付けられた第２の投影画像を第２の投影対象物に投影する制御を行う第２の投影制御手段と、
を備えた投影システム。

【請求項12】

前記ユーザによる前記第１の投影対象物の取り扱い空間を撮影範囲に含むカメラ、
を更に備え、
前記検出手段は、前記カメラの撮影画像に基づいて前記所定物理量を検出する、
請求項９～１１の何れか一項に記載の投影システム。

【請求項13】

前記カメラは、前記取り扱い空間の上方から俯瞰して撮影する位置に設置されており、
前記検出手段は、前記撮影画像中の前記第１の投影対象物の画像部分に基づいて前記所定物理量を検出する、
請求項１２に記載の投影システム。

【請求項14】

前記第１の投影対象物は、前記ユーザが把持するための把持部と、前記第１の投影画像が投影される被投影部とを有し、
前記検出手段は、前記撮影画像中の前記被投影部の画像部分に基づいて前記所定物理量を検出する、
請求項１３に記載の投影システム。

【請求項15】

前記第１の投影制御手段によって制御される投影装置は、前記取り扱い空間の上方から前記第１の投影画像を投影する位置に設置されており、
前記第２の投影対象物は、前記取り扱い空間の底部固定位置に設けられ、
前記第２の投影画像は、前記第１の投影画像によって表される物体が落下した状態の画像である、
請求項１２～１４の何れか一項に記載の投影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物へ画像等を投影する投影システムに関する。

【背景技術】

【0002】

実体としての対象物へ、画像等を投影する投影システムが知られている。例えば、特許文献１や特許文献２では、移動する投影対象物に追従させて画像を投影する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－８１４９７号公報

【文献】特開２０１５－１９７６４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、単に対象物に追従させて画像を投影するだけでは、映像表現として限りがあった。特にエンターテインメントの分野においては、常に新しい映像表現が求められている。
本発明は、投影システムを用いた新しい映像表現の実現を目的に考案されたものである。

【課題を解決するための手段】

【0005】

上記した課題を解決するための第１の発明は、ユーザが動かして取り扱う第１の投影対象物に第１の投影画像を投影する制御を行う第１の投影制御手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、図７の処理部２００、第１投影制御部２１４、図１０のステップＳ１４）と、
前記第１の投影対象物の取り扱い状況を検出する検出手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、トラッキングセンサ４０、図７のトラッキング計測部１０２、処理部２００、取り扱い状況検出制御部２２０、図１０のステップＳ４）と、
前記取り扱い状況が所定条件を満たしたか否かを判定する判定手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、図７の処理部２００、判定部２３０、図１０のステップＳ３０）と、
前記判定手段により肯定判定された場合に、前記第１の投影画像に関連付けられた第２の投影画像を第２の投影対象物に投影する制御を行う第２の投影制御手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、図７の処理部２００、第２投影制御部２４０、図１０のステップＳ３２）と、を備えた投影システムである。

【0006】

第１の発明によれば、ユーザが操作する第１の投影対象物がどのように取り扱われたかに応じて、第２の投影対象物へ第１の投影画像に関連付けられた画像を投影することができる。よって、投影システムを用いた新しい映像表現を実現できる。

【0007】

第２の発明は、前記第２の投影画像が、前記第１の投影画像と同じ画像、或いは、前記第１の投影画像によって表される物体を前記１の投影画像とは異なる表現で表した画像、である、第１の発明の投影システムである。

【0008】

第２の発明によれば、例えば、第１の投影対象から第１の投影画像として表されている物体の一部又は全部が、第２の投影対象物に移動したり分けられたりしたかのような画像表現が可能となったり、当該物体が第２の投影対象物に移動したり分けられたりしたことによって形状や性状が変化する物理現象を表現するような画像表現が可能となる。

【0009】

第３の発明は、前記第１の投影対象物の位置をトラッキングするトラッキング手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、トラッキングセンサ４０、図７のトラッキング計測部１０２、処理部２００、トラッキング制御部２０２、図１０のステップＳ４）、を更に備え、前記第１の投影制御手段は、前記トラッキングに基づいて、動かされる前記第１の投影対象物に追従させるように前記第１の投影対象物に前記第１の投影画像を投影する制御を行う、第１又は第２の発明の投影システムである。

【0010】

第３の発明によれば、第１の投影画像を移動する第１の投影対象物に対して追従させて投影することができる。

【0011】

第４の発明は、前記第１の投影制御手段が、前記判定手段により肯定判定された場合に、前記第１の投影対象物への前記第１の投影画像の投影を中止又は変更する、第１～第３の何れかの発明の投影システムである。

【0012】

第４の発明によれば、例えば、第１の投影対象物に第１の投影画像として表されていたものが、第１の投影対象物から離れたことを表現できるようになる。

【0013】

第５の発明は、前記取り扱い状況が前記所定条件を満たす前に至る中間状況に達したか否かを判定する中間判定手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、図７の処理部２００、中間判定部２４２、図１０のステップＳ２０）、を更に備え、
前記第１の投影制御手段は、前記中間判定手段により肯定判定された場合に、前記第１の投影画像を、前記第１の投影画像によって表されていた物体が揺動する画像に変更して投影する制御を行う、第１～第４の何れかの発明の投影システムである。

【0014】

第５の発明によれ、中間状況において、第１の投影画像によって表されていた物体が揺動しているような映像表現が可能になる。

【0015】

第６の発明は、前記ユーザによる前記第１の投影対象物の取り扱いは、所定物体を運ぶ又は移動させる取り扱いであり、前記第１の投影制御手段は、前記所定物体を表す画像を前記第１の投影画像として、前記第１の投影対象物に投影する制御を行う、第１～第５の何れかの発明の投影システムである。

【0016】

第６の発明によれば、所定物体を運んだり移動させたりする状況を表す映像表現が可能になる。

【0017】

第７の発明は、前記第１の投影対象物が所定の開始位置に位置したことを検出する開始検出手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、図７の処理部２００、開始検出制御部２１２、図１０のステップＳ１０）、を更に備え、前記第１の投影制御手段は、前記開始検出手段の検出に応じて、前記第１の投影画像の前記第１の投影対象物への投影を開始する制御を行う、第１～第６の何れかの発明の投影システムである。

【0018】

第７の発明によれば、所定物体を運んだり移動させたりする状況を表す際の、運び始めや、移動し始めの映像表現が可能になる。

【0019】

第８の発明は、前記第１の投影対象物が所定の終了位置に位置したことを検出する終了検出手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、図７の処理部２００、終了検出部２４４、図１０のステップＳ１６）、を更に備え、前記第１の投影制御手段は、前記終了検出手段の検出に応じて、前記第１の投影画像の前記第１の投影対象物への投影を終了する制御を行う、第１～第７の何れかの発明の投影システムである。

【0020】

第８の発明によれば、所定物体を運んだり移動させたりする状況を表す際の、運び終わりや、運搬完了の映像表現が可能になる。

【0021】

第９の発明は、複数種類の前記所定物体のうち、一種類の前記所定物体を選択する選択手段（例えば、図１の制御コンピュータ１１００、制御基板１１５０、図７の処理部２００、選択制御部２１０、図１０のステップＳ１０）、を更に備え、前記判定手段は、前記選択された所定物体に関連付けられた前記所定条件を満たしたか否かを判定する、第６～第８の何れかの発明の投影システムである。

【0022】

第９の発明によれば、映像表現によって移動・運搬する所定物体を、ユーザが選択することが可能となる。

【0023】

第１０の発明は、前記検出手段が、前記ユーザによる前記第１の投影対象物の取り扱いに係る所定物理量を検出し、前記判定手段は、前記所定物理量に基づいて前記所定条件を満足したか否かを判定する、第１～第９の何れかの発明の投影システムである。

【0024】

第１０の発明によれば、第１の投影対象物の取り扱いに係る所定物理量を検出し、当該所定物理量に基づいて、第２の投影画像を投影するか否かを判定できるようになる。よって、例えば、第１の投影対象物に係る物理現象をそれらしく映像表現できるようになる。

【0025】

そして、所定物理量は、表現したい物理現象に応じて適宜、選択することができる。

【0026】

例えば第１１の発明として、前記所定物理量が、前記第１の投影対象物の速度又は加速度である、第１０に記載の投影システムを構成することができる。

【0027】

また、例えば第１２の発明として、前記所定物理量が、前記第１の投影対象物の姿勢である、第１０又は第１１の発明の投影システムを構成することができる。

【0028】

所定物理量の検出方法は、投影システムが設置される条件に応じて適宜、選択することができる。

【0029】

例えば第１３の発明として、前記ユーザによる前記第１の投影対象物の取り扱い空間を撮影範囲に含むカメラ、を更に備え、前記検出手段は、前記カメラの撮影画像に基づいて前記所定物理量を検出する、第１０～第１２の何れかの発明の投影システムを構成することができる。

【0030】

更には、例えば第１４の発明として、前記カメラは、前記取り扱い空間の上方から俯瞰して撮影する位置に設置されており、前記検出手段は、前記撮影画像中の前記第１の投影対象物の画像部分に基づいて前記所定物理量を検出する、第１３の発明の投影システムを構成することができる。

【0031】

また更には、例えば第１５の発明として、前記第１の投影対象物が、前記ユーザが把持するための把持部と、前記第１の投影画像が投影される被投影部とを有し、前記検出手段は、前記撮影画像中の前記被投影部の画像部分に基づいて前記所定物理量を検出する、第１４の発明の投影システムを構成することができる。

【0032】

また更には、例えば第１６の発明として、前記第１の投影制御手段によって制御される投影装置は、前記取り扱い空間の上方から前記第１の投影画像を投影する位置に設置されており、前記第２の投影対象物は、前記取り扱い空間の底部固定位置に設けられ、前記第２の投影画像は、前記第１の投影画像によって表される物体が落下した状態の画像である、第１３～第１５の何れかの発明の投影システムを構成することができる。

【図面の簡単な説明】

【0033】

【図1】投影システムの構成例を示す図。

【図2】映像表現の開始時における取り扱い空間の状態の例を示す図。

【図3】第１投影対象物の取り扱いで運ばれ移動される所定物体の選択操作状態における取り扱い空間の状態の例を示す図。

【図4】第１投影対象物の移動操作状態における取り扱い空間の状態の例を示す図。

【図5】第１投影対象物移動操作の完了過程における取り扱い空間の状態の例を示す図。

【図6】第１投影対象物の移動操作の完了後における取り扱い空間の状態の例を示す図。

【図7】投影システムの機能構成例を示す機能ブロック図。

【図8】記憶部が記憶するプログラムやデータの例を示す図。

【図9】投影画像定義データのデータ構成例を示す図。

【図10】制御コンピュータにおける処理の流れを説明するためのフローチャート。

【図11】図１０より続くフローチャート。

【図12】変形例における第３投影対象物の縦断面図。

【発明を実施するための形態】

【0034】

以下、本発明の実施形態の一例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。

【0035】

［ハードウェア構成の説明］
図１は、本実施形態の投影システムの構成例を示す図である。
投影システム１０００は、対象物へ画像等を投影するシステムであって、取り扱い空間１０と、制御コンピュータ１１００と、を有する。

【0036】

取り扱い空間１０は、ユーザ２が投影対象物を取り扱う空間であって、本実施形態が目指すところの新しい映像表現が展開される領域である。

【0037】

取り扱い空間１０は、複数の投影対象物２０（第１投影対象物２１、第２投影対象物２２、…）と、投影装置３０と、トラッキングセンサ４０と、を含む。

【0038】

投影対象物２０の数、種類、大きさ、投影される位置は、どのようなテーマでどのような内容の映像表現にするかによって適宜設定可能である。本実施形態では、第１投影対象物２１と、第２投影対象物２２と、第３投影対象物２３と、第４投影対象物２４と、第５投影対象物２５と、を有する。

【0039】

そして、本実施形態の投影システム１０００が提供する映像表現におけるシチュエーション設定では、ユーザ２は料理人であり、できあがった複数の料理のうち何れかを配膳皿へよそうという設定である。投影システム１０００は、できあがった複数の料理のうち何れかを配膳皿へよそう過程を、投影画像を用いた新しい映像表現でユーザ２に仮想的に体験してもらうエンターテインメントシステムである。

【0040】

第１投影対象物２１は、本実施形態におけるユーザ２が実際に直接取り扱うことで所定物体を運んだり移動させたりするための操作具であって、第１投影画像５１が投影される物体である。本実施形態の第１投影対象物２１は、料理人が用いる配膳用具、具体的にはフライ返しを模した外形を有している。そして、第１投影対象物２１は、投影画像が綺麗に映るように、表面の被投影部が白色又は淡色で構成されている。但し、第１投影対象物２１の位置を検出するために画像認識をするため、画像認識に適する配色を施したり、画像認識に適した素材（例えば、再帰反射材など）を配したりしても良い。例えば、特徴的な輪郭を有する部位（例えば、フライ返しの板状部に当たる被投影部２１ｈと、ユーザ２が把持する把持部２１ｊとの接続部分である半円形部）を、特別な色や素材としたり、被投影部２１ｈの輪郭を特別な色や素材としたりする等である。
なお、第１投影対象物２１を、本実施形態ではフライ返しとするが、その他の形状の用具、例えばお玉を模したものなどとしてもよい。

【0041】

第２投影対象物２２は、第２投影画像５２が投影される物体であって、配膳テーブルに相当し、取り扱い空間１０の底部固定位置に設けられている。第２投影対象物２２も、表面が白色又は淡色で構成されている。

【0042】

第３投影対象物２３は、第３投影画像５３が投影される物体である。第４投影対象物２４は、第４投影画像５４が投影される物体である。これらは、できあがった料理が盛ってあるバットや、フライパン、鍋などの調理器具に相当し、表面の被投影部が白色又は淡色で構成されている。本実施形態におけるこれらは、第２投影対象物２２である配膳テーブルの上面よりも、トラッキングセンサ４０および投影装置３０が設置された上方に上面が位置するように隆起させたような構造物、或いは、第２投影対象物２２の上面所定位置に載置される構造物である。

【0043】

第５投影対象物２５は、第５投影画像５５が投影される物体であって、配膳皿に相当し、表面の被投影部が白色又は淡色で構成されている。

【0044】

投影装置３０は、制御コンピュータ１１００により制御信号を受けて画像を投影する装置であって、いわゆる「カラープロジェクター」により実現できる。投影装置３０は、取り扱い空間１０の上方に設置されており、第１投影画像５１などへ上方から画像を投影する。

【0045】

トラッキングセンサ４０は、取り扱い空間１０内における第１投影対象物２１の取り扱い状況として、その位置や姿勢などをトラッキングするための計測を行う。トラッキングセンサ４０を構成するハードウェア等は、トラッキングを実現する手法に応じて適宜選択可能である。本実施形態では、赤外線ビデオカメラ４２と、深度センサ４４とを有する。

【0046】

赤外線ビデオカメラ４２は、取り扱い空間１０の直上所定位置に固定されており、取り扱い空間１０を真上から俯瞰するように撮影し、撮影画像の信号或いはデータを制御コンピュータ１１００へ送信する。撮影画像は、制御コンピュータ１１００にて、画像認識処理されて各投影対象物のトラッキングに用いられる。

【0047】

深度センサ４４は、取り扱い空間１０の直上所定位置に固定されており、第１投影対象物２１～第５投影対象物２５までの距離（深度）を所定周期で走査し、走査データを制御コンピュータ１１００へ送信する。走査データは、制御コンピュータ１１００にて、画像認識を補助し、トラッキング精度の向上に用いられる。

【0048】

したがって、赤外線ビデオカメラ４２は、第１投影対象物２１～第５投影対象物２５を真上から撮影する。深度センサ４４もまた、第１投影対象物２１～第５投影対象物２５の真上から、距離を走査する。

【0049】

第２投影対象物２２の上面は、赤外線ビデオカメラ４２の撮影方向や、深度センサ４４の測定方向と直交又は略直交する平面を有しており、深度センサ４４の走査データのなかで最も広い略単一の高さ情報（深度値（距離値）を基準水平面からの高さに変換したもの）を有する。

【0050】

第３投影対象物２３、第４投影対象物２４、第５投影対象物２５の上面もまた、赤外線ビデオカメラ４２の撮影方向や、深度センサ４４の測定方向と直交又は略直交する平面を有しているが、第２投影対象物２２の上面に対し、それぞれ所定の高さを有している。
よって、これらは同じ白或いは淡色であっても、深度センサ４４の走査データからそれぞれを識別することができる。

【0051】

また、これらが動かない前提であれば、赤外線ビデオカメラ４２に映る画像に対し、あらかじめ領域を定義しておくことで識別することが可能である。この場合は、それぞれが同じ高さ、色、素材であっても構わない。

【0052】

そして、第１投影対象物２１は、ユーザ２が手に持って第２投影対象物２２の上方で取り扱うので、やはり深度センサ４４の走査データから第２投影対象物２２を識別することができる。また、映像表現のシチュエーションの設定上、第１投影対象物２１は、第３投影対象物２３や、第４投影対象物２４、第５投影対象物２５よりも上方で取り扱われる。よって、深度センサ４４の走査データから、各投影対象物２０を識別することができる。

【0053】

なお、トラッキングを実現する手法は、輪郭線や特徴形状部の画像認識や、深度走査に基づく手法に限らない。例えば、第１投影対象物２１、第３投影対象物２３、第４投影対象物２４、第５投影対象物２５にそれぞれ赤外光を反射する単一又は複数のマーカを付し、赤外線ビデオカメラ４２にて撮影されたマーカの大きさ、位置、角度等からその投影対象物の空間位置と姿勢を算出してトラッキングするとしてもよい。より具体的には、マーカとしてＡＲマーカを用い、画像認識型ＡＲシステムでもってトラッキングを実現するとしてもよい。或いは、深度センサ４４を省略する代わりに赤外線ビデオカメラ４２をステレオカメラとして、投影対象物をトラッキングするとしてもよい。

【0054】

制御コンピュータ１１００は、投影システム１０００の動作を制御するコンピュータであって、本体装置１１０１と、キーボード１１０６と、タッチパネル１１０８と、を有し、本体装置１１０１には制御基板１１５０を搭載する。

【0055】

制御基板１１５０には、ＣＰＵ（Central Processing Unit）１１５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１１５２、インターフェース回路１１５７が搭載されている。

【0056】

インターフェース回路１１５７には、赤外線ビデオカメラ４２で撮影された画像の画像データを入力する回路、深度センサ４４による走査データを入力する回路、投影装置３０へ画像信号を出力する回路、などが含まれている。

【0057】

なお、制御基板１１５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。

【0058】

そして、制御コンピュータ１１００は、制御基板１１５０が所定のプログラム及びデータに基づいて演算処理することにより、投影システム１０００を統合的に動作制御する。

【0059】

次に、映像表現の進行に従ってその概要を説明する。
図２は、映像表現の開始時における取り扱い空間１０の状態の例を示す図である。
映像表現の開始時、ユーザ２は、第１投影対象物２１の把持部２１ｊを把持して第２投影対象物２２の脇に立つ。この時点では、ユーザ２は第１投影対象物２１を何れの料理にも触れさせていないので、第１投影対象物２１には画像は投影されていない。

【0060】

第２投影対象物２２にも、開始時点では画像は投影されていない、或いは第２投影画像５２とは別に配膳テーブルとしての柄を表す所定の背景画像を投影するとしてもよい。いずれにしても、第２投影画像５２はこの時点では投影されていない。

【0061】

第３投影対象物２３には、ユーザ２が第１投影対象物２１を取り扱うことによって運ばれて移動される所定物体の候補となる第１の選択候補の画像、すなわち第１候補画像が第３投影画像５３として投影されている。本実施形態では、１つ若しくは複数のハンバーグの画像が投影される。

【0062】

第４投影対象物２４には、ユーザ２が第１投影対象物２１を取り扱うことによって運ばれて移動される所定物体の候補となる第２の選択候補の画像、第２候補画像が第４投影画像５４として投影されている。本実施形態では、たっぷりのチャーハンが盛られた画像が投影される。

【0063】

第５投影対象物２５には、この時点では画像は投影されていない。

【0064】

第１投影対象物２１は、赤外線ビデオカメラ４２の撮影画像中の特徴的な形状を有する画像部分２１ｔ（図２の上部左側の吹き出し画像中に示した被投影部２１ｈのハッチング部分）の輪郭や、深度センサ４４の走査データから識別され、その位置Ｐ・速度Ｖ・加速度Ａ・姿勢θが算出されてトラッキングされる。位置Ｐ・速度Ｖ・加速度Ａ・姿勢θは、第１投影対象物２１の取り扱い状況を表すパラメータ値とされる。なお、これらのパラメータ値は、映像表現の内容に応じて適宜取捨選択して利用することができる。

【0065】

図３は、ユーザ２が第１投影対象物２１を取り扱うことで運んで移動しようとする所定物体を選択操作している取り扱い空間１０の状態を示す図である。
ユーザ２は、第１投影対象物２１を、第３投影画像５３又は第４投影画像５４に重ねることで、第１投影対象物２１を取り扱うことで運んで移動しようとする所定物体を選択する。映像表現のシチュエーション設定からすると、配膳皿に取り分ける料理の選択に相当する。図３の例では、第１投影対象物２１を第３投影画像５３に重ねた状態を表しているが、第４投影画像５４に重ねても良いのは勿論である。

【0066】

本実施形態では、第１投影対象物２１の取り扱いによって運ばれて移動される所定物体の選択操作は、第１投影対象物２１へ第１投影画像５１を投影開始する条件（第１開始条件）を満たしたことで検出される。第１投影対象物２１と、選択候補物体の画像が投影されている対象物（本実施形態では、第３投影対象物２３、第４投影対象物２４）とが一定距離以内に位置した（接近した）ことが、第１開始条件とされる。

【0067】

そして、第１投影対象物２１の取り扱いによって運ばれて移動される所定物体が選択されると、第１投影対象物２１には、第１開始条件を満たした投影画像である第３投影画像５３又は第４投影画像５４に対応付けられている物体と同種の物体の画像として、第１投影画像５１が投影開始される。

【0068】

具体的には、第３投影画像５３はハンバーグなので、第１投影対象物２１が第３投影対象物２３に対して一定距離以内に接近したと検出されると、ハンバーグを表す第１投影画像５１が第１投影対象物２１に投影開始される。仮に、第１投影対象物２１が第４投影対象物２４に対して一定距離痛いに接近したと検出された場合には、第４投影画像５４がチャーハンなので、チャーハンを表す第１投影画像５１が第１投影対象物２１に投影開始される。そして、第１投影対象物２１に第１投影画像５１が投影開始されることで、あたかも第１投影対象物２１で、第３投影画像５３又は第４投影画像５４で表現されている料理を掬ったかのような映像表現となる。

【0069】

図４は、ユーザ２が第１投影対象物２１を取り扱うことで移動操作をしている取り扱い空間１０の状態を示す図である。
ユーザ２は、料理を掬うとこれを配膳皿まで運んで移動させるように操作する。
第１投影対象物２１を取り扱うことで運んで移動しようとする所定物体の選択が完了してから、移動が完了するまでの移動過程においても、第１投影対象物２１はトラッキングされているので、第１投影画像５１が第１投影対象物２１に追従して投影され続ける。よって、ユーザ２には、あたかも掬った料理をフライ返しにのせて運んで移動させているように見える。

【0070】

そして、本実施形態では、トラッキングによって算出されている第１投影対象物２１の位置Ｐ・速度Ｖ・加速度Ａ・姿勢θを利用して、第１投影対象物２１への投影画像を変化させることで、移動中の所定物体の様子を表現する。

【0071】

具体的には、第１投影対象物２１の位置Ｐ・速度Ｖ・加速度Ａ・姿勢θに基づいて、第１投影対象物２１の取り扱い状況が所定条件を満たしたか否かを判定する。そして、所定条件が満たされた場合には、第１投影画像５１に関連付けられた第２投影画像５２を第２投影対象物２２に投影する制御を開始する。つまり、ここで言う所定条件は、第２開始条件と言い換えることができる。

【0072】

本実施形態における所定条件は、移動させている物体をこぼす・落とす状況に相当するように設定されている。よって、所定条件は、物体をこぼしたり落としたりしてしまったと判断できるような速度Ｖ、加速度Ａ、姿勢θのうち少なくとも１つのパラメータ値の条件として記述することができる。また、第１投影対象物２１が、撮影範囲外に出てしまった、あるいは検出が不可能な姿勢になった等の理由で、位置Ｐ等を検出できなくなったような場合も、この所定条件に加えることとしても良い。

【0073】

そして、本実施形態における第２投影画像５２は、第１投影画像５１と同じ画像、或いは、第１投影画像５１によって表される物体を第１投影画像５１とは異なる表現で表した画像とされる。

【0074】

具体的には、第１投影画像５１としてハンバーグを表す画像が用いられている場合には、同じハンバーグの画像や、落下して一部が崩れてしまったハンバーグの画像などが、第２投影画像５２として投影される。また、第１投影画像５１としてチャーハンを表す画像が用いられている場合には、こぼれ落ちたチャーハンの画像が、第２投影画像５２として投影される。

【0075】

また、第１投影対象物２１の取り扱いによって運ばれて移動される所定物体に係る制限の設定（具体的には、第１投影画像５１によって表される物体は、部分的に一部だけ落下することのない一体不可分の料理（例えばハンバーグであったりステーキであったり）であるとする設定）によっては、第２投影画像５２の投影開始に伴って、第１投影画像５１の投影の中止や、第１投影画像５１を別の画像に切り換えるといった処理を行う。

【0076】

第１投影画像５１によって表される物体をハンバーグとするならば、第２投影画像５２もハンバーグとして、第２投影画像５２の投影開始とともに、第１投影画像５１の投影を中止するか、ハンバーグのソースのみ残ったような画像に第１投影画像５１を差し替える変更を行うことで、ハンバーグがまるごと落ちたような映像表現をする。

【0077】

第２投影画像５２が投影される位置や投影される数などは、所定条件を満たしたタイミングにおける第１投影対象物２１の取り扱い状況に応じて決定される。
例えば、速度Ｖが大きいほど、第１投影対象物２１に対して第２投影画像５２が投影される位置が遠くになるように決定される。これにより、ハンバーグを急いで運んでいる時に落下させてしまった場合に、より遠くへ飛んで落下したかのように表現される。

【0078】

また、本実施形態では、所定条件を満たすまでの中間状況において、運ばれることで所定物体が揺れている状態を表現することもできる。

【0079】

具体的には、第１投影対象物２１の取り扱い状況が所定条件を満たす前に至る中間状況に達したか否かを判定し、達したと判定した場合には、投影中の第１投影画像５１を、第１投影画像５１によって表されていた物体が揺動する画像又は揺動した結果を表現する画像に差し替えて投影する制御を行う。

【0080】

より具体的には、ハンバーグであれば、ハンバーグが揺れている様子を表す画像（図４中の符号５１’）に差し替えて第１投影画像５１を投影する。チャーハンであれば、チャーハンの山の一部が崩れる様子を表す画像に変更して第１投影画像５１を投影する。プリンであれば、ゆらゆら揺れる様相の画像に差し替えると好適である。この場合、差し替える画像はアニメーション画像であると好適である。これらの表現は、「落ちかけている」ことを示すことが目的であるので、揺動に限らず、点滅させたり、色を変化させたりすることでそれを示しても良いことは勿論である。しかし、そういった表現は非現実的なものとなる可能性が高い。現実を模した体験を提供する上で、落ちかけていることを自然に示すには、揺動させるという表現が適している。

【0081】

図５は、第１投影対象物２１の移動操作の完了過程における取り扱い空間１０の状態の例を示す図である。
ユーザ２が、第１投影対象物２１を第５投影対象物２５に重ねると、移動完了と判断される。あるいは、第１投影対象物２１を第５投影対象物２５に重ねた上で、横向きにする（姿勢の変化が検出される状態にするか、物体として検出ができない状態にする）等の操作を行うことで、移動完了と判断されるようにしても良い。そして移動完了と判断されると、第１投影対象物２１の取り扱いによって移動された物体の移動完了状態の様子を表す第５投影画像５５が第５投影対象物２５に投影開始される。また、これに伴って、第１投影対象物２１への第１投影画像５１の投影が中止される。或いは、ハンバーグのソースのみ残ったような画像に第１投影画像５１を差し替える変更を行う。これにより、ハンバーグが配膳された状態を表現できる。

【0082】

図６は、第１投影対象物２１の移動操作の完了後における取り扱い空間１０の状態の例を示す図である。ユーザ２が第１投影対象物２１を第５投影対象物２５から離すと、取り扱っている第１投影対象物２１には第１投影画像５１がもはや投影されていないので、ユーザ２は料理を運び終えた体感を得ることができる。

【0083】

次に、こうした映像表現を可能にする機能構成と、必要とされるプログラムやデータについて説明する。

【0084】

図７は、本実施形態の投影システム１０００の機能構成例を示す機能ブロック図である。
投影システム１０００は、操作入力部１００と、処理部２００と、画像投影部３９２と、記憶部５００とを有する。

【0085】

操作入力部１００は、ユーザ２の映像表現に係る各種操作を受け付け、その結果を処理部２００へ出力する。本実施形態の操作入力部１００は、第１投影対象物２１の位置をトラッキングするための計測を行うトラッキング計測部１０２を有する。

【0086】

そして、本実施形態のトラッキング計測部１０２は、撮像部１０４と、深度検出部１０６とを有する。本実施形態では、撮像部１０４には赤外線ビデオカメラ４２が該当し、深度検出部１０６には深度センサ４４が該当する（図１参照）。

【0087】

処理部２００は、例えばＣＰＵやＧＰＵ等のプロセッサや、ＡＳＩＣ、ＩＣメモリなどの電子部品によって実現され、操作入力部１００や記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号等に基づいて各種の演算処理を実行して、投影システム１０００の動作を統合的に制御する。本実施形態の構成では、制御コンピュータ１１００の制御基板１１５０がこれに該当する。

【0088】

そして、本実施形態の処理部２００は、トラッキング制御部２０２と、選択制御部２１０と、開始検出制御部２１２と、第１投影制御部２１４と、取り扱い状況検出制御部２２０と、判定部２３０と、第２投影制御部２４０と、中間判定部２４２と、終了検出部２４４と、画像生成部２９２と、を含む。勿論、これら以外の機能部も適宜含めることができる。

【0089】

トラッキング制御部２０２は、トラッキング計測部１０２による計測結果に基づいて、第１投影対象物２１の位置をトラッキングするための演算処理を行う。すなわち、トラッキング制御部２０２は、トラッキング計測部１０２とともに、第１投影対象物２１の位置をトラッキングするトラッキング手段を構成する。

【0090】

選択制御部２１０は、ユーザ２による第１投影対象物２１の取り扱いにより、運んで移動させる所定物体を選択制御する。具体的には、所定の候補物体の投影対象物（本実施形態では、第３投影対象物２３と第４投影対象物２４）に選択候補となる候補物体の画像を投影制御するとともに、候補物体が投影された投影対象物に第１投影対象物２１が接近したことに応じて、接近された候補物体の投影対象物に対応づけられている候補物体を、第１投影対象物２１により移動される所定物体として設定する。

【0091】

開始検出制御部２１２は、第１投影対象物２１が所定の開始位置に位置したことを検出する。本実施形態における開始位置は、第３投影対象物２３と、第４投影対象物２４との各設置位置の２箇所がこれに該当する。

【0092】

第１投影制御部２１４は、開始検出制御部２１２の検出に応じて、ユーザ２が動かして取り扱う第１投影対象物２１に第１投影画像５１を投影する制御を行う。
具体的には、第１投影制御部２１４は、
１）トラッキング制御部２０２によるトラッキングに係る演算結果に基づいて、動かされる第１投影対象物２１に追従させるように第１投影対象物２１に第１投影画像５１を投影する制御、
２）取り扱い状況が所定条件を満たす場合に、第１投影対象物２１への第１投影画像５１の投影を中止又は変更する制御、
３）取り扱い状況が前記所定条件を満たす前に至る中間状況に達した場合に、第１投影画像５１を、当該第１投影画像５１によって表されていた物体が揺動する画像に変更して投影する制御、
４）第１投影対象物２１が所定の終了位置に位置した検出に応じて、第１投影画像５１の第１投影対象物２１への投影を終了する制御、
を行う。

【0093】

取り扱い状況検出制御部２２０は、第１投影対象物２１の取り扱い状況を検出する。本実施形態では、ユーザ２による第１投影対象物２１の取り扱いに係る所定物理量として、位置Ｐ、速度Ｖ、加速度Ａ、姿勢θを検出することができる。具体的には、撮像部１０４による撮影画像と深度検出部１０６による検出結果の少なくとも何れかに基づいてこれらの所定物理量を検出することができる。撮影画像を用いる場合、取り扱い状況検出制御部２２０は、例えば撮影画像中の第１投影対象物２１の被投影部２１ｈの画像部分２１ｔ（図２参照）に基づいて所定物理量を検出すると好適である。

【0094】

判定部２３０は、選択制御部２１０により選択された所定物体に関連付けられた取り扱い状況が、所定条件を満たしたか否かを、取り扱い状況検出制御部２２０により検出された所定物理量に基づいて判定する。

【0095】

第２投影制御部２４０は、取り扱い状況が所定条件を満たした場合に、第１投影画像５１に関連付けられた第２投影画像５２を第２投影対象物２２に投影する制御を行う。

【0096】

中間判定部２４２は、取り扱い状況が所定条件を満たす前に至る中間状況に達したか否かを判定する。

【0097】

終了検出部２４４は、第１投影対象物２１が所定の終了位置に位置したことを検出する。本実施形態では、第１投影対象物２１が第５投影対象物２５に接近したことをもって、所定の終了位置に位置したと判定する。

【0098】

記憶部５００は、処理部２００に制御コンピュータ１１００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、処理部２００の作業領域として用いられ、処理部２００が各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。図１の例では制御基板１１５０が搭載するＩＣメモリ１１５２やハードディスクなどの記憶媒体がこれに該当する。オンラインストレージを用いるとしてもよい。

【0099】

画像生成部２９２は、各種投影画像の画像を画像投影部３９２で投影させるための画像信号を生成する。勿論、投影画像のデコードや、生成などを行う構成としてもよい。

【0100】

画像投影部３９２は、画像の投影を行う。本実施形態では、投影装置３０がこれに該当する（図１参照）。

【0101】

図８は、本実施形態における記憶部５００が記憶するプログラムやデータの例を示す図である。本実施形態の記憶部５００は、制御プログラム５０１と、投影画像定義データ５１０と、を記憶する。また、記憶部５００は、逐次更新管理されるデータとして、トラッキングデータ６００と、第１投影対象物２１の取り扱いにより運ばれて移動される所定物体の種類を示す所定物体名６０２と、第１投影画像管理データ６０４と、第２投影画像管理データ６１０と、を記憶する。その他、タイマや、カウンタ、各種フラグなどの情報を適宜記憶できる。

【0102】

制御プログラム５０１は、処理部２００が読み出して実行することで、トラッキング制御部２０２～画像生成部２９２の各機能を実現させるためのプログラムである。

【0103】

投影画像定義データ５１０は、第１投影対象物２１の取り扱いにより運ばれて移動される所定物体の種類毎に用意され、当該物体の映像表現を実現するための各種データを格納する。本実施形態では、所定物体として選択できるのは２種類（ハンバーグとチャーハン）のうちの何れかとするため、投影画像定義データ５１０は２つだけ図示されているが、選択肢が３種類以上の場合には、それと同数だけ投影画像定義データ５１０は用意されることになる。

【0104】

１つの投影画像定義データ５１０は、例えば図９に示すように、固有の物体名５１１と、候補物体画像５１２と、候補物体画像投影制御データ５１４と、第１投影画像データ５２０と、第１開始条件定義データ５２２と、中間投影画像データ５３０と、中間条件定義データ５３２と、第２投影画像データ５４０と、第２開始条件定義データ５４２と、第２投影制御パラメータ値設定関数５４４と、第２投影中止設定５４６と、第５投影画像データ５５０と、第５開始条件定義データ５５２と、を含む。勿論、これら以外のデータも適宜含めることができる。

【0105】

候補物体画像５１２は、第１投影対象物２１の取り扱いにより運ばれて移動される所定物体の選択候補として、当該物体を提示する際に表示する画像である。本実施形態における第３投影画像５３又は第４投影画像５４がこれに該当する。

【0106】

そして、候補物体画像投影制御データ５１４が、候補物体画像５１２を取り扱い空間１０のどこへどのように表示させるかを定義する各種制御データ（例えば、位置座標、表示姿勢、表示形態の時間変化パターン、など）を格納する。

【0107】

第１開始条件定義データ５２２は、第１投影画像データ５２０で定義される第１投影画像５１を、第１投影対象物２１へ投影表示する制御を開始するための条件を定義する。
本実施形態では、第１投影対象物２１と、第３投影対象物２３又は第４投影対象物２４と、が接近して重なったと見なされる双方の代表点位置の距離条件として定義される。なお、所定物の選択操作の認識に、第１投影対象物２１の位置や姿勢変化（具体的には、フライ返しを差し込んで持ち上げる動作に相当する一連の位置や姿勢の変化）を条件として含める場合には、当該定義データにその条件のデータも適宜含めることができる。

【0108】

中間条件定義データ５３２は、取り扱い状況が所定条件を満たす前に至る中間状況に達したか否かを判定するための条件であって、投影中の第１投影画像５１を、中間投影画像データ５３０の画像へ差し替える条件である。

【0109】

第２開始条件定義データ５４２は、第２投影画像データ５４０で定義される第２投影画像５２を、第２投影対象物２２へ投影表示する制御を開始するための条件を定義する。

【0110】

第２投影制御パラメータ値設定関数５４４は、第２投影画像５２をどこにどのように表示させるかの各種パラメータ値を設定するための関数である。変数として、第１投影対象物２１の取り扱い状況を記述するパラメータ値（例えば、位置Ｐ・速度Ｖ・加速度Ａ・姿勢θなど）を用いることができる。当該設定関数が、当該投影画像定義データ５１０に対応する物体の物性を画像表現するカギとなる。

【0111】

第２投影中止設定５４６は、第２投影画像５２の投影に伴って、第１投影画像５１の投影を中止又は変更するか否かの設定を示す。第２投影中止設定５４６は、適宜省略することもできる。

【0112】

第２投影画像５２の投影に係るこれらのデータを適切に設定することで、本実施形態でいうところのハンバーグの塊としての落下や、粒の集合であるチャーハンの一部が崩れたかのような落下、といった異なる２つの落下の様子を、それぞれそれらしく表現することができるようになる。

【0113】

なお、第２投影画像データ５４０と、第２開始条件定義データ５４２と、第２投影制御パラメータ値設定関数５４４と、第２投影中止設定５４６と、のセットは、図示の例では１セットのみであるが、第２投影画像データ５４０のバリエーション違いで複数セット設ける構成も可能である。この場合、より複雑で豊かな映像表現が可能になる。

【0114】

第５開始条件定義データ５５２は、第５投影画像データ５５０で定義される第５投影画像５５を、第５投影対象物２５へ投影する制御を開始する条件を定義する。本実施形態では、第１投影対象物２１と第５投影対象物２５との接近、且つ、第１投影画像５１が投影中止されていないこと、として記述することができる。

【0115】

なお、投影表示する制御を開始するための条件と同様に、第１投影対象物２１の位置や姿勢変化（具体的には、フライ返しを傾けるような動作に相当する一連の位置や姿勢の変化）を条件として含める場合にも、当該定義データにその条件のデータも適宜含めることができる。あるいは、第１投影対象物２１と第５投影対象物２５とが接近した直後に、第１投影対象物２１の位置をトラッキング部が見失ったような場合を条件として含める場合にも、当該定義データにその条件のデータも適宜含めることができる。ただし、どちらの場合も、第１投影画像５１が投影中止されていない必要がある。

【0116】

図８に戻り、トラッキングデータ６００は、トラッキングの対象毎に用意され、トラッキングの対象の最新の追跡状況を記述する各種情報を格納する。本実施形態では、第１投影対象物２１は１つだけなのでトラッキングデータ６００は１つとする。そして、例えば、取り扱い空間１０における位置座標、移動速度、加速度、姿勢などの情報を含む。なお、映像表現の内容によっては、これらの情報の１つ又は複数を省略できるし、その他の情報も適宜含めることができる。

【0117】

所定物体名６０２は、第１投影対象物２１の取り扱いにより運ばれ移動される所定物体の識別情報を格納する。映像表現開始時点は、未指定を表す所定値が格納されるが、所定物体の選択操作の結果に応じて更新される。

【0118】

第１投影画像管理データ６０４は、第１投影画像５１の投影制御に係る各種制御パラメータ値を格納する。例えば、投影位置座標、投影数、投影時の拡大縮小倍率、投影時の姿勢、などのパラメータ値を格納することができる。本実施形態では、第１投影対象物２１には１つだけ第１投影画像５１を投影するので、当該管理データは１つの画像に関してだけ設定されるが、複数の第１投影画像５１を同時に投影する構成では、当該管理データをその分だけ用意することとなる。

【0119】

第２投影画像管理データ６１０は、第２投影画像５２の投影制御に係る各種制御パラメータ値を格納する。例えば、投影位置座標、投影数、投影時の拡大縮小倍率、投影時の姿勢、などのパラメータ値を格納することができる。

【0120】

また、図８には示していないが、ユーザ２によって取り扱われる第１投影対象物２１以外の投影対象物２０は固定とされるため、これらの投影対象物２０の取り扱い空間１０中の位置や姿勢のデータを記憶部５００に予め記憶させておくこととする。勿論、第１投影対象物２１とともに、他の投影対象物２０の位置や姿勢もトラッキングすることとする場合には、各投影対象物２０の位置や姿勢のデータを常時最新のデータに更新記憶することとしてもよい。

【0121】

［動作の説明］
次に、本実施形態における投影システム１０００の動作について説明する。
図１０と図１１は、制御コンピュータ１１００における処理の流れを説明するためのフローチャートであって、制御コンピュータ１１００が制御プログラム５０１を実行することにより実現される。

【0122】

制御コンピュータ１１００は、先ず、投影画像定義データ５１０別に候補物体画像５１２（図９参照）の投影を開始する（ステップＳ２）。本実施形態では、これにより第３投影対象物２３と、第４投影対象物２４にそれぞれ異なる候補物体画像が投影されることになる。

【0123】

次に、制御コンピュータ１１００は、第１投影対象物２１のトラッキングと取り扱い状況の検出とを開始する（ステップＳ４）。検出結果は、トラッキングデータ６００として記憶部５００に格納される（図８参照）。

【0124】

制御コンピュータ１１００は、第１投影対象物２１の位置を監視し、開始位置に到達したかを判定する。本実施形態では、第３投影対象物２３の所定位置と、第４投影対象物２４の所定位置とが、開始位置に該当する。

【0125】

そして、開始位置に到達したと判定した場合は（ステップＳ１０のＹＥＳ）、制御コンピュータ１１００は、到達した開始位置に応じて所定物体名６０２（図８参照）を設定する（ステップＳ１２）。本実施形態では、第１投影対象物２１が第３投影対象物２３の所定位置に所定距離内に接近すると、第３投影対象物２３の開始位置に到達したと判定し、第３投影画像５３で表現されている物体（本実施形態では、ハンバーグ）を、所定物体名６０２に設定する。同様にして、第１投影対象物２１が第４投影対象物２４の所定位置に所定距離内に接近すると、第４投影対象物２４の開始位置に到達したと判定し、第４投影画像５４で表現されている物体（本実施形態では、チャーハン）を、所定物体名６０２に設定する。

【0126】

そして、制御コンピュータ１１００は、第１投影対象物２１へ第１投影画像５１の投影制御を開始する（ステップＳ１４）。具体的には、所定物体名６０２に合致する物体名５１１を有する投影画像定義データ５１０の第１投影画像データ５２０の画像を投影開始する。これに伴い、第１投影画像管理データ６０４が作成される。なお、第１投影画像５１は、トラッキングの結果を反映して、第１投影対象物２１が移動されてもこれに追従して投影制御される。

【0127】

第１投影画像５１の投影開始以降、制御コンピュータ１１００は、第１投影対象物２１が終了位置に到達したかを監視している（ステップＳ１６）。具体的には、トラッキングデータ６００に格納されている、位置Ｐ、速度Ｖ、加速度Ａ、姿勢θが、所定物体名６０２に合致する物体名５１１を有する投影画像定義データ５１０の第５開始条件定義データ５５２を満たすかを監視する。本実施形態では、終了位置は、第５投影対象物２５の所定位置又はその近傍とされる。よって、第１投影対象物２１が第５投影対象物２５の所定位置に接近した場合に終了位置に到達したと判定される。

【0128】

ステップＳ１６にて、終了位置に到達していないと判定されると（ステップＳ１６のＮＯ）、図１１に移る。第１投影画像５１の投影開始以降、制御コンピュータ１１００は、第１投影対象物２１の取り扱い状況が、所定物体名６０２に係る中間条件を満たしたかを監視している（ステップＳ２０）。具体的には、トラッキングデータ６００に格納されている、位置Ｐ、速度Ｖ、加速度Ａ、姿勢θが、所定物体名６０２に合致する物体名５１１を有する投影画像定義データ５１０の中間条件定義データ５３２を満たすかを監視している。

【0129】

そして、中間条件が満たされていると肯定判定した場合には（ステップＳ２０のＹＥＳ）、投影中の第１投影画像５１を、中間投影画像データ５３０の画像に差し替えて投影を継続する（ステップＳ２２）。本実施形態では、揺動状態の画像に差し替える。
もし、中間条件が満たされていなければ（ステップＳ２０のＮＯ）、第１投影画像５１を非揺動状態の画像に戻す（ステップＳ２４）。例えば、１度落としたハンバーグを掬い直すと揺れていない状態のハンバーグの画像が投影されることになる。

【0130】

また、第１投影画像５１の投影開始以降、制御コンピュータ１１００は、第１投影対象物２１の取り扱い状況が、第２開始条件を満たしているかを監視する（ステップＳ３０）。具体的には、トラッキングデータ６００に格納されている、位置Ｐ、速度Ｖ、加速度Ａ、姿勢θが、所定物体名６０２に合致する物体名５１１を有する投影画像定義データ５１０の第２開始条件定義データ５４２を満たすかを監視する。

【0131】

そして、第２開始条件を満たしている場合には（ステップＳ３０のＹＥＳ）、制御コンピュータ１１００は、第２投影対象物２２への第２投影画像５２の投影を開始する（ステップＳ３２；図４参照）。

【0132】

具体的には、所定物体名６０２に合致する物体名５１１を有する投影画像定義データ５１０の第２投影制御パラメータ値設定関数５４４（図９参照）と、トラッキングデータ６００（図８参照）に格納されている位置Ｐ・速度Ｖ・加速度Ａ・姿勢θと、を参照して、第２投影画像５２を投影する位置や数量、大きさなどを決定して、第２投影画像管理データ６１０を作成し、投影を開始する。なお、第２投影中止設定５４６（図９参照）が「有り」に設定されている場合には、第２投影画像５２の投影開始とともに、第１投影画像５１の投影を中止又は変更する。本実施形態でいうところの、ハンバーグがまるごと落下した状態がこれに相当する。

【0133】

図１０に戻って、第１投影対象物２１が終了位置に到達したと判定された場合（ステップＳ１６のＹＥＳ）、制御コンピュータ１１００は、第５投影対象物２５へ第５投影画像５５の投影を開始するとともに、第１投影画像５１の投影を中止又は投影画像を変更する（ステップＳ４２；図５参照）。

【0134】

このように、本実施形態によれば、投影システムを用いた新しい映像表現が可能になる。

【0135】

〔変形例〕
以上、本発明を適用した実施形態の例について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。

【0136】

［変形例その１］
例えば、投影対象物に深度センサ４４で計測される深度方向に凹凸を設けて、所定物体の選択条件、兼、第１投影画像５１の投影開始条件に、深度方向の操作に係る条件を加えることができる。

【0137】

例えば、図１２は、第３投影対象物２３の縦断面図である。
当該構成における第３投影対象物２３は、深鍋に相当する。上面視中央部に凹部２３ｈが設けられており、第１投影対象物２１（図１２の例では、お玉やレードル）を挿入できるスペースが確保されている。そして、凹部２３ｈの平坦な底面には、流動性の候補物体（例えば、カレー、シチューなど）の第３投影画像５３が投影される。

【0138】

そして、当該構成の第３投影画像５３の物体に係る第１開始条件定義データ５２２（図９参照）は、第１実施形態のように第１投影対象物２１が第３投影対象物２３に接近し、且つ、深度センサ４４で計測される第１投影対象物２１の深度値が、凹部２３ｈに挿入されたと判断できる深度値条件（図１２中の一点鎖線）を満たした場合、とする。
当該構成によれば、深鍋にお玉を差し込んで流動性の物体を掬って運ぶという仮想体験をその映像表現で実現可能になる。

【0139】

［変形例その２］
また、上記実施形態では、第２投影画像５２は１度表示されると、映像表現が終了するまで表示されたままとしているが、適宜、第２投影画像５２を消去する制御を含めることができる。例えば、投影画像定義データ５１０（図９参照）に、第２消去条件データを追加して、この第２消去条件が満たされたと肯定判定された場合に、当該第２投影画像５２を消去する。

【0140】

第２消去条件データの内容は、適宜設定可能である。例えば、第１投影対象物２１が第２投影画像５２の投影位置に所定距離まで接近した場合とすることができる。この例では、テーブルに落ちたハンバーグを、もう一度フライ返しで掬い直して取り上げた映像表現が可能となる。

【0141】

［変形例その３］
また、投影する所定物体は、それに対応する投影対象物でしか移動・運搬できないという構成とすることもできる。例えば、第１投影対象物２１をフライ返しとお玉の２種類とする。そして、運搬する所定物体を、第２投影対象物としてのフライパンに投影されたハンバーグと、第３投影対象物としての鍋に投影されたカレーとする。このとき、ハンバーグはフライ返しでなければ掬うことができず、カレーはお玉でなければ掬うことができない、という構成とすることもできる。

【0142】

［変形例その４］
また、上記実施形態では、第５投影対象物２５を固定として例示したが、第５投影対象物２５を、個体識別可能な別の第１投影対象物２１とすることもできる。当該構成を前提にして、１）第１投影対象物２１をお玉やスプーンとし、２）第１投影画像５１をピンポン球等のボールとし、３）投影画像定義データ５１０に第１投影制御パラメータ値設定関数を追加して、当該関数で第１投影対象物２１の取り扱い状況に応じて第１投影画像５１の投影位置のオフセット量を決定する構成、とするならば、複数のユーザがお玉（それぞれのユーザが把持する第１投影対象物２１）を使ってピンポン球をリレーするピンポン球リレーのような仮想体験を実現する映像表現が可能になる。

【符号の説明】

【0143】

１０…取り扱い空間
２０…投影対象物
２１…第１投影対象物
２１ｈ…被投影部
２１ｊ…把持部
２１ｔ…画像部分
２２…第２投影対象物
３０…投影装置
４０…トラッキングセンサ
４２…赤外線ビデオカメラ
４４…深度センサ
５１…第１投影画像
５２…第２投影画像
１０２…トラッキング計測部
１０４…撮像部
１０６…深度検出部
２００…処理部
２０２…トラッキング制御部
２１０…選択制御部
２１２…開始検出制御部
２１４…第１投影制御部
２２０…取り扱い状況検出制御部
２３０…判定部
２４０…第２投影制御部
２４２…中間判定部
２４４…終了検出部
３９２…画像投影部
５００…記憶部
５０１…制御プログラム
５１０…投影画像定義データ
５１１…物体名
５２０…第１投影画像データ
５３０…中間投影画像データ
５３２…中間条件定義データ
５４０…第２投影画像データ
５４２…第２開始条件定義データ
５４６…第２投影中止設定
６００…トラッキングデータ
６０２…所定物体名
６０４…第１投影画像管理データ
６１０…第２投影画像管理データ
１０００…投影システム
１１００…制御コンピュータ
１１５０…制御基板

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】