特許 6835895 コンテンツ合成システム、プログラム、およびコンテンツ合成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6835895

(24)【登録日】2021年2月8日

(45)【発行日】2021年2月24日

(54)【発明の名称】コンテンツ合成システム、プログラム、およびコンテンツ合成方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210215BHJP

   H04N 5/232 20060101ALI20210215BHJP

   H04N 5/222 20060101ALI20210215BHJP

【ＦＩ】

   G06T19/00 600

   H04N5/232 290

   H04N5/222 400

【請求項の数】17

【全頁数】45

(21)【出願番号】特願2019-51058(P2019-51058)

(22)【出願日】2019年3月19日

(65)【公開番号】特開2020-154535(P2020-154535A)

(43)【公開日】2020年9月24日

【審査請求日】2019年8月28日

(73)【特許権者】

【識別番号】000135748

【氏名又は名称】株式会社バンダイ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】菅野 友美子

(72)【発明者】

【氏名】瀬尻 瞭

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２０１７−１７６７５０（ＪＰ，Ａ）

【文献】 特開２００９−１４８４９７（ＪＰ，Ａ）

【文献】 特開２０１５−２１０３９７（ＪＰ，Ａ）

【文献】 特開２００９−２５８９１８（ＪＰ，Ａ）

【文献】 特開２０１１−１３０３８６（ＪＰ，Ａ）

【文献】 特開昭６４−０６５６９１（ＪＰ，Ａ）

【文献】 特開２０１５−０１６１０３（ＪＰ，Ａ）

【文献】 特開２０１３−２２８９５９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／００４３２５９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第１のコンテンツが合成されたことを条件として、前記第２のコンテンツが合成されるように制御する、
コンテンツ合成システム。

【請求項2】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
前記物品は、前記第１の物品の第１の箇所に前記第１の物品に関連付けられた前記第１の識別情報を有し、前記第２の物品の第２の箇所に前記第２の物品に関連付けられた前記第２の識別情報を有し、
前記動作は、前記物品の少なくとも一部を変位させる動作および変形させる動作の少なくともいずれか一方を含む動作であり、
前記第１の状態は、前記第１の物品に対し前記第２の物品の少なくとも一部が隠れるように配置され、前記第１の箇所が前記撮影装置によって撮影された画像内に写る状態であり、
前記第２の状態は、前記第１の物品に対し前記第２の物品の隠れていた部分が現われるように配置され、前記第２の箇所が前記撮影装置によって撮影された画像内に写る状態である、
コンテンツ合成システム。

【請求項3】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
前記物品は、前記第１の物品の第１の箇所に前記第１の物品に関連付けられた前記第１の識別情報を有し、前記第１の物品の第２の箇所に前記第２の物品に関連付けられた前記第２の識別情報を有し、
前記動作は、前記物品の少なくとも一部を変位させる動作および変形させる動作の少なくともいずれか一方を含む動作であり、
前記第１の状態は、前記第１の物品に対し前記第２の物品の少なくとも一部が隠れるように配置され、前記第１の箇所が前記撮影装置によって撮影された画像内に写る状態であり、
前記第２の状態は、前記第１の物品に対し前記第２の物品の隠れていた部分が現われるように配置され、前記第２の箇所が前記撮影装置によって撮影された画像内に写る状態である、
コンテンツ合成システム。

【請求項4】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第１のコンテンツの合成後に再び前記第１の識別情報を検出した場合には、前記第１のコンテンツの合成をしない、コンテンツ合成システム。

【請求項5】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
前記撮影装置によって撮影された画像において同時に２個以上の前記識別情報が検出される状態の場合には、前記コンテンツの合成を行わず、１個の前記識別情報のみが検出される状態になった場合には、前記コンテンツを合成する、コンテンツ合成システム。

【請求項6】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
前記撮影装置によって撮影された画像において同時に２個以上の前記識別情報が検出される状態の場合には、前記画像のフレームの中心位置に最も近い位置にある前記識別情報に関連付けられる前記コンテンツのみを合成する、コンテンツ合成システム。

【請求項7】

請求項１〜６のいずれか一項に記載のコンテンツ合成システムにおいて、
前記第１のコンテンツおよび前記第２のコンテンツの少なくともいずれか一方は、複数のコンテンツを含み、前記複数のコンテンツの各合成の切り替えは、前記撮影装置によって撮影された撮影動画の画像内における前記識別情報の位置情報、および動作情報と、前記撮影動画の画像内における前記利用者の位置情報、動作情報、および音声情報と、前記コンテンツの合成時間情報、および前記コンテンツ間の切り替えの間隔時間情報との少なくともいずれか一つに従って制御される、
コンテンツ合成システム。

【請求項8】

請求項１〜７のいずれか一項に記載のコンテンツ合成システムにおいて、
前記合成の後の前記動画のデータを記憶しておく合成動画データ記憶手段と、
前記利用者の操作に応じて前記合成動画データ記憶手段に記憶されている前記動画から選択された前記動画を再生する動画再生手段と、
を備える、コンテンツ合成システム。

【請求項9】

請求項１〜８のいずれか一項に記載のコンテンツ合成システムにおいて、
前記撮影装置は、前記撮影の際に、前記撮影装置によって撮影された画像内の前記利用者の位置、および前記物品に対する前記動作に係わるガイダンス画像およびガイダンス音声の少なくともいずれか一方を含むガイダンスを提示可能であり、
前記撮影および前記合成の後に記憶された前記動画は、前記ガイダンス画像および前記ガイダンス音声を含まない、
コンテンツ合成システム。

【請求項10】

請求項１〜９のいずれか一項に記載のコンテンツ合成システムにおいて、
前記コンテンツは、静止画像、動画像、音声、およびゲームの少なくともいずれか一つを含む、コンテンツ合成システム。

【請求項11】

請求項１〜１０のいずれか一項に記載のコンテンツ合成システムにおいて、
前記コンテンツは、前記撮影装置によって撮影された画像のフレーム、前記フレーム内の前記物品または前記識別情報の付近の位置に対し重ね合わせるように合成されるエフェクト画像、または前記フレームに対し合成される画面エフェクトと、前記フレーム内の設定された位置に重ね合わせるように合成される文字画像とを含む、コンテンツ合成システム。

【請求項12】

請求項１〜１１のいずれか一項に記載のコンテンツ合成システムにおいて、
前記物品の位置と前記識別情報の位置との位置関係が設定されており、
前記合成手段は、前記撮影装置によって撮影された画像から検出した前記識別情報の位置に基づいて、前記位置関係に応じて算出した前記物品の位置に対し、前記コンテンツを合成する、コンテンツ合成システム。

【請求項13】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
前記第１の物品は、前記第２の物品を収容する収容体であり、前記収容体の面に、前記識別情報または前記識別情報を検出するための表示物を有し、
前記動作は、前記第１の物品の内側から外側に前記第２の物品を取り出す動作を含む、
コンテンツ合成システム。

【請求項14】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
前記第１の物品または前記第２の物品は、多面体であり、前記多面体の複数の面のうちの第１の面に、複数の前記識別情報のうちの１つの識別情報または前記１つの識別情報を検出するための１つの表示物を有し、第２の面に、他の１つの識別情報または前記他の１つの識別情報を検出するための他の１つの表示物を有し、
前記１つの識別情報には前記コンテンツのうちの１つのコンテンツが関連付けられ、前記他の１つの識別情報には前記コンテンツのうちの他の１つのコンテンツが関連付けられており、
前記動作は、前記撮影装置に対し前記第１の面を向ける動作および前記第２の面を向ける動作の少なくとも一方の動作を含む、
コンテンツ合成システム。

【請求項15】

動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
前記第２の物品は、立体形象物であり、
前記第１の物品は、前記立体形象物を収容する収容体、前記立体形象物を支持する支持体、または前記立体形象物に装着される装着物であり、
前記動作は、前記収容体から前記立体形象物を取り出す動作、前記収容体に前記立体形象物を収容する動作、前記支持体から前記立体形象物を離す動作、前記支持体に前記立体形象物を固定する動作、前記立体形象物から前記装着物を外す動作、および前記立体形象物に前記装着物を装着する動作のうち少なくとも１つの動作を含む、
コンテンツ合成システム。

【請求項16】

請求項１〜１５のいずれか一項に記載のコンテンツ合成システムにおけるコンピュータによって制御されるプログラムであって、
前記コンピュータに実行させるステップとして、
前記撮影装置が、前記利用者の操作に基づいて、前記物品を含む動画を撮影する撮影ステップと、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶ステップと、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出ステップと、
前記識別情報の検出に基づいて、前記識別情報に関連付けられた前記コンテンツを取得する取得ステップと、
前記動画のデータに、前記取得したコンテンツを合成する合成ステップと、
を備え、
前記合成ステップは、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第１のコンテンツが合成されたことを条件として、前記第２のコンテンツが合成されるように制御する、
プログラム。

【請求項17】

請求項１〜１５のいずれか一項に記載のコンテンツ合成システムにおけるコンテンツ合成方法であって、
前記コンテンツ合成システムにおいて実行されるステップとして、
前記撮影装置が、前記利用者の操作に基づいて、前記物品を含む動画を撮影する撮影ステップと、
前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶ステップと、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出ステップと、
前記識別情報の検出に基づいて、前記記憶ステップから前記識別情報に関連付けられた前記コンテンツを取得する取得ステップと、
前記動画のデータに、前記取得したコンテンツを合成する合成ステップと、
を備え、
前記合成ステップは、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、
複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第１のコンテンツが合成されたことを条件として、前記第２のコンテンツが合成されるように制御する、
コンテンツ合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画撮影やコンテンツ合成等の情報処理を行うシステム等の技術に関する。また、本発明は、玩具等の物品を用いて、拡張現実（Augmented Reality：ＡＲ）等の画像や音声（これらを総称してコンテンツと記載する場合がある）を合成する技術に関する。

【背景技術】

【0002】

従来、利用者がカメラによって現実の物品等を撮影した画像に対し、ＡＲの画像や音声等のコンテンツを重ね合わせるように合成するシステム（コンテンツ合成システム等と記載する場合がある）が各種検討されている。画像は、動画像や静止画像を含む。例えば、物品にはマーカが設けられ、マーカには識別情報（ＩＤと記載する場合がある）が対応付けて設定され、ＩＤにはコンテンツが関連付けて設定されている。

【0003】

上記システムに係わる先行技術例として、特開２０１３−２２８９５９号公報（特許文献１）が挙げられる。特許文献１には、拡張現実感システムとして、以下の旨が記載されている。このシステムは、例えば玩具であるフィギュアの台座の特定の位置に設けられたマークを携帯端末のカメラで認識し、そのマークに対応付けて用意されている演出用の映像等を生成する。このシステムは、携帯端末の画面にフィギュアとそれに関連した演出用の映像等とを重ね合わせて表示等する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２２８９５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記コンテンツ合成システムに関して、コンテンツ合成の際に、対象または候補として、複数の物品、複数のマーカ（対応する複数のＩＤ）、および複数のコンテンツが存在する場合がある。従来技術例のシステムは、複数のコンテンツ合成をどのように制御すれば好適であるかについて、検討が不十分である。本発明は、上記コンテンツ合成システム等の技術に関して、複数のコンテンツ合成を好適に制御できる技術を提供する。

【課題を解決するための手段】

【0006】

本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能である。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、よび前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第１のコンテンツが合成されたことを条件として、前記第２のコンテンツが合成されるように制御する。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、前記物品は、前記第１の物品の第１の箇所に前記第１の物品に関連付けられた前記第１の識別情報を有し、前記第２の物品の第２の箇所に前記第２の物品に関連付けられた前記第２の識別情報を有し、前記動作は、前記物品の少なくとも一部を変位させる動作および変形させる動作の少なくともいずれか一方を含む動作であり、前記第１の状態は、前記第１の物品に対し前記第２の物品の少なくとも一部が隠れるように配置され、前記第１の箇所が前記撮影装置によって撮影された画像内に写る状態であり、前記第２の状態は、前記第１の物品に対し前記第２の物品の隠れていた部分が現われるように配置され、前記第２の箇所が前記撮影装置によって撮影された画像内に写る状態である。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、前記物品は、前記第１の物品の第１の箇所に前記第１の物品に関連付けられた前記第１の識別情報を有し、前記第１の物品の第２の箇所に前記第２の物品に関連付けられた前記第２の識別情報を有し、前記動作は、前記物品の少なくとも一部を変位させる動作および変形させる動作の少なくともいずれか一方を含む動作であり、前記第１の状態は、前記第１の物品に対し前記第２の物品の少なくとも一部が隠れるように配置され、前記第１の箇所が前記撮影装置によって撮影された画像内に写る状態であり、前記第２の状態は、前記第１の物品に対し前記第２の物品の隠れていた部分が現われるように配置され、前記第２の箇所が前記撮影装置によって撮影された画像内に写る状態である。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第１のコンテンツの合成後に再び前記第１の識別情報を検出した場合には、前記第１のコンテンツの合成をしない。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、前記撮影装置によって撮影された画像において同時に２個以上の前記識別情報が検出される状態の場合には、前記コンテンツの合成を行わず、１個の前記識別情報のみが検出される状態になった場合には、前記コンテンツを合成する。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、前記撮影装置によって撮影された画像において同時に２個以上の前記識別情報が検出される状態の場合には、前記画像のフレームの中心位置に最も近い位置にある前記識別情報に関連付けられる前記コンテンツのみを合成する。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、前記第１の物品は、前記第２の物品を収容する収容体であり、前記収容体の面に、前記識別情報または前記識別情報を検出するための表示物を有し、前記動作は、前記第１の物品の内側から外側に前記第２の物品を取り出す動作を含む。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、
第１の物品および第２の物品を含む物品と、利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、前記第１の物品または前記第２の物品は、多面体であり、前記多面体の複数の面のうちの第１の面に、複数の前記識別情報のうちの１つの識別情報または前記１つの識別情報を検出するための１つの表示物を有し、第２の面に、他の１つの識別情報または前記他の１つの識別情報を検出するための他の１つの表示物を有し、前記１つの識別情報には前記コンテンツのうちの１つのコンテンツが関連付けられ、前記他の１つの識別情報には前記コンテンツのうちの他の１つのコンテンツが関連付けられており、前記動作は、前記撮影装置に対し前記第１の面を向ける動作および前記第２の面を向ける動作の少なくとも一方の動作を含む。また、一実施の形態のコンテンツ合成システムは、動画に対しコンテンツを合成するコンテンツ合成システムであって、識別情報として第１の識別情報および第２の識別情報を有し、第１の物品および第２の物品を含む物品と、 利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、前記コンテンツとして前記第１の識別情報に関連付けられた第１のコンテンツ、および前記第２の識別情報に関連付けられた第２のコンテンツを記憶する記憶手段と、前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、前記動画のデータに、前記取得したコンテンツを合成する合成手段と、を備え、前記合成手段は、前記第１の識別情報を検出した第１の状態において前記第１のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第１の状態から前記第２の識別情報を検出した第２の状態に変化した後、前記第２の状態において前記第２のコンテンツを合成可能であり、前記第２の物品は、立体形象物であり、前記第１の物品は、前記立体形象物を収容する収容体、前記立体形象物を支持する支持体、または前記立体形象物に装着される装着物であり、前記動作は、前記収容体から前記立体形象物を取り出す動作、前記収容体に前記立体形象物を収容する動作、前記支持体から前記立体形象物を離す動作、前記支持体に前記立体形象物を固定する動作、前記立体形象物から前記装着物を外す動作、および前記立体形象物に前記装着物を装着する動作のうち少なくとも１つの動作を含む。

【発明の効果】

【0007】

本発明のうち代表的な実施の形態によれば、複数のコンテンツ合成を好適に制御でき、例えば興趣性のある動画の作成等を実現できる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態１のコンテンツ合成システムの構成を示す図である。

【図2】実施の形態１で、撮影装置の機能ブロック構成を示す図である。

【図3】実施の形態１で、撮影方式の例を示す図である。

【図4】実施の形態１で、物品の構成の第１例を示す図である。

【図5】実施の形態１で、コンテンツ合成動画の構成概要を示す図である。

【図6】実施の形態１で、動画の設定情報の例を示す図である。

【図7】実施の形態１で、動画の構成詳細を示す図である。

【図8】実施の形態１で、ガイダンスの例を示す図である。

【図9】実施の形態１で、アプリケーションの画面表示例を示す図である。

【図10】実施の形態１で、順序制御例を示す図である。

【図11】実施の形態１で、他の順序制御例を示す図である。

【図12】実施の形態１の変形例１における物品の構成例を示す図である。

【図13】本発明の実施の形態２のコンテンツ合成システムにおける、物品の構成の第２例を示す図である。

【図14】実施の形態２で、コンテンツ合成動画の構成概要を示す図である。

【図15】本発明の実施の形態３のコンテンツ合成システムにおける、物品の構成の第３例を示す図である。

【図16】実施の形態３で、コンテンツ合成動画の構成概要を示す図である。

【図17】本発明の実施の形態４のコンテンツ合成システムにおける、物品の構成の第４例、およびコンテンツ合成動画の画像例を示す図である。

【図18】本発明の実施の形態５のコンテンツ合成システムにおける、物品の構成の第５例を示す図である。

【図19】実施の形態５で、コンテンツ合成動画の画像例を示す図である。

【図20】本発明の実施の形態６のコンテンツ合成システムにおける、物品の構成の第６例を示す図である。

【図21】実施の形態６で、コンテンツ合成動画の画像例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

【0010】

（実施の形態１）
図１〜図１２を用いて、本発明の実施の形態１のコンテンツ合成システム、プログラム、物品、撮影装置、およびコンテンツ合成方法について説明する。実施の形態１のコンテンツ合成システムは、プログラム、物品、および撮影装置を含むシステムである。実施の形態１のコンテンツ合成方法は、実施の形態１のコンテンツ合成システムにおいて実行されるステップを有する方法である。実施の形態１のプログラムは、実施の形態１の撮影装置等のコンピュータに処理を実行させるプログラムである。

【0011】

［コンテンツ合成システム］
図１は、実施の形態１のコンテンツ合成システムの構成を示す。このコンテンツ合成システムは、主に、撮影装置１と物品２とを有する。利用者は、撮影装置１および物品２を操作する。利用者は、遊戯者や撮影者であり、実施の形態１では、２種類の利用者として、第１の利用者である子どもと、第２の利用者である親や友達とがいる。第１の利用者は、物品２に対する動作を行い、撮影装置１による撮影動画の被写体、言い換えるとアクターとなる利用者である。第２の利用者は、第１の利用者をサポートする。第１の利用者または第２の利用者は、撮影装置１を操作して動画を撮影する。撮影方式は、第１の利用者が撮影装置１を操作して自分を撮影する自分撮影（いわゆる自撮り）の場合と、第２の利用者が撮影装置１を操作して第１の利用者を撮影する他者撮影の場合とがある。いずれの撮影方式でもよく、利用者の選択した方式が利用できる。第１の利用者は、遊戯として、現実の物品２等を含む画像に対するコンテンツ合成を含む動画撮影、およびそれに伴う動画実況やゲーム等を行う。第１の利用者や第２の利用者、あるいは通信網を介した他の利用者は、第１の利用者によって作成されたコンテンツ合成後の動画（コンテンツ合成動画と記載する場合がある）を、再生して見て楽しむことができる。

【0012】

撮影装置１は、例えばスマートフォン等の携帯情報端末であるが、デジタルビデオカメラ等の他の装置でもよい。撮影装置１は、カメラ６０と、タッチパネル５０等の表示装置および入力装置と、実施の形態１のプログラムとを備える。撮影装置１は、無線通信機能を備え、他の機器８や事業者のサーバ９との通信も可能である。他の機器８は、例えば利用者の宅内にあるＰＣやテレビ等の機器である。事業者は、コンテンツ合成システムや物品２を提供する事業者あるいは通信事業者等である。実施の形態１のプログラムは、カメラ６０によって撮影された動画に対しＡＲ等のコンテンツを合成するアプリケーションプログラムである。このプログラムは、例えば撮影装置１が通信網を介して事業者のサーバ９のアプリケーションプログラム９１からダウンロードによって取得でき、撮影装置１内にインストールされる。撮影装置１は、プログラムに従った処理に基づいて、コンテンツ合成機能を実現し、利用者に対し提供する。コンテンツ合成機能は、利用者が撮影装置１によって撮影した動画に対しコンテンツを合成することでコンテンツ合成動画を生成する機能である。

【0013】

撮影装置１は、利用者の操作に基づいて、カメラ６０によって物品２および第１の利用者を含む被写体を動画（撮影動画と記載する場合がある）として撮影する。撮影装置１は、撮影に伴い、撮影中の撮影動画の画像に対し、リアルタイムで、画像や音声等のコンテンツを合成してコンテンツ合成動画を生成し、再生する。再生は、画像表示や音声出力を含む。撮影装置１は、タッチパネル５０の表示画面に動画を表示する。また、撮影装置１は、コンテンツ合成動画を保存し、利用者の操作に基づいて再度再生する。

【0014】

撮影装置１は、１台の機器とするが、これに限らず、複数の機器で構成されてもよい。例えば、撮影装置１と他の機器８またはサーバ９とが通信網を介して連携することでコンテンツ合成機能が実現されてもよい。撮影装置１は、撮影動画またはコンテンツ合成動画のデータを、他の機器８またはサーバ９に転送して保存してもよい。また、撮影装置１は、他の機器８やサーバ９に保存されている動画やコンテンツ等のデータを参照してもよい。事業者のサーバ９は、ＤＢ等に、アプリケーションプログラム９１、動画データ９２、およびコンテンツデータ９３等のデータや情報を保持している。動画データ９２は、利用者の撮影装置１で撮影された撮影動画またはコンテンツ合成動画である。利用者は、ユーザ設定に応じて、撮影装置１内または他の機器８やサーバ９に動画を保存することができ、動画を保存しないこともできる。コンテンツデータ９３は、コンテンツ合成のためのソースとして用意されているコンテンツのデータである。

【0015】

コンテンツは、画像、音声、ゲーム、およびプログラム等を含む総称である。画像は、静止画像および動画像を含み、文字画像、アニメーション、プログラムによる画像、エフェクト画像、および画面エフェクト等を含む。ゲームは、後述のＡＲゲームであり、そのゲームを実現するためのプログラムやデータを含む。

【0016】

物品２は、例えば事業者が販売する商品の例としての玩具である。物品２は、複数の物品で構成され、図１の例では第１の物品２１と第２の物品２２とで構成される。第１の物品２１は、包装袋（言い換えるとパッケージ）であり、収容体の一種である。第２の物品２２は、玩具本体としてのカード（言い換えるとカード玩具）である。最初の第１の状態では、第１の物品２１である包装袋の中に、第２の物品２２であるカードが収容されて封が閉じられている。

【0017】

物品２の一部の箇所には、コンテンツ合成を制御するための識別情報（ＩＤ）またはそのＩＤを検出するためのマーカ等の表示物を有する。ＩＤまたは表示物は、例えばＡＲ方式に対応するマーカやコード（例えばＱＲコード（登録商標）やバーコード）でもよいし、バーコード等を使用しない所定のデザインの画像をマーカとしてもよいし、２次元または３次元の物品のデザインそのもののデザインをマーカとしてもよい。物品２を構成する複数の物品、例えば第１の物品２１と第２の物品２２は、複数のＩＤ、例えば第１のＩＤ３１と第２のＩＤ３２を有する。複数の物品と複数のＩＤは、所定の関係を有する。図１の例では、関係として、第１の物品２１が第１のＩＤ３１を有し、第２の物品２２が第２のＩＤ３２を有する。第１の物品２１の外面のうちの所定の位置の第１の箇所に第１のＩＤ３１を有する。第２の物品２２の外面のうちの所定の位置の第２の箇所に第２のＩＤ３２を有する。第１のＩＤ３１には第１のコンテンツが関連付けられており、第２のＩＤ３２には第２のコンテンツが関連付けられている。

【0018】

第１の利用者は、撮影装置１が提供するガイダンスに従って、物品２の操作として所定の動作を行う。所定の動作は、図１の例では、包装袋を開封して包装袋からカードを取り出す動作である。この動作に伴って、後述（図４）のように、カメラ６０の画像内でのＩＤ（対応するマーカ）の見え方の状態が変化する。この変化に伴って、撮影装置１によって自動的に所定の順序で複数のＩＤが検出される。そのＩＤの検出の順序に応じて、撮影動画に対し複数のコンテンツが所定の順序で合成される。これにより、利用者は、容易な動作によって、所定の順序での複数のコンテンツ合成を含む動画を得ることができる。

【0019】

［撮影装置］
図２は、撮影装置１であるスマートフォンの機能ブロック構成を示す。撮影装置１は、プロセッサ１０１、メモリ１０２、タッチパネル５０、カメラ６０、操作ボタン７１、マイク７２、スピーカ７３、およびセンサ７４等を備え、それらはバス等を介して相互に接続されている。プロセッサ１０１は、公知のＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、撮影装置１の全体および各部を制御する。プロセッサ１０１は、実施の形態１のプログラムに基づいたソフトウェアプログラム処理によって構成される処理部として、設定部１１、撮影部１２、検出部１３、コンテンツ取得部１４、合成部１５、動画再生部１６、ガイド部１７等を有する。

【0020】

メモリ１０２は、不揮発性記憶装置等で構成され、プロセッサ１０１が扱う各種のデータや情報が記憶される。メモリ１０２は、例えば、設定情報記憶部５１、撮影動画データ記憶部５２、コンテンツデータ記憶部５３、合成動画データ記憶部５４、アプリケーションプログラム１２０等を有する。アプリケーションプログラム１２０は、実施の形態１のプログラムに対応し、例えばサーバ９のアプリケーションプログラム９１から取得されたデータである。

【0021】

タッチパネル５０は、表示装置および入力装置であり、表示画面に対するタッチ入力操作を受け付け、表示画面に動画等を表示する。操作ボタン７１は、入力操作を受け付ける入力装置である。マイク７２は、音声を入力し録音する音声入力装置である。スピーカ７３は、音声を出力する音声出力装置である。センサ７３は、公知の各種のセンサであり、例えば、ＧＰＳ受信器、電子コンパス、ジャイロセンサ、加速度センサ等がある。撮影装置１は、これらのセンサ７３を用いて、撮影装置１の位置、向き、加速度等を検出し、制御に利用してもよい。

【0022】

カメラ６０は、インカメラ６１とアウトカメラ６２とを含む。インカメラ６１は、スマートフォンのタッチパネル５０の表示画面を持つ側である前面に設けられているカメラである。アウトカメラ６２は、前面の反対側の背面に設けられているカメラである。カメラ６０は、レンズを通じた入射光に基づいて撮像素子によって撮像した画像のデータを取得する。

【0023】

［処理概要］
図２の構成に基づいて、撮影装置１によるコンテンツ合成機能の処理概要は以下の通りである。設定部１１は、予め、利用者（例えば第２の利用者）の操作に基づいて、動画撮影およびコンテンツ合成に係わる設定情報を設定し、設定情報記憶部５１に保存する。設定情報は、コンテンツ合成機能に関するユーザ設定情報を含む。ユーザ設定情報は、例えば、複数の機能のうちどの機能を利用するかの設定や詳細設定等の情報である。撮影部１２は、コンテンツ合成前の動画を撮影する処理を行う部分である。撮影部１２は、カメラ６０の制御によって撮影した撮影動画のデータを、撮影動画データ記憶部５２に記憶する。検出部１３は、撮影動画のデータから、コンテンツ合成のためのＩＤを検出する処理を行う部分である。例えば、検出部１３は、撮影動画の画像から、所定のマーカ（例えばＱＲコード）または所定の画像の部分を検出し、検出した部分に対応付けて設定されているＩＤを検出する。例えば、検出部１３は、ＱＲコードの解読によって、そのコードに記述されているＩＤを含む情報を検出する。

【0024】

コンテンツ取得部１４は、検出部１３によって検出されたＩＤから、そのＩＤに関連付けて設定されているコンテンツのデータを取得する。コンテンツデータ記憶部５３には、各コンテンツのデータがＩＤと関連付けて記憶されている。撮影装置１は、サーバ９のコンテンツデータ９３からコンテンツデータを取得してコンテンツデータ記憶部５３に格納してもよい。コンテンツ取得部１４は、ＩＤをキーに、コンテンツデータ記憶部５３からそのＩＤに関連付けられるコンテンツデータを読み出して取得する。合成部１５は、撮影動画の画像に対し、コンテンツ取得部１４によって取得されたコンテンツデータを合成することにより、コンテンツ合成動画を生成し、合成動画データ記憶部５４に格納する。

【0025】

動画再生部１６は、撮影動画データ記憶部５２の撮影動画のデータ、または合成動画データ記憶部５４のコンテンツ合成動画のデータを読み出し、再生として、タッチパネル５０の表示画面への表示、およびスピーカ７３からの音声出力を行う。動画再生部１６は、撮影中のリアルタイムでの撮影動画またはコンテンツ合成動画の再生が可能である。また、動画再生部１６は、撮影および合成後でも、利用者の操作に基づいて、選択されたコンテンツ合成動画の再生が可能である。ガイド部１７は、利用者に対し、動画撮影およびコンテンツ合成に係わるガイダンスを提供する部分である。ガイド部１７は、利用者による撮影の際、適宜に、タッチパネル５０の表示画面にガイダンス画像を表示し、マイク７２からガイダンス音声を出力する。

【0026】

［撮影方式］
図３は、撮影装置１を用いた撮影方式の例を示す。（Ａ），（Ｂ）は、利用者が撮影装置１であるスマートフォンを手に持った状態で撮影を行う場合の例を示す。（Ａ）は、インカメラ６１を用いた自分撮影のモードの場合を示し、（Ｂ）は、アウトカメラ６２を用いた他者撮影のモードの場合を示す。（Ａ）の場合、撮影者は第１の利用者である子どもであり、被写体は、物品２および第１の利用者自身を含む。（Ｂ）の場合、撮影者は第２の利用者である親または友達等であり、被写体は、物品２および第１の利用者を含む。撮影装置１は、自分撮影モードと他者撮影モードとの各モードでの撮影機能を有し、利用者がモードを選択して利用可能である。撮影装置１は、選択されたモードに対応したガイダンスを含む撮影制御を行う。撮影中、タッチパネル５０の表示画面の全体または一部の領域には、動画が表示される。

【0027】

（Ａ）の自分撮影モードは、撮影装置１のカメラの撮影方向が、表示画面側の第１の利用者を向くモードであり、スマートフォンの場合にはインカメラ６１を用いるモードである。（Ａ）の自分撮影モードでは、第１の利用者は、撮影装置１を操作し、物品２に対する動作を行いながら、インカメラ６１を物品２および第１の利用者自身が写るように向けた状態で自分撮影を行う。

【0028】

（Ｂ）の他者撮影モードは、撮影装置１のカメラの撮影方向が、表示画面側と反対側であるモードであり、スマートフォンの場合にはアウトカメラ６２を用いるモードである。（Ｂ）の他者撮影モードでは、第２の利用者は、撮影装置１を操作し、アウトカメラ６２を物品２および第１の利用者が写るように向けた状態で他者撮影を行う。第１の利用者は、物品２に対する動作を行い、撮影動画内に被写体、アクターとして写される。

【0029】

（Ｃ）は、利用者が撮影装置１であるスマートフォンを台座８１に立てかけて固定した状態で撮影を行う場合を示す。台座８１は、任意の物が利用でき、スマートフォン専用の固定台等の器具を利用してもよいし、例えば物品２の一部として提供される台座を利用してもよいし、家の壁等を利用してもよい。（Ｃ）の場合、第１の利用者は、台座８１に固定されている撮影装置１のインカメラ６１を物品２および第１の利用者に向けた状態で撮影する。

【0030】

［物品構成の第１例］
図４は、物品２の構成の第１例を示す。実施の形態１のコンテンツ合成システムに適用される物品２は、コンテンツ合成順序制御に対応した所定の構成を有し、具体例としては各種の構成例が可能である。この第１例では、物品２は、第１の物品２１として収容体である包装袋を有し、第２の物品２２として被収容物であるカードを有する。説明上、カメラ６０の画像での物品２の見え方の状態として、大別して、第１の状態、および第２の状態を有する。第１の状態と第２の状態との間には、過渡状態を有する。なお、図４等で、説明上の方向、座標系として、（Ｘ，Ｙ，Ｚ）を示す。Ｘ方向およびＹ方向は、カメラ６０の画像を構成する直交する２つの方向であり、横をＸ方向、縦をＹ方向とする。Ｚ方向は、Ｘ方向およびＹ方向に対し垂直な方向であり、カメラ６０の撮影方向に対応する。

【0031】

第１例では、単純な場合として、物品２は、構成要素である物品毎に１個のＩＤを有し、ＩＤ毎に異なるコンテンツが関連付けられている。すなわち、第１の物品２１には第１のＩＤ３１を有し、第２の物品２２には第２のＩＤ３２を有する。第１の状態では、第１の物品２１である包装袋の中に、第２の物品２２であるカードの全体が収容され、封が閉じられている。包装袋は、概略矩形形状を持ち、外面として表面と裏面とを有する。包装袋の表面には、所定のデザインとして、カード玩具の名称や、フィクション上のキャラクターの画像等が記載されている。包装袋は、例えば表面のうちの所定の位置の第１の箇所に、第１のＩＤ３１に対応する第１のマーカ４１が設けられている。第１のマーカ４１は、第１のＩＤ３１を含む情報が、ＱＲコード等の形式で実装された第１の表示物である。第１の状態では、カード全体が包装袋内に隠れており、利用者には見えない。第１の状態では、カメラ６０の画像において、包装袋の表面の第１のマーカ４１が写っており、第２のマーカ４２が写っていない。すなわち、第１の状態は、カメラ６０の画像において第１のＩＤ３１が検出でき、かつ第２のＩＤ３２が検出できない状態である。

【0032】

利用者は、物品２に対する所定の動作として、包装袋の開封および包装袋からのカードの取り出しを行う。特に、第１の利用者である子どもは、遊び方のマニュアルやガイダンスに従って、自分撮影モードの場合、撮影装置１によって物品２および自分を撮影しながら、物品２に対する所定の動作を行う。これにより、第１の状態から、所定の動作を含む過渡状態を経て、第２の状態に変化する。過渡状態は、図示の例のように包装袋からカードが取り出されている途中の状態や、カメラ６０の画像内に包装袋とカードの両方が写っている状態等である。この過渡状態の例では、包装袋からカードの一部が外に現れており、他の一部は包装袋内に隠れている。

【0033】

第２の状態では、第１の物品２１である開封後の包装袋から外側に、第２の物品２２であるカードの全体が取り出されている。カードは、概略矩形形状を持ち、外面として表面と裏面とを有する。カードの表面には、所定のデザインとして、カードの名称や種類や説明、キャラクターおよび後述のアイテム（例えば傘）等の画像等が記載されている。カードの表面のうちの所定の位置の第２の箇所には、第２のＩＤ３２に対応する第２のマーカ４２を有する。第２のマーカ４２は、第２のＩＤ３２を含む情報が、ＱＲコード等の形式で実装された第２の表示物である。第２の状態では、カード全体が外に現れて利用者に見えている。第２の状態では、カメラ６０の画像において、カードの表面の第２のマーカ４２が写っており、包装袋についてはカメラ６０の画像の範囲外にあるため第１のマーカ４１が写っていない。すなわち、第２の状態は、カメラ６０の画像において第２のＩＤ３２が検出でき、かつ第１のＩＤ３１が検出できない状態である。

【0034】

設定情報記憶部５１（図２）には、第１のＩＤ３１に第１のコンテンツＣ１が関連付けて設定され、第２のＩＤ３２に第２のコンテンツＣ２が関連付けて設定されている。上記状態の変化に伴い、撮影装置１による撮影動画では、第１のＩＤ３１、第２のＩＤ３２の順序で２個のＩＤが検出される。撮影装置１は、撮影動画のうち、第１の状態の時の第１の画像に対し、第１のＩＤ３１の検出に応じた第１のコンテンツＣ１を合成する。次に、撮影装置１は、第２の状態の時の第２の画像に対し、第２のＩＤ３２の検出に応じた第２のコンテンツＣ２を合成する。これにより、撮影動画に基づいて生成されたコンテンツ合成動画は、所定の順序での複数のコンテンツとして、第１のコンテンツＣ１、第２のコンテンツＣ２がその順序で合成されている。この際、第１の利用者である子どもは、複数のＩＤ（対応するマーカ）を所定の順序で撮影するといった手順を意識する必要は無く、物品２の構成に対応した容易な動作によって、コンテンツを合成した動画を実現できる。

【0035】

なお、ＩＤを検出する方式は、マーカ方式に限らず適用でき、例えば画像認識方式を適用してもよい。この方式では、撮影装置１は、カメラ６０の画像から、画像認識処理によって、物品２の一部の所定の形状や色等を持つ表示物を検出する。そして、撮影装置１は、その表示物に対応付けて設定されているＩＤを検出する。あるいは、撮影装置１は、直接的に各物品の全体の形状等を検出することでＩＤを検出してもよい。また、例えば、カードの表面に第２のマーカ４２を設けずに、カード毎に持つ傘等のアイテムの画像をマーカおよびＩＤとして利用してもよい。

【0036】

カードの外形は、概略矩形形状に限らず各種可能である。カードの表面や裏面のデザインは、各種可能である。カードの裏面は、例えば何も情報の記載が無くてもよいし、一般的な商品管理用のバーコード（ＩＤ検出用のマーカではない）等が設けられてもよい。カードの裏面には、商品説明、例えばカード説明や後述のゲームのルール説明、動画撮影や動画実況に関するヒントやコツ、マニュアルやガイダンス等の情報が記載されていてもよい。物品２には、遊び方に関するマニュアル用紙が付属してもよいし、撮影装置１やサーバ９がマニュアル情報を提供してもよい。

【0037】

［コンテンツ合成動画概要］
図５は、図４の物品２の構成に対応した、コンテンツ合成動画の構成概要を示す。図５は、ある撮影動画およびコンテンツ合成動画を構成するうちの一部の画像の状態遷移を示す。（Ａ）は、図４の第１の状態に対応した、合成前の第１の画像Ａ１、および合成後の第１の画像Ａ２を示す。第１の画像Ａ２は、第１の画像Ａ１に第１のコンテンツＣ１が合成されている。（Ｂ）は、第２の状態に対応した、合成前の第２の画像Ｂ１、および合成後の第２の画像Ｂ２を示す。第２の画像Ｂ２は、第２の画像Ｂ１に第２のコンテンツＣ２が合成されている。なお、図５は過渡状態の画像を省略している。ある撮影動画において、時間軸上、第１の画像Ａ１、第２の画像Ｂ１の順序で遷移する。対応するコンテンツ合成動画において、時間軸上、第１の画像Ａ２、第２の画像Ｂ２の順序で遷移する。なお、時間軸上、各画像のデータには、対応する各音声のデータも付属している。音声は、第１の利用者の発声による実況等の音声である。また、各コンテンツには、画像のみならず、対応する音声（例えばＢＧＭや効果音等）も含まれる。

【0038】

合成前の第１の画像Ａ１は、第１の利用者である子どもと、手に持たれた第１の物品２１である包装袋とが写っている。第１の利用者は、包装袋の表面をカメラ６０に向けている。これにより、第１の状態として、第１のマーカ４１から第１のＩＤ３１が検出できる状態である。合成後の第１の画像Ａ２は、合成前の第１の画像Ａ１上に第１のコンテンツＣ１が重ね合わせられるように合成されている。本例では、第１のコンテンツＣ１は、コンテンツＣ１１，Ｃ１２，Ｃ１３を含む複数のコンテンツ（サブコンテンツと記載する場合がある）で構成されている。コンテンツＣ１１は、ＡＲによる演出用のエフェクト画像、言い換えると重ね合わせ画像であり、例えば集中線による画像である。この画像は、第１のＩＤ３１の付近の第１の物品２１を中心として複数の線が放射状に拡がる画像である。なお、使用するエフェクト画像の種類は、利用者が選択して設定できる。コンテンツＣ１の画像は、カメラ６０の画像における第１の利用者および第１の物品２１等を後景として、前景に重ね合わせるように合成されている。エフェクト画像は、アニメーション等、動いたり変化したりする短い動画像としてもよい。エフェクト画像は、設定に応じて、後景が見えない非透過画像としてもよいし、後景が見える半透過画像としてもよい。エフェクト画像は、画像フレーム内の一部に表示されてもよいし、画像フレーム全体に表示されてもよい。エフェクト画像は、後述の画面エフェクトとしてもよい。

【0039】

コンテンツＣ１２は、文字画像の第１例であり、画像フレーム内の設定された所定の位置、例えば下辺領域に、配置され合成される。コンテンツＣ１２は、例えば「きょうしょうかいするのは○○○です！！」といった説明文字列の画像である。第１の利用者は、実況の音声として、説明文字列と同様の発声を行ってもよいし、他の発声を行ってもよい。コンテンツＣ１３は、文字画像の第２例であり、画像フレーム内の設定された所定の位置、例えば上辺領域に、配置され合成される。コンテンツＣ１３は、例えば「チャンネルとうろくしてね♪」といった説明文字列の画像である。このような文字画像の説明文字列は、利用者が選択して設定でき、文字画像の合成を省略することもできる。物品２に対して演出を付与するためのエフェクト画像は、物品２の位置に応じて表示されることが好ましいが、文字画像の説明文字列は、物品２の位置に応じて表示すると、説明全体が画像フレーム内に表示されない可能性があるため、画像フレーム内の設定された所定の位置に表示することにより、説明全体が表示されるようにしておくことが好ましい。

【0040】

なお、このチャンネルは、事業者のサービス上で実際に利用者毎の動画のチャンネルとして用意されて利用者間の登録を可能としてもよい。あるいは、実際にはこのチャンネルは用意されず、子どもが大人の動画配信者を模倣する（なりきる）際の演出として用いてもよい。実施の形態１のコンテンツ合成システムでは、第１の利用者である子どもは、大人の動画配信者を模倣する遊戯として、動画撮影および実況等を行う。

【0041】

合成前の第２の画像Ｂ１は、第１の利用者である子どもと、手に持たれた第２の物品２２であるカードとが写っている。第１の利用者は、カードの表面をカメラ６０に向けている。これにより、第２の状態として、第２のマーカ４２から第２のＩＤ３２が検出できる状態である。合成後の第２の画像Ｂ２は、合成前の第２の画像Ｂ１上に第２のコンテンツＣ２が重ね合わせられるように合成されている。本例では、第２のコンテンツＣ２は、複数のコンテンツ（言い換えると複数のサブコンテンツ）で構成されており、そのうちの最初の部分（第１のサブコンテンツ）は、コンテンツＣ２１，Ｃ２２を含む。コンテンツＣ２１は、文字画像の例であり、コンテンツＣ２２は、演出用のエフェクト画像の例である。コンテンツＣ２１の文字画像は、例えば「ぬらすな！」であり、後述のゲームのお題の文となっており、猫が濡れないように傘を使って雨から守れという意味である。コンテンツ２１の文字画像は、例えば第２のＩＤ３２の付近の第２の物品２２に対し、上側の位置または画像フレーム内の上辺領域に配置され合成されている。コンテンツＣ２２のエフェクト画像は、例えば雲状の吹き出しの画像であり、コンテンツＣ２１の文字画像を囲うように配置されている。コンテンツＣ２の画像は、カメラ６０の画像における第１の利用者および第２の物品２２等を後景として、前景に重ね合わせるように合成されている。第２のコンテンツＣ２の最初の部分は、本例に限らず、後述のゲームのルール説明や登場キャラクターの画像、ゲーム開始のカウントダウン等の文字画像、および対応する音声等を含んでもよい。

【0042】

［設定情報］
図６は、図５等に対応したコンテンツ合成動画の構成に関する設定情報の設定例を示す。（Ａ）は、前述の設定情報記憶部５１に記憶される設定情報の例を示す。この設定情報には、動画（対応するコンテンツ合成動画）のカットやタイムスケジュール等を含む台本が設定されている。（Ａ）は、縦方向を時間軸とし、時点をｔ１等で示し、時間をＴ１等で示す。ある動画は、複数の部分（いわゆるカット）で構成される。本例の動画は、時間Ｔ１の第１のカットから、時間Ｔ７の第７のカットまで、概略的に７個のカットで構成される。予め用意されている台本に基づいて、カットの数や時間等については利用者が選択して設定できる。

【0043】

時点ｔ１から時点ｔ２までの時間Ｔ１の第１のカットは、オープニングであり、省略も可能である。時点ｔ２から時点ｔ３までの時間Ｔ２の第２のカットは、前述の第１の状態の第１の画像に対応し、第１の利用者が開封前の第１の物品２１を紹介し、第１のコンテンツのうちの第１のサブコンテンツ（例えば図５の第１のコンテンツＣ１）を合成する部分である。時点ｔ３から時点ｔ４までの時間Ｔ３の第３のカットは、第１のコンテンツのうちの第２のサブコンテンツを合成する部分である。本例では、第１のコンテンツは、順序を持つ２つのサブコンテンツで構成されている。時点ｔ４から時点ｔ５までの時間Ｔ４の第４のカットは、前述の過渡状態に対応し、第１の利用者が所定の動作を行う部分である。時点ｔ５から時点ｔ６までの時間Ｔ５の第５のカットは、前述の第２の状態の第２の画像に対応し、第１の利用者が開封後の第２の物品２２を紹介し、第２のコンテンツを構成する複数のコンテンツのうち、ゲームのスタートに係わる最初のサブコンテンツ（例えば図５の第２のコンテンツＣ２）を合成する部分である。

【0044】

時点ｔ６から時点ｔ７までの時間Ｔ６の第６のカットは、第１の利用者による第２の物品２２を用いたＡＲゲームのプレイおよび実況に対応する部分である。第６のカットでは、第２のコンテンツを構成する複数のコンテンツのうち、最初のコンテンツに続く複数のコンテンツが、プレイ等に応じて切り替えられながら合成される。第６のカットでは、ゲームの内容や結果の判定も行われ、所定の制御によってゲームエンドとなる。第６のカットの時間Ｔ６は、一定としてもよいし、利用者の動作やゲーム結果等に応じて変動する時間としてもよい。時点ｔ７から時点ｔ８までの時間Ｔ７の第７のカットは、エンディングであり、省略も可能である。

【0045】

動画の各カットおよび各コンテンツ間は、設定情報に基づいて自動的な遷移が制御可能である。例えば、第２のカットの第１のサブコンテンツが合成された後、カット時間の設定に基づいて、自動的に第３のカットの第２のサブコンテンツの合成に遷移させることができる。

【0046】

第１の利用者は、このような動画の設定情報およびガイダンスに従って、撮影操作および物品２に対する動作を行う。ガイド部１７は、この設定情報に従ってガイダンスを提供する。また、この動画は、説明上の動画区分として、概略的に、第１のカットから第５のカットまでの第１の動画部分である開封動画６０１と、第５のカットから第７のカットまでの第２の動画部分である実況動画６０２とを有する。第１の利用者は、開封動画６０１の部分では、第１の物品２１を開封して第２の物品２２を取り出しながら、第１のコンテンツ、第２のコンテンツの順序での合成に伴って、その開封に関する実況を行う。第１の利用者は、実況動画６０２の部分では、第２の物品２２であるカードを用いて第２のコンテンツによるゲームをプレイしながら、そのゲームに関する実況を行う。

【0047】

各カットの時間は利用者が選択して設定できる。例えば、第２のカットの時間Ｔ２が３０秒、第３のカットの時間Ｔ３が３０秒といったように設定される。動画の時間軸上、例えば時点ｔ２になると自動的に第２のカットに遷移し、時間Ｔ２が経過して時点ｔ３になると自動的に第３のカットに遷移する。また、各カット内でのコンテンツの合成時間についても設定可能である。例えば、第２のカット内での第１のサブコンテンツの合成時間が設定できる。すなわち、第１のサブコンテンツの合成時間は、第２のカットの時間Ｔ２（例えば３０秒）を最大としてそれ以下の時間に設定される。１個のコンテンツやサブコンテンツ毎に合成時間（対応する再生時間）の情報を持ってもよい。例えば、第２のカットでの第１のサブコンテンツの合成時間が１０秒と設定される。その場合、第２のカット内で、第１のＩＤ３１が検出された時点を開始として、最大で１０秒間、第１のサブコンテンツが合成される。時間Ｔ２が終了した場合、その時点で第１のサブコンテンツの合成が終了となる。また、コンテンツやサブコンテンツ毎に合成回数（対応する再生回数）が設定されてもよい。例えば、第２のカットでの第１のサブコンテンツの合成回数が１回と設定される。

【0048】

（Ｂ）は、（Ａ）の動画の設定情報に関連して設定可能である、複数のコンテンツの合成の順序（言い換えると順序条件）に関する設定情報の例としてのテーブルを示す。コンテンツ合成動画における複数のコンテンツの合成には、所定の順序を設定できる。撮影装置１の設定部１１は、このような順序条件の設定情報を設定し保持してもよい。順序の例は、（１）第１のコンテンツの第１のサブコンテンツ、（２）第２のサブコンテンツ、（３）第２のコンテンツのゲームスタート時の第１のサブコンテンツ、（４）ゲームプレイ中の第２のサブコンテンツ、（５）ゲームエンド時の第３のサブコンテンツである。

【0049】

（Ｂ）のテーブルは、動画ＩＤ＝００１で識別されるある動画に関して、複数のコンテンツ｛ＣＡ，ＣＢ，ＣＣ，ＣＤ，……｝の合成の順序が設定されている。このテーブルは、項目として、順序、ＩＤ、コンテンツ、サブコンテンツ、回数、合成時間、合成状態、等を有する。「順序」は、複数のコンテンツの合成の順序｛１，２，３，……｝を示す。「ＩＤ」は、前述の物品２のＩＤのＩＤ値｛ＩＤＡ，ＩＤＢ，ＩＤＣ，ＩＤＤ，……｝を示す。「コンテンツ」は、「ＩＤ」と関連付けられるコンテンツのコンテンツＩＤを示す。「サブコンテンツ」は、コンテンツが複数のサブコンテンツで構成される場合の各サブコンテンツのサブコンテンツＩＤを示す。例えば、コンテンツＣＡは、サブコンテンツＣＡ１，ＣＡ２，ＣＡ３から構成される。合成の順序の設定例は、｛（１）ＣＡ，（２）ＣＢ，（３）ＣＣ，（４）ＣＤ｝である。

【0050】

「回数」は、カット内でそのコンテンツを合成する回数の設定を示す。「合成時間」は、カット内でそのコンテンツを合成する時間の設定を示す。「合成状態」は、順序制御用の情報であり、そのコンテンツが合成済み（例えば値１）か未合成（例えば値０）かの状態を示す。なお、本例ではコンテンツ単位で順序等が設定されているが、サブコンテンツ単位でも同様に順序等を設定可能である。回数や合成時間の設定を省略してもよい。例えば、あるサブコンテンツであるアニメーションやエフェクト画像が、１回の再生で３秒かかる短い動画像であるとする。その場合に、合成は、カットの時間内で、ＩＤが検出されている間、そのサブコンテンツを繰り返しループで再生するものでもよい。

【0051】

応用として、動画の一部において複数のコンテンツまたはサブコンテンツの順序を任意とする設定も可能である。例えば、順序の設定例として｛（１）ＣＡ，（２）ＣＢ ＯＲ ＣＣ，（３）ＣＤ｝とした場合、２番目に合成するのは、コンテンツＣＢまたはコンテンツＣＣのいずれでもよい。また、動画の一部において複数のコンテンツまたはサブコンテンツを同時に合成する設定も可能である。例えば、順序の設定例として｛（１）ＣＡ，（２）ＣＢ ＡＮＤ ＣＣ，（３）ＣＤ｝である場合、２番目に合成するのは、コンテンツＣＢかつコンテンツＣＣとなる。

【0052】

他の方式としては、所定の順序を持つ複数のコンテンツの合成の切り替えに関して、時間軸上、各コンテンツ間に、間隔時間が設定されてもよい。例えば、第１のサブコンテンツの合成の開始または終了の時点から、設定された間隔時間が経過した後、次の第２のサブコンテンツの合成が開始される、または開始が許容される。また、他の方式として、動画の各カットの時間（例えば３０秒）を設定せず、次のＩＤが検出されるまでは同じカットを継続する構成も可能である。

【0053】

［コンテンツ合成動画詳細］
図７は、図５のコンテンツ合成動画についての詳細を示す。この動画は、図６の設定例と対応しており、時間軸上、所定の順序の複数の画像として、第１のカットの画像７０１、第２のカットの画像７０２、第３のカットの画像７０３、第５のカットの画像７０５、第６のカットのうちの画像７０６ａおよび画像７０６ｂを含む。なお、図７では、過渡状態の第４のカットの画像、第６のカットのゲームプレイ中の画像、第７のカットのエンディングの画像を省略している。

【0054】

画像７０１は、オープニングの画像例であり、予め設定されたタイトルの文字画像ｇ１１（例えば「たろうくんＴＶはじまるよ〜〜」）、利用者顔画像ｇ１２、およびＢＧＭ等が合成される。利用者は、動画の再生の際には、撮影装置１の公知の機能を用いて、動画の開始、一時停止、終了、ジャンプ、音量調整、再生時間確認等ができる。

【0055】

画像７０２は、第１の物品２１の紹介のうちの第１のサブコンテンツを合成する部分の画像例である。第１のサブコンテンツＳＣ１は、図５の第１の画像Ａ２の第１のコンテンツＣ１｛コンテンツＣ１１，Ｃ１２，Ｃ１３｝と同様であり、第１の効果音を含む。第２のカットの時間Ｔ２に入った後、第１のＩＤ３１の検出に応じて、自動的に第１のサブコンテンツＳＣ１が合成される。この際、第１の利用者は、第１の物品２１を紹介するように音声で実況を行っている。

【0056】

画像７０３は、第１の物品２１の紹介のうちの第２のサブコンテンツを合成する部分の画像例である。第２のカットの時間Ｔ２が終了すると、自動的に第３のカットに遷移し、時間Ｔ３に入った後、自動的に第２のサブコンテンツＳＣ２の合成に切り替えられる。本例では、第２のサブコンテンツＳＣ２は、エフェクト画像、文字画像、および第２の効果音を含む。文字画像は、例えば「なにがでてくるのかな〜〜？？」といった説明文字列を含む。エフェクト画像は、第１のサブコンテンツＳＣ２のエフェクト画像とは異なる種類の画像である。このエフェクト画像は、第１のＩＤ３１の付近の第１の物品２１を中心として、複数の疑問符「？」の像が螺旋状に回転および拡大しながら動くような画像である。本例では、第１の状態で自動的に２個のサブコンテンツを順次に合成する構成としたが、これに限らず、第１の状態で１個のコンテンツの合成のみでもよいし、３個以上のサブコンテンツを順次に合成する構成も可能である。

【0057】

画像７０５は、第２の物品２２の紹介のうちの第２のコンテンツの第１のサブコンテンツを合成する部分の画像例である。この画像７０５は、図５の第２の画像Ｂ２と同様であり、第１のサブコンテンツＧＣ１は、図５のコンテンツＣ２１，Ｃ２２と同様である。第５のカットの時間Ｔ５に入った後、第２のＩＤ３２の検出に応じて、自動的に第１のサブコンテンツＧＣ１が合成される。この際、第１の利用者は、第２の物品２２を紹介するように音声で実況を行っている。

【0058】

画像７０６ａは、時間Ｔ６のうちのゲームスタート付近での画像例を示す。この画像７０６ａは、後景にカードを手に持った第１の利用者が写っており、前景には、第２のサブコンテンツＧＣ２が重ね合わせられるように合成されている。第２のサブコンテンツＧＣ２は、ゲームを構成する複数のサブコンテンツとして、コンテンツＧＣ２１，ＧＣ２２，ＧＣ２３，ＧＣ２４を含む。コンテンツＧＣ２１は、傘アイテム画像であり、カード（対応する第２のＩＤ３２）の位置に重ね合わせられるように合成される。第１の利用者がカードを動かすと、それに対応して傘アイテム画像が移動する。コンテンツＧＣ２２は、猫画像であり、ゲームのプログラムに従って自動的に画像フレーム内、例えば下辺領域の左右を移動する。コンテンツＧＣ２３は、例えば複数の縦線で表現された雨画像であり、ゲームのプログラムに従って画像フレーム内で全体的に表示される。コンテンツＧＣ２４は、例えば上辺領域に表示される文字画像であり、例えばゲームスタートを伝える「はじめ！」、ゲーム時間を伝える「０秒」、ゲームスコアを伝える「０てん」等である。撮影装置１は、ゲーム中、第１の利用者のカードの動作に応じて、傘アイテムの下側には雨を表示しないように制御する。

【0059】

画像７０６ｂは、時間Ｔ６のうちのゲームエンド付近での画像例を示す。この画像７０６ｂは、後景にカードを手に持った第１の利用者が写っており、前景には、第３のサブコンテンツＧＣ３が重ね合わせられるように合成されている。第３のサブコンテンツＧＣ３は、ゲームを構成する複数のサブコンテンツとして、コンテンツＧＣ３１，ＧＣ３２，ＧＣ３３を含む。コンテンツＧＣ３１は、ゲーム結果を表す文字画像およびエフェクト画像であり、例えば画像フレーム中心位置に合成されている。ゲーム結果は、例えば１００点満点のスコアで表され、他には成功または失敗の２値等で表されてもよい。コンテンツＧＣ２２は、下辺領域に合成されたゲーム結果を表す文字画像（例えば「ネコはぬれなかった！」）である。コンテンツＧＣ３１は、上辺領域に合成されたゲーム結果を表す文字画像であり、例えばゲームエンドを伝える「おわり！」、ゲーム時間を伝える「３０秒」、ゲームスコアを伝える「１００てん」等である。

【0060】

このゲームは、カードの種類として傘アイテムを持つカードに対応したＡＲゲームである。このゲームは、画像７０５のお題に従って、利用者が画像フレーム内で傘アイテムのカードを動かすことで、ＡＲによる猫がなるべく雨に濡れないように猫の上側に傘アイテムを配置して雨から守るゲームである。第１の利用者は、カードを操作しながらゲームの実況を行う。このカードおよびゲームは、ゲーム自体を楽しむ用途の他に、実況動画６０２の素材の用途として利用される。カードの種類に応じて異なるゲームが用意されている。利用者は、カードの種類に応じて異なる実況動画６０２を含むコンテンツ合成動画を作成して楽しむことができる。

【0061】

ゲームエンド時には、ゲームのスコアが確認できる。また、そのスコアに応じて、異なるサブコンテンツが合成されてもよい。例えば、高スコアの場合には、花火があがる等のエフェクト画像および効果音が合成され、低スコアの場合には、汗や涙等のエフェクト画像および効果音が合成される。また、スコアに限らず、子ども向けの表現として、擬似的に人気度やチャンネル登録者数等を表わす画像が合成されてもよい。例えば、高スコアの場合、人気度が高い状態を表す画像が合成される。これにより、第１の利用者である子どもは、大人の動画配信者の模倣を楽しむことができる。

【0062】

［ガイダンス］
図８は、ガイド部１７（図２）によって動画撮影時にガイダンスを提供する場合の画像例を示す。ガイダンスの提供は必須ではないが、特に子どもに対しガイダンスを提供することで、コンテンツ合成動画の作成をより容易にすることができる。画像８０１は、第１のカット前の準備状態の時の画像例である。この画像８０１は、利用者である撮影者に対し、第１の利用者の位置や撮影開始等のガイドをするための画像である。この画像８０１は、ガイダンス画像の例として、画像Ｇ１１，Ｇ１２，Ｇ１３を含む。ガイド部１７は、各ガイダンス画像と共に、対応する各ガイダンス音声も出力する。画像Ｇ１１は、ガイダンス文字画像であり、例えば文字列「せんのいちに はいるように さつえいしてね」を含む。なお、子ども向けのガイダンス用に、漢字を使わない文字画像等も用意されている。画像Ｇ１２は、カメラ６０の画像フレーム内での第１の利用者の概略的な位置をガイドするための線画像である。画像Ｇ１３は、撮影開始の準備ができた状態を撮影装置１に指示するためのボタン画像であり、例えば文字列「ＯＫ」、「準備ができたらＯＫボタンを押してね」等を含む。この画像Ｇ１３が押されると、動画の撮影が開始される。画像Ｇ１３は、撮影開始に伴う秒数のカウントダウンの画像を含んでもよい。なお、図８は、第１のカット、第３のカット、第７のカット等を省略している。

【0063】

画像８０２は、第２のカットの際のガイダンス画像例であり、画像Ｇ２１を含む。画像Ｇ２１は、撮影者に対し、所定の動作やそのタイミングを伝える文字画像である。この動作は、第１の物品２１の表面の第１のマーカ４１をカメラ６０の画像に写るようにさせるための動作である。画像Ｇ２１は、例えば文字列「ふくろのおもてをカメラにむけてね」を含む。第１の利用者は、このガイダンスに従って、包装袋の表面をカメラ６０に向ける。なお、第２の利用者が撮影者である他者撮影モードの場合、第２の利用者がタッチパネル５０の表示画面でこのようなガイダンス画像等を確認し、それに従って第２の利用者が第１の利用者に対し音声や手指でガイドをしてもよい。

【0064】

画像８０３は、第４のカットの過渡状態の際に、図４の所定の動作として開封および取り出しの動作をガイドする際のガイダンス画像例である。画像８０３は、画像Ｇ３１を含む。画像Ｇ３１は、所定の動作やそのタイミングを伝えるガイダンス文字画像である。画像Ｇ３１は、例えば文字列「ふくろをあけてカードをとりだしてね」を含む。第１の利用者は、このガイダンスに従って、包装袋を開封しカードを取り出す動作を行う。

【0065】

画像８０４は、第５のカットの際のガイダンス画像例であり、画像Ｇ４１を含む。画像Ｇ４１は、所定の動作やそのタイミングを伝える文字画像である。この動作は、第２の物品２２の表面の第２のマーカ４２をカメラ６０の画像に写るようにさせるための動作である。画像Ｇ４１は、例えば文字列「カードのおもてをカメラにむけてね」を含む。第１の利用者は、このガイダンスに従って、カードの表面をカメラ６０に向ける。

【0066】

画像８０５は、第６のカットにおけるゲームプレイ中に、ゲームエンドまたは動画撮影終了を伝える場合の画像例である。画像８０５は、画像Ｇ５１を含む。画像Ｇ５１は、例えば、ゲームエンドまたは動画撮影終了までの秒数のカウントダウンの画像を含む。本例では、第７のカットが無くゲームエンドが動画撮影終了である場合を示す。第７のカットがある場合には、エンディングの後に動画撮影終了となる。

【0067】

画像８０６は、動画撮影終了後に表示される画像例を示す。画像８０６は、「撮影終了」メッセージ、「動画をみる」ボタン、「もういちど撮影」ボタン、「動画をのこす」ボタン、および「動画をけす」ボタンを含む。利用者が「動画をみる」ボタンを押した場合、撮影装置１は、その時に撮影終了して作成されたコンテンツ合成動画を再生する。利用者が「もういちど撮影」ボタンを押した場合、撮影装置１は、もう一度最初から動画の撮影をやり直す。利用者が「動画をのこす」ボタンを押した場合、撮影装置１は、その時に作成されたコンテンツ合成動画のデータを保存する。利用者が「動画をけす」ボタンを押した場合、撮影装置１は、その時に作成されたコンテンツ合成動画のデータを保存せずに消去する。なお、撮影装置１は、動画撮影に伴いリアルタイムでコンテンツを合成してもよいが、コンテンツ合成処理に時間を要する場合には、一旦撮影動画を撮影した後に合成処理を行うことでコンテンツ合成動画を生成してもよい。

【0068】

ガイド部１７は、動画の設定情報に従って、撮影動画の各画像に対し、適したタイミングでガイダンス画像やガイダンス音声等のガイダンス情報を重畳するようにガイダンスを提供する。撮影装置１は、ガイダンス情報を伴う動画とは別に、ガイダンス情報が含まれていないコンテンツ合成動画を作成し、そのコンテンツ合成動画を合成動画データ記憶部５４に格納する。

【0069】

［アプリケーション画面］
図９は、撮影装置１のコンテンツ合成機能のアプリケーションプログラム１２０によってタッチパネル５０の表示画面にグラフィカル・ユーザ・インタフェースとして表示されるアプリケーション画面の表示例を示す。画面９０１は、アプリケーション起動後の画面例を示す。この画面９０１は、「撮影」ボタン、「設定」ボタン、「動画リスト」ボタン、等を含む。利用者によって「撮影」ボタンが押された場合、撮影装置１は、図８のようなガイダンスと共に動画撮影に移行する。「設定」ボタンが押された場合、撮影装置１は、画面９０２のような設定画面に移行する。「動画リスト」ボタンが押された場合、撮影装置１は、画面９０３のような動画リスト画面に移行する。

【0070】

画面９０２は、「チャンネル名」、「顔画像」、「動画（台本）」、「エフェクト」、「文字」等の設定項目を有する。「チャンネル名」項目では、図７の第１のカットのオープニング等で使用するタイトル等の文字画像ｇ１１を設定できる。「顔画像」項目では、同じくオープニング等で使用する利用者顔画像ｇ１２を設定できる。この設定の際にはカメラ６０が使用される。「動画（台本）」項目では、図示しない別の画面で、図６のような動画の設定情報を設定できる。この設定は例えば第２の利用者が行ってもよい。「エフェクト」項目が選択された場合、画面９０４のようなエフェクト設定画面に移行する。「文字」項目では、各コンテンツの文字画像の文字列を設定できる。

【0071】

画面９０３は、撮影および合成済みであるコンテンツ合成動画のリストが表示される。本例では、このリストは、カードの種類毎に整理した状態で、対応するコンテンツ合成動画の動画ＩＤや有無等の情報が表示されている。例えば、「カードＡ」については、動画ＩＤ＝００１のコンテンツ合成動画がある。また、例えば「カードＣ」については、入手していないので、対応するコンテンツ合成動画が無い。これに限らず、動画リスト画面では、合成前の撮影動画のリストを同様に表示してもよいし、カードの表面の画像と共にカードの収集状況を表すリストを表示してもよい。また、カードの種類毎に複数のコンテンツ合成動画が保存されてもよい。利用者は、リストから選択した動画について、再生、削除等の操作ができる。利用者は、例えばカードの収集と共に、カードに応じたコンテンツ合成動画を収集して楽しむことができる。前述のように、撮影装置１から他の機器８やサーバ９に動画データを保存することもできる。撮影装置１またはサーバ９は、利用者毎に複数の種類のカードやコンテンツ合成動画の収集の状況を情報として管理し、収集の実績やゲームのスコア等に応じて利用者に特典を与えてもよい。

【0072】

画面９０４は、コンテンツとしてエフェクト画像または画面エフェクトを設定するための項目が表示される。この画面９０４は、本例では、「エフェクトＡ」、「エフェクトＢ」、……といったように、選択して設定可能である複数の種類のエフェクトのボタンを含む。例えば「エフェクトＡ」項目は、図７の画像７０２の第１のサブコンテンツＳＣ１のような集中線のエフェクトを設定する項目である。例えば「エフェクトＢ」項目は、図７の画像７０３の第２のサブコンテンツＳＣ２のような疑問符のエフェクトを設定する項目である。利用者は、ＩＤ毎に関連付けてエフェクトを設定できる。利用者は、エフェクト項目の操作から、エフェクトの再生確認や詳細設定が可能である。なお、事業者のサーバ９等から利用者の撮影装置１に対し、利用者が取得したカードの種類等に応じて、対応するエフェクトのコンテンツデータを提供してもよい。

【0073】

［順序制御機能］
図１０は、実施の形態１のコンテンツ合成システムにおける、複数のコンテンツ合成の順序に関する制御例を示す。撮影装置１は、図９までで説明した基本的なコンテンツ合成機能に加え、図１０以降で説明する順序制御機能を追加で備えてもよい。前述の図４のような過渡状態は、様々な見え方をとり得るが、一時的に、カメラ６０の画像において２個以上のＩＤが同時に検出できる場合がある。例えば、カメラ６０の画像に包装袋の表面とカードの表面との両方が写っている場合である。順序制御機能は、このような場合にも好適なコンテンツ合成ができるように合成の順序に係わる制御を行う機能である。

【0074】

図１０で、画像３０１は、図４の過渡状態（図６では第４のカット）の時の画像例を示す。画像３０１は、第１の利用者の図示を省略し、第１の利用者が手に持った包装袋からカードを取り出している時の一状態を示す。この画像３０１のフレーム内では、第１の物品２１および第２の物品２２が含まれ、同時に２個のマーカとして第１のマーカ４１および第２のマーカ４２が写っている。すなわち、この画像３０１の状態は、同時に２個のＩＤとして第１のＩＤ３１および第２のＩＤ３２が検出できる状態である。

【0075】

このような画像３０１の状態の場合に、比較例として従来技術例のコンテンツ合成システムの場合には、以下のような作用となる。比較例のコンテンツ合成システムは、単一の物品の単一のコンテンツ合成しか考慮しておらず、複数のコンテンツ合成の順序を考慮していないシステムである。比較例のシステムにおける撮影装置は、画像３０１から２個のＩＤのそれぞれを検出し、各ＩＤに対応付けられた各コンテンツとして第１のコンテンツおよび第２のコンテンツを、この画像３０１内に同時に合成する。各コンテンツは、物品毎の演出を想定している画像等であるとする。合成後の画像３０１には、同時に２個のコンテンツが合成されてしまい、見た目にも複雑になり、演出として望ましくない。また、例えば、利用者は、複数のコンテンツを順次に合成したい場合、各マーカを順次にカメラに向けて撮影する必要があるが、順序を間違える場合や、画像内に同時に複数のマーカが写ってしまう場合がある。

【0076】

対策としては、予め利用者に対し、所定の動作としてカメラ６０に同時に２個の物品の表面を向けないようにガイドしておくことが挙げられる。利用者は、そのガイドに従って動作を行えば、上記のような状態を避けることができる。しかしながら、第１の利用者である子どもは、所定の動作をうまくできない場合もある。

【0077】

実施の形態１のコンテンツ合成システムは、順序制御機能を用いて、このような過渡状態の画像３０１を含む場合でも、所定の順序での複数のコンテンツ合成となるように制御する。所定の順序の例は、図５や図６のように、第１の状態で第１のコンテンツのみを合成し、次に第２の状態で第２のコンテンツのみを合成することであり、過渡状態では同時に２個のコンテンツの合成をしないことである。

【0078】

順序制御機能の制御例について以下に説明する。第１の制御例は、予め設定された所定の順序の条件で１個ずつコンテンツを合成する制御である。撮影装置１の設定部１１は、例えば図６のように予め順序条件を設定する。検出部１３は、設定情報の順序条件に従って、カメラ６０の画像からのＩＤの検出、および検出したＩＤについての判断等を行う。撮影装置１は、条件として、まず、第１の物品２１の第１のＩＤ３１の検出による第１のコンテンツの合成を１回行う。撮影装置１は、第１のＩＤ３１による第１のコンテンツがまだ合成されていない状態の場合には、第２のＩＤ３２等の他のＩＤを検出したとしても、対応するコンテンツの合成を行わない。撮影装置１は、条件として、第１のコンテンツが１回合成済みの状態になった場合に、その後、第２の物品２２の第２のＩＤ３２の検出による第２のコンテンツの１回の合成を許容する。

【0079】

また、画像３０１のように同時に２個のＩＤ（第１のＩＤ３１および第２のＩＤ３２）が検出できる状態になった場合、撮影装置１は、１回合成済みの第１のコンテンツについては再度の合成を繰り返さないようにし、新たに検出した第２のＩＤ３２による第２のコンテンツについての合成を１回行う。このような制御によって、動画の画像内にはその時々で１個のコンテンツのみが合成され、２個以上のコンテンツが同時に合成されることはない。

【0080】

上記制御例では、例えば図６のように、ＩＤおよびコンテンツ毎に合成（対応する再生）の回数が例えば１回のように設定されている。撮影装置１は、カット毎にこの回数を超える合成を繰り返さないように制御する。例えば、あるカットで、あるコンテンツについて、回数が３回に設定され、１回の再生時間が５秒である場合、最大で５×３＝１５秒の間、そのコンテンツの合成が許容される。

【0081】

第２の制御例は以下の通りである。例えば図６のように、ＩＤ、コンテンツ、およびカット毎に、コンテンツの合成時間、あるいはコンテンツ間の切り替えの間隔時間等が設定可能である。第２の制御例では、撮影装置１は、設定に基づいて、条件として、まず、第１のＩＤ３１の検出による第１のコンテンツの合成を第１の合成時間で行う。撮影装置１は、条件として、第１のコンテンツの合成の終了後、第２のＩＤ３２の検出による第２のコンテンツの合成を第２の合成時間で行うことを許容する。また、あるコンテンツの合成時間が終了するまでの間は合成を中断しないようにしてもよい。

【0082】

変形例として、コンテンツ間の切り替えの間隔時間を用いることができる。この場合、撮影装置１は、条件として、まず、第１のＩＤ３１の検出による第１のコンテンツの合成を行う。撮影装置１は、第１のコンテンツの合成の開始または終了の時点から、設定された第１の間隔時間が経過したか判断し、経過後、第２のＩＤ３２の検出による第２のコンテンツの合成を許容する。このような制御でも、所定の順序での１個ずつのコンテンツ合成を実現できる。上記制御は、第１のコンテンツや第２のコンテンツが複数のサブコンテンツで構成される場合にも同様に適用できる。

【0083】

第３の制御例は以下の通りである。第３の制御例は、画像フレーム内のＩＤ数を条件として用いる。第３の制御例では、画像３０１のようにフレーム内に同時に複数のＩＤが検出できる状態になった場合、撮影装置１は、いずれのＩＤのコンテンツ合成も許容しない。撮影装置１は、画像内に１個のＩＤが検出できる状態になった場合には、対応するコンテンツ合成を許容する。例えば、カメラ６０の画像内で、まず第１のＩＤ３１が検出できる状態で、第１のコンテンツが合成される。その合成中または合成終了後、さらに第２のＩＤ３２も検出できる状態に変わった場合、撮影装置１は、２個のＩＤが検出できる状態であるため、第２のコンテンツの合成をしない。次に、その画像の状態から、第２のＩＤ３２のみが検出できる第２の状態に変わった場合、撮影装置１は、第２のコンテンツを合成する。

【0084】

他の制御例として、撮影装置１は、画像内で先に検出した第１のＩＤ３１による第１のコンテンツを合成中に、画像３０１のように、新たに第２のＩＤ３２を検出した場合、第１のコンテンツの合成を停止し、第２のコンテンツの合成を開始してもよい。

【0085】

第４の制御例は以下の通りである。第４の制御例は、フレーム内のＩＤの位置を条件として用いる。第４の制御例では、画像３０１のようにフレーム内に同時に複数のＩＤが検出できる状態である場合、撮影装置１は、フレーム中心位置に最も近いＩＤのみについて、コンテンツ合成を許容する。画像３０１の例では、中心の点Ｐ１に最も近いＩＤは、第２のＩＤ３２である。そのため、撮影装置１は、第２のＩＤ３２による第２のコンテンツのみ合成を許容する。

【0086】

図１１は、続いて、他の順序制御例についての説明図を示す。以下の例では、図６、図７の例のように、第２のコンテンツが複数のサブコンテンツで構成される場合の順序制御例を示す。特に、第２のコンテンツが図７のようなゲームである場合、撮影装置１は、第１の利用者の動作に応じて、動画に合成するサブコンテンツを切り替えるように制御する。この制御例では、複数のサブコンテンツの合成の順序は、１つに固定されていなくてもよく、第１の利用者の動作に応じて異なる順序となってもよい。

【0087】

画像３０２は、第２の物品２２であるカードの表面が、画像フレーム中心位置（点Ｐ１）の付近に写っている状態を示し、利用者等の図示を省略している。画像３０２内で第２のＩＤ３２が検出できる状態である。そのため、第２のＩＤ３２に関連付けられた第２のコンテンツが合成される。本例では、第２のコンテンツとしてコンテンツＣｘが合成される場合を示す。コンテンツＣｘは、第２のＩＤ３２またはカードまたは点Ｐ１の付近に配置された、演出用のエフェクト画像の例である。また、画像３０２は、説明用に、１６分割（４×４分割）の格子の点および領域（ブロックともいう）を示す。画像３０２内の各画素（対応する点）は、位置の座標（ｘ，ｙ）を持つ。例えば、領域Ｒ１は、点Ｐ１を中心とした４個のブロック分の矩形領域を示す。

【0088】

第５の制御例は以下の通りである。第５の制御例では、撮影装置１は、画像フレーム内のＩＤの位置に応じてコンテンツ合成の有無や種類等を制御する。撮影装置１は、画像フレーム内で検出したＩＤの位置（対応する座標）を把握する。条件は、例えばゲームのプログラムにおいて規定される。撮影装置１は、条件として、そのＩＤの位置が、所定の位置または範囲に該当する場合に、そのＩＤおよび位置等に関連付けられるコンテンツの合成を許容する。例として、撮影装置１は、画像３０２内における検出した第２のＩＤ３２（例えば対応する第２のマーカ４２）の位置が、点Ｐ１の付近にある場合、例えば領域Ｒ１内にある場合には、コンテンツＣｘを合成する。領域Ｒ１に限らず、ブロック毎に同様に制御ができる。また、例えば、撮影装置１は、検出したＩＤの位置が、領域Ｒ１等の所定の領域内に入った場合に、即時に合成をしてもよいし、領域内に入ってから一定時間留まった場合に、合成をしてもよい。具体例としては、図７のゲーム中に、第１の利用者がカードを画像フレーム内で右側や左側や中央等に移動させる。そのカードの位置に応じて、異なるサブコンテンツ（例えばエフェクト画像）の合成ができる。

【0089】

第６の制御例は以下の通りである。第６の制御例では、撮影装置１は、画像フレーム内で検出されるＩＤの位置の動き、すなわち対応する第１の利用者の手等の動きに応じて、コンテンツ合成の有無や種類等を制御する。撮影装置１は、例えば、画像３０２内で、カードの第２のＩＤ３２（対応する第２のマーカ４２）の位置を検出し、その位置の動きを追跡する。ＩＤの動きの一例を、動き３０３として示す。動き３０３は、左下の領域から右下の領域への概略横方向の移動である。撮影装置１は、規定された所定の動き、例えば動き３０３を検出した場合、その動きに関連付けて設定されているサブコンテンツ（例えばエフェクト画像）を合成する。所定の動きは、縦／横／斜め等の直線状の動きに限らず、円弧状の動き、振る動き等、各種の動きでもよい。

【0090】

第７の制御例は以下の通りである。第７の制御例では、撮影装置１は、ＩＤの検出と共に、第１の利用者の発声による音声を判断し、所定の音声である場合に、その音声に関連付けられたサブコンテンツを合成する。例えば、第１の利用者は、図７のゲームのルールに従って、カードの動作と共に、所定の音声を発する。撮影装置１は、その音声に応じて、対応する種類のサブコンテンツの合成を許容する。

【0091】

また、撮影装置１は、物品２から発生する音声を判断し、所定の音声である場合に、その音声に関連付けられたサブコンテンツを合成するようにしてもよい。例えば、第２の物品２２であるカードは、動き等に応じて、所定の音声を発してもよい。撮影装置１は、その音声に応じて、サブコンテンツの合成を許容する。他の例として、フィギュア等の玩具は、動き等に応じて、所定の音声を発してもよい。他の例として、収容体から玩具本体が外に取り出された場合や、支持体から玩具本体が離された場合に、一定時間経過後、その収容体や支持体または玩具本体から所定の音声を発してもよい。このような場合にも同様の制御が可能である。

【0092】

第８の制御例は以下の通りである。第８の制御例では、撮影装置１は、画像フレーム内での第１の利用者の位置や動きを判断し、所定の位置や動きである場合に、その位置や動きに関連付けられたサブコンテンツを合成する。また、この際にＩＤの検出が必須でなくてもよい。例えば、撮影装置１は、カメラ６０の画像の認識処理に基づいて、第１の利用者の頭、眼、または手等の所定の身体部位を検出し、その身体部位の位置、動き、または形状の状態等を把握する。そして、撮影装置１は、その身体部位の位置、動き、または形状の状態等に応じて、関連付けられるサブコンテンツの合成を制御する。撮影装置１は、例えば、顔や手の位置が画像内の上側か下側かに応じてサブコンテンツを切り替えてもよいし、顔や手の動きに応じて切り替えてもよいし、腕の曲げの形状等に応じて切り替えてもよい。同様に、撮影装置１は、ＩＤの検出が無くても、第１の利用者による所定の音声に応じて、関連付けられるサブコンテンツの合成を制御してもよい。なお、上記の各種の制御例は、第１のコンテンツが複数のサブコンテンツで構成される場合にも同様に適用できる。

【0093】

［効果等］
上記のように、実施の形態１のコンテンツ合成システム等によれば、物品２の複数のＩＤを用いて複数のコンテンツを所定の順序で容易に合成することができ、興趣性のある動画の撮影や作成等を実現できる。比較例のコンテンツ合成システムは、複数のＩＤを用いた複数のコンテンツの好適な合成については考慮されておらず、所定の順序でのコンテンツ合成が難しい場合がある。一方、実施の形態１のコンテンツ合成システムによれば、第１の利用者が子どもである場合でも、物品２に対し簡単な動作を行うことで、あまり意識する必要無く、容易に所定の順序での複数のコンテンツ合成が実現できる。利用者は、コンテンツ合成動画を容易に作成でき、動画実況やゲーム等を楽しむことができる。

【0094】

実施の形態１の変形例として以下も可能である。変形例として、第２の物品２２であるカードの表面および裏面の各面に、コンテンツ合成制御用の各ＩＤを有してもよい。例えばカードの表面および裏面の各面にアイテム画像および対応するＩＤをそれぞれ設けてもよい。裏面のアイテムは、表面のアイテムと同じとしてもよいし、異なるアイテムとしてもよい。この場合、利用者の動作に応じてカードの表面と裏面とを使い分ける遊び方が実現できる。例えば、カードの表面のＩＤの検出の場合には第１のサブコンテンツを合成し、裏面のＩＤの検出の場合には第２のコンテンツを合成する等の制御が可能である。また、カードの裏面に設けるＩＤまたはアイテム画像を、特定の制御に用いてもよい。例えば、ゲーム中、第１の利用者の動作に応じて、カードの裏面がカメラ６０に向けられ、裏面のＩＤまたはアイテム画像が検出される。その場合、撮影装置１は、特定の制御として、例えばゲームエンドの制御を実行する。この場合、その時点でゲームを終了させることができる。利用者の動作に応じて、ゲームのプレイ時間をある程度変えることができる。ゲームの種類によっては、プレイ時間が短い方が高スコアになるようにしてもよいし、プレイ時間が長い方が高スコアになるようにしてもよい。同様に、物品２の構成のうちの特定のＩＤを、動画のカットを遷移させるための条件や指示として使用してもよい。

【0095】

［変形例１］
図１２は、実施の形態１の変形例１のコンテンツ合成システムにおける物品２の構成等を示す。この物品２の構成は、第１の物品２１である収容体として１個の包装袋の中に、２個の第２の物品２２として２枚のカードが収容されている。２枚のカードを、第１のカード２２Ａおよび第２のカード２２Ｂとする。２枚のカードは、異なる種類のカードである場合と、同じ種類のカードである場合とがある。この包装袋内には、各種類のカードが、所定の確率に応じて収容されている。例えば、ある種類のカードは、確率が低いレアカードとして提供される。図１２の例では、２枚のカードは、異なる種類のカードであり、第１の種類の第１のカード２２Ａ、および第２の種類の第２のカード２２Ｂである。２枚のカードおよび対応する２個の第２のＩＤ３２のセットを、グループと記載する場合がある。なお、この構成に限らず、第１の物品２１内に複数の第２の物品２２が収容されている構成でもよい。第１の利用者は、図７のようなゲームを行う際に、複数のカードのうち、いずれの種類のカードを用いてもよい。例えば、第１の利用者は、第１のカード２２Ａと第２のカード２２Ｂとから選択した方のカードを用いてゲームを行う。

【0096】

第１のカード２２Ａおよび第２のカード２２Ｂは、表面に、前述の第２のＩＤ３２または対応する第２のマーカ４２が形成されている。ここでは、区別のため、第１のカード２２Ａの第２のＩＤ３２Ａの値をＩＤＡとし、第２のカード２２Ｂの第２のＩＤ３２Ｂの値をＩＤＢとする。これらのＩＤ値は、カードの種類に応じて異なる値である。第１のカード２２Ａの表面には、傘アイテムの画像Ｊ１が記載されている。第２のカード２２Ｂの表面には、かごアイテムの画像Ｊ２が記載されている。傘アイテム等のアイテムは、前述のゲームで使用するアイテムを表す。カードの種類および対応するＩＤ毎に、異なるコンテンツとして異なる種類のゲームが用意されている。第１の種類の第１のカード２２Ａには、ＩＤＡに関連付けて第１のゲームが用意され、第２の種類の第２のカード２２Ａには、ＩＤＢに関連付けて第２のゲームが用意されている。第１のゲームは、前述の図７のように、傘アイテムを用いて猫を雨に濡れないように守るゲームである。第２のゲームは、例えば画像フレーム内で上側からＡＲの画像として落ちてくる物体を、かごアイテムを用いて受け止めるゲームである。他の種類のカードとして、例えば、ハエたたきアイテムを持つ第３のカードのＩＤ（ＩＤ値＝ＩＤＣ）の場合、第３のゲームが用意されている。第３のゲームは、例えば画像フレーム内を飛び回るハエを、ハエたたきアイテムを用いてたたいて落とすゲームである。第１の利用者は、カードの種類に応じて異なるゲームおよび動画実況を楽しむことができる。

【0097】

［ゲーム］
コンテンツの一種であるＡＲゲームの詳細について補足する。例えば、図４の傘アイテムを持つカードを用いた第１のゲームの場合での処理概要を説明する。第１のゲームにおいて、第２のコンテンツは、複数のサブコンテンツとして、例えば前述の図７のように、傘アイテム画像、猫画像、および雨画像を含む。撮影装置１は、ゲームのプログラムに従った処理を実行することで、撮影動画の画像に対し、猫画像等を合成する。撮影装置１のプロセッサ１０１（対応するゲームのプログラムの実行モジュール）は、猫画像等の各画像について、画像フレーム（対応する表示画面）内での有無や位置（対応する座標）を管理する。猫画像は、プログラムに従った動きで画像フレーム内を移動する。雨画像は、画像フレーム内で全体的に上側から降ってくる雨を表す。撮影装置１は、画像フレーム内で、傘アイテム画像の下側の領域には雨画像を表示せず、猫画像の上側に傘アイテム画像が配置されている場合、猫には雨が当たらない。撮影装置１は、画像フレーム内において、第１の利用者によるカード（対応するＩＤ）の位置および動きを検出して追跡し、そのカード上に傘アイテム画像を重ね合わせるように合成する。傘アイテム画像は、例えば猫画像のサイズと対応した一定のサイズを持つ。なお、傘アイテム画像を合成しない形態も可能である。

【0098】

撮影装置１は、第１のゲームのプレイにおける時間やスコアを管理し、表示画面内に表示する。第１のゲームは、結果判定（図７のゲームエンド時）として、例えば１００点満点等のスコアを設けると好ましい。撮影装置１は、第１のゲームの進行の時間やスコアの状況に応じて、傘画像、猫画像、雨画像等の合成の状態を変化させてもよい。変化は、例えば、演出として、傘アイテムに輝きが追加されてパワーアップする、猫がジャンプする、雨が強くなる、犬が出てくる等である。これらはゲームのプログラムで規定される。

【0099】

撮影装置１は、第１のゲーム中、スコアを計算する。スコアの計算方式については、例えば以下が挙げられる。撮影装置１は、第１のゲームのプログラムの実行中、公知技術に基づいて、表示画面内で猫画像が雨画像に当たっているかどうか、オブジェクト間の当たり判定を行う。例えば、猫画像の位置座標と雨画像（または傘アイテム画像）の位置座標との比較で当たり判定が行われる。スコア加算方式を用いる場合、撮影装置１は、雨が猫に当たっていない時間をカウントし、その時間に応じてスコアを加算する。スコア減算方式を用いる場合、撮影装置１は、猫が雨に当たっている時間をカウントし、その時間に応じてスコアを減算する。あるいは、雨が猫に当たった概略的な回数をカウントし、その回数に応じて成功または失敗を判定する方式等を用いてもよい。

【0100】

他の例として、かごアイテムを持つカードを用いた第２のゲームの場合は以下である。撮影装置１は、表示画面内でカードの位置に、かごアイテム画像を合成する。撮影装置１は、表示画面内でりんご等の果物画像を上側からランダムに落とすように合成する。撮影装置１は、果物画像のすぐ下側にかごアイテム画像が配置された場合、果物がかごで受け止められたと判定する。撮影装置１は、例えば果物の受け止めに応じてスコアを加算する。他の例として、ハエたたきアイテムを持つカードを用いた第３のゲームの場合は以下である。撮影装置１は、表示画面内でカードの位置に、ハエたたきアイテム画像を合成する。撮影装置１は、表示画面内でハエ画像を動き回らせるように合成する。撮影装置１は、ハエ画像に重なる位置にハエたたきアイテム画像が配置された場合、ハエがハエたたきでたたかれたと判定する。撮影装置１は、例えばハエをたたき落とした数に応じてスコアを加算する。

【0101】

上記ゲームで、カードに対する動作は、第１の利用者が主体的に自由にカードを移動させる動作に限らず、ゲーム内の指示に従って第１の利用者がカードを移動させる動作でもよい。また、上記カードを用いたゲームは、リプレイも可能である。利用者が商品を購入して入手したカードに関するＩＤを含む情報は、撮影装置１内に保持される。利用者は、そのカードを用いて、そのＩＤに対応するゲームをリプレイできる。この場合、開封のステップは済んでいるので、前述の開封動画６０１の部分は省略される。利用者は、実況動画６０２の部分に対応するコンテンツ合成動画の作成を再度行うことができる。利用者は、プレイ毎のコンテンツ合成動画の保存や選択した動画の保存が可能である。

【0102】

応用として、コンテンツは、２枚のカードを同時にセットとして用いるタイプのゲームとしてもよい。撮影装置１のプログラムは、画像内で検出した２枚のカードの組合せ（対応する第２のＩＤ３２のグループ）に応じて、このタイプのゲームを提供する。第１の利用者は、２枚のカードを同時に用いるゲームをプレイできる。例えば、第２のＩＤ３２のグループは、同じ第１の種類の第１のカード２２Ａの２枚のセットであり、ＩＤ値が｛ＩＤＡ，ＩＤＡ｝の組合せであるとする。この場合、２枚用の第１のゲームが合成される。このゲームは、例えば、第１の利用者が右手に一方のカードを持ち、左手に他方のカードを持ち、２枚のカードの各傘アイテムを同時に動かして、２匹の猫を雨から守るゲームである。同様に、異なる種類のカードの組合せに応じたタイプのゲームを提供してもよい。例えば、第１の利用者が２枚のカードを切り替えながら使用するゲームでもよい。

【0103】

また、応用として、ゲームは、カードの種類に応じて異なる難易度が設定されていてもよい。例えば、傘アイテムを用いた第１のゲームと、かごアイテムを用いた第２のゲームとでは、一方が他方よりも難易度が高く設定される。また、例えば、傘アイテムのカードとして２種類の傘アイテムのカードが用意されてもよい。それらには異なるＩＤ値が設定される。例えば、一方の傘アイテムは、サイズが大きく、難易度が低いゲームが提供され、他方の傘アイテムは、サイズが小さく、難易度が高いゲームが提供される。

【0104】

（実施の形態２）
図１３および図１４を用いて、本発明の実施の形態２のコンテンツ合成システム等について説明する。実施の形態２等の基本的な構成は実施の形態１と同様であり、以下では実施の形態２等における実施の形態１とは異なる構成部分について説明する。

【0105】

［物品構成の第２例］
図１３は、実施の形態２における物品２の構成例として第２例を示す。この第２例では、物品２は、商品として、第１の物品２１である収容体としての箱と、第２の物品２２である被収容物としての玩具本体であるフィギュアとを有する。フィギュアは、立体形象物であり、例えばキャラクターのフィギュアであり、ぬいぐるみ等でもよい。この物品２は、第１のＩＤ３１および第２のＩＤ３２を有する。特に、第１の物品２１である箱は、外面の所定の位置の第１の箇所に、第１のＩＤ３１またはそれに対応する第１の表示物である第１のマーカ４１が設けられている。本例では、箱の一側面の一箇所に第１のマーカ４１が設けられている。第２の物品２２である玩具本体は、外面の所定の位置の第２の箇所に、第２のＩＤ３２またはそれに対応する第２の表示物である第２のマーカ４２が設けられている。本例では、フィギュアの前面の一箇所、例えばお腹のあたりに、第２のマーカ４２が設けられている。なお、前述と同様に、ＩＤを検出する方式は、マーカ方式に限らず可能である。

【0106】

第１の物品２１である箱は、例えば長方体等の多面体であり、例えば上面が蓋となっていて蓋の開閉が可能な機構を有する。最初の第１の状態では、この箱の中に、玩具本体が収容され、蓋が閉じられている。第１の状態は、カメラ６０の画像において第１の物品２１の第１のマーカ４１が写っている状態であり、すなわち、第１のＩＤ３１のみが検出できる状態である。第１のＩＤ３１には第１のコンテンツＣ１が関連付けられている。

【0107】

第１の状態から過渡状態を経て第２の状態へ変化する。第１の利用者は、過渡状態で、所定の動作として、箱の蓋を開けて箱の中から玩具本体を外に取り出す。図示の過渡状態の例では、箱の中に玩具本体が収容されたままで、上面の蓋が開けられており、カメラ６０の画像では、箱内の玩具本体の一部が写っている。過渡状態では、前述と同様に、カメラ６０の画像内で２個のＩＤが同時に検出される場合がある。

【0108】

第２の状態は、カメラ６０の画像において、第２の物品２２である玩具本体の第２のマーカ４２が写っており、すなわち、第２のＩＤ３２のみが検出できる状態である。第２のＩＤ３２には第２のコンテンツＣ２が関連付けられている。このような物品２の構成の場合でも、実施の形態１と同様に、第１の利用者が所定の動作を行うことで、撮影装置１が２個のＩＤを所定の順序で１個ずつ検出できる。撮影装置１は、その順序に対応させて、２個のコンテンツを合成する。

【0109】

他の構成例として、箱の多面体の複数の面のうちどの面にＩＤまたはマーカを有してもよい。また、箱の複数の面の各面にＩＤまたはマーカを有してもよい。箱の複数の面の各面のＩＤまたはマーカが同じＩＤ値を持つ構成でもよいし、異なるＩＤ値を持つ構成でもよい。図１３の下側には、物品２のＩＤおよびマーカに関する他の構成例を示す。構成１３１は、箱の多面体の外面のうち、上面、第１の側面、および第２の側面に、それぞれ、異なるＩＤ（対応するマーカ）が形成されている場合を示す。本例では、第１のマーカ４１は、複数のサブマーカ４１ａ，４１ｂ，４１ｃから構成されている。サブマーカ４１ａは上面に形成され、第１のＩＤ３１ａを有する。サブマーカ４１ｂは第１の側面に形成され、第１のＩＤ３１ｂを有する。サブマーカ４１ｃは第２の側面に形成され、第１のＩＤ３１ｃを有する。各サブマーカのＩＤには、同じコンテンツが設定されてもよいし、異なるコンテンツが設定されてもよい。同様に、構成１３２は、第２の物品２２について、前面と後面との両方に、ＩＤ（対応するマーカ）を設ける場合を示す。また、他の構成例として、箱の一面において複数のＩＤ（対応する複数のマーカ）が設けられてもよい。

【0110】

ある物品の複数のＩＤを用いた制御例としては、箱の外面の複数のＩＤのうちいずれか１個のＩＤが検出できた場合に、対応する１個のコンテンツを合成してもよい。例えば、構成１３１で、第１のＩＤ３１ａ，３１ｂ，３１ｃのいずれかが検出された場合に、コンテンツが合成される。他の制御例としては、箱の外面の複数のＩＤのうち、所定の動作に応じて選択された１個のＩＤが検出された場合に、そのＩＤに応じた１個のコンテンツを合成してもよい。例えば、構成１３１で、第１のＩＤ３１ａが検出された場合には第１のサブコンテンツが合成され、第１のＩＤ３１ｂが検出された場合には第２のサブコンテンツが合成される。

【0111】

他の制御例としては、箱の外面の複数のＩＤのうち、所定の複数（例えば２個または３個）のＩＤがすべて検出できた場合に、対応する１個のコンテンツを合成してもよい。例えば、構成１３１で、第１のＩＤ３１ｂ，３１ｃの両方が同時に検出された場合に、第１のサブコンテンツが合成されてもよい。また、例えば箱の上面に複数のサブマーカを有する場合に、それらの複数のサブマーカが同時に検出できた場合に、第１のサブコンテンツが合成されてもよい。

【0112】

［コンテンツ合成動画］
図１４は、実施の形態２におけるコンテンツ合成動画の構成概要を示す。（Ａ）は、第１の状態における合成前の画像１４１と合成後の画像１４２とを示す。（Ｂ）は、第２の状態における合成前の画像１４３と合成後の画像１４４とを示す。画像１４１は、第１の利用者が手に第１の物品２１である箱を持って、カメラ６０の方に第１のマーカ４１を向けており、第１のＩＤ３１が検出できる状態である。画像１４２は、第１のＩＤ３１の付近の箱を中心として、第１のコンテンツＣ１が合成されている。本例では、第１のコンテンツＣ１は、コンテンツＣ１１，Ｃ１２，Ｃ１３，Ｃ１４を含む。コンテンツＣ１１，Ｃ１２，Ｃ１３は、図７の画像７０３の例と同様である。コンテンツＣ１４は、例えば背景で動くように流れる演出用の文字画像（例えば「なんだ？」等）である。

【0113】

画像１４３は、第１の利用者が手に第２の物品２２である玩具本体を持って、カメラ６０の方に第２のマーカ４２を向けており、第２のＩＤ３２が検出できる状態である。また、本例では、画像１４３内に、箱の第１のマーカ４１も写っている。画像１４４は、第２のＩＤ３２の付近の玩具本体を中心として、第２のコンテンツＣ２が合成されている。本例では、第２のコンテンツＣ２は、図５の例とは異なるコンテンツとして、コンテンツＣ２１ｂ，Ｃ２２ｂ，Ｃ２３ｂを含む。コンテンツＣ２１ｂは、演出用のエフェクト画像であり、第２のＩＤ３２の付近の玩具本体を中心として、複数のハートマークが外側に広がるように動く画像である。また、コンテンツＣ２２ｂは、文字画像（例えば「かみのけがはえた〜〜！！」）である。コンテンツＣ２３ｂは、玩具本体の頭の位置に合成される、髪の毛を表す画像である。

【0114】

なお、画像１４３の場合、同時に２個のＩＤとして第１のＩＤ３１および第２のＩＤ３２が検出できる状態である。この場合、撮影装置１は、前述の順序制御機能を用いて、画像１４４内に、１個のコンテンツである第２のコンテンツＣ２が合成されるように制御する。実施の形態２における物品２は、例えばいわゆるサプライズ・トイであり、コンテンツ合成を用いて、開封の際の演出等を楽しむことができる商品である。第１の物品２は、箱に限らず、カプセルとしてもよい。この場合、物品２は、例えばいわゆるカプセル・トイである。

【0115】

［効果等］
実施の形態１や実施の形態２で、物品２の構成は、２個以上の物品が入れ子構造を持つ。この入れ子構造では、利用者の所定の動作によって物品２の一部が変形または変位等することで、カメラ６０の画像内でのＩＤの見え方の状態が変化する。すなわち、第１の物品２１および第１のＩＤ３１が主に写っている第１の状態から、第２の物品２２および第２のＩＤ３２が主に写っている第２の状態に変わる。撮影装置１は、その状態変化に伴い、複数のＩＤを所定の順序で１個ずつ検出でき、その順序に従って複数のコンテンツを合成する。よって、実施の形態２でも実施の形態１と類似の効果が得られる。このような入れ子構造での状態変化は、後述の実施の形態４のように、多重入れ子構造による２段階以上の状態変化の構成としてもよい。

【0116】

実施の形態２の変形例として以下が可能である。カメラ６０の画像から検出したＩＤの位置に対し、合成したいコンテンツの位置が異なる場合がある。例えば、画像１４４のコンテンツＣ２３ｂの場合、玩具本体の頭の位置に合わせて髪の毛の画像を合成することが好ましい。このため、撮影装置１は、以下のような合成位置制御機能を用いてもよい。撮影装置１は、予め、設定情報として、物品毎のＩＤの位置と、そのＩＤに関連付けられた合成対象のコンテンツの位置との相対的な位置関係を保持する。例えば、画像１４３，１４４の場合、第２のマーカ４２の位置に対し、所定の距離を介して上側の位置が、コンテンツＣ２３ｂを合成するのに好適な基準位置である。撮影装置１は、その距離や方向を含む位置関係を設定情報として保持する。撮影装置１は、画像内の第２のマーカ４２から第２のＩＤ３２を検出した場合、位置関係に基づいて、コンテンツＣ２３ｂを合成すべき位置を算出する。そして、撮影装置１は、その算出した位置に対し、コンテンツＣ２３ｂを合成する。これにより、コンテンツ合成の演出効果をより高めることができる。

【0117】

（実施の形態３）
図１５および図１６を用いて、本発明の実施の形態３のコンテンツ合成システム等について説明する。

【0118】

［物品構成の第３例］
図１５は、実施の形態３における物品２の構成例として第３例を示す。この第３例は、図１３の第２例の変形例であり、物品２は、商品として、第１の物品２１である収容体としての箱と、第２の物品２２である玩具本体としてのフィギュアとを有する。第１の物品２１である箱は、外面の第１の箇所に、第１のＩＤ３２（対応する第２のマーカ４２）を有する。また、例えば、前述の例（図１３）と同様に、箱の外面の各面として第１の側面、第２の側面、および上面に、第１のＩＤ３２を有する。各第１のＩＤ３２のＩＤ値の区別として、第１の側面でのＩＤ値を＃１、第２の側面でのＩＤ値を＃２、上面でのＩＤ値を＃３とする。

【0119】

そして、この物品２の構成では、図１３の構成との大きな違いとして、第２のＩＤ３２（対応する第２のマーカ４２）は、玩具本体ではなく、箱の内面に設けられている。玩具本体には第２のＩＤ３２（対応する第２のマーカ４２）が設けられていない。すなわち、この構成では、物品２とＩＤとの関係として、第１の物品２１である箱は、第１のＩＤ３１および第２のＩＤ３２の両方を有する。第２のＩＤ３２は、玩具本体に関連付けられた第２のコンテンツＣ２の合成を制御するためのＩＤである。例えば、玩具本体にマーカ等を設けたくない場合や設けることが難しい場合、このような構成が有効である。

【0120】

図１５の（Ａ）は、第１の物品２１である箱のうちの第１の側面（ＩＤ値＝＃１）がカメラ６０に向いた場合の第１の状態を示す。この第１の状態は、第１の側面の第１のＩＤ３１（ＩＤ値＝＃１）が検出できる状態である。箱の他の面のＩＤについては、画像内で斜面となっているため、検出しにくい状態である。第１の側面の第１のＩＤは、例えば第１のサブコンテンツＣ１ａと関連付けられている。よって、この第１の状態の時の画像には、第１のサブコンテンツＣ１ａが合成できる。

【0121】

図１５の（Ｂ）は、第１の物品２１である箱のうちの第２の側面（ＩＤ値＝＃２）がカメラ６０に向いた場合の第１の状態を示す。この第１の状態は、第２の側面の第１のＩＤ３１（ＩＤ値＝＃２）が検出できる状態である。第２の側面の第１のＩＤ３１は、例えば第２のサブコンテンツＣ１ｂと関連付けられている。よって、この第１の状態の時の画像には、第２のサブコンテンツＣ１ｂが合成できる。

【0122】

すなわち、この構成では、第１の利用者による所定の動作に応じて、（Ａ）の状態や（Ｂ）の状態から選択した第１の状態にすることができる。この構成では、選択した第１の状態に応じて異なるコンテンツ（第１のサブコンテンツＣ１ａおよび第２のサブコンテンツＣ１ｂ）の合成が実現できる。

【0123】

また、この物品２の構成では、第１の物品２１である箱における一部の面、例えば第１の側面は、開閉可能な蓋の機構を持つ。第１の利用者は、ガイダンスに従って、第１の状態から、所定の動作として、箱の蓋を開け、開けた面をカメラ６０に向ける。第１の状態（例えば（Ａ）の状態）から、この動作を含む過渡状態を経て、第２の状態に遷移する。

【0124】

図１５の（Ｃ）は、第２の状態を示す。第２の状態は、カメラ６０の画像において、箱の第１の側面の蓋が開いた状態で、箱内に収容されている玩具本体が写っている。箱の内面の所定の位置の第２の箇所には、第２のマーカ４２（対応する第２のＩＤ３２）が設けられている。第２の状態は、カメラ６０の画像において箱の内面の第２のマーカ４２が写っていて第２のＩＤ３２が検出できる状態である。箱の外面の第１のマーカ４１は写っていないか、写っていたとしても斜面であるため検出しにくい状態である。

【0125】

また、本例では、第２のマーカ４２は、２個のサブマーカであるサブマーカ４２ａ，４２ｂから構成されている。第２のマーカ４２であるサブマーカ４２ａ，４２ｂは、箱の第１の側面の蓋に対し、Ｚ方向で反対側（図示の奥側）にある側面の内面に配置されている。一方のサブマーカ４２ａは、その内面におけるＸ方向で左側寄りの位置にあり、他方のサブマーカ４２ｂは、右側寄りの位置にある。玩具本体は、予め、箱内空間のうち中央の位置（点ＰＸで示す）に設置されている。破線で示すように、玩具本体の位置（点ＰＸ）は、サブマーカ４２ａの位置とサブマーカ４２ｂの位置とを結ぶ直線の中間にある。撮影装置１は、このような第２のマーカ４２と第２の物品２２との位置関係を予め設定情報として保持する。

【0126】

また、本例では、サブマーカ４２ａの第２のＩＤ３２とサブマーカ４２ｂの第２のＩＤ３２は、同じＩＤ値（＃４とする）を持つ。この第２のＩＤ３２には、第２のコンテンツＣ２が関連付けられている。撮影装置１は、カメラ６０の画像から複数のマーカ、すなわち２個のサブマーカ４２ａ，４２ｂを検出する。撮影装置１は、検出したサブマーカの位置から、設定情報の位置関係に従って、玩具本体の位置（点ＰＸ）を算出する。そして、撮影装置１は、その玩具本体の位置に合わせて第２のコンテンツＣ２を合成する。

【0127】

他の方式として、撮影装置１は、上記位置関係を用いず、直接的に、カメラ６０の画像から画像認識処理（例えば形状や色等の判断を含む）に基づいて、玩具本体の顔や頭等の位置を検出し、その検出した位置に第２のコンテンツＣ２を合成してもよい。この場合、第１の利用者が箱から離れるように玩具本体を動かす場合でも、その動く玩具本体の位置に合わせて追随するように第２のコンテンツを合成できる。

【0128】

［コンテンツ合成動画］
図１６は、図１５の物品２の構成に対応した、コンテンツ合成動画の画像例を示す。画像１６１は、図１５の（Ａ）の第１の状態での合成前の画像例を示し、画像１６２は、合成後の画像例を示す。画像１６３は、図１５の（Ｃ）の第２の状態での合成前の画像例を示し、画像１６４は、合成後の画像例を示す。画像１６１は、箱の第１の側面の第１のマーカ４１から第１のＩＤ３１（ＩＤ値＝＃１）が検出できる状態である。画像１６２は、第１のコンテンツＣ１として、図１４の画像１４２の場合と同様のエフェクト画像等が合成されている。

【0129】

画像１６３は、箱内の玩具本体がカメラ６０に向けられ、第２のマーカ４２（サブマーカ４２ａ，４２ｂ）から第２のＩＤ３２（ＩＤ値＝｛＃４，＃４｝）が検出できる状態である。画像１６４は、第２のコンテンツＣ２として、図１４の画像１４４の場合と同様のエフェクト画像等が合成されている。

【0130】

なお、制御例として以下のようにしてもよい。第１の制御例は、第１の利用者が箱の蓋を開けて第２のＩＤ４２が検出された時、即時に第２のコンテンツＣ２を合成する。第２の制御例は、第１の利用者が箱の蓋を開けて第２のＩＤ４２が検出された時、一定時間の経過後に、第２のコンテンツＣ２を合成する。その一定時間は、設定情報に設定される。この場合、第２のコンテンツＣ２の合成前に、玩具本体を一定時間見せることになる。

【0131】

本例では、箱の側面を蓋として開ける場合を示したが、これに限らず、箱の上面の蓋を開ける構成等が可能である。また、箱の面に、３個以上の第２のＩＤ３２（対応する第２のマーカ４２）を設けてもよい。例えば、３個または４個のサブマーカの位置によって囲まれる領域を、玩具本体が配置されている領域と捉えてもよい。第２のＩＤ３２が形成される位置は、蓋の裏面でもよいし、箱の内面の底面としてもよい。箱の面の厚さが大きい場合には、蓋開口面の辺縁にマーカを設けてもよい。また、上記構成で、箱の内面ではなく玩具本体に第２のＩＤ３２を有する構成とした場合でも、同様のコンテンツ合成が実現できる。また、第１の物品２１は、単なる箱としてもよいし、デザインとして、フィギュアのキャラクターの家や部屋等を表す模型等としてもよい。また、第１の物品２１は、箱に限らず、玩具本体を支持する支持体（例えば模型の枠や台座）としてもよい。

【0132】

（実施の形態４）
図１７を用いて、本発明の実施の形態４のコンテンツ合成システム等について説明する。

【0133】

［物品構成の第４例］
図１７は、実施の形態４における物品２の構成例として第４例を示す。この第４例では、物品２は、商品として、第１の物品２１である外箱と、第２の物品２２である内箱と、第３の物品２３である玩具本体（例えばフィギュア）とを有する。最初の第１の状態では、外箱の中に内箱が収容されており、さらに内箱の中に玩具本体が収容されている。言い換えれば、この構成では、３個の物品が二重の入れ子構造の関係で配置されている。第１の範囲は、第１の入れ子構造に対応し、第２の範囲は、第２の入れ子構造に対応する。なお、この構成で、外箱と内箱との部分（第１の範囲）のみを注目すると、それらの関係は、前述の実施の形態２（図１３）での第１の物品２１の第１の状態と第２の物品２２の第２の状態との関係に相当する。また、この構成で、内箱と玩具本体との部分（第２の範囲）のみを注目すると、それらの関係についても、その実施の形態２での関係に相当する。実施の形態４のコンテンツ合成システムは、これらの各範囲および対応する状態変化の段階で、実施の形態１〜３と同様に、所定の順序の制御を適用する。

【0134】

図１７で、第１の状態は、外箱の開封前の状態であり、外箱は、外面における第１の箇所に、第１のマーカ４１による第１のＩＤ３１を有する。なお、外箱の外面に少なくとも１つのＩＤを有し、外箱の外面に複数のＩＤ（対応する複数のマーカ）を有してもよい。第１の状態は、カメラ６０の画像において、外箱の外面の第１のマーカ４１が写っていて第１のＩＤ３１が検出できる状態である。第１の利用者は、第１の状態から、過渡状態における第１の動作として、外箱を開封して内箱を取り出す。これにより、第２の状態に遷移する。

【0135】

第２の状態は、内箱が現れた状態である。内箱は、外面の第２の箇所に、第２のマーカ４２による第２のＩＤ３２を有する。なお、内箱の外面に少なくとも１つのＩＤを有し、内箱の外面に複数のＩＤを有してもよい。第２の状態は、カメラ６０の画像において、内箱の外面の第２のマーカ４２が現れていて第２のＩＤ３２が検出できる状態である。第１の利用者は、第２の状態から、過渡状態における第２の動作として、内箱を開封して玩具本体を取り出す。これにより、第３の状態に遷移する。

【0136】

第３の状態は、玩具本体が現れた状態である。玩具本体は、外面の第３の箇所に、第３のマーカ４３による第３のＩＤ３３を有する。なお、玩具本体の外面に少なくとも１つのＩＤを有し、玩具本体の外面に複数のＩＤを有してもよい。第３の状態は、カメラ６０の画像において、玩具本体の外面の第３のマーカ４３が現れていて第３のＩＤ３３が検出できる状態である。変形例として、実施の形態３と同様に、玩具本体ではなく内箱に第３のＩＤ３３を有してもよい。

【0137】

第１のＩＤ３１には、第１のコンテンツが関連付けられている。第２のＩＤ３２には、第２のコンテンツが関連付けられている。第３のＩＤ３３には、第３のコンテンツが関連付けられている。第１の画像１７１は、第１の状態の時の第１のコンテンツの合成後の画像例を示す。この第１の画像１７１は、概略的に外箱を中心として、第１のコンテンツとして第１のエフェクト画像等が合成されている。第２の画像１７２は、第２の状態の時の第２のコンテンツの合成後の画像例を示す。この第２の画像１７２は、概略的に内箱を中心として、第２のコンテンツとして第２のエフェクト画像等が合成されている。第３の画像１７３は、第３の状態の時の第３のコンテンツの合成後の画像例を示す。この第３の画像１７３は、概略的に玩具本体を中心として、第３のコンテンツとして第３のエフェクト画像等が合成されている。上記のように、物品２の構成が多重の入れ子構造の場合でも、実施の形態１〜３と類似の効果が得られる。

【0138】

（実施の形態５）
図１８を用いて、本発明の実施の形態５のコンテンツ合成システム等について説明する。

【0139】

［物品構成の第５例］
図１８は、実施の形態５における物品２の構成例として第５例を示す。この第５例では、物品２は、商品として、第１の物品２１である第１のシールと、第２の物品２２である第２のシールと、第３の物品２３である第３のシールとを有する。最初の第１の状態では、第３のシールの表面の上側に第２のシールが貼られ、第２のシールの表面の上側に第１のシールが貼られている。言い換えれば、この物品２の構成では、３枚のシールが積層構造で配置されている。

【0140】

第１の状態は、カメラ６０の画像において、第１のシールの表面が写っており、第１のシールの表面の第１の箇所に設けられている第１のマーカ４１（対応する第１のＩＤ３１）が検出できる状態である。第１の状態から、過渡状態での第１の動作として第１のシールをめくる（言い換えると剥がす）動作が行われ、これにより、第２の状態に遷移する。第２の状態は、カメラ６０の画像において、第２のシールの表面が写っており、第２のシールの表面の第２の箇所に設けられている第２のマーカ４２（対応する第２のＩＤ３２）が検出できる状態である。第２の状態から、過渡状態での第２の動作として第２のシールをめくる動作が行われ、これにより、第３の状態に遷移する。第３の状態は、カメラ６０の画像において、第３のシールの表面が写っており、第３のシールの表面の第３の箇所に設けられている第３のマーカ４３（対応する第３のＩＤ３３）が検出できる状態である。

【0141】

各シールの表面には、所定のデザインの画像が記載されている。第１のシールの表面には、例えば道が記載されている。第２のシールの表面および第３のシールの表面には、例えば道の途中の水溜りが記載されている。

【0142】

［コンテンツ合成動画］
図１９は、図１８の物品２の構成の場合のコンテンツ合成動画の画像例を示す。第１の画像１９１は、第１の状態での合成後の画像を示す。この第１の画像１９１は、第１のシールの表面の上に、第１のコンテンツとして、キャラクター画像等を含む画像Ｋ１が合成されている。この画像Ｋ１は、キャラクターが道を歩いている様子を表すアニメーション等の画像である。第２の画像１９２は、第２の状態での合成後の画像を示す。この第２の画像１９２では、第２のシールの表面の上に、第２のコンテンツとして、画像Ｋ１と同じキャラクターを含む画像Ｋ２が合成されている。この画像Ｋ２は、キャラクターが水溜りに驚いている様子を表す画像である。第３の画像１９３は、第３の状態での合成後の画像を示す。この第３の画像１９３では、第３のシールの表面の上に、第３のコンテンツとして、画像Ｋ２と同じキャラクターを含む画像Ｋ３が合成されている。この画像Ｋ３は、キャラクターが水溜りに落ちてしまい悲しむ様子を表す画像である。

【0143】

上記シールの例のように、積層構造をとる物品２について、シールをめくる動作等に従って、所定の順序での複数のコンテンツ合成を制御できる。これにより、一連のストーリーを表す演出等が実現できる。このように積層構造をとる物品２は、複数枚のシールに限らず、例えば絵本の複数のページでもよいし、カードゲーム（例えばトレーディングカードゲーム）の複数のカード等でもよい。複数枚のカードの場合、例えば第１のカードの上に第２のカードが置かれる動作の場合には、第２のカードの表面の第２のＩＤの検出に応じて第２のコンテンツが合成できる。

【0144】

（実施の形態６）
図２０および図２１を用いて、本発明の実施の形態６のコンテンツ合成システム等について説明する。

【0145】

［物品構成の第６例］
図２０は、実施の形態６における物品２の構成例として第６例を示す。この第６例では、物品２は、商品として、第１の物品２１である装着物としてのアイテムと、第２の物品２２であるキャラクターのフィギュアとを有する。図２０の（Ａ）は、動作および状態の例として、非装着動作の場合の第１の状態から第２の状態への変化を示す。第１の動作は、非装着動作であり、フィギュアからアイテムを外す動作である。図２０の（Ｂ）は、装着動作の場合の第２の状態から第１の状態への変化を示す。第２の動作は、装着動作であり、アイテムをフィギュアに付ける動作である。（Ｂ）の第２の動作は、（Ａ）の第１の動作の逆の動作に対応する。

【0146】

（Ａ）で、第１の状態は、第２の物品２２であるフィギュアにおける所定の位置の第２の箇所（例えばお腹）に、第１の物品２１であるアイテム（例えばベルトアイテム）が装着されている状態である。第１の物品２１であるアイテムは、所定の位置の第１の箇所に第１のＩＤ３１を有する。第１のＩＤ３１は、例えば第１のマーカ４１で表される。第１のマーカ４１は、例えばアイテムの一部の所定の形状や画像を持つ表示物である。第１の状態は、カメラ６０の画像において、アイテムの第１のＩＤ３１が検出でき、かつ、アイテムによって隠されているフィギュアの第２のＩＤ３２が検出できない状態である。第１の状態から、第１の動作を含む過渡状態を経て、第２の状態に遷移する。第２の状態は、フィギュアがアイテムを装着していない状態である。第２の状態は、カメラ６０の画像において、フィギュアの第２の箇所の第２のＩＤ３２（対応する第２のマーカ４２）が写っていて第２のＩＤ３２が検出できる状態である。

【0147】

［コンテンツ合成動画］
図２１は、図２０の物品２の構成の場合のコンテンツ合成動画の画像例を示す。（Ａ）は非装着動作の場合、（Ｂ）は装着動作の場合を示す。（Ａ）の第１の画像２１１は、第１の状態での合成後の画像を示す。本例では、第１のＩＤ３１には第１のコンテンツが関連付けられている。第２のＩＤ３２には第２のコンテンツが関連付けられている。第１の画像２１１は、アイテムの第１のＩＤ３１を中心として、第１のコンテンツが合成されている。第１のコンテンツは、例えば集中線のエフェクト画像である。第２の画像２１２は、第２の状態での合成後の画像を示す。第２の画像２１２では、フィギュアの第２のＩＤ３２を中心として、第２のコンテンツが合成されている。第２のコンテンツは、例えば星マークによるエフェクト画像である。

【0148】

（Ｂ）の装着動作の場合、第２の画像２１３は、第２の状態での合成後の画像を示す。この第２の画像２１３の第２のコンテンツは、第２の画像２１２の場合と同様である。第１の画像２１４は、第１の状態での合成後の画像を示す。第１の画像２１４の第１のコンテンツは、第１の画像２１１の場合と同様である。

【0149】

上記のように、装着物を含む物品２の構成において、非装着動作時と装着動作時とのそれぞれで、所定の順序での複数のコンテンツ合成による演出が実現できる。装着物は、衣服等も可能である。複数の装着物から利用者が選択した装着物を装着できる形態でもよい。玩具本体に対し複数の装着物を積層構造で装着できる形態でもよい。また、変形例として、第１の利用者の身体に対し、複数の装着物を含む物品２を積層構造で装着できる形態でもよい。例えば、第１の衣服の上に第２の衣服を着る動作や、第１の衣服の上に第１のアイテムを装着する動作等に応じて、同様に制御が可能である。また、変形例として、前述の収容体と被収容物との関係や、支持体と被支持物との関係でも、実施の形態６と同様の制御が可能である。例えば、箱にフィギュアを収容する動作に応じて、各コンテンツ合成が制御できる。また、例えば、台座にフィギュアを設置する動作や台座からフィギュアを外す動作に応じて、各コンテンツ合成が制御できる。例えば、台座にフィギュアが設置されていて台座のマーカが検出できない第１の状態と、台座からフィギュアが外されていて台座のマーカが検出できる第２の状態とで、各コンテンツ合成が制御できる。

【0150】

［他の物品］
各実施の形態において適用可能である物品２は、前述の例に限らず、他の玩具、食品、食品玩具、日用品（例えば入浴用品やコスメ用品）、文房具、衣類、靴、鞄、アクセサリ等、各種が適用可能である。物品２は、包装袋、箱、カプセル、家の模型、等の収容体を含んでもよい。物品２は、カード等の平板形状でもよいし、箱等の多面体形状でもよい。物品２は、玩具本体を支持する支持体（例えば台座や模型の枠等）を含んでもよい。物品２は、玩具本体に装着される装着物を含んでもよい。物品２は、利用者の動作に基づいて、少なくとも一部の変位や変形が可能な物体である。その例として、前述のように、開封、開蓋、構成要素となる各物品の分離や集合等がある。

【0151】

［コンテンツおよびエフェクト］
コンテンツは、検出されたＩＤの位置に対し重ね合わせられるものと、画像フレームの中心位置や所定の位置に対し重ね合わせられるものと、画像フレーム全体に対し重ね合わせられるものとを含む。コンテンツを構成する複数のサブコンテンツは、画像内のＩＤ数に応じた数で合成されるサブコンテンツ（例えば傘アイテム画像、猫画像）と、画像内のＩＤ数によらずに所定の数で合成されるサブコンテンツ（例えば雨画像）とを含む。

【0152】

コンテンツの一種であるエフェクト画像等について補足する。エフェクトとは、映像や音声に対する、加工、演出、特殊効果等を意味する。エフェクト画像は、例えば、炎、電気、水、光、爆発等を演出する画像を含む。エフェクト画像は、漫画やアニメや特撮番組等で特有の演出のための画像を含む。エフェクト画像は、例えば、吹き出しの画像、喜怒哀楽等の感情を表す画像、変身演出用の画像等を含む。エフェクトは、各種の字体による動くコメントやテキストアニメーション等の文字画像としてもよい。コンテンツのうちの音声は、効果音、ＢＧＭ、第１の利用者の音声を加工した音声、等としてもよい。

【0153】

コンテンツは、前述の例では、撮影動画に対しＡＲとして重ね合わせる画像としたが、これに限らず適用可能である。コンテンツは、エフェクト画像の変形例として、画面エフェクトとしてもよい。すなわち、コンテンツ合成は、一種として、画面エフェクトを施すこととしてもよい。ここでは、画面エフェクトは、表示画面の画像フレーム全体（対応する画像）に対し、画像加工処理等によって、所定のエフェクトを実現することを指す。画像加工処理の対象は、撮影動画の一部の画像でもよいし、予め用意された画像でもよい。

【0154】

画面エフェクトの例として以下が挙げられる。（ａ）画面振動：画面を揺らすような演出効果。（ｂ）画面分割：画面を複数の小画面に分割すること（例：４分割、１６分割）。（ｃ）画面移動：画面が動いて表示されるような演出効果。（ｄ）一部画像のスロー再生、ファスト再生、ループ再生、一時停止等の演出効果。（ｅ）画面のズーム、回転、縦横比変更等。（ｆ）背景加工：画面内の背景の変更（例：水中、宇宙、単一色等）。（ｇ）色や輝度の加工。例えば白黒化、輝度反転等。（ｈ）フェードイン、フェードアウト。（ｉ）ノイズ加工、モザイク加工等。

【0155】

遊び方は、コンテンツ合成動画を作成し保存することに限らず可能である。例えば、利用者が撮影装置１のカメラ６０によって物品２を撮影しながら、所定の順序で合成されて出てくる複数のコンテンツを見て楽しむといった遊び方でもよい。この場合、撮影装置１等に動画を保存する必要は無い。以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。

【符号の説明】

【0156】

１…撮影装置、２…物品、２１…第１の物品、２２…第２の物品、３１…第１のＩＤ、３２…第２のＩＤ、８…他の機器、９…サーバ、５０…タッチパネル、６０…カメラ、９１…アプリケーションプログラム、９２…動画データ、９３…コンテンツデータ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】