(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023091953
(43)【公開日】2023-07-03
(54)【発明の名称】プログラム及び情報処理装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20230626BHJP
G06F 3/0484 20220101ALI20230626BHJP
【ＦＩ】
G06T19/00 600
G06F3/0484
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021206851
(22)【出願日】2021-12-21
(71)【出願人】
【識別番号】000132471
【氏名又は名称】株式会社セガ
(74)【代理人】
【識別番号】100176072
【弁理士】
【氏名又は名称】小林 功
(72)【発明者】
【氏名】永松 正
(72)【発明者】
【氏名】村上 健治
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA09
5B050DA04
5B050EA07
5B050EA13
5B050EA19
5B050FA02
5E555AA23
5E555AA25
5E555BA02
5E555BA04
5E555BB02
5E555BB04
5E555BC04
5E555BE17
5E555CA12
5E555CA42
5E555CA44
5E555CA45
5E555DB53
5E555DC09
5E555DD06
5E555EA08
5E555FA00
(57)【要約】 （修正有）
【課題】映像における演出の趣向性を高めるプログラム及び情報処理装置を提供する。
【解決手段】プログラムは、コンピュータとしてのユーザ端末１２を、カメラにより複数のフィギュアが撮影された場合に、カメラにより撮影された映像に基づき複数のフィギュアの種類を取得する取得手段５２、取得手段５２が取得した複数のフィギュアの種類の組み合わせと、映像内における複数のフィギュアの配置関係と、に基づき、エフェクトデータを決定する決定手段５６及び決定手段５６が決定したエフェクトデータを映像に付加して当該映像を表示させる表示制御手段５８として機能させる。
【選択図】図４
【解決手段】プログラムは、コンピュータとしてのユーザ端末１２を、カメラにより複数のフィギュアが撮影された場合に、カメラにより撮影された映像に基づき複数のフィギュアの種類を取得する取得手段５２、取得手段５２が取得した複数のフィギュアの種類の組み合わせと、映像内における複数のフィギュアの配置関係と、に基づき、エフェクトデータを決定する決定手段５６及び決定手段５６が決定したエフェクトデータを映像に付加して当該映像を表示させる表示制御手段５８として機能させる。
【選択図】図４
【特許請求の範囲】
【請求項1】
コンピュータを、
撮影手段により複数の物体が撮影された場合に、前記撮影手段により撮影された映像に基づき前記複数の物体の識別情報を取得する取得手段、
前記取得手段により取得された前記複数の物体の識別情報の組み合わせと、前記映像内における前記複数の物体の配置関係と、に基づき、付加情報を決定する決定手段、
前記決定手段により決定された付加情報を前記映像に付加して当該映像を表示させる表示制御手段、
として機能させるためのプログラム。
撮影手段により複数の物体が撮影された場合に、前記撮影手段により撮影された映像に基づき前記複数の物体の識別情報を取得する取得手段、
前記取得手段により取得された前記複数の物体の識別情報の組み合わせと、前記映像内における前記複数の物体の配置関係と、に基づき、付加情報を決定する決定手段、
前記決定手段により決定された付加情報を前記映像に付加して当該映像を表示させる表示制御手段、
として機能させるためのプログラム。
【請求項2】
前記決定手段は、少なくとも前記配置関係に基づき、前記映像上に表示させる前記付加情報の位置又は大きさを決定し、
前記表示制御手段は、前記決定手段により決定された位置又は大きさで前記付加情報を付加した前記映像を表示させる、
請求項１に記載のプログラム。
前記表示制御手段は、前記決定手段により決定された位置又は大きさで前記付加情報を付加した前記映像を表示させる、
請求項１に記載のプログラム。
【請求項3】
前記決定手段は、前記配置関係が変化する場合に、変化する前記配置関係に対応する複数の付加情報を決定し、
前記表示制御手段は、前記配置関係の変化に応じて、前記映像に付加する付加情報を、前記決定手段により決定される複数の付加情報のうちの一の付加情報に切り替える、
請求項１又は２に記載のプログラム。
前記表示制御手段は、前記配置関係の変化に応じて、前記映像に付加する付加情報を、前記決定手段により決定される複数の付加情報のうちの一の付加情報に切り替える、
請求項１又は２に記載のプログラム。
【請求項4】
前記決定手段は、変化する順序で変化する前記配置関係を含む一連のシーケンスを示す配置シーケンスが所定の配置シーケンスである場合に、前記所定の配置シーケンスに対応する付加情報を決定し、
前記表示制御手段は、前記決定手段により決定された前記所定の配置シーケンスに対応する付加情報を前記映像に付加して当該映像を表示させる、
請求項３に記載のプログラム。
前記表示制御手段は、前記決定手段により決定された前記所定の配置シーケンスに対応する付加情報を前記映像に付加して当該映像を表示させる、
請求項３に記載のプログラム。
【請求項5】
前記コンピュータを、
複数の付加情報を記憶すると共に、前記表示制御手段により前記付加情報を付加した映像が表示された場合に、当該映像に含まれる複数の物体を示す情報を表示済み物体として記憶する記憶手段、
前記表示済み物体が所定の条件を満たす場合に、前記記憶手段に記憶された複数の前記付加情報を変化又は追加する設定を行う設定手段、
として更に機能させる、
請求項１～４の何れか一項に記載のプログラム。
複数の付加情報を記憶すると共に、前記表示制御手段により前記付加情報を付加した映像が表示された場合に、当該映像に含まれる複数の物体を示す情報を表示済み物体として記憶する記憶手段、
前記表示済み物体が所定の条件を満たす場合に、前記記憶手段に記憶された複数の前記付加情報を変化又は追加する設定を行う設定手段、
として更に機能させる、
請求項１～４の何れか一項に記載のプログラム。
【請求項6】
前記決定手段は、立体的な前記物体に対する前記撮影手段の三次元的な撮影位置及び撮影姿勢が変化する場合に、前記撮影位置及び前記撮影姿勢に基づき、複数の付加情報を決定し、
前記表示制御手段は、前記撮影位置及び前記撮影姿勢の変化に応じて、前記映像に付加する付加情報を、前記決定手段により決定される複数の付加情報のうちの一の付加情報に切り替える、
請求項１～５の何れか一項に記載のプログラム。
前記表示制御手段は、前記撮影位置及び前記撮影姿勢の変化に応じて、前記映像に付加する付加情報を、前記決定手段により決定される複数の付加情報のうちの一の付加情報に切り替える、
請求項１～５の何れか一項に記載のプログラム。
【請求項7】
前記決定手段は、変化する順序で変化する前記撮影位置及び前記撮影姿勢を含む一連のシーケンスを示すカメラワークが所定のカメラワークである場合に、前記所定のカメラワークに対応する付加情報を決定し、
前記表示制御手段は、前記決定手段により決定された前記所定のカメラワークに対応する付加情報を前記映像に付加して当該映像を表示させる、
請求項６に記載のプログラム。
前記表示制御手段は、前記決定手段により決定された前記所定のカメラワークに対応する付加情報を前記映像に付加して当該映像を表示させる、
請求項６に記載のプログラム。
【請求項8】
前記物体は、可動させること、部位を着脱すること、又は部位を組み替えることによってその形状が可変であり、
前記決定手段は、前記物体の形状が変化する場合に、変化する前記形状に対応する複数の付加情報を決定し、
前記表示制御手段は、前記形状の変化に応じて、前記映像に付加する前記付加情報を、前記決定手段により決定された複数の付加情報うちの一の付加情報に切り替える、
請求項１～７の何れか一項に記載のプログラム。
前記決定手段は、前記物体の形状が変化する場合に、変化する前記形状に対応する複数の付加情報を決定し、
前記表示制御手段は、前記形状の変化に応じて、前記映像に付加する前記付加情報を、前記決定手段により決定された複数の付加情報うちの一の付加情報に切り替える、
請求項１～７の何れか一項に記載のプログラム。
【請求項9】
前記決定手段は、前記撮影手段により前記物体を撮影する際の現在位置に基づき、前記付加情報を決定する、
請求項１～８の何れか一項に記載のプログラム。
請求項１～８の何れか一項に記載のプログラム。
【請求項10】
前記コンピュータを、
前記撮影手段により前記物体を撮影する際の現在位置と、前記物体の識別情報に対応付けて記憶された位置と、に基づき、前記映像に前記付加情報を付加させるか否かを判定する判定手段、
として更に機能させ、
前記表示制御手段は、前記判定手段が肯定判定した場合に、前記付加情報を前記映像に付加して当該映像を表示させ、前記判定手段が否定判定した場合に、前記付加情報を前記映像に付加せずに当該映像を表示させる、
請求項１～９の何れか一項に記載のプログラム。
前記撮影手段により前記物体を撮影する際の現在位置と、前記物体の識別情報に対応付けて記憶された位置と、に基づき、前記映像に前記付加情報を付加させるか否かを判定する判定手段、
として更に機能させ、
前記表示制御手段は、前記判定手段が肯定判定した場合に、前記付加情報を前記映像に付加して当該映像を表示させ、前記判定手段が否定判定した場合に、前記付加情報を前記映像に付加せずに当該映像を表示させる、
請求項１～９の何れか一項に記載のプログラム。
【請求項11】
前記決定手段は、現実の期間又は天候に基づき、前記付加情報を決定する、
請求項１～１０の何れか一項に記載のプログラム。
請求項１～１０の何れか一項に記載のプログラム。
【請求項12】
前記付加情報は、前記物体の背景に重畳表示させる背景映像を含み、
前記表示制御手段は、前記背景映像を前記映像に重畳表示させた場合に、前記撮影手段により撮影された前記物体の映像を仮想物体の映像に切り替え、所定の変化をさせた後に、前記仮想物体の映像を前記撮影手段により撮影された前記物体の映像に再度切り替える、
請求項１～１１の何れか一項に記載のプログラム。
前記表示制御手段は、前記背景映像を前記映像に重畳表示させた場合に、前記撮影手段により撮影された前記物体の映像を仮想物体の映像に切り替え、所定の変化をさせた後に、前記仮想物体の映像を前記撮影手段により撮影された前記物体の映像に再度切り替える、
請求項１～１１の何れか一項に記載のプログラム。
【請求項13】
コンピュータを、
前記表示制御手段により前記映像に付加した前記付加情報に基づき、所定のゲームを制御するゲーム制御手段、
として更に機能させる、請求項１～１２の何れか一項に記載のプログラム。
前記表示制御手段により前記映像に付加した前記付加情報に基づき、所定のゲームを制御するゲーム制御手段、
として更に機能させる、請求項１～１２の何れか一項に記載のプログラム。
【請求項14】
撮影手段により複数の物体が撮影された場合に、前記撮影手段により撮影された映像に基づき前記複数の物体の識別情報を取得する取得手段と、
前記取得手段により取得された前記複数の物体の識別情報の組み合わせと、前記映像内における前記複数の物体の配置関係と、に基づき、付加情報を決定する決定手段と、
前記決定手段により決定された付加情報を前記映像に付加して当該映像を表示させる表示制御手段と、
を備える情報処理装置。
前記取得手段により取得された前記複数の物体の識別情報の組み合わせと、前記映像内における前記複数の物体の配置関係と、に基づき、付加情報を決定する決定手段と、
前記決定手段により決定された付加情報を前記映像に付加して当該映像を表示させる表示制御手段と、
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム及び情報処理装置に関する。
【背景技術】
【0002】
従来、スマートフォン等を通すことにより、現実世界の情報に対してデジタルコンテンツ等の付加情報を付加して出力する拡張現実（Augmented Reality：ＡＲ）という技術が知られている。例えば、カメラにより取得された映像（以下、適宜、「撮影映像」という。）に基づきＡＲマーカーを検出し、当該ＡＲマーカーに基づき生成した仮想物体の仮想映像を、撮影映像に演出として付加して表示する技術がある。
【0003】
当該技術に関し、例えば、下記特許文献１には、複数のブロックの結合体を撮影した撮影映像に基づき、マーカー構築要素であるブロックを複数結合することで構築された複合ＡＲマーカーを検出し、当該複合ＡＲマーカーに応じて、仮想映像の表示を変更することが開示されている。
【0004】
また、下記特許文献２には、フィギュア設置用台座に付された特定マークを撮影することによって得た画像を認識し、画像認識された特定マークが複数である場合には、その組み合わせによって演出用の仮想映像を変えることが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６２６２１２７号公報
【特許文献2】特許第５５５１２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献１に開示の技術では、複数のブロックの結合体を撮影した場合に検出される複合ＡＲマーカーに基づき、仮想映像を生成する。この複合ＡＲマーカーは、複数の結合状態のブロックの並び順によって画定されるものである。よって、当該技術においては、複数の非結合状態のブロックを撮影した場合には、複合ＡＲマーカーが画定されず、仮想映像を生成することができない。
【0007】
また、上記特許文献２に開示の技術では、複数の非結合状態の物体を撮影した場合に、その物体の組み合わせに基づき仮想映像を変えることができるが、複数の物体の配置関係や撮影位置及び撮影姿勢等の状況が考慮されていない。よって、これらの状況によらず、撮影映像に対して同じような演出がなされてしまう。
【0008】
本発明は、このような課題に鑑みてなされたものであり、映像における演出の趣向性を高めることができるプログラム及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第一態様に係るプログラムは、コンピュータを、撮影手段により複数の物体が撮影された場合に、前記撮影手段により撮影された映像に基づき前記複数の物体の識別情報を取得する取得手段、前記取得手段により取得された前記複数の物体の識別情報の組み合わせと、前記映像内における前記複数の物体の配置関係と、に基づき、付加情報を決定する決定手段、前記決定手段により決定された付加情報を前記映像に付加して当該映像を表示させる表示制御手段、として機能させるためのプログラムである。
【0010】
本発明の第二態様に係るプログラムでは、前記決定手段は、少なくとも前記配置関係に基づき、前記映像上に表示させる前記付加情報の位置又は大きさを決定し、前記表示制御手段は、前記決定手段により決定された位置又は大きさで前記付加情報を付加した前記映像を表示させる。
【0011】
本発明の第三態様に係るプログラムでは、前記決定手段は、前記配置関係が変化する場合に、変化する前記配置関係に対応する複数の付加情報を決定し、前記表示制御手段は、前記配置関係の変化に応じて、前記映像に付加する付加情報を、前記決定手段により決定される複数の付加情報のうちの一の付加情報に切り替える。
【0012】
本発明の第四態様に係るプログラムは、前記決定手段は、変化する順序で変化する前記配置関係を含む一連のシーケンスを示す配置シーケンスが所定の配置シーケンスである場合に、前記所定の配置シーケンスに対応する付加情報を決定し、前記表示制御手段は、前記決定手段により決定された前記所定の配置シーケンスに対応する付加情報を前記映像に付加して当該映像を表示させる。
【0013】
本発明の第五態様に係るプログラムは、前記コンピュータを、複数の付加情報を記憶すると共に、前記表示制御手段により前記付加情報を付加した映像が表示された場合に、当該映像に含まれる複数の物体を示す情報を表示済み物体として記憶する記憶手段、前記表示済み物体が所定の条件を満たす場合に、前記記憶手段に記憶された複数の前記付加情報を変化又は追加する設定を行う設定手段、として更に機能させる。
【0014】
本発明の第六態様に係るプログラムでは、前記決定手段は、立体的な前記物体に対する前記撮影手段の三次元的な撮影位置及び撮影姿勢が変化する場合に、前記撮影位置及び前記撮影姿勢に基づき、複数の付加情報を決定し、前記表示制御手段は、前記撮影位置及び前記撮影姿勢の変化に応じて、前記映像に付加する付加情報を、前記決定手段により決定される複数の付加情報のうちの一の付加情報に切り替える。
【0015】
本発明の第七態様に係るプログラムでは、前記決定手段は、変化する順序で変化する前記撮影位置及び前記撮影姿勢を含む一連のシーケンスを示すカメラワークが所定のカメラワークである場合に、前記所定のカメラワークに対応する付加情報を決定し、前記表示制御手段は、前記決定手段により決定された前記所定のカメラワークに対応する付加情報を前記映像に付加して当該映像を表示させる。
【0016】
本発明の第八態様に係るプログラムでは、前記物体は、可動させること、部位を着脱すること、又は部位を組み替えることによってその形状が可変であり、前記決定手段は、前記物体の形状が変化する場合に、変化する前記形状に対応する複数の付加情報を決定し、前記表示制御手段は、前記形状の変化に応じて、前記映像に付加する前記付加情報を、前記決定手段により決定された複数の付加情報のうちの一の付加情報に切り替える。
【0017】
本発明の第九態様に係るプログラムでは、前記決定手段は、前記撮影手段により前記物体を撮影する際の現在位置に基づき、前記付加情報を決定する。
【0018】
本発明の第十態様に係るプログラムは、前記コンピュータを、前記撮影手段により前記物体を撮影する際の現在位置と、前記物体の識別情報に対応付けて記憶された位置と、に基づき、前記映像に前記付加情報を付加させるか否かを判定する判定手段、として更に機能させ、前記表示制御手段は、前記判定手段が肯定判定した場合に、前記付加情報を前記映像に付加して当該映像を表示させ、前記判定手段が否定判定した場合に、前記付加情報を前記映像に付加せずに当該映像を表示させる。
【0019】
本発明の第十一態様に係るプログラムでは、前記決定手段は、現実の期間又は天候に基づき、前記付加情報を決定する。
【0020】
本発明の第十二態様に係るプログラムでは、前記付加情報は、前記物体の背景に重畳表示させる背景映像を含み、前記表示制御手段は、前記背景映像を前記映像に重畳表示させた場合に、前記撮影手段により撮影された前記物体の映像を仮想物体の映像に切り替え、所定の変化をさせた後に、前記仮想物体の映像を前記撮影手段により撮影された前記物体の映像に再度切り替える。
【0021】
本発明の第十二態様に係るプログラムは、コンピュータを、前記表示制御手段により前記映像に付加した前記付加情報に基づき、所定のゲームを制御するゲーム制御手段、として更に機能させる。
【0022】
本発明の第十三態様に係る情報処理装置は、撮影手段により複数の物体が撮影された場合に、前記撮影手段により撮影された映像に基づき前記複数の物体の識別情報を取得する取得手段と、前記取得手段により取得された前記複数の物体の識別情報の組み合わせと、前記映像内における前記複数の物体の配置関係と、に基づき、付加情報を決定する決定手段と、前記決定手段により決定された付加情報を前記映像に付加して当該映像を表示させる表示制御手段と、を備える。
【発明の効果】
【0023】
本発明によれば、映像における演出の趣向性を高めることができる。
【図面の簡単な説明】
【0024】
【図1】第一実施形態に係る拡張現実システムの全体構成の一例を示すブロック図である。
【図4】ユーザ端末の機能構成の一例を示すブロック図である。
【図5】記憶手段が記憶するエフェクト情報の構成例を示す図である。
【図6A】配置関係について概念的に説明する図である。
【図6B】配置関係について概念的に説明する図である。
【図6C】配置関係について概念的に説明する図である。
【図6D】配置関係について概念的に説明する図である。
【図7A】対応関係情報の構成例を示す図である。
【図7B】対応関係情報の構成例を示す図である。
【図7C】対応関係情報の構成例を示す図である。
【図7D】対応関係情報の構成例を示す図である。
【図7E】対応関係情報の構成例を示す図である。
【図8】特別演出モードの種類を説明するための表である。
【図11A】表示制御手段の表示制御によってユーザ端末のディスプレイが表示する撮影映像の一例を示す図である。
【図11B】表示制御手段の表示制御によってユーザ端末のディスプレイが表示する撮影映像の一例を示す図である。
【図11C】表示制御手段の表示制御によってユーザ端末のディスプレイが表示する撮影映像の一例を示す図である。
【図11D】表示制御手段の表示制御によってユーザ端末のディスプレイが表示する撮影映像の一例を示す図である。
【図11E】表示制御手段の表示制御によってユーザ端末のディスプレイが表示する撮影映像の一例を示す図である。
【図12A】撮影位置及び撮影姿勢について概念的に説明する図である。
【図12B】撮影位置及び撮影姿勢について概念的に説明する図である。
【図12C】撮影位置及び撮影姿勢について概念的に説明する図である。
【図12D】撮影位置及び撮影姿勢について概念的に説明する図である。
【図13A】第二実施形態に係る対応関係情報の構成例を示す図である。
【図13B】第二実施形態に係る対応関係情報の構成例を示す図である。
【図13C】第二実施形態に係る対応関係情報の構成例を示す図である。
【図13D】第二実施形態に係る対応関係情報の構成例を示す図である。
【図14】第二実施形態におけるステップＳＰ１８の処理の流れの一例を示すフローチャートである。
【図15】第二実施形態において、表示制御手段の表示制御によってユーザ端末のディスプレイが表示する撮影映像の一例を示す図である。
【発明を実施するための形態】
【0025】
［第一実施形態］
以下、図１～図１１を参照しながら本発明の第一実施形態について詳細に説明する。説明の理解を容易するため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。
以下、図１～図１１を参照しながら本発明の第一実施形態について詳細に説明する。説明の理解を容易するため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。
【0026】
＜全体構成＞
図１は、第一実施形態に係る拡張現実システム１の全体構成の一例を示すブロック図である。
図１は、第一実施形態に係る拡張現実システム１の全体構成の一例を示すブロック図である。
【0027】
図１に示すように、拡張現実システム１は、サーバ装置１０と、一又は複数のユーザ端末１２と、を備える。これらのサーバ装置１０及びユーザ端末１２は、イントラネットやインターネット、電話回線等の通信ネットワークＮＴを介して互いに通信可能に構成されている。
【0028】
サーバ装置１０は、拡張現実（Augmented Reality：ＡＲ）を体験させるための拡張現実アプリケーション（以下、「拡張現実アプリ」と称する。）のプログラム１４を実行して得られる実行結果、又はプログラム１４そのものを、通信ネットワークＮＴを介して各ユーザ端末１２に提供する情報処理装置である。
【0029】
各ユーザ端末１２は、各ユーザが所持する情報処理装置である。これらのユーザ端末１２としては、例えばスマートフォンや、携帯電話、タブレット、パーソナルコンピュータ等の様々なものが挙げられる。本実施形態では、ユーザ端末１２をスマートフォンとして説明する。
【0030】
本実施形態における拡張現実アプリは、ユーザ端末１２にプログラム１４がインストールされた後、ユーザ端末１２におけるユーザの所定の操作に基づき起動可能となる。当該拡張現実アプリは、ユーザ端末１２によって複数の物体を撮影した場合に、その撮影映像に対して映像や音声等の付加情報を付加し、現実世界と付加情報とを融合させた映像をユーザ端末１２の画面上に表示させる。
【0031】
ユーザ端末１２によって撮影される物体としては、例えば、フィギュア、玩具、プラモデル、ぬいぐるみ等の所定の形状を有する造形物が挙げられる。本実施形態では、当該物体を、三次元的な立体物であって、特にフィギュアであるものとして説明する。フィギュアは、所定のアニメーション等のキャラクタ・動物・人物等を三次元的にかたどった立体の造形物である。
【0032】
本実施形態において、プログラム１４のダウンロード及びインストールや、拡張現実アプリの起動は、例えば所定のダウンロード情報をユーザ端末１２で読み込むことによって可能とされてもよい。当該ダウンロード情報は、例えば、フィギュアのパッケージ内部取扱説明書等に付されたＱＲコード（登録商標）やＵＲＬ等であって、フィギュアを購入することで得られる。
【0033】
なお、拡張現実アプリのプログラム１４をユーザ端末１２にインストールすることなく、通信ネットワークＮＴを介してサーバ装置１０におけるプログラム１４の実行結果が各ユーザ端末１２に提供されてもよい。この場合、例えばユーザ端末１２におけるユーザの所定の操作に基づき、通信ネットワークＮＴを介してウェブブラウザ上で利用されるウェブアプリケーションとして拡張現実アプリが起動する。ここでの所定の操作としては、例えば、ユーザ端末１２において所定のウェブサイト上のリンクをクリックすることや、所定の店舗やイベント会場等に展示された所定のＱＲコード（登録商標）をユーザ端末１２で読み込むこと等が挙げられる。
【0034】
【0035】
図２に示すように、サーバ装置１０は、制御装置２０と、通信装置２６と、記憶装置２８と、を備える。制御装置２０は、ＣＰＵ（Central Processing Unit）２２及びメモリ２４を主に備えて構成される。
【0036】
制御装置２０は、ＣＰＵ２２がメモリ２４或いは記憶装置２８等に格納された所定のプログラムを実行する。
【0037】
通信装置２６は、外部の装置と通信するための通信インターフェース等で構成される。この通信装置２６は、例えば、ユーザ端末１２との間で各種の情報を送受信する。
【0038】
記憶装置２８は、ハードディスク等で構成される。この記憶装置２８は、プログラム１４を含む、制御装置２０における処理の実行に必要な各種プログラムや各種の情報、及び処理結果の情報を記憶する。
【0039】
なお、サーバ装置１０は、専用又は汎用のサーバ・コンピュータ等の情報処理装置を用いて実現することができる。また、サーバ装置１０は、単一の情報処理装置により構成されるものであっても、通信ネットワークＮＴ上に分散した複数の情報処理装置により構成されるものであってもよい。また、図２は、サーバ装置１０が有する主要なハードウェア構成の一部を示しているに過ぎず、サーバ装置１０は、サーバが一般的に備える他の構成を備えることができる。
【0040】
【0041】
図３に示すように、ユーザ端末１２は、主制御部３０と、タッチパネル３２と、カメラ３４と、移動体通信部３６と、無線ＬＡＮ（Local Area Network）通信部３８と、記憶部４０と、スピーカ４２と、加速度・方位センサ４４と、ＧＰＳ（Global Positioning System）受信部４６と、を備える。
【0042】
主制御部３０は、ＣＰＵやメモリ等を含んで構成される。この主制御部３０には、タッチパネル３２と、カメラ３４と、移動体通信部３６と、無線ＬＡＮ通信部３８と、記憶部４０と、スピーカ４２と、加速度・方位センサ４４と、ＧＰＳ受信部４６と、が接続されている。そして、主制御部３０は、これら接続先を制御する機能を有する。
【0043】
タッチパネル３２は、表示装置及び入力装置の両方の機能を有し、表示機能を担うディスプレイ３２Ａと、入力機能を担うタッチセンサ３２Ｂとで構成される。ディスプレイ３２Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等の一般的な表示デバイスにより構成される。ディスプレイ３２Ａは、例えばプログラム１４の実行により生成される拡張現実アプリ実行画面等を表示する。
【0044】
タッチセンサ３２Ｂは、ディスプレイ３２Ａが表示する画面に対する接触操作を検知するための素子により構成される。タッチセンサ３２Ｂによる接触操作の検知方式は、静電容量式、抵抗膜式（感圧式）、電磁誘導式等の既知の方式のうち任意の方法を採用することができる。タッチセンサ３２Ｂは、画面に対して接触する操作子としてユーザの指やスタイラス等の動作を検知することで、ユーザの操作入力を受け付ける。タッチセンサ３２Ｂは、ユーザの指やスタイラス等の動作を検知すると、画面に対する接触の位置を示す座標を検出し、当該座標を主制御部３０に出力する。当該位置を示す座標は、例えば、ディスプレイ３２Ａが表示する画面に沿ったｘｙ平面上の座標値として示される。
【0045】
カメラ３４は、静止画又は／及び動画を撮影する撮影手段であって、撮影した結果を記憶部４０に保存する機能を有する。
【0046】
移動体通信部３６は、アンテナ３６Ａを介して、移動体通信網と接続し、当該移動体通信網に接続されている他の通信装置と通信する機能を有する。
【0047】
無線ＬＡＮ通信部３８は、アンテナ３８Ａを介して、通信ネットワークＮＴと接続し、当該通信ネットワークＮＴに接続されているサーバ装置１０等の他の装置と通信する機能を有する。
【0048】
記憶部４０には、プログラム１４を含む各種プログラムや各種の情報が記憶されている。
【0049】
スピーカ４２は、拡張現実アプリを実行中の音等を出力する機能を有する。
【0050】
加速度・方位センサ４４は、ユーザ端末１２の向きや傾きを算出するための情報を取得する機能を有し、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサを含む。
【0051】
ＧＰＳ受信部４６は、アンテナ４６Ａを介して、ユーザ端末１２の位置を特定するためのＧＰＳ信号をＧＰＳ衛星から受信する機能を有する。
【0052】
なお、図３は、ユーザ端末１２が有する主要なハードウェア構成の一部を示しているに過ぎず、ユーザ端末１２は、音声を入力するマイク、リアルタイムクロック、近距離無線通信等、スマートフォンが一般的に備える他の構成を備えることができる。
【0053】
＜機能構成＞
図４は、ユーザ端末１２の機能構成の一例を示すブロック図である。
図４は、ユーザ端末１２の機能構成の一例を示すブロック図である。
【0054】
図４に示すように、ユーザ端末１２は、機能構成として、記憶手段５０と、取得手段５２と、解析手段５４と、決定手段５６と、表示制御手段５８と、判定手段６０と、設定手段６２と、ゲーム制御手段６４と、を備える。これらの機能構成は、主制御部３０の制御のもとで、記憶部４０に記憶された所定のプログラムを実行し、ユーザ端末１２の図３に示す各種構成を動作させることで実現される。なお、これらの機能構成のうち全部又は一部は、サーバ装置１０が備えてもよい。
【0055】
記憶手段５０は、フィギュア情報５０Ａと、エフェクト情報５０Ｂと、対応関係情報５０Ｃと、表示済みフィギュア情報５０Ｄと、コレクション条件情報５０Ｅと、を記憶する。
【0056】
フィギュア情報５０Ａは、カメラ３４によって撮影される物体としてのフィギュアに関する情報である。カメラ３４によって撮影されるフィギュアを含む映像を、以下、「撮影映像」という。フィギュア情報５０Ａは、フィギュアの特徴点データを含む。フィギュアの特徴点データは、フィギュアの三次元モデルデータや複数の写真等から事前に取得される。フィギュアの特徴点データは、フィギュアの種類に対応付けられて複数記憶される。フィギュアの種類は、フィギュアが何のフィギュアであるかを示す識別情報であって、例えば、商品名、キャラクタ名、ジャンル名、フィギュアＩＤ、商品ＩＤ等で示される。
【0057】
また、フィギュアの特徴点データは、フィギュアの種類毎に、フィギュアの形状や向き等に対応付けて記憶されてもよい。フィギュアの形状は、立体的な形状や、立体的なフィギュアを平面視した場合の平面的な形状に関する情報である。フィギュアの形状は、フィギュアを可動させること、フィギュアの着脱可能な部位を着脱させること、又は当該部位を組み替えること等によって可変である。また、フィギュアの向きは、配置されたフィギュアが三次元空間上でどのような向きを向いているかを示す情報である。フィギュアの向きも、フィギュアの配置を変えること、又はフィギュアの形状と同様にして、可変である。
【0058】
エフェクト情報５０Ｂは、撮影映像に付加する付加情報として生成された情報である。エフェクト情報５０Ｂは、静止画及び動画を含む映像、文章、音楽、音声、効果音等の種々のデジタルコンテンツとして構成したエフェクトデータを含む。エフェクトデータが映像のエフェクトデータである場合に、当該エフェクトデータは、フィギュアの背景に重畳表示させる背景映像や、フィギュアそのものの映像に重畳表示させる仮想物体の映像等を含む。以下、映像や文章等の表示により出力されるエフェクトデータを、「表示エフェクト」ともいう。また、音楽、音声、効果音等の音により出力されるエフェクトデータを、「音エフェクト」ともいう。
【0059】
図５は、エフェクト情報５０Ｂの構成例を示す図である。図５に示すように、エフェクト情報５０Ｂは、エフェクトデータの識別情報であるエフェクトＩＤに対応付けて、エフェクトデータのパス名を格納するデータテーブルである。エフェクトデータのパス名は、記憶部４０等におけるエフェクトデータの格納先を示す。なお、エフェクトＩＤとエフェクトデータのパス名とは、一対一の対応付けに限らず、複数のエフェクトＩＤに一のエフェクトデータが対応付けられていてもよく、一のエフェクトＩＤに複数のエフェクトデータが対応付けられていてもよい。
【0060】
対応関係情報５０Ｃは、状況情報とエフェクトデータとの対応関係を示す情報である。状況情報とは、例えば撮影映像が含むフィギュアの状況に関する情報であって、撮影映像を映像解析することで取得可能な所定の情報である。状況情報は、上記したフィギュアの種類や形状に加えて、複数のフィギュアの組み合わせ、複数のフィギュアの配置関係、又は複数のフィギュアの配置シーケンス等を含む。
【0061】
複数のフィギュアの組み合わせとは、カメラ３４によって撮影された複数のフィギュアの種類の組み合わせ、すなわち撮影映像に含まれるフィギュアの種類の組み合わせを示す情報である。以下、複数のフィギュアの組み合わせを、単に「組み合わせ」ともいう。
【0062】
複数のフィギュアの配置関係とは、撮影映像（撮影範囲）内における複数のフィギュアの配置関係を示す情報であり、各フィギュアの位置そのものだけでなく、各フィギュア間の距離、各フィギュアの向きや、撮影範囲内における複数のフィギュアの向きの組み合わせ等を含む。各フィギュアの位置や各フィギュア間の距離を算出するための座標は、例えば各フィギュアの中心座標とすることができるが、これに限らず各フィギュアにおける任意の位置の座標であってもよい。以下、複数のフィギュアの配置関係を単に「配置関係」ともいう。また、複数のフィギュアの配置シーケンスとは、配置関係が変化する場合に、変化する順序で変化する配置関係を含む一連のシーケンスを示す情報である。以下、複数のフィギュアの配置シーケンスを、単に「配置シーケンス」ともいう。
【0063】
ここで、図６Ａ～図６Ｄを参照して、配置関係について概念的に説明する。図６Ａ～図６Ｄは、配置関係について概念的に説明する図である。なお、図６Ａ～図６Ｄでは、撮影映像１００に含まれる各フィギュアＦ０１～Ｆ０３を二次元平面的に図示しているが、実際に撮影される各フィギュアＦ０１～Ｆ０３は三次元的な立体物である。
【0064】
図６Ａ～図６Ｄに示すように、各フィギュアＦ０１～Ｆ０３は、例えば互いに非結合状態で配置されている。互いに非結合状態とは、互いに物理的に直接接続されておらず独立した状態を意味する。これにより、各フィギュアＦ０１～Ｆ０３は、互いに所定の間隔を有して様々な向きで配置され得る。なお、互いに非結合状態とは、必ずしも図示した状態に限らず、例えば所定の接続要素を介して互いに間接的に接続されている状態や、互いに重なり合っている部分がある状態等を含んでもよい。
【0065】
図６Ａに示す配置関係では、撮影映像１００内において、各フィギュアＦ０１～Ｆ０３が、全て横並びに位置する。また、各フィギュアＦ０１～Ｆ０３間の距離が、例えば５ｃｍ以下である。また、各フィギュアの向きが、正面向きである。
【0066】
図６Ｂに示す配置関係では、撮影映像１００内において、フィギュアＦ０１と各フィギュアＦ０２，Ｆ０３とが互いに横並びに位置する。また、フィギュアＦ０２とフィギュアＦ０３との間の距離が例えば５ｃｍ以下であるのに対し、フィギュアＦ０１とフィギュアＦ０２，Ｆ０３との間の距離が例えば５～１０ｃｍである。また、各フィギュアの向きが、正面向きである。
【0067】
図６Ｃに示す配置関係では、撮影映像１００内において、フィギュアＦ０１と各フィギュアＦ０２，Ｆ０３とが互いに横並びに位置する。また、フィギュアＦ０２とフィギュアＦ０３との間の距離が例えば５ｃｍ以下であるのに対し、フィギュアＦ０１とフィギュアＦ０２，Ｆ０３との間の距離が例えば５～１０ｃｍである。また、フィギュアＦ０１と各フィギュアＦ０２，Ｆ０３とが互いに向かい合っている。
【0068】
図６Ｄに示す配置関係では、撮影映像１００内において、フィギュアＦ０１～Ｆ０３が三角形状に並んで位置する。また、各フィギュアＦ０１～Ｆ０３間の距離が、例えば５～１０ｃｍである。また、各フィギュアＦ０１～Ｆ０３が互いに背中を向け合っている。
【0069】
以上のように、撮影映像１００内における複数のフィギュアの位置、各フィギュア間の距離、各フィギュアの向き等によって、所定の配置関係が構成される。また、例えばユーザが各フィギュアの配置を変えることによって配置関係が変化する場合には、変化する順序で変化する配置関係を含む一連のシーケンスを示す配置シーケンスが構成される。例えば予め設定された所定時間内において図６Ｂに示す配置関係から図６Ｃに示す配置関係に変化した場合、図６Ｂに示す配置関係と図６Ｃに示す配置関係とをその変化する順序で含む配置シーケンスが構成される。
【0070】
図７Ａ～図７Ｅは、対応関係情報５０Ｃの構成例を示す図である。図７Ａ～図７Ｅに示すように、対応関係情報５０Ｃは、状況情報（フィギュアの種類、形状、組み合わせ、配置関係、配置シーケンス）に対応付けて、エフェクトＩＤを格納するデータテーブルである。
【0071】
図７Ａに示す対応関係情報５０Ｃは、フィギュアの種類に対応付けて、エフェクトＩＤを格納する。また、図７Ｂに示す対応関係情報５０Ｃは、フィギュアの形状に対応付けて、エフェクトＩＤを格納する。図７Ｂに示す対応関係情報５０Ｃは、フィギュアの種類が例えば「人間キャラＡ」である場合の例を示す。
【0072】
また、図７Ｃに示す対応関係情報５０Ｃは、複数のフィギュアの組み合わせに対応付けて、エフェクトＩＤを格納する。また、図７Ｄに示す対応関係情報５０Ｃは、複数のフィギュアの配置関係に対応付けて、エフェクトＩＤを格納する。また、図７Ｅの対応関係情報５０Ｃは、複数のフィギュアの配置シーケンスに対応付けて、エフェクトＩＤを格納する。図７Ｄや図７Ｅの対応関係情報５０Ｃは、組み合わせが例えば「Ｆ０１、Ｆ０２、Ｆ０３」という三種類のフィギュアの組である場合の例を示す。
【0073】
図７Ａ～図７Ｅに示すような各対応関係情報５０Ｃは、所定の状況情報等によって互いに紐付けられている。例えば、記憶手段５０は、フィギュアの種類に紐付けて、図７Ｂに示すようなフィギュアの形状とエフェクトＩＤとの対応関係情報５０Ｃを複数記憶する。また、記憶手段５０は、組み合わせに紐付けて、図７Ｄに示すような配置関係とエフェクトＩＤとの対応関係情報５０Ｃや、図７Ｅに示すような配置シーケンスとエフェクトＩＤとの対応関係情報５０Ｃをそれぞれ複数記憶する。
【0074】
図４に戻り、表示済みフィギュア情報５０Ｄは、表示済みフィギュア（表示済み物体）を示す情報である。表示済みフィギュアとは、エフェクトデータを付加してディスプレイ３２Ａに表示済みの撮影映像１００に含まれるフィギュアである。記憶手段５０は、例えば、表示制御手段５８によりエフェクトデータを付加した撮影映像１００がディスプレイ３２Ａに表示された場合に、当該撮影映像１００に含まれる複数のフィギュアの種類又は数を表示済みフィギュア情報５０Ｄとして記憶する。
【0075】
コレクション条件情報５０Ｅは、撮影された複数のフィギュアの収集に関するコレクション条件を示す情報である。コレクション条件情報５０Ｅとしては、例えば、「フィギュアの種類が５種類」、「動物のフィギュアが３個」、「種類が△△のフィギュアが１個以上」、「フィギュアの数が１０個」等のフィギュアの種類や数に関する種々の条件が記憶されている。
【0076】
取得手段５２は、ユーザ端末１２上で拡張現実アプリを起動中にカメラ３４によって複数のフィギュアが撮影された場合に、その撮影映像１００を逐次取得する。取得手段５２は、取得した撮影映像１００を、解析手段５４や表示制御手段５８に逐次出力する。
【0077】
解析手段５４は、取得手段５２により取得された撮影映像１００を逐次解析し、当該撮影映像１００として撮影された撮影範囲内に含まれる複数のフィギュアの種類を取得する。解析手段５４は、撮影映像１００に基づき、複数のフィギュアの種類を複数のフィギュアの識別情報として取得する取得手段として機能する。
【0078】
例えば、解析手段５４は、公知の映像解析技術を用いて撮影映像１００を解析してフィギュアの特徴点を検出する。解析手段５４は、検出した特徴点と、記憶手段５０に記憶されたフィギュア情報５０Ａと、に基づき、検出した特徴点に対応するフィギュアの種類を取得する。より具体的には、解析手段５４は、フィギュアの種類に対応付けて記憶された特徴点データの中から、検出した特徴点との近似度が所定値以上の特徴点データを抽出する。そして、解析手段５４は、当該特徴点データに対応するフィギュアの種類を取得する。
【0079】
また、解析手段５４は、取得したフィギュアの種類に基づき、撮影映像１００に含まれるフィギュアの組み合わせを特定する。例えば、取得したフィギュアの種類が「人間キャラＡ」、「クマ」、「イヌ」であった場合には、解析手段５４は、これら「人間キャラＡ」、「クマ」、「イヌ」の３つのフィギュアの組を組み合わせとして特定する。また、取得したフィギュアの種類が例えば所定のアニメーションのキャラである等の共通の属性を有する場合には、その属性そのものを組み合わせとして特定してもよい。
【0080】
また、解析手段５４は、フィギュアの種類を取得した場合に、更にそのフィギュアの形状や向きに係る特徴点を詳細に検出してもよい。この場合、解析手段５４は、検出した形状や向きに係る特徴点と、記憶手段５０に記憶されたフィギュア情報５０Ａと、に基づき、検出した特徴点に対応するフィギュアの形状や向きを示す情報を取得する。例えば、解析手段５４は、フィギュアの種類毎にフィギュアの形状や向きに対応付けて記憶された特徴点データの中から、検出した特徴点との近似度が所定値以上の特徴点データを抽出する。そして、解析手段５４は、当該特徴点データに対応するフィギュアの形状や向きを示す情報を取得する。
【0081】
また、解析手段５４は、公知の映像解析技術を用いて撮影映像１００を解析し、撮影映像１００における複数のフィギュアの配置関係を取得する。すなわち、解析手段５４は、各フィギュアの位置、各フィギュア間の距離、又は各フィギュアの向き等を取得する。例えば、解析手段５４は、撮影映像１００から検出された各フィギュアの特徴点に基づき、各フィギュアの位置、各フィギュア間の距離、又は各フィギュアの向きを取得する。より具体的には、解析手段５４は、検出された各フィギュアの特徴点から各フィギュアの外形形状を求め、当該外形形状に含まれる位置座標を特定し、特定した位置座標の差分を算出することによって各フィギュアの位置や各フィギュア間の距離を取得する。また、解析手段５４は、フィギュアの向きに対応付けて記憶された特徴点との近似度が所定値以上の特徴点データを抽出する。そして、解析手段５４は、当該特徴点データに対応するフィギュアの向きを取得する。
【0082】
また、解析手段５４は、例えば所定期間内において配置関係が変化した場合に、当該配置関係に基づき、配置シーケンスを取得する。例えば図６Ｂの配置関係から図６Ｃの配置関係へと、各フィギュアＦ０１～Ｆ０３の向きが正面向きから互いに向かい合う向きに変化した場合、解析手段５４は、図６Ｂの配置関係と図６Ｃの配置関係とをその変化する順序で含む情報を配置シーケンスとして取得する。解析手段５４は、解析の結果取得した映像解析情報を、決定手段５６に出力する。
【0083】
決定手段５６は、解析手段５４から出力された映像解析情報に基づき、撮影映像１００に付加する付加情報としてのエフェクトデータを決定する。まず、決定手段５６は、対応関係情報５０Ｃを参照し、出力された映像解析情報に対応するエフェクトＩＤを特定する。次に、決定手段５６は、エフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータのパス名を特定する。これにより、決定手段５６は、当該パス名が示す格納先に記憶されたエフェクトデータを、撮影映像１００に付加するエフェクトデータとして決定する。そして、決定手段５６は、当該パス名が示す格納先に記憶されたエフェクトデータを取得し、取得したエフェクトデータを表示制御手段５８に出力する。
【0084】
具体的には、決定手段５６は、フィギュアの種類が解析手段５４から出力された場合に、図７Ａの対応関係情報５０Ｃを参照し、当該フィギュアの種類に対応するエフェクトＩＤを特定する。また、決定手段５６は、フィギュアの形状が解析手段５４から出力された場合に、図７Ｂの対応関係情報５０Ｃを参照し、当該フィギュアの形状に対応するエフェクトＩＤを特定する。また、決定手段５６は、フィギュアの種類及び形状の両方が解析手段５４から出力された場合に、当該フィギュアの種類に紐付けられた図７Ｂの対応関係情報５０Ｃを参照し、当該フィギュアの種類及び形状に対応するエフェクトＩＤを特定する。
【0085】
また、決定手段５６は、組み合わせが解析手段５４から出力された場合に、図７Ｃの対応関係情報５０Ｃを参照し、当該組み合わせに対応するエフェクトＩＤを特定する。また、決定手段５６は、配置関係が解析手段５４から出力された場合に、図７Ｄの対応関係情報５０Ｃを参照し、当該配置関係に対応するエフェクトＩＤを特定する。また、決定手段５６は、組み合わせ及び配置関係の両方が解析手段５４から出力された場合に、当該組み合わせに紐付けられた図７Ｄの対応関係情報５０Ｃを参照し、当該組み合わせ及び配置関係に対応するエフェクトＩＤを特定する。すなわち、決定手段５６は、組み合わせと配置関係とに基づき、エフェクトＩＤを特定する。
【0086】
また、決定手段５６は、映像解析情報が変化する場合、変化する映像解析情報に対応する複数のエフェクトデータを決定する。例えば、決定手段５６は、フィギュアの形状が変化する場合に、上記同様に図７Ｂの対応関係情報５０Ｃを参照して、変化する形状に対応する複数のエフェクトＩＤを特定する。また、決定手段５６は、配置関係が変化する場合に、上記同様に図７Ｄの対応関係情報５０Ｃを参照して、変化する配置関係に対応する複数のエフェクトＩＤを特定する。
【0087】
また、決定手段５６は、配置シーケンスが解析手段５４から出力された場合に、当該配置シーケンスが記憶手段５０に記憶された所定の配置シーケンスであるか否かを判定する。決定手段５６は、例えば、解析手段５４から出力された組み合わせに紐付けられた図６Ｅの対応関係情報５０Ｃを参照する。そして、決定手段５６は、出力された配置シーケンスが当該対応関係情報５０Ｃに格納された配置シーケンスに相当する場合には、当該判定を肯定判定する。なお、出力された配置シーケンスが当該対応関係情報５０Ｃに格納された配置シーケンスに相当する場合とは、各配置シーケンスが互いに一致する場合に限らず、例えば各配置シーケンスが互いに所定の近似範囲内である場合を含んでもよい。決定手段５６は、当該判定を肯定判定した場合に、当該所定の配置シーケンスに対応するエフェクトＩＤを特定する。
【0088】
また、決定手段５６は、解析手段５４から出力された配置関係に基づき、撮影映像１００に付加するエフェクトデータの位置や大きさを決定する。すなわち、決定手段５６は、表示エフェクトを撮影映像１００上に重畳表示させる位置や、重畳表示させる表示エフェクトの大きさを決定する。
【0089】
例えば、決定手段５６は、図６Ａに示すようにフィギュアＦ０１～Ｆ０３が横に並んだ配置関係である場合に、全てのフィギュアＦ０１～Ｆ０３の背景として重なる位置及び大きさとなるように、撮影映像１００における表示エフェクトの位置及び大きさを決定する。また、決定手段５６は、図６Ｃに示すようにフィギュアＦ０１と各フィギュアＦ０２，Ｆ０３とが互いに向かい合うような配置関係である場合に、フィギュアＦ０１と各フィギュアＦ０２，Ｆ０３との間に収まる位置及び大きさとなるように、撮影映像１００における表示エフェクトの位置及び大きさを決定する。
【0090】
また、決定手段５６は、配置関係に加えて又は代えて、複数のフィギュアの組み合わせ等の他の映像解析情報に基づき、撮影映像１００における表示エフェクトの位置及び大きさを決定してもよい。例えば、決定手段５６は、組み合わせが所定のキャラの組み合わせである場合には、その組み合わせに適した位置及び大きさを決定する。組み合わせに適した位置及び大きさとは、例えば互いに敵対するキャラの組み合わせである場合には、各フィギュアの間に収まる位置及び大きさで、互いに仲間のキャラの組み合わせである場合には、各フィギュアの背景として重なる位置及び大きさ等が挙げられる。また、例えば組み合わせが所定のアニメーションのキャラを示す属性である場合には、そのアニメーションで登場するシーンを再現できる位置及び大きさ等が挙げられる。また、決定手段５６は、撮影映像１００における表示エフェクトの位置及び大きさの両方でなく、当該位置及び大きさの何れか一方を決定してもよい。
【0091】
また、決定手段５６は、表示エフェクトに限らず、種々のエフェクトデータの撮影映像１００に付加する付加態様を、配置関係や組み合わせ等の映像解析情報に基づき決定してもよい。例えば、決定手段５６は、配置関係や組み合わせに基づき、音エフェクトの音量や音が出る方向等を決定してもよい。具体的な決定方法は、表示エフェクトの場合と同様である。
【0092】
上記の決定手段５６によるエフェクトデータの決定方法は、例えば、設計者や操作者により拡張現実アプリのモード設定が通常演出モードに設定されているか特別演出モードに設定されているかに応じて、変更可能である。例えば、通常演出モード又は特別演出モードの設定に応じて、決定手段５６は、エフェクトＩＤを特定する際に参照する対応関係情報５０Ｃを変える。なお、通常演出モード又は特別演出モードの設定は、拡張現実アプリの起動前に行われてもよいし、起動中に途中で切り替えられてもよい。
【0093】
例えば、通常演出モードに設定されている場合には、決定手段５６は、図７Ａ又は図７Ｂに示す対応関係情報５０Ｃを参照してエフェクトＩＤを特定する。これに対し、例えば特別演出モードに設定されている場合には、決定手段５６は、図７Ｃ～図７Ｅに示す対応関係情報５０Ｃを参照してエフェクトＩＤを特定する。
【0094】
図８は、特別演出モードの種類を説明するための表である。図８に示すように、特別演出モード「Ａ」は、「組み合わせモード」であって、組み合わせに対応するエフェクトデータを撮影映像１００に付加するモードである。また、特別演出モード「Ｂ」は、「フィギュア配置モード」であって、配置関係や配置シーケンスに対応するエフェクトデータを撮影映像１００に付加するモードである。なお、特別演出モード「Ｃ」～「Ｅ」については、第二実施形態において説明する。
【0095】
特別演出モードがＯＮ状態に設定される際、図８に示す複数の特別演出モードのうち少なくとも一以上のモードが選択されて設定されてもよい。決定手段５６は、複数の特別演出モードのうち少なくとも一以上の選択されたモードに応じて、参照する対応関係情報５０Ｃを異ならせてもよい。すなわち、特別演出モードとして選択されたモードの種類に応じて、エフェクトデータの決定方法を変えてもよい。
【0096】
例えば、特別演出モード「Ａ」が選択された場合、決定手段５６は、図７Ｃに示す対応関係情報５０Ｃを参照して、エフェクトＩＤを特定する。これに対し、例えば、特別演出モード「Ｂ」が選択された場合、決定手段５６は、図７Ｄ又は図７Ｅに示す対応関係情報５０Ｃを参照して、エフェクトＩＤを特定する。また、例えば特別演出モード「Ａ」及び「Ｂ」の両方が選択された場合、決定手段５６は、解析手段５４から出力された組み合わせに紐付けられた図７Ｄ又は図７Ｅに示す対応関係情報５０Ｃを参照して、エフェクトＩＤを特定する。
【0097】
図４に戻り、表示制御手段５８は、取得手段５２により取得された撮影映像１００をディスプレイ３２Ａに表示させる制御を行う。この際、表示制御手段５８は、決定手段５６により出力されたエフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させる。例えばエフェクトデータが表示エフェクトである場合、表示制御手段５８は、決定手段５６により決定された位置及び大きさで、表示エフェクトを重畳表示させた撮影映像１００を表示させる。また、例えばエフェクトデータが音エフェクトである場合、表示制御手段５８は、決定手段５６により決定された音量や方向で、音エフェクトを出力させながら撮影映像１００を表示させる。
【0098】
また、表示制御手段５８は、フィギュアの形状や配置関係が変化する場合には、その変化に応じて、撮影映像１００に付加するエフェクトデータを、決定手段５６により決定される複数のエフェクトデータのうちの一のエフェクトデータに切り替える。また、表示制御手段５８は、所定の配置シーケンスが構成される場合には、当該配置シーケンスに対応するエフェクトデータを付加して撮影映像１００を表示させる。
【0099】
判定手段６０は、表示済みフィギュア情報５０Ｄとして記憶された表示済みフィギュアが、所定の条件を満たすか否かを判定する。例えば、判定手段６０は、表示済みフィギュアの種類又は数がコレクション条件情報５０Ｅとして記憶されたコレクション条件のうちの少なくとも一つを満たすか否かを判定する。判定手段６０は、当該コレクション条件の全てについて当該判定を行ってもよいし、当該コレクション条件のうち設計者や操作者により選択された少なくとも一つのコレクション条件について当該判定を行ってもよい。判定手段６０は、当該判定結果を、設定手段６２に出力する。
【0100】
設定手段６２は、表示済みフィギュア情報５０Ｄとして記憶された表示済みフィギュアが所定の条件を満たす場合に、記憶手段５０に記憶されたエフェクトデータを変化又は追加する設定を行う。例えば、設定手段６２は、表示済みフィギュアの種類又は数がコレクション条件情報５０Ｅに記憶されたコレクション条件を満たす場合、すなわち判定手段６０により肯定判定された場合に、記憶手段５０に記憶されたエフェクトデータの少なくとも一つを変化又は追加する。エフェクトデータを変化するとは、当該エフェクトデータそのものの編集又は改変等によって当該エフェクトデータを変えることを意味する。エフェクトデータを追加するとは、当該エフェクトデータとは別に新たなエフェクトデータを記憶部４０に格納し、その格納先をエフェクト情報５０Ｂとして記憶することを意味する。
【0101】
ゲーム制御手段６４は、表示制御手段５８により撮影映像１００に付加したエフェクトデータに基づき、所定のゲームを制御する。ゲーム制御手段６４は、例えば当該エフェクトデータが示す情報を所定のビデオゲーム等に読み込み設定することで、当該エフェクトデータを当該ビデオゲーム内に連動させる。例えばビデオゲームのキャラクタのフィギュアの撮影映像１００に対して、武器や装備等のビデオゲームに関連するアイテムの表示エフェクトを表示させた場合に、ゲーム制御手段６４は、当該アイテムをビデオゲーム内のキャラクタが所持するように設定する。
【0102】
＜処理の流れ＞
図９は、第一実施形態に係る拡張現実システム１において、図４に示す各機能構成が行う処理の流れの一例を示すフローチャートである。なお、図９に示す処理の内容及び順番は、適宜変更することができる。図９の処理は、例えば、ユーザが、ユーザ端末１２において拡張現実アプリを起動したタイミングで開始される。
図９は、第一実施形態に係る拡張現実システム１において、図４に示す各機能構成が行う処理の流れの一例を示すフローチャートである。なお、図９に示す処理の内容及び順番は、適宜変更することができる。図９の処理は、例えば、ユーザが、ユーザ端末１２において拡張現実アプリを起動したタイミングで開始される。
【0103】
（ステップＳＰ１０）
ユーザが、ユーザ端末１２のカメラ３４を複数のフィギュアに向けると、取得手段５２は、カメラ３４により撮影された撮影映像１００を逐次取得する。そして、処理は、ステップＳＰ１２の処理に移行する。
ユーザが、ユーザ端末１２のカメラ３４を複数のフィギュアに向けると、取得手段５２は、カメラ３４により撮影された撮影映像１００を逐次取得する。そして、処理は、ステップＳＰ１２の処理に移行する。
【0104】
（ステップＳＰ１２）
解析手段５４は、ステップＳＰ１０の処理で取得された撮影映像１００の解析を逐次行い、複数のフィギュアの種類を取得する。また、解析手段５４は、撮影映像１００の解析によって、複数のフィギュアの形状を取得してもよい。そして、処理は、ステップＳＰ１４の処理に移行する。
解析手段５４は、ステップＳＰ１０の処理で取得された撮影映像１００の解析を逐次行い、複数のフィギュアの種類を取得する。また、解析手段５４は、撮影映像１００の解析によって、複数のフィギュアの形状を取得してもよい。そして、処理は、ステップＳＰ１４の処理に移行する。
【0105】
（ステップＳＰ１４）
決定手段５６は、特別演出モードがＯＮ状態か否かを判定する。当該判定が否定判定されると、処理は、ステップＳＰ１６の処理に移行する。これに対し、当該判定が肯定判定されると、処理は、ステップＳＰ１８の処理に移行する。
決定手段５６は、特別演出モードがＯＮ状態か否かを判定する。当該判定が否定判定されると、処理は、ステップＳＰ１６の処理に移行する。これに対し、当該判定が肯定判定されると、処理は、ステップＳＰ１８の処理に移行する。
【0106】
（ステップＳＰ１６）
決定手段５６は、通常演出モードに対応するエフェクトデータを取得する。すなわち、決定手段５６は、フィギュアの種類や形状に対応するエフェクトデータを取得する。例えば、決定手段５６は、ステップＳＰ１２の処理で取得されたフィギュアの種類や形状に関する図７Ａや図７Ｂの対応関係情報５０Ｃを参照して、フィギュアの種類や形状に対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定し、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、処理は、ステップＳＰ２０の処理に移行する。
決定手段５６は、通常演出モードに対応するエフェクトデータを取得する。すなわち、決定手段５６は、フィギュアの種類や形状に対応するエフェクトデータを取得する。例えば、決定手段５６は、ステップＳＰ１２の処理で取得されたフィギュアの種類や形状に関する図７Ａや図７Ｂの対応関係情報５０Ｃを参照して、フィギュアの種類や形状に対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定し、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、処理は、ステップＳＰ２０の処理に移行する。
【0107】
（ステップＳＰ１８）
決定手段５６は、特別演出モードに対応するエフェクトデータを取得する。例えば特別演出モードのうち「Ａ」及び「Ｂ」の両方が選択されている場合には、決定手段５６は、組み合わせ及び配置関係に対応するエフェクトデータを取得する。そして、処理は、ステップＳＰ２０の処理に移行する。
決定手段５６は、特別演出モードに対応するエフェクトデータを取得する。例えば特別演出モードのうち「Ａ」及び「Ｂ」の両方が選択されている場合には、決定手段５６は、組み合わせ及び配置関係に対応するエフェクトデータを取得する。そして、処理は、ステップＳＰ２０の処理に移行する。
【0108】
（ステップＳＰ２０）
表示制御手段５８は、ステップＳＰ１２の処理で取得された撮影映像１００をディスプレイ３２Ａに逐次表示させる。この際、表示制御手段５８は、ステップＳＰ１６又はステップＳＰ１８の処理でエフェクトデータが取得されると、取得された当該エフェクトデータを撮影映像１００に付加して当該撮影映像１００を逐次表示させる。そして、処理は、ステップＳＰ２２の処理に移行する。
表示制御手段５８は、ステップＳＰ１２の処理で取得された撮影映像１００をディスプレイ３２Ａに逐次表示させる。この際、表示制御手段５８は、ステップＳＰ１６又はステップＳＰ１８の処理でエフェクトデータが取得されると、取得された当該エフェクトデータを撮影映像１００に付加して当該撮影映像１００を逐次表示させる。そして、処理は、ステップＳＰ２２の処理に移行する。
【0109】
（ステップＳＰ２２）
解析手段５４は、解析結果として取得される映像解析情報に変化が無いか否かを判定する。解析手段５４は、例えば、所定時間内に配置関係が変化していないか否かを判定する。当該判定が否定判定されると、処理は、ステップＳＰ１８の処理に戻り、ステップＳＰ１８，ＳＰ２０の処理が繰り返し実行されることとなる。これにより、ステップＳＰ２０の処理では、表示制御手段５８が、撮影映像１００に付加されたエフェクトデータを、配置関係の変化に応じてステップＳＰ１８の処理で取得された複数のエフェクトデータのうち一のエフェクトデータに切り替える。これに対し、当該判定が肯定判定されると、ＳＰ２４の処理に移行する。
解析手段５４は、解析結果として取得される映像解析情報に変化が無いか否かを判定する。解析手段５４は、例えば、所定時間内に配置関係が変化していないか否かを判定する。当該判定が否定判定されると、処理は、ステップＳＰ１８の処理に戻り、ステップＳＰ１８，ＳＰ２０の処理が繰り返し実行されることとなる。これにより、ステップＳＰ２０の処理では、表示制御手段５８が、撮影映像１００に付加されたエフェクトデータを、配置関係の変化に応じてステップＳＰ１８の処理で取得された複数のエフェクトデータのうち一のエフェクトデータに切り替える。これに対し、当該判定が肯定判定されると、ＳＰ２４の処理に移行する。
【0110】
（ステップＳＰ２４）
記憶手段５０は、ステップＳＰ２０の処理でディスプレイ３２Ａに表示される撮影映像１００に含まれるフィギュア、すなわちステップＳＰ１２の処理でその種類を取得したフィギュアの種類又は数を、表示済みフィギュア情報５０Ｄとして記憶する。そして、処理は、ステップＳＰ２６の処理に移行する。
記憶手段５０は、ステップＳＰ２０の処理でディスプレイ３２Ａに表示される撮影映像１００に含まれるフィギュア、すなわちステップＳＰ１２の処理でその種類を取得したフィギュアの種類又は数を、表示済みフィギュア情報５０Ｄとして記憶する。そして、処理は、ステップＳＰ２６の処理に移行する。
【0111】
（ステップＳＰ２６）
判定手段６０は、表示済みフィギュア情報５０Ｄとして記憶されたフィギュアの種類又は数が、コレクション条件情報５０Ｅに格納された少なくとも一つのコレクション条件を満たすか否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ２８の処理に移行する。当該判定が否定判定されると、処理は、ステップＳＰ３０の処理に移行する。
判定手段６０は、表示済みフィギュア情報５０Ｄとして記憶されたフィギュアの種類又は数が、コレクション条件情報５０Ｅに格納された少なくとも一つのコレクション条件を満たすか否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ２８の処理に移行する。当該判定が否定判定されると、処理は、ステップＳＰ３０の処理に移行する。
【0112】
（ステップＳＰ２８）
設定手段６２は、記憶手段５０に記憶されたエフェクトデータを、変化又は追加する。そして、処理は、ステップＳＰ３０の処理に移行する。
設定手段６２は、記憶手段５０に記憶されたエフェクトデータを、変化又は追加する。そして、処理は、ステップＳＰ３０の処理に移行する。
【0113】
（ステップＳＰ３０）
ゲーム制御手段６４は、ゲーム連動設定がＯＮ状態か否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ３２の処理に移行する。当該判定が否定判定されると、図９に示す一連の処理が終了する。
ゲーム制御手段６４は、ゲーム連動設定がＯＮ状態か否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ３２の処理に移行する。当該判定が否定判定されると、図９に示す一連の処理が終了する。
【0114】
（ステップＳＰ３２）
ゲーム制御手段６４は、撮影映像１００に付加したエフェクトデータ、すなわちステップＳＰ１６又はステップＳＰ１８の処理で取得したエフェクトデータを、ゲームに連動する。そして、図９に示す一連の処理が終了する。
ゲーム制御手段６４は、撮影映像１００に付加したエフェクトデータ、すなわちステップＳＰ１６又はステップＳＰ１８の処理で取得したエフェクトデータを、ゲームに連動する。そして、図９に示す一連の処理が終了する。
【0115】
【0116】
（ステップＳＰ４０）
解析手段５４は、ステップＳＰ１２の処理で取得された複数のフィギュアの種類に基づき、複数のフィギュアの組み合わせを特定する。そして、処理は、ステップＳＰ４２の処理に移行する。
解析手段５４は、ステップＳＰ１２の処理で取得された複数のフィギュアの種類に基づき、複数のフィギュアの組み合わせを特定する。そして、処理は、ステップＳＰ４２の処理に移行する。
【0117】
（ステップＳＰ４２）
解析手段５４は、ステップＳＰ１０の処理で取得された撮影映像１００について解析を逐次行うことにより、複数のフィギュアの配置関係を取得する。また、解析手段５４は、当該配置関係が変化する場合に、配置シーケンスを取得する。そして、処理は、ステップＳＰ４４の処理に移行する。
解析手段５４は、ステップＳＰ１０の処理で取得された撮影映像１００について解析を逐次行うことにより、複数のフィギュアの配置関係を取得する。また、解析手段５４は、当該配置関係が変化する場合に、配置シーケンスを取得する。そして、処理は、ステップＳＰ４４の処理に移行する。
【0118】
（ステップＳＰ４４）
決定手段５６は、ステップＳＰ４２の処理で配置シーケンスが取得された場合に、ステップＳＰ４０の処理で特定された組み合わせに紐付けられた図７Ｅの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、取得された配置シーケンスが、当該対応関係情報５０Ｃに格納された所定の配置シーケンスであるか否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ４６の処理に移行する。これに対し、当該判定が否定判定されると、処理は、ステップＳＰ４８の処理に移行する。また、ステップＳＰ４２の処理で配置シーケンスが取得されていない場合にも、処理は、ステップＳＰ４８の処理に移行する。
決定手段５６は、ステップＳＰ４２の処理で配置シーケンスが取得された場合に、ステップＳＰ４０の処理で特定された組み合わせに紐付けられた図７Ｅの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、取得された配置シーケンスが、当該対応関係情報５０Ｃに格納された所定の配置シーケンスであるか否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ４６の処理に移行する。これに対し、当該判定が否定判定されると、処理は、ステップＳＰ４８の処理に移行する。また、ステップＳＰ４２の処理で配置シーケンスが取得されていない場合にも、処理は、ステップＳＰ４８の処理に移行する。
【0119】
（ステップＳＰ４６）
決定手段５６は、ステップＳＰ４４の処理で肯定判定された所定の配置シーケンスに対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１０に示す一連の処理を終了する。
決定手段５６は、ステップＳＰ４４の処理で肯定判定された所定の配置シーケンスに対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１０に示す一連の処理を終了する。
【0120】
（ステップＳＰ４８）
決定手段５６は、ステップＳＰ４０の処理で特定された組み合わせに紐付けられた図７Ｄの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、ステップＳＰ４２の処理で取得された配置関係に対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１０に示す一連の処理を終了する。
決定手段５６は、ステップＳＰ４０の処理で特定された組み合わせに紐付けられた図７Ｄの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、ステップＳＰ４２の処理で取得された配置関係に対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１０に示す一連の処理を終了する。
【0121】
＜画面表示例＞
図１１Ａ～図１１Ｅは、表示制御手段５８の表示制御によってユーザ端末１２のディスプレイ３２Ａが表示する撮影映像１００の一例を示す図である。図１１Ａ～図１１Ｅの例では、エフェクトデータとして表示エフェクトが、撮影映像１００に重畳表示されている。
図１１Ａ～図１１Ｅは、表示制御手段５８の表示制御によってユーザ端末１２のディスプレイ３２Ａが表示する撮影映像１００の一例を示す図である。図１１Ａ～図１１Ｅの例では、エフェクトデータとして表示エフェクトが、撮影映像１００に重畳表示されている。
【0122】
図１１Ａに示す撮影映像１００は、通常演出モードが設定された場合に表示エフェクトが重畳表示された例を示す。通常演出モードが設定された場合、ステップＳＰ１６の処理において、複数のフィギュアＦ０１，Ｆ０２，Ｆ０３の種類や形状に対応する表示エフェクトＡＲ０１，ＡＲ０２，ＡＲ０３が取得される。この場合、図１１Ａに示すように、当該表示エフェクトＡＲ０１，ＡＲ０２，ＡＲ０３が撮影映像１００に重畳表示される。
【0123】
これに対し、図１１Ｂ～図１１Ｅに示す撮影映像１００は、特別演出モードが設定された場合に表示エフェクトが重畳表示された例を示す。特別演出モードとして「Ａ」及び「Ｂ」が選択された場合、ステップＳＰ１８の処理において、複数のフィギュアＦ０１，Ｆ０２，Ｆ０３の組み合わせ及び配置関係に対応する表示エフェクトＡＲ１０２が取得される。この場合、図１１Ｂに示すように、表示エフェクトＡＲ１０２が撮影映像１００に重畳表示される。表示エフェクトＡＲ１０２は、例えば背景映像としての虹の映像であって、配置関係に基づき、両端のフィギュアＦ０１とフィギュアＦ０３との間に架け渡されるような位置及び大きさで表示される。
【0124】
また、例えば、配置関係が図６Ｂから図６Ｃのように変化した場合には、ステップＳＰ１８の処理において、図６Ｂの配置関係に対応する表示エフェクトＡＲ１０４と、図６Ｃの配置関係に対応する表示エフェクトＡＲ１０６と、がそれぞれ取得される。この場合、図１１Ｃ及び図１１Ｄに示すように、配置関係の変化に応じて、撮影映像１００における表示エフェクトが、表示エフェクトＡＲ１０４から表示エフェクトＡＲ１０６に切り替えられる。
【0125】
また、例えば、配置関係が図６Ｂから図６Ｃへと変化することにより所定の配置シーケンスが構成された場合には、ステップＳＰ１８の処理において、当該配置シーケンスに対応する表示エフェクトとしてＡＲ１０６が取得されてもよい。この場合、当該配置シーケンスが構成されたことに応じて、図１１Ｄに示すように、表示エフェクトＡＲ１０６が撮影映像１００に重畳表示されてもよい。
【0126】
また、例えば、図１１Ｂに示すように表示エフェクトＡＲ１０２が重畳表示された撮影映像１００がディスプレイ３２Ａに表示された後、所定のタイミングで図１１Ｅに示すようにフィギュアＦ０１，Ｆ０２，Ｆ０３の映像がそれぞれ仮想物体の表示エフェクトＡＲ１０８，ＡＲ１１０，ＡＲ１１２に切り替えられてもよい。この表示エフェクトＡＲ１０８，ＡＲ１１０，ＡＲ１１２は、例えば動画であって、所定の変化をしながら表示される。そして、このような所定の変化をさせた後、所定のタイミングで図１１Ｂに示すように表示エフェクトＡＲ１０８，ＡＲ１１０，ＡＲ１１２がフィギュアＦ０１，Ｆ０２，Ｆ０３の映像に再度切り替えられてもよい。また、これらの表示エフェクトの切り替えは、所定のタイミングに限らず、ユーザの操作等に応じて実行されてもよい。
【0127】
＜作用効果＞
以上、第一実施形態では、コンピュータとしてのユーザ端末１２を、カメラ３４により複数のフィギュアが撮影された場合に、カメラ３４により撮影された撮影映像１００に基づき複数のフィギュアの種類を取得する取得手段５２、取得手段５２により取得された複数の物体の種類の組み合わせと、撮影映像１００内における複数のフィギュアの配置関係と、に基づき、エフェクトデータを決定する決定手段５６、決定手段５６により決定されたエフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させる表示制御手段５８、として機能させる。また、第一実施形態に係るユーザ端末１２は、カメラ３４により複数のフィギュアが撮影された場合に、カメラ３４により撮影された撮影映像１００に基づき複数のフィギュアの種類を取得する取得手段５２と、取得手段５２により取得された複数のフィギュアの種類の組み合わせと、撮影映像１００内における複数のフィギュアの配置関係と、に基づき、エフェクトデータを決定する決定手段５６と、決定手段５６により決定されたエフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させる表示制御手段５８と、を備える。
以上、第一実施形態では、コンピュータとしてのユーザ端末１２を、カメラ３４により複数のフィギュアが撮影された場合に、カメラ３４により撮影された撮影映像１００に基づき複数のフィギュアの種類を取得する取得手段５２、取得手段５２により取得された複数の物体の種類の組み合わせと、撮影映像１００内における複数のフィギュアの配置関係と、に基づき、エフェクトデータを決定する決定手段５６、決定手段５６により決定されたエフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させる表示制御手段５８、として機能させる。また、第一実施形態に係るユーザ端末１２は、カメラ３４により複数のフィギュアが撮影された場合に、カメラ３４により撮影された撮影映像１００に基づき複数のフィギュアの種類を取得する取得手段５２と、取得手段５２により取得された複数のフィギュアの種類の組み合わせと、撮影映像１００内における複数のフィギュアの配置関係と、に基づき、エフェクトデータを決定する決定手段５６と、決定手段５６により決定されたエフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させる表示制御手段５８と、を備える。
【0128】
この構成によれば、組み合わせ及び配置関係に対応したエフェクトデータを付加した撮影映像１００を表示させることができる。これにより、ユーザは、複数のフィギュアを所定の組み合わせで且つ所定の配置関係とすることで、その組み合わせ及び配置関係でしか得られない特有なエフェクトデータを撮影映像１００に付加することができる。また、組み合わせ及び配置関係を変えることで、異なるエフェクトデータを撮影映像１００に付加することができる。このように、状況に応じた多様なエフェクトデータを撮影映像１００に付加することができるので、撮影映像１００の演出の趣向性を高めることができる。
【0129】
また、本実施形態では、決定手段５６は、少なくとも配置関係に基づき、撮影映像１００上に表示させる表示エフェクトの位置又は大きさを決定し、表示制御手段５８は、決定手段５６により決定された位置又は大きさで表示エフェクトを付加した撮影映像１００を表示させる。
【0130】
この構成によれば、表示エフェクトの位置又は大きさを、配置関係に適した位置又は大きさにしたり、配置関係によって多様な位置又は大きさとなるように変化させたりすることができる。
【0131】
また、本実施形態では、決定手段５６は、配置関係が変化する場合に、変化する配置関係に対応する複数のエフェクトデータを決定し、表示制御手段５８は、配置関係の変化に応じて、撮影映像１００に付加するエフェクトデータを、決定手段５６により決定される複数のエフェクトデータのうち一のエフェクトデータに切り替える。
【0132】
この構成によれば、ユーザは、フィギュアの配置関係を変えることによって、撮影映像１００に付加するエフェクトデータを、配置関係に応じたエフェクトデータに切り替えることができる。よって、単に配置関係の変化に追従するようなエフェクトデータではなく、所定の配置関係のときには特有のエフェクトデータとする等、多様なエフェクトデータを撮影映像１００に付加することができ、撮影映像１００の演出の趣向性をより高めることができる。
【0133】
また、本実施形態では、決定手段５６は、変化する順序で変化する配置関係を含む一連のシーケンスを示す配置シーケンスが所定の配置シーケンスである場合に、所定の配置シーケンスに対応するエフェクトデータを決定し、表示制御手段５８は、決定手段５６により決定された所定の配置シーケンスに対応するエフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させる。
【0134】
この構成によれば、ユーザは、所定の配置シーケンスを構成するように複数のフィギュアの配置関係を経時的に変化させることで、所定の配置シーケンスに対応したエフェクトデータとして例えば所定のアニメの再現シーン等を撮影映像１００に付加することができる。よって、所定の配置シーケンスを構成したことに応じて特有のエフェクトデータを撮影映像１００に付加し、撮影映像１００の演出の趣向性をより高めることができる。
【0135】
また、本実施形態では、コンピュータとしてのユーザ端末１２を、複数のエフェクトデータを記憶すると共に、表示制御手段５８によりエフェクトデータを付加した撮影映像１００が表示された場合に、当該撮影映像１００に含まれる複数のフィギュアを示す情報を表示済みフィギュアとして記憶する記憶手段５０、表示済みフィギュアが所定のコレクション条件を満たす場合に、記憶手段５０に記憶された複数のエフェクトデータを変化又は追加する設定を行う設定手段６２、として更に機能させる。
【0136】
この構成によれば、表示済みフィギュアの種類又は数等に応じて、エフェクトデータの選択肢を変化又は追加することができる。よって、より多様なエフェクトデータを撮影映像１００に付加することができる。また、エフェクトデータの選択肢を変化又は追加させたいユーザは、表示済みフィギュアが所定のコレクション条件を満たす種類又は数となるようにフィギュアを収集しようとするため、ユーザのコレクション意欲を高め、フィギュアの購入促進にも繋がる。
【0137】
また、本実施形態では、フィギュアは、可動させること、部位を着脱すること、又は部位を組み替えることによってその形状が可変であり、決定手段５６は、フィギュアの形状が変化する場合に、変化する形状に対応する複数のエフェクトデータを決定し、表示制御手段５８は、形状の変化に応じて、撮影映像１００に付加するエフェクトデータを、決定手段５６により決定された複数のエフェクトデータのうちの一のエフェクトデータに切り替える。
【0138】
この構成によれば、フィギュアの形状の変化に応じて、複数のエフェクトデータのうちの一のエフェクトデータに切り替えることができる。よって、ユーザは、フィギュアの形状を変えることによって、多様なエフェクトデータを撮影映像１００に付加することができる。
【0139】
また、本実施形態では、エフェクトデータは、フィギュアの背景に重畳表示させる背景映像を含み、表示制御手段５８は、背景映像を撮影映像１００に重畳表示させた場合に、カメラ３４により撮影されたフィギュアの映像を仮想物体の映像に切り替え、所定の変化をさせた後に、仮想物体の映像をカメラ３４により撮影されたフィギュアの映像に再度切り替える。
【0140】
この構成によれば、背景映像をフィギュアの背景に重畳表示させた場合に、撮影されたフィギュアを仮想物体の映像に切り替えて所定の変化をさせることで、現実には静止状態のフィギュアが撮影映像１００内で動いているかのように見せることができる。
【0141】
また、本実施形態では、コンピュータとしてのユーザ端末１２を、表示制御手段５８により撮影映像１００に付加したエフェクトデータに基づき、所定のゲームを制御するゲーム制御手段６４、として更に機能させる。
【0142】
この構成によれば、状況に応じた多様なエフェクトデータを所定のビデオゲームに連動させることができる。また、エフェクトデータをビデオゲームに連動させたいユーザは、そのためにまずエフェクトデータを撮影映像１００に付加させるためにフィギュアを収集しようとするため、ユーザのコレクション意欲を高め、フィギュアの購入促進にも繋がる。
【0143】
［第二実施形態］
次に、図１２～図１５を参照して、本発明の第二実施形態について説明する。以下、第一実施形態と同様の構成又は機能については同一の参照符号を付すと共に説明を適宜省略し、第一実施形態と異なる点について詳細に説明する。
次に、図１２～図１５を参照して、本発明の第二実施形態について説明する。以下、第一実施形態と同様の構成又は機能については同一の参照符号を付すと共に説明を適宜省略し、第一実施形態と異なる点について詳細に説明する。
【0144】
＜機能構成＞
第二実施形態に係る拡張現実システムは、第一実施形態に係る拡張現実システム１と同様、記憶手段５０と、取得手段５２と、解析手段５４と、決定手段５６と、表示制御手段５８と、判定手段６０と、設定手段６２と、ゲーム制御手段６４と、を備える。
第二実施形態に係る拡張現実システムは、第一実施形態に係る拡張現実システム１と同様、記憶手段５０と、取得手段５２と、解析手段５４と、決定手段５６と、表示制御手段５８と、判定手段６０と、設定手段６２と、ゲーム制御手段６４と、を備える。
【0145】
第二実施形態では、決定手段５６がエフェクトデータを決定する方法、具体的には決定手段５６が参照する対応関係情報５０Ｃが、第一実施形態とは異なる。第二実施形態では、対応関係情報５０Ｃにおける状況情報が、上記第一実施形態に係る状況情報（フィギュアの種類、フィギュアの形状、組み合わせ、配置関係、配置シーケンス）に加えて又は代えて、位置、期間・天候等の現実世界の状況に関する情報や、撮影位置及び撮影姿勢、カメラワーク等の撮影状況に関する情報を含む。
【0146】
状況情報としての位置とは、所定の位置情報である。当該位置は、三次元の位置ベクトルで決定される三次元空間上の位置であってもよく、三次元空間内における二次元の位置ベクトルで決定される位置すなわち二次元平面上の位置であってもよい。当該位置は、例えば緯度、経度、及び高度を含む座標や、所定の場所を示す場所名で示される。なお、高度は、一定であってもよいし、緯度又は経度によって変更されてもよい。
【0147】
状況情報としての期間・天候とは、所定の期間又は天候を示す情報である。期間は、例えば春夏秋冬といった季節名等の所定の期間を示す名称や、所定の日時等で示される。天候は、例えば晴雨等の所定の天気を示す名称や、降水量や気温等で示される。
【0148】
状況情報としての撮影位置及び撮影姿勢とは、立体的なフィギュアに対するカメラ３４の三次元的な撮影位置及び撮影姿勢を示す情報である。撮影位置とは、フィギュアに対するカメラ３４の相対位置である。撮影姿勢は、フィギュアに対するカメラ３４の向き（方位）や傾き（仰角）である。また、状況情報としてのカメラワークとは、フィギュアに対するカメラ３４のカメラワークであって、カメラの撮影位置及び撮影姿勢が変化する場合に、変化する順序で変化する撮影位置及び撮影姿勢を含む一連のシーケンスを示す情報である。
【0149】
ここで、図１２Ａ～図１２Ｄを参照して、撮影位置及び撮影姿勢について概念的に説明する。図１２Ａ～図１２Ｄは、撮影位置及び撮影姿勢について概念的に説明する図である。なお、図１２Ａ～図１２Ｄでは、一つのフィギュアＦ０１を図示しているが、一つのフィギュアを撮影する場合に限らず、複数のフィギュアを撮影してもよい。複数のフィギュアを撮影した場合には、決定手段５６は、各フィギュアに対する撮影位置及び撮影姿勢に基づき、エフェクトデータを決定してもよいし、複数のフィギュアを一まとまりの物体として認識して、当該物体に対する撮影位置及び撮影姿勢に基づきエフェクトデータを決定してもよい。
【0150】
図１２Ａに示す撮影位置及び撮影姿勢では、フィギュアＦ０１に対して例えば５ｃｍ以内にユーザ端末１２のカメラ３４が位置し、且つ、フィギュアＦ０１の左側面に向かう姿勢でカメラ３４が向けられている。
【0151】
図１２Ｂに示す撮影位置及び撮影姿勢では、フィギュアＦ０１に対して例えば５ｃｍ以内にユーザ端末１２のカメラ３４が位置し、且つ、フィギュアＦ０１の背面に向かう姿勢でカメラ３４が向けられている。
【0152】
図１２Ｃに示す撮影位置及び撮影姿勢では、フィギュアＦ０１に対して例えば５ｃｍ以内にユーザ端末１２のカメラ３４が位置し、且つ、フィギュアＦ０１の右側面に向かう姿勢でカメラ３４が向けられている。
【0153】
図１２Ｄに示す撮影位置及び撮影姿勢では、フィギュアＦ０１に対して例えば５～１０ｃｍの間隔を有してユーザ端末１２のカメラ３４が位置し、且つ、フィギュアＦ０１を俯瞰するようにフィギュアＦ０１の頭部に向かう姿勢でカメラ３４が向けられている。
【0154】
以上のように、フィギュアＦ０１に対するカメラ３４の位置、向き、姿勢等によって、所定の撮影位置及び撮影姿勢が構成される。また、例えばユーザがカメラ３４を動かすことによって撮影位置及び撮影姿勢が変化する場合には、変化する順序で変化する撮影位置及び撮影姿勢を含む一連のシーケンスを示すカメラワークが構成される。例えば予め設定された所定時間内において図１２Ａ、図１２Ｂ、図１２Ｃへと撮影位置及び撮影姿勢が変化した場合、図１２Ａ、図１２Ｂ、図１２Ｃに示す各撮影位置及び撮影姿勢をその変化する順序で含むカメラワークが構成される。
【0155】
図１３Ａ～図１３Ｄは、第二実施形態に係る対応関係情報５０Ｃの構成例を示す図である。図１３Ａ～図１３Ｄに示すように、対応関係情報５０Ｃは、状況情報（位置、期間・天候、撮影位置及び撮影姿勢、カメラワーク）に対応付けて、エフェクトＩＤを格納する。図１３Ａ～図１３Ｄの対応関係情報５０Ｃは、何れもフィギュアの種類が例えば「人間キャラＡ」である場合の例を示す。
【0156】
図６Ａ～図６Ｅや図１３Ａ～図１３Ｄに示す各対応関係情報５０Ｃは、所定の状況情報等によって互いに紐付けられている。例えば、記憶手段５０は、フィギュアの種類に紐付けて、図１３Ａ～図１３Ｄに示す対応関係情報５０Ｃを複数記憶する。なお、記憶手段５０は、フィギュアの種類に限らず、その他の状況情報に紐付けて、図１２Ａ～図１２Ｄに示す対応関係情報５０Ｃを複数記憶してもよい。
【0157】
また、第二実施形態において、解析手段５４は、公知の解析技術を用いて撮影映像１００を解析し、上記映像解析情報に加えて又は代えて、撮影位置及び撮影姿勢を取得する。解析手段５４は、例えばＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）等の公知技術を用いて、撮影位置及び撮影姿勢を推定して取得する。ＶＳＬＡＭでは、ユーザ端末１２のカメラ３４や加速度・方位センサ４４等の所定のデバイスで取得した情報を用いて、カメラ３４で撮影されたフィギュアの特徴点を抽出し、フィギュアの特徴点をリアルタイムに追跡することで、撮影位置及び撮影姿勢を推定する。
【0158】
また、解析手段５４は、例えば所定期間内において撮影位置及び撮影姿勢が変化した場合に、当該撮影位置及び撮影姿勢に基づき、カメラワークを取得する。例えばフィギュアＦ０１に対する撮影位置及び撮影姿勢が、図１２Ａ、図１２Ｂ、図１２Ｃと順次変化した場合、解析手段５４は、図１２Ａ、図１２Ｂ、図１２Ｃに示す各撮影位置及び撮影姿勢をその変化する順序で含む情報をカメラワークとして取得する。
【0159】
また、決定手段５６は、第一実施形態に記載の映像解析情報に加えて又は代えて、現在位置、現実の期間・天候、撮影位置及び撮影姿勢、カメラワーク等に基づき、エフェクトデータを決定する。
【0160】
例えば、決定手段５６は、現在位置を取得し、現在位置に基づきエフェクトデータを決定する。この場合、決定手段５６は、図１３Ａの対応関係情報５０Ｃを参照し、現在位置に一致する又は近似範囲内の所定の位置を特定する。そして、決定手段５６は、当該所定の位置に対応するエフェクトＩＤを特定する。決定手段５６が取得する現在位置とは、カメラ３４によりフィギュアを撮影する際の現在位置すなわち撮影映像１００を撮影しているユーザ端末１２の位置を示す情報である。この現在位置は、例えば、ユーザ端末１２のＧＰＳ受信部４６により受信したＧＰＳ信号に基づく位置測定技術や、ユーザ端末１２のＩＰアドレス等に基づき取得される。
【0161】
また、決定手段５６は、現実の期間・天候を取得し、現実の期間・天候に基づきエフェクトデータを決定する。この場合、決定手段５６は、図１３Ｂの対応関係情報５０Ｃを参照し、現実の期間・天候に一致する又は近似範囲内の所定の期間・天候を特定する。そして、決定手段５６は、当該所定の期間・天候に対応するエフェクトＩＤを特定する。決定手段５６が取得する期間・天候とは、撮影映像１００が撮影された時点での現実世界の期間又は天候を示す情報である。この現実の期間又は天候は、例えばユーザ端末１２のリアルタイムクロックやユーザ端末１２と通信ネットワークＮＴを介して接続されるウェブサイト等から取得される。
【0162】
また、決定手段５６は、解析手段５４から出力された撮影位置及び撮影姿勢に基づき、エフェクトデータを決定する。この場合、決定手段５６は、図１３Ｃに示す対応関係情報５０Ｃを参照し、当該撮影位置及び撮影姿勢に対応するエフェクトＩＤを特定する。
【0163】
また、決定手段５６は、撮影位置及び撮影姿勢が変化する場合には、変化する撮影位置及び撮影姿勢に対応する複数のエフェクトデータを決定する。例えば、決定手段５６は、撮影位置及び撮影姿勢が変化する場合には、上記同様に図１３Ｃの対応関係情報５０Ｃを参照して、変化する撮影位置及び撮影姿勢に対応する複数のエフェクトＩＤを特定する。
【0164】
また、決定手段５６は、カメラワークが解析手段５４から出力された場合に、当該カメラワークが記憶手段５０に記憶された所定のカメラワークであるか否かを判定する。決定手段５６は、例えば、図１３Ｄの対応関係情報５０Ｃを参照する。そして、決定手段５６は、出力されたカメラワークが当該対応関係情報５０Ｃに格納されたカメラワークに相当する場合には、当該判定を肯定判定する。なお、出力されたカメラワークが当該対応関係情報５０Ｃに格納されたカメラワークに相当する場合とは、各カメラワークが一致する場合に限らず、例えば各カメラワークが互いに所定の近似範囲内である場合を含んでもよい。決定手段５６は、当該判定を肯定判定した場合に、当該所定のカメラワークに対応するエフェクトＩＤを特定する。
【0165】
また、決定手段５６は、撮影位置及び撮影姿勢に加えて、その他の状況情報（フィギュアの種類、形状、組み合わせ、現在位置、期間・天候等）に基づき、エフェクトＩＤを特定してもよい。この場合、決定手段５６は、その他の状況情報（フィギュアの種類、形状、組み合わせ、現在位置、期間・天候等）に紐付けられた対応関係情報５０Ｃを参照し、当該撮影位置及び撮影姿勢に対応するエフェクトＩＤを特定する。
【0166】
また、決定手段５６は、解析手段５４から出力された少なくとも撮影位置及び撮影姿勢に基づき、第一実施形態と同様に、撮影映像１００に付加するエフェクトデータの出力態様（位置、大きさ、音量、音の出る方向等）を決定する。
【0167】
また、第二実施形態において、決定手段５６は、特別演出モード「Ｃ」～「Ｅ」が選択された場合に、選択されたモードに対応する対応関係情報５０Ｃを参照して、エフェクトＩＤを特定してもよい。図８に示すように、特別演出モード「Ｃ」は、「撮影位置モード」であって、撮影位置及び撮影姿勢やカメラワークに対応するエフェクトデータを撮影映像１００に付加するモードである。また、特別演出モード「Ｄ」は、「現在位置モード」であって、現在位置に対応するエフェクトデータを撮影映像１００に付加するモードである。また、特別演出モード「Ｅ」は、「期間・天候モード」であって、期間又は天候に対応するエフェクトデータを撮影映像１００に付加するモードである。
【0168】
また、第二実施形態において、判定手段６０は、現在位置と、フィギュアの種類等に対応付けて記憶された位置と、に基づき、撮影映像１００にエフェクトデータを付加させるか否かを判定する。例えば、判定手段６０は、フィギュアの種類に紐付けられた図１３Ａの対応関係情報５０Ｃを参照する。そして、判定手段６０は、決定手段５６により取得される現在位置が、当該対応関係情報５０Ｃに格納された所定の位置に相当するか否かを判定する。なお、現在位置が所定の位置に相当すると場合とは、各位置が互いに一致する場合に限らず、例えば、現在位置を含む所定範囲内に位置が含まれる等、各位置が二次元平面的に所定の近似範囲内である場合を含んでもよい。
【0169】
また、第二実施形態において、表示制御手段５８は、決定手段５６により取得される現在位置が、当該対応関係情報５０Ｃに格納された所定の位置に相当すると判定手段６０により判定された場合に、エフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させる。これに対し、表示制御手段５８は、当該判定を決定手段５６により取得される現在位置が、当該対応関係情報５０Ｃに格納された所定の位置に相当しないと判定手段６０により判定された場合に、エフェクトデータを撮影映像１００に付加せずに当該撮影映像１００を表示させる。
【0170】
また、表示制御手段５８は、撮影位置及び撮影姿勢が変化する場合には、その変化に応じて、撮影映像１００に付加するエフェクトデータを、決定手段５６により決定される複数のエフェクトデータのうちの一のエフェクトデータに切り替える。また、表示制御手段５８は、所定のカメラワークが構成される場合には、当該カメラワークに対応するエフェクトデータを撮影映像１００に付加して撮影映像１００を表示させる。
【0171】
＜処理の流れ＞
第二実施形態に係る拡張現実システムにおける各機能構成が行う処理の流れは、図９に示すフローチャートと同様である。第二実施形態では、図９のステップＳＰ１８における特別演出モードに対応するエフェクトデータを取得する処理が、第一実施形態と異なる。第一実施形態では、図８に示す特別演出モードのうち「Ａ」及び「Ｂ」のモードが選択されている場合の処理の流れを説明したが、第二実施形態では、図８に示す特別演出モードのうち「Ｃ」、「Ｄ」及び「Ｅ」のモードが選択されている場合の処理の流れを説明する。
第二実施形態に係る拡張現実システムにおける各機能構成が行う処理の流れは、図９に示すフローチャートと同様である。第二実施形態では、図９のステップＳＰ１８における特別演出モードに対応するエフェクトデータを取得する処理が、第一実施形態と異なる。第一実施形態では、図８に示す特別演出モードのうち「Ａ」及び「Ｂ」のモードが選択されている場合の処理の流れを説明したが、第二実施形態では、図８に示す特別演出モードのうち「Ｃ」、「Ｄ」及び「Ｅ」のモードが選択されている場合の処理の流れを説明する。
【0172】
第二実施形態において、ステップＳＰ１８の処理の流れは、図１０に示すフローチャートに代えて図１４に示すフローチャートで示される。図１４は、第二実施形態におけるステップＳＰ１８の処理の流れの一例を示すフローチャートである。
【0173】
（ステップＳＰ６０）
決定手段５６は、ステップＳＰ１０の処理で撮影映像１００が取得されている現在位置を取得する。そして、処理は、ステップＳＰ６２の処理に移行する。
決定手段５６は、ステップＳＰ１０の処理で撮影映像１００が取得されている現在位置を取得する。そして、処理は、ステップＳＰ６２の処理に移行する。
【0174】
（ステップＳＰ６２）
判定手段６０は、ステップＳＰ１２の処理において取得されたフィギュアの種類に紐付けられた図１３Ａの対応関係情報５０Ｃを参照する。続いて、判定手段６０は、ステップＳＰ６０の処理で取得された現在位置と、参照した図１３Ａの対応関係情報５０Ｃに格納された位置と、に基づき、エフェクトデータを撮影映像１００に付加するか否かを判定する。当該判定が否定判定されると、処理は、ステップＳＰ６４の処理に移行する。当該判定が肯定判定されると、処理は、ステップＳＰ６６の処理に移行する。
判定手段６０は、ステップＳＰ１２の処理において取得されたフィギュアの種類に紐付けられた図１３Ａの対応関係情報５０Ｃを参照する。続いて、判定手段６０は、ステップＳＰ６０の処理で取得された現在位置と、参照した図１３Ａの対応関係情報５０Ｃに格納された位置と、に基づき、エフェクトデータを撮影映像１００に付加するか否かを判定する。当該判定が否定判定されると、処理は、ステップＳＰ６４の処理に移行する。当該判定が肯定判定されると、処理は、ステップＳＰ６６の処理に移行する。
【0175】
（ステップＳＰ６４）
表示制御手段５８は、エフェクトデータを撮影映像１００に付加せずに当該撮影映像１００をディスプレイ３２Ａに表示させる。そして、図１４に示す一連の処理が終了する。
表示制御手段５８は、エフェクトデータを撮影映像１００に付加せずに当該撮影映像１００をディスプレイ３２Ａに表示させる。そして、図１４に示す一連の処理が終了する。
【0176】
（ステップＳＰ６６）
決定手段５６は、期間・天候を取得する。そして、処理は、ステップＳＰ６８の処理に移行する。
決定手段５６は、期間・天候を取得する。そして、処理は、ステップＳＰ６８の処理に移行する。
【0177】
（ステップＳＰ６８）
解析手段５４は、ステップＳＰ１０の処理で取得された撮影映像１００の解析を逐次行い、撮影位置及び撮影姿勢を取得する。また、解析手段５４は、撮影位置及び撮影姿勢が変化する場合には、カメラワークを取得する。そして、処理は、ステップＳＰ７０の処理に移行する。
解析手段５４は、ステップＳＰ１０の処理で取得された撮影映像１００の解析を逐次行い、撮影位置及び撮影姿勢を取得する。また、解析手段５４は、撮影位置及び撮影姿勢が変化する場合には、カメラワークを取得する。そして、処理は、ステップＳＰ７０の処理に移行する。
【0178】
（ステップＳＰ７０）
決定手段５６は、ステップＳＰ６８の処理でカメラワークが取得された場合に、取得した状況情報（ステップＳＰ１２，ＳＰ６０，ＳＰ６６の処理でそれぞれ取得されたフィギュアの種類、現在位置、期間・天候）に紐付けられた図１３Ｄの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、取得されたカメラワークが、当該対応関係情報５０Ｃに格納された所定のカメラワークであるか否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ７２の処理に移行する。当該判定が否定判定されると、処理は、ステップＳＰ７４の処理に移行する。また、ステップＳＰ６８の処理でカメラワークが取得されていない場合にも、処理は、ステップＳＰ７４の処理に移行する。
決定手段５６は、ステップＳＰ６８の処理でカメラワークが取得された場合に、取得した状況情報（ステップＳＰ１２，ＳＰ６０，ＳＰ６６の処理でそれぞれ取得されたフィギュアの種類、現在位置、期間・天候）に紐付けられた図１３Ｄの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、取得されたカメラワークが、当該対応関係情報５０Ｃに格納された所定のカメラワークであるか否かを判定する。当該判定が肯定判定されると、処理は、ステップＳＰ７２の処理に移行する。当該判定が否定判定されると、処理は、ステップＳＰ７４の処理に移行する。また、ステップＳＰ６８の処理でカメラワークが取得されていない場合にも、処理は、ステップＳＰ７４の処理に移行する。
【0179】
（ステップＳＰ７２）
決定手段５６は、カメラワーク等（カメラワーク、フィギュアの種類、現在位置、及び期間・天候）に対応するエフェクトデータを取得する。具体的には、決定手段５６は、ステップＳＰ７０の処理で参照した図１３Ｄの対応関係情報５０Ｃにおいて、ステップＳＰ７０の処理で肯定判定されたカメラワークに対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１４に示す一連の処理を終了する。
決定手段５６は、カメラワーク等（カメラワーク、フィギュアの種類、現在位置、及び期間・天候）に対応するエフェクトデータを取得する。具体的には、決定手段５６は、ステップＳＰ７０の処理で参照した図１３Ｄの対応関係情報５０Ｃにおいて、ステップＳＰ７０の処理で肯定判定されたカメラワークに対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１４に示す一連の処理を終了する。
【0180】
（ステップＳＰ７４）
決定手段５６は、撮影位置及び撮影姿勢等（撮影位置及び撮影姿勢、フィギュアの種類、現在位置、及び期間・天候）に対応するエフェクトデータを取得する。具体的には、決定手段５６は、取得した状況情報（ステップＳＰ１２，ＳＰ６０，ＳＰ６６の処理でそれぞれ取得されたフィギュアの種類、現在位置、期間・天候）に紐付けられた図１３Ｃの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、ステップＳＰ６８の処理で取得された撮影位置及び撮影姿勢に対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１４に示す一連の処理を終了する。
決定手段５６は、撮影位置及び撮影姿勢等（撮影位置及び撮影姿勢、フィギュアの種類、現在位置、及び期間・天候）に対応するエフェクトデータを取得する。具体的には、決定手段５６は、取得した状況情報（ステップＳＰ１２，ＳＰ６０，ＳＰ６６の処理でそれぞれ取得されたフィギュアの種類、現在位置、期間・天候）に紐付けられた図１３Ｃの対応関係情報５０Ｃを参照する。続いて、決定手段５６は、ステップＳＰ６８の処理で取得された撮影位置及び撮影姿勢に対応するエフェクトＩＤを特定する。続いて、決定手段５６は、図５のエフェクト情報５０Ｂを参照し、特定したエフェクトＩＤに対応するエフェクトデータパスを特定する。続いて、決定手段５６は、当該エフェクトデータパスが示す格納先に記憶されたエフェクトデータを取得する。そして、図１４に示す一連の処理を終了する。
【0181】
＜画面表示例＞
図１５は、第二実施形態において、表示制御手段５８の表示制御によってユーザ端末１２のディスプレイ３２Ａが表示する撮影映像１００の一例を示す図である。
図１５は、第二実施形態において、表示制御手段５８の表示制御によってユーザ端末１２のディスプレイ３２Ａが表示する撮影映像１００の一例を示す図である。
【0182】
例えば、撮影位置及び撮影姿勢が、図１２Ａ、図１２Ｂ、図１２Ｃのように順次変化することにより、フィギュアＦ０１の左側面から背面に回り込み右側面へ移動するような所定のカメラワークが構成された場合に、ステップＳＰ１８の処理において、当該カメラワークに対応する表示エフェクトＡＲ１２０が取得される。この場合、図１５に示すように、当該カメラワークが構成されたことに応じて、表示エフェクトＡＲ１２０が重畳表示された撮影映像１００がディスプレイ３２Ａに表示される。
【0183】
なお、図示はしないが、撮影位置及び撮影姿勢の変化に応じた表示エフェクトの切り替えは、第一実施形態において図１１Ｃ及び図１１Ｄを参照して説明した配置関係の変化に応じた表示エフェクトの切り替えと同様の態様で行われる。すなわち、表示エフェクトの切り替えとは、撮影位置及び撮影姿勢の変化に単に追従するのではなく、撮影位置及び撮影姿勢の変化に応じて全く別の表示エフェクト等にすることを含む。また、第一実施形態と同様、撮影位置及び撮影姿勢に基づく表示エフェクトが重畳表示された撮影映像１００が表示された後、フィギュアＦ０１の撮影映像が仮想物体の表示エフェクトに切り替え表示され、所定の変化後に仮想物体の表示エフェクトを再度フィギュアＦ０１の撮影映像に再度切り替えてもよい。
【0184】
＜作用効果＞
以上、第二実施形態では、決定手段５６は、立体的なフィギュアに対するカメラ３４の三次元的な撮影位置及び撮影姿勢が変化する場合に、撮影位置及び撮影姿勢に基づき、複数のエフェクトデータを決定し、表示制御手段５８は、撮影位置及び撮影姿勢の変化に応じて、映像に付加するエフェクトデータを、決定手段５６により決定される複数のエフェクトデータのうちの一のエフェクトデータに切り替える。
以上、第二実施形態では、決定手段５６は、立体的なフィギュアに対するカメラ３４の三次元的な撮影位置及び撮影姿勢が変化する場合に、撮影位置及び撮影姿勢に基づき、複数のエフェクトデータを決定し、表示制御手段５８は、撮影位置及び撮影姿勢の変化に応じて、映像に付加するエフェクトデータを、決定手段５６により決定される複数のエフェクトデータのうちの一のエフェクトデータに切り替える。
【0185】
この構成によれば、ユーザは、フィギュアの撮影位置及び撮影姿勢を変えることによって、撮影映像１００に付加するエフェクトデータを、撮影位置及び撮影姿勢に応じたエフェクトデータに切り替えることができる。よって、単に撮影位置及び撮影姿勢の変化に追従するようなエフェクトデータではなく、所定の撮影位置及び撮影姿勢のときには特有のエフェクトデータとする等、多様なエフェクトデータを撮影映像１００に付加し、撮影映像１００の演出の趣向性をより高めることができる。
【0186】
また、第二実施形態では、決定手段５６は、変化する順序で変化する撮影位置及び撮影姿勢を含む一連のシーケンスを示すカメラワークが所定のカメラワークである場合に、所定のカメラワークに対応するエフェクトデータを決定し、表示制御手段５８は、決定手段５６により決定された所定のカメラワークに対応するエフェクトデータを撮影映像１００に付加して撮影映像１００を表示させる。
【0187】
この構成によれば、ユーザは、所定のカメラワークを構成するように撮影位置及び撮影姿勢を変化させることで、所定のカメラワークに対応したエフェクトデータとして例えば所定のアニメの再現シーン等を撮影映像１００に付加することができる。よって、経時的に変化させた撮影位置及び撮影姿勢が所定のカメラワークを構成したことに応じて特有のエフェクトデータを撮影映像１００に付加し、撮影映像１００の演出の趣向性をより高めることができる。
【0188】
また、第二実施形態では、決定手段５６は、カメラ３４によりフィギュアを撮影する際の現在位置に基づき、エフェクトデータを決定する。
【0189】
この構成によれば、現在位置に応じて異なるエフェクトデータを撮影映像１００に付加することができる。よって、ユーザは、所定の位置で拡張現実アプリを実行することにより、所定の位置でしか付加されない特有のエフェクトデータが付加された撮影映像１００を見ることができる。
【0190】
また、第二実施形態では、コンピュータとしてのユーザ端末１２を、カメラ３４によりフィギュアを撮影する際の現在位置と、フィギュアの種類に対応付けて記憶された位置と、に基づき、撮影映像１００にエフェクトデータを付加させるか否かを判定する判定手段６０、として更に機能させ、表示制御手段５８は、判定手段６０が肯定判定した場合に、エフェクトデータを撮影映像１００に付加して当該撮影映像１００を表示させ、判定手段６０が否定判定した場合に、エフェクトデータを撮影映像１００に付加せずに当該撮影映像１００を表示させる。
【0191】
この構成によれば、例えば現在位置が記憶された位置に相当しない場合にはエフェクトデータを付加しないようにすることができる。よって、フィギュアの撮影映像１００に対してエフェクトデータを付加して表示することができる場所を所定の位置に限定することができる。
【0192】
また、第二実施形態では、決定手段５６は、現実の期間又は天候に基づき、エフェクトデータを決定する。
【0193】
この構成によれば、現実の期間又は天候に応じて異なるエフェクトデータを撮影映像１００に付加することができる。
【0194】
＜変形例＞
本発明は上記の実施形態に限定されるものではない。すなわち、上記の実施形態に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、上記の実施形態及び後述する変形例が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
本発明は上記の実施形態に限定されるものではない。すなわち、上記の実施形態に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、上記の実施形態及び後述する変形例が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
【0195】
例えば、上記第一実施形態では、組み合わせや配置関係に基づきエフェクトデータを決定する例について説明し、上記第二実施形態では、撮影位置及び撮影姿勢に基づきエフェクトデータを決定する例について説明したが、エフェクトデータを決定するために用いる情報はこれに限らない。例えば、組み合わせや配置関係に加えて、撮影位置及び撮影姿勢に基づきエフェクトデータを決定する等、撮影映像１００の映像解析情報として取得される各種情報の所定の組み合わせに基づき、エフェクトデータを決定してもよい。また、組み合わせや配置関係等の映像解析情報に加えて、現在位置、期間・天候等の現実世界の情報に基づきエフェクトデータを決定してもよい。この場合も、上記実施形態と同様に、所望の現実世界の情報とエフェクトデータとの対応関係を記憶した情報を参照することで、当該情報に対応するエフェクトデータが特定及び取得される。
【0196】
また、上記第一実施形態では、複数のフィギュアを撮影した場合に、組み合わせ及び配置関係に基づきエフェクトデータを決定する例について説明したが、例えば単一のフィギュアを撮影した場合には、単一のフィギュアの撮影映像１００内における配置関係や配置シーケンスに基づき、エフェクトデータを決定してもよい。この場合も、具体的な決定方法は、上記実施形態に記載の複数のフィギュアの場合と同様である。すなわち、撮影映像１００に含まれるフィギュアの撮影映像１００内での位置や向きに応じてエフェクトデータを変化させてもよく、所定時間内に所定の位置及び向きで移動した場合に特有のフェクトデータを撮影映像１００に付加してもよい。
【0197】
また、通常演出モード及び特別演出モードの設定の有無によらず、所定の情報等に基づき自動的に演出方法を変えてもよい。例えば、設定によらず、撮影映像１００の解析結果に応じて自動的にエフェクトデータの決定方法を変えてもよい。この場合、解析結果として撮影映像１００に単一のフィギュアが含まれることが認識された場合には、決定手段５６は、そのフィギュアの種類や形状に対応するエフェクトデータを決定する。これに対し、撮影映像１００に複数のフィギュアが含まれることが認識された場合には、決定手段５６は、その組み合わせや配置関係に対応するエフェクトデータを決定する。また、解析結果として配置関係や撮影位置及び撮影姿勢が変化しないことが認識された場合には、決定手段５６は、その配置関係やその撮影位置及び撮影姿勢に対応するエフェクトデータを決定する。これに対し、解析結果として配置関係や撮影位置及び撮影姿勢が変化することが認識された場合には、決定手段５６は、その変化により構成される配置シーケンスやカメラワークに対応するエフェクトデータを決定する。
【0198】
また、解析手段５４による撮影映像１００の解析方法は、上記方法に限らない。解析手段５４は、例えば、所定の学習済みモデルを用いて撮影映像１００の映像解析を行うことで、映像解析情報を取得してもよい。所定の学習済みモデルは、例えば、事前に収集されたフィギュアの映像や三次元モデルデータを学習データとして、所定の機械学習アルゴリズムに基づき構築され、記憶手段５０に記憶されている。例えば、解析手段５４は、当該学習済みモデルを用いた所定の推論プログラムに撮影映像を入力し、当該推論プログラムによる推論結果として出力された映像解析情報を取得する。
【0199】
また、表示制御手段５８の表示制御によってユーザ端末１２のディスプレイ３２Ａが表示する撮影映像１００を含む表示画面は、上記実施形態で記載した例に限らない。例えば、表示制御手段５８は、撮影映像１００を表示する際に、所定の配置関係、配置シーケンス、撮影位置及び撮影姿勢、カメラワークを示唆する示唆情報を出力してもよい。示唆情報は、例えば所定の表示であってもよく音声等であってもよい。この場合、ユーザは、出力された示唆情報に従ってフィギュアやカメラ３４を動かすことにより、所定の配置関係、配置シーケンス、撮影位置及び撮影姿勢、カメラワークを構成することが可能となる。また、表示制御手段５８は、例えば、ディスプレイ３２Ａに表示された撮影映像１００や表示エフェクトに対するユーザの操作等に応じて、エフェクトデータの出力や切り替えを実行してもよい。
【0200】
【0201】
また、表示エフェクトは、ポリゴン等の三次元モデルに基づく表示エフェクト（画像）であってもよい。この場合、フィギュア等の撮影された物体の向きや奥行き方向に正しく重ねて表示エフェクトを重畳表示させるため、表示エフェクトの配置位置に対して上述のフィギュア等の映像と三次元モデルデータを対応付けた映像解析情報等を利用して、表示エフェクトがフィギュア等の撮影された物体によって隠れる箇所を特定し、この部分を表示しないように表示エフェクトを部分的にマスクする等の部分消去処理を行うようにしてもよい。さらに、表示エフェクトが形状を変えたり移動や変形をするなどのアニメーションをしたり、撮影位置やフィギュア等の撮影される物体の向き等を変更しても、正しく重畳表示されるよう、上記の処理を繰り返し行うようにしてもよい。
【符号の説明】
【0202】
１０：サーバ装置（コンピュータ、情報処理装置）、１２：ユーザ端末（コンピュータ）、３４：カメラ（撮影手段）、５０：記憶手段、５２：取得手段、５６：決定手段、５８：表示制御手段、６０：判定手段、６２：設定手段、６４：ゲーム制御手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図12A】
【図12B】
【図12C】
【図12D】
【図13A】
【図13B】
【図13C】
【図13D】
【図14】
【図15】