特開 2016-206695 コンテンツ提供用のアプリケーションプログラムおよびコンテンツ提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-206695(P2016-206695A)

(43)【公開日】2016年12月8日

(54)【発明の名称】コンテンツ提供用のアプリケーションプログラムおよびコンテンツ提供方法

(51)【国際特許分類】

   G06F 3/048 20130101AFI20161111BHJP

   G06T 19/00 20110101ALI20161111BHJP

【ＦＩ】

   G06F3/048 651A

   G06T19/00 600

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

【全頁数】12

(21)【出願番号】特願2015-83065(P2015-83065)

(22)【出願日】2015年4月15日

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）平成２６年１２月１５日に、東洋化成株式会社に譲渡 （２）平成２７年１月１６日に、下記のｕｒｌのウェブサイトにて公開 ｈｔｔｐｓ：／／ｉｔｕｎｅｓ．ａｐｐｌｅ．ｃｏｍ／ｕｓ／ａｐｐ／ｅｘｐｒｅｓｓｉｏｎ／ｉｄ８９５７３５２５８？ｌ＝ｊａ＆ｌｓ＝１＆ｍｔ＝８ （３）平成２７年１月２１日に、国際印刷工業株式会社に譲渡 （４）平成２７年１月２２日に、下記のｕｒｌのウェブサイトにて公開 ｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｃｏｍ．ｅｘｐｒｅｓｓｉｏｎｃｌｏｔｈｉｎｇ．ｅｘｐｒｅｓｓｉｏｎ （５）平成２７年１月２３日に、Ｔ−ＡＮＮＥＸ法人化１周年記念パーティに出展 （６）平成２７年１月３０日〜１月３１日に、大阪ＣＯＬＬＡＢＯＲＡＴＩＯＮ ＦＡＩＲ２０１５に出展 （７）平成２７年２月１７日〜２月１９日に、ＩＮＴＥＲＳＴＹＬＥ ｆｅｂｒｕａｒｙ２０１５に出展

(71)【出願人】

【識別番号】511047653

【氏名又は名称】株式会社ウイズ

(74)【代理人】

【識別番号】100142114

【弁理士】

【氏名又は名称】小石川 由紀乃

(72)【発明者】

【氏名】老田 歩

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA08

5B050BA13

5B050CA07

5B050DA01

5B050EA07

5B050EA12

5B050EA24

5B050FA02

5E555AA63

5E555BA04

5E555BA83

5E555BA88

5E555BB04

5E555BC17

5E555BE17

5E555CA42

5E555CB45

5E555CC03

5E555DA23

5E555DB37

5E555DB57

5E555DC24

5E555FA01

(57)【要約】

【課題】驚きや意外感を喚起させることが可能な方法によりコンテンツを提供する。
【解決手段】モデルパターン検出部１３は、所定のモデルパターンが配置された円領域が撮影の対象にされることを前提として、表示装置２に表示される画像からモデルパターンに適合する領域を検出する。この検出に成功すると、仮想画像生成部１４および表示制御部１２の協働処理によって、カメラ１により撮影されている円領域に位置および面の大きさならびに面の向きを適合させて配置された仮想物体がその面の中心を回転中心として軸回転している状態を表す動画像を撮影により生成された画像に重ね合わせて表示する拡張現実表示が開始されると共に、楽曲再生処理部１５による楽曲の再生が開始される。楽曲の再生中にモデルパターンに適合する領域が検出されない状態になると、拡張現実表示および楽曲の再生は中止される。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラの連続撮影により生成される動画像を前記カメラから入力して表示装置に表示する機能と、所定の楽曲データに基づく楽曲を再生してスピーカーから出力させる機能とを有するコンピュータに導入されるアプリケーションプログラムであって、
内部に所定のモデルパターンが配置された円領域が前記カメラの撮影の対象にされることを前提として、前記表示装置に表示される画像から前記モデルパターンに適合する領域を検出する処理を繰り返すモデルパターン検出手段、
前記モデルパターンへの適合領域が検出されていない状態から検出される状態に転じたことに応じて前記楽曲の再生を開始し、この再生中に前記モデルパターンへの適合領域が検出されている状態から検出されない状態に転じたことに応じて前記楽曲の再生を中止する楽曲再生処理手段、
前記モデルパターンへの適合領域が検出されていることを条件に、毎時の検出結果と円盤型の仮想媒体を表すモデルデータとに基づき、前記カメラにより撮影されている円領域に位置および面の大きさならびに面の向きを適合させて配置された前記仮想媒体がその面の中心を回転中心として軸回転している状態を表す動画像を撮影による画像に合わせて表示する拡張現実表示実行手段、
の各手段として前記コンピュータを動作させるコンテンツ提供用のアプリケーションプログラム。

【請求項2】

前記モデルパターンは、前記円領域の中心を取り囲む当該円領域より小さな円の内部に分布するパターンであり、
前記モデルパターン検出手段は、前記モデルパターンのうちの所定の比率以上のパターンに適合する領域が検出されたことをもって、その領域を前記モデルパターンへの適合領域として判別する、
請求項１に記載されたコンテンツ提供用のアプリケーションプログラム。

【請求項3】

表面にあらかじめ定められたモデルパターンが描かれている円盤型の媒体を撮影対象として、カメラに連続撮影を行わせながら当該撮影により生成される動画像を表示装置に表示すると共に、前記表示装置に表示される画像から前記モデルパターンに適合する領域を検出する処理を繰り返し、
前記モデルパターンへの適合領域が検出されていない状態から検出される状態に転じたことに応じて、毎時の検出結果と前記媒体に対応する円盤型の仮想物体を表すモデルデータとに基づき、前記カメラにより撮影されている媒体に位置および面の大きさならびに面の向きを適合させて配置された前記仮想物体がその面の中心を回転中心として軸回転している状態を表す動画像を前記撮影により生成された画像に重ね合わせて表示する拡張現実表示と、所定の楽曲データに基づく楽曲の再生とを開始し、
前記モデルパターンへの適合領域が検出されている状態から検出されない状態に転じたことに応じて前記楽曲の再生および前記仮想現実表示を中止する、
ことを特徴とするコンテンツ提供方法。

【請求項4】

前記カメラによる撮影の対象となる円盤型の媒体は、表面中央の円形またはドーナツ型の領域の内部のパターンを前記モデルパターンとするアナログレコードまたはその模型であって、このモデルパターンのうちの所定の比率以上のパターンに適合する領域が検出されたことをもって、前記円盤型の媒体を表す画像データによるモデルデータを用いた拡張現実表示と前記楽曲の再生とを開始する、請求項３に記載されたコンテンツ提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータが組み込まれた情報処理装置を用いて動画像や楽曲の視聴を可能にするための技術に関する。

【背景技術】

【0002】

スマートフォンやタブレット型端末などの携帯型の情報処理装置の普及やブロードバンド通信技術の進化に伴い、近年は、これら汎用の端末装置に楽曲データや画像データなどのコンテンツデータをダウンロードし、手軽に楽曲や映像を視聴することが可能になっている。

【0003】

この種のコンテンツデータを配信するビジネスに関して、下記の特許文献１に、種々のコンテンツデータが登録されたコンテンツ管理サーバや、需要者の端末装置に専用のアプリケーションプログラムを提供する基盤アプリケーション提供者側装置などを含むコンテンツ提供システムが示されている。さらに特許文献１には、楽曲データを含むコンテンツデータがダウンロードされた端末装置において、楽曲の音データをスピーカーから出力しながら、楽曲データと共にダウンロードされた動画データなどの再生画面を表示部に表示することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２５４２８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載のように、近年では、楽曲と共に動画像を再生することによって視聴者の関心を高める手法が広く用いられているが、楽曲を提供するアーティストや制作者らの中には、そのような一般的手法とは異なるアピール方法を模索する人々がいる。また、音楽分野に限らず、様々なビジネスにおいても、顧客が強く惹き付けられるような営業ツールを求める声がある。

【0006】

本発明は上記の問題に着目してなされたもので、人々に驚きや意外感を喚起させることが可能な方法によりコンテンツを提供することを課題とする。

【課題を解決するための手段】

【0007】

本発明は、カメラの連続撮影により生成される動画像をカメラから入力して表示装置に表示する機能と、所定の楽曲データに基づく楽曲を再生してスピーカーから出力させる機能とを有するコンピュータに導入され、以下に示すモデルパターン検出手段、楽曲再生処理手段、拡張現実表示実行手段の機能を当該コンピュータに付与するアプリケーションプログラムを提供する。

【0008】

モデルパターン検出手段は、内部に所定のモデルパターンが配置された円領域がカメラの撮影の対象にされることを前提として、表示装置に表示される画像からモデルパターンに適合する領域を検出する処理を繰り返す。楽曲再生処理手段は、モデルパターンへの適合領域が検出されていない状態から検出される状態に転じたことに応じて楽曲の再生を開始し、この再生中にモデルパターンが検出されている状態から検出されない状態に転じたことに応じて楽曲の再生を中止する。

【0009】

拡張現実表示実行手段は、モデルパターンへの適合領域が検出されていることを条件に、毎時の検出結果と円盤型の仮想媒体を表すモデルデータとに基づき、カメラにより撮影されている円領域に位置および面の大きさならびに面の向きを適合させて配置された前記仮想媒体がその面の中心を回転中心として軸回転している状態を表す動画像を撮影による画像に重ね合わせて表示装置に表示する。

【0010】

上記のアプリケーションプログラムによれば、モデルパターンが描かれた円盤型の物体やモデルパターンを含む円が描かれた紙片などを媒体として用意してカメラによる撮影を開始し、表示装置の画面の中に上記の媒体のモデルパターンが含まれるようにすることによって、画面に現れている円領域が円盤型の仮想物体に変化してその中心を回転中心として軸回転する拡張現実表示と共に楽曲の再生が開始される。再生の途中で現実の媒体を動かしても、モデルパターンに適合する領域が検出されている間は、仮想媒体の画像の表示範囲や形態を現実の媒体の動きに追随させながら楽曲の再生を続けることができる。しかし、モデルパターンがカメラの視野から外れて検出されない状態になると、楽曲の再生や拡張現実表示は中止される。

【0011】

本発明の一実施形態では、円領域の中心を取り囲む当該円領域より小さな円の内部に分布するパターンをモデルパターンとして、このモデルパターンのうちの所定の比率以上のパターンに適合する領域が検出されたことをもって、その領域をモデルパターンへの適合領域として判別する。

【0012】

上記の実施形態によれば、モデルパターンを含む円のうちの一部がカメラの視野に入ったことをもって、楽曲の再生や拡張現実表示を開始することができる。また、それぞれ特有の特徴を有する複数のパターンが円の中にバランス良く配置されるようにモデルパターンを設計することによって、モデルパターンのどの部分がカメラの視野に入った場合でも、その部分を精度良く検出して、仮想物体の画像を実際の円領域の画像に適合させることができる。

【0013】

本発明において、撮影対象の媒体を円盤型とし、この媒体そのものを表す画像データをモデルデータとして用いて拡張現実表示を行うようにすれば、ユーザに、あたかも撮影中の媒体が回転を開始し、その回転によって楽曲が再生されているような印象を与えることができる。特に、楽曲を再生するための従前のツールとして広く知られているアナログレコードを想起させるデザインの円盤型の物体または実物のアナログレコードを媒体とすれば、ユーザを大いに驚かせることができ、興趣の高い演出を行うことができる。

【発明の効果】

【0014】

本発明によれば、円領域の内部に配置されているモデルパターンを撮影することによって、表示画面の中の円領域に対応する部分を円盤型の仮想物体の画像に置き換え、この仮想物体の画像の回転に合わせて楽曲を再生することができる。よって、撮影による画像の表示画面を見ている人に大きな驚きや意外感を喚起させることができる。

【図面の簡単な説明】

【0015】

【図1】本発明のアプリケーションプログラムによるコンテンツ提供システムの構成を示す機能ブロック図である。

【図2】撮影対象の媒体の一例を示す正面図である。

【図3】上記の媒体の撮影により表示される画面の変遷例を示す説明図である。

【図4】拡張現実表示が行われているときの画面の例を示した説明図である。

【図5】処理の概略手順を示すフローチャートである。

【発明を実施するための形態】

【0016】

図１は、本発明によるアプリケーションプログラムにより情報処理装置１００に設定されるコンテンツ提供システム１０の機能を、当該情報処理装置１００が有するハードウェアとの関係と共に表したものである。この実施例の情報処理装置１００は、無線通信によりインターネットに接続することが可能であって、動画撮影機能を有するカメラ１と、表示装置として機能するタッチパネル２と、楽曲を再生するためのスピーカー３とを備える携帯型の装置（スマートフォン、タブレット型端末など）である。

【0017】

コンテンツ提供システム１０は、画像入力部１１，表示制御部１２，モデルパターン検出部１３，仮想画像生成部１４，楽曲再生処理部１５，楽曲データ取得部１６，モデルデータ記憶部１７などを有する。モデルデータ記憶部１７には、後述するモデルパターンを含むモデルデータが登録されている。

【0018】

画像入力部１１は、カメラ１に連続撮影を行わせながら、カメラ１から出力されたカラー動画像データを入力する。この動画像データを構成する各フレームのカラー画像データ（ｒ，ｇ，ｂの各色要素毎の画像データを組み合わせたもの）により示される画像を、以下、「カメラ画像」という。毎時のカメラ画像は、表示制御部１２によってタッチパネルに表示されると共に、モデルパターン検出部１３により、モデルデータ記憶部１７に登録されているモデルパターンと照合される。なお、この照合には、カラー画像から変換されたモノクロ濃淡画像またはカラー画像の明暗の度合いを所定のしきい値により処理した２値画像を用いてもよい。

【0019】

上記の照合によりカメラ画像からモデルパターンが検出された場合には、仮想画像生成部１４と表示制御部１２との協働処理によって、後述する仮想モデルの動画像をカメラ画像に重ね合わせた拡張現実表示が実施されると共に、楽曲再生処理部１５による楽曲の再生処理が実施される。再生対象の楽曲データは、楽曲データ取得部１６によって、あらかじめ、または再生の直前に、インターネット内のウェブサーバ５からダウンロードされる。ただし、ダウンロードしたものに限らず、アプリケーションプログラムに楽曲データを組み込んで、このデータに基づく楽曲再生処理を行うことも可能である。

【0020】

上記の拡張現実表示や楽曲の再生を行うには、モデルパターンをカメラ１により撮影する必要がある。具体的に、この実施例では、図２に示すような媒体ＭＤを撮影の対象としている。この媒体ＭＤは、ＥＰ盤のアナログレコードの紙模型であって、表面の中央の穴に沿うドーナツ型の領域Ｒの内部に、文字や図柄が描かれている。

【0021】

この媒体ＭＤは、文字や図柄を含む全体構成を表す画像を紙シートに印刷し、その印刷範囲を切り抜くことにより作成されたものである。図１に示したモデルデータ記憶部１７には、媒体ＭＤを表す画像データ（実際の媒体ＭＤの表面を同一の大きさで再現できるもの）がモデルデータとして登録され、ドーナツ型領域Ｒの全体画像（当該領域Ｒ内の文字および図柄ならびに背景部分を含むドーナツ型のパターン）がモデルパターンに設定されている。

【0022】

モデルパターン検出部１３は、上記のモデルデータが示す仮想の媒体（以下、「仮想モデル」という。）を、位置や向きを種々に変更しながら仮想空間に配置し、各配置による仮想モデルをカメラ１の座標系に投影し、生成された投影像のモデルパターンと画像入力部１１から取得したカメラ画像とを照合する。この照合処理において所定の配置による仮想モデルのモデルパターンに適合するパターンが見つかると、モデルパターン検出部１３はモデルパターンの検出に成功したと判別する。なお、仮想モデルを投影しながら毎時の投影像のモデルパターンとカメラ画像とを照合する方法に代えて、モデルパターンの各種の投影像をあらかじめモデルデータ記憶部１７に登録しておき、これらの登録データによる照合処理を順に実施するようにしてもよい。

【0023】

具体的にこの実施例では、ドーナツ型のモデルパターンの投影像の中の所定の比率以上の範囲に対して、カメラ画像からあらかじめ定めた値を上回る類似度を有する領域が見つかったことをもって、その領域をモデルパターンへの適合領域として、モデルパターンの検出に成功したと判別する。

【0024】

仮想画像生成部１４は、モデルパターンの検出に成功したと判別されたときの配置による仮想モデルを、その面の中心（中央の穴の中心）を回転中心として軸回転させながらカメラ１の座標系に投影する。この投影によって仮想モデルが回転する状態を表す動画像が生成され、この動画像が表示制御部１２によりカメラ画像に重ねられて表示される。

【0025】

仮想空間に配置された仮想モデルは媒体ＭＤの全体像を示すものであり、カメラ１の座標系にも全体像を投影することができるが、タッチパネル２の画面に表示されるのは、カメラ１の撮像素子に対応する範囲に投影される部分のみとなる。投影される仮想モデルは、モデルパターン検出部１３による検出結果に基づき、現実空間の媒体ＭＤに位置および面の大きさならびに面の向きを適合させた状態で配置されているので、両者のモデルパターンが位置合わせされているときの仮想モデルの表示範囲は、カメラ画像における媒体ＭＤの表示範囲にほぼ一致する。仮想モデルの回転に伴って、そのモデルパターンが媒体ＭＤのモデルパターンからずれた場合でも、実際の媒体ＭＤの画像に変化がなければ、仮想モデルの面の向きや中心点の位置は一定に維持されるので、媒体ＭＤの画像に対応する範囲にその範囲に適合する仮想モデルの画像が重ねられる状態が続く。したがって、タッチパネル２の画面は、実際の媒体ＭＤの画像がその画像に適合する部分の仮想モデルの動画像に置き換えられるほかは、カメラ１により撮影されている現実空間の画像を表すものとなる。

【0026】

図３は、図２に示した媒体ＭＤが撮影されたときに生じるタッチパネル２の画面２０の変遷の例を示す。図３（１）の画面は、媒体ＭＤのドーナツ型領域Ｒを含まない端縁部が撮影されているときの画面であって、実際の媒体ＭＤの画像ＭＤ０が現れると共に、画面の適所に「マーク検出中・・・」というメッセージが表示されている。

【0027】

図３（２）は、ユーザがカメラ１または媒体ＭＤを動かして、ドーナツ型領域Ｒのうちのある程度の範囲がカメラ１の視野に含まれる状態になったときの画面２０である。この時点でモデルパターン検出部１３がモデルパターンの検出に成功し、画面２０の中の画像ＭＤ０が回転する仮想モデルの画像ＭＤ１に置き換えられると共に、楽曲の再生が開始される。

【0028】

この後も、モデルパターン検出部１３によるモデルパターンの検出が繰り返し行われ、仮想画像生成部１４は、毎回の検出結果に従って仮想空間に仮想モデルを配置して動画像を生成する。したがって、カメラ１または媒体ＭＤが動かされてカメラ画像中の媒体ＭＤの画像ＭＤ０の位置や大きさが変化した場合でも、仮想モデルの画像ＭＤ１をその変化に追随させることができる。

【0029】

図３（３）は、図３（２）の画面２０を見たユーザが、カメラ１を含む情報処理装置１００の機体を媒体ＭＤから遠ざけて、媒体ＭＤの全体がカメラ１の視野に含まれるようにした場合に表示される画面２０である。この画面２０での仮想モデルの画像ＭＤ１は、媒体ＭＤの全体が回転している状態を示すもので、その表示の範囲は、カメラ画像における媒体ＭＤの画像ＭＤ０の表示範囲に適合している。

【0030】

画面２０が図３（２）の状態から図３（３）の状態に移行する間も、毎時の画面２０における仮想モデルの画像ＭＤ１は、実際の媒体ＭＤの画像ＭＤ０と同様の変化を示しながら回転し、楽曲の再生も途切れずに続く。

【0031】

この実施例では、円盤型の媒体ＭＤの面の中央の穴を取り囲むドーナツ型領域Ｒの中の全体画像をモデルパターンとし、このモデルパターンのうちの所定比率以上となる範囲のパターンが検出されたことをもってモデルパターンが検出されたと判別するので、図３の例に示したように、モデルパターンのある程度の範囲が撮影された時点から仮想モデルによる拡張現実表示や楽曲の再生を開始することができる。またドーナツ型領域Ｒの中の余白を少なくして、各所のパターンに特有の特徴をもたせることによって、モデルパターンのどの部分が撮影された場合でもその部分を精度良く検出することができる。

【0032】

このようにモデルパターンの検出について高い精度を確保することによって、仮想モデルの画像ＭＤ１の表示範囲や形態を実際の媒体ＭＤの画像ＭＤ０に精度良く合わせることができ、カメラ１と媒体ＭＤとの関係の変化にも画像ＭＤ１を追随させることができる。よって、撮影をしながら画面を見ているユーザに、あたかも撮影しているアナログレコードの模型（媒体ＭＤ）が回転して、その回転により楽曲が再生されているように感じさせることができ、ユーザに驚きや意外感を喚起させることができる。

【0033】

また、モデルパターン検出部１３の処理において、仮想空間における仮想モデルの位置や向きを細かく変更しながらその投影像とカメラ画像とを照合すれば、媒体ＭＤが正面から撮影された場合に限らず、斜めから撮影された場合でも、モデルパターンを検出することができる。そして、検出結果に基づき、仮想モデルの画像ＭＤ１を撮影の方向から見える状態にして表示することができる（図４（１）を参照。）。

【0034】

カメラ１に媒体ＭＤを接近させたために、カメラの視野の大半を媒体ＭＤが占める状態やカメラの視野全体が媒体ＭＤに対応する状態になった場合も、カメラ画像にモデルパターンが明瞭に現れていれば、仮想モデルの画像ＭＤ１を実際の媒体ＭＤの画像ＭＤ０と同様の状態にして表示することができる（図４（２）（３）を参照。）。

【0035】

図５は、図１に示したコンテンツ提供システム１０による処理の概略手順を示すフローチャートである。この手順は本システム１０の起動に応じて開始され、ユーザによる終了操作により中止されるかステップＳ９に進むまで、カメラ画像の入力（ステップＳ１）とモデルパターンの検出（ステップＳ２）とが繰り返されながら、モデルパターンが検出されたか否かによってその後の処理が切り替えられる。

【0036】

具体的には、モデルパターンが検出できない状態が続いている間は、ステップＳ３およびステップＳ６が「ＮＯ」となってステップＳ８に進む流れが繰り返されて、タッチパネル２にはカメラ画像のみが表示される。所定の時点でモデルパターンの検出に成功すると、ステップＳ３が「ＹＥＳ」となってステップＳ４に進むことにより、カメラ画像に仮想モデルの画像ＭＤが重畳されることによる拡張現実表示と楽曲の再生とが開始される。

【0037】

この後も、モデルパターンが検出される状態が続く間は、毎回のステップＳ３が「ＹＥＳ」となってステップＳ４が実行される。なお、コンテンツ提供システム１０の動作環境によっては、毎回のサイクルでのモデルパターンの検出に応じて生成された仮想モデルの画像ＭＤが、１〜数フレーム後のカメラ画像に重畳される可能性があるが、人の目で見て認識できるほどのずれは生じない。

【0038】

所定の時点でカメラ１または媒体ＭＤが動かされて、モデルパターンが検出されている状態から検出できない状態に転じると、ステップＳ３が「ＮＯ」、ステップＳ６が「ＹＥＳ」となって、ステップＳ７に進み、拡張現実表示および楽曲の再生が中止される。この後はステップＳ８に進むので、タッチパネル２の画面は現実の画像（カメラ画像のみ）を表示する状態に戻る。

【0039】

この後に再びモデルパターンが検出される状態になると、拡張現実表示や楽曲の再生も、再び開始される。この場合の楽曲の再生は楽曲を最初から再生するものであってもよいが、ステップＳ７で楽曲の再生を中止するときにその中止位置を保存しておき、その中止位置から楽曲の再生を開始するようにしてもよい。

【0040】

モデルパターンが検出されている状態が維持されている場合でも、楽曲データに基づく楽曲の再生が終了すると、ステップＳ５が「ＹＥＳ」となってステップＳ９に進み、拡張現実表示を終了する。この実施例では、ステップＳ９の実行をもって処理終了となり、その後は、楽曲の提供者であるアーティストの紹介サイトや楽曲の購入用サイトやスポンサーの広告サイトなどへの自動的なアクセスが行われて、タッチパネル２の表示が拡張現実表示の画面からアクセス先のサイトの画面を表示する状態に切り替えられる。

【0041】

ただし、楽曲の再生が終了した後も、拡張現実表示を続けながら、再び最初から楽曲を再生したり、楽曲データ取得部１６により新たな楽曲データを取り込んで、その楽曲データによる再生処理を開始するようなアルゴリズムを設定してもよい。

【0042】

以下、コンテンツ提供システム１０に関する他の実施形態について簡単に説明する。上記の実施例では、図２に示す媒体ＭＤが撮影されることを前提に、この媒体ＭＤの構成を表すモデルデータをモデルデータ記憶部１７に登録したが、複数の媒体の中のいずれかが使用される可能性がある場合には、モデルデータ登録部１７にも、各媒体に対応するモデルデータが登録される。この場合のモデルパターン検出部１３は、アプリケーション１０の起動直後に、照合対象のモデルデータを順に切り替えてそれぞれのモデルパターンとの照合を行い、いずれかのモデルパターンの検出に成功した後は、そのモデルパターンのみを対象にした検出処理を繰り返す。この処理に連動して楽曲再生処理部１５が、検出されたモデルパターンによって異なる楽曲データを再生するようにすれば、各媒体ＭＤをそれぞれ個別の楽曲を提供するツールとすることができる。

【0043】

上記のように複数の媒体のモデルデータが必要となる場合や使用する媒体が変更される場合には、適宜、ウェブサーバ５との通信により、モデルデータ記憶部１７の登録情報を更新するようにしてもよい。ただし、媒体が１つのみの場合も含め、モデルデータをアプリケーション１０に登録することは必須の事項ではなく、アプリケーション１０を起動する都度、ウェブサーバ５からモデルデータを取り込み、そのモデルデータをモデルパターン検出部１３や仮想画像生成部１４の処理に使用するようにしてもよい。

【0044】

つぎに、媒体ＭＤに関する他の実施形態について説明する。上記の実施例では、中央に比較的大きな穴が空いたアナログレコードの模型を媒体として、この穴を取り囲むドーナツ型領域Ｒの全体画像をモデルパターンに設定したが、穴の小さなＬＰ盤のアナログレコードや穴のないコンパクトディスク（ＣＤ）の模型を媒体として、その媒体の中心から所定距離までの範囲に文字や図柄などによるパターンを描いて、これらのパターンを含む円内の画像をモデルパターンとしてもよい。その場合にも、それぞれ固有の特徴を有する複数のパターンを円の中にバランス良く配置することによって、モデルパターンのどの部分が撮影された場合でも、その部分を精度良く検出することができる。

【0045】

媒体ＭＤは、単なる模型としてのみでなく、所定の目的で使用されるもの（たとえばコースターやチラシ）であってもよい。また媒体ＭＤは円盤型に限らず、たとえばアナログレコードの画像が描かれた矩形状の紙片を媒体としてもよい。いずれの形態でも、媒体ＭＤを形成する材料は紙に限らず、プラスチックや布や金属などの材料を、適宜、選択して作成することができる。

【0046】

模型ではなく、実物のアナログレコードやモデルパターンとなる図柄等が描かれたシートが貼られたＣＤを媒体としてもよい。この場合、実際に楽曲データが格納されたディスクを単に撮影するだけで、ディスクが回転して楽曲が再生されるという演出が行われるので、興趣をより一層高めることができる。また、これらに実際に格納されている楽曲データを再生することによって、店頭などでの試聴の目的に使用することもできる。

【0047】

上記の実施例では、撮影される媒体ＭＤと同じ形態の仮想モデルを用いて拡張現実表示を行ったが、これに限らず、たとえば、媒体ＭＤとは形態が異なる仮想モデル（たとえばモデルパターンとは異なる図柄を有するもの）を用いてもよい。ただし、この場合には、媒体ＭＤに描かれるモデルパターンを仮想モデルのモデルデータとは別個のデータとする必要がある。さらに拡張現実表示については、仮想モデルの画像ＭＤ１のほかに、その周囲に他の仮想物体の投影像を表示してもよい。

【0048】

上記に説明したコンテンツの提供方法は、スマートフォンやタブレット型端末のようなカメラが内蔵されたタイプの情報処理装置に限らず、ディジタルカメラが接続されたパーソナルコンピュータにより実施することも可能である。パーソナルコンピュータやタブレット型端末を用いる場合には、プロジェクタや大型スクリーンなどの外部表示装置や外付けのスピーカーを接続することによって、プロモート用のプレゼンテーションに利用することもできる。

【符号の説明】

【0049】

１ カメラ
２ タッチパネル（表示装置）
３ スピーカー
１０ コンテンツ提供システム（アプリケーションプログラム）
１１ 画像入力部
１２ 表示制御部
１３ モデルパターン検出部
１４ 仮想画像生成部
１５ 楽曲再生処理部
１６ 楽曲データ取得部
１７ モデルデータ記憶部
２０ タッチパネルの画面
１００ 情報処理装置
ＭＤ 媒体
ＭＤ０ 媒体の画像
ＭＤ１ 仮想モデルの画像

【図1】

【図2】

【図3】

【図4】

【図5】