特許 6192264 携帯端末装置、端末プログラム、拡張現実感システム、および衣類

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6192264

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】携帯端末装置、端末プログラム、拡張現実感システム、および衣類

(51)【国際特許分類】

   G06T 19/00 20110101AFI20170828BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2012-160019(P2012-160019)

(22)【出願日】2012年7月18日

(65)【公開番号】特開2014-21735(P2014-21735A)

(43)【公開日】2014年2月3日

【審査請求日】2015年4月13日

【審判番号】不服2016-12990(P2016-12990/J1)

【審判請求日】2016年8月30日

(73)【特許権者】

【識別番号】000135748

【氏名又は名称】株式会社バンダイ

(72)【発明者】

【氏名】井上 光隆

【合議体】

【審判長】 清水 正一

【審判官】 篠原 功一

【審判官】 冨田 高史

(56)【参考文献】

【文献】 特開２００３−１２５３６１（ＪＰ，Ａ）

【文献】 特表２００８−５２１１１０（ＪＰ，Ａ）

【文献】 特表２０１０−５１７１２９（ＪＰ，Ａ）

【文献】 酒井陽寿，“ＮＡＢ２００７ 視察レポート 〜ＣＧ・ＶＦＸ系〜”，放送技術，兼六館出版株式会社，２００７年 ７月 １日，第６０巻，第７号，ｐ．７５−７９

【文献】 橋本直，“第９章 ＡＲの仕組みを理解する”，「ＡＲのすべて」，日経ＢＰ社，２００９年 ６月 １日，第１版，ｐ．１６９−１８９

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06T 1/00 - 19/20

G06F 3/048 - 3/0489

(57)【特許請求の範囲】

【請求項1】

少なくとも撮像部と、表示部と、を有し、
前記撮像部が、衣類にプリントされ、または貼付されたキャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する制御部、
を備え、
前記キャラクタの画像を含む演出用画像は、前記キャラクタがポージングした画像であって、
前記制御部は、
前記拡張現実画像として、前記キャラクタがポージングした画像を、前記衣類を身につけた人物の被写体像の隣に表示した記念撮影画像を前記表示部に表示することを特徴とする携帯端末装置。

【請求項2】

請求項１において、
前記制御部は、
前記被写体像の画像サイズに応じて前記演出用画像の画像サイズを変化させる携帯端末装置。

【請求項3】

請求項１または請求項２において、
音声出力部を更に有し、
前記制御部は、
前記演出用画像が前記表示部に表示されると効果音を生成し、前記生成した効果音を前記音声出力部に出力する携帯端末装置。

【請求項4】

特定のキャラクタのデザインがプリントされ、または貼付された衣類と、少なくとも、撮像部と表示部とを有し、前記撮像部により撮影された映像の少なくとも一部のデザインから拡張現実画像を生成して前記表示部に表示する携帯端末装置とからなる拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、
前記コンピュータに、
前記撮像部が前記キャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識する処理と、
前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する処理と、
を実行させ、
前記キャラクタの画像を含む演出用画像は、前記キャラクタがポージングした画像であって、
前記コンピュータに、
前記拡張現実画像として、前記キャラクタがポージングした画像を、前記衣類を身につけた人物の被写体像の隣に表示した記念撮影画像を前記表示部に表示する処理と、
を実行させる端末プログラム。

【請求項5】

特定のキャラクタのデザインがプリントされ、または貼付された衣類と、
少なくとも、撮像部と、表示部とを有し、前記撮像部が、前記キャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する制御部、を備え、
前記キャラクタの画像を含む演出用画像は、前記キャラクタがポージングした画像であって、
前記拡張現実画像として、前記キャラクタがポージングした画像を、前記衣類を身につけた人物の被写体像の隣に表示した記念撮影画像を前記表示部に表示する制御部、を備えた携帯端末装置と、
を有する拡張現実感システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯端末装置、端末プログラム、拡張現実感システム、および衣類等のキャラクタ商品に関する。

【背景技術】

【0002】

プリントＴシャツは、シルクスクリーン等の加工技法を用いて図柄やモチーフ、のイメージを静止画としてＴシャツにプリントしたものである。最近では子供向けに人気キャラクタや人気アニメをプリントしたＴシャツ、バッグ、あるいは玩具等のキャラクタ商品（キャラクタグッズともいう）が市場を賑わしており子供から好評を得ている。

【0003】

一方、携帯端末装置の多機能化が進み、最近では、携帯電話に代わって、インターネット接続を行うネットワーク通信環境を強化したスマートフォンが普及してきた。スマートフォンによれば、市場に流通しているアプリケーションプログラムをダウンロードにより取得することで、データ管理やメール作成のユーティリティ系、天気予報や乗換え案内、グルメ案内、衛星を使用したナビゲーション等の実用系、メモツールや名詞管理等のビジネス系、「Ｓｋｙｐｅ」（登録商標）や「Ｔｗｉｔｔｅｒ」（登録商標）等のコミュニケーション系、あるいはオンラインゲーム等のエンターテイメント系のツールとして幅広いジャンルに渡って便利にカスタマイズすることができる。

【0004】

ところで、従来、人間が知覚する現実環境をコンピュータによって拡張するＡＲ（Augment Reality）技術が知られている。例えば、特許文献１には、拡張現実画像において、現実世界の様子を表す画像に合成されるオブジェクト画像を適切に変化させる技術が紹介されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−２０４０４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記した特許文献１に開示されているように、ＡＲ技術は、３次元位置認識のために用いられるマーカと呼ばれる所定形状の図形を現実世界の中に配置し、撮影機器がそのマーカを含む現実世界を撮影する。したがって、マーカは、撮影された画像内において透視変換された形態で配置される。そして、このマーカに対応付けられたオブジェクトに透視変換技術が適用され、撮影された画像を背景にして得られたオブジェクト画像が合成され、拡張現実画像が生成される。このＡＲ技術により動画や静止画によるＣＧ（Computer Graphics）再生が可能になる。

【0007】

ところで、上記したスマートフォンとプリントＴシャツ等のキャラクタ商品とを連携させることにより、消費者と消費者が購入したキャラクタ商品のデザインと関連した演出用画像とを合成することにより生成される拡張現実画像を再生できれば、そのキャラクタ商品に付加価値を与えることができ、趣向を高めるとともに販売促進効果も得られるはずである。また、これを実現するにあたって高度な透視変換技術を使用することなく、簡易に拡張現実画像を再生したいという要望もある。

【0008】

本発明は、上記した課題を解決するためになされたものであり、消費者が購入したキャラクタ商品のデザインと関連した拡張現実画像を簡易に再生する仕組みを構築することにより、趣向を高め、キャラクタ商品の販売促進効果を得ることができる、携帯端末装置、端末プログラム、拡張現実感システム、およびキャラクタ商品を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の携帯端末装置は、（以下、補正内容がFIXしてから記入。）
本発明の携帯端末装置は、少なくとも、撮像部と、表示部と、を有し、前記撮像部が、衣類にプリントされ、または貼付されたキャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識した前記デザインのそれぞれに対応付けて用意された演出用画像と、前記衣類を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して前記表示部に表示する制御部、を備えている。また、本発明の携帯端末装置は、少なくとも撮像部と、表示部と、を有し、前記撮像部が、衣類にプリントされ、または貼付されたキャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する制御部、を備える。また、本発明の携帯端末装置は、少なくとも撮像部と、表示部と、を有し、前記撮像部が、衣類にプリントされ、または貼付されたキャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する制御部、を備え、前記キャラクタの画像を含む演出用画像は、前記キャラクタがポージングした画像であって、前記制御部は、前記拡張現実画像として、前記キャラクタがポージングした画像を、前記衣類を身につけた人物の被写体像の隣に表示した記念撮影画像を前記表示部に表示する。

【0010】

本発明において、前記制御部は、前記被写体像の画像サイズに応じて前記演出用画像の画像サイズを変化させることが好ましい。

【0011】

本発明において、音声出力部を更に有し、前記制御部は、前記演出用画像が前記表示部に表示されると効果音を生成し、前記生成した効果音を前記音声出力部に出力することが好ましい。

【0012】

本発明の端末プログラムは、特定のキャラクタがプリントされ、または貼付された衣類と、少なくとも、撮像部と表示部とを有し、前記撮像部により撮影された映像の少なくとも一部のデザインから拡張現実画像を生成して前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部が前記キャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識する処理と、前記画像認識した前記デザインのそれぞれに対応付けて用意された演出用画像と、前記衣類を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して前記表示部に表示する処理と、を実行させる。また、本発明の端末プログラムは、特定のキャラクタのデザインがプリントされ、または貼付された衣類と、少なくとも、撮像部と表示部とを有し、前記撮像部により撮影された映像の少なくとも一部のデザインから拡張現実画像を生成して前記表示部に表示する携帯端末装置とからなる拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部が前記キャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識する処理と、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する処理と、を実行させる。また、本発明の端末プログラムは、特定のキャラクタのデザインがプリントされ、または貼付された衣類と、少なくとも、撮像部と表示部とを有し、前記撮像部により撮影された映像の少なくとも一部のデザインから拡張現実画像を生成して前記表示部に表示する携帯端末装置とからなる拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部が前記キャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識する処理と、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する処理と、を実行させ、前記キャラクタの画像を含む演出用画像は、前記キャラクタがポージングした画像であって、前記コンピュータに、前記拡張現実画像として、前記キャラクタがポージングした画像を、前記衣類を身につけた人物の被写体像の隣に表示した記念撮影画像を前記表示部に表示する処理と、を実行させる。

【0013】

本発明の拡張現実感システムは、特定のキャラクタがプリントされ、または貼付された衣類と、少なくとも、撮像部と、表示部とを有し、前記撮像部が、前記キャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識した前記デザインのそれぞれに対応付けて用意された演出用画像と、前記衣類を身につけた人物の被写体像とを合成することにより拡張現実画像を生成し、前記表示部に表示する制御部、を備えた携帯端末装置と、を有する。また、本発明の拡張現実感システムは、特定のキャラクタのデザインがプリントされ、または貼付された衣類と、少なくとも、撮像部と、表示部とを有し、前記撮像部が、前記キャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する制御部、を備えた携帯端末装置と、を有する。また、本発明の拡張現実感システムは、特定のキャラクタのデザインがプリントされ、または貼付された衣類と、少なくとも、撮像部と、表示部とを有し、前記撮像部が、前記キャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記画像認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して前記表示部に表示する制御部、を備え、前記キャラクタの画像を含む演出用画像は、前記キャラクタがポージングした画像であって、前記拡張現実画像として、前記キャラクタがポージングした画像を、前記衣類を身につけた人物の被写体像の隣に表示した記念撮影画像を前記表示部に表示する制御部、を備えた携帯端末装置と、を有する。

【0014】

本発明の衣類は、特定のキャラクタがプリントされ、または貼付された衣類であって、前記キャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記認識したデザインのそれぞれに対応付けて用意された演出用画像と、前記衣類を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示する携帯端末装置からなる拡張現実感システムに使用される。また、本発明の衣類は、特定のキャラクタのデザインがプリントされ、または貼付された衣類であって、前記キャラクタのデザインは、前記キャラクタのデザインを撮影して得た映像の少なくとも一部のデザインを画像認識し、前記認識したデザインのそれぞれに対応付けて用意された前記キャラクタの画像を含む演出用画像を、前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像を生成して表示する携帯端末装置からなる拡張現実感システムにおいて画像認識されるデザインを含む。

【0015】

本発明の衣類は、特定のキャラクタがプリントされ、または貼付された衣類であって、前記プリント、または、貼付されたキャラクタは、前記衣類を身に付けた人物を撮影した携帯端末装置において、撮影された前記衣類を身に付けた人物の被写体像に含まれる前記キヤラクタの画像から画像認識されるデザインを少なくとも一部に含んでおり、前記デザインは、前記携帯端末装置において対応する演出用画像が用意されており、かつ、当該演出用画像は、前記携帯端末装置において前記衣類を身につけた人物の被写体像と合成されることにより拡張現実画像の生成に利用される。また、本発明の衣類は、特定のキャラクタのデザインがプリントされ、または貼付された衣類であって、前記プリント、または、貼付されたキャラクタのデザインは、前記衣類を身に付けた人物を撮影した携帯端末装置において、撮影された前記衣類を身に付けた人物の被写体像に含まれる前記キャラクタのデザインから画像認識されるデザインを少なくとも一部に含んでおり、前記画像認識されるデザインは、前記携帯端末装置において前記キャラクタの画像を含む演出用画像が対応付けて用意されており、かつ、当該演出用画像は、前記携帯端末装置において前記衣類を身につけた人物の被写体像の隣に表示した拡張現実画像の生成に利用されるデザインである。

【発明の効果】

【0016】

本発明によれば、消費者が購入した衣類等のキャラクタ商品のデザインと関連した拡張現実画像を簡易に再生する仕組みを構築することにより、趣向を高め、キャラクタ商品の販売促進効果を得ることができる、携帯端末装置、端末プログラム、拡張現実感システム、およびキャラクタ商品を提供することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る拡張現実感システムのイメージ図である。

【図2】本発明の実施の形態に係る携帯端末装置の内部構成を示すブロック図である。

【図3】本発明の実施の形態に係る携帯端末装置の動作を示すフローチャートである。

【図4】本発明の実施の形態に係る携帯端末装置の動作を画面上で表現した図である。

【発明を実施するための形態】

【0018】

（実施形態の構成）
以下、添付図面を参照して本発明を実施するための実施の形態（以下、単に本実施形態という）について詳細に説明する。

【0019】

図１に、本実施形態に係る拡張現実感システム１００が示されている。図１に示されるように、本実施形態に係る拡張現実感システム１００は、特定のキャラクタがプリントされ、または貼付されたキャラクタ商品１０と、このキャラクタ商品にプリントされたキャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識し、当該画像認識したデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して画面に表示するスマートフォン等の携帯端末装置２０と、からなる。

【0020】

ここでは、キャラクタ商品１０として、戦隊ものヒーロー等のキャラクタがプリントされた子供向けのＴシャツが例示されている。このＴシャツを購入した消費者（ほとんどの場合Ｔシャツを着用する子供の親）は、携帯端末装置２０を用い、商品タグに付属のＱＲコード（登録商標）を読み取ることにより、Ｔシャツ販売事業者、あるいはＴシャツにプリントされたキャラクタの版権を所有する事業者等のサイトから拡張現実画像を再生するアプリケーションプログラム（後述する端末プログラム２６０）を無償でダウンロードにより取得する。

【0021】

そして、消費者は、ダウンロードすることにより取得した端末プログラム２６０を起動することより、そのＴシャツを着用した子供の前身デザインにピントを合わせ、撮影によりキャラクタのデザインを読み込む。この撮影操作のみで、現実には子供だけであるが、例えば、戦闘ポーズをとったヒーローが演出用画像として隣に出現する、子供とヒーローとによる簡単なＡＲ技術を使用した２ショット撮影が可能になる。このとき、携帯端末装置２０は、撮影により得たキャラクタ商品の映像の少なくとも一部のデザインを画像認識し、画像認識したデザインのそれぞれに対応付けて予め用意された演出用画像と、Ｔシャツを着用した子供による被写体像とを合成することによって拡張現実画像を生成して画面上に表示する。

【0022】

図２に本実施形態に係る携帯端末装置２０の内部構成が示されている。図２に示されるように、携帯端末装置２０は、撮像部２１と、表示部２２と、操作部２３と、音声出力部２４と、通信部２５と、記憶部２６と、制御部２７と、を含み構成される。

【0023】

撮像部２１は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子と、その制御回路等により構成されるカメラである。表示部２２は、多数の画素（複数色の発光素子の組み合わせ）を縦横に配して構成される、例えばＬＣＤ（Liquid Crystal Display Device）や有機ＥＬ（Electro-Luminescence）を用いて構成されており、制御部２７により生成され、記憶部２６の所定の領域（ＶＲＡＭ領域）に書き込まれた拡張現実画像を含む表示情報を表示する。

【0024】

操作部２３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー（左右上下）、決定キー、発信キー、撮像キー等、各種の機能が割り当てられたキースイッチを有しており、これらのキーが操作者によって操作された場合に、その操作内容に対応する信号を発生し、これを操作者の指示として制御部２７に出力する。なお、この操作部２３は、位置情報を入力するタッチパネルで実現してもよい。この場合、タッチバネル上に上記したキースイッチ類や拡張現実画像が表示される。

【0025】

音声出力部２４は、制御部２７により生成される効果音を含む音声を出力するスピーカである。通信部２５は、無線通信システムを捕捉し、通信ネットワークに接続される不図示の基地局との間で無線通信を行い、各種データの送受信を行う。ここで、各種データとは、音声通話時の音声データ、メール送受信時のメールデータ、Ｗｅｂ（World Wide Web）閲覧時のＷｅｂページデータ等である。本発明と関係するところでは、この通信部２５により、キャラクタ商品１０に対応した拡張現実画像生成のために必要なデータを事業者のサイト（サーバ）からダウンロードにより取得する。このとき、通信部２５は、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）に準拠したプロトコルにしたがい不図示のサーバとの接続を行う。

【0026】

記憶部２６は、本実施形態に係る端末プログラム２６０が格納されるプログラム領域の他に、作業領域とＶＲＡＭ（Video RAM）領域が割当てられている。作業領域には、制御部２７により生成される拡張現実画像、あるいはインターネット経由で取得される拡張現実画像が都度格納され、ＶＲＡＭ領域には、この拡張現実画像を含む表示情報が描画される。なお、記憶部２６として、例えば、半導体記憶素子、磁気、あるいは光記憶素子が実装される。

【0027】

制御部２７は、撮像部２１が撮影して得た映像の少なくとも一部のデザインを画像認識し、当該画像認識したデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示部２２に表示する機能を有する。このとき、制御部２７は、被写体像の画像サイズに応じて演出用画像の画像サイズを変化させてもよい。また、演出用画像が表示部２２に表示されると効果音を生成し、当該生成した効果音を音声出力部２４に出力してもよい。

【0028】

このため、制御部２７が実行する端末プログラム２６０の構造を機能的に分解して図示すれば、図２に示すように、主制御部２７０と、画像取得部２７１と、画像認識部２７２と、演出制御部２７３と、表示制御部２７４と、からなる。

【0029】

画像取得部２７１は、撮像部２１が、Ｔシャツ等のキャラクタ商品１０にプリントされ、または貼付されるキャラクタのデザインを撮影して得た画像を取り込んで画像認識部２７２に出力する。画像認識部２７２は、画像取得部２７１が取り込んだデザインを画像認識して演出制御部２７３に出力する。演出制御部２７３は、画像認識部２７２で画像認識されたデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品１０を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示部２２に表示する。

【0030】

このとき演出制御部２７３は、実写により得られる被写体像の画像サイズに応じて演出用画像の画像サイズを変化させることができる。また、演出用画像が表示部２２に表示されると効果音を生成し、当該生成した効果音を音声出力部２４に出力してもよい。

【0031】

表示制御部２７４は、演出制御部２７３により生成される拡張現実画像を記憶部２６のＶＲＡＭ領域に描画し、描画した表示情報を表示タイミングに同期して読み出して表示部２２に表示する。

【0032】

なお、主制御部２７０は、制御部２７が、撮像部２１により撮影して得た映像の少なくとも一部のデザインを画像認識し、当該画像認識したデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示部２２に表示するために、上記した画像取得部２７１と、画像認識部２７２と、演出制御部２７３と、表示制御部２７４の各部のシーケンス制御を司る。

【0033】

（実施形態の動作）
以下、本実施形態の携帯端末装置２０の動作について、図３のフローチャートに基づき、更には図１および図４（ａ）（ｂ）の画面構成を参照しながら詳細に説明する。

【0034】

まず、携帯端末装置２０の制御部２７（主制御部２７０）は、電源が投入されると、携帯端末装置２０に端末プログラム２６０がインストール済みか否かを判定する（ステップＳ１０１）。主制御部２７０は、記憶部２６の所定のエリアに割当てられて記憶されるインストールアプリ一覧（不図示）を参照することによりインストール有無の判定が可能である。ここで、未だインストールされていないと判定されると（ステップＳ１０１“ＮＯ”）、主制御部２７０は、その旨を示すメッセージを生成して表示部２２に表示し、消費者に対して端末プログラム２６０の取得を促す。消費者はこのメッセージにしたがい、例えば、図４（ａ）に示すように、商品タグ３０に付属のＱＲコード（登録商標）を読み取る（ステップＳ１０２）。このことにより、端末プログラム２６０が携帯端末装置２０に自動的にダウンロードされ、更に、インストールすることによって記憶部２６のプログラム領域に格納される（ステップＳ１０３）。

【0035】

一方、ステップＳ１０１で、携帯端末装置２０に端末プログラム２６０が既にインストールされていれと判定されると（ステップＳ１０１“ＹＥＳ”）、消費者は、その端末プログラム２６０を立ち上げるための操作を実行する。端末プログラム２６０が起動すると（ステップＳ１０４）、後述するように、キャラクタ商品１０にプリントされたキャラクタのデザインの画像認識、画像認識結果に基づく拡張現実画像の生成が可能になる。

【0036】

端末プログラム２６０が起動すると、消費者は、例えば、図４（ｂ）に示すように、子供が着用したＴシャツの前身にプリントされたキャラクタにフォーカスしてピント合わせを行なう（ステップＳ１０５）。そして、消費者が、操作部２３の撮像キー、または表示部２２の一部領域に割り当てられている撮像ボタンをＯＮすると（ステップＳ１０６“ＹＥＳ”）、主制御部２７０はこれを検知して画像取得部２７１に制御を移す。画像取得部２７１は、撮影部２１が撮像したキャラクタデザインを画像認識部２７２に引渡し、画像認識部２７２は、そのキャラクタのデザインの画像認識を行なう（ステップＳ１０７）。

【0037】

画像認識部２７２によるデザインの画像認識結果は演出制御部２７３に出力される。演出制御部２７３は、画像認識したキャラクタデザインのそれぞれに対応付けて用意された演出用画像を読み込む（ステップＳ１０８）。演出制御部２７３は、読み込んだ演出用画像を、表示制御部２７４経由で表示部２２に表示するにあたり、例えば、図１の両方向矢印で示すように、被写体像の画像サイズに応じて演出用画像の画像サイズを変化させる処理を実行する（ステップＳ１０９）。すなわち、演出制御部２７３は、被写体像の画像サイズが大きい場合は、被写体と携帯端末装置２０との間の撮影距離ｄが近いと判断して演出用画像を相対的に大きな画像サイズで表示する。逆に、被写体像の画像サイズが小さくなっていく場合には演出用画像の画像サイズも相対的に小さくすることにより、Ｔシャツを着用している子供の被写体像に演出用画像の画像サイズを合わせることができる。

【0038】

すなわち、被写体像である子供と携帯端末装置２０との間の距離が近すぎると演出用画像も大きく表示され、表示部２２の有効表示画面領域に演出用画像の全てが写らない。そのため、消費者は、撮影時に撮影距離ｄを調整（バックして撮像）することにより演出用画像を表示部２２の有効表示領域に収める。この場合、子供の画像サイズも合わせて小さくなるため、演出用画像の画像サイズも小さくして被写体像と演出用画像の画像サイズが最適なところで撮影位置の調整を行う。このように、撮影距離ｄにより、被写体像と演出用画像との画像サイズ感を調整している。

【0039】

なお、撮影距離に応じて変化する被写体像の大小判定は、例えば、図１に示すように、撮影距離ｄが２［ｍ］の場合における画像サイズを基準として比較することにより行う。すなわち、被写体である子供の体格と、携帯端末装置２０の撮像部２１として通常使用されるレンズの被写界深度との関係から、撮影距離ｄとして２［ｍ］程度の距離が最適である。

【0040】

続いて消費者により撮像キーがＯＮされ、主制御部２７０がこれを検知すると（ステップＳ１１０“ＹＥＳ”）、演出制御部２７３は、先に撮影位置が調整された演出用画像とＴシャツを着用した子供の被写体像とを合成することにより拡張現実画像を生成して表示制御部２７４に出力する。表示制御部２７４は、演出制御部２７３により生成される拡張現実画像を記憶部２６のＶＲＡＭ領域に描画し、描画した拡張現実画像を表示部２２の表示タイミングに同期して読み出して表示部２２に表示する（ステップＳ１１１）。すなわち、現実に被写体は子供だけであるが、表示部２２の画面上には簡易なＡＲ技術によりヒーローが隣に出現した拡張現実画像による２ショット画像が表示され、あたかもTシャツを着ている子供がヒーローと記念撮影しているかのような画像が表示される。

【0041】

なお、このとき演出制御部２７３は、演出用画像が表示部２２に表示されると効果音を生成し、生成した効果音を音声出力部２４に出力してもよい。このとき、音声出力部２４がその効果音を外界へ出力することによりヒーロー出現感を演出でき、その結果、演出効果が高まる（ステップＳ１１２）。

【0042】

以上説明のように本実施形態に係る携帯端末装置２０によれば、制御部２７は、撮像部２１でキャラクタ商品１０にプリントまたは貼付されたキャラクタを撮影して得た映像のデザインを画像認識し、デザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示部２２に表示する。このため、透視変換技術を必要とすることなく、演出用画像と被写体像とからなる拡張現実画像を簡易に生成することができる。また、消費者が購入したキャラクタ商品のキャラクタと関連した拡張現実画像を表示することによって趣向を高め、キャラクタ商品の販売促進効果を得ることができる。

【0043】

なお、本実施形態に係る端末プログラム２６０は、例えば、図２のブロック図に示すように、特定のキャラクタがプリントされ、または貼付されたキャラクタ商品１０と、少なくとも、撮像部２１と表示部２２とを有し、撮像部２１により撮影された映像の少なくとも一部のデザインから拡張現実画像を生成して表示部２２に表示する携帯端末装置２０とからなる拡張現実感システム１００において、携帯端末装置２０に使用されるコンピュータ（制御部２７）によって制御される端末プログラム２６０である。そして、例えば、図３のフローチャートに示すように、コンピュータ（制御部２７）に、撮像部２１がキャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識する処理（Ｓ１０５〜Ｓ１０７）と、画像認識したデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示部２２に表示する処理（Ｓ１０８〜Ｓ１１１）と、を実行させる。

【0044】

本実施形態に係る端末プログラム２６０によれば、コンピュータ（制御部２７）がこの端末プログラム２６０を逐次読み出し実行することにより、キャラクタ商品１０にプリントまたは貼付されたキャラクタを撮影して得た映像のデザインを画像認識させ、デザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示可能な端末プログラム２６０を提供することができる。このため、透視変換技術を必要とすることなく、演出用画像と被写体像とからなる簡易な拡張現実画像を生成することができる。また、消費者が購入したキャラクタ商品と関連した拡張現実画像を表示することによって趣向を高め、キャラクタ商品の販売促進効果を得ることができる。

【0045】

また、本実施形態に係る拡張現実感システム１００は、例えば、図１に示すように、特定のキャラクタがプリントされ、または貼付されたキャラクタ商品１０と、少なくとも、撮像部２１と、表示部２２とを有し、撮像部２１が、キャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識し、画像認識したデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成し、表示部２２に表示する制御部２７、を備えた携帯端末装置２０と、から構成される。

【0046】

本実施形態に係る拡張現実感システム１００によれば、携帯端末装置２０が、キャラクタ商品１０にプリントまたは貼付されたキャラクタを撮影して得た映像のデザインを画像認識し、デザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することにより拡張現実画像を生成して表示する拡張現実感システム１００を提供することができる。このため、透視変換技術を必要とすることなく、演出用画像と被写体像とからなる拡張現実画像を簡易に生成することができる。その結果、消費者が購入したキャラクタ商品と関連した拡張現実画像を表示することによって趣向を高め、キャラクタ商品の販売促進効果を得ることができる。

【0047】

また、本実施形態に係るキャラクタ商品１０は、例えば、図１、あるいは図４（ａ）（ｂ）に示すように、特定のキャラクタがプリントされ、または貼付されたキャラクタ商品１０である。このキャラクタ商品１０は、キャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識し、認識したデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品１０を身につけた人物の被写体像とを合成して表示する携帯端末装置２０を用いることによって実現される拡張現実感システム１００に使用される。

【0048】

本実施形態に係るキャラクタ商品１０によれば、特定のキャラクタがプリントされ、または貼付されたキャラクタ商品１０により、携帯端末装置２０に、キャラクタを撮影して得た映像の少なくとも一部のデザインを画像認識させ、認識させたデザインのそれぞれに対応付けて用意された演出用画像と、キャラクタ商品１０を身につけた人物の被写体像とを合成することによって拡張現実画像を生成させ、表示させることができる。また、本実施形態に係るキャラクタ商品１０によれば、キャラクタ商品１０にプリント、または、貼付されたキャラクタは、キャラクタ商品１０を身に付けた人物を撮影した携帯端末装置２０において、撮影されたキャラクタ商品１０を身に付けた人物の被写体像に含まれるキャラクタの画像から画像認識されるデザインを少なくとも一部に含んでおり、該デザインは、携帯端末装置２０において対応する演出用画像が用意されており、かつ、該演出用画像は、携帯端末装置２０においてキャラクタ商品１０を身につけた人物の被写体像と合成され、拡張現実画像を生成することができる。本実施形態に係るキャラクタ商品１０によれば、商品の販売促進効果が得られるのは勿論のこと、キャラクタ商品１０のファッション価値はそのまま維持して楽しさだけが倍増し、キャラクタ商品１０を愛用する子供と、携帯端末装置２０を操作する親との間の会話を自然に促すといった派生的効果も得ることができる。

【0049】

なお、上記した本実施形態に係るキャラクタ商品１０として、プリントＴシャツについてのみ例示して説明したが、バッグ、ピンバッチ他、キャラクタが印刷され、あるいは貼付された全ての衣類（衣服）や装身具（装飾品）等、着用、あるいは身につけて使用するもの、玩具や日用品等にも適用が可能である。また、携帯端末装置２０が生成する演出用画像として、静止画のみ例示したが、イラスト、あるいは２次元や３次元アニメーションＣＧ等の動画であってもよい。また、演出用画像としては、キャラクタに対応付けられた画像であれば特に限定されるものではないが、キャラクタがポージングした画像であることが好ましい。それにより、演出用画像と、キャラクタ商品を身につけた人物の被写体像とを合成することによって得られる画像が記念写真のような形になり、興趣性を向上させることができる。また、キャラクタとは、漫画やアニメなどに登場する仮想のキャラクタに限らず、アイドルや俳優などの実在の人物であってもよい。更に、携帯端末装置２０としてスマートフォンを例示したが、撮影機能とインターネット接続環境を有する携帯電話やＰＤＡ（Personal Digital Assistance）、あるいはＰＣ（Personal
Computer）であってもよい。

【0050】

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0051】

１０…キャラクタ商品、２０…携帯端末装置、３０…商品タグ、２１…撮像部、２２…表示部、２３…操作部、２４…音声出力部、２５…通信部、２６…記憶部、２７…制御部、１００…拡張現実感システム、２６０…端末プログラム、２７０…主制御部、２７１…画像取得部、２７２…画像認識部、２７３…演出制御部、２７４…表示制御部。

【図1】

【図2】

【図3】

【図4】