IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 合同会社Straidの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-13
(45)【発行日】2024-06-21
(54)【発明の名称】情報システムおよび通信端末
(51)【国際特許分類】
   G06T 19/00 20110101AFI20240614BHJP
   G06F 3/01 20060101ALI20240614BHJP
   H04L 67/02 20220101ALI20240614BHJP
【FI】
G06T19/00 600
G06F3/01 510
H04L67/02
【請求項の数】 5
(21)【出願番号】P 2023216451
(22)【出願日】2023-12-22
(62)【分割の表示】P 2023092578の分割
【原出願日】2023-06-05
(65)【公開番号】P2024074297
(43)【公開日】2024-05-30
【審査請求日】2024-01-29
(31)【優先権主張番号】P 2022184503
(32)【優先日】2022-11-18
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第30条第2項適用 令和4年9月13日にhttps://service.kototama-ar.com/にて公開。
【早期審査対象出願】
(73)【特許権者】
【識別番号】522452178
【氏名又は名称】合同会社Straid
(74)【代理人】
【識別番号】110002273
【氏名又は名称】弁理士法人インターブレイン
(72)【発明者】
【氏名】武林 勝太郎
【審査官】淀川 滉也
(56)【参考文献】
【文献】特開2006-227838(JP,A)
【文献】中国特許出願公開第114332432(CN,A)
【文献】特開2019-153191(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
H04L 67/02
(57)【特許請求の範囲】
【請求項1】
ウェブブラウザを表示可能な通信端末と、サーバを備え、
前記通信端末は、
物体を撮像する撮像部と、
前記サーバに前記物体のライブビュー画像としての撮像画像を送信する画像送信部と、を含み、
前記サーバは、
撮像画像を受信する画像受信部と、
物体の形状に応じた処理を実行するためのスクリプトを前記通信端末に送信するスクリプト送信部と、を含み、
前記通信端末は、
前記サーバから前記スクリプトを受信するスクリプト受信部と、
ウェブブラウザ上で前記スクリプトを実行することにより、前記物体のライブビュー表示と時間的に並行して、前記スクリプトにより指定される処理結果を出力するスクリプト実行部と、を含む、情報システム。
【請求項2】
前記サーバは、更に、
物体の形状とデジタル情報を対応づけて格納するデータ格納部、を含み、
前記スクリプト送信部は、前記スクリプトとともに前記物体の形状に対応づけられるデジタル情報を前記通信端末に送信し、
前記通信端末の前記スクリプト実行部は、
前記受信されたデジタル情報により指定される付加画像を、前記物体の撮像画像上に重畳表示させる、請求項1に記載の情報システム。
【請求項3】
前記物体には、前記サーバのアドレス情報を含むタグが設置されており、
前記通信端末は、更に、
タグから、前記サーバのアドレス情報を読み取るデータ取得部、を含み、
前記画像送信部は、前記読み取られたアドレス情報に基づいて、前記サーバに物体の撮像画像を送信する、請求項1に記載の情報システム。
【請求項4】
前記サーバの前記スクリプト送信部は、前記撮像画像に含まれる物体としての顔画像から、前記物体の形状の一種として特定される顔画像の属性に応じた処理を実行するためのスクリプトを送信する、請求項1に記載の情報システム。
【請求項5】
物体を撮像する撮像部と、
サーバに前記物体のライブビュー画像としての撮像画像を送信する画像送信部と、を含み、
前記サーバから物体の形状に応じた処理を実行するためのスクリプトを受信するスクリプト受信部と、
ウェブブラウザ上で前記スクリプトを実行することにより、前記物体のライブビュー表示と時間的に並行して、前記スクリプトにより指定される処理結果を表示するスクリプト実行部と、を含む、通信端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末においてデジタル・コンテンツを再現するための技術、に関する。
【背景技術】
【0002】
プレゼントとして物品を渡すことは広く行われている。こうして渡される物品は、キーホルダーのような安価なものから、フィギュア(人形)やぬいぐるみ、食料品などさまざまである。物品を渡すときには、感謝の気持ちを表すためのメッセージカードが添えられることも多い。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2022-120533号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
また、近年では、スマートフォンの高機能化と普及により、電子ギフトが贈られる機会も増えている。しかし、電子ギフトを送受するためには、スマートフォンに専用のソフトウェアをインストールしておく必要があるなど、ユーザにとって煩わしい面もある。
【0005】
本発明は、上記背景に鑑みて完成された発明であり、その主たる目的は、現実の物品を介して、デジタル・コンテンツを手軽に届けるための技術、を提供することにある。
【課題を解決するための手段】
【0006】
本発明のある態様における情報システムは、ウェブブラウザを表示可能な通信端末と、サーバを備える。
通信端末は、物体を撮像する撮像部と、サーバに撮像された物体の撮像画像を送信する画像送信部と、を含む。
サーバは、撮像画像を受信する画像受信部と、物体の形状に応じた処理を実行するためのスクリプトを通信端末に送信するスクリプト送信部と、を含む。
通信端末は、サーバからスクリプトを受信するスクリプト受信部と、ウェブブラウザ上でスクリプトを実行することにより、物体の撮像画像の表示中において、スクリプトにより指定される処理結果を出力するスクリプト実行部と、を含む。
【発明の効果】
【0007】
本発明によれば、デジタル・コンテンツを手軽に届けやすくなる。
【図面の簡単な説明】
【0008】
図1】第1実施形態における模式図である。
図2】第2実施形態における模式図である。
図3】第3実施形態における模式図である。
図4】本発明における通信端末の機能ブロック図である。
図5】本発明におけるサーバの機能ブロック図である。
図6】メッセージ画像情報のデータ構造図である。
図7】第1実施形態におけるサーバに対するスクリプト要求からカメラの起動に至るまでの通信端末による処理過程を示すフローチャートである。
図8】カメラによる撮像からメッセージ画像の重畳表示に至るまでの通信端末における処理過程を示すフローチャートである。
図9】正面撮像画像の表示調整に関する模式図である。
図10】左上撮像画像の表示調整に関する模式図である。
図11】モデルデータ情報のデータ構造図である。
図12】第2実施形態におけるサーバに対するスクリプト要求からカメラの起動に至るまでの通信端末による処理過程を示すフローチャートである。
図13】カメラによる撮像からコンテンツ画像の重畳表示に至るまでの通信端末における処理過程を示すフローチャートである。
図14】第2実施形態における重畳表示に関する模式図である。
図15】証明書情報のデータ構造図である。
図16】通信端末からタグIDを受信した後のサーバにおける処理過程を示すフローチャートである。
図17】所有登録プロセスにおけるサーバの処理過程を示すフローチャートである。
図18】所有者情報が追加登録された証明書情報のデータ構造図である。
図19】実行プロセスにおけるサーバの処理過程を示すフローチャートである。
図20】リモート会議への本発明の応用を説明するための模式図である。
図21】フォトフレームへの本発明の応用を説明するための模式図である。
図22】時間帯に応じたコンテンツ出力を説明するための模式図である。
図23】メッセージ音声情報のデータ構造図である。
図24】抽選結果に応じたコンテンツ出力を説明するための模式図である。
図25】抽選結果画像情報のデータ構造図である。
図26】スタジアム内の応援席の道案内表示を説明するための模式図である。
図27】通信端末を介したぬいぐるみとの会話を説明するための模式図である。
【発明を実施するための形態】
【0009】
以下においては、第1実施形態から第3実施形態に分けて説明する。また、第1実施形態から第3実施形態を特に区別しないときには「本実施形態」とよぶ。
【0010】
[第1実施形態]
図1は、第1実施形態における模式図である。
第1実施形態においては、ユーザP1からユーザP2に小瓶102をプレゼントする場面を想定する。小瓶102にはアクセサリー104が付属する。ユーザP2は、ウェブブラウザを立ち上げた状態で、通信端末100をアクセサリー104に近づける。このとき、通信端末100の画面に映るアクセサリー104の上に、ユーザP1があらかじめ用意していたメッセージ画像106が重畳表示される。なお、本実施形態における通信端末100はスマートフォンであるとする。
【0011】
アクセサリー104には、NFC(Near field communication)タグが埋め込まれている。NFCタグには、NFCタグを一意に識別するタグIDと、所定のサーバ(図示せず)のアドレス情報が記録されている。本実施形態におけるアドレス情報とはサーバのURL(Uniform Resource Locator)である。サーバにおいては、タグIDと、デジタル・コンテンツとしてのメッセージ画像106が対応づけて登録されている。通信端末100は、アクセサリー104に内蔵されるNFCタグからタグIDおよびアドレス情報を読み取る。
【0012】
まず、ユーザP1がメッセージ画像106をサーバに登録する「登録プロセス」について説明し、そのあとに、ユーザP2が通信端末100をアクセサリー104にかざしたときにメッセージ画像106を表示させる「実行プロセス」について説明する。
【0013】
1.登録プロセス
ユーザP1は、まず、PC(Personal Computer)などを使ってメッセージ画像106を作成する。ユーザP1は、サーバにアクセスし、ユーザ情報とともにメッセージ画像106を送信する。ここでいうユーザ情報とは、ユーザ名、住所、メールアドレスなど、ユーザP1を特定するための情報である。
【0014】
サーバの運営者は、あらかじめ複数のアクセサリー104を在庫として保管している。運営者は、1つのアクセサリー104を選び、このアクセサリー104のタグIDと、ユーザP1からアップロードされたメッセージ画像106を対応づけてサーバに登録する。ここでは、タグID=T1のアクセサリー104(以下、「アクセサリー104(T1)」のように表記する)に対して、ユーザP1のメッセージ画像106(以下、「メッセージ画像106(P1)」のように表記する)が対応づけられたとする。また、メッセージ画像106のようなデジタル・コンテンツにはコンテンツIDが付与される。メッセージ画像106(P1)のコンテンツIDは「C1」であるとする。以上の処理により、タグID=T1、コンテンツID=C1が対応づけられる。
【0015】
上述したように、アクセサリー104(T1)のNFCタグにはタグID=T1だけでなくサーバのアドレス情報も記録されている。運営者は、アクセサリー104(T1)をユーザP1に郵送する。ユーザP1は小瓶102にアクセサリー104(T1)を添えて、ユーザP2にプレゼントする。
【0016】
2.実行プロセス
小瓶102をもらったユーザP2は、ウェブブラウザを立ち上げた状態で、通信端末100をアクセサリー104に近づける。通信端末100は、アクセサリー104に内蔵されるNFCタグと通信し、NFCタグからサーバのアドレス情報およびタグIDを読み取る。通信端末100は、アドレス情報にしたがってサーバにアクセスする。
【0017】
サーバは、ユーザP2の通信端末100(以下、「通信端末100(P2)」のように表記する)に、JavaScriptにより作成されたプログラム(以下、単に「スクリプト」とよぶ)を送信する。通信端末100(P2)のウェブブラウザはスクリプトを実行し、通信端末100(P2)が内蔵するカメラを起動して、小瓶102およびアクセサリー104をライブビュー表示させる。
【0018】
スクリプトには、タグIDとデジタル・コンテンツの対応を示すリストが記載される。より具体的には、スクリプトには「タグID=T1のときには、コンテンツID=C1のデジタル・コンテンツを実行する:タグID=T2のときには、コンテンツID=C6のデジタル・コンテンツを実行する:・・・」というリストが記載される。
【0019】
通信端末100(P2)のスクリプトは、アクセサリー104からタグID=T1を受信している。したがって、通信端末100(P2)は小瓶102およびアクセサリー104の撮像画像とともに、コンテンツID=C1のデジタル・コンテンツ(以下、「コンテンツ(C1)」のように表記する)の取得要求をサーバに送信する。
【0020】
サーバは、まず、撮像画像に映るアクセサリー104の大きさ、向きおよび位置に合わせて、コンテンツ(C1)、すなわち、メッセージ画像106(P1)の表示サイズ、表示方向および表示位置を決めた上で、メッセージ画像106(P1)を通信端末100(P2)に送信する。通信端末100(P2)で実行されるスクリプトは、指定された表示方法にてメッセージ画像106(P1)を撮像画像上に重ねて表示させる。この結果、通信端末100(P2)においては、メッセージ画像106(P1)はアクセサリー104に貼付された態様にて表示される。
【0021】
図1においてはメッセージ画像106(P1)には「パパありがとう」というメッセージが表示されている。ユーザP1が娘、ユーザP2がその父親であるときには、父(ユーザP2)は娘(ユーザP1)から小瓶102とアクセサリー104をもらったあと、通信端末100(P2)をアクセサリー104にかざすことで、娘(ユーザP1)からのメッセージを読むことができる。
【0022】
通信端末100(P2)からは、定期的に、たとえば、10ミリ秒ごとに撮像画像がサーバに送信される。サーバは撮像画像を取得するごとに、メッセージ画像106の表示位置、サイズ、向き(以下、単に「表示方法」とよぶ)を特定し、メッセージ画像106の表示方法を変化させる。このため、ユーザ(P2)が通信端末100(P2)を動かして、画面に映るアクセサリー104の表示位置等が変化しても、アクセサリー104の動きに合わせてメッセージ画像106も追随する。
【0023】
第1実施形態においては、ユーザ(P2)は、通信端末100に専用のアプリケーションをインストールする必要はない。NFCによる通信機能を備えた通信端末100をアクセサリー104にかざすだけで、サーバから通信端末100(P2)にスクリプトが送信され、ウェブブラウザ上にてスクリプトが実行され、小瓶102の上にメッセージ画像106が適切な表示方法にて表示される。したがって、特段の操作負担を強いることなく、メッセージ画像106などのデジタル・コンテンツをアクセサリー104の受け手に提供できる。
【0024】
なお、NFCタグからアドレス情報とタグIDを読み取ったとき、通信端末100(P2)はサーバにタグIDおよび撮像画像を送信してもよい。タグID=T1を通知されたとき、サーバはタグID=T1に対応づけられているコンテンツ(C1)を実行させるためのスクリプトをコンテンツ(C1)とともに通信端末100(P2)に送信してもよい。このとき、サーバは、撮像画像を画像解析することでコンテンツ(C1)の表示方法も指定する。通信端末100(P2)はコンテンツ(C1)とスクリプトを受信し、スクリプトによってコンテンツ(C1)を画面表示させてもよい。
【0025】
[第2実施形態]
図2は、第2実施形態における模式図である。
第2実施形態においては、ユーザP4がぬいぐるみ108を購入する場面を想定する。ユーザP4は、ウェブブラウザを立ち上げた状態で、通信端末100をぬいぐるみ108に近づける。このとき、通信端末100にはぬいぐるみ108が映るとともに、ぬいぐるみ108の上に風船画像110のような演出画像が重ねて表示される。
【0026】
ぬいぐるみ108にも、NFCタグが埋め込まれている。第2実施形態のNFCタグには、サーバのアドレス情報が記録されているが、タグIDは記録されていない。サーバにおいては、ぬいぐるみ108の三次元形状を示すモデルデータと、デジタル・コンテンツとしての風船画像110が対応づけて登録されている。
【0027】
第2実施形態においては、まず、ぬいぐるみ108の製造者P3が風船画像110をサーバに登録する「登録プロセス」について説明し、そのあとに、ぬいぐるみ108の購入者であるユーザP4が通信端末100をぬいぐるみ108にかざしたときに風船画像110を表示させる「実行プロセス」について説明する。
【0028】
1.登録プロセス
製造者P3は、風船画像110を作成する。風船画像110は静止画像であってもよいし、動画像(アニメーション)であってもよい。製造者P3は、ぬいぐるみ108を撮像する。ユーザP3は、サーバにアクセスし、製造者情報とともに風船画像110とぬいぐるみ108の撮像画像を送信する。
【0029】
サーバは、ぬいぐるみ108の撮像画像から、ぬいぐるみ108の三次元形状を示すモデルデータを生成する。撮像画像から三次元のモデルデータ(バイナリデータ)の生成は既知技術の応用により可能である。サーバは、ぬいぐるみ108のモデルデータにモデルIDを付与する。ぬいぐるみ108のモデルデータのモデルIDは「M1」であるとする。また、風船画像110のコンテンツIDは「C2」であるとする。
【0030】
サーバはモデルID=M1のモデルデータ(以下、「モデルデータ(M1)」と表記する)とコンテンツ(C2)を対応づけて登録する。以上の登録プロセスにより、ぬいぐるみ108の形状を示すモデルデータ(M1)と風船画像110を示すコンテンツ(C2)がサーバにおいて対応づけて登録される。製造者P3は、登録プロセスの完了したぬいぐるみ108をユーザP4に販売する。
【0031】
2.実行プロセス
ぬいぐるみ108を購入したユーザP4は、ウェブブラウザを立ち上げた状態で、通信端末100をぬいぐるみ108に近づける。通信端末100は、ぬいぐるみ108に内蔵されるNFCタグと通信し、NFCタグからサーバのアドレス情報を読み取る。通信端末100は、アドレス情報にしたがってサーバにアクセスする。
【0032】
サーバは、通信端末100(P4)にスクリプトを送信する。通信端末100(P4)のウェブブラウザはスクリプトを実行し、通信端末100(P4)が内蔵するカメラを起動して、ぬいぐるみ108をライブビュー表示させる。
【0033】
スクリプトには、モデルデータとデジタル・コンテンツの対応を示すリストが記載される。より具体的には、スクリプトには「モデルデータ(M1)の場合には、コンテンツ(C2)を実行する:モデルデータ(M2)の場合にはコンテンツ(C7)を実行する:・・・」というリストが記載される。
【0034】
通信端末100(P4)のスクリプトは、ぬいぐるみ108の撮像画像をサーバに送信する。サーバは、ぬいぐるみ108の撮像画像と登録済みのモデルデータを比較し、「モデルデータ(M1)」を特定する。サーバは、モデルID=M1を通信端末100(P4)に送信する。通信端末100(P4)のスクリプトは、ぬいぐるみ108の撮像画像とともにモデルデータ(M1)に対応するコンテンツ(C2)の取得要求をサーバに送信する。
【0035】
サーバは、撮像画像に映るぬいぐるみ108の表示位置等からコンテンツ(C2)、すなわち、風船画像110の表示方法を指定した上で、風船画像110を通信端末100(P4)に送信する。通信端末100(P4)で実行されるスクリプトは、指定された表示方法にて風船画像110を撮像画像のぬいぐるみ108上に重ねて表示させる。この結果、通信端末100(P4)においては、ぬいぐるみ108を演出する風船画像110が表示される。以上のように、ユーザ(P4)は、ぬいぐるみ108を買ったあと、通信端末100(P4)をぬいぐるみ108にかざすと、風船画像110により装飾演出がなされたぬいぐるみ108を見ることができる。
【0036】
通信端末100(P4)からは、定期的に、撮像画像がサーバに送信される。サーバは撮像画像を取得するごとに、風船画像110の表示方法を特定し、風船画像110の表示方法を更新する。第1実施形態と同様にして、ユーザ(P4)が通信端末100(P4)を動かして、風船画像110の表示位置等が変化しても、風船画像110の位置や大きさに合わせて風船画像110も追随する。
【0037】
第2実施形態においても、ユーザ(P4)は、通信端末100に専用のアプリケーションをインストールする必要はない。また、ぬいぐるみ108に付属するNFCタグにタグIDをもたせる必要もない。このため、より安価なNFCタグを利用できる。
【0038】
なお、NFCタグからアドレス情報を読み取ったとき、通信端末100(P4)はサーバに撮像画像を送信してもよい。このとき、サーバはぬいぐるみ108に対応するコンテンツ(C2)を実行させるためのスクリプトをコンテンツ(C2)とともに通信端末100(P4)に送信してもよい。サーバは、撮像画像を画像解析することでコンテンツ(C2)の表示方法も指定する。通信端末100(P4)はコンテンツ(C2)とスクリプトを受信し、スクリプトによってコンテンツ(C2)を画面表示させてもよい。
【0039】
[第3実施形態]
図3は、第3実施形態における模式図である。
第3実施形態においては、プラモデル112の製造証明および所有証明について説明する。ユーザは、ウェブブラウザを立ち上げた状態で、通信端末100をプラモデル112に近づける。このとき、通信端末100にはプラモデル112が映るとともに、プラモデル112の上に製造者および所有者を示す証明書データ114が重ねて表示される。
【0040】
プラモデル112にはNFCタグが埋め込まれている。第3実施形態におけるNFCタグには、サーバのアドレス情報およびタグIDが記録されている。サーバにおいては、プラモデル112のタグIDと、プラモデル112の商品名、製造者、所有者を示す証明書データ114が対応づけて登録されている。
【0041】
第3実施形態においては、まず、プラモデル112の製造者Yがプラモデル112をサーバに登録する「製造登録プロセス」とプラモデル112の所有者がユーザXであることをサーバに登録する「所有登録プロセス」について説明し、そのあとに、プラモデル112に通信端末100をかざしたときに証明書データ114を表示させる「実行プロセス」について説明する。
【0042】
1.製造登録プロセス
製造者Yは、まず、自社が保有するNFCタグのタグIDの範囲を、サーバに登録する。たとえば、製造者Yが保有するNFCタグのタグIDの範囲が「T1~T100」としてサーバに登録されたあとは、サーバはこの範囲内のタグIDが付与される製品は、製造者Yにより製造されたものであると認識する。
【0043】
製造者Yは、プラモデル112の仕様情報を作成する。仕様情報には、プラモデル112の名称「潜水艦S」、サイズ、製造年月日等が含まれる。製造者Yは、サーバにアクセスし、仕様情報とともにプラモデル112のタグIDを登録する。以下においては、プラモデル112のタグIDは「T6」であるとする。
【0044】
サーバは、まず、タグID=T6により製造者Yを特定する。サーバは、仕様情報に製造者Yを追加した証明書データ114を生成する。証明書データ114のコンテンツIDは「C3」であるとする。以上の処理過程により、サーバは、プラモデル112が製造者Yにより生産されたものであることを登録する。以下、証明書データ114に含まれる情報のうち、製造者Yを特定する情報のことを「製造者情報」とよぶ。
【0045】
2.所有登録プロセス
製造者Yから、ユーザXはプラモデル112(T6)を購入する。ユーザXはプラモデル112に通信端末100(X)をかざす。通信端末100(X)は、プラモデル112(T6)のNFCタグからアドレス情報とタグID=T6を読み取り、サーバにアクセスする。サーバは、タグID=T6に、仕様情報および製造者情報は対応づけられているが所有者情報(後述)が未登録であることを確認する。所有者情報が未登録であるとき、所有登録プロセスが実行される。
【0046】
所有者情報が登録されていないとき、サーバは、通信端末100(X)に対してユーザXについてのユーザ情報を要求する。ユーザ情報は、名前、生年月日などでもいいし、通信端末100(X)のMAC(Media Access Control)アドレスであってもよい。
【0047】
通信端末100(X)はユーザ情報をサーバに送信する。サーバは、プラモデル112(T6)にユーザ情報を対応づけて登録する。以上の所有登録プロセスにより、サーバは、プラモデル112(T6)がユーザXの所有であることを登録する。以下、証明書データ114に含まれる情報のうち、所有者Xを特定する情報のことを「所有者情報」とよぶ。製造者および所有者それぞれの登録プロセスの完了後、プラモデル112(T6)の証明書データ114(コンテンツ(C3))には仕様情報、製造者情報および所有者情報が対応づけられる。
【0048】
3.実行プロセス
ユーザは、ウェブブラウザを立ち上げた状態で、通信端末100をプラモデル112(T6)にかざす。ここでは、ユーザZが通信端末100をプラモデル112に近づけたとする。通信端末100(Z)は、プラモデル112(T6)に内蔵されたNFCタグと通信し、NFCタグからアドレス情報およびタグIDを読み取る。通信端末100(Z)は、アドレス情報にしたがってサーバにアクセスする。
【0049】
サーバは、通信端末100(Z)にスクリプトを送信する。通信端末100(Z)のウェブブラウザはスクリプトを実行し、通信端末100(Z)が内蔵するカメラを起動して、プラモデル112をライブビュー表示させる。
【0050】
スクリプトには、第1実施形態と同様、タグIDとデジタル・コンテンツの対応を示すリストが記載される。通信端末100(Z)で実行されるスクリプトは、プラモデル112からタグID=T6を受信し、タグID=T6に対応づけられるコンテンツ(C3)の取得要求をサーバに送信する。
【0051】
サーバは、コンテンツ(C3)、すなわち、プラモデル112(T6)についての証明書データ114(コンテンツ(C3))を通信端末100(Z)に送信する。通信端末100(Z)は、プラモデル112(T6)の上に証明書データ114(C3)を重ねて表示させる。この結果として、ユーザ(Z)は、ライブビュー表示されているプラモデル112の製造者Yと所有者Xを確認できる。
【0052】
(変形例1)
所有者の通信端末100にしか、証明書データ114を表示させないとしてもよい。たとえば、製造者および所有者の登録が完了したあと、サーバはスクリプトを送信するときに所有者Xのユーザ情報(たとえば、MACアドレス)も送信する。あるユーザが通信端末100をプラモデル112にかざしたときには、このユーザの通信端末100で実行されるスクリプトは通信端末100の記憶媒体からユーザ情報を取得し、これが所有者Xのユーザ情報と一致すれば、証明書データ114を表示させる。一方、所有者ではないユーザが通信端末100をプラモデル112にかざしたときには、ユーザ情報が一致しないので、証明書データ114を表示させないとしてもよい。このような制御方法によれば、プラモデル112に自分の通信端末100をかざしたときに証明書データ114が表示されるか否かによって、プラモデル112が自分の所有物であるか否かを確認できる。
【0053】
(変形例2)
サーバにおいては、タグIDを管理するのではなく、タグIDのハッシュ値を管理してもよい。具体的には、まず、製造者登録の完了後、製造者Yはプラモデル112(T6)をユーザXに販売する。プラモデル112(T6)を最初に購入したユーザXは、プラモデル112(T6)からタグID=T6を取得する。通信端末100(X)は、タグID=T6を暗号化してサーバに送信する。以下、暗号化されているタグID=T6を「<T6>」と表記する。
【0054】
サーバは、「<T6>」からハッシュ関数によってハッシュ値H6を生成する。サーバは、ハッシュ値H6を通信端末100(X)に返信する。通信端末100(X)で実行されるスクリプトは、プラモデル112のNFCタグにアクセスし、タグIDを「T6」から「H6」に書き換える。一方、サーバにおいては、ハッシュ値H6に対して、コンテンツ(C3)、すなわち、証明書データ114(C3)が対応づけられる。
【0055】
以上の処理過程の実行後、あるユーザが通信端末100をプラモデル112(T6)にかざしたとする。通信端末100は、プラモデル112(T6)のNFCタグから書き換えられたタグID=H6を取得する。通信端末100は、タグID=H6を暗号化した<H6>をサーバに送信する。サーバは、<H6>を復号して、ハッシュ値H6を取得する。次に、製造者YのタグIDの範囲である「T1~T100」のうちのいずれかがハッシュ値H6と一致するか判定する。一致するものがあれば、このプラモデル112(T6)は製造者Yにより製造されたものであると判断できる。
【0056】
続いて、サーバはハッシュ値H6に対応づけられるコンテンツ(C3)を特定する。サーバは、通信端末100にコンテンツ(C3)、すなわち、証明書データ114を送信し、通信端末100はこの証明書データ114を画面表示させる。
【0057】
(変形例3)
証明書データ114をNFT(Non-Fungible Token)として管理してもよい。具体的には、ハッシュ値H6と所有者Xの所有者情報、製造者Yの製造者情報を対応づけてブロックチェーンに記録する。ユーザは、プラモデル112のNFCタグからハッシュ値H6を取得し、ブロックチェーンからこのハッシュ値H6に対応づけられている所有者Xおよび製造者Yを特定する。
【0058】
以上のように、アクセサリー104、ぬいぐるみ108、プラモデル112のような物品にNFCタグを付属させることで、通信端末100においてさまざまなデジタル・コンテンツを表示させることができる。通信端末100において実行されるデジタル・コンテンツは、静止画や動画であってもよいし、文字情報あるいは音楽であってもよい。デジタル・コンテンツとして、所定のキャラクタが画面表示されてもよい。通信端末100は、ウェブブラウザ上にて、サーバ等から提供されるスクリプトを実行するだけなので、通信端末100に専用アプリケーションをインストールする必要はない。
【0059】
NFCタグを付属する物品は任意である。たとえば、アクリル板、キーホルダー、フォトフレーム、本、アイドルのグッズ、フィギュアなどさまざまなものが考えられる。
【0060】
本発明の考え方は、リモート会議への応用も可能である。まず、会議の参加者が使用する通信端末を想定する。通信端末としてウェブカメラ128を搭載するPCを想定する。通信端末はあらかじめ所定のサーバと接続されている。サーバにおいては、参加者の顔画像または顔特徴情報とデジタル・コンテンツが対応づけられている。たとえば、参加者A1にはキャラクタC4が対応づけられているとする。
【0061】
通信端末は、リモート会議中にサーバに会議画像を送信し、サーバは参加者A1の写っている場面にキャラクタC4を表示させてもよい。このような制御方法によれば、各参加者のそばにアバターとしてさまざまなキャラクタを表示させることができるので、リモート会議を楽しく演出できる。参加者ごとではなく、表情ごとにデジタル・コンテンツを対応づけてもよい。たとえば、困った表情をしている参加者のそばにはクエスチョンマーク、長時間目を瞑っている参加者のそばには睡眠マークを表示させてもよい。
【0062】
フォトフレームにNFCタグを内蔵させる方法も考えられる。NFCタグには、サーバのアドレス情報を記録しておく。ユーザが通信端末100をフォトフレームに近づけたとき、通信端末100はサーバにアクセスするとともにフォトフレームに映る顔画像を送信する。サーバは、顔画像に対応づけられているデジタル・コンテンツを通信端末100に送信する。
【0063】
たとえば、人物A2の顔画像に対して、この人物A2の子どものころの顔画像をデジタル・コンテンツとして対応づけてもよい。この場合、ユーザが通信端末100を人物A2が映るフォトフレームにかざしたとき、通信端末100には人物A2の顔画像のとなりに、子供のころの人物A2の顔画像も並べて表示させることができるので、顔の経年変化を楽しむことができる。
【0064】
NFCタグ以外の無線通信規格へも応用可能である。あるいは、QR(Quick Response)コード(登録商標)から、通信端末100はアドレス情報、タグIDを取得してもよい。この場合においても、通信端末100は、アドレス情報により指定されるサーバからスクリプトを受信し、スクリプトにしたがってデジタル・コンテンツを実行してもよい。
【0065】
1つの物品に対応づけられるデジタル・コンテンツは、さまざまな条件に応じて変化させてもよい。アクセサリー104に通信端末100をかざした時間帯が午前であれば、サーバはメッセージ1を通信端末100に送信して表示させ、午後であれば、サーバは別のメッセージ2を通信端末100に送信して表示させるとしてもよい。
【0066】
たとえば、アイドル・タレントに対応づけられる物品にNFCタグを埋めておく。この物品に通信端末100をかざすと、アイドル・タレント本人の動画がデジタル・コンテンツとして表示される。物品に通信端末100をかざす時間や日時によって、サーバが表示すべきデジタル・コンテンツを変更すれば、ユーザは1つの物品を通してさまざまなデジタル・コンテンツを楽しむことができる。このような制御方法によれば、アイドル関連商品の訴求力を高めることができる。
【0067】
デジタル・コンテンツをつかった「抽選」も考えられる。ユーザが通信端末100をNFCタグに近づけてサーバにアクセスするとき、サーバは抽選を実行してもよい。サーバは抽選結果に応じて通信端末100に送信するデジタル・コンテンツを選んでもよい。また、サーバは、ある物品についての抽選で当たりが出たときには、所定時間が経過するまでは、次の当たりを出さないように抽選を制御してもよい。当たりが出たときには、サーバは、クーポン券などの電子ギフトを通信端末100に送信してもよい。
【0068】
NFCタグを、固定物、たとえば、スタジアムの壁面に埋め込んでもよい。ユーザは、壁面に設置されたNFCタグに通信端末100を近づけると、サーバは通信端末100にスタジアムの案内表示をデジタル・コンテンツとして送信してもよい。デジタル・コンテンツの内容はユーザの属性に応じて変化させてもよい。たとえば、AチームとBチームがサッカーをするとき、Aチームを応援するユーザへの道案内情報と、Bチームを応援するユーザへの道案内情報を分けてもよい。このような制御方法によれば、どちらのチームを応援したいかによってユーザの動線を分けることができる。
【0069】
サーバは、NFCタグのタグIDごとにウェブページを用意してもよい。サーバは、各ウェブページへのアクセス数を計測し、アクセス数の少ないウェブページを自動的に削除してもよい。
【0070】
以降、本発明のさらなる詳細を記載する。まず、通信端末100およびサーバ200の機能ブロック図について説明する。次に、第1実施形態から第3実施形態までの各実施形態に関して、詳細な処理の流れを説明する。おわりに、各変形例の補足説明を行う。
【0071】
はじめに、通信端末100とサーバ200の機能ブロック図について説明する。
図4は、本発明における通信端末100の機能ブロック図である。
通信端末100の各構成要素は、CPUおよび各種コプロセッサ(Co-Processor)などの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。なお、後述のサーバ200についても同様である。
【0072】
通信端末100は、ユーザインタフェース処理部140、データ処理部150、通信部160およびカメラ170を含む。
ユーザインタフェース処理部140は、画面、スピーカーおよびマイクなどを介したユーザインタフェース処理を担当する。データ処理部150は、画面およびスピーカーなどにコンテンツを出力するための各種処理を担当する。通信部160は、インターネットを介してサーバ200との通信処理を担当する。なお、カメラ170は「撮像部」として機能する。
【0073】
ユーザインタフェース処理部140は、入力部141と出力部142を含む。
入力部141は、通信端末100に対するユーザの操作入力を検出する。通信端末100に対するユーザの入力手段は、画面への接触やボタンの押下、またはマイクによる音声入力などを想定する。出力部142は、画面上での画像表示のほか、スピーカーからの音声出力など各種の出力処理を実行する。
【0074】
データ処理部150は、データ取得部151、送信指示部152、スクリプト実行部153を含む。
データ取得部151は、NFCタグと通信を行い、タグIDとアドレス情報を取得する。データ取得部151は、いわゆるNFCリーダとして機能する。送信指示部152は、撮像画像、音声、タグIDおよびスクリプト要求に関するサーバ200への送信指示を通信部160に対して行う。スクリプト実行部153は、通信部160が取得したスクリプトを実行する。
【0075】
通信部160は、受信部161と送信部162を含む。
受信部161は、スクリプトおよび各種デジタル・コンテンツをサーバ200から受信する。送信部162は、撮像画像、タグIDおよびスクリプト要求をサーバ200に対して送信する。なお、受信部161は「スクリプト受信部」として機能する。また、送信部162は「ID送信部」および「画像送信部」として機能する。
【0076】
図5は、本発明におけるサーバ200の機能ブロック図である。
サーバ200は、データ処理部210、通信部220およびデータ格納部230を含む。
データ処理部210は、通信端末100にデジタル・コンテンツを送信するための各種処理および各種データの登録処理を担当する。通信部220はインターネットを介して、通信端末100のほか、PC等との通信処理を担当する。データ格納部230は、ユーザ情報および各種デジタル・コンテンツを格納する。
【0077】
データ処理部210は、データ配置部211、画像管理部212、スクリプト生成部213、モデルデータ生成部214、物体特定部215、表示調整部216、証明書情報管理部217、音声管理部218を含む。
データ配置部211は、通信部220がPC等から受信した各種データをデータ格納部230に格納する。画像管理部212は、タグIDと画像を対応付けて登録し、コンテンツIDを与える。画像管理部212は、モデルデータとコンテンツを対応付けて登録し、コンテンツIDを与える。また画像管理部212は、データ格納部230に格納された画像の検索と取得を行う。スクリプト生成部213は、スクリプトの生成および通信端末100に対するスクリプトの送信指示を行う。なお、スクリプトはJavaScriptにより生成されることを想定しているが、他の言語によって生成されてもよい。本実施形態における「スクリプトの生成」は、スクリプト自体を生成する処理のほか、サーバ200内のメモリ(非図示)に用意されているスクリプトを読み出す処理も含む。モデルデータ生成部214は、通信端末100から送信された撮像画像に映る物品について三次元のモデルデータを生成する。物体特定部215は、データ格納部230に格納済みのモデルデータの中から撮像画像に映る物品と形状などが一致するデータを特定する。表示調整部216は、各種デジタル・コンテンツの表示調整および表示調整済みデジタル・コンテンツ(後述)の通信端末100への送信指示を行う。証明書情報管理部217は、タグ付き物品の仕様情報とタグIDを対応付けて登録する。また証明書情報管理部217は、タグ付き製品の製造者および所有者の登録に関する処理ならびに証明書データ114を生成する。なお、証明書情報管理部217は「製造者特定部」「所有者特定部」および「所有者登録部」として機能する。音声管理部218は、タグIDとメッセージ音声を対応付けて登録し、コンテンツIDを与える。また音声管理部218は、データ格納部230に格納された音声の検索と取得を行う。
【0078】
通信部220は、受信部221と送信部222を含む。
受信部221は、通信端末100から撮像画像、タグIDおよびスクリプト要求を受信する。また受信部221は、PC等にて入力された各種データを受信する。送信部222は、通信端末100に対してスクリプトおよび各種コンテンツを送信する。なお、受信部221は「ID受信部」および「画像受信部」として機能する。送信部222は、「スクリプト送信部」として機能する。また表示調整部216および送信部222は、合わせて「表示指定送信部」として機能する。
【0079】
続いて、第1実施形態から第3実施形態までの各実施形態に関して、詳細な処理の流れを説明する。
【0080】
[第1実施形態]
上述のとおり、第1実施形態においては、ユーザP1からユーザP2に、NFCタグが埋め込まれたアクセサリー104が付属する小瓶102をプレゼントする場面を想定する。NFCタグには、NFCタグを一意に識別するタグIDとサーバ200のアドレス情報が記録されている。サーバ200においては、タグIDと、デジタル・コンテンツとしてのメッセージ画像106が対応付けられている。
【0081】
ユーザP2は、ウェブブラウザを立ち上げた状態で通信端末100をアクセサリー104にかざす。通信端末100は、アクセサリー104に内蔵されるNFCタグからタグIDおよびサーバ200のアドレス情報を読み取り、このアドレス情報をもとに、サーバ200にタグIDを送信する。サーバ200は、受信したタグIDと対応付けられたメッセージ画像106を通信端末100に送信する。通信端末100は、サーバ200から受信したメッセージ画像106をアクセサリー104の撮像画像の上に重畳表示する。
【0082】
次に、第1実施形態における「登録プロセス」と「実行プロセス」の詳細について説明する。
【0083】
1.登録プロセス
ユーザP1はまず、PC等を使ってメッセージ画像106を作成する。このときユーザP1は、「パパありがとう」というメッセージ画像106を作成したとする。ユーザP1はPC等からサーバ200にアクセスし、ユーザ情報とともにメッセージ画像106を送信する。サーバ200のデータ配置部211は、ユーザ情報およびメッセージ画像106をデータ格納部230に格納する。
【0084】
サーバ200の運営者は、在庫として保管している複数のアクセサリー104から1つのアクセサリー104を選ぶ。運営者はPC等からサーバ200にアクセスし、アクセサリー104のタグIDとメッセージ画像106を対応付けて登録する。ここではアクセサリー104に対し、タグID「T1」が付与されているものとする。画像管理部212はタグID=T1のアクセサリー104(上述のとおり、「アクセサリー104(T1)」のように表記する)に対して、ユーザP1のメッセージ画像106(上述のとおり、「メッセージ画像106(P1)」のように表記する)を対応付け、データ格納部230に登録する。
【0085】
図6は、メッセージ画像情報300のデータ構造図である。
メッセージ画像情報300は、サーバ200のデータ格納部230に保存される。上述の処理により、画像管理部212はアクセサリー104(T1)に対して「パパありがとう」というメッセージ画像106(P1)を対応付け、メッセージ画像情報300として登録する。また、画像管理部212はメッセージ画像106(P1)に対し、コンテンツID「C1」を付与する。以上の処理により、タグID=T1、コンテンツID=C1が対応付けられる。
【0086】
上述したように、アクセサリー104(T1)のNFCタグにはタグID=T1だけでなくサーバ200のアドレス情報も記録されている。運営者はアクセサリー104(T1)をユーザP1に郵送する。ユーザP1は小瓶102にアクセサリー104(T1)を添えて、ユーザP2にプレゼントする。
【0087】
また、メッセージ画像情報300において「誕生日おめでとう」という別のメッセージ画像106にはタグID=T2が対応付けられている。運営者はアクセサリー104(T2)を別のユーザ(登録者)に郵送する。このユーザは、タグID=T2のNFCタグが埋め込まれたアクセサリー104(T2)をプレゼントに添えて、誕生日を迎えた者に贈る。
【0088】
2.実行プロセス
以下、アクセサリー104(T1)に内蔵されるNFCタグから通信端末100がタグID=T1およびサーバ200のアドレス情報を取得し、画面上のアクセサリー104(T1)にメッセージ画像106(P1)を重畳表示するまでの処理の詳細を説明する。はじめに、通信端末100がNFCタグからサーバ200のアドレス情報およびタグID=T1を取得し、カメラ170を起動するまでの流れを説明する。
【0089】
図7は、サーバ200に対するスクリプト要求からカメラ170の起動に至るまでの通信端末100における処理過程を示すフローチャートである。
小瓶102をもらったユーザP2は、ウェブブラウザを立ち上げた状態で、通信端末100をアクセサリー104にかざす。ユーザP2の通信端末100(上述のとおり、「通信端末100(P2)」のように表記する)のデータ取得部151は、アクセサリー104(T1)に内蔵されるNFCタグと通信し、タグID=T1およびサーバ200のアドレス情報を取得する。通信端末100(P2)は、データ取得部151が取得したアドレス情報をもとに、送信指示部152からの指示により、タグID=T1を指定するスクリプト要求をサーバ200に送信する(S10)。
【0090】
サーバ200のスクリプト生成部213は、カメラ170を起動するためのスクリプト(以下、「起動スクリプト」とよぶ)と、タグID=T1と対応付けられているコンテンツID=C1のデジタル・コンテンツ(上述のとおり、「コンテンツ(C1)」のように表記する)を表示するためのスクリプト(以下、「表示スクリプト」とよぶ)を生成する。スクリプト生成部213の指示により、サーバ200はこれらのスクリプトを通信端末100(P2)に送信する。
【0091】
通信端末100(P2)のスクリプト実行部153は2つのスクリプトを取得し(S12)、まず、起動スクリプトを実行する(S14)。これによりカメラ170が起動され(S16)、小瓶102およびアクセサリー104(T1)がライブビュー表示される。
【0092】
次に、通信端末100(P2)にメッセージ画像106(P1)が表示されるまでの流れを説明する。
図8は、カメラ170による撮像からメッセージ画像106(P1)の重畳表示に至るまでの通信端末100(P2)における処理過程を示すフローチャートである。
図8に示すフローチャートは、一定の時間間隔にて繰り返し実行される。カメラ170は、ライブビュー表示中にアクセサリー104(T1)のついた小瓶102を撮像する(S18)。表示スクリプトからの指示により、通信端末100(P2)は、撮像画像をサーバ200に送信する(S20)。撮像画像が送信されるとき、コンテンツ(C1)の取得要求も送信される。
【0093】
サーバ200の表示調整部216は、データ格納部230からコンテンツ(C1)を取得する。次に表示調整部216は、撮像画像に映るアクセサリー104(T1)の大きさ、向きおよび位置に合わせて、コンテンツ(C1)の表示サイズ、表示方向および表示位置を決める。すなわち表示調整部216は、メッセージ画像106(P1)の表示調整を行う。この表示調整の詳細については後ほど説明する。サーバ200はコンテンツ(C1)を表示調整した画像である表示調整済みメッセージ画像106(P1)を通信端末100(P2)に送信する。
【0094】
通信端末100(P2)は表示調整済みメッセージ画像106(P1)を受信する(S22)。スクリプト実行部153は表示スクリプトにしたがって、ライブビュー表示中のアクセサリー104(T1)上に表示調整済みメッセージ画像106(P1)を重畳表示させる(S24)。この結果、通信端末100(P2)の画面上では、メッセージ画像106(P1)がアクセサリー104(T1)に貼付された態様にて表示される。
【0095】
以下、第1実施形態における表示調整の詳細について説明する。
図9は、正面撮像画像120の表示調整に関する模式図である。正面撮像画像120は、通信端末100がアクセサリー104(T1)を正面から撮像した画像である。以下の説明において、アクセサリー104(T1)は正方形であるものとする。また、図9においては、アクセサリー104(T1)がちょうど正面から撮像されたものとして説明する。
【0096】
ユーザP1が作成したメッセージ画像106(P1)は、タグIDやコンテンツIDと対応付けられ、データ格納部230のメッセージ画像情報300に登録される。メッセージ画像106(P1)も正方形であるものとする。サーバ200は、正面撮像画像120を通信端末100(P2)から受信する。表示調整部216はコンテンツ(C1)、すなわちメッセージ画像106(P1)をデータ格納部230から取得する。
【0097】
表示調整部216は、まず、正面撮像画像120に画像座標平面116を設定する。画像座標平面116はxy座標平面である。表示調整部216は画像座標平面116において、メッセージ画像106(P1)が貼付されるべき領域として「表示領域118」を設定する。
【0098】
より具体的には、表示調整部216は、画像座標平面116において、アクセサリー104(T1)の4つの頂点D1、D2、D3およびD4の座標値を特定する。次に表示調整部216は、頂点D1からD4に囲まれた正方形の領域をメッセージ画像106(P1)の表示領域118として特定する。
【0099】
表示調整部216はD1~D4の座標値をもとに、表示領域118に当てはまるようにメッセージ画像106(P1)のサイズおよび向きを調整する。図9においては、メッセージ画像106(P1)も表示領域118も正方形であるため、表示調整部216はメッセージ画像106(P1)の大きさを等倍変更すればよい。以上の処理により、表示領域118に合わせたメッセージ画像106(P1)として表示調整済みメッセージ画像106(P1)が生成される。この画像は、頂点D1~D4の座標値とともに通信端末100(P2)に送信される。
【0100】
通信端末100(P2)は、ライブビュー表示中の正面撮像画像120に画像座標平面116を設定する。また通信端末100(P2)は、頂点D1~D4の座標値にしたがって、表示領域118を認識する。通信端末100(P2)は、この表示領域118に表示調整済みメッセージ画像106(P1)を重畳表示させる。
【0101】
別の例として、アクセサリー104(T1)を異なる方向から撮像したときの表示調整について説明する。図10は、左上撮像画像122の表示調整に関する模式図である。左上撮像画像122は、通信端末100(P2)がアクセサリー104(T1)を向かって左上から撮像した画像である。図10においては、アクセサリー104(T1)が斜め上方から撮像されたものとして説明する。
【0102】
サーバ200はユーザの通信端末100(P2)から、コンテンツ(C1)の取得要求と左上撮像画像122を受信する。表示調整部216は左上撮像画像122に画像座標平面116を設定し、アクセサリー104(T1)の頂点を検出する。図10において通信端末100(P2)はアクセサリー104(T1)を左上から撮像しているため、表示領域118は平行四辺形となる。
【0103】
表示調整部216は、表示領域118に当てはまるようにメッセージ画像106(P1)のサイズと向きを調整する。メッセージ画像106(P1)が正方形であるのに対し、表示領域118の形状は平行四辺形である。そのため表示調整部216は、画像の縦と横の長さの比率変更および文字の引き延ばしを行う。以上の処理によって、平行四辺形の表示領域118に対応する表示調整済みメッセージ画像106(P1)が生成され、調整済みメッセージ画像106(P1)および頂点D1~D4の座標値が通信端末100(P2)に送信される。表示調整済みメッセージ画像106(P1)は上述と同じ方法により、通信端末100(P2)の画面上の左上撮像画像122に重畳表示される。
【0104】
通信端末100(P2)からは定期的に撮像画像(正面撮像画像120、左上撮像画像122等)がサーバ200に送信される。表示調整部216は、撮像画像を取得するごとにメッセージ画像106の表示方法を特定する。すなわち、図8でいうと、カメラ170の撮像(S18)からメッセージ画像の重畳表示(S24)までの流れが繰り返される。ユーザP2が通信端末100(P2)を動かしながら画面上でアクセサリー104(T1)をライブビュー表示しているとする。このとき通信端末100(P2)による撮像画像の送信時間間隔が十分に短ければ、アクセサリー104(T1)に貼り付いているかのようにメッセージ画像106が表示される。
【0105】
第1実施形態においては、ウェブブラウザを立ち上げてプレゼントを撮像するだけで、ユーザはデジタル画像が付加されたプレゼントを通信端末100上で見ることができる。この機能はスクリプトの実行によって実現される。プレゼントをされる側のユーザP2は、専用のアプリケーション・ソフトウェアを通信端末100にインストールしておく必要がない。
【0106】
[第2実施形態]
上述のとおり、第2実施形態においてはユーザP4がぬいぐるみ108を購入する場面を想定する。ぬいぐるみ108にはNFCタグが埋め込まれている。第2実施形態のNFCタグにはサーバ200のアドレス情報が記録されているが、タグIDは記録されていない。サーバ200においては、ぬいぐるみ108の三次元形状を示すモデルデータと、デジタル・コンテンツとしての風船画像110が対応付けて登録されている。
【0107】
ユーザP4は、ウェブブラウザを立ち上げた状態で通信端末100(P4)をぬいぐるみ108にかざす。このとき通信端末100(P4)は、ぬいぐるみ108に内蔵されるNFCタグと通信し、サーバ200にぬいぐるみ108の撮像画像を送信する。サーバ200は、受信した撮像画像に映るぬいぐるみ108と同一形状のモデルデータを特定する。サーバ200は、特定したモデルデータに対応付けられた風船画像110を通信端末100(P4)に送信する。通信端末100(P4)は、風船画像110をぬいぐるみ108の撮像画像上に重畳表示する。
【0108】
次に、第2実施形態における「登録プロセス」と「実行プロセス」の詳細について説明する。
【0109】
1.登録プロセス
まず製造者P3は、PC等を使って風船画像110を作成する。風船画像110は静止画像でもよいし、動画像(アニメーション)でもよい。また製造者P3は、ぬいぐるみ108を撮像する。製造者P3はPC等からサーバ200にアクセスし、製造者情報とともに風船画像110とぬいぐるみ108の撮像画像を送信する。サーバ200のデータ配置部211は、製造者情報、風船画像110およびぬいぐるみ108の撮像画像をデータ格納部230に格納する。
【0110】
画像管理部212は、風船画像110に対しコンテンツIDを付与する。風船画像110のコンテンツIDは「C2」であるとする。モデルデータ生成部214は、ぬいぐるみ108の撮像画像をもとに、ぬいぐるみ108の三次元形状を示すモデルデータを生成する。モデルデータは、たとえば、ぬいぐるみ108の特徴点集合として構成されてもよい。撮像画像をもとにした三次元のモデルデータ(バイナリデータ)の生成は、既知技術の応用により可能である。
【0111】
画像管理部212は、ぬいぐるみ108のモデルデータに対し、モデルIDを付与する。このぬいぐるみ108のモデルIDは「M1」であるとする。画像管理部212はモデルID=M1のモデルデータ(上述のとおり、「モデルデータ(M1)」のように表記する)に対して、風船画像110を表すコンテンツ(C2)を対応付け、データ格納部230にあるモデルデータ情報310に登録する。
【0112】
図11は、モデルデータ情報310のデータ構造図である。
上述の処理により、ぬいぐるみ108の形状を表すモデルデータ(M1)と風船画像110を表すコンテンツ(C2)がモデルデータ情報310において対応付けて登録される。製造者P3は、登録プロセスの完了したぬいぐるみ108をユーザP4に販売する。
【0113】
2.実行プロセス
以下、通信端末100がぬいぐるみ108に内蔵されるNFCタグからサーバ200のアドレス情報を取得し、画面上のぬいぐるみ108に風船画像110を重畳表示するまでの処理の詳細を説明する。はじめに、通信端末100がNFCタグからサーバ200のアドレス情報を取得し、カメラ170を起動するまでの流れを説明する。
【0114】
図12は、サーバ200に対するスクリプト要求からカメラ170の起動に至るまでの通信端末100(P4)における処理過程を示すフローチャートである。
まず、ぬいぐるみ108を購入したユーザP4は、ウェブブラウザを立ち上げた状態で、通信端末100(P4)をぬいぐるみ108にかざす。通信端末100(P4)はぬいぐるみ108に内蔵されるNFCタグと通信し、スクリプト要求をサーバ200に送信する(S26)。
【0115】
サーバ200のスクリプト生成部213は、起動スクリプトと、モデルデータと対応付いたコンテンツ画像に関する表示スクリプトを生成する。サーバ200は、これらのスクリプトを通信端末100(P4)に送信する。通信端末100(P4)におけるS28からS32までの処理は、図7のS12からS16に示した処理と同様である。
【0116】
次に、カメラ170が撮像してから通信端末100(P4)の画面上のぬいぐるみ108にコンテンツ画像が重畳表示されるまでの流れを説明する。なお、カメラ170による撮像から重畳表示までの流れは、ぬいぐるみ108のライブビュー表示中、繰り返し行われる。
図13は、カメラ170による撮像からコンテンツ画像の重畳表示に至るまでの通信端末100(P4)における処理過程を示すフローチャートである。
カメラ170は、ライブビュー表示中に一定の時間間隔でぬいぐるみ108を撮像する(S34)。通信端末100(P4)は、コンテンツ画像の取得要求とぬいぐるみ108の撮像画像をサーバ200に送信する(S36)。
【0117】
サーバ200の物体特定部215は、データ格納部230にあるモデルデータ情報310の中から、撮像画像に映るぬいぐるみ108の形状と一致するモデルデータ(M1)を特定する。また物体特定部215は、コンテンツ画像の取得要求をもとに、モデルデータ(M1)と対応付いたコンテンツ(C2)、すなわち風船画像110を取得する。物体特定部215はモデルデータ(M1)とコンテンツ(C2)を表示調整部216に転送する。
【0118】
表示調整部216は、撮像画像に映るぬいぐるみ108の大きさ、向きおよび位置に合わせて、コンテンツ(C2)の表示サイズ、表示方向および表示位置を決める。すなわち、表示調整部216は、風船画像110の表示調整を行う。この表示調整の詳細については後ほど説明する。サーバ200は、表示調整済みの風船画像110を通信端末100(P4)に送信する。
【0119】
通信端末100(P4)は、表示調整済みの風船画像110としてコンテンツ(C2)を受信する(S38)。スクリプト実行部153はコンテンツ(C2)、すなわち風船画像110の表示スクリプトを実行し、ライブビュー表示中のぬいぐるみ108上に風船画像110を重畳表示させる(S40)。この結果、通信端末100(P4)の画面上ではぬいぐるみ108の手前に風船画像110が現れる態様にて表示される。
【0120】
以下、第2実施形態における重畳表示の詳細について説明する。
図14は、第2実施形態における重畳表示に関する模式図である。
上述のとおり、カメラ170はライブビュー表示中に一定の時間間隔でぬいぐるみ108を撮像する。図14においてぬいぐるみ108は、ぬいぐるみ108の左上から撮像されている。サーバ200の物体特定部215は、ぬいぐるみ108の撮像画像をもとに、モデルデータ情報310を参照し、ぬいぐるみ108の形状と一致するモデルデータ(M1)を特定する。物体特定部215は、撮像画像に映るぬいぐるみ108の目や口、輪郭の形状などから、ぬいぐるみ108の向きと大きさも特定する。また物体特定部215は、コンテンツ画像の取得要求をもとに、モデルデータ(M1)と対応付いたコンテンツ(C2)、すなわち風船画像110を取得する。
【0121】
表示調整部216は、ぬいぐるみ108の撮像画像に画像座標平面116を設定する。また、表示調整部216は画像座標平面116において、物体特定部215が特定した撮像画像に映るぬいぐるみ108の向きや大きさに基づき、風船画像110を表示させる二次元領域を特定する。具体的に、まず表示調整部216は画像座標平面116において、撮像画像に映るぬいぐるみ108を囲む直方体の8つの頂点D1~D8の座標値を特定する。この8つの頂点に囲まれた領域を、被写体空間124とよぶ。
【0122】
次に表示調整部216は、被写体空間124と所定の位置関係にある二次元平面を、風船画像110が表示されるべき領域である表示領域として設定する。図14の場合、頂点D1、D2、D6、D5で囲まれた平面のやや上部にある頂点D9、D10、D11、D12で囲まれた平面が、表示領域として設定されるものとする。表示調整部216はD9~D12の座標値をもとに、この表示領域に当てはまるように風船画像110のサイズと向きを調整する。表示調整済みの風船画像110およびD9~D12の座標値は通信端末100(P4)に送信される。通信端末100(P4)はD9~D12の座標値をもとに、風船画像110を画面上のぬいぐるみ108に重畳表示する。
【0123】
風船画像110が立体画像の場合、表示調整部216は画像座標平面116において、物体特定部215が特定した撮像画像に映るぬいぐるみ108の向きや大きさに基づき、風船画像110を表示させる三次元領域を特定する。具体的には上述のとおり、表示調整部216が撮像画像に映るぬいぐるみ108を囲んだ8つの頂点を設定することで、被写体空間124が生成される。次に表示調整部216は、被写体空間124と所定の位置関係にある三次元空間を、風船画像110の表示領域として設定する。表示調整部216は、この表示領域に当てはまるように風船画像110のサイズや向きを調整する。表示調整済みの風船画像110は通信端末100(P4)に送信され、画面上のぬいぐるみ108に重畳表示される。
【0124】
サーバ200のアドレス情報が通信端末100(P4)にはじめから設定されている場合は、NFCタグをぬいぐるみ108等の物品に付属させなくてもよい。この場合通信端末100(P4)は、ウェブブラウザの立ち上げ直後に既知のサーバ200にアクセスし、起動スクリプトにしたがってカメラはぬいぐるみ108を撮像する。ぬいぐるみ108の撮像画像はサーバ200に送信される。サーバ200はぬいぐるみ108に対応するモデルデータを特定し、コンテンツ画像を取得する。以降は同様である。このような方法によれば専用アプリケーションもNFCタグも使用しなくてよい。ウェブブラウザを立ち上げてサーバ200にアクセスし、撮像画像をサーバ200に送信するだけで、通信端末100(P4)に風船画像110を重畳表示させることができる。
【0125】
[第3実施形態]
上述のとおり、第3実施形態においてはプラモデル112における製造証明と所有証明を説明する。プラモデル112にはNFCタグが埋め込まれている。第3実施形態のNFCタグにはタグIDおよびサーバ200のアドレス情報が記録されている。サーバ200においては、プラモデル112のタグIDと、プラモデル112の商品名、製造者および所有者を示す証明書データ114が対応付けられて登録されている。
【0126】
ユーザはウェブブラウザを立ち上げた状態で、通信端末100をプラモデル112にかざす。通信端末100は、プラモデル112に内蔵されるNFCタグと通信し、サーバ200にタグIDを送信する。サーバ200は、タグIDと対応付けられた証明書データ114を通信端末100に送信する。通信端末100は、証明書データ114を画面上のプラモデル112に重畳表示する。
【0127】
次に、第3実施形態における「製造登録プロセス」、「所有登録プロセス」および「実行プロセス」の詳細について説明する。
【0128】
1.製造登録プロセス
まず製造者YはPC等からサーバ200にアクセスし、自社が保有するNFCタグのタグIDの範囲を登録する。たとえば、製造者Yが保有するNFCタグのタグIDの範囲は「T1~T100」とする。製造者Yは、自社が保有するNFCタグのタグIDの範囲が「T1~T100」である旨を、サーバ200にアクセスして入力する。証明書情報管理部217は、指定されたタグIDの範囲を製造者Yと対応づけて登録する。
【0129】
続いて製造者Yは、プラモデル112の仕様情報を作成する。仕様情報にはプラモデル112の名称「潜水艦S」、サイズ、製造年月日等が含まれる。製造者Yは、仕様情報とともにプラモデル112のタグIDを入力する。プラモデル112のタグIDは「T6」であるとする。証明書情報管理部217は、プラモデル112の仕様情報とタグID=T6を対応付ける。
【0130】
登録が完了すると、証明書情報管理部217は仕様情報に製造者Yを追加した証明書データ114を生成する。証明書データ114もデジタル・コンテンツの一種であるため、コンテンツIDが付与される。証明書データ114のコンテンツIDは「C3」であるとする。コンテンツID=C3が対応付けられた証明書データ114は、「証明書データ114(C3)」のように表記する。以上の処理過程により、証明書情報管理部217は、プラモデル112が製造者Yにより生産されたものであることを登録する。以降、証明書データ114に含まれる情報のうち、製造者Yを特定する情報のことを「製造者情報」とよぶ。
【0131】
図15は、証明書情報320のデータ構造図である。
上述の処理により、プラモデル112のタグID=T6、性能情報、製造者情報ならびにプラモデル112の証明書データ114およびそのコンテンツID=C3が対応付けて登録される。なお、この段階ではプラモデル112の所有者に関する情報がまだ登録されていない。ゆえに、証明書情報320に登録されている証明書データ114の所有者情報欄も空白のままである。
【0132】
ユーザXは、製造者YからタグID=T6のNFCタグが付属したプラモデル112(上述のとおり、「プラモデル112(T6)」のように表記する)を購入する。ユーザXは、ウェブブラウザを立ち上げた状態でプラモデル112(T6)に通信端末100(X)をかざす。通信端末100(X)はNFCタグと通信し、タグID=T6をサーバ200に送信する。
【0133】
図16は、通信端末100(X)からタグIDを受信した後のサーバ200における処理過程を示すフローチャートである。
以下においては、プラモデル112(T6)を想定して説明する。サーバ200の証明書情報管理部217は、証明書情報320からタグID=T6を検索する(S42)。証明書情報管理部217はタグID=T6に対応する所有者情報欄を確認し、所有者が登録されているか否かを判定する(S44)。
【0134】
所有者が未登録であれば(S44のY)、所有登録プロセス(後述)が実行される(S46)。一方、所有者が登録済みであれば(S44のN)、実行プロセス(後述)が実行される(S56)。
【0135】
2.所有登録プロセス
図17は、所有登録プロセスにおけるサーバ200の処理過程を示すフローチャートである。すなわち図17は、図16における登録処理(S46)の詳細を表す。
証明書情報320においてタグID=T6に対応するプラモデル112は所有者未定である(S44のY)。このときサーバ200は、ユーザ情報要求を通信端末100(X)に送信する(S48)。
【0136】
通信端末100(X)は、ユーザ情報要求を受信する。ユーザXは、ユーザ情報を通信端末100(X)に入力する。通信端末100(X)はサーバ200にユーザ情報を送信する。ユーザ情報は所有者を一意に特定できる情報であればよく、たとえば、名前、生年月日などでもよいし、通信端末100(X)のMACアドレスであってもよい。
【0137】
サーバ200はユーザ情報を取得する(S50)。証明書情報管理部217はタグID=T6とユーザXのユーザ情報を対応付けて証明書情報320に登録する(S52)。また証明書情報管理部217は、ユーザXのユーザ情報Xを追加した証明書データ114を生成する(S54)。以降、証明書データ114に含まれる情報のうち、所有者Xを特定する情報のことを「所有者情報」とよぶ。
【0138】
図18は、所有者情報が追加登録された証明書情報(以下、「更新済み証明書情報330」とよぶ。)のデータ構造図である。
以上の所有登録プロセスが完了すると、更新済み証明書情報330に示したとおり、所有者情報欄にユーザXの所有者情報が登録される(証明書データ(C3)参照)。また証明書データ114は、所有者情報が追加された状態で登録されている。このように製造者および所有者それぞれの登録プロセスが完了すると、プラモデル112(T6)の証明書データ114(C3)には、仕様情報、製造者情報および所有者情報が対応付けられる。
【0139】
3.実行プロセス
ユーザXによる所有者登録が完了している場合において、所有者を確認するときの処理過程を説明する。図19は、実行プロセスにおける通信端末100(X)の処理過程を示すフローチャートである。すなわち図19は、図16における証明書表示(S56)の流れを表す。
ユーザXがプラモデル112(T6)の所有者である旨は、更新済み証明書情報330に登録済みである(図16のS44のN)。サーバ200は、起動スクリプトと、証明書データ114(C3)の表示スクリプトを通信端末100(X)に送信する。通信端末100(X)におけるS58からS62までの処置は、図7のS12からS16に示した処理と同様である。カメラ170が起動した後、通信端末100(X)はサーバ200にアクセスし、証明書データ114(C3)を取得する。第1および第2実施形態と同様に、通信端末100(X)はライブビュー表示中のプラモデル112(T6)の上に、半透明の証明書データ114(C3)を重畳表示する(S64~S68)。このときユーザXは証明書データ114(C3)より、プラモデル112(T6)の製造者がYであり、所有者がユーザXであるほか、潜水艦Sの仕様(名前、全長、重量など)を確認できる。
【0140】
次に、プラモデル112が特別限定品であり、NFCタグが付属している場合を想定して説明する。特別限定品のプラモデル112に酷似した偽物のプラモデル112には、NFCタグが付属していないものとする。このとき、ユーザが偽物とは知らずに、偽物のプラモデル112を購入したとする。ユーザが通信端末100をかざしてもカメラ170は起動せず、画面上にプラモデル112はライブビュー表示されない。したがってユーザは、偽物のプラモデル112を購入してしまったと判断できる。
【0141】
製造者YのタグIDの範囲は、あらかじめサーバ200に登録されている。偽造者は製造者YのタグIDに対応するNFCタグを保有していないので、偽物のプラモデル112にNFCタグが付属していたとしても、ユーザはタグIDを確認することでプラモデル112が正規品であるか否かを確認できる。
【0142】
証明書データ114により、プラモデル112が盗品であるか否かを確認できる。たとえば、ある玩具店Tがプラモデル112を新品として発売するとする。ユーザXはこのプラモデル112を購入する。ユーザXは所有者登録のため、通信端末100(X)をプラモデル112にかざす。しかし通信端末100(X)の画面上には、所有者がユーザZである旨が表示される。プラモデル112が新品であれば、証明書情報320において所有者情報欄は未登録の状態である。そのため新品のプラモデル112に通信端末100をかざしたとき、画面上に所有者の情報が表示されることは有り得ない。以上よりユーザXは、誰かがまだ所有しているプラモデル112、すなわち盗品を玩具店Tが発売したことを判断できる。
【0143】
プラモデル112の所有権が移転するときには、証明書データ114の所有者を書き換える必要がある。たとえば、ユーザAからユーザBにプラモデル112(T6)が譲渡されたとする。このとき、ユーザAは、タグID=T6と、ユーザAのユーザ情報とともに所有権移転登録要求をサーバ200に送信し、ユーザBも、タグID=T6と、ユーザBのユーザ情報とともに所有権移転登録要求をサーバ200に送信する。サーバ200の証明書情報管理部217は、一定時間以内、たとえば、5分以内に同一のタグID=T6についてユーザAおよびユーザBの双方から所有権移転登録要求を受信したとき、プラモデル112(T7)の所有者をユーザAからユーザBに変更し、証明書データ114を更新する。
【0144】
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
【0145】
NFCタグは物品に貼付されてもよいし、内蔵されてもよい。以降、NFCタグは物品に内蔵されているものとし、内蔵されているNFCタグは内蔵タグ126とよぶ。
【0146】
製品の証明書を、NFT(Non-Fungible Token)によって管理されてもよい。
一例として、プラモデル112(T6)の所有者をユーザA、製造者をYとする。トークン(T6)には、ユーザA、製造者Yおよびサーバ200のアドレス情報が登録される。サーバ200には「所有者:A、製造者:Y」を示す画像(以下、「証明画像」とよぶ)が登録される。トークン(T6)の所有者が、プラモデル112(T6)の正式な所有者である。
【0147】
ユーザAがユーザBにプラモデル112(T6)を譲渡したとする。このとき、ユーザAの通信端末100は、トークン(T6)における所有者情報を書き換える。この結果、トークン(T6)には、新たに「所有者:ユーザB」が登録され、ユーザBがトークン(T6)の所有者となる。
【0148】
トークン(T6)の譲渡後、ユーザBが、通信端末100をプラモデル(T6)にかざしたとする。通信端末100は、プラモデル112(T6)からタグIDを読み取り、ブロックチェーンにアクセスし、トークン(T6)に記録されているアドレス情報にしたがってサーバ200にアクセスする。このとき、通信端末100は、サーバ200にタグID=T6も送信する。サーバ200は、タグID=T6が指定されたとき、ブロックチェーンにアクセスして、トークン(T6)を確認する。トークン(T6)によれば所有者はユーザBとなっているので、サーバ200は「所有者:B、製造者:Y」を示す証明画像を生成し、ユーザBの通信端末100に証明画像を送信する。ユーザBの通信端末100には、プラモデル112(T6)のライブビュー画像とともに、「所有者:B、製造者:Y」を示す証明画像が重畳表示される。
【0149】
本発明の考え方はリモート会議にも応用可能である。会議の参加者が使用する通信端末として、ウェブカメラ128を搭載するPCを想定する。通信端末はあらかじめサーバ200と接続されている。サーバ200においては、参加者の顔画像または顔特徴情報とデジタル・コンテンツが対応付けられている。
【0150】
図20は、リモート会議への本発明の応用を説明するための模式図である。
ウェブカメラ128が取り付けられたPCのモニタ130には4名のリモート会議参加者が映っている。4名のうち参加者A1と参加者A2は、事前に顔画像とキャラクタを対応付けた組み合わせを1組以上サーバ200に登録しているものとする。たとえば、参加者A1の困った顔の画像には、クエスチョンマークのキャラクタC4が対応付けられて登録されたとする。また、参加者A2が目を瞑って口を開けている顔画像には、睡眠マークのキャラクタC5が対応付けられて登録されたとする。
【0151】
リモート会議の最中、参加者A1は他の参加者の発言の意図がわからず、困った顔をしている。参加者A2は会議が退屈なので口を開けて居眠りをしている。ウェブカメラ128は参加者A1およびA2の顔を撮像する。PCは撮像された顔画像をサーバ200に送信する。サーバ200は参加者A1の困った顔画像をもとに、クエスチョンマークのキャラクタC4を取得する。また、サーバ200は参加者A2の目を瞑って口を開けている顔画像をもとに、睡眠マークのキャラクタC5を取得する。サーバ200はキャラクタC4およびC5を各参加者のPCに送信する。
【0152】
4人のPCはサーバ200からキャラクタC4およびC5を受信すると、モニタ130上の参加者A1の顔付近にクエスチョンマークのキャラクタC4、参加者A2の顔付近に睡眠マークのキャラクタC5を表示する。このように参加者のそばにさまざまなキャラクタを表示させることで、リモート会議を楽しく演出できる。
【0153】
上述のとおり、特定の人物について、顔画像とキャラクタを対応付けた組み合わせを1組以上サーバ200に登録するとして説明したが、顔特徴情報とキャラクタを対応付けてもよい。たとえば、口角が上がった顔の特徴情報と星形マークのキャラクタC6の組み合わせがサーバ200に登録されたとする。サーバ200は、ウェブカメラ128が撮像した微笑んだ顔の参加者の画像をもとに、口角が上がった顔の特徴情報と対応付いたキャラクタC6をPCに送信する。PCは微笑んだ顔の参加者付近にキャラクタC6をモニタ130上に表示する。顔特徴情報をサーバ200に登録することで、各参加者が顔画像の登録をせず、参加者の人数に依らずにリモート会議の画像演出ができる。
【0154】
参加者の属性に対してキャラクタを対応付けてもよい。属性とは、一例として、性別や年齢などである。たとえば、若い新入社員が映る画像には明るいトーンの色の背景を映し、年配の重役が映る画像には落ち着いたトーンの色の背景を映すなどしてもよい。
【0155】
フォトフレーム132に内蔵タグ126を埋め込む方法も考えられる。内蔵タグ126には、サーバ200のアドレス情報が記録される。ユーザが通信端末100をフォトフレーム132にかざしたとき、通信端末100はサーバ200にアクセスするとともに、フォトフレーム132に映る顔画像を送信する。サーバ200は顔画像に対応付けられたデジタル・コンテンツを通信端末100に送信する。
【0156】
図21は、フォトフレーム132への本発明の応用を説明するための模式図である。
フォトフレーム132には人物A3と子どもが映った写真が入っている。人物A3は事前に、フォトフレーム132に映る自身の顔画像(以下、「現在画像」とよぶ)と、自身の幼少期の顔画像(以下、「過去画像」とよぶ)を対応付けてサーバ200に登録している。ユーザが通信端末100をフォトフレーム132にかざすと、カメラ170は人物A3の顔を撮像する。通信端末100は撮像された顔画像をサーバ200に送信する。サーバ200は、撮像画像に映る人物A3の過去画像を取得し、通信端末100に送信する。通信端末100は、画面上に映るフォトフレーム132の人物A3の現在画像を過去画像に差し替える。あるいは通信端末100は人物A3の過去画像を、人物A3の現在画像の横に表示してもよい。このように同一人物における年代の異なる顔画像を通信端末100に表示することで、その人物の顔の経年変化を楽しむことができる。
【0157】
1つの物品に対応づけられるデジタル・コンテンツは、さまざまな条件に応じて変化させてもよい。一例として、時間帯、季節、イベント期間、天候などがあげられる。
【0158】
図22は、時間帯に応じたコンテンツ出力を説明するための模式図である。
アイドルの写真が印刷されたアクリルスタンド134を想定する。アクリルスタンド134にはタグID=T7の内蔵タグ126が埋め込まれている。たとえば、午前9時にアクリルスタンド134にユーザが通信端末100をかざすとする。このときサーバ200は、タグID=T7に関する情報を検索し、朝の時間帯に通信端末100から出力させるアイドルのメッセージ音声「おはよう!」を特定する。サーバ200はこのメッセージ音声を通信端末100に送信する。通信端末100はスピーカーからアイドルのメッセージ音声「おはよう!」を出力する。この一連の処理の具体的な内容は後ほど説明する。
【0159】
図23は、メッセージ音声情報340のデータ構造図である。
メッセージ音声情報340の設定に際しては、アクリルスタンド134の製造者はまず、PC等からサーバ200にアクセスし、時間帯情報、メッセージ音声情報とともに、内蔵タグ126のタグID=T7を入力する。時間帯情報とメッセージ音声情報は対応付けられている。たとえば、朝の時間帯「午前6時~午前10時59分」は「おはよう!」というメッセージ音声が対応付けられている。サーバ200が時間帯情報、メッセージ音声情報およびタグID=T7を指定した登録要求を受信すると、音声管理部218はこれらの情報をデータ格納部230にあるメッセージ音声情報340に登録する。このとき音声管理部218は、各メッセージ音声とコンテンツIDを対応付けて登録する。たとえば、メッセージ音声「おはよう!」には、コンテンツID=C4が付与される。この登録作業が完了した後、アクリルスタンド134の製造者はタグID=T7の内蔵タグ126を埋め込んだアクリルスタンド134を発売する。
【0160】
ユーザはタグID=T7の内蔵タグ126が埋め込まれたアクリルスタンド134を購入する。ユーザはウェブブラウザを立ち上げ、通信端末100をアクリルスタンド134にかざす。通信端末100は内蔵タグ126と通信し、タグID=T7とスクリプト要求をサーバ200に送信する。サーバ200は起動スクリプトと、メッセージ音声を出力するためのスクリプト(以下、「音声出力スクリプト」とよぶ)を生成し、通信端末100に送信する。通信端末100がスクリプトを受信してからカメラ170が起動するまでの処理は、図7のS12からS16に示した処理と同様である。
【0161】
通信端末100は、音声出力スクリプトを受信している。通信端末100は、タグID=T7を指定する取得要求をサーバ200に送信する。
【0162】
サーバ200の音声管理部218は、メッセージ音声の取得要求をもとに、データ格納部230にあるメッセージ音声情報340にアクセスし、タグID=T7が登録された行を検索する。音声管理部218は、現在の時刻情報をサーバ200の内蔵時計から取得する。音声管理部218は、NTPサーバ等の外部接続機器から現在の時刻情報を取得してもよい。現在の時刻が午前9時の場合、音声管理部218は、午前9時が属する時間帯に対応するメッセージ音声(C4)を取得する。音声管理部218の指示により、サーバ200はメッセージ音声(C4)を通信端末100に送信する。
【0163】
通信端末100はメッセージ音声(C4)を受信すると、スピーカーからメッセージ音声「おはよう!」を出力する。このとき通信端末100は、アクリルスタンド134をライブビュー表示している。そのためユーザは、通信端末100の画面上に映るアクリルスタンド134に印刷されたアイドルが「おはよう!」という音声を発したように体感できる。
【0164】
スクリプト生成部213は、タグID=T7と対応付いたすべてのメッセージ音声が通信端末100で出力できるように音声出力スクリプトを生成してもよい。すなわちスクリプト生成部213は、「午前6時~午前10時59分のとき、「おはよう!」を出力する:午前11時~午後3時59分のとき、「元気?」を出力する:・・・」というスクリプトを生成してもよい。この場合、通信端末100のスピーカーから出力されるメッセージ音声は、スクリプト実行時の通信端末100の内蔵時計の時刻によって変化する。あるいは通信端末100がNTPサーバ等の外部接続機器から取得する時刻に応じて、出力音声を変化させてもよい。
【0165】
内蔵タグ126が埋め込まれた物品に通信端末100をかざす時間帯によって、サーバ200は出力すべきデジタル・コンテンツを変更させる。このような方法により、ユーザは1つの物品を通してさまざまなデジタル・コンテンツを楽しむことができる。出力するデジタル・コンテンツは音声に限られない。たとえば、画像や動画などが出力されてもよい。クリスマスなどの特定の時期に通信端末100をアイドルグッズにかざすと、通信端末100は特別な音声付き動画を映してもよい。あるいは、ユーザが2月14日に通信端末100をアイドルのグッズにかざすと、アイドルが「大好きです」と言いながらチョコレートの入った化粧箱を差し出すシーンの動画が映るようにしてもよい。
【0166】
複数のメンバーが所属するアイドルグループがあるとする。このアイドルグループのうち、メンバーA4のグッズとメンバーA5のグッズを近づけて通信端末100をかざすと、メンバーA4とメンバーA5が組んだユニットの曲の歌唱シーンの動画が映るようにしてもよい。あるアイドルのファンがそのアイドルに関するグッズを入手する。このグッズに対して通信端末100をかざすと、条件に応じてさまざまなデジタル・コンテンツが通信端末100から出力される。このような方法によれば、ファンの物品収集欲を満たすだけでなく、手近にアイドルの歌唱や映像などを楽しめる娯楽的付加価値を提供できる。
【0167】
デジタル・コンテンツを利用した「抽選」の実行も考えられる。ユーザが通信端末100を物品にかざし、通信端末100がサーバ200にアクセスするとき、サーバ200は抽選を実行してもよい。なお、抽選はサーバ200の「抽選部」(非図示)によって行われるものとする。サーバ200は抽選結果に応じてデジタル・コンテンツを選択し、通信端末100に送信してもよい。このときユーザは、通信端末100に送信されたデジタル・コンテンツに基づく特典を得られるようにしてもよい。
【0168】
図24は、抽選結果に応じたコンテンツ出力を説明するための模式図である。
おにぎり型のキャラクタのフィギュア136を想定する。フィギュア136には、タグID=T8の内蔵タグ126が埋め込まれている。ユーザはフィギュア136に通信端末100をかざす。このときサーバ200は、タグID=T8に関する情報を検索し、抽選を実行する。サーバ200は、抽選結果を示す画像を通信端末100に送信する。図24においては、通信端末100は画面上のフィギュア136の上部に、5kgのコシヒカリをプレゼントする旨を記載した抽選結果画像が出力されている。この一連の処理の具体的な内容は後ほど説明する。
【0169】
図25は、抽選結果画像情報350のデータ構造図である。
米穀店Rが、フィギュア136に通信端末100をかざした消費者に対し、コシヒカリをプレゼントするキャンペーンを想定する。米穀店Rはまず、設定登録のためにPC等からサーバ200にアクセスし、複数の抽選結果画像と、抽選結果画像ごとの当選確率である「重み」と、内蔵タグ126のタグID=T8を入力する。コシヒカリ5kgの当選確率が100分の1である。したがって、コシヒカリ5kgをプレゼントする旨を記載した抽選結果画像は、100分の1の確率で出力する。
【0170】
5kgのコシヒカリをプレゼントする旨を記載した抽選結果画像にはコンテンツID=C5が付与される。登録作業が完了した後、米穀店Rは内蔵タグ126が埋め込まれたフィギュア136を不特定多数の消費者に配布する。
【0171】
消費者はタグID=T8の内蔵タグ126が埋め込まれたフィギュア136を入手する。消費者はウェブブラウザを立ち上げ、通信端末100をフィギュア136にかざす。通信端末100は内蔵タグ126と通信し、スクリプト要求とタグID=T8をサーバ200に送信する。サーバ200は起動スクリプトと、表示スクリプトを通信端末100に送信する。通信端末100がスクリプトを受信してからカメラ170が起動するまでの処理は、図7のS12からS16までの処理と同様である。
【0172】
通信端末100は、タグID=T8とともに抽選要求をサーバ200に送信する。サーバ200の抽選部は、抽選結果画像情報350にアクセスし、重みに基づいて抽選を実行する。抽選の結果、コンテンツ(C5)が当選したとき、抽選部は抽選結果画像(C5)を選択する。サーバ200は抽選結果画像(C5)を通信端末100に送信する。通信端末100は抽選結果画像(C5)を受信すると、画面上に5kgのコシヒカリをプレゼントする旨の抽選結果画像を出力する。この結果、消費者は抽選に当選したことを認識できる。
【0173】
スクリプト生成部213は、タグID=T8と対応付いたすべての抽選結果画像が通信端末100で出力できるように表示スクリプトを生成してもよい。すなわちスクリプト生成部213は、「100分の1の確率で、コシヒカリ5kgをプレゼントする旨を表示する:・・・」というスクリプトを生成してもよい。この場合、スクリプト生成部213が生成するスクリプトには抽選機能が備わっているものとする。すなわちスクリプトの実行により抽選が行われ、画面上に表示される抽選結果画像が選択されるものとする。
【0174】
店舗運営者ではなくサーバ200がランダムに重みを設定してもよい。また当選の特典として、サーバ200はクーポン券などの電子ギフトを通信端末100に送信してもよい。ユーザがある物品に関する抽選を実行したとき、サーバ200は所定時間が経過するまで、そのユーザが次の抽選に参加できないように制御してもよい。たとえば、あるラーメン屋は、ラーメン1杯が無料になる電子クーポン券を抽選で配布するキャンペーンを行うとする。この電子クーポン券がもらえる当選者は、1日あたり100人を上限として設定されているとする。また当選確率は1%とする。さらに抽選を実行した場合、3時間経過しないと再度抽選に参加できないものとする。午前11時に客A6がラーメン屋に来店する。客A6は内蔵タグ126が埋め込まれたラーメンのどんぶりに通信端末100(A6)をかざして抽選に参加する。通信端末100(A6)は抽選に落選した旨の抽選結果画像を表示する。客A6は午後2時に再度ラーメン屋に来店する。客A6は内蔵タグ126が埋め込まれたラーメンのどんぶりに通信端末100(A6)をかざして再度抽選に参加する。抽選結果は当選であり、通信端末100(A6)は電子クーポンを取得する。その後、多くの客が抽選に参加し、午後7時で100人目の当選者が出たため、この日の抽選は終了となる。
【0175】
客が店に訪れ、内蔵タグ126が埋め込まれた物品に通信端末100をかざし、抽選に参加する。客は抽選の結果に応じて特典を取得する。このような方法によれば、店舗運営者は、来店客がより気軽に参加できるキャンペーンを設けることができる。
【0176】
内蔵タグ126は固定物、たとえば、建造物の壁面に埋め込まれてもよい。ユーザが壁面に埋め込まれた内蔵タグ126に通信端末100をかざす。このときサーバ200は、ユーザが向かう目的地の情報をデジタル・コンテンツとして通信端末100に送信してもよい。また、デジタル・コンテンツの内容はユーザの属性に応じて変化させてもよい。ユーザの属性は、たとえば、母国語、応援しているスポーツチーム、自宅の最寄り駅などが挙げられる。
【0177】
図26は、スタジアム内の応援席の道案内表示を説明するための模式図である。
あるスタジアムでアメリカ対日本の野球の国際試合が行われることを想定する。このスタジアムの入り口に、内蔵タグ126が埋め込まれた広告板138が取り付けられている。
【0178】
日本チームの応援に来た日本人A7は、通信端末100(A7)を広告板138にかざす。通信端末100(A7)はサーバ200にアクセスし、起動スクリプトおよび表示スクリプトを受信する。スクリプトの実行により起動したカメラ170は、広告板138を撮像する。通信端末100(A7)は、通信端末100(A7)の設定言語とともに、広告板138の撮像画像をサーバ200に送信する。設定言語とは、通信端末100の利用の際に画面に表示されるよう設定された言語を示す。なお、通信端末100(A7)の設定言語は「日本語」とする。
【0179】
サーバ200は、設定言語「日本語」に対応付けられた案内画像を特定する。この案内画像には、日本チームの応援席が左側にある旨が示されている。サーバ200はこの案内画像を通信端末100(A7)に送信する。通信端末100(A7)は画面上の広告板138に、日本チームの応援席が左側にある旨を示した案内画像を重畳表示する。この結果日本人A7は、左側に向かえばよいことを認識できる。
【0180】
ファンは、通信端末100に応援チームの情報を事前に登録してからスタジアムの広告板138に通信端末100をかざす。このとき、画面上に自分のチームの応援席の方向を示す案内表示が映るようにしてもよい。あるいはA8チームのファンは通信端末100を縦向き、A9チームのファンは通信端末100を横向きにして広告板138を撮像するものとする。サーバ200は広告板138の撮像画像の向きを判別し、判別結果に応じて、応援席の方向を示す案内画像を通信端末100に送信してもよい。
【0181】
ある鉄道路線を利用する乗客は通信端末100に自宅の最寄り駅を事前登録する。外出先から帰宅する際、巨大なターミナル駅にある、内蔵タグ126を埋め込んだ広告板138に通信端末100をかざす。通信端末100は登録された最寄り駅情報をサーバ200に送信する。サーバ200はこの情報をもとに、その最寄り駅に向かう列車が発着するホームの方向を示す案内画像を取得する。サーバ200は通信端末100にこの案内画像を送信する。通信端末100はこの案内画像を画面上の広告板138に重畳表示してもよい。
【0182】
あるいは、ウェブブラウザを立ち上げた状態で、乗客が通信端末100を広告板138にかざす。サーバ200は乗換案内サービスに登録された最寄り駅情報を通信端末100に転送するスクリプトを通信端末100に送信する。通信端末100は乗換案内サービスから最寄り駅情報を取得すると、この情報をサーバ200に送信する。サーバ200はこの情報をもとに、乗客の最寄り駅に向かう列車が発着するホームの方向を示す案内画像を取得してもよい。このような方法によれば、案内板が少ない場所でも、自分がどこに向かえば目的地にたどり着けるのかを手軽に把握できる。特に人が多く集まる場所、たとえば繁華街、レジャー施設、コンサート会場、および観光地などで、この方法は有効である。
【0183】
このような方法は、商業施設やホテルなど、人々が集まるビルにおいて、非常灯の補助として非常口の方向を示すために用いられてもよい。このような方法によれば、火災や地震等の災害に備え、人々は手軽に避難経路を把握できる。あるいは、広告板138の数は少ないが、迷うと危険な場所、たとえば登山道などにおいても、案内板や三角点などに内蔵タグ126を埋め込むことにより、このような方法を用いて道案内を行うことは、有効である。
【0184】
ユーザが通信端末100の画面上に映るキャラクタのグッズに向かって話しかけたとする。このとき、ユーザの質問に対する返答音声が通信端末100のスピーカーから出力されてもよい。
【0185】
図27は、通信端末100を介したぬいぐるみ108との会話を説明するための模式図である。
ぬいぐるみ108の所有者A8はぬいぐるみ108に通信端末100(A8)をかざす。通信端末100(A8)はサーバ200にアクセスし、タグIDを送信する。サーバ200はカメラ170の起動、マイク入力音声のサーバ200への送信、およびスピーカーからの音声出力に関するスクリプトを通信端末100(A8)に送信する。スクリプトの実行により起動したカメラ170はぬいぐるみ108を撮像する。所有者A8は「調子はどう?」と画面上のぬいぐるみ108に話しかける。所有者A8の音声「調子はどう?」は、通信端末100(A8)のマイクに入力される。スクリプトの実行により、マイクに入力された音声はサーバ200に送信される。サーバ200は、受信済みのタグIDに対応付けられた発声者情報を特定する。発声者情報とは、返答音声を発する者を特定する情報を指す。具体的には、返答音声を発する者の名前などが登録される。
【0186】
たとえばぬいぐるみ108は、あるアニメに登場するキャラクタA9を模したものであるとする。キャラクタA9の声は声優A10が演じている。そのため、サーバ200が受信したタグIDに対応付けられた発声者情報として、声優A10の名前が登録されているとする。すなわちサーバ200は、発声者情報として声優A10の名前を特定する。
【0187】
サーバ200は、特定した発声者情報および受信済みの入力音声「調子はどう?」を会話プログラム(非図示)に転送する。ここでは、AI(人工知能)が会話プログラムとして機能するものとする。会話プログラムは、転送された発声者情報と入力音声をもとに、声優A10による返答音声「とっても元気だよ!」を生成する。サーバ200は返答音声を通信端末100(A8)に送信する。
【0188】
通信端末100(A8)は返答音声を受信すると、スピーカーから返答音声「とっても元気だよ!」を出力する。所有者A8は、返答音声「とっても元気だよ!」に対するさらなる質問を通信端末100(A8)の画面上のぬいぐるみ108に対して行う。通信端末100(A8)はサーバ200にこの質問の音声を送信する。サーバ200は質問に対する返答音声を生成し、通信端末100(A8)に送信する。通信端末100(A8)は返答音声を出力する。このようなやり取りが繰り返されることにより、所有者A8は通信端末100(A8)の画面上に表示されるぬいぐるみ108と双方向的な会話を楽しむことができる。
【0189】
所有者A8が通信端末100(A8)をぬいぐるみ108にかざしたとき、通信端末100(A8)はぬいぐるみ108のアニメーションなどの動画像を映してもよい。また、画面上のキャラクタA9が返答に対応して動作する動画像を映してもよい。たとえば、キャラクタA9が「とっても元気だよ!」という返答音声に合わせ、何回も飛び跳ねるような動画像を映してもよい。
【0190】
返答音声はデータ格納部230に格納された発声者情報をもとに生成されるとしたが、会話プログラムが発声者を決めてもよい。たとえばカメラ170がぬいぐるみ108を撮像し、撮像画像がサーバ200に送信される。会話プログラムは送信された撮像画像から声を当てるべき物品、すなわちぬいぐるみ108を判別する。このとき、返答音声の発声者として声優A10を決めてもよい。また会話プログラムにより、ユーザ自身の声および他者の声などを合成して返答音声が生成されてもよい。
【符号の説明】
【0191】
100 通信端末、102 小瓶、104 アクセサリー、106 メッセージ画像、108 ぬいぐるみ、110 風船画像、112 プラモデル、114 証明書データ、116 画像座標平面、118 表示領域、120 正面撮像画像、122 左上撮像画像、124 被写体空間、126 内蔵タグ、128 ウェブカメラ、130 モニタ、132 フォトフレーム、134 アクリルスタンド、136 フィギュア、138 広告板、140 ユーザインタフェース処理部、141 入力部、142 出力部、150 データ処理部、151 データ取得部、152 送信指示部、153 スクリプト実行部、160 通信部、161 受信部、162 送信部、170 カメラ、200 サーバ、210 データ処理部、211 データ配置部、212 画像管理部、213 スクリプト生成部、214 モデルデータ生成部、215 物体特定部、216 表示調整部、217 証明書情報管理部、218 音声管理部、220 通信部、221 受信部、222 送信部、230 データ格納部、300 メッセージ画像情報、310 モデルデータ情報、320 証明書情報、330 更新済み証明書情報、340 メッセージ音声情報、350 抽選結果画像情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27