(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
[コンテンツ配信システム]
以下、本発明の実施の形態について図面を用いて説明する。
【0013】
図1に示すように、本実施形態のコンテンツ配信システムは、サーバ1とユーザ端末3を備える。サーバ1とユーザ端末3とはネットワークを介して接続される。
図1ではサーバ1を1台のみ図示しているが、機能ごとに複数台のサーバを備えてもよいし、クラウド上でサーバ1の機能を実現してもよい。ユーザ端末3の数は2台に限るものではなく、多数のユーザ端末3がサーバ1に接続する。
【0014】
ユーザ端末3は、ユーザ端末3の備えるカメラで撮影して得られたマーカーの情報とユーザ端末3の位置情報をサーバ1へ送信する。
図2に、ユーザ端末3で撮影したマーカー210の写っている画像200の一例を示す。同図に示す画像200内には扉に貼り付けられたマーカー210が写っている。ユーザ端末3は、撮影した画像200と撮影位置の位置情報をサーバ1へ送信する。なお、
図2のマーカー210は一例であり、画像認識で特定可能な被写体をマーカーとして利用できる。例えば、マーカーとして、図形、ポスター、人物、モニュメント、あるいはランドマークを利用できる。
【0015】
サーバ1は、マーカーと位置情報の組に関連付けられたコンテンツをユーザ端末3に返信する。例えば、サーバ1は、画像認識により、受信した画像200からマーカー210を認識し、認識したマーカー210と受信した位置情報の組が登録されていれば、サーバ1は、その組に関連付けられたコンテンツをユーザ端末3に返信する。コンテンツにコメントが付与されている場合、サーバ1は、コンテンツとともにコメントをユーザ端末3へ返信する。
【0016】
ユーザ端末3は、サーバ1から受信したコンテンツを表示する。
図3に、ユーザ端末3においてコンテンツである動画310を表示した表示画面300の一例を示す。同図に示す表示画面300では、AR技術を用いて、ユーザ端末3で撮影した映像のマーカー内にサーバ1から受信した動画310を重畳させて表示している。動画310を表示する態様はこれに限るものではない。撮影したマーカーの手前において、マーカーよりも大きいサイズで動画310を重畳させて表示してもよい。マーカーを貼り付けた構造物の形状に応じて動画310の表示態様を変えてもよい。撮影した映像に動画310を重畳させずに、ユーザ端末3の表示画面300の全面で動画310を表示してもよい。
【0017】
本実施形態では、コンテンツの一例として動画を用いて説明するが、これに限るものではない。例えば、コンテンツは、静止画またはテキストであってもよいし、音楽、音声であってもよい。コンテンツは、コンピュータグラフィックスによる3次元オブジェクトであってもよい。また、コンテンツは、これらを複合したものでもよい。マーカーと位置情報の組に複数種類のコンテンツが関連付けられてもよい。また、マーカーと位置情報の組に複数個または複数種類のコンテンツが関連付けられてもよい。マーカーと位置情報の組に複数のコンテンツが関連付けられている場合、複数のコンテンツはパラレルに配信されてもよいし、所定の順番で配信されてもよい。複数のコンテンツの中から選択された所定数のコンテンツが配信されてもよい。
【0018】
ユーザ端末3は、コンテンツに付与されたコメントを受信した場合、コメントも表示する。コメントは、その位置で過去に投稿されたメッセージである。つまり、ユーザ端末3は、過去に同一のマーカー210を撮影して動画310を見たユーザが投稿したコメントを表示する。コメントは、例えば、ユーザ端末3で表示した動画310内において、動画の一端から出現して他端に向けて移動し、他端で消失するように表示する。ユーザ端末3は、AR技術を用いて、マーカーを基準とした映像内の任意の位置にコメントを表示してもよい。例えば、電柱に貼られているマーカーを撮影した場合、コメントが電柱の周りを回るように表示する。
【0019】
ユーザは、サーバ1から受信したコンテンツにコメントを投稿することができる。ユーザがコメントを入力すると、ユーザ端末3は、入力されたコメントをサーバ1へ送信する。サーバ1は、マーカーと位置情報の組に紐付けてコンテンツに対するコメントを記憶する。
【0020】
ユーザ端末3は、
図4のようなマーカーの存在する位置を示すマップを表示してもよい。
図4の例では、地点A,Bにマーカーが存在することを示している。ユーザは、地点Aでマーカーを撮影すると、マーカーと地点Aの組に紐付けられた動画を視聴でき、地点Bでマーカーを撮影すると、マーカーと地点Bの組に紐付けられた別の動画を視聴できる。地点A,Bのマーカーは同一の図形でよい。
【0021】
マーカーと地点Aの組とマーカーと地点Bの組のそれぞれに対して同一の動画を関連付けてもよい。地点A,Bのそれぞれで視聴できる動画が同一の場合であっても、サーバ1は、地点Aと地点Bのそれぞれで入力されたコメントを別々に管理する。ユーザは、地点Aでマーカーを撮影して動画を見る場合は地点Aで入力されたコメントを見ることができ、地点Bでマーカーを撮影して動画を見る場合は地点Bで入力されたコメントを見ることができる。
【0022】
ユーザの投稿した投稿コメントそのものをコンテンツとしてもよい。サーバ1は、ユーザ端末3からマーカーと位置情報を受信すると、マーカーと位置情報の組に関連付けて記憶されたコメントをユーザ端末3へ返信する。ユーザは、撮影したマーカーの映像に重畳して表示されるコメントを閲覧できる。ユーザがコメントを投稿すると、サーバ1は受信したコメントをマーカーと位置情報の組に関連付けて記憶する。
【0023】
[サーバとユーザ端末の構成]
次に、本実施形態のサーバ1とユーザ端末3の構成について説明する。
【0024】
図5に示すサーバ1は、受信部11、画像認識部12、動画取得部13、送信部14、および蓄積部15を備える。
【0025】
受信部11は、ユーザ端末3からマーカー情報と位置情報、並びにコメントを受信する。マーカー情報は、例えば、マーカーを撮影した画像である。位置情報は、ユーザ端末3の位置を示す情報であり、例えば、ユーザ端末3の備えるGPS(Global Positioning System)機能で得られた位置情報である。位置情報は、利用するアプリケーションに応じて任意の精度のものを利用できる。例えば、ユーザ端末3が接続する基地局に基づく位置情報を用いてもよい。受信部11は、受信したマーカー情報と位置情報を画像認識部12に渡す。
【0026】
受信部11は、受信したコメントをユーザが視聴中の動画またはマーカーと位置情報の組に関連付けて蓄積部15に記録する。
【0027】
画像認識部12は、マーカー情報(ユーザ端末から受信した画像)内の被写体を認識する。認識できた被写体がマーカーとして登録されたものであれば、画像認識部12は、認識できたマーカーと受信部11の受信した位置情報の組を動画取得部13に渡す。事業者は、図形、ポスター、人物、モニュメント、あるいはランドマークなどをマーカーとして事前にサーバ1に登録しておく。サーバ1には、複数種類のマーカーが登録されてもよい。例えば、マーカーごとにIDを付与し、画像認識部12は認識できたマーカーのIDを出力する。
【0028】
動画取得部13は、マーカーと位置情報の組が登録されているか否か判定する。マーカーと位置情報の組が登録されていれば、動画取得部13は、マーカーと位置情報の組に関連付けられた動画を蓄積部15から取得し、送信部14へ渡す。事業者は、例えば、マーカーと位置情報の組を蓄積部15に登録しておき、その組に関連付けて動画を蓄積部15に格納する。
【0029】
送信部14は、蓄積部15から取得した動画をユーザ端末3へ配信する。また、送信部14は、動画またはマーカーと位置情報の組に関連付けて記録されたコメントを蓄積部15から取得し、ユーザ端末3へ配信する。
【0030】
蓄積部15は、サーバ1の処理に必要な情報を格納する。例えば、蓄積部15は、画像認識部12が画像認識によりマーカーを検出するための情報を保持する。また、蓄積部15は、マーカーと位置情報の組を保持し、その組に関連付けられた動画を保持する。動画本体ではなく動画へのリンクを保持してもよい。蓄積部15は、投稿されたコメントを動画またはマーカーと位置情報の組に関連付けて管理する。
【0031】
図6に示すユーザ端末3は、撮影部31、位置検出部32、送信部33、入力部34、受信部35、および表示部36を備える。ユーザ端末3として、スマートフォンなどの携帯端末を用いることができる。
【0032】
撮影部31は、マーカーを撮影する。撮影部31は、例えば、携帯端末のカメラを利用できる。
【0033】
位置検出部32は、ユーザ端末3の位置を検出する。位置検出部32は、例えば、携帯端末のGPS機能を利用できる。
【0034】
送信部33は、撮影部31の撮影した画像と位置検出部32の検出した位置情報をサーバ1へ送信する。また、送信部33は、ユーザの入力したコメントをサーバ1へ送信する。
【0035】
入力部34は、ユーザからコメントを入力する。
【0036】
受信部35は、サーバ1から動画とコメントを受信する。
【0037】
表示部36は、サーバ1から受信した動画とコメントを表示する。
【0038】
サーバ1およびユーザ端末3が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ1およびユーザ端末3が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【0039】
なお、上記では、サーバ1が画像認識処理を行って画像からマーカーを検出したが、ユーザ端末3が画像認識処理を行ってマーカーを検出してもよい。この場合、ユーザ端末3は、検出したマーカーのIDを位置情報とともに送信する。また、ユーザ端末3は、撮影した画像を加工したものをマーカー情報として送信してもよい。例えば、ユーザ端末3は、画像からマーカーの存在する部分を切り取ったもの、あるいは画像の情報量を削減したものをマーカー情報として送信してもよい。
【0040】
なお、一つの位置情報が示す場所に複数のマーカーが付与されていたり、近接する複数の位置情報のそれぞれにマーカーが付与されていたりしてもよい。例えば、ユーザ端末3の撮影した画像内から複数のマーカーを検出できた場合、ユーザ端末3はユーザからコンテンツを表示するマーカーの選択を受け付け、選択されたマーカーに関連付けられたコンテンツの配信を受けて表示してもよいし、複数のマーカーのそれぞれに関連付けられた全てのコンテンツの配信を受けて表示してもよい。あるいは、サーバ1またはユーザ端末3が、ユーザが過去に閲覧したことのあるマーカーを選択してもよいし、ユーザの属性や履歴情報に基づいてマーカーを選択してもよい。
【0041】
[サーバとユーザ端末の動作]
次に、本実施形態のサーバ1とユーザ端末3の動作について説明する。
【0042】
図7のフローチャートを参照し、サーバ1の動作について説明する。
【0043】
ステップS11にて、サーバ1は、画像と位置情報を受信する。
【0044】
ステップS12にて、サーバ1は、受信した画像の認識処理を行う。
【0045】
ステップS13にて、サーバ1は、画像認識により得られたマーカーと位置情報の組が登録されているか否か判定する。マーカーと位置情報の組が登録されていない場合は処理を終了する。また、画像認識によりマーカーが得られなかった場合も処理を終了する。処理を終了する際、サーバ1は、マーカーや位置情報の登録がないことを返信してもよい。
【0046】
ステップS14にて、サーバ1は、マーカーと位置情報の組に関連付けられた動画およびコメントを送信する。
【0047】
ステップS15にて、サーバ1は、送信した動画に対するコメントを受信した場合、ステップS16にて、サーバ1は、受信したコメントを動画に関連付けて記憶する。
【0048】
図8のフローチャートを参照し、ユーザ端末3の動作について説明する。
【0049】
ステップS21にて、ユーザ端末3は、画像と位置情報を送信する。
【0050】
ステップS22にて、ユーザ端末3は、動画とコメントを受信する。ステップS21で送信した画像にマーカーが含まれていない場合、または画像から検出されたマーカーと位置情報が登録されていない場合は、ユーザ端末3は、その旨の通知を受信し、処理を終了する。
【0051】
ステップS23にて、ユーザ端末3は、動画を表示する。
【0052】
ステップS24にて、ユーザ端末3は、ユーザからコメントを入力した場合、ステップS25にて、ユーザ端末3は、入力したコメントを送信する。
【0053】
[利用例]
次に、本実施形態のコンテンツ配信システムの利用例について説明する。
【0054】
コンテンツ配信システムをストリートライブ配信に利用する例について説明する。例えば、コンテンツとして生放送番組(ライブ配信)を準備しておき、マーカーと位置情報の組に生放送番組を関連付けておく。街中のいくつかの場所(1箇所でもよい)にマーカーを配置する。マーカーとして生放送番組を告知するポスターを利用できる。既存の被写体をマーカーとして登録してもよい。生放送番組の配信中に、ユーザ端末3でマーカーを撮影してサーバ1へ送信すると、ユーザ端末3に生放送番組が配信されて、ユーザは、ストリートライブ風に生放送番組を閲覧できる。ライブ配信前は、コンテンツとして予告動画を配信してもよいし、ライブ配信後は、コンテンツとしてライブ配信を録画したタイムシフト動画を配信してもよい。
【0055】
ユーザは、生放送番組を閲覧しながらコメントを投稿できる。サーバ1は、マーカーと位置情報の組ごと、つまり場所ごとにコメントを管理する。マーカーを撮影して現地で生放送番組を閲覧する方法に加えて、場所を問わずに生放送番組を閲覧できるようにした場合、つまり、自宅でもインターネット経由で生放送番組を閲覧できるようにした場合、サーバ1は、投稿場所を問わないコメントと現地で投稿されたコメントとを区別できるように管理する。サーバ1は、現地で投稿されたコメントは、現地で閲覧しているユーザ端末3のみに配信してもよいし、現地で投稿されたコメントとして区別できる態様で全ユーザに配信してもよい。生放送番組が複数のマーカーと位置情報の組に関連付けられている場合、つまり、複数の場所にマーカーが設置されている場合、場所ごとにコメントを管理し、同じ場所内のユーザ端末3のみにコメントを配信してもよいし、場所ごとのコメントが区別できる態様で全てのユーザ端末3に配信してもよい。
【0056】
コンテンツ配信システムを道案内に利用する例について説明する。例えば、イベントの開催を告知するポスターをマーカーとする。サーバ1は、ポスターと位置情報の組にその位置からイベント会場までの道順の情報を関連付けて登録しておく。ユーザが街に貼られたポスターを撮影すると、ポスターの画像と位置情報がサーバ1へ送信され、ポスターを撮影した位置からイベント会場までの道順がサーバ1から返信されて、ユーザ端末3に表示される。例えば、ユーザ端末3は、撮影した映像に矢印のオブジェクトを重畳させてイベント会場の方向を示す。貼る場所ごとにポスターを変えなくても、ポスターと位置情報の組でユーザの現在位置がわかる。同様に、電柱広告の病院のマークをマーカーとし、広告と位置情報の組のそれぞれにその位置からの道順を示す情報をコンテンツとして関連付けてもよい。ユーザは、病院のマークを撮影するだけで、道順を知ることができる。また、コメントを投稿できるようにしておくと、病院の評判を知ったり、投稿できたりする。
【0057】
コンテンツ配信システムをお店の紹介および評判に利用する例について説明する。お店の入り口にマーカーとなるステッカーを貼っておき、マーカーと位置情報の組にお店の情報を登録しておく。ステッカーは全てのお店で共通のものでよい。ユーザ端末3でマーカーを撮影すると、サーバ1からマーカーと位置情報に対応したお店の紹介が返信されて表示される。ユーザ端末3は、ユーザの投稿したコメントを表示してもよい。投稿されたコメントは、少なくとも現地に来たユーザのコメントであるので、より信頼できるコメントである。
【0058】
コンテンツ配信システムを電子的なスタンプラリーに利用する例について説明する。例えば、鉄道会社のマークをマーカーとして登録しておく。スタンプラリーのポスターをマーカーとして登録してもよい。マーカーと各駅の位置情報の組に各駅のスタンプを関連付けておく。ユーザは、各駅で鉄道会社のマークもしくはポスターを撮影するとその駅のスタンプを取得できる。例えば、サーバ1から駅のスタンプの情報からユーザ端末3へ送信されて、ユーザ端末3では、アプリ内のスタンプ手帳にその駅のスタンプが記録される。
【0059】
図9に示すように、ランドマークをマーカーとした場合、位置情報は、ランドマークを基準とした方角で指定してもよいし、ランドマークからの距離で指定してもよい。サーバ1は、方角または距離ごとに区切られた位置のそれぞれでコメントを管理する。
【0060】
[ユーザがマーカーを登録]
上記では、事業者がマーカーおよびマーカーと位置情報を登録した例で説明した。以下では、
図10のフローチャートを参照し、ユーザがマーカーと位置情報を登録する例について説明する。
【0061】
ユーザは、登録したい位置においてマーカーを撮影する。ユーザ端末3は、マーカーを撮影した画像と位置情報の組の登録要求をサーバ1へ送信する。ユーザ端末3は、マーカーと位置情報の組に関連付けるコンテンツを送信してもよい。
【0062】
ステップS31にて、サーバ1は、登録要求を受信する。
【0063】
ステップS32にて、サーバ1は、画像認識処理によって画像からマーカーを検出し、マーカーと位置情報の組を登録する。サーバ1は、画像からマーカーが検出できないときは、画像内の被写体を新たなマーカーとして登録してもよいし、マーカーが検出できないエラーをユーザ端末3へ返却してもよい。
【0064】
ステップS33にて、サーバ1は、ステップS32で登録したマーカーと位置情報の組にコンテンツを紐付けて管理する。
【0065】
例えば、人物がマーカーとして登録されていた場合、ユーザは、街に設置された看板を撮影し、マーカーとして登録された人物が写る看板であれば、その位置と人物の組を登録し、その組に対してコメントを投稿できる。新たに登録されたマーカーと位置情報の組は、
図4で示したマップに表示してもよい。その後、他のユーザがその看板を撮影すると投稿されたコメントを閲覧でき、新たなコメントを投稿できる。
【0066】
以上説明したように、本実施形態のコンテンツ配信システムは、コンテンツを配信するサーバ1とコンテンツを視聴するためのユーザ端末3を備える。サーバ1は、マーカーと位置情報の組にコンテンツを関連付けて保持する蓄積部15と、マーカー情報と位置情報を受信する受信部11と、マーカー情報の示すマーカーと位置情報の組を蓄積部15から検索し、当該マーカーと位置情報の組に関連付けられたコンテンツを取得する動画取得部13と、マーカーと位置情報の組に関連付けられたコンテンツを送信する送信部14を有する。ユーザ端末3は、画像を撮影する撮影部31と、当該ユーザ端末3の位置情報を取得する位置検出部32と、画像から得られるマーカー情報と位置情報を送信する送信部33と、マーカー情報の示すマーカーと位置情報の組に関連付けられたコンテンツを受信する受信部35と、コンテンツを表示する表示部36を有する。これにより、所定の位置で所定のマーカーを撮影したときに、コンテンツを利用することができ、位置情報に基づく様々なコンテンツを提供できる。
【解決手段】コンテンツを配信するコンテンツ配信システムであり、コンテンツを配信するサーバ1とコンテンツを視聴するためのユーザ端末3を備える。サーバ1は、マーカーと位置情報の組にコンテンツを関連付けて保持する蓄積部15と、マーカー情報と位置情報を受信する受信部11と、マーカー情報の示すマーカーと位置情報の組を蓄積部15から検索し、当該マーカーと位置情報の組に関連付けられたコンテンツを取得する動画取得部13と、マーカーと位置情報の組に関連付けられたコンテンツを送信する送信部14を有する。ユーザ端末3は、画像を撮影する撮影部31と、当該ユーザ端末3の位置情報を取得する位置検出部32と、画像から得られるマーカー情報と位置情報を送信する送信部33と、マーカー情報の示すマーカーと位置情報の組に関連付けられたコンテンツを受信する受信部35と、コンテンツを表示する表示部36を有する。