(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023054039
(43)【公開日】2023-04-13
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
H04N 21/258 20110101AFI20230406BHJP
H04N 21/235 20110101ALI20230406BHJP
【FI】
H04N21/258
H04N21/235
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023017701
(22)【出願日】2023-02-08
(62)【分割の表示】P 2022029964の分割
【原出願日】2020-05-20
(31)【優先権主張番号】P 2019105278
(32)【優先日】2019-06-05
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】517039003
【氏名又は名称】パロニム株式会社
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】小林 道生
(57)【要約】
【課題】ライブ画像の視聴中、又はライブ画像を視聴した後のタイミングで、当該ライブ画像に含まれるオブジェクトに関する所定情報を容易に取得できるようにすることを課題とする。
【解決手段】紐付情報管理部121は、ライブ画像Lの中で視聴者Wにより指定がなされるオブジェクトJに対し、視聴者Wにオブジェクト情報を提供するための紐付情報を、当該指定がなされる前の所定タイミングで紐付けて管理する。提示制御部122は、ライブ画像Lを視聴者Wに提示する。指定受付部123は、ライブ画像Lの視聴者WによるTIGエリアAに対するタップ操作による指定を受付ける。取得部124は、指定が受付けられたオブジェクトJに紐付けられている紐付情報を取得する。提供制御部125は、取得された紐付情報に基づいて、オブジェクト情報を視聴者Wに提供する。
【選択図】
図9
【特許請求の範囲】
【請求項1】
表示されているライブ画像の中で第1ユーザにより指定がなされる、所定時間帯の所定領域に存在するオブジェクトに対し、当該第1ユーザに所定情報を提供するための情報を、当該指定がなされる前の所定タイミングで紐付けて、当該情報を紐付情報として管理する管理手段と、
前記ライブ画像を前記第1ユーザに提示する制御を実行する提示制御手段と、
前記ライブ画像が提示されている前記第1ユーザによる前記所定領域に対する所定操作がなされた場合、当該所定領域に存在する前記オブジェクトの前記指定がなされたと認識して、当該指定を受付ける第1受付手段と、
前記指定が受付けられた前記オブジェクトに紐付けられて管理されている前記紐付情報を取得する取得手段と、
前記取得手段により取得された前記紐付情報に基づいて、前記所定情報を前記第1ユーザに提供する制御を実行する提供制御手段と、
を備える情報処理システム。
【請求項2】
前記所定タイミング以前に前記オブジェクトを設定する第1設定を行う第1設定手段と、
前記ライブ画像として表示される表示領域のうち少なくとも一部の領域を、前記オブジェクトの前記指定のための前記所定操作がなされる前記所定領域として設定する第2設定を行う第2設定手段と、
をさらに備える、
請求項1に記載の情報処理システム。
【請求項3】
前記第1設定手段は、前記ライブ画像が表示される前に、前記第1設定を行い、
前記第2設定手段は、前記ライブ画像が表示される前に、前記第2設定を行う、
請求項2に記載の情報処理システム。
【請求項4】
前記ライブ画像が表示されている最中に前記所定領域が有効になる前記所定時間帯を設定する第3設定を行う第3設定手段をさらに備える、
請求項2又は3に記載の情報処理システム。
【請求項5】
前記第3設定手段は、前記ライブ画像が表示されるよりも前の時点で前記第3設定を行う、
請求項4に記載の情報処理システム。
【請求項6】
前記第2設定手段は、前記ライブ画像が表示されている最中に、前記第2設定を行い、
前記第3設定手段は、前記ライブ画像が表示されている最中に、前記第3設定を行う、
請求項4又は5に記載の情報処理システム。
【請求項7】
前記第2設定手段は、前記ライブ画像が表示されている最中に、第2ユーザによる指定に基づいて、前記第2設定を行い、
前記第3設定手段は、前記ライブ画像が表示されている最中に、前記第2ユーザによる指定に基づいて、前記第3設定を行う、
請求項6に記載の情報処理システム。
【請求項8】
前記ライブ画像が表示されている最中に、所定時間帯の前記所定領域に存在する前記オブジェクトを認識する認識手段をさらに備え、
前記第2設定手段は、前記認識手段により認識された前記オブジェクトについて、前記第2設定を行い、
前記第3設定手段は、前記認識手段により認識された前記オブジェクトについて、前記第3設定を行う、
請求項6に記載の情報処理システム。
【請求項9】
前記第1設定手段は、前記認識手段により前記オブジェクトが認識された場合に、当該オブジェクトを設定する、
請求項8に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置システムに関する。
【背景技術】
【0002】
従来より、静止画像又は動画像にリンク領域を設けて、当該リンク領域に対する操作を受け付けて所定情報を表示させる技術は存在する。
例えば、特許文献1には、旅行用ガイドブックの電子書籍のページに「チケット予約へGO」と表示されたリンク領域に対する操作が行われると、リンク先となるチケット予約専用のWEBページを表示させる技術が記載されている。
また例えば、動画像を含む電子書籍のページの閲覧中とは別のタイミングにおいて、当該電子書籍に含まれていたオブジェクトに関する所定情報を取得することを可能とする技術について、本出願人は既に出願している(特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許5537724号公報
【特許文献2】特願2019-047406号明細書及び図面
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1及び特許文献2を含め従来の技術は、撮像により生成された静止画像又は動画像のデータに含まれるオブジェクトに関する所定情報を取得できるようにする技術である。
つまり、従来の技術では、既に存在する画像のデータに含まれるオブジェクトに関する所定情報を取得することが想定されているが、いわゆる生放送のようなライブ画像を想定していない。
ところが、ライブ画像の視聴中、又はライブ画像を視聴した後のタイミングで、当該ライブ画像に含まれるオブジェクトに関する所定情報を取得することを望むユーザも多く存在する。
特許文献1及び特許文献2を含め従来の技術では、このようなユーザからの要望に応えることが充分にできていない状況である。
【0005】
本発明は、このような状況に鑑みてなされたものであり、ライブ画像の視聴中、又はライブ画像を視聴した後のタイミングで、当該ライブ画像に含まれるオブジェクトに関する所定情報を容易に取得できるようにする手法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理システムは、
表示されているライブ画像の中で第1ユーザにより指定がなされる、所定時間帯の所定領域に存在するオブジェクトに対し、当該第1ユーザに所定情報を提供するための情報を、当該指定がなされる前の所定タイミングで紐付けて、当該情報を紐付情報として管理する管理手段と、
前記ライブ画像を前記第1ユーザに提示する制御を実行する提示制御手段と、
前記ライブ画像が提示されている前記第1ユーザによる前記所定領域に対する所定操作がなされた場合、当該所定領域に存在する前記オブジェクトの前記指定がなされたと認識して、当該指定を受付ける第1受付手段と、
前記指定が受付けられた前記オブジェクトに紐付けられて管理されている前記紐付情報を取得する取得手段と、
前記取得手段により取得された前記紐付情報に基づいて、前記所定情報を前記第1ユーザに提供する制御を実行する提供制御手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、ライブ画像の視聴中、又はライブ画像を視聴した後のタイミングで、当該ライブ画像に含まれるオブジェクトに関する所定情報を容易に取得することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る情報処理システムにより実現可能なサービスの一例の概要を示す図である。
【
図2】本発明の一実施形態に係る情報処理システムの構成を示す図である。
【
図3】
図2の情報処理システムのうち管理サーバのハードウェア構成の一例を示すブロック図である。
【
図4】
図3の管理サーバの機能的構成のうち、紐付情報設定支援処理、及び紐付情報提供処理を実行するための機能的構成を示す機能ブロック図である。
【
図5】設定者が、オブジェクトの設定を設定者端末にライブ画像が表示される前に行う場合に、設定者端末に表示されるGUI(Graphical User Interface)の一例を示す図である。
【
図6A】設定者が、TIGエリアが有効になる時間帯の設定を設定者端末にライブ画像が表示される前に行う場合に、設定者端末に表示されるGUIの一例を示す図である。
【
図6B】設定者が、TIGエリアが有効になる時間帯の設定を設定者端末にライブ画像が表示される前に行う場合に、設定者端末に表示されるGUIの一例を示す図である。
【
図7A】設定者が、TIGエリアの位置の設定と、TIGエリアが有効になる時間帯の設定とを、設定者端末にライブ画像が表示されている最中に行う場合に、設定者端末に表示されるGUIの一例を示す図である。
【
図7B】設定者が、TIGエリアの位置の設定と、TIGエリアが有効になる時間帯の設定とを、設定者端末にライブ画像が表示されている最中に行う場合に、設定者端末に表示されるGUIの一例を示す図である。
【
図8A】TIGエリアの位置の設定と、TIGエリアが有効になる時間帯の設定とが、設定者端末にライブ画像が表示されている最中に自動で行われる場合に、設定者端末に表示されるGUIの一例を示す図である。
【
図8B】TIGエリアの位置の設定と、TIGエリアが有効になる時間帯の設定とが、設定者端末にライブ画像が表示されている最中に自動で行われる場合に、設定者端末に表示されるGUIの一例を示す図である。
【
図9】衣料品店の店員が商品を試着してライブ画像を配信する場合に本サービスが適用される例を示す図である。
【
図10】衣料品店の店員が商品を試着してライブ画像を配信する場合に本サービスが適用される例のうち
図9と異なる例を示す図である。
【
図11】衣料品店の店員が商品を試着してライブ画像を配信する場合に本サービスが適用される例のうち
図9及び
図10と異なる例を示す図である。
【
図12】視聴者の操作に基づいてタグの読取りが行われる態様の例を示す図である。
【
図13A】リーダがタグを読取る他の態様の例を示す図である。
【
図13B】リーダがタグを読取る他の態様の例を示す図である。
【
図13C】リーダがタグを読取る他の態様の例を示す図である。
【
図13D】リーダがタグを読取る他の態様の例を示す図である。
【
図14A】
図2の情報処理システムで生じ得る遅延を示す図である。
【
図14C】
図14Bとは異なる手法として、ライブ画像にTIGメタデータを直接埋め込むことで同期をとる例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を用いて説明する。
【0010】
まず
図1を参照して、後述する
図2の情報処理システムの適用対象となる本サービスの概要について説明する。
【0011】
図1は、本発明の一実施形態に係る情報処理システムにより実現可能なサービスの一例(以下、「本サービス」と呼ぶ)の概要を示す図である。
【0012】
本サービスは、サービス提供者(図示せず)により提供されるサービスの一例である。
本サービスによれば、ライブ画像に表示されるオブジェクトに、そのオブジェクトに関する情報(以下、「オブジェクト情報」と呼ぶ)を容易に紐付けることができる。
【0013】
ここで、「ライブ画像」とは、いわゆる生放送と呼ばれるものをすべて含む概念であり、例えば通信環境等の影響を受けて遅延して表示されたものも含まれる。
【0014】
ここで、「オブジェクト」には、ライブ画像に被写体として登場する人物や物等を示す画像や文字等の領域の他、ライブ画像に重畳されて表示されるテロップ等の画像(静止画像又は動画像)等が含まれる。
【0015】
「オブジェクト情報」には、オブジェクトに関するあらゆる情報が含まれるが、本サービスでは、ライブ画像そのものでは視聴できない情報(他から取得される情報)であるものとする。
視聴者は、スマートフォン等の端末(後述の
図2等の視聴者端末3)に表示されているライブ画像を視聴しながら、ライブ画像に表示されている1以上のオブジェクトのうち所望のオブジェクトを指定する操作を行う。
これにより、視聴者は、自身が指定したオブジェクトに紐付けられているオブジェクト情報を容易に取得することができる。
【0016】
本サービスでは、ライブ画像は、視聴者に配信等されるものであるとする。また、本実施形態では、視聴者の端末に予めインストールされた、ライブ画像を視聴するための専用のアプリケーションソフトウェア(以下、「視聴アプリ」と呼ぶ)を用いてライブ画像が視聴されるものとする。
ただし、ライブ画像の視聴の手法は、特に限定されず、例えばブラウザ機能によりライブ画像を視聴する手法を採用してもよい。
【0017】
図1には、ハワイの現地リポーターによる生中継の様子を示すライブ画像Lが描画されている。このライブ画像Lは、視聴者の端末に表示される。即ち、視聴者は、端末に表示されたライブ画像Lを視聴することで、例えば生中継の様子を視聴することができる。
【0018】
ライブ画像Lには、1以上のオブジェクトが表示されている。
具体的には例えば、ライブ画像Lには、例えば現地リポーター(人物)を示すオブジェクトJ1と、「現地リポーター ○○○○」と表記されたテロップを示すオブジェクトJ2とが含まれている。
なお、ライブ画像Lには、このほかに、女性タレントの衣服(商品)、ホテル(施設)、ヤシの木(動植物)、海(自然物)等が表示されているが、いずれもオブジェクトに該当する。
ここで、オブジェクトJ1及びJ2等各種オブジェクトを個々に区別する必要がない場合、これらをまとめて「オブジェクトJ」と呼ぶ。
【0019】
視聴者は、ライブ画像Lの視聴中、例えばライブ画像Lに登場している現地リポーターに興味を持った場合、その現地リポーターを示すオブジェクトJ1又はオブジェクトJ2を指定する操作を行う。
【0020】
オブジェクトJ1及びオブジェクトJ2のオブジェクト情報としては、例えば、その現地リポーターに関する情報、具体的には例えば、現地リポーターが女性タレントである場合には、名前(芸名)、所属するプロダクション事務所の名称、公開されているプロフィール等が含まれる。また、それ以外にも、現地リポーターが着用している衣服に関する情報、具体的には例えば、ブランド名、商品名、購入可能な販売店(EC(Electronic Commerce)サイト含む)等が含まれていてもよい。
これにより、視聴者は、自身が指定したオブジェクトJ1又はオブジェクトJ2のオブジェクト情報を任意のタイミングで入手することができる。
ここで、「任意のタイミング」とは、ライブ画像の視聴中は勿論のこと、当該ライブ画像とは別のライブ画像の視聴中や、ライブ画像自体の視聴終了後等のタイミングを含む意である。
【0021】
具体的には、本サービスでは、ライブ画像において、視聴者の操作に基づいて指定され得る1以上のオブジェクトJ毎に、そのオブジェクト情報を視聴者に提供するための情報が紐付けられて管理されている。
このように、オブジェクトJに対して紐付けられた情報であって、そのオブジェクト情報を視聴者に提供するための情報を、以下、「紐付情報」と呼ぶ。
【0022】
「紐付情報」には、視聴者にオブジェクト情報を提供するためのあらゆる情報が含まれる。
具体的には例えば、現地リポーター(人物)を示すオブジェクトJ1、及び「現地リポーター ○○○○」と表記されたテロップを示すオブジェクトJ2の紐付情報としては以下のものを採用することができる。
即ち、その現地リポーターに関する情報、具体的には例えば、現地リポーターが女性タレントである場合には、名前(芸名)、所属するプロダクション事務所の名称、公開されているプロフィール等(オブジェクト情報)が掲載されたWEBページのURL(Uniform Resource Locator)を紐付情報として採用することができる。また、それ以外にも、現地リポーターが着用している衣服に関する情報、具体的には例えば、ブランド名、商品名、購入可能な販売店等(オブジェクト情報)が掲載されたWEBページのURLを紐付情報として採用することもできる。
【0023】
さらにいえば、「紐付情報」として、URLを採用することは例示に過ぎない。
例えば、オブジェクトJに関する各種キーワードを紐付情報として採用することもできる。この場合、視聴者の端末やサーバ等は、当該キーワードを用いて所定の検索用WEBサイトで検索を行い、その検索結果をオブジェクト情報として視聴者に提供することができる。
【0024】
また、1つのオブジェクトJに対して紐付けられる紐付情報の個数は、1個に限定されず、複数個でもよい。
例えば、本サービスにおいて正規とされるURLを第1紐付情報として採用することもできる。また、そのURL以外に、本サービスにより別途抽出された(例えば自動でレコメンド表示された)URLを第2紐付情報として採用することもできる。そして、視聴者が、その端末を操作することで、第1紐付情報と第2紐付情報のうち所望の一方を選択することができるようにしてもよい。この場合、選択された方のURLに存在するWEBサイトが、当該オブジェクトJのオブジェクト情報として視聴者に提供される。
換言すると、1つのオブジェクトJに対して視聴者に提供されるオブジェクト情報は、1個に限定されず、複数個であってもよい。
【0025】
視聴者は、所定のオブジェクトJに対応付けられた紐付情報を使用する操作を、端末に対して行うことで、当該オブジェクトJのオブジェクト情報の提供を受けることができる。
例えば、紐付情報がURLである場合、当該紐付情報を使用する操作とは、当該URLにアクセスすることを指示する操作である。この場合、当該URLに存在するWEBサイトが視聴者の端末に表示されることで、そのWEBサイトに掲載されているオブジェクト情報が視聴者に提供される。
ここで、サービス提供者(図示せず)は、紐付情報がURLである場合、視聴者の当該紐付情報を使用する操作により、当該URLへのアクセスがあった場合には、そのアクセスの数をカウントして、そのアクセス数に応じて各種の課金の設定を行ってもよい。
【0026】
ここで、所定のオブジェクトJに対応付けられた紐付情報を使用する操作のタイミングは、当該オブジェクトJを含むライブ画像の視聴中に特に限定されず、他のライブ画像の視聴中や、ライブ画像の視聴を終了した後等任意のタイミングとすることが可能である。
このように、所定のオブジェクトJに対応付けられた紐付情報を使用する操作を任意のタイミングとすることができるように、本サービスでは、当該オブジェクトJの指定の操作がなされると、当該オブジェクトJに紐付けられた紐付情報が所定場所(例えば視聴アプリ内の所定の格納場所)に格納される。
これにより、視聴者は、その所定場所に格納された1以上の紐付情報のうち、所望の紐付情報を使用する操作を、任意のタイミングで行うことができるようになる。
【0027】
ここで、視聴者による「オブジェクトJを指定する操作(紐付情報を所定場所に格納させる操作)」は、具体的には、ライブ画像の中の、オブジェクトJが存在し得る、「TIGエリア」と呼ばれる領域を指定する操作のことをいう。
具体的には例えば、
図1のライブ画像Lの中の表示されているTIGエリアA1を指定する操作が行われることで、TIGエリアA1に存在するオブジェクトJ1が指定される。
また例えば、
図1のライブ画像Lの中の表示されているTIGエリアA2を指定する操作が行われることで、TIGエリアA2に存在するオブジェクトJ2が指定される。
ここで、TIGエリアA1及びA2等各種TIGエリアを個々に区別する必要がない場合、これらをまとめて「TIGエリアA」と呼ぶ。
【0028】
本サービスでは、オブジェクトJを指定する操作として、当該オブジェクトJが存在するTIGエリアAに対するタップの操作が採用されているものとする。即ち、視聴者は、TIGエリアAをタップすることで、当該TIGエリアAに対応するオブジェクトJを指定して、そのオブジェクトJの紐付情報を所定場所に格納させることができる。
具体的には例えば
図1の例では、TIGエリアA1がタップされると、TIGエリアA1に対応するオブジェクトJ1の紐付情報(オブジェクト情報が掲載されたWEBページのURL等)が、所定場所に格納される。
【0029】
ここで、本サービスでは、紐付情報が格納される所定場所として、「TIGストック」と呼ばれる場所が採用されている。
即ち、視聴者によるTIGエリアA1のタップにより指定されたオブジェクトJ1の紐付情報は、ストック情報として、「TIGストック」に保存されて管理される。
ここで、紐付情報に基づいて視聴者に提供されるオブジェクト情報は、対応するオブジェクトJの形態によらず、テキスト、静止画像、動画像等任意の形態を採用することができる。従って、「TIGストック」は、複数のライブ画像を跨ぐ共通のストックページと把握することもできる。
具体的には例えば、図示はしないが、視聴者は、端末に表示された所定のボタンをタップすることで、「TIGストック」に保存されている1以上のオブジェクト情報を一覧表示させることができる。
【0030】
なお、ライブ画像において、視聴者によりタップされたオブジェクトJに、当該オブジェクトJの紐付情報が紐付けられていない場合には、視聴者に紐付情報を提供することができない。このような場合には、視聴者がオブジェクトJをタップしても何ら反応しないようにしてもよいし、タップされたオブジェクトJには紐付情報が紐付けられていない旨を端末に表示させてもよい。
【0031】
このように、本サービスによれば、ライブ画像の視聴者は、ライブ画像に表示されているオブジェクトJが存在するTIGエリアAをタップするだけで、そのオブジェクトJのオブジェクト情報を容易に取得することができる。
なお、本サービスは、表示されるライブ画像について、設定者による各種の設定が行われることで初めて実現させることができる。
以下、本サービスを実現させる各種の設定を容易に行うことを可能にする具体的手法について説明する。
【0032】
図2は、本発明の一実施形態に係る情報処理システムの構成を示す図である。
【0033】
図2に示す情報処理システムは、管理サーバ1と、設定者端末2と、視聴者端末3と、外部サーバ4と、カメラCAMとを含むように構成されている。
管理サーバ1、設定者端末2、視聴者端末3、及び外部サーバ4の夫々は、インターネット等の所定のネットワークNを介して相互に接続されている。
【0034】
管理サーバ1は、サービス提供者(図示せず)により管理され、設定者端末2及び視聴者端末3と適宜通信をしながら、本サービスを実現するための各種処理を実行する。
【0035】
設定者端末2は、設定者Cにより操作される情報処理装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット等で構成される。
【0036】
視聴者端末3は、視聴者Wにより操作される情報処理装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット等で構成される。
【0037】
外部サーバ4は、紐付情報により提供可能となるオブジェクト情報、例えば紐付情報がURLの場合には当該URLに存在している各種WEBサイト(オブジェクト情報が掲載されたWEBサイト)を管理する。
【0038】
カメラCAMは、被写体の撮像に用いられるカメラである。なお、カメラCAMの態様は特に限定されない。例えば、監視用として一般的に用いられているカメラ、Webカメラ、スマートフォンやタブレットのカメラ等を採用することができる。
【0039】
図3は、
図2の情報処理システムのうち管理サーバのハードウェア構成の一例を示すブロック図である。
【0040】
管理サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、入力部16と、出力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0041】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0042】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、出力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0043】
入力部16は、例えばキーボード等により構成され、各種情報を出力する。
出力部17は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(例えば
図2の設定者端末2、視聴者端末3、外部サーバ4等)との間で通信を行う。
【0044】
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア30が適宜装着される。ドライブ20によってリムーバブルメディア30から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。
また、リムーバブルメディア30は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0045】
なお、図示はしないが、
図2の設定者端末2、視聴者端末3、及び外部サーバ4も、
図3に示すハードウェア構成と基本的に同様の構成を有することができる。従って、設定者端末2、視聴者端末3、及び外部サーバ4のハードウェア構成の説明については省略する。
【0046】
このような
図3の管理サーバ1の各種ハードウェアと各種ソフトウェアとの協働により、管理サーバ1における紐付情報設定支援処理、及び紐付情報提供処理を含む各種処理の実行が可能になる。その結果、サービス提供者(図示せず)は、上述の本サービスを提供することができる。
「紐付情報設定支援処理」とは、設定者Cが、ライブ画像Lの中に存在し得るオブジェクトJに対し、紐付情報を容易に設定できるようにする処理をいう。
「紐付情報提供処理」とは、視聴者Wが、ライブ画像Lの中に存在し得るオブジェクトJに紐付けられている紐付情報を容易に取得できるようにする処理をいう。
以下、管理サーバ1において実行される、紐付情報設定支援処理、及び紐付情報提供処理を実行するための機能構成について説明する。
【0047】
図4は、
図3の管理サーバの機能的構成のうち、紐付情報設定支援処理、及び紐付情報提供処理を実行するための機能的構成を示す機能ブロック図である。
【0048】
図4に示すように、管理サーバ1のCPU11においては、紐付情報設定支援処理の実行が制御される場合、設定部101が機能する。設定部101においては、オブジェクト設定部111と、位置設定部112と、時間帯設定部113と、認識部114とが機能する。
また、CPU11においては、紐付情報提供処理の実行が制御される場合、視聴部102が機能する。視聴部102においては、紐付情報管理部121と、提示制御部122と、指定受付部123と、取得部124と、提供制御部125と、ストック管理部126とが機能する。
【0049】
設定部101のオブジェクト設定部111は、オブジェクトJに紐付情報が紐付けられるタイミング以前のいずれかのタイミングで、オブジェクトJを設定する。
ここで、「オブジェクトJを設定する」とは、ライブ画像Lに表示され得るオブジェクトJに対し、当該オブジェクトJを一意に識別し得る情報(例えばID等)を付して管理することをいう。
また、「紐付情報が紐付けられるタイミング以前」とは、後述する紐付情報管理部121による、オブジェクトJに対する紐付情報の紐付が行われる以前のことをいう。例えば、設定者端末2にライブ画像が表示される前のタイミングや、設定者端末2にライブ画像が表示された後に、後述する認識部114によってオブジェクトJが認識されたタイミングが、「紐付が行われる以前」に該当する。
オブジェクト設定部111による設定がなされたオブジェクトJは、本サービスに登録されたオブジェクトJとして、オブジェクトDB181に記憶されて管理される。
【0050】
位置設定部112は、所定タイミングに、ライブ画像Lとして表示される表示領域のうち少なくとも一部の領域を、視聴者WによるオブジェクトJを指定する操作がなされるTIGエリアAとして設定する。
ここで、位置設定部112は、例えば以下のタイミングで、ライブ画像Lの中のTIGエリアAの位置の設定を行うことができる。
【0051】
即ち、位置設定部112は、設定者端末2にライブ画像Lが表示される前に、ライブ画像Lの中のTIGエリアAの位置を設定することができる。
これにより、設定者Cは、ライブ画像Lの中のTIGエリアAの位置を予め設定してから、視聴者端末3にライブ画像Lを表示させることができる。
【0052】
また、位置設定部112は、設定者端末2にライブ画像Lが表示されている最中に、設定者Cによる位置を指定する入力操作に基づいて、ライブ画像Lの中のTIGエリアAの位置を設定することができる。
これにより、設定者Cは、ライブ画像Lの中のTIGエリアAの位置を予め設定することなく、ライブ画像Lを確認しながら、自らTIGエリアAの位置を設定することができる。
【0053】
また、位置設定部112は、後述する認識部114によるオブジェクトJの認識結果に基づいて、ライブ画像Lの中のTIGエリアAの位置を設定することができる。
これにより、設定者Cは、ライブ画像Lを自ら確認することなく、オブジェクトJを自動認識させて、TIGエリアAの位置を自動設定させることができる。
【0054】
時間帯設定部113は、ライブ画像Lが表示されている最中にTIGエリアAが有効になる時間帯を設定する。
即ち、TIGエリアAは、位置設定部112により、ライブ画像Lのうちの一領域として設定されるが、時間帯設定部113によれば、位置が設定されたTIGエリアAが有効になる時間帯と、無効になる時間帯とを設定することができる。
ここで、「有効」とは、視聴者がオブジェクトJを指定する操作(タップの操作)を行うことで紐付情報を取得できる状態のことをいう。「無効」とは、視聴者がオブジェクトJを指定する操作(タップの操作)を行っても紐付情報を取得できない状態のことをいう。
【0055】
ここで、時間帯設定部113は、例えば以下のタイミングで、ライブ画像Lの中でTIGエリアAが有効になる時間帯の設定を行うことができる。
【0056】
即ち、時間帯設定部113は、設定者端末2にライブ画像Lが表示される前に、ライブ画像Lの中でTIGエリアAが有効になる時間帯の設定を行うことができる。
これにより、設定者Cは、ライブ画像Lの中でTIGエリアAが有効になる時間帯を予め設定してから、視聴者端末3にライブ画像Lを表示させることができる。
【0057】
また、時間帯設定部113は、設定者端末2にライブ画像Lが表示されている最中に、設定者Cによる時間帯を指定する入力操作に基づいて、ライブ画像Lの中でTIGエリアAが有効になる時間帯を設定することができる。
これにより、設定者Cは、ライブ画像Lの中のTIGエリアAが有効になる時間帯を予め設定することなく、ライブ画像Lを確認しながら、自らTIGエリアAが有効になる時間帯を設定することができる。
【0058】
また、時間帯設定部113は、後述する認識部114によるオブジェクトJの認識結果に基づいて、ライブ画像Lの中でTIGエリアAが有効になる時間帯を設定することができる。
これにより、設定者Cは、ライブ画像Lを自ら確認することなく、オブジェクトJを自動認識させて、TIGエリアAが有効になる時間帯を自動設定させることができる。
【0059】
認識部114は、ライブ画像Lが表示されている最中に、所定時間帯の前記所定領域に存在するオブジェクトJを認識する。
具体的には、認識部114は、設定者端末2に表示されているライブ画像Lの中に存在するオブジェクトJを自動で認識する。ここで、認識部114がオブジェクトJを認識する際の具体的手法は特に限定されず、例えば画像認識等の技術を用いることができる。
【0060】
以上の機能的構成を有する設定部101が機能することにより、管理サーバ1における紐付情報設定支援処理を実現させることができる。
【0061】
視聴部102の紐付情報管理部121は、表示されているライブ画像Lの中で第1ユーザとしての視聴者Wにより指定がなされる、所定時間帯のTIGエリアAに存在するオブジェクトJに対し、視聴者Wにオブジェクト情報を提供するための紐付情報を、視聴者Wによる指定がなされる前の所定タイミングで紐付けて管理する。
具体的には、紐付情報管理部121は、ライブ画像Lに表示されているオブジェクトJを指定するための操作(例えばタップ操作)が行われる前に、以下の処理を行う。即ち、紐付情報管理部121は、ライブ画像Lに表示され得るオブジェクトJとしてオブジェクトDB181に記憶されて管理されている1以上のオブジェクトJの夫々に対し、紐付情報を紐付けて管理する。
【0062】
提示制御部122は、1以上のオブジェクトJが表示され得るライブ画像Lを視聴者端末3に提示する制御を実行する。例えば、提示制御部122は、
図1のライブ画像Lを視聴者端末3に提示する制御を実行する。
【0063】
また、提示制御部122は、ストック情報(紐付情報)をライブ画像Lに重畳させて、又はライブ画像Lとは独立させて、視聴者Wに提示する制御を実行する。
具体的には、提示制御部122は、ストック情報として保存されている1以上のオブジェクトJのサムネイル画像の一覧(例えば「TIGストック」)を、ライブ画像Lに重畳させて、又はライブ画像Lとは独立させたページとして、視聴者Wに提示する制御を実行する。
【0064】
また、提示制御部122は、オブジェクトJに対する指定がなされると、ストック情報にオブジェクトJが加えられた旨を示す動画像(例えばアニメーション)を、ライブ画像Lに重畳させて視聴者に提示する制御を実行する。
【0065】
指定受付部123は、ライブ画像Lが提示されている視聴者WによるTIGエリアAに対するタップする操作がなされた場合、TIGエリアAに存在するオブジェクトJに対する指定がなされたと認識して、その指定を受付ける。
具体的には例えば、指定受付部123は、視聴者端末3に表示されたライブ画像Lに対する視聴者WによるオブジェクトJを指定する操作(例えばタップの操作)がなされた場合に、その指定を受付ける。
【0066】
取得部124は、指定が受付けられたオブジェクトJに紐付けられて管理されている紐付情報を取得する。
具体的には例えば、取得部124は、視聴者Wによる指定が受付けられたオブジェクトJに紐付けられて管理されている紐付情報を取得する。
【0067】
提供制御部125は、取得部124により取得された紐付情報に基づいて、オブジェクト情報を視聴者端末3に提供する制御を実行する。
【0068】
ストック管理部126は、視聴者Wによる指定がなされた1以上のオブジェクトJの夫々の紐付情報を、ストック情報として、例えば上述の「TIGストック」に保存して管理する。また、ストック管理部126は、所定の分類基準、及び所定の分類手法に基づいて、1以上のストック情報を分類して管理する。
【0069】
以上の機能的構成を有する視聴部102が機能することにより、管理サーバ1における紐付情報提供処理を実現させることができる。
【0070】
次に、
図5乃至
図8を参照して、紐付情報設定支援処理の具体例について説明する。
図5は、設定者が、オブジェクトの設定を、設定者端末にライブ画像が表示される前に行う場合に、設定者端末に表示されるGUIの一例を示す図である。
【0071】
設定者Cは、オブジェクトJの設定を、設定者端末にライブ画像Lが表示される前に行う場合、
図5に示すGUI(以下、「オブジェクト事前設定画面」と呼ぶ)を用いる。
なお、本実施形態では、設定者端末2に予めインストールされた、専用のアプリケーションソフトウェア(以下、「設定アプリ」と呼ぶ)を用いて各種の設定を行うものとする。
ただし、各種の設定を行う手法は、特に限定されず、例えばブラウザ機能により各種の設定を行う手法を採用してもよい。
【0072】
図5に示すオブジェクト事前設定画面は、表示領域F1及びF2を含むように構成されている。オブジェクト事前設定画面によれば、オブジェクトDB181において紐付情報に夫々紐付けられて管理されている1以上のオブジェクトJのうち、1以上のオブジェクトJを選択することができる。
なお、
図5、
図6A、
図6B、
図8A及び
図8Bに示すGUIでは、オブジェクトJのことを「アイテム」と表現しているが、両者の意味は同じである。
このうち、表示領域F1には、タイムカウンタMと、「TIG編集」と表記されたボタンB1と、「ヒートマップ」と表記されたボタンと、「アナリティクス」と表記されたボタンと、「コピー」と表記されたボタンと、「プレビュー」と表記されたボタンとが表示されている。
【0073】
タイムカウンタMは、ライブ画像Lが表示されている時間を表示する。
「TIG編集」と表記されたボタンB1は、TIGエリアAの位置と、TIGエリアAが有効になる時間帯との設定がなされる際に押下されるボタンである。このボタンB1が押下されると、
図6A及び
図6Bに示す設定画面に遷移する。
「ヒートマップ」と表記されたボタンは、ライブ画像Lを視聴する1以上の視聴者Wの夫々が、ライブ画像Lのどの領域をタップしているのかを、ヒートマップで表示させる際に押下されるボタンである。
「アナリティクス」と表記されたボタンは、ライブ画像Lに対する様々な解析が行われる際に押下されるボタンである。
「コピー」と表記されたボタンは、ライブ画像Lの配信元を示すURLをコピーする際に押下されるボタンである。
「プレビュー」と表記されたボタンは、ライブ画像Lの配信元を示すURLにより特定されるWEBページをプレビューする際に押下されるボタンである。
【0074】
また、表示領域F2には、TIGエリアAが設定される候補となるオブジェクトJの一覧H(以下、「オブジェクト一覧H」と呼ぶ)と、「登録済みのアイテムから追加」と表記されたボタンB2と、「新規アップロード」と表記されたボタンB3と、「TIG編集」と表記されたボタンB1とが表示されている。
【0075】
オブジェクト一覧Hは、設定の対象となるオブジェクトJ1乃至J8の夫々を示すサムネイル画像を一覧表示させたものである。ここで、オブジェクト一覧Hに表示されたオブジェクトJ1乃至J8の夫々には、
図5に示すように、紐付情報の一部が夫々併記されていてもよい。
【0076】
「登録済みのアイテムから追加」と表記されたボタンB2は、押下することで本サービスに登録済みのオブジェクトJをオブジェクト一覧Hに追加することができる。
即ち、設定者Cは、ボタンB2を押下することで、オブジェクトDB181に記憶されて管理されている1以上のオブジェクトJの中から、1以上のオブジェクトJを選択して、オブジェクト一覧Hに追加することができる。
【0077】
「新規アップロード」と表記されたボタンB3は、押下することで、本サービスに未だ登録されていないオブジェクトJを、本サービスのオブジェクトJとして登録したうえで、オブジェクト一覧Hに追加することができる。
即ち、設定者Cは、ボタンB3を押下することで、新規のオブジェクトJをオブジェクトDB181に記憶されて管理させるとともに、オブジェクト一覧Hに追加することができる。
【0078】
「TIG編集」と表記されたボタンB1は、表示領域F1に表示されているボタンB1と同様である。このため、表示領域F2に表示されているボタンB1についての説明は省略する。
【0079】
図6A及び
図6Bは、設定者が、TIGエリアが有効になる時間帯の設定を、設定者端末にライブ画像が表示される前に行う場合に、設定者端末に表示されるGUIの一例を示す図である。
【0080】
設定者Cは、TIGエリアAが有効になる時間帯の設定を、設定者端末にライブ画像Lが表示される前に行う場合、
図6A及び
図6Bに示すGUI(以下、「時間帯事前設定画面」と呼ぶ)を用いる。
【0081】
図6Aに示す時間帯事前設定画面には、タイムカウンタMと、オブジェクト一覧Hとが表示されている。
タイムカウンタMは、上述したように、ライブ画像Lが表示されている時間を表示する。
オブジェクト一覧Hは、上述したように、設定の対象となるオブジェクトJ1乃至J8の夫々を示すサムネイル画像を一覧表示させたものである。
【0082】
設定者CがボタンB11を押下することで、タイムカウンタMに表示された時間のカウントが開始される。設定者Cは、時間のカウントが開始された後、任意のタイミングで、オブジェクト一覧Hの中から所望のオブジェクトJを選択する操作を行う。なお、本実施形態では、設定者Cが、所望のオブジェクトJをタップする操作を行うことでオブジェクトJを選択する。
【0083】
例えばここで、設定者CによるオブジェクトJ8を選択する操作(タップ操作)が行われると、
図6Bに示すように、時間帯事前設定画面からオブジェクト一覧Hが消え、オブジェクトJ8を示すサムネイル画像を含むTIGエリアAが表示される。
【0084】
図6Bの例は、タイムカウンタによる時間のカウントが開始された後、2秒56の時間が経過したタイミングから、オブジェクトJ8が存在し得るTIGエリアAが有効になることを示している。
そして、設定者Cは、タイムカウンタMに表示されている時間を視認しながら、オブジェクトJ8が存在し得るTIGエリアAを有効になる時間帯を設定する。
また、設定者Cは、時間帯事前設定画面の右下に表示されたボタンB12を押下することで、TIGエリアAの表示・非表示を切り替えることもできる。
【0085】
また、設定者Cは、オブジェクトJ1以外のオブジェクトJ2乃至J8のいずれかを追加する場合には、時間帯事前設定画面右上の「+アイテム」と表記されたボタンB13を押下する。これにより、
図6Aに示すオブジェクト一覧が再び表示されるので、設定者Cは、オブジェクトJ1を選択したときと同様の操作で、任意のオブジェクトJを選択する。
設定者Cは、時間帯事前設定画面において、以上のような操作を行うことで、TIGエリアAが有効になる時間帯の設定を、オブジェクトJ毎に容易に行うことができる。
【0086】
図7A及び
図7Bは、設定者が、TIGエリアの位置の設定と、TIGエリアが有効になる時間帯の設定とを、設定者端末にライブ画像が表示されている最中に行う場合に、設定者端末に表示されるGUIの一例を示す図である。
【0087】
設定者Cは、TIGエリアAの位置の設定と、TIGエリアAが有効になる時間帯の設定とを、設定者端末にライブ画像Lが表示されている最中に行う場合、
図7A及び
図7Bに示すGUI(以下、「カスタム設定画面」と呼ぶ)を用いる。
【0088】
図7A及び
図7Bに示すカスタム設定画面は、表示領域F3及びF4を含むように構成されている。
【0089】
表示領域F3には、ライブ画像Lが表示される。設定者Cは、表示領域F3に表示されるライブ画像Lを視聴しながら、TIGエリアAの位置の設定と、TIGエリアAが有効になる時間帯の設定とを自由に行うことができる。
【0090】
表示領域F4には、オブジェクト一覧Hが表示される。設定者Cは、オブジェクト一覧Hにサムネイル表示されている1以上のオブジェクトJの中から、任意のオブジェクトJを選択し、ライブ画像Lの任意の時間帯の任意の位置にTIGエリアAを設定することができる。
ここで、設定者CがTIGエリアAの位置を設定する手法としては、以下の2つの手法がある。1つ目の手法は、
図7Aに示す手法であり、ライブ画像Lのいずれの位置に対しても自由に設定できる手法(以下、「フリー位置設定」と呼ぶ)である。2つ目の手法は、
図7Bに示す手法であり、ライブ画像Lを複数のブロックに分割して、いずれかのブロックにTIGエリアAを設定する手法(以下、「ブロック位置設定」と呼ぶ)である。
【0091】
ここで、フリー位置設定が採用された場合、設定者Cは、オブジェクト一覧Hの中から任意のオブジェクトJを選択して、任意の位置にTIGエリアAを設定する。
具体的には例えば、
図7Aに示すように、設定者Cは、オブジェクト一覧HからオブジェクトJ5を選択し、ライブ画像Lに登場しているオブジェクトJ5に重畳するようにTIGエリアA11を設定する。また、設定者Cは、オブジェクト一覧HからオブジェクトJ7を選択し、ライブ画像Lに登場しているオブジェクトJ7に重畳するようにTIGエリアA12を設定する。
これにより、設定者Cは、ライブ画像LにおけるTIGエリアA11及びA12の夫々の位置の設定を行うことができる。
【0092】
また、位置の設定を行ったTIGエリアA11及びA12の夫々には、有効(ON)と無効(OFF)とを任意のタイミングで切り替えることができる切替ボタンB21が設けられている。
これにより、設定者Cは、切替ボタンB21を押下することで、有効(ON)と無効(OFF)とを任意のタイミングで切り替えることができる。
また、設定者Cは、ライブ画像LにオブジェクトJが登場する前に、各種設定を行い、ライブ画像LにオブジェクトJが登場したタイミングで切替ボタンB21を押下するだけで、TIGエリアA11の有効/無効を容易に設定することができる。
なお、
図7Aに示す例では、TIGエリアA11は有効(ON)とされ、TIGエリアA12は無効(OFF)とされている。
【0093】
また、ブロック位置設定が採用された場合、設定者Cは、オブジェクト一覧Hの中から任意のオブジェクトJを選択して、ブロックT1乃至T9のうちいずれかの位置にTIGエリアAを設定する。
具体的には例えば、
図7Bに示すように、設定者Cは、オブジェクト一覧HからオブジェクトJ8を選択するとともに、TIGエリアA13の位置を選択する。TIGエリアA13の位置は、オブジェクト一覧Hにサムネイル表示されているオブジェクトJ8の右側に設けられているプルダウンボタンB22を押下することで選択することができる。なお、
図7Bの例では、プルダウンボタンB22を押下することで「4」(ブロックT4)が選択されている。
これにより、設定者Cは、所定タイミングで、ライブ画像Lに登場しているオブジェクトJ8に重畳するようにTIGエリアA13を設定することができる。
【0094】
また、
図7Aに示すフリー位置設定と同様に、位置の設定を行ったTIGエリアA13には、有効(ON)と無効(OFF)とを任意のタイミングで切り替えることができる切替ボタンB21が設けられている。
これにより、設定者Cは、切替ボタンB21を押下することで、有効(ON)と無効(OFF)とを任意のタイミングで切り替えることができる。
なお、
図7Bに示す例では、TIGエリアA13は無効(OFF)とされている。
【0095】
図8A及び
図8Bは、TIGエリアの位置の設定と、TIGエリアが有効になる時間帯の設定とが、設定者端末にライブ画像が表示されている最中に自動で行われる場合に、設定者端末に表示されるGUIの一例を示す図である。
【0096】
TIGエリアAの位置の設定と、TIGエリアAが有効になる時間帯の設定とが、設定者端末にライブ画像Lが表示されている最中に自動で行われる場合、設定者Cは、
図8A及び
図8Bに示すGUI(以下、「認識オブジェクト事前設定画面」と呼ぶ)を用いる。
【0097】
ここで、認識オブジェクト事前設定画面には、以下の2つの種類がある。
1種類目の設定画面は、
図8Aに示す設定画面であり、ライブ画像Lに存在するオブジェクトJを追従することなく特定の位置で認識させる手法が採用された場合に用いられる設定画面である。
2種類目の設定画面は、
図8Bに示す設定画面であり、ライブ画像Lに存在するオブジェクトJを追従して認識させる手法が採用された場合に用いられる設定画面である。
図8A及び
図8Bに示す認識オブジェクト事前設定画面は、紐付情報を共通にする複数のオブジェクトJを1つのグループにまとめて、これらを1のオブジェクトJとして設定する場合に用いられる設定画面である。
設定者Cは、設定者端末2にライブ画像Lが表示される以前に、認識オブジェクト事前設定画面を編集し、「更新」と表記されたボタンB31を押下することで、オブジェクトJの設定を行うことができる。
【0098】
このうち、
図8Aに示す認識オブジェクト事前設定画面は、3種類のオブジェクトJ111乃至J113について、紐付情報Kを共通にする1つのオブジェクトJ11として設定する。
これにより、設定者端末2にライブ画像Lが表示されている最中に、ライブ画像Lの特定の位置にオブジェクトJ111乃至J113のうちいずれが表示されると、そのオブジェクトJが認識されて、TIGエリアAが自動設定される。
例えば、
図8Aに示すように、設定者端末2に表示されているライブ画像Lの特定の位置にオブジェクトJ113が表示されると、オブジェクトJ113が自動認識されて、TIGエリアA21が自動設定される。
【0099】
また、
図8Bに示す認識オブジェクト事前設定画面は、n種類(nは1以上の整数値)のオブジェクトJ12-1乃至J12-nについて、紐付情報Kを共通にする1つのオブジェクトJ12として設定する。
これにより、設定者端末2にライブ画像Lが表示されている最中に、ライブ画像Lのいずれかの位置にオブジェクトJ12-1乃至J12-nのうちいずれが表示されると、そのオブジェクトJが認識されて、TIGエリアAが自動設定される。
例えば、
図8Bに示すように、設定者端末2に表示されているライブ画像LにオブジェクトJ12-r(rは1以上n以下の整数値)が表示されると、オブジェクトJ12-rが自動認識されて、TIGエリアA22が自動設定される。
【0100】
また、図示はしないが、ライブ画像Lに存在するすべてのオブジェクトJを自動認識して、オブジェクトJに対する紐付情報の紐付けをすべて自動的に行うことができる。
この場合、例えば事前教師データを用いて各種機械学習を施すことで、オブジェクトJを自動認識できるようにしてもよい。
【0101】
次に
図9乃至
図11を参照して、衣料品店の店員CLが、商品を紹介するライブ画像Lの配信を行う場合に、本サービスが適用される例について説明する。
図9は、衣料品店の店員CLが商品Iを試着してライブ画像Lを配信する場合に本サービスが適用される例を示す図である。
具体的には例えば、店員CLは、店舗内の所望の商品Iを試着しながら紹介を行う。店員CLが商品Iを試着しながら紹介する様子は、カメラCAMにより撮像され、ライブ画像Lとして、管理サーバ1を介して顧客(視聴者W)に配信される。なお、このとき、設定者端末2は、カメラCAM及びリーダR等から各種情報を取得してライブ画像Lを生成することができる。
以下、このような店舗内の商品Iを店員CLが試着しながら紹介を行うライブ画像Lの配信について、より詳細に説明する。
【0102】
図9に示すように、店員CLは、店舗内の商品Iを試着し、店舗内の所定位置に備え付けられているリーダRを用いて、商品Iに付されたタグDを読取る。
なお、リーダRに読取られるタグDの態様は特に限定されない。例えば、RFID(Radio frequency identifier)タグ、QRコード(登録商標)、バーコード等の識別子を採用することができる。
【0103】
また、店員CLは、店舗内の所定位置に備え付けられているカメラCAMの前で商品Iを紹介する。その結果、タグDが読取られた商品Iと、商品Iを試着した状態の店員CLとを被写体とする画像が、カメラCAMにより撮像される。
【0104】
設定者端末2は、上述のように、商品Iを試着した状態の店員CLを被写体とする撮像画像のデータをカメラCAMから取得する。また、設定者端末2は、商品Iに付されたタグDの情報をリーダRから取得する。商品Iを試着した店員CLの撮像画像は、ライブ画像Lの一部又は全部として設定者端末2に表示される。このとき、店員CLにより試着された商品Iは、オブジェクト情報を有するオブジェクトJとして認識されて、商品Iを試着している店員CLの像とは切り離されて独自の像としてライブ画像Lに表示される。具体的には例えば、
図9に示すように、商品Iを試着した店員CLの撮像画像と、それとは独立した単体の商品Iを示すオブジェクトJとがライブ画像Lとして設定者端末2に表示される。
【0105】
また、このライブ画像Lは、管理サーバ1を介して、顧客(視聴者W)が所持する視聴者端末3に配信され、表示される。
顧客(視聴者W)は、視聴者端末3にライブ画像Lとして表示された、商品Iを試着する店員CLの姿を見ながら、商品Iの購入の有無を決定することができる。このとき、顧客(視聴者W)は、視聴者端末3にオブジェクトJとして表示された商品Iをタップする操作を行うことで、オブジェクト情報が掲載されたEC(Electronic Commerce)サイトSにアクセスすることができる。
顧客(視聴者W)は、商品Iを購入する場合、ECサイトSからオンラインで購入してもよいし、衣料品店(実店舗)で直接購入してもよい。例えば、顧客(視聴者W)は、商品IをECサイトSで購入した場合、ライブ画像Lを視聴して興味を持った商品Iをすぐに購入することができる。また、例えば、顧客(視聴者W)は、商品Iを衣料品店(実店舗)で直接購入する場合、商品Iを実際に試着してから購入を決めることもできる。このとき、顧客(視聴者W)は、自身がタップして選択した商品Iの情報を衣料品店(実店舗)で入手(確認)することもできる。
【0106】
即ち、
図5等を用いて説明したように、設定者Cは、ライブ画像Lを視聴しながら、TIGエリアAの位置の設定と、TIGエリアAが有効になる時間帯の設定を行う必要があった。しかしながら、
図9の例の場合、上述のように、ライブ配信を行う店員CL自身が、商品IのタグDをリーダRで読み取る操作を行うことができる。その結果、サービス提供者や店員CLは、設定者Cによる設定なしに、ライブ画像Lの配信を行うことができる。
【0107】
また、管理サーバ1は、ライブ画像Lを記憶してアーカイブすることができる。即ち、管理サーバ1は、視聴者端末3からの要望に基づいて、視聴者端末3にライブ画像Lのアーカイブを配信することで、視聴者Wに視聴させることができる。
また、設定者端末2は、管理サーバ1を介して、ライブ画像Lを視聴する視聴者Wからのコメントを取得できるようにしてもよい。即ち、店員CLは、視聴者Wからのコメントを確認しながら、インタラクティブなライブ画像Lを配信してもよい。具体的には例えば、店員CLは、視聴者Wからの「どんなトップスと合わせたらいいでしょうか」というコメントに応答をしながら、ライブ画像Lの配信を行うことができる。
【0108】
図10は、衣料品店の店員が商品を試着してライブ画像を配信する場合に本サービスが適用される例のうち
図9と異なる例を示す図である。
【0109】
図10には、店員CLの試着姿が、衣料品店の店舗内に設置された姿見としての大型のディスプレイDSPに映し出される態様の一例が示されている。
上述の
図9の例では、店員CLは、カメラCAMにより撮像された自分の試着姿を、設定者端末2に表示されたライブ画像Lとして確認しながら配信していた。即ち、カメラCAMにより撮像された店員CLの試着姿は、設定者端末2及び視聴者端末3にライブ画像Lとして表示されていた。
これに対して、
図10の例ではさらに、店員CLの試着姿は、店舗内に設置された大型のディスプレイDSPにも映し出される。これにより、店員CLは、ディスプレイDSPを姿見(鏡)として利用して、ライブ画像Lの配信をすることができる。
【0110】
図10に示すように、衣料品店の店員CLは、店舗内の所望の商品Iを試着し、店舗内の所定位置に備え付けられているリーダRを用いて、商品Iに付されたタグDを読取る。
【0111】
また、店員CLは、店舗内のディスプレイDSPの近傍に備え付けられているカメラCAMの前で商品Iを紹介する。その結果、タグDが読取られた商品Iを試着した状態の店員CLを被写体とする撮像画像が撮像される。
なお、店舗内に設置されるディスプレイDSPの態様は特に限定されない。例えばOS(Operating System)が内蔵された、タッチ操作を受付けることができるタッチパネル式のディスプレイであってもよい。
また、ディスプレイDSPとして、ミラーサイネージが採用されてもよい。この場合、ディスプレイDSPには、鏡として店員CLの姿が映され、タグDが読み取られた結果の各種情報等が店員CLの姿に重畳されて表示される。
【0112】
カメラCAMにより撮像された商品Iを試着した店員CLの撮像画像は、
図9の例と同様に、ライブ画像Lとして設定者端末2や視聴者端末3に表示される。そして、商品Iは、
図9の例と同様に、オブジェクト情報を有するオブジェクトJとして認識されて、(商品Iを試着した状態の)店員CLの像とは別の像としてライブ画像Lに表示される。
【0113】
ここで、ディスプレイDSPがタッチパネル式である場合には、店員CLが、ディスプレイDSPに表示されたライブ画像Lに含まれる商品I(オブジェクトJ)をタップする操作やドラッグする操作等を行うことができる。この場合、店員CLは、オブジェクトJの表示上の配置を変更したり、オブジェクトJの「有効」と「無効」とを切り替えたり操作を行うことができる。
【0114】
また、このライブ画像Lは、管理サーバ1を介して、顧客(視聴者W)が所持する視聴者端末3に配信され、表示される。
顧客(視聴者W)は、視聴者端末3にライブ画像Lとして表示された、店員CLの試着姿を見ながら、商品Iの購入の有無を決定する。ここで、
図9の例と同様に、視聴者端末3にオブジェクトJとして表示された商品Iをタップする操作が行われると、顧客(視聴者W)は、商品Iのオブジェクト情報が掲載されたECサイトSにアクセスすることができる。これにより、顧客(視聴者W)は、
図9の例と同様に、商品Iを購入する場合には、ECサイトSからオンラインで購入することもできるようになるし、衣料品店(実店舗)で直接購入することもできるようになる。
【0115】
図9及び
図10を用いて説明した本サービスが適用される例において、設定者端末2は、カメラCAM及びリーダRから各種情報を取得し、ライブ画像Lを表示するものとして説明した。しかしながら、設定者端末2と、カメラCAMやリーダRとは別個のハードウェアである必要はなく、例えばスマートフォンやタブレット端末として提供されてもよい。
設定者端末2としてカメラCAMやリーダRを含むスマートフォンやタブレット端末が提供される場合、店員CLは、ライブ画像を配信するための専用のアプリケーションソフトウェア(以下、「配信アプリ」と呼ぶ)を用いてライブ画像の配信をすることができる。配信アプリは、上述の設定アプリに含まれる各種機能等を含む配信に係る機能を提供する。
この場合、店員CLは、単一のスマートフォン等で手軽にライブ画像の配信を行うことができる。また、衣料品店としては、普及しているスマートフォン等を用いてライブ画像の配信を行うことができるため、配信のための設備に係るコストを低減することができる。
【0116】
図11は、衣料品店の店員が商品を試着してライブ画像を配信する場合に本サービスが適用される例のうち
図9及び
図10と異なる例を示す図である。
上述の
図9及び
図10の例では、商品Iを試着した店員CLの撮像画像(ライブ画像L)は、設定者端末2から管理サーバ1に送信される態様となっているが、
図11の例に示すように、ディスプレイDSPにOSを内蔵させるとともに、リーダRとカメラCAMについてもディスプレイDSPに内蔵させる態様もある。この態様の場合、店舗の所定位置にディスプレイDSP(OS、リーダR、カメラCAM内蔵型)が設置されるだけでよく、カメラCAMやリーダRの夫々を店舗内の所定位置に夫々設ける手間が省ける。また、設置が容易なディスプレイDSP(OS、リーダR、カメラCAM内蔵型)は、セット商品として販売することもできるだけではなく、ディスプレイDSP(OS、リーダR、カメラCAM内蔵型)を単独で販売等することもできる。
【0117】
上述の
図9乃至
図11に示す衣料品店で適用可能な本サービスの一例では、店員CLが店舗内に備え付けられたリーダRを用いてタグDを読取る態様となっている。ただし、この態様は例示に過ぎず、例えばリーダRを用いることなく、視聴者Wの操作に基づいてタグDの読取りが行われる態様もある。
図12は、視聴者の操作に基づいてタグの読取りが行われる態様の例を示す図である。
【0118】
図12の例では、視聴者端末3に表示されたオブジェクトJのタグDを視聴者Wが選択する操作(例えばタップの操作)を行うと、選択されたタグDを認識する処理が実行されて有効になる。
これにより、設定者Cによる設定作業が不要となる。また、紐付情報を有する1以上のオブジェクトJが、ライブ画像のどのタイミングにどの位置に表示されるのか等を示す情報(以下、「TIGメタデータ」と呼ぶ)を管理サーバ1に格納しておく必要性もなくなる。さらに、店舗内にリーダRを用意する必要もなくなる。
【0119】
上述の
図9乃至
図11に示す衣料品店で適用可能な本サービスの一例では、店員CLが店舗内に備え付けられたリーダRを用いてタグDを読取る態様となっている。ただし、この態様は例示に過ぎず、リーダRがタグDを読取る態様は他にもある。
図13A乃至
図13Dには、リーダRがタグDを読取る他の態様の例が示されている。
図13A乃至
図13Dは、リーダRがタグDを読取る他の態様を示す図である。
【0120】
図13A及び
図13Bには、ファッションショーに出演するモデルが着用する衣類に、予めタグDを付しておく場合の例が示されている。
図13Aの例の場合、モデルが歩く舞台(ランウェイ)の端部付近(モデルがターンする位置付近)の上方(例えば天井等)にリーダRが設置されている。
これにより、リーダRは、モデルが歩く舞台(ランウェイ)の端部付近(モデルがターンする位置付近)に差し掛かると、モデルの衣類に予め付されたタグDの読取りを行うことができる。すると、設定者端末2(及び図示せぬ視聴者端末3)に表示されるライブ画像Lの一部に、モデルの衣類を示すオブジェクトJが表示されるようになる。
図13Bの例の場合、モデルが歩く舞台(ランウェイ)の端部付近(モデルがターンする位置付近)にリーダRが埋設されている。
これにより、リーダRは、
図13Aの場合と同様に、モデルが歩く舞台(ランウェイ)の端部付近(モデルがターンする位置付近)に差し掛かると、モデルの衣類に予め付されたタグDの読取りを行うことができる。すると、設定者端末2(及び図示せぬ視聴者端末3)に表示されるライブ画像Lの一部に、モデルの衣類を示すオブジェクトJが表示されるようになる。
【0121】
図13Cには、ドローン等の小型飛行体VにリーダRとカメラCAMが設置される例が示されている。この場合、例えば地上(例えば観光地)の各所(例えば名所)毎にタグDが配置される。
これにより、小型飛行体Vは、上空から地上(例えば観光地)をカメラCAMを用いて撮像するとともに、リーダRによって各所のタグDの読取りを行う。すると、図示はしないが、設定者端末2及び視聴者端末3に表示されたライブ画像Lの一部に、地上(例えば観光地)の各所(例えば名所)を示すオブジェクトJが表示される。なお、小型飛行体Vは、屋外のみならず、屋内(例えば大規模な屋内施設のイベント等)で使用することもできる。
【0122】
図13Dには、リーダRを壁に設置する例が示されている。
この場合、例えば室内で開催されるイベントに参加するタレントが着用する衣類に、予めタグDを付しておく等の態様が可能となる。
これにより、リーダRは、イベント開催中、タレントの衣類に予め付されたタグDの読取りを行う。すると、図示せぬ設定者端末2(及び視聴者端末3)に表示されるライブ画像Lの一部に、モデルの衣類を示すオブジェクトJが表示される。
【0123】
次に、
図14A乃至
図14Cを参照して、視聴者端末3に表示されるデータの同期をとる手法について説明する。
図14Aは、情報処理システム内で生じ得る遅延を示す図である。
なお、
図14Aのうち実線の矢印は、ライブ画像LにTIGメタデータTMを埋め込まない場合のデータの流れと遅延とを示している。また、
図14Aのうち破線の矢印は、ライブ画像LにTIGメタデータTMを直接埋め込んだ場合のデータの流れと遅延とを示している。
【0124】
まず、ライブ画像LにTIGメタデータTMを埋め込まない場合のデータの流れと遅延とについて説明する。
図14Aに示すように、カメラCAMにより撮像されたライブ画像Lは、設定者端末2と外部サーバ4とに夫々送信される。ここで、カメラCAMから送信されたライブ画像Lを設定者端末2が受信するまでの間に僅かな遅延D1が生じる。また、設定者端末2における設定作業が完了すると、設定者端末2から管理サーバ1にTIGメタデータTMが送信される。ここで、設定者端末2から送信されたTIGメタデータTMを管理サーバ1が受信するまでの間に僅かな遅延D2が生じる。その後、管理サーバ1から視聴者端末3にTIGメタデータTMが送信される。ここで、管理サーバ1から送信されたTIGメタデータTMを視聴者端末3が受信するまでの間に僅かな遅延D3が生じる。
即ち、カメラCAMで撮像されたライブ画像Lが、設定者端末2に受信され、その後、TIGメタデータTMが設定者端末2から管理サーバ1を経て視聴者端末3に受信されるまでの間に遅延D1乃至D3が生じる。
【0125】
また、カメラCAMから送信されたライブ画像Lを外部サーバ4が受信するまでの間にトランスコード(圧縮)等による遅延D4が生じる。また、外部サーバ4から送信されたライブ画像Lを視聴者端末3が受信するまでの間にデコード(復元)等による遅延D5が生じる。
即ち、カメラCAMで撮像されたライブ画像Lが外部サーバ4を経て視聴者端末3に受信されるまでの間に遅延D4及びD5が生じ得る。
【0126】
【0127】
図14Bには、カメラCAM、設定者端末2、管理サーバ1、外部サーバ4、及び視聴者端末3の夫々により入力され又は出力される、ライブ画像L、TIGメタデータTM、又はTIGメタオフセットが時間軸で示されている。時間軸に並行して配列された長方形のブロックは、1秒の長さを示す映像フレームを示している。また、タイムコードに並行して配列された楕円形のブロックは、1秒の長さを示すTIGメタデータTMを示している。また、楕円形のブロックの中の数字は、オブジェクトJが有効となってからの経過時間を示している。
また、「TIGメタオフセット」とは、TIGメタデータTMを遅延させるために利用されるオフセットのことをいう。「オフセット」とは、異なる機器を時間のズレを持たせて動作させることをいう。オフセットを利用することで、異なるタイムコード上に記録されている関連したデータを同期させることが可能となる。
即ち、ライブ画像Lのタイムコードにおける「05:06」(5分6秒)のタイミングでオブジェクトJが有効となる。このため、TIGメタオフセットは「+05:06」(プラス5分6秒)となり、TIGメタデータTMの経過時間は、ライブ画像Lのタイムコードにおける「05:06」(5分6秒)のタイミングで「0」(0秒)となる。
【0128】
ここで、カメラCAMと設定者端末2とを比較すると、設定者端末2に遅延D1が生じている。
また、設定者端末2と管理サーバ1とを比較すると、TIGメタデータTMについて管理サーバ1に遅延D2が生じている。つまり、カメラCAMから管理サーバ1に至るまでの間に遅延D1及びD2が生じている。
また、管理サーバ1と視聴者端末3とを比較すると、視聴者端末3に遅延D3が生じている。つまり、カメラCAMから設定者端末2及び管理サーバ1を経て視聴者端末3に至るまでの間に遅延D1乃至D3が生じている。
【0129】
次に、カメラCAMと外部サーバ4とを比較すると、視聴者端末3に遅延D4が生じている。
また、外部サーバ4と視聴者端末3とを比較すると、視聴者端末3に遅延D5が生じている。つまり、カメラCAMから外部サーバ4を経て視聴者端末3に至るまでの間に遅延D4及びD5が生じている。
【0130】
ここで、カメラCAMから視聴者端末3までの間に生じる遅延の合計時間について、映像フレームとTIGメタデータTMとを比較する。すると、
図14Bに示す例では、TIGメタデータTMの遅延の合計時間(遅延D1乃至D3)よりも映像フレームの遅延の合計時間(遅延D4及びD5)の方が長い。このため、視聴者端末3は、TIGメタオフセットを利用してTIGメタデータTMを敢えて遅延させた状態で表示させる。
具体的には、TIGメタオフセットが「+05:06」(プラス5分6秒)であるTIGメタデータTMを、タイムコードが「05:06」(5分6秒)である映像フレームに合わせるように遅延させる。これにより、映像フレームとTIGメタデータTMとの同期をとることができる。
【0131】
なお、
図14Bに示す例の他、TIGメタデータTMの遅延の合計時間(遅延D1乃至D3)よりも映像フレームの遅延の合計時間(遅延D4及びD5)の方が短くなる場合もある。このような場合には、ライブ画像Lの表示を遅延させる。これにより、映像フレームとTIGメタデータTMとの同期をとることができる。
【0132】
さらに、視聴者Wは、オブジェクトJが既に有効となっているライブ画像Lの途中から視聴を開始する場合がある。このような場合、例えば
図14Bに示すように、TIGメタデータTMの遅延の合計時間(遅延D1乃至D3´)よりも映像フレームの遅延の合計時間(遅延D4及びD5´)の方が長ければ、視聴者端末3はTIGメタオフセットを利用してTIGメタデータTMを遅延させて表示させる。
具体的には、TIGメタオフセットが「+05:06」(プラス5分6秒)であるTIGメタデータTMを、タイムコードが「05:09」(5分9秒)である映像フレームに経過時間(3秒)を合わせるように遅延させる。これにより、映像フレームとTIGメタデータTMとの同期をとることができる。
【0133】
次に、ライブ画像LにTIGメタデータTMを直接埋め込んだ場合のデータの流れと遅延とについて説明する。
図14Aに戻り、設定者端末2は、ライブ画像Lのメタデータとして、ライブ画像LにTIGメタデータTMを直接埋め込んだ状態で外部サーバ4に送信する。すると、外部サーバ4は、TIGメタデータTMが埋め込まれたライブ画像Lを視聴者端末3に配信する。
【0134】
この場合、カメラCAMと設定者端末2とを比較すると、ライブ画像LにTIGメタデータTMを直接埋め込まない場合と同様に、設定者端末2に遅延D1が生じている。
また、設定者端末2と外部サーバ4とを比較すると、外部サーバ4に遅延D6が生じている。
また、外部サーバ4と視聴者端末3とを比較すると、視聴者端末3に遅延D7が生じている。つまり、カメラCAMから設定者端末2及び外部サーバ4を経て視聴者端末3に至るまでの間に遅延D1,D6,D7が生じている。
【0135】
図14Cは、
図14Bとは異なる手法として、ライブ画像にTIGメタデータを直接埋め込むことで同期をとる例を示す図である。
図14Cに示すように、ライブ画像LにTIGメタデータTMを埋め込んだ場合、映像フレームとTIGメタデータTMがセットになっているため、映像フレームとTIGメタデータTMとの同期がとれている。
即ち、視聴者端末3は、TIGメタデータTMが埋め込まれたライブ画像Lを受信すると、ライブ画像Lをデコードする際、ライブ画像LのメタデータからTIGメタデータTMを取り出し、ライブ画像Lを表示する際に同期をとる。
また、上述したように、視聴者Wは、オブジェクトJが既に有効となっているライブ画像Lの途中から視聴を開始する場合がある。このような場合で宛ても、映像フレームとTIGメタデータTMがセットになっているため、視聴を開始したタイミングから映像フレームとTIGメタデータTMとの同期をとることができる。
また、図示はしないが、視聴者WによるオブジェクトJを選択する操作に応じて、管理サーバ1から視聴者端末3に対して紐付情報が送信される。
また、図示はしないが、必要に応じて管理用、あるいはアーカイブでの再利用等を目的としたTIGメタデータTMを、設定者端末2から管理サーバ1に別途送信してもよい。
【0136】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0137】
例えば、上述の実施形態において、オブジェクトJとして特定されているものは例示に過ぎない。
即ち、ライブ画像LにはオブジェクトJに該当し得る候補は無数に含まれている。このため、上述したように、可能な限り多くのオブジェクトJに紐付情報を予め紐付けておくことで、視聴者Wの利便性をより向上させることができる。
【0138】
また、上述の実施形態では、視聴者Wによる指定がなされると、オブジェクトJの紐付情報がストック情報として「TIGストック」に保存される構成となっているが、これは例示に過ぎない。視聴者Wによる指定がなされたオブジェクトJの紐付情報は、ストック情報として保存されない構成とすることもできる。
【0139】
また例えば、
図2には設定者Cが1人のみ描画されているが、これは例示に過ぎず、設定者Cは複数人存在してもよい。この場合、同一のライブ画像Lについて、複数人の設定者Cが同時に各種設定作業を行ってもよい。これにより、複数人の設定者Cによる並列作業が実現できるので、設定作業を効率化させることができる。
【0140】
また、
図8Aに示す例では、オブジェクトJとして野球選手を例に挙げて説明しているが、これに限定されず、例えば野球場の看板等の広告をオブジェクトJとして自動認識して、TIGエリアAを自動設定してもよい。
【0141】
また例えば、オブジェクトJを指定できる領域の形状は、四角形に限定されず、自由矩形とすることもできる。
【0142】
【0143】
また、本発明によれば、上述のサービスや効果に加え、以下のようなサービスや効果を実現させることもできる。
即ち、視聴者Wは、ライブ画像Lに出演している人物(例えば
図1の現地リポーター)が身に着けている衣服や装飾品について、視聴者端末3を操作しながらその場で情報を得たり購入したりすることができる。
また、視聴者Wは、ライブ画像Lに表示されたテロップ(例えば
図1のオブジェクトJ2により示されるテロップ)を指定する操作を行うだけで、テロップにより示される出演者(例えば
図1の現地リポーター)や選手等の詳細情報を得ることができる。
また、視聴者Wは、ライブ画像Lを撮像しているカメラ(図示せず)のアングルに則した詳細な情報を取得することができる。
また、例えばライブ画像Lがスポーツの生中継である場合には、視聴者Wは、ライブ画像Lに表示されているオブジェクトJを指定する操作を行うだけで、技やルール等の補足情報をタイムリーに取得することができる。
また、視聴者Wは、いわゆる「投げ銭」を、ライブ画像L内の領域を分けて行うこともできる。つまり、視聴者Wは、ライブ画像Lのうち、どこ(又は誰)であるかを区別しながら「投げ銭」を行うことができる。
また、ライブ画像Lを撮像するカメラの切り替えを行う外部装置(図示せず)に対して、TIGエリアA側から所定信号(以下、「表示トリガ」と呼ぶ)を送信できるようにすることもできる。これにより、オブジェクトJとTIGエリアAとを容易に同期させることができる。また、ライブ画像Lの各シーンとオブジェクトJとを容易に同期させることもできる。
また、ライブ画像Lにテロップ(オブジェクトJ)を表示させる外部装置(図示せず)から送信されてきた表示トリガに基づいて、テロップ(オブジェクトJ)とTIGエリアAとを容易に同期させることができる。また、ライブ画像Lの各シーンとオブジェクトJとを容易に同期させることもできる。
また、設定者Cは、ライブ画像Lに触れる(タップする)ことで、ライブ画像Lのどこ(誰)が人気があるかについて、リアルタイムで集計し、その後のカメラワークやイベント進行に反映させることができる。
また、ライブ画像Lが表示されている最中であれば、CM(コマーシャル)にTIGエリアAを設定することができる。なお、CM(コマーシャル)は表示される時間や内容が予め決まっているので、TIGエリアAの位置、及びTIGエリアAが有効になる時間帯を事前設定することができる。
また、収録現場で行われるような、生放送のCM(コマーシャル)にも本サービスを適用することができる。
また、TIGエリアAはライブ画像L全体であってもよい。これにより、例えばコンサートのライブ画像Lで、楽曲の演奏中にライブ画像Lのどの位置をタップしても当該楽曲のオブジェクト情報を取得できるようにすることができる。
また、視聴者WによるTIGエリアAに対するタップ操作がどの程度行われたのかについて、設定者Cやライブ画像Lを提供する者にフィードバックすることもできる。
また、設定者Cより、TIGエリアAを設定する度合いも変わることが予想されるので、高度なスキルを有する専門職としての設定者Cが増加することが期待できる。
また、従来のスポンサーは、CM(コマーシャル)を広告媒体としていたが、ライブ画像Lを広告媒体とするスポンサーが増加することが期待できる。
また、ビジネス展示会等のライブ画像Lにも本サービスを提供することができる。
また、ニュースや報道番組等のライブ画像Lにも本サービスを適用することができる。これにより、視聴者Wに対する補足情報や、難解な情報をわかり易く解説した情報を、オブジェクト情報とすることができる。
また、視聴者Wが、設定者Cとしてライブ映像にTIGエリアAを設定できるようにすることもできる。即ち、視聴者Wが上述の設定アプリを利用できるようにすることもできる。
さらに、視聴者Wが、TIGエリアAが設定されたライブ画像Lを、自ら配信できるようにすることもできる。
また、「TIGストック」に一定数のオブジェクトJ(ストック情報)を蓄積させることで、所定のイベントが発生するようにすることができる。
また、1つのオブジェクトJに対応するTIGエリアAがタップされた場合、複数のリンク先(ジャンプ先)を選択できるようにすることができる。
また、TIGエリアA以外の領域がタップされると、アニメーションが自動再生されるようにすることができる。これにより、視覚的な表現を用いることで、視聴者Wの利便性を高めることができる。
また、「TIGストック」は、カスタマイズすることもできる。また、オブジェクトJの指定のための操作の具体的態様に応じて、その効果に変化を持たせることができる。具体的には例えば、操作角度、タップする時間、ダブルタップ等により、効果に変化を持たせることができる。より具体的には例えばオブジェクトJに第1紐付情報と第2紐付情報とが対応付けられている場合、深く押下操作がなされると第1紐付情報が保存される一方、2回触る(ダブルタップ)と第2紐付情報が保存されるようにすることができる。
また、視聴者Wの目の動きによって、オブジェクトJをストックできるようにすることもできる。
【0144】
また、
図9乃至
図11の例では、リーダRによりタグDが読込まれると、タグDを付した対象(例えば衣類)がオブジェクトJとして認識されて、ライブ画像Lに表示されるが、これに特に限定されない。リーダRを用いてタグが読込まれることなく、例えばカメラCAMが画像処理によってタグDを認識してもよい。また例えば、カメラCAMの画像処理によって対象(例えば衣類)そのものが認識されて、オブジェクトJとしてライブ画像Lに表示されるようにしてもよい。
【0145】
また、
図2に示すシステム構成や、
図3に示す管理サーバ1のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0146】
また、
図4に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に
図4の例に限定されない。
【0147】
また、機能ブロックの存在場所も、
図4に限定されず、任意でよい。
例えば、
図4の例で、紐付情報提供処理や紐付情報設定支援処理の実行に必要となる機能ブロックは、管理サーバ1側が備える構成となっているが、これは例示に過ぎない。例えば専用のアプリを設定者端末2や視聴者端末3にインストールさせることにより、これらの機能ブロックの少なくとも一部を、設定者端末2や視聴者端末3側が備える構成としてもよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0148】
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0149】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
【0150】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0151】
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。
【0152】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
表示されているライブ画像(例えば
図1のライブ画像L)の中で第1ユーザ(例えば
図2の視聴者W)により指定がなされる、所定時間帯(例えば
図1の現地リポーターがライブ画像に登場している時間帯)の所定領域(例えば
図1のTIGエリアA1)に存在するオブジェクト(例えば
図1の現地リポーター(人物)を示すオブジェクトJ1)に対し、当該第1ユーザに所定情報(例えばオブジェクト情報)を提供するための情報を、当該指定がなされる前の所定タイミング(例えばライブ画像が設定者端末2に表示される以前のタイミング)で紐付けて、当該情報を紐付情報として管理する管理手段(例えば
図4の紐付情報管理部121)と、
前記ライブ画像を前記第1ユーザに提示する制御を実行する提示制御手段(例えば
図4の提示制御部122)と、
前記ライブ画像が提示されている(例えば
図2等の視聴者端末3に表示されている)前記第1ユーザによる前記所定領域に対する所定操作(例えばタップ操作)がなされた場合、当該所定領域に存在する前記オブジェクトの前記指定がなされたと認識して、当該指定を受付ける第1受付手段(例えば
図4の指定受付部123)と、
前記指定が受付けられた前記オブジェクトに紐付けられて管理されている前記紐付情報を取得する取得手段(例えば
図4の取得部124)と、
前記取得手段により取得された前記紐付情報に基づいて、前記所定情報を前記第1ユーザに提供する(例えば
図2等の視聴者端末3に表示させる)制御を実行する提供制御手段(例えば
図4の提供制御部125)と、
を備える。
【0153】
これにより、管理手段がオブジェクトに紐付情報を紐付けて管理し、提示制御手段がライブ画像を視聴者に提示する。そして、第1受付手段が視聴者によるオブジェクトの指定を受付けて、取得手段がそのオブジェクトに紐付けられている紐付情報を取得し、提示制御手段がその紐付情報に基づく所定情報を視聴者に提供する。
その結果、視聴者は、ライブ画像の視聴中、又はライブ画像を視聴した後のタイミングで、当該ライブ画像に含まれるオブジェクトに関する所定情報を容易に取得することができる。
具体的には例えば、上述の実施形態における視聴者Wは、ライブ画像Lの視聴中、又はライブ画像Lを視聴した後のタイミングで、ライブ画像Lに含まれるオブジェクトJに関するオブジェクト情報を容易に取得することができる。
【0154】
また、前記所定タイミング以前(例えばオブジェクトJに紐付情報が紐付けられる以前)に前記オブジェクトを設定する(例えばアイテム登録を行う)第1設定を行う第1設定手段(例えば
図4のオブジェクト設定部111)と、
前記ライブ画像として表示される表示領域のうち少なくとも一部の領域を、前記オブジェクトの前記指定のための前記所定操作がなされる前記所定領域として設定する第2設定を行う第2設定手段(例えば
図4の位置設定部112)と、
をさらに備えることができる。
【0155】
これにより、第1設定手段がオブジェクトに紐付情報が紐付けられる以前にオブジェクトを設定することができる。
【0156】
また、前記第1設定手段は、前記ライブ画像が表示される前に、前記第1設定を行い、
前記第2設定手段は、前記ライブ画像が表示される前に、前記第2設定を行うことができる。
【0157】
これにより、第1設定手段が、ライブ画像が表示される前にオブジェクトの設定を行い、第2設定手段が、ライブ画像が表示される前にオブジェクトの指定のための所定操作がなされる所定領域の位置を設定する。
その結果、設定者は、ライブ画像の中の所定領域の位置を予め設定してから、視聴者にライブ画像を提示することができる。
具体的には例えば、上述の実施形態における設定者Cは、ライブ画像Lの中のTIGエリアAの位置を予め設定してから、視聴者Wにライブ画像Lを提示することができる。
【0158】
また、前記ライブ画像が表示されている最中に前記所定領域が有効になる前記所定時間帯を設定する第3設定を行う第3設定手段(例えば
図4の時間帯設定部113)をさらに備えることができる。
【0159】
これにより、第3設定手段が、ライブ画像が表示されている最中に所定領域が有効になる所定時間帯を設定する。
その結果、設定者は、ライブ画像の中で所定領域が有効になる時間帯を設定することができる。
具体的には例えば、上述の実施形態における設定者Cは、ライブ画像Lの中でTIGエリアAが有効になる時間帯を設定することができる。
【0160】
また、前記第3設定手段は、前記ライブ画像が表示されるよりも前の時点で前記第3設定を行うことができる。
【0161】
これにより、第3設定手段が、ライブ画像が表示されるよりも前の時点で、ライブ画像が表示されている最中に所定領域が有効になる所定時間帯を設定する。
その結果、設定者は、ライブ画像の中で所定領域が有効になる時間帯を予め設定してから、視聴者にライブ画像を提示することができる。
具体的には例えば、上述の実施形態における設定者Cは、ライブ画像Lの中でTIGエリアAが有効になる時間帯を予め設定してから、視聴者Wにライブ画像Lを提示することができる。
【0162】
また、前記第2設定手段は、前記ライブ画像が表示されている最中に、前記第2設定を行い、
前記第3設定手段は、前記ライブ画像が表示されている最中に、前記第3設定を行うことができる。
【0163】
これにより、第2設定手段が、ライブ画像が表示される前にオブジェクトの指定のための所定操作がなされる所定領域の位置を設定し、第3設定手段が、ライブ画像が表示されている最中に所定領域が有効になる所定時間帯を設定する。
その結果、設定者は、ライブ画像の中の所定領域が有効になる時間帯を予め設定することなく、所定領域が有効になる時間帯を設定することができる。
具体的には例えば、上述の実施形態における設定者Cは、ライブ画像Lの中のTIGエリアAが有効になる時間帯を予め設定することなく、TIGエリアAが有効になる時間帯を設定することができる。
【0164】
また、前記第2設定手段は、前記ライブ画像が表示されている最中に、第2ユーザによる指定に基づいて、前記第2設定を行い、
前記第3設定手段は、前記ライブ画像が表示されている最中に、前記第2ユーザによる指定に基づいて、前記第3設定を行うことができる。
【0165】
これにより、第2設定手段が、ライブ画像が表示される前に、設定者による指定に基づいて、オブジェクトの指定のための所定操作がなされる所定領域の位置を設定する。また、第3設定手段が、ライブ画像が表示されている最中に、設定者による指定に基づいて、所定領域が有効になる所定時間帯を設定する。
その結果、設定者は、ライブ画像の中の所定領域が有効になる時間帯を予め設定することなく、ライブ画像を確認しながら、自ら所定領域が有効になる時間帯を設定することができる。
具体的には例えば、上述の実施形態における設定者Cは、ライブ画像Lの中のTIGエリアAが有効になる時間帯を予め設定することなく、ライブ画像Lを確認しながら、自らTIGエリアAが有効になる時間帯を設定することができる。
【0166】
また、前記ライブ画像が表示されている最中に、前記所定時間帯の前記所定領域に存在する前記オブジェクトを認識する認識手段(例えば
図4の認識部114)をさらに備えることができる。
この場合、前記第2設定手段は、前記認識手段により認識された前記オブジェクトについて、前記第2設定を行い、
前記第3設定手段は、前記認識手段により認識された前記オブジェクトについて、前記第3設定を行うことができる。
【0167】
これにより、認識手段が、ライブ画像が表示されている最中に、所定時間帯の所定領域に存在するオブジェクトを認識する。
その結果、設定者は、ライブ画像を自ら確認することなく、オブジェクトを自動認識させて、所定領域の位置の設定を行うことができる。
具体的には例えば、上述の実施形態における設定者Cは、ライブ画像Lを自ら確認することなく、オブジェクトJを自動認識させて、TIGエリアAの位置の設定を行うことができる。
【0168】
また、前記第1設定手段は、前記認識手段により前記オブジェクトが認識された場合に、当該オブジェクトを設定することができる。
【0169】
これにより、第1設定手段が、認識手段によりオブジェクトが認識された場合に、そのオブジェクトを設定する。
その結果、設定者は、ライブ画像に存在するすべてのオブジェクトを自動認識させて、オブジェクトに対する紐付情報の紐付けをすべて自動で行わせることができる。
具体的には例えば、上述の実施形態における設定者Cは、ライブ画像Lに存在するすべてのオブジェクトJを自動認識させて、オブジェクトJに対する紐付情報の紐付けをすべて自動で行わせることができる。
【符号の説明】
【0170】
1:管理サーバ、2:設定者端末、3:視聴者端末、4:外部サーバ、11:CPU、12:ROM、13:RAM、14:バス、15:入出力インターフェース、16:入力部、17:出力部、18:記憶部、19:通信部、20:ドライブ、30:リムーバブルメディア、101:設定部、111:登録部、112:位置設定部、113:時間帯設定部、114:認識部、121:紐付情報管理部、122:提示制御部、123:指定受付部、124:取得部、125:提供部、126:ストック管理部、181:オブジェクトDB、C:設定者、W:視聴者、L:ライブ画像、J:オブジェクト、A:TIGエリア、B:ボタン、M:タイムカウンタ、H:オブジェクト一覧、F:表示領域、K:紐付情報、Q:オブジェクト情報、T:ブロック、N:ネットワーク、D:タグ、DSP:ディスプレイ、CAM:カメラ、R:タグ、V:小型飛行体
【手続補正書】
【提出日】2023-03-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
視聴者に提供する提供情報が関連付けられており、かつ、当該提供情報を提供するための所定操作を受け付ける対象となるオブジェクトを、操作対象オブジェクトとして配信動画に含めることで、当該提供情報を当該視聴者に提供する情報処理装置が実行する情報提供方法であって、
第1デバイスで処理可能な前記配信動画を第2デバイスに配信する配信ステップと、
前記配信動画において対象物のオブジェクトが前記第1デバイスにより認識されたタイミングで、当該対象物のオブジェクトを前記操作対象オブジェクトとして設定する設定ステップと、
前記第2デバイスに対し、前記第1デバイスによって設定された前記操作対象オブジェクトを含めた前記配信動画を、前記タイミングに応じて送信する送信ステップと、
を含む情報提供方法。
【請求項2】
前記配信動画の配信前に、設定者により指定された1以上のオブジェクトを、認識対象のオブジェクトの候補として設定する候補設定ステップをさらに含み、
前記設定ステップは、
前記配信動画において、1以上の前記候補のうち何れかに該当する対象物のオブジェクトが前記第1デバイスの画像認識処理により認識された前記タイミングで、当該対象物のオブジェクトを、前記操作対象オブジェクトとして設定するステップである、
請求項1に記載の情報提供方法。
【請求項3】
前記候補設定ステップは、前記設定者により指定された前記1以上のオブジェクトを、同一の前記提供情報が関連付けられた前記候補として設定するステップである、
請求項2に記載の情報処理方法。
【請求項4】
前記設定ステップは、
前記配信動画において対象物のオブジェクトの複数の候補が前記第1デバイスにより認識されて表示され、当該複数の候補の中から所定の1つが選択されたタイミングで、選択された前記対象物のオブジェクトを前記操作対象オブジェクトとして設定する、
請求項1に記載の情報処理方法。
【請求項5】
視聴者に提供する提供情報が関連付けられており、かつ、当該提供情報を提供するための所定操作を受け付ける対象となるオブジェクトを、操作対象オブジェクトとして配信動画に含めることで、当該提供情報を当該視聴者に提供する情報処理装置であって、
第1デバイスで処理可能な前記配信動画を第2デバイスに配信する配信手段と、
前記配信動画において対象物のオブジェクトが前記第1デバイスにより認識されたタイミングで、当該対象物のオブジェクトを前記操作対象オブジェクトとして設定する設定手段と、
前記第2デバイスに対し、前記第1デバイスによって設定された前記操作対象オブジェクトを含めた前記配信動画を、前記タイミングに応じて送信する送信手段と、
を備える情報提供装置。
【請求項6】
視聴者に提供する提供情報が関連付けられており、かつ、当該提供情報を提供するための所定操作を受け付ける対象となるオブジェクトを、操作対象オブジェクトとして配信動画に含めることで、当該提供情報を当該視聴者に提供するコンピュータに、
第1デバイスで処理可能な前記配信動画を第2デバイスに配信する配信ステップと、
前記配信動画において対象物のオブジェクトが前記第1デバイスにより認識されたタイミングで、当該対象物のオブジェクトを前記操作対象オブジェクトとして設定する設定ステップと、
前記第2デバイスに対し、前記第1デバイスによって設定された前記操作対象オブジェクトを含めた前記配信動画を、前記タイミングに応じて送信する送信ステップと、
を含む制御処理を実行させるプログラム。