特許 6824098 情報処理システム、コンテンツ配信サーバ、端末及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6824098

(24)【登録日】2021年1月14日

(45)【発行日】2021年2月3日

(54)【発明の名称】情報処理システム、コンテンツ配信サーバ、端末及びプログラム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20210121BHJP

   H04N 21/84 20110101ALI20210121BHJP

   G06F 3/0481 20130101ALI20210121BHJP

   G06T 13/40 20110101ALI20210121BHJP

   G09B 21/00 20060101ALN20210121BHJP

【ＦＩ】

   H04N21/234

   H04N21/84

   G06F3/0481

   G06T13/40

   !G09B21/00 Z

【請求項の数】8

【全頁数】19

(21)【出願番号】特願2017-81385(P2017-81385)

(22)【出願日】2017年4月17日

(65)【公開番号】特開2018-182591(P2018-182591A)

(43)【公開日】2018年11月15日

【審査請求日】2020年3月2日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】宮▲崎▼ 太郎

(72)【発明者】

【氏名】内田 翼

(72)【発明者】

【氏名】東 真希子

(72)【発明者】

【氏名】梅田 修一

(72)【発明者】

【氏名】加藤 直人

(72)【発明者】

【氏名】住吉 英樹

(72)【発明者】

【氏名】山内 結子

【審査官】 川中 龍太

(56)【参考文献】

【文献】 特開２０１４−２２０５７２（ＪＰ，Ａ）

【文献】 特開２０１１−０３９９１５（ＪＰ，Ａ）

【文献】 特表２００９−５４０３８４（ＪＰ，Ａ）

【文献】 特開２００６−０１３７９６（ＪＰ，Ａ）

【文献】 特開２００１−２５８００５（ＪＰ，Ａ）

【文献】 特開２００４−２６０２９７（ＪＰ，Ａ）

【文献】 特開２００２−０５５９０６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００２／０１５７１０１（ＵＳ，Ａ１）

【文献】 特開２０１０−１５４５２３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０３８２０７９（ＵＳ，Ａ１）

【文献】 梅田 修一，テレビにおける手話ＣＧでの聴覚障がい者支援，画像ラボ 第２７巻 第１０号 Image Laboratory，日本，日本工業出版株式会社，２０１６年１０月 ３日，第27巻，pp.33-39

【文献】 東 真希子 Makiko AZUMA，気象警報の手話ＣＧ自動生成システムの開発 Development of automatic sign language animation system to express Weather Warnings，電子情報通信学会技術研究報告 Ｖｏｌ．１１６ Ｎｏ．２４８ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，２０１６年１０月 ９日，第116巻，pp.11-15

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ １３／４０

Ｇ０９Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

コンテンツ生成サーバ、及びコンテンツ配信サーバを有する情報処理システムであって、
前記コンテンツ生成サーバは、
１以上のメタデータ配信サーバからリアルタイムで配信され、少なくともスポーツ競技の進行状況に関するメタデータを取得し、当該メタデータ配信サーバから取得した前記メタデータに基づいて、手話ＣＧ（Computer Graphics）動画を含むコンテンツデータを生成するコンテンツデータ生成部を有し、
前記コンテンツ配信サーバは、
前記コンテンツ生成サーバが取得した前記メタデータに基づいて、前記スポーツ競技におけるリアルタイムな状況を示すリアルタイムデータを生成するリアルタイムデータ生成部と、
前記コンテンツデータ生成部により生成されたコンテンツデータを記憶する記憶部と、
前記記憶部に記憶された前記コンテンツデータを読み出し、前記コンテンツデータの識別情報を含むデータであるメディアデータを生成するメディアデータ生成部と、
前記リアルタイムデータ、前記メディアデータ、及び前記コンテンツデータを端末に配信する配信部と、を有する、情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記リアルタイムデータは、前記スポーツ競技における観客の盛り上がり度を示す音量のレベル又はラウドネスの値である会場の歓声の大きさのデータを含む、
情報処理システム。

【請求項3】

請求項１または２に記載の情報処理システムにおいて、
前記リアルタイムデータは、前記スポーツ競技における反則のイベントのデータを含む、
情報処理システム。

【請求項4】

１以上のメタデータ配信サーバからリアルタイムで配信され、少なくともスポーツ競技の進行状況に関するメタデータに基づいて、前記スポーツ競技におけるリアルタイムな状況を示すリアルタイムデータを生成するリアルタイムデータ生成部と、
前記メタデータに基づいて生成されたコンテンツデータを記憶する記憶部と、
前記記憶部に記憶された前記コンテンツデータを読み出し、前記コンテンツデータの識別情報を含むデータであるメディアデータを生成するメディアデータ生成部と、
前記リアルタイムデータ、前記メディアデータ、及び前記コンテンツデータを端末に配信する配信部と、
を有するコンテンツ配信サーバ。

【請求項5】

端末であって、
少なくともスポーツ競技の進行状況に関するメタデータに基づいて生成された、前記スポーツ競技における状況を示すリアルタイムデータに基づいて、前記端末の振動または表示を制御する制御部と、
前記メタデータに基づいて生成されたコンテンツデータの識別情報を含むデータであるメディアデータを取得し、前記メディアデータに含まれる前記識別情報に基づいて、前記コンテンツデータを取得する取得部と、
前記取得部により取得された前記コンテンツデータを画面に表示させる表示制御部と、
を有し、
前記リアルタイムデータは、前記スポーツ競技における反則のイベントのデータを含み、
前記制御部は、前記イベントが発生したことを前記端末の振動により報知する、
端末。

【請求項6】

請求項５に記載の端末であって、
前記取得部は、前記コンテンツデータに含まれる手話ＣＧ動画の再生が完了した際、前記メディアデータを再度取得する、
端末。

【請求項7】

請求項５または６に記載の端末であって、
前記制御部は、前記リアルタイムデータを受信すると、前記表示制御部による手話ＣＧ動画の再生を停止させるとともに、前記取得部により前記メディアデータを再度取得させる、
端末。

【請求項8】

コンピュータを、請求項５乃至７のいずれか一項に記載の端末として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、コンテンツ配信サーバ、端末及びプログラムに関する。

【背景技術】

【0002】

従来、テレビ放送やインターネットを用いて、手話のコンピュータグラフィックス（ＣＧ、Computer Graphics）のコンテンツを、耳の聞こえないユーザ等に提供する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−０８８７３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、放送等による番組と同時に、当該番組の内容を解説する手話ＣＧの動画を提供することについて検討する。この場合、従来技術では、当該番組が、スポーツ競技の中継のような比較的展開が速い内容である場合、番組の映像で伝達される内容と、手話ＣＧの動画で伝達される内容との間に時間差が生じるため、ユーザにとって現在の状況が分かりにくい場合があるという問題がある。

【0005】

そこで、スポーツ競技の番組の内容をより分かり易く伝達できる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

コンテンツ生成サーバ、及びコンテンツ配信サーバを有する情報処理システムであって、
前記コンテンツ生成サーバは、１以上のメタデータ配信サーバからリアルタイムで配信され、少なくともスポーツ競技の進行状況に関するメタデータを取得し、当該メタデータ配信サーバから取得した前記メタデータに基づいて、手話ＣＧ（Computer Graphics）動画を含むコンテンツデータを生成するコンテンツデータ生成部を有し、前記コンテンツ配信サーバは、前記コンテンツ生成サーバが取得した前記メタデータに基づいて、前記スポーツ競技におけるリアルタイムな状況を示すリアルタイムデータを生成するリアルタイムデータ生成部と、前記コンテンツデータ生成部により生成されたコンテンツデータを記憶する記憶部と、前記記憶部に記憶された前記コンテンツデータを読み出し、前記コンテンツデータの識別情報を含むデータであるメディアデータを生成するメディアデータ生成部と、前記リアルタイムデータ、前記メディアデータ、及び前記コンテンツデータを端末に配信する配信部と、を有する。

【発明の効果】

【0007】

開示の技術によれば、スポーツ競技の番組の内容をより分かり易く伝達できる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る情報処理システムの構成例を示す図である。

【図2】実施形態に係る情報処理システムの機能構成を示す機能ブロック図である。

【図3】情報処理システムの処理の一例を示すシーケンス図である。

【図4】メタデータ配信サーバの処理の一例を示すフローチャートである。

【図5】スポーツ競技の進行状況を示すメタデータの一例を示す図である。

【図6】コンテンツ生成サーバの処理の一例を示すフローチャートである。

【図7】コンテンツ配信サーバの処理の一例を示すフローチャートである。

【図8】端末の処理の一例を示すフローチャートである。

【図9】端末に表示される試合選択画面の一例を示す図である。

【図10】メディアＸＭＬの一例を示す図である。

【図11】リアルタイムＸＭＬの一例を示す図である。

【図12】端末に表示されるメイン画面の一例を示す図である。

【図13】端末に表示されるルール解説画面の一例を示す図である。

【図14】端末に表示される選手情報画面の一例を示す図である。

【図15】端末に表示される試合経過画面の一例を示す図である。

【図16】端末のデータ更新処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本発明の実施形態について説明する。

【0010】

＜システム構成＞
図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１において、情報処理システム１は、メタデータ配信サーバ１０、コンテンツ生成サーバ２０、コンテンツ配信サーバ３０、及び端末４０−１、４０−２、・・・（以下で、それぞれを区別する必要がない場合は、単に「端末４０」と称する。）を備える。

【0011】

情報処理システム１のコンテンツ生成サーバ２０は、１以上のメタデータ配信サーバ１０からリアルタイムで配信される、少なくともスポーツ競技の進行状況に関するメタデータを取得し、当該メタデータに基づいて、手話ＣＧ（Computer Graphics）動画を含むコンテンツデータを生成する。

【0012】

コンテンツ配信サーバ３０は、コンテンツ生成サーバ２０により取得されたメタデータに基づいて、スポーツ競技におけるリアルタイムな状況を示すリアルタイムデータを生成する。また、コンテンツ配信サーバ３０は、コンテンツ生成サーバ２０により生成されたコンテンツデータを記憶し、当該コンテンツデータの識別情報を含むデータであるメディアデータを生成する。そして、コンテンツ配信サーバ３０は、当該リアルタイムデータ、当該メディアデータ、及び当該コンテンツデータを端末に配信する。

【0013】

端末４０は、リアルタイムデータに基づいて、端末の振動または表示を制御し、メディアデータに含まれる識別情報に基づいて、コンテンツデータを取得し、取得されたコンテンツデータを画面に表示させる。

【0014】

メタデータ配信サーバ１０とコンテンツ生成サーバ２０とは、例えば、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して通信できるように接続されている。

【0015】

コンテンツ生成サーバ２０とコンテンツ配信サーバ３０との間は、例えば、ＬＡＮ等のネットワークを介して通信できるように接続されている。

【0016】

コンテンツ配信サーバ３０と端末４０との間は、例えば、インターネットや、ＬＴＥ（Long Term Evolution）等の携帯電話網等を介して通信できるように接続されている。

【0017】

メタデータ配信サーバ１０は、サーバ用の情報処理装置（コンピュータ）であり、メタデータの生成、及び配信を行う。ここで、メタデータとは、例えば、テレビ局により放送されるコンテンツ（テレビ番組等）の内容に関するデータである。メタデータには、１以上のメタデータ配信サーバ１０からリアルタイムで配信される、少なくともスポーツ競技の進行状況に関するデータが含まれる。ここで、放送には、電波による放送に限らず、ネットワークを介してテレビ番組のデータを送信するインターネット放送も含まれる。

【0018】

コンテンツ生成サーバ２０は、サーバ用の情報処理装置であり、メタデータ配信サーバ１０から配信されたメタデータに基づいて、端末４０に提供するためのコンテンツのデータを生成する。

【0019】

コンテンツ配信サーバ３０は、サーバ用の情報処理装置であり、コンテンツ生成サーバ２０により生成されたコンテンツのデータを、端末４０に配信する。

【0020】

端末４０は、例えば、タブレット型ＰＣ（Personal Computer）、スマートフォン、ノート型ＰＣ等の情報処理装置である。端末４０は、コンテンツ配信サーバ３０から配信されたコンテンツを、ユーザに提供する。

【0021】

＜機能構成＞
次に、図２を参照し、実施形態に係る情報処理システム１の機能構成について説明する。図２は、実施形態に係る情報処理システム１の機能構成を示す機能ブロック図である。

【0022】

≪メタデータ配信サーバ≫
メタデータ配信サーバ１０は、解析部１１、メタデータ生成部１２、及び通信部１３を有する。

【0023】

解析部１１は、放送される番組の映像と音声を解析する。

【0024】

メタデータ生成部１２は、解析部１１により解析された結果に基づいて、メタデータを生成する。

【0025】

通信部１３は、メタデータ生成部１２により生成されたメタデータを、コンテンツ生成サーバ２０に送信する。

【0026】

≪コンテンツ生成サーバ≫
コンテンツ生成サーバ２０は、コンテンツデータ生成部２１、通信部２２、及び制御部２３を有する。

【0027】

コンテンツデータ生成部２１は、メタデータ配信サーバ１０から受信した、放送される番組の内容に関するメタデータに基づいて、手話ＣＧ動画等のコンテンツデータを生成する。

【0028】

通信部２２は、メタデータ配信サーバ１０からメタデータを受信する。また、通信部２２は、当該メタデータの少なくとも一部と、コンテンツデータ生成部２１により生成されたコンテンツデータを、コンテンツ配信サーバ３０に送信する。

【0029】

制御部２３は、メタデータ配信サーバ１０から受信したメタデータに基づき、コンテンツデータ生成部２１、通信部２２の制御等を行う。

【0030】

≪コンテンツ配信サーバ≫
コンテンツ配信サーバ３０は、記憶部３１、リアルタイムデータ生成部３２、メディアデータ生成部３３、配信部３４、及び通信部３５を有する。

【0031】

記憶部３１は、メディアＸＭＬ（Extensible Markup Language）３０１、及びリアルタイムＸＭＬ３０２を記憶する。また、記憶部３１は、コンテンツ生成サーバ２０により生成されたコンテンツデータを記憶するコンテンツデータＤＢ３１１を有する。

【0032】

リアルタイムデータ生成部３２は、コンテンツ生成サーバ２０から受信したメタデータに基づいて、現在放送されている番組における状況を示すリアルタイムＸＭＬ３０２（「リアルタイムデータ」の一例）を生成し、生成したリアルタイムＸＭＬ３０２を記憶部３１に記憶させる。

【0033】

メディアデータ生成部３３は、コンテンツデータＤＢ３１１に記憶されたコンテンツデータのＵＲＬ（Uniform Resource Locator、「識別情報」の一例）を含むメディアＸＭＬ３０１（「メディアデータ」の一例）を生成し、生成したメディアＸＭＬ３０１を記憶部３１に記憶させる。

【0034】

配信部３４は、メディアＸＭＬ３０１、リアルタイムＸＭＬ３０２、及びコンテンツデータＤＢ３１１に記憶されたコンテンツデータを、端末４０に配信する。

【0035】

通信部３５は、コンテンツ生成サーバ２０、及び端末４０との通信を行う。

【0036】

≪端末≫
端末４０は、制御部４１、取得部４２、表示制御部４３、及び通信部４４を有する。

【0037】

制御部４１は、コンテンツ配信サーバ３０から配信されたリアルタイムＸＭＬ３０２に基づいて、端末４０の振動や表示等を制御する。

【0038】

取得部４２は、コンテンツ配信サーバ３０から配信されたメディアＸＭＬ３０１に含まれるＵＲＬを用いて、当該ＵＲＬのコンテンツデータを取得する。

【0039】

表示制御部４３は、取得部４２により取得されたコンテンツデータを画面に表示させる。

【0040】

通信部４４は、コンテンツ配信サーバ３０との通信を行う。

【0041】

＜処理＞
次に、図３を参照し、情報処理システム１の処理について説明する。図３は、情報処理システム１の処理の一例を示すシーケンス図である。

【0042】

ステップＳ１において、メタデータ配信サーバ１０の通信部１３は、メタデータをコンテンツ生成サーバ２０に配信する。

【0043】

続いて、ステップＳ２において、コンテンツ生成サーバ２０のコンテンツデータ生成部２１は、受信したメタデータに基づいて、所定のコンテンツを生成する。ここで、コンテンツ生成サーバ２０は、手話ＣＧ動画や、文字情報等の各コンテンツを生成する。

【0044】

続いて、ステップＳ３において、コンテンツ生成サーバ２０の通信部２２は、生成した各コンテンツと、受信したメタデータの少なくとも一部を、コンテンツ配信サーバ３０に送信する。

【0045】

続いて、ステップＳ４において、コンテンツ配信サーバ３０の記憶部３１は、受信した各コンテンツを記憶する。

【0046】

続いて、ステップＳ５において、コンテンツ配信サーバ３０のメディアデータ生成部３３は、記憶した各コンテンツのＵＲＬを示すデータであるメディアＸＭＬ３０１を生成する。

【0047】

続いて、ステップＳ６において、コンテンツ配信サーバ３０のリアルタイムデータ生成部３２は、受信したメタデータに基づいて、試合等におけるリアルタイムなイベントや状況を示すリアルタイムＸＭＬ３０２を生成する。

【0048】

続いて、ステップＳ７において、端末４０の通信部４４は、ユーザの操作等に応じて、コンテンツ配信サーバ３０にアクセスする。

【0049】

続いて、ステップＳ８において、端末４０の通信部４４は、メディアＸＭＬ３０１の取得要求をコンテンツ配信サーバ３０に送信する。

【0050】

続いて、ステップＳ９において、コンテンツ配信サーバ３０の配信部３４は、メディアＸＭＬ３０１を端末４０に配信する。

【0051】

続いて、ステップＳ１０において、端末４０の通信部４４は、メディアＸＭＬ３０１にて指定されたＵＲＬへの取得要求を送信する。

【0052】

続いて、ステップＳ１１において、コンテンツ配信サーバ３０の配信部３４は、端末４０から要求されたＵＲＬのコンテンツを端末４０に配信する。

【0053】

続いて、ステップＳ１２において、端末４０の表示制御部４３は、コンテンツ配信サーバ３０から取得したコンテンツに基づき、画面への表示等を行う。

【0054】

続いて、ステップＳ１３において、端末４０の通信部４４は、リアルタイムＸＭＬ３０２の取得要求をコンテンツ配信サーバ３０に送信する。

【0055】

続いて、ステップＳ１４において、コンテンツ配信サーバ３０の配信部３４は、リアルタイムＸＭＬ３０２を端末４０に送信する。

【0056】

続いて、ステップＳ１５において、端末４０の制御部４１は、コンテンツ配信サーバ３０から取得したリアルタイムＸＭＬ３０２に基づき、振動や画面への表示等を行う。

【0057】

なお、メディアＸＭＬ３０１に関するステップＳ８乃至ステップＳ１２の処理と、リアルタイムＸＭＬ３０２に関するステップＳ１３乃至ステップＳ１５の処理は、非同期で行われる。例えば、ステップＳ８乃至ステップＳ１２が一回行われる間に、ステップＳ１３乃至ステップＳ１５の処理が複数回行われてもよい。

【0058】

≪メタデータ配信サーバ≫
次に、図４を参照し、メタデータ配信サーバ１０の処理について説明する。図４は、メタデータ配信サーバ１０の処理の一例を示すフローチャートである。なお、図４の処理は、例えば、スポーツの試合が行われている間、繰り返し実行される。

【0059】

ステップＳ１０１において、メタデータ配信サーバ１０の解析部１１は、映像と音声を取得する。ここで、メタデータ配信サーバ１０は、例えば、現地のＴＶ局等から配信された、スポーツの試合の映像と音声を取得する。なお、当該スポーツの試合の映像と音声は、端末４０が位置する地域のＴＶ局等により、アナウンサーの音声等を含められたのち、当該地域にて放送される。

【0060】

続いて、ステップＳ１０２において、メタデータ配信サーバ１０の解析部１１は、取得した映像、及び音声の少なくとも一方を解析し、盛り上がりレベル、及び所定のイベントを検出する。

【0061】

ここで、盛り上がりレベルは、例えば、スポーツの試合会場における観客の盛り上がり度を示すデータである。盛り上がりレベルは、取得された音声における歓声等の音量のレベルやラウドネスの値により判定されてもよい。ここで、ラウドネス値としては、例えば、５．１ｃｈサラウンドまで対応する既存のラウドネス測定法（ＩＴＵ−Ｒ勧告ＢＳ．１７７０−３）を用いて判定するようにしてもよい。取得された音声に歓声等以外の音声がほぼ含まれない場合は、取得された音声の音量のレベルを判定してもよい。また、取得された音声に歓声等以外の音声、例えば、現地における実況等の音声も含まれる場合は、歓声等を音声認識し、認識された歓声等の音量のレベルを判定してもよい。

【0062】

また、所定のイベントは、例えば、スポーツの試合における、試合の状況が変わるようなイベントでもよい。例えば、審判によりファウル（反則）と判定され、ホイッスルが吹かれ、またはブザー等が鳴らされて試合が中断したことや、選手が得点したことが、所定のイベントとして検出されてもよい。

【0063】

続いて、ステップＳ１０３において、メタデータ配信サーバ１０のメタデータ生成部１２は、解析部１１により検出されたイベント等を示すメタデータを生成し、通信部１３を用いてコンテンツ生成サーバ２０に配信する。

【0064】

なお、メタデータ配信サーバ１０は、外部の事業者から提供されたメタデータを配信してもよい。この場合、例えば、メタデータ配信サーバ１０は複数のサーバにより構成され、当該複数のサーバのうちの少なくとも一つは、スポーツ競技の結果や進行状況をリアルタイムで配信するサービスを提供する、ＩＯＣ（International Olympic Committee）のＯＤＦ（Olympic Data Feed）のサーバでもよい。なお、ＩＯＣから配信されるメタデータは、テレビのデータ放送等で提供される競技関連情報等を生成するために用いられている。

【0065】

図５は、スポーツ競技の進行状況を示すメタデータの一例を示す図である。図５の例では、ＸＭＬ形式で、競技のスコアやサーブ決定率等の統計情報、競技で起こったイベント等のデータが含まれている。ここで、例えば、「Result="ACE" Value="SRV"」等の記載により、サービスエースが発生したことが示される。図５の例では、第１セットの試合開始９分２１秒に、日本の背番号３番の選手がサービスエースを決めて、スコアが１１対１１の同点になったことが示されている。

【0066】

≪コンテンツ生成サーバ≫
次に、図６を参照し、コンテンツ生成サーバ２０の処理について説明する。図６は、コンテンツ生成サーバ２０の処理の一例を示すフローチャートである。なお、図６の処理は、例えば、メタデータ配信サーバ１０からメタデータを受信した際に実行される。

【0067】

ステップＳ２０１において、コンテンツ生成サーバ２０の通信部２２は、メタデータ配信サーバ１０からメタデータを受信する。

【0068】

続いて、ステップＳ２０２において、コンテンツ生成サーバ２０の制御部２３は、受信したメタデータを解析する。

【0069】

続いて、ステップＳ２０３において、コンテンツ生成サーバ２０の制御部２３は、受信したメタデータのうち、試合等におけるリアルタイムなイベントや状況を示すメタデータを、通信部２２によりコンテンツ配信サーバ３０に送信する。ここで、コンテンツ配信サーバ３０に送信されるメタデータには、盛り上がりレベル、及び所定のイベントを示すデータが含まれる。

【0070】

続いて、ステップＳ２０４において、コンテンツ生成サーバ２０のコンテンツデータ生成部２１は、受信したメタデータに基づいて、手話ＣＧの動画や、文字情報等のコンテンツを生成する。ここで、例えば、図５に示すようなメタデータに基づいて、スポーツ競技の結果や進行状況を示す手話ＣＧの動画を生成する。手話ＣＧの動画は、例えば、ＭＰＥＧ（Moving Picture Experts Group）−４等の規格に従ったデータとして生成される。

【0071】

続いて、ステップＳ２０５において、コンテンツ生成サーバ２０のコンテンツデータ生成部２１は、生成したコンテンツを、通信部２２によりコンテンツ配信サーバ３０に送信し、処理を終了する。

【0072】

≪コンテンツ配信サーバ≫
次に、図７を参照し、コンテンツ配信サーバ３０によるメディアＸＭＬ３０１、リアルタイムＸＭＬ３０２を生成する処理について説明する。図７は、コンテンツ配信サーバ３０のメディアＸＭＬ３０１、リアルタイムＸＭＬ３０２生成処理の一例を示すフローチャートである。なお、図７の処理は、例えば、コンテンツ生成サーバ２０からデータを受信した際に実行される。

【0073】

ステップＳ３０１において、コンテンツ配信サーバ３０の通信部３５は、データをコンテンツ生成サーバ２０から受信する。

【0074】

続いて、ステップＳ３０２において、コンテンツ配信サーバ３０の通信部３５は、受信したデータがメタデータであるか否かを判定する。

【0075】

コンテンツ配信サーバ３０のリアルタイムデータ生成部３２は、受信したデータがメタデータである場合（ステップＳ３０２：ＹＥＳ）、ステップＳ３０３において、受信したメタデータに基づいて、リアルタイムＸＭＬ３０２を生成し、処理を終了する。なお、生成されたリアルタイムＸＭＬ３０２は、例えば、端末４０からのＨＴＴＰ（Hypertext Transfer Protocol）のリクエストに対するレスポンスにて、端末４０に送信される。または、リアルタイムＸＭＬ３０２が生成された際、コンテンツ配信サーバ３０から端末４０にプッシュ型配信により送信されてもよい。

【0076】

コンテンツ配信サーバ３０の記憶部３１は、受信したデータがメタデータでない場合（ステップＳ３０２：ＮＯ）、ステップＳ３０４において、受信したコンテンツのデータをコンテンツデータＤＢ３１１に記憶する。

【0077】

続いて、ステップＳ３０５において、コンテンツ配信サーバ３０のメディアデータ生成部３３は、記憶したコンテンツデータに対応するＵＲＬを生成する。

【0078】

続いて、ステップＳ３０６において、コンテンツ配信サーバ３０のメディアデータ生成部３３は、生成したＵＲＬを含むメディアＸＭＬ３０１を生成し、処理を終了する。

【0079】

また、コンテンツ配信サーバ３０の配信部３４は、例えば、Ｗｅｂサーバの機能を有しており、端末４０から、メディアＸＭＬ３０１に含まれるＵＲＬへのＨＴＴＰリクエストを受信すると、当該ＵＲＬに対応付けられたコンテンツのデータを、端末４０に送信する。

【0080】

≪端末≫
次に、図８乃至図１１を参照し、端末４０の処理について説明する。図８は、端末４０の処理の一例を示すフローチャートである。図９は、端末４０に表示される試合選択画面の一例を示す図である。図１０は、メディアＸＭＬ３０１の一例を示す図である。図１１は、リアルタイムＸＭＬ３０２の一例を示す図である。

【0081】

ステップＳ４０１において、端末４０の制御部４１は、例えば、ユーザからの操作に応じて、コンテンツ配信サーバ３０にアクセスし、現在放送中の各試合の一覧のＷｅｂページを表示する。ここで、端末４０は、例えば、所定のＵＲＬにアクセスし、ＨＴＴＰを用いて、コンテンツ配信サーバ３０のＷｅｂページを取得する。

【0082】

ここで、図９に示すように、試合選択画面において、各種の試合の一覧５００が表示され、ユーザからのボタン５０１乃至５０３の選択操作に応じて、選択された試合に関するコンテンツが表示されるようになる。なお、一覧５００に表示される各試合は、各種のテレビ局により現時点で放送されている各番組の試合でもよい。

【0083】

続いて、ステップＳ４０２において、端末４０の制御部４１は、ユーザから、コンテンツの配信を受ける試合を選択する操作を受け付ける。

【0084】

続いて、ステップＳ４０３において、端末４０の取得部４２は、ユーザから選択された試合に関する各コンテンツのＵＲＬを示すメディアＸＭＬ３０１を、コンテンツ配信サーバ３０から取得する。

【0085】

ここで、図１０に示すメディアＸＭＬ３０１には、「MovieURL」３１１、「RuleURL」３１２、「PlayersURL」３１３、「DigestURL」３１４、及び「StatsURL」３１５等のデータが、ＸＭＬ形式で記述されている。

【0086】

「MovieURL」３１１は、試合の実況や解説の内容を示す手話ＣＧの動画のＵＲＬである。

【0087】

「RuleURL」３１２は、審判によりファウルと判定された場合の、当該ファウルと判定された試合規則を説明する手話ＣＧの動画のＵＲＬである。

【0088】

「PlayersURL」３１３は、試合に出場している各選手の情報を提供するサイトのＵＲＬである。

【0089】

「DigestURL」３１４は、試合のダイジェストを示す手話ＣＧの動画のＵＲＬである。ここで、ダイジェストには、例えば、主な得点シーンや、試合の進行状況の概要等が含まれていてもよい。

【0090】

「StatsURL」３１５は、試合に関する統計情報提供するサイトのＵＲＬである。

【0091】

続いて、ステップＳ４０４において、端末４０の取得部４２は、ユーザから選択された試合に関する各種イベントを示すリアルタイムＸＭＬ３０２を、コンテンツ配信サーバ３０から取得する。

【0092】

ここで、図１１に示すリアルタイムＸＭＬ３０２には、「Whistle」３２１、及び「Heat」３２２等のデータが、ＸＭＬ形式で記述されている。

【0093】

「Whistle」３２１は、審判によりファウルと判定されたか否かを示すデータであり、「１」であればファウルと判定されたことを示す。

【0094】

「Heat」３２２は、盛り上がりレベルを示す値である。ここで、盛り上がりレベルは、「１」乃至「１０」の１０段階の値であり、レベル「１０」は会場が最大に盛り上がっていることを示すものとしてもよい。

【0095】

続いて、ステップＳ４０５において、端末４０の制御部４１、及び表示制御部４３は、メディアＸＭＬ３０１、及びリアルタイムＸＭＬ３０２に基づいて、ユーザから選択された試合に関する各コンテンツやリアルタイムイなベントをユーザに報知する。

【0096】

なお、端末４０の取得部４２は、ステップＳ４０３のメディアＸＭＬ３０１を取得する処理を、手話ＣＧの動画の再生が完了（終了）した際に行う。また、手話ＣＧの動画を再生していない場合は第１の間隔（例えば１０秒間隔）で行う。

【0097】

また、端末４０の取得部４２は、ステップＳ４０４のリアルタイムＸＭＬ３０２を取得する処理を、第１の間隔よりも短い第２の間隔（例えば１秒間隔）で実行する。あるいは、コンテンツ配信サーバ３０にてリアルタイムＸＭＬ３０２が更新された際に、コンテンツ配信サーバ３０からプッシュ型で通知されてもよい。

【0098】

そして、端末４０の取得部４２は、メディアＸＭＬ３０１、及びリアルタイムＸＭＬ３０２が更新される度、ステップＳ４０５の処理を繰り返す。

【0099】

≪端末の画面表示例≫
次に、図１２乃至図１５を参照し、端末４０に表示される画面の例について説明する。図１２は、端末４０に表示されるメイン画面の一例を示す図である。図１２に示すように、メイン画面において、現在の表示種別５１１Ａ、試合の実況や解説の手話ＣＧ５１２Ａ、盛り上がりレベル５１３、試合概要５１４、遷移ボタン５１５Ａ乃至５１８Ａが表示される。

【0100】

メイン画面において、現在の表示種別５１１Ａは、現在表示されているコンテンツの内容を示すデータである。図１２の例では、「リアルタイムイベント」と表示される。試合の実況や解説の手話ＣＧ５１２には、「MovieURL」３１１から取得された、試合の実況や解説の内容を示す手話ＣＧの動画が表示される。盛り上がりレベル５１３は、「Heat」３２２から取得された、コンテンツ配信サーバ３０から配信された盛り上がりレベルを表示する。図１２の例では、盛り上がりレベルは「３」である。なお、端末４０は、盛り上がりレベルを、画面に表示する代わりに、振動によりユーザに報知してもよい。この場合、端末４０は、例えば、盛り上がりレベルの値に応じた振動の大きさで、端末４０を振動させてもよい。

【0101】

試合概要５１４には、「StatsURL」３１５から取得された、対戦チーム、各チームの得点、試合における経過時間、得点者、得点時間、野球における打率等の統計情報等が表示される。

【0102】

遷移ボタン５１５Ａ乃至５１８Ａは、ユーザからの選択操作に応じて、選択された画面が表示されるようになるボタンである。メイン画面において、遷移ボタン５１５Ａが押下されると、図９に示す試合選択画面に遷移する。遷移ボタン５１６Ａが押下されると、図１３に示すルール解説画面に遷移する。遷移ボタン５１７Ａが押下されると、図１４に示す選手情報画面に遷移する。遷移ボタン５１８Ａが押下されると、図１５に示す試合経過画面に遷移する。

【0103】

図１３は、端末４０に表示されるルール解説画面の一例を示す図である。図１３に示すように、ルール解説画面において、現在の表示種別５１１Ｂ、ルール解説の手話ＣＧ５１２Ｂ、試合概要５１４、遷移ボタン５１５Ｂ乃至５１８Ｂが表示される。ルール解説画面において、現在の表示種別５１１Ｂには「ルール解説」と表示されている。手話ＣＧ５１２Ｂには、「RuleURL」３１２から取得された、試合の実況や解説の内容を示す手話ＣＧの動画が表示される。遷移ボタン５１５Ｂが押下されると、メイン画面に戻る。遷移ボタン５１６Ｂ乃至５１８Ｂは、遷移ボタン５１６Ａ乃至５１８Ａと同様である。

【0104】

図１４は、端末４０に表示される選手情報画面の一例を示す図である。図１４に示すように、選手情報画面において、現在の表示種別５１１Ｃ、選手情報５２１、スクロールバー５２２、遷移ボタン５１５Ｃが表示される。選手情報画面において、現在の表示種別５１１Ｃには「出場選手」と表示されている。選手情報５２１は、試合における各チームの選手の情報が表示される。なお、各選手の氏名には、詳細な選手情報を示す文字や動画等のコンテンツへのリンクが張られていてもよい。遷移ボタン５１５Ｃが押下されると、メイン画面に戻る。

【0105】

図１５は、端末４０に表示される試合経過画面の一例を示す図である。図１５に示すように、試合経過画面において、現在の表示種別５１１Ｄ、試合経過の手話ＣＧ５１２Ｄ、試合概要５１４、遷移ボタン５１５Ｄ乃至５１８Ｄが表示される。試合経過画面において、現在の表示種別５１１Ｄには「試合経過」と表示されている。手話ＣＧ５１２Ｄには、「DigestURL」３１４から取得された、試合のダイジェストを示す手話ＣＧの動画が表示される。遷移ボタン５１５Ｄ乃至５１８Ｄは、遷移ボタン５１６Ｂ乃至５１８Ｂと同様である。

【0106】

≪端末におけるデータ更新処理≫
次に、図１６を参照し、端末４０におけるデータ更新処理について説明する。図１６は、端末４０のデータ更新処理の一例を示すフローチャートである。

【0107】

ステップＳ５０１において、端末４０の取得部４２は、更新されたリアルタイムＸＭＬ３０２を取得する。

【0108】

続いて、ステップＳ５０２において、端末４０の制御部４１は、ファウル等の所定のイベントが発生したか否かを判定する。ここで、端末４０の制御部４１は、例えば、更新されたリアルタイムＸＭＬ３０２において、「Whistle」３２１の値が「１」であればファウルが発生したと判定する。

【0109】

端末４０の制御部４１は、所定のイベントが発生していない場合（ステップＳ５０２：ＮＯ）、ステップＳ５０３において、更新されたリアルタイムＸＭＬ３０２に基づいて、盛り上がりレベル等の表示を更新し、処理を終了する。

【0110】

端末４０の制御部４１は、所定のイベントが発生した場合（ステップＳ５０２：ＹＥＳ）、ステップＳ５０４において、端末４０のバイブレーション機能を起動して、端末４０を振動させることにより、所定のイベントが発生したことをユーザに報知する。なお、端末４０の制御部４１は、所定のイベントが発生したことを、振動、バナー、ダイアログのうち少なくとも一つを用いて通知してもよい。ここで、バナー、及びダイアログは、タブレット型ＰＣのＯＳ（Operating System）により提供される機能であり、イベントをユーザに通知する画面を表示する機能である。例えば、バナー機能では、画面の上部に所定のメッセージが表示され、自動的に当該表示が消えてもよい。また、ダイアログ機能では、画面の中央部に所定のメッセージが表示され、ユーザによる確認操作に応じて当該表示が消えてもよい。

【0111】

また、端末４０の制御部４１は、ステップＳ５０４において、端末４０のバイブレーション機能を起動して、端末４０を振動させた後、バナーまたはダイアログを用いて、例えば、「審判によりファウルが取られました。チームＡの選手Ａが３秒ルール違反。」等の、所定のイベントの内容を表示してもよい。

【0112】

続いて、端末４０の制御部４１は、ステップＳ５０５において、手話ＣＧの動画が再生中であるか否かを判定する。

【0113】

端末４０の制御部４１は、手話ＣＧの動画が再生中でない場合（ステップＳ５０５：ＮＯ）、後述するステップＳ５０７の処理に進む。

【0114】

端末４０の制御部４１は、手話ＣＧの動画が再生中である場合（ステップＳ５０５：ＹＥＳ）、ステップＳ５０６において、表示制御部４３による手話ＣＧの動画の再生を停止させる。

【0115】

続いて、端末４０の取得部４２は、ステップＳ５０７において、メディアＸＭＬ３０１が更新されるまでの間、第１の間隔よりも短い第３の間隔（例えば２秒間隔）でメディアＸＭＬ３０１の取得要求を通信部４４によりメタデータ配信サーバ１０に送信する。

【0116】

続いて、端末４０の表示制御部４３は、ステップＳ５０８において、更新されたメディアＸＭＬ３０１に基づいて、手話ＣＧの動画を再生する。これにより、例えば、審判がホイッスル（笛）を吹いたことにより端末４０が振動したことにより、ユーザが端末４０の画面に注目した際、再生中であった動画は停止されており、ユーザは当該ホイッスルに関する動画の再生が開始するまで待機することができる。

【0117】

＜まとめ＞
例えば、東京オリンピック等の大きなスポーツイベントに向け、聴覚障害者と健常者とが一緒にスポーツ観戦を楽しめるようにしたいという要望がある。

【0118】

従来、スポーツ番組において、映像だけで全ての状況を理解することは困難である。例えば、反則等により試合が止まったシーンでは、テレビ番組において、音声のみで当該反則の内容が伝えられる場合が多いため、聴覚障害者にとって、画面を見るだけでは何が起きたか分からない場合がある。

【0119】

上述した実施形態によれば、放送される番組の内容に関するメタデータに基づいて、当該番組における状況を示すリアルタイムデータを生成し、当該リアルタイムデータに基づいて、端末４０の振動または表示を制御する。また、当該メタデータに基づいて、手話ＣＧ動画を含むコンテンツデータを生成し、当該コンテンツデータを端末４０の画面に表示させる。これにより、番組の内容をより分かり易く伝達することができる。

【0120】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

【0121】

例えば、メタデータ配信サーバ１０、コンテンツ生成サーバ２０、コンテンツ配信サーバ３０、及び端末４０の各機能部は、例えば複数のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、メタデータ配信サーバ１０、コンテンツ生成サーバ２０、及びコンテンツ配信サーバ３０のうちの複数のサーバは、１台の情報処理装置により実現されてもよい。また、コンテンツ生成サーバ２０、コンテンツ配信サーバ３０、及び端末４０の各機能部を、いずれのサーバが有する構成としてもよい。例えば、リアルタイムデータ生成部３２やメディアデータ生成部３３等を、コンテンツ生成サーバ２０等が有するようにしてもよい。また、制御部４１等を、コンテンツ配信サーバ３０が有するようにしてもよい。

【符号の説明】

【0122】

１ 情報処理システム
１０ メタデータ配信サーバ
１１ 解析部
１２ メタデータ生成部
１３ 通信部
２０ コンテンツ生成サーバ
２１ コンテンツデータ生成部
２２ 通信部
２３ 制御部
３０ コンテンツ配信サーバ
３１ 記憶部
３０１ メディアＸＭＬ
３０２ リアルタイムＸＭＬ
３１１ コンテンツデータＤＢ
３２ リアルタイムデータ生成部
３３ メディアデータ生成部
３４ 配信部
３５ 通信部
４０ 端末
４１ 制御部
４２ 取得部
４３ 表示制御部
４４ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】