特許 7464437 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   H04N 21/235 20110101AFI20240402BHJP

   H04N 7/18 20060101ALI20240402BHJP

   H04N 21/239 20110101ALI20240402BHJP

   H04N 21/2343 20110101ALI20240402BHJP

   G06V 30/00 20220101ALI20240402BHJP

   G06V 30/28 20220101ALI20240402BHJP

【ＦＩ】

H04N21/235

H04N7/18 K

H04N21/239

H04N21/2343

G06V30/00 S

G06V30/28

【請求項の数】 10

(21)【出願番号】P 2020076584

(22)【出願日】2020-04-23

(65)【公開番号】P2021175064

(43)【公開日】2021-11-01

【審査請求日】2023-02-21

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】横田 暁人

(72)【発明者】

【氏名】滝澤 暢

(72)【発明者】

【氏名】川上 太郎

(72)【発明者】

【氏名】本間 大輔

(72)【発明者】

【氏名】木下 枝美

(72)【発明者】

【氏名】門田 俊紀

(72)【発明者】

【氏名】奥原 史佳

(72)【発明者】

【氏名】森 美帆

【審査官】中野 和彦

(56)【参考文献】

【文献】特表２０１０－５０９８３０（ＪＰ，Ａ）

【文献】特表２０１７－５３１９７９（ＪＰ，Ａ）

【文献】特開２０１６－２１３８０８（ＪＰ，Ａ）

【文献】特開２０１９－１２２０２７（ＪＰ，Ａ）

【文献】国際公開第２０１４／１９２４５７（ＷＯ，Ａ１）

【文献】特開２０１８－１８２５９１（ＪＰ，Ａ）

【文献】特開２００８－２４５７１２（ＪＰ，Ａ）

【文献】特開２０１２－１０４１０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／２３５

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２１／２３９

Ｈ０４Ｎ ２１／２３４３

Ｇ０６Ｖ ３０／００

Ｇ０６Ｖ ３０／２８

(57)【特許請求の範囲】

【請求項1】

得点を競う競技の観客が利用する１以上の撮像装置によって撮像された画像を示す動画データを取得する動画データ取得部と、
取得された前記動画データにおいて前記競技の得点状況を示す画像が含まれているか否かを判断する判断部と、
前記動画データに含まれている前記競技の得点状況を示す画像を解析して、前記動画データの再生時に当該得点状況を表示するための得点表示データを生成する生成部と、
生成された得点表示データと前記動画データとを表示装置に配信する配信部と
を備える情報処理装置。

【請求項2】

前記観客によって入力された文字情報を含み、前記動画データに付与された付与データを取得する付与データ取得部を備え、
前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記付与データに含まれる文字情報に応じた前記競技に固有の情報を表示するための得点表示データを生成する
ことを特徴とする請求項１記載の情報処理装置。

【請求項3】

前記撮像装置を利用する観客の属性データを取得する属性データ取得部を備え、
前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記属性データに応じた前記競技に固有の情報を表示するための得点表示データを生成する
ことを特徴とする請求項１又は２記載の情報処理装置。

【請求項4】

前記撮像装置による撮像がされた場所及び日時を示すデータを取得するデータ取得部を備え、
前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記データに応じた前記競技に固有の情報を表示するための得点表示データを生成する
ことを特徴とする請求項１又は２記載の情報処理装置。

【請求項5】

前記動画データのメタデータを取得するメタデータ取得部を備え、
前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記メタデータに応じた前記競技に固有の情報を表示するための得点表示データを生成する
ことを特徴とする請求項１又は２記載の情報処理装置。

【請求項6】

前記撮像装置に対して、前記得点状況を撮像することを前記観客に指示する情報を送信する送信部を備える
ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記判断部が前記動画データにおいて前記競技の得点状況を示す画像が含まれていないと判断した場合に、
前記送信部は、前記撮像装置に対して、前記得点状況を撮像することを前記観客に指示する情報を送信する
ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記観客によって入力された文字情報を含み、前記動画データに付与された付与データを解析して、前記得点状況に変動があるか否かを判定する判定部を備え、
前記送信部は、前記判定部が前記得点状況に変動があると判定した場合に、前記撮像装置に対して、前記得点状況を撮像することを前記観客に指示する情報を送信する
を備えることを特徴とする請求項６に記載の情報処理装置。

【請求項9】

前記判断部が、前記動画データにおいて前記競技の得点状況を示す画像が含まれていないと判断した場合に、
前記生成部は、前記動画データの再生時に表示される前記得点状況が正確でない可能性があることを意味する情報を含む得点表示データを生成する
ことを特徴とする請求項１～８のいずれか１項に記載の情報処理装置。

【請求項10】

前記判断部が、前記動画データにおいて前記競技の得点状況を示す画像が含まれていないと判断した場合に、
前記生成部は、前記動画データを解析して前記得点状況を推測し、推測した得点状況を表示するための得点表示データを生成する
ことを特徴とする請求項１～９のいずれか１項に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像編集の技術に関する。

【背景技術】

【0002】

サッカー等の得点を競う競技の中継においては、その得点の状況が表示されるようになっている。例えば特許文献１には、試合中のスコアボードを撮影して生成したスコアボード情報を、試合のリアルタイム映像を表示するテレビ画面に映すシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－２４５２８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されたシステムでは、スコアボードを撮影するための専用のカメラを用意しなければならない。そこで、本発明は、スコアボードを撮影するための専用のカメラを用いなくても、競技の得点状況を表示することが可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明は、得点を競う競技の観客が利用する１以上の撮像装置によって撮像された画像を示す動画データを取得する動画データ取得部と、取得された前記動画データにおいて前記競技の得点状況を示す画像が含まれているか否かを判断する判断部と、前記動画データに含まれている前記競技の得点状況を示す画像を解析して、前記動画データの再生時に当該得点状況を表示するための得点表示データを生成する生成部と、生成された得点表示データと前記動画データとを表示装置に配信する配信部とを備える情報処理装置を提供する。

【0006】

前記観客によって入力された文字情報を含み、前記動画データに付与された付与データを取得する付与データ取得部を備え、前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記付与データに含まれる文字情報に応じた前記競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0007】

前記撮像装置を利用する観客の属性データを取得する属性データ取得部を備え、前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記属性データに応
じた前記競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0008】

前記撮像装置による撮像がされた場所及び日時を示すデータを取得するデータ取得部を備え、前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記データに応じた前記競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0009】

前記動画データのメタデータを取得するメタデータ取得部を備え、前記生成部は、前記動画データの再生時に、前記得点状況とともに、取得された前記メタデータに応じた前記競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0010】

前記撮像装置に対して、前記得点状況を撮像することを前記観客に指示する情報を送信する送信部を備えるようにしてもよい。

【0011】

前記判断部が前記動画データにおいて前記競技の得点状況を示す画像が含まれていないと判断した場合に、前記送信部は、前記撮像装置に対して、前記得点状況を撮像することを前記観客に指示する情報を送信するようにしてもよい。

【0012】

前記観客によって入力された文字情報を含み、前記動画データに付与された付与データを解析して、前記得点状況に変動があるか否かを判定する判定部を備え、前記送信部は、前記判定部が前記得点状況に変動があると判定した場合に、前記撮像装置に対して、前記得点状況を撮像することを前記観客に指示する情報を送信するようにしてもよい。

【0013】

前記判断部が、前記動画データにおいて前記競技の得点状況を示す画像が含まれていないと判断した場合に、前記生成部は、前記動画データの再生時に表示される前記得点状況が正確でない可能性があることを意味する情報を含む得点表示データを生成するようにしてもよい。

【0014】

前記判断部が、前記動画データにおいて前記競技の得点状況を示す画像が含まれていないと判断した場合に、前記生成部は、前記動画データを解析して前記得点状況を推測し、推測した得点状況を表示するための得点表示データを生成するようにしてもよい。

【発明の効果】

【0015】

本発明によれば、スコアボードを撮影するための専用のカメラを用いなくても、競技の得点状況を表示することが可能となる。

【図面の簡単な説明】

【0016】

【図1】情報処理システム１の装置構成の一例を示す図である。

【図2】サーバ装置１０のハードウェア構成を示す図である。

【図3】ユーザ端末２０のハードウェア構成を示す図である。

【図4】情報処理システム１の機能構成の一例を示す図である。

【図5】サーバ装置１０の動作の一例を示すフローチャートである。

【図6】撮像装置としてのユーザ端末２０に表示される画像を例示する図である。

【図7】サーバ装置１０の動作の一例を示すフローチャートである。

【図8】動画データ及び付与データの関係を例示する模式図である。

【図9】付与データの構造を例示する模式図である。

【図10】表示装置としてのユーザ端末２０に表示される画像を例示する図である。

【発明を実施するための形態】

【0017】

［構成］
図１は、本発明の一実施形態に係る情報処理システム１の装置構成を例示するブロック図である。情報処理システム１は、例えばサッカーを行っている様子を動画で撮像してその撮像された動画を再生するためのシステムである。情報処理システム１において撮像対象は、サッカーに限らず、得点を競う競技であればどのようなものであってもよい。

【0018】

この情報処理システム１は、主に動画データの記憶、編集及び配信に関する処理を行うサーバ装置１０と、主に動画データの撮像又は表示に関する処理を行う複数のユーザ端末２０とを含む。これらサーバ装置１０及びユーザ端末２０は、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。

【0019】

サーバ装置１０は、本発明に係る情報処理装置の一例として機能するコンピュータ装置である。サーバ装置１０は、動画データの記憶、編集及び配信といった機能を有する。同図で示しているサーバ装置１０の数は例示であり、１以上であればよい。

【0020】

ユーザ端末２０は、例えばスマートホン、デジタルカメラ、タブレット、又はウェアラブルデバイス、パーソナルコンピュータ等のコンピュータ装置である。ユーザ端末２０は、動画の撮像機能又は動画の表示機能の少なくともいずれか一方を備えている。動画の撮像機能を備えるユーザ端末２０は、動画を撮像する撮像装置として機能する。動画の表示機能を備えるユーザ端末２０は、動画を表示する表示装置として機能する。動画の撮像機能及び動画の表示機能を備えるユーザ端末２０は、撮像装置及び表示装置として機能する。撮像装置としてのユーザ端末２０は、競技場にて動画の撮像を行う観客としてのユーザにより利用される。撮像装置としてのユーザ端末２０によって撮像された動画を示す動画データは、無線又は有線を用いた通信により、ネットワーク３０経由でサーバ装置１０に送信される。表示装置としてのユーザ端末２０は、競技場からは離れた場所に居て動画を閲覧するユーザにより利用される。表示装置としてのユーザ端末２０は、サーバ装置１０によって配信される動画データを、無線又は有線を用いた通信によりネットワーク３０経由で取得し、この動画データに基づいて動画を表示する。同図で示しているユーザ端末２０の数は例示であり、１以上であればよい。

【0021】

図２は、情報処理装置としてのサーバ装置１０のハードウェア構成を例示するブロック図である。サーバ装置１０のハードウェア構成の一例を示す図である。サーバ装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0022】

サーバ装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0023】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

【0024】

プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。サーバ装置１０の機能ブロックは、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ１００１によって実行されてもよいが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してサーバ装置１０に送信されてもよい。

【0025】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0026】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。

【0027】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。

【0028】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタンなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0029】

プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0030】

また、サーバ装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0031】

図３は、撮像装置及び表示装置として機能するユーザ端末２０のハードウェア構成を示す図である。ユーザ端末２０は、物理的には、プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、入力装置２００５、出力装置２００６、測位装置２０１１及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。ユーザ端末２０における各機能は、プロセッサ２００１、メモリ２００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ２００１が演算を行い、通信装置２００４による通信を制御したり、メモリ２００２及びストレージ２００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。また、プロセッサ２００１は、クロックに基づいて日時を計測する計時装置としても機能する。プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、入力装置２００５、出力装置２００６は、サーバ装置１０が備えるプロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６と同様の装置群であるが、以下の点が異なっている。

【0032】

通信装置２００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置１００４によって実現されてもよい。

【0033】

図３には、撮像装置及び表示装置として機能するユーザ端末２０のハードウェア構成を例示している。このため、入力装置２００５は、例えば、キーボード、マウス、スイッチ、ボタンなどのほか、撮像部としてのカメラ２００７、及び、収音部としてのマイク２００８を含んでいる。また、出力装置２００６は、表示部としてのディスプレイ２００９、及び、放音部としてのスピーカ２０１０を含んでおり、この他に例えばLEDランプなどを含んでよい。撮像装置としてのみ機能するユーザ端末２０においては、表示部としてのディスプレイ２００９、及び、放音部としてのスピーカ２０１０は必須ではない。表示装置としてのみ機能するユーザ端末２０においては、撮像部としてのカメラ２００７、及び、収音部としてのマイク２００８は必須ではない。なお、ユーザ端末２０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0034】

図４は、情報処理システム１の機能構成を例示するブロック図である。図４では、撮像装置及び表示装置として機能するユーザ端末２０を含むシステム全体の機能構成を例示している。ユーザ端末２０において、動画データ生成部２１は、カメラ２００７により撮像された画像と、マイク２００８によって収音された音声とからなる動画データを生成する。

【0035】

観客としてのユーザはユーザ端末２０による撮像を行いながら、又は撮像した画像をユーザ端末２０において再生しながら、「マーカ」と呼ばれる付与データを付与する操作を行うことができる。例えばサッカーでゴールが決まったなどのシーンに対しては、「ゴール！」などの文字情報を含むマーカを付与する例が考えられる。この操作に応じて、ユーザ端末２０のマーカ付与部２３は、ユーザにより入力された「ゴール！」という文字情報を含むマーカを、動画データにおいてユーザにより指定された位置に付与する。ここで、動画データにおいてユーザにより指定された位置とは、上記の例ではゴールが決まったシーンに対応する動画データの部分である。マーカは、ユーザにより入力された文字情報と、動画データにおいてそのマーカが付与された位置を示すデータ（例えば動画データの撮像開始時点からの経過時間を示すタイムスタンプ）とを含んでいる。このマーカは、この動画データをこのマーカが付与された位置から再生するために用いられる。

【0036】

ユーザ端末２０において、送信部２２は、各種のデータをネットワーク３０経由でサーバ装置１０に送信する。例えばユーザ端末２０において、送信部２２は、動画データ生成部２１により生成された動画データ及びマーカをネットワーク３０経由でサーバ装置１０に送信する。

【0037】

表示装置として機能するユーザ端末２０において、閲覧者としてのユーザは、撮像装置として機能するユーザ端末２０により撮像された動画を閲覧することができる。この場合、ユーザは、表示装置としてのユーザ端末２０において、動画データに付与されている複数のマーカのうちのいずれかを選択することで、自身が所望するシーンから動画を閲覧することができる。例えば、サッカーの動画において、「パス」「シュート」「ゴール」といった文字情報を含むマーカ群のうち、「ゴール」という文字情報を含むマーカを選択することで、そのマーカが付与されたゴールのシーンから動画を閲覧することができるようになっている。表示装置としてのユーザ端末２０において、マーカ選択部２４は、動画データに付与されている複数のマーカのうちいずれかがユーザにより選択されると、その選択されたマーカを特定する。表示装置としてのユーザ端末２０において、送信部２２は、マーカ選択部２４により特定されたマーカを識別するマーカ識別子をネットワーク３０経由でサーバ装置１０に送信する。

【0038】

ユーザ端末２０において、出力部２５は、動画データ等に応じた画像をディスプレイ２００９表示するとともに、動画データ等に応じた音声をスピーカ２０１０から放音する。

【0039】

サーバ装置１０において、取得部１１は、ユーザ端末２０から送信される各種のデータをネットワーク３０経由で取得する。例えば取得部１１は、撮像装置としての複数のユーザ端末２０の各々によって撮像された動画データとその動画データに対して付与されたマーカとをネットワーク３０経由で取得する動画データ取得部として機能する。また、取得部１１は、表示装置としての複数のユーザ端末２０の各々から、ユーザにより選択されたマーカのマーカ識別子をネットワーク３０経由で取得する付与データ取得部として機能する。

【0040】

サーバ装置１０において、選択マーカ特定部１２は、表示装置としての複数のユーザ端末２０の各々においてユーザにより選択されたマーカのマーカ識別子を特定する。

【0041】

サーバ装置１０において、判断部１３は、取得部１１（動画データ取得部）により取得された動画データにおいて競技の得点状況を示す画像が含まれているか否かを判断する。つまり、撮像装置としてのユーザ端末２０により撮像された動画データは観客により撮像されたものであるためこの動画データには、競技場に設置されているスコアボードや得点表などの、競技の得点状況を示す画像が含まれている場合がある。判断部１３は、例えばパターンマッチング等の画像認識技術を用いて、動画データにおいて競技の得点状況を示す画像が含まれているか否かを判断する。

【0042】

生成部１４は、動画データに含まれている競技の得点状況を示す画像を解析して、動画データの再生時に当該得点状況を表示するための得点表示データを生成する。具体的には、生成部１４は、競技の得点状況を示す画像において、数値や文字等に対する文字認識を行うことで、得点状況を特定し、その得点状況を表示するための得点表示データを生成する。このとき、生成部１４は、動画データの再生時に、得点状況とともに、その得点状況に基づいて競技に固有の情報を表示するための得点表示データを生成する。ここで、得点状況に基づく競技に固有の情報とは、例えばテニスであればセットポイントやマッチポイントであることのように、各競技において得点状況に関するユニークな情報である。

【0043】

配信部１５は、各種のデータ、例えば生成部１４により生成された得点表示データと取得部１１（動画データ取得部）により取得された動画データとを、ネットワーク３０経由で表示装置としてのユーザ端末２０に配信する。また、配信部１５は、動画データに対して付与された複数のマーカのうちいずれかがユーザにより選択された場合に、選択マーカ特定部１２により特定されたマーカが付与された位置から動画データを配信する。

【0044】

送信部１６は、撮像装置としてのユーザ端末２０に対して、得点状況を撮像することを観客としてのユーザに指示する指示情報を送信する。特に、送信部１６は、判断部１３が動画データにおいて競技の得点状況を示す画像が含まれていないと判断した場合に、この指示情報を送信する。

【0045】

[動作]
次に、本実施形態の動作を説明する。以下では、まず、動画の撮像について説明し、その後に、動画の表示について説明する。

【0046】

［動画の撮像］
撮像者たるユーザはユーザ端末２０を操作して、カメラ２００７及びマイク２００８による撮像処理を開始させる。これに応じて、ユーザ端末２０の動画データ生成部２１は動画データを生成する。ユーザは例えばユーザ端末２０による撮像を続けながらマーカを付与する操作を行う。この操作に応じて、ユーザ端末２０のマーカ付与部２３は、ユーザにより入力された文字情報を含むマーカを、動画データにおいてユーザにより指定された位置に付与する。ユーザ端末２０の送信部２２は、動画データ及びマーカを例えばＲＴＭＰ（Real-Time Messaging Protocol）やＨＴＴＰＳ（Hypertext Transfer Protocol Secure）等の任意のプロトコルに従い、ネットワーク３０経由でサーバ装置１０に送信する。サーバ装置１０の取得部１１は、ユーザ端末２０の送信部２２により送信されてくる動画データ及びマーカをネットワーク３０経由で取得して記憶する（ステップＳ１１）。

【0047】

ここで、図８は、動画データ及びマーカの関係を例示する模式図である。図示のように、動画データにおいて時間軸上の異なる位置に複数のマーカＭ１～Ｍ５が付与されている。そして、図９に例示するように、各マーカＭは、動画データにおいてマーカＭが付与された位置を示す位置データ（例えば撮像開始からの経過時間を示すタイムスタンプ）と、マーカを識別するマーカ識別子と、ユーザにより入力された文字情報と、そのほかの付属情報とを含んでいる。

【0048】

図５において、サーバ装置１０の判断部１３は、取得部１１（動画データ取得部）により取得された動画データに対して画像解析を行い（ステップＳ１２）、競技の得点状況を示す画像が含まれているか否かを判断する（ステップＳ１３）。

【0049】

競技の得点状況を示す画像が含まれていると判断された場合（ステップＳ１３；ＹＥＳ）、生成部１４は、動画データに含まれている競技の得点状況を示す画像を解析して、動画データの再生時に当該得点状況を表示するための得点表示データを生成する（ステップＳ１４）。このとき、生成部１４は、競技に固有の情報を表示するためのデータを生成する。

【0050】

一方、競技の得点状況を示す画像が含まれていないと判断された場合（ステップＳ１３；ＮＯ）、送信部１６は、撮像装置としてのユーザ端末２０に対して、得点状況を撮像することを観客としてのユーザに指示する指示情報を送信する。ここで、図６は、撮像装置としてのユーザ端末２０に表示される画像を例示する図である。図において、撮像画像表示領域１０５には、撮像した画像が表示される。また、指示情報表示領域１０６には、上述した指示情報である「スコアボードを撮像してください」というメッセージが表示される。以上のようにして生成された動画データ、マーカ、及び得点表示データ等がサーバ装置１０の配信部１５に記憶される。

【0051】

［動画の表示］
図７において、いずれかのユーザ端末２０から或る動画データを指定して再生開始が要求されると（ステップＳ２１；ＹＥＳ）、サーバ装置１０の配信部１５は、指定された動画データ等を読み出してそのユーザ端末２０に送信することで、その再生を開始させる（ステップＳ２２）。図１０は、ユーザ端末２０において動画データが再生されるときの表示例を示す図である。ユーザ端末２０のディスプレイ２００９において、動画表示領域１０２には、動画データに応じた動画が表示され、その動画に重畳するようにして、得点表示データに応じた得点状況の画像１０７や、競技に固有の情報を表示するためのデータに応じた画像１０８が表示される。このほか、動画データのメタデータから特定される情報群１０１や、この動画データに付与されたマーカに含まれる文字情報群１０３なども表示される。文字情報群１０３は、図中の左側にあるものほど動画データの時間軸上において先の位置に付与されたマーカに対応するものであり、図中の右側にあるものほど動画データの時間軸上において後ろの位置に付与されたマーカに対応するものである。ユーザは操作子画像１０４を指定することにより、各マーカに対応する文字情報群を時間軸上において、いわゆる巻き戻し又は早送りをさせて、任意の文字情報をタップすることでその文字情報（つまりマーカ）を選択することができる。

【0052】

ここで、ユーザによりいずれかの文字情報が選択されると（ステップＳ２３；ＹＥＳ）、選択された文字情報に対応するマーカのマーカ識別子がユーザ端末２０からサーバ装置１０に通知される。サーバ装置１０の選択マーカ特定部１２は、通知されたマーカ識別子により、選択されたマーカを特定する。これに応じて、配信部１５は、特定されたマーカが付与された位置から動画データをユーザ端末２０に送信することで、再生位置を変更して再生を行わせる（ステップＳ２４）。これにより、ユーザは、自身が選択したマーカに対応するシーンから動画を閲覧することができる。

【0053】

以上説明した実施形態によれば、不特定多数の観客が用いる撮像装置を用いているので、スコアボードを撮影するための専用のカメラを用いなくても、競技の得点状況を表示することが可能となる。

【0054】

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。

【0055】

［変形例１］
実施形態においては、ユーザ端末２０が撮像者たるユーザによるマーカ付与の操作を受け付けていたが、動画を撮像するための撮像装置とマーカを付与するためのマーカ付与装置とが別体の装置であってもよい。具体的には、撮像者たるユーザは撮像装置（例えばスマートホンやビデオカメラ）を操作して撮像を行う一方、マーカ付与装置（例えばスマートホンのリモコンや、スマートホンに接続されたスマートウォッチ等のウェアラブル端末）を操作してマーカを付与するようにしてもよい。

【0056】

［変形例２］
マーカに含まれる文字情報から、撮像対象となる競技を判別することができると考えられる。例えば「サッカー大好き」とか「〇〇フットボールチームがんばれ」というような文字情報に応じて、撮像されている競技がサッカーであると判別可能である。そこで、生成部１４は、動画データの再生時に、得点状況とともに、取得部１１（付与データ取得部）により取得されたマーカに含まれる文字情報に応じて、撮像されている競技を判別し、その競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0057】

［変形例３］
観客としてのユーザの属性から、撮像対象となる競技を判別することも可能であると考えられる。例えば趣味がサッカー観戦であるユーザが撮像している競技はサッカーであると推測できる。そこで、つまり、サーバ装置１０は、撮像装置を利用する観客の属性データを所定のユーザデータベース等から取得する属性データ取得部を備え、生成部１４は、動画データの再生時に、得点状況とともに、取得された属性データに応じた競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0058】

［変形例４］
撮像の場所及び時間から、撮像対象となる競技を判別することも可能であると考えられる。例えば撮像の場所及び時間が、競技場でサッカーの試合が開催される予定場所及び日時である場合、撮像されている競技はサッカーであると推測できる。そこで、サーバ装置１０は、撮像装置による撮像がされた場所及び日時を示すデータを取得するデータ取得部を備え、生成部１４は、動画データの再生時に、得点状況とともに、競技の開催スケジュールを格納したデータベースを参照して、取得されたデータに応じた競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0059】

［変形例５］
図１０に例示したように、動画データのメタデータから情報群１０１が特定される場合があるが、このような動画データのメタデータから、撮像対象となる競技を判別することも可能であると考えられる。例えばメタデータに「○○サッカー大会」というような情報が含まれている場合、撮像されている競技はサッカーであると推測できる。そこで、サーバ装置１０は、動画データのメタデータを取得するメタデータ取得部を備え、生成部１４は、動画データの再生時に、得点状況とともに、取得された前記メタデータに応じた競技に固有の情報を表示するための得点表示データを生成するようにしてもよい。

【0060】

［変形例６］
得点状況が変動した可能性があるときに、撮影者に撮像を指示するようにしてもよい。例えば「ゴール！」とか「勝ち越した」というような文字情報がマーカに含まれるときは、得点状況が変動した可能性が高い。そこで、サーバ装置１０は、例えば得点状況が変動した可能性が高いときにマーカに含まれ得る文字情報の候補を予め記憶しておく。そして、サーバ装置１０は、観客によって入力された文字情報を含み、動画データに付与されたマーカを上記記憶内容に基づいて解析して、得点状況に変動があるか否かを判定する判定部を備え、送信部１６は、判定部が得点状況に変動があると判定した場合に、撮像装置に対して、得点状況を撮像することを観客に指示する情報を送信するようにしてもよい。

【0061】

［変形例７］
得点状況が撮像されていないと判断された場合に、表示されている得点状況が正しくない可能性があることを表示するようにしてもよい。つまり、判断部１３が、動画データにおいて競技の得点状況を示す画像が含まれていないと判断した場合に、生成部１４は、動画データの再生時に表示される得点状況が正確でない可能性があることを意味する情報（例えば「最新の得点状況は表示されている内容とは違う可能性があります」等のメッセージ）を含む得点表示データを生成するようにしてもよい。

【0062】

［変形例８］
得点状況が撮像されていないと判断された場合に、最新の得点状況を推測するようにしてもよい。例えばサッカーにおいて動画データに含まれるボールとゴールに対してパターンマッチング等の画像解析を行って、ボールとゴールの位置関係から得点状況を推測することが可能である。判断部１３は、動画データにおいて競技の得点状況を示す画像が含まれていないと判断した場合に、生成部１４は、動画データを解析して得点状況を推測し、推測した得点状況を表示するための得点表示データを生成するようにしてもよい。

【0063】

［その他の変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えばサーバ装置１０の機能の少なくとも一部がユーザ端末２０に実装されてもよい。

【0064】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0065】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。

【0066】

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0067】

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining） した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、受信（receiving） （例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）等した事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

【0068】

本発明は、情報処理システム１やサーバ装置１０において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、サーバ装置１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする等の形態で提供されたりすることが可能である。

【0069】

ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）等の有線技術及び／又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0070】

本明細書で説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0071】

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セル等と呼ばれてもよい。

【0072】

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0073】

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

【0074】

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

【符号の説明】

【0075】

１・・・情報処理システム、１０・・・サーバ装置、１１・・・取得部、１２・・・選択マーカ特定部、１３・・・判断部、１４・・・生成部、１５・・・配信部、１６・・・送信部、２０・・・ユーザ端末、２１・・・動画データ生成部、２２・・・送信部、２３・・・マーカ付与部、２４・・・マーカ選択部、２５・・・出力部、３０・・・ネットワーク、１００１・・・プロセッサ、１００２：メモリ、１００３：ストレージ、１００４・・・通信装置、１００５・・・入力装置、１００６・・・出力装置、２００１・・・プロセッサ、２００２・・・メモリ、２００３・・・ストレージ、２００４・・・通信装置、２００５・・・入力装置、２００６：出力装置、２００７・・・カメラ、２００８・・・マイク、２００９・・・ディスプレイ、２０１０・・・スピーカ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】