特許 7154998 動画タグ付け装置および動画タグ付け方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-07

(45)【発行日】2022-10-18

(54)【発明の名称】動画タグ付け装置および動画タグ付け方法

(51)【国際特許分類】

   H04N 21/235 20110101AFI20221011BHJP

   H04N 5/77 20060101ALI20221011BHJP

   H04N 5/92 20060101ALI20221011BHJP

   H04N 5/232 20060101ALI20221011BHJP

   G06F 16/70 20190101ALI20221011BHJP

   G06F 16/78 20190101ALI20221011BHJP

【ＦＩ】

H04N21/235

H04N5/77

H04N5/92 010

H04N5/232 300

G06F16/70

G06F16/78

【請求項の数】 10

(21)【出願番号】P 2018244485

(22)【出願日】2018-12-27

(65)【公開番号】P2020107991

(43)【公開日】2020-07-09

【審査請求日】2021-09-30

(73)【特許権者】

【識別番号】518288420

【氏名又は名称】ＲＵＮ．ＥＤＧＥ株式会社

(74)【代理人】

【識別番号】110003063

【氏名又は名称】特許業務法人牛木国際特許事務所

(74)【代理人】

【識別番号】100080089

【弁理士】

【氏名又は名称】牛木 護

(74)【代理人】

【識別番号】100161665

【弁理士】

【氏名又は名称】高橋 知之

(74)【代理人】

【識別番号】100119312

【弁理士】

【氏名又は名称】清水 栄松

(74)【代理人】

【識別番号】100121153

【弁理士】

【氏名又は名称】守屋 嘉高

(74)【代理人】

【識別番号】100178445

【弁理士】

【氏名又は名称】田中 淳二

(74)【代理人】

【識別番号】100188994

【弁理士】

【氏名又は名称】加藤 裕介

(74)【代理人】

【識別番号】100194892

【弁理士】

【氏名又は名称】齋藤 麻美

(74)【代理人】

【識別番号】100207653

【弁理士】

【氏名又は名称】中村 聡

(72)【発明者】

【氏名】小口 淳

(72)【発明者】

【氏名】阪口 学

【審査官】松元 伸次

(56)【参考文献】

【文献】特開２０１７－００５５５９（ＪＰ，Ａ）

【文献】特開２０１６－２２０１５８（ＪＰ，Ａ）

【文献】特開２００８－０４８０９１（ＪＰ，Ａ）

【文献】特開２０１０－２８７９７４（ＪＰ，Ａ）

【文献】特開２０１７－０１１６６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ１６／００－１６／９５８

Ｈ０４Ｎ５／２２２－５／２５７

５／７６－５／７７５

５／８０－５／９５６

７／１０

７／１４－７／１７３

７／２０－７／５６

２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

第１端末装置で撮影された動画データを当該第１端末装置から取得するとともに、この動画データの撮影を開始した撮影開始時刻を取得すると、前記動画データおよび前記撮影開始時刻を記憶手段に記憶させる動画データ取得手段と、
第２端末装置でタグおよび／またはコメントを含むタグ情報が生成されると、このタグ情報を前記第２端末装置から取得するとともに、当該タグ情報が生成されたタグ情報生成時刻を取得するタグ情報取得手段と、
前記記憶手段に記憶された前記撮影開始時刻および前記動画データの撮影開始からの経過時間に基づき、前記タグ情報生成時刻に同期したタイミングで前記動画データに前記タグ情報を付与する画像処理手段と、を備え、
実際の撮影時刻データの時刻が動画時刻として各フレームに対応付けられて前記各フレームの識別情報として使用され、前記識別情報と、取得した前記タグ情報生成時刻とが一致するフレームに、前記タグ情報を付与する、動画タグ付け装置であって、
前記動画タグ付け装置の制御手段に組み込まれた計時手段がカウントする時刻データから、前記撮影開始時刻および前記タグ情報生成時刻を取得する動画タグ付け装置。

【請求項2】

前記タグ情報取得手段は、複数の前記第２端末装置からのタグ情報を取得可能な構成とした請求項１に記載の動画タグ付け装置。

【請求項3】

前記第２端末装置が前記タグ情報を生成するための画面を表示させているときには、前記第１端末装置から取得した前記動画データを当該第２端末装置に送信しない構成とした請求項１または２に記載の動画タグ付け装置。

【請求項4】

前記動画データに前記タグ情報を付与したタグ付き動画を配信する映像配信手段をさらに備え、
前記動画データ取得手段が取得した前記撮影開始時刻を、前記映像配信手段から配信する前記タグ付き動画データに含めない構成とした請求項１～３の何れか一つに記載の動画タグ付け装置。

【請求項5】

前記動画データに前記タグ情報を付与したタグ付き動画データを第３端末装置に配信しているときに、前記第３端末装置の表示画面上で前記タグ情報がタップ操作されると、そのタグ情報に対応する前記タグ情報生成時刻に同期したタイミングを含むタグ付き動画データを、当該第３端末装置に配信する映像配信手段をさらに備えた請求項１～３の何れか一つに記載の動画タグ付け装置。

【請求項6】

第１端末装置で撮影された動画データを当該第１端末装置から取得するとともに、この動画データの撮影を開始した撮影開始時刻を取得する第１ステップと、
前記動画データおよび前記撮影開始時刻を記憶手段に記憶する第２ステップと、
第２端末装置でタグおよび／またはコメントを含むタグ情報が生成されると、このタグ情報を前記第２端末装置から取得するとともに、当該タグ情報が生成されたタグ情報生成時刻を取得する第３ステップと、
前記記憶手段に記憶された前記撮影開始時刻および前記動画データの撮影開始からの経過時間に基づき、前記タグ情報生成時刻に同期したタイミングで前記動画データに前記タグ情報を付与する第４ステップと、を含み、
実際の撮影時刻データの時刻が動画時刻として各フレームに対応付けられて前記各フレームの識別情報として使用され、前記識別情報と、取得した前記タグ情報生成時刻とが一致するフレームに、前記タグ情報を付与する、動画タグ付け方法であって、
前記動画タグ付け方法を実行する動画タグ付け装置の制御手段に組み込まれた計時手段がカウントする時刻データから、前記撮影開始時刻および前記タグ情報生成時刻を取得する動画タグ付け方法。

【請求項7】

前記第３ステップでは、複数の前記第２端末装置からのタグ情報が取得可能である請求項６に記載の動画タグ付け方法。

【請求項8】

前記第３ステップで、前記第２端末装置が前記タグ情報を生成するための画面を表示させているときには、前記第１端末装置から取得した前記動画データを当該第２端末装置に送信しない請求項６または７に記載の動画タグ付け方法。

【請求項9】

前記動画データに前記タグ情報を付与したタグ付き動画データを配信する第５ステップをさらに有し、
前記第１ステップで取得した前記撮影開始時刻を、前記第５ステップで配信する前記タグ付き動画データに含めない請求項６～８の何れか一つに記載の動画タグ付け方法。

【請求項10】

前記動画データに前記タグ情報を付与したタグ付き動画データを第３端末装置に配信しているときに、前記第３端末装置の画面上で前記タグ情報がタップ操作されると、そのタグ情報に対応する前記タグ情報生成時刻に同期したタイミングを含むタグ付き動画データを、当該第３端末装置に配信する第６ステップをさらに有する請求項６～８の何れか一つに記載の動画タグ付け方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画の映像ではなく動画の撮影対象を見ながら入力されたタグおよび／またはコメントを動画に付与（タグ付け）する動画タグ付け装置および動画タグ付け方法に関する。

【背景技術】

【0002】

従来、例えばスポーツの試合や練習において、スマートフォンやタブレット、キャプチャデバイス等を用いて動画を撮影し、その映像を用いて選手への指導や分析が行われている。この際、撮影した動画データに、例えば得点シーン等の特定のシーンに対して、タグ付けが行われる場合がある。選手の指導を行うコーチ等は、タグが付いた映像から所望のシーンを検索して選手にフィードバックを行う。分析担当者は、タグが付いた映像から所望のシーンを検索して分析レポートを作成する。

【0003】

従来の動画にタグ付けする方法としては、動画データをパーソナルコンピュータ等に取込み、その動画を再生しながら、シーンごとにタグ付けが行われることが多い。このような方法の中で、例えば特許文献１では、イベントが発生する時刻データとそのイベントの種類を示す情報の対を含むメタデータを別途作成して、タグが付加されていない撮影済みの動画に当該メタデータを付与することで、動画タグ付けを行うことが提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－５０１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような従来の動画タグ付け方法では、動画の撮影後にしかタグ付けの作業が行えない上に、タグ付けを一人で行わなければならず、タグ付けに時間がかかるので、コーチや分析担当者等がタグ付き動画を見ることができるようになるまで時間がかかる問題があった。また、コーチや分析担当者等は、試合中や練習中に感じたことや気づいたことを撮影された動画のシーンと関連付けて選手にフィードバックしたり分析レポートを作成したりしなければならないが、他の人がタグ付けを行った場合には、そのシーンを見つけることにも時間がかかる。さらに、コーチや分析担当者等が、タグ付け後に動画を見ても、実際に見たシーンから感じたことや気づいたことを忘れてしまう虞もある。

【0006】

コーチや分析担当者等が実際に見たシーンから感じたことや気づいたことをリアルタイムで自ら動画にタグ付けすることができれば、上記の問題は解決する。しかしながら、動画を撮影するデバイスとタグ付けを行うデバイスとが異なる場合、通信網を介してサーバに動画データをアップロードすると、エンコード等の映像処理や通信時間により、サーバによる動画の再生（ライブ配信）は現実の時刻（絶対時間）より数十秒遅れる。そして、特許文献１に記載のタグが付加されていない撮影済みの動画がそうであるように、撮影される動画データは、絶対時間に関するデータを含まず、撮影開始時刻からの経過時間となる、フレーム数に対応付けられた相対時間に関するデータを含むのみである。したがって、動画の撮影時刻と、実際に見たシーンの絶対時間を有するタグの付与時刻とを合わせて（同期させて）タグ付けを行うことはできない。

【0007】

リアルタイムで動画データにタグ付けをしようとする場合、従来の方法とは異なり、タグ付けをしようとする時点で、特許文献１に記載されるような例えば特徴量シーケンス情報が付加されたメタデータは存在しない。したがって、リアルタイムで動画データにタグ付けをする場合、特許文献１のように、メタデータに付加されている特徴量シーケンス情報と未タグ付け動画の特徴量シーケンス情報とを照合して、イベントタイムタグの時刻が未タグ付け動画データのどの時刻に最もマッチするかを検出し、オフセット時間を自動で与える方法は採用することができない。

【0008】

本発明は、このような事情に鑑みてなされたものであり、動画の映像ではなく動画の撮影対象を見ながら入力されたタグおよび／またはコメントを時刻を合わせて動画に正しく時刻を合せて付与（タグ付け）することができる動画タグ付け装置および動画タグ付け方法を提供する。

【課題を解決するための手段】

【0009】

本発明はかかる課題を解決するため、第１端末装置で撮影された動画データを当該第１端末装置から取得するとともに、この動画データの撮影を開始した撮影開始時刻を取得すると、前記動画データおよび前記撮影開始時刻を記憶手段に記憶させる動画データ取得手段と、第２端末装置でタグおよび／またはコメントを含むタグ情報が生成されると、このタグ情報を前記第２端末装置から取得するとともに、当該タグ情報が生成されたタグ情報生成時刻を取得するタグ情報取得手段と、前記記憶手段に記憶された前記撮影開始時刻および前記動画データの撮影開始からの経過時間に基づき、前記タグ情報生成時刻に同期したタイミングで前記動画データに前記タグ情報を付与する画像処理手段と、を備える動画タグ付け装置を提供する。

【0010】

前記動画タグ付け装置では、前記タグ情報取得手段は、複数の前記第２端末装置からのタグ情報を取得可能な構成とする場合がある。

【0011】

前記動画タグ付け装置では、前記第２端末装置が前記タグ情報を生成するための画面を表示させているときには、前記第１端末装置から取得した前記動画データを当該第２端末装置に送信しない構成とする場合がある。

【0012】

前記動画タグ付け装置は、前記動画データに前記タグ情報を付与したタグ付き動画を配信する映像配信手段をさらに備え、前記動画データ取得手段が取得した前記撮影開始時刻を、前記映像配信手段から配信する前記タグ付き動画データに含めない構成とする場合がある。

【0013】

前記動画タグ付け装置は、前記動画データに前記タグ情報を付与したタグ付き動画データを第３端末装置に配信しているときに、前記第３端末装置の表示画面上で前記タグ情報がタップ操作されると、そのタグ情報に対応する前記タグ情報生成時刻に同期したタイミングを含むタグ付き動画データを、当該第３端末装置に配信する映像配信手段をさらに備える場合がある。

【0014】

また、本発明は、第１端末装置で撮影された動画データを当該第１端末装置から取得するとともに、この動画データの撮影を開始した撮影開始時刻を取得する第１ステップと、前記動画データおよび前記撮影開始時刻を記憶手段に記憶する第２ステップと、第２端末装置でタグおよび／またはコメントを含むタグ情報が生成されると、このタグ情報を前記第２端末装置から取得するとともに、当該タグ情報が生成されたタグ情報生成時刻を取得する第３ステップと、前記記憶手段に記憶された前記撮影開始時刻および前記動画データの撮影開始からの経過時間に基づき、前記タグ情報生成時刻に同期したタイミングで前記動画データに前記タグ情報を付与する第４ステップと、を含む動画タグ付け方法を提供する。

【0015】

前記動画タグ付け方法において、前記第３ステップでは、複数の前記第２端末装置からのタグ情報が取得可能である場合がある。

【0016】

前記動画タグ付け方法において、前記第３ステップで、前記第２端末装置が前記タグ情報を生成するための画面を表示させているときには、前記第１端末装置から取得した前記動画データを当該第２端末装置に送信しない場合がある。

【0017】

前記動画タグ付け方法において、前記動画データに前記タグ情報を付与したタグ付き動画データを配信する第５ステップをさらに有し、前記第１ステップで取得した前記撮影開始時刻を、前記第５ステップで配信する前記タグ付き動画データに含めない場合がある。

【0018】

前記動画タグ付け方法において、前記動画データに前記タグ情報を付与したタグ付き動画データを第３端末装置に配信しているときに、前記第３端末装置の画面上で前記タグ情報がタップ操作されると、そのタグ情報に対応する前記タグ情報生成時刻に同期したタイミングを含むタグ付き動画データを、当該第３端末装置に配信する第６ステップをさらに有する場合がある。

【発明の効果】

【0019】

本発明の動画タグ付け装置および動画タグ付け方法によれば、第１端末装置から動画データを取得するとともに、撮影開始時刻を取得して記憶手段に記憶させることで、この撮影開始時刻と動画データの撮影開始からの経過時間に基づき、現実の時刻に対する動画データの再生時刻のずれを補正して、タグ情報取得手段により取得したタグ情報生成時刻に正しく合せたタイミングで、動画データにタグ情報を付与することができる。そのため、作業者が動画の映像ではなく動画の撮影対象である現実のシーンを見ながら、第２端末装置で入力されたタグおよび／またはコメントを含むタグ情報を、リアルタイムで配信されるライブ映像の動画データに、正しく時刻を合せてタグ付することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の動画タグ付け装置を含む動画タグ付けシステムの概略構成の好適な一実施形態を示すブロック図である。

【図2】本発明の動画タグ付け装置を含む動画タグ付けシステムおよび動画タグ付け方法において、タグおよび／またはコメントを動画データにタグ付けする方法の好適な一実施形態を概略的に示す説明図である。

【図3】本発明の動画タグ付け装置を含む動画タグ付けシステムおよび動画タグ付け方法において、タグ付けされたタグ付き動画を再生する際の表示画面の好適な一実施形態を概略的に示す図である。

【図4】本発明の動画タグ付け装置を含む動画タグ付けシステムおよび動画タグ付け方法において、処理の流れの好適な一実施形態を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本発明の動画タグ付け装置および動画タグ付け方法の好ましい実施形態について説明する。

【0022】

図１は本実施形態の動画タグ付け装置４を含む動画タグ付けシステム１の全体構成を示すブロック図である。

【0023】

本実施形態の動画タグ付けシステム１を実現するための構成として、第１端末装置２、第２端末装置３、動画タグ付け装置４であるサーバおよび通信網５が含まれる。図中、第２端末装置３は１つであるが、複数の第２端末装置３を含むこともできる。また、第２端末装置３と同様の構成の第３端末装置30（図３を参照）を含むこともできる。

【0024】

第１端末装置２は、主要な構成要素として、制御手段21と、通信手段22と、表示手段23とを備える。制御手段21は、現実のシーンを撮影して動画データ421を作成する撮影手段211を含む。制御手段21は、通信手段22を制御することにより、通信網５を介してサーバ４や第２端末装置３、第３端末装置30、その他のデバイス（図示せず）との通信を可能にする。通信手段22は、本実施形態では主に、動画データ421をサーバ４にアップロードしたり、動画データ421の撮影開始時刻422をサーバ４の記憶手段42に記憶させるために、撮影開始時刻422のデータをサーバ４に送信したりする目的で使用される。制御手段21は、表示手段23を制御することにより、表示手段23の表示画面（図示せず）に、撮影中の動画等の映像を表示させる。第１端末装置２は、例えば、撮影機能を備えたカメラ付きスマートフォンやカメラ付きタブレット端末、キャプチャデバイス等の携帯型情報端末装置を使用することができる。

【0025】

動画データ421は、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影手段211により撮影され、時系列に連続する複数のフレーム71（図２を参照）で構成される。各フレーム71には、撮影開始からの経過時間で表されるフレーム時間が対応付けられている。

【0026】

第２端末装置３は、主要な構成要素として、制御手段31と、記憶手段32と、入力手段33と、通信手段34と、表示手段35とを備える。制御手段31は、具体的には後述する方法で、例えばタグおよび／またはコメントが付与された時刻を示すタグ情報生成時刻424のデータとともに、タグおよび／またはコメントを含むタグ情報423を生成するタグ情報生成手段311を含む。

【0027】

記憶手段32は、例えばインストールにより記憶されるプログラム321を含む。

【0028】

制御手段31は、記憶手段32からプログラム321を読み取り、プログラム321は、コンピュータである制御手段31にタグ情報生成手段311を実行させる。入力手段33は、第２端末装置３で、図２に示すタグボタン61，62，63，64が押されたことを制御手段31に伝達したり、コメントを入力して入力されたデータを制御手段31に伝達したりするためのものである。

【0029】

入力手段33は、例えばタッチパネル画面に表示された入力キーを含み、当該入力キーを使用して入力された文字等を受け付ける。入力手段33はさらに、例えばタッチパネル画面をタップする等の操作が行われると、制御手段31がプログラム321を読み取ることによりその操作に対応する機能を制御手段31に実行させる入力指示を行う。例えば、作業者が表示画面に表示されたボタンを押した場合、入力手段33により当該ボタンが押されたことが制御手段31に伝達され、制御手段31は、プログラム321の指令により当該ボタンが選択されたことをタグ情報生成手段311に認識させる。入力手段33は、モバイルコンピュータ等が備えるキーボードの入力キーを含んでもよい。また、入力手段33は、音声により入力し、文字データに変換して制御手段31に伝達するものであってもよい。

【0030】

制御手段31は、通信手段34を制御することにより、通信網５を介してサーバ４や第１端末装置２、第３端末装置30、その他のデバイス（図示せず）との通信を可能にする。

【0031】

制御手段31は、表示手段35を制御することにより、表示手段35の表示画面60（図２を参照）に、プログラム321で生成されたアプリ画面やソフトウェア画面等を表示させる。表示手段35と入力手段33は前述のタッチパネル画面を構成しており、表示手段35の表示画面上に透明電極による入力手段33が配設される。タッチパネル画面では、表示手段35に表示された入力キーやボタン等の上で入力手段33をタッチ操作すると、それに応じた操作信号が入力手段33から制御手段31に送出される構成となっている。

【0032】

第２端末装置３は、通信手段34を備え、プログラム321の実行によりアプリやソフトウェアを起動可能なデバイスであり、例えば、スマートフォンやタブレット端末、モバイルコンピュータ等の携帯型情報端末装置を使用することができる。例えば分析を行う場合等には、タグ付き動画データ426を再生して表示する第２端末装置３として、デスクトップ型のパーソナルコンピュータ等を使用することもできる。

【0033】

構成上可能であれば、撮影用端末デバイスである第１端末装置２に、タグ付け用端末デバイスである第２端末装置３の機能を持たせるために、第１端末装置２が入力手段33とタグ情報生成手段311とを有するようにしてもよいが、通常は、第１端末装置２と第２端末装置３とは異なるデバイスとすることが好ましい。

【0034】

本発明の動画タグ付け装置であるサーバ４は、本実施形態では、主要な構成要素として、制御手段41と、記憶手段42と、通信手段43とを備える。制御手段41は、動画データ取得手段411と、タグ情報取得手段412と、画像処理手段413と、映像配信手段414とを含む。制御手段41は、通信手段43を制御することにより、通信網５を介して第１端末装置２や第２端末装置３、第３端末装置30、その他のデバイス（図示せず）との通信を可能にする。通信手段43は、本実施形態では主に、第１端末装置２から送信された動画データ421を受信してサーバ４に動画をアップロードしたり、第２端末装置３や第３端末装置30等にタグ付き動画データ426を送信したりする目的で使用される。制御手段41の動画データ取得手段411は、第１端末装置２からアップロードされた動画データ421、および、第１端末装置２からの送信等により取得された動画の撮影開始時刻422のデータを記憶手段42に記憶させる。特に撮影開始時刻422に関しては、動画データ取得手段411は、動画データ421の撮影を開始した撮影開始時刻422を例えば第１端末装置２の制御手段21に組み込まれた計時手段（図示せず）がカウントする時刻データに基づき取得すると、取得した撮影開始時刻422を記憶手段42に記憶させる。制御手段41の画像処理手段413は、具体的には後述する方法で、記憶手段42から読み出した撮影開始時刻422および動画データの撮影開始からの経過時間に基づき、タグ情報生成時刻424に同期したタイミングで動画データ421にタグ情報423を付与するようなタグ付き動画データ426を作成し、記憶手段42に記憶させる。制御手段41の映像配信手段414は、通信手段43を制御して、画像処理手段413で生成されたタグ付き動画データ426を、例えば第２端末装置３や第３端末装置30等の映像配信用端末デバイスに向けて映像配信する。

【0035】

サーバ４の記憶手段42は、例えばインストールにより記憶されるプログラム427を含む。サーバ４のハードウェア構成は、いわゆる一般的なものであって、コンピュータである制御手段41が中央演算処理装置（ＣＰＵ）を備え、ＲＯＭ（Read Only Memory）やハードディスク等の記憶手段42に記憶されたプログラム427を実行する。プログラム427は、コンピュータである制御手段41に、動画データ取得手段411、タグ情報取得手段412、画像処理手段413および映像配信手段414を実行させる。

【0036】

通信網５はインターネット等の通信インフラである。

【0037】

サーバ４の映像配信手段414による映像配信、特にリアルタイムにタグ付き動画データ426を映像として配信するライブ配信について、図２を参照しながら説明する。

【0038】

最初に、第１端末装置２により、１８：５５の時刻に撮影が開始される。第１端末装置２の制御手段21は、通信手段22を制御して、通信網５を介してサーバ４に動画データ421をアップロードする。サーバ４の制御手段41は、通信手段43を制御して動画データ421を受信し、記憶手段42に記憶させる。この間に、動画データ421のエンコード等の映像処理が行われる時間と、通信時間とにより、動画撮影が開始されてから数十秒（通常１５～３０秒程度）が経過している。この遅れ時間は、第１端末装置２およびサーバ４のスペックや、通信網５の環境および状況等により異なるので、特定の遅れ時間を予測または推定し、その特定の遅れ時間を、時刻を同期するためのずれ時間として設定することはできない。

【0039】

本実施形態の動画タグ付け装置４を含む動画タグ付けシステム１および動画タグ付け方法では、第１端末装置２からサーバ４への動画データ421のアップロード開始時に、第１端末装置２の制御手段21に組み込まれた計時手段（図示せず）がカウントする時刻データを、第１端末装置２による動画データ421の撮影を開始した撮影開始時刻422として、その動画データ421と一緒にアップロードする。サーバ４の制御手段41が有する動画データ取得手段411は、この撮影開始時刻422の時刻データを記憶手段42に記憶させる。画像処理手段413は、記憶手段42に記憶された動画データ421の開始時刻を、記憶手段42に記憶された撮影開始時刻422とする。映像配信手段414による配信開始はＴ_０時点であるが、このＴ_０時点に、実際に撮影が開始された時刻である１８：５５が設定される。ＴＬとした線は配信されるライブ映像の時間経過を示すタイムラインであり、タイムラインＴＬの括弧内に記載された時刻が、動画データ421にひも付けられた絶対時間である。これらの括弧内に記載された時刻は、括弧内に記載された時刻の映像が実際に配信される時刻よりも、例えば１５～３０秒程度遅れた時刻になる。

【0040】

撮影開始時刻422の取得方法は、動画データ421の撮影を開始した絶対時間を取得できるものであれば、特に限定されない。例えば、サーバ４の制御手段41に組み込まれた計時手段（図示せず）がカウントする時刻データから撮影開始時刻422を取得してもよい。この場合、制御手段41の動画データ取得手段411は、例えば撮影が開始されたことを第１端末装置２から別途受信し、その時点のサーバ４の計時手段による時刻データを、第１端末装置２による動画データ421の撮影を開始した撮影開始時刻422として、記憶手段42に記憶させる。また、その他の計時手段（図示せず）がカウントする時刻データから撮影開始時刻422を取得してもよい。

【0041】

第１端末装置２により撮影される動画データ421は、上述の絶対時間（タイムラインＴＬの括弧内に記載された時刻）に関するデータを含まず、撮影開始時刻422からの経過時間となる相対時間に関するデータを含むのみである。すなわち、上述のように、動画データ421の各フレーム71には、撮影開始からの経過時間で表されるフレーム時間が対応付けられている。したがって、サーバ４の記憶手段42に記憶された撮影開始時刻422に当該フレーム時間を加算することで、各フレーム71が撮影された実際の時刻（絶対時間）を算出することができる。図２の例で説明すると、配信開始時点であるＴ_０の時刻が撮影開始時刻422の１８：５５であるのに対し、試合開始時点であるＴ_１までの経過時間であるフレーム時間が例えば５分である場合に、１８：５５に同じ時間である５分を加算して、試合開始時刻が１９：００であると算出することができる。このようにして、絶対時間を持たない動画データ421に、実際に撮影された時刻をひも付けることができる。

【0042】

サーバ４の画像処理手段413は、記憶手段42に記憶された動画データ421に、このようにして算出された動画時刻、すなわち実際の撮影時刻（絶対時間）データを付与し、記憶手段42に記憶させるようにしてもよい。例えば、付与された実際の撮影時刻（絶対時間）データは、その時刻が動画時刻として各フレーム71に対応付けられ、各フレーム71の識別情報425として使用されることができる。

【0043】

尚、図２中、図示したフレーム71の大きさは模式的に表したものであり、フレーム71の位置と時刻を示す位置との関係は、実際のものとは異なる。

【0044】

図２中、ＴＲとした線は現実の時間、例えば現実の試合の時間経過を示すタイムラインである。ここでは、試合開始時刻を１９：００としている。タイムラインＴＲ上に次に記載されている時刻１９：１５に、動画データ421を撮影している第１端末装置２とは異なるデバイスである第２端末装置３を有する作業者Ａが、第２端末装置３の表示手段35に表示されたアプリまたはソフトウェアの表示画面60上で入力手段33を操作して、タグおよび／またはコメントのタグ付けを行っている。このとき、作業者Ａは、リアルタイムで配信されている動画データ421のライブ映像を見ながら第２端末装置３の入力手段33への操作を行うのではなく、実際に行われている現実の試合のシーンを見ながら第２端末装置３の入力手段33への操作を行う。したがって、コーチや分析担当者等が第２端末装置３を利用して、実際に見たシーンから感じたことや気づいたことをリアルタイムで自らタグ付けすることができる。

【0045】

タイムラインＴＲ上の時刻２０：１０には、作業者Ａと異なる作業者Ｂが、作業者Ａと同様に、第２端末装置３’の入力手段33への操作を行って、タグおよび／またはコメントのタグ付けを行っている。同様に、時刻２０：２０には、作業者Ｃが、第２端末装置３’’の入力手段33への操作を行って、タグおよび／またはコメントのタグ付けを行っている。例えば、作業者Ａはコーチ、作業者Ｂはディフェンス分析担当者、作業者Ｃはオフェンス分析担当者である。各担当により着目すべき点が異なるが、複数の作業者Ａ，ＢおよびＣがそれぞれ自ら同時に第２端末装置３，３’，３’’を利用して、タグおよび／またはコメントのタグ付けを行うことができる。さらに、自らタグ付けを行うので、通信網５を介して映像配信手段414から第２端末装置３に配信されるタグ付き動画データ426を表示手段35に表示させて、そこから所望のシーンを検索する際に、容易に検索することができる。

【0046】

このように、サーバ４の制御手段41に組み込まれたタグ情報取得手段412は、通信網５を介して、複数の第２端末装置３，３’，３’’からのタグ情報をそれぞれ取得できる構成となっている。また、各作業者Ａ，Ｂ，Ｃが現実の試合のシーンからではなく、自身が保有する第２端末装置３，３’，３’’でライブ映像を見ながら、誤ったタイミングでタグ付けが行われるのを防ぐために、少なくとも第２端末装置３，３’，３’’側で図２に示すようなタグ情報を生成するタグ付け用の表示画面60，60’，60’’を表示手段35に表示させている間は、第１端末装置２から取得した動画データ421を、これらの第２端末装置３，３’，３’’に通信網５を介して配信しないように、サーバ４側の映像配信手段414を構成している。

【0047】

作業者Ａ，ＢおよびＣがそれぞれの保有する第２端末装置３，３’，３’’を操作してタグおよび／またはコメントのタグ付けを行う際の、本実施形態の動画タグ付け装置４を含む動画タグ付けシステム１の動作について具体的に説明する。

【0048】

第２端末装置３，３’，３’’の表示画面60，60’，60’’には、制御手段31が、記憶手段32に記憶されたプログラム321を読み出して、アプリまたはソフトウェアを起動し、タグを付与する際に入力手段33から押すことのできる「tag1」ボタン61，61’，61’’、「tag2」ボタン62，62’，62’’、「tag3」ボタン63，63’，63’’および「tag4」ボタン64，64’，64’’を含むタグボタンと、コメントを付与する際にコメントを入力することのできる「Comment」欄65，65’，65’’と、タグおよび／またはコメントの付与を決定する際に押すことのできる「登録」ボタン66，66’，66’’とを表示手段35に表示させている。

【0049】

第２端末装置３において、入力手段33により例えば「tag1」ボタン61が押されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により「tag1」ボタン61が選択されたことをタグ情報生成手段311に認識させる。「tag1」ボタン61が選択された状態で入力手段33により「登録」ボタン66が押されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により、「tag1」を動画データ421にタグ付けする指示をタグ情報生成手段311に認識させる。制御手段31は、通信手段34を制御して、「tag1」を動画データ421にタグ付けする指示を、通信網５を介してサーバ４に送信する。その際、制御手段31は、「登録」ボタン66が押されたことが伝達されたタグ情報生成時刻424を指示に付加して送信する。タグ情報生成時刻424は第２端末装置３の制御手段31に組み込まれた計時手段（図示せず）がカウントする時刻データである絶対時間の時刻とすることができる。サーバ４のタグ情報取得手段412は、タグ情報生成時刻424を含むタグ情報423を、または、タグ情報生成時刻424とともに送信されるタグ情報423をタグ情報生成時刻424とともに、第２端末装置３から取得する。

【0050】

タグ情報423を２つ以上同時に動画データ421にタグ付けする場合、例えば「tag1」および「tag2」を、第１端末装置２から送られてくる動画データ421に同時に動画にタグ付けする場合は、「tag1」ボタン61が選択されたことがタグ情報生成手段311に認識された後、入力手段33により「tag2」ボタン62が押されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により「tag2」ボタン62が選択されたことをタグ情報生成手段321に認識させる。「tag1」ボタン61および「tag2」ボタン62の両方が選択された状態で入力手段33により「登録」ボタン66が押されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により、「tag1」および「tag2」を動画データ421にタグ付けする指示をタグ情報生成手段311に認識させる。制御手段31は、通信手段34を制御して、「tag1」および「tag2」を動画データ421にタグ付けする指示を、通信網５を介してサーバ４に送信する。その際、制御手段31は、「登録」ボタン66が押されたことが伝達されたタグ情報生成時刻424を指示に付加して送信する。タグ情報生成時刻424は第２端末装置３の制御手段31に組み込まれた計時手段（図示せず）がカウントする時刻データである絶対時間の時刻とすることができる。サーバ４のタグ情報取得手段412は、タグ情報生成時刻424を含むタグ情報423を、または、タグ情報生成時刻424とともに送信されるタグ情報423をタグ情報生成時刻424とともに、第２端末装置３から取得する。

【0051】

動画データ421にタグ付けする指示を送信するための入力を簡便にする目的で、「登録」ボタン66を押すことなく、「tag1」ボタン61等のタグボタンを押すと同時に動画データ421にタグ付けする指示が送信されるようにしてもよい。すなわち、入力手段33により例えば「tag1」ボタン61が押されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により「tag1」を動画データ421にタグ付けする指示をタグ情報生成手段311に認識させる。制御手段31は、通信手段34を制御して、「tag1」を動画データ421にタグ付けする指示を、通信網５を介してサーバ４に送信する。その際、制御手段31は、「tag1」ボタン61が押されたことが伝達されたタグ情報生成時刻424を指示に付加して送信する。タグ情報生成時刻424は第２端末装置３の制御手段31に組み込まれた計時手段（図示せず）がカウントする時刻データである絶対時間の時刻とすることができる。サーバ４のタグ情報取得手段412は、タグ情報生成時刻424を含むタグ情報423を、または、タグ情報生成時刻424とともに送信されるタグ情報423をタグ情報生成時刻424とともに、第２端末装置３から取得する。

【0052】

第２端末装置３において、入力手段33により例えば「Comment」欄65にテキストが入力されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により「Comment」欄65に文字が入力されたことをタグ情報生成手段311に認識させる。「Comment」欄65に文字が入力された状態で入力手段33により「登録」ボタン66が押されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により、「Comment」欄65に入力されたコメントを動画データ421にタグ付けする指示をタグ情報生成手段311に認識させる。制御手段31は、通信手段34を制御して、「Comment」欄65に入力されたコメントを動画データ421にタグ付けする指示を、通信網５を介してサーバ４に送信する。その際、制御手段31は、「登録」ボタン66が押されたことが伝達されたタグ情報生成時刻424を指示に付加して送信する。タグ情報生成時刻424は第２端末装置３の制御手段31に組み込まれた計時手段（図示せず）がカウントする時刻データである絶対時間の時刻とすることができる。サーバ４のタグ情報取得手段412は、タグ情報生成時刻424を含むタグ情報423を、または、タグ情報生成時刻424とともに送信されるタグ情報423をタグ情報生成時刻424とともに、第２端末装置３から取得する。

【0053】

タグ情報生成時刻424の取得方法は、タグ情報423が登録された絶対時間を取得できるものであれば、特に限定されない。例えば、サーバ４の制御手段41に組み込まれた計時手段（図示せず）がカウントする時刻データからタグ情報生成時刻424を取得してもよい。この場合、制御手段41のタグ情報取得手段412は、例えばタグ情報423を第２端末装置３から受信した時点のサーバ４の計時手段による時刻データを、第２端末装置３によりタグ情報423が登録されたタグ情報生成時刻424として、記憶手段42に記憶させる。また、その他の計時手段（図示せず）がカウントする時刻データからタグ情報生成時刻424を取得してもよい。

【0054】

制御手段41のタグ情報取得手段412が、通信手段43を制御して、「tag1」等のタグおよび／またはコメントを動画データ421にタグ付けする指示、および、タグ情報生成時刻424を受信した後、画像処理手段413は、記憶手段42に記憶された動画データ421に対して、動画時刻としてフレーム71に付与された実際の撮影時刻（絶対時間）データである識別情報425と、受信したタグ情報生成時刻424とが一致するフレーム71に、「tag1」等のタグおよび／またはコメントを含むタグ情報423を付与する。映像配信手段414は、通信手段43を制御して、「tag1」等のタグおよび／またはコメントが、動画時刻とタグ情報生成時刻424とが適切に同期したタイミングで付与されたタグ付き動画データ426を、通信網５を介して、第２端末装置３や第３端末装置30（図３を参照）等に向けて配信可能にする。このようにして、記憶手段42に記憶された動画の撮影開始時刻422に基づき算出した動画時刻を含む識別情報425に、タグおよび／またはコメントを含むタグ情報423のタグ情報生成時刻424を同期したタイミングで、記憶手段42に記憶される動画データ421に、タグおよび／またはコメントを含んだタグ情報423を付与することができる。動画データ421にタグ情報423を付与したタグ付き動画データ426を配信する映像配信手段414は、動画データ取得手段411が例えば第１端末装置２から取得した撮影開始時刻422を、映像配信手段414から配信するタグ付き動画データ426に含めないようにしてもよい。

【0055】

第２端末装置３，３’，３’’が複数である場合、「tag1」～「tag4」の内容は、第２端末装置３，３’，３’’ごとに異なる内容とすることもできる。例えば、上記のように、作業者Ａがコーチ、作業者Ｂがディフェンス分析担当者、作業者Ｃがオフェンス分析担当者である場合、各担当が必要とし、使用頻度の高い内容をそれぞれのタグに設定することができる。図２および図３ではタグが「tag1」～「tag4」の４つである場合を示しているが、タグの数は特に限定されない。

【0056】

サーバ４の映像配信手段414は、タグ情報423を付与したタグ付き動画データ426を第２端末装置３や第３端末装置30に配信しているときに、第２端末装置３や第３端末装置30の表示画面81上でタグ情報423がタップ操作されると、そのタグ情報423に対応するタグ情報生成時刻424に同期したタイミングを含むタグ付き動画データ426を、第２端末装置３や第３端末装置30に配信して、表示画面81に再生させることができる。以下、タグ付き動画データ426の配信および再生について説明する。

【0057】

図３は、タグ付けされたタグ付き動画データ426を再生する際の表示画面81の好適な一実施形態を概略的に示す図である。タグ付けされたタグ付き動画データ426を再生する映像配信用端末デバイスは、例えば第２端末装置３や第３端末装置30であり、またはアプリやソフトウェアをインストールして実行することができる装置である。表示画面81の例えば上方には、撮影の対象である例えば試合の映像を表示する画面82が設けられる。映像の再生に対しては、表示画面81に表示された操作ボタン群83により、再生や一時停止、早送り、早戻し、次のシーンの再生、前のシーンの再生、再生速度変更等の操作が可能である。

【0058】

表示画面81の例えば下方には、タイムラインＴＬを縦軸として、タグ84および／またはコメント85が、付与された時刻の順に表示されている。表示領域86は、作業者Ａが時刻１９：１５に「tag1」ボタン61および「tag2」ボタン62を登録し、同時に「Comment」65を登録したことを示す。タグ情報423を含む当該表示領域86をタップ操作すると、動画の時刻１９：１５からの映像が再生される。利便性の向上を目的として、タグ付けされた時刻１９：１５の例えば所定の時間前（例えば５秒前）または所定のフレーム数前から再生するようにしてもよい。表示領域87は、作業者Ｂが時刻２０：１０に「tag1」ボタン61’、「tag3」ボタン63’および「tag2」ボタン62’を登録し、同時に「Comment」65’を登録したことを示す。表示領域88は作業者Ｃが時刻２０：２０に「tag4」ボタン64’’を登録し、同時に「Comment」65’’を登録したことを示す。タグ情報423を含む表示領域87および表示領域88をタップ操作した場合も、表示領域86をタップ操作した場合と同様にして対応する時刻の映像が再生される。

【0059】

タグ付けされたタグ付き動画データ426を再生する際の表示装置として第２端末装置３を使用した場合の動作を説明する。第３端末装置30は、第２端末装置３と同様の構成を有し、タグ付けされたタグ付き動画を再生する際の表示装置として第３端末装置30を使用した場合も、第２端末装置３を使用した場合と同様に動作する。第２端末装置３において、入力手段33により例えば表示領域86がタップ操作されたことが制御手段31に伝達されると、制御手段31は、プログラム321の指令により、通信手段34を制御して、表示領域86に対応する時刻のタグ付き動画データ426を再生する指示を、通信網５を介してサーバ４に送信する。サーバ４の制御手段41は、通信手段43を制御して、タグが付与された時刻からタグ付き動画データ426を再生する指示を受信する。映像配信手段414は、記憶手段42に記憶されたタグ付き動画データ426から指示された再生時刻のデータを取得する。サーバ４の制御手段41は、通信手段43を制御して、指示された再生時刻から再生されるタグ付き動画データ426を、通信網５を介して、第２端末装置３に向けて配信する。第２端末装置３の制御手段31は、通信手段34を制御して、配信されたタグ付き動画データ426を受信する。制御手段31は、プログラム321の指令により、表示手段35を制御して、指示した再生時刻から再生されるタグ付き動画データ426を表示画面60に表示させる。

【0060】

タグ付けされた所望の時刻からタグ付き動画データ426を再生する際の再生時間は、特に限定されないが、例えば一定の時間に制限することもできる。例えば、再生時間を所定の時間（例えば５秒）に設定してもよいし、再生したタグの次のタグまでの映像を再生するようにしてもよい。また、それぞれのタグの内容に対応するシーンに適切な長さの再生時間となるように、タグの内容（例えば「tag1」～「tag4」）ごとに、異なる再生時間を設定してもよい。再生時間は、例えばサーバ４の映像配信手段414が設定するように構成することができる。

【0061】

タグ84および／またはコメント85を表示する順序は、図３のように試合時間順であってもよいし、付与されたタグ84の内容によってソートしたり、付与した作業者によってソートして並び替えた順であってもよい。

【0062】

第２端末装置３の記憶手段32に記憶されたプログラム321により実現される、タグ付き動画データ426を再生するアプリまたはソフトウェアは、動画データ421にタグ付けを行うアプリまたはソフトウェアと同一のアプリまたはソフトウェアであってもよいし、独立した別のアプリまたはソフトウェアであってもよい。

【0063】

本実施形態のサーバ４が実行する動画タグ付け方法の流れについて、図４の本発明の動画タグ付け方法の好適な一実施形態を示すフローチャートを用いて説明する。

【0064】

最初のステップＳ１では、サーバ４の制御手段41が通信手段43を制御して、第１端末装置２との間で通信を確立させ、次のステップＳ２において、第１端末装置２で実際の試合のシーンを撮影して作成された動画データ421を当該第１端末装置２から取得するとともに、この動画データ421の撮影開始時刻422の時刻データを取得する。制御手段41はステップＳ３において、取得した動画データ421と撮影開始時刻422の時刻データを、それぞれ記憶手段42に記憶保存させる。

【0065】

それとは別に、制御手段41はステップＳ１１で通信手段43を制御して、複数の第２端末装置３，３’，３’’との間で通信を確立させ、次のステップＳ１２において、第２端末装置３，３’，３’’の何れかから、前述したタグ情報423のデータと、第２端末装置３，３’，３’’からタグ情報生成時刻424を取得する場合にはタグ情報生成時刻424のデータとが送信されたか否かを判断する。タグ情報423と、必要に応じてタグ情報生成時刻424の時刻データとが送信されると、制御手段41はステップＳ１３に移行してこれを取得し、次のステップＳ１４で取得したタグ情報423とタグ情報生成時刻424の時刻データを、それぞれ記憶手段42に記憶保存させる。ステップＳ１１～Ｓ１４の一連の手順は、第１端末装置２から送られてくる動画データ421の配信が終了するまで繰り返され、全ての第２端末装３，３’，３’’から取得した様々なタグ情報423とタグ情報生成時刻424のデータとが、記憶手段42に蓄積されていく。

【0066】

前述のステップＳ３で動画データ421と撮影開始時刻422の時刻データが記憶手段42に記憶され、またステップＳ１４でタグ情報423とタグ情報生成時刻424のデータが記憶手段42に記憶されると、制御手段41は第１端末装置２からアップロードで動画データを取得している最中であっても、映像配信手段414によるタグ付き動画データ426の配信を可能にする。

【0067】

具体的にはステップＳ２１において、制御手段41に組み込まれた画像処理手段413が、記憶手段42から読み出した撮影開始時刻422の時刻データと、動画データ421の撮影開始からの経過時間に基づき、タグ情報生成時刻424に同期したタイミングで、そのタグ情報生成時刻424とひも付けられたタグ情報423を、動画データ421の特定のフレーム71に付与したタグ付き動画データ426を生成し、これを次のステップＳ２２で記憶手段42に記憶保存させる。その後、ステップＳ３１において、制御手段41に組み込まれた映像配信手段414は通信手段43を制御して、タグ付き動画データ426の配信リクエストを受けた例えば第３端末装置30との間で通信を確立させ、次のステップＳ３２において、その第３記憶手段42から読み出したタグ付き動画データ426を、通信網５を介して端末装置30に配信する。

【0068】

こうして第３端末装置30にタグ付き動画データ426が配信されている最中に、映像配信手段414はステップＳ３３において、第３端末装置30の表示画面81上でタグ情報423がタップ操作されたか否かを、当該第３端末装置30から送信される再生指示の有無に基づいて判断する。ここで第３端末装置30の表示画面81上で、特定のタグ情報423についてタップ操作があり、第３端末装置30から再生の指示が送信されると、次に映像配信手段414はステップＳ３４において、そのタグ情報423に対応するタグ情報生成時刻424に基づき、例えば当該タグ情報423が付与された時刻からのタグ付き動画データ426を第３端末装置30に配信し、表示手段35に再生表示させる。

【0069】

上述したサーバ４の一連の手順では、ステップＳ１３で第２端末装置３がタグ情報423を生成するための画面を表示させているときに、第１端末装置２から取得した動画データ421を第２端末装置３に送信しないように、制御手段41が通信手段43を制御する。これにより第２端末装置３の表示手段35には、第１端末装置２から取得した動画データ421が表示されない。また、ステップＳ３２で第３端末装置30に配信されるタグ付き動画データ426には、ステップＳ２で取得した撮影開始時刻422の時刻データを含めないようにする。

【0070】

本実施形態の動画タグ付け装置４を含む動画タグ付けシステム１および動画タグ付け方法を応用することができる実施例について説明する。下記実施例において、第１端末装置２、第２端末装置３、第３端末装置30およびサーバ４の各構成要素の具体的な動作は、上記の実施形態で述べた通りである。

【実施例1】

【0071】

＜サッカー＞
サッカーの試合は、例えば前半４５分と、後半４５分とで行われ、試合時間が非常に長い。さらに、試合中、タグおよび／またはコメントを付与したいイベントも非常に多い。したがって、録画した動画を再生しながら一人でタグ付けを行う従来の方法では、監督やコーチ、分析担当者がタグ付けされた動画データを見られるようになるのは、通常、試合の翌日であった。

【0072】

本実施例では、撮影者が第１端末装置２を用いて例えば試合の動画を撮影するとともに、撮影した動画データ421がサーバ４に送信される。動画データ421を送信する際、例えば、撮影が開始され送信が始まると同時に、撮影を開始した撮影開始時刻422が第１端末装置２からサーバ４に送信される。尚、撮影開始時刻422の取得方法はこれに限定されない。一方、第２端末装置３を用いてタグおよび／またはコメントを入力するコーチや分析担当者等の作業者が、行われている試合の実際のシーンを見ながらタグおよび／またはコメントを入力する。入力されたタグおよび／またはコメントは、実施形態で説明した動画タグ付け装置４を含む動画タグ付けシステム１および動画タグ付け方法により、試合を撮影しているライブ映像に対して、リアルタイムで随時タグ付けされる。したがって、リアルタイムでタグ付き動画データ426が作成されるので、監督やコーチ、分析担当者は、試合中や、ハーフタイムの最中に、タグ付けされたタグ付き動画データ426から、所望のタグのシーンの映像を再生しながら、選手にフィードバックすることができる。また、コーチや分析担当者等が実際に見たシーンから感じたことや気づいたことが、タグおよび／またはコメントとしてタグ付き動画データ426に付与されているので、選手に対して的確なフィードバックを行ったり、的確な分析を行ったりすることができる。

【0073】

例えばサッカーチームでは、ディフェンスやオフェンス、ゴールキーパー等の各ポジションを担当する複数のコーチが存在する場合がある。またフィジカル担当のコーチやトレーナーが存在する場合もある。分析担当者も、ディフェンス担当とオフェンス担当に分かれていることが多い。本実施例では、そのような複数のコーチやトレーナー、分析担当者が、それぞれタグおよび／またはコメントを含んだタグ情報423を動画データ421に付与することができるので、各担当に特化してより専門的な指導や分析を行うことができる。

【0074】

本実施例において、本実施形態の「tag1」～「tag4」の内容に対応する例としては、「ゴール」や、「シュート」、「パス」、「クリア」、「セービング」、「タックル」、「フィジカル」等のイベントの内容や、「ＧＯＯＤ」や「ＢＡＤ」といった評価を表す内容等が挙げられる。例えば、選手がシュートを放ち、そのシュートの評価が良いものであったと判断される場合には、コーチ等の作業者が、第２端末装置２の表示画面60で、「シュート」ボタンおよび「ＧＯＯＤ」ボタンを続けて入力することにより、ライブ映像に対し、コーチ等の作業者が実際のシーンを見てタグを入力した時刻に対応して、「シュート」および「ＧＯＯＤ」のタグ情報423がタグ付けされる。タグ付き動画データ426を再生する表示画面81では、コーチ等の作業者が実際のシーンを見てタグを入力した時刻に対応して「シュート」および「ＧＯＯＤ」のタグ情報423が表示され、その表示領域がタップ操作されると、タグ情報423にひも付けられたタグ情報生成時刻424に基づき、タグ情報423が入力された時刻からタグ付き動画データ426が再生される。尚、イベントの内容のタグのみ、または、評価を表す内容のタグのみを入力することもできる。

【実施例2】

【0075】

＜野球＞
野球の試合では、従来、早い場合であっても、例えば１イニングが終了した時点で、人手によって区切られた１イニング分の撮影した動画データを再生しながら、その動画データにタグ付けを行っていた。また、実施例１のサッカーの場合と同様に、試合時間は非常に長く、さらに、試合中、タグおよび／またはコメントを付与したいイベントも非常に多い。したがって、録画した動画データを再生しながら一人でタグ付けを行う従来の方法では、、監督やコーチ、分析担当者がタグ付けされた動画データを見られるようになるまで時間がかかっていた。

【0076】

本実施例では、撮影者が第１端末装置２を用いて例えば試合のシーンを撮影するとともに、撮影した動画データ421がサーバ４に送信される。動画データ421を送信する際、例えば、撮影が開始され送信が始まると同時に、撮影を開始した撮影開始時刻422が第１端末装置２からサーバ４に送信される。尚、撮影開始時刻422の取得方法はこれに限定されない。一方、第２端末装置３を用いてタグおよび／またはコメントを入力するコーチや分析担当者等の作業者が、行われている試合の実際のシーンを見ながらタグおよび／またはコメントを入力する。入力されたタグおよび／またはコメントは、実施形態で説明した動画タグ付け装置４を含む動画タグ付けシステム１および動画タグ付け方法により、試合を撮影しているライブ映像に対して、リアルタイムで随時タグ付けされる。したがって、リアルタイムでタグ付き動画データ426が作成されるので、監督やコーチ、分析担当者は、試合途中や撮影しているイニングの途中であっても、タグ付けされたタグ付き動画から、所望のタグのシーンの映像を再生しながら、選手にフィードバックすることができる。また、コーチや分析担当者等が実際に見たシーンから感じたことや気づいたことが、タグおよび／またはコメントとしてタグ付き動画データ426に付与されているので、選手に対して的確なフィードバックを行ったり、的確な分析を行ったりすることができる。

【0077】

例えば野球チームでは、打撃コーチや、投手コーチ、内野守備コーチ、外野守備コーチ、走塁コーチ、バッテリーコーチ、トレーニングコーチ等、複数のコーチが存在する場合がある。分析担当者も、打撃や投手、守備等の各担当に分かれていることが多い。本実施例では、そのような複数のコーチや分析担当者が、それぞれタグおよび／またはコメントを含んだタグ情報423を、動画データ421に付与することができるので、各担当に特化してより専門的な指導や分析を行うことができる。

【0078】

本実施例において、本実施形態の「tag1」～「tag4」の内容に対応する例としては、「ヒット」や、「ホームラン」等の打撃に関するイベントの内容や、「ストレート」、「カーブ」、「インハイ」、「アウトロー」等の投球に関するイベントの内容、および、「ストライク」や「ボール」、「ＧＯＯＤ」、「ＢＡＤ」といった評価を表す内容等が挙げられる。例えば、投手が投球し、その投球の球種が「ストレート」で、コースが「インハイ」であり、結果が「ストライク」であった場合には、コーチ等の作業者が、第２端末装置３の表示画面60で、「ストレート」ボタン、「インハイ」ボタンおよび「ストライク」ボタンを続けて入力することにより、ライブ映像に対し、コーチ等の作業者が実際のシーンを見てタグを入力した時刻に対応して、「ストレート」、「インハイ」および「ストライク」のタグがタグ付けされる。タグ付き動画データ426を再生する表示画面81では、コーチ等の作業者が実際のシーンを見てタグを入力した時刻に対応して「ストレート」、「インハイ」および「ストライク」のタグが表示され、その表示領域がタップ操作されると、タグ情報423にひも付けられたタグ情報生成時刻424に基づき、タグ情報423が入力された時刻からタグ付き動画データ426が再生される。尚、イベントの内容のタグのみ、または、評価を表す内容のタグのみを入力することもできる。

【0079】

実施例１および実施例２では、作業者の所属するチームだけではなく、相手方のチームに関するイベントに対しても、タグおよび／またはコメントを付与してもよい。

【実施例3】

【0080】

＜陸上（ハードル競技）＞
本実施形態の動画タグ付け装置４を含む動画タグ付けシステム１および動画タグ付け方法は、実施例１および２のような団体球技の他、陸上、例えばハードル競技といった個人競技の練習や分析にも応用可能である。

【0081】

本実施例では、撮影者が第１端末装置２を用いて例えば選手がハードルを飛んでいるシーンを撮影するとともに、撮影した動画データ421がサーバ４に送信される。動画データ421を送信する際、例えば、撮影が開始され送信が始まると同時に、撮影を開始した撮影開始時刻422が第１端末装置２からサーバ４に送信される。尚、撮影開始時刻422の取得方法はこれに限定されない。一方、第２端末装置３を用いてタグおよび／またはコメントを入力するコーチ等の作業者が、ハードルを飛んでいる実際のシーンを見ながらタグおよび／またはコメントを入力する。入力されたタグおよび／またはコメントは、実施形態で説明した動画タグ付け装置４を含む動画タグ付けシステム１および動画タグ付け方法により、ハードルを飛んでいるシーンを撮影しているライブ映像に対して、リアルタイムで随時タグ付けされる。したがって、リアルタイムでタグ付き動画データ426が作成されるので、コーチは、選手が走り終えた直後に、タグ付けされたタグ付き動画データ426から、所望のタグのシーンの映像を再生しながら、選手にフィードバックすることができる。

【0082】

本実施例において、本実施形態の「tag1」～「tag4」の内容に対応する例としては、「ハードル」や、「インターバル」、「スタート」等のイベントの内容や、「ＧＯＯＤ」や「ＢＡＤ」といった評価を表す内容等が挙げられる。例えば「インターバル」とは、２つのハードル間の走行を意味する。例えば、選手がハードルを飛ぶときにハードルを倒してしまった場合には、コーチ等の作業者が、第２端末装置３の表示画面60で、「ハードル」ボタンおよび「ＢＡＤ」ボタンを続けて入力することにより、ライブ映像に対し、コーチ等の作業者が実際のシーンを見てタグを入力した時刻に対応して、「ハードル」および「ＢＡＤ」のタグがタグ付けされる。タグ付き動画データ426を再生する表示画面81では、コーチ等の作業者が実際のシーンを見てタグを入力した時刻に対応して「ハードル」および「ＢＡＤ」のタグが表示され、その表示領域がタップ操作されると、タグが入力された時刻からタグ付き動画データ426が再生される。コーチは、選手が走り終えた直後に、ハードルを倒してしまったシーンに対応するタグ付き動画データ426を再生し、フォームの改善点等を選手にフィードバックすることができる。尚、イベントの内容のタグのみ、または、評価を表す内容のタグのみを入力することもできる。

【0083】

以上のように、本実施形態の動画タグ付け装置４は、第１端末装置２で撮影された動画データ421を第１端末装置２から取得するとともに、この動画データ421の撮影を開始した撮影開始時刻422を取得すると、動画データ421および撮影開始時刻422を記憶手段42に記憶させる動画データ取得手段411と、第２端末装置３でタグおよび／またはコメントを含むタグ情報423が生成されると、このタグ情報423を第２端末装置３から取得するとともに、当該タグ情報423が生成されたタグ情報生成時刻424を取得するタグ情報取得手段412と、記憶手段42に記憶された撮影開始時刻422および動画データ421の撮影開始からの経過時間に基づき、タグ情報生成時刻424に同期したタイミングで動画データ421にタグ情報423を付与する画像処理手段413と、を備える。

【0084】

本実施形態の動画タグ付け方法は、第１端末装置２で撮影された動画データ421を第１端末装置２から取得するとともに、この動画データ421の撮影を開始した撮影開始時刻422を取得する第１ステップと、動画データ421および撮影開始時刻422を記憶手段42に記憶する第２ステップと、第２端末装置３でタグおよび／またはコメントを含むタグ情報423が生成されると、このタグ情報423を第２端末装置３から取得するとともに、当該タグ情報423が生成されたタグ情報生成時刻424を取得する第３ステップと、記憶手段42に記憶された撮影開始時刻422および動画データ421の撮影開始からの経過時間に基づき、タグ情報生成時刻424に同期したタイミングで動画データ421にタグ情報423を付与する第４ステップと、を含む。

【0085】

これらの場合、第１端末装置２から動画データ421を取得するとともに、絶対時間である撮影開始時刻422を取得して記憶手段42に記憶させることで、この撮影開始時刻422と動画データ421の撮影開始からの経過時間に基づき、現実の時刻に対する動画データ421の再生時刻のずれを補正して、タグ情報取得手段412により取得したタグ情報生成時刻424に正しく合せたタイミングで、動画データ421にタグ情報423を付与し、タグ付き動画データ426を作成することができる。そのため、作業者が動画の映像ではなく動画の撮影対象である現実のシーンを見ながら、第２端末装置３で入力されたタグおよび／またはコメントを含むタグ情報423を、リアルタイムで配信されるライブ映像（実際には上記のように数十秒遅れて配信される）の動画データ421に、正しく時刻を合せてタグ付けすることができる。

【0086】

本実施形態の動画タグ付け装置４では、タグ情報取得手段412は、複数の第２端末装置３，３’，３’’からのタグ情報423を取得可能な構成とすることができる。

【0087】

本実施形態の動画タグ付け方法では、第３ステップにおいて、複数の第２端末装置３，３’，３’’からのタグ情報423が取得可能とすることができる。

【0088】

これらの場合、複数の作業者が現実のシーンを見ながら、それぞれの第２端末装置３で生成したタグ情報423を、リアルタイムで配信されるライブ映像の動画データ421に、正しく時刻を合せてタグ付けして簡単に共有することが可能になる。

【0089】

本実施形態の動画タグ付け装置４では、第２端末装置３がタグ情報423を生成するための画面を表示させているときには、第１端末装置２から取得した動画データ421を当該第２端末装置３に送信しない構成とすることができる。

【0090】

本実施形態の動画タグ付け方法では、第３ステップにおいて、第２端末装置３がタグ情報423を生成するための画面を表示させているときには、第１端末装置２から取得した動画データ421を当該第２端末装置３に送信しないようにすることができる。

【0091】

これらの場合、少なくとも作業者が第２端末装置３を利用してタグ情報423を生成する場合に、その第２端末装置３に対して動画データ421を送信しないようにすれば、現実のシーンではなく第２端末装置３でライブ映像を見ながら誤ったタイミングで動画データ421にタグ付けが行われるのを防ぐことができる。

【0092】

本実施形態の動画タグ付け装置４は、動画データ421にタグ情報423を付与したタグ付き動画データ426を配信する映像配信手段414をさらに備え、動画データ取得手段411が取得した撮影開始時刻422を、映像配信手段414から配信するタグ付き動画データ426に含めない構成とすることができる。

【0093】

本実施形態の動画タグ付け方法は、動画データ421にタグ情報423を付与したタグ付き動画データ426を配信する第５ステップをさらに有し、第１ステップで取得した撮影開始時刻422を、第５ステップで配信するタグ付き動画データ426に含めないようにすることができる。

【0094】

これらの場合、余計な撮影開始時刻422の情報をタグ付き動画データ426に埋め込むことなく、映像配信手段414からタグ付き動画データ426をそのまま配信することができる。

【0095】

本実施形態の動画タグ付け装置４では、動画データ421にタグ情報423を付与したタグ付き動画データ426を第３端末装置30に配信しているときに、第３端末装置30の表示画面81上でタグ情報423がタップ操作されると、そのタグ情報423に対応するタグ情報生成時刻424に同期したタイミングを含むタグ付き動画データ426を、当該第３端末装置30に配信する映像配信手段414をさらに備えることができる。

【0096】

本実施形態の動画タグ付け方法は、動画データ421にタグ情報423を付与したタグ付き動画データ426を第３端末装置30に配信しているときに、第３端末装置30の表示画面81上でタグ情報423がタップ操作されると、そのタグ情報423に対応するタグ情報生成時刻424に同期したタイミングを含むタグ付き動画データ426を、当該第３端末装置30に配信する第６ステップをさらに有することができる。

【0097】

これらの場合、第３端末装置30でタグ付き動画データ426を視聴しているときに、表示画面81上でタグ情報423をタップ操作すると、そのタグ情報423に関連するタグ付き動画データ426が映像配信手段414から第３端末装置30に配信され、第３端末装置30で映像が再生される。したがって、試合中やハーフタイム、イニングの途中等であってもシーン映像を検索して、簡単なタップ操作で見たい場面を振り返ることができる。

【0098】

以上、本発明を実施形態に基づいて説明したが、本発明は種々の変形実施をすることができる。例えば、上記の実施例で述べた例はあくまでも一例であり、本発明はその他種々の用途に活用可能である。

【0099】

例えば、本発明の動画タグ付け装置を含む動画タグ付けシステムおよび動画タグ付け方法は、上記で述べたサッカー、野球および陸上（ハードル競技）の他、ラグビーやアメリカンフットボール、バスケットボール、バレーボール等の球技はもちろん、フィギュアスケートやダンス、体操等の練習や分析にも応用可能である。その他、スポーツに限られず、演劇や演奏、講演、弁論大会、その他の種々の発表会等にも応用可能である。

【0100】

本発明の動画タグ付け装置を含む動画タグ付けシステムおよび動画タグ付け方法は、スマートフォンやタブレット端末等の携帯型情報端末装置を使用して実現することができるので導入が容易であり、かつ、使用方法も簡便であるので、プロのみならずアマチュアの作業者も積極的に利用することができる。例えば、親が子供の試合や実演を撮影録画して練習に活用することがよく行われているが、撮影しながらリアルタイムで動画にタグ付けすることができれば、録画後に再生や巻き戻し等を繰り返しながら所望のシーンを探すといった親の負担が減るとともに、子供の実力向上に大いに役立つことができる。尚、本発明の動画タグ付け装置を含む動画タグ付けシステムおよび動画タグ付け方法は、試合や実演の本番に利用することもできるし、本番に向けた練習に利用することもできる。

【符号の説明】

【0101】

１ 動画タグ付けシステム
２ 第１端末装置
３ 第２端末装置
311 タグ情報生成手段
30 第３端末装置
４ 動画タグ付け装置（サーバ）
41 制御手段
411 動画データ取得手段
412 タグ情報取得手段
413 画像処理手段
414 映像配信手段
42 記憶手段
421 動画データ
422 撮影開始時刻
423 タグ情報
424 タグ情報生成時刻
425 識別情報
426 タグ付き動画データ
427 プログラム
43 通信手段
５ 通信網
71 フレーム
84 タグ
85 コメント

【図1】

【図2】

【図3】

【図4】