(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-25
(45)【発行日】2024-05-08
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
H04N 21/8549 20110101AFI20240426BHJP
H04L 67/00 20220101ALI20240426BHJP
【FI】
H04N21/8549
H04L67/00
(21)【出願番号】P 2020075686
(22)【出願日】2020-04-21
【審査請求日】2023-02-21
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110000752
【氏名又は名称】弁理士法人朝日特許事務所
(72)【発明者】
【氏名】横田 暁人
(72)【発明者】
【氏名】滝澤 暢
(72)【発明者】
【氏名】川上 太郎
(72)【発明者】
【氏名】本間 大輔
(72)【発明者】
【氏名】木下 枝美
(72)【発明者】
【氏名】門田 俊紀
(72)【発明者】
【氏名】奥原 史佳
(72)【発明者】
【氏名】森 美帆
【審査官】鍬 利孝
(56)【参考文献】
【文献】国際公開第2013/161319(WO,A1)
【文献】国際公開第2019/187493(WO,A1)
【文献】特開2011-041164(JP,A)
【文献】特開2019-047432(JP,A)
【文献】特開2008-130215(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/8549
H04L 67/00
(57)【特許請求の範囲】
【請求項1】
複数の撮像装置によってそれぞれ撮像された画像を示す動画データと、当該動画データの一部に対して付与された
文字情報を含む付与データとを取得する取得部と、
前記付与データに含まれる文字情報に基づいて、当該付与データが前記動画データにおいて付与された位置に対応する部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成する生成部と
、
前記動画データに対して付与された複数の付与データのうちいずれかがユーザにより選択されると、選択された前記付与データが付与された位置に対応する前記部分動画データから再生を開始させる再生部とを備え、
前記生成部は、前記動画データにおける複数の付与データの位置が或る時間の範囲に収まる場合において、当該複数の付与データの各々が選択された回数の合計値が決められた条件を満たすときに、当該複数の付与データのうち最先の位置に付与された付与データの位置に応じた部分動画データを含むダイジェスト動画データを生成する
ことを特徴とする記載の情報処理装置。
【請求項2】
前記生成部は、前記動画データにおける複数の付与データの位置が或る時間の範囲に収まる場合において、当該複数の付与データの各々が選択された回数の差が閾値未満であり、且つ、当該複数の付与データの各々が選択された回数の合計値が決められた条件を満たすときに、当該複数の付与データのうち最先の位置に付与された付与データの位置に応じた部分動画データを含むダイジェスト動画データを生成する
ことを特徴とする請求項
1記載の情報処理装置。
【請求項3】
前記生成部は、前記動画データにおける複数の付与データの位置が或る時間の範囲に収まる場合において、当該複数の付与データの各々が選択された回数の差が閾値以上であるときは、当該複数の付与データの各々が選択された回数のうち最多の回数となる付与データの位置に応じた部分動画データを含むダイジェスト動画データを生成する
ことを特徴とする請求項
1記載の情報処理装置。
る情報処理装置。
【請求項4】
前記生成部は、前記付与データに含まれる文字情報の共通性に関する条件に基づいて、前記ダイジェスト動画データを生成する
ことを特徴とする請求項1記載の情報処理装置。
【請求項5】
前記生成部は、前記付与データに含まれる文字情報の順序に関する条件に基づいて前記ダイジェスト動画データを生成する
ことを特徴とする請求項1記載の情報処理装置。
【請求項6】
前記生成部は、撮像位置及び撮像日時が共通の範囲に属する動画データの部分動画データを含むダイジェスト動画データを生成する
ことを特徴とする請求項1~
5のいずれか1項に記載の情報処理装置。
【請求項7】
前記生成部は、撮像された画像の属性が共通の範囲に属する動画データの部分動画データを含むダイジェスト動画データを生成する
ことを特徴とする請求項1~
6のいずれか1項に記載の情報処理装置。
【請求項8】
前記動画データに対して付与された複数の付与データのうちいずれかがユーザにより選択されると、選択された前記付与データが付与された位置に対応する前記部分動画データから再生を開始させる再生部を備え、
前記生成部は、前記付与データが選択されることで再生された回数に応じて前記部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成する
ことを特徴とする請求項1~
7のいずれか1項に記載の情報処理装置。
【請求項9】
前記生成部は、複数の撮像装置によってそれぞれ撮像された画像を示す動画データの撮像日時が重複している場合において、各々の前記動画データから抽出された各々の前記部分動画データの表示を切り替え可能なマルチアングル動画データを生成する
ことを特徴とする請求項1~
8のいずれか1項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画データを編集するための技術に関する。
【背景技術】
【0002】
例えばサッカー等の競技や旅行等のレクリエーションの様子を撮像してその動画データをクラウドに保管し、その一部の動画データを抜き出して編集することで、いわゆるダイジェスト動画を作成する仕組みが知られている。例えば特許文献1には、競技中の各選手の移動情報を検出する動き検出手段と、スポーツ動画からボールの位置及び動きベクトルを検出するボール検出手段と、各選手の移動情報の大きさ及び各選手の位置、さらにはボール位置及びその動きベクトルに基づき、新たな撮像装置ワークの動画のフレーム位置を設定する撮像装置ワーク設定手段と、設定されたフレーム位置に基づき、スポーツ動画から新たな撮像装置ワークの動画を切り出す動画生成手段と、切り出した動画を出力する動画出力手段とを含むシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば多数の子どもたちが参加している運動会の様子をその親たちがそれぞれ撮像した複数の動画データがある場合に、それぞれの親には、自分の子供の画像が含まれている動画データのみを抜き出してダイジェスト動画を作成したいというニーズがあると考えられる。また、或るスポーツの試合を撮像した動画データが複数ある場合に、選手の或るプレー(例えばサッカーにおけるシュート)が含まれている動画データのみを抜き出してダイジェスト動画を作成したいというニーズもあると考えられる。
【0005】
そこで、本発明は、複数の動画データのうち或る条件を満たす部分の動画データを抽出してダイジェスト動画を生成することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明は、複数の撮像装置によってそれぞれ撮像された画像を示す動画データと、当該動画データの一部に対して付与された文字情報を含む付与データとを取得する取得部と、前記付与データに含まれる文字情報に基づいて、当該付与データが前記動画データにおいて付与された位置に対応する部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成する生成部と、前記動画データに対して付与された複数の付与データのうちいずれかがユーザにより選択されると、選択された前記付与データが付与された位置に対応する前記部分動画データから再生を開始させる再生部とを備え、前記生成部は、前記動画データにおける複数の付与データの位置が或る時間の範囲に収まる場合において、当該複数の付与データの各々が選択された回数の合計値が決められた条件を満たすときに、当該複数の付与データのうち最先の位置に付与された付与データの位置に応じた部分動画データを含むダイジェスト動画データを生成することを特徴とする記載の情報処理装置を提供する。
【0007】
前記生成部は、前記付与データに含まれる文字情報の共通性に関する条件に基づいて、前記ダイジェスト動画データを生成するようにしてもよい。
【0008】
前記生成部は、前記付与データに含まれる文字情報の順序に関する条件に基づいて前記ダイジェスト動画データを生成するようにしてもよい。
【0009】
前記生成部は、撮像位置及び撮像日時が共通の範囲に属する動画データの部分動画データを含むダイジェスト動画データを生成するようにしてもよい。
【0010】
前記生成部は、撮像された画像の属性が共通の範囲に属する動画データの部分動画データを含むダイジェスト動画データを生成するようにしてもよい。
【0011】
前記動画データに対して付与された複数の付与データのうちいずれかがユーザにより選択されると、選択された前記付与データが付与された位置に対応する前記部分動画データから再生を開始させる再生部を備え、前記生成部は、前記付与データが選択されることで再生された回数に応じて前記部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成するようにしてもよい。
【0012】
前記生成部は、複数の撮像装置によってそれぞれ撮像された画像を示す動画データの撮像日時が重複している場合において、各々の前記動画データから抽出された各々の前記部分動画データの表示を切り替え可能なマルチアングル動画データを生成するようにしてもよい。
【0014】
前記生成部は、前記動画データにおける複数の付与データの位置が或る時間の範囲に収まる場合において、当該複数の付与データの各々が選択された回数の差が閾値未満であり、且つ、当該複数の付与データの各々が選択された回数の合計値が決められた条件を満たすときに、当該複数の付与データのうち最先の位置に付与された付与データの位置に応じた部分動画データを含むダイジェスト動画データを生成するようにしてもよい。
【0015】
前記生成部は、前記動画データにおける複数の付与データの位置が或る時間の範囲に収まる場合において、当該複数の付与データの各々が選択された回数の差が閾値以上であるときは、当該複数の付与データの各々が選択された回数のうち最多の回数となる付与データの位置に応じた部分動画データを含むダイジェスト動画データを生成するようにしてもよい。
【発明の効果】
【0016】
本発明によれば、複数の動画データのうち或る条件を満たす部分の動画データを抽出してダイジェスト動画を生成することが可能となる。
【図面の簡単な説明】
【0017】
【
図1】情報処理システム1の装置構成の一例を示す図である。
【
図2】サーバ装置10のハードウェア構成を示す図である。
【
図3】ユーザ端末20のハードウェア構成を示す図である。
【
図4】情報処理システム1の機能構成の一例を示す図である。
【
図5】サーバ装置10の動作の一例を示すフローチャートである。
【
図6】動画データ及び付与データの関係を例示する模式図である。
【
図8】ユーザ端末20に表示される画像を例示する図である。
【
図9】マーカの選択回数を記録したテーブルを例示する図である。
【
図10】サーバ装置10の動作の一例を示すフローチャートである。
【
図11】ダイジェスト動画データ及び付与データの関係を例示する模式図である。
【
図12】ユーザ端末20に表示される画像を例示する図である。
【
図13】マルチアングル動画データ及び付与データの関係を例示する模式図である。
【発明を実施するための形態】
【0018】
[構成]
図1は、本発明の一実施形態に係る情報処理システム1の装置構成を例示するブロック図である。情報処理システム1は、例えばサッカーを行っている様子を動画で撮像してその撮像された動画を再生するとともに、その動画データのうち或る条件を満たす部分のみを抽出して時系列に再生するための動画(ダイジェスト動画という)を示すダイジェスト動画データを生成して再生するためのシステムである。情報処理システム1において撮像対象は、サッカー等のスポーツ乃至競技に限らず、どのようなものであってもよい。
【0019】
この情報処理システム1は、主に動画データの編集に関する処理を行うサーバ装置10と、主に動画データの撮像又は表示に関する処理を行う複数のユーザ端末20とを含む。これらサーバ装置10及びユーザ端末20は、ネットワーク30を介して通信可能に接続される。ネットワーク30は、例えばLAN(Local Area Network)又はWAN(Wide Area Network)、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。
【0020】
サーバ装置10は、本発明に係る情報処理装置の一例として機能するコンピュータ装置である。サーバ装置10は、動画データの記憶、編集及び配信といった機能を有する。同図で示しているサーバ装置10の数は例示であり、1以上であればよい。
【0021】
ユーザ端末20は、例えばスマートホン、デジタルカメラ、タブレット、又はウェアラブルデバイス、パーソナルコンピュータ等のコンピュータ装置である。ユーザ端末20は、動画の撮像機能又は動画の表示機能の少なくともいずれか一方を備えている。動画の撮像機能を備えるユーザ端末20は、動画を撮像する撮像装置として機能する。動画の表示機能を備えるユーザ端末20は、動画を表示する表示装置として機能する。動画の撮像機能及び動画の表示機能を備えるユーザ端末20は、撮像装置及び表示装置として機能する。撮像装置としてのユーザ端末20は、動画の撮像を行うユーザにより利用される。撮像装置としてのユーザ端末20によって撮像された動画を示す動画データは、無線又は有線を用いた通信により、ネットワーク30経由でサーバ装置10に送信される。表示装置としてのユーザ端末20は、動画を閲覧するユーザにより利用される。表示装置としてのユーザ端末20は、サーバ装置10によって配信される動画データを、無線又は有線を用いた通信によりネットワーク30経由で取得し、この動画データに基づいて動画を表示する。同図で示しているユーザ端末20の数は例示であり、1以上であればよい。
【0022】
図2は、情報処理装置としてのサーバ装置10のハードウェア構成を例示するブロック図である。サーバ装置10のハードウェア構成の一例を示す図である。サーバ装置10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ装置10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0023】
サーバ装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0024】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。
【0025】
プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。サーバ装置10の機能ブロックは、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。各種の処理は、1つのプロセッサ1001によって実行されてもよいが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してサーバ装置10に送信されてもよい。
【0026】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本実施形態に係る方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0027】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。
【0028】
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。
【0029】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタンなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
【0030】
プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0031】
また、サーバ装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
【0032】
図3は、撮像装置及び表示装置として機能するユーザ端末20のハードウェア構成を示す図である。ユーザ端末20は、物理的には、プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006、測位装置2011及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。ユーザ端末20における各機能は、プロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ2001が演算を行い、通信装置2004による通信を制御したり、メモリ2002及びストレージ2003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。また、プロセッサ2001は、クロックに基づいて日時を計測する計時装置としても機能する。プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006は、サーバ装置10が備えるプロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006と同様の装置群であるが、以下の点が異なっている。
【0033】
通信装置2004は、例えば周波数分割複信(FDD:Frequency Division Duplex)及び時分割複信(TDD:Time Division Duplex)の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置1004によって実現されてもよい。
【0034】
測位装置2011は、例えばGPS(Global Positioning System)ユニットであり、ユーザ端末20の位置を測位する。
【0035】
図3には、撮像装置及び表示装置として機能するユーザ端末20のハードウェア構成を例示している。このため、入力装置2005は、例えば、キーボード、マウス、スイッチ、ボタンなどのほか、撮像部としてのカメラ2007、及び、収音部としてのマイク2008を含んでいる。また、出力装置2006は、表示部としてのディスプレイ2009、及び、放音部としてのスピーカ2010を含んでおり、この他に例えばLEDランプなどを含んでよい。撮像装置としてのみ機能するユーザ端末20においては、表示部としてのディスプレイ2009、及び、放音部としてのスピーカ2010は必須ではない。表示装置としてのみ機能するユーザ端末20においては、撮像部としてのカメラ2007、及び、収音部としてのマイク2008は必須ではない。なお、ユーザ端末20のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0036】
図4は、情報処理システム1の機能構成を例示するブロック図である。
図4では、撮像装置及び表示装置として機能するユーザ端末20を含むシステム全体の機能構成を例示している。ユーザ端末20において、動画データ生成部21は、カメラ2007により撮像された画像と、マイク2008によって収音された音声とからなる動画データを生成する。この動画データには、撮像時において、測位装置2011によって測位された位置(撮像位置)と、プロセッサ2001によって計時された日時(撮像日時)とがメタデータとして含まれている。
【0037】
ユーザはユーザ端末20による撮像を行いながら、又は撮像した画像をユーザ端末20において再生しながら、「マーカ」と呼ばれる付与データを付与する操作を行うことができる。例えばサッカーでゴールが決まったなどのシーンに対しては、「ゴール!」などの文字情報を含むマーカを付与する例が考えられる。この操作に応じて、ユーザ端末20のマーカ付与部23は、ユーザにより入力された「ゴール!」という文字情報を含むマーカを、動画データにおいてユーザにより指定された位置に付与する。ここで、動画データにおいてユーザにより指定された位置とは、上記の例ではゴールが決まったシーンに対応する動画データの一部であり、この一部の動画データのことを「部分動画データ」という。マーカは、ユーザにより入力された文字情報と、動画データにおいてそのマーカが付与された位置を示すデータ(例えば動画データの撮像開始時点からの経過時間を示すタイムスタンプ)とを含んでいる。このマーカは、サーバ装置10においてダイジェスト動画データを生成するため、及び、この動画データをこのマーカが付与された位置から再生するために用いられる。
【0038】
ユーザ端末20において、送信部22は、各種のデータをネットワーク30経由でサーバ装置10に送信する。例えばユーザ端末20において、送信部22は、動画データ生成部21により生成された動画データ及びマーカをネットワーク30経由でサーバ装置10に送信する。
【0039】
表示装置として機能するユーザ端末20において、ユーザは、撮像装置として機能するユーザ端末20により撮像された動画を閲覧することができるし、また、その動画から生成されたダイジェスト動画を閲覧することもできる。このうち前者の、撮像装置としてのユーザ端末20により撮像された動画を閲覧する場合には、ユーザは、表示装置としてのユーザ端末20において、動画データに付与されている複数のマーカのうちのいずれかを選択することで、自身が所望するシーンから動画を閲覧することができる。例えば、サッカーの動画において、「パス」「シュート」「ゴール」といった文字情報を含むマーカ群のうち、「ゴール」という文字情報を含むマーカを選択することで、そのマーカが付与されたゴールのシーンから動画を閲覧することができるようになっている。表示装置としてのユーザ端末20において、マーカ選択部24は、動画データに付与されている複数のマーカのうちいずれかがユーザにより選択されると、その選択されたマーカを特定する。表示装置としてのユーザ端末20において、送信部22は、マーカ選択部24により特定されたマーカを識別するマーカ識別子をネットワーク30経由でサーバ装置10に送信する。
【0040】
ユーザ端末20において、出力部25は、動画データに応じた画像をディスプレイ2009表示するとともに、動画データに応じた音声をスピーカ2010から放音する。
【0041】
サーバ装置10において、取得部11は、ユーザ端末20から送信される各種のデータをネットワーク30経由で取得する。例えば取得部11は、撮像装置としての複数のユーザ端末20の各々によって撮像された動画データとその動画データに対して付与されたマーカとをネットワーク30経由で取得する。また、取得部11は、表示装置としての複数のユーザ端末20の各々から、ユーザにより選択されたマーカのマーカ識別子をネットワーク30経由で取得する。
【0042】
サーバ装置10において、選択マーカ特定部12は、表示装置としての複数のユーザ端末20の各々においてユーザにより選択されたマーカのマーカ識別子を特定する。
【0043】
サーバ装置10において、生成部13は、マーカに含まれる文字情報に基づいて、そのマーカが動画データにおいて付与された位置に対応する部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成する。具体的には、生成部13は、マーカに含まれる文字情報の共通性に関する条件に基づいてダイジェスト動画データを生成する。マーカに含まれる文字情報の共通性に関する条件とは、或る文字情報が指定されたときに、その文字情報の意味と類似する意味を持つ文字情報を含むマーカ群を抽出する、という条件である。例えばサッカーにおいて「ゴール」という文字情報を含むマーカが指定されたときに、その文字情報の意味と類似する意味を持つ文字情報、例えば「得点」「勝ち越し」「ゴールした」等の文字情報を含むマーカを抽出する、という条件が考えられる。
【0044】
また、生成部13は、動画を閲覧したユーザによりマーカが選択されることで再生された回数に応じて、動画データから部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成する。生成部13は、例えば或る動画データにおいて、動画を閲覧したユーザによる選択された回数が多い順から所定数のマーカが付与された位置に対応する部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成する。
【0045】
サーバ装置10において、再生部14は、ユーザ端末20において動画データを再生させる。例えば、再生部14は、動画データに対して付与された複数のマーカのうちいずれかがユーザにより選択された場合に、選択マーカ特定部12により特定されたマーカが付与された位置に対応する部分動画データから、動画データの再生を開始させる。また、再生部14は、生成部13により生成されたダイジェスト動画データを再生させる。
【0046】
[動作]
次に、
図5を用いて本実施形態の動作を説明する。以下では、まず、動画の撮像からその再生までの動作について説明し、その後に、ダイジェスト動画の生成について説明する。
【0047】
[動画の撮像からその再生までの動作]
撮像者たるユーザはユーザ端末20を操作して、カメラ2007及びマイク2008による撮像処理を開始させる。これに応じて、ユーザ端末20の動画データ生成部21は動画データを生成する。ユーザはユーザ端末20による撮像を続けながら、又は撮像した画像をユーザ端末20において再生しながら、マーカを付与する操作を行う。この操作に応じて、ユーザ端末20のマーカ付与部23は、ユーザにより入力された文字情報を含むマーカを、動画データにおいてユーザにより指定された位置に付与する。ユーザ端末20の送信部22は、動画データ及びマーカを例えばRTMP(Real-Time Messaging Protocol)やHTTPS(Hypertext Transfer Protocol Secure)等の任意のプロトコルに従い、ネットワーク30経由でサーバ装置10に送信する。サーバ装置10の取得部11は、ユーザ端末20の送信部22により送信されてくる動画データ及びマーカをネットワーク30経由で取得し(ステップS11)、記憶する(ステップS12)。
【0048】
ここで、
図6は、動画データ及びマーカの関係を例示する模式図である。図示のように、動画データにおいて時間軸上の異なる位置に複数のマーカM1~M5が付与されている。そして、
図7に例示するように、各マーカMは、動画データにおいてマーカMが付与された位置を示す位置データ(例えば撮像開始からの経過時間を示すタイムスタンプ)と、マーカを識別するマーカ識別子と、ユーザにより入力された文字情報と、そのほかの付属情報とを含んでいる。
【0049】
図5において、サーバ装置10の生成部13は、複数のユーザ端末20から取得した各々の動画データにメタデータとして含まれている撮像位置及び撮像日時が共通の範囲に属しており重複するものどうしをグルーピングする(ステップS13)。具体的には、生成部13は、動画の撮像位置が半径Xmの円の範囲に含まれ、且つ、動画の撮像開始時期から撮像終了時期までの期間の少なくとも一部が重複している動画データを抽出し、これらにユニークなグループ識別子を割り当てる等してグルーピングを行う。これにより、撮像対象が同一と想定される1以上の動画データがグルーピングされる。グルーピングされた各動画データは、表示装置としてのユーザ端末20において再生可能な状態となる。
【0050】
そして、いずれかのユーザ端末20から或る動画データを指定して再生開始が要求されると(ステップS14;YES)、サーバ装置10の再生部14は、指定された動画データを読み出してそのユーザ端末20に送信することで、その再生を開始させる(ステップS15)。
図8は、ユーザ端末20において動画データが再生されるときの表示例を示す図である。ユーザ端末20のディスプレイ2009において、動画表示領域102には動画データに応じた動画が表示されるほか、動画データのメタデータや属性から特定される情報群101や、この動画データに付与されたマーカに含まれる文字情報群103が表示される。文字情報群103は、図中の左側にあるものほど動画データの時間軸上において先の位置に付与されたマーカに対応するものであり、図中の右側にあるものほど動画データの時間軸上において後ろの位置に付与されたマーカに対応するものである。ユーザは操作子画像104を指定することにより、各マーカに対応する文字情報群を時間軸上において、いわゆる巻き戻し又は早送りをさせて、任意の文字情報をタップすることでその文字情報(つまりマーカ)を選択することができる。
【0051】
ここで、ユーザによりいずれかの文字情報が選択されると(ステップS16;YES)、選択された文字情報に対応するマーカのマーカ識別子がユーザ端末20からサーバ装置10に通知される。サーバ装置10の選択マーカ特定部12は、通知されたマーカ識別子により、選択されたマーカを特定する。これに応じて、再生部14は、特定されたマーカが付与された位置から動画データをユーザ端末20に送信することで、再生位置を変更して再生を行わせる(ステップS17)。これにより、ユーザは、自身が選択したマーカに対応するシーンから動画を閲覧することができる。そして、サーバ装置10の生成部13は、マーカが選択された回数をカウントする(ステップS18)。これにより、
図9に例示するように、各マーカのマーカ識別子及び文字情報に対応付けて、そのマーカがユーザにより選択された累積の選択回数が記録される。動画データにおいてこの選択回数が多いマーカの位置は、多数のユーザにより閲覧された回数が多いシーン、つまり人気のあるシーンに対応する位置ということになる。
【0052】
[ダイジェスト動画の生成動作]
次に、
図10を参照して、ダイジェスト動画の生成動作について説明する。ダイジェスト動画はマーカに含まれる文字情報に基づいて生成されるが、その具体的な方法には、マーカに含まれる文字情報の共通性に関する条件に基づいてダイジェスト動画データを生成する方法と、ユーザによりマーカが選択された選択回数に応じてダイジェスト動画データを生成する方法とがある。
【0053】
まず、ユーザはユーザ端末20を操作して、或る動画データのグループを撮像位置及び撮像日時や動画データのタイトル等(例えばX月Y日にA競技場で行われたサッカーの試合)によって指定する。そして、ユーザはユーザ端末20を操作して、そのグループに属する動画データについてダイジェスト動画を生成することを指示する。この指示には、マーカを指定したダイジェスト動画を生成する指示と、マーカの選択回数に応じたダイジェスト動画を生成する指示の2種類がある。
【0054】
ダイジェスト動画を生成する指示があった場合(ステップS21;YES)、生成部13は、指定されたグループに属する動画データから、ダイジェスト動画を構成する部分動画データを抽出するためのマーカ(抽出用マーカという)を特定する(ステップS22)。ここで、マーカを指定したダイジェスト動画を生成する指示であった場合には、生成部13は、動画データにおいて、ユーザにより指定されたマーカに含まれる文字情報に共通する文字情報群を含むマーカを抽出用マーカとして特定する。具体的には、例えばサッカーの様子を撮像した動画データにおいて、「ゴール」という文字情報を含むマーカがユーザにより指定されたときに、その文字情報の意味と類似する意味を持つ文字情報、例えば「得点」「勝ち越し」「ゴールした」といった文字情報を含むマーカが抽出用マーカとして抽出される。このような文字情報の類似関係については予めデータベース化されて生成部13に記憶されている。
【0055】
一方、マーカの選択回数に応じてダイジェスト動画データを生成する指示であった場合には、生成部13は、指定されたグループに属する各動画データにおいて記録されているマーカの選択回数(
図9)を参照し、選択回数が多い順から例えばZ個のマーカを抽出用マーカとして特定する。
【0056】
そして、生成部13は、指定されたグループに属する各動画データにおいて、抽出用マーカが付与された位置に相当する部分動画データを抽出し(ステップS23)、これらをマーカが付与された位置(タイムスタンプ)に基づいて時系列に結合してダイジェスト動画データを生成する(ステップS24)。これにより、
図11に例示するように、各々の抽出用マーカM11~M18に対応する部分動画データD1~D18が結合されたダイジェスト動画データが生成される。なお、各抽出用マーカに対応する部分動画データのデータ長(又は再生時における再生時間長)は、予め決められた長さ(例えば再生時間で10秒)であってもよいし、ユーザが任意に決めた長さであってもよいし、各マーカに含まれる文字情報ごとに決まっている長さ(例えば文字情報がパス、シュートなら5秒、ゴールなら10秒など)であってもよい。また、同一のグループに属する複数の動画データにおいて、マーカを付与する撮像者はそれぞれ異なっているから、例えば
図11において、マーカM12に対応する部分動画データと、マーカM13に対応する部分動画データとが同じ撮像対象を撮像したものであっても、マーカが付与された位置が少しだけ異なる(例えばマーカのタイムスタンプが1秒差で異なる)可能性がある。つまり、ダイジェスト動画を閲覧するユーザから見れば、マーカM12に対応する部分動画データと、マーカM13に対応する部分動画データとがほぼ同じ内容である可能性がある。ただし、ここではあくまでマーカを基準にして部分動画データを結合してダイジェスト動画データを生成することとし、このような部分動画データの内容の重複は許容している。
【0057】
以上のような処理がダイジェスト動画の生成指示があるたびに実行されると、例えば或るサッカーの試合について複数のダイジェスト動画データが生成されることになる。これらのダイジェスト動画データ群は、例えば
図12に示すようにして、ユーザ端末20に一覧表示される。
図12においては、ユーザにより指定されたマーカの共通性に関する条件に基づいて生成されたダイジェスト動画である「A選手プレー集」「シュート集」「ファインセーブ集」と、マーカの選択回数に基づいて生成されたダイジェスト動画である「人気プレー集」が含まれている。なお、ユーザにより指定されたマーカの共通性に関する条件とマーカの選択回数との双方に基づいて生成されたダイジェスト動画である「人気パス集」なども含まれている
【0058】
以上説明した実施形態によれば、ユーザが所望の位置から動画を閲覧するために付与したマーカを上手く利用することによって、簡便かつ効率的な手法で、複数の動画データのうち或る条件を満たす部分の動画データを抽出してダイジェスト動画を生成することが可能となる。
【0059】
[変形例]
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
【0060】
[変形例1]
実施形態においては、ユーザ端末20が撮像者たるユーザによるマーカ付与の操作を受け付けていたが、動画を撮像するための撮像装置とマーカを付与するためのマーカ付与装置とが別体の装置であってもよい。具体的には、撮像者たるユーザは撮像装置(例えばスマートホンやビデオカメラ)を操作して撮像を行う一方、マーカ付与装置(例えばスマートホンのリモコンや、スマートホンに接続されたスマートウォッチ等のウェアラブル端末)を操作してマーカを付与するようにしてもよい。
【0061】
[変形例2]
生成部13は、マーカに含まれる文字情報に基づいて部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成するが、例えば、マーカに含まれる文字情報の順序に関する条件に基づいてダイジェスト動画データを生成するようにしてもよい。マーカに含まれる文字情報の順序に関する条件とは、例えばサッカーの試合を撮像した動画データであれば、パス、シュート、ゴールという文字情報を含むマーカが、或る期間内においてパス→シュート→ゴールという順序で付与されている場合に、これらパス、シュート、ゴールという文字情報を含むマーカを抽出用マーカとして用いて部分動画データを抽出し、抽出した部分動画データを含むダイジェスト動画データを生成するというものである。つまり、動画データにおいてそれぞれ異なる文字情報を含む複数のマーカが或る順序で付与されている場合に、それらのマーカを抽出用マーカとして用いる。このような文字情報の順序に関する条件は、例えば撮像対象ごとに決められていてもよいし、撮像位置及び撮像日時ごとに決められていてもよく、その内容は予めデータベース化されて生成部13に記憶されていればよい。
【0062】
[変形例3]
ユーザ端末20の撮像に関する性能やスペックは、その機種等に応じて様々であることが予想される。そこで、生成部13は、画像の属性が共通の範囲に属する動画データの部分動画データを含むダイジェスト動画データを生成するようにしてもよい。ここでいう動画データの画像の属性とは、例えばその画像の画質、解像度、明度等の、ユーザが動画において視認し得る、画像の質乃至特性のことである。これらの画像の属性は、動画データに含まれているメタデータによって表されてもよいし、生成部13が動画データを画像解析して特定してもよい。また、画像の属性が共通となる範囲は、予め決められて生成部13により記憶されていればよい。このようにすれば、ユーザから見て画質や解像度等がほぼ同じ部分動画データを含むダイジェスト動画データを閲覧することができる。
【0063】
[変形例4]
生成部13は、複数のユーザ端末20によってそれぞれ撮像された画像を示す動画データの撮像日時が重複している場合において、各々の動画データから抽出された各々の部分動画データの表示を切り替え可能なマルチアングル動画データを生成するようにしてもよい。ここでいうマルチアングル動画データは、
図13に例示するように、例えば3つのユーザ端末20によって撮像された動画データG1,G2,G3からそれぞれ抽出された部分動画データDG11~D13、D21~D22、D31~D32が、元の動画データごとに区別された状態で配置された動画データである。例えば閲覧者たるユーザが、動画データG1から抽出された部分動画データDG11~D13からなるダイジェスト動画データを閲覧しているときに、動画データG2から抽出された部分動画データDG21~D22からなるダイジェスト動画データを閲覧することを指示すると、再生部14は、この指示に応じて、部分動画データDG11~D13からなるダイジェスト動画データの再生から、部分動画データDG21~D22からなるダイジェスト動画データの再生に切り替える。このとき、部分動画データDG21~D22からなるダイジェスト動画データの再生開始時期は、時間軸上において、部分動画データDG11~D13からなるダイジェスト動画データを再生していた時期と同じであるとする。このようにすれば、閲覧者たるユーザは同じ撮像対象を異なるアングルで撮像したダイジェスト動画に切り替えながら閲覧することができる。
【0064】
[変形例5]
実施形態において、生成部13は、複数のユーザ端末20から取得した各々の動画データに含まれている撮像位置及び撮像日時が重複するものどうしをグルーピングしていた。生成部13は、撮像位置及び撮像日時に加えてさらに撮像方向に基づく撮像範囲が重複する動画データどうしをグルーピングするようにしてもよい。例えば撮像位置及び撮像日時が重複したとしても、撮像方向を考慮したときには異なる撮像対象を撮像している場合が考えられる。これは、例えば隣り合う競技場でそれぞれ競技をしている別々のチームの選手を撮像している場合や、同一の競技場であってもそれぞれ異なるチームに属する選手を撮像している場合等である。そこで、生成部13は、動画の撮像位置が例えば半径Xmの円の範囲に含まれ、動画の撮像開始時期から撮像終了時期までの期間の少なくとも一部が重複している動画データであって、さらに、各々の撮像位置からの撮像方向から特定される撮像範囲の少なくとも一部が重複している動画データを抽出し、これらをグルーピングするようにしてもよい。この場合、ユーザ端末20の入力装置2005は、カメラ2007及びマイク2008のほかに、撮像方向を検出する検出部としての地磁気センサ、加速度センサ或いはジャイロセンサ等を含んでいる。
【0065】
また、生成部13は、複数のユーザ端末20から取得した各々の動画データに含まれている撮像位置及び撮像日時が重複するものどうしをグルーピングした場合であっても、撮像位置、撮像日時、撮像方向及び撮像倍率等の撮像条件がほぼ同一とみなせるものはそのグループから除外してもよい。つまり、撮像位置、撮像方向及び撮像倍率等の撮像条件が同一と認められる条件に該当する場合には、撮像されている動画もほぼ同一であると想定されるから、これらのうちのいずれか1つのみをグループに残し、これと撮像条件が同一と判断されるその他のものはそのグループから除外してもよい。
【0066】
また、動画の撮像中において、撮像位置、撮像方向又は撮像倍率が変わる場合が考えられる。つまり、1つの動画データのデータファイルに対して、撮像位置、撮像方向又は撮像倍率がそれぞれ異なる場合が考えられる。このような場合は、1つの動画データのデータファイルにおいて、撮像位置、撮像方向又は撮像倍率が異なる部分ごとに、1つの動画データとして取り扱うようにしてもよい。
【0067】
[変形例6]
実施形態の例えば
図11において、マーカM12に対応する部分動画データと、マーカM13に対応する部分動画データとが同じ撮像対象を撮像したものであっても、マーカが付与された位置が少しだけ異なる場合、あくまでマーカを基準にして部分動画データを結合してダイジェスト動画データを生成することにしていたから、このような部分動画データの内容の重複は許容されていた。これに対して、このような部分動画データの内容の重複を許容しないようにしてもよい。例えば、生成部13は、複数のマーカ群が動画データの時間軸上で近接する場合には、これらマーカ群の選択回数を合計した値を用いてダイジェスト動画データを生成するようにしてもよい。つまり、複数のマーカ群が動画データの時間軸上で近接する場合とは、撮像対象の同一事象に対して付与されたマーカ群であると想定されるため、これらのマーカの選択回数を個別にカウントしてしまうと、閲覧者から人気があるシーンに対するマーカであると認識できない可能性がある。そこで、このようなマーカ群のうち動画データの時間軸上で最先の位置に付与されたマーカの位置を始期とし、且つ、この始期から所定期間経過後の時点又は最後尾の位置に付与されたマーカの位置を周期とした部分動画データをダイジェスト動画データに含めるようにする。このように、生成部13は、動画データにおける複数のマーカの位置が或る時間の範囲に収まる場合において、当該複数のマーカの各々が選択された回数の合計値が決められた条件を満たすときに、当該複数のマーカのうち最先の位置に付与されたマーカの位置に応じた部分動画データを含むダイジェスト動画データを生成するようにしてもよい。ここでいう決められた条件とは、例えば選択回数の合計値が閾値を超えるとか、その合計値が多い順から所定範囲に収まる等の条件である。
【0068】
さらに、生成部13は、複数のマーカ群が動画データの時間軸上で近接する場合であって、且つ、この各マーカ群の各々の選択回数が同程度である場合に限って、これらマーカ群の選択回数を合計した値を用いてダイジェスト動画データを生成するようにしてもよい。つまり、複数のマーカ群が動画データの時間軸上で近接しており、この各マーカ群の各々の選択回数が同程度である場合には、特に、これらのマーカは撮像対象の同一事象に対して付与されたマーカ群であるという可能性が高い。そこで、生成部13は、動画データにおける複数のマーカの位置が或る時間の範囲に収まる場合において、当該複数のマーカの各々が選択された回数の差が閾値未満であり、且つ、当該複数のマーカの各々が選択された回数の合計値が決められた条件を満たすときに、当該複数のマーカのうち最先の位置に付与されたマーカの位置に応じた部分動画データを含むダイジェスト動画データを生成するようにしてもよい。
【0069】
一方、複数のマーカ群が動画データの時間軸上で近接する場合であって、且つ、この各マーカ群の各々の選択回数が同程度ではなく、いずれか1のマーカの選択回数が突出して多いような場合には、その選択回数が多いマーカの位置に応じた部分動画データを含むダイジェスト動画データを生成すべきである。つまり、生成部13は、動画データにおける複数のマーカの位置が或る時間の範囲に収まる場合において、当該複数のマーカの各々が選択された回数の差が閾値以上であるときは、当該複数のマーカの各々が選択された回数のうち最多の回数となるマーカの位置に応じた部分動画データを含むダイジェスト動画データを生成するようにしてもよい。
【0070】
[その他の変形例]
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。例えばサーバ装置10の機能の少なくとも一部がユーザ端末20に実装されてもよい。
【0071】
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【0072】
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。
【0073】
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0074】
本明細書で使用する「判定(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining) した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、受信(receiving) (例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)等した事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。
【0075】
本発明は、情報処理システム1やサーバ装置10において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、サーバ装置10において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする等の形態で提供されたりすることが可能である。
【0076】
ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)等の有線技術及び/又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
【0077】
本明細書で説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0078】
本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び/又はシンボルは信号(シグナル)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC)は、キャリア周波数、セル等と呼ばれてもよい。
【0079】
「含む(including)」、「含んでいる(comprising)」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0080】
本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
【0081】
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
【符号の説明】
【0082】
1・・・情報処理システム、10・・・サーバ装置、11・・・取得部、12・・・選択マーカ特定部、13・・・生成部、14・・・再生部、20・・・ユーザ端末、21・・・動画データ生成部、22・・・送信部、23・・・マーカ付与部、24・・・マーカ選択部、25・・・出力部、30・・・ネットワーク、1001・・・プロセッサ、1002:メモリ、1003:ストレージ、1004・・・通信装置、1005・・・入力装置、1006・・・出力装置、2001・・・プロセッサ、2002・・・メモリ、2003・・・ストレージ、2004・・・通信装置、2005・・・入力装置、2006:出力装置、2007・・・カメラ、2008・・・マイク、2009・・・ディスプレイ、2010・・・スピーカ、2011・・・測位装置。