(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-25
(45)【発行日】2024-05-08
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
H04N 21/8549 20110101AFI20240426BHJP
H04L 67/00 20220101ALI20240426BHJP
【FI】
H04N21/8549
H04L67/00
(21)【出願番号】P 2020075684
(22)【出願日】2020-04-21
【審査請求日】2023-02-21
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110000752
【氏名又は名称】弁理士法人朝日特許事務所
(72)【発明者】
【氏名】横田 暁人
(72)【発明者】
【氏名】滝澤 暢
(72)【発明者】
【氏名】川上 太郎
(72)【発明者】
【氏名】本間 大輔
(72)【発明者】
【氏名】木下 枝美
(72)【発明者】
【氏名】門田 俊紀
(72)【発明者】
【氏名】奥原 史佳
(72)【発明者】
【氏名】森 美帆
【審査官】鍬 利孝
(56)【参考文献】
【文献】特開2018-085754(JP,A)
【文献】特開2019-219968(JP,A)
【文献】特開2017-182706(JP,A)
【文献】特開2008-103784(JP,A)
【文献】特開2014-072811(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/8549
H04L 67/00
(57)【特許請求の範囲】
【請求項1】
動画データの各部分において再生された再生回数をカウントするカウント部と、
カウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する特定部と、
特定された静止画像データを、再生対象となる動画データを選択するときに用いられる画像を表示するための画像データに設定する設定部と
を備え
、
前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、
前記カウント部は、
前記動画データの再生時に前記付与データが選択された回数を、前記再生回数としてカウントし、
前記特定部は、
前記動画データにおいてカウントされた前記再生回数が決められた条件を満たす前記付与データの位置と所定の関係にある静止画像データを特定し、
さらに、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する前記再生回数の総和が決められた条件を満たすときに、当該複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データを特定する
ことを特徴とする情報処理装置。
【請求項2】
前記特定部は、
前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値未満であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、
当該複数の付与データのうち最先の位置に付与された付与データの位置と所定の関係にある静止画像データを特定する
ことを特徴とする請求項
1記載の情報処理装置。
【請求項3】
前記特定部は、
前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合であっても、当該複数の付与データの各々に対する再生回数の差が閾値以上であるときは、
前記動画データに付与された全ての前記付与データの各々についてカウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する
ことを特徴とする請求項
2記載の情報処理装置。
【請求項4】
前記特定部は、
前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値以上であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、
当該複数の付与データの各々に対する再生回数のうち最多の再生回数となる付与データの位置と所定の関係にある静止画像データを特定する
ことを特徴とする請求項
1記載の情報処理装置。
【請求項5】
前記特定部は、前記動画データにおいてカウントされた再生回数が決められた条件を満たす付与データであっても、当該付与データの内容が例外として決められた条件を満たす場合には、当該付与データの位置と所定の関係にある静止画像データを特定しない
ことを特徴とする請求項1~
4のいずれか1項に記載の情報処理装置。
【請求項6】
前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データを閲覧するユーザの属性に応じた静止画像データを設定する
ことを特徴とする請求項1~
5のいずれか1項に記載の情報処理装置。
【請求項7】
前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、
前記設定部は、
前記静止画像データを選択して前記動画データを閲覧したユーザごとに、当該ユーザによって選択された付与データの傾向を分析し、
カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、各々の前記ユーザにより選択された付与データの傾向に応じた静止画像データを設定する
ことを特徴とする請求項1~
5のいずれか1項に記載の情報処理装置。
【請求項8】
前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データが閲覧されるときの地域又は日時に応じた静止画像データを設定する
ことを特徴とする請求項1~
5のいずれか1項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、再生対象となる動画を選択するときに用いられるサムネイル画像を設定するための技術に関する。
【背景技術】
【0002】
例えばサッカー等の競技や旅行等のレクリエーションの様子を撮像してその動画データをクラウドに保管して共有する仕組みが知られている。特許文献1には、複数のカメラで同一の被写体が撮像されることで得られる複数の画像を、これら複数のカメラのユーザで共有するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
クラウド上に保管された複数の動画の中から閲覧対象を選択する際には、例えばそれらの動画の先頭にある画像をサムネイル画像として一覧表示し、ユーザはそのサムネイル画像を参照して所望の動画を閲覧対象として選択する。このとき各動画について表示されるサムネイル画像は、その動画の内容や見どころをユーザに分かりやすく伝えることができるような画像であることが望ましい。
【0005】
本発明は、動画において閲覧者から注目される可能性が高い画像を、再生対象となる動画を選択するときに用いられる画像として設定することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明は、動画データの各部分において再生された再生回数をカウントするカウント部と、カウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する特定部と、特定された静止画像データを、再生対象となる動画データを選択するときに用いられる画像を表示するための画像データに設定する設定部とを備え、前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、前記カウント部は、前記動画データの再生時に前記付与データが選択された回数を、前記再生回数としてカウントし、前記特定部は、前記動画データにおいてカウントされた前記再生回数が決められた条件を満たす前記付与データの位置と所定の関係にある静止画像データを特定し、さらに、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する前記再生回数の総和が決められた条件を満たすときに、当該複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データを特定することを特徴とする情報処理装置を提供する。
【0009】
前記特定部は、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値未満であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数の付与データのうち最先の位置に付与された付与データの位置と所定の関係にある静止画像データを特定するようにしてもよい。
【0010】
前記特定部は、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合であっても、当該複数の付与データの各々に対する再生回数の差が閾値以上であるときは、前記動画データに付与された全ての前記付与データの各々についてカウントされた前記再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定するようにしてもよい。
【0011】
前記特定部は、前記動画データにおける複数の付与データの位置が所定の範囲に収まる場合において、当該複数の付与データの各々に対する再生回数の差が閾値以上であり、且つ、当該複数の付与データの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数の付与データの各々に対する再生回数のうち最多の再生回数となる付与データの位置と所定の関係にある静止画像データを特定するようにしてもよい。
【0012】
前記特定部は、前記動画データにおいてカウントされた再生回数が決められた条件を満たす付与データであっても、当該付与データの内容が例外として決められた条件を満たす場合には、当該付与データの位置と所定の関係にある静止画像データを特定しないようにしてもよい。
【0013】
前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データを閲覧するユーザの属性に応じた静止画像データを設定するようにしてもよい。
【0014】
前記動画データの任意の位置に付与された付与データを選択して前記動画データの再生が要求された場合に、前記設定部は、前記静止画像データを選択して前記動画データを閲覧したユーザごとに、当該ユーザによって選択された付与データの傾向を分析し、
カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、各々の前記ユーザにより選択された付与データの傾向に応じた静止画像データを設定するようにしてもよい。
【0015】
前記設定部は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、前記静止画像データを選択して前記動画データが閲覧されるときの地域又は日時に応じた静止画像データを設定するようにしてもよい。
【発明の効果】
【0016】
本発明によれば、動画において閲覧者から注目される可能性が高い画像を、再生対象となる動画を選択するときに用いられる画像として設定することが可能となる。
【図面の簡単な説明】
【0017】
【
図1】情報処理システム1の装置構成の一例を示す図である。
【
図2】サーバ装置10のハードウェア構成を示す図である。
【
図3】ユーザ端末20のハードウェア構成を示す図である。
【
図4】情報処理システム1の機能構成の一例を示す図である。
【
図5】サーバ装置10の動作の一例を示すフローチャートである。
【
図6】動画データ及び付与データの関係を例示する模式図である。
【
図8】ユーザ端末20に表示される画像を例示する図である。
【
図9】マーカの再生回数を記録した様子を例示する図である。
【
図10】サーバ装置10の動作の一例を示すフローチャートである。
【
図11】動画データ、マーカ及び静止画像データとの関係を例示する模式図である。
【
図12】ユーザ端末20に表示されるサムネイル画像の一覧を例示する図である。
【発明を実施するための形態】
【0018】
[構成]
図1は、本発明の一実施形態に係る情報処理システム1の装置構成を例示するブロック図である。情報処理システム1は、例えばサッカーを行っている様子を動画で撮像してその撮像された動画を再生するためのシステムである。情報処理システム1において撮像対象は、サッカー等のスポーツ乃至競技に限らず、どのようなものであってもよい。
【0019】
この情報処理システム1は、主に動画データの記憶、編集及び配信に関する処理を行うサーバ装置10と、主に動画データの撮像又は表示に関する処理を行う複数のユーザ端末20とを含む。これらサーバ装置10及びユーザ端末20は、ネットワーク30を介して通信可能に接続される。ネットワーク30は、例えばLAN(Local Area Network)又はWAN(Wide Area Network)、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。
【0020】
サーバ装置10は、本発明に係る情報処理装置の一例として機能するコンピュータ装置である。サーバ装置10は、動画データの記憶、編集及び配信といった機能を有する。同図で示しているサーバ装置10の数は例示であり、1以上であればよい。
【0021】
ユーザ端末20は、例えばスマートホン、デジタルカメラ、タブレット、又はウェアラブルデバイス、パーソナルコンピュータ等のコンピュータ装置である。ユーザ端末20は、動画の撮像機能又は動画の表示機能の少なくともいずれか一方を備えている。動画の撮像機能を備えるユーザ端末20は、動画を撮像する撮像装置として機能する。動画の表示機能を備えるユーザ端末20は、動画を表示する表示装置として機能する。動画の撮像機能及び動画の表示機能を備えるユーザ端末20は、撮像装置及び表示装置として機能する。撮像装置としてのユーザ端末20は、動画の撮像を行うユーザにより利用される。撮像装置としてのユーザ端末20によって撮像された動画を示す動画データは、無線又は有線を用いた通信により、ネットワーク30経由でサーバ装置10に送信される。表示装置としてのユーザ端末20は、動画を閲覧するユーザにより利用される。表示装置としてのユーザ端末20は、サーバ装置10によって配信される動画データを、無線又は有線を用いた通信によりネットワーク30経由で取得し、この動画データに基づいて動画を表示する。同図で示しているユーザ端末20の数は例示であり、1以上であればよい。
【0022】
図2は、情報処理装置としてのサーバ装置10のハードウェア構成を例示するブロック図である。サーバ装置10のハードウェア構成の一例を示す図である。サーバ装置10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ装置10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0023】
サーバ装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0024】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。
【0025】
プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。サーバ装置10の機能ブロックは、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。各種の処理は、1つのプロセッサ1001によって実行されてもよいが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してサーバ装置10に送信されてもよい。
【0026】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本実施形態に係る方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0027】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。
【0028】
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。
【0029】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタンなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
【0030】
プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0031】
また、サーバ装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
【0032】
図3は、撮像装置及び表示装置として機能するユーザ端末20のハードウェア構成を示す図である。ユーザ端末20は、物理的には、プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006、測位装置2011及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。ユーザ端末20における各機能は、プロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ2001が演算を行い、通信装置2004による通信を制御したり、メモリ2002及びストレージ2003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。また、プロセッサ2001は、クロックに基づいて日時を計測する計時装置としても機能する。プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006は、サーバ装置10が備えるプロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006と同様の装置群であるが、以下の点が異なっている。
【0033】
通信装置2004は、例えば周波数分割複信(FDD:Frequency Division Duplex)及び時分割複信(TDD:Time Division Duplex)の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置1004によって実現されてもよい。
【0034】
測位装置2011は、例えばGPS(Global Positioning System)ユニットであり、ユーザ端末20の位置を測位する。
【0035】
図3には、撮像装置及び表示装置として機能するユーザ端末20のハードウェア構成を例示している。このため、入力装置2005は、例えば、キーボード、マウス、スイッチ、ボタンなどのほか、撮像部としてのカメラ2007、及び、収音部としてのマイク2008を含んでいる。また、出力装置2006は、表示部としてのディスプレイ2009、及び、放音部としてのスピーカ2010を含んでおり、この他にLEDランプなどを含んでもい。撮像装置としてのみ機能するユーザ端末20においては、表示部としてのディスプレイ2009、及び、放音部としてのスピーカ2010は必須ではない。表示装置としてのみ機能するユーザ端末20においては、撮像部としてのカメラ2007、及び、収音部としてのマイク2008は必須ではない。なお、ユーザ端末20のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0036】
図4は、情報処理システム1の機能構成を例示するブロック図である。
図4では、撮像装置及び表示装置として機能するユーザ端末20を含むシステム全体の機能構成を例示している。ユーザ端末20において、動画データ生成部21は、カメラ2007により撮像された画像と、マイク2008によって収音された音声とからなる動画データを生成する。この動画データには、撮像時において、測位装置2011によって測位された位置(撮像位置)と、プロセッサ2001によって計時された日時(撮像日時)とがメタデータとして含まれている。
【0037】
ユーザはユーザ端末20による撮像を行いながら、又は撮像した画像をユーザ端末20において再生しながら、「マーカ」と呼ばれる付与データを付与する操作を行うことができる。例えばサッカーでゴールが決まったなどのシーンに対しては、「ゴール!」などの文字情報を含むマーカを付与する例が考えられる。この操作に応じて、ユーザ端末20のマーカ付与部23は、ユーザにより入力された「ゴール!」という文字情報を含むマーカを、動画データにおいてユーザにより指定された任意の位置に付与する。ここで、動画データにおいてユーザにより指定された位置とは、上記の例ではゴールが決まったシーンに対応する動画データの一部分である。マーカは、ユーザにより入力された文字情報と、動画データにおいてそのマーカが付与された位置を示すデータ(例えば動画データの撮像開始時点からの経過時間を示すタイムスタンプ)とを含んでいる。このマーカは、動画データをこのマーカが付与された位置から再生するために用いられる。
【0038】
ユーザ端末20において、送信部22は、各種のデータをネットワーク30経由でサーバ装置10に送信する。例えばユーザ端末20において、送信部22は、動画データ生成部21により生成された動画データ及びマーカをネットワーク30経由でサーバ装置10に送信する。
【0039】
表示装置として機能するユーザ端末20において、ユーザは、撮像装置として機能するユーザ端末20により撮像された動画を閲覧することができる。この場合、ユーザは、表示装置としてのユーザ端末20において、動画データに付与されている複数のマーカのうちのいずれかを選択することで、自身が所望するシーンから動画を閲覧することができる。例えば、サッカーの動画において、「パス」「シュート」「ゴール」といった文字情報を含むマーカ群のうち、「ゴール」という文字情報を含むマーカを選択することで、動画データにおいてそのマーカが付与された位置、つまりサッカーにおけるゴールのシーンから動画を閲覧することができるようになっている。表示装置としてのユーザ端末20において、マーカ選択部24は、動画データに付与されている複数のマーカのうちいずれかがユーザにより選択されると、その選択されたマーカを特定する。表示装置としてのユーザ端末20において、送信部22は、マーカ選択部24により特定されたマーカを識別するマーカ識別子をネットワーク30経由でサーバ装置10に送信する。
【0040】
ユーザ端末20において、出力部25は、動画データに応じた画像をディスプレイ2009表示するとともに、動画データに応じた音声をスピーカ2010から放音する。
【0041】
サーバ装置10において、取得部11は、ユーザ端末20から送信される各種のデータをネットワーク30経由で取得する。例えば取得部11は、撮像装置としての複数のユーザ端末20の各々によって撮像された動画データとその動画データに対して付与されたマーカとをネットワーク30経由で取得する。また、取得部11は、表示装置としての複数のユーザ端末20の各々から、ユーザにより選択されたマーカのマーカ識別子をネットワーク30経由で取得する。
【0042】
サーバ装置10において、カウント部12は、表示装置としての複数のユーザ端末20の各々においてユーザにより選択されたマーカごとに、そのマーカが選択された回数(つまりそのマーカが付与された位置から動画データが再生された再生回数)をカウントする。つまり、カウント部12は、動画データの各部分において再生された再生回数をカウントする。
【0043】
特定部13は、カウント部12によりカウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定する。ここでいう決められた条件とは、例えば、1つのデータファイルである動画データにおいて最多の再生回数がカウントされたマーカに該当することである。つまり、特定部13によって、各動画データについて、再生回数が最多のマーカに対応する静止画像データが特定される。
【0044】
設定部14は、特定部13により特定された静止画像データを、再生対象となる動画データを選択するときに用いられる画像(以下、サムネイル画像という)をユーザ端末20において表示するためのサムネイル画像データに設定する。
【0045】
サーバ装置10において、再生部15は、ユーザ端末20において動画データを再生させる。例えば、再生部15は、動画データに対して付与された複数のマーカのうちいずれかがユーザにより選択された場合に、カウント部12により特定されたマーカが付与された位置に対応する部分から、動画データの再生を開始させる。また、再生部15は、ユーザ端末20において表示されたサムネイル画像の一覧のうちいずれかが指定されると、そのサムネイル画像に対応する動画データの再生を開始させる。このとき、再生部15は、そのサムネイル画像に対応する動画データをその冒頭の位置から再生させてもよいし、その動画データにおいて指定された上記サムネイル画像に対応する位置から再生させてもよい。
【0046】
[動作]
次に、本実施形態の動作を説明する。以下では、まず、動画の撮像からその再生までの動作について説明し、その後に、サムネイル画像の一覧の生成について説明する。
【0047】
[動画の撮像からその再生までの動作]
撮像者たるユーザはユーザ端末20を操作して、カメラ2007及びマイク2008による撮像処理を開始させる。これに応じて、ユーザ端末20の動画データ生成部21は動画データを生成する。ユーザはユーザ端末20による撮像を続けながら、又は撮像した画像をユーザ端末20において再生しながら、マーカを付与する操作を行う。この操作に応じて、ユーザ端末20のマーカ付与部23は、ユーザにより入力された文字情報を含むマーカを、動画データにおいてユーザにより指定された位置に付与する。ユーザ端末20の送信部22は、動画データ及びマーカを例えばRTMP(Real-Time Messaging Protocol)やHTTPS(Hypertext Transfer Protocol Secure)等の任意のプロトコルに従い、ネットワーク30経由でサーバ装置10に送信する。サーバ装置10の取得部11は、ユーザ端末20の送信部22により送信されてくる動画データ及びマーカをネットワーク30経由で取得して(
図5のステップS11)、記憶する(ステップS12)。
【0048】
ここで、
図6は、動画データ及びマーカの関係を例示する模式図である。図示のように、動画データにおいて時間軸上の異なる位置に複数のマーカM1~M5が付与されている。そして、
図7に例示するように、各マーカMは、動画データにおいてマーカMが付与された位置を示す位置データ(例えば撮像開始からの経過時間を示すタイムスタンプ)と、マーカを識別するマーカ識別子と、ユーザにより入力された文字情報と、そのほかの付属情報とを含んでいる。
【0049】
図5において、サーバ装置10の取得部11は、複数のユーザ端末20から取得した各々の動画データにメタデータとして含まれている撮像位置及び撮像日時が重複するものどうしをグルーピングする(ステップS13)。具体的には、取得部11は、動画の撮像位置が半径Xmの円の範囲に含まれ、且つ、動画の撮像開始時期から撮像終了時期までの期間の少なくとも一部が重複している動画データを抽出し、これらにユニークなグループ識別子を割り当てる等してグルーピングを行う。これにより、撮像対象が同一と想定される1以上の動画データがグルーピングされる。グルーピングされた各動画データは、表示装置としてのユーザ端末20において再生可能な状態となる。
【0050】
そして、いずれかのユーザ端末20から或る動画データを指定して再生開始が要求されると(ステップS14;YES)、サーバ装置10の再生部15は、指定された動画データを読み出してそのユーザ端末20に送信することで、その再生を開始させる(ステップS15)。
図8は、ユーザ端末20において動画データが再生されるときの表示例を示す図である。ユーザ端末20のディスプレイ2009において、動画表示領域102には動画データに応じた動画が表示されるほか、動画データのメタデータ等から特定される情報群101や、この動画データに付与されたマーカに含まれる文字情報群103が表示される。文字情報群103は、図中の左側にあるものほど動画データの時間軸上において先の位置に付与されたマーカに対応するものであり、図中の右側にあるものほど動画データの時間軸上において後ろの位置に付与されたマーカに対応するものである。ユーザは操作子画像104を指定することにより、各マーカに対応する文字情報群を時間軸上において、いわゆる巻き戻し又は早送りをさせて、任意の文字情報をタップすることでその文字情報(つまりマーカ)を選択することができる。
【0051】
ここで、ユーザによりいずれかの文字情報が選択されると(
図5のステップS16;YES)、選択された文字情報に対応するマーカのマーカ識別子がユーザ端末20からサーバ装置10に通知される。サーバ装置10のカウント部12は、通知されたマーカ識別子により、選択されたマーカを特定する。これに応じて、再生部15は、特定されたマーカが付与された位置から動画データをユーザ端末20に送信することで、再生位置を変更して再生を行わせる(ステップS17)。これにより、ユーザは、自身が選択したマーカに対応するシーンから動画を閲覧することができる。そして、サーバ装置10のカウント部12は、マーカが選択されて再生された再生回数をカウントして記録する(ステップS18)。これにより、
図9に例示するように、各動画データの動画データ識別子、マーカのマーカ識別子及び文字情報に対応付けて、そのマーカがユーザにより選択されて再生された累積の再生回数が記録される。動画データにおいてこの再生回数が多いマーカの位置は、多数のユーザにより閲覧された回数が多いシーン、つまり人気のあるがゆえに多数のユーザから注目される可能性が高いシーンに対応する位置ということになる。
【0052】
[サムネイル画像の設定動作]
次に、
図10を参照して、サムネイル画像の設定動作について説明する。特定部13は、カウント部12によりカウントされた再生回数が決められた条件を満たすマーカに対応する静止画像データを特定する。この条件とは、前述したように、1つのデータファイルである動画データにおいて最多の再生回数がカウントされたマーカに該当することである。つまり、再生回数が最多のマーカに対応する静止画像データがサムネイル画像データとして特定される。
【0053】
ここで、
図11~12を参照して、動画データとマーカと静止画像データとの関係を説明する。
図11に例示しているように、動画データにおいては、そのデータの先頭の位置から時間軸上の所定期間ΔT(例えば60秒)ごとに、各位置に相当する1フレーム分の画像が静止画像群g1~g7として設定される。そして、マーカM1~M5のうち、カウント部12によりカウントされた再生回数が最多のマーカ(例えばマーカM3とする)の付与位置mt3よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカM3の付与位置mt3に最も近い静止画像(図では静止画像g3)が、再生対象となる動画データを選択するときに用いられるサムネイル画像を表示するためのサムネイル画像データとして特定される。
【0054】
図11において、上記条件を充足するマーカがある場合には(ステップS21;YES)、設定部14は、そのマーカの位置に基づいて特定部13により特定された静止画像データを、この動画データを代表するサムネイル画像データに設定する(ステップS22)。
【0055】
一方、例えば動画データにおいてマーカの選択による再生が一度も発生していないなどのように、動画データにおいて上記条件を充足するマーカがない場合には(ステップS21;NO)、設定部14は、所定の静止画像データ(例えばその動画データの先頭の静止画像データ)をサムネイル画像データとして設定する(ステップS23)。
【0056】
これにより様々な動画データについて設定された各サムネイル画像Sが、
図12に例示するようにして一覧表示される。ユーザはこのようなサムネイル画像Sの一覧を参照し、所望のサムネイル画像を指定する。この指定に応じて、
図5のステップS14以降の処理が開始され、そのサムネイル画像に対応する動画が再生される。例えば、再生部15は、指定されたサムネイル画像に対応する動画データの再生を、そのサムネイル画像に対応する位置に対応する部分から再生させてもよい。具体的には、
図11において、静止画像g3がサムネイル画像に設定されていた場合には、静止画像g3に対応する位置(動画データの開始からΔT×2が経過した時点)から動画データが再生される。これにより、ユーザは、指定したサムネイル画像の続きから動画を閲覧することが可能となる。
【0057】
以上説明した実施形態によれば、所望の位置から動画を閲覧するために付与したマーカを上手く利用することによって、動画において注目される可能性が高い静止画像を、再生対象となる動画を選択するときに用いられるサムネイル画像として設定することが可能となる。
【0058】
[変形例]
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
【0059】
[変形例1]
実施形態においては、ユーザ端末20が撮像者たるユーザによるマーカ付与の操作を受け付けていたが、動画を撮像するための撮像装置とマーカを付与するためのマーカ付与装置とが別体の装置であってもよい。具体的には、撮像者たるユーザは撮像装置(例えばスマートホンやビデオカメラ)を操作して撮像を行う一方、マーカ付与装置(例えばスマートホンのリモコンや、スマートホンに接続されたスマートウォッチ等のウェアラブル端末)を操作してマーカを付与するようにしてもよい。
【0060】
[変形例2]
サーバ装置10は、複数のマーカ群が動画データの時間軸上で近接する場合には、これらマーカ群の再生回数を合計した値を用いてサムネイル画像を設定するようにしてもよい。複数のマーカ群が動画データの時間軸上で近接する場合とは、例えばサッカーにおいてパスからシュート、そしてゴールというように、短期間において見どころとなるような撮像対象の事象に対して付与されたマーカ群であると想定される。このような場合において、これらのマーカについての再生回数を個別にカウントしてしまうと、閲覧者から人気がある、一連の連続したシーンに対するマーカであると認識できない可能性がある。そこで、動画データにおける複数のマーカの位置が時間軸上において所定の時間の範囲に収まる場合において、当該複数のマーカの各々が選択された回数の総和が決められた条件を満たすときに、当該複数のマーカのうちいずれかのマーカの位置に応じた静止画像データをサムネイル画像データとして設定するようにしてもよい。ここでいう決められた条件とは、例えば複数のマーカについての再生回数の総和が閾値を超えるとか、複数のマーカについての再生回数の総和がカウントされた他の再生回数を含めて最多である等の条件である。つまり、特定部13は、動画データにおける複数の付与データの位置が所定の範囲に収まる場合、当該複数の付与データの各々に対する指定回数の総和が決められた条件を満たすときに、当該複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データを特定するようにしてもよい。複数の付与データのうちいずれかの付与データの位置と所定の関係にある静止画像データとしては、以下のような例が考えられる。
【0061】
例えばマーカM1~M3が時間的に近接して付与されているマーカであり、マーカM4がこれらのマーカM1~M3とは時間的に離れたマーカであるとしたとき、各マーカについての再生回数が次のとおりであると仮定する。
マーカM1の再生回数が15回
マーカM2の再生回数が20回
マーカM3の再生回数が9回
マーカM4の再生回数が40回
この場合、マーカM1の再生回数、マーカM2の再生回数及びマーカM3の再生回数の総和は44回である一方、マーカM4の再生回数は40回であるから、マーカM1~M3の再生回数の総和>マーカM4の再生回数となる。この場合、
図11に例示したようにΔTごとに設定された複数の静止画像において、マーカM1~M3のうち最先の位置に付与されたマーカM1よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカM1に最も近い静止画像(
図11では静止画像g1)が特定される。
【0062】
ここで、時間的に近接して付与された複数のマーカの各々についての再生回数の差が閾値未満である場合に限って、上記のようにマーカの再生回数の総和を用いてもよい。つまり、特定部13は、動画データにおける複数のマーカの位置が所定の範囲に収まる場合において、当該複数のマーカの各々に対する再生回数の差が閾値未満であり、且つ、当該複数のマーカの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数のマーカのうち最先の位置に付与されたマーカの位置と所定の関係にある静止画像データをサムネイル画像データとして特定するようにしてもよい。例えば、上記と同様に、マーカM1~M3が時間的に近接して付与されているマーカであり、マーカM4がこれらのマーカM1~M3とは時間的に離れたマーカであるとしたとき、マーカM1の再生回数が15回、マーカM2の再生回数が20回、マーカM3の再生回数が9回、マーカM4の再生回数が40回であると仮定する。ここで、再生回数の差に関する閾値を15とすると、マーカM1の再生回数、マーカM2の再生回数及びマーカM3の再生回数の各々の差はいずれも、閾値である15未満である。よって、マーカM1の再生回数、マーカM2の再生回数及びマーカM3の再生回数の総和を用い、その総和が44回である一方、マーカM4の再生回数は40回であるから、マーカM1~M3の再生回数の総和>マーカM4の再生回数となる。この場合、
図11に例示したようにΔTごとに設定された複数の静止画像において、マーカM1~M3のうち最先の位置に付与されたマーカM1よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカM1に最も近い静止画像(
図11では静止画像g1)が特定される。
【0063】
これに対し、複数のマーカ群が動画データの時間軸上で近接する場合であって、且つ、この各マーカ群の各々の再生回数が同程度ではなく、いずれか1のマーカの再生回数が突出して多いような場合がある。例えばマーカM1、M2が時間的に近接して付与されているマーカであり、マーカM3がこれらのマーカM1、M2とは時間的に離れたマーカであるとしたとき、各マーカについての再生回数が次のとおりであると仮定する。
マーカM1の再生回数が2回、
マーカM2の再生回数が100回、
マーカM3の再生回数が101回
また、再生回数の差に関する閾値を50とする。時間的に近接するマーカM1,M2の差は98であるから、閾値の50以上である。この場合には、マーカM1の再生回数とマーカM2の再生回数の総和は考えない。つまり、マーカM1~M3のうち、マーカM3が最多となるから、
図11に例示したようにΔTごとに設定された複数の静止画像において、最多の再生回数であるマーカM3よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカM3に最も近い静止画像(
図11では静止画像g3)が特定される。つまり、特定部13は、動画データにおける複数のマーカの位置が所定の範囲に収まる場合であっても、当該複数のマーカの各々に対する再生回数の差が閾値以上であるときは、動画データに付与された全てのマーカの各々についてカウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データを特定するようにしてもよい。
【0064】
また、特定部13は、動画データにおける複数のマーカの位置が所定の範囲に収まる場合において、当該複数のマーカの各々に対する再生回数の差が閾値以上であり、且つ、当該複数のマーカの各々に対する再生回数の総和が決められた条件を満たすときに、当該複数のマーカの各々に対する再生回数のうち最多の再生回数となるマーカの位置と所定の関係にある静止画像データを特定するようにしてもよい。上記と同様に例えば、マーカM1、M2が時間的に近接して付与されているマーカであり、マーカM3がこれらのマーカM1、M2とは時間的に離れたマーカであるとしたとき、各マーカについての再生回数が次のとおりであると仮定する。
マーカM1の再生回数が2回、
マーカM2の再生回数が100回、
マーカM3の再生回数が101回
また、再生回数の差に関する閾値を50とする。時間的に近接するマーカM1,M2の差は98であるから、閾値の50以上であるが、マーカM1の再生回数とマーカM2の再生回数の総和を考える。ここでは、マーカM1の再生回数とマーカM2の再生回数の総和>マーカM3の再生回数となり、さらに、マーカM1の再生回数<マーカM2の再生回数となる。この場合、
図11に例示したようにΔTごとに設定された複数の静止画像において、近接するマーカ間で最多の再生回数であるマーカM2よりも時間軸上において前に存在し、且つ、時間軸上においてそのマーカM2に最も近い静止画像(
図11では静止画像g2)が特定される。
【0065】
[変形例3]
或る特定の文字情報を含むマーカが付与されている場合は、そのマーカに対応する静止画像をサムネイル画像には設定しないようにしてもよい。ここでいう、特定の文字情報とは、その画像データに対して当然に付与される文字情報(サッカーの動画データに対して「サッカー」)のほか、ごくありふれた意味内容の文字情報などである。つまり、特定部13は、動画データにおいてカウントされた再生回数が決められた条件を満たすマーカであっても、当該マーカの内容(文字情報)が例外として決められた条件を満たす場合には、当該マーカの位置と所定の関係にある静止画像データを特定しないようにしてもよい。
【0066】
[変形例4]
閲覧者となるユーザの属性に応じてサムネイル画像を設定してもよい。つまり、設定部14は、カウントされた再生回数が決められた条件を満たすマーカに対応する静止画像データ群のうち、動画データを閲覧するユーザの属性に応じた静止画像データをサムネイル画像として設定するようにしてもよい。例えば、設定部14は、ユーザの年齢や性別、趣味嗜好等の属性を格納したデータベースを備えており、サムネイル画像を設定するにあたっては、再生回数が閾値以上のマーカ群のうち、その属性に応じて決められた文字情報(例えば20代男性なら「ゴール」という文字情報、10代女性なら人気選手の名前を含む文字情報)を含むマーカに対応する静止画像をサムネイル画像として設定する。
【0067】
[変形例5]
閲覧者となるユーザが過去に選択したマーカに含まれる文字情報の傾向に応じてサムネイル画像を設定してもよい。つまり、設定部14は、サムネイル画像を選択して動画データを閲覧したユーザごとに、当該ユーザによって選択されたマーカの文字情報の傾向を分析し、その傾向に応じた静止画像をサムネイル画像として設定するようにしてもよい。例えば、設定部14は、ユーザが過去に選択したマーカに含まれる文字情報を格納したデータベースを備えており、サムネイル画像を設定するにあたっては、再生回数が閾値以上のマーカ群のうち、その文字情報と類似する意味を持つ文字情報を含むマーカに対応する静止画像をサムネイル画像として設定する。
【0068】
[変形例6]
動画データの閲覧地域又は閲覧日時に応じてサムネイル画像を設定してもよい。つまり、設定部14は、カウントされた再生回数が決められた条件を満たす部分の動画データに対応する静止画像データ群のうち、動画データが閲覧されるときの地域又は日時に応じた静止画像データを設定するようにしてもよい。
【0069】
[その他の変形例]
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。例えばサーバ装置10の機能の少なくとも一部がユーザ端末20に実装されてもよい。
【0070】
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【0071】
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。
【0072】
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0073】
本明細書で使用する「判定(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining) した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、受信(receiving) (例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)等した事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。
【0074】
本発明は、情報処理システム1やサーバ装置10において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、サーバ装置10において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする等の形態で提供されたりすることが可能である。
【0075】
ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)等の有線技術及び/又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
【0076】
本明細書で説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0077】
本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び/又はシンボルは信号(シグナル)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC)は、キャリア周波数、セル等と呼ばれてもよい。
【0078】
「含む(including)」、「含んでいる(comprising)」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0079】
本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
【0080】
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
【符号の説明】
【0081】
1・・・情報処理システム、10・・・サーバ装置、11・・・取得部、12・・・カウント部、13・・・特定部、14・・・設定部、15・・・再生部、20・・・ユーザ端末、21・・・動画データ生成部、22・・・送信部、23・・・マーカ付与部、24・・・マーカ選択部、25・・・出力部、30・・・ネットワーク、1001・・・プロセッサ、1002:メモリ、1003:ストレージ、1004・・・通信装置、1005・・・入力装置、1006・・・出力装置、2001・・・プロセッサ、2002・・・メモリ、2003・・・ストレージ、2004・・・通信装置、2005・・・入力装置、2006:出力装置、2007・・・カメラ、2008・・・マイク、2009・・・ディスプレイ、2010・・・スピーカ、2011・・・測位装置。