IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧

特許7158902情報処理装置、情報処理方法、及び情報処理プログラム
<>
  • 特許-情報処理装置、情報処理方法、及び情報処理プログラム 図1
  • 特許-情報処理装置、情報処理方法、及び情報処理プログラム 図2
  • 特許-情報処理装置、情報処理方法、及び情報処理プログラム 図3
  • 特許-情報処理装置、情報処理方法、及び情報処理プログラム 図4
  • 特許-情報処理装置、情報処理方法、及び情報処理プログラム 図5
  • 特許-情報処理装置、情報処理方法、及び情報処理プログラム 図6
  • 特許-情報処理装置、情報処理方法、及び情報処理プログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-14
(45)【発行日】2022-10-24
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
   H04N 21/2668 20110101AFI20221017BHJP
   H04N 21/84 20110101ALI20221017BHJP
   H04N 21/258 20110101ALI20221017BHJP
   G06F 16/9035 20190101ALI20221017BHJP
   G06F 16/907 20190101ALI20221017BHJP
【FI】
H04N21/2668
H04N21/84
H04N21/258
G06F16/9035
G06F16/907
【請求項の数】 18
(21)【出願番号】P 2018112463
(22)【出願日】2018-06-13
(65)【公開番号】P2019216355
(43)【公開日】2019-12-19
【審査請求日】2020-12-09
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110000637
【氏名又は名称】特許業務法人樹之下知的財産事務所
(72)【発明者】
【氏名】山下 直晃
(72)【発明者】
【氏名】中嶋 直也
【審査官】松元 伸次
(56)【参考文献】
【文献】特開2016-103714(JP,A)
【文献】特開2000-013755(JP,A)
【文献】特開2011-217197(JP,A)
【文献】特開2016-035607(JP,A)
【文献】特開2012-160788(JP,A)
【文献】特開2012-049875(JP,A)
【文献】特開2004-007342(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F16/00-16/958
H04N5/76-5/775
5/80-5/956
7/10
7/14-7/173
7/20-7/56
21/00-21/858
(57)【特許請求の範囲】
【請求項1】
動画に含まれる複数のシーンを特定するシーン特定部と、
前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得部と、
前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた見所を検出する見所検出部と、
前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報を取得する操作情報取得部と、を備え、
前記シーン特定部は、前記動画を解析して前記シーンを特定するとともに、各前記シーンに対して当該シーンに関連するタグを付与し、
前記ユーザ特性取得部は、過去に視聴した前記動画に対する前記操作情報から、前記ジャンプ操作の前記ジャンプ先に対応する前記シーンの前記タグを抽出し、抽出された回数が第一値以上となる前記タグを前記ユーザ特性情報として取得し、
前記見所検出部は、前記ユーザ特性情報の前記タグが含まれる前記シーンを、前記見所として検出する
ことを特徴とする情報処理装置。
【請求項2】
請求項1に記載の情報処理装置において、
前記ユーザ特性情報は、前記ユーザの属性と、前記ユーザの前記動画に対する視聴傾向とを含み、
前記ユーザ特性取得部は、過去に視聴した前記動画に対する前記操作情報から、前記ジャンプ操作の前記ジャンプ先に対応する前記シーンの前記タグを抽出し、抽出された回数が第二値以上となる前記タグを前記ユーザの属性として取得する
ことを特徴とする情報処理装置。
【請求項3】
請求項2に記載の情報処理装置において、
前記ユーザの属性に基づいて前記ユーザが操作するユーザ端末にレコメンド情報を送信するレコメンド送信部をさらに備える
ことを特徴とする情報処理装置。
【請求項4】
請求項1から請求項3のいずれか1項に記載の情報処理装置において、
前記ユーザ特性取得部は、前記ユーザの属性を前記ユーザ特性情報としてさらに取得する
ことを特徴とする情報処理装置。
【請求項5】
請求項4に記載の情報処理装置において、
前記ユーザの属性は、前記ユーザのインターネット上における行動履歴を含む
ことを特徴とする情報処理装置。
【請求項6】
動画に含まれる複数のシーンを特定するシーン特定部と、
前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得部と、
前記ユーザを、前記ユーザの特性に応じて複数のグループのいずれかに分類するグループ分類部と、
前記ユーザが分類された前記グループに属する複数の前記ユーザであるグループメンバーの前記動画の視聴履歴に基づいて、前記動画内の複数の前記シーンのうちの前記ユーザの特性に応じた見所を検出する見所検出部と、を備え、
前記視聴履歴には、前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報が含まれ、
前記見所検出部は、前記グループメンバーの前記操作情報に基づいて、前記見所を検出する
ことを特徴とする情報処理装置。
【請求項7】
請求項6に記載の情報処理装置において、
前記見所検出部は、前記ユーザにより指定された再生対象動画を視聴した前記グループメンバーで共通する前記ジャンプ操作に基づいた前記見所を検出する
ことを特徴とする情報処理装置。
【請求項8】
請求項7に記載の情報処理装置において、
前記動画のカテゴリを解析するカテゴリ解析部を備え、
前記シーン特定部は、前記動画を解析して前記シーンを特定するとともに、各前記シーンに対して当該シーンに関連するタグを付与し、
前記見所検出部は、前記ユーザにより指定された前記再生対象動画と同一の前記カテゴリである類似動画を視聴した前記グループメンバーで共通する前記ジャンプ操作の、前記ジャンプ先の前記シーンに関連付けられた前記タグに基づいて、前記見所を検出する
ことを特徴とする情報処理装置。
【請求項9】
動画に含まれる複数のシーンを特定するシーン特定部と、
前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得部と、
前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた見所を検出する見所検出部と、
前記動画の前記見所に挿入する広告を選択する広告選択部と、
選択された前記広告を、前記見所の始まり位置を中心とした所定範囲内の位置に挿入して、前記ユーザが操作するユーザ端末に前記動画を送信する動画送信部と、を備える
ことを特徴とする情報処理装置。
【請求項10】
請求項9に記載の情報処理装置において、
前記広告選択部は、複数の前記広告を記憶する広告記憶部から、前記ユーザ特性情報に関連する前記広告を選択する
ことを特徴とする情報処理装置。
【請求項11】
請求項9または請求項10に記載の情報処理装置において、
前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報を取得する操作情報取得部を備え、
前記動画送信部は、前記ジャンプ操作の前記ジャンプ先に選択された前記広告を挿入した前記動画を送信する
ことを特徴とする情報処理装置。
【請求項12】
請求項11に記載の情報処理装置において、
前記動画送信部は、前記見所の始まり位置と、前記ジャンプ先との間が、所定の判定値以内である場合に、選択された前記広告を前記ジャンプ先に挿入した前記動画を送信する
ことを特徴とする情報処理装置。
【請求項13】
請求項12に記載の情報処理装置において、
前記判定値は、乱数である
ことを特徴とする情報処理装置。
【請求項14】
請求項11から請求項13のいずれか1項に記載の情報処理装置において、
前記動画送信部は、前記ジャンプ操作による前記ジャンプ先が前記見所に対応する位置であり、現在の再生位置と前記ジャンプ先との間が、所定値以上離れている場合に、選択された前記広告を前記ジャンプ先に挿入した前記動画を送信する
ことを特徴とする情報処理装置。
【請求項15】
コンピューターにより動画の見所を検出させる情報処理方法であって、
前記コンピューターは、シーン特定部と、ユーザ特性取得部と、見所検出部と、操作情報取得部と、を備え、
前記コンピューターは、
前記シーン特定部が、前記動画に含まれる複数のシーンを特定するシーン特定ステップと、
前記ユーザ特性取得部が、前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得ステップと、
前記見所検出部が、前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた前記見所を検出する見所検出ステップと、
前記操作情報取得部が、前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報を取得する操作情報取得ステップと、を実施し、
前記シーン特定ステップでは、前記動画を解析して前記シーンを特定するとともに、各前記シーンに対して当該シーンに関連するタグを付与し、
前記ユーザ特性取得ステップでは、過去に視聴した前記動画に対する前記操作情報から、前記ジャンプ操作の前記ジャンプ先に対応する前記シーンの前記タグを抽出し、抽出された回数が第一値以上となる前記タグを前記ユーザ特性情報として取得し、
前記見所検出ステップでは、前記ユーザ特性情報の前記タグが含まれる前記シーンを、前記見所として検出する
ことを特徴とする情報処理方法。
【請求項16】
コンピューターにより動画の見所を検出させる情報処理方法であって、
前記コンピューターは、シーン特定部と、ユーザ特性取得部と、グループ分類部と、見所検出部と、を備え、
前記コンピューターは、
前記シーン特定部が、前記動画に含まれる複数のシーンを特定するシーン特定ステップと、
前記ユーザ特性取得部が、前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得ステップと、
前記グループ分類部が、前記ユーザを、前記ユーザの特性に応じて複数のグループのいずれかに分類するグループ分類ステップと、
前記見所検出部が、前記ユーザが分類された前記グループに属する複数の前記ユーザであるグループメンバーの前記動画の視聴履歴に基づいて、前記動画内の複数の前記シーンのうちの前記ユーザの特性に応じた前記見所を検出する見所検出ステップと、を実施し、
前記視聴履歴には、前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報が含まれ、
前記見所検出ステップでは、前記グループメンバーの前記操作情報に基づいて、前記見所を検出する
ことを特徴とする情報処理方法。
【請求項17】
コンピューターにより動画の見所を検出させる情報処理方法であって、
前記コンピューターは、シーン特定部と、ユーザ特性取得部と、見所検出部と、広告選択部と、動画送信部と、を備え、
前記コンピューターは、
前記シーン特定部が、前記動画に含まれる複数のシーンを特定するシーン特定ステップと、
前記ユーザ特性取得部が、前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得ステップと、
前記見所検出部が、前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた前記見所を検出する見所検出ステップと、
前記広告選択部が、前記動画の前記見所に挿入する広告を選択する広告選択ステップと、
前記動画送信部が、選択された前記広告を、前記見所の始まり位置を中心とした所定範囲内の位置に挿入して、前記ユーザが操作するユーザ端末に前記動画を送信する動画送信ステップと、を実施する
ことを特徴とする情報処理方法。
【請求項18】
コンピューターにより読み込み実行される情報処理プログラムであって、
前記コンピューターを、請求項1から請求項14のいずれか1項に記載の情報処理装置として機能させる
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画を処理する情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、動画内の所定位置に広告を挿入する情報処理装置が知られている(例えば特許文献1参照)。
特許文献1に記載の情報処理装置(動画像解析装置)は、動画を解析して、シーンの切り替わりの位置を検出し、シーンの切り替わりの位置にCM(広告)を挿入する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2010-219929号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1に記載の装置では、シーンの切り替わりの全部または一部にCMを挿入することで、シーンの途中でCMが挿入される不都合を抑制することができる。しかしながら、シーンの切り替わりの全部にCMを挿入すると、シーンが切り替わるごとにCMが挿入されることになり、ユーザの動画視聴を阻害してしまう。
また、シーンの一部にCMを挿入する態様として、特許文献1では、再生開始から15分間隔でCMを挿入している。しかし、ユーザによっては、動画の途中をスキップし、見所のみを視聴するユーザも存在し、この場合、見所のシーンがCMの挿入対象ではない場合、ユーザにCMを視聴させることができない。すなわち、ユーザ毎に動画に対する見所が異なる場合があり、ユーザにとっての見所を判定できないと、ユーザにCMを視聴させることができず、広告効果が低下する。
【0005】
本発明は、ユーザの見所を適切に検出できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の情報処理装置は、動画に含まれる複数のシーンを特定するシーン特定部と、前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得部と、前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた見所を検出する見所検出部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明では、ユーザの特性に基づいて、動画内の見所となるシーンを検出するため、ユーザ毎に最適な見所を検出することができる。また、このような見所に対して広告を挿入することで、広告効果の向上を図ることができる。
【図面の簡単な説明】
【0008】
図1】第一実施形態の情報処理システムの概略構成を示す図。
図2】第一実施形態の情報処理装置であるサーバ装置の概略構成を示すブロック図。
図3】第一実施形態の情報処理方法に係る動画のシーン特定処理のフローチャート。
図4】第一実施形態の情報処理方法に係る動画送信処理のフローチャート。
図5】第一実施形態の情報処理方法に係る動画送信処理のフローチャート。
図6】第一実施形態の情報処理方法に係る見所検出処理のフローチャート。
図7】第一実施形態においてユーザ端末に表示される動画再生画面の一例を示す図。
【発明を実施するための形態】
【0009】
[第一実施形態]
以下、本発明に係る第一実施形態について説明する。
[1.情報処理システムの全体構成]
図1は、本実施形態の情報処理システム1の概略構成を示す図である。
図1に示すように、情報処理システム1は、本発明の情報処理装置であるサーバ装置10と、サーバ装置10にインターネットを介して接続されるユーザ端末20とを備えている。
この情報処理システム1では、ユーザ端末20からサーバ装置10に対して、動画の送信を要求する動画送信要求を送信することで、サーバ装置10は、要求送信元のユーザ端末20に動画(動画コンテンツ)を送信する。この際、サーバ装置10は、ユーザ毎に動画における見所を検出し、見所を示す情報と、動画に挿入する広告とを、動画とともに送信して、ユーザ端末20でストリーミング再生させる。ここで、サーバ装置10は、ユーザ端末20においてユーザが動画を最初から再生する旨の再生操作を実施した場合に、動画の開始位置に広告を挿入して動画を再生させる。また、サーバ装置10は、ユーザ端末20においてユーザが動画の再生位置を見所の位置に移動させるジャンプ操作(スキップ操作やバック操作)を実施した際に、動画の見所の部分に広告を挿入し、見所のシーンから動画を再生させる。
以下、このような情報処理システム1の各構成について詳細に説明する。
【0010】
[2.サーバ装置10の構成]
図2は、サーバ装置10の概略構成を示すブロック図である。
サーバ装置10は、コンピューターにより構成され、本発明の情報処理装置として機能する。このサーバ装置10は、通信部11と、記憶部12と、制御部13と、等を含んで構成されている。
通信部11は、例えばLAN等を介してネットワーク(インターネット)に接続されており、ユーザ端末20等と通信する。
【0011】
[2-1.記憶部12の構成]
記憶部12は、例えばメモリ、ハードディスク等により構成されたデータ記録装置である。この記憶部12は、ユーザ情報記憶部(ユーザDB121)、グループ記憶部(グループDB122)、動画情報記憶部(動画DB123)、及び広告記憶部(広告DB124)等を備えている。なお、ここでは、記憶部12にユーザDB121、グループDB122、動画DB123、及び広告DB124が設けられる例を示すが、サーバ装置10とネットワークを介して通信可能に接続されたデータサーバにこれらのデータベースが設けられ、適宜必要なデータをダウンロードする構成としてもよい。
また、記憶部12には、サーバ装置10を制御するための情報処理プログラム(ソフトウェア)が記録されている。
【0012】
[2-1-1.ユーザDB121に記憶される情報]
ユーザDB121は、本システムを利用するユーザに関する各種情報を記録したデータベースであり、個々のユーザ毎のユーザ情報が記憶されている。
このユーザ情報には、例えば、ユーザID、ユーザ名、ユーザ特性情報、視聴履歴、所属グループ等が含まれる。
ユーザIDは、ユーザを識別するための識別情報である。ユーザ名は、ユーザIDで特定されるユーザのアカウント名である。
【0013】
ユーザ特性情報は、ユーザの特性を示す様々な情報であり、例えば、ユーザ属性や、動画視聴傾向等が含まれる。
ユーザ属性は、例えば性別、年齢、居所、職業等のユーザを特定する個人情報の他、ユーザの趣味、特技、好物等が記録される。また、ユーザ属性として、ユーザの行動履歴が記録されていてもよい。行動履歴としては、例えば、検索エンジンを使用した際の検索キーワードの履歴や、ネットショッピングやネットオークションでの売買履歴等が挙げられる。また、クレジットカードの利用履歴や、POS端末からインターネットを介して取得される売買履歴、GPS等の位置検出装置によるユーザの移動経路履歴等が含まれてもよい。
【0014】
動画視聴傾向は、ユーザが視聴した動画の傾向であり、例えば、視聴された動画のカテゴリ、見所となるシーンから再生を行った際の見所のシーンのタグ(シーンタグ)等のキーワード情報が記録されている。なお、動画のカテゴリとは、その動画の種別を示すキーワードの他、動画の特徴と示すキーワード(例えば、動画に出演する出演者名、動画で使用される音楽の曲名やアーティスト名、動画の作成時期等)が含まれてもよい。また、シーンタグとは、動画内のシーンの特徴を示すキーワード情報であり、例えばシーンのカテゴリや、シーンに出演する出演者名や、シーンで使用される曲名やアーティスト名等を含む。
この動画のカテゴリは、例えば、ユーザが視聴した複数の動画のうち、所定数の動画が同じカテゴリである場合に、ユーザが好む動画の傾向として、その動画のカテゴリが記録される。同様に、ユーザが視聴した複数の動画のうち、所定数の動画において同じシーンタグが共通するシーンの位置にユーザがジャンプ操作を行った場合に、そのシーンタグが、ユーザが好むシーンの傾向として記録される。
【0015】
視聴履歴は、ユーザが視聴した動画、及びその動画に対してユーザが実施した操作の履歴である。この視聴履歴には、ユーザが視聴した動画を特定する情報(例えば動画ID)に、その動画に対してユーザが実施した操作に関する操作情報が関連付けられて記録される。例えば、視聴履歴には、動画を最初から再生したか、ユーザのジャンプ操作によって再生位置が変更されたか等の、当該再生位置(動画内のフレームの位置)を示す情報が含まれる。また、視聴履歴には、ジャンプ操作に応じた再生位置から再生された動画の時間や、同一の再生位置にジャンプ操作を行った回数等が含まれる。なお、本実施形態において、ジャンプ操作とは、現在の動画の再生位置よりも先の位置に再生位置を変更するスキップ操作、及び、現在の動画の再生位置より前の位置に再生位置を変更するバック操作を含む。
【0016】
所属グループは、ユーザが属するグループに関する情報であり、例えば、グループを識別するグループIDが記録される、所属グループとしては、複数のグループIDが記録されていてもよい。
【0017】
[2-1-2.グループDB122に記憶される情報]
グループDB122は、ユーザ特性に基づいてユーザを複数のグループに分類した際の各グループに関するグループ情報を記憶する。グループ情報には、グループID、所属ユーザ、共通特性、見所分類情報等の各情報が含まれる。
グループIDは、グループを特定する識別情報である。
所属ユーザは、グループに属するユーザを示す情報であり、例えばグループに所属するユーザのユーザIDが記録される。
共通特性は、グループに属するユーザで共通するユーザ特性情報を示す情報である。すなわち、共通特性には、所属するユーザの共通するユーザ属性や、共通する動画視聴傾向等が記録される。
【0018】
見所分類情報は、グループに属するユーザの視聴履歴に基づいた動画の視聴傾向や、見所の傾向を示す情報である。
この見所分類情報には、グループに属するユーザのうち、所定数以上(又は所定割合以上)のユーザにおいて共通する動画視聴傾向(動画カテゴリやシーンタグ)が記録される。
また、見所分類情報には、動画DB123に記録される各動画の見所が記録されている。つまり、動画を識別する動画IDと、その動画に対する見所となるシーンの始まりの位置(動画内のフレームの位置)とが関連付けられて記録される。
【0019】
[2-1-3.動画DB123に記憶される情報]
動画DB123は、ユーザ端末20に送信する動画やその動画に関する各種情報を含む動画関連情報が記録されている。動画関連情報には、動画ID、動画カテゴリ、シーン情報、動画コンテンツ等が含まれる。
動画IDは、動画を識別するための識別情報である。
動画カテゴリは、動画を特定するためのキーワード情報である。
【0020】
シーン情報は、動画に含まれる複数のシーンに関する情報であり、各シーンに対応するシーンID、シーン位置情報、シーンタグ等を含む。
シーンIDは、動画におけるシーンを特定する識別情報である。
シーン位置情報は、シーンの始まり位置を示す情報を記録する。また、シーンの終わり位置を示す情報等が含まれてもよい。なお、シーンの終わり位置は、次のシーンの始まり位置と一致するので、シーンの終わり位置が含まれていなくてもよい。
シーンの始まり位置(動画内のフレームの位置)を示す情報としては、例えば、動画の開始位置からシーンIDで特定されるシーンの始まり位置までの時間が記録されている。また、シーンの終わり位置を示す情報としては、例えば、動画の開始位置からシーンIDで特定されるシーンの終わり位置までの時間、またはシーンの始まり位置からシーンの終わり位置までの時間が記録されている。なお、本実施形態では、動画における所定の再生位置(シーン始まり位置等)を、動画における開始位置からの時間として示すが、これに限定されない。例えば、動画を構成する各フレーム画像を特定するフレーム番号であってもよい。
【0021】
動画コンテンツは、ユーザ端末20に送信されるコンテンツであり、複数のフレームと音声情報とにより構成された動画であって、例えばAVIやMP4等の動画形式のファイルである。なお、本明細書において、動画コンテンツを、単に動画と称す。
【0022】
[2-1-4.広告DB124に記憶される情報]
広告DB124は、動画内に挿入する広告に関する広告情報が記憶される。広告情報には、広告ID、広告商品、広告属性、及び広告コンテンツ等が含まれる。
広告IDは、広告情報を識別する識別情報である。
広告商品は、広告対象の商品の名称や商品のカテゴリに関する情報である。
広告属性は、広告送信対象のユーザの条件を記録する。広告属性としては、例えば広告主が希望する広告の配信対象のユーザ属性が記録される。
広告コンテンツは、動画内で再生する広告の動画または画像である。
【0023】
[2-2.制御部13の機能構成]
制御部13は、CPU(Central Processing Unit)等の演算回路、RAM(Random Access Memory)等の記録回路により構成される。制御部13は、記憶部12等に記録されている情報処理プログラムをRAMに展開し、RAMに展開されたプログラムとの協働により各種処理を実行する。そして、制御部13は、記憶部12に記録された情報処理プログラムを読み込み実行することで、図2に示すように、ユーザ登録部131、視聴傾向判定部132、グループ分類部133、操作情報取得部134、動画取得部135、動画解析部136(シーン特定部、カテゴリ解析部)、見所検出部137、広告選択部138、及び動画送信部139として機能する。
なお、本実施形態では、1台のサーバ装置10により情報処理装置が構成され、制御部13がユーザ登録部131、視聴傾向判定部132、グループ分類部133、操作情報取得部134、動画取得部135、動画解析部136(シーン特定部、カテゴリ解析部)、見所検出部137、広告選択部138、及び動画送信部139として機能する例を示すが、これに限定されない。例えば、通信可能に接続された複数のサーバ装置によって本発明の情報処理装置が構成されていてもよく、この場合、各機能に対応したサーバ装置を設けることで、処理負荷の軽減を図ることができる。
【0024】
ユーザ登録部131は、ユーザ端末20からユーザに関する情報を取得し、ユーザDB121のユーザ情報に登録する。つまり、ユーザ登録部131は、新規に情報処理システム1を利用するユーザのユーザ端末20から、ユーザ名、及びユーザ属性を受信し、新規のユーザIDを付与してユーザ情報を生成し、ユーザDB121に記憶する。また、既存ユーザのユーザ端末20から、ユーザIDとともに、ユーザ名、及びユーザ属性を受信すると、当該ユーザIDで特定されるユーザ情報のユーザ名やユーザ属性を更新する。
視聴傾向判定部132は、ユーザ情報に蓄積された視聴履歴に基づいて、ユーザの動画視聴傾向を判定する。
つまり、ユーザ登録部131は、ユーザ特性情報であるユーザ属性を取得し、視聴傾向判定部132は、ユーザ特性情報である動画視聴傾向を判定(取得)するものであり、これらのユーザ登録部131及び視聴傾向判定部132は、本発明のユーザ特性取得部に相当する。
【0025】
グループ分類部133は、ユーザDB121に記録される各ユーザ情報のユーザ特性情報に基づいて、ユーザを複数のグループに分類する。つまり、グループ分類部133は、ユーザ属性や動画視聴傾向に基づいた複数のグループに、各ユーザを分類し、各グループ情報の所属ユーザとしてユーザIDを記録する。また、ユーザ情報の所属グループに、ユーザが所属するグループのグループIDを記録する。
【0026】
操作情報取得部134は、ユーザ端末20において、ユーザが動画を視聴した場合に、その動画の動画IDと、ジャンプ操作等のユーザの動画に対する操作情報と、動画の再生時間とを含む視聴履歴を受信し、ユーザ情報に記録する。また、操作情報取得部134は、ユーザの動画に対する操作情報の他、ユーザのインターネット上における行動履歴を取得する。行動履歴としては、上述したように、例えば、検索キーワードの履歴や、電子商取引システムにおける売買履歴等である。
【0027】
動画取得部135は、ネットワーク上の所定の端末装置から動画を取得する。動画情報の取得先である端末装置は、例えば、ユーザ端末20であってもよく、動画を配信する企業等が管理する動画配信サーバであってもよい。
【0028】
動画解析部136は、本発明のシーン特定部、及びカテゴリ解析部として機能する。この動画解析部136は、取得した動画を解析し、動画内の複数のシーンを特定する。この際、動画解析部136は、動画を構成する複数のフレームに含まれる画像に基づいたシーン特定と、音声に基づいたシーン特定との双方を実施する。
また、動画解析部は、動画のカテゴリ、及び動画内の各シーンに対するシーンタグを特定する。
【0029】
見所検出部137は、ユーザ特性情報に基づいて、又は、ユーザ特性情報に基づくグループ情報に基づいて、各動画の見所を検出する。
広告選択部138は、動画の所定位置に挿入する広告を広告DB124から選択する。
動画送信部139は、動画及び広告をユーザ端末20に送信し、ユーザ端末20で再生させる。
なお、各機能構成の詳細な説明については後述する。
【0030】
[3.ユーザ端末20の構成]
ユーザ端末20は、ユーザが保有する端末装置であり、例えばスマートフォン、タブレット端末、パーソナルコンピューター等のコンピューターにより構成されている。ユーザ端末20の具体的な構成の図示は省略するが、ユーザ端末20は、一般的なコンピューターが有する基本的な構成を有する。すなわち、ユーザ端末20は、ユーザの操作を受け付ける入力操作部、画像情報を表示させるディスプレイ、各種情報を記録する記録装置、各種情報を演算処理する演算回路(CPU等)を備えている。
【0031】
[4.情報処理方法]
次に、情報処理システム1における処理について、特に、サーバ装置10における情報処理方法について説明する。
[4-1.動画のシーン特定処理]
図3は、第一実施形態の情報処理方法に係る動画のシーン特定処理のフローチャートである。
本実施形態の情報処理システム1では、サーバ装置10の動画取得部135は、ユーザ端末20で再生させる動画を、予め、動画を配信する配信者が操作する端末装置や動画配信サーバから受信する(ステップS1)。
【0032】
動画解析部136は、動画を受信すると、その動画を解析して複数のシーンを特定する(ステップS2)。
シーンの特定は、公知の技術を利用でき、例えば、フレーム画像を解析し、フレーム画像内に含まれる画像のエッジ部を検出して、複数のフレームに亘って、同じエッジ部が画像内に含まれる場合に、その連続するフレームを同一シーンとして特定する。この際、全てのフレームを解析対象とせず、例えばキーフレームのみをシーンの解析対象として抽出してもよい。また、動画によっては、例えば配信者によって動画に含まれる各シーンの位置が指定されている場合もある。この場合は、当該シーンを特定してもよい。
また、本実施形態では、動画解析部136は、動画に含まれる各フレーム画像に基づいたシーンのみならず、動画内の音声を解析し、音声に基づいてシーンを特定する。動画解析部136は、これらのフレーム画像に基づいたシーンの特定と、音声に基づいたシーンの特定との双方を実施することで、視覚的に動画を区分した複数のシーンと、聴覚的に動画を区分した複数のシーンとを特定することができる。この場合、例えば、フレーム画像に基づいたシーン特定で1つのシーンが検出されるパターンで、当該シーンの中で楽曲が切り替わる場合、動画解析部136は、フレーム画像に基づいた1つのシーンと、音声に基づいた2つのシーンとを特定することが可能となる。
【0033】
次に、動画解析部136は、特定した各シーンに対応するシーンタグを特定して、各シーンにタグ付けする(ステップS3)。
具体的には、動画解析部136は、各シーンのフレーム画像や音声を解析して、登場人物、動物、物品、背景、楽曲名やアーティスト名、効果音の種別、発声音の種別等を特定する。この解析処理としては、公知の画像認識技術や、音声認識技術を用いることができる。例えば、フレーム画像からシーンタグを特定する場合、フレーム画像から特徴量を算出し、予め記憶部12等に記憶されているサンプル画像の特徴量と比較することで、対象物を認識する。ディープラーニング等のAIによる機械学習を用いることで、高度に登場物を識別することができ、これにより、正確なシーンタグを各シーンに付与することができる。
音声認識技術に関しても、公知の技術を用いることができ、例えば音声の特徴データを、予め記憶部12等に記憶されたサンプルデータの特徴データと比較することで、発声主や、楽曲、アーティスト名を特定することができる。また、ディープラーニング等のAIを用いた機械学習により、正確な音声認識や、発声者の感情認識、発声内容の把握等も可能となり、正確なシーンタグを各シーンに付与することができる。
楽曲に対応するシーンタグとしては、その楽曲名やアーティスト名の他、楽曲のテンポや調を検出してもよい。この場合、例えば予め記憶部12に曲のテンポや調に対するシーンタグを記録したテーブルデータを記憶しておき、検出された楽曲のテンポや調に対するシーンタグを特定する。
【0034】
また、動画解析部136は、受信した動画のカテゴリを特定する(ステップS4)。
動画の配信者が、動画のカテゴリを示すタグを付与して動画をサーバ装置10にアップロードする場合があり、この場合、動画解析部136は、当該配信者に指定されたタグを、動画のカテゴリとすることができる。配信者によって動画のカテゴリが示されていない場合、動画に含まれるシーンタグのうち、付与数が最大のシーンタグを動画のカテゴリとして特定する。例えば、動画に含まれるシーンとして、「ホラー」といったシーンタグのシーンが多数含まれている場合、動画のカテゴリを「ホラー」とする。
【0035】
[4-2.動画送信処理]
次に、本実施形態の情報処理方法における動画送信処理について説明する。
図4及び図5は、本実施形態の動画送信処理を示すフローチャートである。
情報処理システム1を利用してユーザ端末20において動画を再生させる場合、サーバ装置10にユーザ情報が登録されている必要がある。ユーザ情報を登録する場合、ユーザは、ユーザ端末20を操作して、サーバ装置10にユーザ情報の登録または更新を要求するユーザ登録要求を送信する。つまり、ユーザ端末20は、ユーザ操作によってユーザ登録要求の送信を行う操作が入力されたか否かを判定する(ステップS11)。
【0036】
ステップS11でYesと判定されると、ユーザ端末20からサーバ装置10にユーザ登録要求が送信される。また、サーバ装置10のユーザ登録部131は、ユーザ端末20からユーザ登録要求を受信すると、ユーザ端末20に登録を促す案内コンテンツを送信する。そして、ユーザ端末20は、送信された案内コンテンツをディスプレイに表示させ、ユーザが案内コンテンツにしたがって、ユーザ登録情報を入力すると、ユーザ端末20は、サーバ装置10にそのユーザ登録情報を送信する(ステップS12)。
ユーザ登録部131は、ユーザ登録情報を受信すると、ユーザ情報を更新する(ステップS21)。
【0037】
具体的には、ユーザ登録部131は、ユーザ端末20から新規登録または登録情報の更新を要求する要求情報を取得すると、ユーザ端末20に案内コンテンツを送信し、ユーザ端末20のディスプレイ上に表示させる。
新規登録に関する案内コンテンツは、例えば、ユーザ名、及びユーザ属性の入力を促すコンテンツである。ユーザ登録部131は、新規登録の案内コンテンツにしたがって送信されたユーザ登録情報をユーザ端末20から受信すると、新規のユーザIDを付与してユーザ情報としてユーザDB121に登録する。
登録更新に関する案内コンテンツは、例えばユーザ端末20からユーザIDが送信されることで、サーバ装置10からユーザ端末20に送信され、ユーザ属性の入力を促すコンテンツである。ユーザ登録部131は、登録更新の案内コンテンツにしたがって送信されたユーザ登録情報をユーザ端末20から受信すると、対応するユーザIDのユーザ情報を更新する。
このステップS21により、サーバ装置10は、ユーザ特性情報の1つであるユーザ属性を取得する。
【0038】
なお、ユーザ端末20において、ステップS11においてNoと判定された場合、例えば、既にユーザ情報が登録されていて、登録情報の更新も行わない場合、ステップS12はスキップされ、ステップS13に進む。
【0039】
そして、サーバ装置10は、グループ分類処理を実施する(ステップS22)。なお、図4では、説明の簡略化のため、ステップS21の後に、ステップS22のグループ分類処理を実施しているが、このステップS22は一定周期毎、又はユーザにより動画が視聴される毎に実施される。すなわち、ステップS22のグループ分類処理は、ユーザ属性に加えて、ユーザの動画視聴傾向に基づいてユーザをグループに分類する。ユーザの動画視聴傾向は、ユーザが動画を視聴する毎に蓄積される視聴履歴に基づいて判定されるため、上記のように、一定周期毎またはユーザにより動画が視聴される毎にグループ分類処理を実施することで、ユーザ属性及び視聴履歴(動画視聴傾向)に基づいたグループ分類を実施することが可能となる。
【0040】
このステップS22では、グループ分類部133は、ユーザ属性と動画視聴傾向とに基づいて、ユーザがどのグループに属するかを判定し、ユーザ情報に記録される所属グループ、及びグループ情報に記録される所属ユーザを更新する。
例えば、ステップS21において、ユーザ属性に趣味「料理」が追加されるユーザ情報の更新が行われた場合、グループ分類部133は、共通特性に「料理」が含まれるグループ情報を検索する。また、グループ分類部133は、検索したグループ情報の共通特性として、その他の特性(例えばユーザ属性として「男性」、動画視聴傾向として「料理人R」)が記録されている場合、当該特性がユーザ情報のユーザ属性や動画視聴傾向に記録されているか否かを判定する。検索したグループ情報の共通特性がユーザ情報として記録されていない場合は、そのグループ情報を分類対象から除外する。このようにして、グループ分類部133は、共通特性に記録される各情報(タグやカテゴリ)が、ユーザ属性や動画視聴傾向に含まれる場合に、そのグループにユーザを属させる(分類する)。
【0041】
また、視聴傾向判定部132は、見所分類情報を更新する(ステップS23)。
ステップS23では、視聴傾向判定部132は、グループに属する複数のユーザ(グループメンバー)のユーザ情報に記録された視聴履歴を参照し、所定の第一数(所定の第一割合)以上のグループメンバーにおいて、共通して視聴された動画が有るか否かを判定する。さらに、視聴傾向判定部132は、特定された動画において、所定の第二数(所定の第二割合)以上のグループメンバーにおいて、同一シーンをジャンプ先としたジャンプ操作があるか否かを判定する。
つまり、視聴履歴において、動画の再生位置を変更するジャンプ操作が実施され、当該再生位置から所定時間以上の動画視聴が有った場合、その視聴されたシーンは、ユーザの興味が高いシーンである可能性が高く、ユーザにとっての見所となる。よって、視聴傾向判定部132は、第一数以上のグループメンバーが視聴された動画で、第二数以上のグループメンバーがジャンプ先としたシーンがある場合に、その動画の動画IDと、ジャンプ先のシーンの始まり位置(見所に対応するシーンの始まり位置)とを含む動画別見所分類情報を、見所分類情報に記録する。つまり、視聴傾向判定部132は、グループメンバーが共通してジャンプ先としたシーンを、その動画における共通の見所とする。
【0042】
また、視聴傾向判定部132は、所定の第三数(所定の第三割合)以上のグループメンバーにおいて、共通して視聴された動画のカテゴリが有るか否かを判定する。そして、視聴傾向判定部132は、同一カテゴリの動画を視聴したグループメンバーが第三数以上いる場合、これらの同一のカテゴリの動画で、所定の第四数(所定の第四割合)以上のグループメンバーで、同一のシーンタグのシーンをジャンプ先としたジャンプ操作があるか否かを判定する。視聴傾向判定部132は、第三数以上のグループメンバーに視聴された同一カテゴリの動画で、第四数以上のグループメンバーが同一のシーンタグのシーンをジャンプ先としたジャンプ操作が実施している場合に、その動画のカテゴリと、ジャンプ先のシーンのシーンタグとを含むカテゴリ別見所分類情報を、見所分類情報に記録する。つまり、視聴傾向判定部132は、グループメンバーが、共通して興味を持っているシーンタグをカテゴリ毎に検出する。
【0043】
そして、ユーザ端末20において、ユーザ操作により、動画を視聴する旨の操作が実施されると、ユーザ端末20は、サーバ装置10に動画送信要求を送信する(ステップS13)。つまり、ユーザ端末20は、ユーザ操作により、サーバ装置10がインターネット上に公開する動画紹介コンテンツにアクセスすることで、動画紹介コンテンツを受信する。動画紹介コンテンツは、再生可能な複数の動画を案内するコンテンツであり、ユーザは、ユーザ端末を操作して、複数の動画から所定の動画を検索したり、所定の動画を選択したりすることが可能となっている。ユーザ端末20において、所定の動画を選択する操作が行われると、ユーザ端末20は、選択された動画を再生対象動画とし、再生対象動画に対応する動画IDと、ユーザIDとを含む動画送信要求をサーバ装置10に送信する。
【0044】
サーバ装置10において、動画送信要求が受信されると(ステップS24)、見所検出部137は、再生対象動画に対する見所を検出する見所検出処理を実施する(ステップS25)。
【0045】
図6は、ステップS25の見所検出処理を示すフローチャートである。
見所検出処理では、見所検出部137は、動画送信要求で特定される再生対象動画が、動画送信要求を送信したユーザが初めて視聴する動画であるか否かを判定する(ステップS41)。ステップS41では、見所検出部137は、ユーザ情報の視聴履歴に、再生対象動画を視聴した旨の履歴が含まれているか否かを判定する。
ステップS41において、Yesと判定した場合、見所検出部137は、当該視聴履歴に含まれるユーザの動画に対する操作情報を参照し、ジャンプ操作が含まれ、かつ、ジャンプ先の位置から所定時間以上動画が再生された操作情報があるか否かを判定する(ステップS42)。ステップS42において、Yesと判定した場合、見所検出部137は、ジャンプ操作によって変更された再生位置(ジャンプ先)に対応するシーンを見所のシーンとして検出する(ステップS43)。
ステップS43において、ジャンプ先の位置が、シーンの途中である場合、当該シーンの次のシーンを見所として指定してもよい。なお、シーンの長さ(シーンの始まりから終わりまでの時間)に対するジャンプ先の位置に応じて、シーンを変更してもよい。例えば、ジャンプ先が、シーンの中心より後(後半)である場合、そのシーンに続く次のシーンを見所とし、再生位置が、シーンの中心より前(前半)である場合、再生位置に対応するシーンを見所としてもよい。
【0046】
ステップS42でNoと判定される場合、及び、ステップS41でNoと判定される場合、見所検出部137は、再生対象動画に、ユーザ特性に対応するシーンタグが関連付けられたシーンが有るか否かを判定する(ステップS44)。
ステップS44でYesと判定した場合、見所検出部137は、ユーザ特性に対応するシーンタグが関連付けられたシーンを、見所として検出する(ステップS45)。
【0047】
ステップS44でNoと判定した場合、見所検出部137は、視聴履歴に基づいて、再生対象動画と同一のカテゴリの動画の見所に対応するシーンが、再生対象動画に含まれているか否かを判定する(ステップS46)。
具体的には、見所検出部137は、視聴履歴に再生対象動画と同一のカテゴリの動画が含まれているか否かを判定する。そして、同一のカテゴリが含まれている場合に、その動画に対してジャンプ操作が実施され、かつ、再生時間が所定時間以上となる操作情報が有るか否かを判定する。そして、当該操作情報が有る場合に、そのジャンプ先に対応するシーンのシーンタグが、再生対象動画に含まれているか否かを判定する。
ステップS46でYesと判定した場合、見所検出部137は、同一のカテゴリの動画におけるジャンプ先のシーンタグが含まれる、再生対象動画のシーンを見所として検出する(ステップS47)。
つまり、本実施形態では、過去の視聴履歴に基づいて、各動画のジャンプ操作によるジャンプ先のシーンが見所の候補となり、その見所の候補のシーンタグを抽出する。この際、シーンタグののべ抽出回数がカウントされ、のべ抽出回数が所定数(第一値)以上のシーンタグが動画視聴傾向(ユーザの特性)として記録される。この動画視聴傾向に基づいた見所の抽出は、ステップS45によって実施される。一方、見所の候補のシーンタグとして抽出されたが、その抽出回数が少ないものは、動画視聴傾向に記録されない。そこで、本実施形態では、ステップS45による見所の抽出ができない場合に、見所の候補を動画の見所として検出する処理を実施する。
【0048】
ステップS46でNoと判定した場合、見所検出部137は、ユーザが属するグループのグループ情報を参照し、見所分類情報として、再生対象動画の動画IDを含む動画別見所分類情報が有るか否かを判定する(ステップS48)。つまり、本実施形態では、ユーザ自身の視聴履歴に基づいて見所を検出できない場合に、ユーザとユーザ特定情報が類似する他のユーザ(グループメンバー)の視聴履歴に基づいて見所の検出を行う。
ステップS48でYesと判定した場合、見所検出部137は、動画別見所分類情報に記録された見所を、再生対象動画の見所として検出する(ステップS49)。
【0049】
ステップS48でNoと判定した場合、見所検出部137は、グループ情報を参照し、見所分類情報として、再生対象動画と同一のカテゴリのカテゴリ別見所分類情報が含まれるか否かを判定する(ステップS50)。
ステップS50でYesと判定した場合、見所検出部137は、カテゴリ別見所分類情報に記録されたシーンタグが、再生対象動画に含まれているか否かを判定し(ステップS51)、含まれている場合は、そのシーンタグに対応するシーンを見所として検出する(ステップS52)。
【0050】
なお、ステップS50及びステップS51においてNoと判定した場合、見所検出部137は、ユーザ毎の見所を未設定として処理を返してもよく、動画の配信者によって予め設定された見所がある場合には、その見所をユーザに対する見所として設定してもよい。
【0051】
以上のようなステップS25の処理の後、広告選択部138は、動画に挿入する広告情報を選択する(ステップS26)。
具体的には、広告選択部138は、見所のシーンタグに対応する広告属性を有する広告情報を検索し、さらに、ユーザ属性等に基づいて広告情報を選択する。なお、本実施形態では、ジャンプ操作が実施されず、動画を最初から再生する場合は、動画の開始位置に広告を挿入する。したがって、動画の開始位置に挿入するための広告情報を別途選択してもよい。動画の開始位置に挿入する広告情報の選択としては、例えば、動画のカテゴリに基づいて広告情報を抽出し、さらに、ユーザ属性に基づいて、広告情報を絞り込むことが好ましい。
【0052】
この後、動画送信部139は、再生対象動画(動画コンテンツ)の送信を開始する(ステップS27)。この際、動画送信部139は、動画とともに、ステップS25の見所検出処理により検出された見所を示す位置の情報を同時に送信する。
なお、本実施形態では、ストリーミング再生によって動画を再生する例であり、サーバ装置10からユーザ端末20の動画送信と同時に、ユーザ端末20における動画の視聴が可能となる。
【0053】
図7は、本実施形態のユーザ端末20において、動画送信が開始された際の画面例である。
ユーザ端末20は、サーバ装置10から送信される動画を受信すると(ステップS14)、ディスプレイ21上に、図7に示すような、動画を再生させる動画再生画面21Aを表示させる。動画再生画面21Aには、動画表示枠21B、時間表示バー21C、再生位置カーソル21D、再生開始指示部21E、見所表示部21F等が含まれる。
動画表示枠21Bは、動画が表示される表示領域である。
時間表示バー21C及び再生位置カーソル21Dは、動画のトータル長さ(時間長)に対する現在の再生位置を示す。時間表示バー21Cにおける左端は、動画の開始位置を示し、右端は、動画の終了位置を示している。
再生開始指示部21Eは、動画の再生開始及び停止を指示するための表示ボタンである。
見所表示部21Fは、例えば、見所のシーンのサムネイル画像や、見所の位置(トータル長さに対する位置)を表示する。
【0054】
図7に示すような動画再生画面21Aにおいて、ユーザ操作によって、再生開始指示部21Eが選択されると、ユーザ端末20において、動画の再生を開始する旨の操作情報が生成されて、サーバ装置10に送信される。
また、時間表示バー21Cに対する再生位置カーソル21Dの位置を変更する操作が行われると、動画の再生位置を変更する操作情報(ジャンプ操作)が生成されてサーバ装置10に送信される。
したがって、図7のような、動画が配信された直後の状態において、ユーザによって、再生位置カーソル21Dの位置を変更せずに、再生開始指示部21Eが選択されると、動画を最初から再生する旨の操作情報がサーバ装置10に送信されることになる。
一方、ユーザによって、再生位置カーソル21Dの位置を変更されると、その再生位置カーソル21Dの位置に応じたシーンのサムネイル画像が、時間表示バー21Cの近傍に表示される。そして、ユーザが所望する再生位置に再生位置カーソル21Dが移動されて、再生開始指示部21Eが選択されると、その再生位置から動画を再生するジャンプ操作を含む操作情報がサーバ装置10に送信される。この際、再生位置カーソル21Dが見所表示部21Fの位置に移動されると、見所から動画を再生するジャンプ操作を含む操作情報がサーバ装置10に送信される。
【0055】
上記のように、ユーザ端末20は、ユーザ操作に基づいた操作情報を生成して、操作情報をサーバ装置10に送信する(ステップS15)。
サーバ装置10の操作情報取得部134は、ユーザ端末20から操作情報を受信すると(ステップS28)、動画送信部139は、動画を最初から再生させる旨の操作情報であるか否かを判定する(ステップS29)。
ステップS29でYesと判定した場合、動画送信部139は、動画の開始位置を広告の挿入位置とし(ステップS30)、開始位置に挿入するための広告情報から広告コンテンツを読み出して、ユーザ端末20に送信する。
これにより、ユーザ端末20では、広告コンテンツが再生された後、動画の本編が再生される。
【0056】
一方、ステップS29でNoと判定した場合(ジャンプ操作を含む操作情報を受信した場合)、動画送信部139は、ジャンプ先(再生位置の変更先)と、見所のシーン始まり位置との時間差を算出する(ステップS31)。そして、その時間差が、所定の判定値以内であるか否かを判定する(ステップS32)。ステップS32において、Yesと判定された場合に、見所へのジャンプ操作と判定して、ジャンプ先を広告挿入位置とする(ステップS33)。
これにより、ユーザ端末20では、広告コンテンツが再生された後、ユーザが指定した見所位置から動画が再生される。なお、広告の挿入位置は、ジャンプ先の位置であることが好ましいが、これに限定されず、見所のシーン始まり位置から所定範囲内の位置であればよく、例えば、見所のシーン始まり位置としてもよい。
また、本実施形態では、再生位置を、動画の開始位置からの経過時間として説明しているが、上述したように、動画を構成する各フレームのフレーム番号を再生位置として処理を実施してもよい。この場合、ステップS31では、見所のシーン始まり位置のフレーム番号と、ジャンプ先のフレーム番号との差、つまり、動画において、見所のシーン始まり位置のフレーム画像と、ジャンプ先のフレーム画像との間に配置されるフレーム画像の数を算出する。そして、ステップS32において、フレーム番号の差(間に配置されるフレーム画像の数)が所定の判定値以上であるか否かを判定すればよい。
【0057】
ステップS33で用いられる判定値としては、予め決まった値であってもよいが、所定の数値範囲内でランダムな値を採る乱数とすることが好ましい。乱数とすることで、意図的に広告を外して見所を視聴しようとするユーザ操作を抑制することができる。
そして、ステップS33でNoと判定される場合では、広告挿入が実施されない。つまり、本実施形態では、見所ではない位置にジャンプした場合は、広告挿入を行わない。
【0058】
この後、ユーザ端末20は、動画が終了したか否かを判定し(ステップS16)、動画を継続して視聴する場合(Noと判定される場合)、ステップS15に戻る。つまり、ユーザ端末20は、動画が終了するまで、ユーザが実施した操作を操作情報としてサーバ装置10に送信する。
同様に、サーバ装置10は、ステップS29からステップS33の処理の後、動画が終了したか否かを判定する(ステップS34)。ステップS34でNoと判定される場合は、ステップS28に戻る。
このため、ユーザによって、見所の位置へのジャンプ操作が実施される度に広告が挿入されることになる。なお、図7に示す例では、動画に対して1つのみの見所が設定されている例であるが、1つの動画に複数の見所が検出される場合もある。この場合、例えば、ユーザが見所に順にジャンプして動画を再生する操作を行えば、見所にジャンプする毎に広告が表示されることになる。
【0059】
また、ステップS34でYesと判定される場合、操作情報取得部134は、動画再生時に受信した操作情報を、再生された動画の動画IDと関連付けて、ユーザ情報の視聴履歴として記録(更新)する(ステップS35)。
そして、視聴傾向判定部132は、ユーザ情報に蓄積された視聴履歴に基づいて、ユーザの動画視聴傾向を判定する(ステップS36)。具体的には、視聴傾向判定部132は、視聴履歴に含まれる各動画に対する操作履歴に含まれるジャンプ操作を特定し、各動画のシーン情報からジャンプ先のシーンタグを抽出する。また、視聴傾向判定部132は、抽出したシーンタグのそれぞれののべ抽出回数をカウントする。例えば、動画A、動画B、及び動画Cにおいて「芸能人Y」とのシーンタグが抽出された場合は、シーンタグ「芸能人Y」ののべ抽出回数は3となる。ここで、動画Aの視聴履歴として、シーンタグが「芸能人Y」である見所へのジャンプ操作が2つ記録されている場合、動画A、動画B、動画Cのシーンタグ「芸能人Y」ののべ抽出回数は4となる。そして、視聴傾向判定部132は、のべ抽出回数が第一値以上となるシーンタグを、動画視聴傾向としてユーザ情報に記録する。すなわち、ステップS35により、視聴傾向判定部132により、ユーザ特性情報の1つである動画視聴傾向が取得される。
このようにして、ユーザが動画を視聴する毎にその視聴履歴が蓄積されることで、動画視聴傾向が更新され、次回の動画視聴時の見所検出処理での見所の検出精度が向上する。
【0060】
[5.本実施形態の作用効果]
本実施形態の情報処理装置であるサーバ装置10では、制御部13は、記憶部12に記憶される情報処理プログラムを読み込み実行することで、動画解析部136(シーン特定部)、ユーザ登録部131(ユーザ特性取得部)、視聴傾向判定部132(ユーザ特性取得部)、見所検出部137として機能する。動画解析部136は、動画に含まれる複数のシーンを特定する。ユーザ登録部131は、動画を視聴するユーザのユーザ属性を含むユーザ登録情報を取得してユーザ特性情報として記憶する。視聴傾向判定部132は、ユーザの動画の視聴履歴に基づいて、ユーザの動画視聴傾向を判定してユーザ特性情報として記録する。そして、見所検出部137は、動画に含まれる複数のシーンから、ユーザ特性情報に記録されたユーザ属性や動画視聴傾向に対応するシーンを見所として検出する。
このため、本実施形態では、ユーザの趣味や好物等の様々なユーザの属性や、ユーザの動画に対する視聴傾向に基づいて、見所を検出するので、各ユーザに対して、最適な見所を検出することができる。
【0061】
本実施形態では、動画解析部136は、動画のシーンを解析するとともに、各シーンのシーンタグを特定してシーンに関連付ける。そして、見所検出部137は、ユーザ特性情報に対応するシーンタグが含まれるシーンを見所として検出する。
このように、本実施形態では、各シーンにシーンタグが付されているので、ユーザ特性情報に対応するシーンを容易に特定することができる。また、各シーンの状況(明るいシーンや楽しいシーン等)のみでは、ユーザが望むシーンであるか否かの判定は困難となるが、キーワード情報であるシーンタグに基づいた見所の検出を行うことで、ユーザの望む見所の検出精度を向上させることができる。
【0062】
本実施形態のサーバ装置10では、制御部13は、動画内の再生位置を変更するジャンプ操作を含む操作情報を取得する操作情報取得部134としても機能する。そして、視聴傾向判定部132は、取得した視聴履歴のジャンプ先に対応するシーンのシーンタグを検出する。また、視聴傾向判定部132は、視聴履歴に記録された各動画に対して、ジャンプ先のシーンタグののべ抽出回数をカウントして、第一値以上である場合に、そのユーザの動画視聴傾向としてユーザ情報に記録する。
このように、ユーザの過去の動画の視聴実績から、ユーザの動画視聴傾向を判定することで、ユーザにとっての動画の見所を精度良く検出することができる。
【0063】
本実施形態では、制御部13は、複数のユーザを、ユーザ特性情報に応じて複数のグループに分類するグループ分類部133としても機能する。そして、見所検出部137は、ユーザが分類されたグループに属する複数の他のユーザ(グループメンバー)の動画の視聴履歴に基づいて、見所を検出する。
ユーザが属するグループの他のグループメンバーは、ユーザと同じようなユーザ特性を有しており、視聴履歴も類似したものとなり、動画に対して見所と感じるシーンや、好きな動画のカテゴリ等が類似する。したがって、グループメンバーの視聴履歴に基づいて見所を検出することで、ユーザが初めて視聴する動画に対しても、その見所を精度良く検出することができる。
【0064】
見所検出部137は、グループに属する複数のユーザの操作情報に基づいて、見所を検出する。
より具体的には、本実施形態では、視聴傾向判定部132は、各グループに対して、第一数以上のユーザが視聴した動画で、第二数以上のユーザが、同じシーンをジャンプ先とした操作情報を送信している場合、そのシーンを見所とした動画別見所分類情報を生成してグループ情報に記録し、見所検出部137は、この動画別見所分類情報に基づいて、見所を検出する。つまり、見所検出部137は、再生対象動画を視聴したグループメンバーの、当該再生対象動画に対する操作情報に、共通するジャンプ操作がある場合に、そのジャンプ先に対応するシーンを見所として検出する。
この場合、ユーザが、再生対象動画を始めてみる場合等、ユーザの視聴履歴に基づいた見所の検出が困難である場合でも、ユーザが属するグループの他のグループメンバーの視聴実績に基づいて、その動画に対する見所を好適に検出できる。
【0065】
さらには、本実施形態では、視聴傾向判定部132は、各グループに対して、第三数以上のユーザが視聴した同一カテゴリの動画で、第四数以上のユーザが、同じシーンをジャンプ先とした操作情報を送信している場合、そのシーンのシーンタグを、動画カテゴリと関連付けたカテゴリ別見所分類情報を生成してグループ情報に記録する。そして、見所検出部137は、このカテゴリ別見所分類情報に基づいて、見所を検出する。つまり、見所検出部137は、再生対象動画と同一カテゴリの動画(類似動画)を視聴したグループメンバーで、当該カテゴリの動画に対して共通するジャンプ操作が有る場合に、そのジャンプ操作のジャンプ先に対するシーンのシーンタグに基づいて、見所を検出する。
この場合、再生対象動画に対する動画別見所分類情報が記録されていない場合でも、グループメンバーの再生対象動画と同一カテゴリの動画に対するシーンタグに基づいて、見所を検出することができる。
【0066】
そして、本実施形態では、制御部13は、さらに、動画の見所に挿入する広告を選択する広告選択部138、及び、選択された広告を見所の始まり位置を中心とした所定範囲内の位置に挿入して送信する動画送信部139としても機能する。
これにより、ユーザが見所の位置にジャンプ操作を行った際に、動画に広告が挿入されることになる。動画の見所は、ユーザにとって興味度が高い部分であり、広告が挿入されていても広告を視聴する確率が高く、広告効果の向上を図れる。
【0067】
この際、広告選択部138は、ユーザ特性情報に基づいて、広告を選択する。このため、見所となるシーンや、ユーザ属性に対して関連性が高い広告が挿入される。つまり、見所となるシーンを視聴するユーザにとって興味度が高い広告を挿入することができるので、広告効果の更なる向上を図れる。
【0068】
そして、動画送信部139は、ジャンプ操作のジャンプ先が、見所の始まり位置を中心とした所定の判定値以内の位置である場合に、当該ジャンプ操作が見所へのジャンプ操作であるとして判定し、見所の始まり位置を中心とした所定範囲内の位置に挿入して動画を送信する。
つまり、図7に示すように、時間表示バー21Cに対する再生位置カーソル21Dの位置を移動させて、動画の再生位置(ジャンプ先)を指定する場合、見所のシーン始まり位置に再生位置カーソル21Dを移動させてジャンプ先を指定しても、シーン始まり位置からずれる場合がある。また、ユーザが意図的に、シーン始まり位置からずらして、再生位置カーソル21Dを移動させる場合もある。本実施形態では、このような場合でも、ジャンプ先が見所に対する移動であると判定することができ、見所から視聴するユーザに広告を視聴させることができる。
また、判定値としては、乱数を設定することが好ましい。これによって、ユーザが、広告が挿入されないように、ジャンプ先を調整することが困難となり、ユーザが意図的に広告を外して見所を視聴しようとする操作を抑制することができる。
さらに、動画送信部139は、ジャンプ操作によって指定されたジャンプ先の位置に広告を挿入する。例えば、見所の始まり位置に広告を挿入すると、見所の始まり位置よりも少し先の位置をジャンプ先と指定すると、広告が再生されない。これに対して、ジャンプ先を広告挿入位置とすることで、確実にユーザに広告を視聴させることができる。
【0069】
[第二実施形態]
次に、本発明の第二実施形態について説明する。
上述した第一実施形態では、ユーザ操作に、見所に対するジャンプ操作が含まれる場合に、必ず見所の位置に広告が挿入される例であるが、これに限定さない。すなわち、第二実施形態では、見所にジャンプした際の広告の再生条件が第一実施形態と異なり、条件によっては、見所にジャンプした場合でも広告が挿入されない点で上記第一実施形態と相違する。
【0070】
本実施形態では、図5のステップS33において、さらに、ジャンプ先へのジャンプ量に基づいた広告挿入判定を実施する。
第二実施形態では、図5のステップS33において、以下の処理を実施する。
つまり、本実施形態では、ステップS32においてYesと判定(操作情報に含まれるジャンプ操作が、見所へのジャンプ先であると判定)された場合、まず、現在の動画の再生位置からジャンプ先までの時間(ジャンプ先へのジャンプ量)を算出する。例えば、開始位置(00:00:00)から、見所に対応したジャンプ先(00:50:00)に移動する操作情報を受信した場合、ジャンプ量は50分となる。
【0071】
そして、算出されたジャンプ量が、予め設定された所定値以上である場合に、動画送信部139は、ジャンプ先を広告の挿入位置として、広告コンテンツを再生させた後、ジャンプ先から動画が再生されるように動画送信を行う。
なお、動画における再生位置をフレーム画像の配置順で判定する場合は、現在再生中のフレーム番号と、ジャンプ先のフレーム番号との差(または、現在再生中のフレーム画像と、ジャンプ先のフレーム画像との間に配置されるフレーム画像の数)を算出して、所定値以上であるか否かを判定すればよい。
【0072】
このような本実施形態では、見所に近い再生位置から、見所の位置にジャンプ操作を行った場合には、広告が挿入されず、現在の再生位置から見所の位置とが所定値以上離れている場合に、広告の挿入を行う。したがって、例えば、ユーザが何度も見所を繰り返して再生したい場合等に、見所にジャンプする毎に広告が挿入されることがなく、ユーザの動画視聴を妨げず、ユーザ満足度を向上させることができる。
【0073】
[その他の実施形態]
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
【0074】
[変形例1]
第二実施形態では、動画送信部139は、現在の再生位置から、ジャンプ操作によるジャンプ先までのジャンプ量を算出し、見所に近い再生位置から見所にジャンプした場合には、広告の挿入を行わない例を示した。これに対して、見所へのジャンプ回数によって、広告を挿入するか否かを判定してもよい。
例えば、動画送信部139は、見所へジャンプ操作が1回目である場合に、ジャンプ先(見所の始まり位置を中心とした所定範囲内)に広告を挿入し、同じ見所に対する2回目以降のジャンプ操作では、ジャンプ先での広告挿入を行わずに動画を送信してもよい。
【0075】
或いは、同じ見所へのジャンプ操作の回数によって、広告を挿入するか否かを判定してもよい。例えば、4k+1(kは0以上の整数)回目のジャンプ操作を取得した場合に、ジャンプ先に広告を挿入して動画送信を行い、それ以外(4k回目、4k+2回目,4k+3回目)のジャンプ操作を取得した場合には、広告を挿入せずにジャンプ先から動画が再生されるように動画送信を行ってもよい。
この際、動画のカテゴリやシーンタグによって、係数kを変更してもよい。例えば、シーンタグ「料理レシピ」が関連付けられた見所に対しては、k=5が設定され、シーンタグ「音楽」が関連付けられた見所に対しては、k=3が設定されていてもよい。
【0076】
また、ユーザ特性に基づいて、動画のカテゴリやシーンタグに対する係数kがユーザ毎に設定されていてもよい。例えば、上記実施形態では、動画視聴傾向は、視聴履歴に基づいて、ジャンプ先のシーンタグののべ抽出回数に基づいて設定される。のべ抽出回数が多いシーンタグは、ユーザが特に好むシーンであり、広告を挿入しても動画を視聴する傾向が高い。よって、のべ抽出回数に応じて係数kの値を小さくしてもよい。
【0077】
さらに、見所に対する広告挿入を行った際の、複数のユーザの操作情報に基づいて、係数kを変更してもよい。例えば広告を挿入した後、見所へのジャンプ回数が減少した場合係数kを大きくしてもよい。
【0078】
[変形例2]
ステップS50及びステップS51においてNoと判定された場合、見所を検出しないとしたが、これに限定されない。例えば、動画別見所分類情報やカテゴリ別見所分類情報としては登録されていないが、グループメンバーの視聴履歴に、再生対象動画に含まれるシーンタグを有するシーンをジャンプ先とした操作情報が有るか否かを判定して、ある場合にそのシーンタグを見所と検出してもよい。さらに、グループメンバー以外(ユーザ属性や動画視聴傾向が異なるユーザ)の視聴履歴に基づいて、見所を検出してもよい。
【0079】
[変形例3]
上記実施形態では、見所検出部137は、ユーザが動画に対する操作を行った際の操作情報(ジャンプ操作)に基づいて見所を検出する例を示したが、これに限定されない。
見所検出部137は、動画を視聴中の、ユーザのジャンプ操作以外の操作に基づいて見所を検出してもよい。例えば、動画の視聴画面、または別ウインドウに、検索ボックスを表示させ、検索ボックスで検索キーワードが入力されて、ユーザ端末20から検索要求を受信した場合に、検索要求を受信した際に再生されていたシーンのシーンタグを、動画視聴傾向に加えてもよい。または、動画の視聴終了後等に実施された検索処理の検索キーワードに対応するシーンタグを動画視聴傾向に加えてもよい。
また、動画再生時に、再生されているシーンのシーンタグを表示させ、ユーザによって当該シーンタグが選択されることで、シーンタグに関する検索処理が実施される態様としてもよい。この場合も同様に、見所検出部137は、選択されたシーンタグを動画視聴傾向に加えてもよい。
さらに、検索履歴の他、ネットショッピング等のユーザのインターネット上での行動履歴等に基づいて、見所を検出してもよい。
【0080】
また、上記例は、見所検出部137による、検索履歴等のインターネット上の行動履歴に基づいた見所の検出処理であるが、ユーザ特性取得部である視聴傾向判定部132がインターネット上の行動履歴に基づいてユーザ特性情報を取得してもよい。
つまり、上記実施形態では、操作情報取得部134は、動画に対する操作情報のほか、ユーザのインターネット上の行動履歴をも取得する。視聴傾向判定部132は、このようなインターネット上の行動履歴に基づいて、ユーザ属性を判定し、ユーザ情報に記録してもよい。例えば、ユーザが実施した検索処理において、同じ検索キーワードを用いた検索処理が複数回実施された場合、当該検索キーワードをユーザ特性情報として記録してもよい。また、ユーザの購入履歴において、複数回、同じ商品を購入している場合、当該購入された商品や商品カテゴリを、ユーザ特性情報として記録してもよい。
【0081】
また、視聴傾向判定部132は、インターネット上の行動履歴等に基づいたユーザ属性と、動画に対する操作情報のジャンプ操作に対応したシーンのシーンタグとに基づいて、ユーザ特性情報を取得してもよい。例えば、シーンタグと、ユーザ属性との関連度を示したタグ関連データベースを記憶部12に記憶しておく。そして、視聴傾向判定部132は、ジャンプ操作に対応したシーンのシーンタグのうち、ユーザ属性と関連度が高いシーンタグを抽出して、ユーザ特性情報として記録する。この場合、ユーザ特性情報に記録されている各ユーザ属性や、動画視聴傾向(シーンタグ)において、優先度を設定し、ユーザ属性と関連性が高いシーンタグに対する優先度を多より高くする等の処理を行ってもよい。
【0082】
具体例を挙げて説明すると、操作情報取得部134が、ユーザが視聴した動画に関して、「芸能人Y」「料理」「アーティストX」「曲名Z」のシーンタグを有するシーンをジャンプ先とした操作情報を取得する。また、操作情報取得部134は、当該ユーザの普段のインターネット上での行動履歴として、検索キーワードを「アイドル」とした複数回の検索処理を実施する旨の操作情報を取得しているものとする。ここで、タグ関連データベースとして、各シーンタグの検索キーワード「アイドル」に対する関連度として、「芸能人Y:1.0」、「料理:0.3」、「アーティストX:0.4」、「曲名Z:0.4」が記録されている場合、視聴傾向判定部132は、「芸能人Y」を動画視聴傾向のシーンタグとして抽出し、ユーザ特性情報を更新する。
【0083】
[変形例4]
第一実施形態では、複数の操作情報に基づいて、ジャンプ先のシーンタグを抽出し、のべ抽出回数が所定の第一値以上となったシーンタグを、動画視聴傾向として記録した。これに対して、のべ抽出回数が所定の第二値以上となったシーンタグを、ユーザ属性として、ユーザ情報に記録してもよい。ここで、第一値と第二値とは同じ数値であってもよく、異なる値であってもよい。同じ値である場合、のべ抽出回数が第一値以上となるシーンタグは、動画視聴傾向としても、ユーザ属性としても記録される。
また、第二値が第一値よりも大きくてもよい。この場合、視聴傾向判定部132は、抽出されたシーンタグののべ抽出回数が第一値以上となった場合に、当該シーンタグを動画視聴傾向として記録し、のべ抽出回数がさらに多い場合は、ユーザがより好む分野である可能性が高いので、ユーザ属性として記録する。
【0084】
また、サーバ装置10は、ユーザ情報に基づいたレコメンド情報をユーザ端末20に送信してもよい。この場合、サーバ装置10の制御部13は、ユーザ端末に、ユーザ情報に基づいたお勧め商品やお勧めサービスをレコメンドするレコメンド情報を送信するレコメンド送信部として機能する。このレコメンド送信部は、複数のレコメンド情報を記録するレコメンドDBから、ユーザ情報に対応したレコメンド情報を選択して、ユーザ端末20に送信する。
このような構成では、レコメンド情報を送信する際のユーザ属性と、過去の動画視聴履歴に基づいて、ユーザにとっての見所を高い精度で検出することができる。これに加え、過去の動画の視聴履歴に基づくユーザの好む見所に対応したキーワードが、ユーザ属性として追加されるので、レコメンド情報の配信においても、ユーザの好みに対応したレコメンド情報を高精度に選択することができ、ユーザ満足度をより高めることができる。
【0085】
[変形例5]
上記実施形態では、図6に示すように、ユーザが動画を初めて閲覧するものか否か、再生対象動画にユーザ特性に対応するシーンタグが含まれるか否か、再生対象動画が動画別分類見所情報に記録された動画であるか否か、再生対象動画のカテゴリに対応するカテゴリ別分類見所情報があり、そのシーンタグが再生対象動画に有るか否か、のそれぞれを順に判定して、見所を検出する例を示したが、これに限定されない。これらのうちの1つまたは複数の処理によって見所を検出してもよい。
【0086】
また、例えば、動画に対してユーザが実施した操作情報(ジャンプ操作)と、ユーザ特性情報と、を教師データとして蓄積し、動画ID及びユーザ特性情報を入力、再生対象動画に対する見所のシーンを出力とした学習モデルを機械学習により生成してもよい。この場合、見所検出部は、学習モデルに対して、動画ID及びユーザ特性情報を入力するだけで、見所を検出することができる。
さらに、上記実施形態では、ユーザ特性情報は、ユーザ属性及び動画視聴傾向である例を示したが、操作情報を含む動画の視聴履歴がユーザ特性情報に含まれてもよい。この場合、見所検出部は、ユーザ属性、過去に視聴した動画のカテゴリ、及び、その動画に対して実施したジャンプ操作から、再生対象動画において、ユーザがジャンプ操作するシーン(見所)を推測する学習モデルを用いて、見所を検出する。
【0087】
[変形例6]
上記実施形態では、サーバ装置10は、ユーザ端末20で動画をストリーミング方式で送信する例を示し、ストリーミング再生中の動画に対してユーザが操作を行った際に、ステップS28からステップS33の処理を実施することで、見所に広告を挿入した。これに対して、ストリーミング方式ではなく、プログレッシブダウンロード方式による動画を送信してもよい。
この場合、動画送信部139は、動画の開始位置や、見所の位置に広告を挿入した動画コンテンツを生成して、ユーザ端末20に送信すればよい。また、動画に対する操作を実施した際の広告挿入動作を制御するプログラムを動画に組み込んで送信してもよい。
【0088】
その他、本発明の実施の際の具体的な構造及び手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【符号の説明】
【0089】
1…情報処理システム、10…サーバ装置(情報処理装置)、12…記憶部、13…制御部、20…ユーザ端末、21…ディスプレイ、21A…動画再生画面、21B…動画表示枠、21C…時間表示バー、21D…再生位置カーソル、21F…見所表示部、131…ユーザ登録部(ユーザ特性取得部)、132…視聴傾向判定部(ユーザ特性取得部)、133…グループ分類部、134…操作情報取得部、135…動画取得部、136…動画解析部(シーン特定部)、137…見所検出部、138…広告選択部、139…動画送信部。
図1
図2
図3
図4
図5
図6
図7