IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2023-180357特定制御装置、配信システム、特定制御方法および特定制御プログラム
<>
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図1
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図2
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図3
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図4
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図5
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図6
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図7
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図8
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図9
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図10
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図11
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図12
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図13
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図14
  • 特開-特定制御装置、配信システム、特定制御方法および特定制御プログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180357
(43)【公開日】2023-12-21
(54)【発明の名称】特定制御装置、配信システム、特定制御方法および特定制御プログラム
(51)【国際特許分類】
   H04N 21/854 20110101AFI20231214BHJP
   H04N 21/24 20110101ALI20231214BHJP
【FI】
H04N21/854
H04N21/24
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022093590
(22)【出願日】2022-06-09
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】鈴木 進吾
(72)【発明者】
【氏名】木村 誠宏
(72)【発明者】
【氏名】杉本 悠紀子
(72)【発明者】
【氏名】眞榮城 圭里
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164MB13S
5C164MC01P
5C164PA43
5C164SB04S
5C164SB41P
5C164YA21
(57)【要約】
【課題】特定の人物の顔が撮像されていない場面や特定の人物の顔が撮像されていない動画についても、特定の人物の登場部分を特定して、登場部分を視聴者に提供することを可能にする。
【解決手段】
特定制御装置は、人物情報を受信し、動画を記憶している動画記憶装置から、人物情報が示す人物に関連する動画を取得し、取得された動画から、前記人物の映像を含む部分である部分映像を特定し、動画のどの位置に部分映像が含まれているかを示す情報である部分映像位置情報を特定し、前記人物の音声を含む部分である部分音声を特定し、動画のどの位置に部分音声が含まれていかを示す情報である部分音声位置情報を特定し、部分映像および部分音声の少なくともいずれかに該当する部分である登場部分が動画のどの位置に含まれているかを示す登場部分情報に、部分映像位置情報と部分音声位置情報とを含めて、登場部分情報記憶手段に記憶させる。
【選択図】 図1
【特許請求の範囲】
【請求項1】
人物を示す情報である人物情報を受信する受信部と、
映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得する動画取得部と、
取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定する映像特定部と、
取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定する音声特定部と、
取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる制御部と
を備える特定制御装置。
【請求項2】
前記音声特定部は、前記部分映像を用いて、前記人物の音声を識別可能な情報である音声特徴情報を取得し、前記音声特徴情報を用いて、前記部分音声を特定する、
請求項1に記載の特定制御装置。
【請求項3】
前記音声特定部は、前記部分映像の中から、撮像されている人物が一人である部分を抽出し、抽出された部分の音声に基づいて、前記音声特徴情報を取得する、
請求項2に記載の特定制御装置。
【請求項4】
前記音声特定部は、一または複数の前記動画について、前記人物の音声を識別可能な情報である音声特徴情報を取得する箇所を指定する情報を受信し、前記音声特徴情報を取得する箇所を指定する情報で指定された箇所の音声から前記音声特徴情報を取得する、
請求項1に記載の特定制御装置。
【請求項5】
前記音声特定部は、さらに、前記部分音声を文字情報に変換し、前記部分音声の文字情報を、前記登場部分情報と対応付けて、前記登場部分情報記憶手段に記憶させる、
請求項1に記載の特定制御装置。
【請求項6】
請求項1から請求項5のいずれかに記載の特定制御装置と、
前記登場部分情報記憶手段と、
表示制御装置と
を備え、
前記表示制御装置は、視聴者端末によって指定された人物である視聴対象人物の前記人物情報に対応する前記登場部分情報を前記登場部分情報記憶手段から取得して、取得した前記登場部分情報に関する情報を、動画一覧画像として、前記視聴者端末に表示させる、
配信システム。
【請求項7】
前記表示制御装置は、前記動画を前記動画記憶装置から取得して、前記登場部分でない部分をスキップしながら、前記登場部分の前記動画を前記視聴者端末に再生させる、
請求項6に記載の配信システム。
【請求項8】
前記表示制御装置は、前記登場部分の前記動画を前記動画記憶装置から取得して、前記登場部分の前記動画を前記視聴者端末に再生させる、
請求項6に記載の配信システム。
【請求項9】
人物を示す情報である人物情報を受信し、
映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得し、
取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定し、
取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定し、
取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる、
特定制御方法。
【請求項10】
コンピュータに、
人物を示す情報である人物情報を受信する受信機能と、
映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得する動画取得機能と、
取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定する映像特定機能と、
取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定する音声特定機能と、
取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる制御機能と
を実現させる特定制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特定制御装置等に関する。
【背景技術】
【0002】
特定の人物が登場している動画を視聴したい場合、一般的には、視聴者は、まず、特定の人物が登場している動画の名称などを、情報検索サイトなどで検索する。そして、視聴者は、動画配信サイトなどを利用して、特定の人物が登場している動画を視聴する。動画配信サイトは、映画や放送番組などの動画を配信する。
【0003】
特定の人物が登場している部分だけを視聴したい場合、まず、視聴者は、視聴する動画を始点から再生する。そして、視聴者は、特定の人物が登場していないシーンを、早送り再生する。視聴者は、特定の人物が登場しているシーンを発見すると、通常再生を行う。しかし、早送り再生の際、特定の人物が登場していることに気づかず、視聴者が登場シーンを早送り再生してしまう可能性がある。
【0004】
そのため、特定の人物が登場していない部分をスキップして、特定の人物が登場している部分を視聴できることが望まれている。この機能は、動画提供元(放送局など)にとっても、多くの動画が視聴されることにつながり、収入増につながる可能性がある。
【0005】
これに関連する技術として、特許文献1から特許文献3に記載された技術がある。これらの技術では、動画の中から、検出対象の人物が撮像されている場面を検出し、検出された場面の再生を行う。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2013-098997号公報
【特許文献2】特開2010-257450号公報
【特許文献3】特開2009-181216号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1から特許文献3に記載されている技術では、検出対象の人物の顔画像に基づいて、人物が撮像されている場面が検出される。そのため、その人物の顔が撮像されていない場面や動画、たとえば、その人物の声だけが登場している場面、その人物が後ろ向きで話している場面、アニメ作品などは、検出されない。
【0008】
本発明の目的は、上記課題を鑑み、特定の人物の顔が撮像されていない場面や特定の人物の顔が撮像されていない動画についても、特定の人物の登場部分を視聴者に提供することを可能にする特定制御装置等を提供することにある。
【課題を解決するための手段】
【0009】
本発明の一態様において、特定制御装置は、人物を示す情報である人物情報を受信する受信部と、映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得する動画取得部と、取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定する映像特定部と、取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定する音声特定部と、取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる制御部とを備える。
【0010】
また、本発明の他の態様において、特定制御方法は、人物を示す情報である人物情報を受信し、映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得し、取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定し、取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定し、取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる。
【0011】
また、本発明の他の態様において、特定制御プログラムは、コンピュータに、人物を示す情報である人物情報を受信する受信機能と、映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得する動画取得機能と、取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定する映像特定機能と、取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定する音声特定機能と、取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる制御機能とを実現させる。
【発明の効果】
【0012】
本発明によれば、特定の人物の顔が撮像されていない場面や特定の人物の顔が撮像されていない動画についても、特定の人物の登場部分を視聴者に提供することが可能になる。
【図面の簡単な説明】
【0013】
図1】本発明の第一の実施形態の特定制御装置の構成例を示す図である。
図2】本発明の第一の実施形態の特定制御装置の動作フローの例を示す図である。
図3】本発明の第二の実施形態の特定制御装置を含むシステムの構成例を示す図である。
図4】本発明の第二の実施形態の特定制御装置の構成例を示す図である。
図5】本発明の第二の実施形態の登場部分情報の例を示す図である。
図6】本発明の第二の実施形態の動画一覧画像の例を示す図である。
図7】本発明の第二の実施形態のオプション画像の例を示す図である。
図8】本発明の第二の実施形態の操作パネル画像の例を示す図である。
図9】本発明の第二の実施形態の設定メニュー画像の例を示す図である。
図10】本発明の第二の実施形態の特定制御装置の動作フローの例を示す図である。
図11】本発明の第二の実施形態の特定制御装置の動作フローの例を示す図である。
図12】本発明の第二の実施形態の特定制御装置の動作フローの例を示す図である。
図13】本発明の第二の実施形態の特定制御装置の動作フローの例を示す図である。
図14】本発明の第二の実施形態の表示制御装置の動作フローの例を示す図である。
図15】本発明の各実施形態のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0014】
[第一の実施形態]
本発明の第一の実施形態について説明する。第一の実施形態における特定制御装置10の具体的な一例が、後述する第二の実施形態における特定制御装置20である。
【0015】
図1に本実施形態の特定制御装置10の構成例を示す。本実施形態の特定制御装置10は、受信部11と動画取得部12と映像特定部13と音声特定部14と制御部15とを含む。
【0016】
受信部11は、人物情報を受信する。人物情報は、人物を示す情報である。
【0017】
動画取得部12は、動画記憶装置から、人物情報が示す人物に関連する動画を取得する。動画記憶装置は、動画を記憶している。動画は、映像情報と音声情報とを含む。
【0018】
映像特定部13は、取得された動画から、部分映像を特定する。部分映像は、人物情報が示す人物の映像を含む部分である。また、映像特定部13は、部分映像位置情報を特定する。部分映像位置情報は、動画のどの位置に部分映像が含まれているかを示す情報である。
【0019】
音声特定部14は、取得された動画から、部分音声を特定する。部分音声は、人物情報が示す人物の音声を含む部分である。また、音声特定部14は、部分音声位置情報を特定する。部分音声位置情報は、動画のどの位置に部分音声が含まれているかを示す情報である。
【0020】
制御部15は、取得された動画について、登場部分情報を登場部分情報記憶手段に記憶させる。登場部分情報は、登場部分が動画のどの位置に含まれているかを示す情報である。登場部分は、部分映像および部分音声の少なくともいずれかに該当する部分である。登場部分情報記憶手段は、登場部分情報を記憶する。このとき、制御部15は、人物情報と動画情報とに対応付けて、登場部分情報を登場部分情報記憶手段に記憶させる。動画情報は、動画に関する情報である。また、制御部15は、登場部分情報に、部分映像位置情報と部分音声位置情報とを含めて、登場部分情報記憶手段に記憶させる。
【0021】
次に、図2に本実施形態の特定制御装置10の動作フローの例を示す。
【0022】
受信部11は、人物情報を受信する(ステップS101)。
【0023】
動画取得部12は、動画記憶装置から、人物情報が示す人物に関連する動画を取得する(ステップS102)。
【0024】
映像特定部13は、取得された動画から、部分映像を特定する。また、映像特定部13は、部分映像位置情報を特定する(ステップS103)。
【0025】
音声特定部14は、取得された動画から、部分音声を特定する。また、音声特定部14は、部分音声位置情報を特定する(ステップS104)。
【0026】
制御部15は、取得された動画について、登場部分情報を登場部分情報記憶手段に記憶させる(ステップS105)。このとき、制御部15は、登場部分情報に、部分映像位置情報と部分音声位置情報とを含めて、登場部分情報記憶手段に記憶させる。
【0027】
以上で説明したように、本発明の第一の実施形態では、特定制御装置10は、受信部11と動画取得部12と映像特定部13と音声特定部14と制御部15とを含む。受信部11は、人物情報を受信する。人物情報は、人物を示す情報である。動画取得部12は、動画記憶装置から、人物情報が示す人物に関連する動画を取得する。動画記憶装置は、動画を記憶している。動画は、映像情報と音声情報とを含む。映像特定部13は、取得された動画から、部分映像を特定する。部分映像は、人物情報が示す人物の映像を含む部分である。また、映像特定部13は、部分映像位置情報を特定する。部分映像位置情報は、動画のどの位置に部分映像が含まれているかを示す情報である。音声特定部14は、取得された動画から、部分音声を特定する。部分音声は、人物情報が示す人物の音声を含む部分である。また、音声特定部14は、部分音声位置情報を特定する。部分音声位置情報は、動画のどの位置に部分音声が含まれているかを示す情報である。制御部15は、取得された動画について、登場部分情報を登場部分情報記憶手段に記憶させる。登場部分情報は、動画のどの位置に登場部分が含まれているかを示す情報である。登場部分は、部分映像および部分音声の少なくともいずれかに該当する部分である。登場部分情報記憶手段は、登場部分情報を記憶する。このとき、制御部15は、人物情報と動画情報とに対応付けて、登場部分情報を登場部分情報記憶手段に記憶させる。動画情報は、動画に関する情報である。また、制御部15は、登場部分情報に、部分映像位置情報と部分音声位置情報とを含めて、登場部分情報記憶手段に記憶させる。
【0028】
このように、特定制御装置10は、部分映像位置情報と部分音声位置情報とを特定し、部分映像位置情報と部分音声位置情報とを登場部分情報に含めて、登場部分情報記憶手段に記憶させる。これにより、表示制御装置は、登場部分情報記憶手段に記憶されている登場部分情報を参照して、登場部分情報に関する情報を視聴者端末に表示させることが可能になる。また、表示制御装置は、登場部分情報を参照して、登場部分を視聴者に提供することができる。そのため、特定の人物の顔が撮像されていない場面や特定の人物の顔が撮像されていない動画についても、特定の人物の登場部分を視聴者に提供することが可能になる。
【0029】
[第二の実施形態]
次に、本発明の第二の実施形態における特定制御装置20について説明する。第一の実施形態における特定制御装置10の具体的な一例が、第二の実施形態における特定制御装置20である。
【0030】
まず、図3に、本実施形態の特定制御装置20を含む配信システム80の構成例を示す。配信システム80は、特定制御装置20、抽出エンジン30、登場部分情報記憶手段40および表示制御装置50を含む。特定制御装置20は、抽出エンジン30と登場部分情報記憶手段40とに接続される。また、特定制御装置20は、動画記憶装置60-i(iは1以上N以下の整数)に接続される。表示制御装置50は、登場部分情報記憶手段40に接続される。また、表示制御装置50は、動画記憶装置60-iに接続される。視聴者端末70は、表示制御装置50に接続されることができる。
【0031】
動画記憶装置60-iは、動画を蓄積している。動画は、映像情報と音声情報とを含む。動画は、たとえば、映画や放送番組などであるが、これらに限られない。また、動画記憶装置60-iは、特定制御装置20から要求された動画を、特定制御装置20へ送信する。また、動画記憶装置60-iは、表示制御装置50から要求された動画を、表示制御装置50へ送信する。動画記憶装置60-iは、たとえば、放送局や映画配信事業者などによって提供される。動画記憶装置60-iを提供する事業者を、配信事業者とよぶことがある。
【0032】
視聴者端末70は、動画を視聴したい視聴者によって利用される端末である。視聴者端末70は、たとえば、スマートフォン、携帯電話機、パーソナルコンピュータ等の通信装置である。視聴者端末70は、視聴者によって視聴が希望されている動画の情報、たとえば、視聴が希望されている人物の情報を、表示制御装置50に入力することができる。また、視聴者端末70は、再生開始、再生停止といった、動画の再生操作に関する指示を、表示制御装置50に入力することができる。動画は、表示制御装置50経由で、動画記憶装置60-iから視聴者端末70に提供される。
【0033】
特定制御装置20および抽出エンジン30については、後述する。
【0034】
登場部分情報記憶手段40は、登場部分情報を記憶する。登場部分情報は、人物情報と動画情報とに対応付けられている。人物情報は、人物を示す情報である。動画情報は、動画に関する情報である。登場部分情報は、動画のどの位置に登場部分が含まれているかを示す情報である。登場部分は、部分映像および部分音声の少なくともいずれかに該当する部分である。部分映像位置情報は、動画のどの位置に部分映像が含まれているかを示す情報である。部分音声位置情報は、動画のどの位置に部分音声が含まれているかを示す情報である。部分映像は、動画のうち、人物情報が示す人物の映像を含む部分である。部分映像は、動画のうち、人物情報が示す人物の音声を含む部分である。
【0035】
表示制御装置50は、視聴者端末70から人物情報が入力された場合に、入力された人物情報に対応付けられている登場部分情報を、登場部分情報記憶手段40から取得する。そして、登場部分情報に関する情報を、視聴者端末70に提供する。また、表示制御装置50は、動画を動画記憶装置60-iから取得して視聴者端末70に再生させる。表示制御装置50の詳細については後述する。
【0036】
次に、図4に、本実施形態の特定制御装置20の構成例を示す。特定制御装置20は、受信部21、動画取得部22、映像特定部23、音声特定部24および制御部25を含む。
【0037】
受信部21は、人物情報を受信する。人物情報は、人物を示す情報である。特定制御装置20の記憶部(不図示)には、あらかじめ、登場部分情報の作成対象の人物の人物情報のリストが記憶されている。このリストを、以降、抽出人物リストとよぶ。抽出人物リストは、たとえば、有名な俳優、政治家、タレント等の人物情報である。受信部21は、抽出人物リストから人物情報を読み込むことで、人物情報を受信する。
【0038】
動画取得部22は、動画記憶装置60-iから、人物情報が示す人物に関連する動画を取得する。ここでの人物情報は、受信部21が受信した人物情報である。人物情報が示す人物に関連する動画を取得することを、以降、動画取得とよぶことがある。動画取得部22は、人物情報が示す一人の人物について、関連する動画を取得する。一人の人物について、動画取得部22が動画取得を行い、後述の映像特定部23、音声特定部24および制御部25の処理が行われると、受信部21が新たに別の人物の人物情報を受信する。そして、新たな人物について、動画取得部22、映像特定部23、音声特定部24および制御部25の処理が行われる。
【0039】
動画記憶装置60-iは、動画を記憶している。動画は、映像情報と音声情報とを含む。また、動画記憶装置60-iは、動画と対応付けて、メタデータを記憶している。メタデータは、出演者情報などのテキストデータである。また、動画記憶装置60-iは、動画と対応付けて、動画の作品名、話数、制作年などのデータも記憶している。
【0040】
動画取得部22は、たとえば、以下のように、動画取得を行う。動画取得部22は、人物情報として、たとえば、人物名を動画記憶装置60-iに送信する。そして、動画記憶装置60-iから、メタデータに当該人物名が含まれる動画が、動画取得部22に送信される。動画取得部22は、動画記憶装置60-iから送信された動画を受信する。
【0041】
なお、古い動画の場合、メタデータが存在しない場合がある。そのため、特定制御装置20は、さらに、メタデータ抽出部(不図示)を備えていてもよい。メタデータ抽出部は、動画記憶装置60-iの各々から、メタデータがない動画を受信する。そして、メタデータ抽出部は、動画の最後部などに存在するテロップを文字認識し、認識した文字データをメタデータとして動画記憶装置60-iに記憶させてもよい。なお、メタデータ抽出部は、動画取得部22が動画取得を行うより前に、メタデータの抽出を行うとよい。
【0042】
動画記憶装置60-iには、膨大な数の動画が記憶されている可能性がある。この場合に、動画記憶装置60-iに記憶されているすべての動画から動画取得を行うと、動画取得や、映像特定部23における部分映像の特定や、音声特定部24における部分音声の特定に時間がかかる可能性がある。そのため、動画取得部22は、人物名に加えて制作年を動画記憶装置60-iに対して指定し、指定した制作年に該当する動画の中から動画取得を行ってもよい。たとえば、動画取得部22は、初めて動画取得を行う場合には、過去10年分の動画を取得し、次に、さらに10年分ずつさかのぼって動画を取得するようにしてもよい。また、動画取得部22は、制作年とは異なる基準で取得する動画の範囲を指定してもよい。たとえば、動画取得部22は、視聴された回数が多い順や、放送番組の場合には放送した際の視聴率が高い順などで、動画を取得してもよい。この場合、動画記憶装置60-iは。各々の動画に対応付けて、視聴された回数や視聴率の情報を記憶している。
【0043】
また、動画記憶装置60-iに記憶されているすべての動画を対象とした動画取得が完了しても、その後、新たな動画が動画記憶装置60-iに追加される可能性がある。そのため、動画取得部22は、所定時間おき(1日1回や1週間に1回など)に、動画取得を再度行ってもよい。この場合、動画取得部22は、すでに取得されて、人物情報に対応する登場部分情報が登場部分情報記憶手段40に記憶されている動画については、取得の対象外とするとよい。
【0044】
映像特定部23は、動画取得部22によって取得された動画について、部分映像を特定する。部分映像は、人物情報が示す人物の映像を含む部分である。また、映像特定部23は、部分映像位置情報を特定する。部分映像位置情報は、動画のどの位置に部分映像が含まれているかを示す情報である。
【0045】
より具体的には、映像特定部23は、動画取得部22によって取得された動画を、抽出エンジン30に入力する。抽出エンジン30は、入力された動画に基づいて、部分映像を特定し、部分映像位置情報を特定する。
【0046】
抽出エンジン30は、たとえば、人物情報が示す人物の顔画像に基づいて部分映像を特定することができる。この場合、たとえば、映像特定部23は、顔画像と動画とを抽出エンジン30に入力してもよい。また、この場合、特定制御装置20の記憶部(不図示)には、抽出人物リストの人物情報と対応付けて、人物情報が示す人物の顔画像が記憶されていてもよい。
【0047】
また、抽出エンジン30は、たとえば、顔画像の入力を必要としない方法で、部分映像を特定してもよい。この場合、映像特定部23は、動画取得部22によって取得された複数の動画を抽出エンジン30へ入力する。抽出エンジン30は、たとえば、入力された複数の動画のうち、より多くの動画に登場している人物を部分映像の特定対象の人物として、部分映像を特定してもよい。
【0048】
部分映像位置情報は、たとえば、動画の始点からの再生時間によって、部分映像の位置を示すものであってもよい。なお、動画の始点からの再生時間を、以降、タイムコードとよぶことがある。部分映像位置情報は、たとえば、部分映像の開始位置のタイムコードと、部分映像の終了位置のタイムコードとを含む。
【0049】
抽出エンジン30が部分映像位置情報を特定すると、映像特定部23は、部分映像位置情報を抽出エンジン30から受信する。
【0050】
制御部25は、映像特定部23が部分映像位置情報を抽出エンジン30から受信すると、受信した部分映像位置情報を登場部分情報に含める。そして、制御部25は、登場部分情報を、人物情報および動画情報に対応付けて、登場部分情報記憶手段40に記憶させる。動画情報は、動画に関する情報である。動画情報は、たとえば、動画の提供元の動画記憶装置名、作品名、話数、制作年などを含む。
【0051】
図5に、登場部分情報記憶手段40に記憶される登場部分情報の例を示す。図5の例では、人物情報として人物名「俳優A」が記憶されている。また、動画記憶装置名、作品名、制作年が、動画情報として記憶されている。また、登場部分情報として、タイムコードが記憶されている。登場部分情報は、タイムコードとともに、映像部分であるか、音声部分であるか、映像部分かつ音声部分であるかを示す情報を含んでいてもよい。
【0052】
また、映像特定部23は、部分映像から、サムネイル画像を生成してもよい。映像特定部23は、部分映像の始点における映像、始点から所定時間後の映像、部分映像のうち動きが小さい部分の映像などから、サムネイル画像を生成することができる。また、制御部25は、登場部分情報と対応付けて、サムネイル画像を登場部分情報記憶手段40に記憶させてもよい。
【0053】
音声特定部24は、動画取得部22によって取得された動画から、部分音声を特定する。部分音声は、人物情報が示す人物の音声を含む部分である。また、音声特定部24は、部分音声位置情報を特定する。部分音声位置情報は、動画のどの部分に部分音声が含まれているかを示す情報である。
【0054】
たとえば、音声特定部24は、映像特定部23で特定された部分映像が存在する場合には、当該部分映像を用いて、人物情報が示す人物の音声特徴情報を取得する。音声特徴情報は、声紋パターンなど、人物の音声を識別可能な情報である。なお、音声特徴情報の取得は、抽出エンジン30によって実施されてもよい。
【0055】
より具体的には、音声特定部24は、映像特定部23で特定された部分映像の中から、撮像されている人物が一人である部分を抽出する。そして、抽出された部分の音声に基づいて、音声特徴情報を取得する。抽出エンジン30が、部分映像の各々について、撮像されている人物の人数の情報を付与できることも考えられる。その場合には、音声特定部24は、当該情報に基づいて、撮像されている人物が一人である部分を抽出してもよい。また、音声特定部24は、抽出した音声特徴情報を、人物情報に対応付けて、記憶部に記憶させてもよい。
【0056】
そして、音声特定部24は、取得した音声特徴情報と動画とを抽出エンジン30に入力する。抽出エンジン30は、部分音声を特定し、また、部分音声位置情報を特定する。
【0057】
部分音声位置情報は、たとえば、動画の始点からの再生時間によって、部分音声の位置を示すものであってもよい。部分音声位置情報は、たとえば、部分音声の開始位置のタイムコードと、部分音声の終了位置のタイムコードとを含む。
【0058】
声優など、部分映像が抽出されない可能性がある人物については、あらかじめ、特定制御装置20の記憶部に、抽出人物リストの人物情報と対応付けて、人物情報が示す人物の音声特徴情報が記憶されていてもよい。または、音声特定部24は、一または複数の動画について、音声特徴情報を取得する箇所を指定する情報を受信し、当該情報で指定された箇所の音声から音声特徴情報を取得してもよい。この場合、動画取得部22は、音声特徴情報を取得する箇所を管理者が指定するための画像を、管理者用端末(不図示)に表示させてもよい。
【0059】
制御部25は、音声特定部24が部分音声位置情報を抽出エンジン30から受信すると、受信した部分音声位置情報を登場部分情報に含めて、登場部分情報記憶手段40に記憶させる。同じ人物情報および同じ動画情報に対応付けられている登場部分情報が登場部分情報記憶手段40にすでに記憶されている場合には、制御部25は、部分音声位置情報を登場部分情報に追加する。人物情報に対応付けられている登場部分情報が登場部分情報記憶手段40に記憶されていない場合には、制御部25は、人物情報と動画情報とに対応付けて、部分音声位置情報を登場部分情報に含めて、登場部分情報記憶手段40に記憶させる。また、制御部25は、動画情報に対応付けられている登場部分情報が登場部分情報記憶手段40に記憶されていない場合にも、人物情報と動画情報とに対応付けて、部分音声位置情報を登場部分情報に含めて、登場部分情報記憶手段40に記憶させる。
【0060】
また、音声特定部24は、さらに、部分音声を文字情報に変換してもよい。なお、文字情報への変換は、文字起こしともよばれる。この場合、抽出エンジン30は、さらに、文字起こしの機能を備えていてもよい。また、抽出エンジン30は、部分音声の特定に続き、または、部分音声の特定と並行して、文字起こしを行ってもよい。抽出エンジン30は、部分音声の特定と並行して文字起こしを行う場合、まず、部分音声以外の部分についても文字起こしを行い、部分音声として特定された部分の文字情報を、部分音声の文字情報として出力する。また、音声特定部24または抽出エンジン30は、音声特徴情報に基づいて、人物情報が示す人物の音声のみの文字起こしを行ってもよい。
【0061】
制御部25は、登場部分情報と対応付けて、部分音声の文字情報を登場部分情報記憶手段40に記憶させる。
【0062】
次に、本実施形態の表示制御装置50について説明する。
【0063】
表示制御装置50は、視聴者端末70からの要求に応じて、動画記憶装置60-iから動画を取得し、視聴者端末70に表示させる。表示制御装置50には、視聴者が動画を視聴したい人物の人物情報が入力される。なお、視聴者が動画を視聴したい人物は、視聴対象人物と呼ばれることがある。また、視聴対象人物の人物情報を、視聴対象人物情報と呼ぶことがある。表示制御装置50は、視聴対象人物情報に対応付けられている登場部分情報を登場部分情報記憶手段40から取得し、登場部分情報に関する画像を、視聴者端末70に表示させる。
【0064】
図6に、表示制御装置50が視聴者端末70に表示させる動画一覧画像の例を示す。動画一覧画像は、視聴対象人物に関する動画の一覧を含む。動画一覧画像は、図6の例では、視聴対象人物が登場する部分のタイムコードを含む。タイムコードの欄には、登場部分のタイムコードが示される。また、図6の例のように、動画一覧画像は、サムネイル画像を含んでいてもよい。
【0065】
また、図6の例のように、動画一覧画像は、視聴者がどこまで動画を視聴したかの情報を含んでいてもよい。この場合、表示制御装置50は、どこまで動画を視聴したかの情報を、視聴者に関する情報である視聴者情報として、登場部分情報記憶手段40または表示制御装置50の記憶部(不図示)に記憶させておく。そして、表示制御装置50は、視聴済みの動画の情報として、視聴済みであることを示す。また、表示制御装置50は、登場部分の各々について、視聴済みか否かを示してもよい。
【0066】
また、動画一覧画像は、図6の例のように、登場部分の合計時間の情報を含んでいてもよい。また、動画一覧画像は、視聴済みの時間の情報や、合計時間から視聴済みの時間を引いた残り時間の情報を含んでいてもよい。
【0067】
また、表示制御装置50は、図6の例のように、共有された回数や「いいね」の回数を、動画一覧画像に表示させてもよい。なお、「いいね」は、視聴者が動画に好感を持った場合に視聴者端末70から表示制御装置50に入力される。この場合、表示制御装置50は、記憶部に記憶されている共有回数や「いいね」の回数を、動画一覧画像に表示させる。共有や「いいね」の方法については、後述する。
【0068】
なお、動画一覧画像は、たとえば、作品名の順、制作年や注目度によって、動画の情報をソートしたものであってもよい。注目度は、たとえば、共有回数や「いいね」の回数であってもよい。
【0069】
また、動画一覧画像は、図6の例のように、新たに見つかった動画があることを示す表示を含んでいてもよい。
【0070】
表示制御装置50は、登場部分情報記憶手段40から、視聴者端末70によって指定された視聴対象人物の人物情報に対応する登場部分情報を登場部分情報記憶手段40から取得して、登場部分情報に関する情報を動画一覧画像として視聴者端末70に表示させる。このとき、表示制御装置50は、視聴者ごとに、視聴者情報を記憶部に記憶させる。視聴者情報は、登場部分情報記憶手段40から取得した登場部分情報と、動画がどこまで視聴されたかの情報を含む。視聴者情報に含まれる登場部分情報は、人物情報ごとに記憶される。表示制御装置50は、登場部分情報を登場部分情報記憶手段40から取得すると、まず、記憶部に記憶されている視聴者情報に含まれている登場部分情報と比較する。記憶部に記憶されている登場部分情報は、前回登場部分情報を取得したときの情報である。そして、今回取得した登場部分情報に、前回取得した登場部分情報にはない動画が含まれている場合、表示制御装置50は、新たに見つかった動画があることを示す表示を、動画一覧画像に表示させる。また、表示制御装置50は、視聴者情報を最新に更新する。
【0071】
表示制御装置50は、動画一覧画像に動画情報が含まれる動画を動画記憶装置60-iから取得して、視聴者端末70に再生させる。動画単位での購入またはレンタルの場合には、表示制御装置50は、登場部分でない部分をスキップしながら、登場部分を視聴者端末70に再生させる。登場部分単位での購入またはレンタルの場合には、表示制御装置50は、登場部分の動画を動画記憶装置60-iから取得して、視聴者端末70に再生させる。
【0072】
また、表示制御装置50は、視聴者端末70からの要求に応じて、オプション画像を視聴者端末70に表示させてもよい。図7にオプション画像の例を示す。オプション画像は、動画再生や動画検索に関する設定のための画像である。表示制御装置50は、オプション画像の設定に従って動作する。オプション画像は、たとえば、どこから動画を再生するかの設定を含んでいてもよい。
【0073】
また、オプション画像は、CM(Commercial Message)として、視聴対象人物が登場する映像を使用するか否かの設定を含んでいてもよい。視聴対象人物が登場する映像を使用することが設定されている場合、表示制御装置50は、CM配信装置(不図示)から、視聴対象人物が登場しているCMを取得して、視聴者端末70に表示させる。なお、CMの表示のタイミングは、任意であり、あらかじめ表示制御装置50に設定されている。
【0074】
また、オプション画像は、後ろ姿やアニメなど、視聴対象人物が声だけで登場している部分(部分音声に該当するが、部分映像には該当しない部分)を飛ばして再生するか否かの設定を含んでいてもよい。また、オプション画像は、通常どおり動画を再生するか、または、文字情報だけ見るかの設定を含んでいてもよい。
【0075】
また、表示制御装置50は、視聴者端末70からの要求に応じて、操作パネル画像を視聴者端末70に表示させてもよい。操作パネル画像は、動画の再生に関する操作のための画像である。表示制御装置50は、操作パネル画像に対する操作に従って動画を再生する。
【0076】
図8に、操作パネル画像の例を示す。「シーン」と表示されている操作アイテムは、登場部分単位で再生操作を行うための操作アイテムである。また「作品」と表示されている操作アイテムは、作品(動画)単位で再生操作を行うための操作アイテムである。
【0077】
表示制御装置50は、操作パネル画像に基づいて入力される操作指示に応じて、動画を動画記憶装置60-iから取得し、再生する。また、登場部分情報記憶手段40は、動画がどこまで視聴されたかの情報を、記憶部に記憶させる。
【0078】
また、操作パネル画像は、共有のための操作アイテムを含んでいてもよい。共有のための操作アイテムに対する操作が行われたことに応じて、共有の指示が入力されると、表示制御装置50は、再生中の動画の情報を、共有先へ共有する。共有先は、たとえば、SNS(Social Networking Service)である。表示制御装置50は、共有先として指定された共有先へ、作品名や、タイムコードの情報を送信する。また、記憶部に記憶されている、共有回数の情報を更新する。なお、共有回数は、動画ごとまたは登場部分ごとに記憶される。
【0079】
また、操作パネル画像は、「いいね」のための操作アイテムを含んでいてもよい。「いいね」のための操作アイテムに対する操作が行われたことに応じて、「いいね」の指示が入力されると、表示制御装置50は、再生中の動画について、記憶部に記憶されている「いいね」の回数の情報を更新する。
【0080】
また、表示制御装置50は、視聴者端末70からの要求に応じて、設定メニュー画像を視聴者端末70に表示させてもよい。図9に設定メニュー画像の例を示す。設定メニュー画像は、動画配信に関する設定のための画像である。
【0081】
設定メニュー画像は、契約されていない配信事業者によって提供される動画の視聴に関する設定を含んでいてもよい。この設定は、視聴対象人物の登場部分情報に、契約されていない配信事業者が提供する動画記憶装置の動画が含まれる場合の、契約処理に関する設定である。「自動で契約」が設定されている場合、表示制御装置50は、あらかじめ設定されている契約情報を配信事業者に送信し、契約を行う。「確認してくれ」が設定されている場合、表示制御装置50は、契約するか否かを視聴者に問い合わせる画像を視聴者端末70に表示させる。「見ない」が設定されている場合、表示制御装置50は、契約されていない動画記憶装置の動画については、動画記憶装置から取得しない。なお、この場合、記憶部が記憶する視聴者情報は、さらに、契約に関する情報を含む。
【0082】
また、設定メニュー画像は、配信事業者と視聴者の間の契約の解除に関する設定を含んでいてもよい。この設定は、たとえば、n日以上視聴していない動画記憶装置の契約期限が到来する場合の解約に関する設定である。表示制御装置50は、「自動で解約」が設定されている場合、解約する旨の情報を配信事業者に送信する。また、「期限切れそうな時、通知してくれ」が設定されている場合、表示制御装置50は、解約するか否かを視聴者に問い合わせる画像を視聴者端末70に表示させる。また、「契約したままでいい」が設定されている場合、表示制御装置50は、契約を継続する旨の情報を配信事業者に送信する。なお、解約されるまで契約が自動で更新される場合には、表示制御装置50は、契約を継続する旨の情報を配信事業者に送信しなくてもよい。
【0083】
また、設定メニュー画像は、現在加入している配信事業者の情報を含んでいてもよい。この場合、設定メニュー画像は、さらに、動画の視聴に関する料金の情報、たとえば、契約月額の情報を含んでいてもよい。
【0084】
また、設定メニュー画像は、契約の際に使用される情報、たとえば、契約の際に登録するクレジットカードの情報を含んでいてもよい。
【0085】
次に、図10から図13に、本実施形態の特定制御装置20に関する動作フローの例を示す。図10は、特定制御装置20の動作の概要を示す。図11は、部分映像位置情報の特定に関する動作フローである。図12は、部分音声位置情報の特定に関する動作フローである。図13は、文字起こしに関する動作フローである。図11から図13は、図10のステップS203の、より具体的な動作フローである。
【0086】
まず、図10を用いて、本実施形態の特定制御装置20の動作の概要について説明する。
【0087】
特定制御装置20の動画取得部22は、まず、取得範囲を指定する(図10のステップS201)。取得範囲については後述する。
【0088】
次に、受信部21は、人物情報を受信する(ステップS202)。受信部21は、抽出人物リストから一人分の人物情報を読み込むことで、人物情報を受信する。
【0089】
また、人物情報が示す人物について、動画取得部22が動画を取得し、映像特定部23が部分映像を特定し、音声特定部24が部分音声を特定する(ステップS203)。ステップS203で行われる動作については後述する。
【0090】
そして、抽出人物リストに登録されているすべての人物情報が示す人物についてステップS203が行われると(ステップS204でYES)、動画取得部22は、ステップS201を実施する。
【0091】
ステップS201における取得範囲は、動画取得部22によって動画記憶装置60-iから取得される動画の範囲である。たとえば、初めてステップS202からステップS204を実施する場合、動画取得部22は、過去10年分の動画を、取得範囲とする。また、ステップS202からステップS204を二回目以降に実施する場合には、動画取得部22は、さらに、10年分ずつさかのぼって、取得範囲とする。また、新たな動画が動画記憶装置60-iに追加される可能性がある。そのため、過去方向のすべての年が取得範囲として指定された後も、動画取得部22は、所定時間おき(1日1回、1週間に1回など)に、ステップS201からステップS204を実施するとよい。この場合、動画取得部22は、すでに取得されて、部分映像や部分音声の特定がされている動画については、取得の対象外とするとよい。部分映像や部分音声がされているかどうかは、動画取得部22は、登場部分情報記憶手段40に記憶されている登場部分情報により把握することができる。
【0092】
次に、図11を用いて、本実施形態の特定制御装置20の、部分映像位置情報の特定に関する動作フローについて説明する。
【0093】
動画取得部22は、動画記憶装置60-i(iは1からNの整数)から、人物情報が示す人物に関連する動画を取得する。ここでの人物情報は、受信部21が受信した人物情報である。より具体的には、動画取得部22は、人物情報が示す人物の人物名と、ステップS201で指定された取得範囲とを、動画記憶装置60-iに送信する(ステップS301)。そして、動画記憶装置60-iから、取得範囲に含まれる動画のうち、メタデータに当該人物名が含まれる動画が、動画取得部22に送信される。動画取得部22は、動画記憶装置60-iから送信された動画を受信する(ステップS302)。なお、取得範囲に含まれる動画とは、取得範囲が制作年による範囲である場合、取得範囲が示す年に制作された動画である。また、動画取得部22は、当該人物についてすでに取得したことがある動画については、取得しない。
【0094】
映像特定部23は、動画取得部22によって取得された動画について、部分映像を特定する。また、映像特定部23は、部分映像位置情報を特定する。
【0095】
より具体的には、映像特定部23は、動画取得部22によって取得された動画を、抽出エンジン30に入力する(ステップS303)。抽出エンジン30は、入力された動画に基づいて、部分映像を特定し、部分映像位置情報を特定する(ステップS304)。
【0096】
抽出エンジン30が部分映像位置情報を特定すると、映像特定部23は、部分映像位置情報を抽出エンジン30から受信する(ステップS305)。
【0097】
制御部25は、登場部分情報を、人物情報および動画情報に対応付ける。また、制御部25は、人物情報および動画情報が対応付けられた登場部分情報を、登場部分情報記憶手段40に記憶させる。このとき、制御部25は、受信した部分映像位置情報を登場部分情報に含め、登場部分情報を登場部分情報記憶手段40に記憶させる(ステップS306、ステップS307)。
【0098】
次に、図12を用いて、本実施形態の特定制御装置20の、部分音声位置情報の特定に関する動作フローについて説明する。
【0099】
音声特定部24は、人物情報が示す人物について、映像特定部23で特定された部分映像が存在する場合には、当該部分映像を用いて、当該人物の音声特徴情報を取得する(ステップS308)。音声特定部24は、一または複数の動画について、音声特徴情報を取得する箇所を指定する情報を受信し、当該情報で指定された箇所の音声から音声特徴情報を取得してもよい。
【0100】
そして、音声特定部24は、ステップS308で取得された音声特徴情報と、動画取得部22によって取得された動画とを、抽出エンジン30に入力する(ステップS309、ステップS310)。音声特定部24は、人物情報と音声特徴情報とがあらかじめ記憶部に記憶されている場合には、記憶部に記憶されている音声特徴情報を、抽出エンジン30に入力してもよい。
【0101】
抽出エンジン30は、部分音声を特定し、また、部分音声位置情報を特定する(ステップS311)。
【0102】
制御部25は、音声特定部24が部分音声位置情報を抽出エンジン30から受信すると(ステップS312)、受信した部分音声位置情報を、登場部分情報記憶手段40に記憶されている登場部分情報に追加する(ステップS313、ステップ314)。人物情報に対応付けられている登場部分情報が登場部分情報記憶手段40に記憶されていない場合には、制御部25は、人物情報と動画情報とに対応付けて、部分音声位置情報を登場部分情報に含めて、登場部分情報記憶手段40に記憶させる。また、制御部25は、動画情報に対応付けられている登場部分情報が登場部分情報記憶手段40に記憶されていない場合にも、人物情報と動画情報とに対応付けて、部分音声位置情報を登場部分情報に含めて、登場部分情報記憶手段40に登場部分情報を記憶させる。
【0103】
また、音声特定部24は、さらに、部分音声の文字起こしを行ってもよい。図13を用いて、文字起こしにおける特定制御装置20の動作フローについて説明する。
【0104】
まず、特定制御装置20は、動画取得部22によって取得された動画を抽出エンジン30に入力する(ステップS315)。なお、抽出エンジン30が、ステップS310で入力された動画を用いて文字起こしを行うことができる場合には、ステップS315は省略されてもよい。抽出エンジン30は、部分音声についての文字起こしを行う(ステップS316)。そして、抽出エンジン30は、部分音声の文字情報を特定制御装置20に送信する(ステップS317)。
【0105】
制御部25は、登場部分情報と対応付けて、部分音声の文字情報を登場部分情報記憶手段40に記憶させる(ステップS318、ステップS319)。
【0106】
次に、図14に、本実施形態の表示制御装置50の動作フローを示す。
【0107】
表示制御装置50は、視聴者端末70からの要求に応じて、動画記憶装置60-iから動画を取得し、視聴者端末70に表示させる。表示制御装置50には、視聴者が動画を視聴したい人物の人物情報が入力される(ステップS401)。表示制御装置50は、入力された人物情報に対応付けられている登場部分情報を登場部分情報記憶手段40から取得し(ステップS402、ステップS403)、登場部分情報に関する動画一覧画像を、視聴者端末70に表示させる(ステップS404)。
【0108】
また、表示制御装置50は、視聴者端末70からの再生要求に応じて(ステップS405)、動画記憶装置60-iへ再生要求を行い(ステップS406)、動画記憶装置60-iから動画を取得する(ステップS407)。視聴者端末70から表示制御装置50への再生要求は、動画一覧画像に対する視聴者の操作や、操作パネル画像に対する視聴者の操作によって行われる。また、表示制御装置50から動画記憶装置60-iへの再生要求は、動画一覧画像の動画が自動的に順に再生される場合は、次の動画が再生する際にも行われる。
【0109】
そして、表示制御装置50は視聴者端末70に動画を再生させる(ステップS408、ステップS409)。なお、表示制御装置50は、動画がどこまで視聴されたかを示す情報を、表示制御装置50の記憶部または登場部分情報記憶手段40に記憶させる。
【0110】
以上で説明したように、本発明の第二の実施形態では、特定制御装置20は、受信部21と動画取得部22と映像特定部23と音声特定部24と制御部25とを含む。受信部21は、人物情報を受信する。人物情報は、人物を示す情報である。動画取得部22は、動画記憶装置から、人物情報が示す人物に関連する動画を取得する。動画記憶装置は、動画を記憶している。動画は、映像情報と音声情報とを含む。映像特定部23は、取得された動画から、部分映像を特定する。部分映像は、人物情報が示す人物の映像を含む部分である。また、映像特定部23は、部分映像位置情報を特定する。部分映像位置情報は、動画のどの位置に部分映像が含まれているかを示す情報である。音声特定部24は、取得された動画から、部分音声を特定する。部分音声は、人物情報が示す人物の音声を含む部分である。また、音声特定部24は、部分音声位置情報を特定する。部分音声位置情報は、動画のどの部分に部分音声が含まれているかを示す情報である。制御部25は、取得された動画について、登場部分情報を登場部分情報記憶手段に記憶させる。登場部分情報は、動画のどの位置に登場部分が含まれているかを示す情報である。登場部分は、部分映像および部分音声の少なくともいずれかに該当する部分である。登場部分情報記憶手段は、登場部分情報を記憶する。このとき、制御部25は、人物情報と動画情報とに対応付けて、登場部分情報を登場部分情報記憶手段に記憶させる。動画情報は、動画に関する情報である。また、制御部25は、登場部分情報に、部分映像位置情報と部分音声位置情報とを含めて、登場部分情報記憶手段に記憶させる。
【0111】
このように、特定制御装置20は、部分映像位置情報と部分音声位置情報とを特定し、部分映像位置情報と部分音声位置情報とを登場部分情報に含めて、登場部分情報記憶手段に記憶させる。これにより、表示制御装置は、登場部分情報記憶手段に記憶されている登場部分情報を参照して、登場部分情報に関する情報を視聴者端末に表示させることが可能になる。また、表示制御装置は、登場部分情報を参照して、登場部分を視聴者に提供することができる。そのため、特定の人物の顔が撮像されていない場面や特定の人物の顔が撮像されていない動画についても、特定の人物の登場部分を特定して、登場部分を視聴者に提供することが可能になる。
【0112】
また、音声特定部24は、部分映像を用いて、人物の音声を識別可能な情報である音声特徴情報を取得し、音声特徴情報を用いて、部分音声を特定する。これにより、音声特定部24は、音声特徴情報があらかじめ特定制御装置20に登録されていなくても、部分音声を特定することが可能になる。
【0113】
また、音声特定部24は、部分映像の中から、撮像されている人物が一人である部分を抽出し、抽出された部分の音声に基づいて、音声特徴情報を取得する。これにより、音声特徴情報の取得をより精度よく実現することができる。
【0114】
また、音声特定部24は、一または複数の動画について、音声特徴情報を取得する箇所を指定する情報を受信し、音声特徴情報を取得する箇所を指定する情報で指定された箇所の音声から音声特徴情報を取得する。ここで、音声特徴情報は、人物の音声を識別可能な情報である。これにより、特定された部分映像がない人物についても、音声特徴情報を取得することができる。
【0115】
また、音声特定部24は、さらに、部分音声を文字情報に変換し、部分音声の文字情報を、登場部分情報と対応付けて、登場部分情報記憶手段に記憶させる。これにより、部分音声の文字情報を、表示制御装置50から視聴者端末70に表示させることが可能になる。
【0116】
また、配信システムは、特定制御装置20と、登場部分情報記憶手段40と、表示制御装置50とを備える。また、表示制御装置50は、視聴者端末70によって指定された人物である視聴対象人物の人物情報に対応する登場部分情報を登場部分情報記憶手段40から取得する。また、表示制御装置50は、取得した登場部分情報に関する情報を、動画一覧画像として、視聴者端末70に表示させる。これにより、表示制御装置50は、視聴対象人物が登場している登場部分の一覧を視聴者端末70に表示させることができる。
【0117】
また、表示制御装置50は、動画を動画記憶装置から取得して、登場部分でない部分をスキップしながら、登場部分の動画を視聴者端末70に再生させる。また、表示制御装置50は、登場部分の動画を動画記憶装置から取得して、登場部分の動画を視聴者端末に再生させてもよい。これにより、視聴対象人物の登場部分だけを視聴したいという視聴者の要望を実現することができる。
【0118】
[ハードウェア構成例]
上述した本発明の各実施形態における特定制御装置(10、20)を、一つの情報処理装置(コンピュータ)を用いて実現するハードウェア資源の構成例について説明する。なお、特定制御装置は、物理的または機能的に少なくとも二つの情報処理装置を用いて実現してもよい。また、特定制御装置は、専用の装置として実現してもよい。また、特定制御装置の一部の機能のみを情報処理装置を用いて実現してもよい。
【0119】
図15は、本発明の各実施形態の特定制御装置を実現可能な情報処理装置のハードウェア構成例を概略的に示す図である。情報処理装置90は、通信インタフェース91、入出力インタフェース92、演算装置93、記憶装置94、不揮発性記憶装置95およびドライブ装置96を含む。
【0120】
たとえば、図1の動画取得部12および制御部15は、通信インタフェース91および演算装置93で実現することが可能である。また、受信部11、映像特定部13、音声特定部14は、演算装置93で実現することが可能である。
【0121】
通信インタフェース91は、各実施形態の特定制御装置が、有線あるいは/および無線で外部装置と通信するための通信手段である。なお、特定制御装置を、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース91経由で相互に通信可能なように接続してもよい。
【0122】
入出力インタフェース92は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。
【0123】
演算装置93は、汎用のCPU(Central Processing Unit)やマイクロプロセッサ等の演算処理装置や複数の電気回路によって実現される。演算装置93は、たとえば、不揮発性記憶装置95に記憶された各種プログラムを記憶装置94に読み出し、読み出したプログラムに従って処理を実行することが可能である。
【0124】
記憶装置94は、演算装置93から参照可能な、RAM(Random Access Memory)等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置94は、揮発性のメモリ装置であってもよい。
【0125】
不揮発性記憶装置95は、たとえば、ROM(Read Only Memory)、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。
【0126】
ドライブ装置96は、たとえば、後述する記録媒体97に対するデータの読み込みや書き込みを処理する装置である。
【0127】
記録媒体97は、たとえば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。
【0128】
本発明の各実施形態は、たとえば、図15に例示した情報処理装置90により特定制御装置を構成し、この特定制御装置に対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現してもよい。
【0129】
この場合、特定制御装置に対して供給したプログラムを、演算装置93が実行することによって、実施形態を実現することが可能である。また、特定制御装置のすべてではなく、一部の機能を情報処理装置90で構成することも可能である。
【0130】
さらに、上記プログラムを記録媒体97に記録しておき、特定制御装置の出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置95に格納されるよう構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用して特定制御装置内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。
【0131】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0132】
(付記1)
人物を示す情報である人物情報を受信する受信部と、
映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得する動画取得部と、
取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定する映像特定部と、
取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定する音声特定部と、
取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる制御部と
を備える特定制御装置。
【0133】
(付記2)
前記音声特定部は、前記部分映像を用いて、前記人物の音声を識別可能な情報である音声特徴情報を取得し、前記音声特徴情報を用いて、前記部分音声を特定する、
付記1に記載の特定制御装置。
【0134】
(付記3)
前記音声特定部は、前記部分映像の中から、撮像されている人物が一人である部分を抽出し、抽出された部分の音声に基づいて、前記音声特徴情報を取得する、
付記2に記載の特定制御装置。
【0135】
(付記4)
前記音声特定部は、一または複数の前記動画について、前記人物の音声を識別可能な情報である音声特徴情報を取得する箇所を指定する情報を受信し、前記音声特徴情報を取得する箇所を指定する情報で指定された箇所の音声から前記音声特徴情報を取得する、
付記1に記載の特定制御装置。
【0136】
(付記5)
前記音声特定部は、さらに、前記部分音声を文字情報に変換し、前記部分音声の文字情報を、前記登場部分情報と対応付けて、前記登場部分情報記憶手段に記憶させる、
付記1に記載の特定制御装置。
【0137】
(付記6)
付記1から付記5のいずれかに記載の特定制御装置と、
前記登場部分情報記憶手段と、
表示制御装置と
を備え、
前記表示制御装置は、視聴者端末によって指定された人物である視聴対象人物の前記人物情報に対応する前記登場部分情報を前記登場部分情報記憶手段から取得して、取得した前記登場部分情報に関する情報を、動画一覧画像として、前記視聴者端末に表示させる、
配信システム。
【0138】
(付記7)
前記表示制御装置は、前記動画を前記動画記憶装置から取得して、前記登場部分でない部分をスキップしながら、前記登場部分の前記動画を前記視聴者端末に再生させる、
付記6に記載の配信システム。
【0139】
(付記8)
前記表示制御装置は、前記登場部分の前記動画を前記動画記憶装置から取得して、前記登場部分の前記動画を前記視聴者端末に再生させる、
付記6に記載の配信システム。
【0140】
(付記9)
人物を示す情報である人物情報を受信し、
映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得し、
取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定し、
取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定し、
取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる、
特定制御方法。
【0141】
(付記10)
コンピュータに、
人物を示す情報である人物情報を受信する受信機能と、
映像情報と音声情報とを含む動画を記憶している動画記憶装置から、前記人物情報が示す前記人物に関連する前記動画を取得する動画取得機能と、
取得された前記動画から、前記人物の映像を含む部分である部分映像を特定し、前記動画のどの位置に前記部分映像が含まれているかを示す情報である部分映像位置情報を特定する映像特定機能と、
取得された前記動画から、前記人物の音声を含む部分である部分音声を特定し、前記動画のどの位置に前記部分音声が含まれていかを示す情報である部分音声位置情報を特定する音声特定機能と、
取得された前記動画について、前記部分映像および前記部分音声の少なくともいずれかに該当する部分である登場部分が前記動画のどの位置に含まれているかを示す登場部分情報を、前記人物情報と、前記動画に関する情報である動画情報とに対応付けるとともに、前記部分映像位置情報と前記部分音声位置情報とを前記登場部分情報に含めて、前記登場部分情報を記憶する登場部分情報記憶手段に記憶させる制御機能と
を実現させる特定制御プログラム。
【0142】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0143】
10、20 特定制御装置
11、21 受信部
12、22 動画取得部
13、23 映像特定部
14、24 音声特定部
15、25 制御部
30 抽出エンジン
40 登場部分情報記憶手段
50 表示制御装置
60-i 動画記憶装置
70 視聴者端末
90 情報処理装置
91 通信インタフェース
92 入出力インタフェース
93 演算装置
94 記憶装置
95 不揮発性記憶装置
96 ドライブ装置
97 記録媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15