知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6366626
(24)【登録日】2018年7月13日
(45)【発行日】2018年8月1日
(54)【発明の名称】生成装置、生成方法、及び生成プログラム
(51)【国際特許分類】
H04N 21/8549 20110101AFI20180723BHJP
G06T 7/00 20170101ALI20180723BHJP
H04N 21/234 20110101ALI20180723BHJP
【ＦＩ】
H04N21/8549
G06T7/00 P
H04N21/234
【請求項の数】23
【全頁数】33
(21)【出願番号】特願2016-54435(P2016-54435)
(22)【出願日】2016年3月17日
(65)【公開番号】特開2017-169140(P2017-169140A)
(43)【公開日】2017年9月21日
【審査請求日】2016年11月17日
(73)【特許権者】
【識別番号】500257300
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 隼人
(72)【発明者】
【氏名】田頭 幸浩
(72)【発明者】
【氏名】野口 正樹
【審査官】
冨田 高史
(56)【参考文献】
【文献】
特開２００４−１７２６７１（ＪＰ，Ａ）
【文献】
特開２００６−９９０５８（ＪＰ，Ａ）
【文献】
特開２００８−２４４９２２（ＪＰ，Ａ）
【文献】
特開２００６−３１３５１１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ７／１０
Ｈ０４Ｎ ７／１４ − ７／１７３
Ｈ０４Ｎ ７／２０ − ７／５６
Ｈ０４Ｎ ２１／００ − ２１／８５８
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得部と、
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる文章に関する情報に基づく順位であって、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる文章に関する情報に基づく順位であって、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
【請求項2】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得部と、
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトについて、所定のデータベースに記憶された情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトについて、所定のデータベースに記憶された情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
【請求項3】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得部と、
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトについて、所定の動画群に基づいて学習された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトについて、所定の動画群に基づいて学習された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
【請求項4】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得部と、
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトについて、ネットワーク上から収集した情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトについて、ネットワーク上から収集した情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
【請求項5】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得部と、
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトが生物である場合、当該各オブジェクトについて、顔認識結果の尤度等の情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、
前記コンテンツに含まれる各オブジェクトが生物である場合、当該各オブジェクトについて、顔認識結果の尤度等の情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、
を備えることを特徴とする生成装置。
【請求項6】
前記取得部は、
前記画像に関する情報として前記コンテンツに含まれる複数の画像情報から抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記複数の画像情報から前記複数の加工画像を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
前記画像に関する情報として前記コンテンツに含まれる複数の画像情報から抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記複数の画像情報から前記複数の加工画像を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
【請求項7】
前記第１生成部は、
前記複数の画像情報のうち、所定の画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、前記複数の加工画像を生成する
ことを特徴とする請求項６に記載の生成装置。
前記複数の画像情報のうち、所定の画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、前記複数の加工画像を生成する
ことを特徴とする請求項６に記載の生成装置。
【請求項8】
前記取得部は、
前記画像に関する情報として前記コンテンツに含まれる動画情報から抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記動画情報から前記複数の加工画像を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
前記画像に関する情報として前記コンテンツに含まれる動画情報から抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記動画情報から前記複数の加工画像を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
【請求項9】
前記第１生成部は、
前記動画情報から抽出される画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、前記複数の加工画像を生成する
ことを特徴とする請求項８に記載の生成装置。
前記動画情報から抽出される画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、前記複数の加工画像を生成する
ことを特徴とする請求項８に記載の生成装置。
【請求項10】
前記取得部は、
前記コンテンツに関連する文字情報に基づいて抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記文字情報に基づいて前記複数の加工画像を生成し、
前記第２生成部は、
前記文字情報に基づいて前記複数の加工画像に付された順位に応じた順序で、前記複数の加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜９のいずれか１項に記載の生成装置。
前記コンテンツに関連する文字情報に基づいて抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記文字情報に基づいて前記複数の加工画像を生成し、
前記第２生成部は、
前記文字情報に基づいて前記複数の加工画像に付された順位に応じた順序で、前記複数の加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜９のいずれか１項に記載の生成装置。
【請求項11】
前記取得部は、
前記コンテンツに関連する音声情報に基づいて抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記音声情報に基づいて前記複数の加工画像を生成し、
前記第２生成部は、
前記音声情報に基づいて前記複数の加工画像に付された順位に応じた順序で、前記複数の加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜１０のいずれか１項に記載の生成装置。
前記コンテンツに関連する音声情報に基づいて抽出される前記特徴領域情報を取得し、
前記第１生成部は、
前記音声情報に基づいて前記複数の加工画像を生成し、
前記第２生成部は、
前記音声情報に基づいて前記複数の加工画像に付された順位に応じた順序で、前記複数の加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜１０のいずれか１項に記載の生成装置。
【請求項12】
前記第２生成部は、
前記複数の加工画像のうち、所定の表示順が付された第１の対象物が含まれる加工画像の後に、前記第１の対象物に付された表示順よりも下位の表示順が付された第２の対象物が含まれる加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜１１のいずれか１項に記載の生成装置。
前記複数の加工画像のうち、所定の表示順が付された第１の対象物が含まれる加工画像の後に、前記第１の対象物に付された表示順よりも下位の表示順が付された第２の対象物が含まれる加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜１１のいずれか１項に記載の生成装置。
【請求項13】
前記第２生成部は、
前記複数の加工画像のうち、所定の対象物の一部であって、所定の表示順が付された第１の部分が含まれる加工画像の後に、前記所定の対象物の一部であって、前記第１の部分に付された表示順よりも下位の表示順が付された第２の部分が含まれる加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜１２のいずれか１項に記載の生成装置。
前記複数の加工画像のうち、所定の対象物の一部であって、所定の表示順が付された第１の部分が含まれる加工画像の後に、前記所定の対象物の一部であって、前記第１の部分に付された表示順よりも下位の表示順が付された第２の部分が含まれる加工画像が表示される動画情報を生成する
ことを特徴とする請求項１〜１２のいずれか１項に記載の生成装置。
【請求項14】
コンピュータが実行する生成方法であって、
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる文章に関する情報に基づく順位であって、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる文章に関する情報に基づく順位であって、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
【請求項15】
コンピュータが実行する生成方法であって、
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトについて、所定のデータベースに記憶された情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトについて、所定のデータベースに記憶された情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
【請求項16】
コンピュータが実行する生成方法であって、
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトについて、所定の動画群に基づいて学習された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトについて、所定の動画群に基づいて学習された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
【請求項17】
コンピュータが実行する生成方法であって、
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトについて、ネットワーク上から収集した情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトについて、ネットワーク上から収集した情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
【請求項18】
コンピュータが実行する生成方法であって、
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトが生物である場合、当該各オブジェクトについて、顔認識結果の尤度等の情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得工程と、
前記取得工程により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成工程と、
前記コンテンツに含まれる各オブジェクトが生物である場合、当該各オブジェクトについて、顔認識結果の尤度等の情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成工程と、
を含むことを特徴とする生成方法。
【請求項19】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得手順と、
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる文章に関する情報に基づく順位であって、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる文章に関する情報に基づく順位であって、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
【請求項20】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得手順と、
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトについて、所定のデータベースに記憶された情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトについて、所定のデータベースに記憶された情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
【請求項21】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得手順と、
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトについて、所定の動画群に基づいて学習された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトについて、所定の動画群に基づいて学習された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
【請求項22】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得手順と、
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトについて、ネットワーク上から収集した情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトについて、ネットワーク上から収集した情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
【請求項23】
コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得手順と、
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトが生物である場合、当該各オブジェクトについて、顔認識結果の尤度等の情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
前記取得手順により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成手順と、
前記コンテンツに含まれる各オブジェクトが生物である場合、当該各オブジェクトについて、顔認識結果の尤度等の情報に基づいて決定された表示順に応じて、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生成装置、生成方法、及び生成プログラムに関する。
【背景技術】
【0002】
従来、ニュース記事等のコンテンツに含まれる画像を加工する技術が提供されている。例えば、人の顔が含まれる画像における両目間の距離に基づいて画像を加工する技術が提供されている。また、このような画像を加工する技術を用いて、コンテンツを要約する動画情報（以下、単に「動画」ともいう）を生成する場合がある。例えば、コンテンツに含まれる画像や動画等の画像に関する情報を用いてコンテンツを要約する動画を生成する場合がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００５−１０８２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術ではコンテンツの内容を含む動画が適切に生成されるとは限らない。例えば、コンテンツに含まれる画像内の領域をクロッピングした加工画像から動画を生成する場合、コンテンツの内容を含む動画が適切に生成されるとは限らない。
【0005】
本願は、上記に鑑みてなされたものであって、コンテンツの内容を含む動画を適切に生成する生成装置、生成方法、及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る生成装置は、コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する取得部と、前記取得部により取得された前記特徴領域情報に基づいて前記コンテンツから複数の加工画像を生成する第１生成部と、前記複数の加工画像に付された順位に基づく順序で、前記複数の加工画像が表示される動画情報を生成する第２生成部と、を備えたことを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、コンテンツの内容を含む動画を適切に生成することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
（実施形態）〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例として、記事コンテンツ（以下、単に「コンテンツ」ともいう）に含まれる画像情報（以下、単に「画像」ともいう）を用いた生成処理の一例を示す。図１は、実施形態に係る生成処理の一例を示す図である。具体的には、図１は、コンテンツＡＴ１１（図４参照）に含まれる画像ＩＭ１１を用いて動画ＭＶ１１を生成する生成処理を一例として示す。以下では、生成処理により生成される動画を要約動画と記載する場合がある。例えば、生成処理により生成される動画ＭＶ１１は、要約動画ＭＶ１１と記載する場合がある。図１に示す生成処理は、生成装置１００（図３参照）により実行される。図１では、生成装置１００は、画像ＩＭ１１から抽出される対象物（以下、「オブジェクト」ともいう）の領域に関する情報である特徴領域情報に基づいてコンテンツＡＴ１１から複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成する。そして、生成装置１００は、加工画像ＩＰ１１１〜ＩＰ１４１等から要約動画ＭＶ１１を生成する。
【0011】
図１では、コンテンツＡＴ１１に含まれる画像ＩＭ１１と文字情報ＩＣ１１とに基づいて特徴領域情報が抽出される例を示す。図１に示す例において、複数の加工画像ＩＰ１１１〜ＩＰ１４１等は、画像ＩＭ１１の所定の範囲をクロッピングすることにより生成される。例えば、加工画像ＩＰ１１は、画像ＩＭ１１中の特徴的な部分を含む範囲をクロッピングすることにより生成される。なお、ここでいうクロッピングとは画像から所定の領域を切り取る処理をいう。
【0012】
図１中の画像ＩＭ１１は、野球の試合における１シーンを示す画像である。具体的には、図１中の画像ＩＭ１１は、あるチーム（チームＡＡ）の選手であるキャッチャーＰに向けて、チームＡＡの選手であるピッチャーＮが投球し、打席に立った相手チーム（チームＢＢ）の選手であるバッターＯが打つシーンを示す画像である。また、図１中の画像ＩＭ１１には、審判Ｑや、ピッチャーＮが投球したボール等が含まれる。
【0013】
また、図１中の文字情報ＩＣ１１は、画像ＩＭ１１に関する文章を含む。具体的には、文字情報ＩＣ１１には、Ｘ月Ｙ日に行われた決勝戦におけるチームＡＡ対チームＢＢの試合に関する内容が含まれる。また、文字情報ＩＣ１１には、チームＡＡのピッチャーＮが投げたボールをチームＢＢのバッターＯが打ち返したことに関する内容が含まれる。
【0014】
まず、生成装置１００は、画像ＩＭ１１における特徴量に関する特徴領域情報ＦＲ１１を抽出する（ステップＳ１１）。具体的には、生成装置１００は、画像ＩＭ１１に基づいて画像ＩＭ１１における特徴量に関する特徴領域情報ＦＲ１１を抽出する。なお、ここでいう、特徴領域情報とは、対象物の領域に関する情報であり、画像ＩＭ１１中のどこに対象物が含まれるかを示す情報である。例えば、生成装置１００は、サリエンシーディテクション（Saliency Detection）等の画像処理における種々の従来手法を適宜用いて、画像ＩＭ１１における特徴領域情報ＦＲ１１を抽出する。例えば、生成装置１００は、Ｒ−ＣＮＮ(Regions with Convolutional Neural Network)等の画像認識技術を用いた画像処理を適宜用いてもよい。また、生成装置１００は、画像処理の種々の従来手法等を適宜用いて、画像におけるオブジェクト（物体）の認識による情報の抽出を行ってもよい。
【0015】
例えば、生成装置１００は、文字情報ＩＣ１１からトピックを抽出する。なお、生成装置１００は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報ＩＣ１１からトピックを抽出してもよい。例えば、生成装置１００は、文字情報ＩＣ１１を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報ＩＣ１１から重要なキーワードをトピックとして抽出してもよい。図１の例では、生成装置１００は、文字情報ＩＣ１１から、「ピッチャーＮ」や「バッターＯ」や「直球（ボール）」等のトピックを抽出する。
【0016】
そして、生成装置１００は、文字情報ＩＣ１１から抽出したトピックに基づいて、画像ＩＭ１１から特徴領域情報ＦＲ１１を抽出する。例えば、生成装置１００は、上述した画像処理等の種々の従来手法を適宜用いて、画像ＩＭ１１における特徴領域情報ＦＲ１１を抽出する。例えば、生成装置１００は、画像ＩＭ１１において文字情報ＩＣ１１から抽出したトピックに関する物体を含む領域の特徴量が大きくなるように特徴領域情報ＦＲ１１を抽出する。
【0017】
図１では、生成装置１００は、特徴領域情報ＦＲ１１に示すように、画像ＩＭ１１に基づいて、画像ＩＭ１１における特徴領域を抽出する。例えば、特徴領域情報ＦＲ１１は、画像ＩＭ１１における各画素の特徴量を示す。なお、ここでいう特徴量は、例えば、特徴量を示す数値である。具体的には、特徴領域情報ＦＲ１１を構成する各点（画素）の位置は、画像ＩＭ１１に重畳させた場合に画像ＩＭ１１において重なる位置に対応し、特徴領域情報ＦＲ１１は、画像ＩＭ１１において対応する画素の特徴量を示す。なお、図１中の特徴領域情報ＦＲ１１では、特徴を示す領域を色が濃い態様で示す。すなわち、特徴領域情報ＦＲ１１では、特徴量が大きいほど色が濃い態様で表示される。具体的には、図１中の特徴領域情報ＦＲ１１では、画像ＩＭ１１において人の頭部（顔）やボールが位置する領域が色の濃い態様で示される。すなわち、図１では、生成装置１００は、バッターＯの顔やオブジェクトＯＢ１５が位置する領域が色の濃い態様で示される。
【0018】
次に、生成装置１００は、画像ＩＭ１１に含まれるオブジェクトを抽出し、抽出したオブジェクトの表示順を決定する（ステップＳ１２）。例えば、生成装置１００は、特徴領域情報ＦＲ１１や文字情報ＩＣ１１等の種々の情報に基づいて、オブジェクト一覧ＯＬ１１に示すように、画像ＩＭ１１に含まれるオブジェクトＯＢ１１〜ＯＢ１５等を抽出する。図１の例では、生成装置１００は、画像ＩＭ１１に含まれるキャッチャーＰをオブジェクトＯＢ１１として抽出する。また、生成装置１００は、画像ＩＭ１１に含まれるピッチャーＮをオブジェクトＯＢ１２として抽出する。また、生成装置１００は、画像ＩＭ１１に含まれるバッターＯをオブジェクトＯＢ１３として抽出する。また、生成装置１００は、画像ＩＭ１１に含まれる審判ＱをオブジェクトＯＢ１４として抽出する。また、生成装置１００は、画像ＩＭ１１に含まれるボールをオブジェクトＯＢ１５として抽出する。
【0019】
なお、生成装置１００は、種々の従来技術を適宜用いて、文字情報ＩＣ１１に含まれるピッチャーＮ（オブジェクトＯＢ１２）が位置する領域やバッターＯ（オブジェクトＯＢ１３）が位置する領域やボール（オブジェクトＯＢ１５）が位置する領域を推定してもよい。例えば、生成装置１００は、特徴量が大きい領域の形状や位置関係等に応じて、ピッチャーＮ（オブジェクトＯＢ１２）が位置する領域やバッターＯ（オブジェクトＯＢ１３）が位置する領域やボール（オブジェクトＯＢ１５）が位置する領域を推定してもよい。また、生成装置１００は、種々の情報を適宜用いて、ピッチャーＮ（オブジェクトＯＢ１２）が位置する領域やバッターＯ（オブジェクトＯＢ１３）が位置する領域やボール（オブジェクトＯＢ１５）が位置する領域を推定してもよい。
【0020】
例えば、生成装置１００は、種々のオブジェクトを学習した学習情報に基づいて、オブジェクトＯＢ１１〜ＯＢ１５を抽出してもよい。例えば、生成装置１００は、ピッチャーＮのユニフォームや背番号等を学習した学習情報に基づいて、画像ＩＭ１１からオブジェクトＯＢ１２を抽出してもよい。また、例えば、生成装置１００は、バッターＯの顔等を学習した学習情報に基づいて、画像ＩＭ１１からオブジェクトＯＢ１３を抽出してもよい。また、例えば、生成装置１００は、野球のボールを学習した学習情報に基づいて、画像ＩＭ１１からオブジェクトＯＢ１５を抽出してもよい。例えば、生成装置１００は、事前に学習したボール内の色の分布情報等に基づいて、画像ＩＭ１１からオブジェクトＯＢ１５を抽出してもよい。なお、生成装置１００は、特徴領域情報ＦＲ１１等により画像ＩＭ１１からオブジェクトＯＢ１１〜ＯＢ１５等が抽出可能であれば、どのような技術によりステップＳ１２のオブジェクト抽出を行ってもよい。
【0021】
また、生成装置１００は、抽出したオブジェクトＯＢ１１〜ＯＢ１５等の表示順を決定する。例えば、生成装置１００は、文字情報ＩＣ１１から抽出したトピックや文字情報ＩＣ１１の構文や時系列に関する情報に基づいて、オブジェクトＯＢ１１〜ＯＢ１５等の表示順を決定する。
【0022】
図１の例では、文字情報ＩＣ１１には、「ピッチャーＮがボールを投げる」、「ボールをバッターＯが打つ」という内容が含まれる。そのため、生成装置１００は、種々の従来技術を適宜用いて、文字情報ＩＣ１１の内容に基づいて、ピッチャーＮの表示順よりもバッターＯの表示順が後であると決定する。例えば、生成装置１００は、形態素解析や構文解析等の種々ン従来技術を適宜用いて、文字情報ＩＣ１１の内容を解析することにより、表示順を決定する。例えば、生成装置１００は、テキストデータである文字情報ＩＣ１１を自然言語処理により解析する。また、生成装置１００は、ボールがピッチャーＮとバッターＯとをつなぐ関係にあるため、ボールの表示順をピッチャーＮとバッターＯとの間の表示順であると決定する。これにより、生成装置１００は、ピッチャーＮ、ボール、バッターＯの時系列における順序を抽出する。すなわち、生成装置１００は、オブジェクトＯＢ１２の表示順を１位、オブジェクトＯＢ１３の表示順を３位、オブジェクトＯＢ１５の表示順を２位に決定する。また、生成装置１００は、画像ＩＭ１１に含まれる他のオブジェクトＯＢ１１やＯＢ１４等はコンテンツＡＴ１１において重要度が低いオブジェクトとして、表示順を設定しない。すなわち、生成装置１００は、画像ＩＭ１１に含まれるキャッチャーＰや審判ＱをコンテンツＡＴ１１の内容において重要ではないとして、表示順を「−（無）」と決定する。
【0023】
そして、生成装置１００は、コンテンツＡＴ１１から複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成し、生成した複数の加工画像ＩＰ１１１〜ＩＰ１４１が表示される要約動画ＭＶ１１を生成する（ステップＳ１３）。例えば、生成装置１００は、特徴領域情報ＦＲ１１やオブジェクト一覧ＯＬ１１に基づいて、画像ＩＭ１１をクロッピングすることにより、複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成する。なお、図１の例では、説明を簡単にするために、複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成する際に、画像ＩＭ１１をクロッピングする領域ＡＲ１１〜ＡＲ１４のアスペクト比（縦横比）を１：１とする。なお、クロッピングする領域のアスペクト比や形状は、各加工画像の生成で異なってもよい。例えば、ある加工画像の生成におけるクロッピングする領域のアスペクト比は、１：２や３：４であってもよい。また、例えば、ある加工画像の生成におけるクロッピングする領域の形状は、円形状や四角以外の多角形状等、種々の形状であってもよい。また、クロッピングする領域をどのような大きさにするかは、適宜の基準に基づいて決定されてもよい。例えば、生成装置１００は、領域に含まれる各画素の特徴量の値に基づいて、クロッピングする領域の大きさを決定してもよい。例えば、生成装置１００は、領域に含まれる各画素の特徴量の平均値に基づいて、クロッピングする領域の大きさを決定してもよい。例えば、生成装置１００は、領域に所望のオブジェクトに部位が含まれ、領域中の各画素の特徴量の平均値が大きくなるように、クロッピングする領域の大きさを決定してもよい。例えば、生成装置１００は、領域にバッターＯの顔が含まれ、領域中の各画素の特徴量の平均値が大きくなるように、バッターＯ（オブジェクトＯＢ１３）をクロッピングする領域の大きさを決定してもよい。
【0024】
図１の例では、生成装置１００は、ピッチャーＮの略全身が含まれる加工画像ＩＰ１１１やピッチャーＮの背番号部分が含まれる加工画像ＩＰ１２１やボールが含まれる加工画像ＩＰ１３１やバッターＯが含まれる加工画像ＩＰ１４１等を生成する。例えば、生成装置１００は、画像ＩＭ１１の領域ＡＲ１１をクロッピングすることにより、加工画像ＩＰ１１１を生成する。また、例えば、生成装置１００は、画像ＩＭ１１の領域ＡＲ１２をクロッピングすることにより、加工画像ＩＰ１２１を生成する。また、例えば、生成装置１００は、画像ＩＭ１１の領域ＡＲ１３をクロッピングすることにより、加工画像ＩＰ１３１を生成する。また、例えば、生成装置１００は、画像ＩＭ１１の領域ＡＲ１４をクロッピングすることにより、加工画像ＩＰ１４１を生成する。なお、図１では説明を簡単にするために、加工画像ＩＰ１１１〜ＩＰ１４１のみを図示するが、生成装置１００は、画像ＩＭ１１から多数の加工画像を生成してもよい。
【0025】
そして、生成装置１００は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等の順位を決定する。なお、図１の例では、複数の加工画像ＩＰ１１１〜ＩＰ１４１等の順位は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等を表示する順番に対応する。すなわち、生成した要約動画ＭＶ１１においては順位が高い加工画像から順に表示される。例えば、生成装置１００は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等のうち、表示順が１位のオブジェクトであるピッチャーＮを含む加工画像ＩＰ１１１、ＩＰ１２１等に高い順位を付す。具体的には、生成装置１００は、ピッチャーＮの略全身が含まれる加工画像ＩＰ１１１に順位Ａを付し、ピッチャーＮの背番号部分が含まれる加工画像ＩＰ１２１に順位Ｂ（Ａ＋α）を付す。なお、順位Ａは順位１（位）であってもよい。
【0026】
また、生成装置１００が各加工画像の順位に基づいて、複数の加工画像ＩＰ１１１〜ＩＰ１４１間をつなぐフレーム補間等の補間処理を行うことにより、要約動画ＭＶ１１を生成する場合、加工画像ＩＰ１２１に付される順位Ｂ（Ａ＋α）の「α」は「１」であってもよい。なお、ここでいう補間処理には、線形補間やスプライン補間等の種々の従来技術が適宜用いられてもよい。例えば、補間処理により、加工画像ＩＰ１１１、ＩＰ１２１をフレームとして、加工画像ＩＰ１１１と加工画像ＩＰ１２１との間を滑らかにつなぐフレーム補間が行われてもよい。例えば、生成装置１００は、補間処理により、各オブジェクト間の直線的に移動するように表示される要約動画を生成してもよい。また、生成装置１００が複数の加工画像ＩＰ１１１〜ＩＰ１４１等を順位に基づいて連続して表示する要約動画ＭＶ１１を生成する場合、加工画像ＩＰ１２１に付される順位Ｂ（Ａ＋α）の「α」は、「加工画像ＩＰ１１１と加工画像ＩＰ１２１との間に表示される加工画像の枚数＋１」であってもよい。
【0027】
また、例えば、生成装置１００は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等のうち、表示順が２位のオブジェクトであるボールを含む加工画像ＩＰ１３１等にピッチャーＮが含まれる加工画像の順位より低い順位を付す。具体的には、生成装置１００は、ボール（オブジェクトＯＢ１５）が含まれる加工画像ＩＰ１３１に順位Ｃ（Ｂ＋β）を付す。
【0028】
また、生成装置１００が各加工画像の順位に基づいて、複数の加工画像ＩＰ１１１〜ＩＰ１４１間をつなぐフレーム補間等の補間処理を行うことにより、要約動画ＭＶ１１を生成する場合、加工画像ＩＰ１３１に付される順位Ｃ（Ｂ＋β）の「β」は「１」であってもよい。また、生成装置１００が複数の加工画像ＩＰ１１１〜ＩＰ１４１等を順位に基づいて連続して表示する要約動画ＭＶ１１を生成する場合、加工画像ＩＰ１３１に付される順位Ｃ（Ｂ＋β）の「β」は、「加工画像ＩＰ１２１と加工画像ＩＰ１３１との間に表示される加工画像の枚数＋１」であってもよい。
【0029】
また、例えば、生成装置１００は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等のうち、表示順が３位のオブジェクトであるバッターＯを含む加工画像ＩＰ１４１等にボール（オブジェクトＯＢ１５）が含まれる加工画像の順位より低い順位を付す。具体的には、生成装置１００は、バッターＯが含まれる加工画像ＩＰ１４１に順位Ｄ（Ｃ＋γ）を付す。
【0030】
また、生成装置１００が各加工画像の順位に基づいて、複数の加工画像ＩＰ１１１〜ＩＰ１４１間をつなぐフレーム補間等の補間処理を行うことにより、要約動画ＭＶ１１を生成する場合、加工画像ＩＰ１４１に付される順位Ｄ（Ｃ＋γ）の「γ」は「１」であってもよい。また、生成装置１００が複数の加工画像ＩＰ１１１〜ＩＰ１４１等を順位に基づいて連続して表示する要約動画ＭＶ１１を生成する場合、加工画像ＩＰ１４１に付される順位Ｄ（Ｃ＋γ）の「γ」は、「加工画像ＩＰ１３１と加工画像ＩＰ１４１との間に表示される加工画像の枚数＋１」であってもよい。
【0031】
そして、生成装置１００は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等に付された順位に基づく順序で、複数の加工画像ＩＰ１１１〜ＩＰ１４１等が表示される要約動画ＭＶ１１を生成する。例えば、生成装置１００は、上述したフレーム補間等の処理により、複数の加工画像ＩＰ１１１〜ＩＰ１４１間をつなぐ補間を行うことにより、要約動画ＭＶ１１を生成してもよい。例えば、生成装置１００は、生成した加工画像に加工画像ＩＰ１１１〜ＩＰ１４１以外にも多数の加工画像が含まれる場合、複数の加工画像に付された順位に基づく順序で、複数の加工画像が表示される要約動画ＭＶ１１を生成してもよい。
【0032】
上述したように、生成装置１００は、特徴領域情報ＦＲ１１やオブジェクト一覧ＯＬ１１に基づいて、画像ＩＭ１１をクロッピングすることにより、加工画像ＩＰ１１１〜ＩＰ１４１等を生成する。また、生成装置１００は、加工画像ＩＰ１１１〜ＩＰ１４１等に付された順位に基づく順序で、加工画像ＩＰ１１１〜ＩＰ１４１等が表示される要約動画ＭＶ１１を生成することにより、生成装置１００は、コンテンツＡＴ１１の内容を含む動画を適切に生成することができる。
【0033】
なお、生成装置１００は、上述した例に限らず、種々の情報に基づいて、要約動画を生成してもよい。例えば、生成装置１００は、各オブジェクトの重要度に応じて、各オブジェクトが要約動画に含まれる割合を決定してもよい。例えば、生成装置１００は、画像内に占める各オブジェクトの割合や文字情報における各オブジェクトの出現順序や出現頻度に基づいて、各オブジェクトが要約動画に含まれる割合を決定してもよい。なお、ここでいう要約動画に含まれる割合とは、要約動画の再生時間における割合であってもよい。例えば、生成装置１００は、画像ＩＭ１１や文字情報ＩＣ１１において、ピッチャーＮやバッターＯの重要度が高いと推定し、ピッチャーＮが４割、バッターＯが５割、ボールが１割含まれる要約動画を生成してもよい。
【0034】
また、上述した例においては、生成装置１００が文字情報ＩＣ１１を用いて要約動画ＭＶ１１を生成する場合を示したが、生成装置１００は、画像のみから要約動画を生成してもよい。また、コンテンツＡＴ１１に含まれる文字情報ＩＣ１１を用いる場合を示したが、文字情報はコンテンツと関連すればどのような情報であってもよい。また、生成装置１００は、所定の記憶手段に記憶された各オブジェクト間やオブジェクトの部分ごとの表示順に関する情報に基づいて、要約動画を生成してもよい。なお、上述した例においては、ピッチャーＮの後にバッターＯが表示される要約動画ＭＶ１１が生成される場合を示したが、生成装置１００は、異なる順番で表示される要約動画を生成してもよい。例えば、生成装置１００は、コンテンツに含まれる画像がピッチャー返しの画像である場合や、コンテンツに含まれる文字情報が「バッターが打った球がピッチャーを直撃…」等である場合、ボールを打ったバッターを表示した後に、ピッチャーを表示してもよい。このように、生成装置１００は、画像の内容や文字情報の意味等に基づいて、各オブジェクトの表示順を決定してもよい。
【0035】
また、例えば、生成装置１００は、人間の常識に関する情報に基づいて、各オブジェクト間やオブジェクトの部分ごとの表示順を決定してもよい。例えば、生成装置１００は、いわゆる知識ベース等のデータベースに記憶された情報に基づいて、各オブジェクト間やオブジェクトの部分ごとの表示順を決定し、要約動画を生成してもよい。この場合、生成装置１００は、配信システム１（図２参照）の管理者等が入力した各オブジェクト間やオブジェクトの部分ごとの表示順に関する情報に基づいて、要約動画を生成してもよい。例えば、生成装置１００は、ニュース動画等の種々の既存の動画から学習した表示順を用いて、要約動画を生成してもよい。例えば、既存のニュース動画等における野球の動画では、ピッチャーからバッターといった表示順序で頻繁に表示される場合が多いとする。この場合、生成装置１００は、野球の動画では、ピッチャーの次にバッターという表示順を学習し、学習した表示順を用いて、ピッチャーの次にバッターが表示される要約動画を生成してもよい。また、例えば、生成装置１００は、ネットワーク上から収集した種々の情報に基づいて、表示順を決定しても良い。例えば、生成装置１００は、収集したＷｅｂページ等に基づいて算出した各頻度に関する情報を利用して表示順を決定しても良い。例えば、生成装置１００は、収集したＷｅｂページ等におけるに表示に基づいて算出した各オブジェクトの表示順の頻度に関する情報を利用して表示順を決定しても良い。また、例えば、複数人が含まれるグループ（例えばアイドルグループ等）において各オブジェクト（人間）に人気順等の順位付けがされているものとする。この場合、生成装置１００は、複数人が含まれるグループのうち、所定の閾値（例えば５位等）以上の（人気）順位が付されたオブジェクト（人間）が含まれるように、要約動画を生成してもよい。例えば、生成装置１００は、複数人が含まれるグループのうち、上位人気の５人が必ず含まれるように、要約動画を生成してもよい。なお、このようなグループ内の人気に関する情報は、上述した知識ベースから取得してもよいし、配信システム１（図２参照）の管理者等が入力してもよい。また、生成装置１００は、オブジェクトが動物（人間）で含まれる場合、顔認識結果の尤度等の情報を用いて表示順を決定しても良い。例えば、生成装置１００は、イベントや祭り等のなど多くの人が集まるシーンにおいて、群衆の中の人の顔にフォーカスする場合に、良く撮れている、すなわちピントが合っている人の顔にフォーカスするように、要約動画を生成してもよい。
【0036】
例えば、配信システム１の管理者等は、画像や動画にピッチャーやバッターが含まれる場合、人間が通常はピッチャーを見てからバッターを見ることを示す情報を入力する。例えば、配信システム１の管理者等は、ファッションショー等においてモデルを撮影する際には、脚部から頭部へ、すなわち下から上へ表示範囲を移動させることを示す情報を入力する。例えば、配信システム１の管理者等は、商品広告等の場合、商品を持つ人間全体を含む表示範囲から、商品をアップで含む表示範囲へ変更、すなわち商品へズームすることを示す情報を入力する。例えば、生成装置１００は、入力した各オブジェクト間やオブジェクトの部分ごとの表示順に関する情報を記憶部１２０（図３参照）に記憶し、要約動画を生成する際に、記憶部１２０から対応する表示順に関する情報を読み出して用いてもよい。また、例えば、生成装置１００は、要約動画（アニメーション）生成の際にオブジェクトのＮＧリストを利用してもよい。例えば、ＮＧリストに広告や一般人等が含まれてもよい。この場合、例えば、図１に示す画像ＩＭ１１中に観衆（一般人）の顔等が含まれる場合、生成装置１００は、一般人の顔が含まれないように要約動画を生成してもよい。また、例えば、図１に示す画像ＩＭ１１中に広告等が含まれる場合、生成装置１００は、広告が含まれないように要約動画を生成してもよい。例えば、生成装置１００は、図１に示す画像ＩＭ１１中に含まれるキャッチャーＰが所定の事象（例えば逮捕等）によりＮＧリストに含まれる場合、生成装置１００は、キャッチャーＰが含まれないように要約動画を生成してもよい。例えば、生成装置１００は、ＮＧリストに含まれるオブジェクト（以下、「ＮＧオブジェクト」とする）が要約動画に含まれることを回避する場合、種々の編集に関する手法を用いてもよい。例えば、生成装置１００は、所定の編集点（カット）を入れた要約動画を生成してもよい。例えば、生成装置１００は、要約動画に含めるオブジェクト間を連続的に繋がずに、一部に適当な編集効果を入れて分割してＮＧオブジェクトを避けてもよい。例えば、生成装置１００は、要約情報に含めるオブジェクトＡとオブジェクトＢとの間に、ＮＧオブジェクトＣが位置する場合、オブジェクトＡとオブジェクトＢとの間を連続的につながずに、一部に任意の編集効果を入れて分割してオブジェクトＣが含まれることを回避した要約動画を生成してもよい。例えば、生成装置１００は、所定の画像を追加したり、インサート編集等の種々の編集処理を行ったりしてもよい。また、生成装置１００は、複数の要約動画（アニメーション）のパス候補がある場合にはＮＧオブジェクトを含まない方を選択してもよい。例えば、生成装置１００は、オブジェクトＡとオブジェクトＢとの間をつなぐ要約動画を生成する場合に、オブジェクトＡとオブジェクトＢとの間をつなぐパスにＮＧオブジェクトＣが位置するパスとＮＧオブジェクトＣが位置しないパスとが含まれる場合、ＮＧオブジェクトＣが位置しないパスに基づいて、要約動画を生成してもよい。
【0037】
また、生成装置１００が生成する要約動画は、所定の圧縮形式により圧縮された動画であってもよい。また、生成装置１００は、要約動画における重要なシーンの前で所定の時間静止する要約動画を生成してもよい。例えば、生成装置１００は、重要なシーンの前で所定の時間静止し、テロップ等の文字情報を差し込み表示し、その後続きを表示する要約動画を生成してもよい。例えば、生成装置１００は、アクションシーンの要約動画において、殴るシーンの直前で一時停止し、テロップ等の文字情報を差し込み表示し、その後続きを表示する要約動画を生成してもよい。生成装置１００は、音声情報から取得した文字情報に基づいて、上記の処理を行ってもよい。また、生成装置１００は、所定のコンテンツの遷移先のコンテンツの要約動画を生成し、所定のコンテンツに表示してもよい。例えば、生成装置１００は、所定のウェブページの遷移先ページの要約動画を生成して、ディスプレイ広告として所定のウェブページに表示してもよい。例えば、生成装置１００は、所定のウェブページの遷移先ページのキャプチャ画像に基づいて要約動画を生成して、ディスプレイ広告として所定のウェブページに表示してもよい。
【0038】
〔２．配信システムの構成〕図２に示すように、配信システム１は、端末装置１０と、提供元端末５０と、生成装置１００とが含まれる。端末装置１０と、提供元端末５０と、生成装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図２は、実施形態に係る配信システムの構成例を示す図である。なお、図２に示した配信システム１には、複数台の端末装置１０や、複数台の提供元端末５０や、複数台の生成装置１００が含まれてもよい。
【0039】
端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、ユーザによる種々の操作を受け付ける。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、上述した端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。
【0040】
提供元端末５０は、文字情報や画像等のコンテンツの提供元によって利用される情報処理装置である。例えば、文字情報や画像等のコンテンツの提供元は、提供元端末５０により、図４に示すような文字情報や画像を生成装置１００へ提供する。
【0041】
生成装置１００は、複数の特徴領域情報に基づいて、画像を加工することにより、画像から加工画像を生成する情報処理装置である。また、本実施形態において生成装置１００は、生成した組合せコンテンツを端末装置１０へ配信するコンテンツ配信サービスを提供する。
【0042】
〔３．生成装置の構成〕次に、図３を用いて、実施形態に係る生成装置１００の構成について説明する。図３は、実施形態に係る生成装置１００の構成例を示す図である。図３に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0043】
（通信部１１０）通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。
【0044】
（記憶部１２０）記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、コンテンツ情報記憶部１２１を有する。
【0045】
（コンテンツ情報記憶部１２１）実施形態に係るコンテンツ情報記憶部１２１は、コンテンツに関する各種情報を記憶する。図４に、実施形態に係るコンテンツ情報記憶部１２１の一例を示す。図４に示すコンテンツ情報記憶部１２１は、「コンテンツＩＤ」、「文字情報」、「画像情報」、「画像ＩＤ」、「提供元ＩＤ」といった項目を有する。
【0046】
「コンテンツＩＤ」は、コンテンツを識別するための識別情報を示す。「文字情報」は、対応するコンテンツに含まれる文字情報を示す。また、「画像情報」は、対応するコンテンツに含まれる画像を示す。図４では、説明のため画像ＩＤにより識別される画像を図示するが、「画像情報」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。「画像ＩＤ」は、画像を識別するための識別情報を示す。例えば、画像ＩＤ「ＩＭ１１」により識別される画像は、図１の例に示した画像ＩＭ１１に対応する。また、「提供元ＩＤ」は、コンテンツの提供元を識別するための識別情報を示す。
【0047】
例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１１」により識別されるコンテンツＡＴ１１は、文字情報「Ｘ月Ｙ日に行われた決勝戦で、チームＡＡのピッチャーＮが…」と画像ＩＤ「ＩＭ１１」により識別される画像ＩＭ１１を含むコンテンツＡＴ１１であることを示す。また、コンテンツＩＤ「ＡＴ１１」により識別されるコンテンツＡＴ１１は、提供元ＩＤ「ＣＰ１１」により識別される提供元から取得したコンテンツＡＴ１１であることを示す。
【0048】
また、例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１２」により識別されるコンテンツＡＴ１２は、文字情報「Ｚ月Ａ日に行われたリーグの第Ｚ節、…」と画像ＩＤ「ＩＭ１２」により識別される画像ＩＭ１２を含むコンテンツＡＴ１２であることを示す。また、コンテンツＩＤ「ＡＴ１２」により識別されるコンテンツＡＴ１２は、提供元ＩＤ「ＣＰ１２」により識別される提供元から取得したコンテンツＡＴ１２であることを示す。
【0049】
なお、コンテンツ情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、コンテンツ情報記憶部１２１は、コンテンツに動画が含まれる場合、動画を記憶してもよい。例えば、コンテンツ情報記憶部１２１は、コンテンツに複数の画像が含まれる場合、複数の画像を記憶してもよい。例えば、コンテンツ情報記憶部１２１は、コンテンツのカテゴリに関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、コンテンツを取得した日時やコンテンツが作成された日時に関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、コンテンツから抽出されたトピックに関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、コンテンツの文字情報における重要語に関する情報を記憶してもよい。また、コンテンツ情報記憶部１２１中の画像は、画像の提供元や画像に関する権利（著作権等）を有する第三者から、画像への加工、すなわち二次加工に関する許諾が得られていることが判断（確認)され、管理（記憶）されているものとする。
【0050】
（制御部１３０）図３の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0051】
図３に示すように、制御部１３０は、取得部１３１と、抽出部１３２と、第１生成部１３３と、第２生成部１３４と、配信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。
【0052】
（取得部１３１）取得部１３１は、各種情報を取得する。例えば、取得部１３１は、外部装置や記憶部１２０から各種情報を取得する。例えば、取得部１３１は、外部装置やコンテンツ情報記憶部１２１からコンテンツに関する各種情報を取得する。例えば、取得部１３１は、コンテンツ情報記憶部１２１からコンテンツＡＴ１１に関する各種情報を取得する。
【0053】
また、取得部１３１は、コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する。例えば、取得部１３１は、特徴領域情報ＦＲ１１を取得する。図１では、取得部１３１は、画像に関する情報としてコンテンツＡＴ１１に含まれる画像ＩＭ１１から抽出される特徴領域情報ＦＲ１１を取得する。例えば、取得部１３１は、コンテンツに含まれる画像に関する情報から抽出された特徴領域情報を外部装置から取得してもよい。また、例えば、取得部１３１は、コンテンツに含まれる画像に関する情報から抽出された特徴領域情報を抽出部１３２や記憶部１２０から取得してもよい。
【0054】
例えば、取得部１３１は、画像に関する情報としてコンテンツに含まれる複数の画像情報から抽出される特徴領域情報を取得する。また、例えば、取得部１３１は、画像に関する情報としてコンテンツに含まれる動画情報から抽出される特徴領域情報を取得する。また、例えば、取得部１３１は、コンテンツに関連する文字情報に基づいて抽出される特徴領域情報を取得する。図１では、取得部１３１は、コンテンツＡＴ１１に含まれる文字情報ＩＣ１１に基づいて抽出される特徴領域情報ＦＲ１１を取得する。また、例えば、取得部１３１は、コンテンツに関連する音声情報に基づいて抽出される特徴領域情報を取得する。
【0055】
また、取得部１３１は、端末装置１０からコンテンツの配信要求を取得する。また、取得部１３１は、外部の情報処理装置からコンテンツ情報記憶部１２１に記憶されるコンテンツを取得する。この場合、例えば、取得部１３１は、提供元端末５０からコンテンツを取得する。また、取得部１３１は、コンテンツにおけるトピックに関する情報を取得してもよい。例えば、取得部１３１は、コンテンツにおけるトピックに関する指定をコンテンツの提供元から取得してもよい。この場合、例えば、取得部１３１は、提供元端末５０からコンテンツにおけるトピックに関する指定を取得する。
【0056】
（抽出部１３２）また、抽出部１３２は、コンテンツに含まれる画像から特徴量に関する特徴領域情報を抽出する。例えば、抽出部１３２は、各種情報に基づいて、画像から特徴量に関する特徴領域情報を抽出する。例えば、抽出部１３２は、コンテンツに含まれる画像に基づいて画像から特徴領域情報を抽出してもよい。図１では、抽出部１３２は、コンテンツＡＴ１１に含まれる画像ＩＭ１１に基づいて画像ＩＭ１１から特徴領域情報ＦＲ１１を抽出する。例えば、抽出部１３２は、サリエンシーディテクション等の画像処理における種々の従来手法を適宜用いて、画像ＩＭ１１における特徴領域情報ＦＲ１１を抽出する。例えば、抽出部１３２は、Ｒ−ＣＮＮ等の画像認識技術を用いた画像処理を適宜用いてもよい。また、抽出部１３２は、画像処理の種々の従来手法等を適宜用いて、画像におけるオブジェクト（物体）の認識による情報の抽出を行ってもよい。
【0057】
また、抽出部１３２は、文字情報に基づいて画像から特徴領域情報を抽出する。例えば、抽出部１３２は、コンテンツに関連する文字情報に基づいて画像から特徴領域情報を抽出する。図１では、抽出部１３２は、コンテンツＡＴ１１に含まれる文字情報ＩＣ１１に基づいて画像ＩＭ１１から特徴領域情報ＦＲ１１を抽出する。例えば、抽出部１３２は、文字情報ＩＣ１１から抽出したトピックに基づいて、画像ＩＭ１１から特徴領域情報ＦＲ１１を抽出する。例えば、抽出部１３２は、画像処理等の種々の従来手法を適宜用いて、画像ＩＭ１１における特徴領域情報ＦＲ１１を抽出する。例えば、抽出部１３２は、画像ＩＭ１１において文字情報ＩＣ１１から抽出したトピックに関する物体を含む領域の特徴量が大きくなるように特徴領域情報ＦＲ１１を抽出する。
【0058】
また、例えば、抽出部１３２は、画像から文字情報を生成する技術を応用して特徴領域情報を抽出してもよい。例えば、画像のキャプション生成のためのＡｔｔｅｎｔｉｏｎ機構付きＮＮ（Neural Network）を応用して特徴領域情報を取得してもよい。例えば、抽出部１３２は、入力画像の局所領域の畳み込みとプーリングとを繰り返す、いわゆる畳み込みニューラルネットワーク（ＣＮＮ）やリカレントニューラルネットワーク（ＲＮＮ）の技術を適宜用いて、特徴領域情報を抽出してもよい。例えば、抽出部１３２は、ＲＮＮとして、ＬＳＴＭ（Long Short-Term Memory）の技術を用いてもよい。例えば、抽出部１３２は、画像のみから、画像に含まれる特徴（対象）であって、文字情報（キャプション）を生成する際に文字情報に含まれる特徴（対象）を示す特徴領域情報を抽出する。例えば、抽出部１３２は、文字情報（キャプション）を生成する際に文字情報に含まれる特徴（対象）を含む領域の特徴量が大きい特徴領域情報を抽出する。なお、抽出部１３２は、コンテンツに関連する音声情報に基づいて上述した抽出処理を行ってもよい。
【0059】
図１では、抽出部１３２は、画像ＩＭ１１に含まれるオブジェクトを抽出し、抽出したオブジェクトの表示順を決定する。例えば、抽出部１３２は、特徴領域情報ＦＲ１１や文字情報ＩＣ１１等の種々の情報に基づいて、オブジェクト一覧ＯＬ１１に示すように、オブジェクトＯＢ１１〜ＯＢ１５等を抽出する。例えば、抽出部１３２は、画像ＩＭ１１に含まれるキャッチャーＰをオブジェクトＯＢ１１として抽出する。また、抽出部１３２は、画像ＩＭ１１に含まれるピッチャーＮをオブジェクトＯＢ１２として抽出する。また、抽出部１３２は、画像ＩＭ１１に含まれるバッターＯをオブジェクトＯＢ１３として抽出する。また、抽出部１３２は、画像ＩＭ１１に含まれる審判ＱをオブジェクトＯＢ１４として抽出する。また、抽出部１３２は、画像ＩＭ１１に含まれるボールをオブジェクトＯＢ１５として抽出する。
【0060】
なお、抽出部１３２は、種々の従来技術を適宜用いて、文字情報ＩＣ１１に含まれるピッチャーＮ（オブジェクトＯＢ１２）が位置する領域やバッターＯ（オブジェクトＯＢ１３）が位置する領域やボール（オブジェクトＯＢ１５）が位置する領域を推定してもよい。例えば、抽出部１３２は、特徴量が大きい領域の形状や位置関係等に応じて、ピッチャーＮ（オブジェクトＯＢ１２）が位置する領域やバッターＯ（オブジェクトＯＢ１３）が位置する領域やボール（オブジェクトＯＢ１５）が位置する領域を推定してもよい。また、抽出部１３２は、種々の情報を適宜用いて、ピッチャーＮ（オブジェクトＯＢ１２）が位置する領域やバッターＯ（オブジェクトＯＢ１３）が位置する領域やボール（オブジェクトＯＢ１５）が位置する領域を推定してもよい。
【0061】
例えば、抽出部１３２は、種々のオブジェクトを学習した学習情報に基づいて、オブジェクトＯＢ１１〜ＯＢ１５を抽出してもよい。例えば、抽出部１３２は、ピッチャーＮのユニフォームや背番号等を学習した学習情報に基づいて、画像ＩＭ１１からオブジェクトＯＢ１２を抽出してもよい。また、例えば、抽出部１３２は、バッターＯの顔等を学習した学習情報に基づいて、画像ＩＭ１１からオブジェクトＯＢ１３を抽出してもよい。また、例えば、抽出部１３２は、野球のボールを学習した学習情報に基づいて、画像ＩＭ１１からオブジェクトＯＢ１５を抽出してもよい。なお、抽出部１３２は、特徴領域情報ＦＲ１１等により画像ＩＭ１１からオブジェクトＯＢ１１〜ＯＢ１５等が抽出可能であれば、どのような技術によりオブジェクト抽出を行ってもよい。
【0062】
また、抽出部１３２は、抽出したオブジェクトＯＢ１１〜ＯＢ１５等の表示順を決定する。例えば、抽出部１３２は、文字情報ＩＣ１１から抽出したトピックや文字情報ＩＣ１１の構文や時系列に関する情報に基づいて、オブジェクトＯＢ１１〜ＯＢ１５等の表示順を決定する。
【0063】
また、抽出部１３２は、種々の従来技術を適宜用いて、文字情報ＩＣ１１には、ピッチャーＮの表示順よりもバッターＯの表示順が後であると決定する。また、抽出部１３２は、ボールがピッチャーＮとバッターＯとをつなぐ関係にあるため、ボールの表示順をピッチャーＮとバッターＯと間の表示順であると決定する。これにより、抽出部１３２は、ピッチャーＮ、ボール、バッターＯの時系列における順序を抽出する。すなわち、抽出部１３２は、オブジェクトＯＢ１２の表示順を１位、オブジェクトＯＢ１３の表示順を３位、オブジェクトＯＢ１５の表示順を２位に決定する。また、抽出部１３２は、画像ＩＭ１１に含まれる他のオブジェクトＯＢ１１やＯＢ１４等はコンテンツＡＴ１１において重要度が低いオブジェクトとして、表示順を設定しない。すなわち、抽出部１３２は、画像ＩＭ１１に含まれるキャッチャーＰや審判ＱをコンテンツＡＴ１１の内容において重要ではないとして、表示順を「−（無）」と決定する。
【0064】
また、抽出部１３２は、コンテンツからトピックを抽出してもよい。例えば、抽出部１３２は、コンテンツＡＴ１１からトピックを抽出する。また、抽出部１３２は、文字情報に基づいてトピックを抽出してもよい。例えば、抽出部１３２は、文字情報ＩＣ１１に基づいてトピックを抽出する。なお、抽出部１３２は、トピック分析（解析）等の種々の従来手法を適宜用いて、コンテンツＡＴ１１からトピックを抽出してもよい。例えば、抽出部１３２は、文字情報ＩＣ１１を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報ＩＣ１１から重要なキーワードをトピックとして抽出してもよい。また、抽出部１３２は、抽出した特徴領域情報等の各種情報を記憶部１２０に記憶してもよい。
【0065】
（第１生成部１３３）第１生成部１３３は、複数の加工画像を生成する。例えば、第１生成部１３３は、取得部１３１により取得された特徴領域情報に基づいてコンテンツから複数の加工画像を生成する。図１では、第１生成部１３３は、コンテンツＡＴ１１から複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成する。例えば、第１生成部１３３は、特徴領域情報ＦＲ１１やオブジェクト一覧ＯＬ１１に基づいて、画像ＩＭ１１をクロッピングすることにより、複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成する。また、例えば、第１生成部１３３は、画像ＩＭ１１に含まれる対象物（オブジェクトＯＢ１２、ＯＢ１３、ＯＢ１５）に関する領域をクロッピングすることにより生成される加工画像ＩＰ１１１〜ＩＰ１４１を含む、複数の加工画像を生成する。
【0066】
図１の例では、第１生成部１３３は、ピッチャーＮの略全身が含まれる加工画像ＩＰ１１１やピッチャーＮの背番号部分が含まれる加工画像ＩＰ１２１やボールが含まれる加工画像ＩＰ１３１やバッターＯが含まれる加工画像ＩＰ１４１等を生成する。例えば、第１生成部１３３は、画像ＩＭ１１の領域ＡＲ１１をクロッピングすることにより、加工画像ＩＰ１１１を生成する。また、例えば、第１生成部１３３は、画像ＩＭ１１の領域ＡＲ１２をクロッピングすることにより、加工画像ＩＰ１２１を生成する。また、例えば、第１生成部１３３は、画像ＩＭ１１の領域ＡＲ１３をクロッピングすることにより、加工画像ＩＰ１３１を生成する。また、例えば、第１生成部１３３は、画像ＩＭ１１の領域ＡＲ１４をクロッピングすることにより、加工画像ＩＰ１４１を生成する。
【0067】
また、第１生成部１３３は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等の順位を決定する。例えば、第１生成部１３３は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等のうち、表示順が１位のオブジェクトであるピッチャーＮを含む加工画像ＩＰ１１１、ＩＰ１２１等に高い順位を付す。具体的には、第１生成部１３３は、ピッチャーＮの略全身が含まれる加工画像ＩＰ１１１に順位Ａを付し、ピッチャーＮの背番号部分が含まれる加工画像ＩＰ１２１に順位Ｂ（Ａ＋α）を付す。
【0068】
また、例えば、第１生成部１３３は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等のうち、表示順が２位のオブジェクトであるボールを含む加工画像ＩＰ１３１等にピッチャーＮが含まれる加工画像の順位より低い順位を付す。具体的には、第１生成部１３３は、ボール（オブジェクトＯＢ１５）が含まれる加工画像ＩＰ１２１に順位Ｃ（Ｂ＋β）を付す。
【0069】
また、例えば、第１生成部１３３は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等のうち、表示順が３位のオブジェクトであるバッターＯを含む加工画像ＩＰ１４１等にボール（オブジェクトＯＢ１５）が含まれる加工画像の順位より低い順位を付す。具体的には、第１生成部１３３は、バッターＯが含まれる加工画像ＩＰ１４１に順位Ｄ（Ｃ＋γ）を付す。
【0070】
例えば、第１生成部１３３は、複数の画像情報から複数の加工画像を生成する。また、例えば、第１生成部１３３は、複数の画像情報のうち、所定の画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、複数の加工画像を生成する。例えば、第１生成部１３３は、動画情報から複数の加工画像を生成する。また、例えば、第１生成部１３３は、動画情報から抽出される画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、複数の加工画像を生成する。なお、これらの点についての詳細は後述する。
【0071】
また、第１生成部１３３は、文字情報に基づいて複数の加工画像を生成してもよい。図１の例では、第１生成部１３３は、文字情報ＩＣ１１に基づいて抽出された特徴領域情報ＦＲ１１やオブジェクト一覧ＯＬ１１に基づいて、画像ＩＭ１１をクロッピングすることにより、複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成する。また、第１生成部１３３は、音声情報に基づいて複数の加工画像を生成してもよい。なお、第１生成部１３３は、生成した加工画像を記憶部１２０に記憶してもよい。
【0072】
（第２生成部１３４）第２生成部１３４は、複数の加工画像に付された順位に基づく順序で、複数の加工画像が表示される動画情報を生成する。なお、第２生成部１３４は、生成した動画情報（要約動画）を記憶部１２０に記憶してもよい。例えば、第２生成部１３４は、文字情報に基づいて複数の加工画像に付された順位に応じた順序で、複数の加工画像が表示される動画情報を生成する。第２生成部１３４は、音声情報に基づいて複数の加工画像に付された順位に応じた順序で、複数の加工画像が表示される動画情報を生成してもよい。例えば、第２生成部１３４は、音声情報に基づく音声を含む動画情報を生成してもよい。
【0073】
図１では、第２生成部１３４は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等に付された順位に基づく順序で、複数の加工画像ＩＰ１１１〜ＩＰ１４１等が表示される要約動画ＭＶ１１を生成する。例えば、第２生成部１３４は、上述したフレーム補間等の処理により、複数の加工画像ＩＰ１１１〜ＩＰ１４１間をつなぐ補間を行うことにより、要約動画ＭＶ１１を生成してもよい。例えば、第２生成部１３４は、生成した加工画像に加工画像ＩＰ１１１〜ＩＰ１４１以外にも多数の加工画像が含まれる場合、複数の加工画像に付された順位に基づく順序で、複数の加工画像が表示される要約動画ＭＶ１１を生成してもよい。
【0074】
また、第２生成部１３４は、複数の加工画像のうち、所定の表示順が付された第１の対象物が含まれる加工画像の後に、第１の対象物に付された表示順よりも下位の表示順が付された第２の対象物が含まれる加工画像が表示される動画情報を生成する。図１では、第２生成部１３４は、加工画像ＩＰ１１１〜ＩＰ１４１のうち、表示順「１」位が付されたピッチャーＮが含まれる加工画像ＩＰ１２１の後に、表示順「２」位が付されたボールが含まれる加工画像ＩＰ１３１が表示される要約動画ＭＶ１１を生成する。また、第２生成部１３４は、加工画像ＩＰ１１１〜ＩＰ１４１のうち、表示順「２」位が付されたボールが含まれる加工画像ＩＰ１３１の後に、表示順「３」位が付されたバッターＯが含まれる加工画像ＩＰ１４１が表示される要約動画ＭＶ１１を生成する。
【0075】
例えば、第２生成部１３４は、複数の加工画像のうち、所定の対象物の一部であって、所定の表示順が付された第１の部分が含まれる加工画像の後に、所定の対象物の一部であって、第１の部分に付された表示順よりも下位の表示順が付された第２の部分が含まれる加工画像が表示される動画情報を生成する。オブジェクトとしてファッションショー等におけるモデルが含まれる画像を用いた場合を例に説明する。この場合、オブジェクトであるモデル（人間）について、上下方向に３分割、例えば、下から脚部、胴体部、頭部に３分割されるものとする。また、オブジェクトであるモデル（人間）が含まれる動画情報等に基づく学習により、オブジェクトがモデル（人間）である場合、下から上へ脚部、胴体部、頭部の順で表示されることが多いことを示す情報が取得されているものとする。そのため、例えば、オブジェクトであるモデル（人間）について、脚部に表示順「１」位が付され、胴体部に表示順「２」位が付され、頭部に表示順「３」位が付されるものとする。また、オブジェクトとしてモデル（人間）が含まれる動画や画像から第１生成部１３３により生成される各加工画像には、上述した表示順に基づいた順位が付されるものとする。
【0076】
上述した例においては、第２生成部１３４は、オブジェクトであるモデル（人間）において、表示順「１」位が付された脚部が含まれる加工画像の後に、表示順「２」位が付された胴体部が含まれる加工画像が表示される要約動画を生成する。また、第２生成部１３４は、オブジェクトであるモデル（人間）において、表示順「２」位が付された胴体部が含まれる加工画像の後に、表示順「３」位が付された頭部が含まれる加工画像が表示される要約動画を生成する。これにより、第２生成部１３４は、コンテンツに含まれる画像や動画にオブジェクトとしてモデル（人間）が含まれる場合において、下から上へ脚部、胴体部、頭部の順で表示される要約動画を生成することができる。なお、第２生成部１３４は、オブジェクトに応じて、オブジェクトの各部分が種々の順序で表示される要約動画を生成してもよい。例えば、第２生成部１３４は、オブジェクトに応じて、オブジェクトの左、中央、右の順序で表示される要約動画を生成してもよい。また、例えば、第２生成部１３４は、オブジェクトに応じて、オブジェクトの時計回りや反時計回りの順序で表示される要約動画を生成してもよい。また、例えば、第２生成部１３４は、動画や画像に会議のシーンで円卓等に複数人が並ぶ場合、時計回りの順序で円卓に座る人が表示される要約動画を生成してもよい。
【0077】
（配信部１３５）配信部１３５は、コンテンツを端末装置１０へ配信する。例えば、配信部１３５は、第２生成部１３４により生成された要約動画を含むコンテンツを端末装置１０へ配信する。例えば、配信部１３５は、要約動画ＭＶ１１と文字情報ＩＣ１１とを端末装置１０へ配信する。また、配信部１３５は、コンテンツ情報記憶部１２１に記憶されたコンテンツを端末装置１０へ配信してもよい。
【0078】
〔４．端末装置の構成〕次に、図５を用いて、実施形態に係る端末装置１０の構成について説明する。図５は、実施形態に係る端末装置１０の構成例を示す図である。図５に示すように、端末装置１０は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、制御部１５とを有する。
【0079】
（通信部１１）通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、生成装置１００との間で情報の送受信を行う。
【0080】
（記憶部１２）記憶部１２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、例えば、端末装置１０にインストールされているアプリケーションに関する情報、例えばプログラム等を記憶する。
【0081】
（入力部１３）入力部１３は、ユーザからの各種操作を受け付ける。例えば、入力部１３は、タッチパネル機能により表示面（例えば表示部１５３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１３は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0082】
（出力部１４）出力部１４は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。
【0083】
（制御部１５）制御部１５は、例えば、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶部１２などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、インストールされているアプリケーションのプログラムが含まれる。また、制御部１５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【0084】
図５に示すように、制御部１５は、送信部１５１と、受信部１５２と、表示部１５３とを有し、以下に説明する生成処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図５に示した構成に限られず、後述する生成処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。
【0085】
送信部１５１は、各種情報を外部の情報処理装置へ送信する。送信部１５１は、入力部１３により受け付けたユーザ操作に従って、生成装置１００へコンテンツの配信要求を送信する。例えば、送信部１５１は、アプリからの配信要求を生成装置１００へ送信する。
【0086】
受信部１５２は、各種情報を外部の情報処理装置から受信する。受信部１５２は、生成装置１００から配信されたコンテンツを受信する。例えば、受信部１５２は、コンテンツから生成された要約動画を受信する。例えば、受信部１５２は、要約動画ＭＶ１１や文字情報ＩＣ１１（図６参照）を受信する。
【0087】
表示部１５３は、受信部１５２により受信されたコンテンツを表示する。例えば、表示部１５３は、受信部１５２により受信された要約動画ＭＶ１１や文字情報ＩＣ１１を含むウェブページＷ１０（図６参照）を表示する。
【0088】
なお、上述した制御部１５による表示処理等の処理は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などにより実現されてもよい。また、上述した表示処理が所定のアプリケーションにより行われる場合や表示処理が専用アプリにより行われる場合、制御部１５は、例えば、所定のアプリや専用アプリを制御するアプリ制御部を有してもよい。
【0089】
〔５．加工画像を含むコンテンツの表示例〕次に、図６を用いて、実施形態に係る端末装置１０における要約動画を含むコンテンツの表示について説明する。図６は、実施形態に係る端末装置における表示の一例を示す図である。図６では、端末装置１０が生成装置１００から要約動画ＭＶ１１や文字情報ＩＣ１１等を受信した場合を例に説明する。
【0090】
図６に示す例において、端末装置１０には、要約動画ＭＶ１１や文字情報ＩＣ１１を含むウェブページＷ１０が表示される。例えば、文字情報ＩＣ１１の下部には、図示しない他の要約動画や文字情報が並べて配置されており、ユーザがスクロール操作等を行うことにより、表示する要約動画や文字情報を変更することができる。
【0091】
例えば、端末装置１０に表示された要約動画ＭＶ１１がユーザにより選択された場合、端末装置１０は、要約動画ＭＶ１１を再生してもよい。また、例えば、端末装置１０において要約動画ＭＶ１１が表示された領域をユーザがタッチした場合、端末装置１０は、要約動画ＭＶ１１を再生してもよい。また、例えば、端末装置１０がユーザの視線を検知する機能を有する場合、端末装置１０において要約動画ＭＶ１１が表示された領域へのユーザの視線を検知した場合、端末装置１０は、要約動画ＭＶ１１を再生してもよい。なお、端末装置１０は、要約動画に音声情報が含まれる場合、要約動画の再生に応じて音声情報をスピーカ等により出力してもよい。また、端末装置１０は、ユーザがスクロール操作に応じて、要約動画ＭＶ１１を再生してもよい。例えば、端末装置１０は、要約動画ＭＶ１１を画面の下側へ移動させるスクロール操作を行った場合、その移動量に応じて要約動画ＭＶ１１の表示を進めてもよい。例えば、図６に示す状態において、要約動画ＭＶ１１を画面の下側へ移動させるスクロール操作を行った場合、各加工画像に付された順序に従って、加工画像ＩＰ１１１から加工画像ＩＰ１２１、ＩＰ１３１、ＩＰ１４１等に要約動画ＭＶ１１の表示を順番に変更してもよい。すなわち、端末装置１０は、要約動画ＭＶ１１を画面の下側へ移動させるスクロール操作に応じて要約動画ＭＶ１１を再生してもよい。
【0092】
また、例えば、端末装置１０は、要約動画ＭＶ１１を画面の上側へ移動させるスクロール操作を行った場合、その移動量に応じて要約動画ＭＶ１１の表示を戻してもよい。例えば、端末装置１０における要約動画ＭＶ１１の表示が加工画像ＩＰ１４１である場合、要約動画ＭＶ１１を画面の上側へ移動させるスクロール操作を行った場合、各加工画像に付された順序に従って、加工画像ＩＰ１４１から加工画像ＩＰ１３１、ＩＰ１２１、ＩＰ１１１等に要約動画ＭＶ１１の表示を順番に変更してもよい。すなわち、端末装置１０は、要約動画ＭＶ１１を画面の上側へ移動させるスクロール操作に応じて要約動画ＭＶ１１を逆再生してもよい。
【0093】
また、端末装置１０は、要約動画ＭＶ１１の表示に応じて、文字情報ＩＣ１１の表示を変更してもよい。例えば、端末装置１０は、文字情報ＩＣ１１のうち、要約動画ＭＶ１１の表示に対応する文章を表示してもよい。例えば、図６に示す状態において、端末装置１０は、文字情報ＩＣ１１のうち、要約動画ＭＶ１１の表示に対応する文章「チームＡＡのピッチャーＮが投げた…」を表示してもよい。また、例えば、要約動画ＭＶ１１の表示が加工画像ＩＰ１４１である状態において、端末装置１０は、文字情報ＩＣ１１のうち、要約動画ＭＶ１１の表示に対応する文章「チームＢＢのバッターＯが打ち返し…」を表示してもよい。
【0094】
なお、図６に示すウェブページＷ１０の表示は一例であり、端末装置１０には、どのような対応において要約動画ＭＶ１１や文字情報ＩＣ１１が表示されてもよい。例えば、端末装置１０には、要約動画ＭＶ１１と文字情報ＩＣ１１とは横方向に並べて表示されてもよい。
【0096】
まず、図７に示す例において、生成装置１００は、画像及び文字情報を含むコンテンツを取得する（ステップＳ１０１）。例えば、生成装置１００は、画像及び文字情報を含むコンテンツをコンテンツ情報記憶部１２１から取得する。
【0097】
そして、生成装置１００は、画像及び文字情報に基づいて、画像から特徴領域情報を抽出する（ステップＳ１０２）。図１では、生成装置１００は、画像ＩＭ１１と文字情報ＩＣ１１とに基づいて画像ＩＭ１１から特徴領域情報ＦＲ１１を抽出する。
【0098】
また、生成装置１００は、画像に含まれるオブジェクトの表示順を決定する（ステップＳ１０３）。図１では、生成装置１００は、オブジェクトＯＢ１２の表示順を１位、オブジェクトＯＢ１３の表示順を３位、オブジェクトＯＢ１５の表示順を２位に決定する。
【0099】
その後、生成装置１００は、特徴領域情報に基づいてコンテンツから複数の加工画像を生成する（ステップＳ１０４）。図１では、生成装置１００は、コンテンツＡＴ１１から複数の加工画像ＩＰ１１１〜ＩＰ１４１等を生成する。
【0100】
その後、生成装置１００は、オブジェクトの表示順に基づく順序で、加工画像が表示される動画を生成する（ステップＳ１０５）。図１では、生成装置１００は、複数の加工画像ＩＰ１１１〜ＩＰ１４１等に付された順位に基づく順序で、複数の加工画像ＩＰ１１１〜ＩＰ１４１等が表示される要約動画ＭＶ１１を生成する。
【0102】
なお、図８や図９の説明においては、特徴領域情報の抽出等の説明は省略するが、各フレームＦＭ２１１〜ＦＭ２６１を画像ＩＭ１１と同様の情報として、図１と同様の処理を行うことにより、特徴領域情報を抽出してもよい。例えば、生成装置１００は、フレームＦＭ２１１〜ＦＭ２６１ごとに特徴領域情報の抽出の処理を行ってもよい。また、オブジェクトの追跡等の種々の従来技術を用いて、各フレームＦＭ２１１〜ＦＭ２６１に含まれるオブジェクトの位置等を特定してもよい。例えば、生成装置１００は、所定間隔で抽出したフレーム（例えばフレームＦＭ２１１等）に対して特徴領域情報の抽出の処理を行い、フレームＦＭ２１１から抽出されたオブジェクトを追跡することにより、各フレームＦＭ２１１〜ＦＭ２６１から特徴領域情報の抽出の処理を行ってもよい。なお、上記は一例であり、生成装置１００は、フレームから特徴領域情報を抽出し、オブジェクトが特定可能であれば、どのような処理により、特徴領域情報の抽出を行ってもよい。まず、図８における動画ＭＣ２１を用いた生成処理について説明する。
【0103】
図８の例においては、生成装置１００は、上述した処理により動画ＭＣ２１に含まれるオブジェクトを抽出し、抽出したオブジェクトの表示順を決定する。例えば、生成装置１００は、オブジェクト一覧ＯＬ２１に示すように、動画ＭＣ２１に含まれるオブジェクトＯＢ２１〜ＯＢ２３等を抽出する。図８の例では、生成装置１００は、動画ＭＣ２１に含まれる犬ＡをオブジェクトＯＢ２１として抽出する。また、生成装置１００は、動画ＭＣ２１に含まれる犬ＢをオブジェクトＯＢ２２として抽出する。また、生成装置１００は、動画ＭＣ２１に含まれるボールをオブジェクトＯＢ２３として抽出する。
【0104】
また、生成装置１００は、抽出したオブジェクトＯＢ２１〜ＯＢ２３等の表示順を決定する。例えば、生成装置１００は、各フレームＦＭ２１１〜ＦＭ２６１等における撮影範囲の変化や、動画ＭＣ２１におけるオブジェクトＯＢ２１〜ＯＢ２３等の位置の変化に基づいて、オブジェクトＯＢ２１〜ＯＢ２３等の表示順を決定する。なお、図８の例では、説明を簡単にするために、例えば定点カメラのように、撮影範囲は固定されているものとする。そのため、生成装置１００は、オブジェクトＯＢ２１〜ＯＢ２３等の位置の変化に基づいて、オブジェクトＯＢ２１〜ＯＢ２３等の表示順を決定する。図８の例では、ボールが犬Ａの前を通過し左側から右側へ移動し、右側において犬Ｂがボールと重なる。そのため、生成装置１００は、種々の従来技術を適宜用いて、犬Ａの表示順よりも犬Ｂの表示順が後であると決定する。また、生成装置１００は、ボールが犬Ａと犬Ｂとをつなぐ関係にあるため、ボールの表示順を犬Ａと犬Ｂとの間の表示順であると決定する。これにより、生成装置１００は、左側に位置する犬ＡであるオブジェクトＯＢ２１の表示順を１位、ボールであるオブジェクトＯＢ２３の表示順を２位、右側に位置する犬ＢであるオブジェクトＯＢ２２の表示順を３位に決定する。
【0105】
そして、生成装置１００は、フレームＦＭ２１１〜ＦＭ２６１等を含む動画ＭＣ２１から複数の加工画像ＩＰ２１１〜ＩＰ２６１等を生成し、生成した複数の加工画像ＩＰ２１１〜ＩＰ２６１が表示される要約動画ＭＶ２１を生成する（ステップＳ２１）。例えば、生成装置１００は、各フレームの特徴領域情報やオブジェクト一覧ＯＬ２１に基づいて、対応するフレーム（画像）をクロッピングすることにより、複数の加工画像ＩＰ２１１〜ＩＰ２６１等を生成する。
【0106】
図８の例では、生成装置１００は、犬Ａの全体が含まれる加工画像ＩＰ２１１、ＩＰ２２１、ＩＰ２３１やボールが含まれる加工画像ＩＰ２４１やボール及び犬Ｂが含まれる加工画像ＩＰ２５１、ＩＰ２６１等を生成する。例えば、生成装置１００は、フレームＦＭ２１１の領域ＡＲ２１をクロッピングすることにより、加工画像ＩＰ２１１を生成する。また、例えば、生成装置１００は、フレームＦＭ２２１の領域ＡＲ２２をクロッピングすることにより、加工画像ＩＰ２２１を生成する。また、例えば、生成装置１００は、フレームＦＭ２３１の領域ＡＲ２３をクロッピングすることにより、加工画像ＩＰ２３１を生成する。また、例えば、生成装置１００は、フレームＦＭ２４１の領域ＡＲ２４をクロッピングすることにより、加工画像ＩＰ２４１を生成する。また、例えば、生成装置１００は、フレームＦＭ２５１の領域ＡＲ２５をクロッピングすることにより、加工画像ＩＰ２５１を生成する。また、例えば、生成装置１００は、フレームＦＭ２６１の領域ＡＲ２６をクロッピングすることにより、加工画像ＩＰ２６１を生成する。なお、図８では説明を簡単にするために、加工画像ＩＰ２１１〜ＩＰ２６１のみを図示するが、生成装置１００は、他のフレーム（画像）から多数の加工画像を生成してもよい。また、生成装置１００は、１つのフレームから複数の加工画像を生成してもよい。
【0107】
そして、生成装置１００は、複数の加工画像ＩＰ２１１〜ＩＰ２６１等の順位を決定する。なお、図８の例では、各加工画像ＩＰ２１１〜ＩＰ２６１等の順位は、抽出元となるフレームＦＭ２１１〜ＦＭ２６１の時系列順に対応する。例えば、生成装置１００は、複数の加工画像ＩＰ２１１〜ＩＰ２６１等のうち、加工画像ＩＰ２１１を最も表示順を高くし、その次に加工画像ＩＰ２２１の順位を高くする。また、生成装置１００は、複数の加工画像ＩＰ２１１〜ＩＰ２６１等のうち、加工画像ＩＰ２３１の順位を加工画像ＩＰ２２１の次に高くし、加工画像ＩＰ２４１、ＩＰ２５１、ＩＰ２６１の順位は、加工画像ＩＰ２３１よりも低く、加工画像ＩＰ２４１、ＩＰ２５１、ＩＰ２６１の順に低くなる順位とする。図８の例では、生成装置１００は、加工画像ＩＰ２１１の順位を順位Ａ、加工画像ＩＰ２２１の順位を順位Ｂ、加工画像ＩＰ２３１の順位を順位Ｃ、加工画像ＩＰ２４１の順位を順位Ｄ、加工画像ＩＰ２５１の順位を順位Ｅ、加工画像ＩＰ２６１の順位を順位Ｆに決定する（Ａ＜Ｂ＜Ｃ＜Ｄ＜Ｅ＜Ｆ）。
【0108】
そして、生成装置１００は、複数の加工画像ＩＰ２１１〜ＩＰ２６１等に付された順位に基づく順序で、複数の加工画像ＩＰ２１１〜ＩＰ２６１等が表示される要約動画ＭＶ２１を生成する。例えば、生成装置１００は、上述したフレーム補間等の処理により、複数の加工画像ＩＰ２１１〜ＩＰ２６１間をつなぐ補間を行うことにより、要約動画ＭＶ２１を生成してもよい。例えば、生成装置１００は、生成した加工画像に加工画像ＩＰ２１１〜ＩＰ２６１以外にも多数の加工画像が含まれる場合、複数の加工画像に付された順位に基づく順序で、複数の加工画像が表示される要約動画ＭＶ２１を生成してもよい。このように、生成装置１００は、動画から要約動画を生成することができる。なお、上述のように、複数のフレームから要約動画を生成する処理は、複数の画像から要約動画を生成する処理に対応する。
【0109】
次に、図９における動画ＭＣ２１を用いた生成処理について説明する。図９の例においては、生成装置１００は、上述した処理により動画ＭＣ２１に含まれるオブジェクトを抽出し、抽出したオブジェクトの表示順を決定する。例えば、生成装置１００は、オブジェクト一覧ＯＬ２１に示すように、動画ＭＣ２１に含まれるオブジェクトＯＢ２１〜ＯＢ２３等を抽出する。図９の例では、生成装置１００は、動画ＭＣ２１に含まれる犬ＡをオブジェクトＯＢ２１として抽出する。また、生成装置１００は、動画ＭＣ２１に含まれる犬ＢをオブジェクトＯＢ２２として抽出する。また、生成装置１００は、動画ＭＣ２１に含まれるボールをオブジェクトＯＢ２３として抽出する。
【0110】
また、生成装置１００は、抽出したオブジェクトＯＢ２１〜ＯＢ２３等の表示順を決定する。例えば、生成装置１００は、各フレームＦＭ２１１〜ＦＭ２６１等における撮影範囲の変化や、動画ＭＣ２１におけるオブジェクトＯＢ２１〜ＯＢ２３等の位置の変化に基づいて、オブジェクトＯＢ２１〜ＯＢ２３等の表示順を決定する。なお、図９の例では、説明を簡単にするために、例えば定点カメラのように、撮影範囲は固定されているものとする。そのため、生成装置１００は、オブジェクトＯＢ２１〜ＯＢ２３等の位置の変化に基づいて、オブジェクトＯＢ２１〜ＯＢ２３等の表示順を決定する。図９の例では、ボールが犬Ａの前を通過し左側から右側へ移動し、右側において犬Ｂがボールと重なる。そのため、生成装置１００は、種々の従来技術を適宜用いて、犬Ａの表示順よりも犬Ｂの表示順が後であると決定する。また、生成装置１００は、ボールが犬Ａと犬Ｂとをつなぐ関係にあるため、ボールの表示順を犬Ａと犬Ｂとの間の表示順であると決定する。これにより、生成装置１００は、左側に位置する犬ＡであるオブジェクトＯＢ２１の表示順を１位、ボールであるオブジェクトＯＢ２３の表示順を２位、右側に位置する犬ＢであるオブジェクトＯＢ２２の表示順を３位に決定する。
【0111】
そして、生成装置１００は、フレームＦＭ２１１〜ＦＭ２６１等を含む動画ＭＣ２１から複数の加工画像ＩＰ３１１〜ＩＰ３６１等を生成し、生成した複数の加工画像ＩＰ３１１〜ＩＰ３６１が表示される要約動画ＭＶ２２を生成する（ステップＳ２２）。例えば、生成装置１００は、各フレームの特徴領域情報やオブジェクト一覧ＯＬ２１に基づいて、対応するフレーム（画像）をクロッピングすることにより、複数の加工画像ＩＰ３１１〜ＩＰ３６１等を生成する。
【0112】
図９の例では、生成装置１００は、犬Ａの全体が含まれる加工画像ＩＰ３１１、ＩＰ３２１、ＩＰ３３１やボールが含まれる加工画像ＩＰ３４１やボール及び犬Ｂが含まれる加工画像ＩＰ３５１、ＩＰ３６１等を生成する。例えば、生成装置１００は、フレームＦＭ２１１の領域ＡＲ３１をクロッピングすることにより、加工画像ＩＰ３１１を生成する。また、例えば、生成装置１００は、フレームＦＭ２２１の領域ＡＲ３２をクロッピングすることにより、加工画像ＩＰ３２１を生成する。また、例えば、生成装置１００は、フレームＦＭ２３１の領域ＡＲ３３をクロッピングすることにより、加工画像ＩＰ３３１を生成する。また、例えば、生成装置１００は、フレームＦＭ２４１の領域ＡＲ３４をクロッピングすることにより、加工画像ＩＰ３４１を生成する。加工画像ＩＰ３４１は、動画ＭＣ２１に含まれ、表示順が付されたオブジェクトＯＢ２１〜ＯＢ２３の全てを含む。このように、図９の例では、生成装置１００は、全体を俯瞰するような加工画像ＩＰ３４１を生成することにより、図８に示す場合と比較して、より動画ＭＣ２１全体の内容を含む要約動画ＭＶ２２を生成することができる。
【0113】
また、例えば、生成装置１００は、フレームＦＭ２５１の領域ＡＲ３５をクロッピングすることにより、加工画像ＩＰ３５１を生成する。また、例えば、生成装置１００は、フレームＦＭ２６１の領域ＡＲ３６をクロッピングすることにより、加工画像ＩＰ３６１を生成する。なお、図９では説明を簡単にするために、加工画像ＩＰ３１１〜ＩＰ３６１のみを図示するが、生成装置１００は、他のフレーム（画像）から多数の加工画像を生成してもよい。また、生成装置１００は、１つのフレームから複数の加工画像を生成してもよい。
【0114】
そして、生成装置１００は、複数の加工画像ＩＰ３１１〜ＩＰ３６１等の順位を決定する。なお、図９の例では、各加工画像ＩＰ３１１〜ＩＰ３６１等の順位は、抽出元となるフレームＦＭ２１１〜ＦＭ２６１の時系列順に対応する。例えば、生成装置１００は、複数の加工画像ＩＰ３１１〜ＩＰ３６１等のうち、加工画像ＩＰ３１１を最も表示順を高くし、その次に加工画像ＩＰ３２１の順位を高くする。また、生成装置１００は、複数の加工画像ＩＰ３１１〜ＩＰ３６１等のうち、加工画像ＩＰ３３１の順位を加工画像ＩＰ３２１の次に高くし、加工画像ＩＰ３４１、ＩＰ３５１、ＩＰ３６１の順位は、加工画像ＩＰ３３１よりも低く、加工画像ＩＰ３４１、ＩＰ３５１、ＩＰ３６１の順に低くなる順位とする。図９の例では、生成装置１００は、加工画像ＩＰ３１１の順位を順位Ａ、加工画像ＩＰ３２１の順位を順位Ｂ、加工画像ＩＰ３３１の順位を順位Ｃ、加工画像ＩＰ３４１の順位を順位Ｄ、加工画像ＩＰ３５１の順位を順位Ｅ、加工画像ＩＰ３６１の順位を順位Ｆに決定する（Ａ＜Ｂ＜Ｃ＜Ｄ＜Ｅ＜Ｆ）。
【0115】
そして、生成装置１００は、複数の加工画像ＩＰ３１１〜ＩＰ３６１等に付された順位に基づく順序で、複数の加工画像ＩＰ３１１〜ＩＰ３６１等が表示される要約動画ＭＶ２２を生成する。例えば、生成装置１００は、上述したフレーム補間等の処理により、複数の加工画像ＩＰ３１１〜ＩＰ３６１間をつなぐ補間を行うことにより、要約動画ＭＶ２２を生成してもよい。例えば、生成装置１００は、生成した加工画像に加工画像ＩＰ３１１〜ＩＰ３６１以外にも多数の加工画像が含まれる場合、複数の加工画像に付された順位に基づく順序で、複数の加工画像が表示される要約動画ＭＶ２２を生成してもよい。このように、生成装置１００は、動画から要約動画を生成することができる。なお、上述のように、複数のフレームから要約動画を生成する処理は、複数の画像から要約動画を生成する処理に対応する。なお、生成装置１００は、図８に示す要約動画ＭＶ２１と図９に示す要約動画ＭＶ２２とのいずれを生成するかを、要約動画の生成に用いるコンテンツに含まれる動画ＭＣ２１の内容等に基づいて決定してもよい。また、生成装置１００は、図８に示す要約動画ＭＶ２１と図９に示す要約動画ＭＶ２２とのいずれを生成するかを、配信システム１の管理者等の指定に応じて決定してもよい。
【0116】
〔８．動画のキーフレームに基づく生成処理〕例えば、生成装置１００は、複数のキーフレームを抽出して処理を行ってもよい。この点について図１０を用いて説明する。図１０は、実施形態に係る動画のキーフレームに基づく生成処理の一例を示す図である。例えば、生成装置１００は、種々の従来技術を適宜用いて複数のキーフレームを抽出してもよい。例えば、生成装置１００は、エッジ検出や肌色検出や音量検出やカメラワーク検出等、種々の技術を用いてキーフレームを抽出してもよい。例えば、生成装置１００は、各画素の変化に基づいて推定されるシーンの転換点をキーフレームとして抽出してもよい。また、生成装置１００は、配信システム１の管理者等によるキーフレームの指定を受け付けてもよい。
【0117】
図１０に示す例において、動画ＭＣ３１には、フレームＦＭ３１１〜ＦＭ３３４等が含まれるものとする。例えば、生成装置１００は、所定の処理により動画ＭＣ３１のキーフレームがフレームＦＭ３１２、ＦＭ３１９、ＦＭ３２７の３つのフレームであると特定する。なお、以下では、フレームＦＭ３１２をキーフレームＫＦ３１とし、フレームＦＭ３１９をキーフレームＫＦ３２とし、フレームＦＭ３２７をキーフレームＫＦ３３とする場合がある。
【0118】
また、生成装置１００は、各キーフレームＫＦ３１〜ＫＦ３３から後の数フレームを対象に動画生成を行う。例えば、生成装置１００は、キーフレームＫＦ３１から後の数フレームＦＭ３１３〜ＦＭ３１５である関連フレームＣＦ３１−１〜ＣＦ３１−３を対象に複数の加工画像を生成し、複数の加工画像に基づいて動画を生成する（ステップＳ３１）。これにより、生成装置１００は、キーフレームＫＦ３１及び関連フレームＣＦ３１−１〜ＣＦ３１−３から動画情報Ａである動画ＭＶ３１１を生成する。
【0119】
また、例えば、生成装置１００は、キーフレームＫＦ３２から後の数フレームＦＭ３２０〜ＦＭ３２１である関連フレームＣＦ３２−１、ＣＦ３２−２を対象に複数の加工画像を生成し、複数の加工画像に基づいて動画を生成する（ステップＳ３２）。これにより、生成装置１００は、キーフレームＫＦ３２及び関連フレームＣＦ３２−１、ＣＦ３２−２から動画情報Ｂである動画ＭＶ３１２を生成する。
【0120】
また、例えば、生成装置１００は、キーフレームＫＦ３３から後の数フレームＦＭ３２８〜ＦＭ３３１である関連フレームＣＦ３３−１〜ＣＦ３３−４を対象に複数の加工画像を生成し、複数の加工画像に基づいて動画を生成する（ステップＳ３３）。これにより、生成装置１００は、キーフレームＫＦ３３及び関連フレームＣＦ３３−１〜ＣＦ３３−４から動画情報Ｃである動画ＭＶ３１３を生成する。
【0121】
そして、生成装置１００は、動画情報Ａ〜Ｃから要約動画ＭＶ３１を生成する（ステップＳ３４）。例えば、生成装置１００は、動画ＭＶ３１１、ＭＶ３１２、ＭＶ３１３の順で表示される要約動画ＭＶ３１を生成する。このように、生成装置１００は、複数のキーフレームから各々生成される動画をつなげた要約動画を生成する。このように、生成装置１００は、複数のキーフレームが含まれる場合であっても、各キーフレームに対応する動画をつなげることにより、要約動画を生成することができる。
【0122】
〔９．効果〕上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、第１生成部１３３と、第２生成部１３４とを有する。取得部１３１は、コンテンツに含まれる画像に関する情報から抽出される対象物の領域に関する情報である特徴領域情報を取得する。第１生成部１３３と、取得部１３１により取得された特徴領域情報に基づいてコンテンツから複数の加工画像を生成する。第２生成部１３４は、複数の加工画像に付された順位に基づく順序で、複数の加工画像が表示される動画情報を生成する。
【0123】
これにより、実施形態に係る生成装置１００は、対象物の領域に関する情報である特徴領域情報に基づいて複数の加工画像を生成することにより、コンテンツの内容を含む動画（実施形態においては「要約動画」。以下同じ）を適切に生成することができる。
【0124】
また、実施形態に係る生成装置１００において、取得部１３１は、画像に関する情報としてコンテンツに含まれる複数の画像情報から抽出される特徴領域情報を取得する。第１生成部１３３は、複数の画像情報から複数の加工画像を生成する。
【0125】
これにより、実施形態に係る生成装置１００は、コンテンツに含まれる複数の画像情報に特徴領域情報に基づいて複数の加工画像を生成することにより、コンテンツの内容を含む動画を適切に生成することができる。
【0126】
また、実施形態に係る生成装置１００において、第１生成部１３３は、複数の画像情報のうち、所定の画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、複数の加工画像を生成する。
【0127】
これにより、実施形態に係る生成装置１００は、コンテンツに含まれる複数の画像情報中の対象物に関する領域をクロッピングすることにより、コンテンツの内容を含む動画を適切に生成することができる。
【0128】
また、実施形態に係る生成装置１００において、取得部１３１は、画像に関する情報としてコンテンツに含まれる動画情報から抽出される特徴領域情報を取得する。第１生成部１３３は、動画情報から複数の加工画像を生成する。
【0129】
これにより、実施形態に係る生成装置１００は、コンテンツに含まれる動画情報に特徴領域情報に基づいて複数の加工画像を生成することにより、コンテンツの内容を含む動画を適切に生成することができる。
【0130】
また、実施形態に係る生成装置１００において、第１生成部１３３は、動画情報から抽出される画像情報に含まれる対象物に関する領域をクロッピングすることにより生成される加工画像を含む、複数の加工画像を生成する。
【0131】
これにより、実施形態に係る生成装置１００は、コンテンツに含まれる動画情報中の対象物に関する領域をクロッピングすることにより、コンテンツの内容を含む動画を適切に生成することができる。
【0132】
また、実施形態に係る生成装置１００において、取得部１３１は、コンテンツに関連する文字情報に基づいて抽出される特徴領域情報を取得する。第１生成部１３３は、文字情報に基づいて複数の加工画像を生成する。第２生成部１３４は、文字情報に基づいて複数の加工画像に付された順位に応じた順序で、複数の加工画像が表示される動画情報を生成する。
【0133】
これにより、実施形態に係る生成装置１００は、コンテンツに関連する文字情報に基づいて抽出された特徴領域情報を用いて複数の加工画像を生成することにより、コンテンツの内容を含む動画を適切に生成することができる。
【0134】
また、実施形態に係る生成装置１００において、取得部１３１は、コンテンツに関連する音声情報に基づいて抽出される特徴領域情報を取得する。第１生成部１３３は、音声情報に基づいて複数の加工画像を生成する。第２生成部１３４は、音声情報に基づいて複数の加工画像に付された順位に応じた順序で、複数の加工画像が表示される動画情報を生成する。
【0135】
これにより、実施形態に係る生成装置１００は、コンテンツに関連する音声情報に基づいて抽出された特徴領域情報を用いて複数の加工画像を生成することにより、コンテンツの内容を含む動画を適切に生成することができる。
【0136】
また、実施形態に係る生成装置１００において、第２生成部１３４は、複数の加工画像のうち、所定の表示順が付された第１の対象物が含まれる加工画像の後に、第１の対象物に付された表示順よりも下位の表示順が付された第２の対象物が含まれる加工画像が表示される動画情報を生成する。
【0137】
これにより、実施形態に係る生成装置１００は、対象物に付された表示順に基づく順序で対象物が表示されるように動画を生成することにより、コンテンツに含まれる動画情報からコンテンツの内容を含む動画を適切に生成することができる。
【0138】
また、実施形態に係る生成装置１００において、第２生成部１３４は、複数の加工画像のうち、所定の対象物の一部であって、所定の表示順が付された第１の部分が含まれる加工画像の後に、所定の対象物の一部であって、第１の部分に付された表示順よりも下位の表示順が付された第２の部分が含まれる加工画像が表示される動画情報を生成する。
【0139】
これにより、実施形態に係る生成装置１００は、対象物の各部位に付された表示順に基づく順序で対象物の各部位が表示されるように動画を生成することにより、コンテンツに含まれる動画情報からコンテンツの内容を含む動画を適切に生成することができる。
【0140】
〔１０．ハードウェア構成〕上述してきた実施形態に係る生成装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【0141】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0142】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。
【0143】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0144】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0145】
例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。
【0146】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0147】
〔１１．その他〕また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0148】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0149】
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0150】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0151】
１ 配信システム１００ 生成装置
１２１ コンテンツ情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 抽出部
１３３ 第１生成部
１３４ 第２生成部
１３５ 配信部
１０ 端末装置
１５１ 送信部
１５２ 受信部
１５３ 表示部
Ｎ ネットワーク