特許7150840ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-30
(45)【発行日】2022-10-11
(54)【発明の名称】ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20221003BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 350C
【請求項の数】
17
(21)【出願番号】P 2020524009
(86)(22)【出願日】2019-05-22
(65)【公表番号】
(43)【公表日】2021-02-04
(86)【国際出願番号】 CN2019088020
(87)【国際公開番号】W WO2020077999
(87)【国際公開日】2020-04-23
【審査請求日】2020-04-28
(31)【優先権主張番号】201811224169.X
(32)【優先日】2018-10-19
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519453342
【氏名又は名称】深▲せん▼市商▲湯▼科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｎｏ． １， Ｑｉａｎｗａｎ Ｒｏａｄ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇｋｏｎｇ Ｍｏｄｅｒｎ Ｓｅｒｖｉｃｅ Ｉｎｄｕｓｔｒｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ （ＣＮ）
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲馮▼俐▲銅▼
(72)【発明者】
【氏名】肖▲達▼
(72)【発明者】
【氏名】▲曠▼章▲輝▼
(72)【発明者】
【氏名】▲張▼▲偉▼
【審査官】宮島 潤
(56)【参考文献】
【文献】中国特許出願公開第１０５２２８０３３（ＣＮ，Ａ）
【文献】中国特許出願公開第１０８０７３９０２（ＣＮ，Ａ）
【文献】特表２０１３－５３１８４３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
特徴抽出ニューラルネットワークによって、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するステップであって、前記場面系列に複数の場面が含まれる、ステップと、全ての前記場面の画像特徴を記憶ニューラルネットワークに入力し、それによって前記場面の全局特徴を取得するステップであって、前記場面の全局特徴は、前記場面系列内の場面の間の関連関係を表し、前記特徴抽出ニューラルネットワークと前記記憶ニューラルネットワークは、サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと前記記憶ニューラルネットワークのパラメータに対して共同トレーニングを行うことによって得られたものであり、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる、ステップと、
前記場面の画像特徴と前記全局特徴の内積演算した結果を全結合ニューラルネットワークに入力し、それによって前記場面の重みを決定するステップであって、前記場面の重みは、前記場面の重要性及び／又はビデオ要約の限定時間長と正相関する、ステップと、
前記場面の重みに基づいて、前記ビデオ要約の限定時間長において重みの総和が最大になるように、前記被処理ビデオストリームのビデオ要約を取得するステップと
を含むビデオ要約生成方法。
【請求項2】
前記記憶ニューラルネットワークは、第１埋め込み行列と第２埋め込み行列を含み、全ての前記場面の画像特徴を記憶ニューラルネットワークに入力し、それによって前記場面の全局特徴を取得するステップは、前記全ての場面の画像特徴をそれぞれ前記第１埋め込み行列と前記第２埋め込み行列に写像して、入力記憶と出力記憶を取得するステップであって、前記第１埋め込み行列は、前記入力記憶を取得するためのものであり、前記第２埋め込み行列は、前記出力記憶を取得するためのものである、ステップと、
前記場面の画像特徴に対して転置処理を行って得られた前記場面の特徴ベクトルを、前記入力記憶及び前記出力記憶と演算することにより、前記場面の全局特徴を取得するステップと
を含み、
前記記憶ニューラルネットワークは、第３埋め込み行列をさらに含み、前記場面の画像特徴に対して転置処理を行って得られた前記場面の特徴ベクトルを、前記入力記憶及び前記出力記憶と演算することにより、前記場面の全局特徴を取得する前記ステップは、
前記場面の画像特徴を前記第３埋め込み行列に写像することによって前記場面の画像特徴の転置処理を行って、前記場面の特徴ベクトルを取得するステップと、
前記特徴ベクトルと前記入力記憶に対して内積演算を行って、前記場面の重みベクトルを取得するステップと、
前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って、全局ベクトルを取得して、前記全局ベクトルを前記全局特徴とするステップと
を含む、請求項１に記載の方法。
【請求項3】
前記場面の画像特徴と前記全局特徴の内積演算した結果を全結合ニューラルネットワークに入力し、それによって前記場面の重みを決定する前記ステップは、前記場面の画像特徴と前記場面の全局特徴に対して内積演算を行って、前記場面の重み特徴を取得するステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと
を含む、請求項１又は２に記載の方法。
【請求項4】
全ての前記場面の画像特徴を記憶ニューラルネットワークに入力し、それによって前記場面の全局特徴を取得する前記ステップは、記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得するステップを含む、請求項１に記載の方法。
【請求項5】
記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得する前記ステップは、前記場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に、入力記憶と出力記憶とをそれぞれ取得するための２つの埋め込み行列が含まれ、前記記憶セット毎に前記入力記憶と前記出力記憶とが含まれ、前記記憶ニューラルネットワークは、前記少なくとも２つの埋め込み行列セットを含み、前記少なくとも２つの埋め込み行列セットのうちの各埋め込み行列セットは、前記場面の少なくとも２つの全局特徴のうちの各全局特徴を取得するためのものであり、前記場面の少なくとも２つの全局特徴のうちの各全局特徴と一対一対応する、ステップと、
前記場面の画像特徴に対して転置処理を行って得られた前記場面の特徴ベクトルを少なくとも２つの前記記憶セットと演算することにより、前記場面の少なくとも２つの全局特徴を取得するステップと
を含み、
前記記憶ニューラルネットワークは、第３埋め込み行列をさらに含み、前記場面の画像特徴に対して転置処理を行って得られた前記場面の特徴ベクトルを少なくとも２つの前記記憶セットと演算することにより、前記場面の少なくとも２つの全局特徴を取得する前記ステップは、
前記場面の画像特徴を前記第３埋め込み行列に写像することによって前記場面の画像特徴の転置処理を行って、前記場面の特徴ベクトルを取得するステップと、
前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って、前記場面の少なくとも２つの重みベクトルを取得するステップと、
前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って、少なくとも２つの全局ベクトルを取得して、前記少なくとも２つの全局ベクトルを前記少なくとも２つの全局特徴とするステップと
を含む、請求項４に記載の方法。
【請求項6】
前記場面の画像特徴と前記全局特徴の内積演算した結果を全結合ニューラルネットワークに入力し、それによって前記場面の重みを決定する前記ステップは、前記場面の少なくとも２つの全局特徴のうちのいずれか１つの全局特徴を第１全局特徴とし、前記場面の画像特徴と前記第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記場面の少なくとも２つの全局特徴のうちの第２全局特徴を前記第１全局特徴とするステップであって、前記第２全局特徴が、前記少なくとも２つの全局特徴のうちの、前記内積演算を行っていない全局特徴である、ステップと、
前記画像特徴と前記第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップとを含む繰り返し処理を、前記場面の少なくとも２つの全局特徴に前記第２全局特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記場面の重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと
を含む、請求項４又は５に記載の方法。
【請求項7】
特徴抽出ニューラルネットワークによって、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、前記場面の画像特徴を取得する前記ステップの前に、前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得するステップを更に含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得する前記ステップは、前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度が設定値以下になるように、場面分割を行って、前記場面系列を取得するステップを含む、請求項７に記載の方法。
【請求項9】
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度が設定値以下になるように、場面分割を行って、前記場面系列を取得する前記ステップは、少なくとも２つの大きさが異なる分割間隔に基づいて、前記被処理ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオ区切りグループを取得するステップであって、前記ビデオ区切りグループ毎に少なくとも２つのビデオ区切りが含まれ、前記分割間隔が１フレーム以上である、ステップと、
前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、前記分割が正確であると決定するステップであって、前記カットフレームが、前記ビデオ区切り内の第１フレームであるステップと、
前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、前記分割が正確ではないと決定するステップと、
前記分割が正確であることに応じて、前記ビデオ区切りを前記場面として決定し、前記場面系列を取得するステップと
を含む、請求項８に記載の方法。
【請求項10】
前記分割が正確であることに応じて、前記ビデオ区切りを前記場面として決定し、前記場面系列を取得する前記ステップは、前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、前記少なくとも２つの前記分割間隔のうちの大きさの一番小さい分割間隔で取得されたビデオ区切りを前記場面として、前記場面系列を取得するステップを含む、請求項９に記載の方法。
【請求項11】
特徴抽出ニューラルネットワークによって、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各々の前記場面の画像特徴を取得する前記ステップは、前記場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
前記取得された少なくとも１つの画像特徴が１つの画像特徴のみを含む場合、当該１つの画像特徴を前記場面の画像特徴とするステップ、又は、前記取得された少なくとも１つの画像特徴が複数の画像特徴のみを含む場合、前記少なくとも１つの画像特徴の中の全ての画像特徴に対する平均特徴を取得して、前記平均特徴を前記場面の画像特徴とするステップと
を含む、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
前記場面の重みに基づいて、前記ビデオ要約の限定時間長において重みの総和が最大になるように、前記被処理ビデオストリームのビデオ要約を取得する前記ステップは、事前に設定された、前記ビデオ要約の限定時間長を取得するステップと、
前記場面の重みと前記ビデオ要約の限定時間長により、前記ビデオ要約の限定時間長において重みの総和が最大になるように、前記被処理ビデオストリームのビデオ要約を取得するステップと
を含む、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
特徴抽出ニューラルネットワークによって、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得する特徴抽出ユニットであって、前記場面系列に複数の場面が含まれる、特徴抽出ユニットと、全ての前記場面の画像特徴を記憶ニューラルネットワークに入力し、それによって前記場面の全局特徴を取得する全局特徴ユニットであって、前記場面の全局特徴は、前記場面系列内の場面の間の関連関係を表し、前記特徴抽出ニューラルネットワークと前記記憶ニューラルネットワークは、サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと前記記憶ニューラルネットワークのパラメータに対して共同トレーニングを行うことによって得られたものであり、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる、全局特徴ユニットと、
前記場面の画像特徴と前記全局特徴の内積演算した結果を全結合ニューラルネットワークに入力し、それによって前記場面の重みを決定する重み取得ユニットであって、前記場面の重みは、前記場面の重要性及び／又はビデオ要約の限定時間長と正相関する、重み取得ユニットと、
前記場面の重みに基づいて、前記ビデオ要約の限定時間長において重みの総和が最大になるように、前記被処理ビデオストリームのビデオ要約を取得する要約生成ユニットと
を含むビデオ要約生成装置。
【請求項14】
請求項１３に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器。
【請求項15】
実行可能コマンドを記憶するメモリと、前記メモリと通信して前記実行可能コマンドを実行して請求項１～１２のいずれか一項に記載のビデオ要約生成方法を遂行するプロセッサと
を含む電子機器。
【請求項16】
コンピュータ可読コマンドを記憶し、前記コンピュータ可読コマンドが実行される時に請求項１～１２のいずれか一項に記載のビデオ要約生成方法が実行されるコンピュータ記憶媒体。
【請求項17】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが請求項１～１２のいずれか一項に記載のビデオ要約生成方法を実現するコマンドを実行する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、出願番号が２０１８１１２２４１６９．Ｘで、出願日が２０１８年１０月１９日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張する。
本願は、出願番号が２０１８１１２２４１６９．Ｘで、出願日が２０１８年１０月１９日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張する。
【0002】
本願は、コンピュータビジョン技術に関するが、それに限定されるものではなく、特に、ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体に関する。
【背景技術】
【0003】
ビデオデータが高速に増加するに伴って、短い時間でこれらのビデオに高速に目を通すために、ビデオ要約は重要な役割を果たしてきている。ビデオ要約は新興のビデオ理解技術である。ビデオ要約は、長いビデオからいくつかの場面を抽出して合成される、元ビデオ内容の脈絡又は素晴らしい場面を含む新しい短ビデオである。
【0004】
人工知能技術により、例えば画像分類等の多くのコンピュータビジョン課題に対して優れた解决手段を得ており、ひいては人間よりも優れた面を示しているが、それが明確な目標に対するものに限っている。他のコンピュータビジョンタスクと比べて、ビデオ要約はより抽象的なものであり、もっとビデオ全体に対する理解を求められている。ビデオ要約内の場面の取捨は、この場面そのものの情報に頼るだけでなく、更にビデオ全体に表現される情報に頼る。
【発明の概要】
【課題を解決するための手段】
【0005】
本願の実施例は、ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体を提供する。
【0006】
本願の実施例の一態様によれば、
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するステップと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するステップと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するステップと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法を提供する。
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するステップと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するステップと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するステップと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法を提供する。
【0007】
本願の実施例の別の態様によれば、
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するように構成される全局特徴ユニットと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するように構成される重み取得ユニットと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置を提供する。
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するように構成される全局特徴ユニットと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するように構成される重み取得ユニットと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置を提供する。
【0008】
本願の実施例の更に別の態様によれば、上記のいずれか一項に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器を提供する。
【0009】
本願の実施例のまた１つの態様によれば、実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項に記載のビデオ要約生成方法の操作を遂行するためのプロセッサと、を含む電子機器を提供する。
前記メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項に記載のビデオ要約生成方法の操作を遂行するためのプロセッサと、を含む電子機器を提供する。
【0010】
本願の実施例の更にまた１つの態様によれば、コンピュータ可読コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行される時に上記のいずれか一項に記載のビデオ要約生成方法の操作が実行されるコンピュータ記憶媒体を提供する。
【0011】
本願の実施例の別の態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが上記のいずれか一項に記載のビデオ要約生成方法を実現するためのコマンドを実行するコンピュータプログラム製品を提供する。
【0012】
本願の上記実施例で提供されるビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体によれば、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って各場面の画像特徴を取得する。場面毎には少なくとも１フレームのビデオ画像が含まれ、全ての場面の画像特徴により場面の全局特徴を取得し、場面の画像特徴と全局特徴により場面の重みを決定し、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得し、画像特徴と全局特徴に基づいて各場面の重みを決定して、ビデオ全体の観点でビデオを理解することが実現され、各場面とビデオ全体との関係が利用され、本実施例の場面の重みに基づいて決定されるビデオ要約は、ビデオ内容を全体的に表現可能であり、ビデオ要約がビデオを全体的に表現することができないという問題を減少する。
例えば、本願は以下の項目を提供する。
（項目１）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するステップと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するステップと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するステップと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法。
（項目２）
全ての前記場面の画像特徴により、前記場面の全局特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、全ての前記場面の画像特徴を処理して、前記場面の全局特徴を取得するステップを含む項目１に記載の方法。
（項目３）
記憶ニューラルネットワークにより前記全ての場面の画像特徴を処理して、前記場面の全局特徴を取得する前記ステップは、
前記全ての場面の画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列に写像して、入力記憶と出力記憶を取得するステップと、
前記場面の画像特徴、前記入力記憶及び前記出力記憶により、前記場面の全局特徴を取得するステップと、を含む項目２に記載の方法。
（項目４）
前記場面の画像特徴、前記入力記憶及び前記出力記憶により、前記場面の全局特徴を取得する前記ステップは、
前記場面の画像特徴を第３埋め込み行列に写像して、前記場面の特徴ベクトルを取得するステップと、
前記特徴ベクトルと前記入力記憶に対して内積演算を行って、前記場面の重みベクトルを取得するステップと、
前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って、前記全局ベクトルを取得して、前記全局ベクトルを前記全局特徴とするステップと、を含む項目３に記載の方法。
（項目５）
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定する前記ステップは、
前記場面の画像特徴と前記場面の全局特徴に対して内積演算を行って、重み特徴を取得するステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと、を含む項目１～４のいずれか一項に記載の方法。
（項目６）
記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の全局特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得するステップを含む項目２～５のいずれか一項に記載の方法。
（項目７）
記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得する前記ステップは、
前記場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、
少なくとも２つの前記記憶セットと前記場面の画像特徴により、前記場面の少なくとも２つの全局特徴を取得するステップと、を含む項目６に記載の方法。
（項目８）
少なくとも２つの前記記憶セットと前記場面の画像特徴により、前記場面の少なくとも２つの全局特徴を取得する前記ステップは、
前記場面の画像特徴を第３埋め込み行列に写像して、前記場面の特徴ベクトルを取得するステップと、
前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って、前記場面の少なくとも２つの重みベクトルを取得するステップと、
前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って、少なくとも２つの全局ベクトルを取得して、前記少なくとも２つの全局ベクトルを前記少なくとも２つの全局特徴とするステップと、を含む項目７に記載の方法。
（項目９）
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定する前記ステップは、
前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記場面の少なくとも２つの全局特徴のうちの第２全局特徴を第１全局特徴とするステップであって、前記第２全局特徴が、前記少なくとも２つの全局特徴のうちの第１全局特徴以外の全局特徴であるステップと、
前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記場面の少なくとも２つの全局特徴に第２全局特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記場面の重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと、を含む項目６～８のいずれか一項に記載の方法。
（項目１０）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、前記場面の画像特徴を取得する前記ステップの前に、
前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得するステップを更に含む項目１～９のいずれか一項に記載の方法。
（項目１１）
前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得する前記ステップは、
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、前記場面系列を取得するステップを含む項目１０に記載の方法。
（項目１２）
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、前記場面系列を取得する前記ステップは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記場面として決定し、前記場面系列を取得するステップと、を含む項目１１に記載の方法。
（項目１３）
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定する前記ステップは、
前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、前記分割が正確であると決定するステップと、
前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、前記分割が正確ではないと決定するステップと、を含む項目１２に記載の方法。
（項目１４）
前記分割が正確であることに応じて、前記ビデオクリップを前記場面として決定し、前記場面系列を取得する前記ステップは、
前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記場面として、前記場面系列を取得するステップを含む項目１２又は１３に記載の方法。
（項目１５）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各々の前記場面の画像特徴を取得する前記ステップは、
前記場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての前記画像特徴の平均特徴を取得して、前記平均特徴を前記場面の画像特徴とするステップと、を含む項目１～１４のいずれか一項に記載の方法。
（項目１６）
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得する前記ステップは、
前記ビデオ要約の限定時間長を取得するステップと、
前記場面の重みと前記ビデオ要約の限定時間長により、前記被処理ビデオストリームのビデオ要約を取得するステップと、を含む項目１～１５のいずれか一項に記載の方法。
（項目１７）
特徴抽出ニューラルネットワークと記憶ニューラルネットワークにより、実現される方法であって、
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各々の前記場面の画像特徴を取得する前記ステップの前に、
サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うステップを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる、項目１～１６のいずれか一項に記載の方法。
（項目１８）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するように構成される全局特徴ユニットと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するように構成される重み取得ユニットと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置。
（項目１９）
前記全局特徴ユニットは、記憶ニューラルネットワークにより、全ての前記場面の画像特徴を処理して、前記場面の全局特徴を取得するように構成される項目１８に記載の装置。
（項目２０）
前記全局特徴ユニットは、前記全ての場面の画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列に写像して入力記憶と出力記憶を取得し、前記場面の画像特徴、前記入力記憶及び前記出力記憶により前記場面の全局特徴を取得するように構成される項目１９に記載の装置。
（項目２１）
前記全局特徴ユニットは、前記場面の画像特徴、前記入力記憶及び前記出力記憶により前記場面の全局特徴を取得する時に、前記場面の画像特徴を第３埋め込み行列に写像して前記場面の特徴ベクトルを取得し、前記特徴ベクトルと前記入力記憶に対して内積演算を行って前記場面の重みベクトルを取得し、前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って前記全局ベクトルを取得して前記全局ベクトルを前記全局特徴とするように構成される項目２０に記載の装置。
（項目２２）
前記重み取得ユニットは、前記場面の画像特徴と前記場面の全局特徴に対して内積演算を行って重み特徴を取得し、前記重み特徴を全結合ニューラルネットワークによって処理し前記場面の重みを取得するように構成される項目１８～２１のいずれか一項に記載の装置。
（項目２３）
前記全局特徴ユニットは、記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得するように構成される項目１９～２２のいずれか一項に記載の装置。
（項目２４）
前記全局特徴ユニットは、前記場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、少なくとも２つの前記記憶セットと前記場面の画像特徴により、前記場面の少なくとも２つの全局特徴を取得するステップと、を実行するように構成される項目２３に記載の装置。
（項目２５）
前記全局特徴ユニットは、少なくとも２つの前記記憶セットと前記場面の画像特徴により前記場面の少なくとも２つの全局特徴を取得する時に、前記場面の画像特徴を第３埋め込み行列に写像して前記場面の特徴ベクトルを取得し、前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って前記場面の少なくとも２つの重みベクトルを取得し、前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って少なくとも２つの全局ベクトルを取得して前記少なくとも２つの全局ベクトルを前記少なくとも２つの全局特徴とするように構成される項目２４に記載の装置。
（項目２６）
前記重み取得ユニットは、前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記場面の少なくとも２つの全局特徴のうちの第２全局特徴を第１全局特徴とするステップであって、前記第２全局特徴が、前記少なくとも２つの全局特徴のうちの第１全局特徴以外の全局特徴であるステップと、
前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記場面の少なくとも２つの全局特徴に第２全局特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記場面の重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと、を実行するように構成される項目２３～２５のいずれか一項に記載の装置。
（項目２７）
前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得するように構成される場面分割ユニットを更に含む項目１８～２６のいずれか一項に記載の装置。
（項目２８）
前記場面分割ユニットは、前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、前記場面系列を取得するように構成される項目２７に記載の装置。
（項目２９）
前記場面分割ユニットは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記場面として決定し、前記場面系列を取得するステップと、を実行するように構成される項目２８に記載の装置。
（項目３０）
前記場面分割ユニットは、前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて前記分割が正確であるか否かを決定する時に、前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて前記分割が正確であると決定し、前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて前記分割が正確ではないと決定するように構成される項目２９に記載の装置。
（項目３１）
前記場面分割ユニットは、前記分割が正確であることに応じて前記ビデオクリップを前記場面として決定し、前記場面系列を取得する時に、前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記場面として、前記場面系列を取得するように構成される項目２９又は３０に記載の装置。
（項目３２）
前記特徴抽出ユニットは、前記場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って少なくとも１つの画像特徴を取得し、全ての前記画像特徴の平均特徴を取得して前記平均特徴を前記場面の画像特徴とするように構成される項目１８～３１のいずれか一項に記載の装置。
（項目３３）
前記要約生成ユニットは、前記ビデオ要約の限定時間長を取得し、前記場面の重みと前記ビデオ要約の限定時間長により前記被処理ビデオストリームのビデオ要約を取得するように構成される項目１８～３２のいずれか一項に記載の装置。
（項目３４）
サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うように構成される共同トレーニングユニットを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる項目１８～３３のいずれか一項に記載の装置。
（項目３５）
項目１８～３４のいずれか一項に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器。
（項目３６）
実行可能コマンドを記憶するように構成されるメモリと、
前記メモリと通信して前記実行可能コマンドを実行して項目１～１７のいずれか一項に記載のビデオ要約生成方法の操作を完了するように構成されるプロセッサと、を含む電子機器。
（項目３７）
コンピュータ可読コマンドを記憶し、前記コマンドが実行される時に項目１～１７のいずれか一項に記載のビデオ要約生成方法の操作が実行されるように構成されるコンピュータ記憶媒体。
（項目３８）
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが項目１～１７のいずれか一項に記載のビデオ要約生成方法を実現するように構成されるコマンドを実行するコンピュータプログラム製品。
例えば、本願は以下の項目を提供する。
（項目１）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するステップと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するステップと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するステップと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法。
（項目２）
全ての前記場面の画像特徴により、前記場面の全局特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、全ての前記場面の画像特徴を処理して、前記場面の全局特徴を取得するステップを含む項目１に記載の方法。
（項目３）
記憶ニューラルネットワークにより前記全ての場面の画像特徴を処理して、前記場面の全局特徴を取得する前記ステップは、
前記全ての場面の画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列に写像して、入力記憶と出力記憶を取得するステップと、
前記場面の画像特徴、前記入力記憶及び前記出力記憶により、前記場面の全局特徴を取得するステップと、を含む項目２に記載の方法。
（項目４）
前記場面の画像特徴、前記入力記憶及び前記出力記憶により、前記場面の全局特徴を取得する前記ステップは、
前記場面の画像特徴を第３埋め込み行列に写像して、前記場面の特徴ベクトルを取得するステップと、
前記特徴ベクトルと前記入力記憶に対して内積演算を行って、前記場面の重みベクトルを取得するステップと、
前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って、前記全局ベクトルを取得して、前記全局ベクトルを前記全局特徴とするステップと、を含む項目３に記載の方法。
（項目５）
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定する前記ステップは、
前記場面の画像特徴と前記場面の全局特徴に対して内積演算を行って、重み特徴を取得するステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと、を含む項目１～４のいずれか一項に記載の方法。
（項目６）
記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の全局特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得するステップを含む項目２～５のいずれか一項に記載の方法。
（項目７）
記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得する前記ステップは、
前記場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、
少なくとも２つの前記記憶セットと前記場面の画像特徴により、前記場面の少なくとも２つの全局特徴を取得するステップと、を含む項目６に記載の方法。
（項目８）
少なくとも２つの前記記憶セットと前記場面の画像特徴により、前記場面の少なくとも２つの全局特徴を取得する前記ステップは、
前記場面の画像特徴を第３埋め込み行列に写像して、前記場面の特徴ベクトルを取得するステップと、
前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って、前記場面の少なくとも２つの重みベクトルを取得するステップと、
前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って、少なくとも２つの全局ベクトルを取得して、前記少なくとも２つの全局ベクトルを前記少なくとも２つの全局特徴とするステップと、を含む項目７に記載の方法。
（項目９）
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定する前記ステップは、
前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記場面の少なくとも２つの全局特徴のうちの第２全局特徴を第１全局特徴とするステップであって、前記第２全局特徴が、前記少なくとも２つの全局特徴のうちの第１全局特徴以外の全局特徴であるステップと、
前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記場面の少なくとも２つの全局特徴に第２全局特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記場面の重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと、を含む項目６～８のいずれか一項に記載の方法。
（項目１０）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、前記場面の画像特徴を取得する前記ステップの前に、
前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得するステップを更に含む項目１～９のいずれか一項に記載の方法。
（項目１１）
前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得する前記ステップは、
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、前記場面系列を取得するステップを含む項目１０に記載の方法。
（項目１２）
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、前記場面系列を取得する前記ステップは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記場面として決定し、前記場面系列を取得するステップと、を含む項目１１に記載の方法。
（項目１３）
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定する前記ステップは、
前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、前記分割が正確であると決定するステップと、
前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、前記分割が正確ではないと決定するステップと、を含む項目１２に記載の方法。
（項目１４）
前記分割が正確であることに応じて、前記ビデオクリップを前記場面として決定し、前記場面系列を取得する前記ステップは、
前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記場面として、前記場面系列を取得するステップを含む項目１２又は１３に記載の方法。
（項目１５）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各々の前記場面の画像特徴を取得する前記ステップは、
前記場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての前記画像特徴の平均特徴を取得して、前記平均特徴を前記場面の画像特徴とするステップと、を含む項目１～１４のいずれか一項に記載の方法。
（項目１６）
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得する前記ステップは、
前記ビデオ要約の限定時間長を取得するステップと、
前記場面の重みと前記ビデオ要約の限定時間長により、前記被処理ビデオストリームのビデオ要約を取得するステップと、を含む項目１～１５のいずれか一項に記載の方法。
（項目１７）
特徴抽出ニューラルネットワークと記憶ニューラルネットワークにより、実現される方法であって、
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各々の前記場面の画像特徴を取得する前記ステップの前に、
サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うステップを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる、項目１～１６のいずれか一項に記載の方法。
（項目１８）
被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記場面の画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記場面の画像特徴により、前記場面の全局特徴を取得するように構成される全局特徴ユニットと、
前記場面の画像特徴と前記全局特徴により前記場面の重みを決定するように構成される重み取得ユニットと、
前記場面の重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置。
（項目１９）
前記全局特徴ユニットは、記憶ニューラルネットワークにより、全ての前記場面の画像特徴を処理して、前記場面の全局特徴を取得するように構成される項目１８に記載の装置。
（項目２０）
前記全局特徴ユニットは、前記全ての場面の画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列に写像して入力記憶と出力記憶を取得し、前記場面の画像特徴、前記入力記憶及び前記出力記憶により前記場面の全局特徴を取得するように構成される項目１９に記載の装置。
（項目２１）
前記全局特徴ユニットは、前記場面の画像特徴、前記入力記憶及び前記出力記憶により前記場面の全局特徴を取得する時に、前記場面の画像特徴を第３埋め込み行列に写像して前記場面の特徴ベクトルを取得し、前記特徴ベクトルと前記入力記憶に対して内積演算を行って前記場面の重みベクトルを取得し、前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って前記全局ベクトルを取得して前記全局ベクトルを前記全局特徴とするように構成される項目２０に記載の装置。
（項目２２）
前記重み取得ユニットは、前記場面の画像特徴と前記場面の全局特徴に対して内積演算を行って重み特徴を取得し、前記重み特徴を全結合ニューラルネットワークによって処理し前記場面の重みを取得するように構成される項目１８～２１のいずれか一項に記載の装置。
（項目２３）
前記全局特徴ユニットは、記憶ニューラルネットワークにより、前記場面の画像特徴を処理して、前記場面の少なくとも２つの全局特徴を取得するように構成される項目１９～２２のいずれか一項に記載の装置。
（項目２４）
前記全局特徴ユニットは、前記場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、少なくとも２つの前記記憶セットと前記場面の画像特徴により、前記場面の少なくとも２つの全局特徴を取得するステップと、を実行するように構成される項目２３に記載の装置。
（項目２５）
前記全局特徴ユニットは、少なくとも２つの前記記憶セットと前記場面の画像特徴により前記場面の少なくとも２つの全局特徴を取得する時に、前記場面の画像特徴を第３埋め込み行列に写像して前記場面の特徴ベクトルを取得し、前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って前記場面の少なくとも２つの重みベクトルを取得し、前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って少なくとも２つの全局ベクトルを取得して前記少なくとも２つの全局ベクトルを前記少なくとも２つの全局特徴とするように構成される項目２４に記載の装置。
（項目２６）
前記重み取得ユニットは、前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記場面の少なくとも２つの全局特徴のうちの第２全局特徴を第１全局特徴とするステップであって、前記第２全局特徴が、前記少なくとも２つの全局特徴のうちの第１全局特徴以外の全局特徴であるステップと、
前記場面の画像特徴と前記場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記場面の少なくとも２つの全局特徴に第２全局特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記場面の重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記場面の重みを取得するステップと、を実行するように構成される項目２３～２５のいずれか一項に記載の装置。
（項目２７）
前記被処理ビデオストリームに対して場面分割を行って前記場面系列を取得するように構成される場面分割ユニットを更に含む項目１８～２６のいずれか一項に記載の装置。
（項目２８）
前記場面分割ユニットは、前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、前記場面系列を取得するように構成される項目２７に記載の装置。
（項目２９）
前記場面分割ユニットは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記場面として決定し、前記場面系列を取得するステップと、を実行するように構成される項目２８に記載の装置。
（項目３０）
前記場面分割ユニットは、前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて前記分割が正確であるか否かを決定する時に、前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて前記分割が正確であると決定し、前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて前記分割が正確ではないと決定するように構成される項目２９に記載の装置。
（項目３１）
前記場面分割ユニットは、前記分割が正確であることに応じて前記ビデオクリップを前記場面として決定し、前記場面系列を取得する時に、前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記場面として、前記場面系列を取得するように構成される項目２９又は３０に記載の装置。
（項目３２）
前記特徴抽出ユニットは、前記場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って少なくとも１つの画像特徴を取得し、全ての前記画像特徴の平均特徴を取得して前記平均特徴を前記場面の画像特徴とするように構成される項目１８～３１のいずれか一項に記載の装置。
（項目３３）
前記要約生成ユニットは、前記ビデオ要約の限定時間長を取得し、前記場面の重みと前記ビデオ要約の限定時間長により前記被処理ビデオストリームのビデオ要約を取得するように構成される項目１８～３２のいずれか一項に記載の装置。
（項目３４）
サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うように構成される共同トレーニングユニットを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる項目１８～３３のいずれか一項に記載の装置。
（項目３５）
項目１８～３４のいずれか一項に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器。
（項目３６）
実行可能コマンドを記憶するように構成されるメモリと、
前記メモリと通信して前記実行可能コマンドを実行して項目１～１７のいずれか一項に記載のビデオ要約生成方法の操作を完了するように構成されるプロセッサと、を含む電子機器。
（項目３７）
コンピュータ可読コマンドを記憶し、前記コマンドが実行される時に項目１～１７のいずれか一項に記載のビデオ要約生成方法の操作が実行されるように構成されるコンピュータ記憶媒体。
（項目３８）
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが項目１～１７のいずれか一項に記載のビデオ要約生成方法を実現するように構成されるコマンドを実行するコンピュータプログラム製品。
【0013】
以下、図面及び実施例を通じて本願の技術的手段をさらに詳しく説明する。
【図面の簡単な説明】
【0014】
【図1】本願の実施例で提供されるビデオ要約生成方法の一実施例のフローを模式的に示す図である。
【図2】本願の実施例で提供されるビデオ要約生成方法の別の実施例のフローを模式的に示す図である。
【図3】本願の実施例で提供されるビデオ要約生成方法の選択可能な一例の一部のフローを模式的に示す図である。
【図4】本願の実施例で提供されるビデオ要約生成方法の別の選択可能な一例の一部のフローを模式的に示す図である。
【図5】本願の実施例で提供されるビデオ要約生成方法のまた１つの実施例のフローを模式的に示す図である。
【図6】本願の実施例で提供されるビデオ要約生成方法のいくつかの選択可能な例の模式図である。
【図7】本願の実施例で提供されるビデオ要約生成方法のまた１つの実施例のフローを模式的に示す図である。
【図8】本願の実施例で提供されるビデオ要約生成方法のまた１つの選択可能な例の一部のフローを模式的に示す図である。
【図9】本願の実施例で提供されるビデオ要約生成装置の一実施例の構造模式図である。
【図10】本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構造模式図である。
【発明を実施するための形態】
【0015】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【0016】
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
【0017】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
【0018】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【0019】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
【0020】
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
【0021】
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【0022】
図１は本願の実施例で提供されるビデオ要約生成方法の一実施例のフローを模式的に示す図である。該方法は、端末装置、サーバ、携帯装置等のような任意のビデオ要約抽出装置により実行されてもよく、図１に示すように、該実施例の方法は、以下のステップを含む。
【0023】
ステップ１１０において、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各場面の画像特徴を取得する。
【0024】
前記ビデオ要約は、元のビデオストリームから重要情報や中心情報を抽出して生成されるビデオ要約であり、元のビデオストリームと比べてデータストリームがより小さくなると共に、元のビデオストリームの中心内容や重要内容を含み、後続の元のビデオストリームの検索等に利用可能である。
【0025】
本実施例では、例えば、前記ビデオストリーム中の特定目標の運動変化を解析することによって、同一な目標のビデオストリームでの運動軌跡を表現するビデオ要約を生成する。ここで例を挙げただけであり、具体的な実施形態が上記の例に限定されないのはもちろんのことである。
【0026】
本実施例では、被処理ビデオストリームは、ビデオ要約を取得される、少なくとも１フレームのビデオ画像を含むビデオストリームである。異なるフレームのビデオ画像で構成された画像集合に過ぎないことを回避するように取得されたビデオ要約に内容意味を持たせるために、本願の実施例は、少なくとも１フレームのビデオ画像を含む場面をビデオ要約の構成単位とする。
【0027】
いくつかの実施例では、本願の実施例における特徴抽出は任意の特徴抽出ニューラルネットワークに基づいて実現されてもよく、特徴抽出ニューラルネットワークに基づいて各場面に対してそれぞれ特徴抽出を行って、少なくとも２つの画像特徴を取得し、本願は具体的な特徴抽出プロセスを限定するものではない。
【0028】
ステップ１２０において、全ての場面の画像特徴により、場面の全局特徴を取得する。
【0029】
いくつかの実施例では、ビデオストリームに対応する全ての画像特徴に対して処理（例えば、写像又は埋め込み等）を行ってビデオストリーム全体に対応する変換特徴系列を取得し、変換特徴系列及び各画像特徴に対して計算して、各場面とビデオストリーム内の他の場面との関連関係を表現可能である、各場面に対応する全局特徴（全局注目度）を取得する。
【0030】
ここの全局特徴は、１つの場面の複数のビデオ画像内の同一な画像要素同士の対応関係又は位置関係を表現する画像特徴を含むが、それに限定されない。上記の関連関係が前記対応関係及び／又は位置関係に限定されないことに注意すべきである。
【0031】
ステップ１３０において、場面の画像特徴と全局特徴により場面の重みを決定する。
【0032】
場面の画像特徴及びその全局特徴によって該場面の重みを決定し、それにより得られた重みは該場面自身に加えて、更に該場面とビデオストリーム全体の他の場面との関連関係に基づくものになって、ビデオ全体の観点で場面の重要性を評価することが実現される。
【0033】
ステップ１４０において、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【0034】
本実施例では、場面の重みによって場面系列内の場面の重要性を決定し、しかし、ビデオ要約を決定するには、場面の重要性を基にすることに加えて、ビデオ要約の長さを抑える必要もあり、即ち、場面の重み及び場面の時間長（フレーム数）の両方に基づいてビデオ要約を決定しなければならない。具体的には、前記重みと前記場面の重要性及び／又はビデオ要約の長さ等は正相関する。本実施例では、ナップザックアルゴリズムを用いてビデオ要約を決定してもよいし、他のアルゴリズムを用いて決定してもよく、ここで一つずつ説明しない。
【0035】
上記実施例で提供されるビデオ要約生成方法によれば、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って少なくとも１フレームのビデオ画像を含む各場面の画像特徴を取得し、全ての場面の画像特徴により場面の全局特徴を取得し、場面の画像特徴と全局特徴により場面の重みを決定し、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得し、そのようにして画像特徴と全局特徴に基づいて各場面の重みを決定して、ビデオ全体の観点でビデオを理解することが実現され、各場面とビデオストリーム全体との全局的関連関係が利用され、本実施例に基づいて決定されるビデオ要約は、ビデオ内容を全体的に表現可能であり、ビデオ要約が全面的でないという問題を減少する。
【0036】
【0037】
ステップ２１０において、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各場面の画像特徴を取得する。
【0038】
本願の実施例では、ステップ２１０は、上記実施例のステップ１１０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【0039】
ステップ２２０において、記憶ニューラルネットワークにより、全ての場面の画像特徴を処理して、場面の全局特徴を取得する。
【0040】
いくつかの実施例では、記憶ニューラルネットワークは、少なくとも２つの埋め込み行列を含んでよく、ビデオストリームの全ての場面の画像特徴をそれぞれ少なくとも２つの埋め込み行列に入力することによって、該場面とビデオストリーム内の他の場面との関連関係を表現可能な各場面の全局特徴を埋め込み行列の出力で取得し、場面の重みから言えば、重みが大きいほど、該場面と他の場面との関連性が大きく、ビデオ要約に含まれる可能性が高い。
【0041】
ステップ２３０において、場面の画像特徴と全局特徴により場面の重みを決定する。
【0042】
本願の実施例では、ステップ２３０は、上記実施例のステップ１３０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【0043】
ステップ２４０において、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【0044】
本願の実施例では、ステップ２４０は、上記実施例のステップ１４０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【0045】
本願の実施例は、記憶ニューラルネットワークによって、人間がビデオ要約を作る時の仕方をまね、即ち、ビデオ全体の観点でビデオを理解し、記憶ニューラルネットワークを用いてビデオストリーム全体の情報を記憶し、それぞれの場面とビデオの全局的関係に基づいてその重要性を决定して、ビデオ要約とする場面を選択する。
【0046】
【0047】
ステップ３１０において、全ての場面の画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列に写像して、入力記憶と出力記憶を取得する。
【0048】
本実施例における入力記憶と出力記憶はそれぞれビデオストリームの全ての場面に対応し、各埋め込み行列は１つの記憶（入力記憶又は出力記憶）に対応し、全ての場面の画像特徴を１つの埋め込み行列に写像することによって、１組の新しい画像特徴、つまり１つの記憶を取得することができる。
【0049】
ステップ３２０において、場面の画像特徴、入力記憶及び出力記憶により、場面の全局特徴を取得する。
【0050】
入力記憶、出力記憶及び該場面の画像特徴に基づいて、該場面の全局特徴を取得でき、該全局特徴は該場面とビデオストリーム内の全ての場面との関連を表現し、それによって全局特徴に基づいて取得された場面の重みがビデオストリーム全体と関連し、更により全面的なビデオ要約が取得される。
【0051】
１つ又は複数の実施例では、各場面は少なくとも２つの全局特徴に対応してもよく、少なくとも２つの全局特徴は少なくとも２つの埋め込み行列セットによって取得されてもよく、それぞれの埋め込み行列セットの構造が上記実施例における第１埋め込み行列と第２埋め込み行列と類似し、
場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得し、埋め込み行列セット毎に２つの埋め込み行列が含まれ、記憶セット毎に入力記憶と出力記憶とが含まれ、
少なくとも２つの記憶セットと場面の画像特徴により、場面の少なくとも２つの全局特徴を取得する。
場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得し、埋め込み行列セット毎に２つの埋め込み行列が含まれ、記憶セット毎に入力記憶と出力記憶とが含まれ、
少なくとも２つの記憶セットと場面の画像特徴により、場面の少なくとも２つの全局特徴を取得する。
【0052】
本願の実施例では、場面の重みの全局性を高めるために、少なくとも２つの記憶セットによって少なくとも２つの全局特徴を取得し、複数の全局特徴に基づいて場面の重みを取得し、ここで、それぞれの埋め込み行列セットに含まれる埋め込み行列が異なり又は同じであり、埋め込み行列セット同士が異なる時に、得られた全局特徴は場面とビデオ全体との関連をより好適に表現可能である。
【0053】
【0054】
ステップ４０２において、場面の画像特徴を第３埋め込み行列に写像して、場面の特徴ベクトルを取得する。
【0055】
いくつかの実施例では、該第３埋め込み行列は画像特徴の転置を実現可能であり、即ち、該場面の画像特徴を転置して場面の特徴ベクトルを取得し、例えば、場面系列内のｉ番目の場面に対応する画像特徴
【0056】
【化1】
【0057】
を転置して特徴ベクトル
【0058】
【化2】
【0059】
を取得する。
【0060】
ステップ４０４において、特徴ベクトルと入力記憶に対して内積演算を行って、場面の重みベクトルを取得する。
【0061】
いくつかの実施例では、入力記憶が場面系列に対応し、従って、入力記憶には少なくとも２つのベクトル（数量が場面数量に対応）を含み、特徴ベクトルと入力記憶に対して内積演算を行う時に、ソフトマックス活性化関数によって、特徴ベクトルと入力記憶中の複数のベクトルに対して内積を計算して得られた結果を（０，１）区間内に写像して、複数の確率形式の値を得て、複数の確率形式の値を該場面の重みベクトルとすることができ、例えば、式（１）によって重みベクトルを取得することができる。
【0062】
【化3】
【0063】
ただし、
【0064】
【化4】
【0065】
はｉ番目の場面の画像特徴、即ち、現在、重みの計算対象の場面に対応する画像特徴を表し、
【0066】
【化5】
【0067】
は入力記憶を表し、
【0068】
【化6】
【0069】
はｉ番目の画像特徴と入力記憶との関連性の重みベクトルを表し、ソフトマックス活性化関数は多クラス分類プロセスに用いられて、複数のニューロンの出力を（０，１）区間内に写像するものであり、確率として理解してもよく、ただし、ｉの値は場面系列の場面数量であり、式（１）によれば、ｉ番目の画像特徴と場面系列との関連性を表現する重みベクトルが取得可能になる。
【0070】
ステップ４０６において、重みベクトルと出力記憶に対して重み付け重畳演算を行って、全局ベクトルを取得して、全局ベクトルを全局特徴とする。
【0071】
いくつかの実施例では、以下の式（２）によって全局ベクトルを取得する。
【0072】
【化7】
【0073】
ただし、
【0074】
【化8】
【0075】
は第２埋め込み行列に基づいて取得された出力記憶を表し、
【0076】
【化9】
【0077】
はｉ番目の画像特徴と出力記憶に対して計算して取得された全局ベクトルを表す。
【0078】
本実施例は画像特徴と入力記憶によって内積演算を行って、該画像特徴と各場面との関連性を取得し、選択可能に、内積演算を行う前に、画像特徴と入力記憶内のベクトルの内積演算が可能であることを保証するために、該画像特徴に対して転置処理を行ってもよく、この時に取得された重みベクトルは複数の確率値を含み、各確率値は、該場面と場面系列内の各場面の関連性を表し、大きいほど、関連性が強く、各確率値と出力記憶内の複数のベクトルに対してそれぞれ内積演算を行って、該場面の全局ベクトルを取得して全局特徴とする。
【0079】
一実施例では、各場面が少なくとも２つの全局特徴に対応する時に、少なくとも２つの記憶セットにより場面の少なくとも２つの全局特徴を取得するステップは、
場面の画像特徴を第３埋め込み行列に写像して、場面の特徴ベクトルを取得するステップと、
特徴ベクトルと少なくとも２つの入力記憶に対して内積演算を行って、場面の少なくとも２つの重みベクトルを取得するステップと、
重みベクトルと少なくとも２つの出力記憶に対して重み付け重畳演算を行って、少なくとも２つの全局ベクトルを取得して、少なくとも２つの全局ベクトルを少なくとも２つの全局特徴とするステップと、を含む。
場面の画像特徴を第３埋め込み行列に写像して、場面の特徴ベクトルを取得するステップと、
特徴ベクトルと少なくとも２つの入力記憶に対して内積演算を行って、場面の少なくとも２つの重みベクトルを取得するステップと、
重みベクトルと少なくとも２つの出力記憶に対して重み付け重畳演算を行って、少なくとも２つの全局ベクトルを取得して、少なくとも２つの全局ベクトルを少なくとも２つの全局特徴とするステップと、を含む。
【0080】
ここで、各重みベクトルと全局ベクトルの計算プロセスは上記実施例と類似し、参照しながら理解してもよく、ここで再度説明することを省略する。選択可能に、重みベクトルを取得する公式は上記式（１）を変形させて式（５）を得ることで実現可能である。
【0081】
【化10】
【0082】
ただし、
【0083】
【化11】
【0084】
はｉ番目の場面の画像特徴、即ち、現在重みを計算される場面に対応する画像特徴を表し、
【0085】
【化12】
【0086】
はｉ番目の場面の特徴ベクトルを表し、
【0087】
【化13】
【0088】
はｋ番目の記憶セット内の入力記憶を表し、
【0089】
【化14】
【0090】
はｉ番目の画像特徴とｋ番目の記憶セット内の入力記憶との関連性の重みベクトルを表し、ソフトマックス活性化関数は多クラス分類プロセスに用いられて、複数のニューロンの出力を（０，１）区間内に写像するものであり、確率として理解してもよく、ただし、ｋの値は１～Ｎであり、式（５）によれば、ｉ番目の画像特徴と場面系列との関連性を表現する少なくとも２つの重みベクトルが取得可能になる。
【0091】
いくつかの実施例では、上記式（２）を変形させて式（６）を得ることによって本実施例における少なくとも２つの全局ベクトルを取得する。
【0092】
【化15】
【0093】
ここで、
【0094】
【化16】
【0095】
はｋ番目の記憶セット内の出力記憶に基づくことを表し、
【0096】
【化17】
【0097】
はｉ番目の画像特徴とｋ番目の記憶セット内の出力記憶に対して計算して取得された全局ベクトルを表し、式（６）に基づけば、該場面の少なくとも２つの全局ベクトルが取得可能になる。
【0098】
図５は本願の実施例で提供されるビデオ要約生成方法のまた１つの実施例のフローを模式的に示す図である。図５に示すように、
ステップ５１０において、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各場面の画像特徴を取得する。
ステップ５１０において、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各場面の画像特徴を取得する。
【0099】
本願の実施例では、ステップ５１０は、上記実施例のステップ１１０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【0100】
ステップ５２０において、全ての場面の画像特徴により、場面の全局特徴を取得する。
【0101】
本願の実施例では、ステップ５２０は、上記実施例のステップ１２０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【0102】
ステップ５３０において、場面の画像特徴と場面の全局特徴に対して内積演算を行って、重み特徴を取得する。
【0103】
いくつかの実施例では、場面の画像特徴と場面の全局特徴によって内積演算を行って、取得された重み特徴に場面のビデオ全体での重要性を表現させると共に、取得された重み特徴を場面自身の情報にも依存させ、選択可能に、以下の式（３）によって重み特徴を取得可能である。
【0104】
【化18】
【0105】
ここで、
【0106】
【化19】
【0107】
はｉ番目の場面の重み特徴を表し、
【0108】
【化20】
【0109】
はｉ番目の場面の全局ベクトルを表し、
【0110】
【化21】
【0111】
は点乗積、即ち内積演算を表す。
【0112】
ステップ５４０において、重み特徴を全結合ニューラルネットワークによって処理し、場面の重みを取得する。
【0113】
重みは場面の重要性を表現するためのものであるので、数値で表現することが要求され、選択可能に、本実施例は全結合ニューラルネットワークによって重み特徴の次元を変換して、１次元ベクトルで表現される場面の重みを取得する。
【0114】
いくつかの実施例では、以下の式（４）に基づいて場面の重みを取得することができる
【0115】
【化22】
【0116】
ただし、
【0117】
【化23】
【0118】
はｉ番目の場面の重みを表し、
【0119】
【化24】
【0120】
はそれぞれ目標画像特徴の全結合ニューラルネットワークによる重みと偏差量を表す。
【0121】
ステップ５５０において、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【0122】
本実施例は、場面の画像特徴と場面の全局特徴に基づいて場面の重みを決定し、該場面の情報を表現すると共に、場面とビデオ全体との関連をも基にして、ビデオ局所とビデオ全体の観点でビデオを理解することを実現し、取得されたビデオ要約が人間の習慣に更に合致する。
【0123】
いくつかの実施例では、場面の画像特徴と全局特徴により場面の重みを決定するステップは、
場面の画像特徴と場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
第１重み特徴を画像特徴とし、場面の少なくとも２つの全局特徴のうちの第２全局特徴を第１全局特徴とするステップであって、２全局特徴が、少なくとも２つの全局特徴のうちの第１全局特徴以外の全局特徴であるステップと、
場面の画像特徴と場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
場面の少なくとも２つの全局特徴に第２全局特徴が含まれなくなるまで実行してから、第１重み特徴を場面の重み特徴とするステップと、
重み特徴を全結合ニューラルネットワークによって処理し、場面の重みを取得するステップと、を含む。
場面の画像特徴と場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
第１重み特徴を画像特徴とし、場面の少なくとも２つの全局特徴のうちの第２全局特徴を第１全局特徴とするステップであって、２全局特徴が、少なくとも２つの全局特徴のうちの第１全局特徴以外の全局特徴であるステップと、
場面の画像特徴と場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
場面の少なくとも２つの全局特徴に第２全局特徴が含まれなくなるまで実行してから、第１重み特徴を場面の重み特徴とするステップと、
重み特徴を全結合ニューラルネットワークによって処理し、場面の重みを取得するステップと、を含む。
【0124】
本実施例では、全局特徴が複数あるので、毎回、画像特徴と全局特徴の内積演算結果を次回の演算の画像特徴として、繰り返しを実現し、毎回の演算は上記式（３）を変更して得られた式（７）に基づいて実現可能である。
【0125】
【化25】
【0126】
ただし、
【0127】
【化26】
【0128】
はｉ番目の画像特徴とｋ番目の記憶セット内の出力記憶に基づいて計算して得られた全局ベクトルを表し、
【0129】
【化27】
【0130】
は第１重み特徴を表し、
【0131】
【化28】
【0132】
は点乗積を表し、ｋ＋１番目の記憶セット内の出力記憶に基づいて全局ベクトルを計算して得るまで繰り返して来た時に、
【0133】
【化29】
【0134】
を用いて
【0135】
【化30】
【0136】
を取り替えてｉ番目の場面の画像特徴を表し、この時に
【0137】
【化31】
【0138】
に変わり、全ての記憶セットの演算が完了するまで実行してから、出力
【0139】
【化32】
【0140】
を場面の重み特徴とし、重み特徴による場面重みの決定は上記実施例と類似し、ここで再度説明することを省略する。
【0141】
図６は本願の実施例で提供されるビデオ要約生成方法のいくつかの選択可能な例の模式図である。図６に示すように、この例では、複数の記憶セットを含み、ここで記憶セットの数量がｎであり、ビデオストリームを分割することによって複数の行列を取得し、画像特徴に対して上記式（５）、（６）、（７）、（４）に基づいて計算することによって、ｉ番目の場面の重み
【0142】
【化33】
【0143】
を取得可能であり、具体的な重み取得プロセスについては上記実施例の説明を参照してもよく、ここで再度説明することを省略する。
【0144】
【0145】
ステップ７１０において、被処理ビデオストリームに対して場面分割を行って場面系列を取得する。
【0146】
いくつかの実施例では、被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、場面系列を取得する。
【0147】
いくつかの実施例では、２フレームのビデオ画像に対応する特徴間の距離（例えば、ユークリッド距離、コサイン距離等）によって２フレームのビデオ画像の間の類似度を決定することができ、２フレームのビデオ画像の間の類似度が高いほど、２フレームのビデオ画像が同一な場面に属する可能性が大きいことを示し、本実施例はビデオ画像の間の類似度によって、著しく異なっているビデオ画像を異なる場面に分割でき、正確な場面分割が実現される。
【0148】
ステップ７２０において、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各場面の画像特徴を取得する。
【0149】
本願の実施例では、ステップ７２０は、上記実施例のステップ１１０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【0150】
ステップ７３０において、全ての場面の画像特徴により、場面の全局特徴を取得する。
【0151】
本願の実施例では、ステップ７３０は、上記実施例のステップ１２０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【0152】
ステップ７４０において、場面の画像特徴と全局特徴により場面の重みを決定する。
【0153】
本願の実施例では、ステップ７４０は、上記実施例のステップ１３０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【0154】
ステップ７５０において、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【0155】
本願の実施例では、ステップ７５０は、上記実施例のステップ１４０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【0156】
本願の実施例は場面を要約抽出単位とし、まず、ビデオストリームに基づいて少なくとも２つの場面を取得する必要があり、場面分割方法は、ニューラルネットワークによって分割してもよいし、撮影場面が知られており又は人為的に判断する等の方法によって実現してもよく、本願の実施例は場面分割の具体的な手段を限定するものではない。
【0157】
【0158】
ステップ８０２において、少なくとも２つの大きさの異なる分割間隔でビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオ区切りグループを取得する。
【0159】
ここで、各ビデオ区切りグループには少なくとも２つのビデオ区切りを含み、分割間隔が１フレーム以上である。
【0160】
本願の実施例では、例えば、１フレーム、４フレーム、６フレーム、８フレーム等のような複数の大きさの異なる分割間隔でビデオストリームを分割し、１つの分割間隔でビデオストリームを所定の大きさ（例えば、６フレーム）の複数のビデオ区切りに分割する。
【0161】
ステップ８０４において、各ビデオ区切りグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、分割が正確であるか否かを決定する。
【0162】
ここで、カットフレームがビデオ区切り内の第１フレームであり、選択可能に、少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、分割が正確であると決定し、
少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、分割が正確ではないと決定する。
少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、分割が正確ではないと決定する。
【0163】
いくつかの実施例では、２フレームのビデオ画像同士の関連は特徴同士の類似度に基づいて決定可能であり、類似度が大きいほど、同一な場面に属する可能性が大きい。撮影角度から言えば、シーンの切り替えは、場面のシーンを直接切り替えるか、長い場面によりシーンを徐々に変化させるという２種の場合を含み、本願の実施例は主にシーンの変化を場面分割の根拠とし、即ち、同一の長い場面で撮影したビデオ区切りであっても、あるフレーム画像とこの長い場面の第１フレーム画像との関連性が設定値以下である時に、場面分割が行われる。
【0164】
ステップ８０６において、分割が正確であることに応じて、ビデオ区切りを場面として決定し、場面系列を取得する。
【0165】
本願の実施例では、複数の異なる分割間隔でビデオストリームを分割し、更に連続した２つのビデオ区切りのカットフレームの間の類似度を判断して、該位置の分割が正確であるか否かを決定し、２つの連続したカットフレームの間の類似度が所定の値を超えた時に、該位置の分割が正確ではないことになり、即ち、これらの２つのビデオ区切りが１つの場面に属し、正確な分割によって場面系列を取得可能である。
【0166】
いくつかの実施例では、ステップ８０６には、
カットフレームが少なくとも２つの分割間隔に対応することに応じて、大きさの小さい分割間隔で取得されたビデオ区切りを前記場面として、場面系列を取得するステップを含む。
カットフレームが少なくとも２つの分割間隔に対応することに応じて、大きさの小さい分割間隔で取得されたビデオ区切りを前記場面として、場面系列を取得するステップを含む。
【0167】
１つのカット箇所のカットフレームが同時に少なくとも２つの分割間隔で分割した継ぎ目である時に、例えば、８フレームの画像を含むビデオストリームに対してそれぞれ２フレームと４フレームを第１分割間隔と第２分割間隔とし、第１分割間隔で４つのビデオ区切りが取得され、その中で第１フレーム、第３フレーム、第５フレーム及び第７フレームがカットフレームになり、第２分割間隔で２つのビデオ区切りが取得され、その中で第１フレームと第５フレームがカットフレームになり、この時に、第５フレームと第７フレームのカットフレームに対応する分割が正確であると決定したら、即ち、第５フレームが第１分割間隔のカットフレームになると共に、第２分割間隔のカットフレームにもなり、この時に、第１分割間隔でビデオの区切りを実施し、即ち、該ビデオストリーム分割で３つの場面が取得され、第１フレーム～第４フレームが１つの場面に属し、第５フレームと第６フレームが１つの場面に属し、第７フレームと第８フレームが１つの場面に属することになり、第２分割間隔で第５フレーム～第８フレームを１つの場面とするというわけではない。
【0168】
１つ又は複数の実施例では、ステップ１１０には、
場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての画像特徴の平均特徴を取得し、平均特徴を場面の画像特徴とするステップと、を含む。
場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての画像特徴の平均特徴を取得し、平均特徴を場面の画像特徴とするステップと、を含む。
【0169】
いくつかの実施例では、特徴抽出ニューラルネットワークによって場面内の各フレームのビデオ画像に対してそれぞれ特徴抽出を行い、１つの場面に１フレームのビデオ画像しか含まない時に、該画像特徴を画像特徴とし、複数フレームのビデオ画像を含む時に、複数の画像特徴の平均値を算出し、平均特徴を該場面の画像特徴とする。
【0170】
１つ又は複数の実施例では、ステップ１４０には、以下のステップを含む。
【0171】
（１）ビデオ要約の限定時間長を取得する。
【0172】
ビデオ要約は凝縮ビデオとも呼ばれ、ビデオ内容を簡単に要約したものであり、ビデオの表現する主な内容を比較的短い時間で表現可能であり、ビデオの主な内容を表現することを実現すると共に、ビデオ要約の時間長を限定することが要求され、そうでなければ要約するという機能が実現されなく、ビデオ全体に目を通すことと同様になる。本願の実施例は、限定時間長によってビデオ要約の時間長を制限し、即ち、取得されたビデオ要約の時間長が限定時間長以下であることが要求され、限定時間長の具体的な値は実際に応じて設定可能である。
【0173】
（２）場面の重みとビデオ要約の限定時間長により、被処理ビデオストリームのビデオ要約を取得する。
【0174】
いくつかの実施例では、本願の実施例は、０－１ナップザックアルゴリズムによってビデオ要約の抽出を実現し、０－１ナップザックアルゴリズムを本実施例に適用して解決する問題は、場面系列に複数の場面を含み、各場面が対応する長さ（一般的には異なっている長さ）を有し、各場面が対応する重み（一般的には異なっている重み）を有し、限定時間長のビデオ要約を取得するには、ビデオ要約の限定時間長での重みの総和が最大になることをどのように保証するかということである。従って、本願の実施例はナップザックアルゴリズムによって最適な内容のビデオ要約を取得することができる。この時に、取得された重みが最大な少なくとも２つの場面のうちに長さが第２設定フレーム数より大きい場面が存在するという特別な場合に、長さが第２設定フレーム数より大きい場面を削除し、取得されたある場面の重要度を表すスコアが高いが、その長さが第２設定フレーム数（例えば、第１設定フレーム数の半分）より大きい時に、該場面をビデオ要約に加えれば、ビデオ要約中の内容が少なすぎることになるので、該場面をビデオ要約に加えない。
【0175】
１つ又は複数の選択可能な実施例では、本願の実施例の方法は、特徴抽出ニューラルネットワークと記憶ニューラルネットワークにより、実現され、
ステップ１１０を実行するステップの前に、
サンプルビデオストリームに基づいて、特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うステップを更に含み、サンプルビデオストリームが少なくとも２つのサンプル場面を含み、サンプル場面毎にアノテーション重みが含まれる。
ステップ１１０を実行するステップの前に、
サンプルビデオストリームに基づいて、特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うステップを更に含み、サンプルビデオストリームが少なくとも２つのサンプル場面を含み、サンプル場面毎にアノテーション重みが含まれる。
【0176】
正確な重みを取得するために、重みを取得する前に特徴抽出ニューラルネットワークと記憶ニューラルネットワークをトレーニングする必要があり、特徴抽出ニューラルネットワークと記憶ニューラルネットワークを別々にトレーニングしても本願の実施例の目的を実現できるが、特徴抽出ニューラルネットワークと記憶ニューラルネットワークを共同トレーニングして得られたパラメータは本願の実施例に更に適合し、より正確な予測重みを提供可能であり、該トレーニングプロセスについては、サンプルビデオストリームがすでに少なくとも２つのサンプル場面に分割されたと仮定され、該分割プロセスはトレーニングされた分割ニューラルネットワーク又は他の手段を基にすることが可能であり、本願の実施例は限定するものではない。
【0177】
いくつかの実施例では、共同トレーニングのプロセスには、
特徴抽出ニューラルネットワークを用いてサンプルビデオストリームに含まれる少なくとも２つのサンプル場面のうちの各サンプル場面に対して特徴抽出を行って、少なくとも２つのサンプル画像特徴を取得するステップと、
記憶ニューラルネットワークを用いてサンプル場面特徴に基づいて各サンプル場面の予測重みを決定するステップと、
予測重みとアノテーション重みに基づいて損失を決定し、損失に基づいて特徴抽出ニューラルネットワークと記憶ニューラルネットワークのパラメータを調整するステップと、を含んでよい。
特徴抽出ニューラルネットワークを用いてサンプルビデオストリームに含まれる少なくとも２つのサンプル場面のうちの各サンプル場面に対して特徴抽出を行って、少なくとも２つのサンプル画像特徴を取得するステップと、
記憶ニューラルネットワークを用いてサンプル場面特徴に基づいて各サンプル場面の予測重みを決定するステップと、
予測重みとアノテーション重みに基づいて損失を決定し、損失に基づいて特徴抽出ニューラルネットワークと記憶ニューラルネットワークのパラメータを調整するステップと、を含んでよい。
【0178】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
【0179】
【0180】
特徴抽出ユニット９１は、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、各場面の画像特徴を取得するように構成される。
【0181】
本実施例では、被処理ビデオストリームは、ビデオ要約を取得される、少なくとも１フレームのビデオ画像を含むビデオストリームである。異なるフレームのビデオ画像で構成された画像集合に過ぎないことを回避するように取得されたビデオ要約に内容意味を持たせるために、本願の実施例は、少なくとも１フレームのビデオ画像を含む場面をビデオ要約の構成単位とする。選択可能に、本願の実施例における特徴抽出は任意の特徴抽出ニューラルネットワークに基づいて実現されてもよく、特徴抽出ニューラルネットワークに基づいて各場面に対してそれぞれ特徴抽出を行って、少なくとも２つの画像特徴を取得し、本願は具体的な特徴抽出プロセスを限定するものではない。
【0182】
全局特徴ユニット９２は、全ての場面の画像特徴により、場面の全局特徴を取得するように構成される。
【0183】
いくつかの実施例では、ビデオストリームに対応する全ての画像特徴に対して処理（例えば、写像又は埋め込み等）を行ってビデオストリーム全体に対応する変換特徴系列を取得し、変換特徴系列及び各画像特徴に対して計算して、各場面とビデオストリーム内の他の場面との関連関係を表現可能である、各場面に対応する全局特徴（全局注目度）を取得する。
【0184】
重み取得ユニット９３は、場面の画像特徴と全局特徴により場面の重みを決定するように構成される。
【0185】
場面の画像特徴及びその全局特徴によって該場面の重みを決定し、それにより得られた重みは該場面自身に加えて、更に該場面とビデオストリーム全体の他の場面との関連関係に基づくものになって、ビデオ全体の観点で場面の重要性を評価することが実現される。
【0186】
要約生成ユニット９４は、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得するように構成される。
【0187】
いくつかの実施例では、本願の実施例は場面の重みによって各場面の重要性を表現し、場面系列内の重要な場面を決定でき、しかし、ビデオ要約を決定するには、場面の重要性を基にすることに加えて、ビデオ要約の長さを抑える必要もあり、即ち、場面の重み及び時間長（フレーム数）の両方に基づいてビデオ要約を決定しなければならなく、選択可能に、ナップザックアルゴリズムを用いてビデオ要約を取得することができる。
【0188】
上記実施例で提供されるビデオ要約生成装置によれば、画像特徴と全局特徴に基づいて各場面の重みを決定し、ビデオ全体の観点でビデオを理解することが実現され、各場面とビデオストリーム全体との全局的関連関係が利用され、本実施例に基づいて決定されるビデオ要約は、ビデオ内容を全体的に表現可能であり、ビデオ要約が全面的でないという問題を回避する。
【0189】
１つ又は複数の選択可能な実施例では、全局特徴ユニット９２は、記憶ニューラルネットワークにより、全ての場面の画像特徴を処理して、場面の全局特徴を取得するように構成される。
【0190】
いくつかの実施例では、記憶ニューラルネットワークは、少なくとも２つの埋め込み行列を含んでよく、ビデオストリームの全ての場面の画像特徴をそれぞれ少なくとも２つの埋め込み行列に入力することによって、該場面とビデオストリーム内の他の場面との関連関係を表現可能な各場面の全局特徴を埋め込み行列の出力で取得し、場面の重みから言えば、重みが大きいほど、該場面と他の場面との関連性が大きく、ビデオ要約に含まれる可能性が高い。
【0191】
いくつかの実施例では、全局特徴ユニット９２は、全ての場面の画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列に写像して入力記憶と出力記憶を取得し、場面の画像特徴、入力記憶及び出力記憶により場面の全局特徴を取得するように構成される。
【0192】
いくつかの実施例では、全局特徴ユニット９２は、場面の画像特徴、入力記憶及び出力記憶により場面の全局特徴を取得する時に、場面の画像特徴を第３埋め込み行列に写像して場面の特徴ベクトルを取得し、特徴ベクトルと入力記憶に対して内積演算を行って場面の重みベクトルを取得し、重みベクトルと出力記憶に対して重み付け重畳演算を行って全局ベクトルを取得して全局ベクトルを全局特徴とするように構成される。
【0193】
１つ又は複数の選択可能な実施例では、重み取得ユニット９３は、場面の画像特徴と場面の全局特徴に対して内積演算を行って重み特徴を取得し、重み特徴を全結合ニューラルネットワークによって処理し場面の重みを取得するように構成される。
【0194】
本実施例は、場面の画像特徴と場面の全局特徴に基づいて場面の重みを決定し、該場面の情報を表現すると共に、場面とビデオ全体との関連をも基にして、ビデオ局所とビデオ全体の観点でビデオを理解することを実現し、取得されたビデオ要約が人間の習慣に更に合致する。
【0195】
１つ又は複数の選択可能な実施例では、全局特徴ユニット９２は、記憶ニューラルネットワークにより、場面の画像特徴を処理して、場面の少なくとも２つの全局特徴を取得するように構成される。
【0196】
本願の実施例では、場面の重みの全局性を高めるために、少なくとも２つの記憶セットによって少なくとも２つの全局特徴を取得し、複数の全局特徴に基づいて場面の重みを取得し、ここで、それぞれの埋め込み行列セットに含まれる埋め込み行列が異なり又は同じであり、埋め込み行列セット同士が異なる時に、得られた全局特徴は場面とビデオ全体との関連をより好適に表現可能である。
【0197】
いくつかの実施例では、全局特徴ユニット９２は、前記場面の画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれ写像して、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、少なくとも２つの前記記憶セットと前記場面の画像特徴により、前記場面の少なくとも２つの全局特徴を取得するステップと、を実行するように構成される。
【0198】
いくつかの実施例では、全局特徴ユニット９２は、少なくとも２つの記憶セットと場面の画像特徴により場面の少なくとも２つの全局特徴を取得する時に、場面の画像特徴を第３埋め込み行列に写像して場面の特徴ベクトルを取得し、特徴ベクトルと少なくとも２つの入力記憶に対して内積演算を行って場面の少なくとも２つの重みベクトルを取得し、重みベクトルと少なくとも２つの出力記憶に対して重み付け重畳演算を行って少なくとも２つの全局ベクトルを取得して少なくとも２つの全局ベクトルを少なくとも２つの全局特徴とするように構成される。
【0199】
いくつかの実施例では、重み取得ユニット９３は、場面の画像特徴と場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、第１重み特徴を画像特徴とし、場面の少なくとも２つの全局特徴のうちの第２全局特徴を第１全局特徴とするステップであって、第２全局特徴が、少なくとも２つの全局特徴のうちの第１全局特徴以外の全局特徴であるステップと、場面の画像特徴と場面の少なくとも２つの全局特徴のうちの第１全局特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を場面の少なくとも２つの全局特徴に第２全局特徴が含まれなくなるまで実行してから、第１重み特徴を場面の重み特徴とするステップと、重み特徴を全結合ニューラルネットワークによって処理し、場面の重みを取得するステップとを実行するように構成される。
【0200】
１つ又は複数の選択可能な実施例では、装置は、
被処理ビデオストリームに対して場面分割を行って場面系列を取得するための場面分割ユニットを更に含む。
被処理ビデオストリームに対して場面分割を行って場面系列を取得するための場面分割ユニットを更に含む。
【0201】
いくつかの実施例では、被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、場面系列を取得する。
【0202】
いくつかの実施例では、２フレームのビデオ画像に対応する特徴間の距離（例えば、ユークリッド距離、コサイン距離等）によって２フレームのビデオ画像の間の類似度を決定することができ、２フレームのビデオ画像の間の類似度が高いほど、２フレームのビデオ画像が同一な場面に属する可能性が大きいことを示し、本実施例はビデオ画像の間の類似度によって、著しく異なっているビデオ画像を異なる場面に分割でき、正確な場面分割が実現される。
【0203】
いくつかの実施例では、場面分割ユニットは、被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいて場面分割を行って、場面系列を取得するように構成される。
【0204】
いくつかの実施例では、場面分割ユニットは、少なくとも２つの大きさが異なる分割間隔に基づいて、ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオ区切りグループを取得するステップであって、ビデオ区切りグループ毎に少なくとも２つのビデオ区切りが含まれ、分割間隔が１フレーム以上であるステップと、各ビデオ区切りグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、分割が正確であるか否かを決定するステップであって、カットフレームが、ビデオ区切り内の第１フレームであるステップと、分割が正確であることに応じて、ビデオ区切りを場面として決定し、場面系列を取得するステップと、を実行するように構成される。
【0205】
いくつかの実施例では、場面分割ユニットは、各ビデオ区切りグループ内の少なくとも２つのカットフレームの間の類似度に基づいて分割が正確であるか否かを決定する時に、少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、分割が正確であると決定し、少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、分割が正確ではないと決定するように構成される。
【0206】
いくつかの実施例では、場面分割ユニットは、分割が正確であることに応じてビデオ区切りを場面として決定し、場面系列を取得する時に、カットフレームが少なくとも２つの分割間隔に対応することに応じて、大きさの小さい分割間隔で取得されたビデオ区切りを場面として、場面系列を取得するように構成される。
【0207】
１つ又は複数の選択可能な実施例では、特徴抽出ユニット９１は、場面内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って少なくとも１つの画像特徴を取得し、全ての画像特徴の平均特徴を取得して平均特徴を場面の画像特徴とするように構成される。
【0208】
いくつかの実施例では、特徴抽出ニューラルネットワークによって場面内の各フレームのビデオ画像に対してそれぞれ特徴抽出を行い、１つの場面に１フレームのビデオ画像しか含まない時に、該画像特徴を画像特徴とし、複数フレームのビデオ画像を含む時に、複数の画像特徴の平均値を算出し、平均特徴を該場面の画像特徴とする。
【0209】
１つ又は複数の選択可能な実施例では、要約生成ユニットは、ビデオ要約の限定時間長を取得し、場面の重みとビデオ要約の限定時間長により被処理ビデオストリームのビデオ要約を取得するように構成される。
【0210】
ビデオ要約は凝縮ビデオとも呼ばれ、ビデオ内容を簡単に要約したものであり、ビデオの表現する主な内容を比較的短い時間で表現可能であり、ビデオの主な内容を表現することを実現すると共に、ビデオ要約の時間長を限定することが要求され、そうでなければ要約するという機能が実現されなく、ビデオ全体に目を通すことと同様になり、本願の実施例は、限定時間長によってビデオ要約の時間長を制限し、即ち、取得されたビデオ要約の時間長が限定時間長以下であることが要求され、限定時間長の具体的な値は実際に応じて設定可能である。
【0211】
１つ又は複数の実施例では、本願の実施例の装置は、
サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うように構成される共同トレーニングユニットを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる。
サンプルビデオストリームに基づいて、前記特徴抽出ニューラルネットワークと記憶ニューラルネットワークに対して共同トレーニングを行うように構成される共同トレーニングユニットを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプル場面を含み、前記サンプル場面毎にアノテーション重みが含まれる。
【0212】
正確な重みを取得するために、重みを取得する前に特徴抽出ニューラルネットワークと記憶ニューラルネットワークをトレーニングする必要があり、特徴抽出ニューラルネットワークと記憶ニューラルネットワークを別々にトレーニングしても本願の実施例の目的を実現できるが、特徴抽出ニューラルネットワークと記憶ニューラルネットワークを共同トレーニングして得られたパラメータは本願の実施例に更に適合し、より正確な予測重みを提供可能であり、該トレーニングプロセスについては、サンプルビデオストリームがすでに少なくとも２つのサンプル場面に分割されたと仮定され、該分割プロセスはトレーニングされた分割ニューラルネットワーク又は他の手段を基にすることが可能であり、本願の実施例は限定するものではない。
【0213】
本願の実施例の別の態様によれば、上記のいずれか一項の実施例で提供されるビデオ要約生成装置を備えるプロセッサを含む電子機器を更に提供する。
【0214】
本願の実施例の更に別の態様によれば、実行可能コマンドを記憶するように構成されるメモリと、
該メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項の実施例で提供されるビデオ要約生成方法の操作を遂行するように構成されるプロセッサと、を含む電子機器を更に提供する。
該メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項の実施例で提供されるビデオ要約生成方法の操作を遂行するように構成されるプロセッサと、を含む電子機器を更に提供する。
【0215】
本願の実施例のまた１つの態様によれば、コンピュータ可読コマンドを記憶し、該コマンドが実行される時に上記のいずれか一項の実施例で提供されるビデオ要約生成方法の操作が実行されるように構成されるコンピュータ記憶媒体を更に提供する。
【0216】
本願の実施例の更にまた１つの態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、該機器におけるプロセッサが上記のいずれか一項の実施例で提供されるビデオ要約生成方法を実現するためのコマンドを実行するコンピュータプログラム製品を更に提供する。
【0217】
本願の実施例は、例えば、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい電子機器を更に提供する。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器１０００の構造模式図を示す図１０を参照し、図１０に示すように、電子機器１０００は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）１００１、及び／又は１つ又は複数の専用プロセッサであり、専用プロセッサは加速ユニット１０１３としてよく、画像プロセッサ（ＧＰＵ）、ＦＰＧＡ、ＤＳＰ及び他のＡＳＩＣチップのような専用プロセッサ等を含むが、それらに限定されなく、プロセッサは、読み取り専用メモリ（ＲＯＭ）１００２に記憶された実行可能コマンド又は記憶部１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部１０１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはインフィニバンド（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。
【0218】
プロセッサは読み取り専用メモリ１００２及び／又はランダムアクセスメモリ１００３と通信して実行可能コマンドを実行し、通信バス１００４を介して通信部１０１２に接続され、通信部１０１２を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各場面の画像特徴を取得し、全ての場面の画像特徴により、場面の全局特徴を取得し、場面の画像特徴と全局特徴により場面の重みを決定し、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【0219】
また、ＲＡＭ１００３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３は、通信バス１００４を介して相互に接続される。ＲＡＭ１００３を有する場合に、ＲＯＭ１００２は選択可能なモジュールである。ＲＡＭ１００３に実行可能コマンドを格納して、実行可能コマンドによって中央処理ユニット１００１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インターフェイス１００５も通信バス１００４に接続される。通信部１０１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【0220】
キーボード、マウスなどを含む入力部１００６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部１００７と、ハードディスクなどを含む記憶部１００８と、ＬＡＮカード、モデムなどのネットワークインターフェイスカードを含む通信部１００９とがＩ／Ｏインターフェイス１００５に接続されている。通信部１００９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ１０１０も必要に応じてＩ／Ｏインターフェイス１００５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１０１１は、必要に応じてドライブ１０１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部１００８にインストールする。
【0221】
なお、図１０に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図１０の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット１０１３とＣＰＵ１００１は分離設置するかまたは加速ユニット１０１３をＣＰＵ１００１に統合するようにしてよく、通信部は分離設置するか、またはＣＰＵ１００１や加速ユニット１０１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【0222】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよく、例えば、被処理ビデオストリームの場面系列内の場面に対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各場面の画像特徴を取得し、全ての場面の画像特徴により、場面の全局特徴を取得し、場面の画像特徴と全局特徴により場面の重みを決定し、場面の重みに基づいて被処理ビデオストリームのビデオ要約を取得する。このような実施例では、該コンピュータプログラムは通信部１００９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体１０１１からインストールされ得る。中央処理ユニット（ＣＰＵ）１００１によって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能の操作を実行する。
【0223】
本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
【0224】
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】