▶ インハ インダストリー パートナーシップ インスティテュートの特許一覧
特開2023-129179効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023129179
(43)【公開日】2023-09-14
(54)【発明の名称】効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置
(51)【国際特許分類】
H04N 21/8549 20110101AFI20230907BHJP
G06V 10/82 20220101ALI20230907BHJP
G06N 3/08 20230101ALI20230907BHJP
G06T 7/00 20170101ALI20230907BHJP
G06N 3/045 20230101ALI20230907BHJP
【ＦＩ】
H04N21/8549
G06V10/82
G06N3/08
G06T7/00 350C
G06N3/04 154
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022072173
(22)【出願日】2022-04-26
(31)【優先権主張番号】10-2022-0026671
(32)【優先日】2022-03-02
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】505224569
【氏名又は名称】インハ インダストリー パートナーシップ インスティテュート
【氏名又は名称原語表記】Ｉｎｈａ－Ｉｎｄｕｓｔｒｙ Ｐａｒｔｎｅｒｓｈｉｐ Ｉｎｓｔｉｔｕｔｅ
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】チョ・グンシク
(72)【発明者】
【氏名】ユン・ウィニョン
(72)【発明者】
【氏名】ホン・ミョンドク
【テーマコード（参考）】
5C164
5L096
【Ｆターム（参考）】
5C164FA29
5C164MC03P
5C164PA38
5C164SB02S
5C164SB41S
5C164YA21
5L096AA06
5L096CA01
5L096DA02
5L096FA32
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
【課題】効率的なキーフレーム選択報酬関数を備えた教師なし動画要約方法および装置を提供する。
【解決手段】本開示のアテンション基盤の映像要約方法は、予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによってアテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、選択されたキーフレームの重要度点数を用いて映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および、計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階を含む。
【選択図】図２
【解決手段】本開示のアテンション基盤の映像要約方法は、予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによってアテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、選択されたキーフレームの重要度点数を用いて映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および、計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する段階、
アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階、
評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、
前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および
前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階
を含む、アテンション基盤の映像要約方法。
アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階、
評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、
前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および
前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階
を含む、アテンション基盤の映像要約方法。
【請求項2】
前記アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階は、
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項１に記載のアテンション基盤の映像要約方法。
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項１に記載のアテンション基盤の映像要約方法。
【請求項3】
前記評価モジュールによってキーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階は、
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項１に記載のアテンション基盤の映像要約方法。
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項１に記載のアテンション基盤の映像要約方法。
【請求項4】
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階は、
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用して、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項１に記載のアテンション基盤の映像要約方法。
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用して、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項１に記載のアテンション基盤の映像要約方法。
【請求項5】
入力映像からフレームレベル視覚的特徴を抽出するフレームレベル映像特徴抽出モジュール、
アテンション基盤の映像要約ネットワークによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す映像要約ネットワークモジュール、
前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する評価モジュール、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する方策勾配アルゴリズム基盤の学習モジュール（前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する）、および
前記計算された正規化および再構成損失に基づいて映像要約を生成する映像要約生成モジュール
を含む、アテンション基盤の映像要約装置。
アテンション基盤の映像要約ネットワークによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す映像要約ネットワークモジュール、
前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する評価モジュール、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する方策勾配アルゴリズム基盤の学習モジュール（前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する）、および
前記計算された正規化および再構成損失に基づいて映像要約を生成する映像要約生成モジュール
を含む、アテンション基盤の映像要約装置。
【請求項6】
前記映像要約ネットワークモジュールは、
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項５に記載のアテンション基盤の映像要約装置。
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項５に記載のアテンション基盤の映像要約装置。
【請求項7】
前記評価モジュールは、
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項５に記載のアテンション基盤の映像要約装置。
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項５に記載のアテンション基盤の映像要約装置。
【請求項8】
前記方策勾配アルゴリズム基盤の学習モジュールは、
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項５に記載のアテンション基盤の映像要約装置。
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項５に記載のアテンション基盤の映像要約装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置に関する。
【背景技術】
【0002】
ＹｏｕＴｕｂｅ（登録商標）のようなオンライン動画共有プラットフォームを利用して興味のある映像を検索するために時間を費やす人が多くなった。この時間を短縮するためにプレビューまたは要約映像を使用することで、全体映像コンテンツを効率的かつ迅速に把握することができる（非特許文献１）。ここ数年間にわたって映像要約が重要視されるようになっており、映像コンテンツを検索したり、長い映像から短い形式の要約映像を製作したりするための研究が積極的に行われている。しかし、映像要約では、映像のフレームレベルまたはショットレベルの重要度点数を予測するための困難な作業が問題となっている（非特許文献２）。映像要約は、明らかな視聴覚パターンや意味の規則がない、抽象的かつ主観的なマルチモード作業であるためである。映像のフレームが興味深いものであるか有益なものであれば、フレームの重要度点数が高くなければならない。また、このような高い点数のフレームが、映像要約を製作するために選択される。
【0003】
最近は多様な方法が提案されているが、このような方法はディープラーニング（非特許文献３、４、５）を利用することで高い性能を発揮する。ディープラーニング基盤の映像要約方法は、教師あり学習基盤の方法と教師なし学習基盤の方法とに分けられる。教師あり学習基盤の方法の場合は、ラベルが指定されたデータセットを生成するのが極めて難しい。さらに、多様なドメインや場面を包括した大規模なデータセットを生成することも極めて難しい。このような理由により、教師なし映像要約方法の開発に力が注がれてきた。
【0004】
強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ：ＲＬ）基盤の映像要約方法が従来技術（非特許文献６）で提案され、優れた成果を示した。特に、ＲＬを用いて深層ニューラルネットワークを学習させるために、報酬関数であるキーフレームを選択するための効率的かつ明示上な評価方法がある。さらに、深層ニューラルネットワークは、評価方法を利用して、代表性、多様性、統一性などの映像の多様な特徴を効率的に学習する。ＲＬを使用しながら、部分線形補間法を使用する従来技術（非特許文献３）でＩｎｔｅｒ－ＳＵＭを提案した。補間法を用いることとでネットワークの出力を減らし、高い分散問題を緩和して性能を改善した。しかし、多くの映像において、キーフレームが特定の場面からしか選択されなかったり、興味深いキーフレームが適切に選択されなかったりした。
【0005】
さらに、以前のＲＬ基盤の映像要約方法にはいくつかの短所がある。一つ目に、深層ニューラルネットワークによっては視覚的および時間的コンテキストの捕捉が難しい。二つ目に、多くの方法は、キーフレームの時間的分布を考慮せず、キーフレーム同士の視覚的な差を計算してネットワークを学習させるために報酬関数または損失関数を使用する。したがって、一律的に映像を容易に理解できるようにキーフレームを選択して演出者のストーリーラインを生かすことのできる映像要約方法が求められている。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】Ｅｊａｚ，Ｎ．；Ｍｅｈｍｏｏｄ，Ｉ．；Ｂａｉｋ，Ｓ．Ｗ．Ｅｆｆｉｃｉｅｎｔ ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｂａｓｅｄ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｅｘｔｒａｃｔｉｎｇ ｋｅｙ ｆｒａｍｅｓ ｆｒｏｍ ｖｉｄｅｏｓ．Ｊ．Ｉｍａｇｅ Ｃｏｍｍｕｎ．２０１３，２８，３４－４４．
【非特許文献2】Ｇｙｇｌｉ，Ｍ．；Ｇｒａｂｎｅｒ，Ｈ．；Ｒｉｅｍｅｎｓｃｈｎｅｉｄｅｒ，Ｈ．；Ｇｏｏｌ，Ｌ．Ｖ．Ｃｒｅａｔｉｎｇ ｓｕｍｍａｒｉｅｓ ｆｒｏｍ ｕｓｅｒ ｖｉｄｅｏｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ））；Ｓｐｒｉｎｇｅｒ，２０１５，ｐｐ．５０５－５２０．
【非特許文献3】Ｙｏｏｎ，Ｕ，Ｎ．；Ｈｏｎｇ，Ｍ．Ｄ．；Ｊｏ，Ｇ．Ｓ．Ｉｎｔｅｒｐ－ＳＵＭ：Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｐｉｅｃｅｗｉｓｅ Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ．Ｓｅｎｓｏｒｓ ２０２１．ｖｏｌ．２１，ｎｏ．１３，４５６２．
【非特許文献4】Ａｐｏｓｔｏｌｉｄｉｓ，Ｅ．；Ａｄａｍａｎｔｉｄｏｕ，Ｅ．；Ｍｅｔｓａｉ，Ａ．；Ｍｅｚａｒｉｓ，Ｖ．；Ｐａｔｒａｓ，Ｉ．Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｖｉａ Ａｔｔｅｎｔｉｏｎ－Ｄｒｉｖｅｎ Ａｄｖｅｒｓａｒｉａｌ Ｌｅａｒｎｉｎｇ．Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｍｏｄｅｌｉｎｇ（ＭＭＭ）；Ｓｐｒｉｎｇｅｒ：Ｄａｅｊｅｏｎ，Ｋｏｒｅａ，５－８ Ｊａｎｕａｒｙ ２０２０，ｐｐ．４９２－５０４．
【非特許文献5】Ｊｕｎｇ，Ｙ．Ｊ．；Ｃｈｏ，Ｄ．Ｙ．；Ｋｉｍ，Ｄ．Ｈ．；Ｗｏｏ，Ｓ．Ｈ．；Ｋｗｅｏｎ，Ｉ．Ｓ．Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｖｉｄｅｏ ｓｕｍｍａｒｉｚａｔｉｏｎ．ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ，２７ Ｊａｎｕａｒｙ－１ Ｆｅｂｒｕａｒｙ ２０１９，ｐｐ．８５３７－８５４４。
【非特許文献6】Ｚｈｏｕ，Ｋ．；Ｑｉａｏ，Ｙ．；Ｘｉａｎｇ，Ｔ．Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｄｉｖｅｒｓｉｔｙ－Ｒｅｐｒｅｓｅｎｔａｔｉｖｅｎｅｓｓ Ｒｅｗａｒｄ．ＡＡＡＩ Ｃｏｎｆ．Ａｒｔｉｆ．Ｉｎｔｅｌｌ．２０１８，３２，７５８２－７５８９．
【非特許文献7】Ｓｏｎｇ，Ｙ．；Ｖａｌｌｍｉｔｊａｎａ，Ｊ．；Ｓｔｅｎｔ，Ａ．；Ｊａｉｍｅｓ，Ａ．Ｔｖｓｕｍ：Ｓｕｍｍａｒｉｚｉｎｇ ｗｅｂ ｖｉｄｅｏｓ ｕｓｉｎｇ ｔｉｔｌｅｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｂｏｓｔｏｎ，ＭＡ，ＵＳＡ，７－１２ Ｊｕｎｅ ２０１５，ｐｐ．５１７９－５１８７．
【非特許文献8】Ｆｅｎｇ，Ｌ．；Ｌｉ，Ｚ．；Ｋｕａｎｇ，Ｚ．；Ｚｈａｎｇ，Ｗ．Ｅｘｔｒａｃｔｉｖｅ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚｅｒ ｗｉｔｈ Ｍｅｍｏｒｙ Ａｕｇｍｅｎｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．ＭＭ，Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ，２２－２６ Ｏｃｔｏｂｅｒ ２０１８，ｐｐ．９７６－９８３．
【非特許文献9】Ｚｈａｎｇ，Ｋ．；Ｃｈａｏ，Ｗ．Ｌ．；Ｓｈａ，Ｆ．；Ｇｒａｕｍａｎ，Ｋ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ Ｍｅｍｏｒｙ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ）；Ｓｐｒｉｎｇｅｒ：Ａｍｓｔｅｒｄａｍ，Ｎｅｔｈｅｒｌａｎｄｓ，２０１６；ｐｐ．７６６－７８２．
【非特許文献10】Ｚｈａｎｇ，Ｙ．；Ｋａｍｐｆｆｍｅｙｅｒ，Ｍ．；Ｚｈａｏ，Ｘ．；Ｔａｎ，Ｍ．ＤＴＲ－ＧＡＮ：Ｄｉｌａｔｅｄ Ｔｅｍｐｏｒａｌ Ｒｅｌａｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｔｕｒｉｎｇ Ｃｅｌｅｂｒａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＡＣＭ ＴＵＲＣ），Ｓｈａｎｇｈａｉ，Ｃｈｉｎａ，１８ Ｍａｙ ２０１８．
【非特許文献11】Ｊｉ．Ｚ．；Ｘｉｏｎｇ．Ｋ．；Ｐａｎｇ．Ｙ．；Ｌｉ．Ｘ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ Ｎｅｔｗｏｒｋｓ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，Ｊｕｎｅ ２０２０，ｖｏｌ．３０，ｎｏ．６．ｐｐ．１７０９－１７１７．
【非特許文献12】Ｍａｈａｓｓｅｎｉ，Ｂ．；Ｌａｍ，Ｍ．；Ｔｏｄｏｒｏｖｉｃ，Ｓ．Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ａｄｖｅｒｓａｒｉａｌ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｈｏｎｏｌｕｌｕ、Ｈａｗａｉｉ，ＵＳＡ，２２－２５ Ｊｕｌｙ ２０１７，ｐｐ．２０２－２１１．
【非特許文献13】Ｙｕａｎ，Ｌ．；Ｔａｙ，Ｆ．Ｅ．；Ｌｉ，Ｐ．；Ｚｈｏｕ，Ｌ．；Ｆｅｎｇ，Ｆ．Ｃｙｃｌｅ－ＳＵＭ：Ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｙ－Ｔｈｉｒｄ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ，２７ Ｊａｎ－１ Ｆｅｂ ２０１９，Ｖｏｌｕｍｅ ３３，ｐｐ．９１４３－９１５０．
【非特許文献14】Ｋａｕｆｍａｎ，Ｄ．；Ｌｅｖｉ，Ｇ．；Ｈａｓｓｎｅｒ，Ｔ．；Ｗｏｌｆ，Ｌ．Ｔｅｍｐｏｒａｌ Ｔｅｓｓｅｌｌａｔｉｏｎ：Ａ Ｕｎｉｆｉｅｄ Ａｐｐｒｏａｃｈ ｆｏｒ Ｖｉｄｅｏ Ａｎａｌｙｓｉｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２０１７，ｐｐ．９４－１０４．
【非特許文献15】Ｒｏｃｈａｎ，Ｍ．；Ｙｅ，Ｌ．；Ｗａｎｇ，Ｙ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ Ｕｓｉｎｇ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｅｑｕｅｎｃｅ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕ－ｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ）；Ｓｐｒｉｎｇｅｒ：Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ，２０１８，ｐｐ．３４７－３６３．
【非特許文献16】Ｓｉｌｖｅｒ，Ｄ．；Ｌｅｖｅｒ，Ｇ．；Ｈｅｅｓｓ，Ｎ．；Ｄｅｇｒｉｓ，Ｔ．；Ｗｉｅｒｓｔｒａ，Ｄ．；Ｒｉｅｄｍｉｌｌｅｒ，Ｍ．Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍｓ．Ｉｎ Ｐｒｏ－ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ（ＩＣＭＬ），Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，２１－２６ Ｊｕｎｅ ２０１４，ｐｐ．３８７－３９５．
【非特許文献17】Ｙｕ，Ｙ．Ｔｏｗａｒｄｓ Ｓａｍｐｌｅ Ｅｆｆｉｃｉｅｎｔ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｗｅｎｔｙ－Ｓｅｖｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎ－ｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ），Ｓｔｏｃｋｈｏｌｍ，Ｓｗｅｄｅｎ，１３－１９ Ｊｕｌｙ２０１８，ｐｐ．５７３９－５７４３．
【非特許文献18】Ｌｅｈｎｅｒｔ，Ｌ．；Ｌａｒｏｃｈｅ，Ｒ．；Ｓｅｉｊｅｎ，Ｈ．Ｖ．Ｏｎ Ｖａｌｕｅ Ｆｕｎｃｔｉｏｎ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｌｏｎｇ Ｈｏｒｉｚｏｎ Ｐｒｏｂｌｅｍｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｙ－Ｓｅｃｏｎｄ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｎｅｗ Ｏｒｌｅａｎｓ，Ｌｏｕｉｓｉａｎａ，ＵＳＡ，２－７ Ｆｅｂ ２０１８，ｐｐ．３４５７－３４６５．
【非特許文献19】Ｓｚｅｇｅｄｙ，Ｃ．；Ｌｉｕ，Ｗ．；Ｊｉａ，Ｙ．；Ｓｅｒｍａｎｅｔ，Ｐ．；Ｒｅｅｄ，Ｓ．；Ａｎｇｕｅｌｏｖ，Ｄ．；Ｅｒｈａｎ，Ｄ．；Ｖａｎｈｏｕｃｋｅ，Ｂ．；Ｒａｂｉｎｏｖｉｃｈ，Ａ．Ｇｏｉｎｇ ｄｅｅｐｅｒ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｂｏｓｔｏｎ，ＭＡ，ＵＳＡ，７－１２ Ｊｕｎｅ ２０１５，ｐｐ．１－９．
【非特許文献20】Ｌｕｏｎｇ．Ｔ．；Ｐｈａｍ．Ｈ．；Ｍａｎｎｉｎｇ Ｃ．Ｄ．；Ｅｆｆｅｃｔｉｖｅ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１５ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＥＭＮＬＰ），Ｌｉｓｂｏｎ，Ｐｏｒｔｕｇａｌ，１７－２１ Ｓｅｐｔｅｍｂｅｒ ２０１５，ｐｐ．１４１２－１４２１．
【非特許文献21】Ｎａｃｈｕｍ，Ｏ．；Ｎｏｒｏｕｚｉ，Ｍ．；Ｓｃｈｕｕｒｍａｎｓ，Ｄ．Ｉｍｐｒｏｖｉｎｇ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ ｂｙ Ｅｘｐｌｏｒｉｎｇ Ｕｎｄｅｒ－Ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄｓ．ａｒＸｉｖ ２０１６，ａｒＸｉｖ：１６１１．０９３２１．
【非特許文献22】Ｐｏｔａｐｏｖ，Ｄ．；Ｄｏｕｚｅ，Ｍ．；Ｈａｒｃｈａｏｕｉ，Ｚ．；Ｓｃｈｍｉｄ，Ｃ．；Ｃａｔｅｇｏｒｙ－ｓｐｅｃｉｆｃ ｖｉｄｅｏ ｓｕｍｍａｒｉｚａｔｉｏｎ．Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ），Ｚｕｒｉｃｈ，Ｓｗｉｔｚｅｒｌａｎｄ，Ｓｅｐ ２０１４，ｐｐ．５４０－５５５．
【非特許文献23】Ｒｏｃｈａｎ，Ｍ．；Ｗａｎｇ，Ｙ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｂｙ Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｕｎｐａｉｒｅｄ Ｄａｔａ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）２０１９，ｐｐ．７９０２－７９１１．
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が達成しようとする技術的課題は、新たな時間的一貫性報酬関数および代表性報酬関数（ＴＲ－ＳＵＭ）を備えた強化学習基盤の映像要約フレームワーク、および重要度点数を正確に予測するためのアテンション基盤の映像要約方法および装置を提案することにある。より詳細には、長い映像のコンテキストを効率的にキャプチャするために、アテンション基盤のエンコーダ－デコーダアーキテクチャをもつ映像要約ネットワークおよび関心のあるキーフレームを効率的かつ均一に選択するための時間的一貫性報酬関数および代表性報酬関数である新たな報酬関数を提案する。
【課題を解決するための手段】
【0008】
一側面において、本発明で提案する効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法は、フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する段階、アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階、評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、前記選択されたキーフレームの重要度点数を利用して前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階を含む。
【0009】
前記アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階は、エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、前記アテンション層ではエンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める。
【0010】
前記評価モジュールによってキーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階は、前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレーム同士の類似性を計算し、前記代表性報酬関数に基づいて映像要約のキーフレームを選択するための重要度点数を予測するように学習し、前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する。
【0011】
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階は、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する。
【0012】
また他の側面において、本発明で提案する効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置は、入力映像からフレームレベル視覚的特徴を抽出するフレームレベル映像特徴抽出モジュール、アテンション基盤の映像要約ネットワークによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す映像要約ネットワークモジュール、前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する評価モジュール、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する方策勾配アルゴリズム基盤の学習モジュール（前記選択されたキーフレームの重要度点数を使用して、前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する）、前記計算された正規化および再構成損失に基づいて映像要約を生成する映像要約生成モジュール映像要約生成モジュールを含む。
【発明の効果】
【0013】
本発明の実施形態によると、新たな時間的一貫性報酬関数および代表性報酬関数（ＴＲ－ＳＵＭ）を備えた強化学習基盤の映像要約フレームワークおよび重要度点数を正確に予測するためのアテンション基盤の映像要約方法および装置を提案する。提案する教師なし映像要約方法は、アテンション基盤のエンコーダ－デコーダアーキテクチャをもつ映像要約ネットワークによって長い映像のコンテキストを効率的にキャプチャすることができ、時間的一貫性報酬関数および代表性報酬関数である新たな報酬関数を利用することで関心のあるキーフレームを効率的かつ均一に選択することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態における、アテンション基盤の映像要約ネットワークの概念を説明するための図である。
【図2】本発明の一実施形態における、時間一貫性報酬および代表性報酬関数を利用した強化学習基盤の映像要約フレームワークを示した図である。
【図3】本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置の構成を示した図である。
【図4】本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法を説明するためのフローチャートである。
【図5】本発明の一実施形態における、アテンション加重値を計算するためのアテンション基盤の映像要約ネットワークの構成を示した図である。
【図6】本発明の一実施形態における、代表性報酬関数を説明するための図である。
【図7】本発明の一実施形態における、時間的一貫性報酬関数を説明するための図である。
【発明を実施するための形態】
【0015】
本発明は、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法を提案する。効率的なキーフレームの選択のために、新たな時間的一貫性報酬および代表性報酬関数（ＴＲ－ＳＵＭ）を備えた強化学習基盤の映像要約フレームワークを設計する。映像のキーフレームレベル重要度点数を予測するために、アテンション基盤のエンコーダ－デコーダアーキテクチャとして映像要約方法および装置を提案する。本発明の実施形態によると、重要度点数を使用して、関心のあるキーフレームを効率的かつ均一に選択するために役立つ報酬関数に基づいて報酬を計算する。以下、本発明の実施例について、添付の図面を参照しながら詳しく説明する。
【0016】
図１は、本発明の一実施形態における、アテンション基盤の映像要約ネットワークの概念を説明するための図である。
【0017】
本発明では、新たな時間的一貫性報酬および代表性報酬関数（ＴＲ－ＳＵＭ（ｖｉｄｅｏ ｓｕｍｍａｒｉｚａｔｉｏｎ ｆｒａｍｅｗｏｒｋ ｗｉｔｈ ｔｈｅ ｎｅｗ ｔｅｍｐｏｒａｌ ｃｏｎｓｉｓｔｅｎｃｙ ｒｅｗａｒｄ ａｎｄ ｒｅｐｒｅｓｅｎｔａｔｉｖｅｎｅｓｓ ｒｅｗａｒｄ ｆｕｎｃｔｉｏｎｓ））を備えた強化学習基盤の映像要約フレームワークを提案し、図１に示すように、重要度点数を正確に予測するためのアテンション基盤の映像要約ネットワークを提案する。
【0018】
提案する教師なし映像要約方法は、アテンション基盤のエンコーダ－デコーダアーキテクチャをもつ映像要約ネットワークによって長い映像のコンテキストを効率的にキャプチャすることができ、時間的一貫性報酬関数および代表性報酬関数である新たな報酬関数を利用することで関心のあるキーフレームを効率的かつ均一に選択することができる。
【0019】
映像要約方法は、教師あり学習基盤の方法と教師なし学習基盤の方法とに分けられる。２つの方法すべて、多数の使用者が注釈をつけた映像のフレームレベルまたはショットレベルの重要度点数を含む映像要約データセットを使用する（非特許文献２）。教師あり学習基盤の方法は、重要度点数を予測するための入力として映像のフレームレベルまたはショットレベル特徴を用いてモデルを学習する。この方法は、データセットを使用して、予測された重要度点数と注釈がついた重要度点数の差によって費用を計算する。また、このような方法は、最適のモデルを探索するための費用を最小化する。
【0020】
非特許文献８では、メモリ増強映像要約方法が提案された。メモリネットワークは、全体映像から抽出した支援知識を効率的に提供する。現在は、ショットの重要度点数を予測するために、グローバルアテンションメカニズムを用いて元の映像に対する全体的な理解によって点数を調整する。非特許文献９では、学習の代表性と多様性のために、フレームをサンプリングする確率をエンコードする決定的点過程（Ｄｅｔｅｒｍｉｎａｎｔａｌ Ｐｏｉｎｔ Ｐｒｏｃｅｓｓ：ＤＰＰ）のあるＬＳＴＭ基盤のネットワークを提示した。非特許文献１０では、映像フレーム同士の時間的コンテキストの表現を強化するために、生成器の拡張時間関係（Ｄｉｌａｔｅｄ Ｔｅｍｐｏｒａｌ Ｒｅｌａｔｉｏｎａｌ：ＤＴＲ）装置を提示した。映像の最上の要約を予測するためのネットワークを学習させるために、敵対的学習方法を３－プレイヤ（ｔｈｒｅｅ－ｐｌａｙｅｒ）損失関数とともに使用する。非特許文献１１では、キーショット選択のための重要度点数を予測するために、アテンション基盤のエンコーダ－デコーダネットワークが提案された。このネットワークは、双方向ＬＳＴＭネットワークがあるエンコーダとアテンションメカニズムがあるデコーダを用いて映像表現を学習する。
【0021】
しかし、教師あり学習基盤の方法は、多様なドメインの映像を含んでいるため、人間がラベリングした映像要約データセットを生成することが極めて難しいという問題を抱えている。この反面、教師なし学習基盤の方法は、人間がラベリングしたデータセットを必要としない。
【0022】
非特許文献４で、アテンションオートエンコーダ（Ａｔｔｅｎｔｉｏｎ Ａｕｔｏｅｎｃｏｄｅｒ：ＡＡＥ）ネットワークは、ＳＵＭ－ＧＡＮで提案された敵対的オートエンコーダ（Ａｄｖｅｒｓａｒｉａｌ Ａｕｔｏｅｎｃｏｄｅｒ：ＡＡＥ）の学習の効率性と性能を高めるためにＳＵＭ－ＧＡＮでＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）に替わる。ネットワークを学習させる間、映像を要約するための興味深いフレームに加重値を付与する。非特許文献５では、映像の要約を適切に予測するための映像のローカルおよびグローバルコンテキストを効率的に学習するために、ＶＡＥとＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）アーキテクチャを基盤としたＣＳＮｅｔ（Ｃｈｕｎｋ ａｎｄ Ｓｔｒｉｄｅ Ｎｅｔｗｏｒｋ）を提案した。非特許文献１２では、敵対的オートエンコーダ（ＡＡＥ）基盤の映像要約モデルが提案された。選択器ＬＳＴＭは、映像の入力フレームレベル特徴からフレームを選択する。この後、ＶＡＥは、選択したフレームを用いて再構成された映像を生成する。全体ネットワークを学習させるために、判別器は、再構成された映像と原本入力映像とを区別する。モデル学習には４つの損失関数が使用される。非特許文献１３ではＳＵＭ－ＧＡＮの変形であるＣｙｃｌｅ－ＳＵＭを提案したが、要約映像で原本映像の情報を保存するために２つのＶＡＥ基盤の生成器と２つの判別器がある周期敵対的生成網を採択した。非特許文献１４で提案された、テッセレーション接近方式を使用する映像要約方法は、視覚的に類似するクリップを探索し、グラフ基盤の方法であるＶｉｔｅｒｂｉアルゴリズムを使用して時間的一貫性を維持するクリップを選択する。非特許文献１５では教師なし学習基盤のＳＵＭ－ＦＣＮを提案した。このような方法は、映像シーケンスを処理するために、空間畳み込みで変換された時間畳み込みをもつ新たなＦＣＮアーキテクチャを提示する。この方法は、デコーダの出力点数を使用してフレームを選択し、要約映像でフレームの多様性を適用するためにリペリング（ｒｅｐｅｌｌｉｎｇ）正規化器によって損失関数を計算する。
【0023】
深層強化学習は、深層ニューラルネットワークを強化学習方法と結合する（非特許文献１６）。方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）方法は、モデルがない強化学習方法のうちの１つである。方策勾配方法は、方策を深層ニューラルネットワークモデルにパラメータ化し、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）のような勾配降下方法を用いて、方策によって定義された状態分布に対する報酬を極大化してモデルを最適化する。モデルを学習させるために、この方法は、目的関数として費用を計算して最小化する。しかし、方策勾配方法には、低いサンプル効率性問題（非特許文献１７）と高い分散のようないくつかの問題を抱えている。特に、低いサンプル効率性の問題は、エージェントが人間ほど知能的でないため、環境（状態）において学習行動のための人間の経験のようなサンプルを人間よりも遥かに多く必要とするためである。他の問題は、推定された勾配の高分散である。この問題は、長い水平問題と高い次元の作用空間によって発生する（非特許文献１８）。長い水平の問題は、目標を達成するための長い一連の決定に対する極めて遅延した報酬から始まる。提案する方法では、分散を減らすために基準とともに方策勾配を使用し、サンプル効率性の問題を緩和するためにエピソード数を増やす。
【0024】
図２は、本発明の一実施形態における、時間一貫性報酬および代表性報酬関数を利用した強化学習基盤の映像要約フレームワークを示した図である。
【0025】
本発明では、映像要約ネットワークが予測した重要度点数（Ｉｍｐｏｒｔａｎｃｅ Ｓｃｏｒｅ）を用いて映像要約の問題をフレーム選択の問題として公式化する。特に、拡張された（ｄｉｌａｔｅｄ）ＧＲＵエンコーダとアテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）があるＧＲＵデコーダネットワークを用いてネットワークを開発する。このネットワークは、映像表現を学習し、重要度点数をフレーム選択確率によって効率的に予測する。重要度点数は、図２に示すようにベルヌーイ分布（Ｂｅｒｎｏｕｉｉ Ｄｉｓｔｒｉｂｕｔｉｏｎ）を用いることで、要約からキーフレームを選択するためのフレーム選択動作に変換される。
【0026】
図３は、本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置の構成を示した図である。
【0027】
提案する効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置は、フレームレベル映像特徴抽出モジュール３１０、映像要約ネットワークモジュール３２０、評価モジュール３３０、方策勾配アルゴリズム基盤の学習モジュール３４０、および映像要約生成モジュール３５０を含む。
【0028】
本発明の実施形態に係るフレームレベル映像特徴抽出モジュール３１０は、入力映像からフレームレベル視覚的特徴を抽出し、アテンション基盤の映像要約ネットワークモジュール３２０によってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す。
【0029】
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出する。
【0030】
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記エンコーダネットワークはキーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、前記アテンション層ではエンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算する。
【0031】
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記アテンション加重値はソフトマックス関数によって各キーフレームの確率点数に正規化し、前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求める。
【0032】
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める。
【0033】
本発明の実施形態に係る評価モジュール３３０は、前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
【0034】
本発明の実施形態に係る評価モジュール３３０は、前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレーム同士の類似性を計算し、前記代表性報酬関数によって映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
【0035】
本発明の実施形態に係る評価モジュール３３０は、前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する。
【0036】
本発明の実施形態に係る方策勾配アルゴリズム基盤の学習モジュール３４０は、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する。
【0037】
本発明の実施形態に係る方策勾配アルゴリズム基盤の学習モジュール３４０は、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する。
【0038】
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記選択されたキーフレームの重要度点数を使用して、キーフレームを選択する確率を制御するための正規化および再構成損失を計算する。本発明の実施形態に係る映像要約生成モジュール３５０は、前記計算された正規化および再構成損失に基づいて映像要約を生成する。
【0039】
図４は、本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法を説明するためのフローチャートである。
【0040】
提案する、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法は、フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する段階４１０、アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階４２０、評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階４３０、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階４４０、前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階４２０、および前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階４５０を含む。
【0041】
段階４１０で、フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する。
【0042】
段階４２０で、アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す。
【0043】
本発明の実施形態によると、エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出する。
【0044】
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、前記アテンション層ではエンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算する。
【0045】
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求める。
【0046】
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める。
【0047】
段階４３０で、評価モジュールによってキーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
【0048】
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数によって映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
【0049】
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する。
【0050】
段階４４０で、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する。
【0051】
本発明の実施形態によると、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する。
【0052】
再び段階４２０で、前記選択されたキーフレームの重要度点数を用いて映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算し、段階４５０で、前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する。
【0053】
図５～７を参照しながら、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法についてさらに詳しく説明する。
【0054】
図５は、本発明の一実施形態における、アテンション加重値を計算するためのアテンション基盤の映像要約ネットワークの構成を示した図である。
【0055】
先ず、ＩｍａｇｅＮｅｔデータセットによって学習された強力な深層畳み込みニューラルネットワークであるＧｏｏｇｌｅＮｅｔ（非特許文献１９）を使用して、入力映像からフレームレベル視覚的特徴
を抽出する。特徴の抽出は、フレームイメージの視覚的特性を低次元特徴ベクトルで捕捉するのに重要となる。また、抽出された特徴は、映像のフレーム同士の視覚的な差を効率的に計算するのに役立つ。
【0056】
本発明では、図５に示すように、キーフレームレベルの重要度点数を予測するためのアテンション基盤の映像要約ネットワークを提案する。アテンション基盤要約ネットワークは、エンコーダネットワーク５１０、デコーダネットワーク５２０、および２つのネットワークの間のアテンション層（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）で構成される。このネットワークは、ＳＵＭ－ＧＡＮＡＡＥ方法に対して提案されたアテンションオートエンコーダ（非特許文献４）でＬＳＴＭネットワークを拡張繰り返しニューラルネットワーク（Ｄｉｌａｔｅｄ ＲＮＮ）に替え、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）ネットワークをデコーダに替えることでアテンションオートエンコーダを改善する。拡張ＲＮＮは、より少ないパラメータと計算効率性の向上のために拡張スキップ連結とともに実現される。特に、ネットワークは、拡張された繰り返し層を積み、層全体にわたって拡張を幾何級数的に増加させることで複雑な時間依存性を抽出する。また、拡張ＲＮＮの層としてＧＲＵセルを使用する。エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャする。アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算する。アテンション加重値を計算するために、非特許文献２０で提案されたアテンションメカニズムを利用する。特に、数式（１）で説明するように、エンコーダネットワークＥｏｕｔの出力とデコーダネットワークｈｔ－１の以前の隠れ状態でアテンション加重値を計算するためにコンテンツ基盤の点数関数を使用する。ｔ＝１であるときに、デコーダネットワークｈの出力を０に設定する。Ｗａは、学習可能なパラメータであるアテンション加重値マトリックスである。
【0057】
【数1】
【0058】
次に、加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化される。アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルＣを求める。
【0059】
デコーダネットワークＤｉｎの入力のために、コンテキストベクトルと０に初期化されたデコーダネットワークの以前の出力を連結し、デコーダネットワークを学習させる。
【0060】
この後、出力Ｄｏｕｔを取得し、エンコーダネットワークによって学習された豊富な情報を再使用するためにＥｏｕｔと連結することで、長いシーケンスの映像に対する性能を高める。そして、線形関数とともに、次の段階ｔ＋１でデコーダネットワークに伝達するための特徴の大きさの次元を減らす。最後に、全結合層およびシグモイド関数を用いて出力の次元を減らし、重要度点数
で出力を生成する。すなわち、重要度点数は、映像の要約としてキーフレームを選択するためのフレーム追跡確率（０．ｔｏ １．）である。
【0061】
図６は、本発明の一実施形態における、代表性報酬関数を説明するための図である。
【0062】
本発明の実施形態に係る効率的な映像要約のために非特許文献６の多様性報酬関数を採択しながら、効率的なキーフレーム選択のための２つ新たな報酬を提案する。提案された報酬関数は、キーフレーム同士の視覚的類似性距離と時間的距離を考慮した時間的一貫性報酬関数と代表性報酬関数である。
【0063】
多様性報酬関数Ｒｄｉｖ数式（２）は、抽出された特徴とともにフレーム選択作業によって選択されたキーフレーム同士の差を計算する。この報酬関数に基づき、ネットワークは、要約のキーフレームから多様なフレームを選択するための重要度点数を予測するように学習される。このようなキーフレームで構成された要約は、映像の内容を容易に把握できるようにする。映像のストーリーラインを維持しながら演算の複雑性を減らすために、選択されたキーフレーム同士の差を計算するための時間距離を２０に制限する。この制限がなければ、フラッシュバック場面や類似する場面が選択したキーフレームと遠く離れていても、多様なフレームを選択するときにこのような場面を無視することができる。
【0064】
選択されたキーフレームの指数を
とする。多様性報酬関数は次のとおりとなる。
【0065】
【数2】
【0066】
代表性報酬関数Ｒｒｅｐ数式（３）は、抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算する。この報酬関数に基づいて、ネットワークは、映像を示す要約のキーフレームを選択するための重要度点数を予測するように学習される。キーフレームで構成された要約は、映像の主題を容易に把握できるようにする。本発明では、映像の要約を適切に生成して性能を高めるために、数式（３）で示すＤ×ｓｔのように、代表性報酬関数として重要度点数Ｓを適用する新たな技法を提示する。ネットワークを学習させるためには、代表性報酬関数を増やし、報酬関数で距離Ｄ数式（４）を最小化しなければならない。
【0067】
【数3】
【0068】
【数4】
【0069】
図６を参照すると、Ａは、選択されたキーフレームとすべてのキーフレームとの距離が長い例であり、Ｂは、選択されたキーフレームとすべてのキーフレームとの距離が短い例である。キーフレームの重要度点数Ｓが高ければ、要約としてキーフレームを選択することができる。この反面、キーフレームの重要度点数が低ければ、要約としてキーフレームが選択される確率は低くなる。ＡとＢはすべてＤ×Ｓの平均値であり、図６に示すように
は
よりも高いため、提案された報酬関数を基準にＢよりもＡに対する報酬がより低い。
【0070】
重要度点数を使用するトリックの効果を説明する３つの事例がある。
【0071】
１．キーフレームの距離Ｄが短い場合、重要度点数が変更しても報酬関数が高い報酬を返還する。
【0072】
２．キーフレームの距離Ｄが長くてキーフレームの重要度点数Ｓが高ければ、報酬関数が低い報酬を返還する。また、低い報酬でネットワークを学習させた後、選択を阻むために、ネットワークはキーフレームの重要度が低い点数を予測する。
【0073】
３．キーフレームの距離Ｄが長くてキーフレームの重要度点数Ｓが低ければ、報酬関数が中間報酬を返還する。しかし、キーフレームのほとんどは重要度点数が低いため、要約に選定されないであろう。
【0074】
図７は、本発明の一実施形態における、時間的一貫性報酬関数を説明するための図である。
【0075】
代表的なショットレベルキーフレームを効率的かつ均一に選択するために、時間的一貫性報酬関数Ｒｃｏｎ数式（６）が提案される。
【0076】
【0077】
時間的一貫性報酬について説明するために、図７のＢに含まれたキーフレームのような代表的なキーフレームが周辺フレームの周りに類似する場面をもつと定義する。この反面、図７のＡに含まれたキーフレームは、選択したキーフレームと一時的に距離が遠い類似の場面をもっている。演出者が意図したストーリーラインにより、Ａに含まれたキーフレームと類似する場面は少し後に登場することもあるし、一回だけ示されることもある。しかし、Ａに含まれたキーフレームの問題は、これらで生成された要約が映像コンテンツに対する使用者の理解を妨げるという点にある。したがって、要約からこのキーフレームを取り除く。このようなキーフレームを取り除くことによる他の長所は、一側だけで過度に選択される問題を防ぐことができるという点にある。すなわち、キーフレームを均一に選択することができるのである。本発明では、すべてのキーフレームの数
まで、すべてのキーフレーム
から選択したキーフレーム
のうちから最も近い隣りを見つけ出す過程を繰り返す。本発明では、
と
との距離を最小化することによって要約の時間的一貫性を学習することができる。距離を最小化するために、報酬関数を次のように計算する。
【0078】
【数5】
【0079】
【数6】
【0080】
このような報酬を正規化するために、距離を
で割ってログ確率を使用する。
【0081】
キーフレームを要約として選択するために、重要度点数Ｓをフレーム追跡動作
に変換するための離散確率分布であるベルヌーイ分布を使用する。フレームのフレーム選択動作が１であれば、このキーフレームを要約として選択する。ベルヌーイ分布は、フレーム選択動作の変形をランダムに生成するため、映像の多様な要約に対する探索を促進する。
【0082】
【数7】
【0083】
また、生成された要約の品質を報酬の合計で評価する。この報酬により、アテンション基盤の映像要約ネットワークを、方策勾配方法を用いてパラメータ化された方策で学習する。方策勾配は、勾配降下アルゴリズムを用いてより効率的な要約を得るために行動戦略を探索するための強化学習方法のうちの１つである。行動戦略の不足を防ぐために、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用する（非特許文献２１）。方策下で動作
のログ確率
が報酬
を過小評価する場合、該当の動作は探索戦略によってより探求されるであろう。
【0084】
【0085】
【数8】
【0086】
本発明では、勾配推定値の分散を減らして計算効率性を高めるために、方策勾配に重要な技術である基準を用いる。基準は、今まで経験した報酬の移動平均で計算される。多様な映像の移動平均を用いて多様性を改善するために、以下のように各映像ｂ１に対する基準とすべての映像ｂ２に対する基準を合算して基準を計算する。最後に、ネットワークを学習させるための費用としてＬｒｗｄを極大化する。
【0087】
【数9】
【0088】
【数10】
【0089】
本発明では、重要度点数を用いてキーフレームを選択する確率を制御するために、非特許文献６で提案された正規化タームＬｒｅｇを使用する。重要度点数のほとんどが１か０に近ければ、誤ったキーフレームを要約して選択する確率が高まる。したがって、学習中に重要度点数を０．５に近くするときにＬｒｅｇを用いる。重要度点数が０．５に早く収斂されることを防ぐために、これに０．０１を掛ける。
【0090】
【数11】
【0091】
すべての損失関数を計算した後、映像要約Ｌｓｕｍｍａｒｙに対する最終損失を計算して逆伝播を実行する。
【0092】
【数12】
【0093】
アルゴリズム１は、方策勾配方法を用いた教師なし映像要約ネットワークの学習手順に関するものである。
【0094】
【0095】
本発明の実施形態によると、アテンション基盤の映像要約ネットワークをテストするために、ショット内のフレームレベルの重要度点数を平均化してショットレベルの重要度点数を計算する。他の方法の性能と比べるためには、映像のショットレベルの重要度点数が必要となる。ショットを感知するために、ショットの境界のような変更地点を感知するＫＴＳ（Ｋｅｒｎｅｌ Ｔｅｍｐｏｒａｌ Ｓｅｇｍｅｎｔａｔｉｏｎ）方法を使用する（非特許文献２２）。要約を生成するために、映像の長さの上位１５％に該当する主要ショットを点数で整列して選択する。この段階は、非特許文献６で説明した要約映像の重要性を最大化するための‘０－１ Ｋｎａｐｓａｃｋ問題と同じ概念である。
【0096】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0097】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｔｎ）、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0098】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェアの当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
【0099】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0100】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0101】
３１０：フレームレベル映像特徴抽出モジュール
３２０：映像要約ネットワークモジュール
３３０：評価モジュール
３４０：方策勾配アルゴリズム基盤の学習モジュール
３５０：映像要約生成モジュール
３２０：映像要約ネットワークモジュール
３３０：評価モジュール
３４０：方策勾配アルゴリズム基盤の学習モジュール
３５０：映像要約生成モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-07-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する段階、
アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階、
評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、
前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および
前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階
を含む、アテンション基盤の映像要約方法。
アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階、
評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、
前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および
前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階
を含む、アテンション基盤の映像要約方法。
【請求項2】
前記アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階は、
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項１に記載のアテンション基盤の映像要約方法。
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項１に記載のアテンション基盤の映像要約方法。
【請求項3】
前記評価モジュールによってキーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階は、
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択する
ために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項１に記載のアテンション基盤の映像要約方法。
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択する
ために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項１に記載のアテンション基盤の映像要約方法。
【請求項4】
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階は、
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用して、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項１に記載のアテンション基盤の映像要約方法。
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用して、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項１に記載のアテンション基盤の映像要約方法。
【請求項5】
入力映像からフレームレベル視覚的特徴を抽出するフレームレベル映像特徴抽出モジュール、
アテンション基盤の映像要約ネットワークによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す映像要約ネットワークモジュール、
前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する評価モジュール、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する方策勾配アルゴリズム基盤の学習モジュール（前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する）、および
前記計算された正規化および再構成損失に基づいて映像要約を生成する映像要約生成モジュール
を含む、アテンション基盤の映像要約装置。
アテンション基盤の映像要約ネットワークによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す映像要約ネットワークモジュール、
前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する評価モジュール、
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する方策勾配アルゴリズム基盤の学習モジュール（前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する）、および
前記計算された正規化および再構成損失に基づいて映像要約を生成する映像要約生成モジュール
を含む、アテンション基盤の映像要約装置。
【請求項6】
前記映像要約ネットワークモジュールは、
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項５に記載のアテンション基盤の映像要約装置。
エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記エンコーダネットワークの学習結果を利用して重要度点数を求める
請求項５に記載のアテンション基盤の映像要約装置。
【請求項7】
前記評価モジュールは、
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項５に記載のアテンション基盤の映像要約装置。
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
請求項５に記載のアテンション基盤の映像要約装置。
【請求項8】
前記方策勾配アルゴリズム基盤の学習モジュールは、
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項５に記載のアテンション基盤の映像要約装置。
過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
請求項５に記載のアテンション基盤の映像要約装置。