知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
特開2023-22845ビデオ処理方法、ビデオサーチ方法及びモデルトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023022845
(43)【公開日】2023-02-15
(54)【発明の名称】ビデオ処理方法、ビデオサーチ方法及びモデルトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230208BHJP
G06V 10/82 20220101ALI20230208BHJP
G06N 20/00 20190101ALI20230208BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06N20/00
【審査請求】有
【請求項の数】27
【出願形態】ＯＬ
【公開請求】
(21)【出願番号】P 2022188641
(22)【出願日】2022-11-25
(31)【優先権主張番号】202210280734.4
(32)【優先日】2022-03-22
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100189555
【弁理士】
【氏名又は名称】徳山 英浩
(72)【発明者】
【氏名】何 棟梁
(72)【発明者】
【氏名】丁 二鋭
(72)【発明者】
【氏名】王 海峰
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096EA39
5L096HA02
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】スマート都市及びスマート交通などのシナリオに応用することができるビデオ処理方法、ビデオサーチ方法及びモデルトレーニング方法、装置を提供する。
【解決手段】ビデオ処理方法は、処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出し、複数の受容野における目標受容野でのビデオ特徴に基づいて、処理すべきビデオのローカル特徴を抽出し、複数の受容野における最大受容野でのビデオ特徴に基づいて、処理すべきビデオに対するグローバル特徴を取得し、ローカル特徴とグローバル特徴を融合し、処理すべきビデオの目標特徴を取得する。
【選択図】図２
【解決手段】ビデオ処理方法は、処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出し、複数の受容野における目標受容野でのビデオ特徴に基づいて、処理すべきビデオのローカル特徴を抽出し、複数の受容野における最大受容野でのビデオ特徴に基づいて、処理すべきビデオに対するグローバル特徴を取得し、ローカル特徴とグローバル特徴を融合し、処理すべきビデオの目標特徴を取得する。
【選択図】図２
【特許請求の範囲】
【請求項1】
処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出することと、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得することと、を含む、
ビデオ処理方法。
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得することと、を含む、
ビデオ処理方法。
【請求項2】
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出することは、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得することと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得することと、
前記複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得することと、を含む、
請求項１に記載の方法。
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得することと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得することと、
前記複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得することと、を含む、
請求項１に記載の方法。
【請求項3】
前記複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得することは、
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得することと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出することと、
前記重み特徴に基づいて前記融合済み特徴に重み付けを行い、前記ローカル特徴を取得することと、を含む、
請求項２に記載の方法。
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得することと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出することと、
前記重み特徴に基づいて前記融合済み特徴に重み付けを行い、前記ローカル特徴を取得することと、を含む、
請求項２に記載の方法。
【請求項4】
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得することは、
空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいて前記スライドウィンドウを移動し、前記複数のビデオサブ特徴を切り出して取得することを含み、
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい、
請求項２に記載の方法。
空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいて前記スライドウィンドウを移動し、前記複数のビデオサブ特徴を切り出して取得することを含み、
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい、
請求項２に記載の方法。
【請求項5】
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得することは、
クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得することを含む、
請求項１に記載の方法。
クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得することを含む、
請求項１に記載の方法。
【請求項6】
クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得することは、
前記グローバル特徴に基づいて、サーチ特徴を取得することと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得することと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得することと、を含む、
請求項５に記載の方法。
前記グローバル特徴に基づいて、サーチ特徴を取得することと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得することと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得することと、を含む、
請求項５に記載の方法。
【請求項7】
サーチテキストのテキスト特徴を抽出することと、
複数の候補ビデオにおける各ビデオの目標特徴を取得することと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうちの前記サーチテキストにマッチングするビデオを決定することと、を含み、
前記目標特徴は、請求項１に記載のビデオ処理方法を採用して取得された、
ビデオサーチ方法。
複数の候補ビデオにおける各ビデオの目標特徴を取得することと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうちの前記サーチテキストにマッチングするビデオを決定することと、を含み、
前記目標特徴は、請求項１に記載のビデオ処理方法を採用して取得された、
ビデオサーチ方法。
【請求項8】
ビデオ特徴抽出ネットワークとローカル特徴抽出ネットワークと特徴融合ネットワークとを含むビデオ処理モデルのトレーニング方法であって、
サンプルデータに含まれるサンプルビデオを前記ビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得することと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得することと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得することと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む、
ビデオ処理モデルのトレーニング方法。
サンプルデータに含まれるサンプルビデオを前記ビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得することと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得することと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得することと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む、
ビデオ処理モデルのトレーニング方法。
【請求項9】
前記テキスト特徴は、前記サンプルテキストの語句レベル特徴を含み、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることを含む、
請求項８に記載の方法。
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることを含む、
請求項８に記載の方法。
【請求項10】
前記テキスト特徴は、前記サンプルテキストの単語レベル特徴をさらに含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることを、更に含む、
請求項９に記載の方法。
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることを、更に含む、
請求項９に記載の方法。
【請求項11】
前記単語レベル特徴は、前記サンプルテキストに含まれる複数の実体単語にそれぞれ対応する複数の単語特徴を含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得することと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む、
請求項１０に記載の方法。
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得することと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む、
請求項１０に記載の方法。
【請求項12】
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
各単語特徴に対して、前記各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、前記複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得することと、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定することと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングすることと、を更に含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない、
請求項１１に記載の方法。
各単語特徴に対して、前記各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、前記複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得することと、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定することと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングすることと、を更に含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない、
請求項１１に記載の方法。
【請求項13】
処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出するためのビデオ特徴抽出モジュールと、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得するための特徴融合モジュールと、を含む
ビデオ処理装置。
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得するための特徴融合モジュールと、を含む
ビデオ処理装置。
【請求項14】
前記ローカル特徴抽出モジュールは、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得するための特徴切り出しサブモジュールと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得するための特徴処理サブモジュールと、
複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得するためのローカル特徴取得サブモジュールと、を含む、
請求項１３に記載の装置。
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得するための特徴切り出しサブモジュールと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得するための特徴処理サブモジュールと、
複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得するためのローカル特徴取得サブモジュールと、を含む、
請求項１３に記載の装置。
【請求項15】
前記ローカル特徴取得サブモジュールは、
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得するための融合ユニットと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出するための重み抽出ユニットと、
前記重み特徴に基づいて前記融合済み特徴を重み付けして、前記ローカル特徴を取得するための重み付けユニットと、を含む、
請求項１４に記載の装置。
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得するための融合ユニットと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出するための重み抽出ユニットと、
前記重み特徴に基づいて前記融合済み特徴を重み付けして、前記ローカル特徴を取得するための重み付けユニットと、を含む、
請求項１４に記載の装置。
【請求項16】
前記特徴切り出しサブモジュールは、空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいて前記スライドウィンドウを移動し、複数のビデオサブ特徴を切り出して取得し、
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい、
請求項１４に記載の装置。
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい、
請求項１４に記載の装置。
【請求項17】
前記特徴融合モジュールは、クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得する、
請求項１３に記載の装置。
請求項１３に記載の装置。
【請求項18】
前記特徴融合モジュールは、
前記グローバル特徴に基づいて、サーチ特徴を取得するための第１の取得サブモジュールと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得するための第２の取得サブモジュールと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得するためのアテンションサブモジュールと、を含む、
請求項１７に記載の装置。
前記グローバル特徴に基づいて、サーチ特徴を取得するための第１の取得サブモジュールと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得するための第２の取得サブモジュールと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得するためのアテンションサブモジュールと、を含む、
請求項１７に記載の装置。
【請求項19】
サーチテキストのテキスト特徴を抽出するためのテキスト特徴抽出モジュールと、
複数の候補ビデオにおける各ビデオの目標特徴を取得するための目標特徴取得モジュールと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうち前記サーチテキストにマッチングするビデオを決定するためのビデオ決定モジュールと、を含み、
前記目標特徴は、請求項１３～１８のいずれか一項に記載のビデオ処理装置を採用して取得された、
ビデオサーチ装置。
複数の候補ビデオにおける各ビデオの目標特徴を取得するための目標特徴取得モジュールと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうち前記サーチテキストにマッチングするビデオを決定するためのビデオ決定モジュールと、を含み、
前記目標特徴は、請求項１３～１８のいずれか一項に記載のビデオ処理装置を採用して取得された、
ビデオサーチ装置。
【請求項20】
ビデオ特徴抽出ネットワーク、ローカル特徴抽出ネットワーク及び特徴融合ネットワークを含むビデオ処理モデルのトレーニング装置であって、
サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得するためのビデオ特徴抽出モジュールと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得するための特徴融合モジュールと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得するためのテキスト特徴取得モジュールと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第１のトレーニングモジュールと、を含む、
ビデオ処理モデルのトレーニング装置。
サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得するためのビデオ特徴抽出モジュールと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得するための特徴融合モジュールと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得するためのテキスト特徴取得モジュールと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第１のトレーニングモジュールと、を含む、
ビデオ処理モデルのトレーニング装置。
【請求項21】
前記テキスト特徴は、前記サンプルテキストの語句レベル特徴を含み、
前記第１のトレーニングモジュールは、前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングする、
請求項２０に記載の装置。
前記第１のトレーニングモジュールは、前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングする、
請求項２０に記載の装置。
【請求項22】
前記テキスト特徴は、前記サンプルテキストの単語レベル特徴をさらに含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第２のトレーニングモジュールを、更に含む、
請求項２１に記載の装置。
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第２のトレーニングモジュールを、更に含む、
請求項２１に記載の装置。
【請求項23】
前記単語レベル特徴は、前記サンプルテキストに含まれる複数の実体単語にそれぞれ対応する複数の単語特徴を含み、
前記第２のトレーニングモジュールは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得するための第１の決定サブモジュールと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングサブモジュールと、を含む、
請求項２２に記載の装置。
前記第２のトレーニングモジュールは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得するための第１の決定サブモジュールと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングサブモジュールと、を含む、
請求項２２に記載の装置。
【請求項24】
前記第２のトレーニングモジュールは、各単語特徴に対して、前記各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、前記複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得するための第２の決定サブモジュールをさらに含み、
前記トレーニングサブモジュールは、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定するための損失決定ユニットと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングユニットと、含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない、
請求項２３に記載の装置。
前記トレーニングサブモジュールは、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定するための損失決定ユニットと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングユニットと、含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない、
請求項２３に記載の装置。
【請求項25】
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサと通信接続するメモリとを含み、
メモリに、少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、コマンドが少なくとも１つのプロセッサによって実行されることで、少なくとも１つのプロセッサが請求項１～１２のいずれか一項に記載の方法を実行することができる、
電子機器。
少なくとも１つのプロセッサと通信接続するメモリとを含み、
メモリに、少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、コマンドが少なくとも１つのプロセッサによって実行されることで、少なくとも１つのプロセッサが請求項１～１２のいずれか一項に記載の方法を実行することができる、
電子機器。
【請求項26】
コンピュータに請求項１～１２のいずれか一項に記載の方法を実行させるためのコンピュータコマンドを記憶している、
非一時的なコンピュータ可読記憶媒体。
非一時的なコンピュータ可読記憶媒体。
【請求項27】
プロセッサにより実行される時に請求項１～１２のいずれか一項に記載の方法を実現する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能分野に関し、具体的にはコンピュータ視覚、ビデオ理解及びディープラーニングの技術分野に関し、スマート都市及びスマート交通などのシナリオに応用することができる。
【背景技術】
【0002】
コンピュータ技術及びネットワーク技術の発展に伴い、ディープラーニング技術は多くの分野で広く応用される。例えば、ディープラーニング技術を採用して、ビデオ特徴を抽出し、ビデオ検索又はビデオ分類などを行う。
【0003】
関連技術は、登録番号がＣＮ１０９９７７７９３Ｂである中国発明特許を参照することができる。
【発明の概要】
【0004】
本開示は、ビデオ処理方法、ビデオサーチ方法及びビデオ処理モデルのトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供することにより、特徴表現能力を向上させることを目的とする。
【0005】
本開示の一局面によれば、処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出することと、複数の受容野における目標受容野でのビデオ特徴に基づいて、処理すべきビデオのローカル特徴を抽出することと、複数の受容野における最大受容野でのビデオ特徴に基づいて、処理すべきビデオのグローバル特徴を取得することと、ローカル特徴とグローバル特徴を融合し、処理すべきビデオの目標特徴を取得することと、を含むビデオ処理方法を提供した。
【0006】
本開示の別の局面によれば、サーチテキストのテキスト特徴を抽出することと、複数の候補ビデオにおける各ビデオの目標特徴を取得することと、テキスト特徴と目標特徴に基づいて、複数の候補ビデオのうちサーチテキストにマッチングするビデオを決定することと、を含み、目標特徴は、本開示が提供したビデオ処理方法を採用して取得された、ビデオサーチ方法を提供した。
【0007】
本開示の別の局面によれば、ビデオ特徴抽出ネットワーク、ローカル特徴抽出ネットワーク及び特徴融合ネットワークとを含むビデオ処理モデルのトレーニング方法であって、サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得することと、複数の受容野における目標受容野でのビデオ特徴をローカル特徴抽出ネットワークに入力し、サンプルビデオのローカル特徴を取得することと、複数の受容野における最大受容野でのビデオ特徴に基づいて、サンプルビデオのグローバル特徴を取得することと、ローカル特徴とグローバル特徴を特徴融合ネットワークに入力し、サンプルビデオの目標特徴を取得することと、サンプルデータにおけるサンプルテキストのテキスト特徴を取得することと、目標特徴とテキスト特徴に基づいて、ビデオ処理モデルをトレーニングすることと、を含むビデオ処理モデルのトレーニング方法を提供した。
【0008】
本開示の別の局面によれば、処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出するためのビデオ特徴抽出モジュールと、複数の受容野における目標受容野でのビデオ特徴に基づいて、処理すべきビデオのローカル特徴を抽出するためのローカル特徴抽出モジュールと、複数の受容野における最大受容野でのビデオ特徴に基づいて、処理すべきビデオに対するグローバル特徴を取得するためのグローバル特徴決定モジュールと、ローカル特徴とグローバル特徴を融合し、処理すべきビデオの目標特徴を取得するための特徴融合モジュールと、を含むビデオ処理装置を提供した。
【0009】
本開示の別の局面によれば、サーチテキストのテキスト特徴を抽出するためのテキスト特徴抽出モジュールと、複数の候補ビデオにおける各ビデオの目標特徴を取得するための目標特徴取得モジュールと、テキスト特徴と目標特徴に基づいて、複数の候補ビデオのうちサーチテキストにマッチングするビデオを決定するためのビデオ決定モジュールと、を含み、目標特徴は、本開示が提供したビデオ処理装置を採用して取得された、ビデオサーチ装置を提供した。
【0010】
本開示の別の局面によれば、ビデオ特徴抽出ネットワーク、ローカル特徴抽出ネットワーク及び特徴融合ネットワークを含むビデオ処理モデルのトレーニング装置であって、サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得するためのビデオ特徴抽出モジュールと、複数の受容野における目標受容野でのビデオ特徴をローカル特徴抽出ネットワークに入力し、サンプルビデオのローカル特徴を取得するためのローカル特徴抽出モジュールと、複数の受容野における最大受容野でのビデオ特徴に基づいて、サンプルビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、ローカル特徴とグローバル特徴を特徴融合ネットワークに入力し、サンプルビデオの目標特徴を取得するための特徴融合モジュールと、サンプルデータにおけるサンプルテキストのテキスト特徴を取得するためのテキスト特徴取得モジュールと、目標特徴とテキスト特徴に基づいて、ビデオ処理モデルをトレーニングするための第１のトレーニングモジュールと、を含む、ビデオ処理モデルのトレーニング装置を提供した。
【0011】
本開示の別の局面によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続するメモリとを含み、メモリに、少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、コマンドが少なくとも１つのプロセッサによって実行されることで、少なくとも１つのプロセッサが本開示の提供したビデオ処理方法、ビデオをサーチする方法、ビデオ処理モデルのトレーニング方法の少なくとも１つを実行することができる、電子機器を提供した。
【0012】
本開示の別の局面によれば、コンピュータに本開示の提供したビデオ処理方法、ビデオをサーチする方法、ビデオ処理モデルのトレーニング方法の少なくとも１つを実行させるためのコンピュータコマンドを記憶している、非一時的なコンピュータ可読記憶媒体を提供した。
【0013】
本開示の別の局面によれば、プロセッサにより実行される時に本開示の提供したビデオ処理方法、ビデオをサーチする方法、ビデオ処理モデルのトレーニング方法の少なくとも１つを実現するコンピュータプログラムを提供した。
【0014】
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
【図面の簡単な説明】
【0015】
図面は、本開示の技術案をよりよく理解するために用いられ、本開示を限定するものではない。
【0016】
【発明を実施するための形態】
【0017】
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細が含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば分かるように、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することがない。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
【0018】
本開示は、ビデオ処理方法を提供し、該方法は、ビデオ特徴抽出工程と、ローカル特徴抽出工程と、グローバル特徴決定工程と、特徴融合工程とを含む。ビデオ特徴抽出工程において、処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出する。ローカル特徴抽出工程において、複数の受容野における目標受容野でのビデオ特徴に基づいて、処理すべきビデオのローカル特徴を抽出する。グローバル特徴決定工程において、複数の受容野における最大受容野でのビデオ特徴に基づいて、処理すべきビデオのグローバル特徴を取得する。特徴融合工程において、ローカル特徴とグローバル特徴を融合し、処理すべきビデオの目標特徴を取得する。
【0019】
以下に図１を参照して本開示に提供される方法及び装置の応用シナリオを説明する。
【0020】
図１は、本開示の実施例に係るビデオ処理方法、ビデオサーチ方法及びビデオ処理モデルのトレーニング方法、装置の応用シナリオ概略図である。
【0021】
図１に示すように、該実施例の応用シナリオ１００は、電子機器１１０を含み、該電子機器１１０は、処理機能を有する様々な電子機器であり、スマートフォン、タブレットコンピュータ、ラップトップ型携帯コンピュータ、デスクトップコンピュータ及びサーバ等を含んでよいが、それらに限定されない。
【0022】
該電子機器１１０は、例えば入力されたビデオ１２０を処理することにより、該ビデオを表現する特徴１３０を抽出する。該抽出された特徴１３０は、スマート交通、スマート推薦、スマートスクリーニングなどの複数のシナリオにおけるビデオ分類、ビデオサーチ、ビデオ重複排除などの応用に対する根拠とすることができ、本開示は該シナリオを限定しない。
【0023】
一実施例において、該電子機器１１０は、ビデオ処理モデル１４０を採用して入力されるビデオ１２０を処理する。ここで、ビデオ処理モデル１４０は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）モデル又はアテンションに基づくＴｒａｎｓｆｏｒｍｅｒモデル等であってもよく、本開示はこれを限定しない。
【0024】
一実施例において、該ビデオ処理モデル１４０は、例えばサーバ１５０によりトレーニングされて取得される。電子機器１１０は、ネットワークを介してサーバ１５０と通信接続され、サーバ１５０にモデル取得要求を送信することができる。それに応じて、サーバ１５０は、該要求に応答してトレーニングされたビデオ処理モデル１４０を電子機器１１０に送信する。
【0025】
一実施例において、さらに、電子機器１１０は、入力されたビデオ１２０をサーバ１５０に送信し、サーバ１５０により該ビデオ１２０を処理することにより、ビデオ１２０を表現する特徴を取得する。
【0026】
理解できるように、ビデオサーチ応用において、サーチ情報の特徴とビデオの特徴との間の類似度に基づいて、ビデオがサーチ情報にマッチングするか否かを決定することができる。ビデオ重複排除応用において、二つのビデオの二つの特徴の間の類似度に基づいて、該二つのビデオが互いに重複するか否かを決定する。
【0027】
説明すべきものとして、本開示に提供されるビデオ処理方法及びビデオサーチ方法は、電子機器１１０により実行されてもよく、サーバ１５０により実行されてもよい。それに応じて、本開示に提供されるビデオ処理装置及びビデオサーチ装置は、電子機器１１０に設置されてもよく、サーバ１５０に設置されてもよい。本開示に提供されるビデオ処理モデルのトレーニング方法は、サーバ１５０により実行されてもよい。それに応じて、本開示に提供されるビデオ処理モデルのトレーニング装置は、サーバ１５０に設置されてもよい。
【0028】
理解すべきことは、図１における電子機器１１０及びサーバ１５０の数及びタイプは模式的なものである。実際の必要に応じて、任意の数及びタイプの電子機器１１０及びサーバ１５０を有することができる。
【0029】
【0030】
図２は、本開示の実施例に係るビデオ処理方法のフローチャート概略図である。
【0031】
図２に示すように、該実施例のビデオ処理方法２００は、操作Ｓ２１０～操作Ｓ２３０を含む。
【0032】
操作Ｓ２１０において、処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出する。
【0033】
本開示の実施例によれば、処理すべきビデオは、例えば複数のビデオフレームを含み、各ビデオフレームのサイズがＨ×Ｗ×３であり、複数のビデオフレームの数がＴであるように設定すれば、該実施例は、処理すべきビデオを、サイズがＴ×Ｈ×Ｗ×３であるデータとして示す。ここで、Ｈは、ビデオフレームの高さであり、Ｗは、ビデオフレームの幅である。
【0034】
一実施例において、複数の三次元畳み込みを採用して処理すべきビデオを表すデータを段階的にダウンサンプリングし、それにより複数の受容野での複数のビデオ特徴を取得する。
【0035】
一実施例において、Ｖｉｄｅｏ Ｓｗｉｎ－Ｔｒａｎｓｆｏｒｍｅｒモデルを採用して複数のビデオ特徴を抽出する。具体的には、サイズがＴ×Ｈ×Ｗ×３であるデータを分割した後に、サイズがＴ／２×Ｈ／４×Ｗ／４×９６であるデータを取得することができる。サイズがＴ／２×Ｈ／４×Ｗ／４×９６であるデータは、順次にＶｉｄｅｏ Ｓｗｉｎ－Ｔｒａｎｓｆｏｒｍｅｒモデルにおける順次に接続された複数階層ネットワーク（複数のステージ）を介して処理され、該順次に接続された複数のステージによりそれぞれ複数の受容野での複数のビデオ特徴を出力し、各ステージは、一つの受容野でのビデオ特徴を出力し、かつ複数のステージの接続順序に沿って、出力されたビデオ特徴の受容野が順次に増大する。
【0036】
操作Ｓ２２０において、複数の受容野における目標受容野でのビデオ特徴に基づいて、処理すべきビデオのローカル特徴を抽出する。
【0037】
本開示の実施例によれば、目標受容野は、例えば複数の受容野における、最大受容野と最小受容野との間のいずれかの受容野であってよい。このように、処理効率を向上させるとともに、目標受容野でのビデオ特徴は、処理すべきビデオのローカル情報をより多く保存することができる。例えば、複数の受容野の数が四つであり、かつ該複数の受容野でのビデオ特徴が順次に接続された四つのステージにより順次に出力される場合、目標受容野でのビデオ特徴は、順次に接続された四つのステージにおける２番目のステージ又は３番目のステージにより出力されてもよく、本開示はこれを限定しない。
【0038】
本開示の実施例によれば、目標受容野でのビデオ特徴を複数の特徴ブロックに分割し、次に複数の特徴ブロックにおける各特徴ブロックに対して畳み込み演算を行い、一つの処理済み特徴ブロックを取得する。該実施例は、複数の特徴ブロックを畳み込み演算して取得された複数の処理済み特徴ブロックをスティッチングして、処理すべきビデオのローカル特徴を取得することができる。
【0039】
操作Ｓ２３０において、複数の受容野における最大受容野でのビデオ特徴に基づいて、処理すべきビデオに対するグローバル特徴を取得する。
【0040】
操作Ｓ２４０において、ローカル特徴とグローバル特徴を融合し、処理すべきビデオの目標特徴を取得する。
【0041】
本開示の実施例によれば、順次に接続された複数のステージにより複数のビデオ特徴を出力する場合に、最大受容野でのビデオ特徴は、複数のステージにおける最後のステージにより出力されたビデオ特徴である。該実施例は、該最後のステージが出力するビデオ特徴を処理すべきビデオに対するグローバル特徴とする。
【0042】
本開示の実施例によれば、グローバル特徴とローカル特徴をスティッチングし、スティッチング済み特徴を目標特徴とする。又は、該実施例は、完全接続層を介してスティッチング済み特徴を処理し、完全接続層を介して処理して取得された特徴を目標特徴とする。
【0043】
本開示の実施例のビデオ処理方法は、複数の受容野における目標受容野でのビデオ特徴に基づいてローカル特徴を抽出し、ローカル特徴と受容野が最大であるグローバル特徴を融合することにより、ビデオを表現する目標特徴を取得し、これにより、該目標特徴は、ビデオのグローバル情報だけでなく、ローカル情報も表現することができる。ＣＮＮに基づいて特徴を抽出する方法及びＴｒａｎｓｆｏｒｍｅｒに基づいてエンドツーエンド方式で特徴を抽出する方法と比較して、抽出されたビデオ特徴の表現能力を向上させることができ、下流アプリケーション（例えば前述のビデオ分類、ビデオサーチ及びビデオ重複排除など）の精度を向上させることに役立つ。
【0044】
図３は、本開示の実施例に係るビデオ処理方法の原理概略図である。
【0045】
図３に示すように、該実施例３００において、Ｖｉｄｅｏ Ｓｗｉｎ－Ｔｒａｎｓｆｏｒｍｅｒモデルを採用してビデオ処理方法を実現する。
【0046】
該実施例３００において、Ｖｉｄｅｏ Ｓｗｉｎ－Ｔｒａｎｓｆｏｒｍｅｒモデルは、４つのステージを含み、抽出されたビデオ特徴の受容野を段階的に拡大するために用いられる。具体的には、前述の処理すべきビデオを表すデータを分割して取得されたサイズがＴ／２×Ｈ／４×Ｗ／４×９６であるデータに対して、まず第１のステージ３１１に入力し、該第１のステージ３１１を介して第１の受容野での第１のビデオ特徴を出力する。該第１のビデオ特徴は、第２のステージ３１２の入力として、該第２のステージ３１２を介して処理した後に第２の受容野での第２のビデオ特徴を出力する。このように、第３のステージ３１３により第３の受容野での第３のビデオ特徴を出力し、第４のステージ３１４により第４の受容野での第４のビデオ特徴を出力する。第１のビデオ特徴～第４のビデオ特徴の受容野は順次に増大し、例えば、該第１のビデオ特徴～第４のビデオ特徴のサイズはそれぞれＴ／２×Ｈ／４×Ｗ／４×Ｃ、Ｔ／２×Ｈ／８×Ｗ／８×２Ｃ、Ｔ／２×Ｈ／１６×Ｗ／１６×４Ｃ、Ｔ／２×Ｈ／３２×Ｗ／３２×８Ｃである。ここで、Ｃは第１のステージ３１１のチャネル数である。理解できるように、該Ｖｉｄｅｏ Ｓｗｉｎ－Ｔｒａｎｓｆｏｒｍｅｒモデルが４つのステージを含むという構造は本開示を理解するための例示であり、本開示はこれを限定しない。
【0047】
ここで、第１のステージ３１１は、線形埋め込み（Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ）層及びスウィントランスフォーマーブロック（Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ）を含む。ここで、サイズがＴ／２×Ｈ／４×Ｗ／４×９６であるデータは、線形埋め込み層の処理により、入力データの特徴次元をＣに変更し、すなわち、線形埋め込み層により出力されるデータサイズはＴ／２×Ｈ／４×Ｗ／４×Ｃである。ビデオトランスフォーマーブロックは、二つの部分に分けられ、一部はＶｉｄｅｏ Ｗ－ＭＳＡであり、他部はＶｉｄｅｏ ＳＷ－ＭＳＡである。ここで、ＭＳＡはマルチヘッドセルフアテンション（Ｍｕｌｔｉ－ｈｅａｄ Ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ）であり、Ｖｉｄｅｏ Ｗ－ＭＳＡ部分は、まず入力データに対して層正規化処理を行う。その後に層正規化処理後のデータに対して、左上隅の画素から、従来のウィンドウ分割ポリシーに基づいて、Ｔ／２×Ｈ／４×Ｗ／４×Ｃデータを、サイズがＴ／２×Ｈ／８×Ｗ／８×Ｃである２×２個の特徴に均一に分割し、かつ各特徴に対してマルチヘッドセルフアテンション演算を行い、マルチヘッドセルフアテンション演算を行った２×２個の特徴を合併し、合併された特徴に対して層正規化処理及び完全接続処理を行って、Ｖｉｄｅｏ ＳＷ－ＭＳＡ部分に入力する特徴を取得する。Ｖｉｄｅｏ ＳＷ－ＭＳＡ部分の処理ロジックはＶｉｄｅｏ Ｗ－ＭＳＡ部分と類似し、相違点は以下のとおりである：Ｖｉｄｅｏ ＳＷ－ＭＳＡ部分が異なるウィンドウ分割ポリシーを採用し、該Ｖｉｄｅｏ ＳＷ－ＭＳＡ部分がスライドウィンドウの操作を採用して入力されたデータを分割し、それによりシフトされたウィンドウ内の特徴が隣接ウィンドウ内の特徴を含み、Ｖｉｄｅｏ Ｗ－ＭＳＡ部分における隣接する重ならないウィンドウ内のデータの間に接続を導入し、データの受容野を増大させることができる。第２のステージ３１２～第４のステージ３１４は、いずれもパッチ融合（Ｐａｔｃｈ Ｍｅｒｇｉｎｇ）層及びスウィントランスフォーマーブロックを含む。ここで、ブロック融合層は、入力されたデータを合併し、さらに合併されたデータに対して線形層を利用して次元を低減するために用いられる。該次元低減により、データの空間サイズを変更し、チャネル数も変更する。
【0048】
図３に示すように、該実施例は、第４のビデオ特徴をグローバル特徴とし、第２のステージ３１２から出力された第２のビデオ特徴を目標受容野でのビデオ特徴とする。第２のビデオ特徴に基づいてローカル特徴を抽出する場合、該実施例は、目標受容野でのビデオ特徴をローカル特徴抽出分岐（Ｌｏｃａｌ Ｂｒａｎｃｈ）３２０に入力する。該ローカル特徴抽出分岐３２０は、まず所定のサイズのスライドウィンドウに基づいて目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得する。次にアテンションアルゴリズムを採用して複数のビデオサブ特徴における各サブ特徴を処理し、複数の処理済みサブ特徴を取得する。最後に該複数の処理済みサブ特徴に基づいて、処理すべきビデオのローカル特徴を取得する。
【0049】
本開示の実施例によれば、該ローカル特徴抽出分岐３２０は、スライドウィンドウ層及びアテンション層を含む。ここで、スライドウィンドウ層は、所定のサイズのスライドウィンドウに基づいて、サイズがＴ／２×Ｈ／８×Ｗ／８×２Ｃであるビデオ特徴を分割する。分割して取得された複数のビデオサブ特徴は、互いに重なっていなくてよい。又は、分割して取得された複数のビデオサブ特徴のうち隣接するサブ特徴は、部分的に重畳してもよく、それにより抽出されたローカル特徴は、隣接する画素特徴の間の関連性を十分に考慮し、ローカル特徴の表現能力を向上させることができる。アテンション層は、分割して取得された各ビデオサブ特徴に対してセルフアテンション演算を行い、これにより、各ビデオサブ特徴における複数の画素特徴の間の関連性を学習する。
【0050】
例えば、スライドウィンドウ層に採用されたスライドウィンドウのサイズは、空間次元のサイズＷ_ｓ及び時間次元のサイズＷ_ｔであってよく、ここで、空間次元とは、幅方向及び高さ方向を指し、時間次元は、Ｔが位置する方向を指す。このように、サイズがＴ／２×Ｈ／８×Ｗ／８×２Ｃであるビデオ特徴に対して、切り取って得られた各ビデオサブ特徴のサイズは、Ｗ_ｔ×Ｗ_ｓ×Ｗ_ｓ×２Ｃである。理解できるように、スライドウィンドウの空間次元における幅方向及び高さ方向の寸法は等しくなくてもよく、本開示はこれを限定しない。ビデオサブ特徴を切り取る場合、該実施例は、空間次元の第１の所定ステップサイズ及び時間次元の第２の所定ステップサイズに基づいてスライドウィンドウを移動する。ここで、第１の所定ステップサイズは、スライドウィンドウの空間次元における長さより小さく、第２の所定ステップサイズは、スライドウィンドウの時間次元における長さより小さい。該第１の所定ステップサイズ及び第２の所定ステップサイズの設定により、切り取られた複数のビデオサブ特徴のうち隣接するサブ特徴には重なる画素点が存在し、これにより、抽出されたローカル特徴は、隣接する画素特徴の間の関連性を十分に考慮し、ローカル特徴の表現能力を向上させることができる。
【0051】
例えば、第１の所定ステップサイズは、Ｗ_ｓ／２であってもよく、第２の所定ステップサイズは、Ｗ_ｔ／２であってもよい。このように、スライドウィンドウの空間次元における重なる比率は、１／２であり、スライドウィンドウの時間次元における重なる比率も１／２である。切り取られたビデオサブ特徴の個数は、Ｎ_ｈ＊Ｎ_ｗ＊Ｎ_ｔで表す。ここで、Ｎ_ｈ＝Ｈ／８／Ｗ_ｓ＊２、Ｎ_ｗ＝Ｗ／８／Ｗ_ｓ＊２、Ｎ_ｔ＝Ｗ／２／Ｗ_ｔ＊２。
【0052】
複数の処理済みサブ特徴を取得した後、該実施例は、該複数の処理済みサブ特徴をスプライシングした後にローカル特徴３０１とする。又は、以下に説明する方法を採用してローカル特徴３０１を取得してもよく、ここで詳述しない。
【0053】
ローカル特徴３０１を取得した後、該実施例は、クロスアテンション（ｃｒｏｓｓ ａｔｔｅｎｔｉｏｎ）アルゴリズムを採用してローカル特徴３０１とグローバル特徴３０２を処理し、それにより目標特徴３０３を取得する。ここで、グローバル特徴３０２は、例えば複数のビデオ特徴のうち受容野が最大である特徴がプーリング処理Ｐｏｏｌｉｎｇを介して取得される。理解できるように、該グローバル特徴は、直接的にＶｉｄｅｏ Ｓｗｉｎ－Ｔｒａｎｓｆｏｒｍｅｒが出力する受容野が最大である特徴であってよい。例えば、ローカル特徴３０１とグローバル特徴３０２をクロスアテンションネットワーク３３０に入力し、該クロスアテンションネットワークを介してクロスアテンション演算を行ってもよい。クロスアテンション演算の実現原理は以下の説明を参照することができ、ここでは詳述しない。ここで、受容野が最大である特徴に対するプーリング処理は、例えばグローバル平均プーリング処理であってもよい。
【0054】
図４は、本開示の実施例に係る処理すべきビデオのローカル特徴を抽出する原理概略図である。
【0055】
本開示の実施例によれば、ローカル特徴抽出ネットワークを採用して処理すべきビデオのローカル特徴を抽出する。図４に示すように、該実施例４００において、ローカル特徴抽出ネットワークに入力する特徴は、前述のサイズがＴ／２×Ｈ／８×Ｗ／８×２Ｃであるビデオ特徴ｆ_２であってもよい。該ビデオ特徴ｆ_２は、重畳ウィンドウ分割層４１０により処理された後、複数のビデオサブ特徴を取得する。該複数のビデオサブ特徴は、ビデオセットｆ_ｗを構成する、該ビデオセットｆ_ｗは、Ｎ_ｔ＊Ｎ_ｈ＊Ｎ_ｗ個のビデオサブ特徴を含み、各ビデオサブ特徴のサイズは、Ｗ_ｓ＊Ｗ_ｓ＊Ｗ_ｔであり、かつ各ビデオサブ特徴の深さは、２Ｃである。
【0056】
図４に示すように、該実施例４００は、セルフアテンションネットワーク４２０を用いて各ビデオサブ特徴を処理することができる。ここで、該セルフアテンションネットワーク４２０は、例えば４つの順次に接続されたセルフアテンションブロックで構成され、各セルフアテンションブロックは、一つのマルチヘッドアテンションメカニズム層（Ｗｉｎ－ＭＳＡ）４２１と一つのフィードフォワードネットワーク４２２（Ｆｅｅｄ－Ｆｏｒｗａｒｄ Ｎｅｔｗｏｒｋ、ＦＦＮ）で構成される。各ビデオサブ特徴は、該セルフアテンションネットワーク４２０により処理された後、一つの処理済みサブ特徴を取得する。このようにして、合計でＮ_ｔ＊Ｎ_ｈ＊Ｎ_ｗ個の処理済みサブ特徴を取得する。
【0057】
Ｎ_ｔ＊Ｎ_ｈ＊Ｎ_ｗ個の処理済みサブ特徴を取得した後、ウィンドウ融合層４３０を採用してこれらの処理済みサブ特徴を融合し、融合済み特徴を取得する。その後、該実施例は、三次元畳み込みを採用して該融合済み特徴の重み特徴を抽出し、最後に該重み特徴に基づいて融合済み特徴に重み付けを行い、ローカル特徴を取得する。このように、ローカル特徴抽出ネットワークを採用することにより、融合済み特徴における各画素点特徴の重要性程度のスコアを適応的に学習することができ、それにより融合済み特徴における重要性が高い特徴が突出され、重要性が低い特徴が抑制され、抽出されたローカル特徴の精度を向上させる。ここで、ウィンドウ融合層４３０がこれらの処理済みサブ特徴を融合した後に取得された特徴サイズは、例えばＴ／２×Ｈ／８×Ｗ／８×２Ｃであってもよい。
【0058】
一実施例において、図４に示すように、ウィンドウ融合層４３０を介して複数の処理済みサブ特徴を融合した後、変換＆マッピング層４４０を介して融合された特徴に対して次元変換及びマッピングを行ってもよい。この実施例は、変換＆マッピング層４４０を介して処理した特徴ｆ_ｒを融合済み特徴とする。
【0059】
例えば、変換＆マッピング層４４０は、まずウィンドウ融合層４３０が出力した特徴に空間から深さ（Ｓｐａｃｅ ｔｏ Ｄｅｐｔｈ）への変換を行い、サイズがＴ／２×Ｈ／１６×Ｗ／１６×８Ｃである特徴を取得する。その後、該変換＆マッピング層４４０は、畳み込みカーネルが１である３次元畳み込み（３Ｄ－Ｃｏｎｖ）を利用してサイズがＴ／２×Ｈ／１６×Ｗ／１６×８Ｃである特徴にマッピングを行い、それにより融合済み特徴ｆ_ｒを取得してもよく、該融合済み特徴のサイズは、Ｔ／２×Ｈ／１６×Ｗ／１６×８Ｃである。
【0060】
一実施例において、重み特徴を抽出する時に図４に示すような畳み込みネットワーク４５０を採用して重み特徴を抽出する。ここで、該畳み込みネットワーク４５０は、例えば順次に接続された３Ｄ－Ｃｏｎｖ層４５１、活性化層ＲｅＬＵ ４５２及び３Ｄ－Ｃｏｎｖ層４５３を含む。該実施例は、融合済み特徴ｆ_ｒを該畳み込みネットワーク４５０に入力し、該畳み込みネットワーク４５０を介して処理した後、重み特徴Ｓ_ａを出力してもよく、該重み特徴Ｓ_ａのサイズは、Ｔ／２×Ｈ／１６×Ｗ／１６である。該重み特徴Ｓ_ａと融合済み特徴ｆ_ｒにおける各深さの特徴点を乗算して、処理すべきビデオのローカル特徴ｆ_ｌｏｃａｌを取得してもよく、該ローカル特徴ｆ_ｌｏｃａｌのサイズは、例えばＴ／２×Ｈ／１６×Ｗ／１６×８Ｃであってもよい。
【0061】
理解できるように、図４に記載のローカル特徴抽出ネットワークの構造は、本開示を理解するための例示であり、実際の需要に応じて、任意の構造のローカル特徴抽出ネットワークを採用してもよく、本開示はこれを限定しない。
【0062】
図５は、本開示の実施例に係るグローバル特徴とローカル特徴を融合する原理概略図である。
【0063】
本開示の実施例によれば、クロスアテンションアルゴリズムを採用してローカル特徴ｆ_ｌｏｃａｌとグローバル特徴ｆ_ｇｌｏｂａｌとを融合する。該方式により、ローカル特徴とグローバル特徴との間に互いに関連するモデリングを行うことができ、取得された目標特徴の表現能力を向上させることに役立つ。
【0064】
例えば、該実施例は、グローバル特徴とローカル特徴を融合する時に、まずグローバル特徴ｆ_ｇｌｏｂａｌに基づいてサーチ特徴Ｑを取得し、同時にローカル特徴ｆ_ｌｏｃａｌに基づいてキー特徴Ｋ及び値特徴Ｖを取得する。最後に、該サーチ特徴Ｑ、キー特徴Ｋ及び値特徴Ｖに基づいて、クロスアテンションアルゴリズムを採用して処理すべきビデオの目標特徴を取得する。
【0065】
例えば、まずサーチ特徴Ｑとキー特徴Ｋを点乗算し、点乗算して得られた結果に正規化処理を行い、正規化処理された特徴を重みとして、値特徴Ｖに重み付けを行い、該重み付けにより取得された特徴は目標特徴である。
【0066】
一実施例において、さらにマルチヘッドアテンションメカニズムを採用してクロスアテンションアルゴリズムを実現する。具体的には、図５に示すような特徴融合ネットワークを採用してローカル特徴ｆ_ｌｏｃａｌとグローバル特徴ｆ_ｇｌｏｂａｌを融合する。例えば、図５に示すように、該実施例５００において、特徴融合ネットワークに複数のアテンションモジュール５１０が設置されてよく、各アテンションモジュール５１０にマッピング層５１１～マッピング層５１３及び正規化層（Ｓｏｆｔｍａｘ）５１４が含まれる。マッピング層５１１は、グローバル特徴ｆ_ｇｌｏｂａｌをマッピングし、サーチ特徴Ｑを取得し、マッピング層５１２及びマッピング層５１３は、いずれもローカル特徴をマッピングし、それぞれキー特徴Ｋ及び値特徴Ｖを取得する。各アテンションモジュールを介して一つのアテンション特徴を取得することができ、該アテンション特徴は、値特徴Ｖを重み付けした後に取得された特徴である。該実施例５００は、複数のアテンションモジュール５１０により取得された複数のアテンション特徴をスプライシングし、かつマッピング層５２０を介して処理した後に取得された特徴を目標特徴とする。該方式により、グローバル特徴及びローカル特徴に対してより十分な学習を行うことができ、取得された目標特徴の精度を向上させることができる。
【0067】
一実施例において、さらに積み重ねられたＭ個の特徴融合ネットワークを採用してローカル特徴ｆ_ｌｏｃａｌとグローバル特徴ｆ_ｇｌｏｂａｌとの融合を実現してもよく、それにより取得された目標特徴の精度をさらに向上させる。例えば、前述の受容野が最大であるビデオ特徴をプーリング処理した後、サイズが１×８Ｃであるグローバル特徴を取得し、前文に得られたサイズがＴ／２×Ｈ／１６×Ｗ／１６×８Ｃであるローカル特徴に対して、該実施例は該ローカル特徴を変換し、一つの特徴シーケンスに変換し、該特徴シーケンスは、Ｔ／２＊Ｈ／１６＊Ｗ／１６個の特徴を含み、各特徴のチャネル数は８Ｃである。該実施例は、グローバル特徴を積み重ねられたＭ個の特徴融合ネットワークにおける１番目のネットワークの入力とし、１番目のネットワークの出力でグローバル特徴を代替し、２番目のネットワークの入力とし、このように類推し、Ｍ番目のネットワークにより目標特徴を出力する。ここで、Ｍは、１より大きい整数である。ここで、Ｍ個の特徴融合ネットワークにおける各ネットワークは、前述の複数のアテンションモジュール５１０、マッピング層５２０に加えて、さらにＦＦＮ層５３０を含む。各ネットワークにおいて、マッピング層５２０から出力された特徴と該各ネットワークに入力されたグローバル特徴とをスプライシングし、その後にスプライシングされた特徴をＦＦＮ層５３０により処理した後に、該各ネットワークに入力されたグローバル特徴と加算し、該各ネットワークの次のネットワークのグローバル特徴を取得する。
【0068】
例えば、Ｍ個の特徴融合ネットワークにおけるｍ番目のネットワークに対して、出力されたグローバル特徴は、以下の式で計算して得ることができる。
【0069】
【数1】
【0070】
ここで、ｆ_ｇｌｏｂａｌｍは、ｍ番目のネットワークが出力するグローバル特徴であり、ＭＣＡｍ（ｆ_ｇｏｂａｌ（ｍ－１）， ｆ_ｌｏｃａｌ）は、ｆ_ｌｏｃａｌ（ｍ－１）とｆ_ｌｏｃａｌを該ｍ番目のネットワークの入力として、ｍ番目のネットワークにおけるマッピング層５２０により出力された特徴を示す。ＦＦＮｍは、該ｍ番目のネットワークにおけるＦＦＮ層５３０の処理を示す。||は、スプライシング作業を示す。ここで、ＭＣＡｍ（ｆ_ｇｌｏｂａｌ（ｍ－１）， ｆ_ｌｏｃａｌ）は以下のように表すことができる。
【0071】
【数2】
【0072】
ここで、Ｗ（ｍ）は、マッピング層５２０が学習して得られたマッピング行列パラメータである。ＣＡｍ
（i）は、該ｍ番目のネットワークにおけるｉ番目のアテンションモジュールが出力する特徴を示す。ｎは、該ｍ番目のネットワークに含まれるアテンションモジュールの総数である。例えばＣＡｍ
（i）は、以下の公式を採用して計算することができる。
【0073】
【数3】
【0074】
ここで、
【数4】
【0075】
【数5】
【0076】
【数6】
【0077】
ここで、ＷＱ
ｉ（ｍ）、ＷＫ
ｉ（ｍ）、ＷＶ
ｉ（ｍ）は、それぞれｍ番目のネットワークにおけるｉ番目のアテンションモジュールのマッピング層５１１、マッピング層５１２、マッピング層５１３により学習された行列パラメータを示す。
【0078】
本開示に提供されるビデオ処理方法に基づいて、本開示はさらにビデオサーチ方法を提供し、以下に図６を参照して該方法を詳細に説明する。
【0079】
図６は、本開示の実施例に係るビデオサーチ方法のフローチャート概略図である。
【0080】
図６に示すように、該実施例のビデオサーチ方法６００は、操作Ｓ６１０～操作Ｓ６３０を含む。
【0081】
操作Ｓ６１０において、サーチテキストのテキスト特徴を抽出する。
【0082】
本開示の実施例によれば、サーチテキストは、例えばユーザが電子機器により入力したサーチキーワードを含む。この実施例では、語彙情報を抽出できるテキスト特徴抽出モデルを採用してテキスト特徴を抽出する。ここで、テキスト特徴抽出モデルは、例えば循環ニューラルネットワークモデル又はＴｒａｎｓｆｏｒｍｅｒモデルを含み、具体的には、長短期記憶（Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ、ＬＳＴＭ）ネットワーク又はＥＲＮＩＥモデルなどを採用することができ、本開示はこれを限定しない。
【0083】
操作Ｓ６２０において、複数の候補ビデオにおける各ビデオの目標特徴を取得する。
【0084】
本開示の実施例によれば、ビデオライブラリにおけるビデオを候補ビデオとし、前述のビデオ処理方法を採用して各ビデオを処理し、該各ビデオの目標特徴を取得する。該実施例は、各ビデオの目標特徴を予め記憶し、かつ該各ビデオとマッピング関係を確立することができ、該操作Ｓ６２０において、記憶された目標特徴を直接に取得すればよい。
【0085】
操作Ｓ６３０において、テキスト特徴と目標特徴に基づいて、複数の候補ビデオのうちサーチテキストにマッチングするビデオを決定する。
【0086】
該実施例は、テキスト特徴と目標特徴とを同じ特徴空間にマッピングし、かつ同じ特徴空間にマッピングした後の二つの特徴の間の類似度を計算し、テキスト特徴と目標特徴との間の類似度とする。該実施例は、テキスト特徴との間の類似度が最大である目標特徴に対応する候補ビデオを、サーチテキストにマッチングするビデオとする。又は、テキスト特徴との間の類似度が閾値より大きい目標特徴に対応する候補ビデオを、サーチテキストにマッチングするビデオとする。ここで、閾値は、実際の需要に応じて設定してもよく、特徴の間の類似度はピアソン相関係数、コサイン類似度などを用いて表してもよく、本開示はこれを限定しない。
【0087】
一実施例において、操作Ｓ６１０で抽出されたテキスト特徴は、単語レベル特徴と語句レベル特徴を含む。該実施例は、語句レベル特徴と目標特徴に基づいて類似度の計算を行ってもよい。ここで、単語レベル特徴は、サーチテキストにおける複数の単語にそれぞれ対応する複数の単語特徴を含む。
【0088】
例えば、テキスト特徴を抽出する時に、まずサーチテキストに単語分割処理を行い、予め生成された辞書に基づいて、単語分割により取得された複数の単語にそれぞれ対応する複数の単語識別子を取得し、各単語識別子を一つの単語Ｔｏｋｅｎとし、かつＴｘで示されたＴｏｋｅｎを設定し、サーチテキストの語句全体を識別する。該Ｔｘを１番目のＴｏｋｅｎとして、サーチテキストでの単語の順序に基づいて、複数の単語識別子を１番目のＴｏｋｅｎの後に配列し、Ｔｏｋｅｎシーケンスを取得する。該実施例は、該ＴｏｋｅｎシーケンスをＥＲＮＩＥ ２．０モデルの入力とし、該ＥＲＮＩＥ ２．０モデルを介して処理した後、Ｔｘに対応する語句レベル特徴及び複数の単語Ｔｏｋｅｎに対応する単語特徴を出力する。ここで、語句レベル特徴は、ＥＲＮＩＥ ２．０モデルにおける複数層のマルチヘッドアテンションメカニズムを介して複数の単語Ｔｏｋｅｎの特徴に対してアテンション重み付けと融合を行って取得されたものである。理解できるように、サーチテキストに文字分割を行い、文字毎に一つのＴｏｋｅｎを取得する。文字分割によりＴｏｋｅｎを決定する方法に比べて、単語分割を採用してＴｏｋｅｎを決定する方法は、取得された単語特徴が語彙情報をよりよく保持することができる。
【0089】
ビデオ処理方法の実行を容易にするために、本開示は、ビデオ処理モデルのトレーニング方法をさらに提供し、以下に図７を参照して該方法を詳細に説明する。
【0090】
図７は、本開示の実施例に係るビデオ処理モデルのトレーニング方法のフローチャート概略図である。
【0091】
図７に示すように、該実施例のビデオ処理モデルのトレーニング方法７００は、操作Ｓ７１０～操作Ｓ７５０を含む。
【0092】
操作Ｓ７１０において、サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得する。
【0093】
本開示の実施例によれば、サンプルデータは、一つのバッチ（Ｂａｔｃｈ）のデータであってもよい。一つのバッチのデータにおける各サンプルデータは、いずれもサンプルビデオとサンプルテキストを含む。該実施例は、該一つのバッチのデータにおける全てのサンプルデータを、サイズがＢ×Ｔ×Ｈ×Ｗ×３であるデータに整理してビデオ特徴抽出ネットワークに入力し、ビデオ特徴抽出ネットワークを介して各サンプルビデオに対応する複数のビデオ特徴を抽出する。該操作Ｓ７１０の実現方式は、前述の操作Ｓ２１０の実現方式と類似し、ビデオ特徴抽出ネットワークは、前述のＶｉｄｅｏ Ｓｗｉｎ－Ｔｒａｎｓｆｏｒｍｅｒモデルであってもよく、本開示はこれを限定しない。
【0094】
操作Ｓ７２０において、複数の受容野における目標受容野でのビデオ特徴をローカル特徴抽出ネットワークに入力し、サンプルビデオのローカル特徴を取得する。
【0095】
本開示の実施例によれば、該操作Ｓ７２０の実現方式は、前述の操作Ｓ２２０の実現方式と類似する。一つのバッチのデータにおけるサンプルビデオに対して、目標受容野でのビデオ特徴は、Ｂ個のサイズがＴ／２×Ｈ／８×Ｗ／８×２Ｃであるデータを採用して表現する。該実施例は、該Ｂ個のサイズがＴ／２×Ｈ／８×Ｗ／８×２Ｃであるデータをローカル特徴抽出ネットワークに入力し、Ｂ個のサイズがＴ／２×Ｈ／１６×Ｗ／１６×４Ｃであるローカル特徴を取得する。
【0096】
【0097】
操作Ｓ７３０において、複数の受容野における最大受容野でのビデオ特徴に基づいて、サンプルビデオに対するグローバル特徴を取得する。該操作は、前述の操作Ｓ２３０と類似し、ここでは説明を省略する。
【0098】
操作Ｓ７４０において、ローカル特徴とグローバル特徴を特徴融合ネットワークに入力し、サンプルビデオの目標特徴を取得する。
【0099】
本開示の実施例によれば、該操作Ｓ７４０の実現方式は、前述の操作Ｓ２４０の実現方式と類似し、ここでは説明を省略する。一つのバッチのデータにおけるサンプルビデオに対して、Ｂ個の目標特徴を取得する。
【0100】
操作Ｓ７５０において、サンプルデータにおけるサンプルテキストのテキスト特徴を取得する。
【0101】
本開示の実施例によれば、該操作Ｓ７５０の実現方式は、前述の操作Ｓ６１０の実現方式と類似し、ここでは説明を省略する。ビデオ処理モデルをトレーニングする前に、該実施例は、サンプルテキストのテキスト特徴を予め抽出し取得してもよく、該操作Ｓ７５０は該記憶されたテキスト特徴を取得する。一つのバッチのデータにおけるサンプルテキストに対して、Ｂ個のテキスト特徴を取得する。一つのバッチのデータにおける各データに含まれるサンプルビデオ及びサンプルテキストに対応し、抽出された目標特徴とテキスト特徴は一つの特徴ペアを構成する。
【0102】
操作Ｓ７６０において、目標特徴とテキスト特徴に基づいて、ビデオ処理モデルをトレーニングする。
【0103】
本開示の実施例によれば、該実施例は、弱い教師の方式を採用してビデオ処理モデルをトレーニングする。例えば、各サンプルデータにおけるサンプルビデオとサンプルテキストとがマッチングするように設定する。各サンプルデータにおけるサンプルビデオとサンプルテキストは、例えばサーチ履歴に基づいて取得されたサーチテキストと再生されたビデオであってもよく、又は、該各サンプルデータにおけるサンプルテキストは、該各データにおけるサンプルビデオのタイトルであってもよい。このようにして、モデルのトレーニングコストを低減することができる。
【0104】
例えば、一つのサンプルデータにおけるサンプルビデオとサンプルテキストに対して、サンプルビデオの目標特徴とサンプルテキストのテキスト特徴との間の類似度が１に近づくべきであるため、該目標特徴とテキスト特徴との間の実際の類似度を１に設定することができる。該実施例は、目標特徴とテキスト特徴との間の類似度を予測類似度として、予測類似度と実際類似度との間の差異に基づいてビデオ処理モデルの損失を決定し、損失を最小化することによりビデオ処理モデルをトレーニングする。該実施例は、さらに目標特徴とテキスト特徴との間の距離に基づいてビデオ処理モデルをトレーニングしてもよく、距離に基づいてモデルをトレーニングすることは、一つのサンプルデータに対して、サンプルビデオの目標特徴とサンプルテキストのテキスト特徴との間の距離を０に近づけることを目標とする。
【0105】
一実施例において、ビデオ処理モデルをトレーニングする過程において、さらにネガティブサンプルを学習してもよく、これによりモデルの収束効率を向上させる。例えば、二つの異なるサンプルデータからのサンプルビデオとサンプルテキストに対して、サンプルビデオの目標特徴とサンプルテキストのテキスト特徴との間の類似度が０に近づくべきであるため、二つの異なるサンプルデータからのサンプルビデオとサンプルテキストをネガティブサンプルとして構成し、ネガティブサンプルにおけるサンプルビデオの目標特徴とサンプルテキストのテキスト特徴との間の実際の類似度を０に設定する。それに応じて、一つのサンプルデータにおけるサンプルビデオとテキストビデオは、ポジティブサンプルを構成する。
【0106】
例えば、該実施例は、クロスエントロピー損失関数を採用してビデオ処理モデルの損失を決定する。ポジティブサンプル中のビデオとテキストの特徴を引き寄せることにより、ネガティブサンプル中のビデオとテキストの特徴を引き離す。
【0107】
一実施例において、一つのサンプルデータにおけるサンプルビデオをｖｊに設定し、サンプルテキストをｔｊとし、サンプルビデオｖｊの目標特徴をｆｊとし、サンプルテキストｔｊのテキスト特徴をｇｊとし、該実施例はさらに以下の対比損失関数を採用してビデオ処理モデルの損失を決定する。
【0108】
【数7】
【0109】
ここで、τはハイパーパラメータであり、ｆｊ・ｇｊはｆｊとｇｊの内積を表す。
【0110】
一実施例において、操作Ｓ７５０で取得されたテキスト特徴は、サンプルテキストの語句レベル特徴を含む。該実施例の前に説明された目標特徴とテキスト特徴との間の類似度は、目標特徴とサンプルテキストの語句レベル特徴との間の類似度であってもよい。このようにして、ビデオのローカル特徴とグローバル特徴を融合させた目標特徴とテキストの語句レベル特徴を整列させることができ、サーチテキストに基づいてマッチングされたビデオをサーチしやすく、これは、テキストの語句レベル特徴がテキストの語彙をよりよく表現することができるためである。
【0111】
図８は、本開示の実施例に係るビデオ処理モデルのトレーニング方法の原理概略図である。
【0112】
本開示の実施例によれば、前文に取得されたテキスト特徴は、例えば語句レベル特徴以外に、さらにサンプルテキストの単語レベル特徴を含む。該単語レベル特徴は、サンプルテキスト単語分割により取得された複数の単語にそれぞれ対応する複数の単語特徴を含む。該実施例は、語句レベル特徴及び目標特徴に基づいてビデオ処理モデルをトレーニングする以外に、さらにサンプルビデオのローカル特徴とサンプルテキストの単語レベル特徴に基づいてビデオ処理モデルをトレーニングする。このようにして、ビデオのローカル特徴とテキストのローカル特徴をよりよく整列させることができ、トレーニングして取得されたビデオ処理モデルのロバスト性を向上させやすい。これは、ビデオのタイトルテキストなどのテキストコンテンツにいくつかの実体情報が含まれるため、これらの実体情報はビデオフレームのローカル画像に対応しやすいである。また、該実施例は、文字レベル特徴に比べて語彙情報をよりよく表現する単語レベル特徴を採用してビデオ処理モデルをトレーニングすることができるため、トレーニングして取得されたモデルの精度を向上させることに役立つ。
【0113】
図８に示すように、実施例８００において、ビデオ処理モデルをトレーニングする時、ビデオ特徴抽出ネットワーク８１０を介してサンプルビデオを処理し、第２のステージが出力する特徴を目標受容野でのビデオ特徴とする。該目標受容野でのビデオ特徴は、ローカル特徴抽出ネットワーク８２０（前述のローカル特徴抽出分岐であってもよい）を介して処理した後にローカル特徴８０１を取得する。順次に接続された複数のステージにおける最後のステージから出力されたビデオ特徴は、グローバル平均プーリング操作を経た後にサンプルビデオのグローバル特徴８０２を取得する。グローバル特徴８０２とローカル特徴８０１は、特徴融合ネットワーク８３０を介して融合した後に目標特徴８０３を取得し、ここで、特徴融合ネットワーク８３０は、クロスアテンションアルゴリズムを採用して特徴を融合する。同時に、サンプルテキストが単語分割処理された後に、各単語の識別子をＴｏｋｅｎとして、Ｔｏｋｅｎ１～ＴｏｋｅｎＮを得て、該Ｎ個のＴｏｋｅｎと先頭に配列されたＴｘをＥＲＮＩＥ ２．０モデル８４０に入力し、サンプルテキストの語句レベル特徴８０４と単語レベル特徴８０５を取得する。語句レベル特徴８０４は、Ｔｘに対応する。単語レベル特徴８０５は、Ｎ個の単語特徴を含み、それぞれＴｏｋｅｎ１～ＴｏｋｅｎＮに対応する。
【0114】
その後、該実施例は、目標特徴８０３と語句レベル特徴８０４との間の類似度に基づいて、ビデオ処理モデルのグローバル損失８０６を取得する。ローカル特徴８０１と単語レベル特徴８０５に基づいて、ビデオ処理モデルのローカル損失８０７を取得する。最後に、グローバル損失８０６とローカル損失８０７の加重和を全体損失として、ビデオ処理モデルをトレーニングする。又は、グローバル損失８０６に基づいてビデオ処理モデル全体をトレーニングし、ローカル損失８０７に基づいてローカル特徴抽出ネットワーク８２０をトレーニングする。
【0115】
一実施例において、一つのサンプルデータについては、単語レベル特徴における各単語特徴に対して、該各単語特徴とサンプルビデオのローカル特徴との間の第１の類似度を決定する。複数の単語特徴に対して、複数の第１の類似度を取得する。該実施例は、該複数の第１の類似度に基づいてビデオ処理モデルのローカル損失８０７を決定し、ビデオ処理モデルをトレーニングする。例えば、該実施例は、複数の第１の類似度の平均値又は複数の第１の類似度のうちの最高類似度を単語レベル特徴とローカル特徴との間の予測類似度とする。前述したクロスエントロピー損失関数などを採用して一つのサンプルデータに対するローカル損失を計算する。この実施例は、一つのバッチのデータにおける全てのデータに対するローカル損失の和を、ビデオ処理モデルのローカル損失８０７とする。
【0116】
一実施例において、ビデオ処理モデルをトレーニングする過程において、さらにネガティブサンプルを学習してもよく、これによりモデルの収束効率を向上させる。このように、該実施例は、さらにネガティブサンプルにおけるサンプルテキストの各単語特徴に対して、該各単語特徴とネガティブサンプルにおけるサンプルビデオのローカル特徴との間の類似度を計算し、該類似度に基づいてネガティブサンプルに対するローカル損失を決定する。
【0117】
一実施例において、いずれか一つのサンプルテキストに対して、一つのバッチのサンプルデータにおける、サンプルテキストが該いずれかのサンプルテキストに単語分割して取得されたいずれかの単語を含んでいないサンプルデータを、該いずれか一つのサンプルテキストに対する目標サンプルデータとして、該いずれか一つのサンプルテキストと目標サンプルデータにおけるサンプルビデオによって一つのネガティブサンプルを構成する。これは、あるサンプルデータのサンプルテキストが該いずれか一つのサンプルテキストと同じ単語を含む場合、該あるサンプルデータにおけるサンプルビデオのローカル特徴には該いずれか一つのサンプルテキストのある単語特徴にマッチングする部分的な特徴が存在する可能性があるためである。該方式によりネガティブサンプルを構築し、ネガティブサンプルの参照価値を向上させることができ、ビデオ処理モデルの収束速度を向上させやすい。
【0118】
具体的には、該実施例は、複数の単語特徴における各単語特徴に対して、該各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の第２の類似度を決定し、複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得する。その後に、前記に取得された複数の第１の類似度と該複数の第２の類似度に基づいて、ビデオ処理モデルのローカル損失を決定する。最後に、該ローカル損失に基づいてビデオ処理モデルをトレーニングする。
【0119】
一実施例において、複数の単語特徴を取得した後、さらに該複数の単語特徴から実体単語に対応する特徴を選択する。これは、実体単語以外の他の単語が、一般的にビデオのローカル画像に対応できないためである。
【0120】
一実施例において、テキストｔｊに対して、抽出して取得された単語特徴は例えば以下のシーケンスにより表してもよく、ここで、Ｎｊはテキストｔｊに含まれる実体単語の数である。
【0121】
【数8】
【0122】
この実施例は、サンプルビデオのローカル特徴を、以下の特徴シーケンスにより表すように変換する。
【0123】
【数9】
【0124】
該実施例において、ローカル損失は例えば以下の式で計算する。
【0125】
【数10】
【0126】
ここで、
【数11】
【0127】
【数12】
【0128】
ここで、Ｎｅｇ（ｎ，ｊ）は、前述のいずれか一つのサンプルテキストと該いずれか一つのサンプルテキストに対する目標サンプルデータにおけるサンプルビデオで構成されたネガティブサンプルを示す。
【0129】
本開示に提供されるビデオ処理方法によれば、本開示は、さらにビデオ処理装置を提供し、以下に図９を参照して該装置を詳細に説明する。
【0130】
図９は、本開示の実施例に係るビデオ処理装置の構成ブロック図である。
【0131】
図９に示すように、該実施例のビデオ処理装置９００は、ビデオ特徴抽出モジュール９１０と、ローカル特徴抽出モジュール９２０と、グローバル特徴決定モジュール９３０と、特徴融合モジュール９４０とを含む。
【0132】
ビデオ特徴抽出モジュール９１０は、処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出する。一実施例において、ビデオ特徴抽出モジュール９１０は、前述の操作Ｓ２１０を実行し、ここで説明を省略する。
【0133】
ローカル特徴抽出モジュール９２０は、複数の受容野における目標受容野でのビデオ特徴に基づいて、処理すべきビデオのローカル特徴を抽出する。一実施例において、ローカル特徴抽出モジュール９２０は、前述の操作Ｓ２２０を実行し、ここで説明を省略する。
【0134】
グローバル特徴決定モジュール９３０は、複数の受容野中の最大受容野でのビデオ特徴に基づいて、処理すべきビデオに対するグローバル特徴を取得する。一実施例において、グローバル特徴決定モジュール９３０は、前述の操作Ｓ２３０を実行し、ここで説明を省略する。
【0135】
特徴融合モジュール９４０は、ローカル特徴とグローバル特徴を融合し、処理すべきビデオの目標特徴を取得する。一実施例において、特徴融合モジュール９４０は、前述の操作Ｓ２４０を実行し、ここで説明を省略する。
【0136】
本開示の実施例によれば、ローカル特徴抽出モジュール９２０は、特徴切り出しサブモジュールと、特徴処理サブモジュールと、ローカル特徴取得サブモジュールとを含む。特徴切り出しサブモジュールは、所定のサイズのスライドウィンドウに基づいて目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得する。特徴処理サブモジュールは、複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得する。ローカル特徴取得サブモジュールは、複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、処理すべきビデオのローカル特徴を取得する。
【0137】
本開示の実施例によれば、ローカル特徴取得サブモジュールは、融合ユニットと、重み抽出ユニットと、重み付けユニットとを含む。融合ユニットは、複数の処理済みサブ特徴を融合し、融合済み特徴を取得する。重み抽出ユニットは、三次元畳み込みを採用して融合済み特徴の重み特徴を抽出する。重み付けユニットは、重み特徴に基づいて融合済み特徴に重み付けを行い、ローカル特徴を取得する。
【0138】
本開示の実施例によれば、上記特徴切り出しサブモジュールは、空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいてスライドウィンドウを移動し、複数のビデオサブ特徴を切り取る。ここで、第１の所定ステップサイズは、スライドウィンドウの空間次元における長さより小さく、第２の所定ステップサイズは、スライドウィンドウの時間次元における長さより小さい。
【0139】
本開示の実施例によれば、上記特徴融合モジュール９４０は、クロスアテンションアルゴリズムを採用してグローバル特徴とローカル特徴を融合し、目標特徴を取得する。
【0140】
本開示の実施例によれば、上記特徴融合モジュール９４０は、第１の取得サブモジュールと、第２の取得サブモジュールと、アテンションサブモジュールとを含む。第１の取得サブモジュールは、グローバル特徴に基づいて、サーチ特徴を取得する。第２の取得サブモジュールは、ローカル特徴に基づいて、キー特徴と値特徴を取得する。アテンションサブモジュールは、サーチ特徴、キー特徴及び値特徴に基づいて、クロスアテンションアルゴリズムを採用して目標特徴を取得する。
【0141】
本開示に提供されるビデオをサーチする方法によれば、本開示はさらにビデオサーチ装置を提供し、以下に図１０を参照して該装置を詳細に説明する。
【0142】
図１０は、本開示の実施例に係るビデオサーチ装置の構成ブロック図である。
【0143】
図１０に示すように、該実施例のビデオサーチ装置１０００は、テキスト特徴抽出モジュール１０１０と、目標特徴取得モジュール１０２０と、ビデオ決定モジュール１０３０とを含む。
【0144】
テキスト特徴抽出モジュール１０１０は、サーチテキストのテキスト特徴を抽出する。一実施例において、テキスト特徴抽出モジュール１０１０は、前述の操作Ｓ６１０を実行し、ここで説明を省略する。
【0145】
目標特徴取得モジュール１０２０は、複数の候補ビデオにおける各ビデオの目標特徴を取得する。ここで、目標特徴は、本開示に提供されるビデオ処理装置を採用して取得された。一実施例において、目標特徴取得モジュール１０２０は、前述の操作Ｓ６２０を実行し、ここで説明を省略する。
【0146】
ビデオ決定モジュール１０３０は、テキスト特徴と目標特徴に基づいて、複数の候補ビデオのうちサーチテキストにマッチングするビデオを決定する。一実施例において、ビデオ決定モジュール１０３０は、前述の操作Ｓ６３０を実行し、ここで説明を省略する。
【0147】
本開示に提供されるビデオ処理モデルのトレーニング方法によれば、本開示はさらにビデオ処理モデルのトレーニング装置を提供し、以下に図１１を参照して該装置を詳細に説明する。
【0148】
図１１は、本開示の実施例に係るビデオ処理モデルのトレーニング装置の構成ブロック図である。
【0149】
図１１に示すように、該実施例のビデオ処理モデルのトレーニング装置１１００は、ビデオ特徴抽出モジュール１１１０と、ローカル特徴抽出モジュール１１２０と、グローバル特徴決定モジュール１１３０と、特徴融合モジュール１１４０と、テキスト特徴取得モジュール１１５０と、第１のトレーニングモジュール１１６０とを含む。ここで、ビデオ処理モデルは、ビデオ特徴抽出ネットワークと、ローカル特徴抽出ネットワークと、特徴融合ネットワークとを含む。
【0150】
ビデオ特徴抽出モジュール１１１０は、サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得する。一実施例において、ビデオ特徴抽出モジュール１１１０は、前述の操作Ｓ７１０を実行し、ここで説明を省略する。
【0151】
ローカル特徴抽出モジュール１１２０は、複数の受容野における目標受容野でのビデオ特徴をローカル特徴抽出ネットワークに入力し、サンプルビデオのローカル特徴を取得する。一実施例において、ローカル特徴抽出モジュール１１２０は、前述の操作Ｓ７２０を実行し、ここで説明を省略する。
【0152】
グローバル特徴決定モジュール１１３０は、複数の受容野における最大受容野でのビデオ特徴に基づいて、サンプルビデオに対するグローバル特徴を取得する。一実施例において、グローバル特徴決定モジュール１１３０は、前述の操作Ｓ７３０を実行し、ここで説明を省略する。
【0153】
特徴融合モジュール１１４０は、ローカル特徴とグローバル特徴を特徴融合ネットワークに入力し、サンプルビデオの目標特徴を取得する。一実施例において、特徴融合モジュール１１４０は、前述の操作Ｓ７４０を実行し、ここで説明を省略する。
【0154】
テキスト特徴取得モジュール１１５０は、サンプルデータにおけるサンプルテキストのテキスト特徴を取得する。一実施例において、テキスト特徴取得モジュール１１５０は、前述の操作Ｓ７５０を実行し、ここで説明を省略する。
【0155】
第１のトレーニングモジュール１１６０は、目標特徴とテキスト特徴との間の類似度に基づいて、ビデオ処理モデルをトレーニングする。一実施例において、第１のトレーニングモジュール１１６０は、前述の操作Ｓ７６０を実行し、ここでは説明を省略する。
【0156】
本開示の実施例によれば、テキスト特徴は、サンプルテキストの語句レベル特徴を含む。上記第１のトレーニングモジュール１１６０は、目標特徴と語句レベル特徴との間の類似度を決定し、ビデオ処理モデルをトレーニングする。
【0157】
本開示の実施例によれば、テキスト特徴は、さらにサンプルテキストの単語レベル特徴を含む。上記ビデオ処理モデルのトレーニング装置１１００は、さらにローカル特徴と単語レベル特徴に基づいて、ビデオ処理モデルをトレーニングするための第２のトレーニングモジュールを含む。
【0158】
本開示の実施例によれば、単語レベル特徴は、サンプルテキストに含まれる複数の実体単語にそれぞれ対応する複数の単語特徴を含む。上記第２のトレーニングモジュールは、第１の決定サブモジュールとトレーニングサブモジュールとを含む。第１の決定サブモジュールは、複数の単語特徴における各単語特徴とローカル特徴との間の類似度を決定し、複数の第１の類似度を取得する。トレーニングサブモジュールは、複数の第１の類似度に基づいて、ビデオ処理モデルをトレーニングする。
【0159】
本開示の実施例によれば、上記第２のトレーニングモジュールは、さらに、各単語特徴に対して、各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得するための第２の決定サブモジュールを含む。上記トレーニングサブモジュールは、損失決定ユニットとトレーニングユニットとを含む。損失決定ユニットは、複数の第１の類似度と複数の第２の類似度に基づいて、ビデオ処理モデルの損失を決定する。トレーニングユニットは、損失に基づいて、ビデオ処理モデルをトレーニングする。ここで、目標サンプルデータにおけるサンプルテキストは複数の単語特徴に対応する単語を含まない。
【0160】
なお、説明すべきものとして、本開示の技術案において、関するユーザ個人情報の収集、記憶、使用、加工、転送、提供、開示及び応用等はいずれも相関法規則の規定に適合し、必要な機密保持対策を採用し、かつ公序良俗に反するものではない。本開示の技術案において、ユーザ個人情報が取得または収集される前に、ユーザの承認または同意が得られる。
【0161】
本開示の実施例によれば、本開示は、電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供した。
【0162】
図１２は、本開示の実施例のいずれかの方法を実施可能な電子機器１２００の概略的なブロック図を示す。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップ型コンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータを示す。電子機器は、さらに様々な形式の移動装置、例えば、個人デジタルアシスタント、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の計算装置を示す。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定するものではない。
【0163】
図１２に示すように、機器１２００は、リードオンリーメモリ（ＲＯＭ）１２０２に記憶されたコンピュータプログラム又は記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行する演算ユニット１２０１を含む。ＲＡＭ１２０３には、さらに記憶機器１２００の操作に必要な様々なプログラム及びデータを記憶する。演算ユニット１２０１、ＲＯＭ１２０２、およびＲＡＭ１２０３は、バス１２０４により相互に接続されている。バス１２０４には、入出力（Ｉ／Ｏ）インタフェース１２０５も接続されている。
【0164】
機器１２００における複数の部品は、Ｉ／Ｏインタフェース１２０５に接続され、例えばキーボード、マウスなどの入力ユニット１２０６と、例えば様々なタイプのディスプレイ、スピーカなどの出力ユニット１２０７と、例えば磁気ディスク、光ディスクなどの記憶ユニット１２０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信ユニット１２０９とを含む。通信ユニット１２０９は、機器１２００がインターネット等のコンピュータネットワークや各種の電気通信網を介して他の装置と情報／データをやり取りすることを可能にする。
【0165】
演算ユニット１２０１は、各種の処理、演算能力を有する汎用及び／又は専用の処理モジュールであってもよい。演算ユニット１２０１としては、中央処理ユニット（ＣＰＵ）、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムを実行する演算ユニット、デジタル信号機（ＤＳＰ）、任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されるものではない。演算ユニット１２０１は、上記説明した各方法及び処理、例えばビデオ処理方法、ビデオをサーチする方法、ビデオ処理モデルのトレーニング方法の少なくとも一つを実行する。例えば、いくつかの実施例において、ビデオ処理方法、ビデオをサーチする方法、ビデオ処理モデルのトレーニング方法の少なくとも一つは、コンピュータソフトウェアプログラムとして実現され、それは機械可読媒体、例えば記憶ユニット１２０８に含まれる。いくつかの実施例において、コンピュータプログラムの一部又は全部はＲＯＭ１２０２及び／又は通信ユニット１２０９を介して装置１２００にロード及び／又はインストールされる。コンピュータプログラムがＲＡＭ１２０３にロードされかつ演算ユニット１２０１により実行される場合、上記ビデオ処理方法、ビデオをサーチする方法、ビデオ処理モデルのトレーニング方法の少なくとも一つ又は複数の操作を実行することができる。代替的に、他の実施例において、演算ユニット１２０１は他の任意の適切な方式（例えば、ファームウェア）によりビデオ処理方法、ビデオをサーチする方法、ビデオ処理モデルのトレーニング方法の少なくとも一つを実行するように構成されてよい。
【0166】
本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、チップ上システムのシステム（ＳＯＣ）、負荷プログラマブルロジック装置（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現する。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムにおいて実施してもよく、該一つ又は複数のコンピュータプログラムは少なくとも一つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行され及び／又は解釈されてもよく、該プログラム可能なプロセッサは専用又は汎用のプログラム可能なプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、データ及びコマンドを該記憶システム、該少なくとも一つの入力装置、及び該少なくとも一つの出力装置に伝送する。
【0167】
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されて、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてよく、部分的に機器で実行されてよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
【0168】
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶する。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
【0169】
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供してよい。他の種類の装置は、さらにユーザとの対話を提供してよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してよい。
【0170】
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。
【0171】
コンピュータシステムは、クライアント及びサーバを含む。クライアントとサーバは、一般的に互いに離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってよく、クラウドコンピューティングサーバ又はクラウドホストとも称され、クラウドコンピューティングサービスのアーキテクチャにおけるホスト製品の1つであり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」又は単に「ＶＰＳ」という）において管理が難しく、サービスの拡張性が弱いという欠点を解決することができる。サーバは、分散システムのサーバであってもよく、またブロックチェーンを結合したサーバであってもよい。
【0172】
理解されるべきこととして、以上に示された様々な形式のフローを使用してよく、ステップを改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各ステップは、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
【0173】
以上説明したビデオ処理方法、ビデオサーチ方法及びモデルトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラムは、以下のように表現することができる。
【0174】
第１態様のビデオ処理方法は、
処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出することと、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得することと、を含む。
処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出することと、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得することと、を含む。
【0175】
第２態様のビデオ処理方法は、
第１態様に記載の方法であって、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出することは、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得することと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得することと、
前記複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得することと、を含む。
第１態様に記載の方法であって、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出することは、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得することと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得することと、
前記複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得することと、を含む。
【0176】
第３態様のビデオ処理方法は、
第２態様に記載の方法であって、
前記複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得することは、
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得することと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出することと、
前記重み特徴に基づいて前記融合済み特徴に重み付けを行い、前記ローカル特徴を取得することと、を含む。
第２態様に記載の方法であって、
前記複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得することは、
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得することと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出することと、
前記重み特徴に基づいて前記融合済み特徴に重み付けを行い、前記ローカル特徴を取得することと、を含む。
【0177】
第４態様のビデオ処理方法は、
第２態様に記載の方法であって、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得することは、
空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいて前記スライドウィンドウを移動し、前記複数のビデオサブ特徴を切り出して取得することを含み、
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい。
第２態様に記載の方法であって、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得することは、
空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいて前記スライドウィンドウを移動し、前記複数のビデオサブ特徴を切り出して取得することを含み、
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい。
【0178】
第５態様のビデオ処理方法は、
第１態様に記載の方法であって、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得することは、
クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得することを含む。
第１態様に記載の方法であって、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得することは、
クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得することを含む。
【0179】
第６態様のビデオ処理方法は、
第５態様に記載の方法であって、
クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得することは、
前記グローバル特徴に基づいて、サーチ特徴を取得することと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得することと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得することと、を含む。
第５態様に記載の方法であって、
クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得することは、
前記グローバル特徴に基づいて、サーチ特徴を取得することと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得することと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得することと、を含む。
【0180】
第７態様のビデオ処理方法は、
サーチテキストのテキスト特徴を抽出することと、
複数の候補ビデオにおける各ビデオの目標特徴を取得することと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうちの前記サーチテキストにマッチングするビデオを決定することと、を含み、
前記目標特徴は、第１～６態様のいずれか一つに記載のビデオ処理方法を採用して取得される。
サーチテキストのテキスト特徴を抽出することと、
複数の候補ビデオにおける各ビデオの目標特徴を取得することと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうちの前記サーチテキストにマッチングするビデオを決定することと、を含み、
前記目標特徴は、第１～６態様のいずれか一つに記載のビデオ処理方法を採用して取得される。
【0181】
第８態様のビデオ処理モデルのトレーニング方法は、
ビデオ特徴抽出ネットワークとローカル特徴抽出ネットワークと特徴融合ネットワークとを含むビデオ処理モデルのトレーニング方法であって、
サンプルデータに含まれるサンプルビデオを前記ビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得することと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得することと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得することと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む。
ビデオ特徴抽出ネットワークとローカル特徴抽出ネットワークと特徴融合ネットワークとを含むビデオ処理モデルのトレーニング方法であって、
サンプルデータに含まれるサンプルビデオを前記ビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得することと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得することと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得することと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得することと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得することと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む。
【0182】
第９態様のビデオ処理モデルのトレーニング方法は、
第８態様に記載の方法であって、
前記テキスト特徴は、前記サンプルテキストの語句レベル特徴を含み、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることを含む。
第８態様に記載の方法であって、
前記テキスト特徴は、前記サンプルテキストの語句レベル特徴を含み、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることを含む。
【0183】
第１０態様のビデオ処理モデルのトレーニング方法は、
第９態様に記載の方法であって、
前記テキスト特徴は、前記サンプルテキストの単語レベル特徴をさらに含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることを、更に含む。
第９態様に記載の方法であって、
前記テキスト特徴は、前記サンプルテキストの単語レベル特徴をさらに含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることを、更に含む。
【0184】
第１１態様のビデオ処理モデルのトレーニング方法は、
第１０態様に記載の方法であって、
前記単語レベル特徴は、前記サンプルテキストに含まれる複数の実体単語にそれぞれ対応する複数の単語特徴を含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得することと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む。
第１０態様に記載の方法であって、
前記単語レベル特徴は、前記サンプルテキストに含まれる複数の実体単語にそれぞれ対応する複数の単語特徴を含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得することと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングすることと、を含む。
【0185】
第１２態様のビデオ処理モデルのトレーニング方法は、
第１１態様に記載の方法であって、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
各単語特徴に対して、前記各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、前記複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得することと、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定することと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングすることと、を更に含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない。
第１１態様に記載の方法であって、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングすることは、
各単語特徴に対して、前記各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、前記複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得することと、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定することと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングすることと、を更に含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない。
【0186】
第１３態様のビデオ処理装置は、
処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出するためのビデオ特徴抽出モジュールと、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得するための特徴融合モジュールと、を含む。
処理すべきビデオに対して、複数の受容野での複数のビデオ特徴を抽出するためのビデオ特徴抽出モジュールと、
前記複数の受容野における目標受容野でのビデオ特徴に基づいて、前記処理すべきビデオのローカル特徴を抽出するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記処理すべきビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を融合し、前記処理すべきビデオの目標特徴を取得するための特徴融合モジュールと、を含む。
【0187】
第１４態様のビデオ処理装置は、
第１３態様に記載の装置であって、
前記ローカル特徴抽出モジュールは、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得するための特徴切り出しサブモジュールと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得するための特徴処理サブモジュールと、
複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得するためのローカル特徴取得サブモジュールと、を含む。
第１３態様に記載の装置であって、
前記ローカル特徴抽出モジュールは、
所定のサイズのスライドウィンドウに基づいて前記目標受容野でのビデオ特徴を切り出し、複数のビデオサブ特徴を取得するための特徴切り出しサブモジュールと、
前記複数のビデオサブ特徴における各サブ特徴に対して、アテンションアルゴリズムを採用して各サブ特徴を処理し、処理済みサブ特徴を取得するための特徴処理サブモジュールと、
複数のビデオサブ特徴に対して取得された複数の処理済みサブ特徴に基づいて、前記ローカル特徴を取得するためのローカル特徴取得サブモジュールと、を含む。
【0188】
第１５態様のビデオ処理装置は、
第１４態様に記載の装置であって、
前記ローカル特徴取得サブモジュールは、
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得するための融合ユニットと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出するための重み抽出ユニットと、
前記重み特徴に基づいて前記融合済み特徴を重み付けして、前記ローカル特徴を取得するための重み付けユニットと、を含む。
第１４態様に記載の装置であって、
前記ローカル特徴取得サブモジュールは、
前記複数の処理済みサブ特徴を融合し、融合済み特徴を取得するための融合ユニットと、
三次元畳み込みを採用して前記融合済み特徴の重み特徴を抽出するための重み抽出ユニットと、
前記重み特徴に基づいて前記融合済み特徴を重み付けして、前記ローカル特徴を取得するための重み付けユニットと、を含む。
【0189】
第１６態様のビデオ処理装置は、
第１４態様に記載の装置であって、
前記特徴切り出しサブモジュールは、空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいて前記スライドウィンドウを移動し、複数のビデオサブ特徴を切り出して取得し、
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい。
第１４態様に記載の装置であって、
前記特徴切り出しサブモジュールは、空間次元の第１の所定ステップサイズと時間次元の第２の所定ステップサイズに基づいて前記スライドウィンドウを移動し、複数のビデオサブ特徴を切り出して取得し、
前記第１の所定ステップサイズは、前記スライドウィンドウの前記空間次元における長さよりも小さく、前記第２の所定ステップサイズは、前記スライドウィンドウの前記時間次元における長さより小さい。
【0190】
第１７態様のビデオ処理装置は、
第１３態様に記載の装置であって、
前記特徴融合モジュールは、クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得する。
第１３態様に記載の装置であって、
前記特徴融合モジュールは、クロスアテンションアルゴリズムを採用して前記ローカル特徴と前記グローバル特徴を融合し、前記目標特徴を取得する。
【0191】
第１８態様のビデオ処理装置は、
第１７態様に記載の装置であって、
前記特徴融合モジュールは、
前記グローバル特徴に基づいて、サーチ特徴を取得するための第１の取得サブモジュールと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得するための第２の取得サブモジュールと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得するためのアテンションサブモジュールと、を含む。
第１７態様に記載の装置であって、
前記特徴融合モジュールは、
前記グローバル特徴に基づいて、サーチ特徴を取得するための第１の取得サブモジュールと、
前記ローカル特徴に基づいて、キー特徴及び値特徴を取得するための第２の取得サブモジュールと、
前記サーチ特徴、前記キー特徴及び前記値特徴に基づいて、前記クロスアテンションアルゴリズムを採用して前記目標特徴を取得するためのアテンションサブモジュールと、を含む。
【0192】
第１９態様のビデオサーチ装置は、
サーチテキストのテキスト特徴を抽出するためのテキスト特徴抽出モジュールと、
複数の候補ビデオにおける各ビデオの目標特徴を取得するための目標特徴取得モジュールと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうち前記サーチテキストにマッチングするビデオを決定するためのビデオ決定モジュールと、を含み、
前記目標特徴は、請求項１３～１８のいずれか一項に記載のビデオ処理装置を採用して取得される。
サーチテキストのテキスト特徴を抽出するためのテキスト特徴抽出モジュールと、
複数の候補ビデオにおける各ビデオの目標特徴を取得するための目標特徴取得モジュールと、
前記テキスト特徴と前記目標特徴に基づいて、前記複数の候補ビデオのうち前記サーチテキストにマッチングするビデオを決定するためのビデオ決定モジュールと、を含み、
前記目標特徴は、請求項１３～１８のいずれか一項に記載のビデオ処理装置を採用して取得される。
【0193】
第２０態様のビデオ処理モデルのトレーニング装置は、
ビデオ特徴抽出ネットワーク、ローカル特徴抽出ネットワーク及び特徴融合ネットワークを含むビデオ処理モデルのトレーニング装置であって、
サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得するためのビデオ特徴抽出モジュールと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得するための特徴融合モジュールと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得するためのテキスト特徴取得モジュールと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第１のトレーニングモジュールと、を含む。
ビデオ特徴抽出ネットワーク、ローカル特徴抽出ネットワーク及び特徴融合ネットワークを含むビデオ処理モデルのトレーニング装置であって、
サンプルデータに含まれるサンプルビデオをビデオ特徴抽出ネットワークに入力し、複数の受容野での複数のビデオ特徴を取得するためのビデオ特徴抽出モジュールと、
前記複数の受容野における目標受容野でのビデオ特徴を前記ローカル特徴抽出ネットワークに入力し、前記サンプルビデオのローカル特徴を取得するためのローカル特徴抽出モジュールと、
前記複数の受容野における最大受容野でのビデオ特徴に基づいて、前記サンプルビデオのグローバル特徴を取得するためのグローバル特徴決定モジュールと、
前記ローカル特徴と前記グローバル特徴を前記特徴融合ネットワークに入力し、前記サンプルビデオの目標特徴を取得するための特徴融合モジュールと、
前記サンプルデータにおけるサンプルテキストのテキスト特徴を取得するためのテキスト特徴取得モジュールと、
前記目標特徴と前記テキスト特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第１のトレーニングモジュールと、を含む。
【0194】
第２１態様のビデオ処理モデルのトレーニング装置は、
第２０態様に記載の装置であって、
前記テキスト特徴は、前記サンプルテキストの語句レベル特徴を含み、
前記第１のトレーニングモジュールは、前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングする。
第２０態様に記載の装置であって、
前記テキスト特徴は、前記サンプルテキストの語句レベル特徴を含み、
前記第１のトレーニングモジュールは、前記目標特徴と前記語句レベル特徴との間の類似度に基づいて、前記ビデオ処理モデルをトレーニングする。
【0195】
第２２態様のビデオ処理モデルのトレーニング装置は、
第２１態様に記載の装置であって、
前記テキスト特徴は、前記サンプルテキストの単語レベル特徴をさらに含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第２のトレーニングモジュールを、更に含む。
第２１態様に記載の装置であって、
前記テキスト特徴は、前記サンプルテキストの単語レベル特徴をさらに含み、
前記ローカル特徴と前記単語レベル特徴に基づいて、前記ビデオ処理モデルをトレーニングするための第２のトレーニングモジュールを、更に含む。
【0196】
第２３態様のビデオ処理モデルのトレーニング装置は、
第２２態様に記載の装置であって、
前記単語レベル特徴は、前記サンプルテキストに含まれる複数の実体単語にそれぞれ対応する複数の単語特徴を含み、
前記第２のトレーニングモジュールは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得するための第１の決定サブモジュールと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングサブモジュールと、を含む。
第２２態様に記載の装置であって、
前記単語レベル特徴は、前記サンプルテキストに含まれる複数の実体単語にそれぞれ対応する複数の単語特徴を含み、
前記第２のトレーニングモジュールは、
前記複数の単語特徴における各単語特徴と前記ローカル特徴との間の類似度を決定し、複数の第１の類似度を取得するための第１の決定サブモジュールと、
前記複数の第１の類似度に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングサブモジュールと、を含む。
【0197】
第２４態様のビデオ処理モデルのトレーニング装置は、
第２３態様に記載の装置であって、
前記第２のトレーニングモジュールは、各単語特徴に対して、前記各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、前記複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得するための第２の決定サブモジュールをさらに含み、
前記トレーニングサブモジュールは、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定するための損失決定ユニットと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングユニットと、含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない。
第２３態様に記載の装置であって、
前記第２のトレーニングモジュールは、各単語特徴に対して、前記各単語特徴と目標サンプルデータにおけるサンプルビデオのローカル特徴との間の類似度を決定し、前記複数の単語特徴にそれぞれ対応する複数の第２の類似度を取得するための第２の決定サブモジュールをさらに含み、
前記トレーニングサブモジュールは、
前記複数の第１の類似度と前記複数の第２の類似度に基づいて、前記ビデオ処理モデルの損失を決定するための損失決定ユニットと、
前記損失に基づいて、前記ビデオ処理モデルをトレーニングするためのトレーニングユニットと、含み、
前記目標サンプルデータにおけるサンプルテキストは、前記複数の単語特徴に対応する単語を含まない。
【0198】
第２５態様の電子機器は、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサと通信接続するメモリとを含み、
メモリに、少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、コマンドが少なくとも１つのプロセッサによって実行されることで、少なくとも１つのプロセッサが第１～１２態様のいずれか一つに記載の方法を実行することができる電子機器である。
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサと通信接続するメモリとを含み、
メモリに、少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、コマンドが少なくとも１つのプロセッサによって実行されることで、少なくとも１つのプロセッサが第１～１２態様のいずれか一つに記載の方法を実行することができる電子機器である。
【0199】
第２６態様のコンピュータ可読記憶媒体は、
コンピュータに第１～１２態様のいずれか一つに記載の方法を実行させるためのコンピュータコマンドを記憶している、
非一時的なコンピュータ可読記憶媒体である。
コンピュータに第１～１２態様のいずれか一つに記載の方法を実行させるためのコンピュータコマンドを記憶している、
非一時的なコンピュータ可読記憶媒体である。
【0200】
第２７態様のコンピュータプログラムは、
プロセッサにより実行される時に第１～１２態様のいずれか一つに記載の方法を実現する、コンピュータプログラムである。
プロセッサにより実行される時に第１～１２態様のいずれか一つに記載の方法を実現する、コンピュータプログラムである。
【0201】
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】