知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】シーン・アウェア映像エンコーダシステムおよび方法
(51)【国際特許分類】
G06V 10/82 20220101AFI20241018BHJP
G06T 7/00 20170101ALI20241018BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024549069
(86)(22)【出願日】2022-10-27
(85)【翻訳文提出日】2024-04-25
(86)【国際出願番号】 JP2022041101
(87)【国際公開番号】W WO2023106007
(87)【国際公開日】2023-06-15
(31)【優先権主張番号】63/288,096
(32)【優先日】2021-12-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/650,114
(32)【優先日】2022-02-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】チェリアン，アノープ
(72)【発明者】
【氏名】堀 智織
(72)【発明者】
【氏名】ル・ルー，ジョナタン
(72)【発明者】
【氏名】マークス，ティム
(72)【発明者】
【氏名】スリバン，アラン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096FA18
5L096FA77
5L096GA30
5L096HA11
5L096JA11
5L096JA16
5L096JA22
5L096KA04
(57)【要約】
本開示の実施形態は、シーン・アウェア映像エンコーダシステムを開示する。シーン・アウェアエンコーダシステムは、シーンの映像の映像フレームのシーケンスを時空間シーングラフに変換する。時空間シーングラフは、シーン内の１つまたは複数の静的物体および動的物体を表すノードを含む。時空間シーングラフの各ノードは、異なる時間インスタンスにおける物体（静的物体および動的物体）の各々の外観、位置、および／または動作を記述する。時空間シーングラフのノードは、時空間トランスフォーマを使用して潜在空間に埋め込まれ、時空間トランスフォーマは、シーンの異なる時空間体積に対応する時空間シーングラフの異なるノードの異なる組み合わせを符号化する。組み合わせの各々において符号化された異なるノードのうちの各ノードは、組み合わせの各々における異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされる。
【特許請求の範囲】
【請求項1】
シーン・アウェア映像エンコーダシステムであって、少なくとも１つのプロセッサと、命令が格納されたメモリとを備え、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記シーン・アウェア映像エンコーダシステムに、シーンの映像の映像フレームのシーケンスを受信することと、
前記映像フレームのシーケンスを、前記シーン内の１つまたは複数の静的物体および１つまたは複数の動的物体を表すノードを含む時空間シーングラフに変換することとを行わせ、前記シーン内の前記静的物体の各々の外観および位置は、前記時空間シーングラフの単一のノードの特性によって表され、前記シーン内の前記動的物体の各々は、異なる時間のインスタンスにおける前記動的物体の各々の外観、位置、および動作を記述する前記時空間シーングラフの複数のノードの特性によって表され、前記シーン・アウェア映像エンコーダシステムにさらに、
時空間トランスフォーマを使用して前記時空間シーングラフの前記ノードを潜在空間に符号化することを行わせ、前記時空間トランスフォーマは、前記シーンの異なる時空間体積に対応する前記時空間シーングラフの異なるノードの異なる組み合わせを符号化し、前記組み合わせの各々における前記異なるノードのうちの各ノードの符号化は、前記組み合わせの各々における前記異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされ、前記シーン・アウェア映像エンコーダシステムにさらに、
前記時空間シーングラフの符号化された前記ノードを出力することを行わせる、シーン・アウェア映像エンコーダシステム。
【請求項2】
前記時空間シーングラフの前記異なるノードの異なる組み合わせは、異なる時空間解像度を有する異なる時空間体積のウィンドウスライディング法を使用して選択される、請求項１に記載のシーン・アウェア映像エンコーダシステム。
【請求項3】
前記プロセッサはさらに、前記異なるノードの異なる組み合わせについての類似性カーネルを計算して、前記時空間シーングラフの前記異なるノードの異なる組み合わせ同士の間の類似性を決定するように構成される、請求項２に記載のシーン・アウェア映像エンコーダシステム。
【請求項4】
前記プロセッサはさらに、一連の多層パーセプトロン（ＭＬＰ）を使用して前記類似性カーネルをマージし、前記時空間シーングラフの最終的なグラフ特徴を単一の特徴表現で出力するように構成される、請求項３に記載のシーン・アウェア映像エンコーダシステム。
【請求項5】
前記プロセッサはさらに、前記映像フレームのシーケンスの各映像フレームを、共有の擬似３次元（３Ｄ）時空間に登録し、
前記映像フレームのシーケンスの各映像フレームを登録すると、前記映像フレームのシーケンスの擬似３Ｄシーングラフ表現を作成するように構成され、前記擬似３Ｄシーングラフ表現は、前記潜在空間の前記時空間シーングラフに埋め込まれる、請求項１に記載のシーン・アウェア映像エンコーダシステム。
【請求項6】
前記プロセッサはさらに、前記時空間シーングラフ表現を静的サブグラフと動的サブグラフとに分割するように構成され、前記静的サブグラフは、前記シーン内で静的である１つまたは複数の物体に対応するグラフノードを含み、前記動的サブグラフは、前記シーン内で動いている１つまたは複数の物体に対応するグラフノードを含む、請求項５に記載のシーン・アウェア映像エンコーダシステム。
【請求項7】
前記プロセッサはさらに、基準に基づいて前記静的サブグラフの少なくとも２つのグラフノードをマージするように構成され、前記基準は、前記映像フレームのシーケンスにわたって互いに近傍の前記２つのグラフノードの３Ｄ時空間的近接性、前記２つのグラフノードの対応する物体が同じ物体ラベルを有すること、および、前記物体の対応するバウンディングボックスのＩｏＵ（Intersection over Union）が予め規定された閾値を超えること、のうちの１つまたは組み合わせを含む、請求項６に記載のシーン・アウェア映像エンコーダシステム。
【請求項8】
前記プロセッサはさらに、前記時空間トランスフォーマで訓練されたデコーダを使用して、前記潜在空間における前記時空間シーングラフの符号化された前記ノードから前記シーンの前記映像のトランスクリプションを復号するように構成される、請求項１に記載のシーン・アウェア映像エンコーダシステム。
【請求項9】
前記プロセッサはさらに、前記映像に対応するクエリを受信し、
マルチヘッドのセルフアテンションを使用して前記クエリの埋め込みを生成するように構成され、前記クエリは、マルチヘッドアテンショントランスフォーマを使用して前記時空間シーングラフの階層抽象化について対処され、前記プロセッサはさらに、
前記埋め込みの平均値プーリングを実行し、
前記平均値プーリングに基づいて、クエリについて条件付けられた特徴を出力するように構成される、請求項８に記載のシーン・アウェア映像エンコーダシステム。
【請求項10】
前記プロセッサはさらに、前記クエリについて条件付けられた特徴に基づいて、前記クエリに対する回答を予測し、
予測された前記回答と候補回答のセットとの類似性を計算し、
計算された前記類似性に基づいて、前記クエリに対する回答表現を出力するように構成される、請求項９に記載のシーン・アウェア映像エンコーダシステム。
【請求項11】
シーン・アウェア映像符号化を実行する方法であって、シーンの映像の映像フレームのシーケンスを受信することと、
前記映像フレームのシーケンスを、前記シーン内の１つまたは複数の静的物体および１つまたは複数の動的物体を表すノードを含む時空間シーングラフに変換することとを備え、前記シーン内の前記静的物体の各々の外観および位置は、前記時空間シーングラフの単一のノードの特性によって表され、前記シーン内の前記動的物体の各々は、異なる時間のインスタンスにおける前記動的物体の各々の外観、位置、および動作を記述する前記時空間シーングラフの複数のノードの特性によって表され、前記方法はさらに、
時空間トランスフォーマを使用して前記時空間シーングラフの前記ノードを潜在空間に符号化することを備え、前記時空間トランスフォーマは、前記シーンの異なる時空間体積に対応する前記時空間シーングラフの異なるノードの異なる組み合わせを符号化し、前記組み合わせの各々における前記異なるノードのうちの各ノードの符号化は、前記組み合わせの各々における前記異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされ、前記方法はさらに、
前記時空間シーングラフの符号化された前記ノードを出力することを備える、方法。
【請求項12】
異なる時空間解像度を有する異なる時空間体積のウィンドウスライディング法を使用して、前記時空間シーングラフの前記異なるノードの異なる組み合わせを選択することをさらに備える、請求項１１に記載の方法。
【請求項13】
前記異なるノードの異なる組み合わせについての類似性カーネルを計算することと、前記類似性カーネルに基づいて、前記時空間シーングラフの前記異なるノードの異なる組み合わせ同士の間の類似性を決定することとをさらに備える、請求項１２に記載の方法。
【請求項14】
一連の多層パーセプトロン（ＭＬＰ）を使用して前記類似性カーネルをマージすることと、前記時空間シーングラフの最終的なグラフ特徴を単一の特徴表現で出力することとをさらに備える、請求項１３に記載の方法。
【請求項15】
前記映像フレームのシーケンスの各映像フレームを、共有の擬似３次元（３Ｄ）時空間に登録することと、前記映像フレームのシーケンスの各映像フレームを登録すると、前記映像フレームのシーケンスの擬似３Ｄシーングラフ表現を作成することとをさらに備え、前記擬似３Ｄシーングラフ表現は、前記潜在空間の前記時空間シーングラフに埋め込まれる、請求項１１に記載の方法。
【請求項16】
前記時空間シーングラフ表現を静的サブグラフと動的サブグラフとに分割することをさらに備え、前記静的サブグラフは、前記シーン内で静的である１つまたは複数の物体に対応するグラフノードを含み、前記動的サブグラフは、前記シーン内で動いている１つまたは複数の物体に対応するグラフノードを含む、請求項１５に記載の方法。
【請求項17】
基準に基づいて前記静的サブグラフの少なくとも２つのグラフノードをマージすることをさらに備え、前記基準は、前記映像フレームのシーケンスにわたって互いに近傍の前記２つのグラフノードの３Ｄ時空間的近接性、前記２つのグラフノードの対応する物体が同じ物体ラベルを有すること、および、前記物体の対応するバウンディングボックスのＩｏＵ（Intersection over Union）が予め規定された閾値を超えること、のうちの１つまたは組み合わせを含む、請求項１６に記載の方法。
【請求項18】
前記時空間トランスフォーマで訓練されたデコーダを使用して、前記潜在空間における前記時空間シーングラフの符号化された前記ノードから前記シーンの前記映像のトランスクリプションを復号することをさらに備える、請求項１１に記載の方法。
【請求項19】
前記映像に対応するクエリを受信することと、マルチヘッドのセルフアテンションを使用して前記クエリの埋め込みを生成することとをさらに備え、前記クエリは、マルチヘッドアテンショントランスフォーマを使用して前記時空間シーングラフの階層抽象化について対処され、さらに、
前記埋め込みの平均値プーリングを実行することと、
前記平均値プーリングに基づいて、クエリについて条件付けられた特徴を出力することとを備える、請求項１８に記載の方法。
【請求項20】
前記クエリについて条件付けられた特徴に基づいて、前記クエリに対する回答を予測することと、予測された前記回答と候補回答のセットとの類似性を計算することと、
計算された前記類似性に基づいて、前記クエリに対する回答表現を出力することとをさらに備える、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して映像シーン・アウェア認識に関し、より特定的にはシーン・アウェア映像エンコーダシステムおよび方法に関する。
【背景技術】
【0002】
今日、機械は、映像に取り込まれた環境における物体および出来事について人間と対話する可能性を有して構築されている。そのような人間との対話のために、機械には、映像のシーンから物体および出来事について推論するための動的なオーディオビジュアルシーンの有効なモデルが搭載されていることがある。そのような動的なオーディオビジュアルシーンモデルは、マルチモーダル推論問題、たとえば映像ベースの推論問題に対応する。典型的に、ビジュアルシーングラフが映像ベースの推論のためのデータ構造として使用され、そのようなビジュアルシーングラフは映像の各映像フレームについて構築される。しかしながら、映像は本質的に、３Ｄ空間で起こっている出来事の２Ｄ「ビュー」のシーケンスであることから、フレームごとにビジュアルシーングラフを有する必要性は冗長であり得る。ビジュアルシーングラフの冗長性は、より長い映像シーケンスでは計算に悪影響を及ぼすようになる可能性がある。
【0003】
さらに、ビジュアルシーングラフには、映像が３次元（３Ｄ）空間で起こっている出来事の２次元（２Ｄ）「ビュー」のシーケンスを表しているという洞察が欠如していることがある。そのような洞察（すなわち３Ｄ情報）が欠如していると、映像の各映像フレームを流れる時空間情報を取り込むことができない場合がある。時空間情報は、映像のフレーム間を流れる３Ｄシーンのセマンティクスを提供する。さらに、場合によっては、映像内の物体が遮蔽されることがあり、これは、物体の情報（空間／位置情報など）を取り込む際にビジュアルシーングラフに影響を及ぼすことがある。ビジュアルシーングラフが含む情報は、物体が遮蔽されるために少なくなる場合があり、これにより、映像ベースの推論のために出力する結果が不正確になる場合がある。
【0004】
したがって、上述の問題を克服する必要がある。より具体的には、映像ベースの推論のために正確な結果を出力しながら、効率的かつ実現可能な方法でビジュアルシーングラフを生成する必要がある。
【発明の概要】
【0005】
いくつかの実施形態は、映像が、さまざまな出来事が時間的に起こる３次元（３Ｄ）空間の２次元（２Ｄ）ビューを含み、当該映像のシーンが、ビジュアルシーングラフに基づく表現の冗長性を回避するために４次元（４Ｄ）時空間で表現され得る、という認識に基づいている。４Ｄ空間は３つの空間次元を含み、４番目の次元は時間である。さらに、いくつかの実施形態は、各物体（すなわち、いくつかの映像フレーム内に見える物体）が３Ｄ空間において位置を取得すると、永続性のような物体特性が当該空間で効率的に処理されることにより、カメラビューがその空間的位置から解放され得る、という理解に基づいている。このため、いくつかの実施形態はシーンの３Ｄ表現の使用を提案しており、これにより、２Ｄシーングラフで作業するときの重大な問題である遮蔽を回避できるようになる。さらに、典型的に、映像質問応答（ＱＡ）のような映像ベースの推論タスクに対する時空間シーングラフアプローチのために、時空間シーングラフが映像の映像フレームごとに構築される。しかしながら、時空間シーングラフアプローチには、映像が３次元（３Ｄ）空間で起こっている出来事の２次元（２Ｄ）「ビュー」のシーケンスを表しているという洞察が欠如していることがある。時空間シーングラフアプローチも、時空間情報、すなわち映像のフレーム間を通る３Ｄシーンのセマンティクスを取り込むことができない場合がある。
【0006】
そのため、いくつかの実施形態の目的は、シーン・アウェア映像エンコーダシステムおよび方法を提供することである。また、いくつかの実施形態の目的は、映像の時空間情報を取り込むことである。いくつかの例示的な実施形態において、時空間情報を取り込むために、映像からキーフレームが抽出され得る。キーフレームは、クラスタベースのキーフレーム抽出、視覚ベースのキーフレーム抽出、動作解析ベースのキーフレーム抽出のようなキーフレーム抽出方法を使用して抽出され得る。いくつかの他の例示的な実施形態において、キーフレームは、たとえばVisualGenomeデータセットのようなデータセット上で訓練されたモデルの特徴に基づいて抽出され得る。たとえば、サッカースポーツ映像のキーフレームは、サッカー場にいる選手、選手のところにあるサッカーボールなどを含むデータセットから抽出された特徴に基づいて抽出され得る。いくつかの実施形態において、キーフレームは、映像の冗長な映像フレームを廃棄することによって抽出され得る。
【0007】
いくつかの例示的な実施形態において、映像の各フレームがシーンの２．５Ｄ時空間シーングラフのような擬似３Ｄ構造に変換されて、映像フレームの３Ｄ構造における時空間情報が取り込まれ得る。このように、２．５Ｄシーングラフのグラフノードが共有の３Ｄ空間座標フレームにマッピングされる。各グラフノードについておおよその３Ｄ位置を付与するためのそのようなシーンの２．５Ｄ再構築により、時空間シーングラフ、すなわち（２．５＋１）Ｄシーングラフが生成される。いくつかの実施形態において、時空間シーングラフは、対応する映像フレームの２．５Ｄシーングラフを共有の（２．５＋１）Ｄ時空間に登録することによって生成される。
【0008】
しかしながら、２．５Ｄシーングラフを（２．５＋１）Ｄ時空間に登録するにもかかわらず、各グラフは依然として映像フレームに特有であり、共有空間に登録されない場合がある。（２．５＋１）Ｄ時空間ベースの登録は、シーン内の物体があるフレームから別のフレームに移動し得るという事実によって混乱する可能性がある。このため、時空間シーングラフは、シーン内の物体の動作に基づいて静的サブグラフと動的サブグラフとに分離され得る。特に、時空間シーングラフの分離は、あるクラスに属する時空間シーングラフの基本的なグラフノードが、通常、シーン内で動くか否かに依存する。たとえば、場合によっては、グラフノードは、シーン内で動く人物クラスのような動的物体クラスに対応し得る。場合によっては、グラフノードは、シーン内で静的であるとみなされるテーブルクラスのような静的物体クラスに対応し得る。
【0009】
分離後、静的サブグラフのグラフノードはマージされ、動的２．５Ｄサブグラフのグラフノードは元の時空間シーングラフから維持される。いくつかの実施形態において、静的サブグラフの２つのグラフノードは基準に基づいてマージされ得る。当該基準は、映像のフレームにわたってそれらグラフノードの３Ｄ空間的近接性が近いこと、２つのグラフノードの対応する物体が同じ物体ラベルを有すること、および、物体の対応するバウンディングボックスの重なりが予め規定された閾値を超えることである。静的サブグラフのそのようなグラフノードをマージすることで、冗長なグラフノード、すなわち静的サブグラフ内の静的物体のコピーが除去される。いくつかの実施形態において、動的サブグラフ内のグラフノードは、当該グラフノードと他のグラフノードとの相互作用を取り込む動作特徴でエンリッチ化され得る。各動的グラフノードが、対応する物体レベルの特徴表現とともに動作特徴でエンリッチ化されると、動的サブグラフノードは、フレームレベルのセマンティクスと、物体のアクション（たとえば、人がカップを持ち上げること）とを取り込み得る。
【0010】
時空間シーングラフ表現は、計算上効率的なフレームワークで、シーン内で起こっている時空間行動を要約し得る。いくつかの実施形態において、シーングラフ表現は、視覚質問応答（ＶＱＡ）タスクのための豊富な推論スキームを開発するために使用され得る。たとえば、映像のシーン内の人と静的物体との対話は、それぞれのグラフノード同士の間の時空間的近接性が最小化される時空間シーングラフ内の領域に対処することによって取り込まれ得る。
【0011】
そのため、時空間シーングラフは、階層的な潜在埋め込みに基づいて埋め込まれ得る。階層的な潜在埋め込みは、さまざまな時空間的近接性を介して時空間シーングラフのグラフエッジを構築し得る。さまざまな時空間的近接性を用いてグラフエッジを構築することで、複数の粒度（たとえば異なる解像度）で時空間シーングラフの潜在埋め込みが取り込まれ得る。そのような埋め込まれた時空間シーングラフは、映像についてのクエリの適切な回答を取り出すために、ＶＱＡ質問について条件付けられているＶＱＡタスクのトランスフォーマ推論パイプライン内で使用され得る。
【0012】
いくつかの実施形態において、動的サブグラフ内の物体の対話を意味論的に表現するために、静的物体および動的物体の特徴が潜在空間に埋め込まれ得る。そのため、異なる時空間解像度を有する異なる時空間体積のウィンドウスライディング法を使用して、時空間シーングラフの異なるノード（すなわち静的物体および動的物体）の異なる組み合わせが選択され得る。さらに、異なる組み合わせの類似性は、時空間カーネル、文字列カーネル、グラフカーネルのような類似性カーネルを使用してもよい。類似性カーネルは、時空間的に近傍の時空間シーングラフ内のグラフノードの特徴を取り込む。いくつかの実施形態において、時空間シーングラフの異なるノードの異なる組み合わせ同士の間の類似性を決定するために、異なるノードの異なる組み合わせについての類似性カーネルが計算され得る。類似性カーネルは、一連の多層パーセプトロン（ＭＬＰ）を使用してマージされる。一連のＭＬＰは、単一の特徴表現を時空間シーングラフの最終的なグラフ特徴として出力する。そのような最終的なグラフ特徴は、ＶＱＡタスクに使用され得る。
【0013】
いくつかの実施形態において、潜在空間に符号化された時空間シーングラフは、シーンの映像のトランスクリプションを復号するために使用され得る。映像のトランスクリプションは、時空間トランスフォーマで訓練されたデコーダを使用して、潜在空間から復号され得る。デコーダは、映像に対応するクエリを受信し得る。いくつかの実施形態において、クエリの埋め込みは、マルチヘッドのセルフアテンションを使用して生成され得る。マルチヘッドのセルフアテンションは、時空間シーングラフの階層抽象化に基づいてクエリに対処し得る。特に、クエリは、マルチヘッドのクロスアテンショントランスフォーマを使用して対処され得る。クエリの後、埋め込みは、クエリについて条件付けられた特徴をクエリに対して出力するために、埋め込みの平均値プーリングのようなプーリング技術を使用してプールされ得る。クエリについて条件付けられた特徴は、クエリに対する回答を予測するために使用され得る。予測回答は、（グラウンドトゥルース回答を含む）候補回答のセットの埋め込みを表し得る。いくつかの実施形態において、デコーダは、予測回答とグラウンドトゥルース回答との間の交差エントロピー損失に基づいて訓練されてもよい。
【0014】
したがって、一実施形態は、シーン・アウェア映像エンコーダシステムを開示し、上記シーン・アウェア映像エンコーダシステムは、少なくとも１つのプロセッサと、命令が格納されたメモリとを含み、上記命令は、少なくとも１つのプロセッサによって実行されると、上記シーン・アウェア映像エンコーダシステムに、シーンの映像の映像フレームのシーケンスを受信することと、上記映像フレームのシーケンスを、上記シーン内の１つまたは複数の静的物体および動的物体を表すノードを含む時空間シーングラフに変換することとを行わせ、上記シーン内の上記静的物体の各々の外観および位置は、上記時空間シーングラフの単一のノードの特性によって表され、上記シーン内の上記動的物体の各々は、異なる時間のインスタンスにおける上記動的物体の各々の外観、位置、および動作を記述する上記時空間シーングラフの複数のノードの特性によって表され、上記シーン・アウェア映像エンコーダシステムにさらに、時空間トランスフォーマを使用して上記時空間シーングラフの上記ノードを潜在空間に符号化することを行わせ、上記時空間トランスフォーマは、上記シーンの異なる時空間体積に対応する上記時空間シーングラフの異なるノードの異なる組み合わせを符号化し、上記組み合わせの各々における上記異なるノードのうちの各ノードの符号化は、上記組み合わせの各々における上記異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされ、上記シーン・アウェア映像エンコーダシステムにさらに、上記時空間シーングラフの符号化された上記ノードを出力することを行わせる。
【0015】
別の実施形態は、シーン・アウェア映像符号化のための方法を開示し、上記方法は、シーンの映像の映像フレームのシーケンスを受信することを含む。上記方法は、上記映像フレームのシーケンスを、上記シーン内の１つまたは複数の静的物体および動的物体を表すノードを含む時空間シーングラフに変換することを含む。上記シーン内の上記静的物体の各々の外観および位置は、上記時空間シーングラフの単一のノードの特性によって表され、上記シーン内の上記動的物体の各々は、異なる時間のインスタンスにおける上記動的物体の各々の外観、位置、および動作を記述する上記時空間シーングラフの複数のノードの特性によって表される。上記方法は、時空間トランスフォーマを使用して上記時空間シーングラフの上記ノードを潜在空間に符号化することを含み、上記時空間トランスフォーマは、上記シーンの異なる時空間体積に対応する上記時空間シーングラフの異なるノードの異なる組み合わせを符号化し、上記組み合わせの各々における上記異なるノードのうちの各ノードの符号化は、上記組み合わせの各々における上記異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされる。上記方法はさらに、上記時空間シーングラフの符号化された上記ノードを出力することを含む。
【図面の簡単な説明】
【0016】
【図1】本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステムの環境の表現を示す図である。
【図2A】本開示のいくつかの実施形態に係る、シーン・アウェア映像解析システムの概略図である。
【図2B】本開示のいくつかの実施形態に係る、時空間シーングラフの分離のための表現を示す図である。
【図3】本開示のいくつかの実施形態に係る、時空間シーングラフの異なるノードのグラフ表現と、時空間シーングラフの異なるノードの異なる時空間体積の異なる組み合わせのグラフ表現とを示す図である。
【図4】本開示のいくつかの実施形態に係る、一連の多層パーセプトロンの表現を示す図である。
【図5】本開示のいくつかの実施形態に係る、時空間グラフを使用する映像質問応答（ＶＱＡ）タスクのような、シーンの映像のトランスクリプションを復号するための表現を示す図である。
【図6A】本開示のいくつかの実施形態に係る、ＶＱＡタスクのための標準トランスフォーマを有する時空間トランスフォーマのアーキテクチャ表現を示す図である。
【図6B】本開示のいくつかの他の実施形態に係る、ＶＱＡタスクのための標準トランスフォーマを有する時空間トランスフォーマの別のアーキテクチャ表現を示す図である。
【図6C】本開示のさらにいくつかの他の実施形態に係る、ＶＱＡタスクのための標準トランスフォーマを有する時空間トランスフォーマのさらに別のアーキテクチャ表現を示す図である。
【図7A】本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステムを使用するＶＱＡタスクについての評価調査を示す図である。
【図7B】本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステムについてのアブレーション調査を示す図である。
【図8】本開示のいくつかの実施形態に係る、映像を符号化する方法のフロー図である。
【図9】本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステムの概略ブロック図である。
【図10】本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステムのユースケース実装を示す図である。
【図11】本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステムを使用してＶＱＡタスクを実行するためのユースケース実装を示す図である。
【図12】一実施形態に係る、カーネル化されたセルフアテンションに対して異なる抽出関数を使用する方法の概略図である。
【発明を実施するための形態】
【0017】
以下の記載では、説明のために、本開示が十分に理解されるよう多数の具体的な詳細事項を述べる。しかしながら、本開示はこれらの具体的な詳細事項なしで実施し得ることが当業者には明らかであろう。その他の場合では、本開示を不明瞭にするのを避けることだけのために、装置および方法をブロック図の形式で示す。
【0018】
本明細書および請求項で使用される、「たとえば」、「例として」、および「～のような」という用語、ならびに「備える」、「有する」、「含む」という動詞およびこれらのその他の動詞形の各々は、１つ以上の構成要素または他のアイテムの列挙とともに使用された場合、オープンエンドであるように解釈されるべきであり、これは、列挙が他のさらなる構成要素またはアイテムを排除するものとして考えられるべきでないことを意味している。「～に基づく」という用語は、少なくとも部分的に基づくことを意味する。さらに、本明細書で使用される文体および術語は、説明のためのものであって限定とみなされてはならないことが理解されるはずである。本明細書で使用されるいかなる見出しも、便宜的なものにすぎず、法的または限定効果を持つものではない。
システムの概略
システムの概略
【0019】
図１は、本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステム１１０の環境１００の表現を示す。説明のためのシナリオ例では、映像１０４内のシーン１０２は、静的または動的であり得る異なる物体を含み得る。たとえば、シーン１０２は、物体１０６Ａおよび物体１０６Ｂを含む。物体１０６Ａは、シーン１０２内で動く人のような動的物体に対応し得るものであり、物体１０６Ｂは、シーン１０２内のテーブルの上で静的なままであるラップトップのような静的物体に対応し得る。映像１０４のそのようなシーン１０２は、シーン・アウェア映像エンコーダシステム１１０によって処理され得る。いくつかの例示的な実施形態において、シーン１０２を処理することは、シーン１０２の映像のトランスクリプションを提供すること、および／またはシーン１０２に関連するクエリに対する応答を提供することを含み得る。シーン・アウェア映像エンコーダシステム１１０は、プロセッサ１１２およびメモリ１１４を含む。メモリ１１４は、プロセッサ１１２によって実行される命令を格納するように構成される。いくつかの例示的な実施形態において、シーン・アウェア映像エンコーダシステム１１０は、スタンドアロンシステムとして具体化されてもよく、または別のコンピューティングシステムの一部であってもよい。
【0020】
次に図２Ａを参照して、シーン・アウェア映像エンコーダシステム１１０のプロセッサ１１２が映像１０４を処理するプロセスについてさらに説明する。
【0021】
図２Ａは、プロセッサ２０４によって実行される、いくつかの実施形態に係るシーン・アウェア映像エンコーダシステム２０２の概略図２００を示す。プロセッサ２０４は、映像フレームのシーケンス２０８（以下、同義で映像フレーム２０８と称される）を受信するように構成される。映像フレームのシーケンス２０８は、シーン１０２の映像１０４に対応する。いくつかの例示的な実施形態において、映像フレームのシーケンス２０８は、ネットワーク１０８のようなネットワークを介して受信され得る。シーン・アウェア映像エンコーダシステム２０２は、図１のシーン・アウェア映像エンコーダシステム１１０に対応する。シーン・アウェア映像エンコーダシステム２０２は、プロセッサ２０４およびメモリ２０６を含む。メモリ２０６は命令を格納する。
【0022】
受信された映像フレームのシーケンス２０８は前処理されて、前処理された映像フレームのシーケンス２１０が出力される。前処理された映像フレームのシーケンス２１０は、映像フレーム２０８内に検出された物体と、映像フレーム２０８内の物体の深度情報とを含む。いくつかの実施形態において、映像フレーム２０８は、映像フレーム２０８の各々における物体検出のための物体検出モデルと、深度情報推定のためのニューラルネットワークモデルとを使用して前処理され得る。
【0023】
いくつかの例示的な実施形態において、物体検出モデルは、高速領域畳み込みニューラルネットワーク（ＦＲＣＮＮ）物体検出モデルを含み得る。ＦＲＣＮＮ物体検出モデルは、映像フレーム３０８内の物体を検出するように予め訓練されてもよい。いくつかの例示的な実施形態において、ＦＲＣＮＮ物体検出モデルは、Visual Genomeデータセットのような訓練データセットに基づいて予め訓練されてもよい。訓練データセットは、幅広い日常生活の屋内および屋外の物体であってもよい。各映像フレームにおいて、ＦＲＣＮＮ物体検出モデルは、映像フレーム２０８内の「ｍ」個の物体を検出する。
【0024】
いくつかの例示的な実施形態において、ニューラルネットワークモデル（Ｄ：Ｒｈ×ｗ×３→Ｒｈ×ｗ×４として示される）は、既製の予め訓練された２Ｄから３Ｄへの深層学習フレームワークを使用して実装され得る。２Ｄから３Ｄへの深層学習フレームワークは、効率的かつ実現可能な方法でさまざまな実世界のシーンについての現実的な深度を推定するためのＭｉＤＡＳモデルに対応し得る。ニューラルネットワークモデルは、映像フレームのシーケンス２０８の各々を赤、緑、青（ＲＧＢ）画像として受信し、映像フレーム２０８の各々の対応するＲＧＢＤ画像を出力する。たとえば、映像フレームはＲＧＢ画像（Ｉ）であり、当該ＲＧＢ画像の対応する深度情報は、２Ｄ画素位置（ｘ，ｙ）をそれぞれの３Ｄ座標（ｐ＝（ｘ，ｙ，ｚ）と示される）にマッピングするｄＩ：Ｒ２→Ｒ３である。
【0025】
ニューラルネットワークモデルによって出力された映像フレーム２０８のＲＧＢＤ画像と、物体検出モデルによって出力された映像フレーム２０８の検出された物体とが組み合わされて、前処理された映像フレームのシーケンス２１０が出力される。前処理された映像フレームのシーケンス２１０は、時空間トランスフォーマ２１２に入力される。
【0026】
【数1】
【0027】
時空間シーングラフ２１０のグラフノードは、１つまたは複数の静的ノード２１４Ａ、および１つまたは複数の動的ノード２１４Ｂを含む。１つまたは複数の静的ノード２１４Ａは、映像フレーム２０８内の対応する静的物体（たとえば物体１０８Ｂ）を表す。１つまたは複数の動的ノード２１４Ｂは、映像フレーム２０８内の対応する動的物体（たとえば物体１０６Ａ）を表す。１つまたは複数の動的ノード２１４Ｂは、動的ノード２１４Ｂの動きの情報を表す動作特徴２１４Ｃを含む。いくつかの例示的な実施形態において、動作特徴２１４Ｃは、アクション認識モデル、たとえばＩ３Ｄ（Inflated 3D network）アクション認識モデルを使用して、時空間シーングラフの動的グラフノードから抽出される。
【0028】
時空間シーングラフ２１４において、グラフノード（静的または動的）の各々は、対応する物体を表す特性を有する。たとえば、静的グラフノードは、対応する静的物体の外観および位置を表す特性を有する。同様に、動的グラフノードは、異なる時間のインスタンスにおける対応する動的物体の外観、位置、および動作を表す特性を有する。
【0029】
【数2】
【0030】
さらに、時空間シーングラフ２１４（Ｇ３．５Ｄグラフ）から、静的物体に対応するグラフノードが、グラフノードの冗長またはコピーを除去するためにプルーニングされる。これについては、次に図２Ｂで説明する。
【0031】
図２Ｂは、本開示のいくつかの実施形態に係る、時空間シーングラフ２１４の分離のための表現２１６を示す。いくつかの例示的な実施形態において、時空間シーングラフ２１４は、物体のクラス分離に基づいて分離され得る。クラス分離は、訓練データセット（たとえばＦＲＣＮＮ物体検出モデルの訓練データセット）を２つのカテゴリに分離することに対応し得る。２つのカテゴリは、静的物体のカテゴリ（Ｃｓ）および動的物体のカテゴリ（Ｃｄ）を含み得る。静的シーン物体のカテゴリ（Ｃｓ）は、テーブル、ソファ、テレビのような物体に対応し得る。動的シーン物体のカテゴリ（Ｃｄ）は、人物、携帯電話、フットボール、雲のような物体に対応し得る。そのため、時空間シーングラフ２１４は、グラフノードｖ∈Ｖの物体ラベル（Ｃｖ）がＣｓに属するかＣｄに属するかに対応して静的サブグラフ２１８Ａ（Ｇｓ）と動的サブグラフ２１８Ｂ（Ｇｄ）とに分割される。静的サブグラフ２１８Ａは、静的シーン物体のカテゴリ（Ｃｓ）に属するグラフノードを含むのに対して、動的サブグラフ２１８Ｂは動的シーン物体のカテゴリ（Ｃｄ）に属するグラフノードを含む。
【0032】
いくつかの実施形態において、エンリッチ化された時空間シーングラフ２１４のグラフ（Ｇ３．５Ｄ）は、共有３Ｄ空間に登録される。いくつかの実施形態において、静的サブグラフ２１８Ａのグラフノード（以下、静的グラフノードと称される）から、登録される特徴が抽出される。登録特徴は、映像フレーム２０８内の物体の動きに起因する問題、および／または映像フレーム２０８を取り込むカメラの動きに起因する問題に取り組むために、静的サブグラフノードから抽出される。具体的には、カメラに動きがある場合、点特徴を使用するフレーム間の３Ｄ射影行列が存在する可能性がある。射影行列は、エンリッチ化された時空間シーングラフ２１４のすべてのグラフノード（静的グラフノードおよび動的グラフノードの両方を含む）を共通座標フレームにマッピングするために使用され得る。
【0033】
【数3】
【0034】
【数4】
【0035】
【数5】
【0036】
【数6】
【0037】
【数7】
【0038】
さらに、いくつかの実施形態において、時空間トランスフォーマ２０６は、シーン１０２の異なる時空間体積に対応する時空間シーングラフ２１４の異なるノードの異なる組み合わせを潜在空間に符号化する。組み合わせの各々における異なるノードのうちの各ノードの符号化は、組み合わせの各々における異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされる。その詳細については、図６Ｂを参照して後述する。次に図３を参照して、異なる組み合わせにおける異なるノードの異なる時空間体積を示し説明する。
【0039】
図３は、本開示のいくつかの実施形態に係る、時空間シーングラフ２１４の異なるノードのグラフ表現３０２と、時空間シーングラフ２１４の異なるノードの異なる時空間体積の異なる組み合わせのグラフ表現３０８とを示す。
【0040】
説明のためのシナリオ例では、グラフ表現３０２は、ｔ１，ｔ２，ｔ３，ｔ４およびｔ５（ｔ１～ｔ５）のような異なる時間インスタンスにおける時空間シーングラフ２１４の静的ノード３０４の表現を含む。静的ノード３０４は、映像フレーム２０８内の異なる時間インスタンスにおいて静的なままであるテーブルのような静的物体に対応し得る。異なる時間インスタンス（すなわちｔ１～ｔ５）において、物体の外観および位置は、静的物体の場合は変化しないままである。グラフ表現３０２は、異なる時間インスタンス（ｔ１～ｔ５）における、映像フレーム２０８内の人のような動的物体に対応する動的ノードの表現も含む。動的ノードは、ｔ１における動的ノード３０６Ａ、ｔ２における動的ノード３０６Ｂ、ｔ３における動的ノード３０６Ｃ、ｔ４における動的ノード３０６Ｄ、およびｔ５における動的ノード３０６Ｅを含む。
【0041】
さらに、グラフ表現３０８に示されるように、時空間シーングラフ２１４の異なるノードの異なる組み合わせが、異なる時空間解像度を有する異なる時空間体積のウィンドウスライディングを使用して選択される。異なる組み合わせは、グラフ表現３０８に示されるように、組み合わせ３１０Ａ、組み合わせ３１０Ｂ、および組み合わせ３１０Ｃ（以下、組み合わせ３１０Ａ～３１０Ｃと称される）を含み得る。組み合わせ３１０Ａは、静的ノード３０４と、時間インスタンスｔ２およびｔ３における動的ノード３０６Ｂおよび動的ノード３０６Ｃとの組み合わせを含む。組み合わせ３１０Ｂは、冗長コピー３０４Ａとして視覚化できる静的物体と、時間インスタンスｔ３およびｔ４における動的ノード３０６Ｃおよび動的ノード３０６Ｄとの組み合わせを含む。組み合わせ３１０Ｃは、時間インスタンスｔ４およびｔ５における動的ノード３０６Ｄと動的ノード３０６Ｅとの組み合わせを含む。組み合わせ３１０Ｂは、静的ノード３０４の冗長コピー３０４Ａと、時間インスタンスｔ２およびｔ３における動的ノード３０６Ｂおよび動的ノード３０６Ｃとの組み合わせを含む。
【0042】
異なるノードの組み合わせ（すなわち組み合わせ３１０Ａ～３１０Ｃ）の各々は、異なる半径（ｒ）によって定義される対応するシーンの情報を含む、組み合わせられた特徴を取り込む。組み合わせられた特徴は、複数のスケールにおける相関、すなわち、異なる半径の値についての相関も含み得る。たとえば、ノードの特徴は、（人＋カップ）、（カップ＋時計）、（人＋ソファ）と、（人＋カップ＋本）、（カップ＋本＋時計）、（人＋ソファ＋人）などの複数のスケールにおける相関とを含み得る。いくつかの例示的な実施形態において、組み合わせ３１０Ａ～３１０Ｃのような異なる組み合わせの類似性を取り込む、組み合わせられた特徴は、類似性カーネル（ｋ）３１２を使用して時空間トランスフォーマ２１２によって抽出され得る。いくつかの例示的な実施形態において、類似性カーネル（ｋ）３１２は、時空間カーネル、文字列カーネル、グラフカーネル、またはその他の類似性尺度のうちの１つに対応し得る。
【0043】
【数8】
【0044】
【数9】
【0045】
さらに、時空間特徴は、複数の粒度（または解像度）での時空間シーングラフ２１４の階層抽象化に向けた表現に改善される。これについては、次に図４を参照して説明する。
【0046】
【数10】
【0047】
【数11】
【0048】
【数12】
【0049】
【数13】
【0050】
【数14】
【0051】
映像フレーム２０８の階層情報を含む最終的なグラフ特徴４１２は、訓練データセット内の物体の統計的な近接性から学習された特徴の表現よりも、映像フレーム２０８のより良いシーン表現を提供する。
【0052】
さらに、時空間シーングラフ２１４の最終的なグラフ特徴４１２は、映像質問応答（ＶＱＡ）タスクに使用され得る。これについては、次に図５を参照して説明する。
【0053】
図５は、本開示のいくつかの実施形態に係る、映像（たとえば映像１０４）の映像フレームのシーケンス（たとえば映像フレーム２０８）の時空間シーングラフ２１４を使用するＶＱＡタスク５１２のような、シーンの映像のトランスクリプションを復号するための表現５００を示す。時空間シーングラフ２１４は、映像１０４に対応するクエリ（たとえば「カップはどのように落ちたのか？」）の質問埋め込み５０６とともに、階層トランスフォーマ５０４に入力される。たとえば、映像フレーム２０２のような映像フレームのシーケンス（Ｓとして示される）は、「ｎ」個の映像フレームを含み得る。映像フレームのシーケンス（Ｓ）２０８の各々は、少なくとも１つの質問またはクエリ（Ｑ）に関連付けられ得る。クエリは、トークン化され埋め込まれている、予め規定された語彙からの単語の順序付けられたタプルであってもよい。
【0054】
図４で前述したように、時空間シーングラフ２１４の最終的なグラフ特徴４１２は、階層トランスフォーマ５０４によって質問埋め込み５０６と組み合わせられる。組み合わせられた最終的なグラフ特徴および質問埋め込み５０６は、ＶＱＡタスク５１２の入力特徴５０８として使用される。
【0055】
いくつかの実施形態において、ＶＱＡタスク５１２は、「ｌ」個の候補回答の集合体またはセット５１０（Ａ＝｛Ａ１，Ａ２，…，Ａｌ｝）から予測回答Ａｐｒｅｄを取り出すタスクと定義され得る。「ｌ」個の候補回答５１０は、グラウンドトゥルース回答（Ａｇｔ）を含み得る。
【0056】
【数15】
【0057】
図６Ａは、本開示のいくつかの実施形態に係る、標準トランスフォーマ６０６を有する時空間トランスフォーマ６０４のアーキテクチャ表現６００Ａを示す。標準トランスフォーマ６０６は、質問エンコーダ６０６Ａと、マルチヘッドアテンションモジュール６０６Ｂと、回答デコーダ６０６Ｃとを含む。
【0058】
いくつかの例示的な実施形態において、入力６０２は時空間シーングラフ６０２Ａを含む。時空間シーングラフ６０２Ａは、時空間トランスフォーマ６０４に入力される時空間シーングラフ２１４の一例である。入力６０２は、標準トランスフォーマ６０６に入力される映像フレーム２０８に対応するクエリ（Ｑ）６０２Ｂも含み得る。いくつかの例示的な実施形態において、クエリ６０２Ｂは、質問埋め込み６０８として標準トランスフォーマ６０６に入力される。標準トランスフォーマ６０６は、質問エンコーダ６０６Ａを使用して、クエリに回答するためのクエリ、キー、および値埋め込みを作成する。クエリ、キー、および値埋め込みは、時空間シーングラフ２１４のグラフノード特徴（たとえば最終的なグラフ特徴４１２）を使用して作成される。標準トランスフォーマ６０６は、グラフノード特徴を使用して、クエリとキーとの間の相関を生成する。この相関は、時空間シーングラフ２１４の２つのグラフノード同士の間の相互作用、すなわちエッジを決定する。たとえば、訓練データにおいて、人がカップと対話しているサンプルが存在する場合があり、その場合、人がカップを持っているシーンについては、人およびカップの特徴同士の間に高い相関が存在する。そのため、標準トランスフォーマ６０４は、人およびカップの特徴同士の間の高い相関に基づいて人およびカップのグラフノードを接続するエッジを追加するようにセルフアテンションを割り当ててもよい。
【0059】
【数16】
【0060】
式（６）におけるソフトマックス関数は、Ｑ、ＫおよびＶ埋め込みを、出力（たとえば単語）に対するｋ個の確率からなる確率分布に正規化する。例示的な実施形態において、ソフトマックス関数はスコアを確率に変換し、そこから最も高い確率が標準トランスフォーマ６０６の単語出力として選択される。
【0061】
【数17】
【0062】
【数18】
【0063】
いくつかの例示的な実施形態において、回答表現６１０を出力するために、映像フレーム２０８の対話履歴および／またはキャプション特徴が使用されてもよい。そのため、標準トランスフォーマ６０６は、長・短期記憶（ＬＳＴＭ）を使用してクエリおよび回答を特徴空間（たとえば１２８Ｄ特徴空間）に符号化してもよい。特に、ＬＳＴＭは、最終的なグラフ特徴４１２と組み合わせられる対話履歴およびキャプション特徴を符号化し、回答表現６１０を出力してもよい。いくつかの例示的な実施形態において、回答表現６１０は、マルチヘッドアテンションモジュール６０６Ｂを使用して対話履歴、キャプション特徴および最終的なグラフ特徴４１２を符号化することによって得られてもよい。
【0064】
時空間トランスフォーマ６０４および標準トランスフォーマ６０６のアーキテクチャは異なり得る。これについては、次に図６Ｂを参照して次説明する。
【0065】
図６Ｂは、本開示のいくつかの他の実施形態に係る、ＶＱＡタスク５１２のための時空間トランスフォーマ６０４および標準トランスフォーマ６０６のアーキテクチャ表現６００Ｂを示す。いくつかの例示的な実施形態において、標準トランスフォーマ６０６は、入力６０２の相対／絶対位置を入力ベクトル６１２として符号化し得る。たとえば、入力ベクトル６１２は、静的グラフノード（たとえば静的グラフノード２１４Ａ）の特徴、動作特徴（たとえば動作特徴２１４Ｂ）、および動的グラフノード（たとえば動的グラフノード２１４Ｃ）の特徴のようなグラフノード特徴６１２Ａと、グラフノード特徴６１２Ａの対応する時空間位置６１２Ｂとを含み得る。クエリ６０２Ａの相対位置も、入力ベクトルとして符号化され得る。入力ベクトルは、相対位置に基づいて入力埋め込みに追加される。
【0066】
さらに、マルチヘッドアテンションモジュール６０６Ｂは、追加およびノルム層６０２Ａを介して回答デコーダ６０６Ｃのフィードフォワード層６２２に接続される。フィードフォワード層６２２は、マルチヘッドアテンションモジュール６０６Ｂの出力（たとえばクエリ６０２Ｂの特徴の行列）を、当該行列に追加の重み行列を乗算することによって連結して、単一の行列にする。
【0067】
フィードフォワード層６２２の出力は、追加およびノルムサブ層６２０Ｂを介して回答デコーダ６０６Ｃに送信される。スコアを有する出力ベクトルは、回答デコーダ６０６Ｃのソフトマックス層６２４に与えられる。ソフトマックス関数６２４は、単語出力に対してソフトマックスまたは正規化を分配する。例示的な実施形態において、ソフトマックス層６２４はスコアを確率に変換し、最も高い確率が回答表現６１０として選択される。
【0068】
いくつかの例示的な実施形態において、フィードフォワード層６２２は、マルチヘッドカーネルモジュール６１４内の他の単語からの情報を集約すると、出力を位置的に組み合わせる。マルチヘッドカーネルモジュール６１４は、類似性カーネルを計算して、時空間位置６１２Ｂにおける位置情報を取り込み得る。いくつかの例示的な実施形態において、ＭＬＰモジュール６１６は、ＭＬＰ４０８Ａ，４０８Ｂおよび４０８Ｃのような一連のＭＬＰを含み得る。連結後、組み合わせられた類似性カーネルは、別のＭＬＰモジュール６１８を介して、時空間シーングラフ６０２Ａの１つの特徴表現（たとえば最終的なグラフ特徴４１２）として出力される。たとえば、カーネルは値を多重化し、その結果得られた値はＭＬＰを用いて埋め込まれ、次に連結される。連結は、図６Ｂの６１６の出力における＋記号で起こる。
【0069】
いくつかの例示的な実施形態において、マルチヘッドカーネルモジュール６１４は、ドット積アテンションメカニズムも実行する。ドット積アテンションメカニズムでは、クエリＱ（たとえばクエリ６０２Ｂ）とクエリ６０２Ｂ内のそれぞれの単語のキーＫとのドット積が計算され得る。たとえば、クエリ６０２Ｂは、「What is happening at beginning of the video?（映像の冒頭で何が起こっているのか？）」であってもよい。クエリ６０２Ｂの各単語、すなわち、「What」、「is」、「happening」、「at」、「beginning」、「of」、「the」および「video」が、マルチヘッドカーネルアテンションモジュール６１４によってベクトルに埋め込まれる。ベクトルに行列を乗算することにより、クエリ６０２Ｂの単語の各々についてキーおよび値を有するクエリ６０２Ｂが作成され得る。それぞれの単語のクエリ６０２Ｂとキーとのドット積を取ることによってアテンションスコアが計算され得る。たとえば、最初の単語、すなわち「What」のアテンションスコアが計算される。また、残りの単語、すなわち「is」、「happening」、「at」、「beginning」、「of」、「the」および「video」の各々についてのアテンションスコアが、「What」という単語に対して計算される。
【0070】
アテンションスコアの各々は、単語が特定の位置で符号化される際にクエリ６０２Ｂの他の部分の重要度を決定する。第１の位置にある単語（すなわち「What」）の第１のアテンションスコアは、第１のクエリ（ｑ１）と第１のキー（ｋ１）とのドット積であり、すなわち「What」対「What」である。第２のアテンションスコアは、ｑ１と第２のキー（ｋ２）とのドット積であり、すなわち「What」対「is」である。同様に、単語（すなわち「happening」）の第３のアテンションスコアは、ｑ１と第３のキー（ｋ３）とのドット積であり、すなわち「What」対「happening」であり、単語（すなわち「at」）の第４のアテンションスコアは、ｑ１と第４のキー（ｋ４）とのドット積であり、すなわち「What」対「at」であり、クエリ６０２Ｂの単語の最後まで続く。そのようなアテンションスコアを、式（６）の特徴次元ｒｋの平方根で除算する。さらに、キーの各値にアテンションスコアを乗算する。アテンションスコアは、重みとして値の各々について乗算する。重み付けされた値を合計することにより、出力、すなわち、クエリ６０２Ｂに対する回答内の対応する位置における回答表現６１０の単語が提供される。回答表現６１０の単語を適切な位置で出力するために、位置符号化は、出力の相対／絶対位置をベクトルとして符号化し、これらが追加されることで回答デコーダ６０６Ｃの回答表現６１０が出力される。これにより、マルチヘッドアテンションモジュール６０６Ｂの出力を、入力６０２の入力のシーケンスと同じ順序にすることができる。入力ベクトル６１２の位置符号化の各次元は、異なる周波数を有する波であってもよく、これにより、標準トランスフォーマ６０６は、入力６０２内の（時空間シーングラフ６０２Ａおよび／またはクエリ６０２Ｂの）入力特徴の相対位置に対処するように学習することが可能になり得る。
【0071】
アーキテクチャ表現６００Ｂでは、マルチヘッドカーネルモジュール６１４とマルチヘッドアテンションモジュール６０６Ｂとは別個であり、それらの対応する出力（すなわち、時空間シーングラフ２１４の最終的なグラフ特徴４１２およびクエリ６０２Ｂの特徴）がソフトマックス層６２４で組み合わせられて、映像フレーム２０８のクエリ６０２Ｂに対する回答表現６１０が出力される。
【0072】
場合によっては、時空間シーングラフ２１４の最終的なグラフ特徴４１２およびクエリ６０２Ｂの特徴は、標準トランスフォーマ６０６に入力される前にマージされる。これについては、次に図６Ｃで説明する。
【0073】
図６Ｃは、本開示のいくつかの他の実施形態に係る、ＶＱＡタスク５１２のための時空間トランスフォーマ６０４および標準トランスフォーマ６０６のアーキテクチャ表現６００Ｃを示す。図６Ｂで前述したように、入力６０２は、グラフノード特徴６１２Ａおよび時空間位置６１２Ｂを含む入力ベクトル６１２として入力される。グラフノード特徴６１２Ａは、質問エンコーダ６０６Ａによってクエリ６０２Ｂをクエリ６０２Ｂに回答するためのクエリ、キー、および値埋め込みに符号化する際に使用される。クエリ、キー、および値埋め込みは、マルチヘッドアテンションモジュール６０６Ｂに入力される。マルチヘッドアテンションモジュール６０６Ｂは、ソフトマックス層６２４を使用して、クエリ６０２Ｂに対応する単語のスコアを確率に出力する。また、ソフトマックス層６２４は、当該確率を、マルチヘッドカーネルアテンションモジュール６１４によって出力された類似性カーネルとともに組み込み得る。
【0074】
確率と類似性カーネルとを組み合わせるソフトマックス層６２４の出力は、標準トランスフォーマ６０６に入力される。標準トランスフォーマ６０６は、確率の中から最も高い確率を選択して、回答表現６１０を出力し得る。図６Ｃに示されるように、アーキテクチャ表現６００Ｃでは、マルチヘッドアテンションモジュール６０６Ｂの出力、すなわち、クエリ、キー、および値埋め込みと、マルチヘッドカーネルアテンションモジュール６１４の出力、すなわち類似性カーネルとが、標準トランスフォーマ６０６に入力される前にソフトマックス層６２４でマージされる。
【0075】
時空間映像エンコーダシステム２０２の時空間シーングラフ２１４を使用することで、ＶＱＡタスク５１２の性能が改善され得る。時空間シーングラフ２１４を使用するＶＱＡタスク５１２の性能に関する評価を図７Ａに示す。
【0076】
図７Ａは、本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステム２０２を使用するＶＱＡタスク（たとえばＶＱＡタスク５１２）についての評価調査７００Ａを示す。いくつかの例示的な実施形態において、ＶＱＡタスクについてのシーン・アウェア映像エンコーダシステム２０２の性能は、ＮＥｘＴ－ＱＡデータセットおよびＡＶＳＤ－ＱＡデータセットのようなＶＱＡデータセットを使用して評価され得る。ＮＥｘＴ－ＱＡデータセットは、「なぜ」および「どのように」という単語を含む質問を組み込んでいる。「なぜ」および「どのように」の質問を有するそのようなデータセットは、より高度な映像の抽象化および意味論的推論を必要とする。データセットは、３８７０回の訓練と、５７０回の検証と、１０００個の試験映像とで構成される。データセットは、訓練セット、検証セット、および試験セットにおいて、３４１３２個、４９９６個、および８５６４個の多肢選択問題をそれぞれ提供し、タスクは５つの候補回答の中から１つを選択することである。ＡＶＳＤ－ＱＡデータセットは、ＱＡペアと、人間が生成した会話履歴と、各映像のキャプションとで構成される。このデータセットのＱＡ版では、タスクは、映像に関する対話履歴から最後の質問を用いて、１００個の候補回答のうちの１つから回答を選択することである。データセットは１１８１６個の映像クリップおよび１１８１６０個のＱＡペアで構成され、このうち、標準的な分割に従って、７９８５個、１８６３個、および１９６８個を訓練、検証、および試験に使用する。
【0077】
評価調査７００Ａは、時空間トランスフォーマ２１２パイプラインの性能と最先端の方法との比較を示す表７０２および表７０４を描いている。表７０２では、時空間トランスフォーマ２１２の精度が、時空間ＶＱＡ、共記憶ＱＡ、階層関係ネットワーク、マルチモーダルアテンションＶＱＡ、およびグラフ整合ＶＱＡのような方法と比較されている。時空間トランスフォーマ２１２は、ＶＱＡタスクについて精度５３．４０の性能を示す。表７０４では、時空間トランスフォーマ２１２の平均順位が、質問のみ、マルチモーダルトランスフォーマ、質問および映像、ＭＴＮ、およびＳＴシーングラフのような方法と比較されている。シーン・アウェア映像エンコーダシステム２０２は、平均順位５．８４という結果が得られた。
【0078】
ＮＥｘＴ－ＱＡデータセットにおいて、グラフ整合および階層関係モデルのような、ＶＱＡのために時空間トランスフォーマ２１２を使用する方法が、時空間シーングラフモデルと比較されており、～４％の大幅な改善を示している。訓練データセットＡＶＳＤ－ＱＡにおいて、表７０４に与えられるように、時空間トランスフォーマ２１２はＳＴＳＧＲモデルおよびマルチモーダルトランスフォーマと比較されており、取り出された回答の平均順位がこれらよりも優れている。ＡＶＳＤ－ＱＡモデルを対話履歴およびキャプション特徴のようなテキストキューと組み合わせると、平均順位はほぼ１．４に改善され、質問とテキストキューとの間に大きな偏りがあることが示唆される。
【0079】
ＮＥｘＴ－ＱＡデータセットでは、ＢＥＲＴ（Bidirectional Encoder Representations from Transformer）特徴が質問埋め込みごとに使用され得る。ＢＥＲＴ特徴は７６８Ｄ特徴を含み、これは、２５６Ｄ潜在空間に投影されて時空間シーングラフ２１４のビジュアル特徴と組み合わせられる。各候補回答は質問と連結され、ＢＥＲＴ特徴は、回答を選択するためのビジュアル特徴と一致する前に計算される。ＮＥｘＴ－ＱＡデータセットでは、ＢＥＲＴ特徴は、より優れた視覚言語整合を有し得るＣＬＩＰ特徴で増強される。ＡＶＳＤ－ＱＡデータセットでは、時空間トランスフォーマ２０２は、長・短期記憶（ＬＳＴＭ）を使用して質問および回答を１２８Ｄ特徴空間に符号化し得る。ＬＳＴＭを使用して対話履歴およびキャプション特徴が符号化され、これらは次に、マルチヘッドのアテンションモジュール（たとえばマルチヘッドアテンションモジュール６０６Ｂ）を使用してビジュアル特徴と組み合わせられる。
【0080】
さらに、２つのデータセット（すなわちＮＥｘＴ－ＱＡデータセットおよびＡＶＳＤ－ＱＡデータセット）に関する定性的結果を図７Ｂに示す。
【0081】
図７Ｂは、本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステム２０２についてのアブレーション調査７００Ｂを示す。アブレーション調査７００Ｂは、表７０８、表７１０、および表７１２を描いている。表７０８は、ＮＥｘＴ－ＱＡデータセットおよびＡＶＳＤ－ＱＡデータセットの両方に関する、シーン・アウェア映像エンコーダシステム２０２の各構成要素、すなわち時空間エンコーダ２１２の重要度に関するアブレーション調査を示す。表７０８は、時空間シーングラフ２１４のサブグラフ、すなわち静的サブグラフ２１８Ａまたは動的サブグラフ２１８Ｂがなければ、性能が低下することを示している。さらに、動作特徴２１４Ｃ（たとえばＩ３Ｄ特徴）のような動作特徴がなければ、性能はいずれのデータセットでも著しく低下し、シーン・アウェア映像エンコーダシステム２０２のパイプラインにおける動作特徴２１４Ｃの重要度を強調している。さらに、階層トランスフォーマ５０４による階層抽象化がなければ、性能はＮＥｘＴ－ＱＡでは５３．４０→５２．４９に、ＡＶＳＤ－ＱＡでは５．８４→５．９７に低下する。
【0082】
さらに、表７１０は、時空間グラフ２１４のグラフノードの全セットを推論に使用した場合の、ＮＥｘＴ ＱＡデータセットに関するアブレーションを示す。性能は少し改善され、各訓練反復ケースにかかる時間は４倍（単一のＲＴＸ６０００ ＧＰＵでは、１反復あたり～１．５秒から～６秒に）遅くなる。
【0083】
さらに、表７１２は、静的サブグラフ２１８Ａと動的サブグラフ２１８Ｂとのノード数の比較を示す。静的サブグラフ２１８Ａおよび動的サブグラフ２１８Ｂのノード数の各々が、両データセットについて、元の時空間シーングラフ２１４（すなわちプルーニングされていないシーングラフ）におけるグラフノードの総数と比較される。結果に示されるように、シーン・アウェア映像エンコーダ２０２は、ＡＶＳＤ－ＱＡデータセットではグラフノードのほぼ５４％をプルーニングし、ＮＥｘＴＱＡでは２４％をプルーニングする。ＡＶＳＤ－ＱＡの方がプルーニング率が高いのは、おそらく、ＮＥｘＴ－ＱＡの場合とは異なり、ほとんどの映像がショットスイッチを含まず、固定カメラを使用している可能性があるからである。
【0084】
図８は、本開示のいくつかの実施形態に係る、映像を符号化する方法８００のフロー図を示す。方法８００は、シーン・アウェア映像エンコーダシステム２０２によって実行される。
【0085】
動作８０２において、方法８００は、シーン（たとえばシーン１０２）の映像（たとえば映像１０４）の映像フレームのシーケンス（たとえば映像フレーム２０８）を受信することを含む。
【0086】
動作８０２において、方法８００は、映像フレームのシーケンスを、シーン内の１つまたは複数の静的物体および動的物体を表すノードを含む時空間シーングラフ（たとえば時空間シーングラフ２１４）に変換することを含む。シーン内の静的物体の各々の外観および位置は、時空間シーングラフの単一のノード（たとえば静的ノード２１４Ａ）の特性によって表される。シーン内の動的物体の各々は、異なる時間のインスタンスにおける動的物体の各々の外観、位置、および動作を記述する時空間シーングラフの複数のノード（たとえば動的ノード２１４Ｂ）の特性によって表される。
【0087】
動作８０６において、方法８００は、時空間トランスフォーマ（たとえば時空間トランスフォーマ２１２）を使用して時空間シーングラフのノードを潜在空間に符号化することを含む。時空間トランスフォーマは、シーンの異なる時空間体積に対応する時空間シーングラフの異なるノードの異なる組み合わせを符号化する（図３）。組み合わせの各々において符号化された異なるノードのうちの各ノードは、組み合わせの各々における異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされる。
【0088】
動作８０８において、方法８００は、時空間シーングラフの符号化されたノードを出力することを含む。いくつかの実施形態において、時空間シーングラフの符号化されたノードを有する潜在空間は、時空間トランスフォーマで訓練されたデコーダを用いてシーンの映像のトランスクリプションを復号するために使用され得る。
【0089】
図９は、本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステム９００の概略ブロック図を示す。シーン・アウェア映像エンコーダシステム９００は、シーン・アウェア映像エンコーダシステム２０２に対応する。例示的な実施形態において、シーン・アウェア映像エンコーダシステム９００は、入力インターフェイス９０２と、プロセッサ９０４と、メモリ９０６と、ストレージデバイス９１４と、出力インターフェイス９１６とを含む。プロセッサ９０４は、バス９２０を介して、入力インターフェイス９０２、メモリ９０６、ストレージデバイス９１４、出力インターフェイス９１６、および／またはシーン・アウェア映像エンコーダシステム９００の他の構成要素に接続され得る。
【0090】
プロセッサ９０４は、入力インターフェイス９０２を介して入力データ９２６を受信するように構成される。入力データ９２６は、映像の映像フレームのシーケンス（たとえば映像１０４の映像フレーム２０８）、および／または映像についてのクエリ（たとえばクエリ６０２Ｂ）を含み得る。映像は、ネットワークインターフェイスコントローラ（ＮＩＣ）９２２を使用してネットワーク９２４を介して受信され得るライブストリーム映像、オフライン映像ストリーム、または録画された映像に対応し得る。オフライン映像ストリームは、ストレージデバイス９１４に格納されてもよい。
【0091】
プロセッサ９０４は、映像フレームのシーケンスを時空間シーングラフ（たとえば時空間シーングラフ２１４）に変換するように構成される。時空間シーングラフは、シーン内の１つまたは複数の静的物体および動的物体を表すノードを含む。シーン内の静的物体の各々は、時空間シーングラフの単一のノードの特性によって表される外観および位置を有し、シーン内の動的物体の各々は、時空間シーングラフの複数のノードの特性によって表される。複数のノードの特性は、異なる時間のインスタンスにおける動的物体の各々の外観、位置、および動作を記述する。
【0092】
また、プロセッサ９０４は、時空間トランスフォーマ９０８を使用して時空間シーングラフのノードを潜在空間に符号化するように構成される。時空間トランスフォーマ９０８は、時空間トランスフォーマ２１２の一例である。いくつかの例示的な実施形態において、潜在空間の符号化された時空間トランスフォーマ９０８は、メモリ９０６に格納されてもよい。さらに、時空間トランスフォーマ９０８は、シーンの異なる時空間体積に対応する時空間シーングラフの異なるノードの異なる組み合わせを符号化する。組み合わせの各々における異なるノードのうちの各ノードは、符号化され、組み合わせの各々における異なるノードの時空間位置の類似性の関数として決定されるアテンションスコアで重み付けされる。
【0093】
いくつかの実施形態において、時空間シーングラフ２１４の符号化されたノードは、時空間トランスフォーマ９０８で訓練されたデコーダを用いて潜在空間からシーンの映像のトランスクリプションを復号するために使用され得る。そのため、時空間シーングラフ２１４の符号化されたノードは、出力インターフェイス９１６を介して出力デバイス９１８に出力される。出力デバイス９１８は、コンピュータ、ラップトップ、タブレット、ファブレット、または任意のディスプレイデバイスを含むが、これらに限定されるものではない。いくつかの実現例では、出力デバイス９１８は、応答を提供するためのアプリケーションインターフェイスを含み得る。
例示的な実施形態
例示的な実施形態
【0094】
図１０は、本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステム９００の例示的なユースケース１０００を示す。説明のためのシナリオ例では、シーン１００２の映像がカメラ１００４によって取り込まれ得る。場合によっては、カメラ１００４は、予め規定された固定位置に設置されてシーン１００２を取り込んでもよい。シーン１００２は、動き回る人、テーブルの上のカップのような、静的および／または動的である異なる物体を含み得る。シーン１００２は、職場、家、店舗のような公共の場または私的な場の屋内の場所に対応し得る。場合によっては、シーン１００２は、道路、公園のような屋外の場所に対応し得る。取り込まれたシーン１００２の映像は、ネットワーク９２４のようなネットワークを介してシーン・アウェア映像エンコーダシステム９００に送信され得る。
【0095】
シーン・アウェア映像エンコーダシステム９００は、映像を処理し、時空間シーングラフを出力する。時空間シーングラフは潜在空間に符号化される。潜在空間の符号化された時空間シーングラフは、シーン１００２の映像のトランスクリプションを復号するために使用される。たとえば、シーン１００２の映像は、安全およびセキュリティユニットのために監視されている場合がある。不審な事象または関心のある事象がシーン１００２に観察されると、符号化された時空間シーングラフが映像トランスクリプションのために使用され得る。
【0096】
同様に、シーン・アウェア映像エンコーダシステム９００は、車両ナビゲーションアプリケーションに使用され得る。説明のためのシナリオ例では、道路シーン１００６を取り込むためにカメラ１００８が車両（たとえば、マニュアル運転車両、完全自動車両または半自動車両）に搭載され得る。カメラ１００８は、道路シーン１００６の映像を取り込むために作動中であってもよい。取り込まれた道路シーン１００６の映像は、ネットワーク９２４のようなネットワークを介してシーン・アウェア映像エンコーダシステム９００に送信され得る。場合によっては、シーン・アウェア映像エンコーダシステム９００はカメラ１００８に埋め込まれてもよい。シーン・アウェア映像エンコーダシステム９００は映像を処理し、道路シーン１００６の時空間シーングラフを出力する。時空間シーングラフは潜在空間に符号化され、これは、道路シーン１００６の映像のトランスクリプションを復号するために使用され得る。たとえば、映像のトランスクリプションは、ナビゲーション指示を生成するために使用され得る。ナビゲーション指示は、カメラ１００８のダッシュボードを介して車両の運転者（複数の運転者）に表示され得る。
【0097】
さらに、ＶＱＡタスクのためのシーン１００２またはシーン１００６の映像のトランスクリプションの一例を、次に図１１で説明する。
【0098】
図１１は、本開示のいくつかの実施形態に係る、シーン・アウェア映像エンコーダシステム９００を使用してＶＱＡタスク１１００を実行するための例示的なシナリオである。説明のためのシナリオでは、ユーザが音声またはテキストフォーマットを介してクエリ１１０２を提供する。クエリ１１０２は、「なぜ赤い服の男性は映像の真ん中の少年を見ているのか？」を含み得る。シーン・アウェアエンコーダシステム９００は、候補回答のセット１１０４を検索する。候補回答のセット１１０４は、「Ａ１：演奏法を学んでいる」、「Ａ２：彼を待っている」、「Ａ３：少年を迎えに来た」、「Ａ４：彼をビデオ撮影するため」、「Ａ５：彼がドラムを演奏するのを見ている」を含む。候補回答１１０６は、「Ａｇｔ：彼がドラムを演奏するのを見ている」のようなグランドトゥルース回答１１０８を含む。したがって、グランドトゥルース回答１１０８に一致する回答「Ａ５：彼がドラムを演奏するのを見ている」が、クエリ１１０４に対する出力として返される。クエリ１１０４に対する回答は、最高信頼度スコアまたは最高確率アプローチに基づいて取り出されてもよい。
【0099】
いくつかの実施形態は、図４の時空間トランスフォーマを異常検出アプローチに使用することができる、という認識に基づいている。なぜなら、時空間トランスフォーマは、他のトランスフォーマとは異なるアテンションメカニズムの原理を使用するからである。具体的には、トランスフォーマは、キー、クエリ、および値を抽出するために同じメカニズムを使用するが、いくつかの実施形態の時空間トランスフォーマは、キーおよびクエリを生成するために使用する抽出関数と値を生成するために使用する抽出関数とが異なる。たとえば、時空間トランスフォーマは、キーおよびクエリを生成するために距離関数を使用し、値を生成するために特徴抽出関数を使用する。このように、キーおよびクエリは、トランスフォーマの適用の柔軟性を高める値のメタデータを表すことができる。
【0100】
図１２は、一実施形態に係る、カーネル化されたセルフアテンションに対して異なる抽出関数を使用する方法１２００の概略図を示す。本実施形態は、時間とともに状態が変化する動的システムを制御するための、カーネル化されたセルフアテンション１２６０を用いる人工知能（ＡＩ）システムを開示し、ＡＩシステムは、少なくとも１つのプロセッサと、命令が格納されたメモリとを含み、命令は、少なくとも１つのプロセッサによって実行されると、ＡＩシステムに、異なる時間のインスタンスにおけるシステムの状態を表す状態インスタンスのシーケンスの測定値を示す時系列データ１２０５を収集することと、第１の抽出関数１２１０を使用して、時系列データから状態インスタンスの各々の値を抽出することと、第２の抽出関数１２２０を使用して、時系列データから状態インスタンスの各々のキーおよびクエリを抽出することとを行わせ、状態インスタンスの値は状態インスタンスのキーおよびクエリとは異なり、ＡＩシステムにさらに、セルフアテンションメカニズムを使用するカーネル化されたセルフアテンションモジュール１２６０を実行することを行わせ、セルフアテンションメカニズムは、状態インスタンスのクエリ１２３０と状態インスタンスのキー１２４０との類似性に基づいて決定された重みで重み付けされた状態インスタンスの値を使用して、状態インスタンスの各々の値１２５０を修正し、ＡＩシステムにさらに、状態インスタンスの修正された値１２７０に基づいて制御アクションを実行することを行わせる。
【0101】
図１２で説明した実施形態の可能なセットアップは、１２６０で説明したように、正常シーケンスからの特徴を使用して３０８および３１２における類似性カーネルを定義することである。そのような方法は、クエリ１２３０となる初期特徴１２１０をシーケンスの一部から取り出す。キー１２４０は、シーケンス１２２０の別の部分から生成された特徴である。値１２５０は、ニューラルネットワークモデル１２９０によって生成されたキーの特徴である。カーネル化されたセルフアテンション１２６０は、クエリとキーとの間のカーネル類似性を計算し、値１２５０の重み付けに使用されるスコアを生成する。したがって、このカーネル線形結合のセットは、類似性カーネルによって取り込まれた正常シーケンスからの特徴の線形結合であるすべての特徴１２７０のセットを含む。特徴の異常シーケンスが与えられた場合、１２００のように異常特徴について計算されたカーネル類似性を使用して、異常特徴の線形結合を計算することができる。異常を検出するために、正常セット内の特徴の線形結合を有するセットと異常セット内の特徴の線形結合を有するセットとの間の最近傍距離を計算することができる。この距離が閾値よりも大きければ、セットを異常として分類することができる。ニューラルネットワーク１２９０は、値の線形結合が常に潜在空間の領域で有界であるように訓練される。このアプローチのいくつかの実施形態はラベル付きデータを使用することができ、当該データは正常または異常としてラベル付けされる。この場合、ニューラルネットワークは、値の線形結合がデータラベルを保存するように訓練される。
【0102】
上記の説明は、具体例としての実施形態のみを提供し、開示の範囲、適用可能性、または構成を限定することを意図していない。むしろ、具体例としての実施形態の以下の説明は、具体例としての１つ以上の実施形態の実現を可能にする説明を当業者に提供するであろう。添付の請求項に記載されている開示された主題の精神および範囲から逸脱することなく要素の機能および構成に対してなされ得る各種変更が意図されている。
【0103】
具体的な詳細事項は、以下の説明において、実施形態の十分な理解を得るために与えられている。しかしながら、これらの具体的な詳細事項がなくても実施形態を実行できることを、当業者は理解できる。たとえば、開示された主題におけるシステム、プロセス、および他の要素は、実施形態を不必要な詳細で不明瞭にしないために、ブロック図の形態で構成要素として示される場合もある。他の例では、実施形態を不明瞭にしないよう、周知のプロセス、構造、および技術は、不必要な詳細事項を伴わずに示されることがある。さらに、各種図面における同様の参照番号および名称は同様の要素を示す。
【0104】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明される場合がある。フローチャートは動作を逐次プロセスとして説明する場合があるが、動作の多くは並列にまたは同時に実行することができる。加えて、動作の順序は並べ替えてもよい。プロセスは、その動作が完了したときに終了されてもよいが、論じられていないかまたは図に含まれていない追加のステップを有する場合がある。さらに、具体的に記載されている何らかのプロセスにおけるすべての動作がすべての実施形態に起こり得る訳ではない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数または主関数に関数を戻すことに対応し得る。
【0105】
さらに、開示されている主題の実施形態は、少なくとも一部が、手作業または自動のいずれかで実現されてもよい。手作業または自動の実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその任意の組み合わせを通じて、実行されてもよく、または、少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、マシン読取可能媒体に格納されてもよい。プロセッサ（複数のプロセッサ）が必要なタスクを実行してもよい。
【0106】
本明細書で概要を述べた各種方法またはプロセスは、さまざまなオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用した１つ以上のプロセッサ上で実行可能なソフトウェアとして符号化されてもよい。加えて、そのようなソフトウェアは、複数の適切なプログラミング言語および／またはプログラミングもしくはスクリプトツールのうちのいずれかを用いて記述されてもよく、また、フレームワークもしくは仮想マシン上で実行される、実行可能な機械言語コードまたは中間コードとしてコンパイルされてもよい。典型的に、プログラムモジュールの機能は、各種実施形態において所望される通りに組み合わせても分散させてもよい。
【0107】
本発明の実施形態は方法として実施されてもよく、その一例が提供されている。この方法の一部として実行される動作の順序は任意の適切なやり方で決定されてもよい。したがって、実施形態は、例示されている順序と異なる順序で動作が実行されるように構成されてもよく、これは、いくつかの動作を、例示の実施形態において一連の動作として示されているが、同時に実行することを含み得る。さらに、請求項において請求項の要素を修飾するための「第１」、「第２」等の順序を示す用語の使用は、それ自体が、請求項のある要素の、別の要素に対する優先、先行、または順序を、またはある方法の行為が実行される時間的順序を、暗示するものではなく、クレームの要素を区別するために、特定の名称を有する請求項のある要素を（順序を示す用語の使用を別にして）同一の名称を有する別の要素と区別するためのラベルとして使用されているに過ぎない。
【0108】
本開示をいくつかの好ましい実施形態を参照して説明してきたが、その他さまざまな適合化および修正を本開示の精神および範囲の中で実施できることが理解されねばならない。したがって、本開示の真の精神および範囲に含まれるそのような変形および修正形をすべてカバーすることが添付の請求項の局面である。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】