特開2023-10698 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツングの特許一覧

特開2023-10698局所ニューラル変換を用いた異常領域検出

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023010698

(43)【公開日】2023-01-20

(54)【発明の名称】局所ニューラル変換を用いた異常領域検出

(51)【国際特許分類】

G06N 20/00 20190101AFI20230113BHJP

G06N 3/044 20230101ALI20230113BHJP

G06N 3/04 20230101ALI20230113BHJP

【ＦＩ】

G06N20/00

G06N3/04 145

G06N3/04

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022111192

(22)【出願日】2022-07-11

(31)【優先権主張番号】17/372,204

(32)【優先日】2021-07-09

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルトボツシユゲゼルシヤフトミツトベシユレンクテルハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴＢＯＳＣＨＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島類

(72)【発明者】

【氏名】マヤルドルフ

(72)【発明者】

【氏名】チェンキュウ

(72)【発明者】

【氏名】ティムシュナイダー

(57)【要約】（修正有）

【課題】局所ニューラル変換を介した機械学習システムでの時系列の異常領域検出方法及びシステムを提供する。
【解決手段】異常領域検出方法は、パッチにグループ化される時系列データを受信し、符号器のパラメータを介してデータを符号化して取得した局所潜在表現から表現損失を決定し、各パッチに関連する局所潜在表現を、少なくとも２つの局所ニューラル変換を介して一連の多様に変換されたベクトル表現に変換し、ベクトル表現から動的決定論的対比損失（ＤＤＣＬ）を決定し、表現損失とＤＤＣＬとを組み合わせて取得した更新されたパラメータを用いて符号器のパラメータを更新し、ＤＤＣＬを介してベクトル表現の各々をスコアリングして各パッチに関連する多様な意味論的要求スコアを取得し、取得したスコアを平滑化して損失領域を取得し、検証されたデータを取得するために、損失領域に関連するデータをマスキングし、検証されたデータを出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

パッチにグループ化される時系列データを受信するステップと、
前記各パッチについて局所潜在表現を取得するために、符号器のパラメータを介して前記データを符号化するステップと、
前記各パッチについて、前記局所潜在表現から表現損失を決定するステップと、
前記各パッチに関連する前記局所潜在表現を、少なくとも２つの局所ニューラル変換を介して一連の多様に変換されたベクトル表現に変換するステップと、
前記一連の多様に変換されたベクトル表現から動的決定論的対比損失（ＤＤＣＬ）を決定するステップと、
更新されたパラメータを取得するために、前記表現損失と前記ＤＤＣＬとを組み合わせるステップと、
前記更新されたパラメータを用いて前記符号器のパラメータを更新するステップと、
前記各パッチに関連する多様な意味論的要求スコアを取得するために、前記ＤＤＣＬを介して前記一連の多様に変換されたベクトル表現の各々をスコアリングするステップと、
損失領域を取得するために、前記多様な意味論的要求スコアを平滑化するステップと、
検証されたデータを取得するために、前記損失領域に関連するデータをマスキングするステップと、
前記検証されたデータを出力するステップと、
を含む異常領域検出方法。

【請求項2】

前記データを符号化するステップは、リカレントニューラルネットワーク（ＲＮＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）を介して実行される、請求項１に記載の異常領域検出方法。

【請求項3】

前記多様な意味論的要求スコアを平滑化するステップは、ビタビ復号化を介して実行される、請求項１に記載の異常領域検出方法。

【請求項4】

前記多様な意味論的要求スコアを平滑化するステップは、前記損失領域を取得するために、
前記多様な意味論的要求スコアの履歴を作成するステップと、
閾値を超えるスコアを有するデータをフィルタリングするステップと、
を含む、請求項１に記載の異常領域検出方法。

【請求項5】

前記表現損失を計算するステップは、対比予測符号化（ＣＰＣ）損失を計算するステップである、請求項１に記載の異常領域検出方法。

【請求項6】

前記ベクトル表現から前記ＣＰＣ損失を計算するステップは、次式

【数1】

に従って計算され、ここで、前記

【数2】

は、期待関数であり、前記ｚ_ｔは、符号化されたデータの局所潜在表現であり、前記ｔは、時間インデックスであり、前記Ｗ_ｋは、パラメータの行列であり、前記ｋは、時間インデックスの幅であり、前記ｆ_ｋ（ａ，ｂ）＝ｆ（ａ，Ｗ_ｋｂ）は、前記Ｗ_ｋによってパラメータ化された２つの引数間の比較関数であり、前記Ｌ_ＣＰＣは、前記対比予測符号化（ＣＰＣ）損失であり、前記ｃ_ｔは、コンテキスト表現である、請求項５に記載の異常領域検出方法。

【請求項7】

前記多様に変換されたベクトル表現からＤＤＣＬ損失を計算するステップは、次式

【数3】

に従って計算され、ここで、前記

【数4】

は、期待関数であり、前記ｔは、時間インデックスであり、前記ｋは、時間インデックスの幅であり、前記ｌは、局所ニューラル変換のインデックスであり、前記

【数5】

は、スコアであり、前記Ｌ_ＤＤＣＬは、動的な決定論的対比損失である、請求項１に記載の異常領域検出方法。

【請求項8】

前記一連の多様に変換されたベクトル表現の各々をスコアリングするステップは、次式

【数6】

に従って計算され、ここで、前記

【数7】

は、スコアであり、前記ｚ_ｔは、符号化されたデータの局所潜在表現であり、前記ｔは、時間インデックスであり、前記Ｗ_ｋは、パラメータの行列であり、前記ｋは、時間インデックスの幅であり、前記

【数8】

は、コサイン類似性関数であり、前記ｃ_ｔは、コンテキスト表現である、請求項１に記載の異常領域検出方法。

【請求項9】

前記方法は、前記検証されたデータに基づいて機械を動作させるステップをさらに含み、前記時系列データは、センサから受信される、請求項１に記載の異常領域検出方法。

【請求項10】

コントローラを含む異常領域検出システムであって、
前記コントローラは、
第１のセンサからパッチにグループ化される時系列データを受信し、
前記各パッチについて局所潜在表現を取得するために、符号器のパラメータを介して前記データを符号化し、
前記各パッチについて、局所潜在表現から対比予測符号化（ＣＰＣ）損失を計算し、
前記各パッチに関連する局所潜在表現を、少なくとも２つの局所ニューラル変換を介して一連の多様に変換されたベクトル表現に変換し、
前記一連の多様に変換されたベクトル表現から動的決定論的対比損失（ＤＤＣＬ）を計算し、
更新されたパラメータを取得するために、前記ＣＰＣ損失と前記ＤＤＣＬとを組み合わせ、
前記更新されたパラメータを用いて符号化のパラメータを更新し、
前記各パッチに関連する多様な意味論的要求スコアを取得するために、前記ＤＤＣＬを介して前記一連の多様に変換されたベクトル表現の各々をスコアリングし、
損失領域を取得するために、前記多様な意味論的要求スコアを平滑化し、
検証されたデータを取得するために、前記損失領域に関連するデータをマスキングし、
前記検証されたデータに基づいて機械を動作させる
ように構成されている、異常領域検出システム。

【請求項11】

前記コントローラは、ビタビ復号化を介して前記多様な意味論的要求スコアを平滑化するように構成されている、請求項１０に記載の異常領域検出システム。

【請求項12】

前記コントローラは、前記損失領域を取得するために、
前記多様な意味論的要求スコアの履歴を作成し、かつ、閾値を超えるスコアを有するデータをフィルタリングすることにより、前記多様な意味論的要求スコアを平滑化するように構成されている、請求項１０に記載の異常領域検出システム。

【請求項13】

前記コントローラは、前記ベクトル表現から前記ＣＰＣ損失を、次式

【数9】

に従って計算するように構成されており、ここで、前記

【数10】

【請求項14】

前記第１のセンサは、光学的センサ、車載センサ、又は、音響的センサであり、前記機械は、自律的な車両である、請求項１０に記載の異常領域検出システム。

【請求項15】

前記第１のセンサは、ＲＦセンサであり、前記機械は、遠隔通信機械である、請求項１０に記載の異常領域検出システム。

【請求項16】

コントローラを含む遠隔通信システムであって、
前記コントローラは、
パッチにグループ化される時系列データを受信し、
前記各パッチについて局所潜在表現を取得するために、符号器のパラメータを介して前記データを符号化し、
前記各パッチについて、前記局所潜在表現から対比予測符号化（ＣＰＣ）損失を決定し、
前記各パッチに関連する前記局所潜在表現を、少なくとも２つの局所ニューラル変換を介して一連の多様に変換されたベクトル表現に変換し、
前記一連の多様に変換されたベクトル表現から動的決定論的対比損失（ＤＤＣＬ）を計算し、
更新されたパラメータを取得するために、前記ＣＰＣ損失と前記ＤＤＣＬとを組み合わせ、
前記更新されたパラメータを用いて符号化のパラメータを更新し、
前記各パッチに関連する多様な意味論的要求スコアを取得するために、前記ＤＤＣＬを介して前記一連の多様に変換されたベクトル表現の各々をスコアリングし、
損失領域を取得するために、前記多様な意味論的要求スコアを平滑化し、
検証されたデータを取得するために、前記損失領域に関連するデータをマスキングし、
前記検証されたデータに基づいて前記遠隔通信システムを動作させる
ように構成されている、遠隔通信システム。

【請求項17】

前記コントローラは、ビタビ復号化を介して前記多様な意味論的要求スコアを平滑化するように構成されている、請求項１６に記載の遠隔通信システム。

【請求項18】

前記コントローラは、前記損失領域を取得するために、
前記多様な意味論的要求スコアの履歴を作成し、かつ、閾値を超えるスコアを有するデータをフィルタリングすることにより、前記多様な意味論的要求スコアを平滑化するように構成されている、請求項１６に記載の遠隔通信システム。

【請求項19】

前記コントローラは、前記ベクトル表現から前記ＣＰＣ損失を、次式

【数11】

に従って計算するように構成されており、ここで、前記

【数12】

【請求項20】

前記コントローラは、前記一連の多様に変換されたベクトル表現の各々を、次式

【数13】

に従ってスコアリングするように構成されており、ここで、前記

【数14】

【数15】

は、コサイン類似性関数であり、前記ｃ_ｔは、コンテキスト表現である、請求項１６に記載の遠隔通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、機械学習システムにおける異常領域検出に関する。より具体的には、本出願は、局所ニューラル変換を介した機械学習システムでの時系列の異常領域検出における改善に関する。

【背景技術】

【0002】

背景技術
データ分析において、異常検出（外れ値検出とも称される）とは、データの大部分と大きく異なることによって疑念を抱かせる特定のデータ、イベントの識別又は観測のことである。典型的には、異常項目は、構造に関する欠陥、動作不良、誤動作、医療に関する問題、エラーなど、何らかの問題に変換される。

【発明の概要】

【課題を解決するための手段】

【0003】

概要
異常領域検出方法は、パッチにグループ化される時系列データを受信するステップと、各パッチについて局所潜在表現を取得するために、符号器のパラメータを介してデータを符号化するステップと、各パッチについて、局所潜在表現から表現損失を決定するステップと、各パッチに関連する局所潜在表現を、少なくとも２つの局所ニューラル変換を介して一連の多様に変換されたベクトル表現に変換するステップと、一連の多様に変換されたベクトル表現から動的決定論的対比損失（ＤＤＣＬ）を決定するステップと、更新されたパラメータを取得するために、表現損失とＤＤＣＬとを組み合わせるステップと、更新されたパラメータを用いて符号器のパラメータを更新するステップと、各パッチに関連する多様な意味論的要求スコアを取得するために、ＤＤＣＬを介して一連の多様に変換されたベクトル表現の各々をスコアリングするステップと、損失領域を取得するために、多様な意味論的要求スコアを平滑化するステップと、検証されたデータを取得するために、損失領域に関連するデータをマスキングするステップと、検証されたデータを出力するステップと、を含む。

【0004】

異常領域検出システムは、コントローラを含み、コントローラは、第１のセンサからパッチにグループ化される時系列データを受信し、各パッチについて局所潜在表現を取得するために、符号器のパラメータを介してデータを符号化し、各パッチについて、局所潜在表現から対比予測符号化（ＣＰＣ）損失を計算し、各パッチに関連する局所潜在表現を、少なくとも２つの局所ニューラル変換を介して一連の多様に変換されたベクトル表現に変換し、一連の多様に変換されたベクトル表現から動的決定論的対比損失（ＤＤＣＬ）を計算し、更新されたパラメータを取得するために、ＣＰＣ損失とＤＤＣＬとを組み合わせ、更新されたパラメータを用いて符号化のパラメータを更新し、各パッチに関連する多様な意味論的要求スコアを取得するために、ＤＤＣＬを介して一連の多様に変換されたベクトル表現の各々をスコアリングし、損失領域を取得するために、多様な意味論的要求スコアを平滑化し、検証されたデータを取得するために、損失領域に関連するデータをマスキングし、検証されたデータに基づいて機械を動作させるように構成されている。

【0005】

遠隔通信システムは、コントローラを含み、コントローラは、パッチにグループ化される時系列データを受信し、各パッチについて局所潜在表現を取得するために、符号器のパラメータを介してデータを符号化し、各パッチについて、局所潜在表現から対比予測符号化（ＣＰＣ）損失を決定し、各パッチに関連する局所潜在表現を、少なくとも２つの局所ニューラル変換を介して一連の多様に変換されたベクトル表現に変換し、一連の多様に変換されたベクトル表現から動的決定論的対比損失（ＤＤＣＬ）を計算し、更新されたパラメータを取得するために、ＣＰＣ損失とＤＤＣＬとを組み合わせ、更新されたパラメータを用いて符号化のパラメータを更新し、各パッチに関連する多様な意味論的要求スコアを取得するために、ＤＤＣＬを介して一連の多様に変換されたベクトル表現の各々をスコアリングし、損失領域を取得するために、多様な意味論的要求スコアを平滑化し、検証されたデータを取得するために、損失領域に関連するデータをマスキングし、検証されたデータに基づいて遠隔通信システムを動作させるように構成されている。

【図面の簡単な説明】

【0006】

【図1】局所ニューラル変換（ＬＮＴ）を介した異常領域検出システムのフローチャートである。

【図2】潜在表現に関する局所ニューラル変換のフローチャートである。

【図3】潜在空間におけるプッシュ／プルを伴う動的な決定論的対比損失（ＤＤＣＬ）のフローチャートである。

【図4】前方スコアリング及び後方スコアリングのフローチャートである。

【図5】電子計算システムのブロック図である。

【図6】異なる設計選択についての偽陽性率（ＦＰＲ）に関する真陽性率（ＴＰＲ）を表す局所ニューラル変換（ＬＮＴ）の受信機動作特性（ＲＯＣ）曲線のグラフ表示である。

【図7】異常が注入された例示的な信号、スコア、及び、エラー検出信号のグラフ表示である。

【図8】異常が注入された例示的な信号、スコア、及び、エラー検出信号のグラフ表示である。

【図9】対比予測符号化（ＣＰＣ）を介した異常領域検出システムのフローチャートである。

【図10】対比予測符号化（ＣＰＣ）損失値、並びに、画像及び損失値の両方の重畳に対応する画像の説明図である。

【図11】車両を制御するように構成された制御システムの概略図である。

【図12】製造機械を制御するように構成された制御システムの概略図である。

【図13】電動工具を制御するように構成された制御システムの概略図である。

【図14】自動化されたパーソナルアシスタントを制御するように構成された制御システムの概略図である。

【図15】監視システムを制御するように構成された制御システムの概略図である。

【図16】医療用撮像システムを制御するように構成された制御システムの概略図である。

【発明を実施するための形態】

【0007】

詳細な説明
必要に応じて、本発明の詳細な実施形態が本明細書に開示されるが、これらの実施形態は、様々な代替的形態で具現化され得る本発明の単なる例示に過ぎないことを理解されたい。図面は、必ずしも縮尺通りではなく、いくつかの特徴は、特定の構成要素の詳細を示すために、誇張又は最小化されている場合がある。従って、本明細書に開示された特定の構造的及び機能的詳細は、限定的に解釈されるべきではなく、単に、本発明を様々に採用することを当業者に教示するための代表的な基礎として解釈されるべきである。

【0008】

本明細書においては、用語「実質的に」とは、開示又は請求された実施形態を説明するために使用される場合がある。この用語「実質的に」は、本開示において開示又は請求された値又は相対特性を変更することができる。そのような場合、「実質的に」とは、変更される範囲が±０％、０．１％、０．５％、１％、２％、３％、４％、５％若しくは１０％以内の値又は相対特性を意味し得る。

【0009】

用語「センサ」とは、物理的特性を検出し又は測定し、それを記録し、表示し又は他の手法により応答するデバイスを指す。用語「センサ」には、光学的センサ、光センサ、撮像センサ又は光子センサ（例えば、電荷結合素子（ＣＣＤ）、ＣＭＯＳアクティブ画素センサ（ＡＰＳ）、赤外線センサ（ＩＲ）、ＣＭＯＳセンサなど）、音響的センサ、音センサ又は振動センサ（例えば、マイクロフォン、ジオフォン、ハイドロフォンなど）、車載センサ（例えば、車輪速センサ、パーキングセンサ、レーダ、酸素センサ、ブラインドスポットセンサ、トルクセンサ、ＬＩＤＡＲなど）、化学センサ（例えば、イオンセンシティブ電界効果トランジスタ（ＩＳＦＥＴ）、酸素センサ、二酸化炭素センサ、ケミレジスタ、ホログラフィックセンサなど）、電流センサ、電位センサ、磁気センサ又は高周波センサ（例えば、ホール効果センサ、磁力計、磁気抵抗計、ファラデーカップ、ガルバノメータなど）、環境センサ、気象センサ、保湿量センサ又は湿度センサ（例えば、気象レーダ、アクチノメータなど）、流量センサ又は流速センサ（例えば、質量気流センサ、風速計流速計など）、電離放射線センサ又は素粒子センサ（例えば、電離箱、ガイガーカウンタ、中性子検出器など）、ナビゲーションセンサ（例えば、汎地球測位システム（ＧＰＳ）センサ、磁気流体力学（ＭＨＤ）センサなど）、位置センサ、角度センサ、変位センサ、距離センサ、速度センサ又は加速度センサ（例えば、ＬＩＤＡＲ、加速度計、超広帯域レーダ、圧電センサなど）、力センサ、密度センサ又はレベルセンサ（例えば、歪みゲージ、核密度計など）、感熱センサ、加熱センサ又は温度センサ（例えば、赤外線温度計、パイロメータ、熱電対、サーミスタ、マイクロ波放射計など）、又は、物理的特性を検出し又は測定し、それを記録し、表示し又は他の手法により応答することを目的とした他のデバイス、モジュール、機械又はサブシステムなどが含まれる。

【0010】

具体的には、センサは、時系列信号の特性を測定することができ、空間内の場所などの空間的又は時空的な態様を含み得る。信号は、電気機械、音、光、電磁気、ＲＦ、又は、他の時系列データを含み得る。本出願において開示される技術は、例えば、無線電磁波用アンテナ、集音用マイクロフォンなどの他のセンサを用いた時系列撮像に適用することができる。

【0011】

用語「画像」とは、物理的特性の知覚（例えば、可聴音、可視光、赤外線、超音波、水中音響など）を描写する、写真や他の二次元画像などの表現物又は人工物を指し、これらは、サブジェクト（例えば、物理的被写体、シーン又はプロパティ）に類似しているので、その描写が提供される。画像は、時間、空間、強度、濃度、又は、他の特性の成分を含み得る点において多次元であるものとしてもよい。例えば、画像には時系列画像が含まれ得る。この技術は、３Ｄ音響源又はオブジェクトを画像化するために拡張することもできる。

【0012】

異常検出は、医療装置、セキュリティシステム、コンシューマシステム、自動車システム、自律的な運転システム、無線通信システム、センサ、機械ビジョンを用いた画像の欠陥検出など、様々なシステムにおいて適用可能である。それらは、データセットから異常なデータを除去するための前処理において使用されることが多い。教師あり学習において、データセットから異常データを除去することは、結果として統計的に有意な精度向上に結び付くことが多い。

【0013】

時系列内の異常領域の発見は、消費者、医療、産業、自動車及び航空を含む多くの用途において重要である。本開示においては、データ増補に基づく補助タスクは、深層アーキテクチャをトレーニングするために使用することができ、次いで、補助タスクの性能は、異常スコアとして使用されるものとしてもよい。本開示は、時系列データ又は表形式データなどのドメインに対する解決手段を提供する。これらのドメインは、拡張がデータから学習される場合に利益を得る。本開示においては、時系列内の異常領域を発見するタスクにこれらの方法を拡張するアプローチが提供される。本開示は、異常領域を検出するためのエンドツーエンドパイプラインである局所ニューラル変換（ＬＮＴ）を提示する。このＬＮＴは、時系列を局所的に埋め込みかつ拡張することを学習し、各時間ステップについて異常スコアを生成する。実験を介して、ＬＮＴは、ＬｉｂｒｉＳｐｅｅｃｈデータセットからの音声セグメントにおいて合成ノイズを発見し得ることが示されている。本開示は、時系列（ｔｅｍｐｏｒａｌ）に焦点を合わせているが、この構想は、空間又は時空間などの他のタイプのデータに適用することもできる。

【0014】

時系列における異常な動作の発見は、機械学習の多くの用途において重要なタスクである。本開示の一態様は、（潜在的に多変量の）時系列のラベル付けされていないデータセットを使用し、異常についての新たな時系列を走査し得る深層学習に基づくアプローチを学習することである。具体的には、異常はシーケンス全体についてではなく、サブシーケンスレベルで判断されるべきものなので、異常領域検出のタスクに焦点を合わせる。多くの用途においては、このセットアップは、異常な動作に迅速に応答するために極めて重要になる場合がある。

【0015】

本開示においては、データ増補は、深層特徴抽出器をトレーニングするためのタスクを定義するために使用され、タスクに関する性能は、異常スコアとして使用される。具体的には、自己教師あり異常検出を画像以外のドメインに適合させるための改良、データ増補の利点を利用した時系列異常検出のための深層手法である。

【0016】

本開示においては、時系列データにおける異常を発見するために、局所ニューラル変換（ＬＮＴ）の変換学習アプローチが使用され得る。次いで、異常検出パイプラインは、特徴抽出器（対比予測符号化ＣＰＣなど）をニューラル変換学習と組み合わせる。最終的に、隠れマルコフモデル（ＨＭＭ）に基づくスコアリング手法がスコアを組み合わせ、異常領域を検出する。本開示は、（１）表現学習と変換学習とを組み合わせた時系列における自己教師あり異常領域検出のための新規な方法と、（２）異なる損失寄与を時間ステップごとの異常スコアに組み合わせるスコアリングとを提示している。

【0017】

ここでは、局所ニューラル変換（ＬＮＴ）を、時系列のための異常検出方法として適用することができる。即ち、時系列

【数1】

が与えられると、本明細書に開示された方法は、各個別のタイムステップの異常を表すスコア｀_０：ｔを出力する。概要は、図１に示されており、この図は、ニューラル変換が、２つの対比自己監視タスクを用いて局所表現を提供する符号器と共同してトレーニングされるものとしてもよいことを示している。これらのタスクに関する性能は、異常スコア

【数2】

を導出するために再利用されるものとしてもよい。

【0018】

図１は、局所ニューラル変換（ＬＮＴ）を介した異常領域検出システム１００のフローチャートである。符号器１０２は、符号器に対する内部パラメータを介してデータの局所潜在表現を作成する。この局所潜在表現は、局所ニューラル変換１０４を介して、一連の多様に変換されたベクトル表現に変換される。符号器は、ＣＰＣ損失などの表現損失１０６も出力する。さらに、局所ニューラル変換１０４は、動的な決定論的対比損失（ＤＤＣＬ）１０８も出力する。

【0019】

局所時系列表現：第１のステップは、局所潜在表現ｚ_ｔを得るために時系列を符号化することである。表現損失も生成され、これらはＣＰＣ損失又は自己符号器損失などの表現の品質を評価する損失である。時系列パッチｘ_{ｔ：ｔ＋τ}（ウィンドウサイズτを有する）は、局所潜在表現ｚ_ｔを取得するために、ストライド式畳み込みによって符号化される。そして次に、それらは、コンテキスト表現ｃ_ｔを形成するために回帰型モデル（ＧＲＵ）によって処理される。両者とも対比予測符号化（ＣＰＣ）を用いてトレーニングされ、これは、提案分布Ｚから引き出された負のサンプルｚ_ｊに対して線形のｋ段階未来予測Ｗ_ｋｃ_ｔを対比することにより、コンテキスト埋め込みｃ_ｔが近傍パッチの予測を促すようにしている。結果として生じる損失（式１）は、指数化された類似性尺度

【数3】

を用いた負のサンプルの固定サイズセットＺ～Ｚから正のサンプルを分類する交差エントロピーである。

【数4】

ここで、

【数5】

は、期待関数であり、ｚ_ｔは、符号化された時系列の局所潜在表現であり、ｔは、時間インデックスであり、Ｗ_ｋは、パラメータの行列であり、ｋは、時間インデックスの幅であり、ｆ_ｋ（ａ，ｂ）＝ｆ（ａ，Ｗ_ｋｂ）は、Ｗ_ｋによってパラメータ化された２つの引数間の比較関数であり、Ｌ_ＣＰＣは、対比予測符号化（ＣＰＣ）損失であり、ｃ_ｔは、コンテキスト表現である。

【0020】

局所ニューラル変換：次に、時系列表現は、各埋め込みの異なるビューを生成するために局所ニューラル変換によって処理される。これらの局所変換により、異常領域の検出が可能となる。

【0021】

図２は、潜在表現に関する局所ニューラル変換２００のフローチャートである。符号器２０２は、符号器に対する内部パラメータを介してデータの局所潜在表現２０４を作成する。この局所潜在表現２０４は、局所ニューラル変換２０６を介して、一連の多様に変換されたベクトル表現２０８（２０８ａ，２０８ｂ，２０８ｃ，２０８ｄ，２０８ｅ）に変換される。

【0022】

例えば、画像の意味論的変換は、回転又は色歪みであり得る一方で、他のデータを用いた一実施形態においては、ＮｅｕＴｒａＬは、同一のサンプルの異なるビューに対する元のサンプルの対比によってデータからパラメータθ_ｌを用いたニューラル変換Ｔ_ｌ（・）のセットを学習するために使用された。これは、ノイズ対比推定（ＮＣＥ）のようにノイズ分布から引き出された負のサンプルに依存するものではなかったので、結果として決定論的対比損失を生じさせるものとなった。

【0023】

本開示は、異なる潜在ビューＴ_ｌ（ｚ_ｔ）を獲得するために、このアプローチを、図２に示すように学習された潜在表現ｚ_ｔに適用することを提示する。さらに、本開示は、式２で与えられるように異なる局面ｋに対する未来予測Ｗ_ｋｃ_ｔを正のサンプルとして組み込むことにより、時間依存性を有する損失を動的な決定論的対比損失（ＤＤＣＬ）に拡張する。

【数6】

ここで、

【数7】

は、スコアであり、ｚ_ｔは、符号化された時系列の局所潜在表現であり、ｔは、時間インデックスであり、Ｗ_ｋは、パラメータの行列であり、ｋは、時間インデックスの幅であり、

【数8】

は、コサイン類似性関数であり、ｃ_ｔは、コンテキスト表現である。

【0024】

これは、結果として、異なる定言的なクロスエントロピー損失（式２）の合計（式３）を生じさせ、これらはすべて、

【数9】

で与えられる

【数10】

からの正のサンプルと、コサイン類似性尺度

【数11】

とを対比させている。この２つの自己監視タスク、詳細には変換学習と未来予測とを単一の決定論的対比損失に組み合わせることによれば、Ｗ_ｋｃ_ｔにおける異なるｋによって引き起こされる変動に対処する必要があるため、総合的なタスクはより困難になる。

【数12】

ここで、

【数13】

は、期待関数であり、ｔは、時間インデックスであり、ｋは、時間インデックスの幅であり、ｌは、変換のインデックスであり、

【数14】

は、スコアであり、Ｌ_ＤＤＣＬは、動的な決定論的対比損失である。

【0025】

最終的に、式１及び式３の２つの目的を、表現学習及び変換学習を平衡化するハイパーパラメータλを有する統合損失Ｌ＝Ｌ_ＣＰＣ＋λＬ_ＤＤＣＬを用いて共同的にトレーニングする。

【0026】

変換学習原理：データから学習されたあらゆる関数が意味のある変換（又はビュー）を作成するものとしてではなく、本開示は、学習された変換のために保持する必要がある３つの重要な原理を有する図１におけるアーキテクチャの動機付けを提示する。

【0027】

２つの原理は、（１）意味論及び（２）多様性であり、これらは、変換学習の共通の有害な輪郭ケースを除外し、表形式データのための強力な変換学習を支援している。最初の２つの原理を強化し、第３の原理（３）局所性を強化することにより、異常領域検出の下流側タスクが想定されて提供される。

【0028】

意味論とは、元のサンプルと重要な意味論的情報を共有するはずの学習された変換によって生成されるビューである。

【0029】

多様性とは、各サンプルについての多様なビューを生成するはずの学習された変換であり、結果として、解決すべき強い意味論的特徴を必要とする多様で困難な自己監視タスクを生じる。

【0030】

局所性とは、系列の汎用的コンテキストを重んじながら、局所的な近傍においてのみデータに影響を与えるはずの変換である。

【0031】

局所性に関しては、系列のいくつかの汎用的コンテキスト内の異常な動作に対して局所的に敏感であるべき、誘導された自己監視タスクの性能が要求される。これにより、データセット全体に対して異常である「外れ値ウィンドウ」を検出することが期待されるが、それらが特定の系列のコンテキスト内においてのみ異常な場合は検出しない単純なスライディングウィンドウアプローチとは異なることが強調される。

【0032】

ＣＰＣからの重要な洞察は、時系列を局所表現ｚ_ｔと汎用表現ｃ_ｔとに分解することである。このプロパティは、ｚ_ｔのみにニューラル変換を適用し、局所性の原理を満たす変換をもたらすことによって活用されるものとしてもよい。

【0033】

異なる観点から、Ｌ_ＤＤＣＬは、潜在空間において、図３に見られるように、プッシュ及びプルを伴った異なる表現として解釈することができる。式２の分子は、プルを伴い学習された変換

【数15】

をＷ_ｋｃ_ｔに近づけ、意味論の原理を保証し、それに対して、分母は、プッシュを伴い異なる変換

【数16】

を引き離し、学習された変換の多様性を保証する。

【0034】

異常のスコアリング：特定の時点の異常をスコアリングするために、Ｌ_ＤＤＣＬ損失の再利用が考慮される。これは、決定論的であるという利点を有し、従って、他の対比自己監視タスクが要求し得るような提案又はノイズ分布からの負のサンプルを引き出す必要がない。

【0035】

これにより、図４に描写されているように、時間ｔに対するスコア｀_ｔを導出するために、このアプローチ内へ時間依存性を統合するための２つの手段が可能である。

【0036】

図３は、潜在空間におけるプッシュ／プルを伴う動的な決定論的対比損失（ＤＤＣＬ）３００のフローチャートである。符号器３０２は、符号器に対する内部パラメータを介して、データの局所潜在表現３０４を作成する。このフローチャートは、異なる時点、例えば、ｔ、ｔ－１、ｔ－２、ｔ＋１などにおけるフローを示していることに留意されたい。この局所潜在表現３０４は、局所ニューラル変換３０６，３１０を介して、一連の多様に変換されたベクトル表現３０８に変換される。これらの局所変換３０６，３１０は、回帰型ニューラルネットワーク（ＲＮＮ）として示されているが、畳み込みニューラルネットワーク（ＣＮＮ）又は他のニューラル変換として実装することもできる。

【0037】

図４は、前方スコアリング４００及び後方スコアリング４５０のフローチャートである。

【0038】

前方スコアリングは、時点ｔにおいて変換された表現

【数17】

とＷ_ｋｃ_ｔ－ｋとを対比させるために、グローバルコンテキスト状態ｃ_ｔ－ｋの記録された履歴を使用する。これにより、いったん現在の表現ｚ_ｔが到達すると、スコア

【数18】

のジャストインタイムの計算が可能になる。

【0039】

後方スコアリングは、後知恵的にスコアｓ_ｔを更新するために、来たるべき未来表現

【数19】

を使用する。従って、この方法は、スコア

【数20】

のためにＫ個の未来表現が到着するのを待機する必要がある。

【0040】

トレーニング中は、すべての損失寄与が合計されるので、これらの考慮は無意味であることに留意されたい。いくつかの実施形態における実験に基づけば、後方スコアリングは、前方スコアリングに比較して、予測を平滑化させかつ変位させた。従って、前方スコアリング及び後方スコアリングの両方が許容可能な結果を提供したが、以下の例においては、前方スコアリングが使用される。

【0041】

隠れマルコフモデル：異常についての二値決定を導出するために、１つの方法は、閾値と各時点のスコア｀_ｔとを別個に比較するステップを含むこととなる。データの逐次性を活用することによれば、他の方法は、二値状態を有する下流側隠れマルコフモデル（ＨＭＭ）を使用し、ビタビ復号化を用いて最尤状態軌跡を抽出することである。これは、図７及び図８に示すように、出力を平滑化し、異常と思われる領域全体の検出を支援することができる。

【0042】

遠隔通信システム、機械アーキテクチャ及び機械可読媒体の例。図５は、本明細書に開示されたシステムの実装に適した又は本明細書に開示された方法の実行に適した電子計算機システムのブロック図である。図５の機械は、上記の概念の実装に適しているスタンドアロンデバイスとして示されている。上述したサーバの態様については、データセンター、クラウドアーキテクチャの一部などで動作する複数のそのような機械を使用することができる。サーバの態様においては、図示された機能部及びデバイスのすべてが利用されるわけではない。例えば、ユーザがサーバ及び／又はクラウドアーキテクチャと相互作用するために使用するシステム、デバイスなどは、スクリーン、タッチスクリーン入力部などを有し得るが、サーバは、多くの場合、スクリーン、タッチスクリーン、カメラなどを有さず、典型的には、適当な入出力態様を有する接続システムを通してユーザと相互作用する。従って、以下のアーキテクチャは、複数のタイプのデバイス及び機械を包含するものとして受け取られるべきであり、様々な態様が、そのフォームファクタ及び目的に応じて、任意の特定のデバイス又は機械に存在したりしなかったりすることが可能である（例えば、サーバはほとんどカメラを有さないが、ウェアラブルはほとんど磁気ディスクを含まない）。しかしながら、図５の例示的な説明は、当業者にとって、使用される特定のデバイス、機械などに対して図示の実施形態を適当に変更し、ハードウェアとソフトウェアとの適当な組合せを用いて、先に説明した実施形態をどのように実装し得るかを決定することができるようにするために適している。

【0043】

単一の機械のみが図示されているが、用語「機械」とは、本明細書において論じられる方法論のいずれか１つ以上を実行するための命令のセット（又は複数のセット）を個別に又は共同で実行する機械の任意の集合体も含むものと解釈されるべきである。

【0044】

機械５００の例は、少なくとも１つのプロセッサ５０２（例えば、コントローラ、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）、高度処理ユニット（ＡＰＵ）、又は、それらの組合せ）、メインメモリ５０４、静的メモリ５０６、又は、リンク５０８を介して相互に通信する他のタイプのメモリなどの１つ以上のメモリを含む。リンク５０８は、バス又は他のタイプの接続チャネルであるものとしてもよい。機械５００は、任意のタイプのディスプレイを含むグラフィックスディスプレイユニット５１０などの、さらなる任意の態様を含み得る。機械５００は、英数字入力デバイス５１２（例えば、キーボード、タッチスクリーンなど）、ユーザインタフェース（ＵＩ）ナビゲーションデバイス５１４（例えば、マウス、トラックボール、タッチデバイスなど）、記憶ユニット５１６（例えば、ディスクドライブ又は他の記憶デバイス）、信号発生デバイス５１８（例えば、スピーカ）、センサ５２２（例えば、全地球測位センサ、加速度計、マイクロフォン、カメラなど）、出力コントローラ５２８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、近距離無線通信（ＮＦＣ）、赤外線（ＩＲ）、シリアル／パラレルバスなどの１つ以上の他のデバイスと接続及び／又は通信する有線又は無線接続）、１つ以上のネットワーク５２６を介して接続及び／又は通信するためのネットワークインタフェースデバイス５２０（例えば、有線及び／又は無線）などの任意の他の態様も含み得る。

【0045】

様々なメモリ（即ち、５０４、５０６、及び／又は、プロセッサ５０２のメモリ）及び／又は記憶ユニット５１６は、本明細書に記載される任意の１つ以上の方法論又は機能部によって実施又は利用される命令及びデータ構造（例えば、ソフトウェア）５２４の１つ又は複数のセットを記憶することができる。これらの命令は、プロセッサ５０２によって実行されるときに、開示された実施形態を実装するための様々な動作を引き起こす。

【0046】

例示的な実験：ＬｉｂｒｉＳｐｅｅｃｈデータセットは、概念論証を実証し、所定の設計選択の利点を比較するためにも人工的異常領域と共に使用された。

【0047】

テストデータにおいては、データセット内に様々な周波数及び長さの加法的な純正弦波トーンをランダムに配置し、データの≒１０％を構成する連続した異常領域がもたらされた。

【0048】

ＣＰＣハイパーパラメータは、ｃ_ｔ∈Ｒ^２５６、ｚ_ｔ∈Ｒ^５１２及びＫ＝１２として使用された。付加的に、Ｌ＝１２の別個の学習された変換Ｔ_ｌ（ｚ_ｔ）をトレーニングする。各々は、サイズ６４で、ＲｅＬＵ活性化を伴い、かつ、バイアス項なしの３つの隠れ層を有するＭＬＰからなり、これらは、入力ｚ_ｔに対してシグモイド活性化を伴う残余乗算マスクとして適用される。共同トレーニングについては、切り離された３０エポックについての事前トレーニングを行い、その後λ＝０．１を選択する。切り離されたトレーニング中は、ニューラル変換から表現への勾配フローを防止する、即ち、両方の部分を個別にトレーニングする。

【0049】

深層学習ベースラインとしてＬＳＴＭ、ＴＨＯＣが使用され、古典的ベースラインとしてＯＣ－ＳＶＭ、ＬＯＦが使用された。後者は、特に、時系列用に設計されておらず、そのため、特徴は、固定されたサイズのスライディングウィンドウから抽出され、これらの特徴に対する検出に適用された。これらの特徴は、変換に対して不変であるべきである。音声データについては、メルスケールされたスペクトログラムが強力なドメイン固有特徴であるべきことが示されている。

【0050】

結果：各時間ステップについてのアルゴリズムによって予測される異常スコアが個々に比較された。長さ２０４８０のサブシリーズを考慮すれば、結果として、サンプルごとに多くのスコアと決定とが生じ、テストセット全体については総合的に≒１０^８となる。より小さいウィンドウサイズに依存するベースラインアルゴリズムの場合、複数のサブウィンドウからの結果をつなぎ合わせる。

【0051】

図６にレポートされた受信機動作特性（ＲＯＣ）曲線を使用して、本開示において提示されたＬＮＴを複数のベースラインと比較する。ＬＮＴは、学習された表現に依存するすべての深層学習方法よりも優れた性能を発揮しており、ドメイン固有の特徴に依存するＯＣＳＶＭと同等の性能を発揮した。これらの特徴は、純粋な周波数に依存するこの特定の異常に特に良好に適しているが、本開示において提示されるＬＮＴは、強力なドメイン固有の特徴が存在しない他のタスクに適用することができる。

【0052】

図６は、他のハイパーパラメータ、詳細には切り離されたトレーニング及びバイアス項を固定したまま、２つの異なる設計選択が異常検出性能に及ぼす影響を示すものである。切り離された単独トレーニングは、劣った異常検出を引き起こす。従って、共同トレーニングは、学習された表現に良い影響を与え、トレーニング後の損失が少なくなるだけでなく、異常検出もより良好になる。より強い効果でさえ、ＬＮＴにおけるバイアス項の存在によって釈明することができる。バイアス項は、学習された変換を、設計によってある程度入力に依存しないようにさせる。これにより、自己監視タスクの性能も、この異常検出方法の意味論的な原理を崩すような様々な入力の下で不変となる。

【0053】

図６は、異なる設計選択に対する偽陽性率（ＦＰＲ）に対する真陽性率（ＴＰＲ）を示す局所ニューラル変換（ＬＮＴ）の受信機動作特性（ＲＯＣ）曲線６００のグラフ表示である。

【0054】

本開示は、表現学習と変換学習とを新規な手法により組み合わせた時系列のための異常領域検出方法であるＬＮＴ方法を提示する。さらに、本開示は、このシステム及び方法が、時系列内の異常領域を検出することができ、さらに、ドメイン固有の特徴に依存するのではなく、データ表現も獲得する一般的な深層学習ベースラインよりも優れた性能を発揮していることを示す結果を提供する。

【0055】

本開示においては明示的に論じられていないが、開示されるシステム及び方法は、注釈される異常を有する他の時系列データセットに適用することができ、特に、コンテキスト依存の異常を有するデータセット、空間的又は空間－時間的データセットに適用することができる。

【0056】

ニューラル変換学習：画像以外のドメインに対する自己教師あり異常検出方法を拡張する。最近では、表形式のデータに関する有望な結果が示されたが、時系列内の異常領域を検出するための拡張性はまだない。以下においては、重要となる考察を手短に論評する。

【0057】

決定論的対比損失（ＤＣＬ）（式４参照）によってトレーニングされたパラメータを有する学習された変換ｘ_ｋ：＝Ｔ_ｋ（ｘ）によってデータＤを増補することを考慮する。この損失は、変換されたサンプルが、コサイン類似性ｈ（・）に関して、その元のサンプルと類似している一方で、同一のサンプルの他のビューとは非類似であることを促進する。このことは、意味論と多様性とによって動機付けられる。

【数21】

【0058】

データのこれらの異なるビューを対比する能力は、異常なデータについては減少させ、Ｌの再利用によって決定論的異常スコアをもたらすことが期待される。データ増補に依存する先の異常検出方法にわたる１つの重要な利点は、学習された変換が、意味論的増補を手動により設計する手法が不明なドメインにおいても適用可能なことである。

【0059】

隠れマルコフモデル（ＨＭＭ）におけるビタビ復号化：自己監視タスクの評価から二値決定を導出するために、２つの状態を有する隠れマルコフモデル（ＨＭＭ）を考慮する。従って、ＨＭＭの状態ｓ_ｔは、現在の時間ステップｔが異常領域の一部であるかどうかという条件に対応している。次いで、スコア｀_ｔを、生成確率モデルの放出とみなす。確率の放出は、トレーニング後のＬ_ＤＤＣＬの値における平均を用いたガウス密度として選択され、それぞれ異常状態の場合はより高くなる。この設計選択は、双峰性によって特徴付けられる｀_ｔの分布によって動機付けられる。

【0060】

データの逐次性をさらに活用するために、状態遷移確率は、連続性に有利になるように選択される。１つの方法は、ビタビ復号化の支援を用いて、そのネットワークから最尤状態軌跡を抽出することである。

【0061】

テストセットからランダムに選択されたサンプルについての結果は、図７及び図８においてレポートされている。これらのプロットは、ＬＮＴによってもたらされるＬ_ＤＤＣＬ損失以下の、最上部行の黄色の斜線領域に配置された人工的異常を有するテストセットからのサンプルを示している。基準損失を伴って示されたベースラインは、破損なしの同一のサンプルが供給されたときの出力である。このベースラインは、可視化のためだけのものであり、いずれかの手法に対する入力ではないことに留意されたい。

【0062】

ビタビ復号化は、最下部行に示すように、跳躍的変化の少ない連続的な異常判定シーケンスを抽出することにより、対比自己監視タスクの性能が、異常領域に関して変化する効果を克服することができる。選択されたサンプルについては、異常領域がほぼ完全に検出されている。

【0063】

図７は、異常が注入された例示的な信号のグラフ表示７００である。破損領域は、異常がデータストリームに注入された領域である。スコアのグラフ表示７３０は、

【数22】

を示し、これは、スコアであり、又は、多様な意味論的要件スコアとも称される。エラー検出信号のグラフ表示７６０も、損失領域と称される。

【0064】

図８は、異常が注入された例示的な信号のグラフ表示８００である。破損領域は、異常がデータストリームに注入された領域である。スコアのグラフ表示８３０は、

【数23】

を示し、これは、スコアであり、又は、多様な意味論的要件スコアとも称される。エラー検出信号のグラフ表示８６０も、損失領域と称される。

【0065】

機械学習モデルを実際に展開する場合、信頼し得る異常の検出が極めて重要であるが、ラベル付けされたデータが不足しているため依然として困難である。対比学習アプローチの使用は、一般的に自己教師あり表現学習の設定で使用されるものとしてもよい。ここでは、対比異常検出アプローチが画像に適用され、異常セグメンテーションマスクの形態で解釈可能な結果を提供するように構成される。本開示のこのセクションにおいては、対比予測符号化モデルの使用が提示される。本開示は、異常スコアとして直接解釈することができるパッチ状の対比損失を提示し、異常セグメンテーションマスクの作成において使用される。結果として生じるモデルは、困難なＭＶＴｅｃ－ＡＤデータセット上において異常検出とセグメンテーションとの両方についてテストされたものである。

【0066】

異常（又は外れ値、新規性、分布外のサンプル）とは、データの大多数とは著しく異なる観測値のことである。異常検出（ＡＤ）は、データ中の「正常」とみなされるサンプルから異常なサンプルの区別を試みる。機械学習手法の信頼性をより高め、実世界のシナリオ、例えば、自動化された産業検査、医療診断又は自律的な運転などにおける適用性を向上させるために、これらの異常を検出することはますます重要になってきている。典型的には、異常検出は、教師なし学習問題として扱われる。なぜなら、ラベル付けされたデータは一般に利用することができず、これまで見られなかった異常を検出することができる方法を開発するためである。

【0067】

本開示においては、対比予測符号化（ＣＰＣ）方法及びシステムを、画像内の異常を検出しかつセグメンテーションするために適用することができる。さらに、このシステムは、異常スコアとして直接解釈することができる表現損失（例えば、ＩｎｆｏＮＣＥ損失）を適用する。この損失においては、画像内からのパッチが相互に対比されるため、これらは、正確な異常セグメンテーションマスクの作成のために使用することができる。

【0068】

図９は、対比予測符号化（ＣＰＣ）を介した異常領域検出システム９００のフローチャートである。画像９０２はパッチ９０４にグループ化され、各パッチ９０６内のデータと共に局所潜在表現の作成のために符号器９１０によって符号化される。符号器は、局所潜在表現を計算するときに、負のサンプル９０８を含み得る。局所潜在表現は、局所ニューラル変換９１２を通過して、一連の多様に変換されたベクトル表現と、動的決定論的対比損失（ＤＤＣＬ）とが作成され、これらはどちらも、各パッチに関連する多様な意味論的要件スコアの作成のために使用される。

【0069】

画像における異常検出とセグメンテーションのための対比予測符号化の概略図においては、入力画像から（サブ）パッチを抽出した後、同一の画像内からの符号化された表現（ｚ_ｔ，ｚ_ｔ＋ｋ）がＮ－１個のランダムに整合化された表現（ｚ_ｔ，ｚ_ｊ）に対して対比させられる。結果として生じるＩｎｆｏＮＣＥ損失は、サブパッチｘ_ｔ＋ｋが異常であるか否かを決定するために使用される。

【0070】

図１０は、ＭＶＴｅｃ－ＡＤデータセットにおける異なるクラスについての異常領域の局所化を示した画像１０００の説明図である。元の入力画像１００２（１００２ａ，１００２ｂ，１００２ｃ，１００２ｄ，１００２ｅ，１００２ｆ，１００２ｇ）、対応するＩｎｆｏＮＣＥ損失値１００４（１００４ａ，１００４ｂ，１００４ｃ，１００４ｄ，１００４ｅ，１００４ｆ，１００４ｇ）（明るい影ほど高い損失値を表す）、及び、両方の重畳１００６（１００６ａ，１００６ｂ，１００６ｃ，１００６ｄ，１００６ｅ，１００６ｆ，１００６ｇ）である。これは、本開示において提示されるモデルが、多くのクラスにわたって異常領域を一貫して強調することを示す。

【0071】

異常検出のためのＣＰＣモデルの性能を向上させるために、本開示は、２つの調整を含む。第１に、テスト中の負のサンプルのセットアップが適合させられ、それによって、異常なパッチが正のサンプル内にのみ出現し得るようになる。第２に、ＣＰＣモデルの自己回帰部分が省略される。これらの調整により、提示された本方法は、困難なＭＶＴｅｃ－ＡＤデータセットなどの実世界データで有望な性能を達成する。

【0072】

対比学習：
対比学習に基づく自己教師あり方法は、２つの（ランダム又は擬似ランダムに）変換された入力が、同一の入力サンプルに由来するのか、又は、データセット全体からランダムに抽出された２つのサンプルに由来するのかをモデルに決定させることによって機能する。異なる変換は、ドメインと下流側タスクとによって選択することができる。例えば、画像データにおいては、ランダムなトリミングやカラージッタリングなどのランダムなデータ増補が考慮される。本開示においては、対比予測符号化モデルは、時間的変換を使用する。これらのアプローチは、作成された表現の上面で線形分類器をトレーニングし、この線形分類器が下流側タスクで達成した性能を測定することによって評価された。

【0073】

異常検出：
異常検出方法は、３つのカテゴリに、即ち、密度、再構成及び識別に基づく方法に大別され得る。密度に基づく方法は、データの確率分布を推定することによって異常を予測する（例えば、ＧＡＮ、ＶＡＥ、又は、フローに基づくモデル）。再構成に基づく方法は、再構成目的でトレーニングされたモデルに基づいている（例えば、自己符号化器）。識別に基づく方法は、異常データと正常データとの間の決定境界を学習する（例えば、ＳＶＭ、１クラス分類）。本開示において提案される方法は、識別的１クラス目的での密度に基づく方法を含むが、これらに限定されない。

【0074】

対比予測符号化：
対比予測符号化は、データの構造をてこ入れし、時間的に近接した入力が潜在空間において同様に符号化されるように強制する自己教師あり表現学習アプローチである。これは、サンプルの対が、時間的に近いサンプルで作り上げられているか、又は、ランダムに割り当てられたサンプルで作り上げられているかをモデルに決定させることによって達成される。このアプローチは、画像をパッチに分割し、パッチの各行を別個の時間ステップとして解釈することにより、静的画像データにも適用することができる。

【0075】

ＣＰＣモデルは、対比損失関数を使用しており、この関数は、ノイズ対比推定に基づき、かつ、パッチの潜在表現（ｚ_ｔ）とそれらの周辺パッチ（ｃ_ｔ＋ｋ）との間の相互情報を最適化するように設計されたＩｎｆｏＮＣＥとして既知の１つを含む。

【数24】

ここで、ｚ_ｔ＝ｇ_ｅｎｃ（ｘ_ｔ）及びｇ_ｅｎｃは、非線形符号器を表し、ｃ_ｔ＝ｇ_ａｒ（ｚ_≦ｔ）及びｇ_ａｒは、自己回帰モデルを表す。さらに、Ｗ_ｋは、ｋ時間ステップ先の予測に使用する線形変換を記述している。サンプルのセットＸは、１つの正のサンプル（ｘ_ｔ，ｘ_ｔ＋ｋ）と、ｘ_ｊが現在のバッチ全体からランダムにサンプリングされたＮ－１個の負のサンプル（ｘ_ｔ，ｘ_ｊ）とからなっている。

【0076】

異常検出のためのＣＰＣ：
ＣＰＣモデルは、異常検出及びセグメンテーションのために適用される。この設定におけるＣＰＣモデルの性能を向上させるために、そのアーキテクチャに対する２つの調整が考慮される（図９参照）。第１に、自己回帰モデルｇ_ａｒが省略される。その結果として、損失関数は以下のように変化する。

【数25】

ここで、

【数26】

は、期待関数であり、ｚ_ｔは、符号化された時系列の局所潜在表現であり、ｔは、時間インデックスであり、Ｗ_ｋは、パラメータの行列であり、ｋは、時間インデックスの幅であり、ｅｘｐ（ａ）は、指数関数であり、Ｌ_Ｘは、対比予測符号化（ＣＰＣ）損失であり、ｃ_ｔは、コンテキスト表現である。

【0077】

この調整は、結果として有用な潜在表現を学習することができる一方で、より簡素なモデルを生じさせる。第２に、テスト中の負のサンプルのセットアップが変更される。ＣＰＣモデルの１つの実装においては、負のサンプルとして同一のテストバッチ内からのランダムなパッチが使用される。しかしながら、これは、結果として異常なパッチを含む負のサンプルを生じさせる場合があり、これは、モデルにとって正のサンプル内において異常なパッチを検出することが難しくなる可能性がある。これを回避するために、トレーニングセットの非異常画像のサブセットを使用する新規なサンプリングアプローチが考慮される。

【0078】

テスト段階において、式（６）における損失関数は、画像パッチｘ_ｔ＋ｋが異常として分類可能であるかどうかを決定するために使用することができる。

【数27】

【0079】

閾値τは、陰関数表示のままであり、受信機動作特性曲線下方領域（ＡＵＲＯＣ）は、性能指標として使用することができる。一方の解決手段は、パッチｘ_ｔ＋ｋごとの異常スコアを使用することにより、異常セグメンテーションマスクを作成することであり、他方の解決手段は、画像内のパッチのスコアにわたる平均化によってサンプルが異常であるかどうかを決定することである。

【0080】

実験：
異常検出及びセグメンテーションのための提案された対比予測符号化モデルは、ＭＶＴｅｃ－ＡＤデータセットで評価された。このデータセットは、画素精度の注釈を有する１０個のオブジェクトと５個のテクスチャとの高解像度画像を含み、クラスごとに６０から３９１の間のトレーニング画像を提供する。次に、すべての画像を７６８×７６８画素にランダムにトリミングし、それをサイズ２５６×２５６のパッチに分割し、ここで、各パッチは、隣接するパッチとの５０％の重複部分を有する。これらのパッチは、さらにサイズ６４×６４のサブパッチに分割され、５０％の重複部分も伴う。これらのサブパッチは、異常検出のためにＩｎｆｏＮＣＥ損失（図１）で使用される。トリミングされた画像は、トレーニング中に５０％の確率で水平方向に反転させる。

【0081】

次いで、ＲｅｓＮｅｔ－１８ｖ２が、符号器ｇ_ｅｎｃとして第３の残余ブロックまで使用された。別個のモデルは、１．５ｅ－４の学習率を有するＡｄａｍオプティマイザーを使用して１５０のエポックについて１６のバッチサイズで各クラスについてゼロからトレーニングされた。このモデルは、グレースケール画像によりトレーニングされかつ評価された。異常なパッチの指標としてのＩｎｆｏＮＣＥ損失の精度を増加させるために、モデルが２方向において適用される。画像の最上部行から最下部行への方向及び最下部行から最上部行への方向の両方で共有の符号器が使用されるが、各方向については別個のＷ_ｋが使用される。

【0082】

異常検出
異常検出のための提案されたモデルの性能は、トリミングされた画像内のすべてのサブパッチにわたって上位５％のＩｎｆｏＮＣＥ損失値を平均化し、この値をＡＵＲＯＣスコアの計算のために使用することによって評価された。表１は、事前トレーニングされた特徴抽出器を使用しないシステムを含む例示的な比較である。提案されたＣＰＣ－ＡＤモデルは、カーネル密度推定モデル（ＫＤＥ）及び自動符号化モデル（Ａｕｔｏ）を大幅に改善する。本開示のモデルの性能はＣｕｔ－Ｐａｓｔｅモデルに劣るが、ＣＰＣ－ＡＤは、異常検出のためのより一般的に適用可能なアプローチを提供する。Ｃｕｔ－Ｐａｓｔｅモデルは、データセット内において遭遇する異常に類似するように設計された、ランダムにサンプリングされた人工的異常に大きく依存する。その結果として、異常が正常なデータとは意味論的に異なるｋ－ｃｌａｓｓｅｓ－ｏｕｔタスクには適用することができない。

【0083】

【表1】

【0084】

表１．ＭＶＴｅｃ－ＡＤテストセットにおけるカテゴリごとの異常検出ＡＵＲＯＣスコアである。提案されたＣＰＣ－ＡＤアプローチは、カーネル密度推定モデル（ＫＤＥ）及び自動符号化モデル（Ａｕｔｏ）よりも大幅に優れており、そのトレーニングのためにデータセット固有の増補に大きく依存しているＣｕｔＰａｓｔｅモデルによって優れた性能を発揮している。

【0085】

異常セグメンテーション：
提案されたＣＰＣ－ＡＤモデルの異常セグメンテーション性能の評価のために、サブパッチ単位のＩｎｆｏＮＣＥ損失値が画素単位の正解レベルの注釈との整合のためにアップサンプリングされる。重複するサブパッチのＩｎｆｏＮＣＥ損失が平均化され、結果として生じた値が、影響を受けたすべての画素に割り当てられる。トリミングされた画像（７６８×７６８）と同一次元の半分のサブパッチ（３２×３２画素）の解像度で異常セグメンテーションマスクが作成される。

【0086】

表２は、提案されたＣＰＣ－ＡＤ方法の異常セグメンテーション性能の例示的な比較である。ＭＶＴｅｃ－ＡＤデータセットにおける最良の結果は、ＦＣＤＤ及びＰａＤｉＭなどのＩｍａｇｅＮｅｔ上において事前トレーニングされた、又は、ＣｕｔＰａｓｔｅなどの追加の人工異常及びアンサンブル方法を使用する広範なモデルによって達成される。本開示において提示されるモデルは、ゼロからトレーニングされ、単に提供されたトレーニングデータを使用するため、複雑ではなくなり、より一般的な方法となる。提案されたＣＰＣ－ＡＤアプローチは、２つの自動エンコードアプローチ（ＡＥ－ＳＳＩＭ、ＡＥ－Ｌ２）及びＧＡＮに基づくアプローチ（ＡｎｏＧＡＮ）によってさらに優れた性能を発揮している。

【0087】

本開示において提示されたモデルは、ほとんどのクラスにわたる大量の画像に対する正確なセグメンテーションマスクの生成を成功させている（図１０）。トランジスタなどの画素単位のＡＵＲＯＣスコアが低いクラスについてさえも、作成されたセグメンテーションマスクは、異常な入力領域を適正に強調することが見てとれる。これは、ＣＰＣ－ＡＤ方法がこのクラスに対して比較的高い検出性能を達成していることに対応している（表１）。これらの結果は、（検出スコアに比較して）低いセグメンテーションスコアの一部が、正解レベルからの小さい空間偏差に起因し得ることを示している。この効果は、このパッチ単位のアプローチが作成するセグメンテーションマスクの比較的低い解像度によって悪化する可能性がある。

【0088】

【表2】

【0089】

表２は、異常セグメンテーション、即ち、カテゴリごとのＭＶＴｅｃ－ＡＤテストセットにおける画素単位のＡＵＲＯＣスコアであり、ＡＥ－ＳＳＩＭ、ＡＥ－Ｌ２、ＡｎｏＧＡＮ、ＣｕｔＰａｓｔｅ、及び、事前トレーニングされた特徴抽出器を使用しない提示されたＣＰＣ－ＡＤモデルである。（＊印により示す）ＦＣＤＤ及びＰａＤｉＭは、これらの結果の向上のために事前トレーニングを使用している。

【0090】

総合的に、ＣＰＣ－ＡＤモデルは、対比学習が異常検出だけでなく、異常セグメンテーションにも適用することができることを示している。提案された方法は、データの大部分について他に負けない結果と共に異常検出タスクにおいて良好な性能を発揮している。さらに、このモデルは、最新のセグメンテーション方法よりも依然として優れた性能を発揮するという事実にもかかわらず、生成されたセグメンテーションマスクは、対比学習に基づく異常セグメンテーション方法への有望な第一歩を提供する。

【0091】

図１１乃至図１６は、例示的な実施形態を示すが、本開示の概念は、付加的な実施形態に適用されるものとしてもよい。いくつかの例示的な実施形態には、態様がビデオ、ウエイト、ＩＲ、３Ｄカメラ及びサウンドを含み得る産業用途、態様がトルク、圧力、温度、距離又はサウンドを含み得る電動工具又は家電製品用途、態様が超音波、ビデオ、ＣＡＴスキャン、ＭＲＩ又はサウンドを含み得る医療用途、態様がビデオ、超音波、ＬＩＤＡＲ、ＩＲ又はサウンドを含み得るロボット用途、態様がビデオ、サウンド、ＩＲ又はＬＩＤＡＲを含み得るセキュリティ用途が含まれる。これらの態様は、多様なデータセットを有し得るものであり、例えば、ビデオデータセットは、画像を含み得るものであり、ＬＩＤＡＲデータセットは、点状クラウドを含み得るものであり、マイクロフォンデータセットは、時系列を含み得るものである。

【0092】

図１１は、少なくとも部分的に自律的な車両であり得る車両又は少なくとも部分的に自律的なロボットを制御するように構成された制御システム１１０２の概略図である。この車両は、センサ１１０４とアクチュエータ１１０６とを含む。センサ１１０４は、１つ以上の波動エネルギーに基づくセンサ（例えば、電荷結合デバイスＣＣＤ又はビデオ）、レーダ、ＬｉＤＡＲ、マイクロフォンアレイ、超音波、赤外線、熱映像、音響映像、又は、他の技術（例えばＧＰＳなどの測位センサ）を含み得る。１つ以上の特定のセンサのうちの１つ以上は、車両内に統合されるものとしてもよい。代替的又は上記で特定された１つ以上の特定のセンサに対して付加的に、制御モジュール１１０２は、実行時に、アクチュエータ１１０４の状態を決定するように構成されたソフトウェアモジュールを含み得る。

【0093】

車両が少なくとも部分的に自律的な車両である実施形態においては、アクチュエータ１１０６は、車両のブレーキシステム、推進システム、エンジン、駆動系又は操舵システムにおいて具現化され得る。アクチュエータ制御コマンドは、車両が検出された物体との衝突を回避するようにアクチュエータ１１０６が制御されるように決定されるものとしてもよい。検出された物体は、分類器が、歩行者や樹木などの可能性が最も高いとみなすことに従って分類されるものとしてもよい。アクチュエータ制御コマンドは、分類に依存して決定するものとしてもよい。例えば、制御システム１１０２は、物体との衝突を回避するために、センサ１１０４からの（例えば、光学的、音響的、熱的）画像又は他の入力を、１つ以上の背景クラスと１つ以上の物体クラス（例えば、歩行者、自転車、車両、樹木、交通標識、交通信号、道路の破片、又は、建設現場用の樽／コーンなど）とに区分し、アクチュエータ１１０６に、この場合の具現化においてはブレーキシステム又は推進システムに制御命令を送信することができる。他の例においては、制御システム１１０２は、画像を１つ以上の背景クラスと１つ以上の標識クラス（例えば、車線標識、ガードレール、車道縁部、車両走路など）とに区分し、車両が標識の横断を回避して車線内に留まるように、ここでは操舵システム内において具現化されているアクチュエータ１１０６に制御命令を送信することができる。敵対的攻撃が発生し得るシナリオにおいては、上述したシステムは、物体をより良好に検出するために、又は、車両上のセンサ若しくはカメラに対する照明条件若しくは角度の変化を識別するために、さらにトレーニングされるものとしてもよい。

【0094】

車両１１００が少なくとも部分的に自律的なロボットである他の実施形態においては、車両１１００は、飛行、スイミング、ダイビング及びステッピングなどの１つ以上の機能を実行するように構成された移動型ロボットであるものとしてもよい。この移動型ロボットは、少なくとも部分的に自律的な芝刈り機又は少なくとも部分的に自律的な清掃ロボットであるものとしてもよい。そのような実施形態においては、アクチュエータ制御命令１１０６は、移動型ロボットが識別された物体との衝突を回避することができるように、移動型ロボットの推進ユニット、操舵ユニット及び／又はブレーキユニットが制御され得るように決定されるものとしてもよい。

【0095】

他の実施形態においては、車両１１００は、園芸ロボットの形態の少なくとも部分的に自律的なロボットである。そのような実施形態においては、車両１１００は、車両１１００に近接する環境における植物の状態を決定するために、センサ１１０４として光学的センサを使用することができる。アクチュエータ１１０６は、化学薬品を噴霧するように構成されたノズルであるものとしてもよい。植物の識別された種及び／又は識別された状態に依存して、アクチュエータ制御命令１１０２は、アクチュエータ１１０６に、適当な量の適当な化学薬品を植物に噴霧させるように決定されるものとしてもよい。

【0096】

車両１１００は、家庭用電化製品の形態の少なくとも部分的に自律的なロボットであるものとしてもよい。家庭用電化製品の非限定的な例には、洗濯機、ストーブ、オーブン、電子レンジ又は食器洗浄機が含まれる。そのような車両１１００においては、センサ１１０４は、家庭用電化製品による処理を受ける物体の状態を検出するように構成された光学的又は音響的センサであるものとしてよい。例えば、家庭用電化製品が洗濯機である場合においては、センサ１１０４は、洗濯機内の洗濯物の状態を検出することができる。アクチュエータ制御命令は、洗濯物の検出された状態に基づいて決定されるものとしてもよい。

【0097】

本実施形態においては、制御システム１１０２は、センサ１１０４から（光学的又は音響的に）画像及び注釈情報を受信することとなる。これらの情報と、システム内に記憶されている所定のクラス数ｋ及び類似性尺度

【数28】

とを使用することにより、制御システム１１０２は、センサ１１０４から受信した画像の各画素を分類するために図１０に記載の方法を使用することができる。この分類に基づいて、例えば、歩行者若しくは樹木との衝突を回避するために制動し若しくは旋回し、検出された車線標識の間に留まるように操舵し、又は、上述したようにアクチュエータ１１０６によって行われる任意の動作を行うために、信号は、アクチュエータ１１０６に送信されるものとしてよい。この分類に基づいて、例えば、カメラレンズの焦点合わせ又は移動のために、信号は、センサ１１０４に送信されるものとしてもよい。

【0098】

図１２は、生産ラインの一部などの製造システム１０２のパンチカッタ、カッタ又はガンドリルなどのシステム１２００（例えば、製造機械）を制御するように構成された制御システム１２０２の概略図を示している。この制御システム１２０２は、システム１２００（例えば、製造機械）を制御するように構成されたアクチュエータ１２０６を制御するように構成されるものとしてもよい。

【0099】

システム１２００（例えば、製造機械）のセンサ１２０４は、製造された製品の１つ以上の特性を捕捉するように構成された光学的センサ又は音響的センサ又はセンサアレイなどの波動エネルギーセンサであるものとしてもよい。制御システム１２０２は、捕捉された特性のうちの１つ以上から製造された製品の状態を決定するように構成されるものとしてもよい。アクチュエータ１２０６は、製造された製品の後続の製造ステップのために、製造された製品１０４の決定された状態に依存してシステム１２０２（例えば、製造機械）を制御するように構成されるものとしてもよい。アクチュエータ１２０６は、先の製造された製品の決定された状態に依存して、システム（例えば、製造機械）の後続の製造された製品に関する図１２の機能部（例えば、製造機械）を制御するように構成されるものとしてもよい。

【0100】

本実施形態においては、制御システム１２０２は、センサ１２０４から（例えば、光学的又は音響的に）画像及び注釈情報を受信することとなる。これらの情報と、システム内に記憶されている所定のクラス数ｋ及び類似性尺度

【数29】

とを使用することにより、制御システム１２０２は、センサ１２０４から受信した画像の各画素を分類し、例えば、製造された物体の画像を２以上のクラスに分類し、製造された製品における異常を検出し、製造された製品上のバーコードなどの物体の存在を保証するために図１０に記載の方法を使用することができる。この分類に基づいて、信号がアクチュエータ１２０６に送信されるものとしてもよい。例えば、制御システム１２０２が製品において異常を検出した場合、アクチュエータ１２０６は、異常又は欠陥のある製品をマークすることができ又はラインから除去することができる。他の例においては、制御システム１２０２が、バーコード又は製品上に配置される他の物体の存在を検出した場合、アクチュエータ１２０６は、これらの物体を適用することができ又はそれらを除去することができる。この分類に基づいて、例えば、カメラレンズの焦点合わせや移動のために、信号は、センサ１２０４に送信されるものとしてもよい。

【0101】

図１３は、少なくとも部分的に自律的なモードを有する電動ドリル又はドライバなどの電動工具１３００を制御するように構成された制御システム１３０２の概略図を示している。この制御システム１３０２は、電動工具１３００を制御するように構成されたアクチュエータ１３０６を制御するように構成されるものとしてもよい。

【0102】

電動工具１３００のセンサ１３０４は、作業面及び／又は作業面に打ち込まれる留め具の１つ以上の特性を捕捉するように構成された光学的又は音響的センサなどの波動エネルギーセンサであるものとしてもよい。制御システム１３０２は、捕捉された特性のうちの１つ又は複数から、作業面の状態及び／又は留め具の作業面に対する状態を決定するように構成されるものとしてもよい。

【0103】

本実施形態においては、制御システム１３０２は、センサ１３０４から（例えば、光学的又は音響的に）画像及び注釈情報を受信することとなる。これらの情報と、システム内に記憶されている所定のクラス数ｋ及び類似性尺度

【数30】

とを使用することにより、制御システム１３０２は、作業面又は留め具の画像を２以上のクラスに分類する又は作業面若しくは留め具の異常を検出する目的で、センサ１３０４から受信した画像の各画素を分類するために図１０に記載の方法を使用することができる。この分類に基づいて、信号は、例えば、工具の圧力若しくは速度、又は、上記の箇所において説明したようにアクチュエータ１３０６によって実行される任意の動作のためにアクチュエータ１３０６に送信されるものとしてもよい。この分類に基づいて、例えば、カメラレンズの焦点合わせや移動のために、信号は、センサ１３０４に送信されるものとしてもよい。他の例においては、画像は、電動工具がハンマドリル、ドリル、ハンマ（回転式又は解体式）、インパクトドライバ、レシプロソー、振動マルチツールであり、電動工具がコードレス又はコード式である場合の圧力、トルク、毎分回転数、温度、電流などの電動工具１３００からの信号の時系列画像であるものとしてもよい。

【0104】

図１４は、自動化されたパーソナルアシスタント１４０１を制御するように構成された制御システム１４０２の概略図を示している。この制御システム１４０２は、自動化されたパーソナルアシスタント１４０１を制御するように構成されたアクチュエータ１４０６を制御するように構成されるものとしてもよい。自動化されたパーソナルアシスタント１４０１は、洗濯機、ストーブ、オーブン、電子レンジ又は食器洗浄機などの家庭用電化製品を制御するように構成されるものとしてもよい。

【0105】

本実施形態においては、制御システム１４０２は、センサ１４０４から（例えば、光学的又は音響的に）画像及び注釈情報を受信することとなる。これらの情報と、システム内に記憶されている所定のクラス数ｋ及び類似性尺度

【数31】

とを使用することにより、制御システム１４０２は、センサ１４０４から受信した画像の各画素を分類し、例えば、操作又は動作すべき家電製品又は他の物体の画像を区分するために、図１０に記載の方法を使用することができる。この分類に基づいて、例えば、自動化されたパーソナルアシスタント１４０１の可動部を制御して家庭用電化製品と相互作用するために、又は、上記の箇所において説明したようにアクチュエータ１４０６によって実行される任意の動作のために、信号は、アクチュエータ１４０６に送信されるものとしてよい。この分類に基づいて、例えば、カメラレンズの焦点合わせ又は移動のために、信号は、センサ１４０４に送信されるものとしてもよい。

【0106】

図１５は、監視システム１５００を制御するように構成された制御システム１５０２の概略図を示している。この監視システム１５００は、ドア２５２を通るアクセスを物理的に制御するように構成されるものとしてもよい。センサ１５０４は、アクセスが許可されるか否かの決定において関連するシーンを検出するように構成されるものとしてもよい。センサ１５０４は、画像データ及び／又はビデオデータを生成し伝送するように構成された光学的又は音響的センサ又はセンサアレイであるものとしてもよい。そのようなデータは、人の顔を検出するために制御システム１５０２によって使用されるものとしてもよい。

【0107】

監視システム１５００は、サーベイランスシステムであるものとしてもよい。そのような実施形態においては、センサ１５０４は、監視下にあるシーンを検出するように構成された光学的センサ、赤外線センサ、音響的センサなどの波動エネルギーセンサであるものとしてよい。制御システム１５０２は、ディスプレイ１５０８を制御するように構成される。制御システム１５０２は、シーンの分類、例えば、センサ１５０４によって検出されたシーンが不審であるか否かを決定するように構成される。最適でない条件（例えば、夜、霧、雨、背景ノイズの干渉など）においてシステムにそのようなオブジェクトの識別を可能にさせる目的で所定のタイプのオブジェクト検出のために摂動オブジェクトが利用されるものとしてもよい。制御システム１５０２は、分類に応じて、アクチュエータ制御命令をディスプレイ１５０８に伝送するように構成される。ディスプレイ１５０８は、アクチュエータ制御命令に応じて、表示されたコンテンツを調整するように構成されるものとしてもよい。例えば、ディスプレイ１５０８は、コントローラ１５０２によって疑わしいとみなされたオブジェクトを強調することができる。

【0108】

本実施形態においては、制御システム１５０２は、センサ１５０４から（光学的又は音響的に）画像及び注釈情報を受信することとなる。これらの情報と、システム内に記憶されている所定のクラス数ｋ及び類似性尺度

【数32】

とを使用することにより、制御システム１５０２は、例えば、シーン内の不審な若しくは望ましくないオブジェクトの存在を検出し、照明若しくは視聴条件のタイプを検出し、又は、動作を検出する目的で、センサ１５０４から受信した画像の各画素を分類するために図１０に記載の方法を使用することができる。この分類に基づいて、信号は、例えば、ドア若しくは他の入口のロック若しくはロック解除のために、アラーム若しくは他の信号の起動のために、又は、上記の箇所において説明したようにアクチュエータ１５０６によって実行される任意の動作のために、アクチュエータ１５０６に送信されるものとしてもよい。この分類に基づいて、例えば、カメラレンズの焦点合わせや移動のために、信号は、センサ１５０４に送信されるものとしてもよい。

【0109】

図１６は、例えば、ＭＲＩ装置、Ｘ線撮像装置又は超音波装置などの撮像システム１６００を制御するように構成された制御システム１６０２の概略図を示している。センサ１６０４は、例えば、撮像センサ又は音響的センサアレイであるものとしてもよい。制御システム１６０２は、感知された画像のすべて又は一部の分類を決定するように構成されるものとしてもよい。制御システム１６０２は、トレーニングされたニューラルネットワークによって取得された分類に応じて、アクチュエータ制御命令を決定又は選択するように構成されるものとしてもよい。例えば、制御システム１６０２は、（光学的又は音響的に）感知された画像の領域が潜在的に異常であると解釈することができる。この場合においては、アクチュエータ制御命令は、ディスプレイ１６０６に撮像を表示させ、潜在的に異常領域を強調させるように決定又は選択されるものとしてもよい。

【0110】

本実施形態においては、制御システム１６０２は、センサ１６０４から画像及び注釈情報を受信することとなる。これらの情報と、システム内に記憶されている所定のクラス数ｋ及び類似性尺度

【数33】

とを使用することにより、制御システム１６０２は、センサ１６０４から受信した画像の各画素を分類するために、図１０に記載の方法を使用することができる。この分類に基づいて、例えば、画像の異常領域を検出するために、又は、上記の箇所において説明したようにアクチュエータによって実行される任意の動作のために、信号は、アクチュエータに送信されるものとしてよい。

【0111】

本明細書において説明したアルゴリズム及び／又は方法論を具現化したプログラムコードは、様々な異なる形態のプログラム製品として個別に又はまとめて配布することが可能である。このプログラムコードは、プロセッサに１つ以上の実施形態の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体を使用して配布されるものとしてもよい。本質的に非一時的であるコンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報を記憶するための任意の方法又は技術により実装された揮発性及び不揮発性並びに着脱可能及び非着脱可能な有形媒体を含み得る。コンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他の固体メモリ技術、携帯用コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）若しくは他の光学的ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気的記憶デバイス、又は、所望の情報を記憶するために使用することができ、かつ、コンピュータによって読み取ることができる任意の他の媒体をさらに含み得る。コンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からコンピュータ、他の種類のプログラマブルデータ処理装置又は他のデバイスにダウンロードされるものとしてもよいし、ネットワークを介して外部のコンピュータ又は外部記憶デバイスにダウンロードされるものとしてもよい。

【0112】

コンピュータ可読媒体に記憶されたコンピュータ可読プログラム命令は、コンピュータ、他のタイプのプログラマブルデータ処理装置、又は、他のデバイスが特定の手法により機能するように指示するために使用されるものとしてもよく、それによって、コンピュータ可読媒体に記憶された命令は、フローチャート又はダイヤグラムに指定された機能、動作及び／又は操作を実施する命令を含む製造物品を生成するようにさせる。所定の代替的実施形態においては、フローチャート及びダイヤグラムにおいて指定された機能、動作及び／又は操作は、１つ以上の実施形態と整合するように、再順序付けされ、逐次的に処理され、及び／又は、同時に処理されるものとしてもよい。その上さらに、任意のフローチャート及び／又はダイヤグラムは、１つ以上の実施形態と整合するように示されたノード又はブロックよりも多い又は少ないノード又はブロックを含み得る。

【0113】

本発明のすべてが様々な実施形態の説明によって示され、これらの実施形態が非常に詳細に説明されてきたが、添付の請求項の権利範囲をそのような詳細に制限すること又はいかなる方法によっても限定することは、出願人の意図するところではない。付加的な利点及び変更は、当業者には容易に明らかになる。従って、その広範な態様における本発明は、図示され、説明されてきた特定の詳細、代表的な装置及び方法並びに例示的な実施例に限定されるものではない。従って、包括的な発明概念の精神又は範囲から逸脱することなく、そのような詳細を起点とすることができる。

【図1】