知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-30
(54)【発明の名称】機械学習モデル及び類似度正則化を使用する異常検出
(51)【国際特許分類】
G06F 16/903 20190101AFI20240723BHJP
【ＦＩ】
G06F16/903
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023577472
(86)(22)【出願日】2022-06-14
(85)【翻訳文提出日】2023-12-14
(86)【国際出願番号】 US2022033403
(87)【国際公開番号】W WO2022266078
(87)【国際公開日】2022-12-22
(31)【優先権主張番号】17/348,294
(32)【優先日】2021-06-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】591235706
【氏名又は名称】ペプシコ・インク
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100131808
【弁理士】
【氏名又は名称】柳橋 泰雄
(72)【発明者】
【氏名】イマス，マイケル
(72)【発明者】
【氏名】サックス，ライアン
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA10
5B175HB03
(57)【要約】
機械学習モデル（ＭＬＭ）及び類似度正則化を使用する異常検出のための実施形態が本明細書で開示される。一実施形態は、第１の製品、第２の製品、及びターゲット製品に関するデータを取得することによって動作する。データは、ターゲット製品の疎データ点集合を含む。次に、ターゲット製品と第１の製品及び第２の製品との間の類似度スコアが計算され得る。本実施形態は更に、正則化ペナルティを使用してターゲット製品に関連付けられたターゲットＭＬＭを生成することによって動作する。正則化ペナルティは、ターゲットＭＬＭのターゲット係数集合と、第１の製品及び第２の製品にそれぞれ関連付けられた第１のＭＬＭ及び第２のＭＬＭの係数との間の類似度スコア及び距離に基づく。次いで、本実施形態は、ターゲット製品に関連付けられた特徴ベクトルをターゲットＭＬＭに供給することによって、ターゲット製品に関連付けられた異常を検出し得る。
【特許請求の範囲】
【請求項1】
機械学習モデル及び類似度正則化を使用する異常検出のための方法であって、少なくとも１つのプロセッサによって、第１の製品、第２の製品、及びターゲット製品を含む複数の製品の複数のデータ点をメモリに記憶することであって、前記複数のデータ点は、前記ターゲット製品の疎なデータ点集合を含む、記憶することと、
前記少なくとも１つのプロセッサによって、前記第１の製品と前記ターゲット製品との間の第１の類似度スコア、及び前記第２の製品と前記ターゲット製品との間の第２の類似度スコアを計算することと、
前記少なくとも１つのプロセッサによって、前記疎なデータ点集合に応答して、正則化ペナルティを使用して前記ターゲット製品に関連付けられたターゲット機械学習（ＭＬ）モデルを生成することであって、前記正則化ペナルティは、
前記第１の類似度スコア及び前記第２の類似度スコアと、
前記第１の製品に関連付けられた第１のＭＬモデルの第１の係数集合と、前記ターゲットＭＬモデルのターゲット係数集合との間の第１の距離と、
前記第２の製品に関連付けられた第２のＭＬモデルの第２の係数集合と前記ターゲット係数集合との間の第２の距離と、に基づく、生成することと、
前記ターゲット製品に関連付けられた特徴ベクトルを前記ターゲットＭＬモデルに供給することによって、前記ターゲット製品の異常を検出することと、を含む、方法。
【請求項2】
前記第１の製品、前記第２の製品、及び前記ターゲット製品は、民生品（ＣＰＧ）である、請求項１に記載の方法。
【請求項3】
前記第１の製品、前記第２の製品、及び前記ターゲット製品は、医療デバイスであり、前記異常は、前記ターゲット製品の故障である、請求項１に記載の方法。
【請求項4】
前記第１の類似度スコアを計算することは、前記少なくとも１つのプロセッサによって、前記第１の製品の埋め込みと前記ターゲット製品の埋め込みとの間の第１のコサイン類似度を計算することと、
前記第１のコサイン類似度を類似度閾値と比較することと、
前記第１のコサイン類似度が前記類似度閾値を超えることに応答して、前記第１の製品と前記ターゲット製品とが類似であると判定し、かつ前記第１の類似度スコアを１に設定することと、を含む、請求項１に記載の方法。
【請求項5】
前記第２の類似度スコアを計算することは、前記少なくとも１つのプロセッサによって、前記第２の製品の埋め込みと前記ターゲット製品の前記埋め込みとの間の第２のコサイン類似度を計算することと、
前記第２のコサイン類似度を前記類似度閾値と比較することと、
前記第２のコサイン類似度が前記類似度閾値を下回ることに応答して、前記第２の製品と前記ターゲット製品とが非類似であると判定し、かつ前記第２の類似度スコアをゼロに設定することと、を含む、請求項４に記載の方法。
【請求項6】
前記正則化ペナルティは、少なくとも、前記第１の距離に関連付けられた第１の対比損失関数と、前記第２の距離に関連付けられた第２の対比損失関数との和を含む、請求項１に記載の方法。
【請求項7】
前記第１の対比損失関数は、【数1】
【数2】
【請求項8】
前記第２の対比損失関数は、【数3】
【数4】
【請求項9】
機械学習モデル及び類似度正則化を使用する異常検出のためのシステムであって、メモリと、
前記メモリに連結された少なくとも１つのプロセッサと、を備え、前記少なくとも１つのプロセッサが、
第１の製品、第２の製品、及びターゲット製品を含む複数の製品の複数のデータ点を前記メモリに記憶することであって、前記複数のデータ点は、前記ターゲット製品の疎なデータ点集合を含む、記憶することと、
前記第１の製品と前記ターゲット製品との間の第１の類似度スコアと、前記第２の製品と前記ターゲット製品との間の第２の類似度スコアとを計算することと、
前記疎なデータ点集合に応答して、正則化ペナルティを使用して前記ターゲット製品に関連付けられたターゲット機械学習（ＭＬ）モデルを生成することであって、前記正則化ペナルティは、
前記第１の類似度スコア及び前記第２の類似度スコアと、
前記第１の製品に関連付けられた第１のＭＬモデルの第１の係数集合と、前記ターゲットＭＬモデルのターゲット係数集合との間の第１の距離と、
前記第２の製品に関連付けられた第２のＭＬモデルの第２の係数集合と前記ターゲット係数集合との間の第２の距離と、に基づく、生成することと、
前記ターゲット製品に関連付けられた特徴ベクトルを前記ターゲットＭＬモデルに供給することによって、前記ターゲット製品の異常を検出することと、を行うように構成されている、システム。
【請求項10】
前記第１の類似度スコアを計算するために、前記少なくとも１つのプロセッサが、前記第１の製品の埋め込みと前記ターゲット製品の埋め込みとの間の第１のコサイン類似度を計算することと、
前記第１のコサイン類似度を類似度閾値と比較することと、
前記第１のコサイン類似度が前記類似度閾値を超えることに応答して、前記第１の製品と前記ターゲット製品とが類似であると判定し、かつ前記第１の類似度スコアを１に設定することと、を行うように更に構成されている、請求項９に記載のシステム。
【請求項11】
前記第２の類似度スコアを計算するために、前記少なくとも１つのプロセッサが、前記第２の製品の埋め込みと前記ターゲット製品の前記埋め込みとの間の第２のコサイン類似度を計算することと、
前記第２のコサイン類似度を前記類似度閾値と比較することと、
前記第２のコサイン類似度が前記類似度閾値を下回ることに応答して、前記第２の製品と前記ターゲット製品とが非類似であると判定し、かつ前記第２の類似度スコアをゼロに設定することと、を行うように更に構成されている、請求項１０に記載の方法。
【請求項12】
前記正則化ペナルティは、少なくとも、前記第１の距離に関連付けられた第１の対比損失関数と、前記第２の距離に関連付けられた第２の対比損失関数との和を含む、請求項９に記載のシステム。
【請求項13】
前記第１の対比損失関数は、【数5】
【数6】
【請求項14】
前記第２の対比損失関数は【数7】
【数8】
【請求項15】
機械学習モデル及び類似度正則化を使用する異常検出のための命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つのコンピューティングデバイスによって実行されると、前記少なくとも１つのコンピューティングデバイスに、第１の製品、第２の製品、及びターゲット製品を含む複数の製品の複数のデータ点をメモリに記憶することであって、前記複数のデータ点は、前記ターゲット製品の疎なデータ点集合を含む、記憶することと、
前記第１の製品と前記ターゲット製品との間の第１の類似度スコア、及び前記第２の製品と前記ターゲット製品との間の第２の類似度スコアを計算することと、
前記疎なデータ点集合に応答して、正則化ペナルティを使用して前記ターゲット製品に関連付けられたターゲット機械学習（ＭＬ）モデルを生成することであって、前記正則化ペナルティは、
前記第１の類似度スコア及び前記第２の類似度スコアと、
前記第１の製品に関連付けられた第１のＭＬモデルの第１の係数集合と、前記ターゲットＭＬモデルのターゲット係数集合との間の第１の距離と、
前記第２の製品に関連付けられた第２のＭＬモデルの第２の係数集合と前記ターゲット係数集合との間の第２の距離と、に基づく、生成することと、
前記ターゲット製品に関連付けられた特徴ベクトルを前記ターゲットＭＬモデルに供給することによって、前記ターゲット製品の異常を検出することと、を含む動作を行わせる、非一時的コンピュータ可読媒体。
【請求項16】
前記第１の類似度スコアを計算することは、前記第１の製品の埋め込みと前記ターゲット製品の埋め込みとの間の第１のコサイン類似度を計算することと、
前記第１のコサイン類似度を類似度閾値と比較することと、
前記第１のコサイン類似度が前記類似度閾値を超えることに応答して、前記第１の製品と前記ターゲット製品とが類似であると判定し、かつ前記第１の類似度スコアを１に設定することと、を更に含む、請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記第２の類似度スコアを計算することは、前記第２の製品の埋め込みと前記ターゲット製品の前記埋め込みとの間の第２のコサイン類似度を計算することと、
前記第２のコサイン類似度を前記類似度閾値と比較することと、
前記第２のコサイン類似度が前記類似度閾値を下回ることに応答して、前記第２の製品と前記ターゲット製品とが非類似であると判定し、かつ前記第２の類似度スコアをゼロに設定することと、を更に含む、請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記正則化ペナルティは、少なくとも、前記第１の距離に関連付けられた第１の対比損失関数と、前記第２の距離に関連付けられた第２の対比損失関数との和を含む、請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記第１の対比損失関数は、【数9】
【数10】
【請求項20】
前記第２の対比損失関数は、【数11】
【数12】
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年６月１５日出願された米国特許出願第１７／３４８，２９４号の優先権を主張するものであり、当該出願は、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２１年６月１５日出願された米国特許出願第１７／３４８，２９４号の優先権を主張するものであり、当該出願は、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
機械学習モデルは、産業上及び技術上の問題を解決又は低減するために頻繁に使用される。例えば、機械学習モデルは、異常検出を行い、そのため、データ集合内の予期しない（例えば、疑わしい）アイテム又はイベントを識別するために頻繁に使用される。異常検出及び／又は他の動作のための機械学習モデルを有意義に訓練するために、多くの場合、大きい（例えば、稠密な）訓練データ点集合を有することが必要である。何らかの理由で訓練データ点集合が疎である場合、機械学習モデルの性能が損なわれる場合がある。例えば、異常検出の場合、疎な訓練データ点集合は、機械学習モデルが予期しない（例えば、疑わしい）アイテム／イベント（例えば、偽陰性）を見逃すこと、及び／又は機械学習モデルが予期しないときにルーチンアイテム／イベント（例えば、偽陽性）に不適切にフラグ付けすることをもたらし得る。
【図面の簡単な説明】
【0003】
添付の図面は、本明細書に組み込まれ、本明細書の一部を形成する。
【図1】１つ以上の実施形態による、機械学習モデル及び類似度正則化を使用する異常検出のためのシステムのブロック図を示す。
【図2】１つ以上の実施形態による、機械学習モデル及び類似度正則化を使用する異常検出のためのフローチャートを示す。
【図3】様々な実施形態を実装するために有用な例示的なコンピュータシステムを示す。
【0004】
図面では、同様の参照番号は、概して、同一又は類似の要素を示す。加えて、概して、参照番号の左端の桁は、その参照番号が最初に現れる図面を識別する。
【発明を実施するための形態】
【0005】
本明細書では、機械学習モデル及び類似度正則化を使用する異常検出のためのシステム、装置、デバイス、方法及び／若しくはコンピュータプログラム製品の実施形態、並びに／又はそれらの組み合わせ及び部分組み合わせが提供される。１つ以上の実施形態は、複数のエンティティ（例えば、製品、デバイスなど）のデータ点を記憶することを含み、データ点は、ターゲットエンティティ（例えば、ターゲット製品）の疎なデータ点集合を含む。エンティティに対して１つ以上の機械学習モデルが生成され得る。ターゲットエンティティ（疎なデータ点集合を有する）に関連付けられた機械学習モデルの係数を判定するために、ターゲットエンティティと類似である他のエンティティに関連付けられた他のモデルの係数が活用され得る。これは、類似度正則化と称される場合がある。類似度正則化は、疎なデータ集合を用いて訓練された機械学習モデルを使用する異常検出から生じることがある偽陰性及び偽陽性を排除又は少なくとも軽減し得る。次いで、生成されたモデルは、様々な産業及び技術分野において異常検出を行うために使用され得る。
【0006】
例えば、異常検出は、医療デバイスなどのデバイスにおける潜在的な故障検出に対応してもよい。機械学習モデルへの入力は、デバイスからのセンサ読取り値に基づく特徴ベクトルであってもよく、機械学習モデルの出力は、ある時間ウィンドウ内でデバイスが故障する確率であってもよい。デバイスが新しい場合、機械学習モデルを訓練するために、疎な訓練データ点集合のみが利用可能であり得る。しかしながら、デバイスが、複数年にわたって利用可能であった他のデバイスと類似である（及び、そのため、これらの類似デバイスに対して稠密な訓練データ点が存在する）場合、類似度正則化が、機械学習モデルを訓練するために使用され得る（以下で考察される）。
【0007】
別の実施例として、異常検出は、クレジットカード取引における不正検出に対応してもよい。クレジットカード会社は、実際の取引が不正である可能性を推定する必要があり得る。機械学習モデルへの入力は、取引の１つ以上の属性（例えば、価格、郵便番号、時間、店舗のタイプ、アイテムのタイプ、アイテムの数など）であってもよく、機械学習モデルの出力は、取引が不正である確率であってもよい。取引の消費者が、疎な訓練データ点集合を有する消費者群に属し、この疎な訓練データ点集合のみが機械学習モデルを訓練するために使用される場合、機械学習モデルの性能が損なわれる場合がある（例えば、詐欺の偽陽性）。しかしながら、１つ以上の類似の消費者群が稠密な訓練データ点集合を有する場合、機械学習モデルを訓練するために類似度正則化が使用され（以下で考察される）、偽陽性を低減し得る。
【0008】
民生品（consumer packaged goods、ＣＰＧ）の文脈では、製造プロセス（例えば、欠陥のある製品ロットの生産）又はビジネス若しくは経済環境（例えば、競争、販売、市場占有率、マーケティングの不利な結果、又は世界的なウイルスパンデミックなどの外的打撃）における異常を検出することが有利であり得る。具体的な実施例として、トルティーヤチップの確立された市場が存在し、次いで、その製品が消費者によって非常に好まれる市場への新規参入者が到着すると仮定する。強力な競合ブランドの導入は、既存のブランド／製品の価格決定力及び市場シェアダイナミクスに異常な方法で影響を及ぼす。これらの影響は、様々な計量経済学モデルによって捕捉され得るが、これらのモデルは、類似度正則化を使用して（例えば、類似製品に関連付けられた稠密な訓練データ点集合を使用して）増強することができる。
【0009】
図１は、１つ以上の実施形態による、機械学習モデル及び類似度正則化を使用する異常検出のためのシステム１００を示している。システム１００は、データセットリポジトリ１１０、モデル生成器１５０、及び訓練された機械学習モデルリポジトリ１７０を含む複数の構成要素を有し得る。これらの構成要素の各々は、図３を参照して以下で考察されるコンピュータシステム３００などのコンピュータシステム上に実装され得る。構成要素のうちの２つ以上（例えば、データセットリポジトリ１１０及びモデル生成器１５０）は、通信リンク１２０によって接続され得る。通信リンク１２０は、イーサネット接続、セルラー接続、赤外線接続、光ファイバ接続、ブルートゥース（登録商標）接続などに対応し得る。要するに、通信リンク１２０は、任意のタイプの有線接続及び／又は無線接続に対応し得る。
【0010】
１つ以上の実施形態では、データセットリポジトリ１１０は、データセットＤ １１５を記憶する。データセットＤ １１５は、複数のエンティティの複数のデータ点を含み得る。各データ点は、エンティティに対応し得る。データセットＤ １１５には、Ｋ個のエンティティ（Ｋ≧２）が存在し、そのため、Ｋ個のデータ点集合が存在し得る。異なるエンティティは、データセットＤ １１５内に異なる数のデータ点を有し得る。例えば、いくつかのエンティティは、多くのデータ点（すなわち、稠密なデータ点集合）を有してもよく、他のエンティティは、より少ないデータ点（すなわち、疎なデータ点集合）を有してもよい。
【0011】
各データ点は、特徴ベクトル
【0012】
【数1】
【0013】
１つ以上の実施形態では、Ｋ個のエンティティの各々は、例えば、デバイス（例えば、医療デバイス）又は民生品などの製品であってもよい。そのようなシナリオでは、特徴ベクトルは、製品の属性又は更には製品によって取得されたセンサ読取り値に対応してもよく、出力は、製品が故障する確率であってもよい。追加的又は代替的に、Ｋ個のエンティティの各々は、類似の社会的経済的特性又は支出パターンを共有する消費者の群又はクラスタであってもよい。そのようなシナリオでは、特徴ベクトルは、群からの消費者を含むとされるクレジットカード取引などの取引の属性であってもよく、出力は、取引が不正である確率であってもよい。
【0014】
１つ以上の実施形態では、モデル生成器１５０は、複数のエンティティのための教師あり機械学習モデルを生成するように構成されている。データセットＤ １１５内のデータ点は、モデルを訓練するために使用されてもよく、モデル生成器１５０は、モデルを生成するためのデータ点の一部又は全部を記憶するためのメモリ１５２を含み得る。例えば、エンティティｊに対して生成されたモデルＭｊは、Ｍｊ（Ｘｊ）＝Ｙｊ＋εの形式を有し得、式中εは誤差である。
【0015】
１つ以上の実施形態では、教師あり機械学習モデルを生成することは、係数集合
【0016】
【数2】
【0017】
１つ以上の実施形態では、訓練された機械学習モデルリポジトリ１７０は、モデル生成器１５０によって生成された機械学習モデルを記憶する。図１に示すように、訓練された機械学習モデルリポジトリ１７０は、機械学習モデル１ １７２Ａ、機械学習モデルＫ １７２Ｋなどを記憶し得る。機械学習モデル１７２の各々は、エンティティのうちの１つに対応し得る。機械学習モデル１７２の各々は、入力特徴ベクトルに基づいて出力を生成するために係数集合を含み、かつ利用し得る。例えば、機械学習モデル１ １７２Ａは、係数集合１ １７５Ａを含んでもよく、機械学習モデルＫ １７２Ｋは、係数集合Ｋ １７５Ｋを含んでもよい。以下で考察するように、エンティティ及び特徴ベクトル内の特徴に応じて、機械学習モデル１７２のうちの１つ以上は、対応するエンティティ（例えば、デバイス）の故障を検出すること、不正取引を検出すること、ネットワークセキュリティ違反を検出することなどを含む、異常検出のために使用され得る。
【0018】
図２は、１つ以上の実施形態による、機械学習モデル及び類似度正則化を使用する異常検出のための方法２００のフローチャートである。方法２００は、ハードウェア（例えば、回路、専用論理、プログラマブル論理、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行する命令）、又はそれらの組み合わせを含むことができる処理論理によって行うことができる。本明細書に提供される開示を実施するために全ての工程が必要とされなくてもよいことが理解されるべきである。更に、当業者に理解されるように、工程のうちのいくつかは、同時に行われもよく、又は図２に示されるものとは異なる順序で行われてもよい。
【0019】
方法２００は、図１を参照して記載されることになる。しかしながら、方法２００は、その例示的な実施形態に限定されない。
【0020】
２０５において、モデル生成器１５０は、データセットＤ１１５を取得し、記憶し得る。データセット１１５の一部又は全部は、通信リンク１２０を介してデータセットリポジトリ１１０から取得され得る。データセットＤ１１５は、複数のデータ点集合を含み得、各データ点集合はエンティティに対応する。上述したように、データセットＤには、Ｋ個のエンティティ（Ｋ≧２）が存在し、そのため、Ｋ個のデータ点集合が存在し得る。各データ点は、特徴ベクトル
【0021】
【数3】
【0022】
１つ以上の実施形態では、複数のエンティティのうちの少なくとも１つである、ターゲットエンティティＴは、疎なデータ点集合を有する。ＤＴ（ＸＴ，ＹＴ）又は単にＤＴは、ターゲットエンティティＴに属するデータ点集合を表す。ＤＴ（ＸＴ，ＹＴ）は、ＤＴ内のデータ点の数（すなわち、｜ＤＴ｜）がＤＴ内の各データ点の特徴ベクトル内の特徴の数未満であり得るため、疎集合と称される場合がある。１つ以上の実施形態では、この疎なデータ点集合は意図的である。例えば、データセットリポジトリ１１０は、ターゲットエンティティＴの追加のデータ点を有し得るが、これらの追加のデータ点は、通信リンク１２０上の帯域幅消費を低減するために、モデル生成器１５０に送信されない。追加的又は代替的に、これらの追加のデータ点は、データ点を記憶するためにモデル生成器１５０内で必要とされるメモリ空間を低減するために、モデル生成器１５０に送信されない。
【0023】
１つ以上の実施形態では、ターゲットエンティティＴの疎なデータ点集合は、ストレージ破損及び／又はデータ盗難の結果である。例えば、過去のある時点において、データセットリポジトリ１１０は、ターゲットエンティティＴの追加のデータ点を記憶していた可能性があるが、これらのデータ点は、データセットリポジトリが損傷又は破損した（例えば、ファイル破損、ハードドライブ故障など）ために失われたか、又はデータ点が偶発的に又は意図的に削除されたためである。追加的又は代替的に、これらの追加のデータ点は、ハッカーによるデータセットリポジトリ１１０のセキュリティ侵害中に盗難された可能性がある。
【0024】
１つ以上の実施形態では、ターゲットエンティティＴの疎なデータ点集合は、加速サンプリング方式の結果である。そのような方式では、より少ないサンプルデータ点が取られるので、サンプリングを実行するために必要とされる時間はより短くなり得る。これは、サンプルの数とサンプル集合を取得する時間との間のトレードオフである。追加的又は代替的に、疎なデータ点集合は、ターゲットエンティティＴが市場の新製品である結果であってもよく、そのため、ターゲットエンティティＴのデータ点を取得する時間がほとんどなく、及び／又はターゲットエンティティＴに関する顧客フィードバックがほとんどない。
【0025】
２１０において、モデル生成器１５０は、ターゲットエンティティＴと他のエンティティの各々との間の類似度スコアを計算し得る。１つ以上の実施形態では、２つのエンティティ間の類似度スコアは、各エンティティの埋め込みに基づき、埋め込みは、エンティティを記述する／表現する数のベクトルである。例えば、
【0026】
【数4】
【0027】
【数5】
【0028】
１つ以上の実施形態では、次いで、コサイン類似度が類似度閾値θと比較され得る。コサイン類似度が閾値を超える場合、ターゲットエンティティＴ及びエンティティｊは、類似であると見なされてもよく、ターゲットエンティティ及びエンティティｊの類似度スコアＺＴ，ｊは、１に設定される。コサイン類似度が類似度閾値以下である場合、ターゲットエンティティＴ及びエンティティｊは、非類似であると見なされてもよく、ターゲットエンティティ及びエンティティｊの類似度スコアＺＴ，ｊは、ゼロに設定される。数学的に以下のように表現される。
【0029】
【数6】
【0030】
２１５において、モデル生成器１５０は、ターゲットエンティティＴを含むＫ個のエンティティの各々の教師あり機械学習モデルＭを生成し得る。エンティティｊの機械学習モデルは、Ｍｊと称される場合がある。同様に、ターゲットエンティティＴの機械学習モデルは、ＭＴと称される場合がある。Ｄｊは、Ｍｊの訓練データとして使用され得る。同様に、ＤＴは、ＭＴの訓練データとして使用され得る。
【0031】
本開示の利益を有する当業者には、教師あり機械学習モデルを生成することが、係数集合
【0032】
【数7】
【0033】
【数8】
【0034】
【数9】
【0035】
【数10】
【0036】
１つ以上の実施形態では、機械学習モデルの生成中の適合手順は、係数
【0037】
【数11】
【0038】
【数12】
【0039】
同様に、Ｍｊの目的損失関数は、正則化ペナルティＰｊを有し得、以下のように表現され得る。
【0040】
【数13】
【0041】
従来の正則化ペナルティは、
【0042】
【数14】
【0043】
【数15】
【0044】
【数16】
【0045】
それにより、１つ以上の実施形態では、ＭＴの目的損失関数における正則化ペナルティＰＴは、以下のように表現され得る。
【0046】
【数17】
【0047】
【数18】
【0048】
【数19】
【0049】
【数20】
【0050】
【数21】
【0051】
【数22】
【0052】
【数23】
【0053】
【数24】
【0054】
【数25】
【0055】
【数26】
【0056】
【数27】
【0057】
【数28】
【0058】
【数29】
【0059】
それにより、ＭＴの目的損失関数は、次のように表現され得る。
【0060】
【数30】
【0061】
この正則化ペナルティ（対比損失関数の和を含む）を使用することによって、ターゲットエンティティＴの疎なデータ点集合のみが存在する場合であっても、高品質の係数集合（例えば、
【0062】
【数31】
【0063】
それにより、ターゲットエンティティＴの疎なデータ点集合が、破損した記憶、削除、セキュリティ侵害中の窃盗、通信帯域幅を低減するためのいくつかのデータ点の意図的な除外、メモリ記憶要件を低減するためのいくつかのデータ点の意図的な除外、加速サンプリング方式の実装などの結果である場合（上記で考察した）、この正則化ペナルティの使用（対比損失関数の和を含む）は、データ点の疎さを克服する（又は少なくとも軽減する）ために使用され得る。それにより、この正則化ペナルティの使用は、実質的に、データ回復、記憶のためのデータ圧縮、通信帯域幅削減、加速サンプリング方式などを含む１つ以上の技術分野への貢献及び／又は改善である。
【0064】
２２０において、生成された機械学習モデルのうちの１つ以上は、異常検出（例えば、デバイス故障検出、クレジットカード取引における不正検出、ＣＰＧの文脈における異常検出など）のために使用され得る。例えば、ターゲットエンティティＴに関連付けられた特徴ベクトルは、入力としてＭＴに供給され得る。ＭＴの出力は、特徴ベクトルが異常である確率及び／又はターゲットエンティティＴが稀な又は疑わしいイベントを発生している確率を反映する値であり得る。１つ以上の実施形態では、確率がいくらかの閾値（例えば、６５％）を超える場合、異常が宣言される。ＭＴを生成するために類似度正則化が使用されたので、ＭＴは誤った確率を生成する可能性が低く、そのため、偽陽性及び／又は偽陰性が生じる可能性が低い。
【0065】
様々な実施形態は、例えば、図３に示されるコンピュータシステム３００などの１つ以上の周知のコンピュータシステムを使用して実装され得る。１つ以上のコンピュータシステム３００は、例えば、本明細書で説明する実施形態のいずれか、並びにそれらの組み合わせ及び部分的組み合わせを実装するために使用され得る。
【0066】
コンピュータシステム３００は、プロセッサ３０４などの１つ以上のプロセッサ（中央処理ユニット、又はＣＰＵとも呼ばれる）を含み得る。プロセッサ３０４は、通信基盤又はバス３０６に接続され得る。
【0067】
コンピュータシステム３００はまた、モニタ、キーボード、ポインティングデバイスなどのユーザ入力／出力デバイス３０３を含み得、これらは、ユーザ入力／出力インターフェース３０２を介して通信基盤３０６と通信し得る。
【0068】
プロセッサ３０４のうちの１つ以上は、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）であってもよい。一実施形態では、ＧＰＵは、数学的に集中的なアプリケーションを処理するように設計された専用電子回路であるプロセッサであり得る。ＧＰＵは、コンピュータグラフィックスアプリケーション、画像、ビデオなどに共通の数学的に集中的なデータなどの、データの大規模ブロックの並列処理に効率的である並列構造を有し得る。
【0069】
コンピュータシステム３００はまた、ランダムアクセスメモリ（random access memory、ＲＡＭ）などの主メモリすなわち一次メモリ３０８を含み得る。主メモリ３０８は、１つ以上のキャッシュレベルを含み得る。主メモリ３０８は、制御論理（すなわち、コンピュータソフトウェア）及び／又はデータを記憶していてもよい。
【0070】
コンピュータシステム３００はまた、１つ以上の二次記憶デバイス又はメモリ３１０を含み得る。二次メモリ３１０は、例えば、ハードディスクドライブ３１２及び／又は取り外し可能な記憶デバイス若しくはドライブ３１４を含み得る。取り外し可能な記憶ドライブ３１４は、フロッピーディスクドライブ、磁気テープドライブ、コンパクトディスクドライブ、光学記憶デバイス、テープバックアップデバイス、及び／又は任意の他の記憶デバイス／ドライブであってもよい。
【0071】
取り外し可能な記憶デバイス３１４は、取り外し可能な記憶ユニット３１８と相互作用し得る。取り外し可能な記憶ユニット３１８は、コンピュータソフトウェア（制御論理）及び／又はデータを記憶しているコンピュータ使用可能又は可読記憶デバイスを含んでもよい。取り外し可能な記憶ユニット３１８は、フロッピーディスク、磁気テープ、コンパクトディスク、ＤＶＤ、光学記憶ディスク、及び／任意の他のコンピュータデータ記憶デバイスであってもよい。取り外し可能な記憶ドライブ３１４は、取り外し可能な記憶ユニット３１８から読み取り、及び／又は取り外し可能な記憶ユニット３１８に書き込み得る。
【0072】
二次メモリ３１０は、コンピュータプログラム並びに／又は他の命令及び／若しくはデータが、コンピュータシステム３００によってアクセスされることを可能にするための他の手段、デバイス、構成要素、道具、又は他のアプローチを含み得る。そのような手段、デバイス、構成要素、道具、又は他のアプローチとしては、例えば、取り外し可能な記憶ユニット３２２及びインターフェース３２０が挙げられ得る。取り外し可能な記憶ユニット３２２及びインターフェース３２０の例としては、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲームデバイスに見られるものなど）、取り外し可能なメモリチップ（ＥＰＲＯＭ又はＰＲＯＭなど）及び関連ソケット、メモリスティック及びＵＳＢポート、メモリカード及び関連メモリカードスロット、並びに／又は任意の他の取り外し可能な記憶ユニット及び関連インターフェースが挙げられ得る。
【0073】
コンピュータシステム３００は、通信又はネットワークインターフェース３２４を更に含み得る。通信インターフェース３２４は、コンピュータシステム３００が、外部デバイス、外部ネットワーク、外部エンティティなど（参照番号３２８によって個々に、かつ集合的に参照される）の任意の組み合わせと通信及び相互作用することを可能にし得る。例えば、通信インターフェース３２４は、コンピュータシステム３００が、有線及び／又は無線（又はそれらの組み合わせ）であってもよく、ＬＡＮ、ＷＡＮ、インターネットなどの任意の組み合わせを含んでもよい、通信経路３２６を介して外部又は遠隔デバイス３２８と通信することを可能にしてもよい。制御論理及び／又はデータは、通信経路３２６を介して、コンピュータシステム３００に、及びコンピュータシステム３００から送信されてもよい。
【0074】
コンピュータシステム３００はまた、いくつかの非限定的な例を挙げると、携帯情報端末（personal digital assistant、ＰＤＡ）、デスクトップワークステーション、ラップトップ若しくはノートブックコンピュータ、ネットブック、タブレット、スマートフォン、スマートウォッチ若しくは他のウェアラブル機器、アプライアンス、モノのインターネットの一部、及び／若しくは組み込みシステム、又はそれらの任意の組み合わせのうちのいずれかであってもよい。
【0075】
コンピュータシステム３００は、遠隔又は分散クラウドコンピューティングソリューションを含むが、これらに限定されない、任意の配信パラダイムを介して任意のアプリケーション及び／又はデータにアクセス又はホストするクライアント又はサーバ、ローカル又はオンプレミスソフトウェア（「オンプレミス」クラウドベースソリューション）、「アズアサービス」モデル（例えば、コンテンツアズアサービス（content as a service、ＣａａＳ）、デジタルコンテンツアズアサービス（digital content as a service、ＤＣａａＳ）、ソフトウェアアズアサービス（software as a service、ＳａａＳ）、マネージドソフトウェアアズアサービス（managed software as a service、ＭＳａａＳ）、プラットフォームアズアサービス（platform as a service、ＰａａＳ）、デスクトップアズアサービス（desktop as a service、ＤａａＳ）、フレームワークアズアサービス（framework as a service、ＦａａＳ）、バックエンドアズアサービス（backend as a service、ＢａａＳ）、モバイルバックエンドアズアサービス（mobile backend as a service、ＭＢａａＳ）、インフラストラクチャアズアサービス（infrastructure as a service、ＩａａＳ）など）、及び／又は前述の実施例又は他のサービス若しくは送達パラダイムの任意の組み合わせを含むハイブリッドモデルであってもよい。
【0076】
コンピュータシステム３００内の任意の適用可能なデータ構造、ファイルフォーマット、及びスキーマは、ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、拡張マークアップ言語（Extensible Markup Language、ＸＭＬ）、Ｙｅｔ Ａｎｏｔｈｅｒ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＹＡＭＬ）、拡張ハイパーテキストマークアップ言語（Extensible Hypertext Markup Language、ＸＨＴＭＬ）、ワイヤレスマークアップ言語（Wireless Markup Language、ＷＭＬ）、ＭｅｓｓａｇｅＰａｃｋ、ＸＭＬユーザインターフェース言語（XML User Interface Language、ＸＵＬ）、又は任意の他の機能的に同様の表現を単独で、又は組み合わせて含むがこれらに限定されない規格から導出され得る。代替的に、排他的に、又は既知の若しくはオープンな規格と組み合わせてのいずれかで、独自のデータ構造、フォーマット又はスキーマが使用され得る。
【0077】
いくつかの実施形態では、制御論理（ソフトウェア）が記憶された有形の非一時的コンピュータ使用可能又は可読媒体を備える有形の一時的装置又は製造品は、本明細書では、コンピュータプログラム製品又はプログラム記憶デバイスとも称される場合がある。これは、コンピュータシステム３００と、主メモリ３０８と、二次メモリ３１０と、取り外し可能な記憶ユニット３１８及び３２２と、上記の任意の組み合わせを具現化する有形の製造物品とを含むが、それらに限定されない。そのような制御論理は、１つ以上のデータ処理デバイス（コンピュータシステム３００など）によって実行されると、そのようなデータ処理デバイスを本明細書に記載のように動作させ得る。
【0078】
本開示に含有される教示に基づいて、図３に示されるもの以外のデータ処理デバイス、コンピュータシステム及び／又はコンピュータアーキテクチャを使用して、本開示の実施形態をどのように作製及び使用するかは、当業者には明らかであろう。具体的には、実施形態は、本明細書に説明されるもの以外のソフトウェア、ハードウェア、及び／又はオペレーティングシステムの実装を用いて動作することができる。
【0079】
「発明を実施するための形態」のセクション、及びいかなる他のセクションも、特許請求の範囲を解釈するために使用されることは意図されていないことを理解されたい。他のセクションは、本発明者によって想定される、１つ以上であるが全てではない例示的な実施形態を記載し得るが、決して本開示及び添付の特許請求の範囲を限定することを意図するものではない。
【0080】
本開示は、例示的な分野及び用途のための例示的な実施形態を説明しているが、本開示はそれらに限定されないことを理解されたい。他の実施形態及びそれらに対する修正が可能であり、それらは、本開示の範囲及び趣旨の範囲内である。例えば、この段落の一般性を限定することなく、実施形態は、図面に例示された、及び／又は本明細書に説明された、ソフトウェア、ハードウェア、ファームウェア、及び／又はエンティティに限定されない。更に、実施形態（本明細書に明示的に説明されているか否かにかかわらず）は、本明細書に説明された例を超える分野及び用途に有意な有用性を有する。
【0081】
実施形態が、特定の機能の実装、及びそれらの関係を例示する機能的ビルディングブロックを用いて説明されてきた。これらの機能的ビルディングブロックの境界は、説明の便宜上、本明細書において任意に定義されている。特定の機能及び関係（又はそれらの等価物）が適切に実施される範囲で、代替の境界が定義され得る。また、代替的な実施形態は、本明細書に説明されるものとは異なる順序を使用して、機能ブロック、工程、動作、方法などを実施し得る。
【0082】
「一実施形態（one embodiment）」、「一実施形態（an embodiment）」、「例示的な実施形態（an exemplary embodiment）」などの言及は、説明された実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態が特定の特徴、構造、又は特性を必ずしも含まなくてもよいことを示す。更に、このような句は、必ずしも同じ実施形態に言及するものではない。更に、一実施形態に関連して特定の性質、構造、又は特性について記載する場合、本明細書で明確に言及されている又は記載されているかどうかに関わりなく、このような特徴、構造、又は特性を他の実施形態に組み込むことは、当業者の知見内である。加えて、いくつかの実施形態は、その派生物とともに「連結された」及び「接続された」表現を使用して説明され得る。これらの用語は、必ずしも互いに同義語として意図されるものではない。例えば、いくつかの実施形態は、２つ以上の要素が互いに直接物理的又は電気的に接触していることを示すために、「接続された」及び／又は「連結された」という用語を使用して説明され得る。しかしながら、「連結された」という用語はまた、２つ以上の要素が互いに直接接触していないが、依然として互いに協働又は相互作用することも意味し得る。
【0083】
本開示の広がり及び範囲は、上記の例示的な実施形態のいずれによっても限定されるべきではないが、以下の特許請求の範囲及びそれらの等価物によってのみ定義されるべきである。
【図1】
【図2】
【図3】
【国際調査報告】