特表 2024-507626 人工知能モデルを安全に配備するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-21

(54)【発明の名称】人工知能モデルを安全に配備するための方法及びシステム

(51)【国際特許分類】

   G06F 21/55 20130101AFI20240214BHJP

   G06F 21/57 20130101ALI20240214BHJP

   G06N 20/00 20190101ALI20240214BHJP

【ＦＩ】

G06F21/55

G06F21/57 370

G06N20/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023535844

(86)(22)【出願日】2022-02-25

(85)【翻訳文提出日】2023-08-23

(86)【国際出願番号】 US2022017982

(87)【国際公開番号】W WO2022183041

(87)【国際公開日】2022-09-01

(31)【優先権主張番号】63/153,667

(32)【優先日】2021-02-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】522029316

【氏名又は名称】ロバスト インテリジェンス インコーポレイテッド

【氏名又は名称原語表記】Ｒｏｂｕｓｔ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｉｎｃ．

(74)【代理人】

【識別番号】100073184

【弁理士】

【氏名又は名称】柳田 征史

(74)【代理人】

【識別番号】100175042

【弁理士】

【氏名又は名称】高橋 秀明

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100224775

【弁理士】

【氏名又は名称】南 毅

(72)【発明者】

【氏名】チェイス，ハリソン

(72)【発明者】

【氏名】大柴 行人

(72)【発明者】

【氏名】シンガー，ヤロン

(57)【要約】

人工知能（ＡＩ）モデルを安全に配備するための方法及びシステム。本システムはＡＩモデルの１つ以上の欠陥を特定し、その特定に基づいて前記ＡＩモデルを外部データによって攻撃されることから保護できる。本システムは表形式データに基づく詐欺検出、音声認証、顔認識、物体検出、又はそれらの組み合わせに使用されうる。

【特許請求の範囲】

【請求項1】

人工知能（ＡＩ）モデルを安全に配備するための方法であって、
前記ＡＩモデルの１つ以上の欠陥を特定するステップと、
前記特定するステップに基づいて前記ＡＩモデルを外部データによって攻撃されることから保護するステップと
を含む方法。

【請求項2】

前記特定するステップは、模擬された攻撃データによる前記ＡＩモデルへの１つ以上の攻撃を模擬することを含み、前記模擬することは、
複数の並列攻撃を模擬し、それらの攻撃に対する前記ＡＩモデルの欠陥を組合わせアルゴリズムに基づいて特定するステップと、
前記ＡＩモデルを再現するように構成された少なくとも１つの代替モデルを攻撃するステップと
のうち少なくとも１つを含む、請求項１記載の方法。

【請求項3】

前記代替モデルに供給される入力データをフィルタリング又は変更するステップと、
前記入力データにラベル付けするステップと、
前記代替モデルが改善された前記ＡＩモデルとなるように前記ラベル付けされた入力データを使って前記代替モデルを訓練するステップと
を更に含む、請求項２記載の方法。

【請求項4】

前記特定するステップは、
モデル性能及び訓練データプロファイルの１つ以上のベースラインを確立するステップと、
前記確立するステップに基づいて前記ＡＩモデルの性能と１つ以上の代替モデルを比較して前記ＡＩモデル及び前記代替モデルからモデルを本稼働配備のために選択するステップと
を含み、
前記保護するステップは、前記外部データに関連する一人以上のユーザーを前記ＡＩモデルへの前記ユーザーの問い合わせの挙動パターンに基づいて阻止することを含むか、又は
前記保護するステップは、前記ＡＩモデルへの攻撃を検出するために最大エントロピー法を使用することを含み、前記最大エントロピー法は複数の検出器を生成すること及びそれらの応答を集約することを含む、請求項１～３のいずれかに記載の方法。

【請求項5】

前記外部データはユーザー商取引履歴、アカウント履歴、アカウントデータ、ユーザーデータ、商取引情報、又はそれらの組み合わせに関連する表形式データを含む、請求項１～４のいずれかに記載の方法。

【請求項6】

前記特定するステップは、１つ以上のデータ点を含むサンプル入力データと前記ＡＩモデルに基づいて前記データ点に付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは前記データ点が不正か不正でないかの決定を含むか、又は
前記特定するステップは、状態空間を探索する高速サブモジュールサンプリングに基づく、請求項５記載の方法。

【請求項7】

前記保護するステップは、前記外部データが前記ＡＩモデルを騙す１つ以上の攻撃を含むか否かを示すための警報レベルを前記特定するステップに基づいて生成することを含む、請求項５又は６記載の方法。

【請求項8】

前記外部データが不正である確率を生成するステップを更に含み、前記確率を生成するステップは２値分類のために１つ以上の機械学習（ＭＬ）枠組みを使用することを含み、前記ＭＬ枠組みは、ブーストツリー、神経回路網、又はそれらの組み合わせを含む、請求項５～７のいずれかに記載の方法。

【請求項9】

前記保護するステップは、
商取引に関連するデータフィードから前記外部データを受け取るステップであって、前記外部データは主体のリスク属性を規定する表形式データを含む、ステップと、
前記表形式データを入力形式に変換するステップと、
前記表形式データ内の１つ以上の要素の操作を特定し偽陽性結果を生成するステップと、
前記表形式データを操作されたデータセットとして拒絶するステップと
を含む、請求項５～８のいずれかに記載の方法。

【請求項10】

前記保護するステップは、
前記表形式データを含む前記外部データを受け取るステップと、
前記表形式データの操作を検出し偽陽性結果を特定するステップと、
前記偽陽性結果が前記ＡＩモデル内で発生するだろうと判断するステップと、
前記ＡＩモデルに警報し、人による見直しのために前記表形式データセットにフラッグを立てるステップと
を含む、請求項５～９のいずれかに記載の方法。

【請求項11】

前記外部データは音声データを含み、前記ＡＩモデルは前記外部データが指定された人のであると分類されたか否かを検出するための音声認証モデルを含み、前記特定するステップ、前記保護するステップ、又はそれらの両方が、
２値分類機械学習モデルを訓練して前記音声データが偽ものか偽ものでないかを示す出力ラベルを生成すること、
畳み込み神経回路網ベース・アーキテクチャを前記検出のために使用すること、
前記検出に適した様々な音響特徴を抽出すること、又は
データ増強を使用して本物の音声データから合成音声データを生成すること
に基づく、請求項１～１０のいずれかに記載の方法。

【請求項12】

前記特定するステップは、１つ以上のサンプル音声ファイルを含むサンプル入力データと前記ＡＩモデルに基づいて前記サンプル音声ファイルに付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは一個人を示し、前記特定するステップは前記サンプル音声ファイルのうちの合成音声データを含み前記指定された人のであると前記ＡＩモデルによって受け付けられた少なくとも１つを特定することを含むか、又は
前記特定するステップは第１の人の本物の音声データと加えられたノイズの両方を含む赤組音声ファイルを生成することを含み、前記ノイズは、前記ＡＩモデルが前記選択されたサンプル音声ファイルを前記第１の人と違う第２の人のであると認識するよう構成されるように前記本物の音声データに加えられる、請求項１１記載の方法。

【請求項13】

前記保護するステップは前記外部データに提示された声が合成か否かを検出することを含む、請求項１１又は１２記載の方法。

【請求項14】

前記外部データは少なくとも１つの画像ファイルを含み、前記ＡＩモデルは前記画像ファイルが指定された人の顔を示すか否かを検出するための顔認識モデルを含み、前記特定するステップ、前記保護するステップ、又はそれらの両方が、
神経回路網ベース顔埋め込み、
顔画像をより低い次元の埋め込みに圧縮すること、
より低い次元の埋め込みを顔認識のためにカテゴリーに分けること、
顔画像にノイズを加えることで前記ＡＩモデルを攻撃すること、又は
敵対的生成ネットワークを使用することで、ノイズから特定の顔画像を取り出す神経回路網
に基づく、請求項１～１３のいずれかに記載の方法。

【請求項15】

前記特定するステップは、１つ以上の顔のサンプル画像ファイルを含むサンプル入力データと前記ＡＩモデルに基づいて前記サンプル画像ファイルに付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは一個人を示し、前記特定するステップは前記サンプル画像ファイルのうちの前記ＡＩモデルによって誤分類された少なくとも１つを特定することを含むか、又は
前記特定するステップは対象の人の１つ以上の画像に基づいて少なくとも部分的に写真のようにリアルな１つ以上の画像を生成することを含む、請求項１４記載の方法。

【請求項16】

前記外部データは前記画像に付けられたラベルを更に含み、前記保護するステップは前記ラベルが前記画像に正しく付けられているかを示すことを含むか、又は
前記保護するステップは前記画像ファイル内の顔が本物か機械生成されたかを示すことを含む、請求項１４又は１５記載の方法。

【請求項17】

前記外部データは少なくとも１つの画像を含み、前記ＡＩモデルは前記画像内の少なくとも１つの物体を分類するための物体検出モデルを含む、請求項１～１６のいずれかに記載の方法。

【請求項18】

前記特定するステップは、１つ以上のサンプル画像ファイルを含むサンプル入力データと、１つ以上の物体と前記各サンプル画像ファイル内のそれらの位置とを含むサンプル出力データとに基づき、前記特定するステップは前記サンプル画像ファイルのうちの前記ＡＩモデルによって誤分類された少なくとも１つを特定することを含むか、又は
前記特定するステップは前記ＡＩモデルが誤分類するように操作された画像を生成することを含む、請求項１７記載の方法。

【請求項19】

前記保護するステップは前記画像がデジタル敵対的攻撃、物理的敵対的攻撃、又はそれらの組み合わせにより前記ＡＩモデルを騙すように操作されているかを示すことを含む、請求項１７又は１８記載の方法。

【請求項20】

人工知能（ＡＩ）モデルを安全に配備するためのシステムであって、
少なくとも１つのハードウェアプロセッサと、
命令群を記憶する持続性コンピュータ読取可能媒体と
を備え、前記命令群は前記少なくとも１つのハードウェアプロセッサによって実行されると前記少なくとも１つのハードウェアプロセッサに
前記ＡＩモデルの１つ以上の欠陥を特定するステップと、
前記特定するステップに基づいて前記ＡＩモデルを外部データによって攻撃されることから保護するステップと
を含む動作を実行させる、システム。

【発明の詳細な説明】

【関連出願】

【0001】

本出願は、２０２１年２月２５日に出願された米国仮特許出願第６３／１５３６６７号に対する優先権を主張する。その開示全体を全ての目的のために本明細書に引用する。

【技術分野】

【0002】

開示される実施形態は、人工知能（ＡＩ）に概ね関し、特に、ＡＩモデルを安全に配備するための方法及びシステムに関するがこれに限られない。

【背景技術】

【0003】

人工知能（ＡＩ）は多くの産業において普及しつつある。しかし、自動化の利益はＡＩに本質的な脆弱性を容易に隠しうり、現在のＡＩ開発実行はしばしば組織をシステミックリスクに曝す。ＡＩの研究は前進し大きな飛躍をしつつあるが、ＡＩ技術の保全性及び信頼性は後に残されている。「ＡＩ攻撃」が新しいタイプのデータ攻撃として市場で発生している。コードのバグ又は人的ミスによって引き起こされる従来のサイバー攻撃と違って、ＡＩ攻撃は基礎を成すＡＩアルゴリズムの容易には検出も修正もされえない本質的な限界によって可能にされる。ＡＩ脆弱性は、組織の中核ＡＩ能力の開発に労力を費やすのでなく、データ科学チームがＡＩの使用に関連する無数の脆弱性に対処するためにその場しのぎの解決策を考え出すのに貴重な開発サイクルを費やしていることを意味する。

【0004】

ＡＩ技術は電子メールスパム、金融詐欺、又は偽アカウント生成などの初期のやり方で攻撃されてきた。しかし、これらの事例を越えて、近年のＡＩの採用、自動攻撃、及び産業の実践はＡＩ保全性を更により緊急の問題にする。例えば、ＡＩは主要な消費者向け技術企業以外の産業内に急速に広がっている。スパム及びクリック詐欺に対する保護はかつては大きなインターネットサービス提供会社に特有の問題であったが、今は全てのビジネス、例えば銀行、保険会社、行政の問題である。また、ＡＩシステムを攻撃するための方法は急速に進歩している。今は、詐欺師はＡＩにアルゴリズム攻撃を実行している。それらの攻撃は自動化され、詐欺師が防御更新にずっとより速く対抗するのを可能にする。それらの攻撃はＡＩモデルを騙すだけでなく、機密ユーザーデータ又はＡＩシステムに関する情報を盗むのにも使用されうる。更にまた、ＡＩ産業における新しい動向は、多くの開発者及び研究者が彼らの最先端の「事前訓練された」モデル及びデータセットを公に利用可能にしていること、及び多くの会社がデータを集めラベル付けするのにクラウドソーシングに頼っていることを含む。このような動向は詐欺師及び敵対者がマルウェアモデルを広げる又はモデル開発に使用されるデータを汚染するのをかなりより容易にする。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記状況を考慮すると、ＡＩモデルの安全な配備のための改善されたシステム及び方法であって、既存の解決策の欠点を克服するシステム及び方法が必要とされている。

【課題を解決するための手段】

【0006】

本書に開示された第１態様によれば、人工知能（ＡＩ）モデルを安全に配備するための方法が明記され、本方法は
前記ＡＩモデルの１つ以上の欠陥を特定するステップと、
前記特定するステップに基づいて前記ＡＩモデルを外部データによって攻撃されることから保護するステップと
を含む。

【0007】

開示された方法の幾つかの実施形態では、前記特定するステップは、模擬された攻撃データによる前記ＡＩモデルへの１つ以上の攻撃を模擬することを含み、前記模擬することは、
複数の並列攻撃を模擬し、それらの攻撃に対する前記ＡＩモデルの欠陥を組合わせアルゴリズムに基づいて特定するステップと、
前記ＡＩモデルを再現するように構成された少なくとも１つの代替モデルを攻撃するステップと
のうち少なくとも１つを含む。

【0008】

開示された方法の幾つかの実施形態では、本方法は
前記代替モデルに供給される入力データをフィルタリング又は変更するステップと、
前記入力データにラベル付けするステップと、
前記代替モデルが改善された前記ＡＩモデルとなるように前記ラベル付けされた入力データを使って前記代替モデルを訓練するステップと
を更に含む。

【0009】

開示された方法の幾つかの実施形態では、前記特定するステップは、
モデル性能及び訓練データプロファイルの１つ以上のベースラインを確立するステップと、
前記確立するステップに基づいて前記ＡＩモデルの性能と１つ以上の代替モデルを比較して前記ＡＩモデル及び前記代替モデルからモデルを本稼働配備のために選択するステップと
を含み、
前記保護するステップは、前記外部データに関連する一人以上のユーザーを前記ＡＩモデルへの前記ユーザーの問い合わせの挙動パターンに基づいて阻止することを含むか、又は
前記保護するステップは、前記ＡＩモデルへの攻撃を検出するために最大エントロピー法を使用することを含み、前記最大エントロピー法は複数の検出器を生成すること及びそれらの応答を集約することを含む。

【0010】

開示された方法の幾つかの実施形態では、前記外部データはユーザー商取引履歴、アカウント履歴、アカウントデータ、ユーザーデータ、商取引情報、又はそれらの組み合わせに関連する表形式データを含む。

【0011】

開示された方法の幾つかの実施形態では、
前記特定するステップは、１つ以上のデータ点を含むサンプル入力データと前記ＡＩモデルに基づいて前記データ点に付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは前記データ点が不正か不正でないかの決定を含むか、又は
前記特定するステップは、状態空間を探索する高速サブモジュールサンプリングに基づく。

【0012】

開示された方法の幾つかの実施形態では、前記保護するステップは、前記外部データが前記ＡＩモデルを騙す１つ以上の攻撃を含むか否かを示すための警報レベルを前記特定するステップに基づいて生成することを含む。

【0013】

開示された方法の幾つかの実施形態では、本方法は前記外部データが不正である確率を生成するステップを更に含み、前記確率を生成するステップは２値分類のために１つ以上の機械学習（ＭＬ）枠組みを使用することを含み、前記ＭＬ枠組みは、ブーストツリー、神経回路網、又はそれらの組み合わせを含む。

【0014】

開示された方法の幾つかの実施形態では、前記保護するステップは、
商取引に関連するデータフィードから前記外部データを受け取るステップであって、前記外部データは主体のリスク属性を規定する表形式データを含む、ステップと、
前記表形式データを入力形式に変換するステップと、
前記表形式データ内の１つ以上の要素の操作を特定し偽陽性結果を生成するステップと、
前記表形式データを操作されたデータセットとして拒絶するステップと
を含む。

【0015】

開示された方法の幾つかの実施形態では、前記保護するステップは、
前記表形式データを含む前記外部データを受け取るステップと、
前記表形式データの操作を検出し偽陽性結果を特定するステップと、
前記偽陽性結果が前記ＡＩモデル内で発生するだろうと判断するステップと、
前記ＡＩモデルに警報し、人による見直しのために前記表形式データセットにフラッグを立てるステップと
を含む。

【0016】

開示された方法の幾つかの実施形態では、前記外部データは音声データを含み、前記ＡＩモデルは前記外部データが指定された人のであると分類されたか否かを検出するための音声認証モデルを含み、前記特定するステップ、前記保護するステップ、又はそれらの両方が、
２値分類機械学習モデルを訓練して前記音声データが偽ものか偽ものでないかを示す出力ラベルを生成すること、
畳み込み神経回路網ベース・アーキテクチャを前記検出のために使用すること、
前記検出に適した様々な音響特徴を抽出すること、又は
データ増強を使用して本物の音声データから合成音声データを生成すること
に基づく。

【0017】

開示された方法の幾つかの実施形態では、
前記特定するステップは、１つ以上のサンプル音声ファイルを含むサンプル入力データと前記ＡＩモデルに基づいて前記サンプル音声ファイルに付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは一個人を示し、前記特定するステップは前記サンプル音声ファイルのうちの合成音声データを含み前記指定された人のであると前記ＡＩモデルによって受け付けられた少なくとも１つを特定することを含むか、又は
前記特定するステップは第１の人の本物の音声データと加えられたノイズの両方を含む赤組音声ファイルを生成することを含み、前記ノイズは、前記ＡＩモデルが前記選択されたサンプル音声ファイルを前記第１の人と違う第２の人のであると認識するよう構成されるように前記本物の音声データに加えられる。

【0018】

開示された方法の幾つかの実施形態では、前記保護するステップは前記外部データに提示された声が合成か否かを検出することを含む。

【0019】

開示された方法の幾つかの実施形態では、前記外部データは少なくとも１つの画像ファイルを含み、前記ＡＩモデルは前記画像ファイルが指定された人の顔を示すか否かを検出するための顔認識モデルを含み、前記特定するステップ、前記保護するステップ、又はそれらの両方が、
神経回路網ベース顔埋め込み、
顔画像をより低い次元の埋め込みに圧縮すること、
より低い次元の埋め込みを顔認識のためにカテゴリーに分けること、
顔画像にノイズを加えることで前記ＡＩモデルを攻撃すること、又は
敵対的生成ネットワークを使用することで、ノイズから特定の顔画像を取り出す神経回路網
に基づく。

【0020】

開示された方法の幾つかの実施形態では、
前記特定するステップは、１つ以上の顔のサンプル画像ファイルを含むサンプル入力データと前記ＡＩモデルに基づいて前記サンプル画像ファイルに付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは一個人を示し、前記特定するステップは前記サンプル画像ファイルのうちの前記ＡＩモデルによって誤分類された少なくとも１つを特定することを含むか、又は
前記特定するステップは対象の人の１つ以上の画像に基づいて少なくとも部分的に写真のようにリアルな１つ以上の画像を生成することを含む。

【0021】

開示された方法の幾つかの実施形態では、
前記外部データは前記画像に付けられたラベルを更に含み、前記保護するステップは前記ラベルが前記画像に正しく付けられているかを示すことを含むか、又は
前記保護するステップは前記画像ファイル内の顔が本物か機械生成されたかを示すことを含む。

【0022】

開示された方法の幾つかの実施形態では、前記外部データは少なくとも１つの画像を含み、前記ＡＩモデルは前記画像内の少なくとも１つの物体を分類するための物体検出モデルを含む。

【0023】

開示された方法の幾つかの実施形態では、
前記特定するステップは、１つ以上のサンプル画像ファイルを含むサンプル入力データと、１つ以上の物体と前記各サンプル画像ファイル内のそれらの位置とを含むサンプル出力データとに基づき、前記特定するステップは前記サンプル画像ファイルのうちの前記ＡＩモデルによって誤分類された少なくとも１つを特定することを含むか、又は
前記特定するステップは前記ＡＩモデルが誤分類するように操作された画像を生成することを含む。

【0024】

開示された方法の幾つかの実施形態では、前記保護するステップは前記画像がデジタル敵対的攻撃、物理的敵対的攻撃、又はそれらの組み合わせにより前記ＡＩモデルを騙すように操作されているかを示すことを含む。

【0025】

本書に開示された別の態様によれば、人工知能（ＡＩ）モデルを安全に配備するためのシステムが明記され、本システムは
少なくとも１つのハードウェアプロセッサと、
命令群を記憶する持続性コンピュータ読取可能媒体と
を備え、前記命令群は前記少なくとも１つのハードウェアプロセッサによって実行されると前記少なくとも１つのハードウェアプロセッサに
前記ＡＩモデルの１つ以上の欠陥を特定するステップと、
前記特定するステップに基づいて前記ＡＩモデルを外部データによって攻撃されることから保護するステップと
を含む動作を実行させる。

【0026】

本発明の追加の特徴は、添付図面と併せて下記の詳細な説明からより容易に明らかとなろう。

【図面の簡単な説明】

【0027】

【図1】ＡＩモデルをＡＩ動作環境内に安全に配備するためのモデル保全システムの代表的な実施形態を示す略図である。

【図2】図１のモデル保全システムを使用するＡＩモデルを安全に配備するための方法の代表的な実施形態を示すフローチャートである。

【図3】図１のシステムの代替の代表的な実施形態を示す略図であり、このシステムはサンプル入力データを受信するためのモデル評価エンジンを備える。

【図4】図１のシステムの別の代替の代表的な実施形態を示す略図であり、このシステムは外部データを受信するためのファイアウォールを備える。

【図5】図１のシステムの別の代替の代表的な実施形態を示す略図であり、このシステムは外部データを受信するための詐欺検出エンジンを備える。

【図6】図３のシステムの代替の代表的な実施形態を示す略図であり、サンプル入力データは表形式データを含む。

【図7】図４のシステムの代替の代表的な実施形態を示す略図であり、外部データは表形式データを含む。

【図8】図５のシステムの代替の代表的な実施形態を示す略図であり、外部データは表形式データを含む。

【図9】図３のシステムの別の代替の代表的な実施形態を示す略図であり、サンプル入力データは音声データを含む。

【図10】図４のシステムの別の代替の代表的な実施形態を示す略図であり、外部データは音声データを含む。

【図11】図３のシステムの別の代替の代表的な実施形態を示す略図であり、サンプル入力データは１つ以上の顔認識用画像を含む。

【図12】図４のシステムの別の代替の代表的な実施形態を示す略図であり、外部データは１つ以上の顔認識用画像を含む。

【図13】図３のシステムの別の代替の代表的な実施形態を示す略図であり、サンプル入力データは１つ以上の物体検出用画像を含む。

【図14】図４のシステムの別の代替の代表的な実施形態を示す略図であり、外部データは１つ以上の物体検出用画像を含む。

【図15】図１のモデル保全システムの代表的なデータ処理を示す略図である。

【図16】図１のモデル保全システムの代表的な訓練を示す略図である。

【図17】図１のシステムの別の代替の代表的な実施形態を示す略図であり、このシステムは殺菌剤マシンを備える。

【図18】図１のモデル保全システムを実現するためのソフトウェアアーキテクチャの代表的な実施形態を示す略図である。

【図19】図１のモデル保全システムを実現するためのマシンの代表的な実施形態を示す略図である。

【0028】

図は一定の縮尺で描かれておらず、説明の目的のために全ての図を通して類似の構造又は機能の要素は類似の符号で概ね表されることに注意されたい。また、図は好適な実施形態の説明を容易にするようにだけ意図されていることにも注意されたい。図は説明される実施形態の全ての態様は示しておらず、本開示の範囲を限定しない。

【発明を実施するための形態】

【0029】

機械学習（ＭＬ）アルゴリズムは商用ＡＩプラットフォームへの攻撃に対して防御するのに使用されてきた。機械学習アルゴリズムは幾つかの場合、初期に組織によって使用された、人による見直し及びルールベース方法より良い。しかし、柔軟性及び包括性の欠如、大きな訓練データセットの欠如、及びデータ及びデータフィード内の繋がりの認識不足の故に、既存の機械学習手法はＡＩモデルを防御するための容量が制限されている。より具体的には、既存のＭＬモデルは実世界データ分布ドラフトの基本的な変化及び／又はデータ概念ドリフトに非常に敏感であるという短所を有する。既存のＭＬモデルは非常に複雑なシステム内で不可避なデータ誤りに非常に敏感であるという別の短所を有する。上述したそれらの分野における研究の欠如は商用ＡＩシステムを弱点利用に脆弱にする。

【0030】

商用ＡＩシステムへの既存の安全性脅威への解決策であって、詐欺検出システムが、商用ＡＩシステムの実験又は部分的知識によって発見されるかも知れない弱点利用にパッチを当てるためにほぼ連続する一組の試験をどのように要求するかを理解することを含む解決策が必要とされる。不幸にも、大多数の従来のＡＩシステムは詐欺を防止するよう設計されておらず、しばしば他の弱点利用を発生時に捉え阻止するのに十分柔軟でありえない。多くのＡＩシステム弱点利用は、単一のデータフィード弱点利用ではなく複数の独立したデータフィードに亘る小さな乱れを中心とする。データフィードは巧妙な不正操作を検出するのを助ける複数の相互連結を通常有する。

【0031】

ＡＩモデルを配備するための現在入手可能なシステム及び方法はＡＩモデルの脆弱性を検出できず、ＡＩ攻撃に対して効果的に防御できないので、ＡＩモデルを安全に配備するための改善されたシステム及び方法であって、上述した欠点を克服できるシステム及び方法は、望ましいと判明し、広範囲の用途、例えば商用ＡＩの攻撃からの積極防御、金融及び／又は電子商取引会社のための詐欺検出（又はそれらの会社の詐欺検出ＡＩモデルを保護すること）、生体認証、保全システムのための物体検出、及び／又は自律車両などのための基盤を提供しうる。

【0032】

図１はＡＩモデル３００をＡＩ動作環境１００内に安全に配備するためのモデル保全システム２００の概略図である。ＡＩモデル３００は、同じ情報から専門家がするであろう決定をその情報に基づいて複製するようにデータ及び／又は人専門家入力を使って訓練される１つ以上のコンピュータ実行数学的アルゴリズムを含みうる。代表的なＡＩモデル３００はこれらに限定されないが、専門家システム、場合ベース推論、行動ベース人工知能、進化的計算法、分類器、統計モデル、確率モデル、神経回路網、決定木、隠れたマルコフモデル、サポートベクターマシン、ファジイ論理、ベイズ分類器、又はこれらの任意の組み合わせを含みうる。

【0033】

モデル保全システム２００はモデル評価エンジン２２０及びファイアウォール２４０を備えるとして示されている。モデル評価エンジン２２０はＡＩモデル３００の１つ以上の欠陥（及び／又は脆弱性）を特定するように構成されうる。少し異なる言い方では、モデル評価エンジン２２０はＡＩモデル３００を攻撃できるデータを決定できる。ＡＩモデル３００を攻撃することはＡＩモデル３００を騙すことを含みうる。少し異なる言い方では、攻撃は、ＡＩモデル３００を騙し誤った決定を下させること、ＡＩモデルが不正なデータを不正でないデータと認識させること、合成（又は偽造された又は改竄された）データを真正のデータと認識させること、又はそれらの組み合わせを含みうる。攻撃はＡＩモデル３００を攻撃するように構成されたデータを含みうる。１つの実施形態では、モデル評価エンジン２２０はＡＩモデル３００の脆弱性を要約する報告を出力しうる。

【0034】

ファイアウォール２４０は、モデル評価エンジン２２０によって特定された欠陥に基づいてＡＩモデル３００を外部データ４００によって騙されることから保護できる。外部データ４００は、ファイアウォール２４０が確立されていない場合にＡＩモデル３００に入力されるどんなデータも含みうる。少し異なる言い方では、ファイアウォール２４０はモデル評価エンジン２２０によって特定された抜け穴にパッチを当て、外部データ４００とＡＩモデル３００の間の追加の保全層を作りうる。幾つかの実施形態では、ファイアウォール２４０は外部データ４００内に攻撃を検出すると警報を生成できる。様々な実施形態では、ファイアウォール２４０は、外部データ４００に誤り又は何らかで非最適であるとフラッグを立てる能力を有しうる。加えて及び／又は或いは、ファイアウォール２４０はＡＩモデル３００が訓練された訓練データを自動的にプロファイルすることで、外部データ４００内の誤りにフラッグを立てることができる。従って、訓練データの分布の外であると見える外部データ４００のどれでも特定されうる。加えて及び／又は或いは、ファイアウォール２４０はＡＩモデル３００が正しい予測を与えそうにない外部データ４００にフラッグを立てることができる。加えて及び／又は或いは、ファイアウォール２４０は外部データ４００のプロファイルに応答してＡＩモデル３００の性能を改善する是正措置の提案をユーザーに提供できる。

【0035】

幾つかの実施形態では、モデル保全システム２００はアプリケーション・プログラミング・インターフェース（ＡＰＩ）によって少なくとも部分的に駆動され、ＡＩモデル３００の前の外部データ４００のデータ供給路に挿入されうる。モデル保全システム２００はクリーンで弱点利用のないデータをＡＩモデル３００に返し及び／又は出力しうる。様々な実施形態では、ＡＩモデル３００はそのままでも及び／又は変更されなくてもよい。有利にも、モデル保全システム２００はＡＩモデル３００をＡＩモデル３００の大規模な更新なしに保護できる。

【0036】

図１は例示目的だけのためにモデル評価エンジン２２０及びファイアウォール２４０を別々のユニットであるとして示しているが、モデル評価エンジン２２０及びファイアウォール２４０は少なくとも部分的に制限なく統合及び／又は組み合わされうる。例えば、モデル評価エンジン２２０及びファイアウォール２４０はそれぞれコンピュータハードウェア、ファームウェア、及び／又はソフトウェアで実現されうる。従って、モデル評価エンジン２２０及びファイアウォール２４０は１つ以上のコンピュータシステム上に記憶されたコード化された命令として実現されうる。モデル評価エンジン２２０及びファイアウォール２４０に関連するコード化された命令群は別々の及び／又は統合されたプログラムのでありえ、モデル評価エンジン２２０及びファイアウォール２４０は別々のハードウェアで必ずしも実現されない。

【0037】

図２を参照すると、ＡＩモデル３００を安全に配備するための代表的な方法７００が示されている。ＡＩモデル３００の１つ以上の欠陥がステップ７１０で特定されうる。様々な実施形態では、モデル評価エンジン２２０（図１に示す）がステップ７１０を実行できる。

【0038】

ＡＩモデル３００はステップ７２０において、ステップ７１０での特定に基づき外部データ４００（図１に示す）による攻撃から保護されうる。様々な実施形態では、ファイアウォール２４０（図２に示す）はステップ７２０を実行しうる。ファイアウォール２４０による保護は有利にもＡＩモデル３００用にカスタマイズされ、従って効果的でありうる。既存の脆弱性評価ツールと比較して、モデル評価エンジン２２０はＭＬモデルの脆弱性をより広範囲に測定しうり、モデル評価エンジン２２０の包括的一組のストレス試験がずっとより多くのエッジケースを試験しＡＩモデル３００のずっとより多くの弱点を特定できる。

【0039】

図３を参照すると、モデル評価エンジン２２０の動作を例示する代表的な図が示されている。幾つかの実施形態では、モデル評価エンジン２２０は模擬攻撃データ２２２を決定できる。模擬攻撃データ２２２はＡＩモデル３００を攻撃できるどんなデータも含みうる。モデル評価エンジン２２０は模擬攻撃データ２２２を人である操作員（例えば、技術者及び／又はデータ科学者）及び／又はコンピュータシステムに出力できる。

【0040】

モデル評価エンジン２２０はＡＩモデル３００に関連するサンプル入力データ３２０及びサンプル出力データ３４０を受信するとして示されている。サンプル入力データ３２０はＡＩモデル３００の試用及び／又は実際の使用時にＡＩモデル３００に入力されるどんなデータも含みうる。代表的なサンプル入力データ３２０は表形式データ、生体データ、音声ファイル、顔画像、物体画像などを含みうる。サンプル出力データ３４０はサンプル入力データ３２０に基づくＡＩモデル３００の決定を含むデータを含みうる。代表的なサンプル出力データ３４０はサンプル入力データ３２０が不正か否かの推断、音声ファイル及び／又は顔画像に関連する人を示すラベル（及び／又は分類）、物体画像内で検出された物体（及びその場所）などを含みうる。

【0041】

加えて及び／又は或いは、モデル評価エンジン２２０は、例えば特定のデータをＡＩモデル３００に入力してＡＩモデル３００の脆弱性を露出させることを含む完全な分析のためにＡＩモデル３００と直接対話できるように、ＡＩモデル３００にアクセスできる。例えば、モデル評価エンジン２２０はＡＩモデル３００へのブラックボックス及び／又はＡＰＩアクセスをすることができる。ブラックボックスアクセスは、モデル評価エンジン２２０が機能（入力及び出力）をＡＩモデル３００の内部構造又は機構にアクセスすることなく検査するのを許すアクセスを含みうる。

【0042】

様々な実施形態では、モデル評価エンジン２２０は、サンプル入力データ３２０及びサンプル出力データ３４０に少なくとも部分的に基づいて模擬攻撃データ２２２を決定しうる。１つの実施形態では、模擬攻撃データ２２２はサンプル入力データ３２０の少なくとも一部を含みうる。少し異なる言い方をすると、モデル評価エンジン２２０はＡＩモデル３００を攻撃できる及び／又は攻撃したサンプル入力データ３２０を特定できる。別の実施形態では、モデル評価エンジン２２０はサンプル入力データ３２０の一部ではない模擬攻撃データ２２２を生成できる。

【0043】

１つの実施形態では、モデル評価エンジン２２０はＡＩモデル３００への１つ以上の攻撃を模擬攻撃データ２２２を使って模擬できる。従って、モデル評価エンジン２２０は模擬攻撃データ２２２がＡＩモデル３００をうまく攻撃できることを確認できる。１つの例では、モデル評価エンジン２２０は模擬攻撃データ２２２をＡＩモデル３００に入力しＡＩモデル３００の出力に基づいて模擬攻撃データ２２２がＡＩモデル３００を攻撃するか否か及び／又はどのように攻撃するかを分析できる。別の例では、モデル評価エンジン２２０は模擬攻撃データ２２２をＡＩモデル３００の代わりである代理モデル（不図示）に入力し代理モデルの出力に基づいて模擬攻撃データ２２２がＡＩモデル３００を攻撃するか否か及び／又はどのように攻撃するかを分析できる。別の実施形態では、モデル評価エンジン２２０は、ＡＩモデル３００又は代理モデルに必ずしも入力することなく模擬攻撃データ２２２を決定できる。

【0044】

様々な実施形態では、モデル評価エンジン２２０は並行攻撃を組合わせアルゴリズムのために使用できる。例えば、幾つかの攻撃は、非決定性多項式時間（ＮＰ）困難である組合わせアルゴリズムを含みうる。モデル評価エンジン２２０は組合わせアルゴリズムの問題を並列化を使って解決できる。１つの実施形態では、モデル評価エンジン２２０は複数のデータ点（例えば、模擬攻撃データ２２２及び／又はサンプル入力データ３２０内の）の１サンプルについて複数の特徴値を同時に活発に変更できる試験を実行して本稼働（例えば、外部データ４００との相互作用）におけるそのような変更に遭遇する影響を推定できる。

【0045】

様々な実施形態では、上述したように、モデル評価エンジン２２０は代理モデルを攻撃のために使用できる。少し異なる言い方をすると、モデル評価エンジン２２０は模擬攻撃を受けうるＡＩモデル３００を少なくとも部分的に複製できる。

【0046】

様々な実施形態では、代理モデルは補正レンズとして使用されうる。少し異なる言い方をすると、モデル評価エンジン２２０はＡＩモデル３００を改善及び／又はカスタマイズできる。例えば、モデル保全システム２００はＡＩモデル３００に供給される及び／又は巻き付けられた入力データをフィルターし追加のラベル付けをしてそれらのラベルを使ってＡＩモデル３００より良い可能性のあるモデルを訓練する。言い換えると、モデル保全システム２００は論理フィルターを提供して入力データを整理しユーザーに通知する。加えて及び／又は或いは、モデル保全システム２００は入力データを変更しユーザーに通知できる。

【0047】

様々な実施形態では、モデル評価エンジン２２０は基準モデル検出を使用できる。様々な実施形態では、モデル評価エンジン２２０はモデル性能及び訓練データプロファイル（範囲、タイプなど）のベースラインを確立できる。ベースラインを使用することで、モデル保全システム２００及び／又は操作員は複数のＡＩモデル３００の性能を比較し本稼働配備のための最良モデルを決定できる。

【0048】

前述したように、詐欺師はしばしばＡＩモデル３００を騙そうと試みる。従って、詐欺師及び開発者は常に進化している追いつ追われつのゲームをする。少し異なる言い方をすると、詐欺検出会社はＡＩモデル３００を作成する。詐欺師は最初は阻止されるが、結局は回避できる。詐欺検出会社はＡＩモデル３００を再訓練して新しいタイプの詐欺を捉え、詐欺師は再び阻止され、回避するよう再び働かなければならない。モデル評価エンジン２２０は有利にもＡＩモデル３００の脆弱性を詐欺師がする前に発見するＡＩモデル評価の唯一の解決策でありうり、ＡＩモデル３００が将来タイプの攻撃から防御するのを可能にする。

【0049】

図４を参照すると、ＡＩ動作環境１００の更なる詳細が示されている。ファイアウォール２４０は外部データ４００の攻撃からＡＩモデル３００を防御できる。例えば、ファイアウォール２４０は外部データ４００がＡＩモデル３００を騙すように操作されているか判断できる。

【0050】

様々な実施形態では、ファイアウォール２４０は類似のデータ要求を検出することで、ＡＩモデル３００を防御できる。少し異なる言い方をすると、ファイアウォール２４０は悪意のあるユーザーをＡＩモデル３００への問い合わせの挙動パターンに基づいて阻止できる。

【0051】

様々な実施形態では、ファイアウォール２４０は攻撃を検出するために最大エントロピー法を使用できる。少し異なる言い方をすると、ファイアウォール２４０は複数の検出器を作成しそれらの応答を集約できる。

【0052】

様々な実施形態では、ファイアウォール２４０は検出エンジン２６０（図５に示す）として機械学習モデルを使用できる。

【0053】

図５を参照すると、モデル保全システム２００が詐欺検出エンジン２６０を含むとして示されている。詐欺検出エンジン２６０は外部データ４００を受信し外部データ４００が攻撃を含むかを判断できる。幾つかの実施形態では、詐欺検出エンジン２６０はＡＰＩの形態の、終端間に容易にプラグ接続可能なエンジンを含みうる。そのＡＰＩは外部データ４００を取り込み、様々な特徴工作手法を自動的に適用し、外部データ４００が詐欺であるか詐欺でないかの推断を出力できる。

【0054】

詐欺検出エンジン２６０を含むことで、モデル保全システム２００はモデル評価エンジン２２０又はファイアウォール２４０を任意選択で含みうる。しかし、モデル保全システム２００はモデル評価エンジン２２０及びファイアウォール２４０の両方又は一方を含むか又はいずれも含まなくてもよい。様々な実施形態では、詐欺検出エンジン２６０はＡＩモデル３００を必要としない単独システムとして詐欺を検出するように機能しうる。しかし、 様々な実施形態では、詐欺検出エンジン２６０を開発するためのプロセスは、モデル保全システム２００及び／又はその任意の部品のＡＩモデル３００との相互作用に少なくとも部分的に基づいてもよい。

【0055】

表形式データに基づく詐欺検出
モデル保全システム２００は様々な分野で適用されうる。代表的な分野は商取引詐欺、例えば不正な情報を使って商取引を行う場合である。モデル保全システム２００は金融機関及び電子商取引会社両方によってクレジット及びデビットカード支払い、銀行預金口座支払い、電子支払い、及び携帯財布支払いにおいて広範囲に使用されうる。

【0056】

別の代表的な分野は口座乗っ取り詐欺、例えば詐欺師が別のユーザーの預金口座に悪意を持ってアクセスする場合である。モデル保全システム２００は金融機関及び電子商取引会社両方によって広範囲に使用されうる。

【0057】

更に別の代表的な分野は商取引詐欺に類似するが追加の情報を伴う小切手詐欺である。モデル保全システム２００に、例えば問題の小切手の画像及び／又は商取引記録履歴を入力しうる。

【0058】

モデル保全システム２００が使用する手法は一般的な表形式データ問題にも適用されうる。

【0059】

図６を参照すると、サンプル入力データ３２０が表形式データを含むとして示されている。表形式データは行及び／又は列に構成された情報を含みうる。典型的な表形式データは数字、アルファベット、文字、記号などの形態でありうる。従って、ＡＩモデル３００は外部データ４００（図７に示す）内の不正を検出するための詐欺検出モデルを含みうる。

【0060】

１つの実施形態では、サンプル入力データ３２０は１つ以上のデータ点を含みうる。各データ点はユーザー、アカウント、商取引、又はそれらの組み合わせに関連する一組の表形式データを含みうる。サンプル出力データ３４０はＡＩモデル３００に基づいてデータ点に付けられるラベルを含みうる。例えば、各ラベルはそのデータ点が詐欺か詐欺でないかの決定を含みうる。加えて及び／又は或いは、モデル評価エンジン２２０はＡＩモデル３００にアクセスできる。１つの実施形態では、モデル評価エンジン２２０はＡＩモデル３００の脆弱性をまとめた報告を出力しうる。

【0061】

様々な実施形態では、モデル評価エンジン２２０は詐欺師として働く自動エンジンを含みうる。モデル評価エンジン２２０は詐欺師が試みることがある攻撃を模擬し、詐欺師がする前に脆弱性を発見できる。

【0062】

様々な実施形態では、ＡＩモデル３００は表形式データに基づくので、モデル評価エンジン２２０は異なる列に亘る特徴依存を知ることで、攻撃を模擬する様々な手法を使用できる。

【0063】

様々な実施形態では、モデル評価エンジン２２０は表形式データに対してアルゴリズム攻撃を使用できる。１つの実施形態では、モデル評価エンジン２２０は高速サブモジュールサンプリングを使用して状態空間を探索できる。

【0064】

様々な実施形態では、モデル評価エンジン２２０は特徴依存を扱うために新規の方法を適用できる。

【0065】

様々な実施形態では、モデル評価エンジン２２０は分類別特徴を扱うために新規の方法を適用できる。

【0066】

様々な実施形態では、モデル評価エンジン２２０はＡＩモデル３００の脆弱性を発見するために複数のアルゴリズムを使用できる。敵対的ＭＬが研究されてきたが、モデル評価エンジン２２０によるＭＬの詐欺検出への適用は、少なくとも、モデル評価エンジン２２０が必ずしも画像を含まない表形式データで訓練されたＡＩモデル３００を攻撃するので、独自である。表形式データは既存の手法によってまだ対処されていない様々な複雑化要因を提示しうる。複雑化要因は、例えば部類別変数及び／又は特徴依存を含む。少なくともモデル評価エンジン２２０はそのような複雑化要因に対処するので、モデル評価エンジン２２０は新規である。

【0067】

図７を参照すると、外部データ４００は表形式データを含みうる。１つの実施形態では、ファイアウォール２４０は外部データ４００がモデル評価エンジン２２０によって特定されている何か攻撃を含むかを示しうる。従って、ファイアウォール２４０は警報のカスタマイズされたレベル群に基づいて選択されたレベルの警報を生成できる。例えば、警報のカスタマイズされたレベル群は重大さ及び／又はユーザー好みに基づいて決定されうる。

【0068】

様々な実施形態では、ファイアウォール２４０はモデル評価エンジン２２０が特定した抜け穴にパッチを当て、ＡＩモデル３００の前に位置する追加の保全層を生成できる。少し異なる言い方をすると、外部データ４００はＡＩモデル３００を通る前に先ずファイアウォール２４０を通りうる。ファイアウォール２４０が攻撃などの疑わしいデータを外部データ４００内に検出すると、ファイアウォール２４０はその疑わしいデータにフラッグを立てうる。ファイアウォール２４０は詐欺師の動的に進化する行動に対して技術者及び／又はデータ科学者に詐欺検出を最新に保つように警報を出しうる。

【0069】

図８を参照すると、詐欺検出エンジン２６０が表形式データを含む外部データ４００を受信しているとして示されている。代表的な外部データ４００はユーザー商取引履歴、ユーザーデータ、アカウント履歴、アカウントデータ、商取引情報、又はそれらの組み合わせを含みうる。１つの実施形態では、詐欺検出エンジン２６０は外部データ４００が不正である確率を出力できる。

【0070】

様々な実施形態では、詐欺検出エンジン２６０は２値分類のためのＭＬ枠組みを使用できる。代表的なＭＬ枠組みは、ブーストツリー、神経回路網などを含みうる。２値分類モデルは様々な生及び／又は加工された特徴で訓練されうる。２値分類モデルはＡＰＩを介して露出され、２値分類モデルに要求されたデータを送信することで呼び出されうる。基底の２値分類モデルは深層学習手法を使ってより正確な結果を達成できる。ＡＰＩは明確に単純で使い易いように設計されうる。

【0071】

様々な実施形態では、詐欺検出エンジン２６０は特徴設計及び／又は特徴選択を使用できる。１つの実施形態では、詐欺検出エンジン２６０はユーザーデータに基づくどのユーザーデータが詐欺を検出するために関係するかを選択するための特徴を含みうる。

【0072】

音声認証
音声認証は生体認証システムの一形態であり、個人の入力音声をその人の登録された音声と比較して音声が類似しているか認証し検証する。音声認証は声紋を（例えば、声の複数の主要特性を音声波形として）抽出し様々な音響統計的手法を使って類似性を測定することで行われうる。

【0073】

音声認証はコールセンター、消費者銀行及びスマートホーム装置のためのユーザー認証などの場所で使用されうる。音声認証の手を使わない性質及び組み込み易さ（例えば、カメラを必要とせず電話で可能）は音声認証を有用にする。

【0074】

しかし、音声認証は様々な形態の攻撃に脆弱である。例えば、詐欺師はその人として認証されたいと望む人の声をまねることができる。まねることは（１）才能のある声優がその被害者の声をまねる、又は（２）その被害者の声を記録し音声認証システムの前で再生する（再生攻撃）の形態でありうる。しかし、まねることは難しい、なぜなら（１）の場合、適切な人材を見つけることを必要とする手作業であり、（２）の場合、動的会話又は特定の語句を必要とする音声認証では、記録された声を使用するのは困難であるからである。

【0075】

最近、音声詐欺は音声合成を益々使用するようになっている。音声合成は誰かの音声記録から偽の音声を生成する技術である。技術の最近の進歩により、詐欺師はたった数分の被害者の記録から本物のように聞こえる音声を生成できる。偽の音声を使って、詐欺師はその被害者のふりをして音声認証システム又は人さえ騙しうる。例えば、詐欺師は多額の金をその詐欺師の銀行口座に振り込むように同僚を騙しうる。

【0076】

モデル保全システム２００（図１に示す）は上述したような合成音声を検出する技術に基づいている。

【0077】

モデル保全システム２００は様々な分野で適用されうる。代表的な分野はコールセンター認証を騙すことである。従来、コールセンターは知識ベース認証を使用し、オペレータが様々な質問（例えば、誕生日）を電話をかけてきた人に尋ねていた。最近、幾つかのコールセンターは一体認証のためにＡＩモデル３００の使用に移行した。音声認証は電話をかけてきた人が話す時に声紋を使って自動的に認証することで、通話時間を節約できる。しかし、ＡＩモデル３００は話し手の声を話し手がそれと認識されるのを望む対象者の声に変換する即時音声変換モデルを使って騙されうる。

【0078】

別の代表的な分野は音声認証を騙すことである。例えば、幾つかの銀行はＡＩモデル３００を使用してユーザーを預金口座へ認証し、金を送金し、金融商品を購入する。ＡＩモデル３００は合成音声で騙されうる。

【0079】

更に別の代表的な分野は同僚への電話である。合成音声は、例えば多額の金をハッカーに電信で振り込むように人々を騙すのに使用されうる。

【0080】

上記の全ての分野はモデル保全システム２００のファイアウォール２４０（図１に示す）で防御されうる。

【0081】

図９を参照すると、サンプル入力データ３２０は音声データを含むとして示されている。音声データは任意の適切なファイル形式のデジタル音声データを含みうる。典型的なファイル形式は非圧縮音声形式（例えば、波形音声ファイル形式（ＷＡＶ）、音声交換ファイル形式（ＡＩＦＦ）、Ａｕファイル形式、又は生ヘッダーなしパルスコード変調（ＰＣＭ）、可逆圧縮形式（例えば、フリー可逆音声コーデック（ＦＬＡＣ）、モンキ―の音声（ファイル名拡張子.ape）、ＷａｖＰａｃｋ（ファイル名拡張子.wv）、トゥルー音声（ＴＴＡ）、適応変換音響符号化（ＡＴＲＡＣ）高度可逆、動画エキスパートグループ（ＭＰＥＧ）‐４、及びショートゥン（ＳＨＮ））、及び／又は不可逆圧縮形式、例えばＯｐｕｓ、ＭＰ３、Ｖｏｒｂｉｓ、Ｍｕｓｅｐａｃｋ、高度音声符号化（ＡＡＣ）、ＡＴＲＡＣ、及びＷｉｎｄｏｗｓメディア音声不可逆（ＷＭＡ不可逆））を含みうる。従って、ＡＩモデル３００は外部データ４００（図１０に示す）が特定の人のであると分類され及び／又はラベル付けされるか検出するための音声認証モデルを含みうる。

【0082】

１つの実施形態では、サンプル入力データ３２０は１つ以上のサンプル音声ファイルを含みうる。サンプル出力データ３４０はＡＩモデル３００に基づいてサンプル音声ファイルに付けられたラベルを含みうる。例えば、ラベルは人（例えば、ユーザー）を示しうる。ＡＩモデル３００はサンプル音声ファイルをその人のであるとして受け付ける。加えて及び／又は或いは、モデル評価エンジン２２０はＡＩモデル３００へアクセスできる。

【0083】

１つの実施形態では、モデル評価エンジン２２０はサンプル音声ファイルのうち合成音声データを含む少なくとも１つを特定できる。少し異なる言い方をすると、模擬攻撃データ２２２は合成音声データを含むサンプル音声ファイルを含みうる。

【0084】

加えて及び／又は或いは、モデル評価エンジン２２０は少なくとも１つの赤組音声ファイルを生成しうる。赤組音声ファイルは選択されノイズが加えられたサンプル音声ファイルを含みうる。ＡＩモデル３００は選択されたサンプル音声ファイルを第１の人のであると認識する。ＡＩモデル３００が赤組音声ファイルを第１の人と異なる第２の人のであると認識するように、ノイズがその選択されたサンプル音声に加えられる。少し異なる言い方をすると、模擬攻撃データ２２２は赤組音声ファイルを含みうる。加えて及び／又は或いは、赤組音声ファイルはサンプル音声ファイルに基づくことなくモデル評価エンジン２２０によって生成されうる。

【0085】

様々な実施形態では、モデル評価エンジン２２０は合成音声を生成し及び／又はノイズを音声データに加えてＡＩモデル３００を騙して人Ａの声を人Ｂの声として誤分類させうる。幾つかの実施形態では、ノイズはＡＩモデル３００にとって感知不能でありうる。

【0086】

図１０を参照すると、外部データ４００は音声データを含みうる。１つの実施形態では、外部データ４００は合成の又は本物の１つ以上の音声ファイルを含みうる。様々な実施形態では、合成であることは完全に合成であること及び／又は少なくとも部分的に合成であることを含みうる。合成でないことは本物、実際、合法、又は無修正であること、又は改竄されてない、改変されてないこと、又はそれらの組み合わせを含みうる。１つの実施形態では、ファイアウォール２４０は外部データ４００内に提示された声が合成か否かを示しうる。

【0087】

加えて及び／又は或いは、外部データ４００は各音声ファイルに付けられた識別及び／又はラベルを更に含みうる。１つの実施形態では、ファイアウォール２４０は識別及び／又はラベルが正しく音声ファイルに付けられているかを示しうる。少し異なる言い方をすると、ファイアウォール２４０は音声ファイル内の音声の誤った識別を含むどんな外部データ４００にも容易に影響されない分類器を含みうる。誤った識別は敵対的でＡＩモデル３００を攻撃できる。

【0088】

様々な実施形態では、ファイアウォール２４０はスピーチデータからの様々な特徴抽出法及び／又は音声合成検出モデルに特有の微調整されたアーキテクチャを使用する音声合成検出モデルを含みうる。

【0089】

様々な実施形態では、ファイアウォール２４０は音声データが偽りであるか否かを示す出力ラベルを生成するように訓練された２値分類機械学習モデルを含みうる。

【0090】

様々な実施形態では、ファイアウォール２４０は畳み込み神経回路網ベース・アーキテクチャを音声合成検出モデルに使用できる。

【0091】

様々な実施形態では、ファイアウォール２４０は特徴抽出を実行できる。音声データをそのまま音声合成検出モデルに供給できない時、ファイアウォール２４０は音声合成検出に適した様々な音響特徴を抽出できる。

【0092】

様々な実施形態では、ファイアウォール２４０は実際の音声から合成音声を生成するデータ増加手法を有しうる。

【0093】

音声合成検出モデルは学習するのに本物（又は良好）でない特徴又は特性を間違って取得しうり、そのような特徴又は特性は必ずしも偽りではない。例えば、本物の音声ファイルが男性の声より多くの女性の声をたまたま有している場合、音声合成検出モデルは音声データが女性のである時、その音声データが本物であると予測するように訓練されうる。しかし、そのような結果は訓練に使用されたデータの単に偶然の一致である。様々な実施形態では、ファイアウォール２４０は、音声合成検出モデルがそのようなデータ分布パターンを間違って拾い上げないように、音声合成検出モデルを調整する方法を有しうる。

【0094】

様々な実施形態では、ファイアウォール２４０はかなりの量の本物及び合成音声データセットで訓練される検出器を含みうる。加えて及び／又は或いは、検出器は最先端の合成音声生成手法及び／又はその改良版（合成音声検出の特定の例におけるデータ増加に適した）を使って生成された追加の音声データで訓練されうる。

【0095】

加えて及び／又は或いは、ソフトウェアは配備のためにその検出器の周りに展開されうる。そのソフトウェアは合成音声検出を本稼働させるために特定の音声認証システムにインストールするのに容易で継ぎ目がない場合がある。

【0096】

様々な実施形態では、モデル保全システム２００は電話の偽りの音声を９５％検出精度と０．０１％誤判定率で検出でき、従来のシステムの性能を超える。

【0097】

顔認識
顔認識アルゴリズムはどの人が与えられた写真に居るかを判断するのに使用されうる。顔認識アルゴリズムは顔検出アルゴリズムの拡張でありうる。顔検出アルゴリズムは人が居るか否かを身元情報があればその個人の身元を確認することなく判断できる。幾つかの実施形態では、ファイアウォール２４０は画像が人の顔を含んでいるかを判断できる。

【0098】

顔認識アルゴリズムは特徴の抽出と特徴の分類を含みうる。例えば、顔目印分析は特徴、例えば鼻、目、頬の周りの特徴（又は人の顔を他の物体から区別できる任意の特徴）を抽出し特徴を点として返すことができる。

【0099】

別の特徴抽出アルゴリズムは局所２進パターンと顔の数値記述としてベクトル又は配列を返す固有顔とを含みうる。ヒストグラム又は主成分分析などの統計的方法を使用して特徴ベクトルを分け、それに応じて複数の顔を互いに区別することができる。他の代わりの手法は加速された頑健な特徴（ＳＵＲＦ）とスケール不変特徴変換（ＳＩＦＴ）を含みうる。

【0100】

幾つかのコンピュータ視覚手法は深層学習モデルを使用して画像から特徴ベクトル（又は埋め込み）を生成できる。特徴ベクトルを分けるように進歩がなされた。少し異なる言い方をすると、異なる人々に属する特徴ベクトルがより良く分けられると、そのベクトルが属する人の身元はより確実に判断されうる。

【0101】

顔認識能力を提供するためのクラウドサービスは上記のコンピュータ視覚手法を使用できる。モデル保全システム２００はクラウドサービスが配備するＡＩモデル３００の脆弱性を露出させ保護できる。モデル保全システム２００は、どんなモデルが攻撃で使用されているかの知識なしに、ＡＩモデル３００が個人を誤認しうるように感知不能なノイズを加えることができる。モデル保全システム２００は、ＡＩモデル３００に供給される又は供給予定の画像がクリーンか改竄されているかを判断できる検出器を配備できる。

【0102】

モデル保全システム２００は様々な分野で適用されうる。様々な実施形態では、境界検問所において、モデル保全システム２００は守られた境界を横切っている、例えば空港を通る着目する個人を特定できる。

【0103】

様々な実施形態では、銀行個人識別の場合、モデル保全システム２００は個人を特定し関連する銀行情報と照合して、迅速な引き出しと個人のお金への容易なアクセスを許しうる。

【0104】

様々な実施形態では、法律執行の場合、モデル保全システム２００は監視カメラ及び交通カメラの画面内の着目する個人を探し特定することができる。

【0105】

様々な実施形態では、旅行認可の場合、モデル保全システム２００は旅行検問所を通る人を特定しその人が信用できるか否か検査でき、信用できるなら、モデル保全システム２００は旅行検問所処理を速めうる。

【0106】

様々な実施形態では、非接触のチェックアウトの場合、モデル保全システム２００は店に入る個人を特定しその個人が購入した品物に対してその個人に自動的に請求できる。

【0107】

様々な実施形態では、スポーツ行事の場合、モデル保全システム２００はフィールド上の選手を追跡し即時追跡及び情報及び／又は統計値を提供できる。

【0108】

図１１を参照すると、サンプル入力データ３２０は１つ以上の顔画像を含むとして示されている。画像はコンピュータ読取可能静止画像及び／又は任意の適切なファイル形式の映像を含みうる。代表的なファイル形式はJoint Photographic Experts Group（ＪＰＥＧ）、Graphics Interchange Format（ＧＩＦ）、ビットマップ（ＢＭＰ）、Tagged Image File Format（ＴＩＦＦ）、及び／又はPortable Network Graphics（ＰＮＧ）を含みうる。従って、ＡＩモデル３００は外部データ４００（図１２に示す）が特定の人の顔を示すかを検出するための顔認識モデルを含みうる。

【0109】

様々な実施形態では、サンプル入力データ３２０は１つ以上のサンプル画像ファイルを含みうる。サンプル出力データ３４０はＡＩモデル３００に基づいてサンプル画像ファイルに付けられたラベルを含みうる。例えば、ラベルは人（例えば、ユーザー）を示しうる。ＡＩモデル３００は画像音声ファイルをその人のであると受け付ける。加えて及び／又は或いは、モデル評価エンジン２２０はＡＩモデル３００にアクセスできる。

【0110】

１つの実施形態では、モデル評価エンジン２２０はＡＩモデル３００によって誤分類及び／又は誤ったラベル付けされた少なくとも１つのサンプル画像ファイルを特定できる。誤分類は特定のラベル（例えば、攻撃者によって選択又は指定された特定のラベル）へ誤分類すること及び／又は元のラベルと異なるラベルへ誤分類することを含みうる。少し異なる言い方をすると、模擬攻撃データ２２２は誤分類されるサンプル画像ファイルを含みうる。

【0111】

加えて及び／又は或いは、モデル評価エンジン２２０は目標人物の１つ以上の画像を得ることができる。目標人物は任意の選択された人でありうる。典型的な目標人物は攻撃者によってサンプル出力データ３４０から選択されたラベルを含みうる。少し異なる言い方をすると、目標人物は誤分類されたラベル及び／又は誤分類されたサンプル画像ファイルの元のラベルを含みうる。様々な実施形態では、モデル評価エンジン２２０は目標人物の画像を含む１つ以上の赤組画像ファイルを生成できる。赤組画像ファイルは合成でありうる。１つの例では、赤組画像ファイルは少なくとも部分的に写真のようにリアルでありうる。別の例では、赤組画像ファイルは目標人物のノイズが加えられた画像を含みうる。様々な実施形態では、モデル評価エンジン２２０はＡＩモデル３００を騙すように働きうる任意の形式の画像を生成しうる。幾つかの生成された画像は写真のようにリアルな要素を有しうるが、全ての生成された画像が写真のようにリアルな画像に限定されるわけではない。ＡＩモデル３００は赤組画像ファイルを目標人物と異なる人のであると認識できる。少し異なる言い方をすると、模擬攻撃データ２２２はその赤組画像ファイルを含みうる。加えて及び／又は或いは、赤組画像ファイルは目標人物の画像にもサンプル画像ファイルにも基づかずにモデル評価エンジン２２０によって生成されうる。

【0112】

様々な実施形態では、モデル評価エンジン２２０は顔類似性を検出するためのＡＩモデル３００を攻撃できる。少し異なる言い方をすると、ＡＩモデル３００は２つの顔の写真Ａ、Ｂを与えられ、写真Ａと写真Ｂが類似しているか否かを判断できる。加えて及び／又は或いは、モデル評価エンジン２２０は顔識別を検出するためのＡＩモデル３００を攻撃できる。少し異なる言い方をすると、ＡＩモデル３００は顔の写真を与えられ、その顔を特定の人に分類できる。両タイプのＡＩモデル３００の場合、ＡＩモデル３００が最先端のものであっても、モデル評価エンジン２２０はＡＩモデル３００を騙すために小さなノイズを加えることができる。

【0113】

様々な実施形態では、モデル評価エンジン２２０はアルゴリズム攻撃を使って最先端の攻撃へのＡＩモデル３００の頑健性を測定し評価できる。

【0114】

様々な実施形態では、モデル評価エンジン２２０による評価に基づいて、モデル評価エンジン２２０はユーザーがＡＩモデル３００がどれだけ脆弱であるかを容易に評価でき、ＡＩモデル３００のどの態様が最も脆弱かを理解できるように報告を作成できる。報告は平易で説明可能でありうる。

【0115】

様々な実施形態では、モデル評価エンジン２２０は、ＡＩモデル３００が最先端のＭＬモデルを含んでいても、アルゴリズム攻撃を使用してＡＩモデル３００を騙すことができる。

【0116】

図１２を参照すると、外部データ４００は１つ以上の顔の画像を含みうる。外部データ４００は各画像に付けられた識別及び／又はラベルを更に含みうる。１つの実施形態では、ファイアウォール２４０はその識別及び／又はラベルが画像に正しく付けられているかを示しうる。少し異なる言い方をすると、ファイアウォール２４０は画像の誤った識別情報を含むどんな外部データ４００にも容易に影響されない頑健性分類器を含みうる。誤った識別情報は敵対的でＡＩモデル３００を攻撃できる。

【0117】

加えて及び／又は或いは、外部データ４００は合成（又は機械生成又は機械操作された）又は本物である１つ以上の画像ファイルを含みうる。少し異なる言い方をすると、画像ファイルは実際の顔の写真、又は合成された（又は機械生成された）顔の画像を含みうる。外部データ４００は画像ファイルが属する部類を更に含みうる。１つの実施形態では、それらの部類は「実際の顔」と「機械生成された顔」を含みうる。様々な実施形態では、ファイアウォール２４０は画像ファイル内の顔が実際か機械生成されたかを示しうる。例えば、ファイアウォール２４０は画像ファイルの正しい部類を決定するための頑健な検出器を含みうる。

【0118】

様々な実施形態では、ファイアウォール２４０はモデル評価エンジン２２０が特定したＡＩモデル３００の欠陥に対してＡＩモデル３００を保護できる。

【0119】

様々な実施形態では、ファイアウォール２４０は外部データ４００を受信し外部データ４００が合法の顔画像か攻撃を受けた顔画像かを出力できる。

【0120】

様々な実施形態では、ファイアウォール２４０は顔認識及び／又は画像認識用に特に構成されたモデルを使用できる。そのモデルは合法の顔画像及び攻撃を受けた画像の大きな集団に亘って訓練されうる。攻撃を受けた画像はＡＩモデル３００を攻撃するために部分的に変更された本物の画像を含みうる。１つの実施形態では、攻撃を受けた画像はモデル評価エンジン２２０によって生成されうる。

【0121】

様々な実施形態では、ファイアウォール２４０は活性検出を実行しうる。例えば、ファイアウォール２４０は、外部データ４００が顔の静止画像であるならば、その顔を本物と認識しないか又はその顔のマスクをかぶった他の人を検出する（そのような画像は両方ともカメラには顔と見えうるけれども）。ファイアウォール２４０はそのようなタイプの攻撃（即ち、個人の写真を提示する及び／又は個人のマスクをかぶる）の両方を検出できる。

【0122】

様々な実施形態では、ファイアウォール２４０は、潜在的に敵対的な入力がＡＩモデル３００に供給される前にファイアウォール層として働くようにソフトウェアプラットフォームを敷地内及び／又はクラウド内に配備できる。ファイアウォール２４０は、入力が敵対的か又は無害かを判断し操作員に応答を返しうる検出器として働く深層学習モデルでカスタマイズされうる。検出器は高い利用可能性と短い待ち時間で機能しうる。どの検出器、分類、及び／又はサービスにオペレータがアクセスできるかを指定するためにＡＰＩキーをオペレータに提供できる。

【0123】

様々な実施形態では、ファイアウォール２４０の検出器は深層機械学習手法を使って作られうる。

【0124】

様々な実施形態では、モデル保全システム２００は様々な手法を使ってＡＩモデル３００を露出及び／又は攻撃できる。代表的な手法はオープンソース顔認識アルゴリズム、神経回路網ベース顔埋め込みアルゴリズムなどを含みうる。

【0125】

様々な実施形態では、モデル保全システム２００は、顔画像を有効低次元埋め込みに圧縮することでＡＩモデル３００を訓練するための方法を露出及び／又は攻撃できる。

【0126】

様々な実施形態では、モデル保全システム２００は、顔認識アルゴリズムとして働くようにそれらの埋め込みを複数の部類に分けることでＡＩモデル３００を訓練するための方法を露出及び／又は攻撃できる。

【0127】

様々な実施形態では、モデル保全システム２００は、少量のノイズを顔の画像に加えることで顔認識アルゴリズムを騙す方法を使用できる。

【0128】

様々な実施形態では、モデル保全システム２００は、（例えば、敵対的生成ネットワークで）ノイズから顔の特定の画像を取り出すために神経回路網ベース方法を使用できる。

【0129】

様々な実施形態では、モデル保全システム２００は、既存の深層学習ベース顔認識モデルを偽の入力により頑健にする方法を使用できる。

【0130】

物体検出
物体検出は画像内の物体を特定するために使用されうる。代表的な物体検出は銃検出でありうる。銃検出は画像内に銃があるかを検出することである。

【0131】

幾つかの物体検出システムは深層学習手法を使用できる。機械学習モデルはモデルが検出すべき物体を含む多数の画像に亘って訓練されうる。他の画像分類手法と対照的に、物体検出モデルは検出された物体の画像内の位置を指定できる。

【0132】

クラウドサービスは物体検出成果を提供できる。例えば、クラウドサービスはユーザーがアップロードした画像内の物体を検出するＡＰＩを提供できる。

【0133】

他のＭＬモデルと同様に、物体検出用のＭＬモデルは攻撃に脆弱である。画像に加えられた感知不能な入念に作られたノイズは、画像内の物体を検出しないようにモデルを騙しうる。モデル保全システム２００はＡＩモデル３００の脆弱性を露出させ保護できる。ＡＩモデル３００はクラウドサービスによって配備されうる。

【0134】

モデル保全システム２００は様々な分野に適用されうる。様々な実施形態では、自律車両の場合、モデル保全システム２００に基づく物体検出は、その車両が方向を適合させられるように他の車両、交通信号、歩行者、及び／又は他の物体を検出するのに使用されうる。

【0135】

様々な実施形態では、銃検出及び／又は警備の場合、モデル保全システム２００に基づく物体検出はある場所の異常、例えば銃又は爆弾を特定するのに使用されうる。

【0136】

様々な実施形態では、人数計測の場合、モデル保全システム２００に基づく物体検出は特定の場所の人々の数を推定するのに使用されうる。

【0137】

様々な実施形態では、スポーツの場合、モデル保全システム２００に基づく物体検出はボール及び選手を追跡するのに使用されうる。

【0138】

図１３を参照すると、サンプル入力データ３２０は１つ以上の物体を示す１つ以上の画像を含むとして示されている。それらの画像はコンピュータ読取可能静止画像及び／又は任意の適切なファイル形式の映像を含みうる。従って、ＡＩモデル３００は外部データ４００（図１４に示す）に含まれる画像内の物体を分類するための物体検出モデルを含みうる。分類することは、画像内の物体及び／又はその位置を検出することを含みうる。

【0139】

様々な実施形態では、サンプル入力データ３２０は１つ以上のサンプル画像ファイルを含みうる。様々な実施形態では、サンプル出力データ３４０はＡＩモデル３００に基づいて各サンプル画像ファイル内の１つ以上の物体とその位置を提示しうる。加えて及び／又は或いは、モデル評価エンジン２２０はＡＩモデル３００にアクセスできる。

【0140】

１つの実施形態では、モデル評価エンジン２２０はＡＩモデル３００の頑健性及び／又は欠陥の報告を生成しうる。報告は平易でオペレータにとって解釈が容易でありうる。様々な実施形態では、モデル評価エンジン２２０は一組の予め設定された試験をＡＩモデル３００及び関連するデータに実行できる。各試験はＡＩモデル３００の脆弱性を特定の軸に亘って測定でき、モデル評価エンジン２２０はこれらの試験の結果に基づいて報告を生成できる。

【0141】

加えて及び／又は或いは、モデル評価エンジン２２０はＡＩモデル３００を騙した又は騙しうるサンプル画像ファイルの少なくとも１つを特定できる。少し異なる言い方をすると、模擬攻撃データ２２２はモデル評価エンジン２２０によって特定されたサンプル画像ファイルを含みうる。

【0142】

加えて及び／又は或いは、モデル評価エンジン２２０はサンプル画像ファイルを操作することで赤組画像ファイルを生成できる。各赤組画像ファイルはＡＩモデル３００を騙しうる。ＡＩモデル３００はサンプル画像ファイル内の物体を正しく分類できるが、赤組画像ファイル内の物体を正しく分類できない。少し異なる言い方をすると、模擬攻撃データ２２２はそのような赤組画像ファイルを含みうる。

【0143】

加えて及び／又は或いは、赤組画像ファイルはモデル評価エンジン２２０によってサンプル画像ファイルに基づくことなく生成されうる。少し異なる言い方をすると、模擬攻撃データ２２２は赤組画像ファイルを含みうる。

【0144】

様々な実施形態では、モデル評価エンジン２２０は画像及び映像をデジタル的かつ物理的に攻撃しＡＩモデル３００を騙しうる。デジタル敵対的攻撃は顔認識への攻撃に類似し、ＡＩモデル３００が物体を異なる物体と分類するようにモデル評価エンジン２２０がその物体の画像にノイズを加えうる。そのノイズは小さくてよい。物理的で敵対的攻撃は、人々が特別なステッカーを印刷して、例えば様々な物体（例えば、銃）を身につけＡＩモデル３００がその物体を正しく分類するのを妨げうる攻撃を含みうる。

【0145】

図１４を参照すると、外部データ４００は１つ以上の物体を示す１つ以上の画像を含みうる。様々な実施形態では、ファイアウォール２４０はモデル評価エンジン２２０によって特定されたＡＩモデル３００の欠陥に対してＡＩモデル３００を保護できる。

【0146】

加えて及び／又は或いは、外部データ４００は１つ以上の画像ファイルを含みうる。ファイアウォール２４０は画像ファイルがＡＩモデル３００を騙すように操作されているかを示しうる。１つの実施形態では、ファイアウォール２４０は画像ファイルが合法な（又は実際又は本物の）画像か、又はデジタル的及び／又は物理的敵対的攻撃によりＡＩモデル３００を騙すように操作された画像かを示す信頼数を生成できる。

【0147】

様々な実施形態では、ファイアウォール２４０は物体検出用に特に構成されたモデルを使用できる。そのモデルは物体の合法な画像及び／又は攻撃を受けた画像の大きな集団に亘って訓練されうる。１つの実施形態では、攻撃を受けた画像はモデル評価エンジン２２０によって生成されうる。

【0148】

表形式データに基づく詐欺検出ための代表的な適用
表形式データを使ったＡＩ攻撃は下記を含みうる。

【0149】

１）人為的に製品又は売り手の順位を上げる偽の批評及び購入
２）入会促進／特典を利用するために作成された偽のアカウント
３）商取引ＡＩプラットフォームを一覧が表示されるのを許すように納得させ続いて買い手を騙すであろう詐欺的製品一覧
４）人為的クリック、インストレーション、及びアプリ係り合いメトリックを生成する係り合い攻撃
５）盗み取ったクレジットカードを使った詐欺商取引
６）盗まれた及び／又は偽の身分証明から詐欺クレジットカード及び銀行口座開設
全ての存在するデータの１０～１５％を占める表形式データが、多くの商取引の場合、承認又はアクセスの基礎として使用される。モデル保全システム２００及び／又は詐欺検出エンジン２６０（図８に示す）は特定の商取引が詐欺か否かを検出できる。詐欺検出エンジン２６０に入力される外部データ４００は商取引を表すデータベクトルを含みうる。詐欺検出エンジン２６０は幾つかのステップを実行しうる。データは正規化されうる。特徴選択が実行され特徴の数を減らしうる。例えば、深層神経回路網及び／又は勾配ブースト決定木を含む１つ以上のモデルを様々な予測を生成するのに使用できる。個々の予測は集められ最終スコアを生成できる。詐欺検出エンジン２６０の出力は、例えば０～１００の範囲の詐欺スコアを含みうり、スコア１００はその商取引は多分詐欺であることを意味する。準備、クリーニング、誤差検出、及び欠測値補完などのデータ問題が、ＡＩ環境が大規模な決定をするのに使用され、弱点の利用（又は攻撃）が行われうる事例である。

【0150】

様々な実施形態では、神経回路網は人の脳の活動をまねるための技術を含みうる。典型的な活動は、パターン認識及び／又は模擬された神経接続の様々な層を通る入力通過を含みうる。深層神経回路網は入力層、出力層、及びそれらの間の少なくとも１つの隠れた層を有する１つ以上の回路網を含みうる。各層は特徴階層処理において特定の種類の並べ替え及び／又は順序付けを実行しうる。深層学習は深層神経回路網の機能を特徴付けうる。なぜなら深層学習は一形態の機械学習を表しうり、その技術はＡＩを使用して単純な入力／出力プロトコルより複雑なやり方で情報を分類及び／又は順序付けするからである。

【0151】

様々な実施形態では、勾配ブースト決定木は、ブースティング法を使って個々の決定木を結合するアルゴリズムベースマシンを含みうる。ブースティングは学習アルゴリズムを直列に結合して順次接読された多くの弱い学習器から強い学習器を実現することを含みうる。勾配ブースト決定木アルゴリズムの場合、弱い学習器は決定木でありうる。各木は前の木の誤差を最小にできる。ブースティングにおける木は弱い学習器であるが、多くの木を直列に繋ぎ各木は前の木の誤差に集中することは、ブースティングを非常に効率的で正確なモデルにしうる。バギングと違い、ブースティングはブートストラップサンプリングを含まない。

【0152】

モデル保全システム２００は、防御データ検出器を訓練するためのデータ増強及びデータモデリング、ＡＩ防御体が受信した全てのデータを強化するために可能ならいつでも再帰訓練との統合（入力データを他の提出されたデータ又はデータ源を使って検証するなどの手法を使用することも含む）、及び拡張可能な配備及び独自データセットの収容と多データ出力を可能にする独自システム最適化と学習局所モデルを含むシステム柔軟性の様々な態様に対処しうる。

【0153】

典型的な表形式データ弱点利用は下記を含みうる。

【0154】

銀行融資承認の場合、融資承認は銀行業機関にとって極めて重要な処理である。この処理は顧客融資申し込みを承認又は拒絶するのに使用される。融資の回収は銀行の決算書における主要因であり、従って、正しい融資申し込みを承認することは非常に重要である。ＡＩモデル３００は申し込み書に記載された顧客データ、例えば予想収益、担保価格、現在の流動性、又は年齢に基づいてこれらの決定をするのに有益でありうる。

【0155】

代表的な状況では、ＡＩモデル３００は個人からの申し込みを拒絶する。その個人は融資を承認してもらいたと思い、従って、ＡＩモデル３００を欺いて申し込みを承認させるために銀行に偽りの情報を提供する。銀行詐欺で捕まるのを回避するために、偽りの情報は人には感知不能であり、見込みのある専門家が申し込み書を検証した場合、依然として適切で信用できるべきであることが要求される。これは、弱点利用が人による点検には感知不能であるか、又は人によって捕まえるのに少なくとも時間がかかるように要求する。従って、弱点利用は使用される下位変数を操作（申し込みに人による点検のためにフラッグが立てられたなら人は通常捉えない）しなければならない。弱点利用は、ＡＩモデル３００にとってどんな特徴がより重要性が少ないかを判断するために、ＡＩモデル３００の少なくとも部分的知識を必要とすることがある。弱点利用は、詐欺を検出するための人による様々な特徴の点検がより長い時間を必要とするようにある範囲に亘ってＡＩモデル３００にとって重要性がより少ない特徴の値を変更することに集中する。それに応じて、より重要な特徴の変更はより高い攻撃感知力を生じ、攻撃が点検者によってより容易に検出されるのを許すであろう。また、敵対的攻撃における各特徴はその元のインスタンスの関連性及び信頼性を保持することも極めて重要である。これは各変更された特徴がその固有の制約及びタイプを保存することを検証することで達成されうる。点検者は点検を幾つかの表形式データの組み合わせに基づかせそうにないので、ＡＩモデル３００でより多くの変数を使用する融資申し込みは攻撃をより受けやすい。また、攻撃は、画素データ操作では必要のない全景一貫性を維持しなければならない。弱点利用モデルがデータの相互関係を満たさないなら、点検者は結果をより容易に疑うことがある。弱点利用モデルは、ＡＩモデル３００を攻撃する外部データ４００を生成するために使用される機械学習モデルを含みうる。従って、弱点利用モデルは変動するノイズ要因内に存在しなければならない（例えば、アドレスはＺＩＰコード外ではありえない、又は職業上の肩書は教育レベル外に存在する）。少し異なる言い方をすると、点検者の場合、データの相互関係を改竄することによる詐欺はより容易に検出されうるが、変動するノイズ要因による詐欺は容易には検出されない。モデル保全システム２００は、様々な変動するノイズ要因間の関係を見て特定の入力列の合法性を判断することで、そのような詐欺を防ぐことができる。

【0156】

モデル保全システム２００の実施形態
図１５はＡＩを使用してＡＩモデル３００への詐欺の脅威を分析するモデル保全システム２００を示す。代表的なＡＩモデル３００は遠隔医療診療、電子商取引、処方システム、資金転送システム、又は変動する１つ以上の表形式データセットを受信できる他のシステム用に使用されうる。モデル保全システム２００は非表形式データも受信できる。非表形式データの例は手書きサンプル、画像、音声スピーチ、及び／又は生体測定入力を含みうる。モデル保全システム２００は、モデル保全システム２００がクラウド基盤環境内の実体と対話する及び／又は品物スキャナーなどのオフライン装置の場合はハードウェアマシンを介して対話するのを許す１つ以上の組の動作マシンを有しうる。

【0157】

クラウド環境内では、モデル保全システム２００は外部ＡＩ世界からＡＰＩコール及び／又は配線接読によりデータを受信する取り入れマシン２０２を含みうる。モデル保全システム２００は外部データ４００のデータフィードにカスタマイズ可能な一組のモデルを配備できる。データフィードはＡＩモデル３００によって使用されうる。モデル保全システム２００は外部データ４００を期待される閾値パラメータとの順守又は適合性に関して試験できる。様々な実施形態では、通常期待されるパラメータ外である外部データ４００は分別マシン２０６に向けられうる。分別マシン２０６は選択されたモデルを使ってそのデータセットを誤ったデータ（又は間違ったデータ）２１０及び／又は疑わしいデータ２１２の部類に分別できる。疑わしいデータ２１２は点検者が識別できないデータを含みうるので、疑わしいデータ２１２は表示マシン２１６に渡され、点検者が疑わしいデータ２１２を適切に見直し疑わしいデータ２１２のソース及び帰趨を決定するのを許しうる。点検者はモデル保全システム２００からの指定されたデータに関する結果を使ってその指定されたデータの有効性をより容易に判断できる。誤ったデータ２１０は取り入れマシン２０２に返され拒絶されうる。

【0158】

加えて及び／又は或いは、閾値付近データ２１４は試験マシン２１７に送信されうる。閾値付近データ２１４は許容できるに近い及び／又は設定された閾値を僅かに超えたデータを含みうる。試験マシン２１７は閾値付近データ２１４内のパターン及び／又は他の繰り返すデータを特定できる。各特定されたパターンは弱点利用パターン２１８でありうる。試験マシン２１７がパターンを決定すると、試験マシン２１７は、モデル保全システム２００がこのタイプの弱点利用に脆弱かをより良く理解するためにデータパラメータを生成しそのパターンへの様々な閾値を特定できる。試験マシン２１７はその弱点利用パターン２１８をモデル評価エンジン２２０に渡しうる。

【0159】

従来の赤組攻撃はコンピュータシステムの試験であり、侵入試験及び脆弱性詐欺評価を伴う。赤組攻撃は可能な攻撃ベクトルを見つける練習であるが、侵入試験はそのシステムを実際に攻撃する練習である。また、従来の脆弱性詐欺評価はソフトウェアを分析し弱点利用されうる符号化欠陥を露出させることに関する。従来の脆弱性詐欺評価は主に個々のソフトウェアを調べ、符号化欠陥により集中しシステム構成及び業務処理にあまり集中せず、システム全体のより広い検討が欠けている。侵入試験の結果は実際に赤組攻撃を実施するが、侵入試験により提供される攻撃ベクトルは非常に狭く、しばしばシステム全体についてあまり多くを語らない。

【0160】

従来の赤組攻撃の手法と対照的に、モデル保全システム２００は弱点利用パターン２１８特性及び挙動のモデル化（例えば、モデル評価エンジン２２０による）、ＡＩモデル３００をシステムの観点からモデル化、模擬による攻撃計画作成、及び／又は赤組攻撃を実行することに関係する問題を使用できる。本開示は、モデル評価エンジン２２０が孤立した脆弱性ではなくＡＩモデル３００に亘る複数の脆弱性を利用する攻撃計画をどのように検出し立案できるかを明記する。

【0161】

本開示によれば、モデル評価は、ＡＩモデル３００を連続して試験しＡＩモデル３００が最も弱い箇所を理解できるモデル評価エンジン２２０の文脈で使用されうる。ＡＩモデル３００は閾値付近データ２１４のレベルで最も弱いことがありうる。従って、閾値付近データ２１４の連続試験を実行することで、モデル保全システム２００はその能力を積極的に改善し疑わしいデータ２１２に対する実質上のデータファイアウォールとして働きうる。

【0162】

加えて及び／又は或いは、クラウド環境において、モデル保全システム２００は受信した外部データ４００を見直すために多数のモデルにアクセスできる。外部データ４００は、ＡＩモデル３００が外部データ４００を誤った解釈及び／又は誤った分類をしうるような変更を含みうる。

【0163】

加えて及び／又は或いは、モデル保全システム２００は単独モードで様々な装置のハードウェア部品として使用されうる。この構成では、モデル保全システム２００は携帯装置、コンピュータ応用、及び／又は外部データ４００とＡＩモデル３００の間に上記のように配置されうるハードウェア機器に埋め込まれうる。

【0164】

図１６は様々な実施形態に係るモデル保全システム２００の訓練及び使用を例示する。モデル保全システム２００は機械学習アルゴリズム、プログラム、及び／又はツールにより訓練され、ＡＩモデル３００（図１に示す）の詐欺又は攻撃検出に関連する動作を実行するのに使用されうる。モデル保全システム２００は、出力として表されるデータ駆動予測又は決定を行い及び／又は成功する弱点利用モデル２３４を作るために訓練データ２３２からモデルを構築することで動作しうる。代表的な決定は訓練データ２３２を「偽陽性詐欺結果」であると判断することを含みうる。少数の機械学習ツールに関して実施形態を提示したが、本書に提示した原理は、特にＡＩモデル３００に提示され結果を不正に変えるように意図された疑わしいデータの検出を議論する場合、他の機械学習ツールに適用されてもよい。

【0165】

モデル評価エンジン２２０は、訓練データ２３２を受け取りＡＩ試験マシン２３６で試験される弱点利用モデル２３０を生成できる。弱点利用モデル２３０を試験する時、ＡＩ試験マシン２３６に対して陽性結果を生成する変動を評価してその陽性結果が偽陽性か又はＡＩ試験マシン２３６が意図する結果かを判断できる。新しい成功した弱点利用モデル２３４が発見されると、ファイアウォール２４０は、成功した弱点利用モデル２３４に対して防御するように更新されうる。

【0166】

幾つかの実施形態では、１つ以上の機械学習ツールを使用できる。例えば、ロジスティック回帰（ＬＲ）、単純ベイズ、ランダムフォレスト（ＲＦ）、神経回路網（ＮＮ）、行列因数分解、及びサポートベクターマシン（ＳＶＭ）ツールを、ＭＬプログラムへの少なくとも一つのデータフィードを分類又はスコア付けして弱点利用モデル２３０によりＡＩモデル３００に対してデータフィード内のデータの離散集合で攻撃を実行するために使用できる。

【0167】

ＭＬは分類問題及び回帰問題を解決するために使用されうる。分類問題は項目を幾つかの部類値の１つに分類すること（例えば、この物体はリンゴかそれともオレンジか？）を目的とする。回帰アルゴリズムは複数の項目を定量化することを目的とする（例えば、実数である値を与えることで）。回帰分析は構造化データセット内の原因と効果の関係の強さを測定できる。回帰分析は変数の数とデータセットのサイズの故に詐欺検出に適用された時より洗練されうる。回帰分析は、より大きな詐欺戦略の一部として個々の変数又は変数の組み合わせの予測力を評価することで値を提供できる。モデル保全システム２００は新しい取引が詐欺か否かを予測できる。幾つかの実施形態では、モデル保全システム２００は、特定の訓練された顧客ベースに特有でありうるが、一般使用にも適用されうる。モデル保全システム２００は、分類及び／又は回帰を利用して詐欺攻撃を解決策の様々な点において特定できる。

【0168】

図１７において、解決策の別形で使用される機械学習ツールの別のセットは殺菌剤マシン２８０の形態でありうる。殺菌剤マシン２８０は、ＡＩモデル３００に提示されている複数のタイプのデータ間の依存を理解することで不正な及び／又は操作されたデータを検出できる。代表的な用途は複数のデータ入力に基づく金融取引でありうる。住所、電話番号、及び／又は個人のデータ入力の他の態様を含むデータ入力は取引を表すデータベクトルとして特徴記述されうる。ベクトルのデータ点は微妙に互いに関係する。例えば、未解決の住所は、その住所が住所とその電話番号が不正提出にフラッグを立てるように変化するかを判断するのを助けるために電話番号及び／又は市外局番を使用できる。殺菌剤マシン２８０は取引と関連する異なるデータ点間の依存を表すグラフを作成できる。モデル保全システム２００は、外部データ４００をそのグラフと比較し、何個の依存を外部データ４００が違反しているかに依って外部データ４００にフラッグを立てることができる。比較の出力は、そのデータがどれほどクリーンであるかを表す０と１の間のスコアを含みうる。

【0169】

加えて及び／又は或いは、殺菌剤マシン２８０はデータフィードを分析し外部データ４００のデータフィードの異常な又は不正な様相を発見するために使用されうる。外部データ４００の各特徴は、観測される現象の一組の個々の測定可能な特性に分解されうる。代表的な現象は閾値付近データ及び／又は閾値データフィードの組み合わせを含みうる。特徴は直線回帰などの統計手法で使用される説明変数に関係しうる。情報を与え識別し独立した特徴を選ぶことは、パターン認識、分類、及び回帰におけるＭＬプログラムの効果的な動作のために重要である。特徴は様々なタイプ、例えば数値特徴、ストリング、及びグラフであってよい。

【0170】

加えて及び／又は或いは、モデル保全システム２００は様々な表形式及び／又は非表形式データ弱点利用を特定できる。表形式データ弱点利用は、１つ以上の重み付け法を使用でき、ＡＩモデル３００が訓練に基づき誤った結果を記録しうるように変更及び／又は壊される表形式データに基づきうる。

【0171】

図１８は上述した装置のうちどんな１つ以上の装置にも導入されうるソフトウェアアーキテクチャ５００を示すブロック図である。図１８は単にソフトウェアアーキテクチャの非限定例であり、多くの他のアーキテクチャが本書に記載された機能を可能にするために実現されうることは理解されるであろう。様々な実施形態では、ソフトウェアアーキテクチャ５００は図１９のマシン６００などのハードウェアによって実行される。

【0172】

この一例のアーキテクチャでは、ソフトウェアアーキテクチャ５００は層の積み重ねとして概念化されうり、各層は特定の機能を提供してもよい。例えば、ソフトウェアアーキテクチャ５００はオペレーティングシステム５０４、ライブラリ５０６、フレームワーク５０８、及びアプリケーション５１０などの層を含む。動作上、アプリケーション５１０はソフトウェアスタックを通してＡＰＩコール５１２を呼び出し、ＡＰＩコール５１２に応答してメッセージ５１４を受け取る。幾つかの実施形態で同じである。

【0173】

様々な実施形態では、オペレーティングシステム５０４はハードウェア資源を管理し、共通のサービスを提供する。オペレーティングシステム５０４は、例えばカーネル５２０、サービス５２２、及びドライバー５２４を含む。カーネル５２０はハードウェアと他のソフトウェア層の間の抽象層として働く。幾つかの実施形態で同じである。例えば、カーネル５２０はメモリ管理、プロセッサ管理（例えば、予定を組む）、装置管理、ネットワーク接続、機密保護設定、及び他の機能を提供する。サービス５２２は他の共通のサービスをその他のソフトウェア層に提供しうる。幾つかの実施形態によれば、ドライバー５２４は基盤を成すハードウェアを制御又はと接続するのを担う。例えば、ドライバー５２４は表示ドライバー、カメラドライバー、ＢＬＵＥＴＯＯＴＨ（登録商標）又はＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギードライバー、フラッシュメモリドライバー、シリアル通信ドライバー（例えば、ユニバーサル・シリアル・バス（ＵＳＢ）ドライバー）、Ｗｉ‐Ｆｉ（登録商標）ドライバー、オーディオドライバー、電力管理ドライバーなどを含みうる。

【0174】

幾つかの実施形態では、ライブラリ５０６はアプリケーション５１０が利用する低レベル共通基盤を提供する。ライブラリ５０６は、メモリ割り当て機能、ストリング操作機能、数学機能などの機能を提供しうるシステムライブラリ５３０（例えば、Ｃ標準ライブラリ）を含みうる。また、ライブラリ５０６はＡＰＩライブラリ５３２、例えばメディアライブラリ（例えば、様々なメディア形式、例えば動画エキスパートグループ４（ＭＰＥＧ４）、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｈ.２６４又はＡＶＣ）、動画エキスパートグループ層３（ＭＰ３）、Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ）、Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ‐Ｒａｔｅ（ＡＭＲ）音声コーデック、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃエキスパートグループ（ＪＰＥＧ又はＪＰＧ）、又はＰｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ（ＰＮＧ）の表出及び操作を支えるライブラリ）、グラフィックライブラリ（例えば、表示器上のグラフィックコンテキストに２Ｄ及び３Ｄで描くのに使用されるＯｐｅｎＧＬフレームワーク）、データベースライブラリ（例えば、様々な関係型データベース機能を提供するＳＱＬｉｔｅ）、ウェブライブラリ（例えば、ウェブ閲覧機能を提供するＷｅｂＫｉｔ）などを含みうる。ライブラリ５０６はまた、多くの他のＡＰＩをアプリケーション５１０に提供するために多種多様な他のライブラリ５３４を含みうる。

【0175】

幾つかの実施形態によれば、フレームワーク５０８はアプリケーション５１０が利用しうる高レベル共通基盤を提供する。例えば、フレームワーク５０８は様々なグラフィカル・ユーザ・インターフェース（ＧＵＩ）機能、高レベル資源管理、高レベル位置サービスなどを提供する。フレームワーク５０８はアプリケーション５１０が利用しうる広範囲の他のＡＰＩ（そのうちの幾つかは特定のオペレーティングシステム５０４又はプラットフォームに特有である）を提供できる。

【0176】

１つの実施形態では、アプリケーション５１０はホームアプリケーション５５０、接触アプリケーション５５２、閲覧アプリケーション５５４、本読みアプリケーション５５６、位置アプリケーション５５８、メディアアプリケーション５６０、メッセージ通信アプリケーション５６２、ゲームアプリケーション５６４、及び多種多様な取りそろえの他のアプリケーション、例えば第三者アプリケーション５６６を含む。幾つかの実施形態によれば、アプリケーション５１０は自身の中に規定された機能を実行するプログラムである。様々なプログラミング言語が様々な構造を持つアプリケーション５１０のうち１つ以上を作成するために使用されうる。その例は、オブジェクト指向プログラミング言語（例えば、オブジェクトＣ、Ｊａｖａ、又はＣ＋＋）又は手続き型プログラミング言語（例えば、Ｃ又はアセンブリ言語）である。特定の実施例では、第三者アプリケーション５６６（例えば、ＡＮＤＲＯＩＤ（登録商標）又はＩＯＳ（商標）ソフトウェア開発キット（ＳＤＫ）を使って特定のプラットフォームのベンダー以外の主体によって開発されたアプリケーション）は携帯電話オペレーティングシステム、例えばＩＯＳ、ＡＮＤＲＯＩＤ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）Ｐｈｏｎｅ、又は別の携帯電話オペレーティングシステム上で動作する携帯電話ソフトウェアであってもよい。この例では、第三者アプリケーション５６６はオペレーティングシステム５０４が提供するＡＰＩコール５１２を本書に記載の機能を可能にするために呼び出しうる。

【0177】

図１９は実施形態に係るマシン６００に本書に記載の方法の任意の１つ以上を実行させるために命令セットを実行するコンピュータシステムの形態のマシン６００の概略を示す。具体的には、図１９はコンピュータシステムの一例の形態のマシン６００の概略を示し、その中でマシン６００に本書に記載の方法の任意の１つ以上を実行させるための命令群６１６（例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、又は他の実行可能コード）が実行されうる。例えば、命令群６１６はマシン６００に図２の方法を実行させてもよい。加えて又は或いは、命令群６１６は図１及び図３～１８を実行してもよい。命令群６１６はプログラムされていない汎用マシン６００を、説明された機能を説明されたやり方で実行するようにプログラムされた特別なマシン６００に変える。他の実施形態では、マシン６００は独立した装置として動作するか又は他のマシンに結合（例えば、ネットワーク接続）されてもよい。ネットワーク接続された場合、マシン６００はサーバー・クライアント・ネットワーク環境でサーバーマシン又はクライアントマシンとして、又はピアツーピア（又は分散）ネットワーク環境でピアマシンとして動作してよい。マシン６００は、これらに限定されないがサーバーコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、娯楽メディアシステム、携帯電話、スマートフォン、携帯装置、装着可能装置（例えば、スマートウォッチ）、スマート家庭用装置（例えば、スマート器具）、他のスマート装置、ウェブ器具、ネットワークルーター、ネットワークスイッチ、ネットワークブリッジ、又はマシン６００がする動作を指定する命令群６１６を順次又は他のやり方で実行できる任意のマシンから成ってよい。また、単一のマシン６００だけが示されているが、用語「マシン」は命令群６１６を個々に又は共同で実行して本書に記載の方法の任意の１つ以上を実行するマシン６００の集まりを含むと考えるべきである。

【0178】

マシン６００は、例えばバス６０２を介して互いに通信するように構成された複数のプロセッサ６１０、メモリ６３０、及びＩ／Ｏ構成要素６５０を含んでよい。１つの実施形態では、複数のプロセッサ６１０（例えば、中央処理ユニット（ＣＰＵ）、縮小命令セット計算（ＲＩＳＣ）プロセッサ、複雑命令セット計算（ＣＩＳＣ）プロセッサ、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）、別のプロセッサ、又はこれらの任意の適切な組み合わせ）は、例えば命令群６１６を実行するプロセッサ６１２及びプロセッサ６１４を含んでよい。用語「プロセッサ」は、同時に命令群６１６を実行する２つ以上の独立したプロセッサ（時にはコアと呼ばれる）から成るマルチコアプロセッサを含むように意図されている。図６は複数のプロセッサ６１０を示すが、マシン６００は単一コアの単一のプロセッサ６１２、複数のコアの単一のプロセッサ６１２（例えば、マルチコアプロセッサ６１２）、単一コアの複数のプロセッサ６１２、６１４、複数のコアの複数のプロセッサ６１２、６１４、又はこれらの任意の組み合わせを備えてもよい。

【0179】

メモリ６３０は、バス６０２を介してプロセッサ６１０にそれぞれアクセスできるメインメモリ６３２、静的メモリ６３４、及び記憶ユニット６３６を含んでよい。メインメモリ６３２、静的メモリ６３４、及び記憶ユニット６３６は本書で説明した方法又は機能の任意の１つ以上を具現化する命令群６１６を記憶する。命令群６１６は、マシン６００による実行中に、メインメモリ６３２内、静的メモリ６３４内、記憶ユニット６３６内、少なくとも１つのプロセッサ６１０内（例えば、プロセッサのキャッシュメモリ内）、又はそれらの任意の適切な組み合わせ内に、完全に又は部分的に存在してもよい。

【0180】

Ｉ／Ｏ構成要素６５０は、入力を受け取り、出力を提供し、出力を生成し、情報を送信し、情報を交換し、測定値を取り込むなどの多種多様な構成要素を含んでよい。特定のマシンに含まれる特定のＩ／Ｏ構成要素６５０は、そのマシンの種類に依存する。例えば、携帯電話などの可搬式マシンはタッチ入力デバイス又は他のそのような入力機構をたぶん含むが、ヘッドレスサーバーマシンにはそのようなタッチ入力デバイスをたぶん含まない。Ｉ／Ｏ構成要素６５０は、図６に示していない他の多くの構成要素を含んでよいことは理解されるであろう。Ｉ／Ｏ構成要素６５０は、下記の説明を単に簡単にするために機能に従ってグループ分けされ、このグループ分けは決して限定ではない。様々な実施形態では、Ｉ／Ｏ構成要素６５０は、出力構成要素６５２及び入力構成要素６５４を含んでよい。出力構成要素６５２は、視覚構成要素（例えば、プラズマディスプレイパネル（ＰＤＰ）、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プロジェクタ、又は陰極線管（ＣＲＴ）などのディスプレイ）、音響構成要素（例えば、スピーカ）、触覚構成要素（例えば、振動モータ、抵抗機構）、他の信号発生器などを含んでよい。入力構成要素６５４は、英数字入力構成要素（例えば、キーボード、英数字入力を受け取るように構成されたタッチスクリーン、光学式キーボード、又は他の英数字入力構成要素）、ポイントベース入力構成要素（例えば、マウス、タッチパッド、トラックボール、ジョイスティック、モーションセンサ、又は別のポインティング器具）、触知入力構成要素（例えば、物理的ボタン、タッチ又はタッチジェスチャの位置及び／又は力を提供するタッチスクリーン、又は他の触知入力構成要素）、音声入力構成要素（例えば、マイク）などを含んでよい。

【0181】

他の実施形態では、Ｉ／Ｏ構成要素６５０は、広範囲の他の構成要素の中でも、生体認証構成要素６５６、動き構成要素６５８、環境構成要素６６０、又は位置構成要素６６２を含んでよい。例えば、生体認証構成要素６５６は、表情（例えば、手の表情、顔の表情、声の表情、身体のジェスチャ、又は視線追跡）を検出し、生体信号（例えば、血圧、心拍数、体温、発汗、又は脳波）を測定し、人を識別する（例えば、音声識別、網膜識別、顔識別、指紋識別、又は脳波図に基づく識別）などの構成要素を含んでよい。動き構成要素６５８は、加速度センサ構成要素（例えば、加速度計）、重力センサ構成要素、回転センサ構成要素（例えば、ジャイロスコープ）などを含んでよい。環境構成要素６６０は、例えば照度センサ構成要素（例えば、光度計）、温度センサ構成要素（例えば、周囲温度を検出する１つ以上の温度計）、湿度センサ構成要素、圧力センサ構成要素（例えば、気圧計）、音響センサ構成要素（例えば、背景ノイズを検出する１つ以上のマイク）、近接センサ構成要素（例えば、近くの物体を検出する赤外線センサ）、ガスセンサ（例えば、安全のために又は大気中の汚染物質を測定するために有害ガスの濃度を検出するガス検出センサ）、又は周囲の物理的環境に対応する表示、測定、又は信号を提供しうる他の構成要素を含んでよい。位置構成要素６６２は、位置センサ構成要素（例えば、全地球測位システム（ＧＰＳ）受信構成要素）、高度センサ構成要素（例えば、高度がそれから導出されうる気圧を検出する高度計又は気圧計）、方位センサ構成要素（例えば、磁力計）などを含んでよい。

【0182】

通信は、多種多様な技術を使用して実現されてよい。Ｉ／Ｏ構成要素６５０は、カップリング６８２及びカップリング６７２を介してマシン６００をネットワーク６８０又はデバイス６７０に結合するように動作可能な通信構成要素６６４を含んでよい。例えば、通信構成要素６６４は、ネットワーク６８０とインターフェースするのにネットワークインターフェース構成要素又は別の適切なデバイスを含んでよい。更なる例では、通信構成要素６６４は、有線通信構成要素、無線通信構成要素、セルラー通信構成要素、近距離無線通信（ＮＦＣ）構成要素、Ｂｌｕｅｔｏｏｔｈ構成要素（例えば、Ｂｌｕｅｔｏｏｔｈ低エネルギー）、Ｗｉ－Ｆｉ構成要素、及び他の方式による通信を提供する他の通信構成要素を含んでよい。デバイス６７０は、別のマシン又は多種多様な周辺デバイス（例えば、ＵＳＢを介して結合された）のいずれであってもよい。

【0183】

また、通信構成要素６６４は、識別子を検出するか、又は識別子を検出するように動作可能な構成要素を含んでよい。例えば、通信構成要素６６４は、無線周波数識別（ＲＦＩＤ）タグ読取構成要素、ＮＦＣスマートタグ検出構成要素、光学読取構成要素（例えば、統一商品コード（ＵＰＣ）バーコードなどの１次元バーコード、ＱＲコード（登録商標）、アズテックコード、ＤＡＴＡ Ｍａｔｒｉｘ、Ｄａｔａｇｌｙｐｈ、ＭａｘｉＣｏｄｅ、ＰＤＦ４１７、Ｕｌｔｒａ Ｃｏｄｅ、ＵＣＣ ＲＳＳ－２Ｄバーコードなどの多次元バーコード、及び他の光学コードを検出する光学センサ）、又は音響検出構成要素（例えば、タグ付き音声信号を識別するマイク）を含んでよい。加えて、インターネットプロトコル（ＩＰ）地理位置情報による位置、Ｗｉ－Ｆｉ信号三角測量による位置、特定の位置を示すＮＦＣビーコン信号の検出による位置など様々な情報を通信構成要素６６４を介して得てもよい。

【0184】

様々なメモリ（即ち、６３０、６３２、６３４及び／又はプロセッサ６１０のメモリ）及び／又は記憶ユニット６３６は、本書に説明される方法又は機能のうち任意の１つ以上を具現化する、又はそれらによって利用される命令群６１６及びデータ構造体（例えば、ソフトウェア）の１つ以上のセットを記憶してもよい。これらの命令（例えば、命令群６１６）は、プロセッサ６１０によって実行されると、開示された実施形態を実施する様々な動作を生じさせる。

【0185】

本書で使用されるように、用語「マシン記憶媒体」、「デバイス記憶媒体」、及び「コンピュータ記憶媒体」は同じものを意味し交換可能に使用されうる。これらの用語は、実行可能命令及び／又はデータを記憶する単一又は複数の記憶デバイス及び／又は媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバー）を指す。従って、これらの用語はこれらに限定されないが、固体メモリと光学及び磁気媒体とを含み、プロセッサの内部又は外部のメモリを含むと理解されるべきである。マシン記憶媒体、コンピュータ記憶媒体、及び／又はデバイス記憶媒体の具体的例は、例として、半導体メモリデバイス、例えば消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びフラッシュメモリデバイスを含む不揮発性メモリと、内部ハードディスク及びリムーバブルディスクなどの磁気ディスクと、光磁気ディスクと、ＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクとを含む。用語「マシン記憶媒体」、「コンピュータ記憶媒体」、及び「デバイス記憶媒体」は、具体的には、搬送波、変調データ信号、及び他のそのような媒体を含まない（それらのうち少なくとも幾つかは、下記に説明される用語「信号媒体」に含まれる）。

【0186】

様々な実施形態では、ネットワーク６８０の１つ以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、バーチャル・プライベートネットワーク（ＶＰＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネット、インターネットの一部、公衆電話交換網（ＰＳＴＮ）の一部、旧来の電話サービス（ＰＯＴＳ）ネットワーク、携帯電話ネットワーク、無線ネットワーク、Ｗｉ－Ｆｉネットワーク、別のタイプのネットワーク、又は２つ以上のそのようなネットワークの組み合わせであってもよい。例えば、ネットワーク６８０又はネットワーク６８０の一部は、無線又は携帯電話ネットワークを含んでよく、カップリング６８２は、符号分割多重アクセス（ＣＤＭＡ）接続、モバイル通信のためのグローバルシステム （ＧＳＭ）接続、又は別の種類のセルラーもしくは無線カップリングであってもよい。この例では、カップリング６８２は、単一キャリア無線伝送技術（１ｘＲＴＴ）、Ｅｖｏｌｕｔｉｏｎ－Ｄａｔａ Ｏｐｔｉｍｉｚｅｄ（ＥＶＤＯ）技術、汎用パケット無線サービス（ＧＰＲＳ）技術、Ｅｎｈａｎｃｅｄ Ｄａｔａ ｒａｔｅｓ ｆｏｒ ＧＳＭ Ｅｖｏｌｕｔｉｏｎ（ＥＤＧＥ）技術、３Ｇを含む第３世代連携プロジェクト（３ＧＰＰ（登録商標））、第４世代無線（４Ｇ）ネットワーク、ユニバーサルモバイル遠隔通信システム（ＵＭＴＳ）、高速パケットアクセス（ＨＳＰＡ）、マイクロ波アクセスのための世界的相互運用（ＷｉＭＡＸ)、長期発展（ＬＴＥ）標準、様々な標準設定機関によって規定される他の標準、他の長距離プロトコル、又は、他のデータ転送技術などの様々な種類のデータ転送技術のどれでも実行してよい。

【0187】

命令群６１６は、ネットワークインターフェースデバイス（例えば、通信構成要素６６４に含まれるネットワークインターフェース構成要素）を介して伝送媒体を使用し複数の周知の転送プロトコル（例えば、Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ（ＨＴＴＰ））のどれか１つを利用してネットワーク６８０を通じて送信又は受信されてもよい。同様に命令６１６は、デバイス６７０へカップリング６７２（例えば、ピアツーピアカップリング）を介して伝送媒体を使用して送信又は受信されてもよい。用語「伝送媒体」と「信号媒体」は同じものを意味し、本開示において交換可能に使用されてよい。用語「伝送媒体」と「信号媒体」は、マシン６００による実行のために命令群６１６を記憶し、符号化し、又は運びうる任意の無形の媒体を含み、そのようなソフトウェアの通信を可能にするデジタルもしくはアナログ通信信号又は他の無形の媒体を含むと理解されるべきである。従って、用語「伝送媒体」と「信号媒体」は任意の形態の変調データ信号、搬送波、などを含むと理解されるべきである。用語「変調データ信号」はその１つ以上の特性が情報を信号内に符号化するように設定又は変えられた信号を意味する。

【0188】

用語「マシン読取可能媒体」、「コンピュータ読取可能媒体」、及び「デバイス読取可能媒体」は同じものを意味し、本開示において交換可能に使用されうる。これらの用語はマシン記憶媒体及び伝送媒体両方を含むように定義される。従って、これらの用語は記憶デバイス／媒体及び搬送波／変調データ信号の両方を含む。

【0189】

この解決法の実施形態はハードウェア、ファームウェア、及びソフトウェアのうち１つ又は組み合わせにより実現される。実施形態はまた、少なくとも１つのプロセッサによって読み取られ実行され本書に記載した動作を実行しうるコンピュータ読取可能記憶デバイスに記憶された命令群として実現されてもよい。コンピュータ読取可能記憶デバイスはマシン（例えば、コンピュータ）により読取可能な形態の任意の非記憶情報を含んでよい。例えば、コンピュータ読取可能記憶デバイスは読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、クラウドサーバー、又は他の記憶デバイス及び媒体を含んでよい。幾つかの実施形態は１つ以上のプロセッサを含みコンピュータ読取可能記憶デバイスに記憶された命令群を有して構成されてよい。下記の説明及び参照される図面は特定の実施形態を十分に説明し当業者がそれらを実施するのを可能にする。他の実施形態は構造上、論理上、電気に関する、プロセス上、及び他の変更を含んでもよい。幾つかの実施形態の部分及び特徴は他の実施形態のそれらに含まれるか、置き換えられてもよい。請求項に明記された実施形態はそれらの請求項の全ての有効な等価物を含む。

【0190】

１つ以上の方法ステップの記述は、追加の方法ステップ又は明示されたステップの間の中間の方法ステップの存在を排除しないことは理解されるべきである。同様に、デバイス又はシステム内の１つ以上の構成要素の記述は、追加の構成要素又は明示された構成要素の間の中間の構成要素の存在を排除しないことは理解されるべきである。

【0191】

上記説明は、詳細な説明の一部を成す添付の図面への参照を含む。図面は例示として発明が実施されうる特定の実施形態を示す。これらの実施形態はまた、本書において「実施例」とも呼ばれる。そのような実施例は示された又は記述された要素に加えて他の要素を含みうる。しかし、本発明者らは示された又は記述された要素だけが設けられた実施例も考慮している。また、本発明者らはまた、特定の実施例（又はその１つ以上の態様）に関して又は本書に示された又は記述された他の実施例（又はそれらの１つ以上の態様）に関して示された又は記述された要素（又はそれらの１つ以上の態様）の任意の組み合わせ又は並べ替えを使用する実施例も考慮している。

【0192】

本書と引用されたいずれかの文書の間の矛盾した使用法がある場合、本書の使用法が有効である。

【0193】

本書において、特許文献において普通であるが、英語の用語「a」又は「an」は、「少なくとも１つ」又は「１つ以上」の他のあらゆる使用例又は使用とは独立に、１つ又は１つ超を含むように使用される。本書において、英語の用語「or」は非排他的orを指すのに使用され、そうでないと指示されない限り、「A or B」は「A but not B（AであるがBでない）」、「B but not A」、及び「A and B」を含む。本書において、英語の用語「including」及び「in which」は、それぞれ用語「comprising」及び「wherein」の平易な英語の同義語として使用される。また、添付の請求項において、英語の用語「including」及び「comprising」はオープンエンドである、即ち、そのような用語の後に列挙された要素に加えて要素を含むシステム、デバイス、物品、組成物、配合物、又はプロセスも請求項の範囲内に入ると考えられる。また、添付の請求項において、用語「第１」、「第２」、「第３」などは単にラベルとして使用され、それらの対象物に数値要件を導入するように意図されていない。

【0194】

「平行な」、「垂直な」、「丸い」、又は「正方形の」などの幾何学用語は、文脈がそうでないと示さない場合、絶対的数学的正確さを必要とするように意図されていない。それどころか、そのような幾何学用語は製造又は等価な機能による変動を見込んでいる。例えば、要素が丸い又は概ね丸いと表現される場合、正確には円形でない要素（例えば、やや楕円形又は多辺多角形である要素）もこの表現に含まれる。

【0195】

本書で説明された方法例は、少なくとも部分的に、マシン又はコンピュータによって実行されうる。幾つかの実施例は、上記の実施例に記載された方法を実行するように電子デバイスを構成するよう動作可能な命令群が符号化されたコンピュータ読取可能媒体又はマシン読取可能媒体を含みうる。そのような方法の実施形態は、マイクロコード、アセンブリ言語コード、高水準言語コードなどのコードを含みうる。このようなコードは、様々な方法を実行するためのコンピュータ読取可能命令群を含みうる。コードは、コンピュータプログラム製品の部分を形成してよい。更に、一実施例では、コードは、例えば実行中又は他の時に、１つ以上の揮発性、持続性、又は不揮発性の有形コンピュータ読取可能媒体に記憶されうる。これらの有形コンピュータ読取可能媒体の例は、これらに限定されないが、ハードディスク、取り外し可能磁気ディスク、取り外し可能光ディスク（例えば、コンパクトディスク及びデジタルビデオディスク）、磁気カセット、メモリカード又はスティック、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）などを含みうる。

【0196】

上記の説明は、例示的であり、限定的でないように意図されている。例えば、上記で説明した実施例（又は、それらの１つ以上の態様）を、互いに組み合わせて使用してもよい。他の実施形態が、例えば当業者によって上記の説明を見直した後に使用されうる。要約書は、米国特許施行規則３７ＣＦＲ１．７２（ｂ）を順守し読み手が本技術的開示の本質を速やかに見つけ出すのを許すために提供される。要約書は、請求項の範囲又は意味を解釈又は限定するために用いられないことを理解して提出されている。また、上記の詳細な説明では、様々な特徴をグループ分けして、本開示を整理した場合がある。これは、請求項にない開示された特徴が、どんな請求項にも本質的であることを意図していると解釈されるべきでない。むしろ、発明の対象は、特定の開示された実施形態の全てより少ない特徴に存在することがある。従って、添付の請求項は実施例又は実施形態として詳細な説明に引用され、各請求項は、別個の実施形態として独立し、そのような実施形態は、様々な組み合わせ又は並べ替えで互いに組み合わせられうることが考慮されている。本発明の範囲は、添付の請求項をそれらの請求項が権利を持つ等価物の全範囲と共に参照して決められるべきである。

【0197】

開示された実施形態は様々な変形および代替の形態が可能であり、それらの特定の例を例として図示し本明細書に詳細に説明した。しかし、開示された実施形態は開示された特定の形態又は方法に限定されず、それどころか、これらの実施形態は、全ての変形、等価物、及び代替物を含むと理解されるべきである。

【符号の説明】

【0198】

１００ ＡＩ動作環境
２００ モデル保全システム
２０２ 取り入れマシン
２０６ 分別マシン
２１６ 表示マシン
２１７ 試験マシン
２２０ モデル評価エンジン
２２２ 模擬攻撃データ
２４０ ファイアウォール
２６０ 検出エンジン
２８０ 殺菌剤マシン
３００ ＡＩモデル
３２０ サンプル入力データ
３４０ サンプル出力データ
４００ 外部データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【手続補正書】

【提出日】2023-08-30

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０１９７

【補正方法】変更

【補正の内容】

【0197】

開示された実施形態は様々な変形および代替の形態が可能であり、それらの特定の例を例として図示し本明細書に詳細に説明した。しかし、開示された実施形態は開示された特定の形態又は方法に限定されず、それどころか、これらの実施形態は、全ての変形、等価物、及び代替物を含むと理解されるべきである。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
人工知能（ＡＩ）モデルを安全に配備するための方法であって、
前記ＡＩモデルの１つ以上の欠陥を特定するステップと、
前記特定するステップに基づいて前記ＡＩモデルを外部データによって攻撃されることから保護するステップと
を含む方法。
実施形態２
前記特定するステップは、模擬された攻撃データによる前記ＡＩモデルへの１つ以上の攻撃を模擬することを含み、前記模擬することは、
複数の並列攻撃を模擬し、それらの攻撃に対する前記ＡＩモデルの欠陥を組合わせアルゴリズムに基づいて特定するステップと、
前記ＡＩモデルを再現するように構成された少なくとも１つの代替モデルを攻撃するステップと
のうち少なくとも１つを含む、実施形態１に記載の方法。
実施形態３
前記代替モデルに供給される入力データをフィルタリング又は変更するステップと、
前記入力データにラベル付けするステップと、
前記代替モデルが改善された前記ＡＩモデルとなるように前記ラベル付けされた入力データを使って前記代替モデルを訓練するステップと
を更に含む、実施形態２に記載の方法。
実施形態４
前記特定するステップは、
モデル性能及び訓練データプロファイルの１つ以上のベースラインを確立するステップと、
前記確立するステップに基づいて前記ＡＩモデルの性能と１つ以上の代替モデルを比較して前記ＡＩモデル及び前記代替モデルからモデルを本稼働配備のために選択するステップと
を含み、
前記保護するステップは、前記外部データに関連する一人以上のユーザーを前記ＡＩモデルへの前記ユーザーの問い合わせの挙動パターンに基づいて阻止することを含むか、又は
前記保護するステップは、前記ＡＩモデルへの攻撃を検出するために最大エントロピー法を使用することを含み、前記最大エントロピー法は複数の検出器を生成すること及びそれらの応答を集約することを含む、実施形態１～３のいずれかに記載の方法。
実施形態５
前記外部データはユーザー商取引履歴、アカウント履歴、アカウントデータ、ユーザーデータ、商取引情報、又はそれらの組み合わせに関連する表形式データを含む、実施形態１～４のいずれかに記載の方法。
実施形態６
前記特定するステップは、１つ以上のデータ点を含むサンプル入力データと前記ＡＩモデルに基づいて前記データ点に付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは前記データ点が不正か不正でないかの決定を含むか、又は
前記特定するステップは、状態空間を探索する高速サブモジュールサンプリングに基づく、実施形態５に記載の方法。
実施形態７
前記保護するステップは、前記外部データが前記ＡＩモデルを騙す１つ以上の攻撃を含むか否かを示すための警報レベルを前記特定するステップに基づいて生成することを含む、実施形態５又は６に記載の方法。
実施形態８
前記外部データが不正である確率を生成するステップを更に含み、前記確率を生成するステップは２値分類のために１つ以上の機械学習（ＭＬ）枠組みを使用することを含み、前記ＭＬ枠組みは、ブーストツリー、神経回路網、又はそれらの組み合わせを含む、実施形態５～７のいずれかに記載の方法。
実施形態９
前記保護するステップは、
商取引に関連するデータフィードから前記外部データを受け取るステップであって、前記外部データは主体のリスク属性を規定する表形式データを含む、ステップと、
前記表形式データを入力形式に変換するステップと、
前記表形式データ内の１つ以上の要素の操作を特定し偽陽性結果を生成するステップと、
前記表形式データを操作されたデータセットとして拒絶するステップと
を含む、実施形態５～８のいずれかに記載の方法。
実施形態１０
前記保護するステップは、
前記表形式データを含む前記外部データを受け取るステップと、
前記表形式データの操作を検出し偽陽性結果を特定するステップと、
前記偽陽性結果が前記ＡＩモデル内で発生するだろうと判断するステップと、
前記ＡＩモデルに警報し、人による見直しのために前記表形式データセットにフラッグを立てるステップと
を含む、実施形態５～９のいずれかに記載の方法。
実施形態１１
前記外部データは音声データを含み、前記ＡＩモデルは前記外部データが指定された人のであると分類されたか否かを検出するための音声認証モデルを含み、前記特定するステップ、前記保護するステップ、又はそれらの両方が、
２値分類機械学習モデルを訓練して前記音声データが偽ものか偽ものでないかを示す出力ラベルを生成すること、
畳み込み神経回路網ベース・アーキテクチャを前記検出のために使用すること、
前記検出に適した様々な音響特徴を抽出すること、又は
データ増強を使用して本物の音声データから合成音声データを生成すること
に基づく、実施形態１～１０のいずれかに記載の方法。
実施形態１２
前記特定するステップは、１つ以上のサンプル音声ファイルを含むサンプル入力データと前記ＡＩモデルに基づいて前記サンプル音声ファイルに付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは一個人を示し、前記特定するステップは前記サンプル音声ファイルのうちの合成音声データを含み前記指定された人のであると前記ＡＩモデルによって受け付けられた少なくとも１つを特定することを含むか、又は
前記特定するステップは第１の人の本物の音声データと加えられたノイズの両方を含む赤組音声ファイルを生成することを含み、前記ノイズは、前記ＡＩモデルが前記選択されたサンプル音声ファイルを前記第１の人と違う第２の人のであると認識するよう構成されるように前記本物の音声データに加えられる、実施形態１１に記載の方法。
実施形態１３
前記保護するステップは前記外部データに提示された声が合成か否かを検出することを含む、実施形態１１又は１２に記載の方法。
実施形態１４
前記外部データは少なくとも１つの画像ファイルを含み、前記ＡＩモデルは前記画像ファイルが指定された人の顔を示すか否かを検出するための顔認識モデルを含み、前記特定するステップ、前記保護するステップ、又はそれらの両方が、
神経回路網ベース顔埋め込み、
顔画像をより低い次元の埋め込みに圧縮すること、
より低い次元の埋め込みを顔認識のためにカテゴリーに分けること、
顔画像にノイズを加えることで前記ＡＩモデルを攻撃すること、又は
敵対的生成ネットワークを使用することで、ノイズから特定の顔画像を取り出す神経回路網
に基づく、実施形態１～１３のいずれかに記載の方法。
実施形態１５
前記特定するステップは、１つ以上の顔のサンプル画像ファイルを含むサンプル入力データと前記ＡＩモデルに基づいて前記サンプル画像ファイルに付けられたラベルを含むサンプル出力データとに基づき、前記各ラベルは一個人を示し、前記特定するステップは前記サンプル画像ファイルのうちの前記ＡＩモデルによって誤分類された少なくとも１つを特定することを含むか、又は
前記特定するステップは対象の人の１つ以上の画像に基づいて少なくとも部分的に写真のようにリアルな１つ以上の画像を生成することを含む、実施形態１４に記載の方法。
実施形態１６
前記外部データは前記画像に付けられたラベルを更に含み、前記保護するステップは前記ラベルが前記画像に正しく付けられているかを示すことを含むか、又は
前記保護するステップは前記画像ファイル内の顔が本物か機械生成されたかを示すことを含む、実施形態１４又は１５に記載の方法。
実施形態１７
前記外部データは少なくとも１つの画像を含み、前記ＡＩモデルは前記画像内の少なくとも１つの物体を分類するための物体検出モデルを含む、実施形態１～１６のいずれかに記載の方法。
実施形態１８
前記特定するステップは、１つ以上のサンプル画像ファイルを含むサンプル入力データ
と、１つ以上の物体と前記各サンプル画像ファイル内のそれらの位置とを含むサンプル
出力データとに基づき、前記特定するステップは前記サンプル画像ファイルのうちの前
記ＡＩモデルによって誤分類された少なくとも１つを特定することを含むか、又は
前記特定するステップは前記ＡＩモデルが誤分類するように操作された画像を生成することを含む、実施形態１７に記載の方法。
実施形態１９
前記保護するステップは前記画像がデジタル敵対的攻撃、物理的敵対的攻撃、又はそれらの組み合わせにより前記ＡＩモデルを騙すように操作されているかを示すことを含む、実施形態１７又は１８に記載の方法。
実施形態２０
人工知能（ＡＩ）モデルを安全に配備するためのシステムであって、
少なくとも１つのハードウェアプロセッサと、
命令群を記憶する持続性コンピュータ読取可能媒体と
を備え、前記命令群は前記少なくとも１つのハードウェアプロセッサによって実行されると前記少なくとも１つのハードウェアプロセッサに
前記ＡＩモデルの１つ以上の欠陥を特定するステップと、
前記特定するステップに基づいて前記ＡＩモデルを外部データによって攻撃されることから保護するステップと
を含む動作を実行させる、システム。

【国際調査報告】