▶ ロバスト インテリジェンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-30
(54)【発明の名称】二値画像認識システムへのサイバー攻撃の検出及び軽減
(51)【国際特許分類】
G06T 7/00 20170101AFI20230323BHJP
G06V 10/70 20220101ALI20230323BHJP
【ＦＩ】
G06T7/00 350B
G06V10/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022547100
(86)(22)【出願日】2021-02-05
(85)【翻訳文提出日】2022-09-30
(86)【国際出願番号】 US2021016787
(87)【国際公開番号】W WO2021158898
(87)【国際公開日】2021-08-12
(31)【優先権主張番号】62/971,021
(32)【優先日】2020-02-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】522029316
【氏名又は名称】ロバスト インテリジェンス インコーポレイテッド
【氏名又は名称原語表記】Ｒｏｂｕｓｔ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｉｎｃ．
(74)【代理人】
【識別番号】100073184
【弁理士】
【氏名又は名称】柳田 征史
(74)【代理人】
【識別番号】100175042
【弁理士】
【氏名又は名称】高橋 秀明
(72)【発明者】
【氏名】バルカンスキー，エリック
(72)【発明者】
【氏名】チェイス，ハリソン
(72)【発明者】
【氏名】大柴 行人
(72)【発明者】
【氏名】リリー，アレクサンダー
(72)【発明者】
【氏名】シンガー，ヤロン
(72)【発明者】
【氏名】ワン，リチャード
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA03
5L096AA07
5L096KA04
(57)【要約】
コンピュータ実行方法は、コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の画素値を検出し前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、前記コンピュータシステムにより前記画像認識システムに前記二値画像データを見直すよう警告するステップとを含む。
【特許請求の範囲】
【請求項1】
二値画像分類のためのモデルの脆弱性を検出するためのコンピュータ実行方法であって、コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の画素値を検出し前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムに前記二値画像データを見直すよう警告するステップと
を含むコンピュータ実行方法。
【請求項2】
前記二値画像データが変更された画素値を含むと判断する前記ステップは、前記画像認識システムの第１人工知能モデル及び第２人工知能モデルが同時に攻撃されたと判断することを含む請求項１記載のコンピュータ実行方法。
【請求項3】
前記画像認識システムの前記第１人工知能モデルは前記二値画像データの数字で書かれた数値額を表す部分を分類し、前記画像認識システムの前記第２人工知能モデルは前記二値画像データの文字で書かれた前記数値額を表す第２部分を分類する、請求項１又は２記載のコンピュータ実行方法。
【請求項4】
前記２つのモデルが同時に攻撃されたと判断する前記ステップは、認識システムへの陰影付き組み合わせ攻撃を使用する非標的型攻撃が前記２つのモデルのうち少なくとも１つに使用されたと判断することを含む、請求項１～３のいずれかに記載のコンピュータ実行方法。
【請求項5】
認識システムへの陰影付き組み合わせ攻撃の標的型バージョンが２回実行され両方のモデルを攻撃したか否かを判断するステップを更に含む請求項１～４のいずれかに記載のコンピュータ実行方法。
【請求項6】
命令群を記憶する１つ以上の持続性コンピュータ読取可能媒体であって、前記命令群は二進数を見直すように構成されたコンピュータシステムにより実行された時、前記コンピュータシステムに少なくとも前記コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の画素値を検出し前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムに前記二値画像データを見直すよう警告するステップと
を実行させる、持続性コンピュータ読取可能媒体。
【請求項7】
前記二値画像データが変更された画素値を含むと判断する前記ステップは、前記画像認識システムの第１人工知能モデル及び第２人工知能モデルが同時に攻撃されたと判断することを含む請求項６記載の持続性コンピュータ読取可能媒体。
【請求項8】
前記画像認識システムの前記第１人工知能モデルは前記二値画像データの数字で書かれた数値額を表す部分を分類し、前記画像認識システムの前記第２人工知能モデルは前記二値画像データの文字で書かれた前記数値額を表す第２部分を分類する、請求項６又は７記載の持続性コンピュータ読取可能媒体。
【請求項9】
前記２つのモデルが同時に攻撃されたと判断する前記ステップは、認識システムへの陰影付き組み合わせ攻撃を使用する非標的型攻撃が前記２つのモデルのうち少なくとも１つに使用されたと判断することを含み、前記方法は認識システムへの陰影付き組み合わせ攻撃の標的型バージョンが２回実行され両方のモデルを攻撃したか否かを判断するステップを随意に更に含む、請求項６～８のいずれかに記載の持続性コンピュータ読取可能媒体。
【請求項10】
前記二値画像データは英数字列又は小切手のうち少なくとも１つであり、前記画像認識システムは随意に光学式文字認識システムである、請求項６～９のいずれかに記載の持続性コンピュータ読取可能媒体。
【請求項11】
二値画像分類のためのモデルの脆弱性を判断するためのコンピュータ実行方法であって、コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の複数の画素値の組みをテストし画像認識システムにおける前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
前記画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムがなりすまし攻撃に脆弱であると警告するステップと
を含み、
前記二値画像データは任意選択で英数字列又は小切手である、コンピュータ実行方法。
【請求項12】
前記二値画像データが変更された画素値を含むと判断する前記ステップは、前記画像認識システムの第１人工知能モデル及び第２人工知能モデルが同時に攻撃されたと判断することを含む請求項１１記載のコンピュータ実行方法。
【請求項13】
前記画像認識システムの前記第１人工知能モデルは前記二値画像データの数字で書かれた数値額を表す部分を分類し、前記画像認識システムの前記第２人工知能モデルは前記二値画像データの文字で書かれた前記数値額を表す第２部分を分類する、請求項１１又は１２記載のコンピュータ実行方法。
【請求項14】
前記２つのモデルが同時に攻撃されたと判断する前記ステップは、認識システムへの陰影付き組み合わせ攻撃を使用する非標的型攻撃が前記２つのモデルのうち少なくとも１つに使用されたと判断することを含む、請求項１１～１３のいずれかに記載のコンピュータ実行方法。
【請求項15】
認識システムへの陰影付き組み合わせ攻撃の標的型バージョンが２回実行され両方のモデルを攻撃したか否かを判断するステップを更に含む請求項１１～１４のいずれかに記載のコンピュータ実行方法。
【発明の詳細な説明】
【関連出願】
【0001】
本出願は、２０２０年２月６日に出願された米国仮特許出願第６２／９７１０２１号に関連しそれに対する優先権を主張する。その仮特許出願の開示全体を全ての目的のために本明細書に引用する。
【技術分野】
【0002】
本開示は、撮像システムへのサイバー攻撃に関連する画像内の攻撃されうるパラメータの検出及び特定の最適化に概ね関するがこれに限られない。
【背景技術】
【0003】
近年、人工知能（ＡＩ）システムの脆弱性を理解することに非常に大きな関心が払われてきた。例えば、画像分類モデルへの攻撃は、ＡＩシステムが対処する必要がある幾つかの弱点を実証してきた。このような攻撃は、人の目には実質的に感知できないやり方で画像を歪め、従来の画像分類システムにこれらの画像を誤分類させる。実際、これらの脆弱性は重大な被害、例えば広範な金融詐欺をもたらしうる。
【0004】
カラー画像及びグレースケール画像のためのＡＩ分類モデルを安全にするのに多大な労力が払われて来たが、二値画像のためのモデル、特に小切手走査のためのモデルへの攻撃についてほとんど知られていない。攻撃について知識なしでは、攻撃を防ぐためにすることは多くない。例として、なりすまし攻撃は、悪意のある者がネットワークホストに対する攻撃を仕掛ける、データを盗む、アクセス制御を迂回するなどのためにネットワーク上の別の装置又はユーザのふりをすることである。一般に、なりすまし攻撃は人の目には感知できないやり方で画像を歪め、従来のモデルにこれらの画像を誤分類させる。カラー画像及びグレースケール画像の画像分類モデルへのなりすまし攻撃は、各画素の色値に小さい乱れを生じさせることで、歪められた画像内にノイズを隠すことに依拠する。これらの既知の脆弱性の故に、従来の方法をそれらの攻撃を防ぐために使用できる。
【0005】
カラー画像及びグレースケール画像への攻撃と異なり、二値画像への攻撃のサーチ空間は極端に制限され、各画素の小さい乱れでノイズを隠すことが出来ない。二値画像の各画素は黒又は白でありうるだけなので、二値画像への攻撃の最適化は新しい根本的な課題をなりすまし攻撃に課する。
【0006】
カラー画像及びグレースケール画像への攻撃を微調整して二値画像に働くようにすることは可能でない。上述したように、グレースケール画像及びカラー画像の場合、攻撃を生成する時、小さい乱れを各個々の画素に作りうる（どんな変更をする必要があるかを評価し、変更を人の目には感知できない変更に限定するために）。これらの小さい乱れはおよそ１／２５５～１０／２５５の大きさである。二値画像の場合、これらの小さい乱れを画素に作ることが出来ない。画素は黒か白（例えば、１又は０）であるので、どんな変更もちょうど１の変更である。これはカラー画像及びグレースケール画像を攻撃するための乱れより１桁大きく、二値画像への攻撃に転用できない。従って、二値画像への攻撃はより困難で、この問題はほとんど研究されていない。しかし、研究の欠如が、この領域の画像認識を、弱点をつく攻撃から守ることはない。従来のＡＩシステムは知らないものを検出できない。
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記を考慮すると、二値画像認識システムへのサイバー攻撃の検出及び軽減のための改善されたシステム及び方法が、従来のサイバー攻撃検出モデルの上記障害及び欠陥を克服するために必要とされる。
【課題を解決するための手段】
【0008】
本開示は二値画像分類のためのモデルの脆弱性を検出するためのシステム及び方法に関する。
【0009】
本書に開示された第１態様によれば、二値画像分類のためのモデルの脆弱性を検出するためのコンピュータ実行方法が明らかにされる。この方法は、
コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の画素値を検出し前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムに前記二値画像データを見直すよう警告するステップと
を含む。
コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の画素値を検出し前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムに前記二値画像データを見直すよう警告するステップと
を含む。
【0010】
幾つかの実施形態では、前記二値画像データが変更された画素値を含むと判断する前記ステップは、前記画像認識システムの第１人工知能モデル及び第２人工知能モデルが同時に攻撃されたと判断することを含む。
【0011】
幾つかの実施形態では、前記画像認識システムの前記第１人工知能モデルは前記二値画像データの数字で書かれた数値額を表す部分を分類し、前記画像認識システムの前記第２人工知能モデルは前記二値画像データの文字で書かれた前記数値額を表す第２部分を分類する。
【0012】
幾つかの実施形態では、前記２つのモデルが同時に攻撃されたと判断する前記ステップは、認識システムへの陰影付き組み合わせ攻撃を使用する非標的型攻撃が前記２つのモデルのうち少なくとも１つに使用されたと判断することを含む。
【0013】
幾つかの実施形態では、本方法は認識システムへの陰影付き組み合わせ攻撃の標的型バージョンが２回実行され両方のモデルを攻撃したか否かを判断するステップを更に含む。
【0014】
本書に開示された別の態様によれば、命令群を記憶する１つ以上の持続性コンピュータ読取可能媒体が明らかにされる。前記命令群は二進数を見直すように構成されたコンピュータシステムにより実行された時、前記コンピュータシステムに少なくとも
前記コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の画素値を検出し前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムに前記二値画像データを見直すよう警告するステップと
を実行させる。
前記コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の画素値を検出し前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムに前記二値画像データを見直すよう警告するステップと
を実行させる。
【0015】
幾つかの実施形態では、前記二値画像データが変更された画素値を含むと判断する前記ステップは、前記画像認識システムの第１人工知能モデル及び第２人工知能モデルが同時に攻撃されたと判断することを含む。
【0016】
幾つかの実施形態では、前記画像認識システムの前記第１人工知能モデルは前記二値画像データの数字で書かれた数値額を表す部分を分類し、前記画像認識システムの前記第２人工知能モデルは前記二値画像データの文字で書かれた前記数値額を表す第２部分を分類する。
【0017】
幾つかの実施形態では、前記２つのモデルが同時に攻撃されたと判断する前記ステップは、認識システムへの陰影付き組み合わせ攻撃を使用する非標的型攻撃が前記２つのモデルのうち少なくとも１つに使用されたと判断することを含み、前記方法は認識システムへの陰影付き組み合わせ攻撃の標的型バージョンが２回実行され両方のモデルを攻撃したか否かを判断するステップを随意に更に含む。
【0018】
幾つかの実施形態では、前記二値画像データは英数字列又は小切手のうち少なくとも１つであり、前記画像認識システムは随意に光学式文字認識システムである。
【0019】
本書に開示された別の態様によれば、二値画像分類のためのモデルの脆弱性を判断するためのコンピュータ実行方法が明らかにされる。この方法は、
コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の複数の画素値の組みをテストし画像認識システムにおける前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
前記画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムがなりすまし攻撃に脆弱であると警告するステップと
を含み、前記二値画像データは任意選択で英数字列又は小切手である。
コンピュータシステムにより二値画像データを受信するステップであって、前記コンピュータシステムは前記二値画像データ内の複数の画素値の組みをテストし画像認識システムにおける前記二値画像データに関連する非機械語値を提示するように構成される、ステップと、
前記画像認識システムによって読まれた時に前記二値画像データに関連する前記非機械語値を変えるように変更された少なくとも１つの画素値を前記二値画像データが更に含むと前記コンピュータシステムにより判断するステップと、
前記コンピュータシステムにより前記画像認識システムがなりすまし攻撃に脆弱であると警告するステップと
を含み、前記二値画像データは任意選択で英数字列又は小切手である。
【0020】
幾つかの実施形態では、前記二値画像データが変更された画素値を含むと判断する前記ステップは、前記画像認識システムの第１人工知能モデル及び第２人工知能モデルが同時に攻撃されたと判断することを含む。
【0021】
幾つかの実施形態では、前記画像認識システムの前記第１人工知能モデルは前記二値画像データの数字で書かれた数値額を表す部分を分類し、前記画像認識システムの前記第２人工知能モデルは前記二値画像データの文字で書かれた前記数値額を表す第２部分を分類する。
【0022】
幾つかの実施形態では、前記２つのモデルが同時に攻撃されたと判断する前記ステップは、認識システムへの陰影付き組み合わせ攻撃を使用する非標的型攻撃が前記２つのモデルのうち少なくとも１つに使用されたと判断することを含む。
【0023】
幾つかの実施形態では、この方法は認識システムへの陰影付き組み合わせ攻撃の標的型バージョンが２回実行され両方のモデルを攻撃したか否かを判断するステップを更に含む。
【図面の簡単な説明】
【0024】
【図1】二値画像認識システムへのサイバー攻撃を軽減するためのモデル機密保護システムの実施形態を示す代表的な最上位図である。
【0025】
図は一定の縮尺で描かれておらず、説明の目的のために全ての図を通して類似の構造又は機能の要素は類似の符号で概ね表されることに注意されたい。また、図は好適な実施形態の説明を容易にするようにだけ意図されていることにも注意されたい。図は説明される実施形態の全ての態様は示しておらず、本開示の範囲を限定しない。
【発明を実施するための形態】
【0026】
現在入手可能なサイバー攻撃検出及び軽減システムは二値画像分類のためのモデルへの攻撃に適応できないので、画像認識システムに画像認識ツール訓練セットに基づいて誤った結果を記録させうるように一部変更された又は破損した二値画像を特定するシステム及び方法が開示される。本解決策は、人が手作業で小切手を見直す時、小切手の拒絶を起動することがない誤った結果を有利にも低減する。
【0027】
本書に開示されたシステム及び方法は、二値画像分類モデルがすり抜けられるか又は騙される仕方の理解を有利にも利用し、様々な画像認識システムを守るように訓練されうる機械学習機能の設計を許す。この問題への追加の解決策は、既存の画像走査システムをテストし、強化し、及び保護するためのテスト方法によって説明される。
【0028】
本主題は既存の画像認識システムの大規模な更新なしで既存のシステムを保護することで、この問題への追加の解決策を提供するのを助けうる。これは、例えば図１に示すように既存の画像認識システムの上に存在する検証処理を挿入することで達成されうる。
【0029】
図１を参照すると、ＡＩモデル３００をＡＩ動作環境１００内に安全に配備するためのモデル機密保護システム２００の概略図が示されている。ＡＩモデル３００は、専門家が同じ情報を提供された場合に下すであろう決定をその情報に基づいて複製するようにデータ及び／又は専門家入力を使って訓練される１つ以上のコンピュータ実行数学アルゴリズムを含みうる。代表的なＡＩモデル３００は、これらに限定されないが、専門家システム、場合ベース推論、行動ベース人工知能、進化的計算法、分類子、統計モデル、確率モデル、神経回路網、決定木、隠れたマルコフモデル、サポートベクターマシン、ファジイ論理、ベイズ分類子など、又はこれらの任意の組み合わせを含みうる。
【0030】
モデル機密保護システム２００は赤組エンジン（又はモデル評価エンジン）２２０及びファイアウォール２４０を備えるとして示されている。赤組エンジン２２０はＡＩモデル３００の１つ以上の欠陥（及び／又は脆弱性）を特定するように構成されうる。少し異なる言い方では、赤組エンジン２２０はＡＩモデル３００を攻撃できるデータを決定できる。ＡＩモデル３００を攻撃することはＡＩモデル３００を騙すこと、例えば上述したなりすましを含みうる。少し異なる言い方では、攻撃は、ＡＩモデル３００を騙し誤った決定を下させること、ＡＩモデルが虚偽データを真のデータと認識すること、合成（又は偽造された又は改竄された）データを真のデータと認識すること、及びそれらの組み合わせを含みうる。攻撃はＡＩモデル３００を攻撃するように構成されたデータを含みうる。１つの実施形態では、赤組エンジン２２０はＡＩモデル３００の脆弱性を要約する報告を出力しうる。
【0031】
ファイアウォール２４０は、赤組エンジン２２０によって特定された欠陥に基づいてＡＩモデル３００を外部データ４００によって騙されることから保護できる。外部データ４００は、ファイアウォール２４０が確立されていない場合にＡＩモデル３００に入力されるどんなデータも含みうる。少し異なる言い方では、ファイアウォール２４０は赤組エンジン２２０によって特定された抜け穴にパッチを当て、外部データ４００とＡＩモデル３００の間の追加の機密保護層を作りうる。幾つかの実施形態では、ファイアウォール２４０は外部データ４００内に攻撃を検出すると警報を生成できる。
【0032】
幾つかの実施形態では、モデル機密保護システム２００はアプリケーション・プログラミング・インターフェース（ＡＰＩ）によって少なくとも部分的に駆動され、ＡＩモデル３００の前の外部データ４００のデータ供給路に挿入されうる。モデル機密保護システム２００はクリーンで改竄されていないデータをＡＩモデル３００に返し及び／又は出力しうる。様々な実施形態では、ＡＩモデル３００はそのままで及び／又は変更されないでもよい。有利にも、モデル機密保護システム２００はＡＩモデル３００をＡＩモデル３００の大規模な更新なしに保護できる。
【0033】
図１は例示目的だけのために赤組エンジン２２０及びファイアウォール２４０を別々のユニットとして示しているが、赤組エンジン２２０及びファイアウォール２４０は少なくとも部分的に制限なく統合及び／又は組み合わされうる。例えば、赤組エンジン２２０及びファイアウォール２４０はそれぞれコンピュータハードウェア、ファームウェア、及び／又はソフトウェア上で実現されうる。従って、赤組エンジン２２０及びファイアウォール２４０は１つ以上のコンピュータシステム上に記憶されたコード化された命令として実現されうる。赤組エンジン２２０及びファイアウォール２４０に関連するコード化された命令は別々の及び／又は統合されたプログラムでありえ、赤組エンジン２２０及びファイアウォール２４０は別々のハードウェア上で必ずしも実現されない。
【0034】
図２を参照すると、ＡＩモデル３００を安全に配備するための代表的な方法２０００が示されている。ＡＩモデル３００の１つ以上の欠陥がステップ２０１０で特定されうる。様々な実施形態では、赤組エンジン２２０（図１に示す）がステップ２０１０を実行できる。
【0035】
ＡＩモデル３００はステップ２０２０においてＡＩモデル３００の特定された欠陥（ステップ２０１０において）に基づき外部データ４００による攻撃から保護されうる。様々な実施形態では、ファイアウォール２４０（図１に示す）はステップ２０２０を実行しうる。ファイアウォール２４０による保護は有利にもＡＩモデル３００用にカスタマイズされ、従って効果的でありうる。上述したように、モデル機密保護システム２００は特に二値画像分類モデルへの攻撃を検出し軽減するに適している。
【0036】
幾つかの実施形態では、二値画像はｄ次元画像として定義され、その画像の各画素は割り当てられた値（例えば、０又は１）を持つ。画素は黒（例えば、値０と定義される）又は白（例えば、値１と定義される）である。例えば、幾つかの実施形態では、システムは、二値画像を確率分布Ｆ(ｘ)[０,１]ｍにマップするｍクラス分類子を仮定する。ここでＦ(ｘ)ｉは画像ｘがクラスｉに属する信頼度又は確率に相当する。ｘの予測されるラベルｙは最良の信頼度を持つクラスである。即ち、ｙ＝ａｒｇ ｍａｘｉ Ｆ(ｘ)ｉである。二値画像処理システムの例は小切手処理、ナンバープレート認識、レシート処理、保険書類抽出、及び法律書類テキスト認識と比較システムを含む。これらの二値画像処理システムは二値画像を分類するのにモデル、例えば図１に示すＡＩモデル３００に依拠しうる。
【0037】
幾つかの実施形態では、光学式文字認識（ＯＣＲ）システムは手書き又は印刷されたテキストの画像を電子文字列に変換する。このシステムは、自動レシート処理、パスポート認識、保険書類抽出、及びナンバープレート認識を含む多くの重要な用途を有する。通常、幾つかのＯＣＲシステム、例えばテッセラクトは入力をバイナリ形式に変換する前処理を実行する。
【0038】
バイナリ攻撃
例えば、バイナリＯＣＲシステムのＡＩモデル３００を攻撃する問題に一定の形式を与えるために、ラベルは文字列であるＯＣＲ用の分類子Ｆが本書で使用される。ラベルｙを有する二値画像ｘを考えると、システムは、視覚的にｘに類似するが期待される結果ｙと実質的に異なる予測ラベルｙ’を有する敵対的例ｘ’を作成する。言い換えると、ｙ’≠ｙである。
例えば、バイナリＯＣＲシステムのＡＩモデル３００を攻撃する問題に一定の形式を与えるために、ラベルは文字列であるＯＣＲ用の分類子Ｆが本書で使用される。ラベルｙを有する二値画像ｘを考えると、システムは、視覚的にｘに類似するが期待される結果ｙと実質的に異なる予測ラベルｙ’を有する敵対的例ｘ’を作成する。言い換えると、ｙ’≠ｙである。
【0039】
例えば、ナンバープレート２３ＦＣ６Ａの画像ｘを考えると、システムは異なる有効なナンバープレート番号として認識される類似の画像ｘ’を作成できる。システムは次に敵対的画像ｘ’の元の画像ｘとの類似性を、知覚メトリックＤｘ(ｘ’)を使って計測できる。二値画像の場合、固有メトリックはｘとｘ’が異なる画素の数であり、２つの画像間のＬ０距離に相当する。Ｌ０距離は通常、異なる要素（例えば、画素）の数を数えることで２つの入力画像間の距離を測り（例えば、メトリックとして表される）、次のように定式化されうる。
【0040】
【数1】
【0041】
従って、敵対的例を見つけることは次の最適化手法として定式化されうる。
【0042】
【数2】
【0043】
ここでｋは敵対的画像ｘ’に対して許される最大の相違量である。幾つかの実施形態では、最大の相違量はｋによって束縛されｘとｘ’の距離が大き過ぎないことを保証する。最大許容値ｋを設定することは、敵対的画像ｘ’がＬ０空間において元の画像ｘにまだ近いことを保証する。標的ラベルｙｔを持つ標的型攻撃の場合、システムはＦ(ｘ’) ｙｔを最大にできる。
【0044】
小切手処理システム。小切手処理システムは小切手の二値画像ｘを入力として受け付け、信頼度スコアＦ(ｘ)を出力する。信頼度スコアＦ(ｘ)は、小切手に書かれたもの（カーティシ額認識（ＣＡＲ）及びリーガル額認識（ＬＡＲ））の最も可能性の高い値を表す。
【0045】
図３は、例えばなりすまし小切手を処理し偽りのＣＡＲ額及びＬＡＲ額を決める間の典型的な画像認識処理３０００を示す。ＣＡＲ部３０８は数字で書かれた数値額３０４を指定し、ＬＡＲ部３０６は文字で書かれた叙述額３０２を指定する。走査処理はＣＡＲ３０８及びＬＡＲ３０６の各部の信頼因子を生成する。ほとんどの従来の走査システムはこれを結合額値３１０及び結合認識信頼度値３１２に分解する。ここで、一般にほとんどの商用システムが検証調査を止める。
【0046】
小切手処理システムは画像認識システムの特別な変異型であり、互いを検証する２つの独立なモデルを使用する。カーティシ額認識（ＣＡＲ）用のモデルＦＣは数字で書かれた額を分類し、リーガル額認識（ＬＡＲ）用の別のモデルＦＬは文字で書かれた額を分類する。入力小切手画像の２つのモデルによって予測されるラベルが一致しない場合、その小切手はフラッグが立てられ更には処理されない。或いは、２つの値が一致する場合、小切手は処理される。例えば、有効な小切手のＣＡＲ３０４が「１００」と読め、同じ小切手のＬＡＲ３０２が「百」と読める場合、２つの値は一致し、小切手は処理される。小切手処理システムを入力ｘに関して攻撃することについての１つの課題は、ＦＣとＦL両方に対して同じ標的ラベルを有する敵対的例ｘ’を作ることである。前の例に戻ると、成功する敵対的小切手画像はＣＡＲを「９００」と読ませ、ＬＡＲを「九百」と読ませることがあり、そうでないと値が一致しないため、小切手はフラッグが立てられる。この標的型攻撃の場合、対応する最適化問題は
【0047】
【数3】
【0048】
この標的型攻撃の場合、攻撃者は真の額ｙと異なる標的額ｙｔに変えようと試み、ＦＣとＦL両方がｘ’を額ｙｔとして誤分類するようにＦＣとＦLを攻撃しうる。小切手処理システムはまた、これらのモデルが自身の予測に低い信頼度を持つ小切手にフラッグを立てるので、攻撃者は確率ＦＣ(ｘ’) ｙｔ及びＦＬ(ｘ’) ｙｔ両方を最大にできる。ｘ’がｘに出来るだけ同じに見えるようにするために、攻撃者はまた、変更する画素の数を所定の数ｋ以下に制限しなければならない。多くの小切手処理システムはＦＣとＦLだけが限定された数の最も可能性の高い額について確率を出力するように構成されている。この制限は攻撃者が真の額とは別の標的額を選択するのを困難にする。ＦＣとＦLのそれぞれについて最も可能性の高い額同士は互いに素な集合である場合がある。
【0049】
別の制限は攻撃者が使用されるモデルＦについてどんな情報も持たずモデルの出力を観察できるだけであることである。言い換えると、攻撃者は問い合せｘ’に対してモデルＦの出力された確率分布にアクセスするだけである。
【0050】
図４では、小切手なりすまし攻撃４０００は、数字及びテキスト行（ＣＡＲ及びＬＡＲ）の攻撃変更４０４がされた小切手のデジタル画像４０２から成る。攻撃変更は変更された小切手のデジタル画像４０６（変更されたＣＡＲ４０８及び変更されたＬＡＲ４１０を有する）を使う。これは小切手のデジタル画像４０２を人の目には感知できないやり方で変え攻撃者の利益のためにモデル誤りを生成し、モデル機密保護システム２００によって検出され軽減されうる敵対的モデルなりすまし攻撃を生成する。
【0051】
図５は本書に記載したシステム及び方法と共に使用されうる小切手提出プロセス５０００の代表的なデータフロー図を示す。図５を参照すると、小切手提出プロセス５０００は５００１で処理のために小切手が提出される時に始まる。次に、５００２において小切手は走査され小切手の二値画像を生成する。バイナリ形式にされると、５００３において画像認識システム（不図示）は二値画像を、図３を参照して説明したように処理できる。例えば、幾つかの実施形態では、５００４において小切手処理システムは小切手の二値画像ｘを入力として受け付け、その小切手に書かれたもの（カーティシ額認識（ＣＡＲ）及びリーガル額認識（ＬＡＲ））の最も可能性の高い値を表す信頼度スコアＦ(ｘ)を出力する。前述したように、５００５において画像認識システムは次に特定されたＣＡＲ及びＬＡＲ値が一致するかを判断する。
【0052】
幾つかの実施形態では、走査処理はＣＡＲ３０８及びＬＡＲ３０６（図３に示す）の各部について信頼度因子を生成する。信頼度因子は次に最終スコアに解される。従来の走査システムはこれを結合額値３１０及び結合認識信頼度値３１２に分解し検証調査を止めるが、モデル機密保護システム２００は５００６においてなりすまし防止見直しを実行できる。言い換えると、モデル機密保護システム２００は５００６において、例えば本書で説明した標的型攻撃を使用して改竄されたどんなＣＡＲ／ＬＡＲ画像も阻止する。
【0053】
幾つかの実施形態では、なりすまし防止見直しは並列に働く２つの副方法から成る。先ず、画像ベース方法は機械学習モデル（例えば、ＡＩモデル３００）を訓練することを含む。機械学習モデルは生の小切手画像を入力として受け取り、その画像が改竄されているか否か分類できる。モデルを訓練することはデータ生成ステップとモデル訓練ステップを含む。データ生成ステップは所定の数の改竄された画像を大規模に生成する本書で説明した方法を含む。モデル訓練ステップは、１つ以上のコンピュータ視覚分類アルゴリズムを実行して、改竄されていない小切手及び本書で説明したように生成された改竄された小切手について訓練しながら機械学習モデルを小切手が改竄されているか否か分類するように訓練することを含む。例として、視覚分類アルゴリズムは、視覚像を分析するのに使用される１つ以上の畳み込み神経回路網を含みうる。
【0054】
通常、ブラックボックス攻撃は小切手処理システムに頻繁に問い合せることを必要とする。従って、ファイアウォール２４０は小切手処理システムへの入力を時間経過につれ監視し入力列が敵対的攻撃の一部でありうる場合を特定する。
【0055】
なりすまし防止見直し５００６の各段階及び入力列が敵対的攻撃の一部であるとの判断の間、スコアが各入力に対して生成される。メタモデルは２つの個々のモデルの予測を受け取り、それらを単一のスコアに組み合わせる。単一のモデルと比較すると、これら２つのモデルは互いに補完する異なる強さと弱さを有する。例えば、問い合せを監視することは特にブラックボックス攻撃を検出し防ぐのに適し、有利にも敵対的例が特定される前に攻撃を防ぐことが出来る。詐欺行為者が問い合せの数を（例えば、転送攻撃により）制限する場合、機械学習モデルはその攻撃をより良く特定できる。
【0056】
二値画像が本書に説明したやり方で改竄されたとモデル機密保護システム２００が判断すると、改竄された小切手画像は５００７における承認処理に進むのを妨げられ５００８で拒絶される。
【0057】
二値画像を攻撃する
上述したように、モデル機密保護システム２００は画像分類モデルへの複数の攻撃を検出し軽減できる。モデル機密保護システム２００により検出されうる代表的な攻撃が説明される。２つのバリエーションが例示目的だけのために説明されるが、システムは二値画像内にノイズを隠し問い合せの数を最適化する課題に対処する複数の方法のどんな組み合わせも実行し検出できることは理解される。
上述したように、モデル機密保護システム２００は画像分類モデルへの複数の攻撃を検出し軽減できる。モデル機密保護システム２００により検出されうる代表的な攻撃が説明される。２つのバリエーションが例示目的だけのために説明されるが、システムは二値画像内にノイズを隠し問い合せの数を最適化する課題に対処する複数の方法のどんな組み合わせも実行し検出できることは理解される。
【0058】
モデルＦによって真のラベルｙとして分類される二値画像ｘへの組み合わせ攻撃の簡略化されたバージョンであって、アルゴリズム１として説明されるバージョンが示されている。各繰り返しにおいて、アルゴリズム１は、ｘｐを反対の色に反転するとＦ(ｘ’)の最大減少を引き起こすような入力画像ｘの画素ｐを見つける。Ｆ(ｘ’)はこの乱された入力ｘ’が真のラベルｙとして分類される信頼度である。言い換えると、システムは画素を反転させ、このプロセスを乱された入力の分類がｙ’≠ｙであるか又は元の画像と最大Ｌ０距離ｋに達するまで繰り返す。下記のアルゴリズム１では、ｘ’＋ｅｐは画素ｐが反転された画像ｘ’を表す。
【0059】
【数4】
【0060】
アルゴリズム１により生成された敵対的画像ｘ’はモデル３００をうまく騙し元の画像ｘとの小さいＬ０距離を有しうる。しかし、入力に加えられたノイズはまだ人の目には見えうり、敵対的例を生成するのに必要なモデルへの問い合せの数は大きい。
【0061】
ノイズを隠す
前述したように、カラー画像又はグレースケール画像への攻撃の場合、ノイズはどんな個々の画素への変更も可能な色の範囲に対して小さいのでしばしば感知できない。
前述したように、カラー画像又はグレースケール画像への攻撃の場合、ノイズはどんな個々の画素への変更も可能な色の範囲に対して小さいのでしばしば感知できない。
【0062】
二値画像内の各画素について、どんな攻撃もその色を反転するか又はそのままとするかだけができる。従って、各画素の色の小さい変更は可能でなく、勾配ベース手法は適用できない。ノイズのある画素（即ち、色が反転されその色が近傍の画素と異なる画素）は近傍の画素と色が異なるので目立つ。アルゴリズム１は小さな数の画素だけの色を反転するので、小さなＬ０距離を有するノイズとなるが、ノイズのある画素は非常に目立つ。
【0063】
この問題に対処するために、画像内の黒領域と白領域の境界上の画素だけを変更するのを許す新しい制約が導入される。１つの画素が白で隣接する８個の画素の少なくとも１つが黒ならば（又はその反対）、その画素は境界上にある。この制約の下で生成された敵対的例は元の画像とのより大きなＬ０距離を有するが、ノイズはかなり目立ちにくい。
【0064】
問い合せの数を最適化する
ブラックボックスモデルへの多くの問い合せを必要とする場合、攻撃は計算コストが高いことがある。モデルがアプリケーション・プログラミング・インターフェース（ＡＰＩ）の後に隠された有料サービスの場合、攻撃を実行することは、費用面でも高くつく。幾つかの論文が成功する攻撃のために必要な問い合せの数を低減する手法を提案してきた。従来の解決策の多くは勾配推定に基づき、従って、二値設定には当てはまらない。
ブラックボックスモデルへの多くの問い合せを必要とする場合、攻撃は計算コストが高いことがある。モデルがアプリケーション・プログラミング・インターフェース（ＡＰＩ）の後に隠された有料サービスの場合、攻撃を実行することは、費用面でも高くつく。幾つかの論文が成功する攻撃のために必要な問い合せの数を低減する手法を提案してきた。従来の解決策の多くは勾配推定に基づき、従って、二値設定には当てはまらない。
【0065】
画素間の相関関係を空間的及び繰り返しに亘って時間的に利用する２つの最適化手法が導入される。各繰り返しについて、点ｘ’において画素ｐを反転させることによるゲインはｐの方向のＦの離散微分として次のように定義される。
【0066】
【数5】
【0067】
この値が閾値τより大きいならば、画素は大きなゲインを有する。即ち、画素ｐを反転させることがラベルｙのモデル信頼度のτより大きい量の減少を引き起こす場合、その画素は大きなゲインを有する。
【0068】
空間的相関関係
モデル機密保護システム２００によって検出されうる第１の変更は、画素ゲイン間の空間的相関関係の利用に基づく。同じ空間領域内の画素同士は、図９に示すように類似の離散微分を有する可能性が高い。繰り返し毎に、攻撃者はアルゴリズムの前回の繰り返し時に変更した画素ｐに隣接する８個の画素Ｎ(ｐ)のゲインを評価するのに優先順位を付けるであろう。これらの画素の１つが大きなゲインを持つなら、攻撃者はそれを反転させ、残りの画素を評価することなく次の繰り返しへ進むであろう。
モデル機密保護システム２００によって検出されうる第１の変更は、画素ゲイン間の空間的相関関係の利用に基づく。同じ空間領域内の画素同士は、図９に示すように類似の離散微分を有する可能性が高い。繰り返し毎に、攻撃者はアルゴリズムの前回の繰り返し時に変更した画素ｐに隣接する８個の画素Ｎ(ｐ)のゲインを評価するのに優先順位を付けるであろう。これらの画素の１つが大きなゲインを持つなら、攻撃者はそれを反転させ、残りの画素を評価することなく次の繰り返しへ進むであろう。
【0069】
時間的相関関係
モデル機密保護システム２００によって検出されうる第２の変更は、画素ｐからの異なる繰り返しに亘るゲイン間の相関関係の利用に基づく。１つの繰り返しにおいて大きな離散微分を有する画素は、次の繰り返しにおいて大きな離散微分を有する可能性が他の画素より高い。
モデル機密保護システム２００によって検出されうる第２の変更は、画素ｐからの異なる繰り返しに亘るゲイン間の相関関係の利用に基づく。１つの繰り返しにおいて大きな離散微分を有する画素は、次の繰り返しにおいて大きな離散微分を有する可能性が他の画素より高い。
【0070】
繰り返し毎に、攻撃者は前回の繰り返し時に大きなゲインを有した画素を先ず考えなければならない。これらの画素の１つが現在の繰り返しにおいて大きなゲインを生成し続けるならば、その画素は反転され、システムは残りの画素を評価することなく次の繰り返しに進む。このプロセスは、多くの繰り返しに亘って誤分類への影響が少ない画素を無視する。
【0071】
ＳＣＡＲ
モデル機密保護システム２００によって軽減されうるアルゴリズム１の二値画像の攻撃のためのより詳細な方法がアルゴリズム２において説明される。問い合せの数を改善するために、アルゴリズム２は、上記の空間的及び時間的相関関係に応じて大きなゲインを持つと期待される画素の離散微分を評価するのに優先順位を付ける。
モデル機密保護システム２００によって軽減されうるアルゴリズム１の二値画像の攻撃のためのより詳細な方法がアルゴリズム２において説明される。問い合せの数を改善するために、アルゴリズム２は、上記の空間的及び時間的相関関係に応じて大きなゲインを持つと期待される画素の離散微分を評価するのに優先順位を付ける。
【0072】
これらの画素の１つが大きなゲインを持つならば、その画素は反転され、残りの画素は評価されない。これらの画素のどれも大きなゲインを持たないならば、攻撃者は画像ｘ内の黒領域と白領域の境界Ｂ(ｘ)上の全ての画素を考える。この場合、最大のゲインを持つ画素はそのゲインがτより大きいか否かに拘らず反転される。
【0073】
前記のように、座標ｉの方向の標準基底ベクトルはｅｉで表される。ベクトルｇを持つ各画素のゲインは監視され維持される。幾つかの実施形態では、アルゴリズム２は認識システムへの陰影付き組み合わせ攻撃（ＳＣＡＲ）を表す。
【0074】
【数6】
【0075】
アルゴリズム２は、Ｆによってラベルｙ’≠ｙとして分類される敵対的例ｘ’を見つける非標的型攻撃である。非標的型攻撃は、上記ｗｈｉｌｅループ内の第１条件をｙ＝ａｒｇ ｍａｘｉ Ｆ(ｘ’)ｉからｙｔ≠ａｒｇ ｍａｘｉ Ｆ(ｘ’)ｉに変え、ゲインｇｐをＦ(ｘ)ｙ－Ｆ(ｘ＋ｅｉ)ｙに代えてＦ(ｘ＋ｅｉ)ｙｔ－Ｆ(ｘ)ｙｔとして計算することで、容易に標的ラベルｙｔを持つ標的型攻撃に変更されうる。
【0076】
同時攻撃
小切手処理システムを攻撃することに２つの重要な課題がある。前の項では、小切手画像を二値画像に前処理することで引き起こされる課題が紹介された。第２の課題は小切手処理システムは２つの独立なモデルであって他方のモデルの出力を検証する２つのモデルを使用することであり、ＦＣは数字で書かれた額を分類し、ＦＬは文字で書かれた額を分類する。これによって動機付けられて、２つの別々のＯＣＲシステムを同時に攻撃する問題に取り組むアルゴリズムが導入される。
小切手処理システムを攻撃することに２つの重要な課題がある。前の項では、小切手画像を二値画像に前処理することで引き起こされる課題が紹介された。第２の課題は小切手処理システムは２つの独立なモデルであって他方のモデルの出力を検証する２つのモデルを使用することであり、ＦＣは数字で書かれた額を分類し、ＦＬは文字で書かれた額を分類する。これによって動機付けられて、２つの別々のＯＣＲシステムを同時に攻撃する問題に取り組むアルゴリズムが導入される。
【0077】
幾つかの実施形態では、モデル機密保護システム２００は、攻撃がＦＣ及びＦLがそれぞれ可能性の高いと判断した額の交点において標的額を何時捜すかを理解する。しかし、変更されていない小切手の場合、モデル３００はしばしば真の額を高度に確信し、他の額は極めて小さい確率か又はモデルによる予測として全く現れない。
【0078】
敵対的例となるであろう標的額を選択する可能性を増加させるために、ＦＣ及びＦL両方へのＳＣＡＲを使った非標的型攻撃が開始され、真の額ｙの信頼度が減少した画像ｘｕを返す。次に、目的はＦＣ及びＦL両方を攻撃することなので、標的額は最大値ｍｉｎ(ＦＣ(ｘｕ)ｉ,ＦL(ｘｕ)ｉ)を持つ額ｙｔとなるように選択される。ＳＣＡＲ（Ｔ‐ＳＣＡＲ）の標的型バージョンは２回実行され、画像ｘｕに関してＦＣ及びＦL両方に標的型攻撃を行う。これは下記のアルゴリズム３として定式化される。
【0079】
【数7】
【0080】
図３に示す一例の小切手を参照すると、アルゴリズム３は、例えば額が４０１ドルと書かれた小切手を攻撃するのに使用されうる。図示のように、アルゴリズム３は、多くの金融機関が使用する従来のＣＡＲ／ＬＡＲ認識処理を使用することで、高い信頼度０．９０９で額を７０１ドルとして誤分類するように実行されうる。モデル機密保護システム２００はアルゴリズム３が小切手の二値画像を変更するのに使用されたかを判断できる。
【0081】
図６Ａ～６Ｅは、モデル機密保護システム２００によって検出されうる様々なデータセットで訓練された畳み込み神経回路網（ＣＮＮ）（例えば、モデル３００）への一連の代表的な攻撃を例示する。各代表的な図では、元の画像が左端に示され、本書に説明した攻撃の様々な出力が右側に示される。右側に示された攻撃は、攻撃の進展を必ずしも表していない、むしろ独立した攻撃であり、例示の目的だけのために示されている。
【0082】
図６Ａは上記の異なるアルゴリズムを使用する数字へのなりすまし攻撃を説明する。左から右へ（（）内は分類）元の数字（２）、ＳＣＡＲ（７）、ＶＡＮＩＬＬＡ‐ＳＣＡＲ（７）、ＰＯＩＮＴＷＩＳＥ（８）、ＳＩＭＢＡ（７）。攻撃の種類に続く丸括弧内の数字は画像認識処理の誤って決定された結果を表す。例えば、第２画像は上記ＳＣＡＲアルゴリズムを使って攻撃され値７になりすましている。
【0083】
図６Ｂは異なるアルゴリズムを使用する文字へのなりすまし攻撃を説明する。左から右へ（（）内は分類）元の文字（８）、ＳＣＡＲ（３）、ＶＡＮＩＬＬＡ‐ＳＣＡＲ（３）、ＰＯＩＮＴＷＩＳＥ（２）、ＳＩＭＢＡ（５）。
【0084】
図６Ｃは異なるアルゴリズムを使用する多桁数字へのなりすまし攻撃を説明する。左から右へ（（）内は分類）元の数字（１６２５）、ＳＣＡＲ（１５６２５）、ＳＩＭＢＡ（１０２５）、ＶＡＮＩＬＬＡ‐ＳＣＡＲ（１０６２５）、ＰＯＩＮＴＷＩＳＥ（１０２５）。
【0085】
図６Ｄは異なるアルゴリズムを使用する多文字単語へのなりすまし攻撃を説明する。左から右へ元の単語（ｔｅｓｔ）、ＳＣＡＲ（ｆｅｓｔ）。
【0086】
図６Ｅは異なるアルゴリズムを使用する多文字単語へのなりすまし攻撃を説明する。左から右へ元の単語（ｄｏｗｎ）、ＳＣＡＲ（ｄｏｗｅｒ）。
【0087】
４つの攻撃方法
４つの攻撃方法、ＳＣＡＲ、ＶＡＮＩＬＬＡ‐ＳＣＡＲ、ＳＩＭＢＡ、及びＰＯＩＮＴＷＩＳＥが比較される。
４つの攻撃方法、ＳＣＡＲ、ＶＡＮＩＬＬＡ‐ＳＣＡＲ、ＳＩＭＢＡ、及びＰＯＩＮＴＷＩＳＥが比較される。
【0088】
・アルゴリズム２であり閾値τ＝０．１を持つＳＣＡＲ
・アルゴリズム１であるＶＡＮＩＬＬＡ‐ＳＣＡＲ。ＳＣＡＲをアルゴリズム１と比較するとノイズを隠し問い合せの数を最適化することの重要性を示す。
・アルゴリズム１であるＶＡＮＩＬＬＡ‐ＳＣＡＲ。ＳＣＡＲをアルゴリズム１と比較するとノイズを隠し問い合せの数を最適化することの重要性を示す。
【0089】
・アルゴリズム１でありデカルト基底でε＝１のＳＩＭＢＡ。ＳＩＭＢＡはブラックボックス設定の（カラー）画像を小さい数の問い合せを使って攻撃するためのアルゴリズムである。繰り返し毎に、ＳＩＭＢＡは方向ｑをサンプルしεｑ又は－εｑに向かって、これらの１つが目標を高めるなら、一歩進む。ｑがデカルト基底からサンプルされε＝１である設定では、ＳＩＭＢＡは二値画像へのＬ０攻撃に相当し、繰り返しランダムに画素を選択し反転させる（そうすることが真のラベルの信頼度を減少させるなら）。
【0090】
ＰＯＩＮＴＷＩＳＥは先ず画像が誤分類されるまでランダム塩こしょうノイズを加える。次にＰＯＩＮＴＷＩＳＥは画像が誤分類されたままならがつがつと各変更された画素を元の色に戻す。
【0091】
メトリック
モデルＦへの各攻撃Ａの働きを評価し集合Ｘをテストするために、３つのメトリックを使用できる。これらのメトリックはそのような攻撃に対するシステム／モデルの脆弱性を有利にも示す。
モデルＦへの各攻撃Ａの働きを評価し集合Ｘをテストするために、３つのメトリックを使用できる。これらのメトリックはそのような攻撃に対するシステム／モデルの脆弱性を有利にも示す。
【0092】
Ａの成功率は 画像ｘ（ｘ∈Ｘ）のうち出力画像ｘ０＝Ａ(ｘ)が敵対的（即ち、ｘ０の予測されたラベルｙ０がｘの真のラベルｙと異なる）である画像の割合である。Ｆによって初め正しく分類された画像ｘだけが攻撃される。
【0093】
Ｌ０距離が、画像ｘ’＝Ａ(ｘ)が元の画像ｘにどれだけ似ているかを測るために使用され、ｘとｘ’が異なる画素の数である。
【0094】
出力画像ｘ’＝Ａ(ｘ)を得るためにモデルＦへの問い合せの数。
【0095】
距離制約ｋ。画像寸法ｄは各実験で異なるので、最大Ｌ０距離ｋを選択するのに理にかなった手法を捜す。ラベルｙを持つ画像ｘの場合、Ｌ０制約は次式で表される。
【0096】
【数8】
【0097】
ここでＦ(ｘ)は画像の前景内の画素の数をカウントし、α∈｜０，１｜は既定の分数（０と１の間の分数）であり、｜ｙ｜はｙ中のキャラクタの数（例えば、｜２３ＦＣ６Ａ｜＝６）である。言い換えると、ｋはｘ内の１キャラクタ当りの画素の平均数に既定の分数を掛けたものである。幾つかの実施形態では、α＝１／５である。
【0098】
テッセラクト攻撃例
ＯＣＲシステムの脆弱性は手書き文字だけでなく、人がより頑丈であると期待する印刷された文字にも関わる。この脆弱性は英単語の文脈で説明され、多くの場合に単一画素の変化が、広く使われているオープンソース文字認識システムによって単語が英語辞書内の異なる意味論的意味を持つ別の単語に誤分類されるのに十分であることを示す。
ＯＣＲシステムの脆弱性は手書き文字だけでなく、人がより頑丈であると期待する印刷された文字にも関わる。この脆弱性は英単語の文脈で説明され、多くの場合に単一画素の変化が、広く使われているオープンソース文字認識システムによって単語が英語辞書内の異なる意味論的意味を持つ別の単語に誤分類されるのに十分であることを示す。
【0099】
テッセラクトモデル。テッセラクトは印刷された文字用に設計されたオープンソース文字認識システムである。テッセラクト４は深層学習のための人工再帰型神経回路網（ＲＮＮ）アーキテクチャである長・短期記憶（ＬＳＴＭ）モデルに基づく。システムは画像を入力として受け取り、画像は先ず各行の画像に分けられる。テッセラクトは入力画像を前処理の一部として二値化する。次に各行はＬＳＴＭモデルによって処理され、文字列を出力する。
【0100】
データセット。単一の印刷された英単語の画像がシステムによって英語用に訓練されたテッセラクトのバージョンを用いてテストされうる。幾つかの実施形態では、英語の長さ４の単語がランダムに選択された。１０００個のそのような画像についての正解率は０．９６５で正しく分類された単語の平均信頼度は０．９０６であった。テッセラクトによって正しく分類された単語のうち、１００個のランダムな単語が攻撃するために選択されうる。幾つかの場合、特に、ノイズが多い画像の場合、テッセラクトはどんな単語も認識せずその入力を拒絶する。これらの攻撃の目標は、画像を真の単語と異なる意味を持つ単語として誤分類することであるので、生成された敵対的画像が英語辞書内の単語として分類された場合だけ、攻撃は成功と考えられる。
【0101】
図７は攻撃の結果のグラフを示す。ＭＮＩＳＴを使って訓練されたＣＮＮモデル、ＥＭＮＩＳＴを使って訓練されたＬｅＮｅｔ５モデル、手書き数字に対するＬＳＴＭモデル、及び印刷された単語に対するテッセラクトモデルの場合の成功率対Ｌ０距離及び成功率対問い合せの数。
【0102】
図８は本書に記載された装置のうちどんな１つ以上の装置にも導入されうるソフトウェアアーキテクチャ８００を示すブロック図である。図８は単にソフトウェアアーキテクチャの非限定例であり、多くの他のアーキテクチャが本書に記載された機能を可能にするために実現されうることは理解されるであろう。様々な実施形態では、ソフトウェアアーキテクチャ８００は図９のマシン９００などのハードウェアによって実行される。
【0103】
この一例のアーキテクチャでは、ソフトウェアアーキテクチャ８００は層の積み重ねとして概念化されうり、各層は特定の機能を提供してもよい。例えば、ソフトウェアアーキテクチャ８００はオペレーティングシステム８０４、ライブラリ８０６、フレームワーク８０８、及びアプリケーション８１０などの層を含む。動作上、アプリケーション８１０はソフトウェアスタックを通してＡＰＩコール８１２を呼び出し、ＡＰＩコール８１２に応答してメッセージ８１４を受け取る。幾つかの実施形態で同じである。
【0104】
様々な実施形態では、オペレーティングシステム８０４はハードウェア資源を管理し、共通のサービスを提供する。オペレーティングシステム８０４は、例えばカーネル８２０、サービス８２２、及びドライバー８２４を含む。カーネル８２０はハードウェアと他のソフトウェア層の間の抽象層として働く。幾つかの実施形態で同じである。例えば、カーネル８２０はメモリ管理、プロセッサ管理（例えば、予定を組む）、装置管理、ネットワーク接続、機密保護設定、及び他の機能を提供する。サービス８２２は他の共通のサービスをその他のソフトウェア層に提供しうる。幾つかの実施形態によれば、ドライバー８２４は基盤を成すハードウェアを制御又はと接続するのを担う。例えば、ドライバー８２４は表示ドライバー、カメラドライバー、ＢＬＵＥＴＯＯＴＨ（登録商標）又はＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギードライバー、フラッシュメモリドライバー、シリアル通信ドライバー（例えば、ユニバーサル・シリアル・バス（ＵＳＢ）ドライバー）、Ｗｉ‐Ｆｉ（登録商標）ドライバー、オーディオドライバー、電力管理ドライバーなどを含みうる。
【0105】
幾つかの実施形態では、ライブラリ８０６はアプリケーション８１０が利用する低レベル共通基盤を提供する。ライブラリ８０６は、メモリ割り当て機能、ストリング操作機能、数学機能などの機能を提供しうるシステムライブラリ８３０（例えば、Ｃ標準ライブラリ）を含みうる。また、ライブラリ８０６はＡＰＩライブラリ８３２、例えばメディアライブラリ（例えば、様々なメディア形式、例えば動画エキスパートグループ４（ＭＰＥＧ４）、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｈ.２６４又はＡＶＣ）、動画エキスパートグループ層３（ＭＰ３）、Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ）、Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ‐Ｒａｔｅ（ＡＭＲ）音声コーデック、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃエキスパートグループ（ＪＰＥＧ又はＪＰＧ）、又はＰｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ（ＰＮＧ）の表出及び操作を支えるライブラリ）、グラフィックライブラリ（例えば、表示器上のグラフィックコンテキストに２Ｄ及び３Ｄで描くのに使用されるＯｐｅｎＧＬフレームワーク）、データベースライブラリ（例えば、様々な関係型データベース機能を提供するＳＱＬｉｔｅ）、ウェブライブラリ（例えば、ウェブ閲覧機能を提供するＷｅｂＫｉｔ）などを含みうる。ライブラリ８０６はまた、多くの他のＡＰＩをアプリケーション８１０に提供するために多種多様な他のライブラリ８３４を含みうる。
【0106】
幾つかの実施形態によれば、フレームワーク８０８はアプリケーション８１０が利用しうる高レベル共通基盤を提供する。例えば、フレームワーク８０８は様々なグラフィカル・ユーザ・インターフェース（ＧＵＩ）機能、高レベル資源管理、高レベル位置サービスなどを提供する。フレームワーク８０８はアプリケーション８１０が利用しうる広範囲の他のＡＰＩ（そのうちの幾つかは特定のオペレーティングシステム８０４又はプラットフォームに特有である）を提供できる。
【0107】
１つの実施形態では、アプリケーション８１０はホームアプリケーション８５０、接触アプリケーション８５２、閲覧アプリケーション８５４、本読みアプリケーション８５６、位置アプリケーション８５８、メディアアプリケーション８６０、メッセージ通信アプリケーション８６２、ゲームアプリケーション８６４、及び多種多様な取りそろえの他のアプリケーション、例えば第三者アプリケーション８６６を含む。幾つかの実施形態によれば、アプリケーション８１０は自身の中に規定された機能を実行するプログラムである。様々なプログラミング言語が様々な構造を持つアプリケーション８１０のうち１つ以上を作成するために使用されうる。その例は、オブジェクト指向プログラミング言語（例えば、オブジェクトＣ、Ｊａｖａ、又はＣ＋＋）又は手続き型プログラミング言語（例えば、Ｃ又はアセンブリ言語）である。特定の実施例では、第三者アプリケーション８６６（例えば、ＡＮＤＲＯＩＤ（登録商標）又はＩＯＳ（商標）ソフトウェア開発キット（ＳＤＫ）を使って特定のプラットフォームのベンダー以外の主体によって開発されたアプリケーション）は携帯電話オペレーティングシステム、例えば「ＩＯＳ」、「ＡＮＤＲＯＩＤ」、ＷＩＮＤＯＷＳ（登録商標）Ｐｈｏｎｅ、又は別の携帯電話オペレーティングシステム上で動作する携帯電話ソフトウェアであってもよい。この例では、第三者アプリケーション８６６はオペレーティングシステム８０４が提供するＡＰＩコール８１２を本書に記載の機能を可能にするために呼び出しうる。
【0108】
図９は実施形態に係るマシン９００に本書に記載の方法の任意の１つ以上を実行させるために命令セットを実行するコンピュータシステムの形態のマシン９００の概略を示す。具体的には、図９はコンピュータシステムの一例の形態のマシン９００の概略を示し、その中でマシン９００に本書に記載の方法の任意の１つ以上を実行させるための命令群９１６（例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、又は他の実行可能コード）が実行されうる。例えば、命令群９１６はマシン９００に図２又は図５の方法を実行させてもよい。加えて又は或いは、命令群９１６は図１及び図３、４を参照して説明した機能のどれでも実行してよい。命令群９１６はプログラムされていない汎用マシン９００を、説明された機能を説明されたやり方で実行するようにプログラムされた特別なマシン９００に変える。他の実施形態では、マシン９００は独立した装置として動作するか又は他のマシンに結合（例えば、ネットワーク接続）されてもよい。ネットワーク接続された場合、マシン９００はサーバー・クライアント・ネットワーク環境でサーバーマシン又はクライアントマシンとして、又はピアツーピア（又は分散）ネットワーク環境でピアマシンとして動作してよい。マシン９００は、これらに限定されないがサーバーコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、娯楽メディアシステム、携帯電話、スマートフォン、携帯装置、装着可能装置（例えば、スマートウォッチ）、スマート家庭用装置（例えば、スマート器具）、他のスマート装置、ウェブ器具、ネットワークルーター、ネットワークスイッチ、ネットワークブリッジ、又はマシン９００がする動作を指定する命令群９１６を順次又は他のやり方で実行できる任意のマシンから成ってよい。また、単一のマシン９００だけが示されているが、用語「マシン」は命令群９１６を個々に又は共同で実行して本書に記載の方法の任意の１つ以上を実行するマシン９００の集まりを含むと考えるべきである。
【0109】
マシン９００は、例えばバス９０２を介して互いに通信するように構成された複数のプロセッサ９１０、メモリ９３０、及びＩ／Ｏ構成要素９５０を含んでよい。１つの実施形態では、複数のプロセッサ９１０（例えば、中央処理ユニット（ＣＰＵ）、縮小命令セット計算（ＲＩＳＣ）プロセッサ、複雑命令セット計算（ＣＩＳＣ）プロセッサ、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）、別のプロセッサ、又はこれらの任意の適切な組み合わせ）は、例えば命令群９１６を実行するプロセッサ９１２及びプロセッサ９１４を含んでよい。用語「プロセッサ」は、同時に命令群９１６を実行する２つ以上の独立したプロセッサ（時にはコアと呼ばれる）から成るマルチコアプロセッサを含むように意図されている。図９は複数のプロセッサ９１０を示すが、マシン９００は単一コアの単一のプロセッサ９１２、複数のコアの単一のプロセッサ９１２（例えば、マルチコアプロセッサ９１２）、単一コアの複数のプロセッサ９１２、９１４、複数のコアの複数のプロセッサ９１２、９１４、又はこれらの任意の組み合わせから成ってもよい。
【0110】
メモリ９３０は、バス９０２を介してプロセッサ９１０にそれぞれアクセスできるメインメモリ９３２、静的メモリ９３４、及び記憶ユニット９３６を含んでよい。メインメモリ９３２、静的メモリ９３４、及び記憶ユニット９３６は本書で説明した方法又は機能の任意の１つ以上を具現化する命令群９１６を記憶する。命令群９１６は、マシン９００による実行中に、メインメモリ９３２内、静的メモリ９３４内、記憶ユニット９３６内、少なくとも１つのプロセッサ９１０内（例えば、プロセッサのキャッシュメモリ内）、又はそれらの任意の適切な組み合わせ内に、完全に又は部分的に存在してもよい。
【0111】
Ｉ／Ｏ構成要素９５０は、入力を受け取り、出力を提供し、出力を生成し、情報を送信し、情報を交換し、測定値を取り込むなどの多種多様な構成要素を含んでよい。特定のマシンに含まれる特定のＩ／Ｏ構成要素９５０は、そのマシンの種類に依存する。例えば、携帯電話などの可搬式マシンはタッチ入力デバイス又は他のそのような入力機構をたぶん含むが、ヘッドレスサーバーマシンにはそのようなタッチ入力デバイスをたぶん含まない。Ｉ／Ｏ構成要素９５０は、図９に示していない他の多くの構成要素を含んでよいことは理解されるであろう。Ｉ／Ｏ構成要素９５０は、下記の説明を単に簡単にするために機能に従ってグループ分けされ、このグループ分けは決して限定ではない。様々な実施形態では、Ｉ／Ｏ構成要素９５０は、出力構成要素９５２及び入力構成要素９５４を含んでよい。出力構成要素９５２は、視覚構成要素（例えば、プラズマディスプレイパネル（ＰＤＰ）、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プロジェクタ、又は陰極線管（ＣＲＴ）などのディスプレイ）、音響構成要素（例えば、スピーカ）、触覚構成要素（例えば、振動モータ、抵抗機構）、他の信号発生器などを含んでよい。入力構成要素９５４は、英数字入力構成要素（例えば、キーボード、英数字入力を受け取るように構成されたタッチスクリーン、光キーボード、又は他の英数字入力構成要素）、ポイントベース入力構成要素（例えば、マウス、タッチパッド、トラックボール、ジョイスティック、モーションセンサ、又は別のポインティング器具）、触知入力構成要素（例えば、物理的ボタン、タッチ又はタッチジェスチャの位置及び／又は力を提供するタッチスクリーン、又は他の触知入力構成要素）、音声入力構成要素（例えば、マイク）などを含んでよい。
【0112】
他の実施形態では、Ｉ／Ｏ構成要素９５０は、広範囲の他の構成要素の中でも、生体認証構成要素９５６、動き構成要素９５８、環境構成要素９６０、又は位置構成要素９６２を含んでよい。例えば、生体認証構成要素９５６は、表情（例えば、手の表情、顔の表情、声の表情、身体のジェスチャ、又は視線追跡）を検出し、生体信号（例えば、血圧、心拍数、体温、発汗、又は脳波）を測定し、人を識別する（例えば、音声識別、網膜識別、顔識別、指紋識別、又は脳波図に基づく識別）などの構成要素を含んでよい。動き構成要素９５８は、加速度センサ構成要素（例えば、加速度計）、重力センサ構成要素、回転センサ構成要素（例えば、ジャイロスコープ）などを含んでよい。環境構成要素９６０は、例えば照度センサ構成要素（例えば、光度計）、温度センサ構成要素（例えば、周囲温度を検出する１つ以上の温度計）、湿度センサ構成要素、圧力センサ構成要素（例えば、気圧計）、音響センサ構成要素（例えば、背景ノイズを検出する１つ以上のマイク）、近接センサ構成要素（例えば、近くの物体を検出する赤外線センサ）、ガスセンサ（例えば、安全のために又は大気中の汚染物質を測定するために有害ガスの濃度を検出するガス検出センサ）、又は周囲の物理的環境に対応する表示、測定、又は信号を提供しうる他の構成要素を含んでよい。位置構成要素９６２は、位置センサ構成要素（例えば、全地球測位システム（ＧＰＳ）受信構成要素）、高度センサ構成要素（例えば、高度がそれから導出されうる気圧を検出する高度計又は気圧計）、方位センサ構成要素（例えば、磁力計）などを含んでよい。
【0113】
通信は、多種多様な技術を使用して実現されてよい。Ｉ／Ｏ構成要素９５０は、カップリング９８２及びカップリング９７２を介してマシン９００をネットワーク９８０又はデバイス９７０に結合するように動作可能な通信構成要素９６４を含んでよい。例えば、通信構成要素９６４は、ネットワーク９８０とインターフェースするのにネットワークインターフェース構成要素又は別の適切なデバイスを含んでよい。更なる例では、通信構成要素９６４は、有線通信構成要素、無線通信構成要素、セルラー通信構成要素、近距離無線通信（ＮＦＣ）構成要素、Ｂｌｕｅｔｏｏｔｈ構成要素（例えば、Ｂｌｕｅｔｏｏｔｈ低エネルギー）、Ｗｉ－Ｆｉ構成要素、及び他の方式による通信を提供する他の通信構成要素を含んでよい。デバイス９７０は、別のマシン又は多種多様な周辺デバイス（例えば、ＵＳＢを介して結合された）のいずれであってもよい。
【0114】
また、通信構成要素９６４は、識別子を検出するか、又は識別子を検出するように動作可能な構成要素を含んでよい。例えば、通信構成要素９６４は、無線周波数識別（ＲＦＩＤ）タグ読取構成要素、ＮＦＣスマートタグ検出構成要素、光学読取構成要素（例えば、統一商品コード（ＵＰＣ）バーコードなどの１次元バーコード、ＱＲコード（登録商標）、アズテックコード、ＤＡＴＡ Ｍａｔｒｉｘ、Ｄａｔａｇｌｙｐｈ、ＭａｘｉＣｏｄｅ、ＰＤＦ４１７、Ｕｌｔｒａ Ｃｏｄｅ、ＵＣＣ ＲＳＳ－２Ｄバーコードなどの多次元バーコード、及び他の光学コードを検出する光学センサ）、又は音響検出構成要素（例えば、タグ付き音声信号を識別するマイク）を含んでよい。加えて、インターネットプロトコル（ＩＰ）地理位置情報による位置、Ｗｉ－Ｆｉ信号三角測量による位置、特定の位置を示すＮＦＣビーコン信号の検出による位置など、通信構成要素９６４によって様々な情報を得てもよい。
【0115】
様々なメモリ（即ち、９３０、９３２、９３４及び／又はプロセッサ９１０のメモリ）及び／又は記憶ユニット９３６は、本書に説明される方法又は機能のうち任意の１つ以上を具現化する、又はそれらによって利用される命令群９１６及びデータ構造体（例えば、ソフトウェア）の１つ以上のセットを記憶してもよい。これらの命令（例えば、命令群９１６）は、プロセッサ９１０によって実行されると、開示された実施形態を実施する様々な動作を生じさせる。
【0116】
本書で使用されるように、用語「マシン記憶媒体」、「デバイス記憶媒体」、及び「コンピュータ記憶媒体」は交換可能に使用されうる。これらの用語は、実行可能命令及び／又はデータを記憶する単一又は複数の記憶デバイス及び／又は媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバー）を指す。従って、これらの用語はこれらに限定されないが、固体メモリと光学及び磁気媒体とを含み、プロセッサの内部又は外部のメモリを含むと理解されるべきである。マシン記憶媒体、コンピュータ記憶媒体、及び／又はデバイス記憶媒体の具体的例は、例として、半導体メモリデバイス、例えば消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びフラッシュメモリデバイスを含む不揮発性メモリと、内部ハードディスク及びリムーバブルディスクなどの磁気ディスクと、光磁気ディスクと、ＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクとを含む。用語「マシン記憶媒体」、「コンピュータ記憶媒体」、及び「デバイス記憶媒体」は、具体的には、搬送波、変調データ信号、及び他のそのような媒体を含まない（それらのうち少なくとも幾つかは、下記に説明される用語「信号媒体」に含まれる）。
【0117】
様々な実施形態では、ネットワーク９８０の１つ以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、バーチャル・プライベートネットワーク（ＶＰＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネット、インターネットの一部、公衆電話交換網（ＰＳＴＮ）の一部、旧来の電話サービス（ＰＯＴＳ）ネットワーク、携帯電話ネットワーク、無線ネットワーク、Ｗｉ－Ｆｉネットワーク、別のタイプのネットワーク、又は２つ以上のそのようなネットワークの組み合わせであってもよい。例えば、ネットワーク９８０又はネットワーク９８０の一部は、無線又は携帯電話ネットワークを含んでよく、カップリング９８２は、符号分割多重アクセス（ＣＤＭＡ）接続、モバイル通信のためのグローバルシステム（ＧＳＭ）接続、又は別の種類のセルラーもしくは無線カップリングであってもよい。この例では、カップリング９８２は、単一キャリア無線伝送技術（１ｘＲＴＴ）、Ｅｖｏｌｕｔｉｏｎ－Ｄａｔａ Ｏｐｔｉｍｉｚｅｄ（ＥＶＤＯ）技術、汎用パケット無線サービス（ＧＰＲＳ）技術、Ｅｎｈａｎｃｅｄ Ｄａｔａ ｒａｔｅｓ ｆｏｒ ＧＳＭ Ｅｖｏｌｕｔｉｏｎ（ＥＤＧＥ）技術、３Ｇを含む第３世代連携プロジェクト（３ＧＰＰ（登録商標））、第４世代無線（４Ｇ）ネットワーク、ユニバーサルモバイル遠隔通信システム（ＵＭＴＳ）、高速パケットアクセス（ＨＳＰＡ）、マイクロ波アクセスのための世界的相互運用（ＷｉＭＡＸ)、長期発展（ＬＴＥ）標準、様々な標準設定機関によって規定される他の標準、他の長距離プロトコル、又は、他のデータ転送技術などの様々な種類のデータ転送技術のどれでも実行してよい。
【0118】
命令群９１６は、ネットワークインターフェースデバイス（例えば、通信構成要素９６４に含まれるネットワークインターフェース構成要素）を介して伝送媒体を使用し複数の周知の転送プロトコル（例えば、Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ（ＨＴＴＰ））のどれか１つを利用してネットワーク９８０を通じて送信又は受信されてもよい。同様に命令９１６は、デバイス９７０へカップリング９７２（例えば、ピアツーピアカップリング）を介して伝送媒体を使用して送信又は受信されてもよい。用語「伝送媒体」と「信号媒体」は同じものを意味し、本開示において交換可能に使用されてよい。用語「伝送媒体」と「信号媒体」は、マシン９００による実行のために命令群９１６を記憶し、符号化し、又は運びうる任意の無形の媒体を含み、そのようなソフトウェアの通信を可能にするデジタルもしくはアナログ通信信号又は他の無形の媒体を含むと理解されるべきである。従って、用語「伝送媒体」と「信号媒体」は任意の形態の変調データ信号、搬送波、などを含むと理解されるべきである。用語「変調データ信号」はその１つ以上の特性が情報を信号内に符号化するように設定又は変えられた信号を意味する。
【0119】
用語「マシン読取可能媒体」、「コンピュータ読取可能媒体」、及び「デバイス読取可能媒体」は同じものを意味し、本開示において交換可能に使用されうる。これらの用語はマシン記憶媒体及び伝送媒体両方を含むように定義される。従って、これらの用語は記憶デバイス／媒体及び搬送波／変調データ信号の両方を含む。
【0120】
この解決法の実施形態はハードウェア、ファームウェア、及びソフトウェアのうち１つ又は組み合わせにより実現される。実施形態はまた、少なくとも１つのプロセッサによって読み取られ実行され本書に記載した動作を実行しうるコンピュータ読取可能記憶デバイスに記憶された命令群として実現されてもよい。コンピュータ読取可能記憶デバイスはマシン（例えば、コンピュータ）により読取可能な形態の任意の非記憶情報を含んでよい。例えば、コンピュータ読取可能記憶デバイスは読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、クラウドサーバー、又は他の記憶デバイス及び媒体を含んでよい。幾つかの実施形態は１つ以上のプロセッサを含みコンピュータ読取可能記憶デバイスに記憶された命令群を有して構成されてよい。下記の説明及び参照される図面は特定の実施形態を十分に説明し当業者がそれらを実施するのを可能にする。他の実施形態は構造上、論理上、電気に関する、プロセス上、及び他の変更を含んでもよい。幾つかの実施形態の部分及び特徴は他の実施形態のそれらに含まれるか、置き換えられてもよい。請求項に明記された実施形態はそれらの請求項の全ての有効な等価物を含む。
【0121】
１つ以上の方法ステップの記述は、追加の方法ステップ又は明示されたステップの間の中間の方法ステップの存在を排除しないことは理解されるべきである。同様に、デバイス又はシステム内の１つ以上の構成要素の記述は、追加の構成要素又は明示された構成要素の間の中間の構成要素の存在を排除しないことは理解されるべきである。
【0122】
上記説明は、詳細な説明の一部を成す添付の図面への参照を含む。図面は例示として発明が実施されうる特定の実施形態を示す。これらの実施形態はまた、本書において「実施例」とも呼ばれる。そのような実施例は示された又は記述された要素に加えて他の要素を含みうる。しかし、本発明者らは示された又は記述された要素だけが設けられた実施例も考慮している。また、本発明者らはまた、特定の実施例（又はその１つ以上の態様）に関して又は本書に示された又は記述された他の実施例（又はそれらの１つ以上の態様）に関して示された又は記述された要素（又はそれらの１つ以上の態様）の任意の組み合わせ又は並べ替えを使用する実施例も考慮している。
【0123】
１つ以上の方法ステップの記述は、追加の方法ステップ又は明示されたステップの間の中間の方法ステップの存在を排除しないことは理解されるべきである。同様に、デバイス又はシステム内の１つ以上の構成要素の記述は、追加の構成要素又は明示された構成要素の間の中間の構成要素の存在を排除しないことは理解されるべきである。
【0124】
幾つかの場合、開示した技術の実施形態は、機械学習アルゴリズムを利用して画像認識システムに提出された変更された可能性のある二値画像データを特定するように構成されたシステムを含む。幾つかの実施形態では、二値化防御システムは機械学習を利用し、疑わしいパターンの人との対話／見直しを活用して防御アルゴリズムに教えるのを助け他の欠陥の検出を向上させてもよい。
【0125】
本書と引用されたいずれかの文書の間の矛盾した使用法がある場合、本書の使用法が有効である。
【0126】
本書において、特許文献において普通であるが、英語の用語「a」又は「an」は、「少なくとも１つ」又は「１つ以上」の他のあらゆる使用例又は使用とは独立に、１つ又は１つ超を含むように使用される。本書において、英語の用語「or」は非排他的orを指すのに使用され、そうでないと指示されない限り、「A or B」は「A but not B（AであるがBでない）」、「B but not A」、及び「A and B」を含む。本書において、英語の用語「including」及び「in which」は、それぞれ用語「comprising」及び「wherein」の平易な英語の同義語として使用される。また、添付の請求項において、英語の用語「including」及び「comprising」はオープンエンドである、即ち、そのような用語の後に列挙された要素に加えて要素を含むシステム、デバイス、物品、組成物、配合物、又はプロセスも請求項の範囲内に入ると考えられる。また、添付の請求項において、用語「第１」、「第２」、「第３」などは単にラベルとして使用され、それらの対象物に数値要件を導入するように意図されていない。
【0127】
「平行な」、「垂直な」、「丸い」、又は「正方形の」などの幾何学用語は、文脈がそうでないと示さない場合、絶対的数学的正確さを必要とするように意図されていない。それどころか、そのような幾何学用語は製造又は等価な機能による変動を見込んでいる。例えば、要素が丸い又は概ね丸いと表現される場合、正確には円形でない要素（例えば、やや楕円形又は多辺多角形である要素）もこの表現に含まれる。
【0128】
本書で説明された方法例は、少なくとも部分的に、マシン又はコンピュータによって実行されうる。幾つかの実施例は、上記の実施例に記載された方法を実行するように電子デバイスを構成するよう動作可能な命令群が符号化されたコンピュータ読取可能媒体又はマシン読取可能媒体を含みうる。そのような方法の実施形態は、マイクロコード、アセンブリ言語コード、高水準言語コードなどのコードを含みうる。このようなコードは、様々な方法を実行するためのコンピュータ読取可能命令群を含みうる。コードは、コンピュータプログラム製品の部分を形成してよい。更に、一実施例では、コードは、例えば実行中又は他の時に、１つ以上の揮発性、持続性、又は不揮発性の有形コンピュータ読取可能媒体に記憶されうる。これらの有形コンピュータ読取可能媒体の例は、これらに限定されないが、ハードディスク、取り外し可能磁気ディスク、取り外し可能光ディスク（例えば、コンパクトディスク及びデジタルビデオディスク）、磁気カセット、メモリカード又はスティック、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）などを含みうる。
【0129】
上記の説明は、例示的であり、限定的でないように意図されている。例えば、上記で説明した実施例（又は、それらの１つ以上の態様）を、互いに組み合わせて使用してもよい。他の実施形態が、例えば当業者によって上記の説明を見直した後に使用されうる。要約書は、米国特許施行規則３７ＣＦＲ１．７２（ｂ）を順守し読み手が本技術的開示の本質を速やかに見つけ出すのを許すために提供される。要約書は、請求項の範囲又は意味を解釈又は限定するために用いられないことを理解して提出されている。また、上記の詳細な説明では、様々な特徴をグループ分けして、本開示を整理した場合がある。これは、請求項にない開示された特徴が、どんな請求項にも本質的であることを意図していると解釈されるべきでない。むしろ、発明の対象は、特定の開示された実施形態の全てより少ない特徴に存在することがある。従って、添付の請求項は実施例又は実施形態として詳細な説明に引用され、各請求項は、別個の実施形態として独立し、そのような実施形態は、様々な組み合わせ又は並べ替えで互いに組み合わせられうることが考慮されている。本発明の範囲は、添付の請求項をそれらの請求項が権利を持つ等価物の全範囲と共に参照して決められるべきである。
【符号の説明】
【0130】
１００ ＡＩ動作環境
２００ モデル機密保護システム
２２０ 赤組エンジン（又はモデル評価エンジン）
２４０ ファイアウォール
３０２ 叙述額
３０４ 数値額
３０６ ＬＡＲ部
３０８ ＣＡＲ部
３１０ 結合額値
３１２ 結合認識信頼度値
４００ 外部データ
２００ モデル機密保護システム
２２０ 赤組エンジン（又はモデル評価エンジン）
２４０ ファイアウォール
３０２ 叙述額
３０４ 数値額
３０６ ＬＡＲ部
３０８ ＣＡＲ部
３１０ 結合額値
３１２ 結合認識信頼度値
４００ 外部データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7】
【図8】
【図9】
【国際調査報告】