特許 7516249 不正防止の装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】不正防止の装置および方法

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20240708BHJP

【ＦＩ】

G06Q30/0601

【請求項の数】 4

(21)【出願番号】P 2020543088

(86)(22)【出願日】2019-02-12

(65)【公表番号】

(43)【公表日】2021-05-20

(86)【国際出願番号】 EP2019053385

(87)【国際公開番号】W WO2019158502

(87)【国際公開日】2019-08-22

【審査請求日】2020-08-20

【審判番号】

【審判請求日】2022-10-12

(31)【優先権主張番号】1802315.0

(32)【優先日】2018-02-13

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】515134368

【氏名又は名称】オカド・イノベーション・リミテッド

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】ガルシア、カルロス

(72)【発明者】

【氏名】キャンディリア、ローレント

(72)【発明者】

【氏名】スティーブンソン、エルネスト

【合議体】

【審判長】伏本 正典

【審判官】相崎 裕恒

【審判官】月野 洋一郎

(56)【参考文献】

【文献】米国特許出願公開第２００７／０１０６５８２（ＵＳ，Ａ１）

【文献】特表２００３－５２９１６０（ＪＰ，Ａ）

【文献】特開２００８－１６５８２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06Q10/00-99/00

(57)【特許請求の範囲】

【請求項1】

不正検出コンピュータシステムであって、
不正を評価するために、ヒューリスティックおよび機械学習のうちの少なくとも１つに依拠するように構成された複数の不正評価器と、
前記複数の不正評価器を設定し、前記複数の不正評価器の少なくとも１つの不正評価器の出力に基づいてスコアを算出するように構成された評価ゲートウェイと、
ここにおいて、前記複数の不正評価器は、有効にされ、無効にされ、または監査されるように設定され、それにより、有効または監査にされた不正評価器のみが前記評価ゲートウェイによって呼び出され、前記出力を返すことができ、前記有効にされた不正評価器の前記出力は、前記評価ゲートウェイによって所定の割合で前記スコアの算出に寄与するように設定され、前記監査されるように設定された不正検出器は有効に設定され、前記評価ゲートウェイによる前記スコアの再算出に寄与できるように構成され、
を備える不正検出コンピュータシステム。

【請求項2】

前記評価ゲートウェイは、呼び出しが失敗した不正評価器を前記少なくとも１つの不正評価器の出力に寄与することから除外する前に、前記呼び出しが失敗した不正評価器への再試行の回数を定義することを可能にするように構成される、請求項１に記載の不正検出コンピュータシステム。

【請求項3】

不正検出ユニットによる不正検出方法であって、
不正を評価するために、ヒューリスティックスおよび機械学習のうちの少なくとも１つに依拠する複数の不正評価器を設けるステップと、
前記複数の不正評価器を設定するステップと、
前記複数の不正評価器の少なくとも１つの不正評価器の出力に基づいてスコアを評価ゲートウェイによって算出するステップと、
ここにおいて、前記設定するステップは、前記複数の不正評価器を、有効にされ、無効にされ、または監査されるように設定することと、それにより、有効または監査にされた不正評価器のみが前記評価ゲートウェイによって呼び出され、前記出力を返すことができ、前記有効にされた不正評価器の前記出力の所定の割合を前記評価ゲートウェイによる前記スコアの算出に提供することと、前記監査されるように設定された不正検出器は有効に設定され、前記評価ゲートウェイによる前記スコアの再算出に寄与できることと、を備える、
を備える不正検出方法。

【請求項4】

前記方法は、前記評価ゲートウェイによる呼び出しが失敗した不正評価器を前記少なくとも１つの不正評価器の出力に寄与することから除外する前に、前記評価ゲートウェイによる呼び出しが失敗した不正評価器への再試行の回数を定義するステップをさらに備える、請求項３に記載の不正検出方法。

【発明の詳細な説明】

【優先権主張】

【0001】

本願は、２０１８年２月１３日に出願された英国特許出願第１８０２３１５．０号からの優先権を主張し、この出願の全ての内容が、参照により本明細書に組み込まれている。

【技術分野】

【0002】

本発明は、一般に、電子商取引の分野に関し、より詳細には、顧客行動に基づく不正検出を提供するための装置および方法に関する。

【背景技術】

【0003】

電子商取引を行うためにインターネットを使用することは周知である。現在、多くの小売業者が、商品をオンラインで広告および販売している。例えば、音楽などの、インターネット上で購入者に電子配信される商品を含む、多種多様な商品がオンラインで購入可能である。同様に、物理的な商品、例えば、書籍は、オンラインで注文され、従来の配送手段を通じて配達され得る。企業は、典型的に、入手可能な商品のリストを有する、サーバコンピュータシステム上でホストされるそのカタログの電子版をセットアップする。顧客は、インターネットブラウザおよび／またはスマートフォン上のモバイルアプリケーションを使用してカタログを閲覧し、購入すべき様々な商品を選択し得る。顧客が購入すべき商品の選択を完了すると、サーバコンピュータシステムは、顧客に商品の注文を完了するための情報の入力を促す。この購入者固有の注文情報には、購入者の名前、購入者のクレジットカード番号、および注文の配送先住所が含まれ得る。次いで、サーバコンピュータシステムは、典型的に、確認用ウェブページ／モバイルアプリケーションページをクライアントコンピュータシステムに送ることによって注文を確認し、商品の出荷をスケジュールする。

【0004】

電子カタログからの様々な商品の選択は、典型的に、仮想買い物カゴのモデルに基づく。購入者が電子カタログから商品を選択すると、サーバコンピュータシステムは、例えば、その商品を仮想買い物カゴに追加する。購入者が商品の選択を終えると、買い物カゴの中の全ての商品が「チェックアウト」（すなわち、注文）され、その時点で、購入者は、請求および出荷情報を提供する。いくつかのモデルでは、購入者が任意の１つの商品を選択すると、その商品は、自動的に顧客に請求および出荷情報の入力を促すことによって、「チェックアウト」される。

【0005】

例えば、何十万もの顧客に対して週当たり２５万件を超える注文などの、週当たり比較的多数の注文を処理するオンライン小売業者の場合、顧客がカタログを閲覧し、仮想買い物カゴに商品を追加し、配達時間枠（delivery slot）を選択し、その注文を「チェックアウト」するにつれて、毎分何百万ものイベントがウェブページ／モバイルアプリケーション上で生成される。オンラインで運営する（operating）任意の小売業者が直面する１つの課題が、スマートかつ効率的な方法で、オンライン不正（fraud）として分類されるまれなインシデントを隔離および認識することである。

【0006】

オンライン不正は、典型的に、注文が配達されるが支払われないあらゆる事例をカバーする。不正は、単なる間違い（顧客が誤った個人情報を入力したか、または期限切れのクレジットカードを誤って使用したこと）の結果として起こり得るが、時として、それはまた、悪意の結果であり得、これらのケースを組み合わせると、毎日多くの注文が未払いのままということになり得る。

【0007】

従来、不正検出エージェントが、ある特定のインタラクションが不正である可能性が高いと考えるか否かの判断を下すために用いられている。決定は、主に直観に基づく。例えば、不正エージェントが、アルコールの異常に大量の注文を含む仮想カゴと、確認された不正事例との間の相関に気付いた場合には、不正エージェントは、今後もこの傾向に注意し続ける可能性がある。しかしながら、一旦不正行為者がその戦略があまり効果的でないことに気付くと、それらの不正行為者は、例えば、家庭用品を使用するなど、新しい戦略に移行する。

【0008】

いくつかのオンライン小売業者は、不正を検出するために「異常検出」アルゴリズムを使用する。例えば、注文が顧客の以前の注文とどの程度類似しているかを検出することによるものである。異常検出はまた、支払手段保有者および／または金融サービスプロバイダ（銀行）が、経時的なそれらの「正常な」行動からの相違（variances）を検出すること、または、いくつかのケースでは、Ｓｔｒｉｐｅ Ｒａｄａｒでのように、トランザクション処理ネットワークにわたる使用において、またはマーチャント平均（merchant averages）に基づいてのいずれかで、ペイメントカードに基づいて行動を検出することによって、実行され得る。クレジットカード会社の例では、不正は、典型的に、顧客が、いつもと違って、業者を１つの供給業者から別の供給業者に切り替えたかどうか、業者のタイプ、業者の名前（例えば、以前に顧客によって一度も使用されたことがない業者にフラグを立てるなど）、取引のバリュー（value）に基づいて、認可の要求を見ることによって検出される。

【0009】

しかしながら、不正行為を行う顧客は、通常、新しいアカウントを作成し、したがって、これらのアルゴリズムは、そのようなケースでは有効ではない。

【発明の概要】

【0010】

既知の不正検出システムにおける問題に鑑みて、本発明は、１秒当たりの多数のイベントが、数件の不正に効果的に低減されるような、不正検出のための装置および方法を提供することを目的とする。

【0011】

一般的には、本発明は、有利なビジネス知識を利用することによって、例えば、どの商品が不正行為を行う顧客によって購入される可能性がより高いかを決定することによって、より一般的な方法で不正注文のパターンを見つける。

【0012】

本発明によれば、顧客注文データベース、顧客注文履歴データベース、および不正統計データベースと通信するように構成された不正検出ユニットが提供される。不正検出ユニットは、顧客注文履歴データベース内の顧客注文履歴情報と、不正統計データベース内の不正統計情報とに基づいて、モデルをトレーニングするように構成されたトレーニングユニットと、トレーニングされたモデルおよび顧客注文データベース内の顧客注文情報に基づいて、注文が不正である確率を計算するように構成された計算ユニットとを備える。

【0013】

本発明はまた、前述されたような、顧客注文データベースと、顧客注文履歴データベースと、不正統計データベースと、不正検出ユニットとを備えるシステムを提供する。

【0014】

本発明はまた、不正を評価するために、ヒューリスティックス（heuristics）および機械学習のうちの少なくとも１つに依拠するように構成された少なくとも１つの不正評価器と、少なくとも１つの不正評価器を設定し（configure）、少なくとも１つの不正評価器の出力を評価するように構成された評価ゲートウェイとを備える不正検出コンピュータシステムを提供する。

【0015】

本発明はまた、顧客注文履歴データベースに記憶された顧客注文履歴情報と、不正統計データベースに記憶された不正統計情報とに基づいて、モデルをトレーニングするステップと、トレーニングされたモデルと、顧客注文データベースに記憶された顧客注文情報とに基づいて、注文が不正である確率を計算するステップとを備える、不正を検出する方法を提供する。

【0016】

本発明はまた、不正を評価するために、ヒューリスティックスおよび機械学習のうちの少なくとも１つに依拠する少なくとも１つの不正評価器を設けるステップと、少なくとも１つの不正評価器を設定するステップと、少なくとも１つの不正評価器の出力を評価するステップとを備える不正検出方法を提供する。

【0017】

次に、本発明の実施形態が、添付の図面を参照して単なる例として説明され、ここで、同様の参照番号は、同一または対応する部分を示す。

【図面の簡単な説明】

【0018】

【図1】図１は、本発明の第１の実施形態による、不正検出ユニットを示す概略図である。

【図2】図２は、本発明の第１の実施形態による、コンピュータシステムアーキテクチャの概略図である。

【図3】図３は、不正検出システムのさらなる詳細を示す概略図である。

【図4】図４は、本発明の第１の実施形態による、不正検出の方法を示すフローチャートである。

【発明を実施するための形態】

【第１の実施形態】

【0019】

図１は、本発明の第１の実施形態による、不正検出ユニット１００を図示する。この実施形態では、不正検出ユニット１００は、顧客注文履歴データベース２００、不正統計データベース３００、および顧客注文データベース４００と通信するように構成される。

【0020】

顧客注文履歴データベース２００は、各顧客およびそれらの顧客が所定の時間期間にわたって購入した商品に関する情報を記憶するように構成される。例えば、過去６ヶ月分の購入である。後述されるように、顧客の注文履歴は、モデルをトレーニングし、それによって、不正注文を検出するために、不正検出ユニット１００によって使用される。例えば、不正検出ユニット１００は、そこから顧客が商品のカタログを閲覧し、購入すべきものを選択し、それらの商品を「チェックアウト」し、および支払いを行う、オンラインショップと連携して使用され得る。

【0021】

不正統計データベース３００は、不正統計に関する情報を記憶するように構成される。例えば、不正な配達が通常配達されている特定の地理に関する不正統計である。同様に、不正統計データベース３００は、不正注文に対して以前に使用された電子メールアドレスに関する情報を記憶し得る。

【0022】

顧客注文データベース４００は、顧客に関する情報を、顧客が注文している／最近注文した現在の注文に関する情報と共に記憶するように構成される。例えば、顧客注文データベース４００は、顧客の名前、その電子メールアドレス、注文が配達されることになる住所、顧客の電話番号などを含む情報を記憶し得る。さらに、顧客注文データベース４００は、注文に固有の情報、例えば、注文の配達予定日（delivery time）、注文における商品に関する詳細（例えば、注文におけるアルコール商品の数）、または注文の総コストをさらに記憶し得る。

【0023】

本発明の第１の実施形態の不正検出ユニット１００は、トレーニングユニット１０１および計算ユニット１０２を備える。

【0024】

トレーニングユニット１０１は、不正の確率を計算するためのモデルをトレーニングするように構成される。モデルは、顧客注文履歴データベース２００内の顧客注文履歴情報および不正統計データベース３００内の不正統計情報に基づいてトレーニングされる。

【0025】

本発明者らは、不正検出の問題に対して欠点がある以前の解決策を考慮して、トレーニングユニット１０１によってトレーニングされたモデルによって、この問題にクラウドおよび機械学習（ＭＬ）を効果的に適用した。驚くべきことに、本発明者らは、不正検出の特定のアプリケーションへのＭＬの適用が、以前の解決策と比較して、改善された速度および適応性をもたらすことを見出した。さらに、不正行為者がその戦術を変更するにつれて、不正検出ユニットは、以前の解決策よりも迅速に新しいパターンを学習することができる。

【0026】

機械学習モデルは、現在の環境に基づいて発展し、それによって、将来の動向を予測する。

【0027】

トレーニングユニット１０１は、不正のケースを含む、過去の注文（顧客注文履歴データベース２００に記憶されている）から収集されたデータを利用し得る。それによって、検索された情報は、より信頼性の高いモデルをトレーニングするためのトレーニングデータとして使用され得る。

【0028】

このようにして、トレーニングユニット１０１は、例えば、顧客注文履歴データベース２００からの以下の情報を利用する：
・顧客の履歴行動（historical behaviour of the customer）（以前の注文、以前の不正注文、過去および将来における注文当たりの商品、注文の平均価格など）

【0029】

そして、不正統計データベース３００からは、以下の情報を利用する：
・アカウント（名前、電子メール、およびアカウント登録日に基づくアカウントに関する不正統計）
・住所（郵便番号または地理的地域に関する不正統計）

【0030】

モデルは、１回トレーニングされ、その後、計算ユニット１０２によって使用され得る。代替として、モデルは、所定の時間期間の後に再トレーニングされ、それによって、顧客および／または不正行為者の行動が変化するにつれて、モデルを更新し得る。さらに、モデルは、「オフライン」で、すなわち、顧客による特定の買い物体験とは別個にトレーニングされ得る。このようにして、モデルは、顧客にサービス提供している間に（特に計算集約的なプロセスである）トレーニングされる必要はなく、代わりに、少数の顧客がサービス提供されているときに計算される。

【0031】

計算ユニット１０２は、顧客注文データベース内の顧客注文情報に基づいて、注文が不正である確率を計算するように構成される。より具体的には、計算ユニット１０２は、トレーニングユニット１０１によってトレーニングされたモデルを利用し、それによって、行われている顧客注文に関する情報に基づいて、注文が不正注文である確率を計算し得る。確率が所定のしきい値を超えるとき、計算ユニット１０２は、注文を停止する、および／または、不正注文が検出されたことを注文マネージャに警告するように構成され得る。このようにして、注文の処理は、（例えば、注文された商品を配達しないこと、および／または、顧客の支払い方法に請求しないこと（not charging）によって）停止され得る。一例では、注文マネージャは、注文を検査し、さらなる調査のために警察／不正機関にインシデントを報告するかどうかを決定し得る。さらに、注文の詳細は、顧客注文履歴データベース２００に記憶され、不正とマークされ得、これは順に（in turn）、不正注文をどのように検出するかについてモデルをトレーニングするために使用され得る。

【0032】

特に、計算ユニット１０２は、顧客の仮想カゴの中の商品に関する情報を、顧客の住所などの顧客固有の情報と共に利用し得る。

【0033】

より具体的には、例えば、以下の情報が、顧客注文データベース４００から使用され得る：
・支払い（例えば、支払い方法タイプに関する情報、例えば、支払い手段のタイプ、カードタイプ、作成時間、最後の使用および／または支払いステータス）
・カゴ（例えば、注文におけるアイテムの数、合計、配達予定日、注文が行われた日時、予約された配達日、注文が行われてから配達までの残りの時間、注文における商品の多様性（variety of products in the order）、使用されたプロモーションおよびバウチャー、注文の合計価格などの、評価されている現在の注文に関する情報）
・注文におけるアイテム（例えば、現在の注文で購入されたアイテムに関する詳細、例えば、そのようなアイテムが過去の不正注文に関連するか／関連しないか、および／またはどのくらいの頻度でこの商品が不正／非不正注文に現れるか）
・履歴（例えば、その顧客の過去の注文に関する統計）
・アカウント（例えば、同じ名前、電子メール、およびアカウント登録日を有するアカウントに関する不正統計）
・住所（例えば、注文が配達されることになる配達先住所、郵便番号、および／または地理的地域に関する不正統計、郵便番号が配達先住所と一致するかどうか）
・セッション（例えば、注文が行われたセッションの特徴、ならびに過去のセッションの統計、注文を行っている間の顧客の行動：顧客が注文を行うのにかかった時間、訪れたページ数など）
・カテゴリ（例えば、カテゴリ（アルコール、タバコ、生鮮食品、家庭用商品など）によってグループ化された、注文における商品の各カテゴリについてのアイテム出現頻度、商品の数、注文商品の合計価格（割引ありおよび割引なし））。

【0034】

上記の特徴は、トレーニングユニット１０１によってモデルをトレーニングするために使用されるとともに、不正注文の確率を計算するために、計算ユニット１０２によって使用され得る。

【0035】

さらに、以下のうちの少なくとも１つは、トレーニングユニット１０１によってモデルへとトレーニングされ、および／または、注文が不正である確率を計算するために、計算ユニット１０２によって使用され得る：
・注文がシガレットを含むかどうか
・顧客アカウントにおける電子メールアドレスが、それが不正目的のために機械によって生成されたことを意味し得る番号を含むかどうか
・アカウント上の郵便番号が、支払いが失敗した以前の注文で使用されていたかどうか
・電子メールドメイン、例えば、＠ｒｉｐｏｆｆｓ．ｓｃ．ａｍが、過去に不正注文に結び付けられていたかどうか
・電話番号が、不正であることが示された以前の注文で使用されていたかどうか
・注文におけるアルコールの総額が異常に高いかどうか
・この注文における商品のほとんどがアルコール飲料であり、他の商品がほとんど含まれていないかどうか
・この注文の総額が異常に高いかどうか
・この注文が同じ商品を多く含むかどうか、これは、それらが転売を目的としたものであることを示唆し得る
・配達予定日が何日も先にスケジュールされているかどうか
・注文が複数のシガレットブランドを含むかどうか、それらが転売を目的としたものであることを示唆し得る
・この注文がＰａｙＰａｌによって支払われ、総額が異常に高いかどうか
・このアカウントが不正として拒否された過去の注文を有するかどうか
・電子メールアドレスが無効とみなされるかどうか（appears to be invalid）
・アカウントの郵便番号が過去に不正に結び付けられていたかどうか
・顧客によって提供された郵便番号が、顧客によって提供された住所について正確でないかどうか。

【0036】

これらの特徴は、過去の注文について計算された集計データと比較して、新しい注文の不正の確率を予測するために、新しい注文がシステムに入ってきたときに、モデルと共にリアルタイムで使用される。

【0037】

このようにして、以前の顧客および注文データは、顧客注文履歴データベース２００からアクセスされる。以前の顧客および注文データは、例えば、上に列挙した基準（例えば、注文における同じ商品の数をカウントすること）に基づいて集計される。次いで、データは正規化され、機械学習モデルをトレーニングするために使用される。次いで、モデルは、計算ユニット１０２によるリアルタイム予測のために使用される。

【0038】

それによって、新しい注文が行われたときに、不正の確率が計算される。このために、注文に含まれるデータ（商品、顧客の詳細など）は、過去のデータをリアルタイムデータとマージするためのそれらの属性（例えば、顧客が過去に何回注文を行ったか？このブランドのワインが不正注文に何回現れたか？）に基づいて集計された過去のデータと共に使用される。

【0039】

本発明者らは、このような不正検出ユニット１００を実装するにあたって、いくつかの課題に直面した。特に、リアルタイム予測中の応答時間、遠隔システムに接続するエラーの確率、または機械学習アルゴリズムの精度不良を解決することが、特に困難であった。

【0040】

図２に示されるように、このような問題の影響を軽減するために、本発明者らは、たとえそれらが失敗したとしても、システムの全体的な挙動に影響を及ぼすことなく、製造におけるいくつかの機械学習アルゴリズムのテストを許可するコンピュータシステムアーキテクチャを設計した。

【0041】

それによって、本発明者らは、少なくとも１つの不正評価器５０２ａ～５０２ｎを呼び出す、評価ゲートウェイ５０１と呼ばれる、ディスパッチャとして機能するように構成されたサービスを考案した。各不正評価器５０２ａ～５０２ｎは、予め定義された規則などのヒューリスティックベースのシステム、そしてまた、機械学習に基づく他のシステムに依拠するように構成され得る。

【0042】

評価ゲートウェイ５０１は、各不正評価器についての以下の特性を用いて（with）、複数の不正評価器５０２ａ～５０２ｎを設定することを可能にするように構成される：
◆ 状態（有効、無効、または監査）。有効になっている不正評価器が、その意図された役割を実行し、評価ゲートウェイ５０１の応答に寄与することになる。無効になっている不正評価器は呼び出されない。
◆ パーセンテージ、この不正評価器が、評価ゲートウェイ５０１が返す総応答にどれくらいの割合で寄与するかを示す。

【0043】

一例として、３つの不正評価器（Ｅａ、Ｅｂ、Ｅｃ）と以下の設定とを有する：
・ Ｅａ：
○ 状態：有効
○ パーセンテージ：８０％
・ Ｅｂ：
○ 状態：監査
○ パーセンテージ：Ｎ／Ａ
・ Ｅｃ：
○ 状態：有効
○ パーセンテージ：２０％

【0044】

各不正評価器は、確率推定を独立して実行する。この点に関して、不正評価器の重みは、確率推定が独立して実行されるので、合計して１００％になる必要はない。

【0045】

さらに、所与のパラメータセットを用いた評価サービスへの呼び出しが、例えば、以下の値を返すと仮定する：
・ Ｅａ： ８０
・ Ｅｂ： ２０００
・ Ｅｃ： ５０

【0046】

それによって、評価ゲートウェイ５０１によって計算されるスコアは、この例では、７４であり、これは、０．８＊８０＋０．２＊５０として計算され得る。不正評価器Ｅｂは、監査モードにあり、したがって、評価ゲートウェイによって計算されるスコアに寄与しない。

【0047】

しかしながら、これは、不正評価器の最終結果を決定する１つの方法にすぎない。代わりに、最終結果は、いくつかの異なる方法で決定され得る。例えば、最終結果は、全ての結果の平均、結果の加重平均、および／または「最大スコア勝利（maximum score wins）」手法として取られ得る。既に説明されたように、一部の評価器は、無効にされ得る。

【0048】

評価ゲートウェイ５０１は、回復力（resiliency）および耐障害性（fault tolerance）を備えて構築される。不正評価器への呼び出しが予想以上に長くかかる場合、その呼び出しは、評価ゲートウェイ５０１に対して定義された最大応答時間に影響を及ぼさない。

【0049】

同様に、不正評価器５０２ｎへの呼び出しが失敗した場合、評価ゲートウェイ５０１は、その不正評価器５０２ｎへの再試行の回数を定義することを可能にするように構成され、最終的にそれが成功しなかった場合、評価ゲートウェイ５０１は、全ての成功した不正評価器（不正評価器５０２ｎは除外される）に基づいて、スコアを返すことになる。

【0050】

このようにして、いくつかの予測器（predictors）がプロダクション環境において組み合わされる。

【0051】

本明細書で説明されるモデルは、例えば、それを監査モードでリリースし、次いで、それが予期されるように挙動するかを確かめるために、増大されることになる少ないパーセンテージでそれを有効にすることによって、再トレーニングされる。

【0052】

それは、ヒューリスティック規則に基づく任意のシステムに適用され得る。例えば、分類問題（スパム検出、不正検出など）、回帰問題（価格予測、需要予測など）、さらには異常検出（ユーザーアカウントの乗っ取り、クレジットカードの盗難など）などの、異なるタイプの問題が、このアーキテクチャを用いてアプローチされ得る。

【0053】

次いで、これらの２つのデータソースを使用する統合されたデータが、予測エンドポイントに渡される。

【0054】

図３は、他の特徴と共に不正検出ユニット１００を実装するために使用され得るインフラストラクチャの詳細を示す図である。特に、図３は、顧客によって行われた注文が、不正を評価するための「不正Ｅｖａｌ（Fraud Eval）」と共に使用される「不正ＷＳ（Fraud WS）」において記憶および使用されていることを示す。図２に関して前に説明されたように、「不正Ｅｖａｌ」は、顧客注文において不正が行われたかどうかを評価するために、機械言語および／または規則ベースのエンジンをインスタンス化するために使用され得る。この点に関して、図３は、不正が行われた確率を決定するために、データプラットフォーム／データストレージ／データマネージャからの情報とともに、機械学習評価器の出力を使用するように構成された不正検出サブユニットを示す。

【0055】

特に、データプラットフォーム／データストレージ／データマネージャは、以前の注文（例えば、顧客によって以前に購入された商品）、（注文を購入している間のオンラインショップ（ウェブショップ）における）顧客行動、および支払い（例えば、使用された支払い方法、どの方法が典型的に不正注文をもたらすか）に関する情報、ならびに顧客に関するさらなる情報を検索する（retrieve）ように構成される。検索されたデータは、トレーニングユニット１０１に関して前に言及したように、ＭＬエンジンをトレーニングするために使用される。

【0056】

不正ＭＬの出力は、トレーニングされたモデルと共に、顧客によって不正が行われたかどうかを予測するために使用されることが示されている。

【0057】

図４は、本発明の第１の実施形態による、不正検出器を動作させる方法Ｓ４００によって実行されるステップを有するフローチャートを示す。

【0058】

方法Ｓ４００は、顧客注文履歴データベースに記憶された顧客注文情報と、不正統計データベースに記憶された不正統計情報とに基づいて、モデルをトレーニングする第１のステップＳ４０１から開始する。このようにして、モデルは、以前の不正注文に関する情報を含む、以前の顧客の注文に関する履歴情報に基づいてトレーニングされる。さらに、このモデルは、不正統計データベース内の情報に基づいて、不正注文の典型的な特徴に関する情報でトレーニングされる。例えば、不正統計データベースは、不正注文が典型的に配達のために注文される典型的な郵便番号および／または地理的地域に関する情報を備え得る。同様に、コンピュータのＩＰアドレスおよび／または不正注文を行うためにそれらのコンピュータによって使用されるインターネットサービスプロバイダが、モデルをトレーニングする際に使用するために、不正統計データベースに記憶され得る。それによって、モデルは、以前の不正注文情報に基づいてトレーニングされる。

【0059】

ステップＳ４０２において、モデルは、行われている／ちょうど行われた注文が不正注文である確率を計算するために、顧客によって行われている／ちょうど行われた注文に関する情報と共に、使用される。より具体的には、計算ステップＳ４０２は、トレーニングされたモデルと、顧客注文データベースに記憶された顧客注文情報とに基づいて、注文が不正である確率を計算する。例えば、顧客注文データベースは、注文された商品、これらの商品が以前に注文されたかどうか、それらが配達されることになる住所、使用される支払い方法、および注文の合計価格など、顧客によって行われている／ちょうど行われた注文に関する情報を備え得る。このようにして、注文情報は、この注文が不正であるかどうかの確率を計算するために、モデルと共に使用される。

【修正例および変形例】

【0060】

多くの修正および変形が、本発明の範囲から逸脱することなく、上述の実施形態に対して行われ得る。

【0061】

例えば、上述の第１の実施形態は、商品の類似性および／または顧客注文履歴情報などの顧客によって行われた注文間の類似性を決定するために、「埋め込み」（「単語埋め込み（word embeddings）」とも呼ばれる）を使用し得る。この点に関して、「埋め込み」は、「商品埋め込み（product embeddings）」とも呼ばれ得る。商品埋め込みは、全ての商品に、所定の長さの数学的ベクトルを割り当て、例えば、キュウリは、［１．０，－０．９，７．０］、すなわち、実数のベクトルとして表され得る。このような表現は、特に機械学習とともに使用されるとき、多くの利点を有する。特に、商品埋め込みは、商品間の関係をよりよく発見するのに役立つように、類似商品および補完商品のより容易な定義を可能にする。同様に、このような技法は、顧客の注文に適用されて、それらの間の類似性を決定し得る。さらに、それは、顧客行動におけるパターンの発見、および顧客の買い物カゴの内容の理解を可能にする。このようにして、商品は、商品ごとに１次元を有する空間から、より低い次元を有する連続ベクトル空間に数学的に埋め込まれる。

【0062】

特に、トレーニングユニットは、埋め込みに基づく、顧客注文履歴データベースに記憶された以前の顧客の注文に関する情報と、別のこの顧客の以前の注文に関する情報との間の少なくとも１つの類似性に基づいて、モデルをトレーニングするように構成され得る。例えば、各注文は、数学的ベクトル（数学的ベクトルは、顧客注文履歴データベースに記憶されている）を割り当てられ得、注文間の類似性は、記憶された数学的ベクトルに基づいて決定される。

【0063】

追加または代替として、顧客の以前の注文における各商品は、商品埋め込みを割り当てられ得る。このようにして、注文間の類似性は、（商品埋め込みを使用して）商品間の類似性を比較することによって決定され、これにより、以前の注文の全体的な類似性を決定し得る。

【0064】

商品埋め込みに関して使用され得るソフトウェアの例は、「ｗｏｒｄ２ｖｅｃ」および／または「ｄｏｃ２ｖｅｃ」である。Ｗｏｒｄ２ｖｅｃは、ベクトル空間における作業表現の効率的な推定を提供し、一方、ｄｏｃ２ｖｅｃは、文および文書の分散表現を提供する。

【0065】

上述の第１の実施形態に対するさらなる修正が、モデルをさらにトレーニングするために、顧客フィードバックを利用し、それによって、不正の誤検出（false positive）を低減させることである。特に、フィードバックループは、（例えば、注文が不正であるかどうかを決定するために、顧客の注文履歴を使用して）前述された顧客の特徴を超えて拡張する。この修正では、注文が不正であると決定された場合、顧客は、不正注文が行われたことを通知される。このシナリオでは、注文が不正であるとマークされた場合、顧客の支払い方法に対して請求は行われず、注文は顧客に発送されないことになる。これは、顧客の支払い方法に請求しないことにより、顧客を守りながら、不正行為者が注文を受け取ることを阻止することによって、不正行為者に対して好適に防御する。

【0066】

しかしながら、いくつかのケースでは、注文は、不正注文と間違えられた本物の顧客注文であった可能性がある。したがって、この例では、顧客は、注文が不正とマークされて、出荷されないことを通知されることになる。例えば、顧客は、不正であると考えられる注文が行われたことを示す電子メールまたはテキストメッセージを受信し得る。メッセージは、注文が不正でない場合にカスタマーサービスに連絡するように顧客に促す情報を含み得る。

【0067】

顧客が、本人によって本当に行われた注文が不正とマークされたことに気付くと、彼らは、注文が本物であることを確認するために、カスタマーサービスに連絡することになる。したがって、注文は出荷され、顧客の支払い方法に請求されることになる。その後、将来のモデルは、モデルのトレーニングにおいて、このさらなる情報（注文の内容およびそれが本物の注文であったことなど）を使用して、将来行われる類似の注文が、不正とマークされる可能性を低減させ得る。このようにして、顧客の体験が向上される。

【0068】

このように、本発明は、誤検出フィードバックループを形成するための上述の方法を利用して、機械学習モデルを改善するように修正され得る。より具体的には、誤検出データが、モデルを改善するために使用されるように、トレーニングユニット１０１にフィードバックされ得る。評価が誤検出であることが検出されるたびに（例えば、顧客が、キャンセルされた注文が不正であったことを証明するために、カスタマーケアに電話するとき）、その評価は記録され、モデルを再トレーニングするために使用される。

【0069】

別の例となる修正は、不正行為者が、不正を行うために、不正行為者がアクセスを得た正規のアカウントを使用している場合を検出することである。この特定の不正行為は、（上述された）商品を注文しそれらに対して支払わないこととは同じではなく、なぜなら、この事例では、注文は支払われる可能性が高いが、後にアカウントの所有者が不正に気付き、次いで、チャージバック、すなわち、注文に対して支払われたお金の払い戻しを要求し得るからである。このような悪意のある注文は、それらが正当なアカウントを使用するので、検出するのがより困難である。しかしながら、上述のＭＬ技法を用いることによって、データは、ユーザセッションに関する情報（ウェブブラウザにおける変更が検出されたかどうか、および／またはＩＰアドレスの変更など）およびアドレス（新たに追加されたアドレスに出荷される注文など）、ならびに注文の他の特性を使用して、モデルに（再トレーニングなどを介して）含まれ得る。このようにして、注文のさらなる特徴が、ユーザのアカウントの違法な使用を検出するために使用される。

【0070】

本発明の実施形態の前述の説明は、例示および説明の目的で提示されている。それは、網羅的であること、または本発明を開示されたとおりの形態に限定することを意図したものではない。修正および変更が、本発明の趣旨および範囲から逸脱することなく行われ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
顧客注文データベース、顧客注文履歴データベース、および不正統計データベースと通信するように構成された不正検出ユニットであって、
前記顧客注文履歴データベース内の顧客注文履歴情報と、前記不正統計データベース内の不正統計情報とに基づいて、モデルをトレーニングするように構成されたトレーニングユニットと、
前記トレーニングされたモデルおよび前記顧客注文データベース内の顧客注文情報に基づいて、注文が不正である確率を計算するように構成された計算ユニットと
を備える不正検出ユニット。
［Ｃ２］
前記トレーニングユニットは、
顧客の履歴行動、
顧客の以前の注文の内容、
以前の不正注文、
注文当たりの商品、
注文の平均価格、
名前、電子メール、および／またはアカウント登録日に基づくアカウントに関する不正統計、
郵便番号および／または地理的地域に関する不正統計、
支払い情報、
カゴ情報、
注文情報におけるアイテム、
履歴情報、
アカウント情報、
住所情報、
セッション情報、および
カテゴリ情報、
のうちの少なくとも１つに基づいて、前記モデルをトレーニングするように構成される、Ｃ１に記載の不正検出ユニット。
［Ｃ３］
前記トレーニングユニットは、所定の時間期間の後に、前記モデルを再トレーニングするように構成される、Ｃ１または２に記載の不正検出ユニット。
［Ｃ４］
前記トレーニングユニットは、顧客による特定の買い物体験とは別個に前記モデルをトレーニングするように構成される、Ｃ１～３のいずれか一項に記載の不正検出ユニット。
［Ｃ５］
前記計算ユニットは、
支払い情報、
カゴ情報、
注文情報におけるアイテム、
履歴情報、
アカウント情報、
住所情報、
セッション情報、
カテゴリ情報、
支払いステータス、
支払い方法、
注文が行われた日時、
予約された配達日、
注文が行われてから配達までの残りの時間、
前記注文における商品の多様性、
使用されたプロモーションおよびバウチャー、
前記注文の合計価格、
前記注文における商品、
どのくらいの頻度で商品が不正／非不正注文に現れるか、
同じ名前、電子メール、および／またはアカウント登録日を有するアカウントに関する不正統計、
前記注文が配達されることになる前記郵便番号および／または地理的地域に関する不正統計、
前記注文を行っている間の前記顧客の行動、
前記顧客が前記注文を行うのにかかった時間、
前記注文を行っているときに前記顧客が訪れたページ数、
前記注文における商品の数、
カテゴリによってグループ化された、前記注文商品の割引ありおよび割引なしの合計価格、
前記注文がシガレットを含むかどうか、
前記顧客アカウントにおける前記電子メールアドレスが番号を含むかどうか、
前記アカウント上の前記郵便番号が、支払いが失敗した以前の注文で使用されていたかどうか、
前記電子メールドメインが、過去に不正注文に結び付けられていたかどうか、
前記電話番号が、不正であることが示された以前の注文で使用されていたかどうか、
前記注文におけるアルコールの総額が異常に高いかどうか、
この注文における前記商品のほとんどがアルコール飲料であるかどうか、
この注文の総額が異常に高いかどうか、
この注文が同じ商品を多く含むかどうか、
配達予定日が何日も先にスケジュールされているかどうか、
前記注文が複数のシガレット銘柄を含むかどうか、
この注文がＰａｙＰａｌによって支払われ、総額が異常に高いかどうか、
このアカウントが不正として拒否された過去の注文を有するかどうか、
前記電子メールアドレスが無効とみなされるかどうか、および
前記アカウントの前記郵便番号が、過去に不正に結び付けられていたかどうか、
のうちの少なくとも１つに基づいて、注文が不正である確率を計算するように構成される、Ｃ１～４のいずれか一項に記載の不正検出ユニット。
［Ｃ６］
前記計算ユニットは、前記計算された確率が所定のしきい値を超えるとき、
前記注文が不正であると決定すること、
前記注文の処理を停止すること、
前記注文の配達を停止すること、
顧客の支払い方法から支払を受け取ることを停止すること、
不正注文が検出されたことを警察／不正機関に警告すること、
不正注文が検出されたことを注文マネージャに警告すること、
前記不正注文の詳細を前記顧客注文履歴データベースに記憶すること、および
前記トレーニングユニットに、前記不正注文の詳細を用いて前記モデルを再トレーニングさせること、
のうちの少なくとも１つを実行するように構成される、Ｃ１～５のいずれか一項に記載の不正検出ユニット。
［Ｃ７］
システムであって、
顧客注文データベースと、
顧客注文履歴データベースと、
不正統計データベースと、
Ｃ１～６のいずれか一項に記載の不正検出ユニットと、
を備えるシステム。
［Ｃ８］
不正検出コンピュータシステムであって、
不正を評価するために、ヒューリスティックおよび機械学習のうちの少なくとも１つに依拠するように構成された少なくとも１つの不正評価器と、
前記少なくとも１つの不正評価器を設定し、前記少なくとも１つの不正評価器の出力を評価するように構成された評価ゲートウェイと、
を備える不正検出コンピュータシステム。
［Ｃ９］
前記少なくとも１つの不正評価器は、有効にされ、無効にされ、または監査されるように設定され、前記少なくとも１つの不正評価器の出力の所定の部分を前記評価ゲートウェイに寄与するように設定されるように構成される、Ｃ８に記載の不正検出システム。
［Ｃ１０］
前記評価ゲートウェイは、所定回数の評価の再試行が、前記少なくとも１つの不正評価器に関して実行されることを可能にするように構成される、Ｃ８またはＣ９に記載の不正検出システム。
［Ｃ１１］
不正を検出する方法であって、
顧客注文履歴データベースに記憶された顧客注文履歴情報と、不正統計データベースに記憶された不正統計情報とに基づいて、モデルをトレーニングするステップと、
前記トレーニングされたモデルと、顧客注文データベースに記憶された顧客注文情報とに基づいて、注文が不正である確率を計算するステップと
を備える方法。
［Ｃ１２］
前記トレーニングするステップは、
顧客の履歴行動、
顧客の以前の注文の内容、
以前の不正注文、
注文当たりの商品、
注文の平均価格、
名前、電子メール、および／またはアカウント登録日に基づくアカウントに関する不正統計、
郵便番号および／または地理的地域に関する不正統計、
支払い情報、
カゴ情報、
注文情報におけるアイテム、
履歴情報、
アカウント情報、
住所情報、
セッション情報、および
カテゴリ情報、
のうちの少なくとも１つに基づいて、前記モデルをトレーニングする、Ｃ１１に記載の方法。
［Ｃ１３］
前記トレーニングユニットは、所定の時間期間の後に、前記モデルを再トレーニングするように構成される、Ｃ１１または１２に記載の方法。
［Ｃ１４］
前記トレーニングユニットは、顧客による特定の買い物体験とは別個に前記モデルをトレーニングするように構成される、Ｃ１１～１３のいずれか一項に記載の方法。
［Ｃ１５］
前記計算ユニットは、
支払い情報、
カゴ情報、
注文情報におけるアイテム、
履歴情報、
アカウント情報、
住所情報、
セッション情報、
カテゴリ情報、
支払いステータス、
支払い方法、
注文が行われた日時、
予約された配達日、
注文が行われてから配達までの残りの時間、
前記注文における商品の多様性、
使用されたプロモーションおよびバウチャー、
前記注文の合計価格、
前記注文における商品、
どのくらいの頻度で商品が不正／非不正注文に現れるか、
同じ名前、電子メール、および／またはアカウント登録日を有するアカウントに関する不正統計、
前記注文が配達されることになる郵便番号および／または地理的地域に関する不正統計、
前記注文を行っている間の前記顧客の行動、
前記顧客が前記注文を行うのにかかった時間、
前記注文を行っているときに前記顧客が訪れたページ数、
前記注文における商品の数、
カテゴリによってグループ化された、前記注文商品の割引ありおよび割引なしの合計価格、
前記注文がシガレットを含むかどうか、
前記顧客アカウントにおける前記電子メールアドレスが番号を含むかどうか、
前記アカウント上の前記郵便番号が、支払いが失敗した以前の注文で使用されていたかどうか、
前記電子メールドメインが、過去に不正注文に結び付けられていたかどうか、
前記電話番号が、不正であることが示された以前の注文で使用されていたかどうか、
前記注文におけるアルコールの総額が異常に高いかどうか、
この注文における前記商品のほとんどがアルコール飲料であるかどうか、
この注文の総額が異常に高いかどうか、
この注文が同じ商品を多く含むかどうか、
配達予定日が何日も先にスケジュールされているかどうか、
前記注文が複数のシガレット銘柄を含むかどうか、
この注文がＰａｙＰａｌによって支払われ、総額が異常に高いかどうか、
このアカウントが不正として拒否された過去の注文を有するかどうか、
前記電子メールアドレスが無効とみなされるかどうか、
前記アカウントの前記郵便番号が、過去に不正に結び付けられていたかどうか、
のうちの少なくとも１つに基づいて、注文が不正である前記確率を計算するように構成される、Ｃ１１～１４のいずれか一項に記載の方法。
［Ｃ１６］
前記計算するステップは、前記計算された確率が所定のしきい値を超えるとき、
前記注文が不正であると決定すること、
前記注文の処理を停止すること、
前記注文の配達を停止すること、
顧客の支払い方法から支払を受け取ることを停止すること、
不正注文が検出されたことを警察／不正機関に警告すること、
不正注文が検出されたことを注文マネージャに警告すること、
前記不正注文の詳細を前記顧客注文履歴データベースに記憶すること、および
前記トレーニングするステップに、前記不正注文の詳細を用いて前記モデルを再トレーニングさせること、
のうちの少なくとも１つを備える、Ｃ１１～１５のいずれか一項に記載の方法。
［Ｃ１７］
不正検出方法であって、
不正を評価するために、ヒューリスティックスおよび機械学習のうちの少なくとも１つに依拠する少なくとも１つの不正評価器を設けるステップと、
前記少なくとも１つの不正評価器を設定するステップと、
前記少なくとも１つの不正評価器の出力を評価するステップと
を備える不正検出方法。
［Ｃ１８］
前記設定するステップは、前記少なくとも１つの不正評価器を、有効にされ、無効にされ、または監査されるように設定することと、前記少なくとも１つの不正評価器の出力の所定の部分を提供することとを備える、Ｃ１７に記載の不正検出方法。
［Ｃ１９］
前記方法は、所定回数の評価の再試行が、前記少なくとも１つの不正評価器に関して実行されることを可能にするステップをさらに備える、Ｃ１７またはＣ１８に記載の不正検出方法。

【図1】

【図2】

【図3】

【図4】