(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135696
(43)【公開日】2023-09-29
(54)【発明の名称】判定システム、判定方法、およびプログラム
(51)【国際特許分類】
G06Q 30/0601 20230101AFI20230922BHJP
【ＦＩ】
G06Q30/06 300
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022040911
(22)【出願日】2022-03-16
(71)【出願人】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100181124
【弁理士】
【氏名又は名称】沖田 壮男
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】塚原 剛
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB22
(57)【要約】 （修正有）
【課題】不正の疑いがあると判定される対象の数の最適化と精度の高い判定とを実現する判定システム、判定方法及びプログラムを提供する。
【解決手段】判定システム１において、判定装置５０は、電子商取引の内容を示す判定対象情報を取得する情報取得部５２と、複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルール毎の実績値と不正の判定に適用できる資源の度合とに基づいて、複数のルールの中から判定に用いるルールの組み合わせを設定する設定部５８と、設定部５８が設定したルールの組み合わせと、判定対象情報とに基づいて、判定を行う判定部５４と、を備える。
【選択図】図１
【解決手段】判定システム１において、判定装置５０は、電子商取引の内容を示す判定対象情報を取得する情報取得部５２と、複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルール毎の実績値と不正の判定に適用できる資源の度合とに基づいて、複数のルールの中から判定に用いるルールの組み合わせを設定する設定部５８と、設定部５８が設定したルールの組み合わせと、判定対象情報とに基づいて、判定を行う判定部５４と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
電子商取引の内容を示す判定対象情報を取得する取得部と、
複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定する設定部と、
前記設定部が設定したルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行う判定部と
を備える判定システム。
複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定する設定部と、
前記設定部が設定したルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行う判定部と
を備える判定システム。
【請求項2】
前記実績値は、不正の疑いがあると判定された結果に対する正解の度合を示す適合率と、不正の疑いがあると判定された検知数である、
請求項１に記載の判定システム。
請求項１に記載の判定システム。
【請求項3】
前記資源の度合は、前記判定の処理に関わる人員に関する指標である、
請求項１または２に記載の判定システム。
請求項１または２に記載の判定システム。
【請求項4】
前記人員に関する指標は、１件の判定に対して人員に含まれるスタッフが掛けられる時間と、前記人員が判定に掛けられる総時間とを含む、
請求項３に記載の判定システム。
請求項３に記載の判定システム。
【請求項5】
前記設定部は、前記実績値および前記資源の度合を示す指標を含むパラメータを、数理計画法に基づくモデルに適用して、前記ルールの組み合わせを決定する、
請求項１から４のうちいずれか１項に記載の判定システム。
請求項１から４のうちいずれか１項に記載の判定システム。
【請求項6】
前記モデルは、前記資源の度合を制約条件とした場合において、前記不正の疑いを有すると判定する件数を閾値以上にする前記ルールの組み合わせを導出するモデルである、
請求項５に記載の判定システム。
請求項５に記載の判定システム。
【請求項7】
前記実績値は、不正の疑いがあると判定された結果に対する正解の度合を示す適合率と、不正の疑いがあると判定された検知数であり、
前記資源の度合は、前記判定の処理に関わる人員に関する指標であり、
前記設定部は、前記実績値および資源の度合を示す指標を含むパラメータを、数理計画法に基づくモデルに適用して、前記ルールの組み合わせを決定する、
請求項１から６のうちいずれか１項に記載の判定システム。
前記資源の度合は、前記判定の処理に関わる人員に関する指標であり、
前記設定部は、前記実績値および資源の度合を示す指標を含むパラメータを、数理計画法に基づくモデルに適用して、前記ルールの組み合わせを決定する、
請求項１から６のうちいずれか１項に記載の判定システム。
【請求項8】
前記資源の度合は、前記判定の処理に関わる人員に関する指標であり、
前記人員に関する指標が所定の度合以上変化する場合に、
前記設定部は、前記ルールの組み合わせを設定する処理を行う、
請求項１から７のうちいずれか１項に記載の判定システム。
前記人員に関する指標が所定の度合以上変化する場合に、
前記設定部は、前記ルールの組み合わせを設定する処理を行う、
請求項１から７のうちいずれか１項に記載の判定システム。
【請求項9】
前記複数のルールに新たなルールが追加された、前記複数のルールのうちいずれかのルールが削除された、または前記複数のルールのうちいずれかのルールが改変された場合、前記設定部は、前記ルールの組み合わせを設定する処理を行う、
請求項１から８のうちいずれか１項に記載の判定システム。
請求項１から８のうちいずれか１項に記載の判定システム。
【請求項10】
前記電子商取引の取引数が所定の度合以上増加すると見込まれる情報が取得された場合、前記設定部は、前記ルールの組み合わせを設定する処理を行う、
請求項１から９のうちいずれか１項に記載の判定システム。
請求項１から９のうちいずれか１項に記載の判定システム。
【請求項11】
前記複数のルールまたは前記組み合わせに含まれるルールのそれぞれは、ルールの判定の結果が重複しないルールである、
請求項１から１０のうちいずれか１項に記載の判定システム。
請求項１から１０のうちいずれか１項に記載の判定システム。
【請求項12】
前記電子商取引は、少なくとも、ショッピング、オークション、フリーマーケット、施設の利用の予約、またはサービスの提供の予約を含む、
請求項１から１１のうちいずれか１項に記載の判定システム。
請求項１から１１のうちいずれか１項に記載の判定システム。
【請求項13】
一以上のコンピュータが、
電子商取引の内容を示す判定対象情報を取得し、
複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定し、
前記設定したルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行う、
判定方法。
電子商取引の内容を示す判定対象情報を取得し、
複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定し、
前記設定したルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行う、
判定方法。
【請求項14】
コンピュータに、
電子商取引の内容を示す判定対象情報を取得させ、
複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定させ、
前記設定させたルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行わせる、
プログラム。
電子商取引の内容を示す判定対象情報を取得させ、
複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定させ、
前記設定させたルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行わせる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定システム、判定方法、およびプログラムに関する。
【背景技術】
【0002】
従来、ルール情報に基づいて、不正の疑いがある商取引を特定する監視装置が開示されている（例えば、特許文献１参照）。この監視装置は、ルール情報のパラメータを調整することで、チェック依頼が行われる不正商取引候補の数が最適化されるようにルール情報を更新する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１１３１７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の技術では、パラメータを調整するため精度の高い判定がされない場合があった。
【0005】
本発明は、このような事情が考慮されたものであり、不正の疑いがあると判定される対象の数の最適化と精度の高い判定とを実現することができる判定システム、判定方法、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0006】
本発明の一態様は、判定システムは、電子商取引の内容を示す判定対象情報を取得する取得部と、複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定する設定部と、前記設定部が設定したルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行う判定部とを備える。
【発明の効果】
【0007】
本発明の一態様によれば、不正の疑いがあると判定される対象の数の最適化と精度の高い判定とを実現することができる。
【図面の簡単な説明】
【0008】
【図1】判定システム１の機能構成の一例を示す図である。
【図2】処理の流れの一例を示すシーケンス図である。
【図3】サービス提供装置１０が有する利用者情報３２の内容の一例を示す図である。
【図4】判定対象情報の内容の一例を示す図である。
【図5】ルール情報６２および設定ルール情報７０の内容の一例を示す図である。
【図6】実績情報６４の一例を示す図である。
【図7】リソース情報６６の内容の一例を示す図である。
【図8】最適化モデル６８の処理を概念的に示す図である。
【図9】最適化モデル６８の考え方を示す図である。
【図10】本実施形態の処理を適用した結果と適用しなかった結果の一例を示す図である。
【図11】設定部５８が処理を実行するタイミングを示すフローチャートである。
【図12】ルールについて説明するための図である。
【発明を実施するための形態】
【0009】
以下、図面を参照し、本発明の判定システム、判定方法、およびプログラムの実施形態について説明する。
【0010】
本実施形態の一態様の判定システムは、電子商取引の内容を示す判定対象情報を取得する取得部と、複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、前記複数のルールの中から判定に用いる前記ルールの組み合わせを設定する設定部と、前記設定部が設定したルールの組み合わせと、前記判定対象情報とに基づいて、前記判定を行う判定部とを備える。
【0011】
「電子商取引」は、少なくとも、ショッピング、オークション、フリーマーケット、施設の利用の予約、またはサービスの提供の予約を含むが、これに限定されない。ルールに基づいて、不正の疑いを判定する電子商取引であればよい。以下の例では、電子商取引はショッピングであるものとして説明する。
【0012】
「実績値」とは、例えば、不正の疑いがあると判定された結果に対する正解の度合を示す適合率と、不正の疑いがあると判定された検知数である。「資源の度合」とは、例えば、前記判定の処理に関わる人員に関する指標である。「前記人員に関する指標」とは、１件の判定に対して人員に含まれるスタッフが掛けられる時間と、前記人員が判定に掛けられる総時間とを含む。
【0013】
前記設定部は、前記実績値および資源の度合を示す指標を含むパラメータを、数理計画法に基づくモデルに適用して、前記ルールの組み合わせを決定する。前記モデルは、前記資源の度合を制約条件とした場合において、前記不正の疑いを有すると判定する件数を閾値以上にすることができる前記ルールの組み合わせを導出するモデルである。より具体的には、前記モデルは、不正の疑いがあると検知された検知数のうち実際に不正となる不正検知数（適合率に検知数を乗算した値）を最大化させるためのモデルである。前記モデルは、不正の疑いがあると判定される対象の数の最適化と精度の高い判定とを行うルールの組み合わせを導出することができる。最適化とは、例えば、検知数をより多くすることである。例えば、モデルにより導出されたルールの組み合わせを用いると、ランダムや、他の手法により導出されたルールの組み合わせを用いるよりも、検知数を多くするまたは閾値以上多くすることができる。
【0014】
［判定システム］
図１は、判定システム１の機能構成の一例を示す図である。判定システム１は、例えば、一以上のユーザの端末装置Ｕと、サービス提供装置１０と、判定装置５０とを備える。サービス提供装置１０と、判定装置５０とをネットワークを介して互いに通信する。サービス提供装置１０と、端末装置Ｕとは、ネットワークＮＷを介して互いに通信する。ネットワークＮＷは、例えば、インターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、セルラー網などを含む。
図１は、判定システム１の機能構成の一例を示す図である。判定システム１は、例えば、一以上のユーザの端末装置Ｕと、サービス提供装置１０と、判定装置５０とを備える。サービス提供装置１０と、判定装置５０とをネットワークを介して互いに通信する。サービス提供装置１０と、端末装置Ｕとは、ネットワークＮＷを介して互いに通信する。ネットワークＮＷは、例えば、インターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、セルラー網などを含む。
【0015】
［端末装置］
端末装置Ｕは、スマートフォンやタブレット端末、パーソナルコンピュータなどの通信機能等を有するコンピュータ装置である。
端末装置Ｕは、スマートフォンやタブレット端末、パーソナルコンピュータなどの通信機能等を有するコンピュータ装置である。
【0016】
［サービス提供装置］
サービス提供装置１０は、例えば、利用者にショッピングに関するサービスを提供するショッピングサーバである。サービス提供装置１０は、例えば、情報処理部２０と、記憶部３０とを備える。情報処理部２０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
サービス提供装置１０は、例えば、利用者にショッピングに関するサービスを提供するショッピングサーバである。サービス提供装置１０は、例えば、情報処理部２０と、記憶部３０とを備える。情報処理部２０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
【0017】
記憶部３０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）、レジスタ等によって実現される。また、記憶部３０の一部または全部は、ＮＡＳ（Network Attached Storage）や外部ストレージサーバ装置等であってもよい。記憶部３０には、例えば、利用者情報３２（後述）が記憶されている。
【0018】
情報処理部２０は、端末装置Ｕの依頼に応じて、ショッピングに関するコンテンツを提供する。情報処理部２０は、コンテンツに対する利用者の操作に応じて、商品またはサービスの購入の支援や購入のための決済を行う。決済を行う際に、情報処理部２０は、判定装置５０に不正な取引の疑いの判定を依頼する。情報処理部２０は、判定装置５０から不正な取引でないとの判定結果を得た場合、決済が完了したことを端末装置Ｕに通知して、商品またはサービスの手配を行う。
【0019】
［判定装置］
判定装置５０は、例えば、情報取得部（取得部）５２と、判定部５４と、提供部５６と、設定部５８と、記憶部６０とを備える。情報取得部５２と、判定部５４と、提供部５６と、設定部５８とのうち一部または全部は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。なお、判定装置５０の機能の一部または全部は、サービス提供装置１０など他の装置に含まれていてもよい。
判定装置５０は、例えば、情報取得部（取得部）５２と、判定部５４と、提供部５６と、設定部５８と、記憶部６０とを備える。情報取得部５２と、判定部５４と、提供部５６と、設定部５８とのうち一部または全部は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。なお、判定装置５０の機能の一部または全部は、サービス提供装置１０など他の装置に含まれていてもよい。
【0020】
記憶部６０は、例えば、ＲＯＭ、フラッシュメモリ、ＳＤカード、ＲＡＭ、ＨＤＤ、レジスタ等によって実現される。また、記憶部６０の一部または全部は、ＮＡＳや外部ストレージサーバ装置等であってもよい。記憶部６０には、例えば、ルール情報６２と、実績情報６４と、リソース情報６６（不正の判定に適用できる資源）と、最適化モデル６８と、設定ルール情報７０とが記憶されている。これらの情報については後述する。
【0021】
情報取得部５２は、サービス提供装置１０に提供された情報を取得する。例えば、情報取得部５２は、電子商取引の内容を示す判定対象情報を取得する。
【0022】
判定部５４は、設定部５８が設定したルールの組み合わせと、判定対象情報とに基づいて、電子商取引の不正の疑いを判定する判定する。判定部５４は、スタッフの操作に基づいて判定を行ってもよい。スタッフとは、電子商取引について、不正の疑いを判定する者である。例えば、スタッフが、判定装置５０の操作部に判定対象情報が不正であるとの判定結果を入力すると、判定部５４は、当該判定対象情報は不正であると判定する。
【0023】
提供部５６は、判定部５４の判定結果をサービス提供装置１０に提供する。
【0024】
設定部５８は、複数のルールのそれぞれを適用して電子商取引の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、複数のルールの中から判定に用いるルールの組み合わせを設定する。
【0025】
［シーケンス図］
まず、判定システムの処理の流れの一例について説明する。図２は、処理の流れの一例を示すシーケンス図である。
まず、判定システムの処理の流れの一例について説明する。図２は、処理の流れの一例を示すシーケンス図である。
【0026】
ユーザが決済の操作を行った場合（Ｓ１０）、端末装置Ｕは、操作が行われたことを示す操作情報をサービス提供装置１０に送信する（Ｓ１２）。次に、サービス提供装置１０は、操作情報を取得すると、利用者情報３２や取引の内容を示す情報を含む判定対象情報を生成し（Ｓ１４）、生成した判定対象情報を判定装置５０に送信する（Ｓ１６）。判定対象情報については後述する。
【0027】
次に、判定装置５０の判定部５４が、サービス提供装置１０により送信され情報取得部５２が取得した判定対象情報と、設定部５８が設定したルールとに基づいて、電子商取引の不正の疑いを判定する（Ｓ１８）。
【0028】
次に、提供部５６が、判定部５４の判定結果をサービス提供装置１０に送信する（Ｓ２０）。次に、サービス提供装置１０が、判定装置５０により提供された判定結果を端末装置Ｕに提供する（Ｓ２２）。
【0029】
このような処理の流れにより、電子商取引の不正の判定がされる。以下、この処理で利用される利用者情報３２、利用者情報３２を含む判定対象情報、設定部５８の処理の詳細について説明する。
【0030】
［利用者情報］
図３は、サービス提供装置１０が有する利用者情報３２の内容の一例を示す図である。利用者情報３２は、利用者ＩＤと、属性情報と、利用履歴と、評価情報とが互いに対応付けられた情報である。なお、これらの情報のうち一部の情報は省略されてもよい。利用者ＩＤは、利用者の識別情報であり、例えば、サービス利用時やログイン時に入力された識別情報である。属性情報は、利用者が登録した利用者の属性であって、住所や、電話、メールアドレス、性別、年齢などである。属性情報は、上記の他に、年収や、趣味、家族構成など種々の情報を含んでもよい。
図３は、サービス提供装置１０が有する利用者情報３２の内容の一例を示す図である。利用者情報３２は、利用者ＩＤと、属性情報と、利用履歴と、評価情報とが互いに対応付けられた情報である。なお、これらの情報のうち一部の情報は省略されてもよい。利用者ＩＤは、利用者の識別情報であり、例えば、サービス利用時やログイン時に入力された識別情報である。属性情報は、利用者が登録した利用者の属性であって、住所や、電話、メールアドレス、性別、年齢などである。属性情報は、上記の他に、年収や、趣味、家族構成など種々の情報を含んでもよい。
【0031】
利用履歴は、利用者のサービスの利用履歴である。例えば、コンテンツの閲覧履歴や、ショッピングカートに入れた商品（またはサービス）、購入した商品、過去に利用した決済方法などである。評価情報とは、サービスの利用における利用者の行動に基づいて生成された利用者の評価を示す情報である。例えば、レビューを記載したり、サービスの提供者の意図に合致した行動を行ったりした利用者の評価は、他の利用者の評価より高い傾向であってもよい。また、評価情報の評価は、当該利用者とは異なる利用者による評価結果が加味されてもよい。
【0032】
サービス提供装置１０は、上記の利用者情報３２と、電子商取引の取引の情報（取引情報）とを含む判定対象情報を生成する。
【0033】
［判定対象情報］
図４は、判定対象情報の内容の一例を示す図である。判定対象情報は、取引情報と、利用者情報３２とを含む。取引情報は、例えば、利用者が購入を意図した商品（またはサービス）の情報や、決済に関する情報（決済の方法、クレジットカード番号）、配送先、配送日など種々の情報を含む。
図４は、判定対象情報の内容の一例を示す図である。判定対象情報は、取引情報と、利用者情報３２とを含む。取引情報は、例えば、利用者が購入を意図した商品（またはサービス）の情報や、決済に関する情報（決済の方法、クレジットカード番号）、配送先、配送日など種々の情報を含む。
【0034】
サービス提供装置１０は、判定対象情報を判定装置５０に送信し、判定対象情報に基づいて不正の疑いの判定を判定装置５０に依頼する。判定装置５０は、取得した判定対象情報に対して、設定部５８が設定したルールを適用して不正の疑いを判定する。
【0035】
［設定部が設定するルール］
設定部５８は、実績情報６４、リソース情報６６、および最適化モデル６８に基づいて、ルール情報６２に含まれるルールのうちから判定に用いるルールを決定し、決定したルールに応じた設定ルール情報７０を生成する。
設定部５８は、実績情報６４、リソース情報６６、および最適化モデル６８に基づいて、ルール情報６２に含まれるルールのうちから判定に用いるルールを決定し、決定したルールに応じた設定ルール情報７０を生成する。
【0036】
図５は、ルール情報６２および設定ルール情報７０の内容の一例を示す図である。ルール情報６２は、複数のルール（ルール１、ルール２・・・）を含む。ルールは、一以上の判定条件を含む。例えば、ルール１の判定条件は、判定条件Ａ－Ｃを含む。判定条件Ａ－Ｃが満たされた場合、ルール１を満たす。
【0037】
例えば、判定部５４は、後述する設定部５８により設定されたルールのすべてを満たした場合、不正の疑いがあると判定する。また、判定部５４は、設定部５８により設定されたルールを満たした度合に基づくスコアを導出し、導出したスコアと閾値とを比較して、不正の疑いを判定してもよい。
【0038】
例えば、時刻Ｔにおいて、設定部５８がルール１とルール３とを採用し、ルール２を採用しないと決定した場合、判定部５４は、判定対象情報がルール１とルール３とを満たすか否かを判定し、判定結果に基づいて、不正の疑いを判定する。例えば、時刻Ｔ＋１において、設定部５８がルール１を採用し、ルール２とルール３とを採用しない決定した場合、判定部５４は、判定対象情報がルール１を満たすか否かを判定し、判定結果に基づいて、不正の疑いを判定する。設定部５８は、実績情報６４、リソース情報６６、および最適化モデル６８に基づいて、採用するルールを決定する。
【0039】
［実績情報］
実績情報６４は、判定対象情報を判定した際のルールに対応する実績を示す情報である。図６は、実績情報６４の一例を示す図である。実績情報６４は、例えば、ルールごとの適合率と検知件数とを含む。適合率に検知件数を乗算した値は不正検知数（不正の疑いがあると判定された件数）である。適合率とは、ルールを満たさないと判定した判定対象情報が実際に不正であった度合である。検知件数とは、ルールを満たさないと検知された判定対象情報の数である。
実績情報６４は、判定対象情報を判定した際のルールに対応する実績を示す情報である。図６は、実績情報６４の一例を示す図である。実績情報６４は、例えば、ルールごとの適合率と検知件数とを含む。適合率に検知件数を乗算した値は不正検知数（不正の疑いがあると判定された件数）である。適合率とは、ルールを満たさないと判定した判定対象情報が実際に不正であった度合である。検知件数とは、ルールを満たさないと検知された判定対象情報の数である。
【0040】
［リソース情報］
リソース情報６６は、人的リソースの度合を示す情報である。図７は、リソース情報６６の内容の一例を示す図である。リソース情報６６は、判定対象情報の１件当たりの検査に必要な検査時間と、人員（スタッフ数）と、制約時間（人員が判定に掛けられる総時間）とを含む。
リソース情報６６は、人的リソースの度合を示す情報である。図７は、リソース情報６６の内容の一例を示す図である。リソース情報６６は、判定対象情報の１件当たりの検査に必要な検査時間と、人員（スタッフ数）と、制約時間（人員が判定に掛けられる総時間）とを含む。
【0041】
［最適化モデル］
最適化モデル６８は、入力対象の情報が入力されると、ルールごとの適否を示す情報を出力するモデルである。図８は、最適化モデル６８の処理を概念的に示す図である。入力対象の情報とは、例えば、ルールの数と、ルールごとの検知数および適合率と、リソース情報６６とを含む。最適化モデル６８は、ルール１は採用、ルール２、３は不採用などのようにルールごとの採否を示す情報を出力する。
最適化モデル６８は、入力対象の情報が入力されると、ルールごとの適否を示す情報を出力するモデルである。図８は、最適化モデル６８の処理を概念的に示す図である。入力対象の情報とは、例えば、ルールの数と、ルールごとの検知数および適合率と、リソース情報６６とを含む。最適化モデル６８は、ルール１は採用、ルール２、３は不採用などのようにルールごとの採否を示す情報を出力する。
【0042】
図９は、最適化モデル６８の考え方を示す図である。最適化モデル６８は、ルール数、検知数、および適合率を用いて、ルールの適用（「１」）および不適用（「０」）を設定したときに、不正検知数が最大化するような目的関数の解を求めるモデルである。更に、最適化モデル６８は、このとき、制約条件（審査コスト）を満たすように目的関数の解を求める。制約条件とは、リソース情報６６に含まれる１件当たりの検査時間と、制約時間とである。最適化モデル６８は、例えば、数理計画法（線形計画法、整数計画法など）に基づくアルゴリズムである。最適化モデル６８は、オープンソースライブラリで公開されているソフトウェアであってもよい。
【0043】
［適用例］
図１０は、本実施形態の処理を適用した結果と適用しなかった結果との一例を示す図である。ソリューション１（Ｓｏｌ１）、ソリューション２（Ｓｏｌ２）、およびソリューション３（Ｓｏｌ３）は、以下のようにルールを決定して所定時間内で不正を検知できた件数を示している。ソリューション１（Ｓｏｌ１）は、完全にランダムにルールを決定した例である。ソリューション２（Ｓｏｌ２）は、適合率が高いルールを決定した例である。ソリューション３（Ｓｏｌ３）は、本実施形態を適用してルールを決定した例である。
図１０は、本実施形態の処理を適用した結果と適用しなかった結果との一例を示す図である。ソリューション１（Ｓｏｌ１）、ソリューション２（Ｓｏｌ２）、およびソリューション３（Ｓｏｌ３）は、以下のようにルールを決定して所定時間内で不正を検知できた件数を示している。ソリューション１（Ｓｏｌ１）は、完全にランダムにルールを決定した例である。ソリューション２（Ｓｏｌ２）は、適合率が高いルールを決定した例である。ソリューション３（Ｓｏｌ３）は、本実施形態を適用してルールを決定した例である。
【0044】
図１０に示すように、ソリューション１よりもソリューション２の検知数が多く、更にソリューション２よりもソリューション３の検知数が多い。このように、本実施形態を適用することにより、制約時間内で多くの不正を検知することができる。
【0045】
ここで、不正の疑いの判定と、本実施形態の適用とについて説明する。決済の処理ごとにルールを用いて不正の疑いの判定が行われている。ルールは事前に登録されたものである。不正の疑いがあると判定された決済または疑わしいと判定された決済は、スタッフによる目視による審査が行われる。上記のような体制において、発生した不正の事例をもとに都度ルールを追加するとルール数が肥大化する。また、ルールを追加すると、目視による審査工数が増大して対象の決済を審査しきれない場合がある。更に、キャンペーン等によって決済を処理する件数が増加したとき、適切な審査体制のシフトを組むことが困難な場合がある。
【0046】
そこで、本実施形態では、制約条件の中で不正の疑いの検知数が最適化されるように適用するルールの採否を決定することにより、不正の疑いがあると判定される対象の数の最適化と精度の高い判定とを実現することができる。例えば、ルール数が肥大化しても、適切に適用されるルールが決定され、更に、キャンペーン等によって決済の件数が増加しても、その制約条件の中で最適な審査が可能なルールが決定される。これにより、精度の担保と検査数の担保とを同時に実現することができる。
【0047】
［フローチャート（その１）］
図１１は、設定部５８が処理を実行するタイミングを示すフローチャートである。設定部５８は、所定の条件を満たすか否かを判定する（Ｓ１００）。所定の条件を満たす場合、設定部５８は、最適化モデル６８を用いて採用するルールを決定する（Ｓ１０２）。
図１１は、設定部５８が処理を実行するタイミングを示すフローチャートである。設定部５８は、所定の条件を満たすか否かを判定する（Ｓ１００）。所定の条件を満たす場合、設定部５８は、最適化モデル６８を用いて採用するルールを決定する（Ｓ１０２）。
【0048】
所定の条件とは、前回のルールを決定する処理から所定時間が経過したことである。所定時間を経過している場合、制約条件などが変わっている場合があるためである。所定の条件とは、ルールが追加、削減、改変されたことである。この場合、判定に用いられるルールが変更されることがあるためである。
【0049】
所定の条件とは、リソース情報（人員や、シフト）に変化があることである。換言すると、所定の条件とは、人員に関する指標が所定の度合以上変化したことである。人員やシフトに変化が生じると処理できる件数（制約条件）が変化するためである。この場合の変化とは、例えば、所定の度合以上、制約条件が変化することである。
【0050】
所定の条件とは、キャンペーンなど処理件数が増加すると推定されることである。換言すると、所定の条件とは、電子商取引の取引数が所定の度合以上増加すると見込まれる情報が取得されたことである。例えば、利用者に特典が付与されるキャンペーン期間では処理件数が増加する。例えば、通常時では、最適化モデル６８を用いずに処理を行えた場合（すべてのルールを適用していた場合）であっても、処理件数が増加すると、通常時の対応では処理が追いつかないことがある。最適化モデル６８を用いることで、処理件数が増加するように採用されるルールが決定される。
【0051】
このように、所定の条件が満たされた場合に、ルールの採否が決定されることで、不正の疑いがあると判定される対象の数の最適化と精度の高い判定とを実現することができる。
【0052】
［ルール情報に含まれるルール］
ルール情報６２に含まれるルールまたは設定部５８により決定されるルールは、異なる判定対象情報を不正の疑いがあると判定するように設定された条件である。換言すると、複数のルールまたは組み合わせに含まれるルールのそれぞれは、ルールの判定の結果が重複しないルールである。
ルール情報６２に含まれるルールまたは設定部５８により決定されるルールは、異なる判定対象情報を不正の疑いがあると判定するように設定された条件である。換言すると、複数のルールまたは組み合わせに含まれるルールのそれぞれは、ルールの判定の結果が重複しないルールである。
【0053】
図１２は、ルールについて説明するための図である。判定対象情報Ａ－Ｆが存在するものとする。この場合、ルール１－３は、異なる判定対象情報に対して不正の疑いがあると判定するルールである。例えば、ルール１は、判定対象情報Ａ、Ｂを不正の疑いがあると判定するルールである。例えば、ルール２は、判定対象情報Ｃ、Ｄを不正の疑いがあると判定するルールである。例えば、ルール３は、判定対象情報Ｅ、Ｆを不正の疑いがあると判定するルールである。
【0054】
このように、異なる判定対象情報を不正の疑いがあると判定するルールを適用することにより、より効率的な判定処理が行われる。例えば、決定されるルールの内容が重複しないことが制約条件とされてもよい。この場合、同様または類似する判定結果となるルールに対しては所定のフラグが付与され、設定部５８は、おなじフラグを有するルール（同様または類似する判定結果となるルール）を、採用するルールとして決定しないようにしてもよい。
【0055】
［その他］
上記の例では、ショッピングサービスにおける処理の際の不正の疑いの判定について説明したが、他の電子商取引においても適用されてもよい。例えば、オークションやフリーマーケットなどその他の電子商取引である場合、コメントの文字数や、出品数、画像の情報など種々の情報を判定対象情報に含め、これらを判定するための閾値やルールを上記の手法により変更してもよい。
上記の例では、ショッピングサービスにおける処理の際の不正の疑いの判定について説明したが、他の電子商取引においても適用されてもよい。例えば、オークションやフリーマーケットなどその他の電子商取引である場合、コメントの文字数や、出品数、画像の情報など種々の情報を判定対象情報に含め、これらを判定するための閾値やルールを上記の手法により変更してもよい。
【0056】
上記の例では、制約条件は、人的な要素として説明したが、これに代えて（または加えて）、費用などその他の要素であってもよい。例えば、１件を判定する際のコストおよび設定された総コストであってもよい。
【0057】
以上説明した実施形態によれば、判定システムが、電子商取引の内容を示す判定対象情報を取得し、複数のルールのそれぞれを適用して判定対象情報の不正の疑いの判定を行ったときのルールごとの実績値と不正の判定に適用できる資源の度合とに基づいて、複数のルールの中から判定に用いる前記ルールの組み合わせを設定し、設定したルールの組み合わせと、判定対象情報とに基づいて、判定を行うことにより、不正の疑いがあると判定される対象の数の最適化と精度の高い判定を行うことができる。
【0058】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0059】
１‥判定システムは
１０‥サービス提供装置
２０‥情報処理部
５０‥判定装置
５２‥情報取得部
５４‥判定部
５６‥提供部
５８‥設定部
６０‥記憶部
６２‥ルール情報
６４‥実績情報
６６‥リソース情報
６８‥最適化モデル
７０‥設定ルール情報
１０‥サービス提供装置
２０‥情報処理部
５０‥判定装置
５２‥情報取得部
５４‥判定部
５６‥提供部
５８‥設定部
６０‥記憶部
６２‥ルール情報
６４‥実績情報
６６‥リソース情報
６８‥最適化モデル
７０‥設定ルール情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】