特許 7170689 出力装置、出力方法及び出力プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-04

(45)【発行日】2022-11-14

(54)【発明の名称】出力装置、出力方法及び出力プログラム

(51)【国際特許分類】

   G06Q 30/08 20120101AFI20221107BHJP

【ＦＩ】

G06Q30/08

【請求項の数】 11

(21)【出願番号】P 2020105478

(22)【出願日】2020-06-18

(65)【公開番号】P2021197089

(43)【公開日】2021-12-27

【審査請求日】2021-08-19

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】塚原 剛

【審査官】萩島 豪

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０２２１０７５（ＵＳ，Ａ１）

【文献】特許第４３７７４４３（ＪＰ，Ｂ１）

【文献】国際公開第２０２０／０４４８１４（ＷＯ，Ａ１）

【文献】特開２０１９－０６７２７０（ＪＰ，Ａ）

【文献】特開２０１０－０９７４５０（ＪＰ，Ａ）

【文献】特表２０２０－５０９４９８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００４６９３９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

オークションにおける所定の購買行動を示し、当該所定の購買行動が、検知対象となる不正な行動であるかを示す履歴に基づいて、当該履歴を分類する分類条件であって、前記オークションにおける購買行動が前記不正な行動であるかを判定するために使用される条件であり、前記オークションの購入者の評価を含み、かつ、前記所定の購買行動の決済金額、前記所定の購買行動の取引対象の種別及び前記取引対象の出品数のうちの少なくとも１つを含む分類条件を決定する取得部と、
前記分類条件の組み合わせのうち、当該分類条件の組み合わせを満たす行動のうち、前記検知対象となる不正な行動の割合が所定の条件を満たす分類条件の組み合わせを特定する特定部と、
前記特定部によって特定された分類条件の組み合わせを、前記検知対象となる不正な行動を検知するための検知条件として出力する出力部と
を備えることを特徴とする出力装置。

【請求項2】

前記取得部は、前記履歴から、条件判定によって行動が検知対象であるかを予測する予測モデルを生成し、生成された予測モデルから、前記分類条件を取得する
ことを特徴とする請求項１に記載の出力装置。

【請求項3】

前記取得部は、前記予測モデルとして、行動が検知対象であるかを予測する決定木を生成し、生成された決定木の少なくとも１つのノードにそれぞれ対応する少なくとも１つの分岐条件を、前記分類条件として取得する
ことを特徴とする請求項２に記載の出力装置。

【請求項4】

前記特定部は、前記取得部によって、前記分類条件として取得された少なくとも１つの分岐条件から、前記分類条件の組み合わせを満たす行動のうち検知対象となる行動の割合が前記所定の条件を満たす前記分類条件の組み合わせとして、不純度に関する条件を満たす分岐条件の組み合わせを特定する
ことを特徴とする請求項３に記載の出力装置。

【請求項5】

前記特定部は、前記少なくとも１つのノードから、不純度が閾値を下回り、かつクラスが検知対象であるリーフノードを特定し、前記決定木を特定されたリーフノードからルートノードまでたどることによって、前記不純度に関する条件を満たす分岐条件の組み合わせを特定する
ことを特徴とする請求項４に記載の出力装置。

【請求項6】

コンピュータが実行する出力方法であって、
オークションにおける所定の購買行動を示し、当該所定の購買行動が、検知対象となる不正な行動であるかを示す履歴に基づいて、当該履歴を分類する分類条件であって、前記オークションにおける購買行動が前記不正な行動であるかを判定するために使用される条件であり、前記オークションの購入者の評価を含み、かつ、前記所定の購買行動の決済金額、前記所定の購買行動の取引対象の種別及び前記取引対象の出品数のうちの少なくとも１つを含む分類条件を決定する取得工程と、
前記分類条件の組み合わせのうち、当該分類条件の組み合わせを満たす行動のうち、前記検知対象となる不正な行動の割合が所定の条件を満たす分類条件の組み合わせを特定する特定工程と、
前記特定工程によって特定された分類条件の組み合わせを、前記検知対象となる不正な行動を検知するための検知条件として出力する出力工程と
を含むことを特徴とする出力方法。

【請求項7】

オークションにおける所定の購買行動を示し、当該所定の購買行動が、検知対象となる不正な行動であるかを示す履歴に基づいて、当該履歴を分類する分類条件であって、前記オークションにおける購買行動が前記不正な行動であるかを判定するために使用される条件であり、前記オークションの購入者の評価を含み、かつ、前記所定の購買行動の決済金額、前記所定の購買行動の取引対象の種別及び前記取引対象の出品数のうちの少なくとも１つを含む分類条件を決定する取得手順と、
前記分類条件の組み合わせのうち、当該分類条件の組み合わせを満たす行動のうち、前記検知対象となる不正な行動の割合が所定の条件を満たす分類条件の組み合わせを特定する特定手順と、
前記特定手順によって特定された分類条件の組み合わせを、前記検知対象となる不正な行動を検知するための検知条件として出力する出力手順と
をコンピュータに実行させることを特徴とする出力プログラム。

【請求項8】

前記取得手順は、前記履歴から、条件判定によって行動が検知対象であるかを予測する予測モデルを生成し、生成された予測モデルから、前記分類条件を取得する
ことを特徴とする請求項７に記載の出力プログラム。

【請求項9】

前記取得手順は、前記予測モデルとして、行動が検知対象であるかを予測する決定木を生成し、生成された決定木の少なくとも１つのノードにそれぞれ対応する少なくとも１つの分岐条件を、前記分類条件として取得する
ことを特徴とする請求項８に記載の出力プログラム。

【請求項10】

前記特定手順は、前記取得手順によって、前記分類条件として取得された少なくとも１つの分岐条件から、前記分類条件の組み合わせを満たす行動のうち検知対象となる行動の割合が前記所定の条件を満たす前記分類条件の組み合わせとして、不純度に関する条件を満たす分岐条件の組み合わせを特定する
ことを特徴とする請求項９に記載の出力プログラム。

【請求項11】

前記特定手順は、前記少なくとも１つのノードから、不純度が閾値を下回り、かつクラスが検知対象であるリーフノードを特定し、前記決定木を特定されたリーフノードからルートノードまでたどることによって、前記不純度に関する条件を満たす分岐条件の組み合わせを特定する
ことを特徴とする請求項１０に記載の出力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、出力装置、出力方法及び出力プログラムに関する。

【背景技術】

【0002】

従来、各種行動を検知するための技術が提案されている。例えば、不正行為を行った特定のユーザと、この特定のユーザとつながりを持つユーザとを示すグラフを使用することによって、不正行為を行ったユーザを推定することが提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２０７０７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、検知対象となる行動の検知に有用な条件を得ることができるとは限らない。例えば、上記の従来技術では、検知対象となる行動の検知に有用な条件が、不正行為を行った特定のユーザと、この特定のユーザとつながりを持つユーザとを示すグラフから得られるとは限らない。

【0005】

本願は、上記に鑑みてなされたものであって、検知対象となる行動の検知に有用な条件を得ることを目的とする。

【課題を解決するための手段】

【0006】

本開示の実施形態に係る出力装置は、所定の行動の履歴に基づいて、当該履歴を分類する分類条件を取得する取得部と、前記分類条件の組み合わせのうち、当該分類条件の組み合わせを満たす行動のうち、検知対象となる行動の割合が所定の条件を満たす分類条件の組み合わせを特定する特定部と、前記特定部によって特定された分類条件の組み合わせを、前記検知対象となる行動を検知するための検知条件として出力する出力部とを備える。

【発明の効果】

【0007】

実施形態の一態様によれば、検知対象となる行動の検知に有用な検知条件を得ることができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、本開示の例示的な実施形態に係る、決定木モデルを使用して判定ルールを生成する判定ルール生成処理の一例を示す説明図である。

【図1B】図１Ｂは、本開示の例示的な実施形態に係る、決定木モデルを使用して判定ルールを生成する判定ルール生成処理の一例を示す説明図である。

【図1C】図１Ｃは、本開示の例示的な実施形態に係る、決定木モデルを使用して判定ルールを生成する判定ルール生成処理の一例を示す説明図である。

【図1D】図１Ｄは、本開示の例示的な実施形態に係る、決定木モデルを使用して判定ルールを生成する判定ルール生成処理の一例を示す説明図である。

【図2】図２は、実施形態に係る情報出力システムの一例を示す図である。

【図3】図３は、実施形態に係る情報出力装置によって実行される、決定木モデルを使用して不正判定ルールを自動生成するための処理の一例を示すフローチャートである。

【図4】図４は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を参照しつつ詳細に説明する。なお、この実施形態により本発明が限定されるものではない。１つまたは複数の実施形態の詳細は、以下の説明および図面に記載される。また、複数の実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の１つまたは複数の実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

【0010】

〔１．例示的な実施形態〕
まず、図１を参照して、本開示の例示的な実施形態について詳細に説明する。

【0011】

〔１－１．例示的な実施形態の概要〕
例示的な実施形態に係る情報出力装置は、不正判定のためのモデルアルゴリズムとして、決定木を採用する。そして、情報出力装置は、決定木の中から、不純度の低いノードを分岐条件として抽出することによって、高い適合率かつ説明性の高い判定ルールを、自動的に生成する。

【0012】

〔１－２．例示的な実施形態の序論〕
一般的に、不正判定は、ルールベースの判定手法や、機械学習ベースの判定手法に基づいて行われる。しかしながら、ルールベースの判定手法および機械学習ベースの判定手法に関しては、次のような問題がでてくる場合がある。

【0013】

（ルールベースの判定手法に関する問題の一例）
人手によるルールの作成は、時間と労力を要する。また、ルールを分析して検証するのに時間がかかる。加えて、不正の傾向変化に追従してルールを修正することが難しい。

【0014】

（機械学習ベースの判定手法に関する問題の一例）
モデルの説明性を重視することが求められる場合に、ビジネスの要件を満たす高い精度のモデルを作ることが難しい。また、高い精度のモデル（例えば、勾配ブースティング木、Deep Learning等）の判断を解釈することが難しい。このようなモデルは、一般的に、ブラックボックスモデルである。すなわち、モデルの精度と説明性との間のトレードオフが存在する。

【0015】

上記のような問題に加えて、不正判定に特有の問題が存在する。不正判定に特有の問題は、偽陽性判定（False Positive、FP）を極力避けることが求められることである。言い換えると、高い適合率が、不正判定において求められる。比喩的に言えば、不正判定システムの管理者は、ユーザを誤って誤爆すること（すなわち、FP）を避けたい。ターゲティング広告といった分野では、広告配信システムの管理者は、いくつかの広告が適切なターゲットを外れたとしても、広告の多くが、適切なターゲットに配信されるという方針をとることもある。しかしながら、不正判定の分野では、ユーザ体験を損なうことを避けるために、可能な限り誤判定を防ぐことが求められる。

【0016】

したがって、不正判定では、高い説明性（例えば、なぜ行動が不正と判断されたのか）が求められる。高い説明性の観点からは、不正判定の処理の全てを、機械学習モデルに任せることは難しい。そこで、ルールベースの不正判定が求められている。ルールベースの不正判定は、ドメインルールに基づく判定である。例えば、ドメインルールに基づく判定は、規約違反、ブラックリスト判定等の判定である。このようなルールは、特定の行動を一律に不正行動としてとらえる。

【0017】

そこで、例示的な実施形態に係る情報出力装置は、上述のような高い説明性を満たす判定ルールを自動的に生成するために、以下に説明される判定ルール生成処理を実行する。

【0018】

〔１－３．判定ルール生成処理〕
以下では、図１Ａ～図１Ｄを参照して、例示的な実施形態に係る判定ルール生成処理について説明する。

【0019】

図１Ａ～図１Ｄは、本開示の例示的な実施形態に係る、決定木モデルを使用して判定ルールを生成する判定ルール生成処理の一例を示す説明図である。例示的な実施形態では、判定ルール生成処理が、図２を参照して後述する情報出力装置１００によって行われる。情報出力装置１００は、出力装置の一例である。

【0020】

図１Ａ～図１Ｄの例では、情報出力装置１００は、不正決済への対策のために、決定木モデルを使用した不正判定ルールを生成する。

【0021】

図１Ａを参照すると、はじめに、情報出力装置１００は、過去の不正データを使用することによって、決定木アルゴリズムによる分類モデルを作成する（ステップＳ１）。

【0022】

図１Ａの例では、情報出力装置１００は、過去の不正データから、決定木ＤＴ１を作成する。過去の不正データは、例えば、過去の不正判定のログである。情報出力装置１００は、過去の不正データを、訓練データとして決定木アルゴリズムに与え、決定木アルゴリズムによる分類モデルを作成する。決定木ＤＴ１は、ルートノードＲＮ１を含む、複数のノードを有する。

【0023】

図１Ａに示された「丸」は、通常の決済に対応するノードである。丸いノードでは、通常の決済の数が、不正な決済の数よりも多い。丸いノードのクラスは、「通常」である。一方、図１Ａに示された「四角」は、不正の決済に対応するノードである。四角いノードでは、不正の決済の数が、通常の決済の数よりも多い。四角いノードのクラスは、「不正」である。

【0024】

図１Ｂを参照すると、図１ＡのステップＳ１の後に、情報出力装置１００は、生成された分類モデルの中から、不正判定かつジニ不純度の低いノードを抽出する（ステップＳ２）。

【0025】

例えば、情報出力装置１００は、ノードの不純度が閾値（例えば、「0.2」）以下であり、かつクラスが不正であるノードを抽出する。図１Ｂの例では、情報出力装置１００は、不正判定かつジニ不純度の低いノードとして、リーフノードＬＮ１を抽出すると仮定する。なお、ノードは、「gini属性」、「sample属性」、「value属性」および「class属性」を有する。

【0026】

ノードの「gini属性」は、ノードの不純度を示す。図１Ｂの例では、リーフノードＬＮ１の不純度は、「0.0」である。ノードの「sample属性」は、ノードによって処理された訓練インスタンスの数（例えば、過去の不正判定のログの数）を示す。図１Ｂの例では、リーフノードＬＮ１の訓練インスタンスの数は、「14」である。ノードの「value属性」は、各クラスの訓練インスタンスのうちのノードの条件に当てはまるインスタンスの数を示す。図１Ｂの例では、リーフノードＬＮ１の条件に当てはまる不正クラスの訓練インスタンスの数が「0」であり、リーフノードＬＮ１の条件に当てはまる通常クラスの訓練インスタンスの数が「14」である。ノードの「class属性」は、ノードのクラスを示す。図１Ｂの例では、リーフノードＬＮ１のクラスは、「black（不正）」である。

【0027】

図１Ｃを参照すると、図１ＢのステップＳ２の後に、情報出力装置１００は、抽出されたノードの分岐条件を、ルールとして抽出する（ステップＳ３）。

【0028】

一般的に、高い不正の確率のノードは、クラスが不正であり（すなわち、不正のログの数が、通常のログの数よりも多い）、不純度が低いノードである。そして、このような高い不正の確率のノードからルートノードに辿りつくまでのライン（すなわち、経路）は、いくつかの分岐条件を含む。情報出力装置１００は、抽出されたノードに辿りつく分岐条件を抽出する。

【0029】

図１Ｃの例では、抽出されたノードＬＮ１の分岐条件として、内部ノードＩＮ１、内部ノードＩＮ２、内部ノードＩＮ３およびルートノードＲＮ１にそれぞれ対応する４つの分岐条件を抽出する。図１Ｃの例では、４回の分岐が、ノードＬＮ１からルートノードＲＮ１に辿りつくまでのラインで発生している。

【0030】

内部ノードＩＮ１、内部ノードＩＮ２、内部ノードＩＮ３およびルートノードＲＮ１にそれぞれ対応する４つの分岐条件は、「settle_price>50000」、「category_id=3333」、「quantity<5」および「buyer_rate<1」である。「settle_price>50000」は、決済金額が５万円より大きいことを示す。「category_id=3333」は、商品が特定のカテゴリに属することを示す。「quantity<5」は、出品数が「5」未満であることを示している。「buyer_rate<1」は、購入者の評価が「1」未満であることを示す。

【0031】

図１Ｃの例では、情報出力装置１００は、「settle_price>50000」かつ「category_id=3333」かつ「quantity<5」かつ「buyer_rate<1」を、第１のルールＲ１として作成する。すなわち、第１のルールＲ１は、「settle_price>50000」かつ「category_id=3333」かつ「quantity<5」かつ「buyer_rate<1」という条件を満たす決済を、不正決済として判定するものである。

【0032】

同様に、情報出力装置１００は、抽出された他のノードの分岐条件を、他のルール（例えば、第２のルール、第３のルール）として抽出する。このようにして、情報出力装置１００は、ルール群を作成する。

【0033】

図１Ｄを参照すると、図１ＣのステップＳ３の後に、情報出力装置１００は、作成されたルール群を検証用の過去の不正データに照合し、適合率の高いルールを採用する（ステップＳ４）。図１Ｄに示された「precision」は、適合率を示す。図１Ｄの例では、情報出力装置１００は、適合率が「0.7」以上であるルールを採用すると仮定する。この例では、情報出力装置１００は、適合率の高いルールとして、第１のルールＲ１を採用する。

【0034】

その後、情報出力装置１００は、採用されたルールを、既存のルール管理システムに登録する（ステップＳ５）。図１Ｄの例では、情報出力装置１００は、第１のルールＲ１を、ルール管理システムＲＭＳ１に登録する。図１Ｄに示されるように、第１のルールＲ１は、条件グループＣＧ１に追加される。第１のルールＲ１は、条件グループＣＧ１に含まれる他のルールと同様に扱われ得る。情報出力装置１００は、ルール管理システムＲＭＳ１に自動的に連携することができる。

【0035】

〔１－４．例示的な実施形態の効果〕
上述のように、例示的な実施形態に係る情報出力装置１００は、不正判定ルールの作成を自動化することができる。作成された不正判定ルール自体は、過去の不正データに基づく、機械学習の決定木を使用して作成されている。このため、情報出力装置１００は、決定木を更新することによって、不正の傾向変化に追従することができる。

【0036】

また、決定木の計算リソースは、ディープラーニング等のアルゴリズムの計算リソースよりも少なく、決定木は、短時間の計算で、処理結果を出力することができる。このため、情報出力装置１００は、決定木の中の分岐条件を、部分的に採用することによって、高い適合率かつ説明性の高い判定ルール（すなわち、判定条件）を、少ない計算リソースで生成することができる。これにより、情報出力装置１００は、高い適合率かつ説明性の高い判定ルールを、既存のルールベースの運用に統合することができる。

【0037】

不正判定の精度に関しては、生成された決定木モデルの全体が普通に使用される場合に、不正判定かつジニ不純度の高いノードも、不正判定の結果につながる。この場合、新たなインスタンス（例えば、テストセット）に対する予測の精度は、高くない場合がある。一方、情報出力装置１００は、決定木モデルのノードの中から、不正判定かつジニ不純度の低いノードを抽出することによって、不正判定のカバー率は低いが、適合率が高い判定ルールを採用することができる。このため、情報出力装置１００は、決定木モデルのノードに対応する判定ルールから、適合率が高い判定ルールを部分的に採用することができる。

【0038】

以下、このような判定ルール生成処理を行う情報出力装置１００について詳細に説明する。

【0039】

〔２．情報出力システム〕
次に、図２を参照して、情報出力装置１００を含むシステムの構成例について説明する。

【0040】

〔２－１．情報出力システムの構成要素〕
図２は、実施形態に係る情報出力システム１の一例を示す図である。図２に示されるように、情報出力システム１は、情報出力装置１００、情報提供装置２００およびユーザ装置３００等の構成要素を含む。図１中では図示していないが、情報出力システム１は、複数台の情報出力装置１００や、複数台の情報提供装置２００や、複数台のユーザ装置３００を含んでもよい。また、情報出力システム１は、情報出力装置１００に関係するエンティティ（例えば、業者、エンドユーザ）の装置等の、他の構成要素を含んでもよい。

【0041】

情報出力システム１において、情報出力装置１００、情報提供装置２００およびユーザ装置３００は、それぞれネットワークＮと有線又は無線により接続される。ネットワークＮは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークである。情報出力システム１の構成要素は、ネットワークＮを介して互いに通信を行うことができる。

【0042】

情報出力装置１００（出力装置の一例に相当）は、各種行動の検知のための処理を実行する情報処理装置である。例えば、情報出力装置１００は、各種行動を検知するための検知条件を出力する。各種行動の一例は、オークション、ショッピング、フリーマーケットといった電子商取引サービスにおける不正行為である。

【0043】

情報出力装置１００は、サーバを含む、任意のタイプの情報処理装置であってもよい。複数台の情報出力装置１００が、ウェブサーバ、アプリケーションサーバ、データベースサーバ等の各種サーバの機能をそれぞれ提供してもよい。情報出力装置１００の構成例は、次の節で詳述される。

【0044】

情報提供装置２００は、情報出力装置１００に各種情報を提供する情報処理装置である。情報提供装置２００は、上述の各種行動の検知のための処理に使用される各種情報（例えば、ユーザ情報）を、情報出力装置１００に提供する。情報提供装置２００は、サーバを含む、任意のタイプの情報処理装置であってもよい。

【0045】

一例として、情報提供装置２００は、オークション、ショッピング、フリーマーケットといった電子商取引サービスを、ユーザ装置３００のユーザに提供する。情報提供装置２００は、電子商取引サービスの提供を通じて、ユーザの行動履歴を収集することができる。ユーザの行動履歴の例は、オークション、ショッピングまたはフリーマーケットの購入ログ等を含む。情報提供装置２００において、このような購入ログは、購入ログが通常のログであることを示すタグや、購入ログが不正行為（例えば、商品キャンセル、架空取引、不正ログイン）に対応することを示すタグに関連付けられる。情報提供装置２００は、通常または不正のタグに関連付けられた購入ログを、情報出力装置１００に提供することができる。

【0046】

ユーザ装置３００は、ユーザによって利用される情報処理装置である。ユーザ装置３００は、情報提供装置２００によって提供される電子商取引サービスへのアクセスを要求することができる。ユーザ装置３００は、スマートフォン、デスクトップ型ＰＣ（Personal Computer）、ノート型ＰＣ、タブレット型ＰＣ等のクライアント装置を含む、任意のタイプの情報処理装置であってもよい。

【0047】

一例として、ユーザ装置３００のユーザは、上述の電子商取引サービスを利用する。購入ログ等の行動履歴は、電子商取引サービスを介して、情報提供装置２００によって収集される。

【0048】

〔２－２．情報出力装置の構成〕
図２に示されるように、情報出力装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報出力装置１００は、情報出力装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（液晶ディスプレイ等）を有してもよい。

【0049】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、有線または無線によりネットワーク網と接続される。通信部１１０は、情報提供装置２００およびユーザ装置３００に、ネットワークＮを介して、通信可能に接続されてもよい。通信部１１０は、情報提供装置２００およびユーザ装置３００との間で、ネットワーク網を介して、情報の送受信を行うことができる。

【0050】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２に示されるように、記憶部１２０は、ユーザ情報記憶部１２１と、モデル記憶部１２２とを有する。

【0051】

（ユーザ情報記憶部１２１）
ユーザ情報記憶部１２１は、ユーザ情報を記憶する。ユーザ情報は、各種行動の検知のための処理に使用される情報である。例えば、ユーザ情報は、オークション、ショッピング、フリーマーケットといった電子商取引サービスを利用するユーザの行動情報や属性情報を含む。

【0052】

ユーザ情報は、例えば、電子商取引サービスにおける取引のログを含み得る。取引のログの一例は、オークション、ショッピングまたはフリーマーケットの購入ログである。購入ログは、決済金額、カテゴリの識別子、購入者の評価等のデータを含む。

【0053】

また、ユーザ情報は、ログに関連付けられたラベルを含み得る。ラベルは、例えば、取引が不正であるかを示す。一例として、ラベルは、不正の有無（「０」または「１」のラベル）を示す値である。

【0054】

一例では、ユーザ情報は、過去の不正データである。図１Ａを参照して上述したように、例えば、過去の不正データは、過去の不正判定のログである。

【0055】

（モデル記憶部１２２）
モデル記憶部１２２は、モデル（すなわち、機械学習モデル）を記憶する。モデル記憶部１２２は、後述する取得部１３２によって生成された予測モデル（例えば、機械学習モデルのデータ）を記憶することができる。いくつかの実施形態では、後述する受信部１３１によって受信されたモデルを記憶してもよい。

【0056】

一例では、モデルは、過去の不正データで構築された決定木である。図１Ｃを参照して上述したように、決定木のノードは、「settle_price>50000」（「決済金額が５万円より大きいか」）、「category_id=3333」（「商品が特定のカテゴリ（例えば、商品カテゴリの識別子「３３３３」であるか」）、「quantity<5」（「出品数が５個未満であるか」）、「buyer_rate<1」（「購入者の評価が１未満であるか」）等を尋ねてくる。決定木は、決済に関連する他の質問（すなわち、分岐条件）に対応する他のノードも含み得る。例えば、他の質問は、「送料が５万円以上であるか」であってもよい。また、例えば、他の質問は、「ユーザのＩＤが作成されてからｎ日（ｎは任意の自然数）が経過したか」であってもよい。

【0057】

（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報出力装置１００内部の記憶装置に記憶されている各種プログラム（出力プログラムの一例に相当）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＧＰＵ（General Purpose Graphic Processing Unit）等の集積回路により実現されてもよい。

【0058】

制御部１３０は、図２に示されるように、受信部１３１と、取得部１３２と、特定部１３３と、出力部１３４とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。また、制御部１３０は、図１Ａ～図１Ｄを参照して上述した判定ルール生成処理を実現することができる。情報出力装置１００の１つまたは複数のプロセッサは、情報出力装置１００の１つまたは複数のメモリに記憶された命令を実行することによって、制御部１３０内の各制御部の機能を実現することができる。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。例えば、特定部１３３は、特定部１３３以外の部に関して後述する情報処理の全部または一部を行ってもよい。

【0059】

（受信部１３１）
受信部１３１は、各種行動の検知のための処理に使用される各種情報を受信することができる。例えば、受信部１３１は、上述のユーザ情報を受信することができる。受信部１３１は、モデル（例えば、決定木モデル）を受信してもよい。受信部１３１は、情報提供装置２００から、各種情報を受信することができる。

【0060】

受信部１３１は、特徴情報等の各種情報を、所定の情報処理装置（例えば、情報出力装置１００に関係するエンティティ（例えば、特定のインターネット企業）の装置）から受信することができる。また、例えば、受信部１３１は、情報出力装置１００を利用する管理者から、ユーザインタフェースを介して、このような情報を受信することができる。受信部１３１は、ユーザ情報記憶部１２１に、受信されたユーザ情報を格納してもよい。また、受信部１３１は、モデル記憶部１２２に、受信されたモデルを格納してもよい。

【0061】

（取得部１３２）
取得部１３２は、各種行動の検知のための処理に使用される各種情報を取得することができる。取得部１３２は、記憶部１２０から各種情報を取得することができる。例えば、取得部１３２は、上述のユーザ情報を、ユーザ情報記憶部１２１から取得することができる。また、例えば、モデルを、モデル記憶部１２２から取得することができる。

【0062】

少なくとも１つの実施形態では、取得部１３２は、所定の行動の履歴に基づいて、この履歴を分類する分類条件を取得する。

【0063】

少なくとも１つの実施形態では、取得部１３２は、履歴から、条件判定によって行動が検知対象であるかを予測する予測モデルを生成し、生成された予測モデルから、分類条件を取得する。例えば、取得部１３２は、予測モデルとして、行動が検知対象であるかを予測する決定木を生成し、生成された決定木の少なくとも１つのノードにそれぞれ対応する少なくとも１つの分岐条件を、分類条件として取得する。

【0064】

少なくとも１つの実施形態では、取得部１３２は、所定の行動として、所定の購買行動を示し、この所定の購買行動が、検知対象となる不正な行動であるかを示す履歴に基づいて、分類条件として、購買行動がこの不正な行動であるかを判定するための分類条件を決定する。例えば、取得部１３２は、履歴に基づいて、分類条件として、所定の購買行動の購入金額又は所定の購買行動の取引対象の種別によって購買行動が不正な行動であるかを判定するための分類条件を決定する。

【0065】

一例では、取得部１３２は、過去の不正データを使用することによって、決定木アルゴリズムによる分類モデルを作成する。

【0066】

図１Ａを参照して上述したように、取得部１３２は、過去の不正データから、決定木を作成する。過去の不正データは、例えば、過去の不正判定のログである。取得部１３２は、過去の不正データを、訓練データとして決定木アルゴリズムに与え、決定木アルゴリズムによる分類モデルを作成する。

【0067】

より一般的には、取得部１３２は、過去の不正データから、ルールベースモデルを作成することができる。作成されたルールベースモデルは、過去の不正データに適合することができる。また、作成されたルールベースモデルは、条件分岐等の分類規則を与え得る。

【0068】

取得部１３２は、作成された予測モデル（例えば、分類モデル）を、モデル記憶部１２２に格納することができる。

【0069】

（特定部１３３）
特定部１３３は、分類条件の組み合わせを特定することができる。分類条件の組み合わせは、各種行動を検知するための条件として使用され得る。

【0070】

少なくとも１つの実施形態では、特定部１３３は、分類条件の組み合わせのうち、この分類条件の組み合わせを満たす行動のうち、検知対象となる行動の割合が所定の条件を満たす分類条件の組み合わせを特定する。

【0071】

少なくとも１つの実施形態では、特定部１３３は、取得部１３２によって、分類条件として取得された少なくとも１つの分岐条件から、分類条件の組み合わせを満たす行動のうち検知対象となる行動の割合が所定の条件を満たす分類条件の組み合わせとして、不純度に関する条件を満たす分岐条件の組み合わせを特定する。例えば、特定部１３３は、少なくとも１つのノードから、不純度が閾値を下回り、かつクラスが検知対象であるリーフノードを特定し、決定木を特定されたリーフノードからルートノードまでたどることによって、不純度に関する条件を満たす分岐条件の組み合わせを特定する。

【0072】

一例では、特定部１３３は、取得部１３２によって生成された分類モデルの中から、不正判定かつジニ不純度の低いノードを抽出する。図１Ｂを参照して上述したように、例えば、特定部１３３は、ノードの不純度が閾値以下であり、かつクラスが不正であるノードを抽出する。

【0073】

一例では、特定部１３３は、抽出されたノードの分岐条件を、ルールとして抽出する。図１Ｃを参照して上述したように、高い不正の確率のノードからルートノードに辿りつくまでのラインは、少なくとも１つの分岐条件を含む。特定部１３３は、抽出されたノードに辿りつく少なくとも１つの分岐条件を抽出する。そして、特定部１３３は、この少なくとも１つの分岐条件の組み合わせを、ルールとして抽出する。特定部１３３は、このような抽出処理を繰り返すことによって、ルール群を作成する。

【0074】

（出力部１３４）
出力部１３４は、検知対象となる行動を検知するための検知条件を出力する。検知条件は、例えば、所定の対象に対する不正の有無を予測するために使用され得る。所定の対象は、例えば、電子商取引サービスであり得る。この場合、不正は、例えば、不正な取引であり得る。

【0075】

少なくとも１つの実施形態では、出力部１３４は、特定部１３３によって特定された分類条件の組み合わせを、検知対象となる行動を検知するための検知条件として出力する。

【0076】

一例では、出力部１３４は、特定部１３３によって作成されたルール群を検証用の過去の不正データに照合し、適合率の高いルールを採用する。図１Ｄを参照して上述したように、出力部１３４は、適合率が閾値以上であるルールを採用する。そして、出力部１３４は、採用されたルールを、既存のルール管理システムに登録する。

【0077】

〔３．判定ルール生成処理のフロー〕
次に、図３を参照して、実施形態に係る情報出力装置１００による判定ルール生成処理の手順について説明する。

【0078】

図３は、実施形態に係る情報出力装置１００によって実行される、決定木モデルを使用して不正判定ルールを自動生成するための処理の一例を示すフローチャートである。

【0079】

図３に示されるように、はじめに、情報出力装置１００の取得部１３２は、情報出力装置１００のユーザ情報記憶部１２１から、不正データを取得する（ステップＳ１０１）。

【0080】

次いで、取得部１３２は、取得された不正データを使用して決定木分類アルゴリズムを訓練することによって、決定木モデルを作成する（ステップＳ１０２）。

【0081】

取得された不正データは、説明変数に対応するインスタンス（例えば、ログ）と、目的変数に対応し、インスタンスに関連付けられたラベルとを含む。例えば、説明変数（例えば、ログのレコード）は、決済金額、カテゴリの識別子、購入者の評価等の評価スコアを含む。一方、目的変数は、不正の有無（「０」または「１」のラベル）である。すなわち、不正データは、不正あり無しの両方のログを含む。例えば、ユーザの行動（例えば、決済金額）や属性（例えば、購入者の評価）が、ログのレコードに存在する。

【0082】

このような不正データに含まれるログは、例えば、オークション、ショッピング、フリーマーケットといった電子商取引サービスの利用に際して蓄積される。例えば、１つのログのレコードは、売買が成立し、決済が発生したタイミングで発生する。そして、電子商取引サービスは、１つのログのレコードに、不正の有無を示すラベルを関連付ける。このようにして、不正データが、作成され得る。

【0083】

次いで、情報出力装置１００の特定部１３３は、取得された不正データによって作成された決定木モデルから、不正判定かつジニ不純度の低いノードを抽出する（ステップＳ１０３）。例えば、特定部１３３は、クラスが不正で、かつジニ不純度が閾値以下のリーフノードを抽出する。

【0084】

次いで、情報出力装置１００の特定部１３３は、抽出されたノードから、分岐条件を抽出し、ルールを作成する（ステップＳ１０４）。

【0085】

例えば、特定部１３３は、決定木モデルを抽出されたノードからルートノードまでの経路に含まれるノードに対応する分岐条件を組み合わせることによって、判定ルールを作成する。判定ルールは、例えば、複数の分岐条件の組み合わせであり、これらの複数の分岐条件は、「AND」で結合する。

【0086】

次いで、情報出力装置１００の出力部１３４は、特定部１３３によって作成されたルールの中から、適合率の高いルールを採用する（ステップＳ１０５）。

【0087】

例えば、出力部１３４は、ユーザ情報記憶部１２１から検証用の過去の不正データを取得する。そして、出力部１３４は、特定部１３３によって作成されたルールを、検証用の過去の不正データに照合することによって、作成されたルールの適合率が高いかを検証する。例えば、出力部１３４は、作成されたルールの適合率が閾値を超える場合に、このルールを採用する。

【0088】

次いで、出力部１３４は、採用されたルールを、既存のルール管理システムに登録する（ステップＳ１０６）。例えば、人間によって考えられた判定ルールが、既存のルール管理システムに、予め登録されている。採用されたルールは、この既存のルール管理システムに登録されたルールに追加される。

【0089】

〔４．他の実施形態〕
上述の実施形態に係る情報出力装置１００は、上述の実施形態以外にも、種々の異なる形態で実施されてよい。そこで、以下では、上記の情報出力装置１００の他の実施形態について説明する。

【0090】

〔４－１．モデルの更新〕
情報出力装置１００（例えば、受信部１３１）が新しいユーザ情報を受信した場合に、報出力装置１００は、新たなユーザ情報に基づいて、「モデルの生成」、「分類条件の取得」、「分類条件の組み合わせの特定」および「検知条件の出力」の一連の処理ステップを、再び実行してもよい。これにより、情報出力装置１００は、新しいユーザ情報（例えば、新しい不正データ）に基づいて、検知条件（例えば、不正判定ルール）を更新することができる。情報出力装置１００は、高い精度の分類条件を、ルール管理システムに、新たな分類条件として登録することができる。

【0091】

〔５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の一部を手動的に行うこともできる。あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0092】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0093】

例えば、図２に示した記憶部１２０の一部又は全部は、情報出力装置１００によって保持されるのではなく、ストレージサーバ等に保持されてもよい。この場合、情報出力装置１００は、ストレージサーバにアクセスすることで、ユーザ情報やモデル等の各種情報を取得する。

【0094】

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る情報出力装置１００は、例えば図４に示すような構成のコンピュータ１０００によって実現される。図４は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0095】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

【0096】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0097】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0098】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0099】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0100】

例えば、コンピュータ１０００が情報出力装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。

【0101】

〔７．効果〕
上述してきたように、実施形態に係る情報出力装置１００は、取得部１３２と、特定部１３３と、出力部１３４とを有する。

【0102】

実施形態に係る情報出力装置１００において、取得部１３２は、所定の行動の履歴に基づいて、この履歴を分類する分類条件を取得する。また、実施形態に係る情報出力装置１００において、特定部１３３は、分類条件の組み合わせのうち、この分類条件の組み合わせを満たす行動のうち、検知対象となる行動の割合が所定の条件を満たす分類条件の組み合わせを特定する。また、実施形態に係る情報出力装置１００において、出力部１３４は、特定部１３３によって特定された分類条件の組み合わせを、検知対象となる行動を検知するための検知条件として出力する。

【0103】

また、実施形態に係る情報出力装置１００において、取得部１３２は、履歴から、条件判定によって行動が検知対象であるかを予測する予測モデルを生成し、生成された予測モデルから、分類条件を取得する。

【0104】

また、実施形態に係る情報出力装置１００において、取得部１３２は、予測モデルとして、行動が検知対象であるかを予測する決定木を生成し、生成された決定木の少なくとも１つのノードにそれぞれ対応する少なくとも１つの分岐条件を、分類条件として取得する。

【0105】

また、実施形態に係る情報出力装置１００において、特定部１３３は、取得部１３２によって、分類条件として取得された少なくとも１つの分岐条件から、分類条件の組み合わせを満たす行動のうち検知対象となる行動の割合が所定の条件を満たす分類条件の組み合わせとして、不純度に関する条件を満たす分岐条件の組み合わせを特定する。

【0106】

また、実施形態に係る情報出力装置１００において、特定部１３３は、少なくとも１つのノードから、不純度が閾値を下回り、かつクラスが検知対象であるリーフノードを特定し、決定木を特定されたリーフノードからルートノードまでたどることによって、不純度に関する条件を満たす分岐条件の組み合わせを特定する。

【0107】

また、実施形態に係る情報出力装置１００において、取得部１３２は、所定の行動として、所定の購買行動を示し、この所定の購買行動が、検知対象となる不正な行動であるかを示す履歴に基づいて、分類条件として、購買行動がこの不正な行動であるかを判定するための分類条件を決定する。

【0108】

また、実施形態に係る情報出力装置１００において、取得部１３２は、履歴に基づいて、分類条件として、所定の購買行動の購入金額又は所定の購買行動の取引対象の種別によって購買行動が不正な行動であるかを判定するための分類条件を決定する。

【0109】

上述した各処理により、情報出力装置１００は、検知対象となる行動の検知に有用な条件を得ることができる。

【0110】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0111】

また、上述した情報出力装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

【0112】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、出力部は、出力手段や出力回路に読み替えることができる。

【符号の説明】

【0113】

１ 情報出力システム
１００ 情報出力装置
１１０ 通信部
１２０ 記憶部
１２１ ユーザ情報記憶部
１２２ モデル記憶部
１３０ 制御部
１３１ 受信部
１３２ 取得部
１３３ 特定部
１３４ 出力部
２００ 情報提供装置
３００ ユーザ装置

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】

【図4】