特開 2024-123310 不公正取引検知モデル選択装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123310

(43)【公開日】2024-09-12

(54)【発明の名称】不公正取引検知モデル選択装置、方法、およびプログラム

(51)【国際特許分類】

   G06Q 40/04 20120101AFI20240905BHJP

   G06Q 10/04 20230101ALI20240905BHJP

【ＦＩ】

G06Q40/04

G06Q10/04

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023030603

(22)【出願日】2023-03-01

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(71)【出願人】

【識別番号】522339112

【氏名又は名称】株式会社ＪＰＸ総研

(71)【出願人】

【識別番号】514148650

【氏名又は名称】日本取引所自主規制法人

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】鹿島 裕

(72)【発明者】

【氏名】藤本 圭

(72)【発明者】

【氏名】指田 浩希

(72)【発明者】

【氏名】鈴木 丈夫

(72)【発明者】

【氏名】福田 健二

【テーマコード（参考）】

5L010

5L040

5L049

5L055

【Ｆターム（参考）】

5L010AA04

5L040BB52

5L049AA04

5L055BB52

(57)【要約】

【課題】不公正取引を含むと予測される対象データの検知漏れを抑制しつつ、検知された対象データに対する人手での検査効率を向上させることができるモデルを選択できる不公正取引検知モデル選択装置を提供する。
【解決手段】モデル入力部８１は、取引を表わすデータを入力して、その取引の不正度合いを示すスコアを出力するモデルの入力を受け付ける。閾値特定部８２は、取引を表わすデータとその取引が不正か否かを示す教師ラベルとが対応付けられた評価用データをモデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアをそのモデルの閾値として特定する。割合計算部８３は、評価用データの全体に対し、特定された閾値より低いスコアが出力された評価用データの割合をモデルごとに算出する。モデル特定部８４は、算出された割合が最も大きいモデルを特定する。
【選択図】図６

【特許請求の範囲】

【請求項1】

取引を表わすデータを入力して当該取引の不正度合いを示すスコアを出力するモデルの入力を受け付けるモデル入力部と、
前記取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられた評価用データを前記モデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアを当該モデルの閾値として特定する閾値特定部と、
前記評価用データの全体に対し、特定された前記閾値より低いスコアが出力された評価用データの割合を前記モデルごとに算出する割合計算部と、
算出された前記割合が最も大きいモデルを特定するモデル特定部とを備えた
ことを特徴とする不公正取引検知モデル選択装置。

【請求項2】

モデル特定部は、割合の最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデルを優先して選択する
請求項１記載の不公正取引検知モデル選択装置。

【請求項3】

取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられたデータのうち、評価用データとは異なる時期のデータである検証用データをモデルに適用した場合に、不正を示す教師ラベルが付与された検証用データのうち閾値より小さいスコアになる検証用データが存在するかを示す検証結果を出力する検証結果出力部を備えた
請求項１または請求項２記載の不公正取引検知モデル選択装置。

【請求項4】

モデル入力部は、取引のデータを入力としスコアを出力とするニューラルネットワークの入力を受け付ける
請求項１または請求項２記載の不公正取引検知モデル選択装置。

【請求項5】

モデル入力部は、複数のモデルの入力を受け付け、
閾値特定部は、入力を受け付けたモデルごとに閾値を特定し、
割合計算部は、前記閾値に基づいてモデルごとに割合を算出し、
モデル特定部は、前記割合が最も大きいモデルを特定する
請求項１または請求項２記載の不公正取引検知モデル選択装置。

【請求項6】

取引を表わすデータを入力して当該取引の不正度合いを示すスコアを出力するモデルの入力を受け付け、
前記取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられた評価用データを前記モデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアを当該モデルの閾値として特定し、
前記評価用データの全体に対し、特定された前記閾値より低いスコアが出力された評価用データの割合を前記モデルごとに算出し、
算出された前記割合が最も大きいモデルを特定する
ことを特徴とする不公正取引検知モデル選択方法。

【請求項7】

割合の最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデルを優先して選択する
請求項６記載の不公正取引検知モデル選択方法。

【請求項8】

複数のモデルの入力を受け付け、
入力を受け付けたモデルごとに閾値を特定し、
前記閾値に基づいてモデルごとに割合を算出し、
前記割合が最も大きいモデルを特定する
請求項６または請求項７記載の不公正取引検知モデル選択方法。

【請求項9】

コンピュータに、
取引を表わすデータを入力して当該取引の不正度合いを示すスコアを出力するモデルの入力を受け付けるモデル入力処理、
前記取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられた評価用データを前記モデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアを当該モデルの閾値として特定する閾値特定処理、
前記評価用データの全体に対し、特定された前記閾値より低いスコアが出力された評価用データの割合を前記モデルごとに算出する割合計算処理、および、
算出された前記割合が最も大きいモデルを特定するモデル特定処理
を実行させるための不公正取引検知モデル選択プログラム。

【請求項10】

コンピュータに、
モデル特定処理で、割合の最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデルを優先して選択させる
請求項９記載の不公正取引検知モデル選択プログラム。

【請求項11】

コンピュータに、
モデル入力処理で、複数のモデルの入力を受け付けさせ、
閾値特定処理で、入力を受け付けたモデルごとに閾値を特定させ、
割合計算処理で、前記閾値に基づいてモデルごとに割合を算出させ、
モデル特定処理で、前記割合が最も大きいモデルを特定させる
請求項９または請求項１０記載の不公正取引検知モデル選択プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、不公正取引を検知するモデルを選択する不公正取引検知モデル選択装置、不公正取引検知モデル選択方法、および、不公正取引検知モデル選択装置プログラムに関する。

【背景技術】

【0002】

近年、インターネットを介したオンライントレードが発達し、多くの投資家が容易に株取引を行えるようになっている。一方、株取引が容易になってきていることから、株式相場を意図的に操作するような不公正取引が行われる危険性も高まっているため、このような取引を適切に監視できることが望まれている。

【0003】

ＡＩ（Artificial Intelligence ）で検知可能な不公正取引として、見せ玉、仮想売買などが知られている。見せ玉は、ある特定の株式の売買が繁盛に行われていると他の投資家に誤解させ、取引を誘引することを目的として、売買を成立させる意図がない大量の売買注文の発注、取消および訂正を頻繁に繰り返す行為を言う。また、仮想売買は、同一人物が同じ時期に同じ価格で売買両方の注文を発注するといった、権利の移転を目的としない取引を言う。

【0004】

また、特許文献１には、高速かつ効率的にルールの生成および最適化を行うシステムが記載されている。特許文献１に記載されたシステムは、ビジネス要件及び規制上の要件をモデル及びルールに展開し、ビジネス要件及び規制上の要件に関連する特定の事象の発生を識別する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０１２－５１３０７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一般に、学習時に設定するパラメータや利用する学習データに応じて、不公正取引の検知精度が異なるモデルが生成される。すなわち、学習時の変数や学習回数、パラメータにより、大量のモデルを生成することが可能である。ただし、大量のモデルが生成されたとしても、対象とするデータ全てを完全に判別できるような精度を有するモデルを生成することは困難である。そのため、モデルを用いて不公正取引を検知する際には、一定の見逃し（偽陰性：ＦＮ）を許容する、または、一定の見誤り（偽陽性：ＦＰ）を許容する運用が行われる。

【0007】

具体的には、検知された取引が、本当に不公正取引なのか、善意の利用者が経済的な判断で似たようなパターンの取引を行ったのかについて、最終的な判断は、証券取引所や証券会社の担当者によって行われる。不公正取引の検知漏れを防ぐためには、真陽性（ＴＰ）の最大化と偽陰性（ＦＮ）の最小化が目標になるが、偽陰性（ＦＮ）および偽陽性（ＦＰ）をどの程度許容するかは、選定の基準次第である。一方、取引データは大量に存在するため、業務効率化の観点から、人手による検査の必要があるデータが少なくなるようなモデルを選択できることが好ましい。

【0008】

特許文献１に記載されたシステムを用いることで、モデルが使用するルールを効率的に生成することは可能である。しかし、効率的にルールが生成できたとしても、そのルールによって判定された結果を人手により検査する作業が、必ずしも効率的であるとは言い切れない。生成されたルールに基づくモデルの判定結果に対し、人手による検査を行うための選定基準が不明確だからである。

【0009】

そこで、本発明では、不公正取引を含むと予測される対象データの検知漏れを抑制しつつ、検知された対象データに対する人手での検査効率を向上させることができるモデルを選択できる不公正取引検知モデル選択装置、不公正取引検知モデル選択方法、および、不公正取引検知モデル選択プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明による不公正取引検知モデル選択装置は、取引を表わすデータを入力してその取引の不正度合いを示すスコアを出力するモデルの入力を受け付けるモデル入力部と、取引を表わすデータとその取引が不正か否かを示す教師ラベルとが対応付けられた評価用データをモデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアをそのモデルの閾値として特定する閾値特定部と、評価用データの全体に対し、特定された閾値より低いスコアが出力された評価用データの割合をモデルごとに算出する割合計算部と、算出された割合が最も大きいモデルを特定するモデル特定部とを備えたことを特徴とする。

【0011】

本発明による不公正取引検知モデル選択方法は、取引を表わすデータを入力してその取引の不正度合いを示すスコアを出力するモデルの入力を受け付け、取引を表わすデータとその取引が不正か否かを示す教師ラベルとが対応付けられた評価用データをモデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアをそのモデルの閾値として特定し、評価用データの全体に対し、特定された閾値より低いスコアが出力された評価用データの割合をモデルごとに算出し、算出された割合が最も大きいモデルを特定することを特徴とする。

【0012】

本発明による不正取引検知モデル選択プログラムは、コンピュータに、取引を表わすデータを入力してその取引の不正度合いを示すスコアを出力するモデルの入力を受け付けるモデル入力処理、取引を表わすデータとその取引が不正か否かを示す教師ラベルとが対応付けられた評価用データをモデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアをそのモデルの閾値として特定する閾値特定処理、評価用データの全体に対し、特定された閾値より低いスコアが出力された評価用データの割合をモデルごとに算出する割合計算処理、および、算出された割合が最も大きいモデルを特定するモデル特定処理を実行させることを特徴とする。

【発明の効果】

【0013】

本発明によれば、不公正取引を含むと予測される対象データの検知漏れを抑制しつつ、検知された対象データに対する人手での検査効率を向上させることができるモデルを選択できる。

【図面の簡単な説明】

【0014】

【図1】本発明による不公正取引検知モデル選択装置の一実施形態の構成例を示すブロック図である。

【図2】モデルの一例を示す説明図である。

【図3】閾値を決定する処理の例を示す説明図である。

【図4】不公正取引検知モデル選択装置の動作例を示すフローチャートである。

【図5】不公正取引検知モデル選択装置を用いた処理の具体例を示す説明図である。

【図6】本発明による不公正取引検知モデル選択装置の概要を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を図面を参照して説明する。

【0016】

図１は、本発明による不公正取引検知モデル選択装置の一実施形態の構成例を示すブロック図である。本実施形態の不公正取引検知モデル選択装置１００は、記憶部１０と、モデル入力部２０と、閾値特定部３０と、割合計算部４０と、モデル特定部５０と、検証結果出力部６０とを備えている。

【0017】

記憶部１０は、不公正取引検知モデル選択装置１００が各種処理を行うために必要な情報を記憶する。記憶部１０は、取引を表わすデータを入力して、その取引の不正度合いを示すスコアを出力するモデル（以下、単にモデルと記す。）を複数記憶してもよい。取引を表わすデータとして、例えば、株取引の注文データなどがあげられる。

【0018】

本実施形態で用いられるモデルを学習する方法の一例として、ディープラーニングが挙げられる。図２は、本実施形態で用いられるモデルの一例を示す説明図である。本実施形態では、図２に例示するような取引のデータを入力としスコアを出力とするニューラルネットワークが用いられてもよい。

【0019】

図２は、不公正取引の一例である見せ玉を検知するニューラルネットワークの例を示す。図２に示す例では、入力として、（注文ＩＤ、日付、時間、銘柄、最良気配値、１本上、２本上）などの取引のデータ（注文データ）を入力とし、（見せ玉である確率／見せ玉ではない確率）をそれぞれ出力とする見せ玉検知のニューラルネットワークＮ１を示す。ニューラルネットワークＮ１の各層において計算処理が行われることで、各注文データに、見せ玉の度合いを示すスコアを付与することが可能になる。

【0020】

ただし、本実施形態で用いられるモデルはニューラルネットワークに限定されず、また、モデルの学習方法も、ディープラーニングに限定されない。

【0021】

本実施形態では、記憶部１０が学習済のモデルを記憶している場合について説明する。ただし、本実施形態の不公正取引検知モデル選択装置１００自身が、モデルを保持しておかなくてもよい。例えば、不公正取引検知モデル選択装置１００が、通信回線を介して他のストレージサーバ（図示せず）からモデルを取得してもよい。記憶部１０は、例えば、磁気ディスク等により実現される。

【0022】

モデル入力部２０は、モデルの入力を受け付ける。具体的には、モデル入力部２０は、記憶部１０に記憶されたモデルを読み取ることで入力を受け付けてもよい。また、モデル入力部２０は、通信回線を介して受信したモデルの入力を受け付けてもよい。

【0023】

閾値特定部３０は、取引のデータと、その取引が不正か否かを示す教師ラベルとが対応付けられたデータ（以下、評価用データと記す。）を用いて、入力された各モデルの閾値を特定する。具体的には、閾値特定部３０は、複数の評価用データをモデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアを、そのモデルの閾値として特定する。

【0024】

図３は、閾値を決定する処理の例を示す説明図である。図３に例示するグラフは、横軸がスコア、縦軸が度数（件数）を示す。また、教師ラベルが不正を示す評価用データ（以下、不正データと記す。）の度数を黒棒で示し、教師ラベルが不正でないことを示す評価用データ（以下、正常データと記す。）の度数を白棒で示している。

【0025】

図３（ａ）に例示するグラフは、不正データのスコアと正常データのスコアが混在せずに予測された結果を示す。この場合、閾値特定部３０は、不正データのスコアが最も低いＰ１の位置のスコアを閾値として特定する。また、図３（ｂ）に例示するグラフは、不正データのスコアと正常データのスコアが混在して予測された結果を示す。この場合、閾値特定部３０は、正常データのスコアに関わらず、不正データのスコアが最も低いＰ２の位置のスコアを閾値として特定する。図３（ｃ）に例示するグラフの場合も同様に、Ｐ３の位置のスコアを閾値として特定する。

【0026】

このように、閾値特定部３０が、不公正取引データを含みうる下限のスコアを特定するため、不公正取引を含むと予測される対象データの検知漏れを抑制できる。

【0027】

割合計算部４０は、評価用データの全体に対し、特定された閾値より低いスコアが出力された評価用データの割合を算出する。具体的には、割合計算部４０は、評価用データ全体の件数に対する、閾値より低いスコアが出力された評価用データの数の割合を算出する。

【0028】

割合計算部４０によって算出された割合は、不正データを確実に含まない対象データの割合を示す。言い換えると、割合計算部４０によって算出される割合は、人手での検査を行う必要がない対象データの割合であると言える。したがって、この割合が大きいモデルほど人手での検査が不要になるモデルであると言える。

【0029】

モデル特定部５０は、算出された割合が最も大きいモデルを特定する。すなわち、モデル特定部５０が特定するモデルは、人手での検査を行う必要がより少ないモデルであることから、業務削減率の高いモデルであると言える。

【0030】

なお、割合の最も大きいモデルが複数存在したとする。この場合、モデル特定部５０は、これらのモデルのうち、度数の分布がなだらかなモデル（標準偏差の大きいモデル）を優先して選択してもよい。より詳しくは、モデル特定部５０は、算出された割合が最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデルを優先して選択してもよい。

【0031】

例えば、実際の運用の場面において、閾値特定部３０により閾値（スコア）が特定されたとしても、その閾値よりもさらに低いスコアの取引だけを対象外とし、安全性を確認しながら、徐々に閾値に近い取引まで検査対象外の領域を増やしていくことが考えられる。この場合、度数の分布がなだらかなモデルの方が、安全な領域を徐々に増やしていくことが可能であり、閾値の変化により不正データが混在するリスクを低減できるため、より好ましいと言える。

【0032】

検証結果出力部６０は、選択したモデルを使用した場合の検証結果を出力する。具体的には、検証結果出力部６０は、取引のデータと、その取引が不正か否かを示す教師ラベルとが対応付けられたデータのうち、評価用データとは異なる時期のデータ（以下、検証用データと記す。）をモデルに適用した場合に、不正を示す教師ラベルが付与された検証用データのうち閾値より小さいスコアになる検証用データが存在するか出力する。

【0033】

このような検証用データが存在する場合、運用時に不公正取引を検知できない可能性があることから、このようなモデルを候補から除外することが可能になる。

【0034】

検証結果出力部６０は、不正を示す教師ラベルが付与された検証用データのうち閾値より小さいスコアになる検証用データが存在するかを示す結果のみ出力してもよいし、図３に例示するようなグラフを出力してもよい。図３に例示するようなグラフを出力することで、ユーザが判定精度を確認することが容易になり、選択したモデルの妥当性を判断することが可能になる。

【0035】

モデル入力部２０と、閾値特定部３０と、割合計算部４０と、モデル特定部５０と、検証結果出力部６０とは、プログラム（不公正取引検知モデル選択プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

【0036】

例えば、プログラムは、記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、モデル入力部２０、閾値特定部３０、割合計算部４０、モデル特定部５０および検証結果出力部６０として動作してもよい。また、不公正取引検知モデル選択装置の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0037】

モデル入力部２０と、閾値特定部３０と、割合計算部４０と、モデル特定部５０と、検証結果出力部６０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0038】

また、不公正取引検知モデル選択装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0039】

次に、本実施形態の不公正取引検知モデル選択装置の動作を説明する。図４は、本実施形態の不公正取引検知モデル選択装置１００の動作例を示すフローチャートである。モデル入力部２０は、モデルの入力を受け付ける（ステップＳ１１）。閾値特定部３０は、評価用データをモデルに適用し、不正データに対して最も低く出力されたスコアをそのモデルの閾値として特定する（ステップＳ１２）。割合計算部４０は、特定された閾値より低いスコアが出力された評価用データの割合を算出する（ステップＳ１３）。モデル特定部５０は、算出された割合が最も大きいモデルを特定する（ステップＳ１４）。

【0040】

以上のように、本実施形態では、モデル入力部２０が、モデルの入力を受け付け、閾値特定部３０が、評価用データをモデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアをそのモデルの閾値として特定する。そして、割合計算部４０が、評価用データの全体に対し、特定された閾値より低いスコアが出力された評価用データの割合をモデルごとに算出し、モデル特定部５０が、算出された割合が最も大きいモデルを特定する。よって、不公正取引を含むと予測される対象データの検知漏れを抑制しつつ、検知された対象データに対する人手での検査効率を向上させることができるモデルを選択できる。

【0041】

例えば、一般には、不正データか否か判定するための閾値が高いほどモデルの精度が高いと考えられるため、検査効率を向上させるためには、閾値の高いモデルが選択されがちである。しかし、上述するように、モデルを使用した判定処理が完全ではないため、不正と予測されるデータに対する検査作業が必要になる。この場合、閾値が高ければ、必ずしも検査効率を向上できるとは限らない。

【0042】

例えば、図３（ｂ）に示す判定結果になるモデルと、図３（ｃ）に示す判定結果になるモデルが存在するとする。閾値のみを比較すると、図３（ｂ）に示す判定結果になるモデルの方が閾値が大きいため、選択すべきとも思われる。しかし、閾値より小さなスコアになるような不正ではないデータの量は、図３（ｃ）に示す判定結果になるモデルの方が大きい。このようなデータは、検査対象から除外できるため、図３（ｃ）に示すような判定結果になるモデルを選択することで、図３（ｂ）に示すような判定結果になるモデルを選択するよりも、検査効率を向上できる。

【0043】

次に、本実施形態の不公正取引検知モデル選択装置１００を用いた処理の具体例を説明する。図５は、本実施形態の不公正取引検知モデル選択装置１００を用いた処理の具体例を示す説明図である。

【0044】

まず、取引のデータと、その取引が不正か否かを示す教師ラベルとが対応付けられたデータＤを、取引の時期に応じて、学習用データＤ１、評価用データＤ２および検証用データＤ３に分割する。例えば、取得時期Ｔ（１月）のデータを学習用データ、取得時期Ｔ＋１（２月）のデータを評価用データ、取得時期Ｔ＋２（３月）のデータを検証用データ、などに分割する。

【0045】

取得時期Ｔの学習用データを用いて、複数の予測モデルが学習される。図５に示す例では、ｎ種類の予測モデルが学習される。この予測モデルの入力をモデル入力部２０が受け付けて、閾値特定部３０が、取得時期Ｔ＋１の評価用データを用いて、各予測モデルの閾値を特定する。図５の点線３１で囲った範囲内のデータが、不正データではないと判定されたデータである。

【0046】

割合計算部４０によって算出された割合に基づき、モデル特定部５０が、算出された割合が最も大きいモデルとして予測モデル２を特定したとする。検証結果出力部６０は、取得時期Ｔ＋２の検証用データを特定された予測モデルに適用し、検証結果を出力する。

【0047】

例えば、図５に例示するグラフＧ１のように、不正を示す教師ラベルが付与された検証用データのうち閾値より小さいスコアになる検証用データが存在しなかったとする。この場合、実際の運用においても、不公正取引を見逃す可能性が低いことから、管理者は、このようモデルを運用に用いるモデルとして決定してもよい。一方、図５に例示するグラフＧ２のように、不正を示す教師ラベルが付与された検証用データのうち閾値より小さいスコアになる検証用データが存在したとする。この場合、実際の運用でも、不正取引を見逃す可能性があることから、管理者は、このようモデルを候補から除外する決定をしてもよい。

【0048】

次に、本発明の概要を説明する。図６は、本発明による不公正取引検知モデル選択装置の概要を示すブロック図である。本発明による不公正取引検知モデル選択装置８０（例えば、不公正取引検知モデル選択装置１００）は、取引を表わすデータ（例えば、株取引の注文データ）を入力して、その取引の不正度合いを示すスコアを出力するモデルの入力を受け付けるモデル入力部８１（例えば、モデル入力部２０）と、取引を表わすデータとその取引が不正か否かを示す教師ラベルとが対応付けられた評価用データをモデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアをそのモデルの閾値として特定する閾値特定部８２（例えば、閾値特定部３０）と、評価用データの全体に対し、特定された閾値より低いスコアが出力された評価用データの割合をモデルごとに算出する割合計算部８３（例えば、割合計算部４０）と、算出された割合が最も大きいモデルを特定するモデル特定部８４（例えば、モデル特定部５０）とを備えている。

【0049】

そのような構成により、不公正取引を含むと予測される対象データの検知漏れを抑制しつつ、検知された対象データに対する人手での検査効率を向上させることができるモデルを選択できる。

【0050】

また、モデル特定部８４は、割合の最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデル（例えば、度数の分布の変化がなだらかなモデル、標準偏差が大きいモデル）を優先して選択してもよい。

【0051】

また、不公正取引検知モデル選択装置８０は、取引を表わすデータとその取引が不正か否かを示す教師ラベルとが対応付けられたデータのうち、評価用データとは異なる時期のデータである検証用データをモデルに適用した場合に、不正を示す教師ラベルが付与された検証用データのうち閾値より小さいスコアになる検証用データが存在するかを示す検証結果を出力する検証結果出力部（例えば、検証結果出力部６０）を備えていてもよい。

【0052】

また、モデル入力部８１は、取引のデータを入力としスコアを出力とするニューラルネットワークの入力を受け付けてもよい。

【0053】

具体的には、モデル入力部８１は、複数のモデルの入力を受け付け、閾値特定部８２は、入力を受け付けたモデルごとに閾値を特定し、割合計算部８３は、閾値に基づいてモデルごとに割合を算出し、モデル特定部８４は、割合が最も大きいモデルを特定してもよい。

【0054】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0055】

（付記１）取引を表わすデータを入力して当該取引の不正度合いを示すスコアを出力するモデルの入力を受け付けるモデル入力部と、
前記取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられた評価用データを前記モデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアを当該モデルの閾値として特定する閾値特定部と、
前記評価用データの全体に対し、特定された前記閾値より低いスコアが出力された評価用データの割合を前記モデルごとに算出する割合計算部と、
算出された前記割合が最も大きいモデルを特定するモデル特定部とを備えた
ことを特徴とする不公正取引検知モデル選択装置。

【0056】

（付記２）モデル特定部は、割合の最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデルを優先して選択する
付記１記載の不公正取引検知モデル選択装置。

【0057】

（付記３）取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられたデータのうち、評価用データとは異なる時期のデータである検証用データをモデルに適用した場合に、不正を示す教師ラベルが付与された検証用データのうち閾値より小さいスコアになる検証用データが存在するかを示す検証結果を出力する検証結果出力部を備えた
付記１または付記２記載の不公正取引検知モデル選択装置。

【0058】

（付記４）モデル入力部は、取引のデータを入力としスコアを出力とするニューラルネットワークの入力を受け付ける
付記１から付記３のうちのいずれか１つに記載の不公正取引検知モデル選択装置。

【0059】

（付記５）モデル入力部は、複数のモデルの入力を受け付け、
閾値特定部は、入力を受け付けたモデルごとに閾値を特定し、
割合計算部は、前記閾値に基づいてモデルごとに割合を算出し、
モデル特定部は、前記割合が最も大きいモデルを特定する
付記１から付記４のうちのいずれか１つに記載の不公正取引検知モデル選択装置。

【0060】

（付記６）取引を表わすデータを入力して当該取引の不正度合いを示すスコアを出力するモデルの入力を受け付け、
前記取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられた評価用データを前記モデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアを当該モデルの閾値として特定し、
前記評価用データの全体に対し、特定された前記閾値より低いスコアが出力された評価用データの割合を前記モデルごとに算出し、
算出された前記割合が最も大きいモデルを特定する
ことを特徴とする不公正取引検知モデル選択方法。

【0061】

（付記７）割合の最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデルを優先して選択する
付記６記載の不公正取引検知モデル選択方法。

【0062】

（付記８）複数のモデルの入力を受け付け、
入力を受け付けたモデルごとに閾値を特定し、
前記閾値に基づいてモデルごとに割合を算出し、
前記割合が最も大きいモデルを特定する
付記６または付記７記載の不公正取引検知モデル選択方法。

【0063】

（付記９）コンピュータに、
取引を表わすデータを入力して当該取引の不正度合いを示すスコアを出力するモデルの入力を受け付けるモデル入力処理、
前記取引を表わすデータと当該取引が不正か否かを示す教師ラベルとが対応付けられた評価用データを前記モデルに適用し、不正を示す教師ラベルが付与された評価用データに対して最も低く出力されたスコアを当該モデルの閾値として特定する閾値特定処理、
前記評価用データの全体に対し、特定された前記閾値より低いスコアが出力された評価用データの割合を前記モデルごとに算出する割合計算処理、および、
算出された前記割合が最も大きいモデルを特定するモデル特定処理
を実行させるための不公正取引検知モデル選択プログラム。

【0064】

（付記１０）コンピュータに、
モデル特定処理で、割合の最も大きいモデルのうち、スコアの変化に対する度数の変化がより小さい分布のモデルを優先して選択させる
付記９記載の不公正取引検知モデル選択プログラム。

【0065】

（付記１１）コンピュータに、
モデル入力処理で、複数のモデルの入力を受け付けさせ、
閾値特定処理で、入力を受け付けたモデルごとに閾値を特定させ、
割合計算処理で、前記閾値に基づいてモデルごとに割合を算出させ、
モデル特定処理で、前記割合が最も大きいモデルを特定させる
付記９または付記１０記載の不公正取引検知モデル選択プログラム。

【符号の説明】

【0066】

１０ 記憶部
２０ モデル入力部
３０ 閾値特定部
４０ 割合計算部
５０ モデル特定部
６０ 検証結果出力部
１００ 不公正取引検知モデル選択装置
Ｎ１ ニューラルネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】