特許 6114329 広告主評価装置、広告主評価方法および広告主評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6114329

(24)【登録日】2017年3月24日

(45)【発行日】2017年4月12日

(54)【発明の名称】広告主評価装置、広告主評価方法および広告主評価プログラム

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20170403BHJP

【ＦＩ】

   G06Q30/02 444

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2015-57944(P2015-57944)

(22)【出願日】2015年3月20日

(65)【公開番号】特開2016-177600(P2016-177600A)

(43)【公開日】2016年10月6日

【審査請求日】2015年9月17日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(74)【代理人】

【識別番号】100125612

【弁理士】

【氏名又は名称】中嶋 裕昭

(72)【発明者】

【氏名】酒井 正也

(72)【発明者】

【氏名】鈴木 麻美

(72)【発明者】

【氏名】元村 貴志

(72)【発明者】

【氏名】岡田 岳史

(72)【発明者】

【氏名】谷田部 和豊

(72)【発明者】

【氏名】三野 公司

【審査官】 山本 雅士

(56)【参考文献】

【文献】 特開２００２−０３２４０２（ＪＰ，Ａ）

【文献】 特開２０１２−１１８５７４（ＪＰ，Ａ）

【文献】 特表２００８−５４５２０３（ＪＰ，Ａ）

【文献】 特開２００２−２５９８１８（ＪＰ，Ａ）

【文献】 特開２００３−３３１１８９（ＪＰ，Ａ）

【文献】 特開２００８−２６９５３７（ＪＰ，Ａ）

【文献】 特開２０１４−００６７２８（ＪＰ，Ａ）

【文献】 特開２００６−３５０６６７（ＪＰ，Ａ）

【文献】 特開２００２−０７７４６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

広告主から広告情報の入稿を受信する受信部と、
前記広告情報を入稿した前記広告主に関する情報に含まれる複数の要素をパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを評価する評価部と、
前記評価部による前記評価モデルに基づく評価スコアが所定範囲であるか否かによって前記広告情報の入稿の可否を判定する判定部と、
前記判定部による判定結果を前記広告主へ通知する通知部と、
を備え、
前記複数の要素は、
前記広告主の入稿に際しての行動パターンを推知させる入稿パターンの要素を含む
ことを特徴とする広告主評価装置。

【請求項2】

広告主から広告情報の入稿を受信する受信部と、
前記広告情報を入稿した前記広告主に関する情報に含まれる複数の要素をパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを評価する評価部と、
前記評価部による前記評価モデルに基づく評価スコアが所定範囲であるか否かによって前記広告主からの入稿の可否を判定する判定部と、
前記判定部による判定結果を前記広告主へ通知する通知部と、
を備え、
前記複数の要素は
前記広告主の入稿に際しての行動パターンを推知させる入稿パターンの要素を含む
ことを特徴とする広告主評価装置。

【請求項3】

前記入稿パターンには、
前記広告情報の内容、入稿経路、入稿時刻、広告種別、入金金額、および、入金経路の少なくとも一つが含まれる
ことを特徴とする請求項１または２に記載の広告主評価装置。

【請求項4】

前記広告主に関する情報には、
前記広告情報の過去の入稿に対する審査履歴、前記広告情報を入稿するためのアカウントの利用状況、および、前記広告情報を入稿した後の前記広告主の行動情報の少なくとも一つが含まれる
ことを特徴とする請求項１、２または３に記載の広告主評価装置。

【請求項5】

前記判定部は、
前記評価部に対し、前記評価スコアに応じて当該評価スコアに対応する前記広告主の次回からの評価レベルを変更させる
ことを特徴とする請求項１〜４のいずれか一つに記載の広告主評価装置。

【請求項6】

コンピュータが行う広告主評価方法であって、
広告主から広告情報の入稿を受信する受信工程と、
前記広告情報を入稿した前記広告主に関する情報に含まれる複数の要素をパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを評価する評価工程と、
前記評価工程による前記評価モデルに基づく評価スコアが所定範囲であるか否かによって前記広告情報の入稿の可否を判定する判定工程と、
前記判定工程による判定結果を前記広告主へ通知する通知工程と、を含み、
前記複数の要素は、
前記広告主の入稿に際しての行動パターンを推知させる入稿パターンの要素を含む
ことを特徴とする広告主評価方法。

【請求項7】

コンピュータが行う広告主評価方法であって、
広告主から広告情報の入稿を受信する受信工程と、
前記広告情報を入稿した前記広告主に関する情報に含まれる複数の要素をパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを評価する評価工程と、
前記評価工程による前記評価モデルに基づく評価スコアが所定範囲であるか否かによって前記広告主からの入稿の可否を判定する判定工程と、
前記判定工程による判定結果を前記広告主へ通知する通知工程と、を含み、
前記複数の要素は、
前記広告主の入稿に際しての行動パターンを推知させる入稿パターンの要素を含む
ことを特徴とする広告主評価方法。

【請求項8】

コンピュータに、
広告主から広告情報の入稿を受信する受信手順と、
前記広告情報を入稿した前記広告主に関する情報に含まれる複数の要素をパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを評価する評価手順と、
前記評価手順による前記評価モデルに基づく評価スコアが所定範囲であるか否かによって前記広告情報の入稿の可否を判定する判定手順と、
前記判定手順による判定結果を前記広告主へ通知する通知手順と、
を実行させ、
前記複数の要素は、
前記広告主の入稿に際しての行動パターンを推知させる入稿パターンの要素を含む
ことを特徴とする広告主評価プログラム。

【請求項9】

コンピュータに、
広告主から広告情報の入稿を受信する受信手順と、
前記広告情報を入稿した前記広告主に関する情報に含まれる複数の要素をパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを評価する評価手順と、
前記評価手順による前記評価モデルに基づく評価スコアが所定範囲であるか否かによって前記広告主からの入稿の可否を判定する判定手順と、
前記判定手順による判定結果を前記広告主へ通知する通知手順と、
を実行させ、
前記複数の要素は、
前記広告主の入稿に際しての行動パターンを推知させる入稿パターンの要素を含む
ことを特徴とする広告主評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広告主評価装置、広告主評価方法および広告主評価プログラムに関する。

【背景技術】

【0002】

近年、インターネットなどのネットワークの飛躍的な普及に伴い、ネットワークを介した広告配信が盛んに行われている。かかる広告配信を行うにあたり、例えば広告配信業者は、ウェブページなどに掲載する広告の入稿を広告主から受け付け、かかる広告が配信にふさわしい適切なものであるか否かを審査している。

【0003】

なお、審査の手法としては、例えば、広告が掲載されるウェブページの内容を解析して、事前に不適切なテキストや画像などが登録された違反情報に照らし、違反の有無を判定する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−１８９９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記従来の技術は、広告が掲載されるウェブページが適切であるか否かを確認するものに過ぎず、広告の広告主が、悪意をもった不正な広告主であるか否かを判定するものではない。

【0006】

本願は、上記に鑑みてなされたものであって、不正な広告主を判定することができる広告主評価装置、広告主評価方法および広告主評価プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本願に係る広告主評価装置は、受信部と、評価部と、判定部と、通知部と、を備える。前記受信部は、広告主から広告情報の入稿を受信する。前記評価部は、前記広告情報を入稿した前記広告主に関する情報に含まれる複数の要素をパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを評価する。前記判定部は、前記評価部による前記評価モデルに基づく評価スコアが所定範囲であるか否かによって前記広告情報の入稿の可否を判定する。前記通知部は、前記判定部による判定結果を前記広告主へ通知する。また、前記複数の要素は、前記広告主の入稿に際しての行動パターンを推知させる入稿パターンの要素を含む。

【発明の効果】

【0008】

実施形態の一態様によれば、不正な広告主を判定することができる広告主評価装置、広告主評価方法および広告主評価プログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る広告審査システムおよび広告主評価処理の説明図である。

【図2】図２は、実施形態に係る広告主評価装置の構成の一例を示すブロック図である。

【図3A】図３Ａは、入稿情報テーブルの一例を示す図である。

【図3B】図３Ｂは、広告主属性情報テーブルの一例を示す図である。

【図3C】図３Ｃは、広告主行動情報テーブルの一例を示す図である。

【図3D】図３Ｄは、審査履歴情報テーブルの一例を示す図である。

【図4】図４は、不正な広告主を正例とした場合の素性の具体例を示す図である。

【図5】図５は、実施形態に係る広告主評価装置が実行する広告主評価処理の処理手順を示すフローチャートである。

【図6】図６は、広告主評価装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る広告主評価装置、広告主評価方法および広告主評価プログラムの実施形態について図面を参照しつつ詳細に説明する。なお、以下においては、「データベース」を「ＤＢ」と記載するものとする。

【0011】

また、以下においては、広告主評価装置が、広告を審査する広告審査システムに含まれる場合を例に挙げて説明を行う。

【0012】

〔１．広告審査システムおよび広告主評価処理〕
まず、実施形態に係る広告審査システムおよび広告主評価処理について説明する。図１は、実施形態に係る広告審査システムおよび広告主評価処理の説明図である。

【0013】

〔１．１．広告審査システム〕
図１に示すように、広告審査システム１は、広告主端末２−１、２−２と、広告主評価装置３とを備える。広告主端末２−１、２−２（以下、広告主端末２と総称する場合がある）は、それぞれ広告主ＳＡ、ＳＢ（以下、広告主Ｓと総称する場合がある）によって管理および運用される。また、広告主評価装置３は、広告配信業者によって管理および運用される。

【0014】

広告主端末２および広告主評価装置３は、通信ネットワーク４を介して相互に通信可能に接続される。通信ネットワーク４は、例えばインターネットなどのＷＡＮ（Wide Area Network）である。

【0015】

なお、広告主端末２および広告主評価装置３の通信方式は、それぞれ有線通信であっても無線通信であってもよい。また、図１に示す例では、２つの広告主ＳＡ、ＳＢを例に挙げているが、広告主Ｓの数は、１つでもよく、また、３つ以上であってもよい。

【0016】

広告主Ｓは、広告配信業者へ広告の掲載を依頼する事業者であり、例えばＴＤ（Title & Description）などを含む広告情報を制作し、広告配信業者へ入稿する。例えば図１には、広告主ＳＡからは広告情報Ｘが、広告主ＳＢからは広告情報Ｙが、それぞれ入稿された場合を示している。

【0017】

そして、広告主Ｓから入稿された広告情報Ｘ，Ｙは、広告主評価装置３を含む広告審査システム１の広告配信業者側へ通信ネットワーク４を介して通知され、広告配信業者側で広告内容などの違反の有無が審査された後、審査結果に基づいて入稿可否が広告主Ｓへ通知される。

【0018】

ところで、広告主Ｓは、例えば図１の広告主ＳＡのように、悪意をもった不正者（以下、「不正な広告主」と言う）である場合がある。不正な広告主ＳＡは、例えば広告を広告閲覧者にクリックさせることによって悪意あるソフトウェアを配布するなどの不正を働くことを目的とする者である。

【0019】

そして、かかる不正な広告主ＳＡの入稿した広告情報Ｘにつき、広告内容などに違反が無ければ、かかる広告情報Ｘは入稿を許可され、Ｗｅｂページなどに掲載されてしまうおそれがある。

【0020】

ここで、広告情報Ｘ，Ｙには、入稿に際して必要となる「アカウントＩＤ」などの広告主Ｓに関する情報が含まれている。そこで、実施形態に係る広告審査システム１の広告主評価装置３では、かかる広告主Ｓに関する情報を利用して広告主Ｓを評価する広告主評価処理を行うこととした。

【0021】

〔１．２．広告主評価処理〕
かかる広告主評価処理の概要について説明する。広告主評価装置３は、制御部３２（図２以降を参照）を備える。制御部３２は、広告情報Ｘ，Ｙを入稿した広告主Ｓに関する情報に基づいて広告主評価処理を実行する。

【0022】

図１に示すように、まず、広告主評価装置３の制御部３２は、広告主Ｓに関する情報を含む広告情報Ｘ，Ｙの入稿を受信する（ステップＳ１）。

【0023】

広告主Ｓに関する情報には、例えば「アカウントＩＤ」、「広告内容」、「入稿経路」および「入稿時刻」などが含まれる。また、図１に示すように、広告主評価装置３はＤＢを有しており、かかるＤＢには、広告主Ｓの「過去の審査履歴」などを含む広告主Ｓに関する情報が格納されている。

【0024】

そして、制御部３２は、これら「アカウントＩＤ」、「広告内容」、「入稿経路」、「入稿時刻」および「過去の審査履歴」などの、広告主Ｓに関する情報に含まれる諸要素に基づいて広告主Ｓを評価する（ステップＳ２）。かかる評価は例えば、上記諸要素に基づく複数の要素をパラメータとする評価モデルに基づいて行われる。

【0025】

そして、制御部３２は、評価結果（例えば評価スコア）に基づいて広告主Ｓの入稿の可否を判定する（ステップＳ３）。

【0026】

このように、実施形態に係る広告主評価装置３では、制御部３２が、過去の審査履歴を含む広告主Ｓに関する情報に基づいて広告主Ｓを評価する広告主評価処理を実行する。広告主評価処理は、言い換えるならば、広告主Ｓに関する情報に基づいて不正な広告主ＳＡの入稿の際の行動パターン、言わば「入稿パターン」を抽出して、かかる広告主Ｓの「怪しさ」もしくは「不正の度合い」を前述の評価モデルに基づいて評価する。

【0027】

したがって、広告情報Ｘ，Ｙのみからは判定しづらかった広告主Ｓの「怪しさ」を評価することが可能となり、評価結果に基づいて不正な広告主ＳＡを判定することができる。

【0028】

なお、上記したパラメータの要素としては、入稿の際の広告主Ｓの行動に係るものだけではなく、例えば入稿後の広告配信業者側のサイトへのアクセス回数といった入稿後の広告主Ｓの行動パターンを示す要素を、上記パラメータの要素としてもよい。この点については、図４を用いた説明で後述する。以下、図２以降を用いて、実施形態に係る広告主評価装置３についてさらに詳しく説明する。

【0029】

〔２．広告主評価装置の構成〕
次に、広告主評価装置３の構成について具体的に説明する。図２は、実施形態に係る広告主評価装置３の構成の一例を示すブロック図である。

【0030】

なお、図２では、広告主評価装置３の説明に必要となる構成要素のみを示しており、一般的な構成要素についての記載を省略している。また、既に説明済みの構成要素については、その説明を簡略化するか省略する場合がある。

【0031】

図２に示すように、広告主評価装置３は、通信部３１と、制御部３２と、記憶部３３とを備える。

【0032】

（記憶部３３について）
記憶部３３は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、広告情報ＤＢ３３１と、広告主情報ＤＢ３３２とを有する。

【0033】

（通信部３１について）
通信部３１は、例えばＮＩＣ（Network Interface Card）などのインターフェイスである。制御部３２は、通信部３１および通信ネットワーク４を介して、広告主端末２との間で各種の情報を送受信可能である。

【0034】

（制御部３２について）
制御部３２は、図１を用いて説明した広告主評価処理の実行についての全体制御を行う。具体的に、制御部３２は、例えばＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、広告主評価装置３内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。また、制御部３２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0035】

図２に示すように、制御部３２は、受信部３２１と、評価部３２２と、判定部３２３と、通知部３２４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部３２の内部構成は、図２に示した構成に限られず、後述する情報処理を行うことができる構成であれば他の構成であってもよい。また、制御部３２が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

【0036】

（受信部３２１について）
受信部３２１は、広告主Ｓから広告情報Ｘ，Ｙの入稿を受信して、かかる広告情報Ｘ，Ｙに含まれる入稿パターンに係る情報を、広告情報ＤＢ３３１の有する入稿情報テーブルへ設定する。

【0037】

（評価部３２２について）
評価部３２２は、広告情報Ｘ，Ｙを入稿した広告主Ｓに関する情報を、広告情報ＤＢ３３１の入稿情報テーブル、広告主情報ＤＢ３３２の広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルから取得し、取得した情報に基づいて広告主Ｓを評価する。

【0038】

（各種テーブルについて）
ここで、広告情報ＤＢ３３１の有する入稿情報テーブル、広告主情報ＤＢ３３２の有する広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルについて、図３Ａ〜図３Ｄを用いて説明しておく。

【0039】

図３Ａは、入稿情報テーブルの一例を示す図である。図３Ａに示すように、入稿情報テーブルには、入稿に際して広告主Ｓによって使用された「アカウントＩＤ」ごとに、例えば「入稿ＩＤ」、「入稿日」、「入稿時刻」、「広告種別」、「広告内容」、「チャネル」、「入金金額」および「入金経路」などが関連付けられた情報が含まれる。

【0040】

「入稿ＩＤ」は、広告主端末２からの入稿要求ごとに割り当てられる識別情報である。「入稿日」および「入稿時刻」は、広告主端末２からの入稿日および入稿時刻である。「広告種別」は、広告主Ｓの依頼する広告の種別であり、例えば「クリック」はクリック課金制広告を、「インプレ」はインプレッション課金制広告を、それぞれ示す。

【0041】

「広告内容」は、広告主Ｓの依頼する広告の内容であり、例えばＴＤなどの内容である。「チャネル」は入稿経路（図１参照）に相当する情報であり、「直接」は例えば代理店を介さずにオンライン経由で広告主Ｓから直接入稿された場合を、「間接」は例えば代理店経由である場合を、それぞれ示す。

【0042】

「入金金額」は、入稿に際して広告主Ｓから入金された金額である。「入金経路」は、入金の経路であり、例えば「Ａ国→ＪＰ」は、海外のＡ国から日本国内へ入金されたことを示す。

【0043】

例えば、図３Ａの例では、「アカウントＩＤ」＝「ａａａ＿１」による入稿が、同一日である「２０１５／３／１８」のほぼ「２２：００」頃に、まとめて同一内容、同一金額およびＡ国からの同一経路で行われたことが分かる。しかも、「広告内容」には、「『平社は…」のように「弊社」とすべき同一の誤記が含まれていることも分かる。このように、入稿情報テーブルの入稿パターンに係る情報には、広告主Ｓの怪しい行動パターンを推知させる要素が含まれている。

【0044】

次に、図３Ｂは、広告主属性情報テーブルの一例を示す図である。図３Ｂに示すように、広告主属性情報テーブルには、広告主Ｓそれぞれに割り当てられる「広告主ＩＤ」ごとに、「アカウントＩＤ」、「契約期間」、「ドメイン」、「ブラウザの言語」、「タイムゾーン」、「業種」および「決済方法」などが関連付けられた情報が含まれる。

【0045】

「アカウントＩＤ」は、「広告主ＩＤ」で識別される広告主Ｓの保有するアカウントＩＤであり、１つの広告主Ｓで複数保有することができる。なお、かかる「アカウントＩＤ」によって、入稿情報テーブルと広告主属性情報テーブルとは、関連付けることができる。

【0046】

「契約期間」は、各アカウントＩＤの契約期間であり、「ドメイン」は、例えば広告主Ｓのメールアドレスから取得されるドメイン名である。「ブラウザの言語」は、広告主端末２から取得可能なブラウザの言語設定情報であり、「タイムゾーン」は、広告主端末２から取得可能な広告主端末２のタイムゾーン設定情報である。「業種」は、広告主Ｓの事業の業種情報である。「決済方法」は、広告主Ｓの決済方法であり、例えば「クレカ」はクレジットカードを示す。

【0047】

例えば、図３Ｂの例では、広告主ＳＡが、「契約期間」の短い複数の「アカウントＩＤ」＝「ａａａ＿１」〜「ａａａ＿ｎ」を保有しており、「ドメイン」と「ブラウザの言語」、および、「ブラウザの言語」と「タイムゾーン」がそれぞれ不相応であることが分かる。また、「業種」および「決済方法」が、それぞれ不正の行われやすい「サービス」および「クレカ」であることが分かる。このように、広告主属性情報テーブルにも、広告主Ｓの怪しい行動パターンを推知させる要素が含まれている。

【0048】

次に、図３Ｃは、広告主行動情報テーブルの一例を示す図である。図３Ｃに示すように、広告主行動情報テーブルには、「広告主ＩＤ」ごとに、「アカウントＩＤ」および「管理画面アクセス回数」などが関連付けられた情報が含まれる。

【0049】

なお、広告主行動情報テーブルは、「広告主ＩＤ」および「アカウントＩＤ」によって、入稿情報テーブルおよび広告主属性情報テーブルと関連付けることができる。「管理画面アクセス回数」は、広告主Ｓがアクセス可能な広告配信業者の広告主Ｓ向け管理画面に対し、１入稿ごとに何回アクセスしたかを示すアクセス回数である。かかる管理画面へのアクセスは、入稿後、審査を通り、広告として掲載された場合に、例えば売上を確認したい場合などに行われる。

【0050】

図３Ｃの例では、広告主ＳＡが、例えば広告主ＳＢと比較して、高い頻度で管理画面へアクセスしていることが分かる。また、広告主ＳＡの「アカウントＩＤ」＝「ａａａ＿ｎ」は、アクセス回数が０回であり、登録されたにも関わらず未使用であることが分かる。このように、広告主行動情報テーブルにも、広告主Ｓの怪しい行動パターンを推知させる要素が含まれている。

【0051】

次に、図３Ｄは、審査履歴情報テーブルの一例を示す図である。図３Ｄに示すように、審査履歴情報テーブルには、「広告主ＩＤ」ごとに、「アカウントＩＤ」および「審査履歴」などが関連付けられた情報が含まれる。「審査履歴」は、「アカウントＩＤ」ごとの過去の入稿に対する審査履歴情報である。かかる審査履歴情報を解析することで、例えば「アカウントＩＤ」ごと、あるいは、「広告主ＩＤ」ごとの、入稿の拒否率（リジェクト率）を導くことができる。

【0052】

（評価部３２２についての続き）
図２に戻り、評価部３２２が実行する処理の詳細について説明する。評価部３２２は、広告主Ｓに関する情報に含まれる複数の要素をパラメータとする評価モデルに基づき、広告主Ｓを評価する。

【0053】

具体的には、評価部３２２は、例えば下記式（１）に示す回帰式を用いて広告主Ｓの評価スコアｙを演算する評価モデルを有する。

【0054】

ｙ ＝ ａ_１・ｘ_１ ＋ ａ_２・ｘ_２ ＋ ・・・ ＋ａ_ｎ・ｘ_ｎ ・・・ （１）

【0055】

上記式（１）のうち、ａ_ｎ（ｎは任意の数）は係数であり、ｘ_ｎは素性（説明変数）である。まず、評価部３２２は、上述した広告情報ＤＢ３３１の入稿情報テーブル、広告主情報ＤＢ３３２の広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルの各項目データを解析し、各項目データに基づく不正な広告主Ｓに対する素性を求める。

【0056】

例えば、不正な広告主Ｓを正例とする場合、不正な広告主Ｓの特徴ベクトルを有する場合には「ｘ_ｎ」＝「１」となり、有しない場合には「ｘ_ｎ」＝「０」となる。また、ｘ_ｎの重み値となるａ_ｎは、上記式（１）による不正な広告主Ｓを正例とした線形モデルを学習することで調整される。

【0057】

例えば、評価部３２２は、上記式（１）のａ_ｎをパラメータとし、ＳＶＭ（Support Vector Machine）のようなパターン識別機を用いたサポートベクタ回帰などの回帰分析手法によりａ_ｎの重みを調整する。

【0058】

なお、ここでは、不正な広告主Ｓを正例とする例を挙げたが、正当な広告主Ｓを正例とすることによって不正な広告主Ｓを抽出してもよい。また、評価部３２２の有する評価モデルは、上述した評価モデルに限定されるものではない。

【0059】

（ｘ_ｎの具体例について）
次に、評価部３２２が不正な広告主Ｓを正例とした評価のために求められるｘ_ｎの具体例を図４に示す。図４は、不正な広告主Ｓを正例とした場合の素性の具体例を示す図である。

【0060】

なお、ここではｎ＝１〜１６までの例を挙げている。また、「対応項目」は、素性を求めるにあたりインプットとなる広告情報ＤＢ３３１の入稿情報テーブル、広告主情報ＤＢ３３２の広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルの各項目である。また、Ｎ１〜Ｎ１６は任意の定数であり、「条件」それぞれに応じた閾値として用いられる。

【0061】

図４に示すように、例えばｘ_１は、広告情報ＤＢ３３１の入稿情報テーブルの「広告内容」に基づき、「条件」を「バズワードがＮ１個以上であるか否か」とすることによって求めることができる。すなわち、「広告内容」にバズワードがＮ１個以上あればｘ_１は「１」となり、バズワードがＮ１個未満であればｘ_１は「０」となる。

【0062】

これは、「広告内容」にバズワードが多く含まれるほど、不正な広告主Ｓであるとの推定が働きやすいことによる。

【0063】

また、例えばｘ_２は、同じく入稿情報テーブルの「広告内容」に基づき、「条件」を「誤記がＮ２個以上であるか否か」とすることによって求めることができる。すなわち、「広告内容」に誤記がＮ２個以上あればｘ_２は「１」となり、誤記がＮ２個未満であればｘ_２は「０」となる。

【0064】

これは、「広告内容」に誤記が多く含まれるほど、不正な広告主Ｓであるとの推定が働きやすいことによる。

【0065】

また、例えばｘ_３は、同じく入稿情報テーブルの「アカウントＩＤ」および「広告内容」に基づき、「条件」を「複数の入稿でキーワードが同一であるか否か」とすることによって求めることができる。すなわち、同じ「アカウントＩＤ」による複数の入稿で「広告内容」のキーワードがすべて同一であればｘ_３は「１」となり、キーワードが異なればｘ_３は「０」となる。

【0066】

これは、同じ「アカウントＩＤ」で同じ内容の入稿を、繰り返し人手やプログラム等によって行っていることが推知され、不正な広告主Ｓであるとの推定が働きやすいことによる。

【0067】

また、例えばｘ_４は、同じく入稿情報テーブルの「チャネル」に基づき、「条件」を「チャネルが直接であるか否か」とすることによって求めることができる。すなわち、「チャネル」が「直接」であればｘ_４は「１」となり、「間接」であればｘ_４は「０」となる。これは、不正な広告主Ｓがわざわざ代理店を経由することは考えにくいことによる。

【0068】

また、例えばｘ_５は、同じく入稿情報テーブルの「入金金額」に基づき、「条件」を「入金金額がＮ５円以上であるか否か」とすることによって求めることができる。すなわち、「入金金額」がＮ５円以上であればｘ_５は「１」となり、Ｎ５円未満であればｘ_５は「０」となる。これは、不正な広告主Ｓは短期間に集中して高額の入金を行う傾向にあることによる。マネーロンダリング等の不正に利用されている可能性も推知される。

【0069】

また、例えばｘ_６は、同じく入稿情報テーブルの「入金経路」に基づき、「条件」を「入金経路が海外から国内であるか否か」とすることによって求めることができる。すなわち、「入金経路」が海外から国内であればｘ_６は「１」となり、国内から国内であればｘ_６は「０」となる。これは、不正な広告主Ｓは海外の業者が多い傾向にあることによる。

【0070】

また、例えばｘ_７は、同じく入稿情報テーブルの「アカウントＩＤ」、「入稿日」および「入稿時刻」に基づき、「条件」を「同一アカウントで同一日時からＮ７秒以内に複数入稿されているか否か」とすることによって求めることができる。すなわち、同一アカウントで同一日時からＮ７秒以内に複数入稿されているならばｘ_７は「１」となり、それ以外ならばｘ_７は「０」となる。これは、上でも述べたが、不正な広告主Ｓは、同じ「アカウントＩＤ」で同じ内容の入稿を、プログラム等によって高速で繰り返し行っていることが推知されるためである。

【0071】

また、例えばｘ_８は、同じく入稿情報テーブルの「入稿時刻」に基づき、「条件」を「入稿時刻が１８：００〜翌０６：００であるか否か」とすることによって求めることができる。すなわち、「入稿時刻」が１８：００〜翌０６：００であるならばｘ_８は「１」となり、それ以外ならばｘ_８は「０」となる。これは、審査者の対応しにくい時間帯にあえて入稿してくるならば、不正な広告主Ｓであるとの推定が働きやすいことによる。

【0072】

また、例えばｘ_９は、同じく入稿情報テーブルの「広告種別」に基づき、「条件」を「広告種別がクリック課金であるか否か」とすることによって求めることができる。すなわち、「広告種別」が「クリック課金」であるならばｘ_９は「１」となり、それ以外ならばｘ_９は「０」となる。これは、例えば広告閲覧者にクリックさせることで悪意のあるソフトウェアを配布する不正な広告主Ｓが存在することによる。なお、不正な広告主Ｓがとにかく閲覧させることを目的とする場合を想定するならば、「条件」を「広告種別がインプレッション課金であるか否か」とするｘ_ｎを求めてもよい。

【0073】

また、例えばｘ_１０は、広告主情報ＤＢ３３２の広告主属性情報テーブルの「契約期間」に基づいて契約の継続率を算出の上、「条件」を「継続率がＮ１０％未満であるか否か」とすることによって求めることができる。すなわち、継続率がＮ１０％未満であるならばｘ_１０は「１」となり、継続率がＮ１０％以上ならばｘ_１０は「０」となる。これは、上でも述べたが、不正な広告主Ｓは短期間に集中して高額の入金を行う傾向にあることによる。

【0074】

また、例えばｘ_１１は、同じく広告主属性情報テーブルの「ドメイン」および「ブラウザの言語」に基づき、「条件」を「ドメインとブラウザの言語が不相応であるか否か」とすることによって求めることができる。すなわち、「ドメイン」と「ブラウザの言語」が不相応であるならばｘ_１１は「１」となり、相応であるならばｘ_１１は「０」となる。

【0075】

同様に、例えばｘ_１２は、同じく広告主属性情報テーブルの「ドメイン」および「タイムゾーン」に基づき、「条件」を「ドメインとタイムゾーンが不相応であるか否か」とすることによって求めることができる。すなわち、「ドメイン」と「タイムゾーン」が不相応であるならばｘ_１２は「１」となり、相応であるならばｘ_１２は「０」となる。これらは、「ドメイン」、「ブラウザの言語」および「タイムゾーン」などの関係が不相応ならば、不正な広告主Ｓであるとの推定が働きやすいことによる。

【0076】

また、例えばｘ_１３は、同じく広告主属性情報テーブルの「業種」に基づき、「条件」を例えば「業種がサービス業であるか否か」とすることによって求めることができる。すなわち、「業種」がサービス業であるならばｘ_１３は「１」となり、サービス業以外であるならばｘ_１３は「０」となる。なお、かかる例は、サービス業のサイトを用いた不正が行われやすいとの想定に立つものであり、実際の例とは必ずしも一致しない。

【0077】

また、例えばｘ_１４は、同じく広告主属性情報テーブルの「決済方法」に基づき、「条件」を「決済方法がクレジットカードであるか否か」とすることによって求めることができる。すなわち、「決済方法」がクレジットカードであるならばｘ_１４は「１」となり、クレジットカード以外であるならばｘ_１４は「０」となる。これは、不正な広告主Ｓにより、クレジットカードを不正が行われやすいことによる。

【0078】

また、例えばｘ_１５は、広告主情報ＤＢ３３２の広告主行動情報テーブルの「管理画面アクセス回数」に基づき、「条件」を「管理画面アクセス回数がＮ１５回以上であるか否か」とすることによって求めることができる。すなわち、「管理画面アクセス回数」がＮ１５回以上であるならばｘ_１５は「１」となり、Ｎ１５回未満であるならばｘ_１５は「０」となる。これは、不正な広告主Ｓは、入稿後、例えば売上に関する情報などを頻繁に確認しに来たりするであろうとの推定が働くことによる。

【0079】

また、例えばｘ_１６は、広告主情報ＤＢ３３２の審査履歴情報テーブルの「審査履歴」に基づいて広告主Ｓの拒否率を算出の上、「条件」を「拒否率がＮ１６％以上であるか否か」とすることによって求めることができる。すなわち、拒否率がＮ１６％以上であるならばｘ_１６は「１」となり、Ｎ１６％未満であるならばｘ_１６は「０」となる。これは、拒否率の高い広告主Ｓであれば、そもそも正当な広告主Ｓとは言えないことによる。

【0080】

（評価部３２２についての続き）
図２に戻り、引き続き評価部３２２について説明する。評価部３２２は、図４に一例として示した各「条件」に沿ってｘ_１〜ｘ_ｎを求めた上で、上記式（１）により広告主Ｓの評価スコアを算出する。そして、評価部３２２は、算出した評価スコアを判定部３２３へ通知する。

【0081】

（判定部３２３について）
判定部３２３は、評価部３２２による評価スコアが所定範囲であるか否かによって、入稿要求されている広告情報Ｘ，Ｙの入稿の可否を判定する。すなわち、判定部３２３は、評価部３２２による評価スコアが所定範囲である場合に、入稿要求されている広告情報Ｘ，Ｙの入稿を拒否する。また、判定部３２３は、あわせて広告主Ｓからの入稿を拒否する。すなわち、広告主Ｓは不正な広告主Ｓとしてブラックリスト入りされ、例えば以前のあるいは以後のすべての広告掲載を拒否される。

【0082】

なお、広告主Ｓがブラックリスト入りしたことを示すために、判定部３２３は、例えば広告主情報ＤＢ３３２に設けられたブラックリストテーブル（図示略）へ広告主Ｓの「広告主ＩＤ」や「アカウントＩＤ」を登録する。

【0083】

また、判定部３２３は、評価部３２２による評価スコアが所定範囲でない場合には、入稿要求されている広告情報Ｘ，Ｙの入稿を許可する。

【0084】

また、判定部３２３は、例えば評価部３２２による評価スコアを評価部３２２へフィードバックし、評価部３２２に対し、かかる評価スコアに対応する広告主Ｓの次回からの評価レベルを変更させることもできる。具体的には、判定部３２３は、評価スコアが、例えば不正な広告主Ｓ寄りに高い得点を示すものである場合には、かかる広告主Ｓに対する評価レベルが次回からは言わば厳しいものとなるように、評価部３２２に評価レベルを変更させる。この場合、評価部３２２は、該当する広告主Ｓに対し次回から、例えばフィードバックされた評価スコアに応じて、不正な広告主Ｓ寄りの重み付けを行った評価を行う。

【0085】

反対に、判定部３２３は、評価スコアが、例えば正当な広告主Ｓ寄りに高い得点を示すものである場合には、かかる広告主Ｓに対する評価レベルが次回からは言わば緩いものとなるように、評価部３２２に評価レベルを変更させる。この場合、評価部３２２は、該当する広告主Ｓに対し次回から、例えばフィードバックされた評価スコアに応じて、正当な広告主Ｓ寄りの重み付けを行った評価を行う。なお、広告主Ｓが正当な広告主Ｓとして明らかに高い得点を示す場合には、前述のブラックリストテーブルに対し設けられたホワイトリストテーブルへこの広告主Ｓを登録した上で、ホワイトリスト入りしている広告主Ｓに対し次回からは、評価なしに入稿を許可して広告を配信するようにしてもよい。

【0086】

（通知部３２４について）
通知部３２４は、判定部３２３による判定結果を広告主Ｓへ通知する。

【0087】

〔３．広告主評価処理の処理手順〕
次に、実施形態に係る広告主評価装置３が実行する広告主評価処理の処理手順について説明する。図５は、実施形態に係る広告主評価装置３が実行する広告主評価処理の処理手順を示すフローチャートである。

【0088】

図５に示すように、受信部３２１が、広告主Ｓから広告情報Ｘ，Ｙを受信する（ステップＳ１０１）。ここで、まず制御部３２は、受信した広告情報Ｘ，Ｙの広告主Ｓが明らかに正当な広告主Ｓであるか否かを判定する（ステップＳ１０２）。かかる判定は、例えば広告主Ｓが前述のホワイトリストテーブルに登録されているか否かによって行われる。ここで、広告主Ｓが明らかに正当な広告主Ｓである場合（ステップＳ１０２，Ｙｅｓ）、評価なしに該当の広告主Ｓの入稿を許可し（ステップＳ１０３）、ステップＳ１０９へ制御を移す。また、広告主Ｓが明らかに正当な広告主Ｓではない場合（ステップＳ１０２，Ｎｏ）、制御部３２は次に、広告主Ｓが拒否対象であるか否かを判定する（ステップＳ１０４）。かかる判定は、例えば広告主Ｓが前述のブラックリストテーブルに登録されているか否かによって行われる。

【0089】

ここで、拒否対象の広告主Ｓでない場合（ステップＳ１０４，Ｎｏ）、評価部３２２が、広告主Ｓに関する情報に基づいて広告主Ｓを評価する（ステップＳ１０５）。なお、拒否対象の広告主Ｓである場合（ステップＳ１０４，Ｙｅｓ）、制御部３２はステップＳ１０７へ制御を移す。

【0090】

そして、判定部３２３が、評価部３２２による評価スコアが所定範囲であるか否かを判定する（ステップＳ１０６）。ここで、評価スコアが所定範囲である場合（ステップＳ１０６，Ｙｅｓ）、判定部３２３が該当の広告主Ｓの入稿を拒否する（ステップＳ１０７）。また、評価スコアが所定範囲でない場合（ステップＳ１０６，Ｎｏ）、判定部３２３が該当の広告主Ｓの入稿を許可する（ステップＳ１０８）。

【0091】

そして、通知部３２４が、判定部３２３による判定結果を該当の広告主Ｓへ通知し（ステップＳ１０９）、制御部３２は広告主評価処理を終了する。

【0092】

〔４．ハードウェア構成〕
なお、実施形態に係る広告主評価装置３は、例えば図６に示すような構成のコンピュータ６０によって実現される。図６は、広告主評価装置３の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ６０は、ＣＰＵ（Central Processing Unit）６１、ＲＡＭ（Random Access Memory）６２、ＲＯＭ（Read Only Memory）６３、ＨＤＤ（Hard Disk Drive）６４、通信インターフェイス（Ｉ／Ｆ）６５、入出力インターフェイス（Ｉ／Ｆ）６６、およびメディアインターフェイス（Ｉ／Ｆ）６７を備える。

【0093】

ＣＰＵ６１は、ＲＯＭ６３またはＨＤＤ６４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６３は、コンピュータ６０の起動時にＣＰＵ６１によって実行されるブートプログラムや、コンピュータ６０のハードウェアに依存するプログラム等を格納する。

【0094】

ＨＤＤ６４は、ＣＰＵ６１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェイス６５は、通信部３１に対応し、通信ネットワーク４を介して他の機器からデータを受信してＣＰＵ６１へ送り、ＣＰＵ６１が生成したデータを、通信ネットワーク４を介して他の機器へ送信する。

【0095】

ＣＰＵ６１は、入出力インターフェイス６６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ６１は、入出力インターフェイス６６を介して、入力装置からデータを取得する。また、ＣＰＵ６１は、生成したデータを、入出力インターフェイス６６を介して出力装置へ出力する。

【0096】

メディアインターフェイス６７は、記録媒体６８に格納されたプログラムまたはデータを読み取り、ＲＡＭ６２を介してＣＰＵ６１に提供する。ＣＰＵ６１は、当該プログラムを、メディアインターフェイス６７を介して記録媒体６８からＲＡＭ６２上にロードし、ロードしたプログラムを実行する。記録媒体６８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0097】

コンピュータ６０が広告主評価装置３として機能する場合、コンピュータ６０のＣＰＵ６１は、ＲＡＭ６２上にロードされたプログラムを実行することにより、受信部３２１、評価部３２２、判定部３２３および通知部３２４の各機能を実現する。また、ＨＤＤ６４は、記憶部３３の機能を実現し、広告情報ＤＢ３３１および広告主情報ＤＢ３３２などが格納される。

【0098】

コンピュータ６０のＣＰＵ６１は、これらのプログラムを、記録媒体６８から読み取って実行するが、他の例として、他の装置から、通信ネットワーク４を介してこれらのプログラムを取得してもよい。

【0099】

〔５．効果〕
実施形態にかかる広告審査システム１の広告主評価装置３は、受信部３２１と、評価部３２２と、を備える。受信部３２１は、広告主Ｓから広告情報Ｘ，Ｙの入稿を受信する。評価部３２２は、広告情報Ｘ，Ｙを入稿した広告主Ｓに関する情報に基づいて、かかる広告主Ｓを評価する。

【0100】

これにより、広告情報Ｘ，Ｙの広告の内容からは見えづらかった広告主Ｓの「怪しさ」を評価することが可能となり、評価結果に基づいて不正な広告主Ｓを判定することができる。また、これにより、仮に広告情報Ｘ，Ｙの広告の内容に違反が無い場合であっても、不正な広告主Ｓによる広告情報Ｘ，Ｙの入稿を拒否することができるので、広告の掲載によって不正な広告主Ｓの悪意ある不正が波及するのを防止することができる。

【0101】

また、評価部３２２は、広告主Ｓに関する情報に含まれる複数の要素をパラメータとする評価モデルに基づき、広告主Ｓを評価する。

【0102】

これにより、例えば機械学習による評価モデルに基づいて不正な広告主Ｓを判定することができるので、不正な広告主Ｓの未知の行動パターンにも機械学習によって適宜対応しつつ、精度のよい高速な広告主評価処理を行うことができる。

【0103】

また、上記広告主Ｓに関する情報には、広告主Ｓによる広告情報Ｘ，Ｙの入稿パターンの要素が含まれる。

【0104】

これにより、広告主Ｓによる広告情報Ｘ，Ｙの入稿パターンの要素を解析して、広告主Ｓの入稿に際しての特徴や傾向を抽出することができるので、精度よく不正な広告主Ｓを判定するのに資することができる。

【0105】

また、上記入稿パターンには、広告情報Ｘ，Ｙの内容、入稿経路、入稿時刻、広告種別、入金金額、および、入金経路の少なくとも一つが含まれる。

【0106】

これにより、広告情報Ｘ，Ｙの内容、入稿経路、入稿時刻、広告種別、入金金額、および、入金経路の少なくともいずれかから、広告主Ｓの入稿パターンの特徴や傾向を抽出することができるので、精度よく不正な広告主Ｓを判定するのに資することができる。

【0107】

また、上記広告主Ｓに関する情報には、広告情報Ｘ，Ｙの過去の入稿に対する審査履歴、広告情報Ｘ，Ｙを入稿するためのアカウントの利用状況、および、広告情報Ｘ，Ｙを入稿した後の広告主Ｓの行動情報の少なくとも一つが含まれる。

【0108】

これにより、まず審査履歴に基づいて例えば過去の拒否率が高い広告主Ｓを、不正の可能性の高い広告主Ｓとして取り扱い、評価することができる。また、アカウントの利用状況に不審な所のある広告主Ｓを、やはり不正の可能性の高い広告主Ｓとして取り扱い、評価することができる。また、広告情報Ｘ，Ｙを入稿した後の広告主Ｓの行動情報、例えば管理画面へのアクセス回数などによって不審な行動を示している広告主Ｓを、やはり不正の可能性の高い広告主Ｓとして取り扱い、評価することができる。したがって、不正な広告主Ｓを精度よく判定するのに資することができる。

【0109】

また、広告主評価装置３は、判定部３２３と、通知部３２４とを備える。判定部３２３は、評価部３２２による評価モデルに基づく評価スコアが所定範囲であるか否かによって広告情報Ｘ，Ｙの入稿の可否を判定する。通知部３２４は、判定部３２３による判定結果を広告主Ｓへ通知する。

【0110】

これにより、不正な広告主Ｓからの広告情報Ｘ，Ｙの入稿があった際に、仮に広告情報Ｘ，Ｙの広告の内容に違反が無い場合であっても、かかる広告情報Ｘ，Ｙの入稿を拒否することができる。すなわち、不正な広告主Ｓによる悪意ある不正が波及するのを防止することができる。また、広告情報Ｘ，Ｙの広告の内容を審査する必要がないので、審査業務にかかる審査コストの削減に資することができる。

【0111】

また、広告主評価装置３は、判定部３２３と、通知部３２４とを備える。判定部３２３は、評価部３２２による評価モデルに基づく評価スコアが所定範囲であるか否かによって広告主Ｓからの入稿の可否を判定する。通知部３２４は、判定部３２３による判定結果を広告主Ｓへ通知する。

【0112】

これにより、不正な広告主Ｓを例えばブラックリスト化して、不正な広告主Ｓからの広告情報Ｘ，Ｙの入稿があった際に、不正な広告主Ｓを評価することなく拒否することができる。すなわち、審査業務にかかる審査コストの削減に資することができる。

【0113】

〔６．その他〕
以上、本願の実施形態の一態様を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0114】

例えば上述した入稿パターンに含まれる要素としてはさらに、１つの広告主Ｓが複数のアカウントＩＤを保有し、これらアカウントＩＤに通し番号を付与している場合や、同じ広告主端末２から関連性のない複数のアカウントＩＤを用いて入稿してくる場合などを挙げることができる。

【符号の説明】

【0115】

１ 広告審査システム
２ 広告主端末
３ 広告主評価装置
４ 通信ネットワーク
３１ 通信部
３２ 制御部
３３ 記憶部
３２１ 受信部
３２２ 評価部
３２３ 判定部
３２４ 通知部
３３１ 広告情報ＤＢ
３３２ 広告主情報ＤＢ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】