特許 6679773 特定装置、特定方法及び特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6679773

(24)【登録日】2020年3月23日

(45)【発行日】2020年4月15日

(54)【発明の名称】特定装置、特定方法及び特定プログラム

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20200406BHJP

【ＦＩ】

   G06Q30/02 382

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2019-11469(P2019-11469)

(22)【出願日】2019年1月25日

【審査請求日】2019年2月8日

【早期審査対象出願】

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】栗田 民夫

(72)【発明者】

【氏名】松浦 朋子

(72)【発明者】

【氏名】秋田 京子

(72)【発明者】

【氏名】盛城 有代

(72)【発明者】

【氏名】遠藤 優美

(72)【発明者】

【氏名】前田 宗大

(72)【発明者】

【氏名】酒井 正也

【審査官】 谷川 智秀

(56)【参考文献】

【文献】 特開２０１１−１９１６１４（ＪＰ，Ａ）

【文献】 特開２０１４−１５４０６７（ＪＰ，Ａ）

【文献】 特開２０１３−１７８７０６（ＪＰ，Ａ）

【文献】 特開２００６−２６８３０３（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０９６４９５（ＷＯ，Ａ１）

【文献】 特開２０１２−１９８８９９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、
前記取得部によって取得された評価情報の評価と予め定められたガイドラインとのマッチング度合を示す類似度に基づくスコアと、前記ユーザが行った他の配信情報に対する過去の評価と当該他の配信情報の再審査の結果情報とに基づいて算出される当該ユーザの信用度に応じたスコアとに基づいて算出される評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定部と、
を備えたことを特徴とする特定装置。

【請求項2】

前記取得部は、
配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得し、
前記特定部は、
前記評価スコアの値が所定の閾値以上を満たす配信情報を、再審査の対象となる配信情報として特定する
ことを特徴とする請求項１に記載の特定装置。

【請求項3】

前記特定部により特定された配信情報を配信対象から除外する除外部を
更に有することを特徴とする請求項１又は請求項２に記載の特定装置。

【請求項4】

前記特定部は、
前記取得部によって取得された評価情報のうち否定的な評価の評価数が所定の閾値以上を満たす配信情報を特定する
ことを特徴とする請求項１〜３のいずれか一つに記載の特定装置。

【請求項5】

前記特定部は、
前記評価スコアの値が所定の閾値以上を満たす配信情報に対する否定的な評価の評価数が所定の閾値以上を満たす配信情報を特定する
ことを特徴とする請求項１〜４のいずれか一つに記載の特定装置。

【請求項6】

前記特定部により特定された配信情報に対して否定的な評価を行った前記ユーザの信用が高くなるように前記ユーザの信用に関するユーザ情報を更新する更新部を
更に備えたことを特徴とする請求項１〜５のいずれか一つに記載の特定装置。

【請求項7】

前記特定部は、
前記評価情報のうち、前記ユーザの不快感または不正であると感じる感情に関する評価情報に基づいて、前記配信情報を特定する
ことを特徴とする請求項１〜６のいずれか一つに記載の特定装置。

【請求項8】

前記配信情報とは、広告情報である
ことを特徴とする請求項１〜７のいずれか一つに記載の特定装置。

【請求項9】

前記特定部は、
前記ユーザに対して予め設定された権限に応じて、再審査に関する所定の権限を有する特定ユーザにより否定的な評価がされた配信情報を、当該再審査の対象となる配信情報として特定する
ことを特徴とする請求項１〜８のいずれか一つに記載の特定装置。

【請求項10】

前記特定部は、
前記特定ユーザにより掲載の中止を示す評価がされた配信情報の配信を中止する
ことを特徴とする請求項９に記載の特定装置。

【請求項11】

前記特定部は、
前記取得部によって、前記評価情報として掲載の中止を示す掲載中止情報が取得された場合、掲載の中止を示す評価がされた配信情報を、再審査の対象となる配信情報として特定する
ことを特徴とする請求項９又は請求項１０に記載の特定装置。

【請求項12】

前記特定ユーザが評価した配信情報の再審査の結果、当該配信情報が配信対象から除外されない場合、前記特定ユーザから前記所定の権限を剥奪する更新部と、
を更に備えたことを特徴とする請求項９〜１１のいずれか一つに記載の特定装置。

【請求項13】

前記更新部は、
前記特定ユーザでないユーザである一般ユーザが評価した配信情報の再審査の結果、当該配信情報が配信対象から除外されない場合、当該一般ユーザから当該一般ユーザの再審査に関する権限を剥奪する、
ことを特徴とする請求項１２に記載の特定装置。

【請求項14】

コンピュータにより実行される特定方法であって、
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得工程と、
前記取得工程によって取得された評価情報の評価と予め定められたガイドラインとのマッチング度合を示す類似度に基づくスコアと、前記ユーザが行った他の配信情報に対する過去の評価と当該他の配信情報の再審査の結果情報とに基づいて算出される当該ユーザの信用度に応じたスコアとに基づいて算出される評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定工程と、
を含んだことを特徴とする特定方法。

【請求項15】

サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得手順と、
前記取得手順によって取得された評価情報の評価と予め定められたガイドラインとのマッチング度合を示す類似度に基づくスコアと、前記ユーザが行った他の配信情報に対する過去の評価と当該他の配信情報の再審査の結果情報とに基づいて算出される当該ユーザの信用度に応じたスコアとに基づいて算出される評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定手順と、
をコンピュータに実行させることを特徴とする特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定装置、特定方法及び特定プログラムに関する。

【背景技術】

【0002】

近年、インターネットなどのネットワークの飛躍的な普及に伴い、ネットワークを介した広告配信が盛んに行われている。かかる広告配信を行うにあたり、例えば広告配信業者は、ウェブページなどに掲載する広告の入稿を広告主から受け付け、かかる広告が配信にふさわしい適切なものであるか否かを審査している。

【0003】

なお、審査の手法としては、例えば、広告主による広告情報の入稿パターンの要素および広告情報を入稿した後の広告主の行動情報に基づいて、広告主が悪意ある不正者である度合いを評価する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７−１２６３６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の従来技術では、配信された情報を効果的に再審査したいといった要望に応えることができるとは限らなかった。

【0006】

本願は、上記に鑑みてなされたものであって、配信された情報を効果的に再審査したいといった要望に応えることができる特定装置、特定方法及び特定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本願に係る特定装置は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、前記取得部によって取得された評価情報と、前記ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する特定部とを備えたことを特徴とする。

【発明の効果】

【0008】

実施形態の一態様によれば、配信された情報を効果的に再審査したいといった要望に応えることができるといった効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る特定処理の一例を示す図である。

【図2】図２は、実施形態に係る端末装置の構成例を示す図である。

【図3】図３は、実施形態に係るコンテンツ配信サーバの構成例を示す図である。

【図4】図４は、実施形態に係る特定装置の構成例を示す図である。

【図5】図５は、実施形態に係る評価情報記憶部の一例を示す図である。

【図6】図６は、実施形態に係るユーザ情報記憶部の一例を示す図である。

【図7】図７は、実施形態に係る指針情報記憶部の一例を示す図である。

【図8】図８は、実施形態に係る特定処理の一例を示すフローチャートである。

【図9】図９は、実施形態に係る特定処理の一例を示す図である。

【図10】図１０は、実施形態に係る特定装置の構成例を示す図である。

【図11】図１１は、実施形態に係るユーザ情報記憶部の一例を示す図である。

【図12】図１２は、実施形態に係る特定処理の一例を示すフローチャートである。

【図13】図１３は、特定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る特定装置、特定方法及び特定プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る特定装置、特定方法及び特定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0011】

（実施形態）
〔１．特定処理の一例〕
まず、図１を用いて、実施形態に係る特定処理の一例について説明する。図１は、実施形態に係る特定処理の一例を示す図である。図１では、実施形態に係る特定処理が特定装置１００により実行される例を示す。図１では、実施形態に係る特定処理が、ユーザからの評価に基づいて再審査の対象となる配信情報を特定する例を示す。ここで、再審査の対象となる配信情報とは、配信情報を管理する管理者による審査を一度は通過した配信情報を示す。なお、実施形態に係る審査は、配信情報を管理する管理者と所定の関係を有する外部サーバによって行われてもよいものとする。なお、配信情報を管理する管理者による審査とは、例えば、配信情報が入稿された入稿時に行われる審査を示す。なお、実施形態に係る審査とは、配信情報が入稿された入稿時から所定の期間経過後に行われる最初の審査であってもよい。

【0012】

配信情報は、例えば、入稿された配信情報が法律に違反していないか、また、配信情報を管理する管理者によって予め定められたガイドラインに違反していないか等に基づいて、審査又は再審査されるものとする。なお、実施形態に係る再審査は、審査を一度は通過した配信情報の２回目以降の審査を示す。また、実施形態に係る再審査は、例えば配信情報を管理する管理者による最初の審査から所定の期間経過後に行われるものとする。ここで、再審査は、最初の審査の直後に行われてもよいものとする。

【0013】

なお、配信情報を管理する管理者によって予め定められたガイドラインとは、例えば、配信情報を管理する管理者がどのような内容の配信情報を好むか又は好まないかといった指針に関する情報を示す。例えば、配信情報を管理する管理者は、配信情報を閲覧した多数のユーザが特定の配信情報の内容に対して肯定的か否定的かといった情報を集計することによってガイドラインを形成する。例えば、配信情報を管理する管理者は、多数のユーザが誹謗中傷の内容を含む配信情報に否定的な評価をした場合には、「誹謗中傷の内容を含む広告を配信しない」といったガイドラインを形成してもよい。

【0014】

なお、図１では、美容や健康に関する広告情報を対象とする場合を一例として示す。また、図１では、ユーザが選択できる評価の選択肢が「広告が適切である」または「広告が不適切である」の２択であるが、これらに限定されなくてもよいものとする。また、図１では、ユーザが評価の選択肢を選択（例えば、クリックやタップなど）することにより、ユーザの評価が送信されるものとする。これにより、実施形態に係る特定処理は、配信された情報を効果的に再審査したいといった要望に応えることができる。

【0015】

図１に示すように、特定システム１には、端末装置１０と、特定装置１００と、コンテンツ配信サーバ２００とが含まれる。端末装置１０と、特定装置１００と、コンテンツ配信サーバ２００とは図示しない所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図１に示す特定システム１には、複数台の端末装置１０や、複数台の特定装置１００や、複数台のコンテンツ配信サーバ２００が含まれてもよい。

【0016】

例えば、図１では、端末装置１０を利用する複数のユーザからの評価情報を取得する場合を示す。なお、複数のユーザから評価情報を取得する場合には、各々の端末装置１０から同時に取得してもよいし、複数のユーザから送信される評価の度に取得してもよい。

【0017】

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。図１に示す例においては、端末装置１０がデスクトップＰＣである場合を示す。

【0018】

特定装置１００は、例えば、ＰＣ、ＷＳ（Work Station）等の情報処理装置であり、端末装置１０からネットワークＮを介して送信されてきた情報に基づいて再審査の対象となる配信情報を特定する。

【0019】

コンテンツ配信サーバ２００は、例えば、ＰＣ、ＷＳ等の情報処理装置であり、端末装置１０に対して、ネットワークＮを介してコンテンツを配信する。

【0020】

なお、図１では、特定装置１００とコンテンツ配信サーバ２００とは、別装置である場合を示したが、特定装置１００とコンテンツ配信サーバ２００とが一体であってもよい。また、特定装置１００とコンテンツ配信サーバ２００は、それぞれ同一とみなされる管理者によって管理されていてもよい。

【0021】

以下では、ユーザＩＤ「Ｕ１」により識別されるユーザを「ユーザＵ１」とする場合がある。このように、以下では、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ２」と記載した場合、そのユーザはユーザＩＤ「Ｕ２」により識別されるユーザである。

【0022】

図１の例では、コンテンツページＣ１０が配信される場合を示す。なお、コンテンツページＣ１０は、実施形態に係る配信情報の一例である。また、図１の例では、コンテンツページＣ１０に対する評価情報が特定装置１００に送信される場合を示す。図１に示す例では、コンテンツページＣ１０の所定の領域ＡＲ１１に広告ＡＤ１が表示される場合を示す。図１では、所定の領域ＡＲ１１に美容と健康に関する広告情報が表示される場合を示す。また、図１に示す例では、所定の領域ＡＲ１１に含まれる所定の領域ＡＲ２１にインフォメーションアイコン（以下、適宜「アイマーク」と呼ぶ）ＩＣ１が表示される場合を示す。

【0023】

なお、コンテンツページＣ１０には、例えば、コンテンツページＣ１０のタイトル情報や、トピックに関する文字情報や、バナー情報などが含まれていてもよい。また、コンテンツページＣ１０には、評価の対象となる複数の広告情報が含まれていてもよい。例えば、コンテンツページＣ１０の所定の領域ＡＲ１１に広告ＡＤ１が表示され、コンテンツページＣ１０の所定の領域ＡＲ１２に広告ＡＤ２が表示され、コンテンツページＣ１０の所定の領域ＡＲ１３に広告ＡＤ３が表示されてもよい。

【0024】

図１の例では、コンテンツページＣ１０の所定の領域ＡＲ２１に表示されたアイマークＩＣ１を選択（例えば、クリックやタップなど）することにより、評価ページＣ２０が表示される場合を示す。図１の例では、評価ページＣ２０には、「広告が適切である」または「広告が不適切である」の２択の選択肢が表示される場合を示す。なお、図１に示す選択肢は一例であり、他の内容の選択肢であってもよいし、２択以上の選択肢であってもよいものとする。例えば、評価ページＣ２０には、「Excellent」、「Good」、「Bad」、「Very bad」といった選択肢が表示されてもよいものとする。

【0025】

なお、図１の例では、「広告が適切である」に対応する所定の領域ＡＲ３１または「広告が不適切である」に対応する所定の領域ＡＲ３２を選択することによって、評価情報が送信される場合を示す。図１に示す例では、ユーザが「広告が不適切である」を選択した場合を示す。

【0026】

なお、評価ページＣ２０に表示された複数の選択肢が選択されてもよい。例えば、複数の選択肢のうち「広告が不快である」と「広告が不適切である」の２つの選択肢が選択されてもよいものとする。この場合には、双方の評価情報が送信されるものとする。

【0027】

なお、例えばコンテンツページＣ１０の所定の領域ＡＲ１２に広告ＡＤ２が表示される場合には、広告ＡＤ２に対応するアイマークＩＣ２を選択することにより、アイマークＩＣ２に対応する評価ページＣ２０を表示してもよいものとする。また、例えばコンテンツページＣ１０の所定の領域ＡＲ１３に広告ＡＤ３が表示される場合には、広告ＡＤ３に対応するアイマークＩＣ３を選択することにより、アイマークＩＣ３に対応する評価ページＣ２０を表示してもよい。

【0028】

以下、図１を用いて、特定処理の一例を説明する。コンテンツ配信サーバ２００は、端末装置１０を利用するユーザによる操作に応じて配信情報を配信する（ステップＳ１０１）。例えば、コンテンツ配信サーバ２００は、ユーザＵ１〜Ｕ３それぞれの操作に基づいて、対応する配信情報を配信する。例えば、コンテンツ配信サーバ２００は、ユーザＵ１からの操作に基づいて、対応する配信情報を配信する。そして、例えば、ユーザＵ１〜Ｕ３は、配信された配信情報に表示されたアイマークを選択することにより評価を選択したとする。図１に示す例では、ユーザＵ１〜Ｕ３それぞれが領域ＡＲ３２を選択したとすると、端末装置１０は、コンテンツページＣ１０に対する評価情報として、「広告が不適切である」旨の評価情報を特定装置１００に送信する（ステップＳ１０２）。

【0029】

また、特定装置１００は、評価を行ったユーザ（図１の例では、ユーザＵ１〜Ｕ３）のユーザ情報と評価情報とに基づいて、再審査の対象となる配信情報を特定する（ステップＳ１０３）。例えば、特定装置１００は、ユーザ情報に基づいて信用度を算出して、算出した信用度が所定の閾値を超えるユーザによる評価情報に基づいて、配信情報を特定する。また、特定装置１００は、再審査の結果情報に基づいて、評価を行ったユーザのユーザ情報を更新する（ステップＳ１０４）。例えば、特定装置１００は、再審査の結果情報に沿う評価を行ったユーザに対して、肯定的にユーザ情報を更新する。

【0030】

〔２．端末装置の構成〕
次に、図２を用いて、実施形態に係る端末装置１０の構成について説明する。図２は、実施形態に係る端末装置１０の構成例を示す図である。図２に示すように、端末装置１０は、通信部１１と、入力部１２と、出力部１３と、制御部１４とを有する。

【0031】

（通信部１１）
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、特定装置１００と、コンテンツ配信サーバ２００との間で情報の送受信を行う。

【0032】

（入力部１２）
入力部１２は、ユーザからの各種操作を受け付ける。例えば、入力部１２は、タッチパネル機能により表示面を介してユーザからの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。

【0033】

（出力部１３）
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。また、出力部１３は、コンテンツ配信サーバ２００から送信された配信情報に関する情報を出力する。

【0034】

（制御部１４）
制御部１４は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置１０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、ユーザが選択した評価情報を送信するアプリケーションのプログラムが含まれる。また、制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0035】

図２に示すように、制御部１４は、受信部１４１と、受付部１４２と、送信部１４３とを有し、以下に説明する情報処理の作用を実現または実行する。

【0036】

（受信部１４１）
受信部１４１は、配信情報を受信する。例えば、受信部１４１は、コンテンツ配信サーバ２００から配信された配信情報を受信する。また、受信部１４１は、アイマークを含む配信情報を受信する。

【0037】

（受付部１４２）
受付部１４２は、受信部１４１により受信された配信情報に対する操作を受け付ける。例えば、受付部１４２は、配信情報に含まれるアイマークに対する操作を受け付ける。また、受付部１４２は、配信情報に含まれるアイマークが選択された場合には、配信情報に対する評価に関する操作を受け付ける。

【0038】

（送信部１４３）
送信部１４３は、受付部１４２により受け付けられた配信情報に対する評価に関する操作に基づいて、評価情報を特定装置１００に送信する。図１に示す例では、送信部１４３は、選択肢のうち「広告が不適切である」が選択されたことにより、「広告が不適切である」を示す評価情報を送信する。なお、送信部１４３は、選択肢のうち「広告が不適切である」が選択されたことにより、マイナスの評価情報を送信してもよい。

【0039】

〔３．コンテンツ配信サーバの構成〕
次に、図３を用いて、実施形態に係るコンテンツ配信サーバ２００の構成について説明する。図３は、実施形態に係るコンテンツ配信サーバ２００の構成例を示す図である。図３に示すように、コンテンツ配信サーバ２００は、通信部２１０と、コンテンツ情報記憶部２２０と、制御部２３０とを有する。なお、コンテンツ配信サーバ２００は、コンテンツ配信サーバ２００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0040】

（通信部２１０）
通信部２１０は、例えば、ＮＩＣ等によって実現される。そして、通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１０と、特定装置１００との間で情報の送受信を行う。

【0041】

（コンテンツ情報記憶部２２０）
コンテンツ情報記憶部２２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。コンテンツ情報記憶部２２０は、端末装置１０に配信可能な配信情報を記憶する。図１に示す例では、コンテンツ情報記憶部２２０は、コンテンツページＣ１０に含まれる情報を記憶する。また、コンテンツ情報記憶部２２０は、配信情報に含まれるアイマークに対応する情報を記憶する。図１に示す例では、コンテンツ情報記憶部２２０は、コンテンツページＣ１０に対応する評価ページＣ２０に含まれる情報を記憶してもよい。例えば、コンテンツ情報記憶部２２０は、コンテンツページＣ１０に含まれるアイマークが選択された場合に表示される評価ページＣ２０に含まれる情報を記憶してもよい。

【0042】

（制御部２３０）
制御部２３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、コンテンツ配信サーバ２００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

【0043】

図３に示すように、制御部２３０は、配信部２３１と、総合管理部２３２とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部２３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0044】

（配信部２３１）
配信部２３１は、端末装置１０に配信情報を配信する。例えば、配信部２３１は、端末装置１０から送信された配信要求に基づいて、対応する配信情報を配信する。例えば、配信部２３１は、コンテンツ情報記憶部２２０に記憶された配信情報を配信する。なお、配信部２３１は、外部サーバから送信された配信情報を配信してもよい。

【0045】

配信部２３１は、アイマークに関する情報を含む配信情報を配信する。例えば、配信部２３１は、アイマークが選択された場合に表示される情報を含む配信情報を配信する。図１に示す例では、配信部２３１は、評価ページＣ２０の情報を含むコンテンツページＣ１０を配信する。なお、配信部２３１は、配信情報に含まれるアイマークが選択されると、アイマークに対応する情報を配信してもよい。図１に示す例では、配信部２３１は、コンテンツページＣ１０に含まれるアイマークＩＣ１が選択されることにより、評価ページＣ２０を配信してもよい。

【0046】

（総合管理部２３２）
総合管理部２３２は、配信部２３１により配信される配信情報を管理する。例えば、総合管理部２３２は、配信情報に対する編集などの操作に応じてコンテンツ情報記憶部２２０を更新する。例えば、総合管理部２３２は、コンテンツ配信サーバ２００を管理する管理者から受け付けられた操作や、配信情報を入稿した広告主から受け付けられた操作に応じてコンテンツ情報記憶部２２０を更新する。

【0047】

〔４．特定装置の構成〕
次に、図４を用いて、実施形態に係る特定装置１００の構成について説明する。図４は、実施形態に係る特定装置１００の構成例を示す図である。図４に示すように、特定装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、特定装置１００は、特定装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0048】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１０と、コンテンツ配信サーバ２００との間で情報の送受信を行う。

【0049】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示すように、記憶部１２０は、評価情報記憶部１２１と、ユーザ情報記憶部１２２と、指針情報記憶部１２３とを有する。

【0050】

評価情報記憶部１２１は、配信情報に対するユーザの評価情報を記憶する。例えば。評価情報記憶部１２１は、ユーザの不快感または不正であると感じた感情を示す評価情報のみを記憶してもよい。また、評価情報記憶部１２１は、複数のユーザから送信された評価情報を蓄積する。ここで、図５に、実施形態に係る評価情報記憶部１２１の一例を示す。図５に示すように、評価情報記憶部１２１は、「評価ＩＤ」、「コンテンツ」、「評価数」、「条件＃」といった項目を有する。

【0051】

「評価ＩＤ」は、配信情報の評価情報を識別するための識別情報を示す。「コンテンツ」は、評価情報の対象となる配信情報を示す。「コンテンツ」は、例えばコンテンツ配信サーバ２００から配信された配信情報が記憶される。なお、「コンテンツ」には、外部サーバから配信された配信情報が記憶されてもよい。なお、図５では「コンテンツ」に「ＣＴ１」といった概念的な情報が格納される例を示したが、実際には、コンテンツデータ（静止画像や動画像等）が格納される。もしくは、図５で示される「コンテンツ」には、コンテンツが所在するＵＲＬ（Uniform Resource Locator）、または、これらの格納場所を示すファイルパス名などが格納されてもよい。

【0052】

「評価数」は、評価情報の評価数を示す。具体的には、「評価数」は、所定の配信情報に対して複数のユーザが行った評価の数を示す。例えば、所定のユーザが所定の配信情報に対して評価を行った場合には、＋１の評価が「評価数」に加算される。ここで、所定のユーザが所定の配信情報に対して複数回の同様な評価を行ったとしても、＋１の評価が「評価数」に加算されるとしてもよい。

【0053】

また、ユーザの所定の配信情報に対する不快感または不正であると感じた感情を示す評価のみを「評価数」に加算してもよい。なお、ユーザの信用度に応じて異なるスコアを「評価数」に加算してもよい。例えば、信用度が所定の閾値以上であるユーザが評価を行った場合には、＋２の評価が「評価数」に加算されてもよい。

【0054】

「条件＃」は、再審査を決定する所定の条件を示す。例えば、「条件＃」には、対応する「評価数」が所定の閾値を超えるといった条件を示す条件式が記憶される。なお、図６では「条件＃」に「条件＃１」といった概念的な情報が格納される例を示したが、実際には、条件のデータが記憶される。

【0055】

ユーザ情報記憶部１２２は、評価を行ったユーザのユーザ情報を記憶する。例えば、ユーザ情報記憶部１２２は、ユーザが過去に行った評価に関する情報を記憶する。ここで、図６に、実施形態に係るユーザ情報記憶部１２２の一例を示す。図６に示すように、ユーザ情報記憶部１２２は、「ユーザＩＤ」、「ユーザ情報１」、「ユーザ情報２」、「ユーザ情報３」といった項目を有する。

【0056】

「ユーザＩＤ」は、評価を行ったユーザを識別するための識別情報を示す。「ユーザ情報１」には、例えばユーザが過去に行った評価に関する結果情報が記憶される。例えば、ユーザが行った評価に基づいて配信情報の再審査が決定した場合には、再審査の結果情報が記憶される。具体的には、再審査によって配信情報が不正であると判定されたか否かといった情報が記憶される。また、「ユーザ情報１」には、再審査の結果情報に基づいて算出されるユーザの信用度が記憶されてもよい。

【0057】

また、図６では「ユーザ情報１」に「ＵＵＵ１１」といった概念的な情報が格納される例を示したが、実際には、ユーザ情報のデータが記憶される。なお、「ユーザ情報２」は、「ユーザ情報１」とは異なるユーザ情報を示す。なお、「ユーザ情報３」は、「ユーザ情報１」乃至「ユーザ情報２」とは異なるユーザ情報を示す。

【0058】

指針情報記憶部１２３は、配信情報を管理する管理者によって予め定められたガイドラインに関する情報を記憶する。例えば、指針情報記憶部１２３は、コンテンツ配信サーバ２００を管理する管理者がどのような内容の配信情報を好むか又は好まないかといった情報が記憶される。また、例えば、指針情報記憶部１２３は、コンテンツ配信サーバ２００を管理する管理者がユーザからのどのような回答を好む又は好まないのかといった情報が記憶されてもよい。

【0059】

「指針ＩＤ」は、予め定められたガイドラインを識別するための識別情報を示す。「指針情報１」は、ガイドラインに関する情報を示す。例えば、「指針情報１」には、「誹謗中傷の内容を含む広告を配信しない」といった情報を示す。なお、「指針情報１」には、例えば誹謗中傷の内容を含む広告を「不適切である」と回答したユーザに関する情報を示してもよい。

【0060】

また、図７では「指針情報１」に「ＧＧＧ１１」といった概念的な情報が格納される例を示したが、実際には、指針情報のデータが記憶される。なお、「指針情報２」は、「指針情報１」とは異なるガイドラインに関する情報を示す。なお、「指針情報３」は、「指針情報１」乃至「指針情報２」とは異なるガイドラインに関する情報を示す。

【0061】

（制御部１３０）
制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、特定装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

【0062】

図４に示すように、制御部１３０は、取得部１３１と、決定部１３２と、算出部１３３と、特定部１３４と、更新部１３５と、除外部１３６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0063】

（取得部１３１）
取得部１３１は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する。例えば、取得部１３１は、コンテンツ配信サーバ２００から配信された配信情報に対してユーザが行った評価情報を取得する。また、取得部１３１は、配信情報に含まれるアイマークを選択することにより表示される情報に対してユーザが行った評価情報を取得する。例えば、取得部１３１は、アイマークを選択することにより表示された選択肢の中から選択をすることによって送信された評価情報を取得する。

【0064】

取得部１３１は、配信情報に対するユーザの不快感または不正であると感じた感情を示す評価情報を取得する。例えば、取得部１３１は、「広告が不快である」や、「広告が不正である」や、「広告が不適切である」といった評価情報を取得する。例えば、取得部１３１は、ユーザが「広告が不適切である」に対応する選択をした場合に送信される評価情報を取得する。

【0065】

取得部１３１は、配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得する。例えば、取得部１３１は、法律に違反していないか、また、予め定められたガイドラインに違反していないか等に関する審査を通過した配信情報に対する評価情報を取得する。ここで、ガイドラインとは、配信情報を管理する管理者や外部サーバにより予め定められた所定の条件であってもよい。具体的な例を挙げると、ガイドラインは、「誹謗中傷の内容を含む広告は配信しない」といった条件であってもよい。なお、ガイドラインは、例えば指針情報記憶部１２３に記憶された情報を用いてもよい。

【0066】

取得部１３１は、取得した評価情報を評価情報記憶部１２１に格納してもよい。例えば、取得部１３１は、ユーザから評価情報が送信される度に、取得した評価情報を評価情報記憶部１２１に格納してもよい。このように、取得部１３１は、複数のユーザの評価情報を取得して、取得した評価情報を評価情報記憶部１２１に蓄積してもよい。

【0067】

（決定部１３２）
決定部１３２は、取得部１３１により取得された評価情報が示す評価の内容と、予め定められたガイドラインとの類似度を決定する。例えば、ガイドラインが「誹謗中傷の内容を含む広告は配信しない」であるとする。この場合において、決定部１３２は、誹謗中傷の内容を含む広告に対して、「広告が不適切である」とユーザが評価した場合には、類似度を高く決定する。また、決定部１３２は、ユーザが過去に行った複数の評価に基づいて、類似度を決定する。また、決定部１３２は、決定した類似度に関する情報をユーザ情報記憶部１２２に格納してもよい。また、決定部１３２は、決定した類似度に基づいてユーザ情報の重みを決定してもよい。

【0068】

（算出部１３３）
算出部１３３は、取得部１３１によって取得された評価情報に対するユーザの信用度を算出する。例えば、算出部１３３は、ユーザが過去に行った評価に関する情報に基づいて信用度を算出する。例えば、算出部１３３は、ユーザが過去に行った評価と、再審査の結果情報とに基づいて信用度を算出する。具体的な例を挙げると、ユーザが行った評価に基づいて再審査が決定し、対象となった配信情報が「不適切である」と判定されたとする。この場合には、算出部１３３は、再審査の結果情報に基づいて信用度を高く算出してもよい。

【0069】

算出部１３３は、算出した信用度に関する情報をユーザ情報としてユーザ情報記憶部１２２に格納してもよい。また、算出部１３３は、ユーザ情報記憶部１２２に記憶されたユーザ情報であってユーザが評価した配信情報の再審査の結果情報に基づいて信用度を算出してもよい。

【0070】

算出部１３３は、ユーザ毎に重み付けが異なるユーザ情報に基づいて信用度を算出してもよい。例えば、算出部１３３は、決定部１３２によって決定された類似度に基づいて信用度を算出する。具体的には、算出部１３３は、ユーザの過去の評価情報が示す評価の内容と、予め定められたガイドラインとの類似度に応じて重み付けが異なるユーザ情報に基づいて信用度を算出してもよい。具体的な例を挙げると、例えばガイドラインが「誹謗中傷の内容を含む広告は配信しない」であるとする。この場合において、ユーザが誹謗中傷の内容を含む広告に対して、「広告が不適切である」と評価した場合には、類似度が高いと決定する。この場合には、算出部１３３は、ユーザ情報の重み付けを加算して、信用度を高く算出してもよい。

【0071】

一方で、算出部１３３は、例えばガイドラインが「誹謗中傷の内容を含む広告は配信しない」の場合において、ユーザが誹謗中傷の内容を含む広告に対して、「広告が適切である」と評価した場合には、類似度が低いと決定してもよい。この場合には、算出部１３３は、ユーザ情報の重み付けを低くして、信用度を低く算出してもよい。

【0072】

また、算出部１３３は、例えば適切である広告を「広告が不適切である」と評価した場合には、ユーザの信用度を低く算出してもよい。具体的な例を挙げると、例えば、所定のユーザと競合関係にあるユーザ（例えば、競合他社等）が、所定のユーザの広告に対して「広告が不適切である」と評価したとする。ここで、競合関係にあるユーザとは、例えば所定のユーザが販売する商品のカテゴリを取り扱うユーザや、所定のユーザがターゲットとするユーザ層と同一のユーザ層をターゲットとするユーザ等が含まれる。例えば、所定のユーザの広告が、閲覧した多数のユーザによって肯定的な評価がされた場合には、算出部１３３は、「広告が不適切である」と評価したユーザの信用度を低く算出してもよい。また、算出部１３３は、類似事業者の配信情報の評価を下げるユーザを特定して、特定したユーザの信用度を算出してもよい。例えば、算出部１３３は、類似事業者の広告の評価を下げる競合他社等を特定して、特定した競合他社等の信用度を算出してもよい。

【0073】

算出部１３３は、ユーザ情報と、評価情報とに基づいて評価スコアを算出してもよい。例えば、算出部１３３は、ユーザ情報に基づくスコアと、評価情報に基づくスコアとに応じて評価スコアを算出してもよい。具体的な例を挙げると、算出部１３３は、ユーザ情報と、ガイドラインとの類似度に基づいてユーザ情報に基づくスコアを算出する。また、算出部１３３は、評価情報と、ガイドラインとの類似度に基づいて評価情報に基づくスコアを算出する。そして、算出部１３３は、ユーザ情報に基づくスコアと、評価情報に基づくスコアとを加算することにより評価スコアを算出してもよい。また、算出部１３３は、ユーザ情報に基づくスコアと、評価情報に基づくスコアとを内積することにより評価スコアを算出してもよい。

【0074】

（特定部１３４）
特定部１３４は、取得部１３１によって取得された評価情報と、ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する。例えば、特定部１３４は、取得部１３１によって取得された評価情報と、ユーザ情報とに基づいて再審査の対象となる配信情報を特定する。例えば、特定部１３４は、取得部１３１によって取得された評価情報と、算出部１３３によって算出された信用度とに基づいて配信情報を特定する。例えば、特定部１３４は、信用度が高いユーザからの評価情報の重みを加算して配信情報を特定してもよい。

【0075】

特定部１３４は、所定の評価に関する評価情報の数が所定の条件を満たした配信情報を特定する。例えば、特定部１３４は、ユーザの不快感または不正であると感じた感情を示す評価情報の数に基づいて配信情報を特定する。例えば、特定部１３４は、「広告が不適切である」と評価された評価数が所定の閾値以上を満たした配信情報を特定する。

【0076】

特定部１３４は、ユーザ情報が所定の条件を満たすユーザを特定し、特定したユーザによる評価情報が所定の条件を満たす配信情報を特定する。例えば、特定部１３４は、算出部１３３によって算出された信用度が高いユーザを特定し、信用度が高いユーザから送信された評価数の数が所定の条件を満たす配信情報を特定してもよい。例えば、特定部１３４は、算出部１３３によって算出された信用度が所定の閾値を超えるユーザによる評価情報が所定の条件を満たす配信情報を特定する。

【0077】

特定部１３４は、算出部１３３によって算出された評価スコアが高いユーザから送信された評価数の数が所定の条件を満たす配信情報を特定してもよい。また、特定部１３４は、算出部１３３によって算出されたユーザ情報に基づくスコアと、算出部１３３によって算出された評価情報に基づくスコアとに応じて算出された評価スコアに基づいて配信情報を特定してもよい。

【0078】

特定部１３４は、配信情報として、広告情報を特定する。

【0079】

（更新部１３５）
更新部１３５は、特定部１３４による特定結果に基づいて評価を行ったユーザのユーザ情報を更新する。例えば、更新部１３５は、ユーザが行った評価に基づいて再審査が決定した場合には、ユーザ情報を更新する。また、更新部１３５は、再審査の結果情報に基づいて、ユーザ情報を更新する。例えば、更新部１３５は、再審査の結果情報が、ユーザが行った評価が意図した結果情報であった場合には、ユーザ情報を更新してもよい。具体的には、更新部１３５は、ユーザが「不適切である」と評価した配信情報が、配信情報を管理する管理者によっても「不適切である」と判断された場合には、ユーザ情報を更新する。この場合には、更新部１３５は、ユーザの信用度に関する情報をプラスに加算してもよい。また、更新部１３５は、ユーザのガイドラインとの類似度に関する情報をプラスに加算してもよい。

【0080】

更新部１３５は、更新したユーザ情報に基づいて称号やラベルを付与してもよい。例えば、更新部１３５は、信用度、評価スコア、又は類似度が所定の閾値以上を満たしたユーザに対して、「優良ユーザ」の称号やラベルを付与してもよい。

【0081】

（除外部１３６）
除外部１３６は、特定部１３４によって特定された配信情報を配信対象から除外する。例えば、除外部１３６は、所定の評価に関する評価情報の数が所定の条件を満たした配信情報を配信対象から除外する。

【0082】

〔５．特定処理のフロー〕
次に、図８を用いて、実施形態に係る特定システム１による特定処理の手順について説明する。図８は、実施形態に係る特定システム１による特定処理の手順を示すフローチャートである。

【0083】

図８に示すように、特定装置１００は、配信情報に対するユーザの評価に関する評価情報を取得する（ステップＳ２０１）。例えば、特定装置１００は、「広告は不適切である」といった評価情報を取得する。また、特定装置１００は、評価を行ったユーザのユーザ情報を取得する（ステップＳ２０２）。例えば、特定装置１００は、評価を行ったユーザが過去にどのような配信情報に対してどのような評価を行ったかに関する情報を取得する。

【0084】

また、特定装置１００は、取得したユーザ情報に基づいて信用度を算出する（ステップＳ２０３）。また、特定装置１００は、評価情報と信用度とに基づいて再審査の対象となる配信情報を特定する（ステップＳ２０４）。また、特定装置１００は、再審査の結果情報に基づいてユーザ情報を更新する（ステップＳ２０５）。

【0085】

（実施形態２）
〔６−１．特定処理の一例〕
次に、図９を用いて、実施形態２に係る特定処理の一例について説明する。図９は、実施形態２に係る特定処理の一例を示す図である。図９では、実施形態２に係る特定処理が特定装置１００Ａにより実行される例を示す。図９では、実施形態２に係る特定処理が、実施形態１におけるユーザ（以下、適宜「一般ユーザ」と呼ぶ）とは異なるユーザとして、広告の掲載を中止する権限を保有するユーザ（以下、適宜「特定ユーザ」と呼ぶ）による選択に基づいて再審査の対象となる配信情報を特定する例を示す。実施形態１と同様に、再審査の対象となる配信情報は、所定の審査を一度は通過した配信情報である。

【0086】

ここで、特定ユーザとは、最高権限を保有するとみなされたユーザであってもよい。例えば、特定ユーザは、配信情報の配信を管理する管理者や管理者の従業員（例えば、広告営業に関わる従業員など）である。例えば、特定ユーザは、入稿された配信情報の審査に関わる審査員である。また、特定ユーザは、配信情報の審査に関わる審査部によって妥当と判断された従業員である。実施形態２では、特定システム１は、このような特定ユーザに対して実施形態１とは異なる配信情報を配信する。

【0087】

なお、実施形態１では、特定装置１００は、複数の一般ユーザからの評価情報を取得して配信情報を特定するため、複数の一般ユーザと複数の端末装置１０とを図１に示した。一方、実施形態２では、特定装置１００Ａは、所定の特定ユーザからの評価情報として、掲載中止情報を取得して配信情報を特定してもよいため、所定の特定ユーザと１台の権限者端末２０とを図９に示したが、複数の特定ユーザからの評価情報を取得して配信情報を特定してもよいものとする。

【0088】

図９に示すように、特定システム１には、権限者端末２０と、特定装置１００Ａと、コンテンツ配信サーバ２００とが含まれる。権限者端末２０と、特定装置１００Ａと、コンテンツ配信サーバ２００とは図示しない所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図９に示す特定システム１には、複数台の権限者端末２０や、複数台の特定装置１００Ａや、複数台のコンテンツ配信サーバ２００が含まれてもよい。

【0089】

なお、図９では、特定装置１００Ａとコンテンツ配信サーバ２００とは、別装置である場合を示したが、特定装置１００Ａとコンテンツ配信サーバ２００とが一体であってもよい。また、特定装置１００Ａとコンテンツ配信サーバ２００は、それぞれ同一とみなされる管理者によって管理されていてもよい。

【0090】

権限者端末２０は、端末装置１０を利用する一般のユーザとは異なり、広告の掲載を中止する権限を有する特定ユーザによって利用される情報処理装置である。権限者端末２０は、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。図９に示す例においては、権限者端末２０がデスクトップＰＣである場合を示す。

【0091】

特定装置１００Ａは、例えば、ＰＣ、ＷＳ等の情報処理装置であり、端末装置１０又は権限者端末２０からネットワークＮを介して送信されてきた情報に基づいて再審査の対象となる配信情報を特定する。

【0092】

コンテンツ配信サーバ２００は、実施形態１と同様の情報処理装置である。

【0093】

以下では、特定ユーザＩＤ「Ｓ１」により識別される特定ユーザを「特定ユーザＳ１」とする場合がある。このように、以下では、「特定ユーザＳ＊（＊は任意の数値）」と記載した場合、その特定ユーザは特定ユーザＩＤ「Ｓ＊」により識別される特定ユーザであることを示す。例えば、「特定ユーザＳ２」と記載した場合、その特定ユーザは特定ユーザＩＤ「Ｓ２」により識別される特定ユーザである。

【0094】

図９の例では、コンテンツページＣ３０が配信される場合を示す。なお、コンテンツページＣ３０は、実施形態に係る配信情報の一例である。実施形態１とは異なり、アイマークが表示される代わりに広告情報には、広告の掲載を中止する掲載中止ＢＴ１が表示される。ここで、掲載中止ＢＴ１は、特定ユーザによる選択（クリックやタップなど）によって、広告の掲載の中止の申請（又は、広告の再審査の申請）を可能とする情報である。例えば、掲載中止ＢＴ１は、選択されることによって、広告の掲載の即時中止を可能とする情報であってもよい。なお、図９では掲載中止ＢＴ１がボタンとして表示される場合を一例とするが、どのような情報として表示されてもよい。また、掲載中止ＢＴ１は、アイマークを選択することにより表示される評価ページ（例えば、実施形態１における評価ページＣ２０）に表示される情報であってもよい。

【0095】

なお、図９の例では、アイマークが表示されない場合を示しているが、実施形態１におけるアイマークＩＣ１が広告情報に表示されてもよいものとする。この場合、アイマークＩＣ１を選択することによって、広告情報の評価を行う評価ページが表示される。

【0096】

掲載中止ＢＴ１は、選択されることによって、掲載中止とするべき理由を選択させる掲載中止理由ページを表示させる情報であってもよい。図９の例では、掲載中止ＢＴ１が選択されることによって、掲載中止理由ページＣ４０が表示される。掲載中止理由ページＣ４０は、広告の掲載を中止とするべき理由（例えば、広告が差別的、中傷的な表現を含むなど）を、掲載中止ＢＴ１を選択した特定ユーザによる選択に応じて理由を確定させるためのコンテンツである。なお、掲載中止理由ページは、複数の掲載中止とするべき理由を特定ユーザが選択できるコンテンツであってもよい。

【0097】

以下、図９を用いて、実施形態２に係る特定処理の一例を説明する。コンテンツ配信サーバ２００は、権限者端末２０を利用する特定ユーザによる操作に応じて配信情報を配信する（ステップＳ３０１）。また、コンテンツ配信サーバ２００は、実施形態１とは異なり、特定ユーザに応じた配信情報を配信する。例えば、コンテンツ配信サーバ２００は、権限者端末２０から送信された配信情報の配信要求に基づいて、配信要求を行ったユーザが特定ユーザであるか否かを判定して、特定ユーザである場合には、特定ユーザに応じた配信情報を配信してもよい。図９に示す例では、コンテンツ配信サーバ２００は、配信要求を行ったユーザが特定ユーザであるため、掲載中止ＢＴ１を含む配信情報を配信する。一方、図１に示す例では、コンテンツ配信サーバ２００は、配信要求を行ったユーザが一般ユーザであるため、掲載中止ＢＴ１を含まない配信情報を配信する。

【0098】

ここで、特定ユーザＳ１は、配信情報に表示された掲載中止ＢＴ１を選択して、掲載中止理由ページＣ４０から広告の掲載を中止とするべき理由を選択したとする。この場合、権限者端末２０は、掲載中止に関する掲載中止情報を特定装置１００Ａに送信する（ステップＳ３０２）。なお、掲載中止情報には、例えば、広告の掲載の中止が申請された旨の情報や、選択された広告の掲載を中止とするべき理由とが含まれる。

【0099】

特定装置１００Ａは、送信された掲載中止情報に応じて配信情報を特定する（ステップＳ３０３）。そして、特定装置１００Ａは、決定情報として、掲載を中止とする旨の情報をコンテンツ配信サーバ２００に送信する（ステップＳ３０４）。この場合、コンテンツ配信サーバ２００は、掲載の中止が決定された広告を掲載の中止を示す掲載中止ステータスに変更してもよい。なお、コンテンツ配信サーバ２００は、掲載の中止が決定された配信情報の再審査後に、再審査の結果に関する結果情報を、掲載中止情報を送信した特定ユーザＳ１や、広告を入稿した広告主に通知してもよい。

【0100】

ここで、特定装置１００Ａは、掲載中止情報に応じて特定された配信情報を、記憶部に格納してもよい。このように、特定装置１００Ａは、所定の特定ユーザの選択に応じて特定された配信情報を、記憶部に格納することによって、他の特定ユーザがその特定された配信情報を確認できるようにしてもよい。例えば、特定装置１００Ａは、誰がどの広告をどういう理由で掲載中止としているかを、特定ユーザ全員がリアルタイムで確認できるようにしてもよい。具体的な例を挙げると、特定装置１００Ａは、特定ユーザＳ１がコンテンツページＣ３０の広告情報に含まれる掲載中止ＢＴ１を選択し、掲載中止理由ページＣ４０において「広告が他人を誤解させる表現を含む」を選択したといった情報を、他の特定ユーザ（例えば、特定ユーザＳ２、Ｓ３など）が確認できるようにしてもよい。

【0101】

〔６−２．権限の剥奪〕
特定装置１００Ａは、一般ユーザが保有する広告の評価申告を行う権限を剥奪してもよい。また、特定装置１００Ａは、特定ユーザが保有する広告の再審査申請を行う権限を剥奪してもよい。また、特定装置１００Ａは、特定ユーザが保有する広告の掲載を中止する権限を剥奪してもよい。

【0102】

例えば、特定装置１００Ａは、一般ユーザ又は特定ユーザの各々が保有する権限を用いた実績に基づいて権限を剥奪するユーザを特定してもよい。例えば、特定装置１００Ａは、一般ユーザが行った評価申告（例えば、「広告が不適切である」といった申告）やその理由が妥当であったか否かを記憶部に蓄積する。例えば、特定装置１００Ａは、特定ユーザが行った再審査申請の申告やその理由が妥当であったか否かを記憶部に蓄積する。例えば、特定装置１００Ａは、特定ユーザが行った掲載中止の申告やその理由が妥当であったか否かを記憶部に蓄積する。ここで、申告が妥当であったか否かの判定は、例えば配信情報を管理する管理者によって決定されて、申告が妥当であったと判定された場合には、配信情報の配信が中止される。

【0103】

また、特定装置１００Ａは、妥当であったか否かの判定に基づいて正解率を示すスコアを算出してもよい。例えば、特定装置１００Ａは、申告が妥当であった比率が高いほど、スコアを高く算出する。そして、特定装置１００Ａは、スコアが所定の閾値未満になった一般ユーザ又は特定ユーザの権限を剥奪してもよい。すなわち、特定装置１００Ａは、正解率が低い一般ユーザ又は特定ユーザの権限を剥奪してもよい。例えば、特定装置１００Ａは、一般ユーザ又は特定ユーザが行った初回の申告から１０回目の申告までのスコア（例えば、スコアの平均）を算出して、権限を剥奪するか否かを決定してもよい。また、例えば、特定装置１００Ａは、一般ユーザ又は特定ユーザが行った直近１０回の申告のスコアを算出して、権限を剥奪するか否かを決定してもよい。また、例えば、特定装置１００Ａは、初回の申告から１０回目の申告までの正解率が所定の閾値未満（例えば、５０％未満など）のユーザを特定して権限を剥奪してもよい。また、例えば、特定装置１００Ａは、月毎に正解率やスコアを算出してユーザを特定してもよい。また、例えば、特定装置１００Ａは、権限の剥奪を管理する管理者（例えば、剥奪の管理を担当する担当者）による操作に応じて、一般ユーザ又は特定ユーザから権限を剥奪してもよい。また、特定装置１００Ａは、信用度に応じて、一般ユーザ又は特定ユーザから権限を剥奪してもよい。そして、特定装置１００Ａは、一般ユーザ又は特定ユーザから権限を剥奪した場合には、ユーザ情報を更新する。

【0104】

〔６−３．コンテンツ配信サーバ：配信部〕
配信部２３１は、配信要求を行ったユーザが特定ユーザである場合には、対応した配信情報を権限者端末２０に配信する。例えば、配信部２３１は、図９に示す掲載中止ＢＴ１といった情報を含む配信情報を配信してもよい。このように、配信部２３１は、配信要求を行ったユーザが一般ユーザであるか特定ユーザであるかに応じて配信情報の出し分けを行ってもよい。なお、配信部２３１は、配信要求を行ったユーザが特定ユーザであるか否かを、例えば特定ユーザとして予め登録された登録情報（例えば、特定ユーザの一覧データなど）に基づいて判定してもよい。

【0105】

〔６−４．特定装置の構成〕
次に、図１０を用いて、実施形態２に係る特定装置１００Ａの構成について説明する。図１０は、実施形態２に係る特定装置１００Ａの構成例を示す図である。図１０に示すように、特定装置１００Ａは、通信部１１０と、記憶部１２０Ａと、制御部１３０Ａとを有してもよい。なお、以下では、実施形態１と異なる処理を行う構成のみ記載する。

【0106】

（記憶部１２０Ａ）
記憶部１２０Ａは、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図１０に示すように、記憶部１２０Ａは、評価情報記憶部１２１と、ユーザ情報記憶部１２２Ａと、指針情報記憶部１２３とを有する。

【0107】

ユーザ情報記憶部１２２Ａは、ユーザに対して予め設定された権限に関する権限情報を含むユーザ情報を記憶する。ここで、図１１に、実施形態２に係るユーザ情報記憶部１２２Ａの一例を示す。図１１に示すように、ユーザ情報記憶部１２２Ａは、「ユーザＩＤ」、「権限」、「ユーザ情報１」、「ユーザ情報２」、「ユーザ情報３」といった項目を有する。

【0108】

「ユーザＩＤ」は、評価を行った一般ユーザ又は特定ユーザを識別するための識別情報を示す。「権限」は、ユーザに対して予め設定された権限に関する権限情報を示す。図１１では「権限」に「権限Ｉ」や「権限ＩＩ」といった概念的な情報が格納される例を示したが、実際には具体的な権限情報が記憶されてもよい。また、例えば、権限Ｉは特定ユーザを示し、権限ＩＩは一般ユーザを示すといった識別情報として、「権限」に「権限Ｉ」や「権限ＩＩ」といった情報が記憶されてもよい。なお、「ユーザ情報１」等には実施形態１で記載された情報と同様のユーザ情報が記憶される。

【0109】

（制御部１３０Ａ）
制御部１３０Ａは、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、特定装置１００Ａ内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０Ａは、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

【0110】

図１０に示すように、制御部１３０Ａは、取得部１３１と、決定部１３２と、算出部１３３と、特定部１３４Ａと、更新部１３５Ａと、除外部１３６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０Ａの内部構成は、図１０に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0111】

（特定部１３４Ａ）
特定部１３４Ａは、ユーザに対して予め設定された権限に応じた所定の条件に基づいて再審査の対象となる配信情報を特定する。例えば、特定部１３４Ａは、予め設定された権限が「権限Ｉ（特定ユーザ）」である場合、広告情報に対する特定ユーザの操作（例えば、掲載中止ＢＴ１の選択）に応じて、配信情報の再審査を決定する。このように、特定部１３４Ａは、配信情報の再審査に関する所定の権限を有した特定ユーザからの評価情報に基づいて、配信情報の再審査を決定してもよい。また、特定部１３４Ａは、特定ユーザが掲載中止とすべき旨の情報とその理由とを送信した場合には、評価情報として、掲載中止に関する掲載中止情報に基づいて配信情報の再審査を決定してもよい。また、例えば、特定部１３４Ａは、予め設定された権限が「権限ＩＩ（一般ユーザ）」である場合、広告情報に対する一般ユーザの操作（例えば、評価情報の選択）やユーザ情報（例えば、ユーザの信用度）に応じて、配信情報の再審査を決定する。

【0112】

（更新部１３５Ａ）
更新部１３５Ａは、特定部１３４Ａによって特定された配信情報の再審査の結果情報に基づいて、評価を行ったユーザのユーザ情報を更新する。例えば、更新部１３５Ａは、ユーザが評価した配信情報の再審査の結果情報（例えば、直近過去１０回の正解率）に基づいて算出された算出情報が所定の閾値未満（例えば、正答率５０％未満）である場合、一般ユーザが有する権限（図１１の例では、「権限ＩＩ」）が剥奪されるようにユーザ情報を更新してもよい。また、例えば、更新部１３５Ａは、特定ユーザが評価した配信情報の再審査の結果情報（例えば、初回から１０回目までの正解率）に基づいて算出された算出情報が所定の閾値未満である場合、特定ユーザが有する権限（図１１の例では、「権限Ｉ」）が剥奪されるようにユーザ情報を更新してもよい。例えば、更新部１３５Ａは、配信情報に対する評価を行った特定ユーザとは異なる他の特定ユーザからの操作に応じた時点における特定ユーザの再審査の結果情報に基づく算出情報が所定の閾値未満である場合、特定ユーザが有する権限が剥奪されるようにユーザ情報を更新してもよい。なお、更新部１３５Ａは、特定ユーザから権限を剥奪した場合には、剥奪後は一般ユーザとしてユーザ情報を更新してもよい。この場合、更新部１３５Ａは、権限が剥奪された特定ユーザに対して、一般ユーザが有する権限（図１１の例では、「権限ＩＩ」）を付与してもよいし、付与しなくてもよい。

【0113】

〔６−５．特定処理のフロー〕
次に、図１２を用いて、実施形態２に係る特定システム１Ａによる特定処理の手順について説明する。図１２は、実施形態２に係る特定システム１Ａによる特定処理の手順を示すフローチャートである。

【0114】

図１２に示すように、特定装置１００Ａは、配信情報に対する一般ユーザ又は特定ユーザの評価に関する評価情報を取得する（ステップＳ４０１）。ここで、一般ユーザからの評価情報を取得した場合、実施形態１の特定処理の手順と同様である。このため、図１２では、特定装置１００Ａが特定ユーザの評価情報を取得した場合の特定処理の手順について説明する。

【0115】

特定装置１００Ａは、取得した特定ユーザからの評価情報に応じて、配信情報の再審査を決定する（ステップＳ４０２）。特定装置１００Ａは、再審査の結果情報に基づいて特定ユーザの権限を剥奪するか否かを判定する（ステップＳ４０３）。特定装置１００Ａは、特定ユーザの権限を剥奪しない場合（ステップＳ４０３；Ｎｏ）、特定処理を終了する。特定装置１００Ａは、特定ユーザの権限を剥奪する場合（ステップＳ４０３；Ｙｅｓ）、評価を行った特定ユーザのユーザ情報を更新する（ステップＳ４０４）。

【0116】

〔７．効果〕
上述してきたように、実施形態に係る特定装置１００は、取得部１３１と、特定部１３４を有する。取得部１３１は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する。特定部１３４は、取得部１３１によって取得された評価情報と、ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する。

【0117】

これにより、実施形態に係る特定装置１００は、対象となる配信情報を効果的に特定することができる。

【0118】

また、取得部１３１は、配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得する。また、特定部１３４は、評価情報とユーザ情報とに基づいて、配信情報のうち再審査の対象となる配信情報を特定する。

【0119】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0120】

また、実施形態に係る特定装置１００は、除外部１３６を有する。除外部１３６は、特定部１３４により特定された配信情報を配信対象から除外する。

【0121】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報の配信を効果的に停止することができる。

【0122】

また、特定部１３４は、所定の評価に関する評価情報の数が所定の条件を満たした配信情報を特定する。

【0123】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0124】

また、特定部１３４は、ユーザ情報が所定の条件を満たすユーザを特定し、特定したユーザによる評価を示す評価情報が所定の条件を満たす配信情報を特定する。

【0125】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報の配信を効果的に特定することができる。

【0126】

また、実施形態に係る特定装置１００は、算出部１３３を有する。算出部１３３は、ユーザ情報に基づいて、評価情報に対するユーザの信用度を算出する。また、特定部１３４は、算出部１３３によって算出された信用度に基づいて配信情報を特定する。

【0127】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0128】

また、特定部１３４は、算出部１３３によって算出された信用度が所定の閾値を超えるユーザによる評価を示す評価情報が所定の条件を満たす配信情報を特定する。

【0129】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0130】

また、算出部１３３は、ユーザ情報のうちユーザが評価した配信情報の再審査の結果履歴に基づいて、信用度を算出する。

【0131】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0132】

また、実施形態に係る特定装置１００は、決定部１３２を有する。決定部１３２は、評価情報が示す評価の内容と、サイトを管理する管理者によって予め設定された所定のガイドラインとの類似度を決定する。また、算出部１３３は、決定部１３２による決定結果に応じて重み付けが異なるユーザ情報に基づいて、信用度を算出する。

【0133】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0134】

また、実施形態に係る特定装置１００は、更新部１３５を有する。更新部１３５は、特定部１３４による特定結果に基づいて、評価を行ったユーザのユーザ情報を更新する。

【0135】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0136】

また、特定部１３４は、評価情報のうち、ユーザの不快感または不正であると感じる感情に関する評価情報に基づいて、配信情報を特定する。

【0137】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0138】

また、特定部１３４は、配信情報ごとに、ユーザ情報に基づくスコアと評価情報に基づくスコアとに応じて算出された評価スコアが所定の条件を満たす配信情報を特定する。

【0139】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0140】

また、特定部１３４は、ユーザに対して予め設定された権限に応じた所定の条件に基づいて再審査の対象となる配信情報を特定する。

【0141】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0142】

また、実施形態に係る特定装置１００は、更新部１３５を有する。更新部１３５は、ユーザが評価した配信情報の再審査の結果が所定の条件を満たす場合は、権限を剥奪する。

【0143】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0144】

また、更新部１３５は、配信情報に対する評価を行ったユーザとは異なる他のユーザからの操作に応じた再審査の結果が所定の条件を満たす場合は、ユーザの権限を剥奪する。

【0145】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0146】

また、特定部１３４は、ユーザに対して予め設定された権限が所定の条件を満たす場合は、ユーザが評価した配信情報を再審査対象とする。

【0147】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0148】

また、特定部１３４は、評価情報として掲載中止情報が取得された場合は、再審査する。

【0149】

これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。

【0150】

〔８．ハードウェア構成〕
また、上述してきた実施形態に係る端末装置１０、特定装置１００およびコンテンツ配信サーバ２００は、例えば、図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、端末装置１０、特定装置１００およびコンテンツ配信サーバ２００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0151】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0152】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

【0153】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

【0154】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0155】

例えば、コンピュータ１０００が実施形態に係る端末装置１０、特定装置１００およびコンテンツ配信サーバ２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１４、１３０および２３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

【0156】

〔９．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0157】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0158】

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0159】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0160】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0161】

１ 特定システム
１０ 端末装置
１１ 通信部
１２ 入力部
１３ 出力部
１４ 制御部
２０ 権限者端末
１００ 特定装置
１１０ 通信部
１２０ 記憶部
１２１ 評価情報記憶部
１２２ ユーザ情報記憶部
１２３ 指針情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 決定部
１３３ 算出部
１３４ 特定部
１３５ 更新部
１３６ 除外部
１４１ 受信部
１４２ 受付部
１４３ 送信部
２００ コンテンツ配信サーバ
２１０ 通信部
２２０ コンテンツ情報記憶部
２３０ 制御部
２３１ 配信部
２３２ 総合管理部

【要約】      （修正有）

【課題】配信された情報を効果的に再審査する特定装置、特定方法及び特定プログラムを提供する。
【解決手段】端末装置１０にコンテンツを配信するコンテンツ配信サーバ２００と、特定装置１００を有する特定システム１において、特定装置１００は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、取得部によって取得された評価情報と、ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する特定部と、を備える。取得部は、配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得し、特定部は、評価情報とユーザ情報とに基づいて、配信情報のうち再審査の対象となる配信情報を特定する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】