特許第6406951号(P6406951)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧

特許6406951広告入札管理システム、方法、およびプログラム
<>
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000002
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000003
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000004
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000005
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000006
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000007
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000008
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000009
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000010
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000011
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000012
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000013
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000014
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000015
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000016
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000017
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000018
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000019
  • 特許6406951-広告入札管理システム、方法、およびプログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6406951
(24)【登録日】2018年9月28日
(45)【発行日】2018年10月17日
(54)【発明の名称】広告入札管理システム、方法、およびプログラム
(51)【国際特許分類】
   G06Q 30/02 20120101AFI20181004BHJP
   G06Q 30/08 20120101ALI20181004BHJP
   G09F 19/00 20060101ALI20181004BHJP
   G06F 13/00 20060101ALI20181004BHJP
【FI】
   G06Q30/02 398
   G06Q30/08
   G09F19/00 Z
   G06F13/00 540P
【請求項の数】7
【全頁数】20
(21)【出願番号】特願2014-189774(P2014-189774)
(22)【出願日】2014年9月18日
(65)【公開番号】特開2016-62297(P2016-62297A)
(43)【公開日】2016年4月25日
【審査請求日】2016年9月15日
(73)【特許権者】
【識別番号】500257300
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(72)【発明者】
【氏名】真田 勉
【審査官】 山本 雅士
(56)【参考文献】
【文献】 特開2002−007873(JP,A)
【文献】 特開2002−175333(JP,A)
【文献】 特許第5094956(JP,B2)
【文献】 特開2002−230391(JP,A)
【文献】 特開2011−065531(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 − 99/00
G06F 13/00
G09F 19/00
(57)【特許請求の範囲】
【請求項1】
1つまたは複数のサーバ装置から構成された広告入札管理システムであって、
各ユーザのユーザ属性に関する属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを、ユーザごとに算出する属性ランキング算出部と、
入札された各広告に関するマッチング条件を記憶する広告情報記憶部と、
前記広告情報記憶部から各入札広告に関するマッチング条件を取得して、前記入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する前記属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせるマッチング処理部とを備え
前記属性ランキング算出部は、前記属性ランキングを算出する際、前記ユーザの行動履歴から抽出した、前記ユーザ属性をマッチング条件とする広告に対する、前記ユーザのコンバージョンに関する成果獲得率を、前記属性重要度として用いる
ことを特徴とする広告入札管理システム。
【請求項2】
請求項1に記載の広告入札管理システムにおいて、
前記入札広告ごとの広告重要度に基づいて、これら入札広告間の順位を示す広告ランキングを算出する広告ランキング算出部をさらに備え、
前記マッチング処理部は、さらに前記入札広告に関する前記広告ランキングとに基づいて、前記配信先ユーザと配信すべき入札広告とをマッチングさせる
ことを特徴とする広告入札管理システム。
【請求項3】
請求項1または請求項2に記載の広告入札管理システムにおいて、
前記各ユーザに関する行動履歴に基づいて、これらユーザ間の順位を示すユーザランキングを算出するユーザランキング算出部をさらに備え、
前記マッチング処理部は、さらに前記配信先ユーザに関する前記ユーザランキングとに基づいて、前記配信先ユーザと配信すべき入札広告とをマッチングさせる
ことを特徴とする広告入札管理システム。
【請求項4】
請求項2に記載の広告入札管理システムにおいて、
前記広告ランキング算出部は、前記広告の入札額からなる前記広告重要度に基づいて、前記広告ランキングを算出することを特徴とする広告入札管理システム。
【請求項5】
請求項3に記載の広告入札管理システムにおいて、
前記ユーザランキング算出部は、前記行動履歴から導出した前記ユーザの広告に対する反応のし易さを示す行動性向度に基づいて、前記ユーザランキングを算出することを特徴とする広告入札管理システム。
【請求項6】
1つまたは複数のサーバ装置から構成された広告入札管理システムで用いられる広告入札管理方法であって、
属性ランキング算出部が、各ユーザのユーザ属性に関する属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを、ユーザごとに算出する属性ランキング算出ステップと、
広告情報記憶部が、入札された各広告に関するマッチング条件を記憶する広告情報記憶ステップと、
マッチング処理部が、前記広告情報記憶部から各入札広告に関するマッチング条件を取得して、前記入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する前記属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせるマッチング処理ステップとを備え
前記属性ランキング算出ステップは、前記属性ランキングを算出する際、前記ユーザの行動履歴から抽出した、前記ユーザ属性をマッチング条件とする広告に対する、前記ユーザのコンバージョンに関する成果獲得率を、前記属性重要度として用いる
ことを特徴とする広告入札管理方法。
【請求項7】
コンピュータを、請求項1〜請求項5のいずれか1つに記載の広告入札管理システムを構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、広告配信技術に関し、特に広告インプレッションの発生に応じて競争入札を行うリアルタイム入札技術に関する。
【背景技術】
【0002】
オンライン広告において、Webページに設けられた表示枠に表示される広告を決定する方式の1つとして競争入札方式が採用されており、特にリアルタイム入札(RTB:Real-Time Bidding)方式が注目されている。リアルタイム入札方式とは、Webページの閲覧時など、広告インプレッションが発生するたびに、当該Webページに設けられている表示枠について、リアルタイムで競争入札を行う方式である(例えば、特許文献1など参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014−146274号公報
【特許文献2】特許第5094956号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような従来のリアルタイム入札方式では、複数の広告が競争入札条件に合致している場合、最も高い入札額で入札された広告が、各ユーザが閲覧しているWebページの広告枠に表示される。しかしながら、このような単純な競争入札方式によるマッチング手法によれば、広告主は、高い入札額で広告配信機会を獲得しただけであり、このことにより、広告配信による具体的な成果、すなわちクリックやコンバージョンなど、広告に対する具体的なユーザ行動の発生する可能性が上がるわけではない。
【0005】
また、ユーザ側から見た場合、このようなマッチング手法によれば、自分が欲している価値のある情報を受け取れない場合も多くなり、広告に対するユーザ行動を起こす可能性は低い。
したがって、このようなマッチング手法では、広告主およびユーザの両者が価値を得ることはできず、最適なマッチングを実現することは難しいという問題点があった。
【0006】
本発明はこのような課題を解決するためのものであり、広告主およびユーザの両者が価値を得ることができる最適なマッチングを実現するリアルタイム入札技術を提供することを目的としている。
【課題を解決するための手段】
【0007】
このような目的を達成するために、本発明にかかる広告入札管理システムは、1つまたは複数のサーバ装置から構成された広告入札管理システムであって、各ユーザのユーザ属性に関する属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを、ユーザごとに算出する属性ランキング算出部と、入札された各広告に関するマッチング条件を記憶する広告情報記憶部と、前記広告情報記憶部から各入札広告に関するマッチング条件を取得し、前記入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する前記属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせるマッチング処理部とを備え、前記属性ランキング算出部は、前記属性ランキングを算出する際、前記ユーザの行動履歴から抽出した、前記ユーザ属性をマッチング条件とする広告に対する、前記ユーザのコンバージョンに関する成果獲得率を、前記属性重要度として用いるようにしたものである。
【0008】
本発明にかかる上記広告入札管理システムの一構成例は、前記入札広告ごとの広告重要度に基づいて、これら入札広告間の順位を示す広告ランキングを算出する広告ランキング算出部をさらに備え、前記マッチング処理部は、さらに前記入札広告に関する前記広告ランキングとに基づいて、前記配信先ユーザと配信すべき入札広告とをマッチングさせるようにしたものである。
【0009】
本発明にかかる上記広告入札管理システムの一構成例は、前記各ユーザに関する行動履歴に基づいて、これらユーザ間の順位を示すユーザランキングを算出するユーザランキング算出部をさらに備え、前記マッチング処理部は、さらに前記配信先ユーザに関する前記ユーザランキングとに基づいて、前記配信先ユーザと配信すべき入札広告とをマッチングさせるようにしたものである。
【0010】
本発明にかかる上記広告入札管理システムの一構成例は、前記属性ランキング算出部が、前記ユーザ属性をマッチング条件とする広告に関する成果獲得率からなる前記属性重要度に基づいて、前記属性ランキングを算出するようにしたものである。
【0012】
本発明にかかる上記広告入札管理システムの一構成例は、前記ユーザランキング算出部が、前記行動履歴から導出した前記ユーザの広告に対する反応のし易さを示す行動性向度に基づいて、前記ユーザランキングを算出するようにしたものである。
【0013】
本発明にかかる広告入札管理方法は、1つまたは複数のサーバ装置から構成された広告入札管理システムで用いられる広告入札管理方法であって、属性ランキング算出部が、各ユーザのユーザ属性に関する属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを、ユーザごとに算出する属性ランキング算出ステップと、広告情報記憶部が、入札された各広告に関するマッチング条件を記憶する広告情報記憶ステップと、マッチング処理部が、前記広告情報記憶部から各入札広告に関するマッチング条件を取得して、前記入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する前記属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせるマッチング処理ステップとを備え、前記属性ランキング算出ステップは、前記属性ランキングを算出する際、前記ユーザの行動履歴から抽出した、前記ユーザ属性をマッチング条件とする広告に対する、前記ユーザのコンバージョンに関する成果獲得率を、前記属性重要度として用いるようにしたものである。
【0014】
本発明にかかるプログラムは、コンピュータを、前述した広告入札管理システムを構成する各部として機能させるためのプログラムである。
【発明の効果】
【0015】
本発明によれば、マッチング条件として指定された入札広告のユーザ属性が、重要度すなわち属性ランキングの高いユーザのユーザ属性と一致するように、入札広告と配信先ユーザをマッチングさせることができる。このため、広告主側から見た場合、広告の配信により得られる価値がより大きくなるマッチングであって、かつ、ユーザ側から見た場合、自分が欲している価値のある情報を受け取れるマッチングを実現することができる。したがって、広告主およびユーザの両者が価値を得ることができる最適なマッチングを実現することが可能となる。
【図面の簡単な説明】
【0016】
図1】第1の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
図2】ユーザ情報記憶部の構成例である。
図3】行動履歴記憶部の構成例である。
図4】広告情報記憶部の構成例である。
図5】第1の実施の形態にかかる広告入札管理処理を示すフローチャートである。
図6】マッチング条件別成果獲得率の算出例である。
図7】属性ランキングの算出例である。
図8】第1の実施の形態にかかるマッチング例である。
図9】第2の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
図10】第2の実施の形態にかかる広告入札管理処理を示すフローチャートである。
図11】広告ランキングの算出例である。
図12】第2の実施の形態にかかるマッチング例である。
図13】第3の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
図14】第3の実施の形態にかかる広告入札管理処理を示すフローチャートである。
図15】ユーザランキングの算出例である。
図16】第3の実施の形態にかかるマッチング例である。
図17】第4の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
図18】第4の実施の形態にかかる広告入札管理処理を示すフローチャートである。
図19】第4の実施の形態にかかるマッチング例である。
【発明を実施するための形態】
【0017】
[発明の原理]
まず、本発明の原理について説明する。
一般に、リアルタイム入札方式とは、Webページの閲覧時など、広告インプレッションが発生するたびに、当該Webページに設けられている表示枠について、リアルタイムで競争入札を行う方式である。このリアルタイム入札方式では、入札を行う広告主が、広告配信先となるユーザの属性、広告配信のマッチング条件、入札額などを予め設定しておき、広告インプレッションが発生するごとに、当該表示枠に設定した条件に合致する広告主の入札を募り、最も高く入札した広告主の広告を配信する。
【0018】
このリアルタイム入札方式を導入することによって、広告枠を1インプレッション単位で売買することが可能になる。このほか、表示枠の売り手(販売者)にとっては、複数の広告主に対して表示枠を競売にかけることができ、広告主は、所望のターゲットユーザや条件ごとに適切な価格で入札し配信できる、といったメリットがあるといわれている。
【0019】
このようなリアルタイム入札方式では、配信待ちの広告が複数存在している状況で、広告の表示枠が設定されているWebページに多数のユーザがアクセスしてきた場合、各広告をより適切なユーザとマッチングさせることが重要となる。このような最適マッチングの実現により初めて、広告主およびユーザの両者が価値を得ることとなる。
従来のような、高い入札額で広告配信機会を獲得した広告主の広告を、各ユーザとマッチングさせるという手法が、必ずしも最適なマッチングになるわけではない。
【0020】
ここで、広告とユーザとの最適なマッチングについて具体的に考察すると、広告主側から見た場合、広告の配信により得られる価値がより大きくなるマッチングが望ましく、ユーザ側から見た場合、自分が欲している価値のある情報を受け取れるマッチングが望ましい。
したがって、ユーザ側から見て価値のある情報を示す指標として、個々のユーザの特徴を示すユーザ属性が、広告とユーザとのマッチングを決定する上で、最も重要であることが分かる。
【0021】
この際、ユーザの属性は通常1つではなく複数あるため、ユーザが情報を欲しているユーザ属性を順位付けすることが必要となる。本発明は、このような観点から、各ユーザ属性の重要度を示す属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを算出し、入札広告の求めるマッチング条件と配信先ユーザのユーザ属性に関する属性ランキングに基づいて、入札広告と配信先ユーザとをマッチングさせるようにしたものである。
【0022】
また、ユーザが過去にどのような広告をクリックまたはコンバージョンしたかについては、ユーザの行動履歴から抽出することができる。クリックまたはコンバージョンした広告の属性とユーザが情報を欲している属性との間には強い相関関係が存在すると考えられるので、属性ランキングを算出するための属性重要度の具体例としては、過去にユーザ属性をマッチング条件とする広告について、ユーザがクリックまたはコンバージョンした回数または割合、すなわち成果獲得率を属性重要度として用いるようにしたものがある。
【0023】
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる広告入札管理システム10について説明する。図1は、第1の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
【0024】
この広告入札管理システム10は、広告インプレッションが発生するごとに、各入札広告とその配信先となるユーザとをマッチングさせる機能を有している。本実施の形態では、広告入札管理システム10が、マッチング結果に基づき広告を配信する機能を持つことを前提として説明する。なお、広告入札管理システム10を別個の広告配信システムと連携させ、広告入札管理システム10からマッチング結果を通知し、広告配信システムで実際の広告配信を行わせることも可能である。
【0025】
図1の例では、各ユーザが利用するユーザ端末として、複数のユーザ端末20が示されている。これらユーザ端末20は、通信ネットワークNWを介して広告入札管理システム10と接続されており、ユーザ操作によるWebページの閲覧時など、広告インプレッションが発生するたびに、広告入札管理システム10から広告が配信されて、ユーザ端末20の画面に表示される。
【0026】
[広告入札管理システム]
次に、図1を参照して、本実施の形態にかかる広告入札管理システム10の構成について詳細に説明する。
広告入札管理システム10は、全体として1つまたは複数のサーバ装置から構成されており、主な機能部として、ユーザ情報記憶部11、行動履歴記憶部12、広告情報記憶部13、属性ランキング算出部14、マッチング処理部17、および広告配信部18が設けられている。
【0027】
これら機能部のうち、ユーザ情報記憶部11、行動履歴記憶部12、および広告情報記憶部13は、全体としてハードディスクや半導体メモリなどの記憶装置から構成されている。また、マッチング処理部17および広告配信部18は、CPUが記憶部(図示せず)のプログラムを実行することにより各種機能処理を実現する演算処理部から構成されている。このプログラムは、通信ネットワークNWを介して接続された外部装置や記録媒体(ともに図示せず)から、予め記憶部に格納される。
【0028】
ユーザ情報記憶部11は、ユーザ端末20を利用する各ユーザのユーザ情報を記憶する機能を有している。
図2は、ユーザ情報記憶部の構成例である。ここでは、ユーザを識別するためのユーザIDごとに、当該ユーザの特徴を示すユーザ属性などの情報が登録されている。ユーザ属性としては、ユーザが興味を持つ「自動車」、「スポーツ」、「ゲーム」などのキーワードのほか、ユーザ自身の性別、年齢、住所を示す「男性」、「31歳」、「横浜」などのキーワードが用いられる。
【0029】
行動履歴記憶部12は、各ユーザの行動履歴を記憶する機能を有している。
図3は、行動履歴記憶部の構成例である。ここでは、ユーザを識別するためのユーザIDごとに、当該ユーザが行った行動内容などの情報が登録されている。行動内容としては、行動対象となったコンテンツを識別するためのコンテンツID、当該コンテンツに対する操作内容、当該行動が発生した行動日時などの情報が記録されている。
【0030】
広告情報記憶部13は、入札された各広告に関する広告情報を記憶する機能を有している。
図4は、広告情報記憶部の構成例である。ここでは、広告を識別するための広告IDごとに、広告主が指定した当該広告のターゲットを示すマッチング条件、広告主が指定した当該広告に関する入札額、および当該広告を構成する広告コンテンツなどの情報が記録されている。マッチング条件としては、ユーザ属性と同様のキーワードが用いられる。また、入札額は、当該広告が配信されたときに支払う価格であり、例えば、1広告インプレッション当たりに支払う額が設定される。
【0031】
属性ランキング算出部14は、各ユーザのユーザ属性について、当該ユーザ属性をマッチング条件とする広告に関する成果獲得率からなる属性重要度に基づいて、ユーザごとに、これらユーザ属性間の順位を示す属性ランキングを算出する機能を有している。属性ランキング算出の詳細な過程については後述する。
【0032】
マッチング処理部17は、入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる機能を有している。マッチング処理の詳細については後述する。
【0033】
広告配信部18は、マッチング処理部17で得られた、配信先ユーザと配信すべき入札広告とのマッチング結果に基づき、各入札広告を当該ユーザのユーザ端末20へ配信する機能を有している。この際、ユーザ端末20が閲覧しているコンテンツに設けられた表示枠に対してはめ込むように広告を配信してもよく、ユーザ端末20の表示画面全体に広告を配信してもよい。
【0034】
[第1の実施の形態の動作]
次に、図5を参照して、本実施の形態にかかる広告入札管理システム10の動作について説明する。図5は、第1の実施の形態にかかる広告入札管理処理を示すフローチャートである。
広告入札管理システム10は、広告インプレッションの発生に応じて、配信先ユーザと入札広告とをマッチングさせる際、図5の広告入札管理処理を実行する。
【0035】
なお、広告入札管理処理の実行にあたって、ユーザ情報記憶部11には、各ユーザのユーザ属性が予め登録されており、行動履歴記憶部12には、各ユーザに関する行動履歴が予め登録されているものとする。また、広告情報記憶部13には、各入札広告に関するマッチング条件、入札額、および広告コンテンツが予め登録されているものとする。
【0036】
まず、属性ランキング算出部14は、各配信先ユーザのユーザ属性について、当該ユーザ属性をマッチング条件とする広告に関する成果獲得率からなる属性重要度に基づいて、順位を示す属性ランキングを算出する(ステップ100)。この属性ランキングは配信先ユーザごとに決められる。
【0037】
図6は、マッチング条件別成果獲得率の算出例である。各入札広告には当該広告を配信したいユーザが、ユーザ属性からなるマッチング条件で指定されている。成果獲得率は、行動履歴記憶部12の各行動履歴から、広告に対するユーザの選択操作(クリック・タップ)やコンバージョン(契約・会員登録・資料請求・問い合わせ)など、当該広告の所期の目的に対して一定の成果が得られた割合を示す値である。
【0038】
したがって、この成果獲得率が高いマッチング条件ほど、ユーザが情報を欲しているユーザ属性、すなわち重要度の高いユーザ属性であるといえる。この際、算出対象とする行動履歴は、マッチング時点から過去1か月間など、所定の期間だけ遡った算出期間内に発生した最新の行動履歴を用いることにより、最新のユーザトレンドを、成果獲得率に反映させることができる。
【0039】
図7は、属性ランキングの算出例である。各ユーザのそれぞれのユーザ属性に関する成果獲得率は、図6のマッチング条件別成果獲得率に基づき特定できる。属性ランキングは、ユーザ属性それぞれの間で成果獲得率を比較して順位付けすることにより算出すればよい。この属性ランキングにより、ユーザ属性のうちから重要度の高いユーザ属性を、ユーザごとに特定することができる。
【0040】
図7の例では、ユーザAは、「自動車,スポーツ,ゲーム,…」などのユーザ属性を持ち、このうち「自動車」が属性ランキング1位であり、「スポーツ」が属性ランキング2位となっている。また、ユーザBは、「山登り,旅行,バイク,健康,…」などのユーザ属性を持ち、このうち「健康」が属性ランキング1位であり、「旅行」が属性ランキング2位となっている。さらに、ユーザCは、「株式,不動産,ショッピング,…」などのユーザ属性を持ち、このうち「ショッピング」が属性ランキング1位であり、「株式」が属性ランキング2位となっている。
【0041】
次に、マッチング処理部17は、広告情報記憶部13から各入札広告に関するマッチング条件を取得し(ステップ101)、入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる(ステップ102)。
【0042】
このマッチングでは、各広告をより適切なユーザとマッチングさせることが重要となる。このようにマッチングを最適化することにより初めて、広告主およびユーザの両者が価値を得ることとなる。
したがって、マッチング処理部17は、マッチング条件として指定されたユーザ属性と、属性ランキング1位のユーザ属性とが一致するように、入札広告とユーザとをマッチングさせる。この際、属性ランキングは、1位のみに限定されるものではなく、2位や3位など、上位に位置する複数の属性ランキングもマッチングの対象に含めてもよい。
【0043】
図8は、第1の実施の形態にかかるマッチング例である。ここでは、マッチング条件と属性ランキング1位がともに「自動車」である、入札広告XとユーザAとがマッチングされている。また、マッチング条件と属性ランキング1位がともに「ショッピング」である、入札広告YとユーザCとがマッチングされている。さらに、マッチング条件と属性ランキング1位がともに「健康」である、入札広告ZとユーザBとがマッチングされている。
【0044】
この後、広告配信部18は、マッチング処理部17で得られた、配信先ユーザと配信すべき入札広告とのマッチング結果に基づき、各入札広告を当該ユーザのユーザ端末20へ配信し(ステップ103)、一連の広告入札管理処理を終了する。
【0045】
[第1の実施の形態の効果]
このように、本実施の形態は、属性ランキング算出部14が、各ユーザのユーザ属性に関する属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを、ユーザごとに算出し、マッチング処理部17が、入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせるようにしたものである。
【0046】
これにより、入札広告とユーザのうち、マッチング条件として指定されたユーザ属性と、重要度が高いすなわち属性ランキングの高いユーザ属性とが一致するように、入札広告とユーザをマッチングさせることができる。このため、広告主側から見た場合は、広告の配信により得られる価値がより大きくなるマッチングであり、ユーザ側から見た場合は、自分が欲している価値のある情報を受け取れるマッチングを実現することができる。
したがって、広告主およびユーザの両者が価値を得ることができる最適マッチングを実現することが可能となる。
【0047】
また、本実施の形態において、属性ランキング算出部14が、ユーザ属性をマッチング条件とする広告に関する成果獲得率から算出された属性重要度に基づいて、属性ランキングを決めてもよい。これにより、ユーザによる過去の実際の行動履歴から、ユーザが選択した広告の属性についてユーザが情報を欲している度合を、成果獲得率を介して属性重要度に反映させることができる。したがって、ユーザの要求に応じた、より精度の高い属性ランキングを算出することが可能となる。
【0048】
[第2の実施の形態]
次に、図9を参照して、本発明の第2の実施の形態にかかる広告入札管理システム10について説明する。図9は、第2の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
【0049】
第1の実施の形態では、属性ランキングに基づき配信先ユーザと配信すべき入札広告とをマッチングする場合を例として説明した。この際、マッチング条件が配信先ユーザのユーザ属性と一致する入札広告が複数存在する場合、これら入札広告のうちからいずれかを選択して配信する必要がある。
【0050】
ここで、これら入札広告を比較すると、それぞれの入札広告には重要度が存在する。例えば、各入札広告の入札額の違いは、広告主が設定した入札広告に対する重要度を表しているといえる。このような入札額の違いをマッチングに繁栄させることにより、高い入札額ほどマッチングで得られる広告主側の価値を高めることができる。
本実施の形態では、このような観点から、入札広告の重要度を示す広告ランキングを選択指標として用い、広告ランキングが高い広告ほど優先的に配信先ユーザにマッチングさせるようにしたものである。
【0051】
図9に示す本実施の形態にかかる広告入札管理システム10は、前述した図1の構成に広告ランキング算出部15を追加したものである。その他の構成および動作については、第1の実施の形態とほぼ同様であり、ここでの詳細な説明は省略する。
【0052】
本実施の形態において、広告ランキング算出部15は、広告の入札額から決まる入札広告ごとの広告重要度に基づいて、これら入札広告間の順位を示す広告ランキングを算出する機能を有している。
マッチング処理部17は、入札広告ごとにマッチング条件として指定されたユーザ属性および広告ランキングと、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる機能を有している。
【0053】
[第2の実施の形態の動作]
次に、図10を参照して、本実施の形態にかかる広告入札管理システム10の動作について説明する。図10は、第2の実施の形態にかかる広告入札管理処理を示すフローチャートである。
広告入札管理システム10は、広告インプレッションの発生に応じて、配信先ユーザと入札広告とをマッチングさせる際、図10の広告入札管理処理を実行する。
【0054】
なお、広告入札管理処理の実行にあたって、ユーザ情報記憶部11には、各ユーザのユーザ属性が予め登録されており、行動履歴記憶部12には、各ユーザに関する行動履歴が予め登録されているものとする。また、広告情報記憶部13には、各入札広告に関するマッチング条件、入札額、および広告コンテンツが予め登録されているものとする。
【0055】
まず、属性ランキング算出部14は、各配信先ユーザのユーザ属性について、当該ユーザ属性をマッチング条件とする広告に関する成果獲得率からなる属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを算出する(ステップ200)。
【0056】
次に、マッチング処理部17は、広告情報記憶部13から各入札広告に関するマッチング条件を取得し(ステップ201)、入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる(ステップ202)。
【0057】
ここで、ある配信先ユーザに対してマッチングされた広告が複数存在するかどうかを確認し(ステップ203)、複数存在する場合(ステップ203:YES)、広告ランキング算出部15は、広告の入札額から、これら複数の入札広告間の順位を示す広告ランキングを算出する(ステップ204)。
【0058】
図11は、広告ランキングの算出例である。この広告ランキングは、各入札広告の入札額の高いほうから順に順位付けしたものである。入札額は、図4に示した広告情報記憶部13の入札額で特定できる。ここでは、入札広告X,Y,Zの入札額が、それぞれ0.3[¥/imps],0.2[¥/imps],0.1[¥/imps]であり、広告ランキングとして、それぞれ1位、2位、3位が割り当てられている。図11の例では、入札額として、1インプレッション当たり広告主が支払う額が指定されているが、入札額の指定方法はこれに限定されるものではなく、例えば1000インプレッション当たりの支払額であってもよい。
【0059】
続いて、マッチング処理部17は、ある配信先ユーザに対してマッチングされた複数の入札広告のうちから、広告ランキング算出部15で算出した各入札広告に関する広告ランキングに基づいて、広告ランキングの高い入札広告を優先的にマッチングさせる(ステップ205)。
【0060】
図12は、第2の実施の形態にかかるマッチング例である。ここでは、属性ランキング1位が「自動車」である配信先ユーザA群に対して、マッチング条件が「自動車」である2つの入札広告X,Y,Zがマッチング可能であるものとする。
まず、図12の例では、広告ランキングの高い入札広告をマッチング対象として選択した例である。具体的には、入札広告X,Y,Zのうち広告ランキングが2位以上の入札広告X,Yを、配信先ユーザA群にマッチングさせている。
【0061】
この際、図12(a)の例は、入札広告X,Yに対するマッチングユーザ数が、50%ずつ配信先ユーザA群内のA1群およびA2群に対して等しく按分したものである。一方、図12(b)の例は、入札広告X,Yに対するマッチングユーザ数を、入札額に応じて按分したものである。例えば、入札広告X,Yの入札額がそれぞれ0.3[¥/imps],0.2[¥/imps]であるため、入札広告Xの按分率は0.3/(0.3+0.2)=60%となり、入札広告Yの按分率は0.2/(0.3+0.2)=40%となる。したがって、入札広告Xは、配信先ユーザA群内の60%に当たるA1群にマッチングされ、入札広告Yは、配信先ユーザA群内の40%に当たるA2群にマッチングされることになる。
【0062】
この後、広告配信部18は、マッチング処理部17で得られた、配信先ユーザと配信すべき入札広告とのマッチング結果に基づき、各入札広告を当該ユーザのユーザ端末20へ配信し(ステップ206)、一連の広告入札管理処理を終了する。
一方、ステップ203で、ある配信先ユーザに対してマッチングされた入札広告が1つの場合(ステップ203:NO)、ステップ206へ移行する。
【0063】
[第2の実施の形態の効果]
このように、本実施の形態は、広告ランキング算出部15が、入札広告ごとの広告重要度に基づいて、これら入札広告間の順位を示す広告ランキングを算出し、マッチング処理部17が、属性ランキングと広告ランキングとに基づいて、配信先ユーザと配信すべき入札広告とをマッチングさせるようにしたものである。
これにより、マッチング条件がユーザ属性と一致する入札広告が複数存在する場合、各広告の重要度に応じた広告ランキングに基づいて、広告ランキングのより高い入札広告を優先的に配信先ユーザへマッチングさせることが可能となる。
【0064】
また、本実施の形態において、広告ランキング算出部15が、広告の入札額からなる広告重要度に基づいて、広告ランキングを算出するようにしてもよい。これにより、広告主側から見た場合、広告主が指定した入札額に応じて、広告の配信により得られる価値がより大きくなるマッチングを実現することが可能となる。
【0065】
[第3の実施の形態]
次に、図13を参照して、本発明の第3の実施の形態にかかる広告入札管理システム10について説明する。図13は、第3の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
【0066】
第2の実施の形態では、マッチング条件が配信先ユーザのユーザ属性と一致する入札広告が複数存在する場合、広告ランキングに基づきマッチングさせる構成について説明した。また、配信先ユーザが多数存在する場合、広告ランキングにより選択された入札広告に対して、配信先ユーザを等配分する、あるいは入札額で按分する場合を例として説明した。
【0067】
ここで、配信先ユーザには、広告に反応しやすいユーザと、広告に反応しにくいユーザが存在する。これらユーザの反応の違いは、広告の成果獲得率にも影響を与えており、広告主側から見れば、広告に反応しやすいユーザのほうが、配信先としての価値が高い。
本実施の形態は、このような観点から、配信先ユーザが多数存在する場合、配信先ユーザの順位を示すユーザランキングを選択指標として用い、広告ランキングが高い入札広告ほどユーザランキングが高い配信先ユーザとマッチングさせるようにしたものである。
【0068】
図13に示す本実施の形態にかかる広告入札管理システム10は、前述した図9の構成にユーザランキング算出部16を追加したものである。その他の構成および動作については、第2の実施の形態とほぼ同様であり、ここでの詳細な説明は省略する。
【0069】
本実施の形態において、ユーザランキング算出部16は、各ユーザに関する行動履歴から導出したユーザの広告に対する反応のし易さを示す行動性向度に基づいて、これらユーザ間の順位を示すユーザランキングを算出する機能を有している。
マッチング処理部17は、入札広告ごとにマッチング条件として指定されたユーザ属性および広告ランキングと、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる機能を有している。
【0070】
[第3の実施の形態の動作]
次に、図14を参照して、本実施の形態にかかる広告入札管理システム10の動作について説明する。図14は、第3の実施の形態にかかる広告入札管理処理を示すフローチャートである。
広告入札管理システム10は、広告インプレッションの発生に応じて、配信先ユーザと入札広告とをマッチングさせる際、図14の広告入札管理処理を実行する。
【0071】
なお、広告入札管理処理の実行にあたって、ユーザ情報記憶部11には、各ユーザのユーザ属性が予め登録されており、行動履歴記憶部12には、各ユーザに関する行動履歴が予め登録されているものとする。また、広告情報記憶部13には、各入札広告に関するマッチング条件、入札額、および広告コンテンツが予め登録されているものとする。
【0072】
まず、属性ランキング算出部14は、各配信先ユーザのユーザ属性について、当該ユーザ属性をマッチング条件とする広告に関する成果獲得率からなる属性重要度に基づいて、ユーザ属性間の順位を示す属性ランキングを配信先ユーザごとに算出する(ステップ300)。
【0073】
次に、マッチング処理部17は、広告情報記憶部13から各入札広告に関するマッチング条件を取得し(ステップ301)、入札広告ごとに広告主からマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる(ステップ302)。
【0074】
ここで、ある配信先ユーザに対してマッチングされた入札広告が複数存在する場合(ステップ303:YES)、広告ランキング算出部15は、広告の入札額からなる入札広告ごとの広告重要度に基づいて、これら入札広告間の順位を示す広告ランキングを算出する(ステップ304)。
【0075】
また、ユーザランキング算出部16は、行動履歴記憶部12の各ユーザに関する行動履歴から導出したユーザの広告に対する反応のし易さを示す行動性向度に基づいて、これらユーザ間の順位を示すユーザランキングを算出する(ステップ305)。行動性向度の算出手法については、例えば特許文献2などの公知技術を用いればよい。この際、ユーザの広告のインプレッションに対するクリックまたはタップした割合を示すクリック率(CRT:Click Through Rate)を基準にしてもよく、ユーザが実際にコンバージョンするに至った割合を示すコンバージョン率(CR:Conversion Rate)を基準としてもよい。
【0076】
図15は、ユーザランキングの算出例である。このユーザランキングは、各ユーザの行動性向度の高いほうから順に順位付けしたものである。ここでは、ユーザA,B,Cの行動性向度がそれぞれ0.3%,0.1%,0.2%であり、ユーザランキングとして、それぞれ1位、3位、2位が割り当てられている。
【0077】
続いて、マッチング処理部17は、ある配信先ユーザに対してマッチングされた複数の入札広告のうちから、広告ランキング算出部15で算出した各入札広告に関する広告ランキングと、ユーザランキング算出部16で算出した各配信先ユーザのユーザランキングとに基づいて、広告ランキングの高い入札広告ほどユーザランキングの高い配信先ユーザに、優先的にマッチングさせる(ステップ306)。
【0078】
図16は、第3の実施の形態にかかるマッチング例である。ここでは、属性ランキング1位が「自動車」である配信先ユーザA群に対して、マッチング条件が「自動車」である2つの入札広告X,Yがマッチング可能であるものとする。
図16の例では、配信先ユーザA群をそのユーザ数で等分したユーザA1群とユーザ群A2とを、入札広告X,Yに対してマッチングさせるものとしている。
【0079】
この際、ユーザA1群をユーザランキングの上位50%から構成し、ユーザA2群をユーザランキングの下位50%から構成する。これにより、広告ランキングが高い入札広告Xは、ユーザランキングの高い配信先ユーザであるユーザA1群にマッチングされ、広告ランキングが低い入札広告Yは、ユーザランキングの低い配信先ユーザであるユーザA2群にマッチングされることになる。
【0080】
この後、広告配信部18は、マッチング処理部17で得られた、配信先ユーザと配信すべき入札広告とのマッチング結果に基づき、各入札広告を当該ユーザのユーザ端末20へ配信し(ステップ307)、一連の広告入札管理処理を終了する。
一方、ステップ303で、ある配信先ユーザに対してマッチングされた入札広告が1つの場合(ステップ303:NO)、ステップ307へ移行する。
【0081】
[第3の実施の形態の効果]
このように、本実施の形態は、ユーザランキング算出部16が、各ユーザに関する行動履歴に基づいて、これらユーザ間の順位を示すユーザランキングを算出し、マッチング処理部17が、属性ランキング、広告ランキング、およびユーザランキングに基づいて、配信先ユーザと配信すべき入札広告とをマッチングさせるようにしたものである。
これにより、複数の入札広告に対して配信先ユーザが多数存在する場合、配信先ユーザ間の順位に応じたユーザランキングに基づいて、より高い広告ランキングの入札広告ほどより高いユーザランキングのユーザに、優先的にマッチングさせることが可能となる。
【0082】
実際のリアルタイム入札において、配信待ちの広告が複数存在している状況で、広告の表示枠が設定されているWebページに多数のユーザがアクセスしてきた場合、どの入札広告をどのユーザとマッチングさせるかという問題は、広告、ユーザ、およびユーザ属性という3つの次元において適切な解を求めるという、いわゆる3次元空間での最適化問題である。この問題の解決は数学的に複雑な処理を要し、リアルタイムで最適解を求めることは非常に難しい。
【0083】
本実施の形態は、これら3つの次元のそれぞれにランキングを導入し、3次元最適化問題を、3回分の1次元最適化問題に変換して解を求めるようにしたものである。これにより、複雑な数学的処理を必要とすることなく、最適マッチングを実現させることが可能となる。
【0084】
また、本実施の形態において、ユーザランキング算出部16が、行動履歴から導出したユーザの広告に対する反応のし易さを示す行動性向度に基づいて、ユーザランキングを算出するようにしてもよい。これにより、広告主側から見た場合、広告主が指定した入札額に応じて、広告の配信により得られる価値がより大きくなるマッチングを実現することが可能となる。
【0085】
[第4の実施の形態]
次に、図17を参照して、本発明の第4の実施の形態にかかる広告入札管理システム10について説明する。図17は、第4の実施の形態にかかる広告入札管理システムの構成を示すブロック図である。
【0086】
第1の実施の形態では、属性ランキングに基づき配信先ユーザと配信すべき入札広告とをマッチングする場合を例として説明した。この際、マッチング条件が配信先ユーザのユーザ属性と一致する入札広告が複数存在する場合、これら入札広告のうちからいずれかを選択してマッチングさせる必要がある。
【0087】
ここで、配信先ユーザには、広告に対して反応しやすいユーザと、広告に対して反応しにくいユーザ存在する。これらユーザの違いは、広告の成果獲得率にも影響を与えており、広告主側から見れば、広告に対して反応しやすいユーザのほうが、配信先としての価値が高い。
本実施の形態では、このような観点から、配信先ユーザの順位を示すユーザランキングを選択指標として用い、ユーザランキングが高いユーザほど優先的にマッチングさせるようにしたものである。
【0088】
図17に示す本実施の形態にかかる広告入札管理システム10は、前述した図1の構成にユーザランキング算出部16を追加したものである。その他の構成および動作については、第1の実施の形態とほぼ同様であり、ここでの詳細な説明は省略する。
【0089】
本実施の形態において、ユーザランキング算出部16は、各ユーザに関する行動履歴から導出したユーザの広告に対する反応のし易さを示す行動性向度に基づいて、これらユーザ間の順位を示すユーザランキングを算出する機能を有している。
マッチング処理部17は、入札広告ごとにマッチング条件として指定されたユーザ属性およびユーザランキングと、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる機能を有している。
【0090】
[第4の実施の形態の動作]
次に、図18を参照して、本実施の形態にかかる広告入札管理システム10の動作について説明する。図18は、第4の実施の形態にかかる広告入札管理処理を示すフローチャートである。
広告入札管理システム10は、広告インプレッションの発生に応じて、配信先ユーザと入札広告とをマッチングさせる際、図18の広告入札管理処理を実行する。
【0091】
なお、広告入札管理処理の実行にあたって、ユーザ情報記憶部11には、各ユーザのユーザ属性が予め登録されており、行動履歴記憶部12には、各ユーザに関する行動履歴が予め登録されているものとする。また、広告情報記憶部13には、各入札広告に関するマッチング条件、入札額、および広告コンテンツが予め登録されているものとする。
【0092】
まず、属性ランキング算出部14は、各配信先ユーザのユーザ属性について、当該ユーザ属性をマッチング条件とする広告に関する成果獲得率からなる属性重要度に基づいて、属性間の順位を示す属性ランキングを配信先ユーザごとに算出する(ステップ400)。
【0093】
次に、マッチング処理部17は、広告情報記憶部13から各入札広告に関するマッチング条件を取得し(ステップ401)、入札広告ごとにマッチング条件として指定されたユーザ属性と、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる(ステップ402)。
【0094】
ここで、ある配信先ユーザに対してマッチングする入札広告が複数存在する場合(ステップ403:YES)、ユーザランキング算出部16は、行動履歴記憶部12の各ユーザに関する行動履歴から導出したユーザの広告に対する反応のし易さを示す行動性向度に基づいて、これらユーザ間の順位を示すユーザランキングを算出する(ステップ404)。なお、ユーザランキング算出部16での処理については、第3の実施の形態と同様である。
【0095】
次に、マッチング処理部17は、入札広告ごとにマッチング条件として指定されたユーザ属性およびユーザランキングと、これら入札広告の配信先候補となる配信先ユーザのユーザ属性に関する属性ランキングとに基づいて、これら配信先ユーザと配信すべき入札広告とをマッチングさせる(ステップ405)。
【0096】
この際、入札広告には、入札額による貨幣価値だけでなく、時間的価値が存在する。例えば、配信開始からの経過時間が短く目新しい広告は、配信開始からの経過時間が長くて古い広告と比較して、広告としての価値が高い。また、配信経過時間ではなく、入札からの経過時間を示す入札経過時間も同様である。
【0097】
図19は、第4の実施の形態にかかるマッチング例である。ここでは、属性ランキング1位が「自動車」である配信先ユーザA群に対して、マッチング条件が「自動車」である2つの入札広告X,Yがマッチング可能であるものとする。
図19の例では、配信先ユーザA群をそのユーザ数で等分したユーザA1群とユーザA2群とを、入札広告X,Yに対してマッチングさせるものとし、このうち、時間的価値の高い入札広告ほどユーザランキングの高いユーザとマッチングさせている。
【0098】
したがって、ユーザA1群をユーザランキングの上位50%から構成し、ユーザA2群をユーザランキングの下位50%から構成した場合、配信経過時間が50時間の入札広告Xのほうが、配信経過時間が80時間の入札広告Yよりも的価値が高いため、入札広告XはユーザA1群にマッチングされ、入札広告YはユーザA2群にマッチングされることになる。
【0099】
この後、広告配信部18は、マッチング処理部17で得られた、配信先ユーザと配信すべき入札広告とのマッチング結果に基づき、各入札広告を当該ユーザのユーザ端末20へ配信し(ステップ406)、一連の広告入札管理処理を終了する。
一方、ステップ403で、ある配信先ユーザに対してマッチングされた入札広告が1つの場合(ステップ403:NO)、ステップ407へ移行する。
【0100】
[第4の実施の形態の効果]
このように、本実施の形態は、ユーザランキング算出部16が、各ユーザに関する行動履歴に基づいて、これらユーザ間の順位を示すユーザランキングを算出し、マッチング処理部17が、属性ランキングおよびユーザランキングに基づいて、配信先ユーザと配信すべき入札広告とをマッチングさせるようにしたものである。
これにより、入札広告に対して配信先ユーザが多数存在する場合、配信先ユーザ間の順位に応じたユーザランキングに基づいて、より価値の高い入札広告をより高いユーザランキングのユーザに、優先的にマッチングさせることが可能となる。
【0101】
[実施の形態の拡張]
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。
【符号の説明】
【0102】
10…広告入札管理システム、11…ユーザ情報記憶部、12…行動履歴記憶部、13…広告情報記憶部、14…属性ランキング算出部、15…広告ランキング算出部、16…ユーザランキング算出部、17…マッチング処理部、18…広告配信部、20…ユーザ端末、NW…通信ネットワーク。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19