(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024017517
(43)【公開日】2024-02-08
(54)【発明の名称】広告文自動生成システム、広告文自動生成方法及び広告文自動生成プログラム
(51)【国際特許分類】
G06Q 30/0242 20230101AFI20240201BHJP
【FI】
G06Q30/02 382
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022120198
(22)【出願日】2022-07-28
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和4年2月9日に東京工業大学経営工学コース3月修了修士論文発表会にて発表
(71)【出願人】
【識別番号】519424445
【氏名又は名称】negocia株式会社
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】230116816
【弁護士】
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100174850
【弁理士】
【氏名又は名称】大崎 絵美
(74)【代理人】
【識別番号】100159248
【弁理士】
【氏名又は名称】齋藤 修
(74)【代理人】
【識別番号】100117444
【弁理士】
【氏名又は名称】片山 健一
(72)【発明者】
【氏名】石塚 湖太
(72)【発明者】
【氏名】黒木 開
(72)【発明者】
【氏名】川上 孝介
(72)【発明者】
【氏名】中田 和秀
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB08
(57)【要約】
【課題】広告文生成において、ヒューリスティックな報酬設計なしに、バイアス緩和された潜在的な広告効果を推定し、広告文を生成することができる広告文自動生成システム、広告文自動生成方法及び広告文自動生成プログラムを提供すること。
【解決手段】本発明に係る広告文自動生成システムは、広告文の要約に必要な情報を取得する情報取得手段と、予め用意されたコーパスにより事前に学習した言語モデルを、前記情報取得手段により取得された情報により調整する言語モデル調整手段と、前記言語モデル調整手段により調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成手段と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
広告文の要約に必要な情報を取得する情報取得手段と、
予め用意されたコーパスにより事前に学習した言語モデルを、前記情報取得手段により取得された情報により調整する言語モデル調整手段と、
前記言語モデル調整手段により調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成手段と、
を備える広告文自動生成システム。
【請求項2】
前記情報取得手段により取得される情報は、キーワード及びランディングページとされている、
請求項1に記載の広告文自動生成システム。
【請求項3】
前記バイアス緩和した広告効果は、バイアス緩和したクリック率(CTR)とされている、
請求項1に記載の広告文自動生成システム。
【請求項4】
前記バイアス緩和した広告効果は、広告文以外の要素の広告効果を排除した潜在的な広告文の広告効果とされている、
請求項1に記載の広告文自動生成システム。
【請求項5】
前記バイアス緩和したCTRは、広告文に依存しない特徴量から予測したCTRのロジットから実際のCTRのロジットの差分を広告文から予測したものである、
請求項3に記載の広告文自動生成システム。
【請求項6】
前記広告文に依存しない特徴量から予測したCTRは、広告の掲載順位を決める予算及び品質スコアの少なくとも一方を、入手不可能な前記掲載順位の代理変数として扱うことにより推定される、
請求項5に記載の広告文自動生成システム。
【請求項7】
前記バイアス緩和したCTRは、2段階学習によりバイアスが緩和されており、
前記2段階学習の2段階目において前記ロジットの差分を用いた目的変数により前記CTRを予測し、該CTRの予測値のみを前記報酬に用いる、
請求項5に記載の広告文自動生成システム。
【請求項8】
前記広告は、広告アカウント、キャンペーン、広告グループ及び広告文の階層構造とされており、
前記バイアス緩和した広告効果は、前記広告グループ以上の階層で発生するバイアスを緩和したものである、
請求項1に記載の広告文自動生成システム。
【請求項9】
前記学習は、オフライン強化学習とされている、
請求項1に記載の広告文自動生成システム。
【請求項10】
前記オフライン強化学習は、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果のデータのみを用いて、オフラインで実施される強化学習とされている、
請求項9に記載の広告文自動生成システム。
【請求項11】
前記バイアス緩和した広告効果は単語単位で予測され、該広告効果の予測値を報酬に加える、
請求項1乃至請求項10のいずれか1項に記載の広告文自動生成システム。
【請求項12】
広告文の要約に必要な情報を取得する情報取得工程と、
予め用意されたコーパスにより事前に学習した言語モデルを、前記情報取得工程において取得された情報により調整する言語モデル調整工程と、
前記言語モデル調整工程において調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成工程と、
を備える広告文自動生成方法。
【請求項13】
コンピュータを、
広告文の要約に必要な情報を取得する情報取得手段、
予め用意されたコーパスにより事前に学習した言語モデルを、前記情報取得手段により取得された情報により調整する言語モデル調整手段、および、
前記言語モデル調整手段により調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成手段、
として機能させるための広告文自動生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能による広告文の自動生成技術に関する。
【背景技術】
【0002】
近年、インターネットの普及によるインターネット広告の増加に伴い、広告効果を推定して広告文を自動生成する技術が開発されている。
【0003】
例えば、特許文献1には、複数の広告の文章を生成する文章生成手段と、広告の文章の広告効果を推定する広告効果推定手段と、広告効果に基づいて、複数の広告の文章から新規の広告の文章を再生成する手段を有する広告文自動作成システムの発明が開示されている。
【0004】
また、非特許文献1には、クリック率(CTR)と、高CTRにつながる虚偽の単語(以下、「禁止単語」という。)の有無とを報酬とする広告文生成モデルが開示されている。
【先行技術文献】
【特許文献】
【0005】
【非特許文献】
【0006】
【非特許文献1】Xiting Wang, Xinwei Gu, Jie Cao, Zihua Zhao, Yulan Yan, Bhuvan Middha, and Xing Xie. “Reinforcing pretrained models for generating attractive text advertisements.” In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining, pp. 3697-3707, 2021.
【発明の概要】
【発明が解決しようとする課題】
【0007】
ユーザの検索キーワード(KW)に対して検索結果とともに表示されるリスティング広告は、検索エンジンの収益の大きな部分を占めている。ユーザの興味関心に関する広告は、クリック確率(CTR)を大幅に高めることが可能である。また、魅力的な広告文を生成(作成)するためには、検索キーワードと広告文をクリックすると表示されるウェブページであるランディングページ(LP)の情報が重要な参考資料であることから、テキスト広告を生成するためには、検索されたキーワード(KW)とそのランディングページ(LP)の情報を得るのが一般的である。
【0008】
検索エンジンは、検索KWと関連して広告文を表示するため、検索KWと関連性のない広告文は表示回数の低下につながる。仮にユーザの興味に合わせた広告を生成しても、それがLPの内容と乖離していれば、コンバージョン率(商品の購入・資料請求等のLPごとに設定された特定のアクションをしたユーザの割合)が低下してしまう恐れがある。そのため、ユーザにとって魅力的な広告文を生成するには,検索KWとLPの双方を考慮する必要がある。
【0009】
しかし、複数の検索KWに対して、LPの内容に沿ったテキスト広告をそれぞれ生成し、なおかつそのドメインや商品に関する深い知識を持ったユーザの興味を引くように魅力的な広告文を生成することには手間がかかる。
【0010】
また、KWとLPの組合せによって、1LPあたりのテキストの広告の数が増える。そのため、有効なKWとLPの組合せすべてに対応した広告テキストを生成することは、人的資源の制約から困難である。
【0011】
このような事情に鑑み、上述したような、広告文の生成を自動化する技術が提案されてきており、それらの広告文の自動生成技術では、特定の検索KWを自動的に広告文に挿入するテンプレートを用いることが一般的である。しかし、テンプレートベース手法で生成される広告文は柔軟性にかけており、依然として、人間の手による改修が必要である。
【0012】
そこで、近年では、報酬にCTRを含めた強化学習を用いて、LPの文章から高CTRかつ人間が書いたような自然な検索連動型広告文を生成する技術が提案されるようになってきた。そのような、強化学習を用いた広告文生成では、報酬設計・基盤モデルが重要であるが、報酬設計では、やみくもにCTRを最大化するように学習するとモデルがLPと異なった情報を広告文に含めてしまう可能性が高まる。また、CTRは出力した各単語ではなく広告文に対して付与されるため、どの単語がCTRに寄与していたかが曖昧であり、どの単語を出力すれば高CTRになるかの学習が難しい。加えて、CTRそのものも掲載順位に依存することから、そのバイアスを取り除く必要がある。これは、予算が比較的多い広告文は掲載順位が上がることから、そのような出稿主の広告文を模倣する恐れがあるためである。
【0013】
品質スコアといった指標を報酬に用いることも可能であるが、これは広告文の集合と検索キーワードの組合せに対して付与されるため、どの広告文の品質スコアが高いかが不明であり、文単位の報酬にすることは難しい。
【0014】
一方、基盤モデルについては、大規模なコーパスで事前学習した言語モデルが必要である。広告文生成に適した公開された日本語の生成モデルが入手困難であるため、自前で用意する必要がある。
【0015】
このように、広告文の自動生成技術の分野では、広告文生成に際し、検索KWとの関連性を確保しつつ、LPの内容に基づいて広告文を生成するモデルが必要である。さらに、より魅力的な広告文生成のためには、工夫した報酬設計とそれに基づく強化学習が重要である。
【0016】
しかしながら、上記特許文献1に記載の広告文自動作成システムは、広告出稿者の属性、広告の予算額、配信設定等の広告文以外の要素による広告効果と、広告文による広告効果を分離して予測していない。そのため、新しく生成した広告文の広告効果、すなわちバイアス緩和された潜在的な広告効果の向上と、当該広告文から類推される広告出稿者の属性、広告の予算額、配信設定等の広告文以外の要素から生じる広告効果の予測値の偏りを区別できず、生成時に不実な表現を用いてしまう場合がある。
【0017】
また、上記非特許文献1に記載の広告文生成モデルは、禁止単語を目視により列挙し、出力に含まれる場合に負の報酬を与えるものであるため、発見的手法(ヒューリスティック)により生じる誤りを含むおそれがあり、ある程度のレベルで正解に近い解を得ることはできても、必ずしも正しい答えを導けるとは限らない。この結果、禁止単語を全て列挙できなかった場合には、高CTRとなるブランド名を他社の広告文として出力してしまうなどの問題が生じる場合がある。
【0018】
本発明は、上記状況に鑑みてなされたものであり、広告文生成において、ヒューリスティックな報酬設計なしに、バイアス緩和された潜在的な広告効果を推定し、広告文を生成することができる広告文自動生成システム、広告文自動生成方法及び広告文自動生成プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0019】
上記目的を達成するために、第1の態様に係る広告文自動生成システムは、広告文の要約に必要な情報を取得する情報取得手段と、予め用意されたコーパスにより事前に学習した言語モデルを、前記情報取得手段により取得された情報により調整する言語モデル調整手段と、前記言語モデル調整手段により調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成手段と、を備える広告文自動生成システムである。
【0020】
第1の態様に係る広告文自動生成システムによれば、コーパスにより言語特性を学習したモデルに、簡単な出力層を付け加えて調整すること、すなわちファインチューニング(転移学習)することで、高性能な広告文自動生成モデルを得ることができる。
【0021】
そして、このファインチューニングにより生成された言語モデルを初期値として、バイアス緩和した広告効果を考慮した学習を行う。一般にCTRなど広告効果を推定する際の指標は、予算や掲載位置などにより変化し、バイアスが生じる。このバイアスを緩和した広告効果を考慮して学習を行うため、ヒューリスティックな報酬設計なしに潜在的な広告効果を推定し、広告文を自動生成することが可能となる。
【0022】
第2の態様に係る広告文自動生成システムでは、第1の態様に係る広告文自動生成システムにおいて、前記情報取得手段により取得される情報が、キーワード(KW)及びランディングページ(LP)とされている。
【0023】
第2の態様に係る広告文自動生成システムによれば、事前学習済みモデルを用いて、KW及びLPから広告文を生成するようにファインチューニングを行うため、ヒューリスティックな報酬設計なしに、より魅力的な広告文を自動生成することが可能となる。
【0024】
第3の態様に係る広告文自動生成システムでは、第1の態様に係る広告文自動生成システムにおいて、前記バイアス緩和した広告効果が、バイアス緩和したクリック率(CTR)とされている。
【0025】
第3の態様に係る広告文自動生成システムによれば、バイアス緩和したCTRを広告効果の指標としている。クリックは、ユーザのウェブ上の行動を端的に表すと共に、LPへの遷移や当該ページでの購入等(コンバージョン)につながる行動でもあるため、CTRを広告効果推定の客観的かつ有用な指標として広告効果を推定し、広告文を自動生成することが可能となる。
【0026】
第4の態様に係る広告文自動生成システムでは、第1の態様に係る広告文自動生成システムにおいて、前記バイアス緩和した広告効果は、広告文以外の要素の広告効果を排除した潜在的な広告文の広告効果とされている。
【0027】
第4の態様に係る広告文自動生成システムにおいては、広告効果から広告文以外の要素の広告効果を排除することにより、潜在的な広告文の広告効果を推定する。この結果、ヒューリスティックな報酬設定なしに、バイアス緩和された潜在的な広告効果を推定し、広告文を自動生成することが可能となる。
【0028】
第5の態様に係る広告文自動生成システムでは、第3の態様に係る広告文自動生成システムにおいて、前記バイアス緩和したCTRは、広告文に依存しない特徴量から予測したCTRのロジットから実際のCTRのロジットの差分を広告文から予測したものとされている。
【0029】
第5の態様に係る広告文自動生成システムによれば、広告文に依存しない特徴量から予測したCTRのロジット(logit)から実際のCTRのロジットの差分を目的変数としている。予算や配信設定、掲載位置といった広告文の内容にかかわりなくCTRに影響を与える要素を除いて報酬を与えるため、広告出稿者の属性、広告の予算額、配信設定等の広告文以外の要素の広告効果を排除した潜在的な広告文の広告効果がより高くなるような広告文生成が、ヒューリスティックな報酬設計なしに可能となる。
【0030】
第6の態様に係る広告文自動生成システムでは、第5の態様に係る広告文自動生成システムにおいて、前記広告文に依存しない特徴量から予測したCTRは、広告の掲載順位を決める予算及び品質スコアの少なくとも一方を、入手不可能な前記掲載順位の代理変数として扱うことにより推定されるものとされている。
【0031】
第6の態様に係る広告文自動生成システムによれば、広告の掲載順位を決める予算及び品質スコアの少なくとも一方を掲載順位の代理変数として、広告文に依存しない特徴量から予測したCTRを算出する。
【0032】
一般に掲載順位はCTRに影響を与えるものの、掲載位置を明示的に入力データとして扱う手法は、広告プラットフォーム側の立場のものしか行えない。広告プラットフォームの利用者は、平均掲載順位といった情報すら取得不可能であり、ページ上部に表示された割合等しか入手できない。
【0033】
そして、広告の掲載順位を決める予算や品質スコアは、キャンペーンや広告グループという広告文に依存しない特徴量に紐づいていることから、入手不可能な掲載順位の代理変数として予算や品質スコアを扱い、これにより広告文に依存しない特徴量から予測したCTRを算出することができる。この結果、広告出稿者の属性、広告の予算額、配信設定等の広告文以外の要素の広告効果を排除した潜在的な広告文の広告効果がより高くなるような広告文生成が、ヒューリスティックな報酬設計なしに可能となる。
【0034】
第7の態様に係る広告文自動生成システムでは、第5の態様に係る広告文自動生成システムにおいて、前記バイアス緩和したCTRは、2段階学習によりバイアスが緩和されており、前記2段階学習の2段階目において前記ロジットの差分を用いた目的変数により前記CTRを予測し、該CTRの予測値のみを前記報酬に用いるものとされている。
【0035】
第7の態様に係る広告文自動生成システムによれば、2段階学習によりバイアスが緩和されている。CTRを2段階で予測したときの2段階目の予測値(以下、「相対CTR」という。)は、1段階のみで予測した場合のCTRの値(以下、「絶対CTR」という。)よりも、同一設定におけるCTRの順位をより高い相関係数で予測できる。その結果、1段階のみで予測した場合に比し、広告出稿者の属性、広告の予算額、配信設定等の広告文以外の要素の広告効果を排除した潜在的な広告文の広告効果がより高くなるような広告文生成が、ヒューリスティックな報酬設計なしに可能となる。
【0036】
第8の態様に係る広告文自動生成システムでは、第1の態様に係る広告文自動生成システムにおいて、前記広告は、広告アカウント、キャンペーン、広告グループ及び広告文の階層構造とされており、前記バイアス緩和した広告効果は、前記広告グループ以上の階層で発生するバイアスを緩和したものとされている。
【0037】
第8の態様に係る広告文自動生成システムによれば、検索キーワードは、広告グループに対して設定され、予算・配信設定は広告グループ以上の階層で設定される。これらの要因で発生した広告グループレベルでのバイアスを緩和することにより、広告出稿者の属性、広告の予算額、配信設定等の広告文以外の要素の広告効果を排除した潜在的な広告文の広告効果がより高くなるような広告文生成が、ヒューリスティックな報酬設計なしに可能となる。
【0038】
第9の態様に係る広告文自動生成システムでは、第1の態様に係る広告文自動生成システムにおいて、前記学習はオフライン強化学習とされている。
【0039】
第9の態様に係る広告文自動生成システムによれば、オフライン強化学習により学習がなされるため、教師データに対して最尤推定(Maximum Likelihood Estimation:以下、「MLE」という。)により学習した自己回帰モデルを用いた場合と比較し、「露出バイアス」を低減することができる。また、オンライン強化学習を用いた場合と比較し、効率化を図ることができる。
【0040】
なお、テキスト生成では、教師データに対して最尤推定(MLE)により学習した自己回帰モデルを用いることが主流であるが、この方法には最適化対象の関数(負の対数尤度)と評価(人間の判断)の間に不一致が存在する。加えて、学習時には、正解データに基づいて次の単語を予測する一方、推論時にはモデルが生成した結果で条件付ける。これは「露出バイアス」と呼ばれており、これにより、単語やフレーズの繰り返しが生成されてしまうといった問題を生じさせることがある。
【0041】
第10の態様に係る広告文自動生成システムでは、第9の態様に係る広告文自動生成システムにおいて、前記オフライン強化学習が過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和された広告効果のデータのみを用いて、オフラインで実施される強化学習とされている。
【0042】
第10の態様に係る広告文自動生成システムによれば、一般に、広告効果以外の要素を報酬に加えると、報酬設計により生成される広告文の性質が大きく異なり、報酬設計に様々な工夫が必要となるところ、本発明は広告効果のデータのみを用いて学習を行うため、効率的に学習を行うことが可能となる。
【0043】
第11の態様に係る広告文自動生成システムでは、第1乃至第10の態様に係る広告文自動生成システムにおいて、前記バイアス緩和した広告効果は単語単位で予測され、該広告効果の予測値を報酬に加えるものとされている。
【0044】
第11の態様に係る広告文自動生成システムによれば、バイアス緩和した広告効果が単語単位で予測される。通常、CTRなどの広告効果を推定する指標は、出力した各単語ではなく広告文に対して付与されるため、どの単語が広告効果に寄与していたかが曖昧であり、どの単語を出力すればより高い広告効果が生じるのかの学習が難しい。加えて、広告効果の指標そのものも掲載順位に依存することから、そのバイアスを取り除く必要がある。
【0045】
このバイアス緩和した広告効果を文章単位ではなく単語単位で予測し、その値を報酬に加えることで、どの単語がCTR に寄与しているかをモデルに伝えることができ,学習の収束をより早めることができる。
【0046】
第12の態様に係る広告文自動生成方法は、広告文の要約に必要な情報を取得する情報取得工程と、予め用意されたコーパスにより事前に学習した言語モデルを、前記情報取得工程において取得された情報により調整する言語モデル調整工程と、前記言語モデル調整工程において調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成工程と、を備える広告文自動生成方法である。
【0047】
また、第13の態様に係る広告文自動生成プログラムは、コンピュータを、広告文の要約に必要な情報を取得する情報取得手段、予め用意されたコーパスにより事前に学習した言語モデルを、前記情報取得手段により取得された情報により調整する言語モデル調整手段、および、前記言語モデル調整手段により調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成手段、として機能させるための広告文自動生成プログラムである。
【0048】
第12の態様に係る広告文自動生成方法及び第13の態様に係る広告文自動生成プログラムによれば、コーパスにより言語特性を学習したモデルに、簡単な出力層を付け加え調整、すなわちファインチューニングすることで、高性能な広告文自動生成モデルを得ることができる。
【0049】
そして、このファインチューニングにより生成されたモデルを初期値として、バイアス緩和した広告効果を考慮した学習を行う。一般にCTRなど広告効果を推定する際の指標は、予算や掲載位置などにより変化し、バイアスが生じる。このバイアスを緩和した広告効果を考慮して学習を行うため、ヒューリスティックな報酬設計なしに潜在的な広告効果を推定し、広告文を自動生成することが可能となる。
【発明の効果】
【0050】
本発明は、KWとLPの両方を入力として事前に学習した言語モデルを微調整し、オフラインで強化学習することで、魅力的な広告テキストを生成することを可能とする。特に、強化学習では、テキスト広告の配信履歴から推定される潜在的なクリック率(CTR)を報酬として用いることで、より魅力的なテキスト広告の自動生成を可能にする。以上説明したように、本発明に係る広告文自動生成システム、広告文自動生成方法及び広告文自動生成プログラムは、広告文生成において、ヒューリスティックな報酬設計なしに、バイアス緩和された潜在的な広告効果を推定し、広告文を自動生成することができるという、という優れた効果を有する。
【図面の簡単な説明】
【0051】
【
図1】本発明の実施形態に係る広告文自動生成システムにおける機能ブロック図である。
【
図2】本発明の広告文自動生成システムにおける処理の一例を説明するためのブロック図である。
【
図3】
図1に示す広告文自動生成システムにおけるオフライン強化学習アルゴリズムの一例を表す概要図である。
【
図4】
図1に示す広告文自動生成システムにおける相対CTRの推定及びバイアス緩和の処理の一例を表す概念図である。
【
図5】
図1に示す広告文自動生成システムにおける広告の階層構造を表す概念図である。
【発明を実施するための形態】
【0052】
本発明は、従来の広告文生成の困難さを解決し、より魅力的な広告文を生成するために、LPと検索KWをもとに広告文を自動で生成すること(目的1:広告文の自動生成)、および、強化学習につき、ヒューリスティックな報酬設計なしに人間らしい文の生成を可能とし、当該学習を効率的に行えるようにすること(目的2:強化学習による人間らしい文の生成と学習の効率化)を目的としている。
【0053】
以下に詳細に説明するように、本発明では、強化学習により、ヒューリスティックな報酬設計なしに人間らしい文の生成を可能とするために、バイアス緩和したCTRを用いることとした。
【0054】
また、強化学習の困難さを解決するために、行動方策に最尤推定(MLE)モデルを用いることにより、出現確率が低い単語に対して、より高い重みを割り当てることを可能としている。
【0055】
さらに、強化学習をオフライン学習とすること、および、広告効果のデータのみを用いて学習を行うことにより、強化学習をより効率的に行うことを可能としている。
【0056】
<第1実施形態>
以下、
図1乃至
図5を参照して、本発明の第1実施形態に係る広告文自動生成システムを説明する。
【0057】
本発明に係る広告文自動生成システムは、コーパスにより言語モデルを事前学習し、それをファインチューイングすることで、広告文を自動生成できるモデルを作成する(
図2中にAの処理として示し、「手法A」として後述する)。そして、バイアス緩和した広告効果を考慮した学習、一例として、本実施形態においてはバイアス緩和したCTRを予測し、それを報酬としてオフライン強化学習を行う(
図2中にBの処理として示し、「手法B」として後述する)。
【0058】
ここで、「広告効果」とは、広告の到達度や広告が生活者の心理や意思決定、商品の売上に及ぼす影響をいう。本実施形態においては、CTRを広告効果やその指標としているが、これに限らず、例えば、広告が表示された回数であるインプレッション数や、広告をクリックしLPに遷移し最終的に得られた成果物(資料請求や商品購入など)であるコンバージョンの数をクリック数等で除したコンバージョン率であってもよい。
【0059】
また、「バイアス緩和した広告効果」とは、広告文以外の要素の広告効果を排除した潜在的な広告文の広告効果をいう。
【0060】
図1は、本発明の実施形態に係る広告文自動生成システムの構成例を説明するための機能ブロック図である。具体的には、
図1に示されるように、本実施形態に係る広告文自動生成システム100は、予め用意されたコーパス36(後述する
図2を参照)を取得するコーパス取得機能手段16、コーパス36により言語特性を学習する事前学習機能手段18、KW及びLPを取得するKW・LP取得機能手段20、言語モデルのファインチューニングを行う調整機能手段22、広告の配信実績を取得する広告配信実績取得機能手段24、広告文に依存しない特徴量を抽出する広告配信特徴量抽出機能手段26、CTRを推定するCTR推定機能手段28、予算や掲載位置等により生じるCTRのバイアスを算出するバイアス算出機能手段30、バイアスを緩和したCTRを報酬とする強化学習がなされたモデルにより広告文を生成する広告文生成機能手段32、および、取得した情報が格納されたデータベース(DB)34を有する。
【0061】
ここで、上記のKW及びLPを取得するKW・LP取得機能手段20は、本発明に係る広告文自動生成システムにおいて、広告文の要約に必要な情報を取得する情報取得手段として機能するものである。また、上記の言語モデルのファインチューニングを行う調整機能手段22は、本発明に係る広告文自動生成システムにおいて、予め用意されたコーパスにより事前に学習した言語モデルを情報取得手段により取得された情報により調整する言語モデル調整手段として機能するものである。さらに、上記のバイアスを緩和したCTRを報酬とする強化学習がなされたモデルにより広告文を生成する広告文生成機能手段32は、本発明に係る広告文自動生成システムにおいて、言語モデル調整手段により調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成手段として機能するものである。
【0062】
つまり、本発明に係る広告文自動生成システムは、広告文の要約に必要な情報を取得する情報取得手段と、予め用意されたコーパスにより事前に学習した言語モデルを情報取得手段により取得された情報により調整する言語モデル調整手段と、言語モデル調整手段により調整された言語モデルを初期値として、過去に配信された広告及びその配信履歴から予測し推定されるバイアス緩和した広告効果を考慮した学習を行い、該学習に用いられる報酬が最大となるように広告文を生成する広告文生成手段とを備えている。
【0063】
図1に示した態様では、情報取得手段であるKW・LP取得機能手段20は、広告文の要約に必要な情報としてKW及びLPを取得するから、本発明に係る広告文自動生成システムにおいて、情報取得手段により取得される情報は、キーワード及びランディングページとすることができる。
【0064】
以下に、
図2を参照して、本発明に係る広告文自動生成システムにより、コーパスにより言語モデルを事前学習し、それをファインチューイングすることで、広告文を自動生成できるモデルを作成する処理(手法A)、および、バイアス緩和した広告効果を考慮した学習の一例として、バイアス緩和したCTRを予測し、それを報酬としてオフライン強化学習を行う処理(手法B)について説明する。
【0065】
[手法A:事前学習済みモデルを用いた広告文自動生成]
次に、
図2を用いて、事前学習済みモデルを用いた広告文自動生成(手法A)について説明する。
【0066】
図2は、本発明の広告文自動生成システムにおける処理の一例を説明するためのブロック図であり、この図には、広告文生成のためのオフライン強化学習手法の全体像が概念的に示されている。この図に示した例は、事前学習済みの日本語T5を用いた広告文自動生成の処理であり、事前学習の日本語コーパス36には、Wikipedia(38)、OSCAR(40)CC-100(42)を用いている。これらのコーパスからテンソル形式のデータセットを作成する。
【0067】
本実施形態においては、事前学習の容易性から、言語処理モデルとしてT5が採用されている。ここで、T5とは、ある領域の学習済みモデルを別の領域に転用する「転移学習」を利用した機械学習モデルであり、事前学習とファインチューニングの二段階で学習を行うTransformerを用いたEncoder-Decoderモデルである。ランダムに入力テキストをマスクした上でエンコーダに入力し、入力を内部ステータスへと変換する。マスクが何であったかをデコーダで予測し、内部ステータスを出力へと変換する。広告文生成の問題設定はSequence-to-sequence(Seq2seq)であるため、言語処理モデルとしては、T5かUNILM(Unified Language Model)が適している。
【0068】
(事前学習)
深層学習モデルのTransformerを用いたEncoder-DecoderモデルであるT5には、そのサイズに応じて、small、base、large、3B、11Bの5つのモデルが存在する。標準的なbaseモデルに対して、smallモデルは層数を半分にしたモデルであり、largeモデルは層数を倍にしたモデルである。3Bモデルおよび11Bモデルは、それよりもさらに隠れ層の次元・層数を増やしたモデルである。上述のとおり、本実施形態においては、計算資源や生成時の推論速度の制約を考慮し、事前学習の容易性から、言語処理モデルとしてT5-baseモデルを用いる。
【0069】
(ファインニューニング)
広告文生成には、下記の数式1による最尤推定(MLE)を用いる。すなわち、T5-baseの事前学習済みモデルを用いて、広告文の要約に必要な情報(本実施形態においては、KW・LP取得機能20により取得したLPと検索キーワード)から広告文を生成するようにファインチューニングを行う。なお、数式1中、L(θ)は、phuman(y|x)をデータ生成分布とした場合のMLEの損失関数であり、生成モデルは、θによってパラメタライズされた条件付き確率モデルpθ(y|x)である(下記の数式2)。最適化には、学習データを用いてL(θ)を推定し、θを勾配法によって繰り返し更新
する。
【0070】
【0071】
【0072】
MLEによって得られたモデル(MLEモデル)は、以降の強化学習の初期値として用いられる。これにより、実際には学習中に報酬を全く得られず、方策が行き詰まってしまう問題を回避することができる。
【0073】
[手法B:バイアスを緩和したCTRを用いたオフライン強化学習]
次に、
図2乃至
図5を参照して、バイアスを緩和したCTRを用いたオフライン強化学習の(手法B)について説明する。
【0074】
(データセット)
本実施形態においては、スクレイピングにより収集した検索キーワード、LP及び広告文のデータセットを用いている。件数は、学習データが741,506件、バリデーションデータが62,320件、テストデータが20,000件である。また、CTRの学習には、373,932件の配信実績データを用いており、学習:バリデーション:テストデータは、3:1:1の比率でランダムスプリットを行った。
【0075】
(ハイパーパラメータ)
また、本実施形態においては、特記がない限り、全ての学習において、Adamの学習率を{4×10-5、1×10―4、1×10-3}からグリッドサーチを行って決定する。epoch数については,バリデーションデータにおいて、early stoppingを行うことで決定する。batch sizeについては、{64,256,512}からグリッドサーチを行って決定する。
【0076】
本実施形態では、マスクを用いない、より一般的なオフライン強化学習を採用する。具体的には、言語生成向けに提案されたGOLDというオフライン強化学習のアルゴリズムに加えて、行動方策にMLEモデルを用いることでオフライン強化学習を行う。
【0077】
GOLDでは、重点サンプリングの重みについて、行動方策が一様であると仮定して近似しているが、
図3に示されるように、本実施形態ではMLEモデルで行動方策を推定する。
【0078】
すなわち、下記の数式3で示されるMLEモデルの推定値を、オフポリシーの重点サンプリングに用いる重要度重みの行動方策の推定値としても用い、下記の数式4としている。
【0079】
【0080】
【0081】
これにより、GOLDでは考慮されていなかったサンプルの生起確率を考慮することができる。出現確率が低いサンプルに対してより高い重みを割り当てることが可能となり、レアなケースだが報酬が高いサンプルを学習することが可能となる。
【0082】
報酬設計については、バイアス緩和したCTRを用いる。ここで、バイアス緩和したCTRとは、配信設定、予算、キャンペーン、広告グループ等の広告文に依存しない特徴量から予測したCTRのロジットから実際のCTRのロジットの差分を広告文から予測したものを意味する。
【0083】
(相対CTRの推定及びバイアス緩和)
次に、相対CTRの推定及びバイアス緩和の詳細について説明する。
【0084】
図4は、
図1に示す広告文自動生成システムにおける相対CTRの推定及びバイアス緩和の処理の一例を表す概念図である。ここで、
図4中に「GBDT」と記したものは、勾配ブースティング木(Gradient Boosting Decision Tree)の略語である。また、「TD」と記したものは、Title(タイトル)&Description(ディスクリプション)の略語であり、タイトル・説明文などの広告文を意味している。
【0085】
図5は、
図1に示す広告文自動生成システムにおける広告の階層構造を表す概念図である。
図5に示されるように、広告は、広告アカウント58、キャンペーン60、広告グループ62及び広告文64の階層構造とされている。最上位の広告アカウント58とは、キャンペーン60の集合であり、1つの広告媒体のみでグループ化できるものをいう。キャンペーン60とは、広告グループ62の集合であり、日予算を管理できるものをいう。広告グループ62とは、広告、すなわち実際に広告媒体に表示する広告文64の集合と、キーワードの集合と、LPのURLの集合をいう。
【0086】
図4を参照すると、相対CTRにおいては、1段階目に配信設定・予算46・キャンペーン60・広告グループ62等の広告文に依存しない特徴量からCTRを推定する。また、掲載位置や掲載順位によりCTRが変化することが一般に知られており、この掲載順位を決める予算46や品質スコアは、キャンペーン60や広告グループ62に紐付いていることから、入手不可能な掲載順位の代理変数として扱う。モデルには、Gradient Boosting Decision Tree(GBDT)の一種であるLightGBMを用いる。
【0087】
その後、2段階目のCTRを事前学習済みのT5のエンコーダを用いて予測する。強化学習の際の報酬には、2段階目の予測値のみを用いることでバイアスを抑制する。
【0088】
図4にはその一例として、以下の処理が記載されている。すなわち、1段階目は、入札戦略44、予算46、広告グループ62で共変量によるCTRベースライン推定を行い、2段階目は、入札戦略44・予算46・掲載位置等のバイアスを除いた純粋なTD48に対する評価値からの差分をT5で予測し、CTRベースライン50からの差分(相対CTR52)を予測する。
【0089】
そのうえで、1段階目の5-foldのOut-of-Fold(OOF)予測値(OOF予測値)と相対CTR52をともに対数を取って足し合わせたもの(予測CTR54)を、観測されたCTR(実際のCTR56)と一致するよう、学習を行う構成とすることも可能である。
【0090】
(広告の階層構造とバイアス緩和)
図5を参照して説明したように、広告は、広告アカウント58、キャンペーン60、広告グループ62及び広告文64の階層構造とされている。最上位の広告アカウント58とは、キャンペーン60の集合である。
【0091】
検索キーワードは広告グループ62に対して設定され、予算46・配信設定は広告グループ62以上の階層で設定される。このため、広告グループ62レベルでのバイアスがCTRに対して発生しやすい。
【0092】
例えば、予算46との関係でいえば、予算46が少ない場合には、媒体がクリックされやすいユーザに対して優先的に広告が配信されるため、CTRが高くなる傾向がある一方、予算46が多い場合には、予算46の消化のためにクリックされにくいユーザも含め広告が配信されるため、CTRが低くなる傾向がある。また、配信設定との関係でいえば、予めなされた配信設定によって、ターゲットとするユーザが異なりCTRがバイアスする。
【0093】
これらの影響は広告文に依存しないため、バイアスを緩和せずにCTRを予測すると、たまたま予算46が少ない広告に対してCTRが高く推定されてしまい、そのような広告文に対して報酬を与えても、実際のCTRが高くなるとは限らない。
【0094】
そこで、1段階目のCTRの推定には、広告グループ62以上で共通の説明変数である、広告アカウントIDやキャンペーンID、広告グループID、検索キーワードID、日予算、配信設定を利用し、広告グループ62以上の階層で発生するバイアスを抑制するのが望ましい。
【0095】
次に、本実施の形態に係る広告文自動生成システムにおける作用及び効果について説明する。
【0096】
表1~3に、人手でおこなった比較評価の結果を示す。同一の検索KW・LPに対して広告文を生成し(人間が作った文はそのまま)、どちらがよりクリックしたくなるかを尋ねた。つまり、表1~3は、相対CTRを用いたオフライン強化学習の有効性検証結果である。テストデータから1,000件を抽出し、人間が作った広告文64、MLEモデルによって生成された(強化学習を行っていない)広告文64(表中、「MLE」という。)、相対CTRを報酬に用いたオフライン強化学習モデルによって生成された広告文64(表中、「RL(相対CTR)」という。)、絶対CTRを報酬に用いたオフライン強化学習モデルによって生成された広告文64(表中、「RL(絶対CTR)」という。)につき人手による比較評価を行った。
【0097】
表1では、人間が作った文とRL(相対CTR)モデルの生成文のうち、どちらがよりクリックされやすいかを尋ねた。RL(相対CTR)による生成文の方が統計的有意に「よりクリックされそう」と結果を得ている。つまり、相対CTRを用いた強化学習により生成された広告文は、人が作ったものよりもよりクリックしたくなると評価を受けていることが分かる。
【0098】
【0099】
表2では、MLEモデルの生成文とRL(相対CTR)モデルの生成文のうち、どちらがよりクリックされやすいかを尋ねた。RL(相対CTR)による生成文の方が統計的有意に「よりクリックされそう」と結果を得た。
【0100】
【0101】
表3では、RL(絶対CTR)モデルの生成文とRL(相対CTR)モデルの生成文のうち,どちらがよりクリックされやすいかを尋ねた。RL(相対CTR)による生成文の方が統計的有意に「よりクリックされそう」と結果を得た。
【0102】
【0103】
このように、表2~3より、強化学習をおこなっていないMLEモデルや、絶対CTRを用いた強化学習のモデルが出力した広告文よりも、相対CTRを用いた強化学習のモデルの広告文がよりクリックしたくなると評価を受けている。
【0104】
表4に、人手でおこなった絶対評価の結果を示す。
【0105】
質問Q1では,流暢性を比較している。人間が作った文の「問題ない」の割合がもっとも低くなった。MLEモデルの「問題ない」の割合も人間が作った文と同程度であった一方、「明らかに問題がある」の割合は人間が作った文の2倍程度であった。このことは、生成に成功した場合の流暢性は人間が作った文と同程度であるが、出力に失敗する場合がある可能性を示唆している。強化学習を用いた2モデルについては、どちらも同程度の流暢性であった。「問題ない」という回答割合は、人間やMLEモデルよりも高くなっていて、強化学習により流暢性が損なわれていることは起きていないといえる。
【0106】
質問Q2では、広告文が人間が書いたように見えるかを尋ね「はい」「いいえ」の2通りの回答を集計した。人間が作った文は,実際に表示されていた広告文にあるにもかかわらず「はい」の割合がもっとも低かった。MLEモデル及びRLの2モデルは、すべて人間が作った文よりもより人間らしい広告文といえる。RLの報酬により、「はい」の割合は大きく変わらなかった。
【0107】
質問Q3では、検索クエリとの関連性を尋ね「はい」「いいえ」の2通りの回答を集計した。人間が作った文は、実際に与えられた検索クエリ(検索キーワード)に対して表示された広告であるからか、「はい」の割合がもっとも高かった。MLEモデルは、「はい」の割合が一番低く、次に絶対CTRを用いたRLが2番目に低く、相対CTRを用いたRLが人間が作った文の次に関連性が高かった。
【0108】
表4の最下欄に、上記Q1~3の各質問項目の回答を0-1にスケーリングしたのち平均を取ったものを表示した。流暢性については、「問題ない」には1.0、「どちらとも言えない」には2/3、「多少の問題がある」には1/3、そして、「明らかに問題がある」に0.0を対応させた。その他については、「はい」に1.0、「いいえ」に0.0を対応させた。結果は、提案手法であるRL(相対CTR)がもっとも高かった。次に、RL(絶対CTR)が良い結果となり、MLEと人間が作った文は同一のスコアであった。絶対評価において、相対CTRを用いたモデルは、絶対CTRのそれよりも、人間らしさでより高い評価を受けていたことが本発明で提案する手法がもっとも良かった要因である.
【0109】
【0110】
このように、人間が作った広告文64に対する「はい」の割合が最も低く、MLEモデル及び強化学習モデルは、すべて人間が作った広告文64よりも人間らしい広告文64と生成しているといえる。一方、検索クエリとの関連性は、人間が作った広告文64が最も高かった。また、これらの質問を0-1にスケーリングした平均の総合点は、相対CTRを報酬に用いたオフライン強化学習モデルが最も高く、特に流暢性や人間らしい文の生成に高い数値を示した。
【0111】
以上のように、本実施形態では、コーパス36により言語特性を学習したモデルに、簡単な出力層を付け加え調整、すなわちファインチューニングすることで、高性能な広告文自動生成モデルを得ることができる。
【0112】
そして、このファインチューニングにより生成されたモデルを初期値として、バイアス緩和した広告効果を考慮した学習を行う。一般にCTRなど広告効果を推定する際の指標は、予算46や掲載位置などにより変化し、バイアスが生じる。このバイアスを緩和した広告効果を考慮して学習を行うため、ヒューリスティックな報酬設計なしに潜在的な広告効果を推定し、広告文64を自動生成することが可能となる。
【0113】
また、本実施形態では、事前学習済みモデルを用いて、キーワード及びLPから広告文を生成するようにファインチューニングを行うため、ヒューリスティックな報酬設計なしに、より魅力的な広告文64を自動生成することが可能となる。
【0114】
また、本実施形態では、CTRを広告効果の指標としている。クリックはユーザのウェブ上の行動を端的に表すと共に、LPへの遷移や当該ページでの購入等(コンバージョン)につながる行動でもあるため、CTRを広告効果推定の客観的かつ有用な指標として広告効果を推定し、広告文64を自動生成することが可能となる。
【0115】
また、本実施形態では、広告効果から広告文64以外の要素から生じる広告効果を排除することにより、潜在的な広告効果を推定する結果、ヒューリスティックな報酬設計なしに、バイアス緩和された潜在的な広告効果を推定し、広告文64を自動生成することが可能となる。
【0116】
また、本実施形態では、実際のCTRのロジットから、広告文64に依存しない特徴量から予想したCTRのロジットの差分を目的変数としている。予算46や配信設定、掲載位置といった広告文64の内容にかかわりなくCTRに影響を与える要素を除いて報酬を与えるため、広告出稿者の属性、広告の予算額、配信設定等の広告文64以外の要素の広告効果を排除した潜在的な広告文の広告効果がより高くなるような広告文64の生成がヒューリスティックな報酬設計なしに可能となる。
【0117】
また、本実施形態では、広告の掲載順位を決める予算46や品質スコアを掲載順位の代理変数として、広告文64に依存しない特徴量から予想したCTRを算出する。
【0118】
一般に掲載順位はCTRに影響を与えるものの、掲載位置を明示的に入力データとして扱う手法は、広告プラットフォーム側の立場のものしか行えない。広告プラットフォームの利用者は、平均掲載順位といった情報すら取得不可能であり、ページ上部に表示された割合等しか入手できない。
【0119】
そして、掲載順位を決める予算46や品質スコアは、キャンペーン60や広告グループ62という広告文64に依存しない特徴量に紐づいていることから、入手不可能な掲載順位の代理変数として予算46や品質スコアを扱い、これにより広告文64に依存しない特徴量から予想したCTRを算出することができる。この結果、広告出稿者の属性、広告の予算額、配信設定等の広告文64以外の要素の広告効果を排除した潜在的な広告文64の広告効果がヒューリスティックな報酬設計なしにより高くなるような広告文64の生成が可能となる。
【0120】
また、本実施形態では、2段階学習によりバイアスが緩和されている。相対CTRは、絶対CTRよりも、同一設定におけるCTRの順位をより予測できる。その結果、1段階のみで予測した場合に比し、広告出稿者の属性、広告の予算額、配信設定等の広告文64以外の要素の広告効果を排除した潜在的な広告文64の広告効果がより高くなるような広告文64の生成が、ヒューリスティックな報酬設計なしに可能となる。
【0121】
また、本実施形態では、検索キーワードは、広告グループ62に対して設定され、予算46・配信設定は広告グループ62以上の階層で設定される。これらの要因で発生した広告グループ62レベルでのバイアスを緩和することにより、広告出稿者の属性、広告の予算額、配信設定等の広告文64以外の要素の広告効果を排除した潜在的な広告文64の広告効果がより高くなるような広告文64の生成が、ヒューリスティックな報酬設計なしに可能となる。
【0122】
また、本実施形態では、オフライン強化学習により学習がなされるため、教師データに対して最尤推定により学習した自己回帰モデルを用いた場合と比較し、露出バイアスを低減することができる。また、オンライン強化学習を用いた場合と比較し、効率化を図ることができる。
【0123】
また、本実施形態では、一般に広告効果以外の要素を報酬に加えると、報酬設計により生成される広告文64の性質が大きく異なり、報酬設計に様々な工夫が必要となるところ、本発明は広告効果のデータのみを用いて学習を行うため、効率的に学習を行うことが可能となる。
【0124】
<第2実施形態>
次に、本発明の第二の実施形態に係る広告文自動生成システムを説明する。
【0125】
本実施形態においては、Reward Shapingという、強化学習の通常の報酬値に追加の値を加える手法を用い、CTRの予測を広告文64単位ではなく、広告文64の単語ごとに対して行っている。
【0126】
具体的には、T5のエンコーダを用いてCTRのロジットを予測する際に、順方向のマスクを適用し、単語ごとに予測をする。そして、報酬には、この単語ごとの報酬の差分を用いる。
【0127】
表5に示されるように、例えば
という広告文に対してReward Shapingを用いる場合、広告文に対するCTRの推定値は、単語単位で出力され、報酬はその差分とされる。また、単語列の先頭には、キーワードを入力し、キーワードとの関連性を考慮している。
【0128】
【0129】
これにより、どの単語がCTRに寄与しているかをモデルに伝えることができ、学習の収束性を改善することができる。
【0130】
以上のように、本実施形態では、バイアス緩和した広告効果が単語単位で予測される。通常、CTRなどの広告効果を推定する指標は、出力した各単語ではなく広告文64に対して付与されるため、どの単語が広告効果に寄与していたかが曖昧であり、どの単語を出力すればより高い広告効果が生じるのかの学習が難しい。加えて、広告効果の指標そのものも掲載順位に依存することから、そのバイアスを取り除く必要がある。
【0131】
このバイアス緩和した広告効果を文章単位ではなく単語単位で予測し、その値を報酬に加えることで、どの単語が広告効果に寄与しているかをモデルに伝えることができ、学習の収束をより早めることができる。
【0132】
これに対して、Reward Shapingを用いない場合は、最終単語まで考慮した後の推定CTRが報酬となる。広告文64が完成しないという現実的な設定を反映できる一方で、どの単語がCTRに寄与したかの情報をモデルが得ることができない。
【0133】
<本実施形態の補足説明>
以上、発明を実施するための一形態として本実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した実施形態に種々の変形及び置換を加えることができる。
【符号の説明】
【0134】
100 広告文自動生成システム
16 コーパス取得機能手段
18 事前学習機能手段
20 KW・LP取得機能手段
22 調整機能手段
24 広告配信実績取得機能手段
26 特徴量抽出機能手段
28 CTR推定機能手段
30 バイアス算出機能手段
32 広告文生成機能手段
34 DB
36 コーパス
38 Wikipedia
40 OSCAR
42 CC-100
44 入札戦略
46 予算
48 TD
50 CTRベースライン
52 相対CTR
54 予測CTR
56 実際のCTR
58 広告アカウント
60 キャンペーン
62 広告グループ
64 広告文