特許 7365267 広告文自動作成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-11

(45)【発行日】2023-10-19

(54)【発明の名称】広告文自動作成システム

(51)【国際特許分類】

   G06Q 30/0242 20230101AFI20231012BHJP

   G06F 40/56 20200101ALI20231012BHJP

【ＦＩ】

G06Q30/0242

G06F40/56

【請求項の数】 2

(21)【出願番号】P 2020034834

(22)【出願日】2020-03-02

(65)【公開番号】P2021140228

(43)【公開日】2021-09-16

【審査請求日】2022-11-14

【新規性喪失の例外の表示】特許法第３０条第２項適用 ［１］発行日：令和元年９月１日 公開された発明の内容：ＷｅｂＤＢ Ｆｏｒｕｍ ２０１９ 予稿として、「広告効果を報酬とした強化学習に基づく広告文の自動生成」と題する論文を公開した。 ［２］開催日：令和元年９月８日 公開された発明の内容：工学院大学 新宿キャンパスで開催されたＷｅｂＤＢ Ｆｏｒｕｍ ２０１９において、「広告効果を報酬とした強化学習に基づく広告文の自動生成」と題する研究発表を行い、発明の内容を公開した。

(73)【特許権者】

【識別番号】500149555

【氏名又は名称】株式会社サイバーエージェント

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100166589

【弁理士】

【氏名又は名称】植村 貴昭

(72)【発明者】

【氏名】張 培楠

(72)【発明者】

【氏名】奥村 学

(72)【発明者】

【氏名】上垣外 英剛

(72)【発明者】

【氏名】高村 大也

【審査官】松田 岳士

(56)【参考文献】

【文献】国際公開第２０１８／１７５３３１（ＷＯ，Ａ１）

【文献】特開２０１２－０７９０２１（ＪＰ，Ａ）

【文献】特開２０１８－１９４９２２（ＪＰ，Ａ）

【文献】特開２０１８－１２８８０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ ４０／２０－４０／５８

(57)【特許請求の範囲】

【請求項1】

広告の文章を自動的に作成する広告文自動作成システムであって、
広告の基本となる文章と当該広告に対応するキーワードとに基づいて、複数の広告の文章を生成する文章生成手段と、
前記文章生成手段が生成した前記複数の広告の文章の広告効果を推定する広告効果推定手段と、
前記広告効果推定手段が推定した前記広告効果に基づいて、前記複数の広告の文章から新規の広告の文章を再生成する再生成手段とを備え、
前記再生成手段は、前記複数の広告に対する強化学習による損失と前記複数の広告の文章の最尤推定による損失とに基づいて、前記複数の広告の文章から新規の広告の文章を再生成
することを特徴とする広告文自動作成システム。

【請求項2】

前記広告効果推定手段は、過去の配信実績、広告文らしさ、及び過去の正解との類似度の少なくとも一つに基づいて、前記広告効果を推定することを特徴とする請求項１に記載の広告文自動作成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広告の文章を自動的に作成する広告文自動作成システムに関する。

【背景技術】

【0002】

近年、インターネットの普及により、電子メールやホームページ、ブログ、ＳＮＳへの広告掲載が企業や公益法人の重要な広告活動となっている。

【0003】

広告掲載に用いられる広告文をコンピュータによって自動作成できれば、従業員の労力が大幅に軽減され、経費を削減という効果も期待できる。

【0004】

このような広告文の自動作成の技術として、特許文献１には、カテゴリ条件別の素材文データを記憶する素材文記憶手段と、素材文データを形態素解析により単語列に分解してマルコフ連鎖アルゴリズムで並べ替えることにより複数の文例データを生成可能な文例生成処理部と、文例データを記憶する文例記憶手段と、カテゴリ条件データを記憶する設定条件記憶手段と、置換タグに置き換え可能なカテゴリ条件別の語句データを記憶する置換語句記憶手段と、カテゴリ条件に合致する前記文例データを抽出し、置換タグを語句データに置き換えてメッセージ文データを作成可能なタグ置換処理部と、メッセージ文データを記憶するメッセージ記憶手段と、メッセージ文データをあらかじめ予約した時刻に電子メールとして送信可能な送信処理部とを備えたメッセージ文自動作成送信システムが開示

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－７３２１９

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載されたメッセージ文自動作成送信システムでは、広告効果に対応して文章を生成しておらず、広告としての質が高い文章を作成するのが困難であった。

【0007】

本発明は、上記状況に鑑みなされたものであり、広告としての質が高い文章を作成することができる広告文自動作成システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

請求項１に記載の発明の広告文自動作成システムは、広告の文章を自動的に作成する広告文自動作成システムであって、広告の基本となる文章と当該広告に対応するキーワードとに基づいて、複数の広告の文章を生成する文章生成手段と、前記文章生成手段が生成した前記複数の広告の文章の広告効果を推定する広告効果推定手段と、前記広告効果推定手段が推定した前記広告効果に基づいて、前記複数の広告の文章から新規の広告の文章を再生成する再生成手段とを備えることを特徴とする。

【0009】

請求項２に記載の発明の広告文自動作成システムは、請求項１に記載の広告文自動作成システムであって、前記広告効果推定手段は、過去の配信実績、広告文らしさ、及び過去の正解との類似度の少なくとも一つに基づいて、前記広告効果を推定することを特徴とする。

【0010】

請求項３に記載の発明の広告文自動作成システムは、請求項１または２に記載の広告文自動作成システムであって、前記再生成手段は、前記複数の広告に対する強化学習による損失と前記複数の広告の文章の最尤推定による損失とに基づいて、前記複数の広告の文章から新規の広告の文章を再生成することを特徴とする。

【発明の効果】

【0011】

本発明における広告文自動作成システムによって、広告としての質が高い文章を作成することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る広告文自動作成システムの概略構成図である。

【図2】実施形態に係る広告文自動作成システムにおける目的関数を算出する方法を示す説明図である。

【図3】実施形態に係る広告文自動作成システムにおける広告の文章の最尤推定を示す説明図である。

【図4】実施形態に係る広告文自動作成システムにおける広告の文章の強化学習による損失計算を示す説明図である。

【図5】実施形態に係る広告文自動作成システムにより作成された広告の文章が表示された検索ホームページの検索画面示す説明図である。

【発明を実施するための形態】

【0013】

［実施形態］ 以下、図１を参照して、本発明の実施形態の概要を説明する。実施形態の広告文自動作成システムは、広告の文章を自動的に作成する広告文自動作成システムである。

【0014】

＜実施形態の構成＞ 図１は、実施形態に係る広告文自動作成システムの概略構成図である。

【0015】

図１に示すように、本発明の実施形態に係る広告文自動作成システム１は、強化学習に基づいて広告文を生成するものであり、広告効果を報酬として与えることで、効果の高い広告文を出力するようになっている。

【0016】

広告文自動作成システム１は、パーソナルコンビュータやインターネット上でプログラムにより設定されており、前処理部２、ジェネレータ部３、及びエスティメータ部４から構成される。例えば、前処理部２及びジェネレータ部３は、第１のパーソナルコンビュータにより設定され、エスティメータ部４は、第２のパーソナルコンビュータにより設定されている。この場合の第１のパーソナルコンビュータと第２のパーソナルコンビュータとの間は、インターネットによる接続されている。

【0017】

前処理部２には、第１のパーソナルコンビュータに対する作業員の操作より、基本となるテキストと、キーワードが入力される。この場合の基本となるテキストとしては、例えば、“カイリク生命の「ひろがるつばさ」（５年ごと配当付き学資保険）についてご紹介します。”を用いる。この場合のキーワードとしては、例えば、“＃学資、＃保険、＃おすすめ”を用いている。

【0018】

前処理部２は、基本となるテキストと、キーワードに対して前処理を行い、ジェネレータ部３に入力する。ジェネレータ部３は、前処理された基本となるテキストと、キーワードから広告文（広告の文書）として、広告のタイトルと説明文の候補を複数作成して出力する。

【0019】

広告のタイトルとしては、例えば、“学資保険ランキング１～５位２０１８年度ランキング”が生成される。

【0020】

広告の説明文としては、例えば、“＜学資保険＞いざというときに困らないように備えよう。学資保険の比較なら保険市場へ”が生成される。

【0021】

生成された広告文の複数の候補は、エスティメータ部４に入力される。 エスティメータ部４は、生成された広告文の複数の候補に対して、手動で設定された正解文との類似度、広告文らしさ、過去の配信実績に基づいて、広告効果を推定する。

【0022】

ジェネレータ部３は、エスティメータ部４が推定した前記広告効果に基づいて、前回の処理で出力した複数の広告の文章から新規の広告の文章を再生成し、広告のタイトルと説明文の候補を複数作成して出力する。例えば、ジェネレータ部３は、エスティメータ部４が推定した前記広告効果が高い場合、新規の広告の文章を再生成する際のデータの変換率を低くし、広告効果が低い場合、新規の広告の文章を再生成する際のデータの変換率を高くする。

【0023】

ジェネレータ部３により再生成された複数の広告の文章は、エスティメータ部４により広告効果が推定され、この後、前回の処理と同様の処理を繰り返す。

【0024】

作業者は、ジェネレータ部３で再生成された新規の広告の文章をチェックし、適切な広告文あれば、それを選択して検索ホームページの検索画面に表示する手続きを行う。

【0025】

本実施形態では、このような広告効果に基づく広告の文章の再生成を繰り返すことで、広告としての質が高い文章を作成する。

【0026】

図２は、実施形態に係る広告文自動作成システムにおける目的関数を算出する方法を示す説明図である。

【0027】

図２において、ジェネレータ部３（図１参照）は、前処理部２（図１参照）からの“エンコーダ出力ｘ＝保険 比較 ＜ｂ＞ 人気…ＥＯＳ（文字列の末尾であることを示す文字）”から、“サンプリングデコーダ出力ｙ^Ｓ＝人気 保険 を…ＥＯＳ”と、”貪欲法によるデコーダ出力ｙ^＊＝保険 は どれ…ＥＯＳ”とを生成する。

【0028】

エスティメータ部４は、ジェネレータ部３からのサンプリングデコーダ出力ｙ^Ｓと貪欲法によるデコーダ出力ｙ^＊に対して、“正解ｙ＝どの 保険 が…ＥＯＳ”と比較し、報酬として広告効果の予測値 言語モデルのPerplexity（らしさ） Sentence-level BLEUを計算する。これらの計算値は、ジェネレータ部３に設定された強化学習部５の強化学習に用いられる。

【0029】

強化学習の場合の目的関数Ｌ_mixedを以下の式（１）で算出する。

【数1】

但し、Ｌ_rlは強化学習による損失、Ｌ_mleは最尤推定による損失である。

【0030】

図３は実施形態に係る広告文自動作成システムのエスティメータ部４における広告の文章の最尤推定を示す説明図である。

【0031】

この場合の計算には、注意機構付き双方向ＬＳＴＭネットワーク（ＢｉＬＳＴＭ w/Attention）を用いる。

【0032】

エスティメータ部４は、図３に示すように、“エンコーダ出力ｘ＝保険 比較 ＜ｂ＞ 人気…ＥＯＳ”から選択した単語（例えば“保険”）と、訓練データ単語の“保険”、“は”から選択した単語と、訓練データ単語の特定の単語とから、単語“どの”を生成し、デコーダ出力ｙ^＊＝保険 は どれ…ＥＯＳを生成する。

【0033】

図３に示す最尤推定による損失Ｌ_mleは、以下の式（２）、（３）、（４）、（５）、（６）、（７）で算出する。

【数2】

【数3】

【数4】

【0034】

尚、他の広告の文章の最尤推定については、以下の方法（ａ）、（ｂ）、（ｃ）も使用可能である。 （ａ）Pointer Mechanism：訓練データに含まれていない未知言の出力可能となる。 （ｂ）Weight Shering：Embedding Matrixを入力と出力で共有することで学習をスムーズにできる。 （ｃ）Intra-Attention：デコード時にデコーダ側のcontex vectorも使用して安定化できる。

【0035】

図４は実施形態に係る広告文自動作成システムのエスティメータ部４に係る強化学習の損失計算を示す説明図である。

【0036】

強化学習の損失計算を行う場合、エスティメータ部４は、図４に示すように、ステップＳ１において、”貪欲法によるデコーダ出力ｙ^＊（例えば、ｙ^＊＝保険 は どれ…ＥＯＳ”と、“サンプリングデコーダ出力ｙ^Ｓ（例えば、ｙ^Ｓ＝人気 保険 を…ＥＯＳ”とを入力し、ステップＳ２の処理に移行する。

【0037】

貪欲法によるデコーダ出力ｙ^＊は、以下の式（８）、（９）で示すことができる。

【数5】

【0038】

サンプリングデコーダ出力ｙ^Ｓは、以下の式（１０）、（１１）で示すことができる。

【数6】

【0039】

次に、エスティメータ部４は、ステップＳ２において、貪欲法によるデコーダ出力ｙ^＊と、サンプリングデコーダ出力ｙ^Ｓとから各報酬の出力ｒを以下の様に算出する。

【数7】

【0040】

式（１２）は、“貪欲法によるデコーダ出力ｙ^＊＝保険 は どれ…ＥＯＳ”の報酬の出力ｒを示しており、出力ｒは９５．０となる。

【0041】

式（１３）は、“サンプリングデコーダ出力ｙ^Ｓ＝人気 保険 を…ＥＯＳ”の報酬の出力ｒを示しており、出力ｒは９７．０となる。

【0042】

この後、エスティメータ部４は、ステップＳ３において、強化学習によるサンプル系列の損失Ｌ_rlを以下の式（１４）で計算する。

【数8】

【0043】

前記報酬としては、広告効果の予測値ＱＳでは、広告の効果推定値を用いる。 言語モデルのPerplexity（らしさ）では、文書レベルのＬＳＴＭ言語モデルを用い、学習データから言語らしさを獲得し、インターネット百科事典の言語資料で日本語らしさを学習させたのち、広告らしさを学習させる。

【0044】

Sentence-level BLEUでは、正解文との類似度を算出する際に、４-gramの一致を使用する。

【0045】

図５は、実施形態に係る広告文自動作成システムにより作成された広告の文章が表示された検索ホームページの検索画面を示す説明図である。

【0046】

実施形態に係る広告文自動作成システムにより作成された広告の文章が表示検索ホームページは、ユーザの検索クリエと、広告入稿前の配信キーワードでマッチングを行う。

【0047】

図５に示すように、検索ホームページの検索画面１０には、検索テキスト入力部１１が表示される。検索テキスト入力部１１に検索テキスト１２として“保険”を入力し、検索ボタン１３をマウスで左クリックすると、検索テキスト入力部１１の下に、タイトル１４と、説明文１５が表示される。

【0048】

本発明の実施形態の構成及び効果を纏めて説明すると、広告文自動作成システム１は、広告の文章（広告文）を自動的に作成する広告文自動作成システムであって、広告の基本となる文章と当該広告に対応するキーワードとに基づいて、複数の広告の文章を生成する文章生成手段（前処理部２、ジェネレータ部３）と、前記文章生成手段が生成した前記複数の広告の文章の広告効果を推定する広告効果推定手段（エスティメータ部４）と、前記広告効果推定手段が推定した前記広告効果に基づいて、前記複数の広告の文章から新規の広告の文章を再生成する再生成手段（ジェネレータ部３）とを備える。

【0049】

前記広告効果推定手段（エスティメータ部４）は、過去の配信実績、広告文らしさ、及び過去の正解との類似度の少なくとも一つに基づいて、前記広告効果を推定する。

【0050】

前記再生成手段（ジェネレータ部３）は、前記複数の広告に対する強化学習による損失と前記複数の広告の文章の最尤推定による損失とに基づいて、前記複数の広告の文章から新規の広告の文章を再生成する。

【0051】

以上説明した実施形態によれば、前記広告効果推定手段が推定した前記広告効果に基づいて、前記複数の広告の文章から新規の広告の文章を再生成するので、広告としての質が高い文章を作成することができる。

【0052】

尚、本発明の、システム、手段、方法、などは、本発明の要旨を変更しない範囲で、様々に変更可能である。

【0053】

例えば、前処理部２、ジェネレータ部３及びエスティメータ部４を一つのコンピュータで実現する、広告の基本となる文章と当該広告に対応するキーワードを音声入力する等、各種適用可能である。

【0054】

例えば、２つ以上のシステムを１つにすることも可能であるし、逆に、１つのシステムを２つ以上の別のシステムから構成して接続することも可能である。
また、上記第１の実施の形態は、あくまでも、現在のところの最良の形態またはそれに近い形態の２つにすぎない。

【産業上の利用可能性】

【0055】

本発明の広告文自動作成システムは、商品やサービスを提供する事業者や法人の広告活動において効果的に利用できる。

【符号の説明】

【0056】

１…広告文自動作成システム ２…前処理部 ３…ジェネレータ部 ４…エスティメータ部 ５…強化学習部 １０…検索画面１０ １１…検索テキスト入力部 １２…検索テキスト１２ １３…検索ボタン１３ １４…タイトル １５…説明文

【図1】

【図2】

【図3】

【図4】

【図5】