IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社人々の特許一覧

特開2023-50264コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム
<>
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図1
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図2
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図3
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図4
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図5
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図6
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図7
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図8
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図9
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図10
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図11
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図12
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図13
  • 特開-コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023050264
(43)【公開日】2023-04-11
(54)【発明の名称】コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム
(51)【国際特許分類】
   G06F 40/56 20200101AFI20230404BHJP
   G06F 16/30 20190101ALI20230404BHJP
【FI】
G06F40/56
G06F16/30
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021160290
(22)【出願日】2021-09-30
(11)【特許番号】
(45)【特許公報発行日】2023-03-24
(71)【出願人】
【識別番号】521428011
【氏名又は名称】株式会社人々
(74)【代理人】
【識別番号】100118784
【弁理士】
【氏名又は名称】桂川 直己
(72)【発明者】
【氏名】石川 真也
(72)【発明者】
【氏名】船井 正太郎
【テーマコード(参考)】
5B091
5B175
【Fターム(参考)】
5B091CA21
5B175DA01
5B175FB01
5B175FB04
(57)【要約】
【課題】自動的にコンバージョンレート(CVR)の高い配布用コンテンツをAIに作成させ、特定したターゲット消費者に提供させる。
【解決手段】タスク学習データで機械学習を実行した、訓練済みのGPTモデルによって基礎コンテンツを生成する基礎コンテンツ生成ステップと、前記タスク学習データで機械学習を実行した、訓練済みのBERTモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行う推敲ステップと、CVRを予測するニューラルネットワークで前記CVRを高める前記候補のみを残して、前記推敲ステップにフィードバックするフィードバックステップと、前記推敲ステップと前記フィードバックステップを繰り返して、CVRの上昇が収束したコンテンツを配布用コンテンツとして生成する配布用コンテンツ生成ステップと、をコンピューターに実行させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
訴求情報を取得する取得ステップと、
タスク学習データで機械学習を実行した訓練済みのGPTモデルによって、前記訴求情報に基づいて基礎コンテンツを生成する基礎コンテンツ生成ステップと、
タスク学習データで機械学習を実行した訓練済みのBERTモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行う推敲ステップと、
タスク予測学習データによって訓練した訓練済みのNN(ニューラルネットワーク)モデルで前記推敲ステップによる推敲した文章のコンバージョンレートを予測し、前記コンバージョンレートを高める前記候補のみを残して、前記推敲ステップにフィードバックするフィードバックステップと、
前記推敲ステップと前記フィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する配布用コンテンツ生成ステップと、
をコンピューターに実行させることを特徴とする、コンテンツ生成方法。
【請求項2】
前記タスク学習データは、チャットボットによるターゲット対象との会話内容を含む、過去のシナリオデータ、前記訴求情報、または前記訴求情報をネットワークで検索して得られたランキング上位のコンテンツを含む、請求項1に記載のコンテンツ生成方法。
【請求項3】
前記NNモデルの訓練に事前学習済BERTモデルによるタスク予測学習データの分散表現が使用され、前記タスク予測学習データは、前記過去のシナリオデータとCV値の関連で構成されたデータである、請求項2に記載のコンテンツ生成方法。
【請求項4】
前記タスク学習データは、インターネットから抽出したデータのうち、前記過去のシナリオデータとコサイン類似度が一定の閾値を超えたコンテンツを含む、請求項2に記載のコンテンツ生成方法。
【請求項5】
前記タスク学習データは、インターネットから抽出したデータ、または予めデータベースに用意されたデータを含み、
前記過去のシナリオデータとコサイン類似度が一定の閾値を超えたコンテンツは、訓練済みのBERTモデルによってコンテンツのコサイン類似度の測定を行って抽出する、請求項4に記載のコンテンツ生成方法。
【請求項6】
前記訴求情報は少なくとも訴求人が伝えたい思想を含むコンテンツ、及び伝えたいターゲット対象の統計性のデータを含む、請求項1~5の何れか1項に記載のコンテンツ生成方法。
【請求項7】
前記配布用コンテンツは、チャットボットによる会話に使用されるメッセージ、またはプッシュ通知用メッセージである、請求項1~5の何れか1項に記載のコンテンツ生成方法。
【請求項8】
コンテンツのタイプを予測する訓練済みのNNモデルによって、請求項1~7の何れか1項に記載のコンテンツ生成方法で生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けるステップと、
ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのNNモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けるステップと、
前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供するステップと、
をコンピューターに実行させることを特徴とするコンテンツ提供方法。
【請求項9】
訴求情報を取得し、
タスク学習データで機械学習を実行した訓練済みのGPTモデルによって、前記訴求情報に基づいて基礎コンテンツを生成し、
タスク学習データで機械学習を実行した訓練済みのBERTモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行い、
タスク予測学習データによって訓練した訓練済みのNN(ニューラルネットワーク)モデルによって、前記BERTモデルで推敲した文章のコンバージョンレートを予測し、該文章の前記コンバージョンレートを高める前記候補のみを残して、前記BERTモデルの推敲にフィードバックし、
前記BERTモデルの推敲とNNモデルのフィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する、
処理をコンピューターに実行させることを特徴とするコンテンツ生成プログラム。
【請求項10】
コンテンツのタイプを予測する訓練済みのNNモデルによって、請求項9に記載のプログラムで生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けて、
ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのNNモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けて、
前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供する、
処理をコンピューターに実行させることを特徴とするコンテンツ提供プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ生成方法、コンテンツ提供方法及びそのプログラムに関し、特にマーケティングの目的に合致するコンテンツ生成方法、コンテンツ提供方法及びそのプログラムに関する。
【背景技術】
【0002】
情報爆発の時代となった今では、人々が一日に物事に注意を向ける時間は限界に達したことに起因して、情報過多の社会において人々の「関心や注目の獲得(アテンションの獲得)」が経済的価値を持つという説もある。そのように、経済が消費経済から情報経済へ移行するのと同時に、消費者のアテンションが貴重な資源へと変容しており、アテンションは通貨のような存在になりつつある。それに対し、商品やサービスに関する文章やプッシュ通知等の広告案を作成する場合、消費者に提供する情報の優劣よりも注目を集めること自体が重要視されている。
【0003】
なお、膨大な情報の中で消費者の関心を掴み続けていくのは簡単ではなく、特に伝統的な文章やプッシュ通知等の広告案の作成は、人間が提案・遂行することが殆どであるため、目まぐるしい情報環境に対して素早く対応することは難しい。それに対し、特許文献1には、深層ニューラルネットワークモデルコンポーネントが過去の製品説明情報及び製品説明情報の範例コンテンツに応じた訓練によって、製品説明情報に対応したコンテンツをAIで生成する技術が開示されている。それによって、ターゲット製品の配布用コンテンツを迅速に生成することが可能になったため、変化が激しい情報環境に対しても、新しいコンテンツを素早く提供することができる。しかしながら、製品に関わる新しいコンテンツをAIで素早く提供するだけでは、あくまでも消費者に素早く新製品の販売を知らせるに過ぎないと、本願の発明者らは感じた。具体的に言えば、過去の製品説明情報及び製品説明情報の範例コンテンツに応じた訓練を行っても、製品そのものに注目したコンテンツが生成されるだけになりがちである。即ち、大量な配布用コンテンツを生成できるが、消費者の関心から離れたコンテンツが生成される可能性も低くないため、CPA高騰の原因の1つとなる恐れもある。
【0004】
また、特許文献2には、キーワード及び画像でAIが自動作成した配布用画像を広告掲示点にアップロードして、その画像が当該広告掲示点での評価によって配布用画像を選ぶ技術が開示される。しかしながら、広告掲示点での評価ではまばらなものであり、それによる選択の効率が低いと共に、結果が参考になる価値は安定ではない。さらに、それは配布用画像の数を収斂することであるため、大量なコンテンツから消費者に比較的に関心を持つものを選ばれるかもしれないが、何度でも同じ作業を繰り返すのに手間もかかるし、さらに全体的にコンテンツの質も変わらないため、訪問者のCVRを本質的に上げることができない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際出願公開WO2019/133545号明細書
【特許文献2】台湾特許公開TW201918960A号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、コンバージョンレート(CVR)が高く、文章が自然な配布用コンテンツをAIに自動で作成させ、特定したターゲット消費者に提供させる、コンテンツ生成方法、コンテンツ提供方法及びそのプログラムを提供することである。
【課題を解決するための手段】
【0007】
1つの実施形態によるコンテンツ生成方法は、訴求情報を取得する取得ステップと、タスク学習データで機械学習を実行した訓練済みのGPTモデルによって、前記訴求情報に基づいて基礎コンテンツを生成する基礎コンテンツ生成ステップと、タスク学習データで機械学習を実行した訓練済みのBERTモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行う推敲ステップと、タスク予測学習データによって訓練した訓練済みのNN(ニューラルネットワーク)モデルで前記推敲ステップによる推敲した文章のコンバージョンレートを予測し、前記コンバージョンレートを高める前記候補のみを残して、前記推敲ステップにフィードバックするフィードバックステップと、前記推敲ステップと前記フィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する配布用コンテンツ生成ステップと、をコンピューターに実行させる。
【0008】
1つの実施形態によるコンテンツ提供方法は、コンテンツのタイプを予測する訓練済みのNNモデルによって、配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けるステップと、ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのNNモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けるステップと、前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供するステップと、をコンピューターに実行させる。
【0009】
1つの実施形態によるプログラムは、訴求情報を取得し、タスク学習データで機械学習を実行した訓練済みのGPTモデルによって、前記訴求情報に基づいて基礎コンテンツを生成し、タスク学習データで機械学習を実行した訓練済みのBERTモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行い、タスク予測学習データによって訓練した訓練済みのNN(ニューラルネットワーク)モデルによって前記BERTモデルで推敲した文章のコンバージョンレートを予測し、該文章の前記コンバージョンレートを高める前記候補のみを残して、前記BERTモデルの推敲にフィードバックし、前記BERTモデルの推敲とNNモデルのフィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する、処理をコンピューターに実行させる。
【0010】
1つの実施形態によるプログラムは、コンテンツのタイプを予測する訓練済みのNNモデルによって、前述のプログラムで生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けて、ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのNNモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けて、前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供する、処理をコンピューターに実行させる。
【発明の効果】
【0011】
上記の本発明の実施形態によれば、コンバージョンレート(CVR)の高い、自然な文章の配布用コンテンツをAIに自動で作成させると共に、AIで決定したCVしやすい対象に、AIで決定したタイミングで出力することができる。
【図面の簡単な説明】
【0012】
図1】本発明の実施形態に係るコンテンツ生成方法の例示的フローのフローチャートである。
図2】本発明の実施形態に係るコンテンツ生成方法に使用される、GPTモデルに基礎コンテンツを生成させるイメージである。
図3】本発明の実施形態に係るコンテンツ生成方法に使用されるBERTモデルに推敲コンテンツを生成させるイメージである。
図4】本発明の実施形態に係るコンテンツ生成方法に使用される、NNモデルの一般的なアーキテクチャの説明図である。
図5】本発明の実施形態の学習データに含まれる、過去のシナリオデータの一例を示す説明図である。
図6】本発明の実施形態の学習データに含まれる、クライアントから提供された訴求情報の一例を示す説明図である。
図7】本発明の実施形態の学習データに含まれる、訴求情報をインターネット検索して得た文章の一例を示す説明図である。
図8】本発明の実施形態のNNモデルに使用されるタスク予測学習データの実施形態を説明するための図である。
図9】本発明の実施形態のコンテンツ生成方法を利用して、クライアントから依頼があってから、全サービスの流れを説明するための図である。
図10】本発明の実施形態に係るコンテンツ提供方法の例示的フローのフローチャートである。
図11】本発明の実施形態に係るコンテンツ提供方法に使用される、ファインチューニング済タイプ予測NNモデル及びファインチューニング済ユーザー予測NNモデルの一般的なアーキテクチャの説明図である。
図12】本発明の実施形態に係るファインチューニング済タイプ予測NNモデル及びファインチューニング済ユーザー予測NNモデルに使用される文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データを含む学習データの実施形態を説明するための図である。
図13】本発明の実施形態に係る配布用コンテンツを提供する全サービスの流れを説明するための図である。
図14】本発明の実施形態におけるコンテンツ生成方法、及びコンテンツ提供方法を実現し得るハードウェア構成の構造図である。
【発明を実施するための形態】
【0013】
下記より、具体的な実施例で本発明が開示する「コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム」に係る実施形態を説明する。当業者は本明細書の公開内容により本発明のメリット及び効果を理解し得る。本発明は他の異なる実施形態により実行又は応用できる。本明細書における各細節も様々な応用に基づいて、本発明の趣旨を逸脱しない限り、変更を行うことができる。また、本発明の図面は簡単で模式的に説明するためのものであり、実際的な寸法を示すものではない。以下の実施形態において、さらに本発明に係る技術事項を説明するが、公開された内容は本発明を限定するものではない。
【0014】
他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書で使用される技術用語は、特に個数を指定されない限り、複数形を含むことが意図されている。
【0015】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、このような実施例は、例示に過ぎず、本発明を限定するものでない。
【0016】
本発明の一側面によれば、コンテンツ生成方法が提供される。以下、図1を参照しながら、本発明の実施例におけるコンテンツ生成方法の例示的なフローを説明する。
【0017】
図1は、本発明の実施形態に係るコンテンツ生成方法の例示的フローのフローチャートである。図1に示すように、コンテンツ生成方法の例示的フロー100は、以下のステップを含んでも良い。
【0018】
ステップS101:タスク学習データによって、事前学習済GPTモデル及び事前学習済BERTモデルのファインチューニングを行う;
ステップS103:タスク予測学習データによって、コンバージョンレートを予測するための事前学習済NN(ニューラルネットワーク)モデルのファインチューニングを行う;
ステップS105:タスク学習データの文章から抽出した書き出しをファインチューニング済GPTモデルに与えて、文章を生成させる;
ステップS107:ステップS105で生成した文章を、ファインチューニング済BERTモデルに入力して分散表現を取り出し、コサイン類似度が高いものを基礎コンテンツ(基礎文章)として抽出する;
ステップS109:ステップS107で抽出した基礎文章をファインチューニング済BERTモデルに入力し単語をランダムに隠し代わりの候補を挙げて推敲文章を生成する;
ステップS111:ファインチューニング済NNモデルによって、ステップS109に生成した推敲文章のコンバージョンレートを予測して、コンバージョンレートが上昇する推敲コンテンツ(推敲文章)の候補のみを残してファインチューニング済BERTモデルにフィードバックする;
ステップS113:ステップS111において、推敲文章のコンバージョンレートの上昇が収束したかを判断し、コンバージョンレートの上昇が収束したと判断する場合、ステップS115に移行し、コンバージョンレートの上昇が収束していないと判断する場合、ステップS109に戻す。
ステップS115:推敲文章を配布用コンテンツ(配布用文章)として出力する。
【0019】
このフロー100において、各細部、例えば、タスク学習データ及びタスク予測学習データの詳細については後述の説明で例を挙げて説明するが、タスク学習データ及びタスク予測学習データを使用する際、例えば、BERTモデルを利用する場合、タスク学習データはベクトルのシーケンスに転換してから利用する等、使用される機械学習モデルに応じて形式を変換させることは当業者にとって言うまでもないため、その変換手法は既存の変換手法に従って行わればよく、本明細書ではその関連説明を省略する。
【0020】
近年、ディープラーニングの自然言語処理分野の研究が盛んに行われており、そのうち、BERTモデル及びGPTモデルは広く利用されている。GPTモデルは事前学習したモデルに対して、ファインチューニングといわれる既存のモデルのパラメータの微調整及び追加学習を行い、新しいモデルを再構築することなく高い精度で予測を行う。特に長文の生成では、GPTモデルは人間によって書かれたものと判断されるような自然な文章を作成することが可能である。しかし、GPTモデルで生成する文章は過去の情報を元に単語を並べ、文法的にそれらしい文章を作っているにすぎないため、長い文章を生成すると、同じ意味の単語を繰り返したり、結論が矛盾した文章を生成したりしてしまうことがある。一方、BERTモデルは、Transformerを用いた双方向型の事前学習を可能にしたことで、高精度で文脈理解をした表現を獲得することができる。即ち、本願によるコンテンツ生成方法では、自動的に配布用文章を作成するために、文章の続きを書くのが得意なGPTモデルに加えて、文章の書き換え(穴埋め)が得意なBERTモデルを利用することで、自動的に人間が作成したような自然な文章が作られる。
【0021】
そして、人間が作成したような自然な文章のみではなく、例えば、CVRの増加、CPAの削減またはLTVの伸び等のマーケティングに関わる目標を達する配布用文章をAIに作成させるために、本発明に係るコンテンツ生成方法には、コンバージョンレートを予測するNNモデルをさらに利用する。詳しくは、コンバージョンレートを予測する事前学習済NNモデルに、予測する文章のBERT分散表現を入力して、コンバージョンレート(値は0と1の間)を出力する。出力されたコンバージョンレートが上昇する場合、当該文章に使われる候補をBERTモデルにフィードバックする。
【0022】
そのようにして、コンバージョンレートの上昇が収束するまで、コンバージョンレートの高い文章をBERTモデルに作らせることができる。なお、ここで利用されたNNモデルには、コンバージョンレートを予測できる限り、例えば順伝播型ニューラルネットワーク(FFNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)等既存のニューラルネットワークのいずれを利用しても構わない。
【0023】
続いて、図2から図4に基づいて、図1に示す例示的な方法に応用される、GPTモデル、BERTモデル及びNNモデルのファインチューニング及び仕組みの実例をより具体的に説明する。
【0024】
まず、図2を参照する。図2は、図1に示すコンテンツ生成方法に使用される、GPTモデルに基礎文章を生成させるイメージである。本実施形態において、最初に使われるGPTモデルは、GPTの事前学習モデルとして、Huggingface Transformersにアップロードされている、ckiplab/gpt2-base-chineseを使用したが、使用する事前学習モデルは生成する言語に応じて変更し得て、本発明はこの例に制限されない。なお、本実施形態において、事前学習済GPTモデルは、コンテンツ生成方法を実行する時点の前にファインチューニングを実行したものであってもよい。例えば、ファインチューニングには、先月訓練したGPTモデルを使用してもよい。即ち、本発明のコンテンツ生成方法において、事前学習済GPTモデルとファインチューニング済GPTモデルとの取り分けは、今回のコンテンツ生成方法が開始する時点で、新しいタスク学習データによってファインチューニングを行ったかに応じて決定する。
【0025】
1つの実施例では、GPTモデルのファインチューニングに使われるタスク学習データは、後で説明するように、過去のシナリオデータ、クライアントから提供された訴求情報、訴求情報をインターネット検索して得た文章が含まれる。本願で示した文章とは、テキスト、絵文字または画像を含む、幾つかの文を連ねて、まとまった思想を表現したものである。絵文字または画像は、GPTモデルが処理できる形式に変換される。例えば、絵文字は予め提供されたリストに従って文字に変換してもよい。画像は既存の画像分析方法で文字に変換してもよい。また、過去のタスク学習データから適当に選んだものを検査データ(test data)として扱う。
【0026】
タスク学習データが事前学習済GPTモデルに入力された後、ファインチューニングを実行する。ファインチューニングのエポック数は特に規定されていないが、5エポックが好ましい。その他の訓練パラメータは、Huggingface transformersのTrainingArgumentsのデフォルトの値である。学習データも検査データも損失が減少していることを確認した上でファインチューニング済GPTモデルとして保存する。本発明に係る実施形態では、検査データの損失が減少から上昇に転じていた場合は、上昇する直前でのモデルをファインチューニング済GPTモデルとして保存する。
【0027】
そのように、ファインチューニング済GPTモデルにタスク学習データの文章の書き出しを与えると、望ましい基礎文章を自動で作成することができる。
【0028】
図2に示す、GPTモデルのファインチューニング及び仕組みを理解した後に、続いて、図3に基づいてBERTモデル訓練の実例を説明する。
【0029】
まず、図3を参照する。図3は、図1に示すコンテンツ生成方法に使用されるBERTモデルに推敲コンテンツを生成させるイメージである。本実施形態において、最初に使われるBERTの事前学習モデルとして、Huggingface Transformersにアップロードされている、hfl/chinese-bert-wwm-extを使用したが、使用する事前学習モデルは生成する言語に応じて変更し得て、本発明はこの例に制限されない。なお、本実施形態において、事前学習済BERTモデルは、コンテンツ生成方法が実行する時点の前にファインチューニングを実行したものであってもよい。例えば、ファインチューニングには、先月ファインチューニングしたBERTモデルを使用してもよい。即ち、本発明のコンテンツ生成方法において、事前学習済BERTモデルとファインチューニング済BERTモデルとの取り分けは、今回のコンテンツ生成方法を開始する時点で、新しいタスク学習データによってファインチューニングを行ったかに応じて決定する。
【0030】
本実施形態では、BERTモデルのファインチューニングに使われるタスク学習データと検査データの詳細も含めて、GPTモデルのファインチューニングと同じである。
【0031】
タスク学習データがBERTモデルに入力された後、ファインチューニングを実行する。ファインチューニングのエポック数は特に規定されていないが、5エポックが好ましい。その他の訓練パラメータは、Huggingface transformersのTrainingArgumentsのデフォルトの値である。訓練データも検査データも損失が減少していることを確認した上でファインチューニング済BERTモデルとして保存し、ここでは、検査データの損失が減少から上昇に転じていた場合は、上昇する直前でのモデルをファインチューニング済BERTモデルとして保存する。
【0032】
そのように、ファインチューニング済BERTモデルにGPTモデルで生成した基礎文章の文章を与えると、基礎文章において、単語をランダムに隠してファインチューニング済BERTが代わりの候補を挙げる推敲を行って、推敲文章及び推敲文章の分散表現を出力する。
【0033】
図3に示す、BERTモデルのファインチューニング及び仕組みを理解した後に、続いて、図4に基づいてコンバージョンレートを予測するファインチューニング済NNモデルの構成の実例を説明する。
【0034】
図4を参照する。図4は、図1に示すコンテンツ生成方法に使用される、NNモデルの一般的なアーキテクチャの説明図である。図4に示すように、図1に示す例示的な方法に使用されるNNモデルはNN40を含む。基本的に入力層401、隠れ層402及び出力層403を含む。入力層401は、N次元ベクトルを入力するためにN個のニューロンで構成され、隠れ層402はN/2個のニューロンで、出力層403は1個のニューロンで構成される。ここで、本発明では特に説明しない限りNは正の整数である。また、本実施形態では、隠れ層402は1層で、Nが768となるが、隠れ層の数もNの値も実際のニーズに応じて調整し得て、この例に制限される意図はない。また、本実施形態では、隠れ層402のニューロンに使われる活性化関数はReLUであり、出力層403のニューロンに使われる活性化関数はシグモイド関数であるが、それら活性化関数も実際のニーズに応じて調整し得て、この例に制限される意図はない。
【0035】
なお、当業者であれば、NNモデルの原理、構造及び具体的な細部を理解することができるはずであるため、以下、後続の説明の便宜のため、本発明に係る事前学習済NNモデルをファインチューニングする実例を簡単に説明する。1つの例では、図4に示す左側からNN40の入力層401にBERTモデルによる推敲文章の分散表現(768次元ベクトル)を入力し、図4に示す右側からコンバージョンレート(値は0と1の間)を出力する。本実施形態のコンテンツ生成方法では、NNモデルにおいて、NN40と同じ構成のニューラルネットワークを全部で24個を使用するが、本発明はこの例に制限されない。
【0036】
1つの好適な実施例では、後で説明するように、過去のシナリオデータから、シナリオの文章とコンバージョンレートをタスク予測学習データとして取得する。タスク予測学習データを事前学習済みのBERTモデルに入力する。BERTモデルの各層(Word embedding層を除く12層)から、文頭[CLS]と文末[SEP]の分散表現を取り出す。総計12×2=24種類の分散表現(すべて768次元ベクトル)を得る。そして、24個の事前学習済NN40に、各種類の分散表現を入力し、それぞれ出力を得る。計24個の出力と、実際のコンバージョンレートの差を計算し、その絶対値を足し上げた値が0に近づくように、ニューラルネットワークをファインチューニングする。ファインチューニング後にコンバージョンレートを予測する際は、計24個の出力を平均した値を使っている。
【0037】
続いて、ファインチューニング済NNモデルを本実施形態のコンテンツ生成方法に利用する実例について説明する。ファインチューニング済BERTモデルによる推敲文章についてファインチューニング済NNモデルによってコンバージョンレートを予測し、コンバージョンレートを高める候補のみを残し、ファインチューニング済BERTモデルにフィードバックする。ファインチューニング済BERTモデルによる推敲と、コンバージョンレートを高める候補のフィードバックとを繰り返すと、予測されるコンバージョンレートの上昇が収束する推敲文章を作ることができる。それらの推敲文章を配布用文章(配布用コンテンツ)として出力して、本実施形態に係るコンテンツ生成方法のプロセスは終了する。
【0038】
続いて、図5~7を参照されたい。図5~7は、BERTモデル及びGPTモデルに使用されるタスク学習データの実施形態を説明するための図である。本実施形態では、タスク学習データは、過去のシナリオデータ、クライアントから提供された訴求情報、または/及び訴求情報をインターネット検索して得た文章を含む。
【0039】
図5では、本実施形態のタスク学習データに含まれる、過去のシナリオデータの一例を示す説明図である。図5に示すように、過去のシナリオデータは、例えば、公開、またはビジネス向けのチャットルームにおけるターゲットユーザーとの会話記録や、問診結果等のユーザーとの対話で得られたデータを含む。それらの過去のシナリオデータの収集、分類、格納については、特定の期間で特定の数の文章を特定の分類付けで取得できれば、既存のデータ収集・処理手法のいずれかによって行っても構わない。
【0040】
図6では、本実施形態のタスク学習データに含まれる、クライアントから提供された訴求情報の一例を示す説明図である。ここでのクライアントは、本発明のコンテンツ生成方法でコンテンツ作成サービスを依頼した者を言う。例えば、広告主、行政機関、研究機関等が挙げられる。訴求情報の内容はクライアントによって異なっているが、少なくともクライアントが伝えたい思想に係る文章、及びターゲットユーザーに関わる統計性の情報を含む。例えば、図6は、クライアントが広告主である場合を想定した訴求情報の例を示す。図6において、クライアントが伝えたい思想に係る文章としては、例えば、商品紹介、サイド参考、成果の良い広告訴求等が挙げられ、また、ターゲットユーザーに関わる統計性の情報としては、例えば、性別、高齢層等のターゲットの詳細が挙げられる。訴求情報の取得は、依頼の場合、上述した情報を含むように、クライアントにアンケートを取ってもよいが、他の既存のデータ収集・処理手法のいずれかによって行っても構わない。
【0041】
図7では、本実施形態のタスク学習データに含まれる、訴求情報をインターネット検索して得た文章の一例を示す説明図である。本発明のコンテンツ生成方法で作られた文章の表現をさらに豊かにするために、訴求情報から得られたいくつかのキー情報によって、インターネット検索を行い、例えば、ランキング上位10サイトの文章を抽出して、訴求情報をインターネット検索して得た文章として使える。ここでは、訴求情報をインターネット検索して得た文章をさらに洗練するために、事前学習済BERTモデルの分散表現を使い、コサイン類似度が高いもの、例えば、コサイン類似度が特定の閾値以上のものを選ぶようにしてもよい。本実施形態では、特定の閾値が0.9であることが好ましい。なお、訴求情報をインターネット検索して得た文章を、訴求情報に係る定型文に換えてもよいが、最新の文章表現から離れる場合があるため、好ましくない。
【0042】
続いて、図8を参照されたい。図8は、NNモデルに使用されるタスク予測学習データの実施形態を説明するための図である。本実施形態では、タスク予測学習データは、過去のシナリオ文章とCV値の関連で構成されたデータである。例えば、図8に示した表において、B欄はシナリオ文章、E欄はそのシナリオ文章を読んだ人数、G欄は購入(CV)した人数を表示している。A欄は文章や購入画面の識別番号、C欄はその文章(や購入画面)の前に読まれた文章の識別番号を表示している。例えば、第2列の文章を読んだのは593人、その中で購入したのは(第3列に表示されているように)38人なので、コンバージョンレートは38/593=6.41%となる。シナリオ文章が複数の文章で構成されている場合は、それらの文章を繋げたものを使用して訓練する。なお、過去のシナリオ文章とCV値とそれらの対応的な関連とを複数取得できれば、このようなデータを取得する手法またはデータの表現形式では、既存のいずれの情報処理方法で行っても構わない。
【0043】
以上、図1から図8に基づいて、本発明の実施形態に係るコンテンツ生成方法のフロー及びフローの詳細を説明した。続いて、該例をもとに、さらに図9を参照して、本発明に係るコンテンツ生成方法を提供するサービスの一例を説明する。
【0044】
図9は、クライアントから依頼があってから、全サービスの流れを説明するための図である。
まず、クライアントに用意されたアンケートを取って、訴求情報を取得する。
そして、訴求情報をインターネットで検索して表示される上位10サイトの文章を取得し、訴求情報、一定時間帯内(例えば、行う時点から2か月前まで)の過去のシナリオデータと共に、タスク学習データとしてまとめる。
タスク学習データによって、事前学習済GPTモデル及び事前学習済BERTモデルのファインチューニングを行う。
最新のタスク予測学習データによって、コンバージョンレートを予測するための事前学習済NNモデルのファインチューニングを行う。
ファインチューニング済GPTモデルに、タスク学習データの文章の書き出し(5-10字)を与えて、自動で文章を生成させる。
ファインチューニング済GPTモデルが作成した文章のうち、訴求情報の文章に近いものを選択して、基礎文章とする。この選択は、ファインチューニング済BERTモデルの分散表現を使い、コサイン類似度が高いものを選ぶ。
基礎文章において、単語をランダムに隠してファインチューニング済BERTモデルが代わりの候補を挙げる推敲を実行し、ファインチューニング済NNモデルがコンバージョンレートを予測することでコンバージョンレートを高める候補のみを残し、ファインチューニング済BERTモデルにフィードバックして推敲を再実行する。
予測されるコンバージョンレートの上昇が収束するまで、上記の推敲とフィードバックを繰り返す。そのように推敲された文章を配布用文章として生成し、プロセスを終了する。
以上のプロセスにより、複数の配布用文章を生成することができる。
【0045】
そのように、クライアントの依頼から、コンバージョンレートを高める、自然な配布用文章をAIで自動的に生成することができるため、配布用文章の生成効率を抜群にするだけではなく、配布用文章と読み手(即ち、消費者、ターゲット使用者)のとの関連をより緊密にさせることができ、最終的には、例えば、CVRの増加、CPAの削減またはLTVの伸び等のマーケティングに関わる目標を達することができる。また、本発明における配布用文章は、例えば、ポップアップ広告、チャットボットの会話の材料、プッシュ通知のメッセージ等が挙げられるが、本発明はこれらの例に制限されない。
【0046】
続いて、図10を参照して、本発明に係るコンテンツ生成方法で生成した配布用コンテンツをターゲットユーザーに提供するコンテンツ提供方法の一例を説明する。図10は、本発明の実施形態に係るコンテンツ提供方法の例示的フローのフローチャートである。図10に示すように、コンテンツ提供方法の例示的フロー1000は、以下のステップを含んでも良い。
【0047】
ステップS1001:文章タイプタスク予測学習データによって、コンテンツ(文章)のタイプを予測するための事前学習済タイプ予測NNモデルのファインチューニングを行う;
ステップS1003:ユーザータイプタスク予測学習データによって、ターゲットユーザーにCVしやすい文章のタイプを予測するための事前学習済ユーザー予測NNモデルのファインチューニングを行う;
ステップS1005:ファインチューニング済タイプ予測NNモデルに、予測しようとする配布用文章を入力し、配布用文章のタイプを予測して、タイプを配布用文章に対応付ける;
ステップS1007:ファインチューニング済ユーザー予測NNモデルに、ターゲットユーザーデータを入力し、ターゲットユーザーにCVしやすい配布用文章のタイプを予測して、タイプをターゲットユーザーに対応付ける;
ステップS1009:各配布用文章をそれに対応付けたタイプに応じて、各ターゲットユーザーに提供する;
【0048】
そのようにして、本発明に係るコンテンツ提供方法によれば、ターゲットユーザーにCVしやすいタイプの文章を提供することができる。
【0049】
続いて、図11に基づいて、コンテンツのタイプを予測するためのタイプ予測NNモデル、及びターゲットユーザーにCVしやすい文章のタイプを予測するためのユーザー予測NNモデルの構成の実例を説明する。
【0050】
図11を参照する。図11は、図10に示すコンテンツ提供方法に使用される、タイプ予測NNモデル及びユーザー予測NNモデルの一般的なアーキテクチャの説明図である。図11に示すように、図10に示す例示的な方法に使用されるタイプ予測NNモデル及びユーザー予測NNモデルの構造は同様に、タイプ予測NN1100を含む。タイプ予測NN1100は、基本的に入力層1101、隠れ層1102及び出力層1103を含む。入力層1101は、N次元ベクトルを入力するためにN個のニューロンで構成され、隠れ層1102はN/2個のニューロンで、出力層1103は4個のニューロンで構成される。ここで、本発明では特に説明しない限りNは正の整数である。また、本実施形態では、隠れ層1102は1層で、Nが768、出力層のニューロンの数が4個となるが、隠れ層の数もNの値も出力層のニューロンの数も実際のニーズに応じて調整し得て、この例に制限される意図はない。また、本実施形態では、隠れ層1102のニューロンに使われる活性化関数はReLUであり、出力層1103のニューロンに使われる活性化関数はシグモイド関数であるが、それら活性化関数も実際のニーズに応じて調整し得て、この例に制限される意図はない。
【0051】
なお、当業者であれば、NNモデルの原理、構造及び具体的な細部を理解することができるはずであるため、以下、後続の説明の便宜のため、本発明に係る事前学習済タイプ予測NNモデル及び事前学習済ユーザー予測NNモデルをファインチューニングする実例を簡単に説明する。1つの例では、まず、事前学習済タイプ予測NNモデルのファインチューニングでは、図11に示す左側からタイプ予測NN1100の入力層1101に、BERTモデルによる文章タイプタスク予測学習データにおける予測文章のBERT分散表現(最深層の文頭[CLS]の分散表現のみを使う)を入力し、文章タイプタスク予測学習データにおけるタイプの個数(ここでは4個)のニューロンで構成された出力層1103から、予測文章がそれぞれのタイプである確率(値は0と1の間)を出力するように訓練される。同じように、事前学習済ユーザー予測NNモデルのファインチューニングでは、図11に示す左側からタイプ予測NN1100の入力層1101に、ユーザータイプタスク予測学習データを入力し、ユーザータイプタスク予測学習データにおけるタイプの個数(ここでは4個)のニューロンで構成された出力層1103から、ターゲットユーザーがそれぞれのタイプのシナリオでコンバージョン(CV)する確率(値は0と1の間)を出力するよう訓練される。
【0052】
続いて、ファインチューニング済タイプ予測NNモデル及びファインチューニング済ユーザー予測NNモデルの利用例について説明する。詳しくは、1つの好適な実施例では、後で説明するような、予測したい配布用文章を、事前学習済みのBERTモデルに入力して、BERTモデルの分散表現(最深層の文頭[CLS]の分散表現のみ)を得る。そして、BERTモデルの分散表現をファインチューニング済タイプ予測NNモデルに入力し、得られた確率が最も高いタイプを配布用文章に対応付ける。1つの好適な実施例では、後で説明するような、ターゲットユーザーデータを、ファインチューニング済ユーザー予測NNモデルに入力して、得られた確率が最も高いタイプをターゲットユーザーに対応付ける。配布用文章をターゲットユーザーに提供する際、それぞれに対応付けたタイプによって提供するように行う。
【0053】
続いて、図8図12を参照されたい。図8図12は、ファインチューニング済タイプ予測NNモデル及びファインチューニング済ユーザー予測NNモデルに使用される文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データを含む学習データの実施形態を説明するための図である。本実施形態では、学習データは、過去のシナリオの文章、文章のタイプ、及びターゲットユーザーデータを含む。
【0054】
図8に示された表において、文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データが登録される。例えば、表のB欄にシナリオの文章、F欄に文章のタイプが文章タイプタスク予測学習データとして表示している。本実施形態では、タイプは値段優位(商品の値段が安いことを強調するシナリオ)、効果優位(商品の効果が高いことを強調するシナリオ)、インフルエンサー優位(商品を有名人が使っていることを強調するシナリオ)、CV値優位(一度購入した商品を再度購入することを薦めるシナリオ)等4種類に分類している。一方、図12に示された表において、ユーザータイプタスク予測学習データが登録される。例えば、A欄は選択肢の一覧、B欄はそれを選んだユーザー数、C欄はそのうちコンバージョン(CV)したユーザー数、D欄以降は各シナリオでコンバージョンしたユーザー数を示している。さらに、それぞれのシナリオ文章のタイプを読み取る。以上のデータを組み合わせることにより、それぞれの選択肢を選んだユーザーが、どのタイプの文章でコンバージョンしたか、その確率を計算することができる。これがユーザータイプタスク予測学習データとなる。なお、それらのデータの収集、分類、格納については、既存のデータ収集・処理手法のいずれかによって行っても構わない。
【0055】
図13は、配布用コンテンツの提供の全サービスの流れを説明するための図である。
最新の文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データを学習データとして、事前学習済タイプ予測NNモデル及び事前学習済ユーザー予測NNモデルのファインチューニングを行う。
配布用文章を送信するターゲットを選ぶために、ファインチューニング済タイプ予測NNモデル及びファインチューニング済ユーザー予測NNモデルを使って、各ターゲットユーザーが過去に選んだ選択肢からどの配布用文章を送信すると最もコンバージョンしやすいかを予測して選ぶ。
以上のプロセスにより選ばれた、それぞれのターゲットユーザーが最もコンバージョンしやすい配布用文章を、各ターゲットユーザーに送信する。
【0056】
特筆すべきは、送信後、各ユーザーが読んだシナリオ、シナリオの中で選んだ選択肢、どのシナリオでコンバージョンに至ったかのデータは、サーバーに残り、次の学習データとして使用されてもよい。また、本実施形態に係るコンテンツ提供方法は、クライアントの希望に応じて、他の目的を達するために配布用文章を提供しても可能である。例えば、別の実施形態において、CVRを向上させる目標を、顧客生涯価値(LTV)の伸びとすれば、例えば、上記実施形態におけるコンテンツ提供方法に加えて、例えば、ターゲットユーザーのランディングページへのアクセス率が高い、配布用文章(例えばプッシュ通知)を送るタイミングを予測するためのNNモデルをさらに利用するなど、様々な目標を果たすことが可能である。
【0057】
本発明のもう1つの側面として、情報処理装置が提供される。情報処理装置の処理器は、例えば、上述の図1、10を参照して説明したコンテンツ生成方法及びコンテンツ提供方法、及びそれらの各ステップの操作及び/又は処理を行い、類似した効果を実現するように構成されても良いが、ここでは、その詳しい説明を省略する。また、処理器が使用するNNモデルは、上述の図4、11を参照して説明したモデルのアーキテクチャの最適化のための例示的処理により取得されても良い。
【0058】
図14は、本発明の実施例におけるコンテンツ生成方法、コンテンツ提供方法及び情報処理装置を実現し得るハードウェア構成(汎用マシン)1400の構造図である。
【0059】
汎用マシン1400は、例えば、コンピュータシステムであっても良い。なお、汎用マシン1400は、例示に過ぎず、本発明による方法及び装置の応用範囲又は機能について限定しない。また、汎用マシン1400は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせに依存しない。
【0060】
図14では、中央処理装置(CPU)1401は、ROM1402に記憶されているプログラム又は記憶部1408からRAM1403にロードされているプログラムに基づいて各種の処理を行う。RAM1403では、ニーズに応じて、CPU1401が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU1401、ROM1402及びRAM1403は、バス1404を経由して互いに接続される。入力/出力インターフェース1405もバス1404に接続される。
【0061】
また、入力/出力インターフェース1405には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部1406、液晶表示器(LCD)などのような表示器及びスピーカーなどを含む出力部1407、ハードディスクなどを含む記憶部1408、ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む通信部1409である。通信部1409は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。ドライブ1410は、ニーズに応じて、入力/出力インターフェース1405に接続されても良い。取り外し可能な媒体1411、例えば、半導体メモリなどは、必要に応じて、ドライブ1410にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部1408にインストールすることができる。
【0062】
また、本発明は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリーする、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【0063】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【0064】
また、上述の方法における各操作(処理)は、各種のマシン可読記憶媒体に記憶されているコンピューター実行可能なプログラムの方式で実現することもできる。
【0065】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を逸脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【符号の説明】
【0066】
40 ファインチューニング済NN
401 入力層
402 隠れ層
403 出力層
1100 タイプ予測NN
1101 入力層
1102 隠れ層
1103 出力層
1400 汎用マシン
1401 中央処理装置
1402 ROM
1403 RAM
1404 バス
1405 入力/出力インターフェース
1406 入力部
1407 出力部
1408 記憶部
1409 通信部
1410 ドライブ
1411 取り外し可能な媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
【手続補正書】
【提出日】2022-12-06
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】変更
【補正の内容】
【0018】
ステップS101:タスク学習データによって、事前学習済GPTモデル及び事前学習済BERTモデルのファインチューニングを行う;
ステップS103:タスク予測学習データによって、コンバージョンレートを予測するための事前学習済NN(ニューラルネットワーク)モデルのファインチューニングを行う;
ステップS105:タスク学習データの文章から抽出した書き出しをファインチューニング済GPTモデルに与えて、文章を生成させる;
ステップS107:ステップS105で生成した文章を、ファインチューニング済BERTモデルに入力して分散表現を取り出し、ステップS105で抽出する前のタスク学習データの文章の分散表現とのコサイン類似度が高いものを基礎コンテンツ(基礎文章)として抽出する;
ステップS109:ステップS107で抽出した基礎文章をファインチューニング済BERTモデルに入力し単語をランダムに隠し代わりの候補を挙げて推敲文章を生成する;
ステップS111:ファインチューニング済NNモデルによって、ステップS109に生成した推敲文章のコンバージョンレートを予測して、コンバージョンレートが上昇する推敲コンテンツ(推敲文章)の候補のみを残して、その候補を新たな基礎文章と見做してファインチューニング済BERTモデルにフィードバックする;
ステップS113:ステップS111において、推敲文章のコンバージョンレートの上昇が収束したかを判断し、コンバージョンレートの上昇が収束したと判断する場合、ステップS115に移行し、コンバージョンレートの上昇が収束していないと判断する場合、ステップS109に戻す。
ステップS115:推敲文章を配布用コンテンツ(配布用文章)として出力する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0041
【補正方法】変更
【補正の内容】
【0041】
図7では、本実施形態のタスク学習データに含まれる、訴求情報をインターネット検索して得た文章の一例を示す説明図である。本発明のコンテンツ生成方法で作られた文章の表現をさらに豊かにするために、訴求情報から得られたいくつかのキー情報によって、インターネット検索を行い、例えば、ランキング上位10サイトの文章を抽出して、訴求情報をインターネット検索して得た文章として使える。ここでは、訴求情報をインターネット検索して得た文章をさらに洗練するために、事前学習済BERTモデルの分散表現を使い、もともと訴求情報に含まれる文章の分散表現とのコサイン類似度が高いもの、例えば、コサイン類似度が特定の閾値以上のものを選ぶようにしてもよい。本実施形態では、特定の閾値が0.9であることが好ましい。なお、訴求情報をインターネット検索して得た文章を、訴求情報に係る定型文に換えてもよいが、最新の文章表現から離れる場合があるため、好ましくない。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0042
【補正方法】変更
【補正の内容】
【0042】
続いて、図8を参照されたい。図8は、NNモデルに使用されるタスク予測学習データの実施形態を説明するための図である。本実施形態では、タスク予測学習データは、過去のシナリオ文章とコンバージョンレートの関連で構成されたデータである。例えば、図8に示した表において、B欄はシナリオ文章、E欄はそのシナリオ文章を読んだ人数、G欄は購入(CV)した人数を表示している。A欄は文章や購入画面の識別番号、C欄はその文章(や購入画面)の前に読まれた文章の識別番号を表示している。例えば、第2列の文章を読んだのは593人、その中で購入したのは(第3列に表示されているように)38人なので、コンバージョンレートは38/593=6.41%となる。シナリオ文章が複数の文章で構成されている場合は、それらの文章を繋げたものを使用して訓練する。なお、過去のシナリオ文章とコンバージョンレートとそれらの対応的な関連とを複数取得できれば、このようなデータを取得する手法またはデータの表現形式では、既存のいずれの情報処理方法で行っても構わない。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0051
【補正方法】変更
【補正の内容】
【0051】
なお、当業者であれば、NNモデルの原理、構造及び具体的な細部を理解することができるはずであるため、以下、後続の説明の便宜のため、本発明に係る事前学習済タイプ予測NNモデル及び事前学習済ユーザー予測NNモデルをファインチューニングする実例を簡単に説明する。1つの例では、まず、事前学習済タイプ予測NNモデルのファインチューニングでは、図11に示す左側からタイプ予測NN1100の入力層1101に、BERTモデルによる文章タイプタスク予測学習データにおける予測文章のBERT分散表現(最深層の文頭[CLS]の分散表現のみを使う)を入力し、文章タイプタスク予測学習データにおけるタイプの個数(ここでは4個)のニューロンで構成された出力層1103から、予測文章がそれぞれのタイプである確率(値は0と1の間)を出力するように訓練される。同じように、事前学習済ユーザー予測NNモデルのファインチューニングでは、図11に示す左側からタイプ予測NN1100の入力層1101に、ユーザータイプタスク予測学習データを入力し、ユーザータイプタスク予測学習データにおけるタイプの個数(ここでは4個)のニューロンで構成された出力層1103から、ターゲットユーザーがそれぞれのタイプのシナリオでコンバージョンする確率(コンバージョンレート、値は0と1の間)を出力するよう訓練される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0054
【補正方法】変更
【補正の内容】
【0054】
図8に示された表において、文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データが登録される。例えば、表のB欄にシナリオの文章、F欄に文章のタイプが文章タイプタスク予測学習データとして表示している。本実施形態では、タイプは値段優位(商品の値段が安いことを強調するシナリオ)、効果優位(商品の効果が高いことを強調するシナリオ)、インフルエンサー優位(商品を有名人が使っていることを強調するシナリオ)、コンバージョンレート優位(一度購入した商品を再度購入することを薦めるシナリオ)等4種類に分類している。一方、図12に示された表において、ユーザータイプタスク予測学習データが登録される。例えば、A欄は選択肢の一覧、B欄はそれを選んだユーザー数、C欄はそのうちコンバージョン(CV)したユーザー数、D欄以降は各シナリオでコンバージョンしたユーザー数を示している。さらに、それぞれのシナリオ文章のタイプを読み取る。以上のデータを組み合わせることにより、それぞれの選択肢を選んだユーザーが、どのタイプの文章でコンバージョンしたか、その確率を計算することができる。これがユーザータイプタスク予測学習データとなる。なお、それらのデータの収集、分類、格納については、既存のデータ収集・処理手法のいずれかによって行っても構わない。
【手続補正6】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
訴求情報を取得する取得ステップと、
タスク学習データで機械学習を実行した訓練済みのGPTモデルによって、前記訴求情報に基づいて基礎コンテンツを生成する基礎コンテンツ生成ステップと、
タスク学習データで機械学習を実行した訓練済みのBERTモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行う推敲ステップと、
タスク予測学習データによって訓練した訓練済みのNN(ニューラルネットワーク)モデルで前記推敲ステップによる推敲した文章のコンバージョンレートを予測し、前記コンバージョンレートを高める前記推敲した文章のみを残して、それを新たな基礎コンテンツと見做して、前記推敲ステップにフィードバックするフィードバックステップと、
前記推敲ステップと前記フィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する配布用コンテンツ生成ステップと、
をコンピューターに実行させることを特徴とする、コンテンツ生成方法。
【請求項2】
前記タスク学習データは、チャットボットによるターゲット対象との会話内容を含む、過去のシナリオデータ、前記訴求情報、または前記訴求情報をネットワークで検索して得られたランキング上位のコンテンツを含む、請求項1に記載のコンテンツ生成方法。
【請求項3】
前記NNモデルの訓練に事前学習済BERTモデルによるタスク予測学習データの分散表現が使用され、前記タスク予測学習データは、前記過去のシナリオデータとコンバージョンレートの関連で構成されたデータである、請求項2に記載のコンテンツ生成方法。
【請求項4】
前記タスク学習データは、インターネットから抽出したデータのうち、前記過去のシナリオデータとコサイン類似度が一定の閾値を超えたコンテンツを含む、請求項2に記載のコンテンツ生成方法。
【請求項5】
前記タスク学習データは、インターネットから抽出したデータ、または予めデータベースに用意されたデータを含み、
前記過去のシナリオデータとコサイン類似度が一定の閾値を超えたコンテンツは、訓練済みのBERTモデルによってコンテンツのコサイン類似度の測定を行って抽出する、請求項4に記載のコンテンツ生成方法。
【請求項6】
前記タスク予測学習データは少なくとも訴求人が伝えたい思想を含むコンテンツ、及び伝えたいターゲット対象の統計性のデータを含む、請求項1~5の何れか1項に記載のコンテンツ生成方法。
【請求項7】
前記配布用コンテンツは、チャットボットによる会話に使用されるメッセージ、またはプッシュ通知用メッセージである、請求項1~5の何れか1項に記載のコンテンツ生成方法。
【請求項8】
コンテンツのタイプを予測する訓練済みのNNモデルによって、請求項1~7の何れか1項に記載のコンテンツ生成方法で生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けるステップと、
ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのNNモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けるステップと、
前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供するステップと、
をコンピューターに実行させることを特徴とするコンテンツ提供方法。
【請求項9】
訴求情報を取得し、
タスク学習データで機械学習を実行した訓練済みのGPTモデルによって、前記訴求情報に基づいて基礎コンテンツを生成し、
タスク学習データで機械学習を実行した訓練済みのBERTモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行い、
タスク予測学習データによって訓練した訓練済みのNN(ニューラルネットワーク)モデルによって、前記BERTモデルで推敲した文章のコンバージョンレートを予測し、該文章の前記コンバージョンレートを高める推敲した文章のみを残して、それを新たな基礎コンテンツと見做して、前記BERTモデルの推敲にフィードバックし、
前記BERTモデルの推敲とNNモデルのフィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する、
処理をコンピューターに実行させることを特徴とするコンテンツ生成プログラム。
【請求項10】
コンテンツのタイプを予測する訓練済みのNNモデルによって、請求項9に記載のプログラムで生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けて、
ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのNNモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けて、
前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供する、
処理をコンピューターに実行させることを特徴とするコンテンツ提供プログラム。