ホーム > 特許ランキング > 楽天グループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-03
(45)【発行日】2024-09-11
(54)【発明の名称】データ拡張システム、データ拡張方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240904BHJP
G06N 3/08 20230101ALI20240904BHJP
G06F 40/295 20200101ALI20240904BHJP
【ＦＩ】
G06N20/00
G06N3/08
G06F40/295
【請求項の数】
16
(21)【出願番号】P 2023091581
(22)【出願日】2023-06-02
(65)【公開番号】P2024007348
(43)【公開日】2024-01-18
【審査請求日】2023-06-02
(31)【優先権主張番号】63/367,323
(32)【優先日】2022-06-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】趙 辰
(72)【発明者】
【氏名】中山 祐輝
(72)【発明者】
【氏名】村上 浩司
【審査官】和田 財太
(56)【参考文献】
【文献】国際公開第２０２１／０３８８８６（ＷＯ，Ａ１）
【文献】特開２０２０－１４０６７６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ３／０８
Ｇ０６Ｆ ４０／００
(57)【特許請求の範囲】
【請求項1】
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する取得部と、前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルであって、潜在変数が従う確率密度関数が標準正規分布に従うことによって、確率的又はランダムに出力が決まるＶＡＥ（Variational Auto Encoder）モデルである前記第１モデルの学習を実行する第１学習部と、
学習済みの前記ＶＡＥモデルにより確率的又はランダムに出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部と、
を含み、
前記ＶＡＥモデルは、
前記学習時に入力される前記第１検索クエリから、正規分布と仮定されたＬＳＴＭ（Long Short Term Memory）のセル状態の配列へのマッピングを学習するエンコーダと、
前記配列内の前記セル状態の平均値から、前記学習時に出力される第３検索クエリへのマッピングを学習するデコーダと、
を含み、
前記ＶＡＥモデルは、前記正規分布からサンプリングした前記配列の平均値を開始セル状態にすることによって、前記デコーダで前記第２検索クエリを生成し、
前記第１学習部は、前記第１検索クエリが前記ＶＡＥモデルに入力された場合に、前記平均値から計算される埋め込み表現が、前記第３検索クエリと同じ前記第１検索クエリの埋め込み表現に近づくように、前記平均値から前記第３検索クエリへのマッピングを前記デコーダが学習するように、前記学習を実行する、
データ拡張システム。
【請求項2】
過去に実行された検索で実際に入力された複数の第４検索クエリであって、第１固有表現を含む前記第４検索クエリと、前記第１固有表現を含まない前記第４検索クエリと前記第１固有表現以外の他の固有表現を含む前記第４検索クエリとの少なくとも一方と、を含む前記複数の第４検索クエリの各々と、前記第１固有表現に関する辞書データベースと、を比較する比較部と、
前記辞書データベースとマッチした前記第４検索クエリを、第１検索クエリとして取得する取得部と、
前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルの学習を実行する第１学習部と、
学習済みの前記第１モデルにより出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部と、
を含むデータ拡張システム。
【請求項3】
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリであって、前記第１固有表現に関するタグがそれぞれに関連付けられた複数の文字を含む前記第１検索クエリを取得する取得部と、
前記第１検索クエリに含まれる前記複数の文字の各々に関連付けられた前記タグに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルの学習を実行する第１学習部と、
学習済みの前記第１モデルにより出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部と、
を含むデータ拡張システム。
【請求項4】
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリであって、前記第１固有表現に関する第１属性が関連付けられた前記第１検索クエリを取得する取得部と、
前記第１検索クエリと、前記第１属性と、に基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルの学習を実行する第１学習部と、
学習済みの前記第１モデルにより出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部と、
を含むデータ拡張システム。
【請求項5】
前記データ拡張システムは、前記第２検索クエリに基づいて、所定の条件が満たされるか否かを判定する判定部を更に含み、前記データ拡張部は、前記所定の条件が満たされると判定された場合に、前記データ拡張を実行する、
請求項１～４の何れかに記載のデータ拡張システム。
【請求項6】
前記判定部は、前記第２検索クエリに含まれる前記第２固有表現が所定の文字数以上であるか否かを判定することによって、前記所定の条件が満たされるか否かを判定する、請求項５に記載のデータ拡張システム。
【請求項7】
前記判定部は、前記第２検索クエリに含まれる前記第２固有表現の文字の種類に応じた前記所定の条件が満たされるか否かを判定する、請求項５に記載のデータ拡張システム。
【請求項8】
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する取得部と、
前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルの学習を実行する第１学習部と、
学習済みの前記第１モデルにより出力された前記第２検索クエリに基づいて、訓練データが学習済みの第２モデルが作成された後にユーザが入力した第５検索クエリに含まれる第５固有表現を認識する前記第２モデルの前記訓練データを拡張することによって、データ拡張を実行するデータ拡張部と、
を含むデータ拡張システム。
【請求項9】
前記データ拡張システムは、前記訓練データが学習済みの前記第２モデルに基づいて、前記第２固有表現に関する第２属性を推定する属性推定部を更に含み、前記データ拡張部は、前記第２検索クエリと、前記第２属性と、に基づいて、前記訓練データを拡張する、
請求項８に記載のデータ拡張システム。
【請求項10】
前記訓練データは、前記第１検索クエリと、前記第１固有表現に関する第１属性と、を含み、前記属性推定部は、前記第１検索クエリ及び前記第１属性を含む前記訓練データが学習済みの前記第２モデルに基づいて、前記第２属性を推定する、
請求項９に記載のデータ拡張システム。
【請求項11】
前記データ拡張システムは、前記データ拡張により出力された新たな訓練データに基づいて、学習済みの前記第２モデルの追加学習を実行する追加学習部を更に含む、請求項９に記載のデータ拡張システム。
【請求項12】
前記データ拡張部は、前記第２検索クエリに基づいて、前記第１モデルとは異なる第３モデルの訓練データを拡張することによって、前記データ拡張を実行する、請求項１～４の何れかに記載のデータ拡張システム。
【請求項13】
前記取得部は、過去における特定の期間に実行された前記検索で実際に入力された前記第１検索クエリを取得する、請求項１～４の何れかに記載のデータ拡張システム。
【請求項14】
前記検索は、電子商取引サービスにおける商品の検索であり、前記第１検索クエリは、前記電子商取引サービスで実際に入力された検索クエリであり、
前記第２検索クエリは、仮想的な商品に関する前記第２固有表現を含む、
請求項１～４の何れかに記載のデータ拡張システム。
【請求項15】
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得し、前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルであって、潜在変数が従う確率密度関数が標準正規分布に従うことによって、確率的又はランダムに出力が決まるＶＡＥ（Variational Auto Encoder）モデルである前記第１モデルの学習を実行し、
学習済みの前記ＶＡＥモデルにより確率的又はランダムに出力された前記第２検索クエリに基づいて、データ拡張を実行する、
データ拡張方法であって、
前記ＶＡＥモデルは、
前記学習時に入力される前記第１検索クエリから、正規分布と仮定されたＬＳＴＭ（Long Short Term Memory）のセル状態の配列へのマッピングを学習するエンコーダと、
前記配列内の前記セル状態の平均値から、前記学習時に出力される第３検索クエリへのマッピングを学習するデコーダと、
を含み、
前記ＶＡＥモデルは、前記正規分布からサンプリングした前記配列の平均値を開始セル状態にすることによって、前記デコーダで前記第２検索クエリを生成し、
前記データ拡張方法は、前記第１検索クエリが前記ＶＡＥモデルに入力された場合に、前記平均値から計算される埋め込み表現が、前記第３検索クエリと同じ前記第１検索クエリの埋め込み表現に近づくように、前記平均値から前記第３検索クエリへのマッピングを前記デコーダが学習するように、前記学習を実行する、
データ拡張方法。
【請求項16】
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する取得部、前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルであって、潜在変数が従う確率密度関数が標準正規分布に従うことによって、確率的又はランダムに出力が決まるＶＡＥ（Variational Auto Encoder）モデルである前記第１モデルの学習を実行する第１学習部、
学習済みの前記ＶＡＥモデルにより確率的又はランダムに出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部、
としてコンピュータを機能させ、
前記ＶＡＥモデルは、
前記学習時に入力される前記第１検索クエリから、正規分布と仮定されたＬＳＴＭ（Long Short Term Memory）のセル状態の配列へのマッピングを学習するエンコーダと、
前記配列内の前記セル状態の平均値から、前記学習時に出力される第３検索クエリへのマッピングを学習するデコーダと、
を含み、
前記ＶＡＥモデルは、前記正規分布からサンプリングした前記配列の平均値を開始セル状態にすることによって、前記デコーダで前記第２検索クエリを生成し、
前記第１学習部は、前記第１検索クエリが前記ＶＡＥモデルに入力された場合に、前記平均値から計算される埋め込み表現が、前記第３検索クエリと同じ前記第１検索クエリの埋め込み表現に近づくように、前記平均値から前記第３検索クエリへのマッピングを前記デコーダが学習するように、前記学習を実行する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ拡張システム、データ拡張方法、及びプログラムに関する。
【背景技術】
【0002】
従来、自然言語処理の分野では、文字列に含まれる固有表現を認識（抽出）する固有表現認識タスク（固有表現抽出タスク）が知られている。例えば、特許文献１には、辞書データベースに定義することが困難な固有表現を認識するために、機械学習の手法を利用して、種々の固有表現を含む訓練データを、固有表現を認識するモデルに学習させることが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－１４０６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年では、検索クエリに含まれる固有表現を認識することも検討されている。しかしながら、特許文献１を利用して検索クエリに含まれる固有表現を認識しようとすると、大量の訓練データを人手で用意する必要があるので、非常に手間がかかる。この点は、訓練データを用意する目的以外の他の目的で、固有表現を含む検索クエリを用意する場合も同様である。このため、従来の技術では、固有表現を含む検索クエリを用意する手間がかかっていた。
【0005】
本開示の目的の１つは、固有表現を含む検索クエリを用意する手間を省くことである。
【課題を解決するための手段】
【0006】
本開示に係るデータ拡張システムは、過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する取得部と、前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルの学習を実行する第１学習部と、学習済みの前記第１モデルにより出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部と、を含む。
【図面の簡単な説明】
【0007】
【図1】データ拡張システムの全体構成の一例を示す図である。
【図2】ユーザが検索サービスを利用する様子の一例を示す図である。
【図3】ＶＡＥモデルの学習フェーズの一例を示す図である。
【図4】学習済みのＶＡＥモデルの汎化フェーズの一例を示す図である。
【図5】データ拡張システムで実現される機能の一例を示す図である。
【図6】検索対象データベースの一例を示す図である。
【図7】検索履歴データベースの一例を示す図である。
【図8】辞書データベースの一例を示す図である。
【図9】ＮＥＲモデルの訓練データベースの一例を示す図である。
【図10】ＶＡＥモデルの訓練データベースの一例を示す図である。
【図11】第１検索クエリに含まれる個々の文字に関連付けられたタグの一例を示す図である。
【図12】データ拡張システムで実行される処理の一例を示すフロー図である。
【発明を実施するための形態】
【0008】
［１．データ拡張システムの全体構成］
本開示に係るデータ拡張システムの実施形態の一例を説明する。本実施形態では、データ拡張システムを検索サービスに利用する場合を例に挙げる。検索サービスは、ユーザが入力した検索クエリに基づいて、ウェブページを検索するサービスである。データ拡張システム１は、検索サービス以外の他の任意の目的で利用可能である。他の目的の一例は、後述の変形例で説明する。
本開示に係るデータ拡張システムの実施形態の一例を説明する。本実施形態では、データ拡張システムを検索サービスに利用する場合を例に挙げる。検索サービスは、ユーザが入力した検索クエリに基づいて、ウェブページを検索するサービスである。データ拡張システム１は、検索サービス以外の他の任意の目的で利用可能である。他の目的の一例は、後述の変形例で説明する。
【0009】
図１は、データ拡張システムの全体構成の一例を示す図である。例えば、データ拡張システム１は、検索サーバ１０、ユーザ端末２０、及び学習端末３０を含む。検索サーバ１０、ユーザ端末２０、及び学習端末３０の各々は、インターネット又はＬＡＮ等のネットワークＮに接続可能である。
【0010】
検索サーバ１０は、検索を実行するサーバコンピュータである。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。
【0011】
ユーザ端末２０は、検索サービスを利用するユーザのコンピュータである。例えば、ユーザ端末２０は、パーソナルコンピュータ、スマートフォン、タブレット端末、又はウェアラブル端末である。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様である。操作部２４は、タッチパネル又はマウス等の入力デバイスである。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイである。
【0012】
学習端末３０は、データ拡張を実行するコンピュータである。データ拡張とは、予め用意された第１データに基づいて、第１データとは異なる第２データを新たに生成することである。第２データは、第１データと似た内容を含む。例えば、第２データは、第１データの少なくとも一部が変更される。後述の第１検索クエリは、第１データに相当する。後述の第２検索クエリは、第２データに相当する。本実施形態では、機械学習モデルを構築するための訓練データに関するデータ拡張を例に挙げる。
【0013】
例えば、学習端末３０は、パーソナルコンピュータ、サーバコンピュータ、又はタブレット端末である。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様である。
【0014】
なお、記憶部１２，２２，３２に記憶されるプログラムは、ネットワークＮを介して供給されてもよい。また、各コンピュータには、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、メモリカードスロット）と、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）と、の少なくとも一方が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラムが、読取部及び入出力部の少なくとも一方を介して供給されてもよい。
【0015】
また、データ拡張システム１は、少なくとも１つのコンピュータを含めばよく、図１の例に限られない。例えば、データ拡張システム１は、検索サーバ１０及びユーザ端末２０を含まずに、学習端末３０だけを含んでもよい。この場合、検索サーバ１０及びユーザ端末２０は、データ拡張システム１の外部に存在する。例えば、データ拡張システム１は、学習端末３０と、検索サーバ１０及びユーザ端末２０とは異なる他のコンピュータと、を含んでもよい。
【0016】
［２．データ拡張システムの概要］
図２は、ユーザが検索サービスを利用する様子の一例を示す図である。例えば、ユーザが検索サーバ１０にアクセスすると、検索サービスのトップページＰ１が表示部２５に表示される。ユーザは、トップページＰ１の入力フォームＦ１０に、検索クエリを入力する。ユーザは、任意の文字列を、検索クエリとして入力できる。ユーザは、単語を分割するためのスペースを検索クエリに含めることもできる。
図２は、ユーザが検索サービスを利用する様子の一例を示す図である。例えば、ユーザが検索サーバ１０にアクセスすると、検索サービスのトップページＰ１が表示部２５に表示される。ユーザは、トップページＰ１の入力フォームＦ１０に、検索クエリを入力する。ユーザは、任意の文字列を、検索クエリとして入力できる。ユーザは、単語を分割するためのスペースを検索クエリに含めることもできる。
【0017】
例えば、ユーザがボタンＢ１１を選択すると、検索サーバ１０は、ユーザが入力した検索クエリに基づいて、ウェブページの検索を実行する。検索自体は、公知の種々の検索エンジンを利用可能である。検索サーバ１０は、検索クエリにヒットした複数のウェブページを、検索結果として取得してユーザ端末２０に送信する。ユーザ端末２０が検索サーバ１０から検索結果を受信すると、検索結果ページＰ２が表示部２５に表示される。本実施形態では、英語の検索クエリを例に挙げるが、データ拡張システム１は、日本語又は中国語といった他の任意の言語に対応可能である。
【0018】
図２の例では、「ｗｈｉｔｅ ｗｉｎｄ ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」といった検索クエリが入力されている。「ｗｈｉｔｅ ｗｉｎｄ」は、本実施形態の中の世界だけで存在するアパレルブランドの名前とする。「ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」は、靴の種類である。ユーザは、「ｗｈｉｔｅ ｗｉｎｄ」社が販売する「ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」のウェブページを検索したい、といった意図で、図２の検索クエリを入力したと考えられる。
【0019】
しかしながら、検索クエリに含まれる単語には、種々の意味が存在する。このため、検索サーバ１０が、検索クエリに含まれる文字列だけを利用して検索を実行しても、ユーザが意図しない検索結果ページＰ２が表示される可能性がある。例えば、単語「ｗｈｉｔｅ」は、色の名前でもある。「ｅｎｇｉｎｅｅｒ」といった他のアパレルブランドが存在したとすると、単語「ｅｎｇｉｎｅｅｒ」は、他のアパレルブランドの名前でもある。これらの単語の意味により、ユーザが意図しないウェブページが検索される可能性がある。
【0020】
そこで、検索サーバ１０は、機械学習の手法を利用したＮＥＲ（Named Entity Recognition）モデルＭｎｅｒを利用して、検索クエリに含まれる固有表現と、この固有表現の属性と、を認識する。固有表現自体は、固有表現認識タスク（固有表現抽出タスク）において認識の対象となる種々の表現であってよい。例えば、固有表現は、固有名詞、色、サイズ、素材、日付、数量、又は金額といった表現である。
【0021】
属性は、固有表現の分類である。固有表現の種類によっては、属性は、カテゴリ又はジャンルと呼ばれることもある。例えば、属性は、「Ｂｒａｎｄ」、「Ｃｏｌｏｒ」、「Ｓｉｚｅ」、又は「Ｍａｔｅｒｉａｌ」といったように、何らかの観点で固有表現を分類可能な情報であればよい。固有表現は、少なくとも１つの属性を有する。固有表現は、属性の具体的な値である属性値ということもできる。
【0022】
なお、ＮＥＲモデルＭｎｅｒで利用する機械学習の手法自体は、固有表現認識タスクで利用されている種々の手法を利用可能である。例えば、機械学習の手法は、教師有り学習、半教師有り学習、又は教師無し学習の何れであってもよい。例えば、ＮＥＲモデルＭｎｅｒは、ニューラルネットワーク、ＢＥＲＴ、ＣｈａｒａｃｔｅｒＢＥＲＴ、Ｔｒａｎｓｆｏｒｍｅｒ、又はその他の手法を利用したモデルであってもよい。
【0023】
例えば、その他の手法としては、Ｓｐａｒｓｅ Ｌｉｎｅａｒ ＯＶＲ（ｏｎｅ－ｖｅｒｓｕｓ－ｒｅｓｅｔ）モデル（例えば、ＤｉＳＭＥＣ、ＰｒｏＸＭＬ、ＰＰＤＳｐａｒｓｅ等）、Ｐａｒｔｉｔｉｏｎｉｎｇモデル（例えば、ｅＸｔｒｅｍｅ－Ｔｅｘｔ、Ｂｏｎｓａｉ、ＮＡＰＫＩＮＸＣ、Ｐａｒａｂｅｌ等）、Ｅｍｂｅｄｄｉｎｇモデル（グラフベースモデルとも呼ばれる。例えば、ＳＬＩＣＥ、ＡｎｎｅｘＭＬ等）、又はＴｒａｎｓｆｏｒｍｅｒベースのモデル（例えば、ＸＲ－Ｔｒａｎｓｆｏｒｍｅｒ、ＬｉｇｈｔＸＭＬ等）であってもよい。
【0024】
例えば、検索サーバ１０は、ＮＥＲモデルＭｎｅｒに対し、検索クエリを入力する。ＮＥＲモデルＭｎｅｒは、当該入力された検索クエリに基づいて、検索クエリの特徴量（例えば、埋め込み表現を示す多次元ベクトル）を計算する。ＮＥＲモデルＭｎｅｒは、当該計算された特徴量に基づいて、検索クエリに含まれる固有表現と、この固有表現の属性と、を出力する。これらの一連の処理自体は、公知のＮＥＲモデルＭｎｅｒの処理を利用可能である。
【0025】
図２の例では、検索クエリから、固有表現「ｗｈｉｔｅ ｗｉｎｄ」と、この固有表現の属性「Ｂｒａｎｄ」と、が認識される。検索対象となるウェブページに、固有表現及び属性のペアがインデックスとして関連付けられていれば、検索クエリから認識した固有表現及び属性のペアとマッチするウェブページを検索することによって、ユーザの意図した検索結果を検索結果ページＰ２に表示できる。
【0026】
もし仮に、検索クエリ内の「ｗｈｉｔｅ」が固有表現として認識され、固有表現「ｗｈｉｔｅ」の属性「ｃｏｌｏｒ」が認識された場合、「ｗｈｉｔｅ ｗｉｎｄ」社とは関係のない白い色の靴が検索結果ページＰ２に表示される可能性がある。この点、ＮＥＲモデルＭｎｅｒは、検索クエリ内の単語の並びによって、このような認識をせずに、固有表現「ｗｈｉｔｅ ｗｉｎｄ」と、この固有表現の属性「Ｂｒａｎｄ」と、を認識できるようになっている。
【0027】
例えば、ＮＥＲモデルＭｎｅｒには、訓練用の検索クエリと、正解となる固有表現及び属性と、のペアである訓練データが学習される。ＮＥＲモデルＭｎｅｒの精度を高めようとすると、大量の訓練データを用意する必要があるので、非常に手間がかかる。そこで、データ拡張システム１は、予め用意された訓練データに基づいて、新たな訓練データを生成することによって、データ拡張を実現する。
【0028】
本実施形態では、ＶＡＥ（Variational Auto Encoder）を利用して、データ拡張を実現する場合を例に挙げる。ＶＡＥは、確率モデルのパラメータを最尤推定する手法の１つであるＥＭ（expectation-maximization）アルゴリズムと、潜在変数を伴うモデルにおける解法の１つである変分ベイズと、を融合させた手法である。ＶＡＥ自体は、種々の手法を適用可能であり、例えば、Kingmaらにより提案された手法（Auto-Encoding Variational Bayes, https://arxiv.org/abs/1312.6114）であってもよいし、この手法から派生した他の手法であってもよい。
【0029】
更に、本実施形態では、ＶＡＥの一例として、ＬＳＴＭ（Long Short Term Memory）に基づくＶＡＥを説明する。ＬＳＴＭは、長期的な依存関係を学習可能なニューラルネットワークの一種である。例えば、ＬＳＴＭは、記憶セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。記憶セルは、ある期間において値を記憶するセルである。入力ゲート、出力ゲート、及び忘却ゲートは、記憶セルに入力される情報と、記憶セルから出力される情報と、を制御する。以降、ＶＡＥを利用したデータ拡張のためのモデルを、ＶＡＥモデルという。
【0030】
図３は、ＶＡＥモデルの学習フェーズの一例を示す図である。本実施形態では、ＢｉＬＳＴＭを利用したＶＡＥモデルＭｖａｅを例に挙げる。例えば、ＶＡＥモデルＭｖａｅは、エンコーダｆｅｎｃと、デコーダｆｄｅｃと、を含む。例えば、エンコーダｆｅｎｃ及びデコーダｆｄｅｃの各々は、少なくとも１つの隠れ層を含む。図３の例では、隠れ層を２つとしているが、隠れ層の数は、１つ又は３つ以上であってもよい。隠れ層は、任意のサイズであってよく、例えば、１０２４であってもよいし、１０２４よりも大きくてもよいし小さくてもよい。
【0031】
以降の説明では、検索クエリを区別する必要がある場合には、下記のように、第１検索クエリ～第５検索クエリといった名前によって区別する。第１検索クエリ～第５検索クエリを特に区別する必要がない場合には、単に検索クエリという。また、第１検索クエリ～第５検索クエリの各々に含まれる固有表現及び属性を、それぞれ第１固有表現～第５固有表現及び第１属性～第５属性という。第１固有表現～第５固有表現を特に区別する必要がない場合には、単に固有表現という。第１属性～第５属性を特に区別する必要がない場合には、単に属性という。
【0032】
第１検索クエリ：ＶＡＥモデルＭｖａｅの学習時に、ＶＡＥモデルＭｖａｅに入力される検索クエリ。
第２検索クエリ：学習済みのＶＡＥモデルＭｖａｅから出力される検索クエリ。
第３検索クエリ：ＶＡＥモデルＭｖａｅの学習時に、ＶＡＥモデルＭｖａｅから出力される検索クエリ。本実施形態では、第３検索クエリは、第１検索クエリと同じ。
第４検索クエリ：ＮＥＲモデルＭｎｅｒ及びＶＡＥモデルＭｖａｅの学習が実行される前に、検索サービスで実際に入力された検索クエリ。本実施形態では、第４検索クエリは、第１検索クエリになることがある。
第５検索クエリ：学習済みのＮＥＲモデルＭｎｅｒに入力される検索クエリ。第５検索クエリは、将来的に、第１検索クエリになることがある。
第２検索クエリ：学習済みのＶＡＥモデルＭｖａｅから出力される検索クエリ。
第３検索クエリ：ＶＡＥモデルＭｖａｅの学習時に、ＶＡＥモデルＭｖａｅから出力される検索クエリ。本実施形態では、第３検索クエリは、第１検索クエリと同じ。
第４検索クエリ：ＮＥＲモデルＭｎｅｒ及びＶＡＥモデルＭｖａｅの学習が実行される前に、検索サービスで実際に入力された検索クエリ。本実施形態では、第４検索クエリは、第１検索クエリになることがある。
第５検索クエリ：学習済みのＮＥＲモデルＭｎｅｒに入力される検索クエリ。第５検索クエリは、将来的に、第１検索クエリになることがある。
【0033】
エンコーダｆｅｎｃは、学習時に入力される第１検索クエリから、正規分布と仮定されたＬＳＴＭのセル状態の配列へのマッピングを学習する。図３では、第１検索クエリのうち、第１固有表現以外の他の部分を省略しているが、当該他の部分もエンコーダｆｅｎｃに入力されてもよいし、第１検索クエリのうち、当該他の部分が除去されたうえでエンコーダｆｅｎｃに入力されてもよい。即ち、第１検索クエリのうちの第１固有表現だけがエンコーダｆｅｎｃに入力されてもよい。
【0034】
例えば、ＶＡＥモデルＭｖａｅに対し、第１検索クエリが入力されると、第１検索クエリの埋め込み表現が計算される。第１検索クエリの埋め込み表現は、エンコーダｆｅｎｃに入力される。エンコーダｆｅｎｃは、当該入力された埋め込み表現から配列（図３では、パラメータμ，σの文字を囲うボックス。ｎは、配列数を示す任意の自然数である。）へのマッピングを学習する。その際に、ＶＡＥモデルＭｖａｅ全体にわたる多様性を確保するために、ｒｅｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ｔｒｉｃｋｓと呼ばれる置き換えが実行されてもよい。この置き換えの詳細は、先述したKingmaらの論文を参照されたい。
【0035】
デコーダｆｄｅｃは、配列内のセル状態の平均値から、学習時に出力される第３検索クエリへのマッピングを学習する。例えば、デコーダｆｄｅｃは、最終的な出力である第３検索クエリの埋め込み表現を計算するために、配列内のセル状態を取得する。本実施形態では、第３検索クエリが第１検索クエリと同じである場合を説明する。このため、デコーダｆｄｅｃは、配列内のセル状態の平均値から計算される埋め込み表現が、第３検索クエリと同じ第１検索クエリの埋め込み表現に近づくように、平均値から第３検索クエリへのマッピングを学習する。
【0036】
なお、エンコーダｆｅｎｃによる学習と、デコーダｆｄｅｃによる学習と、を実行する手法自体は、ＶＡＥで利用されている種々の手法を利用可能である。パラメータμ，σの配列数も任意の数であってよい。本実施形態では、パラメータμ，σの分布Ｎ（μ，σ）が正規分布Ｎ（０，１）に従う場合を説明するが、分布Ｎ（μ，σ）は、正規分布Ｎ（０，１）以外の他の分布に従ってもよい。ＶＡＥモデルＭｖａｅの学習が繰り返されて学習フェーズが完了すると、学習済みのＶＡＥモデルＭｖａｅの作成が完了し、汎化フェーズに移行する。汎化フェーズでは、学習済みのＶＡＥモデルＭｖａｅを利用して第２検索クエリが生成される。
【0037】
図４は、学習済みのＶＡＥモデルＭｖａｅの汎化フェーズの一例を示す図である。本実施形態の汎化フェーズでは、エンコーダｆｅｎｃは関与しないので、図４ではエンコーダｆｅｎｃを省略する。ＶＡＥモデルＭｖａｅは、正規分布からサンプリングした配列（図４では、分布Ｎ１（μ，σ２）～Ｎｎ（μ，σ２）を囲うボックス）の平均値を開始セル状態にすることによって、デコーダｆｄｅｃで第２検索クエリを生成する。例えば、この平均値は、乱数に基づいて計算される。即ち、第２検索クエリを生成する処理を実行するたびに、内部的に計算される平均値は異なる値となる。このため、学習済みのＶＡＥモデルＭｖａｅから出力される第２検索クエリは、確率的又はランダムに変わる。
【0038】
例えば、第２検索クエリは、第１検索クエリの一部が他の文字に置き換わる。第１検索クエリのどの文字がどの文字に置き換わるかは、デコーダｆｄｅｃの処理によって、確率的又はランダムに変わる。置き換わる文字同士は、ベクトル空間上の埋め込み表現同士の距離が近くてもよい（意味的に似ている文字に置き換わってもよい）し、埋め込み表現同士の距離が近くなくてもよい（意味的に似ていない文字に置き換わってもよい）。第２検索クエリは、第２固有表現だけから構成されてもよいし、第２固有表現と、他の表現と、を含んでもよい。
【0039】
更に、第１検索クエリ内の単語の一部の文字が他の文字に置き換わり、現実には存在しない架空の単語を含む第２検索クエリが生成されてもよい。例えば、第１検索クエリ内の単語「ｗｈｉｔｅ」の「ｈ」と「ｔ」がそれぞれ「ｋ」と「ｊ」に置き換わり、現実には存在しない架空の単語「ｗｋｉｊｅ」を含む第２検索クエリが生成されてもよい。アパレルブランドの名前等の固有名詞は、造語が利用されることがあるので、このような架空の単語だったとしても、データ拡張に有用なことがある。
【0040】
本実施形態では、第２検索クエリは、原則として、過去の検索で実際に入力された第１検索クエリではなく、実在しない仮想的な検索クエリになる。例えば、第２検索クエリは、仮想的なアパレルブランド、仮想的な色、仮想的なサイズ、又は仮想的な素材といった固有表現を含む。ただし、第２検索クエリが、偶然、過去の検索で入力された検索クエリと同じになってもよい。また、第２検索クエリが、偶然、実在する検索クエリになってもよい。
【0041】
図４の例では、第１検索クエリ「ｗｈｉｔｅ ｗｉｎｄ」の埋め込み表現と似た第２検索クエリ「ｂｌｕｅ ｗｉｎｄ」が、ＶＡＥモデルＭｖａｅから出力される。第１検索クエリ「ｇｒｅａｔ ｂｉｇ ｓｐｉｒｉｔ」の埋め込み表現似た第２検索クエリ「ｇｏｏｄ ｂｉｔｔｅｒ ｓｐｉｒｉｔ」が、ＶＡＥモデルＭｖａｅから出力される。第１検索クエリ「ＸＹＺ ｒａｂｏ」の埋め込み表現と似た第２検索クエリ「ＸＹＺ ｉｎｓｔｉｔｕｔｅ」が、ＶＡＥモデルＭｖａｅから出力される。これらの第２検索クエリは、何れも実在しない架空のアパレルブランドであるものとする。
【0042】
図４では、第２検索クエリの一例として、架空のアパレルブランドが示されているが、アパレルブランド以外の他の第１固有表現が第１検索クエリに含まれていれば、ＶＡＥモデルＭｖａｅは、他の第１固有表現と似た第２固有表現を含む第２検索クエリを生成できる。例えば、家電メーカー、レストラン、人名、又は地名を含む第１検索クエリをＶＡＥモデルＭｖａｅに学習させていれば、架空の家電メーカー、レストラン、人名、又は地名を示す第２検索クエリが生成される。例えば、色、サイズ、又は素材の名前を含む第１検索クエリをＶＡＥモデルＭｖａｅに学習させていれば、架空の色、サイズ、又は素材を示す第２検索クエリが生成される。
【0043】
例えば、ＶＡＥモデルＭｖａｅは、互いに異なる内容の第２検索クエリを次々と出力する。ＶＡＥモデルＭｖａｅは、配列内のパラメータμ，σによって、エンコーダｆｅｎｃが関与しなくても、新たな第２検索クエリを次々と出力できる。第２検索クエリは、確率的又はランダムに出力されるので、ある第２検索クエリＡの内容と、他の第２検索クエリＢの内容と、は微妙に異なる。例えば、第２検索クエリＡと、第２検索クエリＢと、は一部又は全部が異なる。ただし、ＶＡＥモデルＭｖａｅから出力された第２検索クエリの中には、偶然、互いに同じものが含まれてもよい。
【0044】
本実施形態では、ＶＡＥモデルＭｖａｅが出力した第２検索クエリに基づいて、ＮＥＲモデルＭｎｅｒの訓練データが生成される。例えば、第２検索クエリが、少ない訓練データでひとまず作成したＮＥＲモデルＭｎｅｒに入力され、第２固有表現及び第２属性が推定される。ＮＥＲモデルＭｎｅｒは、あまり精度が高くはないが、ＮＥＲモデルＭｎｅｒに学習させた第１検索クエリと似た第２検索クエリの第２固有表現及び第２属性については、ある程度の精度で推定できるものとする。
【0045】
例えば、第２検索クエリと、第２固有表現及び第２属性と、のペアが、ＮＥＲモデルＭｎｅｒ用の新たな訓練データとして生成されることによって、データ拡張が実行される。新たな訓練データに基づいて、ひとまず作成されたＮＥＲモデルＭｎｅｒの追加学習が実行される。これにより、ＮＥＲモデルＭｎｅｒの訓練データを準備する手間を省くことができる。以降、本実施形態の詳細を説明する。
【0046】
［３．データ拡張システムで実現される機能］
図５は、データ拡張システム１で実現される機能の一例を示す図である。
図５は、データ拡張システム１で実現される機能の一例を示す図である。
【0047】
［３－１．検索サーバで実現される機能］
検索サーバ１０は、データ記憶部１００及び検索部１０１を含む。データ記憶部１００は、記憶部１２により実現される。検索部１０１は、制御部１１により実現される。
検索サーバ１０は、データ記憶部１００及び検索部１０１を含む。データ記憶部１００は、記憶部１２により実現される。検索部１０１は、制御部１１により実現される。
【0048】
［データ記憶部］
データ記憶部１００は、検索の実行に必要なデータを記憶する。例えば、データ記憶部１００は、検索対象データベースＤＢ１及び検索履歴データベースＤＢ２を記憶する。
データ記憶部１００は、検索の実行に必要なデータを記憶する。例えば、データ記憶部１００は、検索対象データベースＤＢ１及び検索履歴データベースＤＢ２を記憶する。
【0049】
図６は、検索対象データベースＤＢ１の一例を示す図である。検索対象データベースＤＢ１は、検索対象に関するデータが格納されたデータベースである。本実施形態では、ウェブページが検索対象に相当する。このため、ウェブページについて説明している箇所は、検索対象と読み替えることができる。検索対象は、検索の対象となるものであればよく、ウェブページに限られない。例えば、変形例３のように、商品が検索対象に相当してもよい。他にも例えば、動画又は楽曲等のコンテンツが検索対象に相当してもよい。
【0050】
例えば、検索対象データベースＤＢ１には、ウェブページのＵＲＬと、ウェブページのインデックスと、が格納される。本実施形態では、インデックスとして、ウェブページの属性と、ウェブページに含まれる固有表現と、が検索対象データベースＤＢ１に格納される。以降、この属性を、ウェブページ属性という。この固有表現を、ウェブページ固有表現という。
【0051】
本実施形態では、ウェブページの作成者が、インデックスとして利用するウェブページ属性及びウェブページ固有表現を指定する場合を説明するが、ウェブページ属性及びウェブページ固有表現は、辞書とのマッチング又は機械学習の手法を利用して、ウェブページの中から自動的に抽出されてもよい。検索対象データベースＤＢ１には、ウェブページから抽出されたキーワード等の他のインデックスが格納されてもよい。
【0052】
図７は、検索履歴データベースＤＢ２の一例を示す図である。検索履歴データベースＤＢ２は、過去に実行された検索に関するデータが格納されたデータベースである。例えば、検索履歴データベースＤＢ２には、ユーザが実際に入力した第４検索クエリ、検索結果ページＰ２から選択されたウェブページのＵＲＬ、及び検索日時が格納される。検索日時は、検索が実行された日時である。検索履歴データベースＤＢ２には、過去の全期間における検索のデータが格納されてもよいし、一部の期間における検索のデータが格納されてもよい。
【0053】
例えば、データ記憶部１００は、学習済みのＮＥＲモデルＭｎｅｒを記憶する。ＮＥＲモデルＭｎｅｒは、学習によって調整されるパラメータ部分と、埋め込み表現の計算等の内部処理の手順が定義されたプログラム部分と、を含むので、データ記憶部１００は、ＮＥＲモデルＭｎｅｒのパラメータ部分のデータと、ＮＥＲモデルＭｎｅｒのプログラム部分のデータと、を記憶する。これらのデータは、１つのデータとしてまとめられていてもよい。
【0054】
本実施形態では、ＮＥＲモデルＭｎｅｒの学習が学習端末３０によって実行されるので、検索サーバ１０は、学習端末３０から、学習済みのＮＥＲモデルＭｎｅｒを受信し、当該受信した学習済みのＮＥＲモデルＭｎｅｒを、データ記憶部１００に記録する。ＮＥＲモデルＭｎｅｒの学習は、検索サーバ１０によって実行されてもよい。この場合、検索サーバ１０は、学習端末３０と同様の機能を有する。
【0055】
［検索部］
検索部１０１は、検索を実行する。ここでは、学習済みのＮＥＲモデルＭｎｅｒが作成された後の検索について説明するが、学習済みのＮＥＲモデルＭｎｅｒが作成される前は、検索部１０１は、ユーザが入力した第４検索クエリに基づいて、検索を実行し、検索履歴データベースＤＢ２を更新する。この場合、学習済みのＮＥＲモデルＭｎｅｒが作成されていないので、ウェブページ属性及びウェブページ固有表現は、検索で利用されない。
検索部１０１は、検索を実行する。ここでは、学習済みのＮＥＲモデルＭｎｅｒが作成された後の検索について説明するが、学習済みのＮＥＲモデルＭｎｅｒが作成される前は、検索部１０１は、ユーザが入力した第４検索クエリに基づいて、検索を実行し、検索履歴データベースＤＢ２を更新する。この場合、学習済みのＮＥＲモデルＭｎｅｒが作成されていないので、ウェブページ属性及びウェブページ固有表現は、検索で利用されない。
【0056】
学習済みのＮＥＲモデルＭｎｅｒが作成された後は、例えば、検索部１０１は、ユーザが入力した第５検索クエリに基づいて、検索を実行する。例えば、検索部１０１は、ユーザ端末２０から、ユーザが入力した第５検索クエリを受信する。検索部１０１は、当該受信した第５検索クエリと、検索対象データベースＤＢ１に格納されたインデックスと、に基づいて、検索を実行する。検索部１０１は、検索の実行結果に基づいて、検索結果ページＰ２の表示データ（例えば、ＨＴＭＬデータ）を生成してユーザ端末２０に送信する。
【0057】
本実施形態では、検索部１０１は、ウェブページ属性及びウェブページ固有表現がインデックスとして利用されるので、検索部１０１は、ユーザが入力した第５検索クエリを、学習済みのＮＥＲモデルＭｎｅｒに入力する。ＮＥＲモデルＭｎｅｒは、当該入力された第５検索クエリの特徴量を計算し、当該計算された特徴量に応じた第５属性及び第５固有表現を出力する。
【0058】
検索部１０１は、ＮＥＲモデルＭｎｅｒから出力された第５属性及び第５固有表現と、検索対象データベースＤＢ１に格納されたウェブページ属性及びウェブページ固有表現と、に基づいて、検索を実行する。検索では、キーワード等の他の要素も考慮されてよい。ここでは、ＮＥＲモデルＭｎｅｒから出力された第５属性及び第５固有表現と同じウェブページ属性及びウェブページ固有表現が関連付けられたウェブページが検索されるものとするが、検索自体は、公知の検索エンジンを利用して実行されるようにすればよい。
【0059】
検索部１０１は、検索を実行すると、ユーザが入力した第５検索クエリを、第４検索クエリとして検索履歴データベースＤＢ２に格納する。検索部１０１は、現在の日時を検索日時として検索履歴データベースＤＢ２に格納する。検索部１０１は、ユーザが検索結果ページＰ２に含まれるウェブページを選択した場合には、このウェブページのＵＲＬを検索履歴データベースＤＢ２に格納する。
【0060】
［３－２．ユーザ端末で実現される機能］
ユーザ端末２０は、データ記憶部２００、表示制御部２０１、及び操作受付部２０２を含む。データ記憶部２００は、記憶部２２により実現される。表示制御部２０１及び操作受付部２０２は、制御部２１により実現される。
ユーザ端末２０は、データ記憶部２００、表示制御部２０１、及び操作受付部２０２を含む。データ記憶部２００は、記憶部２２により実現される。表示制御部２０１及び操作受付部２０２は、制御部２１により実現される。
【0061】
［データ記憶部］
データ記憶部２００は、検索の実行に必要なデータを記憶する。例えば、データ記憶部２００は、トップページＰ１及び検索結果ページＰ２の各々を表示するために必要なブラウザを記憶する。例えば、データ記憶部２００は、ブラウザではなく、検索サービス専用のアプリケーションを記憶してもよい。
データ記憶部２００は、検索の実行に必要なデータを記憶する。例えば、データ記憶部２００は、トップページＰ１及び検索結果ページＰ２の各々を表示するために必要なブラウザを記憶する。例えば、データ記憶部２００は、ブラウザではなく、検索サービス専用のアプリケーションを記憶してもよい。
【0062】
［表示制御部］
表示制御部２０１は、種々の画面を表示部２５に表示させる。例えば、表示制御部２０１は、検索サーバ１０から受信した表示データに基づいて、トップページＰ１及び検索結果ページＰ２の各々を表示部２５に表示させる。
表示制御部２０１は、種々の画面を表示部２５に表示させる。例えば、表示制御部２０１は、検索サーバ１０から受信した表示データに基づいて、トップページＰ１及び検索結果ページＰ２の各々を表示部２５に表示させる。
【0063】
［操作受付部］
操作受付部２０２は、種々の操作を受け付ける。例えば、操作受付部２０２は、トップページＰ１及び検索結果ページＰ２の各々に対する操作を受け付ける。
操作受付部２０２は、種々の操作を受け付ける。例えば、操作受付部２０２は、トップページＰ１及び検索結果ページＰ２の各々に対する操作を受け付ける。
【0064】
［３－３．学習端末で実現される機能］
学習端末３０は、データ記憶部３００、比較部３０１、取得部３０２、第１学習部３０３、判定部３０４、第２学習部３０５、属性推定部３０６、データ拡張部３０７、及び追加学習部３０８を含む。データ記憶部３００は、記憶部３２により実現される。比較部３０１、取得部３０２、第１学習部３０３、判定部３０４、第２学習部３０５、属性推定部３０６、データ拡張部３０７、及び追加学習部３０８は、制御部３１により実現される。
学習端末３０は、データ記憶部３００、比較部３０１、取得部３０２、第１学習部３０３、判定部３０４、第２学習部３０５、属性推定部３０６、データ拡張部３０７、及び追加学習部３０８を含む。データ記憶部３００は、記憶部３２により実現される。比較部３０１、取得部３０２、第１学習部３０３、判定部３０４、第２学習部３０５、属性推定部３０６、データ拡張部３０７、及び追加学習部３０８は、制御部３１により実現される。
【0065】
［データ記憶部］
データ記憶部３００は、データ拡張に必要なデータを記憶する。例えば、データ記憶部３００は、辞書データベースＤＢ３、ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ４、及びＶＡＥモデルＭｖａｅの訓練データベースＤＢ５を記憶する。
データ記憶部３００は、データ拡張に必要なデータを記憶する。例えば、データ記憶部３００は、辞書データベースＤＢ３、ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ４、及びＶＡＥモデルＭｖａｅの訓練データベースＤＢ５を記憶する。
【0066】
図８は、辞書データベースＤＢ３の一例を示す図である。辞書データベースＤＢ３は、第１固有表現に関するデータベースである。例えば、辞書データベースＤＢ３には、多数の第１属性及び第１固有表現のペアが格納される。例えば、検索対象データベースＤＢ１に格納されたウェブページ属性及びウェブページ固有表現の全部又は一部が取得されて、第１属性及び第１固有表現として、辞書データベースＤＢ３に格納されてもよい。
【0067】
なお、辞書データベースＤＢ３には、ＮＥＲモデルＭｎｅｒ及びＶＡＥモデルＭｖａｅを作成する作成者により入力された第１属性及び第１固有表現が格納されてもよい。他にも例えば、辞書データベースＤＢ３には、検索サービス以外の他のサービス（例えば、インターネット百科事典サービス）から取得された属性及び固有表現が、第１属性及び第１固有表現として格納されてもよい。
【0068】
図９は、ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ４の一例を示す図である。ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ４は、ＮＥＲモデルＭｎｅｒの訓練データが格納されたデータベースである。例えば、訓練データは、過去の検索で実際に入力された第１検索クエリと、第１固有表現及び第１属性と、のペアである。例えば、ＮＥＲモデルＭｎｅｒの訓練データは、ＮＥＲモデルＭｎｅｒ及びＶＡＥモデルＭｖａｅを作成する作成者により手動で用意される。
【0069】
なお、ＮＥＲモデルＭｎｅｒの訓練データを自動的に生成する何らかのツールが利用されてもよい。ツールが利用される場合には、ＮＥＲモデルＭｎｅｒの訓練データを生成できる数に限度があるものとする。このため、本実施形態の手法を利用して、ＮＥＲモデルＭｎｅｒのデータ拡張によって訓練データを拡張する必要があるものとする。
【0070】
図１０は、ＶＡＥモデルＭｖａｅの訓練データベースＤＢ５の一例を示す図である。ＶＡＥモデルＭｖａｅの訓練データベースＤＢ５は、ＶＡＥモデルＭｖａｅの訓練データが格納されたデータベースである。例えば、ＶＡＥモデルＭｖａｅの訓練データは、過去の検索で実際に入力された第１検索クエリを含む。図１０の例では、ＶＡＥモデルＭｖａｅの訓練データは、第１検索クエリと、第１検索クエリと同じ第３検索クエリと、を含むものとするが、第３検索クエリは、第１検索クエリと同じなので、ＶＡＥモデルＭｖａｅの訓練データは、第１検索クエリだけを含んでもよい。
【0071】
なお、図１０では、図３と同様に、第１検索クエリに含まれる第１固有表現のみが示されているが、ＶＡＥモデルＭｖａｅの訓練データには、第１検索クエリのうち、第１固有表現以外の他の部分が含まれてもよい。ＶＡＥモデルＭｖａｅの訓練データには、第１検索クエリのうち、少なくとも第１固有表現が含まれていればよい。ＶＡＥモデルＭｖａｅの訓練データは、ＮＥＲモデルＭｎｅｒ及びＶＡＥモデルＭｖａｅを作成する作成者により手動で用意されてもよいし、ＶＡＥモデルＭｖａｅの訓練データを自動的に生成する何らかのツールが利用されてもよい。
【0072】
例えば、データ記憶部３００は、学習前のＮＥＲモデルＭｎｅｒを記憶する。学習前のＮＥＲモデルＭｎｅｒは、パラメータが初期値のＮＥＲモデルＭｎｅｒである。学習前のＮＥＲモデルＭｎｅｒは、後述の第２学習部３０５によって学習が実行されると、パラメータが更新される。パラメータが更新されると、データ記憶部３００は、学習済みのＮＥＲモデルＭｎｅｒを記憶する。更に、後述の追加学習部３０８によって学習が実行されると、パラメータが更に更新される。パラメータが更に更新されると、データ記憶部３００は、最終的な学習済みのＮＥＲモデルＭｎｅｒを記憶する。
【0073】
例えば、データ記憶部３００は、学習前のＶＡＥモデルＭｖａｅを記憶する。学習前のＶＡＥモデルＭｖａｅは、パラメータが初期値のＶＡＥモデルＭｖａｅである。本実施形態では、パラメータμ，αがパラメータに相当する。学習前のＶＡＥモデルＭｖａｅは、他のパラメータを含んでもよい。ＶＡＥモデルＭｖａｅのパラメータは、ある１つの値に固定されているのではなく、確率的に変わる。このため、ＶＡＥモデルＭｖａｅが処理を実行する時に応じて、どの値が利用されるかが確率的に変わる。
【0074】
ＶＡＥモデルＭｖａｅは、学習によって調整されるパラメータ部分と、埋め込み表現の計算等の内部処理の手順が定義されたプログラム部分と、を含むので、データ記憶部１００は、ＶＡＥモデルＭｖａｅのパラメータ部分のデータと、ＶＡＥモデルＭｖａｅのプログラム部分のデータと、を記憶する。これらのデータは、１つのデータとしてまとめられていてもよい。学習前のＶＡＥモデルＭｖａｅは、後述の第１学習部３０３によって学習が実行されると、パラメータが更新される。パラメータが更新されると、データ記憶部３００は、学習済みのＶＡＥモデルＭｖａｅを記憶する。
【0075】
［比較部］
比較部３０１は、検索で実際に入力された複数の第４検索クエリの各々と、辞書データベースＤＢ３と、を比較する。本実施形態では、検索履歴データベースＤＢ２に複数の第４検索クエリが格納されている。このため、比較部３０１は、検索履歴データベースＤＢ２から複数の第４検索クエリを取得する。第４検索クエリは、検索履歴データベースＤＢ２以外の他のデータベースに格納されていてもよい。
比較部３０１は、検索で実際に入力された複数の第４検索クエリの各々と、辞書データベースＤＢ３と、を比較する。本実施形態では、検索履歴データベースＤＢ２に複数の第４検索クエリが格納されている。このため、比較部３０１は、検索履歴データベースＤＢ２から複数の第４検索クエリを取得する。第４検索クエリは、検索履歴データベースＤＢ２以外の他のデータベースに格納されていてもよい。
【0076】
例えば、比較部３０１は、検索サーバ１０から、検索履歴データベースＤＢ２に格納された複数の第４検索クエリの各々を取得する。比較部３０１は、第４検索クエリごとに、辞書データベースＤＢ３に格納された何れかの第１固有表現を、当該第４検索クエリが含むか否かを判定する。本実施形態では、この判定において、第１固有表現と、第４検索クエリに含まれる文字列と、の完全一致が要求される場合を説明するが、部分一致が許容されてもよい。
【0077】
［取得部］
取得部３０２は、過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する。第１検索クエリは、複数の第１固有表現を含んでもよい。本実施形態では、取得部３０２は、辞書データベースＤＢ３とマッチした第４検索クエリを、第１検索クエリとして取得する。ここでのマッチとは、辞書データベースＤＢ３に格納された第１固有表現を含むことである。
取得部３０２は、過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する。第１検索クエリは、複数の第１固有表現を含んでもよい。本実施形態では、取得部３０２は、辞書データベースＤＢ３とマッチした第４検索クエリを、第１検索クエリとして取得する。ここでのマッチとは、辞書データベースＤＢ３に格納された第１固有表現を含むことである。
【0078】
例えば、取得部３０２は、辞書データベースＤＢ３とマッチした第４検索クエリを、第１検索クエリとして、ＶＡＥモデルＭｖａｅの訓練データベースＤＢ５に格納する。取得部３０２は、第１検索クエリを、そのままＶＡＥモデルＭｖａｅの訓練データベースＤＢ５に格納してもよいし、第１検索クエリのうちの第１固有表現だけを、ＶＡＥモデルＭｖａｅの訓練データベースＤＢ５に格納してもよい。本実施形態では、取得部３０２は、第１検索クエリと同じ第３検索クエリも、ＶＡＥモデルＭｖａｅの訓練データベースＤＢ５に格納する。
【0079】
本実施形態では、検索対象データベースＤＢ１には、固有表現を一切含まない第４検索クエリと、第１固有表現以外の他の固有表現を含む第４検索クエリと、の少なくとも一方が格納されている可能性がある。このため、取得部３０２は、全ての第４検索クエリの中から、比較部３０１の比較結果に基づいて、第１検索クエリとして適切な第４検索クエリを絞り込む。取得部３０２は、ＶＡＥモデルＭｖａｅの訓練データベースＤＢ５に格納した第１検索クエリを、任意のタイミングで取得できる。
【0080】
なお、第１検索クエリは、比較部３０１の比較結果ではなく、ＶＡＥモデルＭｖａｅの作成者によって手動で絞り込まれてもよい。この場合、比較部３０１は、学習端末３０に含まれない。取得部３０２は、作成者が作成した第１検索クエリを取得する。例えば、取得部３０２は、操作部３４から入力された第１検索クエリを取得してもよい。この場合、作成者は、第１検索クエリのうちの第１固有表現の部分と、第１属性と、についても指定してもよい。取得部３０２は、作成者により指定された第１固有表現の部分及び第１属性を取得してもよい。
【0081】
［第１学習部］
第１学習部３０３は、第１検索クエリに基づいて、第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力するＶＡＥモデルＭｖａｅの学習を実行する。ＶＡＥモデルＭｖａｅは、第１モデルの一例である。このため、ＶＡＥモデルＭｖａｅと記載した箇所は、第１モデルと読み替えることができる。第１モデルは、第１検索クエリが入力されると、第２検索クエリを出力可能なモデルであればよく、ＶＡＥモデルＭｖａｅ以外の他のモデルであってもよい。
第１学習部３０３は、第１検索クエリに基づいて、第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力するＶＡＥモデルＭｖａｅの学習を実行する。ＶＡＥモデルＭｖａｅは、第１モデルの一例である。このため、ＶＡＥモデルＭｖａｅと記載した箇所は、第１モデルと読み替えることができる。第１モデルは、第１検索クエリが入力されると、第２検索クエリを出力可能なモデルであればよく、ＶＡＥモデルＭｖａｅ以外の他のモデルであってもよい。
【0082】
例えば、第１モデルは、ＧＡＮ（Generative Adversarial Network）を利用したモデルであってもよい。ＧＡＮは、実在するデータから新たなデータを生成するＧｅｎｅｒａｔｏｒと、当該生成されたデータを評価するＤｉｓｃｒｉｍｉｎａｔｏｒと、を含む。ＧＡＮに含まれるＧｅｎｅｒａｔｏｒ及びＤｉｓｃｒｉｍｉｎａｔｏｒにより、実在するデータの特徴に沿って、実在しないデータを生成できる。ＧＡＮを利用した第１モデルは、実在するデータとして第１検索クエリが入力される。ＧＡＮは、第１検索クエリに沿って、第２検索クエリを生成する。
【0083】
例えば、第１モデルは、ＶＡＥ及びＧＡＮ以外の他の手法を利用した教師無し学習のモデルであってもよい。他の手法としては、主成分分析又はアソシエーション分析で利用されるモデルであってもよい。第１モデルは、教師有り学習のモデル又は半教師有り学習のモデルであってもよい。例えば、第１モデルは、パラメータが確率変数であるベイジアンニューラルネットワークであってもよい。
【0084】
第１モデルは、任意の機械学習手法を利用可能である。第１モデルの機械学習手法は、ＮＥＲモデルＭｎｅｒの説明で例示した手法であってもよい。例えば、第１モデルは、第１検索クエリと、ランダムに生成されたノイズに相当するデータと、が入力されると、第２検索クエリを出力するモデルであってもよい。先述したＧＡＮは、このような第１モデルの一種である。第１検索クエリとともに入力データは、ランダムに生成されたノイズではなくてもよい。
【0085】
本実施形態では、ＶＡＥモデルＭｖａｅの学習時には、原則として、入力と出力が同じになるように学習が実行される。このため、学習部は、第１検索クエリが第１モデルに入力された場合に、第１モデルから、第１検索クエリと同じ第３検索クエリが出力されるように、学習を実行する。この学習方法は、図３を参照して説明した通りである。学習部は、エンコーダｆｅｎｃによるマッピングの学習と、デコーダｆｄｅｃによるマッピングの学習と、を実行する。
【0086】
なお、ＶＡＥモデルＭｖａｅの学習時には、入力と出力が互いに異なってもよい。即ち、第３検索クエリは、第１検索クエリと異なってもよい。ただし、第３検索クエリが第１検索クエリと大きく異なると、マッピングの学習が正確に行われない可能性があるので、第３検索クエリは、第１検索クエリと似た内容であるものとする。例えば、第３検索クエリは、第１検索クエリの一部が変更された内容である。
【0087】
本実施形態では、第１検索クエリは、複数の文字を含む。複数の文字の各々には、第１固有表現に関するタグが関連付けられている。タグは、第１固有表現における個々の文字を分類するための情報である。本実施形態では、ＢＩＯ（Begin Inside Outside）タグが利用される場合を説明するが、タグは、ＢＩＯＥＳ（Begin Inside Outside End Single）タグであってもよいし、他の観点のタグであってもよい。
【0088】
図１１は、第１検索クエリに含まれる個々の文字に関連付けられたタグの一例を示す図である。ＢＩＯタグは、個々の文字が第１固有表現のどの部分なのかを分類するためのタグである。タグ「Ｂ」は、第１固有表現の開始位置であることを意味する。タグ「Ｉ」は、第１固有表現に含まれる文字であるが、開始位置ではなく、中間的な位置であることを意味する。タグ「Ｏ」は、第１固有表現の外部の文字であることを意味する。
【0089】
図１０のＶＡＥモデルＭｖａｅの訓練データベースＤＢ５では省略しているが、第１検索クエリの個々の文字には、タグ「Ｂ」、タグ「Ｉ」、又はタグ「Ｏ」の何れかが関連付けられているものとする。ＢＩＯタグは、ＶＡＥモデルＭｖａｅの作成者によって手動で指定されてもよいし、辞書データベースＤＢ３に格納された第１固有表現と、第１検索クエリに含まれる個々の文字と、が比較されることによって自動的に付与されてもよい。
【0090】
図１１の例では、第１検索クエリ「ｗｈｉｔｅ ｗｉｎｄ」は、単語「ｗｈｉｔｅ」と単語「ｗｉｎｄ」の２つの単語を含む。「ｗｈｉｔｅ ｗｉｎｄ」は、第１固有表現でもある。単語「ｗｈｉｔｅ」は、第１固有表現の開始位置に存在するので、タグ「Ｂ」が関連付けられる。単語「ｗｈｉｔｅ」は、第１固有表現の開始位置以降の位置である中間位置に存在するので、タグ「Ｉ」が関連付けられる。図１１では省略しているが、「ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」の部分も学習で利用するのであれば、この部分の各単語には、タグ「Ｏ」が関連付けられる。
【0091】
図１１のように、第１検索クエリ「ｗｈｉｔｅ ｗｉｎｄ」は、文字単位に分割される。最初の文字「ｗ」には、タグ「Ｂ」が関連付けられる。２文字目以降の文字「ｈ」～「ｄ」には、タグ「Ｉ」が関連付けられる。本実施形態では、属性のタグも存在するので、図１１の例では、「ＢＲＡＮＤ」といったタグも関連付けられている。他の属性については、「ＣＯＬＯＲ」、「ＳＩＺＥ」、又は「ＭＡＴＥＲＩＡＬ」といった属性のタグも存在するものとする。第１検索クエリには、タグであることを意味する記号（図１１では、＜＞や－の記号）と、タグを示す文字列と、が挿入される。
【0092】
本実施形態では、第１学習部３０３は、複数の文字の各々に関連付けられたタグに基づいて、学習を実行する。第１学習部３０３が、１文字ずつにタグ付けした状態で学習を実行することによって、特定の言語における仮想的な第２検索クエリを生成しやすくなる。例えば、文字単位でタグ付けすることによって、第１固有表現の全てが変わるのではなく、その一部（例えば、１文字～３文字程度）だけが改変された第２検索クエリが生成されるように、学習が実行される。
【0093】
なお、図１１のように、第１検索クエリには、第１固有表現に関する第１属性が関連付けられていてもよい。例えば、第１検索クエリが第４検索クエリとして検索対象データベースＤＢ１に格納されていた場合に、当該第４検索クエリに関連付けられたウェブページ属性が第１属性として利用されてもよいし、ＶＡＥモデルＭｖａｅの作成者によって手動で第１属性が指定されてもよい。他にも例えば、辞書データベースＤＢ３において第１固有表現とともに第１属性が格納されており、第１検索クエリに含まれる第１固有表現に関連付けられた第１属性が、第１検索クエリに関連付けられてもよい。
【0094】
例えば、第１学習部３０３は、第１検索クエリと、第１属性と、に基づいて、学習を実行してもよい。第１学習部３０３は、第１属性を利用して学習することによって、ＶＡＥモデルＭｖａｅは、同じ第１属性が関連付けられた第１検索クエリ同士を、同じグループとして認識できるようになる。このため、ＶＡＥモデルＭｖａｅは、ある第１検索クエリと、同じグループと認識した他の第１検索クエリと、を混ぜたような第２検索クエリを生成できるようになるので、現実的にありそうな第２検索クエリを生成できる。
【0095】
［判定部］
判定部３０４は、第２検索クエリに基づいて、所定の条件が満たされるか否かを判定する。所定の条件は、第２検索クエリをデータ拡張で利用するか否かの判定基準となる条件である。所定の条件は、第２検索クエリに関する任意の条件を設定可能である。本実施形態では、所定の条件の一例として、下記に説明する第１条件～第３条件を説明する。
判定部３０４は、第２検索クエリに基づいて、所定の条件が満たされるか否かを判定する。所定の条件は、第２検索クエリをデータ拡張で利用するか否かの判定基準となる条件である。所定の条件は、第２検索クエリに関する任意の条件を設定可能である。本実施形態では、所定の条件の一例として、下記に説明する第１条件～第３条件を説明する。
【0096】
（第１条件）例えば、判定部３０４は、第２検索クエリに含まれる第２固有表現が所定の文字数以上であるか否かを判定することによって、所定の条件が満たされるか否かを判定してもよい。以降、この文字数を、第１条件の文字数という。本実施形態では、第１条件の文字数の一例として３文字を説明するが、第１条件の文字数は、任意の文字数であってよく、３文字に限れない。例えば、第１条件の文字数は、２文字又は４文字以上であってもよい。
【0097】
例えば、第２検索クエリが１つの第２固有表現のみを含む場合、判定部３０４は、当該１つの第２固有表現が３文字以上であるか否かを判定する。第２検索クエリが複数の第２固有表現を含む場合、判定部３０４は、当該複数の第２固有表現の各々が３文字以上であるか否かを判定する。第２検索クエリが第２固有表現以外の何らかの他の文字列を含む場合、判定部３０４は、第２検索クエリのうち、他の文字列については判定対象とせずに、第２固有表現が３文字以上であるか否かを判定する。
【0098】
（第２条件）例えば、判定部３０４は、第２検索クエリに含まれる第２固有表現の文字の種類に応じた所定の条件が満たされるか否かを判定してもよい。本実施形態では、アルファベット、数字、及びそれ以外といった３つの種類を例に挙げるが、文字の種類自体は、世の中に存在する任意の種類であってよい。例えば、日本語で用いられる平仮名、片仮名、又は漢字が文字の種類に相当してもよい。他にも例えば、小文字、大文字、全角、又は半角が文字の種類に相当してもよい。
【0099】
本実施形態では、文字の種類に応じた所定の条件の一例として、第２条件及び第３条件を説明する。例えば、判定部３０４は、第２条件として、第２検索クエリに含まれる第２固有表現が数字のみで構成されるか否かを判定する。判定部３０４は、第２検索クエリに含まれる第２固有表現が数字だけである場合に、第２条件が満たされないと判定し、判定部３０４は、第２検索クエリに含まれる第２固有表現が数字以外の文字を含む場合に、第２条件が満たされたと判定する。
【0100】
（第３条件）例えば、判定部３０４は、第３条件として、第２検索クエリに含まれる第２固有表現がアルファベットだけである場合に、所定の文字数以上であるか否かを判定する。以降、この文字数を、第３条件の文字数という。本実施形態では、第３条件の文字数が５文字である場合を説明するが、第３条件の文字数は、任意の文字数であってよく、２文字～４文字又は６文字以上であってもよい。
【0101】
例えば、第２検索クエリが、アルファベットだけで構成される１つの第２固有表現のみを含む場合、判定部３０４は、当該１つの第２固有表現が５文字以上であるか否かを判定する。第２検索クエリが、アルファベットだけで構成される複数の第２固有表現を含む場合、判定部３０４は、当該複数の第２固有表現の各々が５文字以上であるか否かを判定する。第２検索クエリが、アルファベットだけで構成される第２固有表現以外の何らかの他の文字列を含む場合、判定部３０４は、第２検索クエリのうち、他の文字列については判定対象とせずに、当該第２固有表現が５文字以上であるか否かを判定する。
【0102】
なお、所定の条件の一例は、第１条件～第３条件に限られない。例えば、長すぎる第２検索クエリを除外するために、所定の条件は、１０文字以下といったように、文字数の上限であってもよい。例えば、不自然なほど多数の種類の文字が混合された第２検索クエリを除外するために、所定の条件は、第２検索クエリに含まれる文字の種類数の上限であってもよい。
【0103】
［第２学習部］
第２学習部３０５は、ＮＥＲモデルＭｎｅｒの学習を実行する。第２学習部３０５により作成されたＮＥＲモデルＭｎｅｒは、少ない訓練データでひとまず作成されたモデルである。ひとまず作成されたＮＥＲモデルＭｎｅｒは、第５固有表現に関する第５属性を、ある程度の精度で認識できる。本実施形態では、ひとまず作成されたＮＥＲモデルＭｎｅｒに対し、後述の追加学習部３０８によって追加学習が実行される。
第２学習部３０５は、ＮＥＲモデルＭｎｅｒの学習を実行する。第２学習部３０５により作成されたＮＥＲモデルＭｎｅｒは、少ない訓練データでひとまず作成されたモデルである。ひとまず作成されたＮＥＲモデルＭｎｅｒは、第５固有表現に関する第５属性を、ある程度の精度で認識できる。本実施形態では、ひとまず作成されたＮＥＲモデルＭｎｅｒに対し、後述の追加学習部３０８によって追加学習が実行される。
【0104】
例えば、第２学習部３０５は、ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ４に格納された訓練データに含まれる第１検索クエリが入力されると、この訓練データに含まれる第１固有表現及び第１属性が出力されるように、ＮＥＲモデルＭｎｅｒの学習を実行する。ＮＥＲモデルＭｎｅｒの学習方法自体は、ＮＥＲモデルＭｎｅｒで利用する機械学習の手法で用いられている学習方法を利用可能である。
【0105】
［属性推定部］
属性推定部３０６は、訓練データが学習済みのＮＥＲモデルＭｎｅｒに基づいて、第２固有表現に関する第２属性を推定する。本実施形態では、ＮＥＲモデルＭｎｅｒの訓練データは、第１検索クエリと、第１固有表現に関する第１属性と、を含むので、属性推定部３０６は、第１検索クエリ及び第１属性を含む訓練データが学習済みの第２モデルに基づいて、第２属性を推定することになる。
属性推定部３０６は、訓練データが学習済みのＮＥＲモデルＭｎｅｒに基づいて、第２固有表現に関する第２属性を推定する。本実施形態では、ＮＥＲモデルＭｎｅｒの訓練データは、第１検索クエリと、第１固有表現に関する第１属性と、を含むので、属性推定部３０６は、第１検索クエリ及び第１属性を含む訓練データが学習済みの第２モデルに基づいて、第２属性を推定することになる。
【0106】
例えば、属性推定部３０６は、学習済みのＮＥＲモデルＭｎｅｒ（先述したひとまず作成されたＮＥＲモデルＭｎｅｒ）に対し、第２検索クエリを入力する。学習済みのＮＥＲモデルＭｎｅｒは、第２検索クエリの埋め込み表現を計算し、当該計算された埋め込み表現に応じた第２固有表現及び第２属性を出力する。属性推定部３０６は、学習済みのＮＥＲモデルＭｎｅｒから出力された第２固有表現及び第２属性を取得する。
【0107】
［データ拡張部］
データ拡張部３０７は、学習済みのＶＡＥモデルＭｖａｅにより出力された第２検索クエリに基づいて、データ拡張を実行する。本実施形態では、データ拡張部３０７は、第２検索クエリをデータ記憶部１００に記録することによって、データ拡張を実行する。データ拡張部３０７は、学習端末３０以外の他のコンピュータ又は外部の情報記憶媒体に第２検索クエリを記録することによって、データ拡張を実行してもよい。
データ拡張部３０７は、学習済みのＶＡＥモデルＭｖａｅにより出力された第２検索クエリに基づいて、データ拡張を実行する。本実施形態では、データ拡張部３０７は、第２検索クエリをデータ記憶部１００に記録することによって、データ拡張を実行する。データ拡張部３０７は、学習端末３０以外の他のコンピュータ又は外部の情報記憶媒体に第２検索クエリを記録することによって、データ拡張を実行してもよい。
【0108】
本実施形態では、ＶＡＥモデルＭｖａｅは、確率的又はランダムに出力が決まるモデルなので、データ拡張部３０７は、学習済みのＶＡＥモデルＭｖａｅにより確率的又はランダムに出力された第２検索クエリに基づいて、データ拡張を実行する。ＶＡＥモデルＭｖａｅは、潜在変数が従う確率密度関数が標準正規分布に従うことによって、確率的又はランダムに出力が決まるので、データ拡張部３０７は、学習済みのＶＡＥモデルＭｖａｅにより確率的又はランダムに出力された第２検索クエリに基づいて、データ拡張を実行する。
【0109】
本実施形態では、第２検索クエリの適否が判定部３０４により判定されるので、データ拡張部３０７は、所定の条件が満たされると判定された場合に、データ拡張を実行する。データ拡張部３０７は、所定の条件が満たされると判定されなかった第２検索クエリは、データ拡張で利用せずに、所定の条件が満たされると判定された第２検索クエリに基づいて、データ拡張を実行する。
【0110】
本実施形態では、データ拡張部３０７は、第２検索クエリに基づいて、ＮＥＲモデルＭｎｅｒの訓練データを拡張することによって、データ拡張を実行する。ＮＥＲモデルＭｎｅｒは、第２モデルの一例である。このため、ＮＥＲモデルＭｎｅｒと記載した箇所は、第２モデルと読み替えることができる。第２モデルは、第５検索クエリに含まれる第５固有表現を認識するモデルである。第５検索クエリに基づいて検索が実行されると、第５検索クエリは、将来の第１検索クエリとして検索履歴データベースＤＢ２に格納される。ＮＥＲモデルＭｎｅｒを新たに作成しなおす必要がある場合には、第５検索クエリが第１検索クエリとして利用される。
【0111】
本実施形態では、データ拡張部３０７は、第２検索クエリと、属性推定部３０６により推定された第２属性と、に基づいて、訓練データを拡張する。データ拡張部３０７は、第２検索クエリと、第２検索クエリに含まれる第２固有表現及び第２属性と、のペアを含む新たな訓練データを生成することによって、データ拡張を実行する。この訓練データの入力と出力の形式は、図９と同様である。例えば、データ拡張部３０７は、当該新たな訓練データを、ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ５に格納する。データ拡張部３０７は、ＶＡＥモデルＭｖａｅから出力された第２検索クエリに対し、何らかの単語を追加してもよい。データ拡張部３０７は、何らかの単語を含む第２検索クエリに基づいて、データ拡張を実行してもよい。
【0112】
なお、ＶＡＥモデルＭｖａｅは、第２検索クエリだけではなく、第２属性も出力してもよい。例えば、ＶＡＥモデルＭｖａｅは、第２検索クエリ「ｂｌｕｅ ｗｉｎｄ」とともに、第２属性「Ｂｒａｎｄ」を出力してもよい。図１１のように、第１検索クエリに第１属性をタグ付けしたうえでＶＡＥモデルＭｖａｅを学習させることにより、ＶＡＥモデルＭｖａｅは、第２属性も出力可能になる。この場合、属性推定部３０６を省略してもよい。データ拡張部３０７は、ＶＡＥモデルＭｖａｅから出力された第２検索クエリ、第２固有表現、及び第２属性を、新たな訓練データとして、ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ５に格納すればよい。
【0113】
［追加学習部］
追加学習部３０８は、データ拡張により出力された新たな訓練データに基づいて、学習済みのＮＥＲモデルＭｎｅｒの追加学習を実行する。追加学習とは、ある程度の学習が実行されたＮＥＲモデルＭｎｅｒに対し、追加で学習を実行することである。追加学習部３０８は、ある程度の学習が実行されたＮＥＲモデルＭｎｅｒに対し、新たな訓練データに含まれる第２検索クエリを入力すると、新たな訓練データに含まれる第２固有表現及び第２属性が出力されるように、ＮＥＲモデルＭｎｅｒの追加学習を実行する。追加学習で利用される手法自体は、第２学習部３０５の手法と同じであってよい。
追加学習部３０８は、データ拡張により出力された新たな訓練データに基づいて、学習済みのＮＥＲモデルＭｎｅｒの追加学習を実行する。追加学習とは、ある程度の学習が実行されたＮＥＲモデルＭｎｅｒに対し、追加で学習を実行することである。追加学習部３０８は、ある程度の学習が実行されたＮＥＲモデルＭｎｅｒに対し、新たな訓練データに含まれる第２検索クエリを入力すると、新たな訓練データに含まれる第２固有表現及び第２属性が出力されるように、ＮＥＲモデルＭｎｅｒの追加学習を実行する。追加学習で利用される手法自体は、第２学習部３０５の手法と同じであってよい。
【0114】
［４．データ拡張システムで実行される処理］
図１２は、データ拡張システム１で実行される処理の一例を示すフロー図である。この処理は、制御部１１，２１，３１が記憶部１２，２２，３２に記憶されたプログラムに従って動作することによって実行される。
図１２は、データ拡張システム１で実行される処理の一例を示すフロー図である。この処理は、制御部１１，２１，３１が記憶部１２，２２，３２に記憶されたプログラムに従って動作することによって実行される。
【0115】
図１２のように、学習端末３０は、検索サーバ１０から、検索履歴データベースＤＢ２に格納された複数の第４検索クエリを取得する（Ｓ１）。Ｓ１では、学習端末３０は、検索サーバ１０に対し、検索履歴データベースＤＢ２に格納された全部又は一部の第４検索クエリを取得するための取得要求を送信する。検索サーバ１０は、この取得要求を受信すると、検索履歴データベースＤＢ２に格納された全部又は一部の第４検索クエリを、学習端末３０に送信する。
【0116】
学習端末３０は、Ｓ１で取得された複数の第４検索クエリの各々と、辞書データベースＤＢ３と、を比較する（Ｓ２）。Ｓ２では、学習端末３０は、複数の第４検索クエリの各々に含まれる第４固有表現と同じ第１固有表現が辞書データベースＤＢ３に存在するか否かを判定する。学習端末３０は、Ｓ２の比較により辞書データベースＤＢ３に存在すると判定された複数の第４検索クエリの各々を、第１検索クエリとして取得する（Ｓ３）。
【0117】
学習端末３０は、Ｓ３で取得した複数の第１検索クエリを、ＮＥＲモデルＭｎｅｒの訓練データベースＤＢ４に格納し、ＮＥＲモデルＭｎｅｒの学習を実行する（Ｓ４）。Ｓ４では、学習端末３０は、ＮＥＲモデルＭｎｅｒの訓練データに含まれる第１検索クエリが入力された場合に、当該訓練データに含まれる第１固有表現及び第１属性が出力されるように、ＮＥＲモデルＭｎｅｒのパラメータを調整する。
【0118】
学習端末３０は、Ｓ４で取得した複数の第１検索クエリに基づいて、ＶＡＥモデルＭｖａｅの訓練データを生成する（Ｓ５）。Ｓ５では、学習端末３０は、第１検索クエリごとに、この第１検索クエリと、この第１検索クエリと同じ第３検索クエリと、のペアを、ＶＡＥモデルＭｖａｅの訓練データとして生成する。学習端末３０は、ＶＡＥモデルＭｖａｅの訓練データベースＤＢ５に、当該生成された複数の訓練データを格納する。
【0119】
学習端末３０は、Ｓ５で生成されたＶＡＥモデルＭｖａｅの訓練データに基づいて、ＶＡＥモデルＭｖａｅの学習を実行する（Ｓ６）。Ｓ６では、学習端末３０は、訓練データに含まれる第１検索クエリからＬＳＴＭのセル状態の配列へのマッピングをエンコーダｆｅｎｃに学習させる。学習端末３０は、当該配列のセル状態の平均値から、訓練データに含まれる第３検索クエリへのマッピングをデコーダｆｄｅｃに学習させる。
【0120】
学習端末３０は、Ｓ６で学習済みのＶＡＥモデルＭｖａｅに基づいて、第２検索クエリを取得する（Ｓ７）。Ｓ７では、学習端末３０は、学習済みのＶＡＥモデルＭｖａｅのエンコーダｆｅｎｃは利用せずに、正規分布からサンプリングした配列の平均値を開始セル状態にする。学習端末３０は、この開始セル状態に基づいて、デコーダｆｄｅｃで第２検索クエリを生成する。学習端末３０は、第２検索クエリを繰り返し生成する。学習済みのＶＡＥモデルＭｖａｅは、確率的又はランダムに出力が決まるので、原則として、毎回異なる第２検索クエリを出力する。
【0121】
学習端末３０は、Ｓ７で取得された第２検索クエリが所定の条件を満たすか否かを判定する（Ｓ８）。Ｓ８では、学習端末３０は、第２検索クエリが先述の第１条件～第３条件の各々を満たすか否かを判定する。学習端末３０は、Ｓ８の判定結果に基づいて、データ拡張を実行する（Ｓ９）。Ｓ９では、学習端末３０は、所定の条件を満たす第２検索クエリを、ひとまず作成したＮＥＲモデルＭｎｅｒに入力する。学習端末３０は、第２検索クエリと、ＮＥＲモデルＭｎｅｒから出力された第２固有表現及び第２属性と、をＮＥＲモデルＭｎｅｒ用の新たな訓練データとして生成する。
【0122】
学習端末３０は、Ｓ９におけるデータ拡張の実行結果に基づいて、ＮＥＲモデルＭｎｅｒの追加学習を実行する（Ｓ１０）。Ｓ１０では、学習端末３０は、Ｓ９で生成された新たな訓練データに基づいて、ひとまず作成したＮＥＲモデルＭｎｅｒの学習を実行する。学習端末３０は、検索サーバ１０に対し、学習済みのＮＥＲモデルＭｎｅｒを送信する（Ｓ１１）。検索サーバ１０は、学習済みのＮＥＲモデルＭｎｅｒを受信する（Ｓ１２）。検索サーバ１０とユーザ端末２０との間で、学習済みのＮＥＲモデルＭｎｅｒを利用した検索が実行され（Ｓ１３）、本処理は終了する。
【0123】
本実施形態のデータ拡張システム１は、過去に実行された検索で実際に入力された第１検索クエリに基づいて、ＶＡＥモデルＭｖａｅの学習を実行する。データ拡張システム１は、学習済みのＶＡＥモデルＭｖａｅにより出力された第２検索クエリに基づいて、データ拡張を実行する。これにより、学習済みのＶＡＥモデルＭｖａｅを利用して第２検索クエリを自動的に生成できるので、第２検索クエリを用意する手間を省くことができる。学習済みのＶＡＥモデルＭｖａｅは、実際に入力された第１検索クエリに基づいて作成されているので、実際にありえそうな文字列を第２検索クエリとすることができる。実際にはありえない文字列でデータ拡張が実行されると、データ拡張によってノイズが増える可能性があるが、リアリティのある文字列である第２検索クエリでデータ拡張が実行されるので、精度よくデータ拡張を実行できる。
【0124】
また、データ拡張システム１は、学習済みのＶＡＥモデルＭｖａｅにより確率的又はランダムに出力された第２検索クエリに基づいて、データ拡張を実行する。これにより、確率的又はランダムな要素が第２検索クエリに含まれるので、学習済みのＶＡＥモデルＭｖａｅによる出力のたびに、過去に出力された第２検索クエリとは多少異なる新たな第２検索クエリを出力できるので、効率よくデータ拡張を実行できる。個々の第１検索クエリに似た第２検索クエリを多数生成できるので、バラエティに富んだデータ拡張を実現できる。
【0125】
また、ＶＡＥモデルＭｖａｅは、潜在変数が従う確率密度関数が標準正規分布に従うことによって、確率的又はランダムに出力が決まる。確率的又はランダムな要素である潜在変数次第では、ＶＡＥモデルＭｖａｅが出力する第２検索クエリが現実的にありえないような文字列になってしまうが、潜在変数が従う確率密度関数が標準正規分布に従うことによって、第２検索クエリが現実的にありえそうな範囲に収まりやすくなるので、第２検索クエリのリアリティが高まる。即ち、潜在変数がある一定の範囲に収まることによって、学習時に利用した第１検索クエリから大きくかけ離れた第２検索クエリが生成されることを防止し、第１検索クエリとある程度似た第２検索クエリを生成できる。
【0126】
また、学習済みのＶＡＥモデルＭｖａｅは、正規分布からサンプリングした配列の平均値を開始セル状態にすることによって、デコーダｆｄｅｃで第２検索クエリを生成する。これにより、ＬＳＴＭの仕組みを利用したＶＡＥモデルＭｖａｅによって、現実的にありえそうな第２検索クエリを生成しやすくなるので、データ拡張の精度が高まる。
【0127】
また、データ拡張システム１は、第１検索クエリがＶＡＥモデルＭｖａｅに入力された場合に、ＶＡＥモデルＭｖａｅから、第１検索クエリと同じ第３検索クエリが出力されるように、学習を実行する。これにより、ＶＡＥモデルＭｖａｅからの出力を、ＶＡＥモデルＭｖａｅに対する入力から大きく逸脱しない範囲に収まりやすくなるので、現実的にありえそうな第２検索クエリを生成しやすくなる。
【0128】
また、データ拡張システム１は、辞書データベースＤＢ３とマッチした第４検索クエリを、第１検索クエリとして取得する。これにより、実際に入力された第４検索クエリの中に、ＶＡＥモデルＭｖａｅの学習には不適切なノイズが存在したとしても、辞書データベースＤＢ３を利用してノイズをフィルタリングできるので、ＶＡＥモデルＭｖａｅの精度が高まる。
【0129】
また、データ拡張システム１は、第１検索クエリに含まれる複数の文字の各々に関連付けられたタグに基づいて、ＶＡＥモデルＭｖａｅの学習を実行する。これにより、実際に入力された第１検索クエリのスタイルに沿って、現実的にありえそうな第２検索クエリを生成できる。
【0130】
また、データ拡張システム１は、第１検索クエリと、第１固有表現に関する第１属性と、に基づいて、ＶＡＥモデルＭｖａｅの学習を実行する。これにより、複数の第１属性に対応可能なＶＡＥモデルＭｖａｅを作成できる。例えば、ブランド名、サイズ、色、及び機能といった種々の第２固有表現を含む第２検索クエリを、１つのＶＡＥモデルＭｖａｅで生成できるようになる。
【0131】
また、データ拡張システム１は、第２検索クエリに基づいて、所定の条件が満たされると判定された場合に、データ拡張を実行する。これにより、データ拡張のために不適切な第２検索クエリが出力されたとしても、予め定められた条件によってフィルタリングできるので、データ拡張の精度が高まる。
【0132】
また、データ拡張システム１は、第２検索クエリが所定の文字数以上であるか否かを判定することによって、所定の条件が満たされるか否かを判定する。これにより、データ拡張のために不適切なほど短い第２検索クエリが出力されたとしても、そのような不適切な第２検索クエリを除外できるので、データ拡張の精度が高まる。
【0133】
また、データ拡張システム１は、第２検索クエリに含まれる文字の種類に応じた所定の条件が満たされるか否かを判定する。これにより、第２検索クエリに含まれる文字の種類に応じて不適切な第２検索クエリを除外できるので、データ拡張の精度が高まる。
【0134】
また、データ拡張システム１は、第２検索クエリに基づいて、ＮＥＲモデルＭｎｅｒの訓練データを拡張することによって、データ拡張を実行する。これにより、ＮＥＲモデルＭｎｅｒの訓練データを用意する手間を軽減できる。より多くの訓練データでＮＥＲモデルＭｎｅｒを学習させることができるので、ＮＥＲモデルＭｎｅｒの精度が高まる。
【0135】
また、データ拡張システム１は、第２検索クエリと、ひとまず作成したＮＥＲモデルＭｎｅｒに基づいて推定された第２属性と、に基づいて、訓練データを拡張する。これにより、第２検索クエリに第２属性を付与する手間を軽減できる。
【0136】
また、データ拡張システム１は、第１検索クエリ及び第１属性を含む訓練データが学習済みのＮＥＲモデルＭｎｅｒに基づいて、第２属性を推定する。ひとまず作成したＮＥＲモデルＭｎｅｒは、未知の検索クエリに対応できるほどには精度が高くないが、第１検索クエリと特徴が似ている第２検索クエリであれば、ある程度高い精度で第２属性を推定できる。このため、第２検索クエリに対し、ある程度正確に第２属性を推定できるので、第２属性を付与する手間を軽減できる。
【0137】
また、データ拡張システム１は、データ拡張により出力された新たな訓練データに基づいて、学習済みのＮＥＲモデルＭｎｅｒの追加学習を実行する。これにより、ＮＥＲモデルＭｎｅｒの訓練データを作成する手間を省ける。より多くの訓練データでＮＥＲモデルＭｎｅｒを学習できるので、ＮＥＲモデルＭｎｅｒの精度が高まる。
【0138】
［５．変形例］
なお、本開示は、以上に説明した実施形態の例に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
なお、本開示は、以上に説明した実施形態の例に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
【0139】
［５－１．変形例１］
例えば、データ拡張部３０７は、第２検索クエリに基づいて、ＶＡＥモデルＭｖａｅとは異なる第３モデルの訓練データを拡張することによって、データ拡張を実行してもよい。第３モデルは、実施形態で説明したＮＥＲモデルＭｎｅｒであってもよいが、ここでは、他のモデルであるものとする。即ち、第３モデルは、ＮＥＲモデルＭｎｅｒを一例とする第２モデルを含む上位概念である。データ拡張システム１は、ＮＥＲモデルＭｎｅｒ以外の何らかの機械学習のモデルのデータ拡張に利用できる。
例えば、データ拡張部３０７は、第２検索クエリに基づいて、ＶＡＥモデルＭｖａｅとは異なる第３モデルの訓練データを拡張することによって、データ拡張を実行してもよい。第３モデルは、実施形態で説明したＮＥＲモデルＭｎｅｒであってもよいが、ここでは、他のモデルであるものとする。即ち、第３モデルは、ＮＥＲモデルＭｎｅｒを一例とする第２モデルを含む上位概念である。データ拡張システム１は、ＮＥＲモデルＭｎｅｒ以外の何らかの機械学習のモデルのデータ拡張に利用できる。
【0140】
第３モデルは、第２検索クエリを訓練データとして利用するモデルであればよく、任意の目的で利用可能である。第３モデルの機械学習の手法は、第１モデル又は第２モデルの説明で例示した任意の手法を利用可能である。例えば、第３モデルは、第２検索クエリを入力したユーザの属性（例えば、年齢層、性別、又は趣味）を推定するモデルであってもよい。この場合、第３モデルには、第２検索クエリと、ユーザの属性と、のペアである訓練データが学習される。例えば、第３モデルは、第２検索クエリに応じた検索結果に含める広告のジャンルを決定するモデルであってもよい。この場合、第３モデルには、第２検索クエリと、広告のジャンルと、のペアである訓練データが学習される。
【0141】
変形例１のデータ拡張システム１は、第２検索クエリに基づいて、ＶＡＥモデルＭｖａｅとは異なる第３モデルの訓練データを拡張することによって、データ拡張を実行する。これにより、第３モデルの訓練データを用意する手間を軽減できる。より多くの訓練データで第３モデルを学習させることができるので、第３モデルの精度が高まる。
【0142】
［５－２．変形例２］
例えば、取得部３０２は、過去における特定の期間に実行された検索で実際に入力された第１検索クエリを取得してもよい。特定の期間は、過去の一部の期間である。例えば、特定の期間は、直近の１週間、１ヶ月、又は１年といった期間であってもよい。特定の期間は、直近の期間ではなく、過去の第１時点から、第１時点よりも後の過去の第２時点までの期間（例えば、現時点を２０２２年の６月だったとすると、２０２１年）であってもよい。特定の期間は、任意の期間が指定されてよい。例えば、第１検索クエリが入力された時点は、検索履歴データベースＤＢ２の検索日時によって特定される。取得部３０２は、検索日時が特定の期間に含まれる第１検索クエリだけを取得する。
例えば、取得部３０２は、過去における特定の期間に実行された検索で実際に入力された第１検索クエリを取得してもよい。特定の期間は、過去の一部の期間である。例えば、特定の期間は、直近の１週間、１ヶ月、又は１年といった期間であってもよい。特定の期間は、直近の期間ではなく、過去の第１時点から、第１時点よりも後の過去の第２時点までの期間（例えば、現時点を２０２２年の６月だったとすると、２０２１年）であってもよい。特定の期間は、任意の期間が指定されてよい。例えば、第１検索クエリが入力された時点は、検索履歴データベースＤＢ２の検索日時によって特定される。取得部３０２は、検索日時が特定の期間に含まれる第１検索クエリだけを取得する。
【0143】
変形例２のデータ拡張システム１は、過去における特定の期間に実行された検索で実際に入力された第１検索クエリを取得する。これにより、特定の期間におけるトレンドに対応したデータ拡張を実現できる。例えば、最近流行しているキーワードと似たリアリティのある第２検索クエリを生成できるようになる。
【0144】
［５－３．変形例３］
例えば、データ拡張システム１は、検索サービス以外の他の任意のサービスに利用可能である。例えば、電子商取引サービス、旅行予約サービス、電子決済サービス、金融サービス、通信サービス、又はコンテンツ配信サービスといった他のサービスの検索にデータ拡張システム１が利用されてもよい。変形例３では、電子商取引サービスにデータ拡張システム１を利用する場合を説明する。
例えば、データ拡張システム１は、検索サービス以外の他の任意のサービスに利用可能である。例えば、電子商取引サービス、旅行予約サービス、電子決済サービス、金融サービス、通信サービス、又はコンテンツ配信サービスといった他のサービスの検索にデータ拡張システム１が利用されてもよい。変形例３では、電子商取引サービスにデータ拡張システム１を利用する場合を説明する。
【0145】
例えば、変形例３では、検索は、電子商取引サービスにおける商品の検索である。検索サーバ１０は、電子商取引サービスを提供する。検索対象は、電子商取引サービスにおける商品である。検索対象データベースＤＢ１には、商品に関する情報を表示するための商品ページへのＵＲＬと、商品のインデックスと、が関連付けられて格納される。このインデックスは、商品ページのタイトル、商品に関する固有表現、又は商品に関する属性である。
【0146】
変形例３では、第１検索クエリは、電子商取引サービスで実際に入力された検索クエリである。第２検索クエリは、仮想的な商品に関する第２固有表現を含む。第１検索クエリ及び第２検索クエリが示す内容が実施形態とは異なるが、第２検索クエリを生成する処理自体は、実施形態と同様である。ＶＡＥモデルＭｖａｅは、現実の商品でありそうな架空の商品の第２検索クエリを生成する。
【0147】
変形例３のデータ拡張システム１は、電子商取引サービスにおけるデータ拡張を効率よく実現できる。
【0148】
［５－４．その他変形例］
例えば、上記変形例を組み合わせてもよい。
例えば、上記変形例を組み合わせてもよい。
【0149】
例えば、実施形態では、ＮＥＲモデルＭｎｅｒの訓練データを拡張する場合を例に挙げたが、第２検索クエリに基づいて、他のデータ拡張が実行されてもよい。例えば、第２検索クエリに基づいて、辞書データベースＤＢ３が拡張されてもよい。他にも例えば、何らかの目的で検索クエリに関する知識（コーパス）が必要な場合に、実際に入力された第１検索クエリだけでなく、仮想的な第２検索クエリを追加して知識を増やすことによって、データ拡張が実行されてもよい。即ち、機械学習の訓練データを増やす目的以外の他のデータ拡張のために、データ拡張システム１を利用できる。
【0150】
例えば、第１モデルは、確率的又はランダムに出力が決まるモデルではなくてもよい。この場合、第１モデルには、第１検索クエリと、何らかのノイズとなるデータと、が入力され、第１モデルにより、これらが合成された第２検索クエリが生成されてもよい。ノイズとなるデータは、ランダムに生成されてもよいし、作成者によって予め用意されていてもよい。例えば、特に第２属性を利用しないのであれば、第２検索クエリの第２属性は推定されなくてもよい。第２検索クエリは、種々の目的で利用可能であり、検索以外にもマーケティング又はネーミング等の参考にするために利用されてもよい。
【0151】
例えば、学習端末３０で実現されるものとして説明したデータ拡張に関する機能は、検索サーバ１０又は他のコンピュータで実現されてもよいし、複数のコンピュータで分担されてもよい。例えば、データ記憶部３００に記憶されるものとしたデータは、データベースサーバに記憶されていてもよい。
【0152】
［６．付記］
例えば、データ拡張システムは、下記のような構成も可能である。
（１）
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する取得部と、
前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルの学習を実行する第１学習部と、
学習済みの前記第１モデルにより出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部と、
を含むデータ拡張システム。
（２）
前記第１モデルは、確率的又はランダムに出力が決まるモデルであり、
前記データ拡張部は、前記学習済みの第１モデルにより確率的又はランダムに出力された前記第２検索クエリに基づいて、前記データ拡張を実行する、
（１）に記載のデータ拡張システム。
（３）
前記第１モデルは、潜在変数が従う確率密度関数が標準正規分布に従うことによって、確率的又はランダムに出力が決まるＶＡＥ（Variational Auto Encoder）モデルであり、
前記データ拡張部は、学習済みの前記ＶＡＥモデルにより確率的又はランダムに出力された前記第２検索クエリに基づいて、前記データ拡張を実行する、
（２）に記載のデータ拡張システム。
（４）
前記ＶＡＥモデルは、
前記学習時に入力される前記第１検索クエリから、正規分布と仮定されたＬＳＴＭ（Long Short Term Memory）のセル状態の配列へのマッピングを学習するエンコーダと、
前記配列内の前記セル状態の平均値から、前記学習時に出力される第３検索クエリへのマッピングを学習するデコーダと、
を含み、
前記第１モデルは、前記正規分布からサンプリングした前記配列の平均値を開始セル状態にすることによって、前記デコーダで前記第２検索クエリを生成する、
（３）に記載のデータ拡張システム。
（５）
前記学習部は、前記第１検索クエリが前記第１モデルに入力された場合に、前記第１モデルから、前記第１検索クエリと同じ第３検索クエリが出力されるように、前記学習を実行する、
（２）～（４）の何れかに記載のデータ拡張システム。
（６）
前記データ拡張システムは、前記検索で実際に入力された複数の第４検索クエリの各々と、前記第１固有表現に関する辞書データベースと、を比較する比較部を更に含み、
前記取得部は、前記辞書データベースとマッチした前記第４検索クエリを、前記第１検索クエリとして取得する、
（１）～（５）の何れかに記載のデータ拡張システム。
（７）
前記第１検索クエリは、複数の文字を含み、
前記複数の文字の各々には、前記第１固有表現に関するタグが関連付けられており、
前記学習部は、前記複数の文字の各々に関連付けられた前記タグに基づいて、前記学習を実行する、
（１）～（６）の何れかに記載のデータ拡張システム。
（８）
前記第１検索クエリには、前記第１固有表現に関する第１属性が関連付けられており、
前記学習部は、前記第１検索クエリと、前記第１属性と、に基づいて、前記学習を実行する、
（１）～（７）の何れかに記載のデータ拡張システム。
（９）
前記データ拡張システムは、前記第２検索クエリに基づいて、所定の条件が満たされるか否かを判定する判定部を更に含み、
前記データ拡張部は、前記所定の条件が満たされると判定された場合に、前記データ拡張を実行する、
（１）～（８）の何れかに記載のデータ拡張システム。
（１０）
前記判定部は、前記第２検索クエリに含まれる前記第２固有表現が所定の文字数以上であるか否かを判定することによって、前記所定の条件が満たされるか否かを判定する、
（９）に記載のデータ拡張システム。
（１１）
前記判定部は、前記第２検索クエリに含まれる前記第２固有表現の文字の種類に応じた前記所定の条件が満たされるか否かを判定する、
（９）又は（１０）に記載のデータ拡張システム。
（１２）
前記データ拡張部は、前記第２検索クエリに基づいて、第５検索クエリに含まれる第５固有表現を認識する第２モデルの訓練データを拡張することによって、前記データ拡張を実行する、
（１）～（１１）の何れかに記載のデータ拡張システム。
（１３）
前記データ拡張システムは、前記訓練データが学習済みの前記第２モデルに基づいて、前記第２固有表現に関する第２属性を推定する属性推定部を更に含み、
前記データ拡張部は、前記第２検索クエリと、前記第２属性と、に基づいて、前記訓練データを拡張する、
（１２）に記載のデータ拡張システム。
（１４）
前記訓練データは、前記第１検索クエリと、前記第１固有表現に関する第１属性と、を含み、
前記属性推定部は、前記第１検索クエリ及び前記第１属性を含む前記訓練データが学習済みの前記第２モデルに基づいて、前記第２属性を推定する、
（１３）に記載のデータ拡張システム。
（１５）
前記データ拡張システムは、前記データ拡張により出力された新たな訓練データに基づいて、学習済みの前記第２モデルの追加学習を実行する追加学習部を更に含む、
（１２）～（１４）の何れかに記載のデータ拡張システム。
（１６）
前記データ拡張部は、前記第２検索クエリに基づいて、前記第１モデルとは異なる第３モデルの訓練データを拡張することによって、前記データ拡張を実行する、
（１）～（１５）の何れかに記載のデータ拡張システム。
（１７）
前記取得部は、過去における特定の期間に実行された前記検索で実際に入力された前記第１検索クエリを取得する、
（１）～（１６）の何れかに記載のデータ拡張システム。
（１８）
前記検索は、電子商取引サービスにおける商品の検索であり、
前記第１検索クエリは、前記電子商取引サービスで実際に入力された検索クエリであり、
前記第２検索クエリは、仮想的な商品に関する前記第２固有表現を含む、
（１）～（１７）の何れかに記載のデータ拡張システム。
例えば、データ拡張システムは、下記のような構成も可能である。
（１）
過去に実行された検索で実際に入力された、第１固有表現を含む第１検索クエリを取得する取得部と、
前記第１検索クエリに基づいて、前記第１固有表現とは異なる仮想的な第２固有表現を含む第２検索クエリを出力する第１モデルの学習を実行する第１学習部と、
学習済みの前記第１モデルにより出力された前記第２検索クエリに基づいて、データ拡張を実行するデータ拡張部と、
を含むデータ拡張システム。
（２）
前記第１モデルは、確率的又はランダムに出力が決まるモデルであり、
前記データ拡張部は、前記学習済みの第１モデルにより確率的又はランダムに出力された前記第２検索クエリに基づいて、前記データ拡張を実行する、
（１）に記載のデータ拡張システム。
（３）
前記第１モデルは、潜在変数が従う確率密度関数が標準正規分布に従うことによって、確率的又はランダムに出力が決まるＶＡＥ（Variational Auto Encoder）モデルであり、
前記データ拡張部は、学習済みの前記ＶＡＥモデルにより確率的又はランダムに出力された前記第２検索クエリに基づいて、前記データ拡張を実行する、
（２）に記載のデータ拡張システム。
（４）
前記ＶＡＥモデルは、
前記学習時に入力される前記第１検索クエリから、正規分布と仮定されたＬＳＴＭ（Long Short Term Memory）のセル状態の配列へのマッピングを学習するエンコーダと、
前記配列内の前記セル状態の平均値から、前記学習時に出力される第３検索クエリへのマッピングを学習するデコーダと、
を含み、
前記第１モデルは、前記正規分布からサンプリングした前記配列の平均値を開始セル状態にすることによって、前記デコーダで前記第２検索クエリを生成する、
（３）に記載のデータ拡張システム。
（５）
前記学習部は、前記第１検索クエリが前記第１モデルに入力された場合に、前記第１モデルから、前記第１検索クエリと同じ第３検索クエリが出力されるように、前記学習を実行する、
（２）～（４）の何れかに記載のデータ拡張システム。
（６）
前記データ拡張システムは、前記検索で実際に入力された複数の第４検索クエリの各々と、前記第１固有表現に関する辞書データベースと、を比較する比較部を更に含み、
前記取得部は、前記辞書データベースとマッチした前記第４検索クエリを、前記第１検索クエリとして取得する、
（１）～（５）の何れかに記載のデータ拡張システム。
（７）
前記第１検索クエリは、複数の文字を含み、
前記複数の文字の各々には、前記第１固有表現に関するタグが関連付けられており、
前記学習部は、前記複数の文字の各々に関連付けられた前記タグに基づいて、前記学習を実行する、
（１）～（６）の何れかに記載のデータ拡張システム。
（８）
前記第１検索クエリには、前記第１固有表現に関する第１属性が関連付けられており、
前記学習部は、前記第１検索クエリと、前記第１属性と、に基づいて、前記学習を実行する、
（１）～（７）の何れかに記載のデータ拡張システム。
（９）
前記データ拡張システムは、前記第２検索クエリに基づいて、所定の条件が満たされるか否かを判定する判定部を更に含み、
前記データ拡張部は、前記所定の条件が満たされると判定された場合に、前記データ拡張を実行する、
（１）～（８）の何れかに記載のデータ拡張システム。
（１０）
前記判定部は、前記第２検索クエリに含まれる前記第２固有表現が所定の文字数以上であるか否かを判定することによって、前記所定の条件が満たされるか否かを判定する、
（９）に記載のデータ拡張システム。
（１１）
前記判定部は、前記第２検索クエリに含まれる前記第２固有表現の文字の種類に応じた前記所定の条件が満たされるか否かを判定する、
（９）又は（１０）に記載のデータ拡張システム。
（１２）
前記データ拡張部は、前記第２検索クエリに基づいて、第５検索クエリに含まれる第５固有表現を認識する第２モデルの訓練データを拡張することによって、前記データ拡張を実行する、
（１）～（１１）の何れかに記載のデータ拡張システム。
（１３）
前記データ拡張システムは、前記訓練データが学習済みの前記第２モデルに基づいて、前記第２固有表現に関する第２属性を推定する属性推定部を更に含み、
前記データ拡張部は、前記第２検索クエリと、前記第２属性と、に基づいて、前記訓練データを拡張する、
（１２）に記載のデータ拡張システム。
（１４）
前記訓練データは、前記第１検索クエリと、前記第１固有表現に関する第１属性と、を含み、
前記属性推定部は、前記第１検索クエリ及び前記第１属性を含む前記訓練データが学習済みの前記第２モデルに基づいて、前記第２属性を推定する、
（１３）に記載のデータ拡張システム。
（１５）
前記データ拡張システムは、前記データ拡張により出力された新たな訓練データに基づいて、学習済みの前記第２モデルの追加学習を実行する追加学習部を更に含む、
（１２）～（１４）の何れかに記載のデータ拡張システム。
（１６）
前記データ拡張部は、前記第２検索クエリに基づいて、前記第１モデルとは異なる第３モデルの訓練データを拡張することによって、前記データ拡張を実行する、
（１）～（１５）の何れかに記載のデータ拡張システム。
（１７）
前記取得部は、過去における特定の期間に実行された前記検索で実際に入力された前記第１検索クエリを取得する、
（１）～（１６）の何れかに記載のデータ拡張システム。
（１８）
前記検索は、電子商取引サービスにおける商品の検索であり、
前記第１検索クエリは、前記電子商取引サービスで実際に入力された検索クエリであり、
前記第２検索クエリは、仮想的な商品に関する前記第２固有表現を含む、
（１）～（１７）の何れかに記載のデータ拡張システム。
【符号の説明】
【0153】
１ データ拡張システム、１０ 検索サーバ、１１ 制御部、１２ 記憶部、１３ 通信部、２０ ユーザ端末、２１ 制御部、２２ 記憶部、２３ 通信部、２４ 操作部、２５ 表示部、３０ 学習端末、３１ 制御部、３２ 記憶部、３３ 通信部、３４ 操作部、３５ 表示部、Ｐ１ トップページ、Ｐ２ 検索結果ページ、１００ データ記憶部、１０１ 検索部、２００ データ記憶部、２０１ 表示制御部、２０２ 操作受付部、３００ データ記憶部、３０１ 比較部、３０２ 取得部、３０４ 判定部、３０６ 属性推定部、３０７ データ拡張部、３０８ 追加学習部、Ｂ１１ ボタン、ＤＢ１ 検索対象データベース、ＤＢ２ 検索履歴データベース、ＤＢ３ 辞書データベース、ＤＢ４ 訓練データベース、ＤＢ５ 訓練データベース、Ｆ１０ 入力フォーム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
