ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-34200情報処理装置、学習モデルの生成方法、及び学習モデル生成のためのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024034200
(43)【公開日】2024-03-13
(54)【発明の名称】情報処理装置、学習モデルの生成方法、及び学習モデル生成のためのプログラム
(51)【国際特許分類】
G06F 16/908 20190101AFI20240306BHJP
【ＦＩ】
G06F16/908
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022138288
(22)【出願日】2022-08-31
(71)【出願人】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】橋本 力
(72)【発明者】
【氏名】カマー ゴータム
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175FA01
5B175FB03
5B175FB04
(57)【要約】
【課題】検索対象の数が多い場合にも高い精度が得られる学習モデルを生成するための情報処理装置、学習モデルの生成方法、及び学習モデル生成のためのプログラムを提供する。
【解決手段】学習モデル３９を生成するための情報処理装置３０は、プロセッサ３２とメモリ３４とを備える。メモリ３４には、対象データ３７が格納されている。学習モデル３９は、対象を検索するために入力された検索クエリに基づく対象の属性情報を出力するように構成される。プロセッサ３２は、対象データ３７を与えて１以上の訓練用タスクを実行することによって学習モデル３９に含まれる複数のパラメータのうちの一部を更新する処理を実行するように構成される。
【選択図】図１
【解決手段】学習モデル３９を生成するための情報処理装置３０は、プロセッサ３２とメモリ３４とを備える。メモリ３４には、対象データ３７が格納されている。学習モデル３９は、対象を検索するために入力された検索クエリに基づく対象の属性情報を出力するように構成される。プロセッサ３２は、対象データ３７を与えて１以上の訓練用タスクを実行することによって学習モデル３９に含まれる複数のパラメータのうちの一部を更新する処理を実行するように構成される。
【選択図】図１
【特許請求の範囲】
【請求項1】
学習モデルを生成するための情報処理装置であって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、
前記情報処理装置は、１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、対象データが格納されており、
前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含み、
前記プロセッサは、前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新する処理を実行するように構成される、
情報処理装置。
前記情報処理装置は、１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、対象データが格納されており、
前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含み、
前記プロセッサは、前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新する処理を実行するように構成される、
情報処理装置。
【請求項2】
前記属性情報は、前記対象の属性及び当該属性に対する属性値を含み、
前記１以上の訓練用タスクは、
前記識別情報を入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１属性タスクと、
前記識別情報を入力して前記属性を出力するように構成される第２属性タスクと、
前記識別情報を入力して前記属性値を出力するように構成される第３属性タスクと、のうち、少なくとも１つを含む、
請求項１に記載の情報処理装置。
前記１以上の訓練用タスクは、
前記識別情報を入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１属性タスクと、
前記識別情報を入力して前記属性を出力するように構成される第２属性タスクと、
前記識別情報を入力して前記属性値を出力するように構成される第３属性タスクと、のうち、少なくとも１つを含む、
請求項１に記載の情報処理装置。
【請求項3】
前記メモリには検索データが格納されており、
前記検索データは、複数の検索データセットを含み、前記各検索データセットは、検索データ項目として、入力された前記検索クエリと、当該検索クエリに基づいて検索された検索結果の中から選択された前記対象の前記属性情報とを含み、
前記プロセッサは、さらに、前記検索データを与えて１以上の訓練用タスクを実行することにより、前記複数のパラメータのうちの一部を更新する処理を実行するように構成される、
請求項１に記載の情報処理装置。
前記検索データは、複数の検索データセットを含み、前記各検索データセットは、検索データ項目として、入力された前記検索クエリと、当該検索クエリに基づいて検索された検索結果の中から選択された前記対象の前記属性情報とを含み、
前記プロセッサは、さらに、前記検索データを与えて１以上の訓練用タスクを実行することにより、前記複数のパラメータのうちの一部を更新する処理を実行するように構成される、
請求項１に記載の情報処理装置。
【請求項4】
前記属性情報は、前記対象の属性及び当該属性に対する属性値を含み、
前記検索データが与えられる前記１以上の訓練用タスクは、
前記検索クエリを入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１検索意図タスクと、
前記検索クエリを入力して前記属性を出力するように構成される第２検索意図タスクと、
前記検索クエリを入力して前記属性値を出力するように構成される第３検索意図タスクと、のうち、少なくとも１つを含む、
請求項３に記載の情報処理装置。
前記検索データが与えられる前記１以上の訓練用タスクは、
前記検索クエリを入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１検索意図タスクと、
前記検索クエリを入力して前記属性を出力するように構成される第２検索意図タスクと、
前記検索クエリを入力して前記属性値を出力するように構成される第３検索意図タスクと、のうち、少なくとも１つを含む、
請求項３に記載の情報処理装置。
【請求項5】
前記各対象データセットは、前記対象データ項目として、前記対象を分類するためのジャンルパスを更に含み、
前記ジャンルパスは、前記対象が属する複数の階層を示し、
前記対象データが与えられる前記１以上の訓練用タスクは複数のジャンルタスクを含み、
前記各ジャンルタスクは、前記識別情報を入力して対応する前記階層を出力するように構成される、
請求項１に記載の情報処理装置。
前記ジャンルパスは、前記対象が属する複数の階層を示し、
前記対象データが与えられる前記１以上の訓練用タスクは複数のジャンルタスクを含み、
前記各ジャンルタスクは、前記識別情報を入力して対応する前記階層を出力するように構成される、
請求項１に記載の情報処理装置。
【請求項6】
前記識別情報は、前記対象の名称、当該対象の１以上の属性、及び前記各属性に対応する属性値のうち１以上を含む、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記対象は商品又はサービスである、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
前記識別情報は、前記商品又はサービスの売り出しのための宣伝用文言を含む、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項9】
前記対象データセットの数が前記検索データセットの数よりも大きい、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項10】
前記学習モデルは、自然言語処理用の事前訓練済みニューラルネットワークと、１以上のアダプタモジュールと、を含み、
前記各訓練用タスクは、対応する１つの前記アダプタモジュールのパラメータを更新するように構成される、
請求項１～９のうち何れか一項に記載の情報処理装置。
前記各訓練用タスクは、対応する１つの前記アダプタモジュールのパラメータを更新するように構成される、
請求項１～９のうち何れか一項に記載の情報処理装置。
【請求項11】
前記１以上の訓練用タスクは複数の訓練用タスクを含み、
前記学習モデルは、複数の前記アダプタモジュールを含み、
前記学習モデルは、前記複数のアダプタモジュールの出力を入力すると、入力された複数の出力結果を１つに結合するように構成されるアダプタ結合層を含む、
請求項１０に記載の情報処理装置。
前記学習モデルは、複数の前記アダプタモジュールを含み、
前記学習モデルは、前記複数のアダプタモジュールの出力を入力すると、入力された複数の出力結果を１つに結合するように構成されるアダプタ結合層を含む、
請求項１０に記載の情報処理装置。
【請求項12】
情報処理装置が実行する学習モデルの生成方法であって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、
前記方法は、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
１以上の訓練用タスクを定義することと、
前記対象データを与えて前記１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を含む、学習モデルの生成方法。
前記方法は、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
１以上の訓練用タスクを定義することと、
前記対象データを与えて前記１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を含む、学習モデルの生成方法。
【請求項13】
学習モデル生成のためのプログラムであって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、
前記プログラムは、１以上のコンピュータに、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を実行させるための、学習モデル生成のためのプログラム。
前記プログラムは、１以上のコンピュータに、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を実行させるための、学習モデル生成のためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、学習モデルの生成方法、及び学習モデル生成のためのプログラムに関する。
【背景技術】
【0002】
特許文献１は、検索要求の属性をクエリに付与する検索方法を開示している。この方法では、クリックログに基づいて訓練データを作成する。クリックログは、ウェブ検索のために入力されたクエリと、検索結果であるリストから選択されたクリックＵＲＬとを含む。この訓練データは、クエリの検索要求属性を推定するための機械学習に用いられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－３３３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
検索エンジンに活用される機械学習モデルの作成には、上述のように、実際のクリックログを訓練データに使用するのが一般的である。しかし、例えば多種の商品を扱うショッピングサイトのように、検索する対象の数が多い場合、検索頻度の低い対象のログが十分に得られないことがある。その結果、所望の予測精度が得られない可能性がある。
【0005】
本開示は、検索対象の数が多い場合にも高い予測精度が得られる学習モデルを生成するための情報処理装置、学習モデルの生成方法、及び学習モデル生成のためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理装置は、学習モデルを生成するための情報処理装置であって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、前記情報処理装置は、１以上のプロセッサと１以上のメモリとを備え、前記メモリには、対象データが格納されており、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含み、前記プロセッサは、前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新する処理を実行するように構成される。
【0007】
本開示の一態様に係る方法は、情報処理装置が実行する学習モデルの生成方法であって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、前記方法は、対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、１以上の訓練用タスクを定義することと、前記対象データを与えて前記１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、を含む、学習モデルの生成方法。
【0008】
本開示の一態様に係るプログラムは、学習モデル生成のためのプログラムであって、前記学習モデルは、対象を検索するために入力された検索クエリの検索意図に沿った前記対象の属性情報を出力するように構成され、前記プログラムは、１以上のコンピュータに、対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、を実行させる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
本開示の学習モデルを生成するための情報処理装置、学習モデルの生成方法、及び学習モデル生成のためのプログラムの例を、以下に図面を参照しつつ説明する。
［システムの概要］
図１に示すように、本開示のシステム１１は、検索サーバ２０及び情報処理装置３０を含む。システム１１は、後述する学習モデルを生成するシステムである。検索サーバ２０及び情報処理装置３０は、コンピュータの一例である。検索サーバ２０は、商品又はサービスを検索するため検索窓（例えば、テキストボックス）を有するウェブサイトを提供してもよい。ウェブサイトは、検索サーバ２０とは別のウェブサーバにより提供されてもよい。
［システムの概要］
図１に示すように、本開示のシステム１１は、検索サーバ２０及び情報処理装置３０を含む。システム１１は、後述する学習モデルを生成するシステムである。検索サーバ２０及び情報処理装置３０は、コンピュータの一例である。検索サーバ２０は、商品又はサービスを検索するため検索窓（例えば、テキストボックス）を有するウェブサイトを提供してもよい。ウェブサイトは、検索サーバ２０とは別のウェブサーバにより提供されてもよい。
【0011】
ウェブサイトは、各種商品又はサービスを提供するための情報を提示するサイトである。ウェブサイトの一例として、複数の商品を販売するショッピングサイトがある。ウェブサイトで提供される商品又はサービスの例は、旅行プラン、宿泊施設、切符、チケット、書籍、雑誌、音楽、動画、映画、保険、又は証券であるが、これらに限られない。以下、検索対象となる商品又はサービスを「対象」という。
【0012】
１以上の端末１３、検索サーバ２０、及び情報処理装置３０はネットワーク１４を通じて互いに通信する。端末１３は、例えば、スマートフォン、パーソナルコンピュータ、タブレットなどの情報処理装置である。ネットワーク１４は、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線等を含む。図１に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワーク１４は、一部にローカルなネットワークを含んでもよい。
【0013】
ユーザは、各端末１３を通じてウェブサイトにアクセスした後、検索窓に任意の語句（１以上の単語またはフレーズなど）を入力することにより、複数の対象の中から所望の対象を選択するための検索を行う。検索窓に入力された語句を「検索クエリ」という。検索サーバ２０は、検索クエリからユーザの検索意図を推測して、検索結果画面を端末１３に出力する。検索結果は、例えば、複数の対象のリスト表示であってもよい。リスト表示される対象は、例えば各対象の詳細情報へのリンクを含んでもよい。検索結果は、各対象の情報を含むＷｅｂページのＵＲＬであってもよい。検索結果画面は、ユーザがリストから所望の対象を選択することができるように構成される。
【0014】
検索サーバ２０は、プロセッサ２２、メモリ２４、および通信機２６を備えるサーバ装置である。通信機２６は、ネットワーク１４を介して他の装置、例えば端末１３、情報処理装置３０、及びウェブサーバとの通信を可能とする。メモリ２４には、検索プログラム２５、対象データ２７及び検索データ２８が格納される。さらに、メモリ２４には、情報処理装置３０から取得した学習モデル２９が格納される。検索データ２８は、ユーザにより入力された検索クエリと、検索結果に基づいて選択された対象の属性情報とを含むデータである。検索データ２８の詳細は、後述する。
【0015】
情報処理装置３０は、プロセッサ３２、メモリ３４、および通信機３６を備える装置である。情報処理装置３０は、例えばサーバ装置のようなコンピュータである。通信機３６は、ネットワーク１４を介して他の装置、例えば端末１３及び検索サーバ２０との通信を可能とする。メモリ３４には、機械学習のための学習プログラム３５及び生成された学習モデル３９が格納されている。情報処理装置３０のプロセッサ３２は、メモリ３４に格納されている学習プログラム３５を実行することで、学習モデル３９を生成する。学習モデル３９は、入力された検索クエリからユーザの検索意図を推測し、対象の属性情報を出力するモデルである。
【0016】
情報処理装置３０は、定期的に、又は特定のタイミングで、あるいは、リアルタイムで、検索サーバ２０から対象データ２７及び検索データ２８を取得して、対象データ３７及び検索データ３８としてメモリ３４に格納する。情報処理装置３０は、対象データ２７と検索データ２８とを異なるタイミングで取得してもよい。情報処理装置３０は、検索サーバ２０とは別の構成要素、例えば、コンピュータ、サーバ、またはストレージなどを経由して、対象データ２７，検索データ２８を取得してもよい。検索サーバ２０において随時に更新される対象データ２７及び検索データ２８と区別するために、情報処理装置３０に格納されたデータを対象データ３７及び検索データ３８と言う。
【0017】
対象データ３７及び検索データ３８は学習モデル３９を生成するための訓練データとして使用される。対象データ３７，検索データ３８の全てを訓練データとする必要はなく、無作為に、又は特定の条件で選択された一部を訓練データとしてもよい。
【0018】
情報処理装置３０は、学習モデル３９を生成した後に、新たに対象データ２７及び検索データ２８をそれぞれ対象データ３７及び検索データ３８として取得してもよい。そして、新たな対象データ３７，検索データ３８を用いて追加の訓練を行うことにより、学習モデル３９のパラメータが更新されてもよい。このように更新される学習モデル３９と区別するために、検索サーバ２０に格納された学習モデルを、学習モデル２９と言う。学習モデル３９が更新されなければ、学習モデル３９は学習モデル２９と実質的に等しい。
【0019】
プロセッサ２２，３２は、例えば、ＣＰＵ、ＧＰＵ、およびＴＰＵのような演算ユニットを含む。プロセッサ２２，３２は、各種ソフトウェア処理を実行するように構成される処理回路である。処理回路は、ソフトウェア処理の少なくとも一部を処理する専用のハードウェア回路（たとえばＡＳＩＣ等）を備えてもよい。すなわち、ソフトウェア処理は、１又は複数のソフトウェア処理回路及び１又は複数の専用のハードウェア回路の少なくとも一方を備えた処理回路（processing circuitry）によって実行されればよい。
【0020】
メモリ２４，３４は、コンピュータ可読媒体である。メモリ２４，３４は、例えば、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの非一過性の記憶媒体を含む。プロセッサ２２，３２は、与えられる信号に応じて、又は、予め定められた条件が成立したことに応じて、それぞれメモリ２４，３４に格納されているプログラムに含まれる一連の命令を実行する。
【0021】
［検索システム］
図２に示すように、対象データ２７は、例えば、対象のカタログテーブル２７Ｔ（図２参照）を含む。図２のカタログテーブル２７Ｔは、複数の対象データセットＰ１，Ｐ２・・・・Ｐｔを含む。図２には、第１対象データセットＰ１及び第２対象データセットＰ２を例示している。
図２に示すように、対象データ２７は、例えば、対象のカタログテーブル２７Ｔ（図２参照）を含む。図２のカタログテーブル２７Ｔは、複数の対象データセットＰ１，Ｐ２・・・・Ｐｔを含む。図２には、第１対象データセットＰ１及び第２対象データセットＰ２を例示している。
【0022】
カタログテーブル２７Ｔは、対象データ項目として、例えば、各対象の「タイトル」と、「属性及びその属性に対する属性値」を含む。「属性及びその属性に対する属性値」は、以下、「属性：属性値」と表記する。カタログテーブル２７Ｔは、対象データ項目として、さらに「ジャンルパス」を含んでもよい。
【0023】
図２に示すように、タイトルには、例えば、対象の名称、ブランド名、サイズ、又は色が含まれるが、これらに限られない。タイトルは、例えば名称、ブランド名、サイズ、及び色を全て含むような長い文字列であってもよい。このように、タイトルは、対象の属性（例えば、名称、ブランド名、サイズ、及び色など）を示す情報を複数含んでいてもよい。また、タイトルは、「オススメ」「送料無料」「ポイント１０倍」のような、製品自体の属性ではない、例えば販売促進のための宣伝用文言を含んでもよい。これにより、対象の提供者は、ユーザに選択を促すための宣伝用文言をタイトルに含めることができる。タイトルには文字数の制限があってもよい。タイトルは、対象の名称を含むことから、対象の識別情報として用いられる。また、対象データ項目として、各対象の「タイトル」の代わりに識別情報（例えば、対象の名称等）を含めるようにしてもよい。
【0024】
属性は、対象のカテゴリまたは種類である。属性値は、属性の具体的な内容を示す。「属性：属性値」の例は、第１対象データセットＰ１に示すように、色：黒、代表色：グレー、ブランド名：ＲＫＴＮであるが、これらに限られない。各対象につき、複数の属性を設定することができる。属性の設定数は対象によって異なってもよい。また、対象によって異なる属性を設定することができる。属性及び属性値のペアは、属性情報として用いられる。
【0025】
複数の対象を種類に応じて分類し、その分類を階層構造で示すのがジャンルパスである。「ジャンルパス」は、各対象が属する階層Ｌ１～Ｌ５を示す。階層Ｌ１～Ｌ５は、ウェブサイトの提供者によって設定されてもよい。本例では５階層まで設定可能であるが、階層の数はこれに限らない。第１階層Ｌ１、すなわち最上階層が最も大きな分類であり、階層が下がるにつれて対象がより詳細に分類される。
【0026】
図２に示すように、階層順は、第１階層Ｌ１＞第２階層Ｌ２＞第３階層Ｌ３＞・・・、と表記することができる。各対象について必ずしも最下層まで設定する必要はない。ジャンルパスが設定されている場合、ユーザは、その分類を階層順にたどることで所望の対象にたどり着くことができる。
【0027】
例えば、第１対象データセットＰ１の例では、対象である「ＲＫＴＮ」の男性用ランニングウェアに、第１階層Ｌ１：スポーツ／アウトドア、第２階層Ｌ２：ジョギング／マラソン、第３階層Ｌ３：ウェア、第４階層Ｌ４：メンズウェア、という階層が設定され、第５階層Ｌ５は設定されていない。また、図２の第２対象データセットＰ２の例では、対象である「スマートフォン用ケース」に、第１階層Ｌ１：スマートフォン／タブレット、第２階層Ｌ２：スマートフォン／モバイルフォンアクセサリ、第３階層Ｌ３：ケース／カバー、という階層が設定され、第４階層Ｌ４及び第５階層Ｌ５は設定されていない。
【0028】
図３に示すように、検索データ２８は、例えば、ログテーブル２８Ｔ（図３参照）を含む。図３のログテーブル２８Ｔは複数の検索データセットＳ１，Ｓ２・・・・Ｓｑを含む。図３には、第１検索データセットＳ１及び第２検索データセットＳ２を例示している。
【0029】
検索サーバ２０は、各検索の検索ログを検索データセットＳ１，Ｓ２・・・としてログテーブル２８Ｔに蓄積していく。ログテーブル２８Ｔは、検索データ項目として、入力された検索クエリと、当該検索クエリに基づいて検索された検索結果の中から選択された対象の属性：属性値と、を含む。こうして蓄積された複数の検索データセットを含む検索データ２８がメモリ２４に記憶される。対象の数（種類）が多い場合、または、検索サービスが開始されてしばらくの間は、対象データセットの数が検索データセットの数よりも多い傾向がある。
【0030】
プロセッサ２２は、検索プログラム２５を実行することで、検索クエリに基づいて対象データ２７の検索を実行する検索ステップと、検索結果を出力する出力ステップと、を実行する。また、プロセッサ２２は、検索プログラム２５を実行することで、出力ステップの後、ユーザに選択された対象の属性：属性値を検索ログとしてメモリ２４に記録する記録ステップをさらに実行してもよい。
【0031】
検索結果には、学習モデル２９による予測結果が反映される。例えば、学習モデル２９は、検索クエリを入力すると、入力された検索クエリに関連が高い対象の属性：属性値を、検索意図に沿った予測結果として出力するように構成される。すなわち、学習モデル２９，学習モデル３９のターゲットタスクは、対象を検索するために入力された検索クエリの検索意図に沿った対象の属性：属性値を出力することである。
【0032】
学習モデル２９，学習モデル３９のターゲットタスクの出力は、「属性値」にしてもよい。ただし、同じ属性値であっても、対象の種類によっては、その属性値に対応する属性が異なる場合がある。例えば、対象がアロマオイルであれば、属性値「オレンジ」に対応する属性は「香り」である可能性が高い。一方、対象が衣料品であれば、属性値「オレンジ」に対応する属性は「色」である可能性が高い。そのため、ターゲットタスクの出力を「属性：属性値」にすることで、より検索意図に沿った結果を出すことができる。学習モデル２９，学習モデル３９のターゲットタスクの出力が「属性値」のみである場合、例えばブランド名等、当該属性値がどの属性を示すものであるか推定可能であることが望ましい。
【0033】
［学習モデル］
図４に、学習モデル２９を生成するためのニューラルネットワーク１００を示す。ここでは、パラメータの少なくとも一部が最終的に決定されていない学習モデルをニューラルネットワーク１００と言う。
図４に、学習モデル２９を生成するためのニューラルネットワーク１００を示す。ここでは、パラメータの少なくとも一部が最終的に決定されていない学習モデルをニューラルネットワーク１００と言う。
【0034】
ニューラルネットワーク１００は、例えば、事前訓練済みモデル１１０と、複数のアダプタモジュール（Adapter Modules）１２０と、アダプタ結合（AdapterFusion）層１３０とを含む。事前訓練済みモデル１１０、アダプタモジュール１２０、及びアダプタ結合層１３０は、例えば、インターネットを介して提供される。
【0035】
事前訓練済みモデル１１０は、例えば、入力される言語の文脈を理解するように訓練されたＢＥＲＴ（Bidirectional Encoder Representations from Transformers）である。ただし、事前訓練済みモデル１１０の構成はこれに限らない。ＢＥＲＴでは、ラベルが付与されていないデータセットを処理することができる。事前訓練済みモデル１１０は、訓練によって調整された複数のパラメータΘを含む。ＢＥＲＴの事前訓練で使用される訓練データは、例えばラベル無しテキストからなる汎用巨大コーパスである。
【0036】
ＢＥＲＴは、例えば、マルチヘッドアテンション（Multi-head Attention）層１１１と、フィードフォワード（Feed-Forward）層１１３と、加算及び正規化層１１２，加算及び正規化層１１４，加算及び正規化層１１５を含む。加算及び正規化層１１２，加算及び正規化層１１４，加算及び正規化層１１５は、それぞれマルチヘッドアテンション層１１１、フィードフォワード層１１３、及びアダプタ結合層１３０の後に配置される。
【0037】
マルチヘッドアテンション層１１１では、アテンション構造を利用して特徴量抽出を行う。例えば、入力する複数の単語をそれぞれベクトル表現に変換する。そして、単語別にクエリ（Q:Query）と、キー（K:Key）と、バリュー（V：Value）と、の３つのパラメータを計算する。ここでいうクエリは、アテンション機構におけるクエリであり、上述の検索クエリにおけるクエリとは異なる。バリューはキーの値である。次に、例えばクエリとキーの内積により、単語間の類似度を算出する。これにより、入力された単語間の照応関係が得られる。そして、この類似度を重みとして、クエリとバリューとの照応関係を示す値を出力する。マルチヘッドアテンション層１１１では、こうしたアテンション構造を並列に組み合わせることによって、複数パターンの関係性の学習を同時に行うことが可能になる。
【0038】
フィードフォワード層１１３は、２層構造の全結合ニューラルネットワークである。フィードフォワード層１１３では、まず入力に重みを掛けてバイアスを足し、活性化関数（例えば、ReLU：Rectified Linear Unit）に入れる処理を行う。この出力に重みを掛けて、さらにバイアスを足す。ここでは、単語毎に個別の順伝播を行うため、単語間の影響を受けずに並列処理が行われる。
【0039】
「加算及び正規化層」の「加算」は残差接続（residual connection）を意味し、例えば層１１３の出力にその前の層１１２の出力を加算する。また、「正規化」はレイヤ正規化（Layer Normalization）を意味する。正規化により、勾配消失及び勾配爆発を抑制されるので、学習を効率よく進めることが可能になる。
【0040】
複数のアダプタモジュール１２０は、微調整（ファインチューニング）を目的として事前訓練済みモデル１１０の内部に追加される。追加したアダプタモジュール１２０を削除すれば、元の事前訓練済みモデル１１０が復元される。また、後からさらなるアダプタモジュール１２０を追加したり、別のアダプタモジュール１２０に交換したりすることもできる。
【0041】
図５に示すように、各アダプタモジュール１２０は、例えば、フィードフォワード・ダウンプロジェクション（FF Down）層１２１と、フィードフォワード・アッププロジェクション（FF Up）層１２２とを含む。ダウンプロジェクション層１２１の後で、活性化関数（例えば、ReLU）による処理を行ってもよい。
【0042】
アダプタ結合層１３０も、微調整を目的として事前訓練済みモデル１１０の内部に追加される。訓練済みのアダプタ結合層１３０は、アダプタモジュール１２０と同様に、学習モデル３９から削除したり、再度組み込んだりすることができる。
【0043】
ニューラルネットワーク１００に対しては、アダプタモジュール１２０による第１の微調整と、アダプタ結合層１３０による第２の微調整とが行われる。アダプタ結合層１３０は、複数のアダプタモジュール１２０の出力を受容し、それらを結合するように構成される。
【0044】
図５に示すように、アダプタ結合層１３０のパラメータΨは、クエリ（Query）１３１、キー（Key）１３２、及びバリュー（Value）１３３を含む。クエリ１３１は、事前訓練済みモデル１１０の重みの出力を層１１３から入力として受け取る。キー１３２及びバリュー１３３は、複数のアダプタモジュール１２０の出力を入力として受け取る。
【0045】
クエリと全てのキーとの内積は、ソフトマックス（SoftMax）関数１３４に入力される。ソフトマックス関数は、複数の出力値の合計が１．０（＝１００％）になるように入力を変換して出力する。これにより、複数のアダプタモジュール１２０の重み付けが学習される。そして、これら重み（関連度または重要度とも言える）とバリューとの内積により、重みに応じたバリューが取得される。アダプタ結合層１３０の出力は、加算及び正規化層１１５において、加算及び正規化層１１２の出力と加算されて、正規化される。
【0046】
［微調整の方法］
第１の微調整として、各アダプタモジュール１２０は、対応する訓練用タスクにより訓練されることにより、その訓練用タスクに固有のパラメータを更新する。各アダプタモジュール１２０は、事前訓練済みモデル１１０のパラメータΘを変更することなく、そのアダプタモジュール１２０のパラメータΦを更新するように構成される。
第１の微調整として、各アダプタモジュール１２０は、対応する訓練用タスクにより訓練されることにより、その訓練用タスクに固有のパラメータを更新する。各アダプタモジュール１２０は、事前訓練済みモデル１１０のパラメータΘを変更することなく、そのアダプタモジュール１２０のパラメータΦを更新するように構成される。
【0047】
各アダプタモジュール１２０は、訓練用タスクに対する最適化問題を解くことによって、パラメータΦを更新する。より詳細には、訓練データを与えて損失関数を用いて損失（すなわち、正解値と予測値とのずれ）を計算し、損失の値を最小化するパラメータΦを決定する。訓練用タスクの数とアダプタモジュール１２０の数は等しく、各アダプタモジュール１２０は１つの訓練用タスクに対応する。訓練データは、各訓練用タスクに応じて選択される。図６～図８に訓練用タスクの例を示す。例えば、図６～図８に示すように１１の訓練用タスクが定義されている場合、ニューラルネットワーク１００は１１のアダプタモジュール１２０を備える。
【0048】
図６に示すように、１以上の訓練用タスクは、１以上（図６では３つ）の属性タスク５２を含んでもよい。複数の訓練用タスクは、１以上の属性タスク５２に加えて、あるいは１以上の属性タスク５２に代えて、１以上（図７では３つ）の検索意図タスク５１又は１以上（図８では５つ）のジャンルタスク５３のうち少なくとも一方を含んでもよい。検索意図タスク５１には、検索データ２８が訓練データとして与えられる。属性タスク５２及びジャンルタスク５３には、対象データ２７が訓練データとして与えられる。
【0049】
図６に示すように、１以上の検索意図タスク５１は、第１検索タスク５１ａｖと、第２検索タスク５１ａと、第３検索タスク５１ｖと、を含んでもよい。第１検索タスク５１ａｖは、検索クエリを入力して属性：属性値を出力するように構成される。第２検索タスク５１ａは、検索クエリを入力して属性を出力するように構成される。第３検索タスク５１ｖは、検索クエリを入力して属性値を出力するように構成される。
【0050】
図７に示すように、１以上の属性タスク５２は、第１属性タスク５２ａｖと、第２属性タスク５２ａと、第３属性タスク５２ｖと、を含んでもよい。第１属性タスク５２ａｖは、タイトルを入力して属性：属性値を出力するように構成される。第２属性タスク５２ａは、タイトルを入力して属性を出力するように構成される。第３属性タスク５２ｖは、タイトルを入力して属性値を出力するように構成される。
【0051】
図８に示すように、１以上のジャンルタスク５３は、第１ジャンルタスク５３ａ～第５ジャンルタスク５３ｅを含んでもよい。第１ジャンルタスク５３ａ、第２ジャンルタスク５３ｂ、第３ジャンルタスク５３ｃ、第４ジャンルタスク５３ｄ、及び第５ジャンルタスク５３ｅは、タイトルを入力すると、階層Ｌ１～階層Ｌ５をそれぞれ出力するように構成される。
【0052】
第２の微調整として、アダプタ結合層１３０は、事前訓練済みモデル１１０のパラメータΘ及びアダプタモジュール１２０のパラメータΦを変更することなく、最適化問題を解くことによって、アダプタ結合層１３０のパラメータΨを更新する。より詳細には、訓練データを与えて損失関数を用いて損失を計算し、損失の値を最小化するパラメータΨを決定する。
【0053】
［学習モデルの生成方法］
図９に学習モデル３９の生成手順を示す。まず、情報処理装置３０が対象データ２７を取得する（ステップＳ１１）。また、検索データ２８による訓練を行う場合には、情報処理装置３０が検索データ２８も取得する（ステップＳ１２）。検索データ２８は、学習モデル３９の検証のために取得されてもよい。
図９に学習モデル３９の生成手順を示す。まず、情報処理装置３０が対象データ２７を取得する（ステップＳ１１）。また、検索データ２８による訓練を行う場合には、情報処理装置３０が検索データ２８も取得する（ステップＳ１２）。検索データ２８は、学習モデル３９の検証のために取得されてもよい。
【0054】
また、情報処理装置３０において１以上の訓練用タスク（本開示では、３つの検索意図タスク５１、３つの属性タスク５２、及び５つのジャンルタスク５３の合計１１の訓練用タスク）が定義される（ステップＳ１３）。ステップＳ１１～ステップＳ１３の実行順は相互に入れ替わってもよいし、一部又は全部が同時に行われてもよい。
【0055】
そして、情報処理装置３０においてパラメータの更新が行われる（ステップＳ１４）。より詳細には、まず、ニューラルネットワーク１００において、訓練用タスクである検索意図タスク５１～ジャンルタスク５３に対象データ３７及び検索データ３８を与えて、複数のアダプタモジュール１２０の訓練を個別に、または同時に行う。これにより、アダプタモジュール１２０のパラメータが決定される。
【0056】
続いて、アダプタ結合層１３０のパラメータが更新される。より詳細には、例えば、訓練データとして対象データ３７を与えて、アダプタ結合層１３０の訓練を行う。アダプタ結合層１３０の訓練は、検索データ３８を与えて行ってもよい。アダプタ結合層１３０のパラメータが決定されると、学習モデル３９が完成する。完成した学習モデル３９は、ターゲットタスクの予測精度の検証を行うとよい。
【0057】
［学習モデルの検証］
図１０及び図１１に、学習モデル３９及び２つの予備検討モデルの検証結果を示す。検証結果は、何れも、ターゲットタスク、すなわち、検索クエリから属性：属性値を予測した場合の評価値で示している。図１０及び図１１において、Precision@N（N＝１，３，５）は、上位Ｎ位までの適合率を示す。同じく、Recall@N（N＝１，３，５）は、上位Ｎ位までの再現率を示し、F1@N（N＝１，３，５）は、上位Ｎ位までのＦ値を示す。図１０及び図１１に結果を示す実験において、訓練データとして用いられた対象データ３７のデータセット数は１９７８３万、検索データ３８のデータセット数は２２６万である。
図１０及び図１１に、学習モデル３９及び２つの予備検討モデルの検証結果を示す。検証結果は、何れも、ターゲットタスク、すなわち、検索クエリから属性：属性値を予測した場合の評価値で示している。図１０及び図１１において、Precision@N（N＝１，３，５）は、上位Ｎ位までの適合率を示す。同じく、Recall@N（N＝１，３，５）は、上位Ｎ位までの再現率を示し、F1@N（N＝１，３，５）は、上位Ｎ位までのＦ値を示す。図１０及び図１１に結果を示す実験において、訓練データとして用いられた対象データ３７のデータセット数は１９７８３万、検索データ３８のデータセット数は２２６万である。
【0058】
図１０及び図１１の評価値はマイクロ平均（Micro-average）であり、すべてのクラスの結果を重みづけすることなく評価している。また、訓練に用いられる検索データ３８は、検索クエリの入力と属性：属性値との間のコサイン類似度（＞０．７）を使用してフィルタ処理されている。
【0059】
図１０は、訓練用タスクの違いを検証した第１の実験結果である。この検証に使用した予備検討モデル１，２は、１つのアダプタ層（図示略）を備えるとともにアダプタ結合層１３０を備えない点が、本開示のニューラルネットワーク１００と異なる。アダプタ層の構成及び機能は、アダプタモジュール１２０と同様である。
【0060】
予備検討モデル１は、訓練データとして検索データ３８を与えて、検索クエリを入力して属性：属性値を出力する第１検索タスク５１ａｖのみによってアダプタ層を訓練した。すなわち、予備検討モデル１では、学習モデル３９のターゲットタスクを訓練用タスクとした。この予備検討モデル１を用いた予測が実験例１である。
【0061】
これに対して、予備検討モデル２は、訓練データとして対象データ３７を与えて、タイトルを入力して属性：属性値を出力する第１属性タスク５２ａｖのみによってアダプタ層を訓練した。この予備検討モデル２を用いた予測が実験例２である。
【0062】
図１０に示すように、上位１位の適合率、再現率、及びＦ値のいずれについても、予備検討モデル２の方が予備検討モデル１よりも予測精度が遙かに高いことがわかる。すなわち、モデルのレイヤ構造が同じ場合、検索データ３８よりも、対象データ３７を訓練データとして訓練を行った方が、ターゲットタスクの予測精度が高いといえる。
【0063】
図１１は、第２の実験結果を示す。実験例２は、図１０の検討において成績の良かった予備検討モデル２を使用した結果である。実験例３は、上述した学習モデル３９である。すなわち、実験例３のモデル（ニューラルネットワーク１００）は、事前訓練済みモデル１１０と、１１のアダプタモジュール１２０と、アダプタ結合層１３０とを備え、対象データ３７及び検索データ３８を用いて、１１の訓練用タスク（検索意図タスク５１～ジャンルタスク５３）で訓練されている。
【0064】
図１１を見ると、評価値毎に予測精度の優劣が異なることはなく、全ての評価値について、実験例２よりも実験例３の予測精度が高かった。このことから、１つの訓練用タスクで訓練を行うよりも、複数の訓練用タスクで訓練を行った方が、予測精度が高くなるといえる。
【0065】
［本開示の作用］
学習モデルの精度を上げるには、大量の訓練データを用いて学習を行うことが好ましい。しかしながら、学習に最適なデータセットの入手には時間及びコストがかかる。さらに、新たな学習のたびに膨大な時間がかかる。
学習モデルの精度を上げるには、大量の訓練データを用いて学習を行うことが好ましい。しかしながら、学習に最適なデータセットの入手には時間及びコストがかかる。さらに、新たな学習のたびに膨大な時間がかかる。
【0066】
その点、事前学習済みモデル１１０は、例えば検索クエリに使用される言語に関する知識を学習済みである。事前学習済みモデル１１０に複数のアダプタモジュール１２０及びアダプタ結合層１３０を追加することにより、ニューラルネットワーク１００は効率的に微調整される。本開示の方法では、対象データ３７を使用してパラメータを調整することにより、検索対象に関する知識を備えた学習モデル３９を生成することができる。
【0067】
一般に、アダプタモジュール１２０及びアダプタ結合層１３０が扱うパラメータ数は事前訓練済みモデル１１０のパラメータ数と比較して非常に小さい。例えば、アダプタモジュール１２０のパラメータ数は、事前訓練済みモデル１１０のパラメータ数の数％程度である。よって、微調整のための計算資源が少なくてすみ、パラメータを保存するための記憶容量も低減できる。
【0068】
アダプタモジュール１２０及びアダプタ結合層１３０をニューラルネットワーク１００に追加しても、以前に学習した知識（事前訓練済みモデル１１０のパラメータ）は改変されない。さらに、アダプタモジュール１２０及びアダプタ結合層１３０は、更新したり、ニューラルネットワーク１００から取り除いたりすることができる。そのため、対象及びターゲットタスクに応じて目的の訓練用タスクを定義することにより、容易に学習モデル３９を改良することができる。例えば、個人向け商品と法人向けサービスとで対象データ３７の対象データ項目が異なる場合には、アダプタモジュール１２０及びアダプタ結合層１３０を交換すれば、その対象に合わせた微調整を行うことが可能となる。
【0069】
対象の数が多い場合、検索実績の少ない対象は、訓練に用いるための十分な検索データが蓄積されにくい。そうすると、予測の精度が低下する虞がある。アダプタモジュール１２０を用いると、少ない訓練データでも効率的に訓練が行える。その結果、予測精度の高い学習モデル３９を生成することができる。さらに、対象データ３７を訓練データとする場合、全ての対象について対応する属性：属性値が存在するので、訓練データの欠損がない。
【0070】
ここで、複数の訓練用タスク（検索意図タスク５１～ジャンルタスク５３）を１つずつ順番に微調整に用いると、知識が次々と改変されていくことにより、それ以前に学習した知識が失われることになる。そのため、訓練用タスクの実行順序も考慮する必要があるが、その順序を適切に設定するのは容易ではない。
【0071】
別の方法として、複数のタスク間で情報を共有するマルチタスク学習がある。しかし、マルチタスク学習では、新たなタスクを追加する都度、再訓練が必要になる。さらに、マルチタスク学習では複数のタスク間のバランスをとりつつ、各タスクを均等に解決するモデルを訓練することが困難である。
【0072】
その点、アダプタ結合層１３０を使用する微調整では、複数のタスク処理の順序及びバランスを考慮する必要がない。そして、アダプタ結合層１３０を用いれば、複数のアダプタモジュール１２０の関連性を考慮して、複数のアダプタモジュール１２０の出力に対して異なる重みを与えることができる。
【0073】
タイトルに含まれる情報は対象によって異なるため、対象データ３７の内容が異なれば、有効な訓練用タスクが異なる可能性がある。その点、アダプタモジュール１２０及びアダプタ結合層１３０は個別に交換又は削除が可能である。そのため、対象に応じて、ニューラルネットワーク１００の構成、訓練用タスク、又は訓練データを変更して、効率よく再訓練を行うことができる。
【0074】
対象と属性：属性値との間には、特定の相関又は関連があり得る。特にタイトルに属性又は属性値が含まれている場合には、タイトルと属性又は属性値との間には相関又は関連が生じやすい。本来、対象データ２７そのものは、ターゲットタスクの正解を示す教師データではないが、タイトルに含まれる対象のデータは、その対象の属性：属性値と正しく、かつ、直接的に関連している。これに対して、検索クエリには、検索結果として出力された対象の属性：属性値に対してノイズとなる情報が含まれ得る。
【0075】
本開示では、対象データ項目と検索データ項目の両方が「属性：属性値」を含む。そのため、対象データ３７の「タイトル」を疑似的な「検索クエリ」として、検索データ３８と同様に対象データ３７を訓練データとして使用できる。対象データ２７を用いて訓練することにより、対象と属性：属性値との関係を正しく学習することができる。その結果、より検索意図に沿った検索結果が得られるようになる。
【0076】
［本開示の効果］
本開示によれば、以下の効果を奏することができる。
（１）対象データ３７を訓練データとして用いるので、対象の数が多い場合、又は、検索データ３８が十分に蓄積されていない段階でも、学習モデル３９を効率よく訓練することができる。その結果、検索対象の数が多い場合にも高い予測精度が得られる。
本開示によれば、以下の効果を奏することができる。
（１）対象データ３７を訓練データとして用いるので、対象の数が多い場合、又は、検索データ３８が十分に蓄積されていない段階でも、学習モデル３９を効率よく訓練することができる。その結果、検索対象の数が多い場合にも高い予測精度が得られる。
【0077】
（２）学習モデル３９は、属性値に加えてその属性値に対応する属性もセットで出力することにより、多様な種類の対象に対して正確な予測をすることができる。
（３）対象データ３７を用いて、複数の属性タスク５２（５２ａｖ，５２ａ，５２ｖ）を実行することができる。
（３）対象データ３７を用いて、複数の属性タスク５２（５２ａｖ，５２ａ，５２ｖ）を実行することができる。
【0078】
（４）検索データ３８を訓練データとして用いることにより、より精度の高い学習モデル３９を生成することができる。
（５）検索データ３８を用いて、複数の検索意図タスク５１（５１ａｖ，５１ａ，５１ｖ）を実行することができる。
（５）検索データ３８を用いて、複数の検索意図タスク５１（５１ａｖ，５１ａ，５１ｖ）を実行することができる。
【0079】
（６）対象データ３７を用いて、複数のジャンルタスク５３（５３ａ～５３ｅ）を実行することができる。
（７）タイトル（識別情報）が、対象の属性及び当該属性に対応する属性値を含む場合、対象データ３７の対象データ項目間に相関関係が生じる。そのため、対象データ３７を訓練に用いることにより、検索対象について学習させることができる。
（７）タイトル（識別情報）が、対象の属性及び当該属性に対応する属性値を含む場合、対象データ３７の対象データ項目間に相関関係が生じる。そのため、対象データ３７を訓練に用いることにより、検索対象について学習させることができる。
【0080】
（８）対象が商品又はサービスである場合、その種類が多様になり得るが、各対象に関する対象データ３７を訓練データに用いるので、データの欠損が生じない。
（９）タイトルに含まれる宣伝用文言は対象とは関連性が薄いことが多い。こうした場合も、属性タスク５２及びジャンルタスク５３のうち少なくとも１つで訓練を行うことにより、より適切な重み付けをすることができる。
（９）タイトルに含まれる宣伝用文言は対象とは関連性が薄いことが多い。こうした場合も、属性タスク５２及びジャンルタスク５３のうち少なくとも１つで訓練を行うことにより、より適切な重み付けをすることができる。
【0081】
（１０）データセットの数が多い対象データ３７を訓練に用いることにより、高い予測精度が得られる。
（１１）事前訓練済みニューラルネットワーク１００を利用することにより、学習モデル３９を作成するためのコスト及び時間を大幅に低減することができる。また、アダプタモジュール１２０により、効率よく微調整を行うことができる。
（１１）事前訓練済みニューラルネットワーク１００を利用することにより、学習モデル３９を作成するためのコスト及び時間を大幅に低減することができる。また、アダプタモジュール１２０により、効率よく微調整を行うことができる。
【0082】
（１２）アダプタ結合層１３０により、入力に対する各アダプタモジュール１２０の関連性を考慮して、複数のアダプタモジュール１２０の出力に対して異なる重みを与えることができる。
【0083】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・学習モデルは、自然言語処理を含めて、全体を新たに生成してもよい。
・学習モデルは、自然言語処理を含めて、全体を新たに生成してもよい。
【0084】
・ニューラルネットワーク１００は、複数のアダプタモジュール１２０又はアダプタ結合層１３０のうち１以上を備えなくてもよい。例えば、訓練用タスクは１つ（例えば、タイトルを入力して属性：属性値を出力する第１属性タスク５２ａｖ）のみでもよい。この場合、ニューラルネットワーク１００は１つのアダプタモジュール１２０を備えればよい。ニューラルネットワーク１００に挿入されるアダプタモジュール１２０が１つであれば、アダプタ結合層１３０は不要である。
【0085】
・訓練用タスクの数及び内容は変更可能である。例えば、３つの検索意図タスク５１及び３つの属性タスク５２の何れかを省略してもよい。あるいは、データ３７，３８が別のデータ項目を含む場合、そのデータ項目を利用した訓練用タスクを追加してもよい。また、階層数に応じて、ジャンルタスク５３の数を変更してもよい。検索データ２８と対象データ２７とで、共通のデータ項目（例えば「属性：属性値」）があれば、検索データ２８に代えて、又は検索データ２８に加えて、対象データ２７を訓練データとして使用しやすい。
【0086】
・ニューラルネットワーク１００はアダプタ結合層１３０を備えなくてもよい。アダプタモジュール１２０（訓練用タスク）が複数ある場合には、複数の訓練用タスクを順次に処理してパラメータを更新してもよい。あるいは、複数の訓練用タスクをマルチタスク学習により処理してもよい。
【0087】
以下に、上記実施形態及び変更例から把握される態様を列挙する。
［１］学習モデルを生成するための情報処理装置であって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、
前記情報処理装置は、１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、対象データが格納されており、
前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含み、
前記プロセッサは、前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新する処理を実行するように構成される、
情報処理装置。
［１］学習モデルを生成するための情報処理装置であって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、
前記情報処理装置は、１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、対象データが格納されており、
前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含み、
前記プロセッサは、前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新する処理を実行するように構成される、
情報処理装置。
【0088】
［２］
前記属性情報は、前記対象の属性及び当該属性に対する属性値を含み、
前記１以上の訓練用タスクは、
前記識別情報を入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１属性タスクと、
前記識別情報を入力して前記属性を出力するように構成される第２属性タスクと、
前記識別情報を入力して前記属性値を出力するように構成される第３属性タスクと、のうち、少なくとも１つを含む、
上記［１］に記載の情報処理装置。
前記属性情報は、前記対象の属性及び当該属性に対する属性値を含み、
前記１以上の訓練用タスクは、
前記識別情報を入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１属性タスクと、
前記識別情報を入力して前記属性を出力するように構成される第２属性タスクと、
前記識別情報を入力して前記属性値を出力するように構成される第３属性タスクと、のうち、少なくとも１つを含む、
上記［１］に記載の情報処理装置。
【0089】
［３］前記メモリには検索データが格納されており、
前記検索データは、複数の検索データセットを含み、前記各検索データセットは、検索データ項目として、入力された前記検索クエリと、当該検索クエリに基づいて検索された検索結果の中から選択された前記対象の前記属性情報とを含み、
前記プロセッサは、さらに、前記検索データを与えて１以上の訓練用タスクを実行することにより、前記複数のパラメータのうちの一部を更新する処理を実行するように構成される、
上記［１］又は［２］に記載の情報処理装置。
前記検索データは、複数の検索データセットを含み、前記各検索データセットは、検索データ項目として、入力された前記検索クエリと、当該検索クエリに基づいて検索された検索結果の中から選択された前記対象の前記属性情報とを含み、
前記プロセッサは、さらに、前記検索データを与えて１以上の訓練用タスクを実行することにより、前記複数のパラメータのうちの一部を更新する処理を実行するように構成される、
上記［１］又は［２］に記載の情報処理装置。
【0090】
［４］前記属性情報は、前記対象の属性及び当該属性に対する属性値を含み、
前記検索データが与えられる前記１以上の訓練用タスクは、
前記検索クエリを入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１検索意図タスクと、
前記検索クエリを入力して前記属性を出力するように構成される第２検索意図タスクと、
前記検索クエリを入力して前記属性値を出力するように構成される第３検索意図タスクと、のうち、少なくとも１つを含む、
上記［３］に記載の情報処理装置。
前記検索データが与えられる前記１以上の訓練用タスクは、
前記検索クエリを入力して前記属性値及び当該属性値に対応する前記属性を出力するように構成される第１検索意図タスクと、
前記検索クエリを入力して前記属性を出力するように構成される第２検索意図タスクと、
前記検索クエリを入力して前記属性値を出力するように構成される第３検索意図タスクと、のうち、少なくとも１つを含む、
上記［３］に記載の情報処理装置。
【0091】
［５］前記各対象データセットは、前記対象データ項目として、前記対象を分類するためのジャンルパスを更に含み、
前記ジャンルパスは、前記対象が属する複数の階層を示し、
前記対象データが与えられる前記１以上の訓練用タスクは複数のジャンルタスクを含み、
前記各ジャンルタスクは、前記識別情報を入力して対応する前記階層を出力するように構成される、
上記［１］～［４］のうち何れかに記載の情報処理装置。
前記ジャンルパスは、前記対象が属する複数の階層を示し、
前記対象データが与えられる前記１以上の訓練用タスクは複数のジャンルタスクを含み、
前記各ジャンルタスクは、前記識別情報を入力して対応する前記階層を出力するように構成される、
上記［１］～［４］のうち何れかに記載の情報処理装置。
【0092】
［６］前記識別情報は、前記対象の名称、当該対象の１以上の属性、及び前記各属性に対応する属性値のうち１以上を含む、
上記［１］～［５］のうち何れかに記載の情報処理装置。
上記［１］～［５］のうち何れかに記載の情報処理装置。
【0093】
［７］前記対象は商品又はサービスである、
上記［１］～［６］のうち何れかに記載の情報処理装置。
［８］前記識別情報は、前記商品又はサービスの売り出しのための宣伝用文言を含む、
上記［７］に記載の情報処理装置。
上記［１］～［６］のうち何れかに記載の情報処理装置。
［８］前記識別情報は、前記商品又はサービスの売り出しのための宣伝用文言を含む、
上記［７］に記載の情報処理装置。
【0094】
［９］前記対象データセットの数が前記検索データセットの数よりも大きい、
上記［５］及び［５］を引用する［６］～［８］のうち何れかに記載の情報処理装置。
［１０］前記学習モデルは、自然言語処理用の事前訓練済みニューラルネットワークと、１以上のアダプタモジュールと、を含み、
前記各訓練用タスクは、対応する１つの前記アダプタモジュールのパラメータを更新するように構成される、
上記［１］～［９］のうち何れかに記載の情報処理装置。
上記［５］及び［５］を引用する［６］～［８］のうち何れかに記載の情報処理装置。
［１０］前記学習モデルは、自然言語処理用の事前訓練済みニューラルネットワークと、１以上のアダプタモジュールと、を含み、
前記各訓練用タスクは、対応する１つの前記アダプタモジュールのパラメータを更新するように構成される、
上記［１］～［９］のうち何れかに記載の情報処理装置。
【0095】
［１１］前記１以上の訓練用タスクは複数の訓練用タスクを含み、
前記学習モデルは、複数の前記アダプタモジュールを含み、
前記学習モデルは、前記複数のアダプタモジュールの出力を入力すると、入力された複数の出力結果を１つに結合するように構成されるアダプタ結合層を含む、
上記［１０］に記載の情報処理装置。
前記学習モデルは、複数の前記アダプタモジュールを含み、
前記学習モデルは、前記複数のアダプタモジュールの出力を入力すると、入力された複数の出力結果を１つに結合するように構成されるアダプタ結合層を含む、
上記［１０］に記載の情報処理装置。
【0096】
［１２］情報処理装置が実行する学習モデルの生成方法であって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、
前記方法は、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
１以上の訓練用タスクを定義することと、
前記対象データを与えて前記１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を含む、学習モデルの生成方法。
前記方法は、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
１以上の訓練用タスクを定義することと、
前記対象データを与えて前記１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を含む、学習モデルの生成方法。
【0097】
［１３］学習モデル生成のためのプログラムであって、前記学習モデルは、対象を検索するために入力された検索クエリに基づく前記対象の属性情報を出力するように構成され、
前記プログラムは、１以上のコンピュータに、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を実行させるための、学習モデル生成のためのプログラム。
前記プログラムは、１以上のコンピュータに、
対象データを取得することであって、前記対象データは、複数の対象データセットを含み、前記各対象データセットは、対象データ項目として、前記対象の識別情報と、当該対象の属性情報と、を含む、ことと、
前記対象データを与えて１以上の訓練用タスクを実行することにより、前記学習モデルに含まれる複数のパラメータのうちの一部を更新することと、
を実行させるための、学習モデル生成のためのプログラム。
【0098】
［１４］上記［１３］に記載のプログラムを記録している、コンピュータ可読媒体。
【符号の説明】
【0099】
１１…システム、１３…端末、１４…ネットワーク、２０…検索サーバ、２２…プロセッサ、２４…メモリ、２５…検索プログラム、２６…通信機、２７…対象データ、２７Ｔ…カタログテーブル、２８…検索データ、２８Ｔ…ログテーブル、２９…学習モデル、３０…情報処理装置、３２…プロセッサ、３４…メモリ、３５…学習プログラム、３６…通信機、３７…対象データ、３８…検索データ、３９…学習モデル、５１…検索意図タスク、５１ａｖ…第１検索タスク、５１ａ…第２検索タスク、５１ｖ…第３検索タスク、５２…属性タスク、５２ａｖ…第１属性タスク、５２ａ…第２属性タスク、５２ｖ…第３属性タスク、５３…ジャンルタスク、５３ａ…第１ジャンルタスク、５３ｂ…第２ジャンルタスク、５３ｃ…第３ジャンルタスク、５３ｄ…第４ジャンルタスク、５３ｅ…第５ジャンルタスク、１００…ニューラルネットワーク、１１１…マルチヘッドアテンション層、１１２，１１４，１１５…加算及び正規化層、１１３…フィードフォワード層、１２０…アダプタモジュール、１２１…フィードフォワード・ダウンプロジェクション層、１２２…フィードフォワード・アッププロジェクション層、１３０…アダプタ結合層、Ｐ１…第１対象データセット、Ｐ２…第２対象データセット、Ｓ１…第１検索データセット、Ｓ２…第２検索データセット。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】