特許 6553793 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6553793

(24)【登録日】2019年7月12日

(45)【発行日】2019年7月31日

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06F 16/00 20190101AFI20190722BHJP

【ＦＩ】

   G06F16/00

【請求項の数】17

【全頁数】28

(21)【出願番号】特願2018-176617(P2018-176617)

(22)【出願日】2018年9月20日

【審査請求日】2018年12月13日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】清水 徹

(72)【発明者】

【氏名】宰川 潤二

(72)【発明者】

【氏名】バッタチャルジ アヌパム

(72)【発明者】

【氏名】クルカルニ カウステューブ

(72)【発明者】

【氏名】小林 隼人

(72)【発明者】

【氏名】清水 伸幸

【審査官】 関 博文

(56)【参考文献】

【文献】 特開２０１６−０１８２８６（ＪＰ，Ａ）

【文献】 特開２０１２−００８８９９（ＪＰ，Ａ）

【文献】 特開２００８−１９１８７７（ＪＰ，Ａ）

【文献】 特開２０１０−０３３３７７（ＪＰ，Ａ）

【文献】 特開２０１８−０７３４２９（ＪＰ，Ａ）

【文献】 特開２０１８−１５６４２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００

(57)【特許請求の範囲】

【請求項1】

同一のユーザによって所定の時間内に入力された一対の検索クエリの分散表現が類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得部と、
前記取得部によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成部と、
を備えることを特徴とする情報処理装置。

【請求項2】

同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、前記複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得部と、
前記取得部によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成部と、
を備えることを特徴とする情報処理装置。

【請求項3】

同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得部と、
前記取得部によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成部と、
を備え、
前記取得部は、
ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する
ことを特徴とする情報処理装置。

【請求項4】

同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得部と、
前記取得部によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成部と、
を備え、
前記取得部は、
ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する
ことを特徴とする情報処理装置。

【請求項5】

同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得部と、
前記取得部によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成部と、
を備え、
前記生成部は、
検索クエリが学習モデルに入力された際に、学習モデルが出力する分散表現の分類結果が、前記検索クエリが属するカテゴリに対応するように学習することで、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する
ことを特徴とする情報処理装置。

【請求項6】

前記取得部は、
入力情報として所定の検索クエリが入力された際に、出力情報として前記所定の検索クエリの分散表現を出力する第１学習モデルを取得する
ことを特徴とする請求項１〜５のいずれか一つに記載の情報処理装置。

【請求項7】

前記生成部は、
入力情報として検索クエリが学習モデルに入力された際に、出力情報として前記検索クエリが当該カテゴリに属する確率をカテゴリ毎に出力する第２学習モデルを生成する
ことを特徴とする請求項１〜６のいずれか一つに記載の情報処理装置。

【請求項8】

コンピュータが実行する情報処理方法であって、
同一のユーザによって所定の時間内に入力された一対の検索クエリの分散表現が類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得工程と、
前記取得工程によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成工程と、
を含むことを特徴とする情報処理方法。

【請求項9】

同一のユーザによって所定の時間内に入力された一対の検索クエリの分散表現が類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得手順と、
前記取得手順によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項10】

コンピュータが実行する情報処理方法であって、
同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、前記複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得工程と、
前記取得工程によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成工程と、
を含むことを特徴とする情報処理方法。

【請求項11】

同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、前記複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得手順と、
前記取得手順によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項12】

コンピュータが実行する情報処理方法であって、
同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得工程と、
前記取得工程によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成工程と、
を含み、
前記取得工程は、
ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する
ことを特徴とする情報処理方法。

【請求項13】

同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得手順と、
前記取得手順によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成手順と、
をコンピュータに実行させ、
前記取得手順は、
ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する
ことを特徴とする情報処理プログラム。

【請求項14】

コンピュータが実行する情報処理方法であって、
同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得工程と、
前記取得工程によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成工程と、
を含み、
前記取得工程は、
ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する
ことを特徴とする情報処理方法。

【請求項15】

同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得手順と、
前記取得手順によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成手順と、
をコンピュータに実行させ、
前記取得手順は、
ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する
ことを特徴とする情報処理プログラム。

【請求項16】

コンピュータが実行する情報処理方法であって、
同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得工程と、
前記取得工程によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成工程と、
を含み、
前記生成工程は、
検索クエリが学習モデルに入力された際に、学習モデルが出力する分散表現の分類結果が、前記検索クエリが属するカテゴリに対応するように学習することで、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する
ことを特徴とする情報処理方法。

【請求項17】

同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得手順と、
前記取得手順によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成手順と、
をコンピュータに実行させ、
前記生成手順は、
検索クエリが学習モデルに入力された際に、学習モデルが出力する分散表現の分類結果が、前記検索クエリが属するカテゴリに対応するように学習することで、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、種々の情報をカテゴリに分類する技術が知られている。具体的には、カテゴリ毎に分類された教師データの群によって、各カテゴリに応じた学習モデルを生成する。そして、生成した学習モデルに分類対象となるデータを入力して、分類対象となるデータが学習モデルに対応するカテゴリに属する確率を出力する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８−９７３９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、検索クエリの分類精度を高めることができるとは限らない。具体的には、検索クエリをカテゴリに分類し、高い分類精度を得るためには、十分な量の教師データを用意することが必要である。しかしながら、上記の従来技術では、カテゴリ毎に分類された教師データの群によって、各カテゴリに応じた学習モデルを生成するにすぎないため、十分な量の教師データを用意することができるとは限らない。したがって、上記の従来技術では、検索クエリの分類精度を高めることができるとは限らない。

【0005】

本願は、上記に鑑みてなされたものであって、検索クエリの分類精度を高めることができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理装置は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した第１学習モデルを取得する取得部と、前記取得部によって取得された第１学習モデルを用いて、所定の検索クエリから前記所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する生成部とを備えたことを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、検索クエリの分類精度を高めることができるといった効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の一例を示す図である。

【図2】図２は、実施形態に係る情報処理システムの構成例を示す図である。

【図3】図３は、実施形態に係る情報処理装置の構成例を示す図である。

【図4】図４は、実施形態に係るクエリ情報記憶部の一例を示す図である。

【図5】図５は、実施形態に係るベクトル情報記憶部の一例を示す図である。

【図6】図６は、実施形態に係る分類定義記憶部の一例を示す図である。

【図7】図７は、実施形態に係るカテゴリ情報記憶部の一例を示す図である。

【図8】図８は、実施形態に係るモデル情報記憶部の一例を示す図である。

【図9】図９は、実施形態に係る第１学習モデルの一例を示す図である。

【図10】図１０は、実施形態に係る第２学習モデルの一例を示す図である。

【図11】図１１は、実施形態に係る第１学習モデルの生成処理手順を示すフローチャートである。

【図12】図１２は、実施形態に係る情報処理手順を示すフローチャートである。

【図13】図１３は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

【0010】

〔１．情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に示す情報処理は、ユーザ端末１０と検索サーバ５０と情報処理装置１００とによって行われる。

【0011】

〔情報処理システムの構成〕
図１の説明に先立って、図２を用いて情報処理システム１の構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、情報処理システム１には、ユーザ端末１０と、検索サーバ５０と、情報処理装置１００とが含まれる。ユーザ端末１０と、検索サーバ５０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図２に示す情報処理システム１には、任意の数のユーザ端末１０と任意の数の検索サーバ５０と任意の数の情報処理装置１００とが含まれてもよい。

【0012】

ユーザ端末１０は、検索サービスを利用するユーザによって使用される情報処理装置である。ユーザ端末１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。なお、以下では、ユーザ端末１０をユーザと同一視する場合がある。すなわち、以下では、ユーザをユーザ端末１０と読み替えることもできる。

【0013】

また、以下では、ユーザＩＤ「Ｕ１」により特定されるユーザを「ユーザＵ１」とする場合がある。このように、以下では、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により特定されるユーザであることを示す。例えば、「ユーザＵ２」と記載した場合、そのユーザはユーザＩＤ「Ｕ２」により特定されるユーザである。

【0014】

また、以下では、ユーザ端末１０を利用するユーザに応じて、ユーザ端末１０をユーザ端末１０−１、１０−２として説明する。例えば、ユーザ端末１０−１は、ユーザＵ１により使用されるユーザ端末１０である。また、例えば、ユーザ端末１０−２は、ユーザＵ２により使用されるユーザ端末１０である。また、以下では、ユーザ端末１０−１、１０−２について、特に区別なく説明する場合には、ユーザ端末１０と記載する。

【0015】

ユーザ端末１０は、ユーザによって入力された検索クエリを検索サーバ５０に送信する。具体的には、ユーザ端末１０は、ユーザによる操作に従って、検索クエリを入力するための検索ボックスを含む検索ページを検索サーバ５０から取得する。続いて、ユーザ端末１０は、ユーザによって検索ボックスに文字が入力される操作に続いて、検索クエリを送信する操作が行われると、検索ページを介して検索ボックスに入力された文字を検索クエリとして検索サーバ５０に送信する。例えば、ユーザ端末１０は、ユーザによって検索ボックスに文字が入力される操作に続いて、検索クエリの送信ボタンが押下される操作やエンターキーが押下される操作が行われると、検索ページを介して検索ボックスに入力された文字を検索クエリとして検索サーバ５０に送信する。

【0016】

検索サーバ５０は、検索サービスを提供するサーバ装置である。具体的には、検索サーバ５０は、ユーザ端末１０から検索クエリを受け付けると、受け付けた検索クエリに応じたコンテンツであって、検索結果として出力されるコンテンツを選択する。続いて、検索サーバ５０は、選択されたコンテンツを含む検索結果ページをユーザ端末１０に配信する。ここで、検索サーバ５０によって配信されるコンテンツは、ウェブブラウザによって表示されるウェブページに限られない。例えば、検索サーバ５０によって配信されるコンテンツは、ユーザ端末１０にインストールされた専用のアプリケーションによって表示されるコンテンツであってもよい。また、検索サーバ５０によって配信されるコンテンツは、音楽コンテンツや画像（静止画のみならず動画を含む。）コンテンツ、テキストコンテンツ（ニュース記事やＳＮＳ（Social Networking Service）に投稿された記事を含む。）、画像とテキストを組み合わせたコンテンツ、ゲームコンテンツなど、どのようなコンテンツであってもよい。

【0017】

また、検索サーバ５０は、ユーザによって入力された検索クエリに関する情報を記憶する。具体的には、検索サーバ５０は、ユーザの検索履歴に関する情報を記憶する。例えば、検索サーバ５０は、ユーザ端末１０から検索クエリを受け付けると、受け付けた検索クエリと検索クエリの送信元であるユーザを識別するユーザＩＤと検索クエリの送信日時とを対応付けてデータベースに登録する。検索サーバ５０は、情報処理装置１００の要求に応じて、ユーザによって入力された検索クエリに関する情報を情報処理装置１００に送信する。

【0018】

情報処理装置１００は、後述する第１学習モデルを用いて、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成するサーバ装置である。ここで、第１学習モデルは、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、同一のユーザによって所定の時間内に入力された複数の検索クエリが有する特徴を学習した学習モデルである。なお、以下では、適宜、第１学習モデルを第１モデル（又は、第１モデルＭ１）と記載する。また、以下では、適宜、第２学習モデルを第２モデル（又は、第１モデルＭ２）と記載する。

【0019】

一般的に、検索者が検索を行う際、一回の検索で検索者の意図する情報に到達するケースよりも、異なる検索クエリを用いて複数回にわたって検索を行った結果、検索者の意図する情報に到達するケースの方が多いと考えられる。すなわち、ユーザはある意図を持って検索を複数回行うと考えられるため、所定の時間内に連続して入力された検索クエリは、検索意図が近いという推定が成り立つ。そこで、本願発明に係る情報処理装置１００は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、同一のユーザによって所定の時間内に入力された複数の検索クエリが有する特徴を学習させた第１学習モデルを生成する。具体的には、情報処理装置１００は、ユーザによって入力された検索クエリに関する情報を検索サーバ５０から取得する。続いて、情報処理装置１００は、検索サーバ５０から取得した検索クエリのうち、同一のユーザによって所定の時間内に入力された複数の検索クエリを抽出する。続いて、情報処理装置１００は、抽出した複数の検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する第１学習モデルを生成する。例えば、情報処理装置１００は、抽出した複数の検索クエリの分散表現が類似するように第１学習モデルを学習させることで、所定の検索クエリから所定の検索クエリの特徴情報を含む分散表現（ベクトル）を出力する第１学習モデルを生成する。

【0020】

より具体的には、情報処理装置１００は、ＲＮＮ（Recurrent Neural Network）の一種であるＬＳＴＭ（Long Short-Term Memory）を分散表現生成に用いたＤＳＳＭ（Deep Structured Sematic Model）の技術を用いて、検索クエリから分散表現（ベクトル）を出力する第１学習モデルを生成する。例えば、情報処理装置１００は、第１学習モデルの正解データとして、同一のユーザによって所定の時間内に入力された一対の検索クエリが類似する特徴を有するものとして、所定の検索クエリの分散表現（ベクトル）と、所定の検索クエリと対となる他の検索クエリの分散表現（ベクトル）とが、分散表現空間上で近くに存在するように学習する。なお、２つのベクトルが分散表現空間上で近くに存在するように学習することは、２つのベクトルが分散表現空間上で類似するように学習することと言い換えることができる。

【0021】

ここから、図１を用いて、情報処理の流れについて説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１の上段に示す例では、情報処理装置１００は、同一のユーザＵ１によって所定の時間内に連続して入力された４個の検索クエリである検索クエリＱ１１（「六本木 パスタ」）、検索クエリＱ１２（「六本木 イタリアン」）、検索クエリＱ１３（「赤坂 パスタ」）、検索クエリＱ１４（「麻布 パスタ」）を抽出する。情報処理装置１００は、同一のユーザＵ１によって各検索クエリが入力された時間の間隔が所定の時間内である複数の検索クエリを抽出する。また、情報処理装置１００は、同一のユーザＵ１によって各検索クエリのペアが入力された時間の間隔が所定の時間内である複数の検索クエリを抽出する。ここで、４個の検索クエリは、検索クエリＱ１１、検索クエリＱ１２、検索クエリＱ１３、検索クエリＱ１４の順番でユーザＵ１によって各検索クエリが所定の時間内に入力された検索クエリであるとする。情報処理装置１００は、４個の検索クエリを抽出すると、時系列的に隣り合う２つの検索クエリを一対の検索クエリとして、３対の検索クエリのペアである（検索クエリＱ１１、検索クエリＱ１２）、（検索クエリＱ１２、検索クエリＱ１３）、（検索クエリＱ１３、検索クエリＱ１４）を抽出する。情報処理装置１００は、３対の検索クエリのペアを抽出すると、抽出した検索クエリＱ１ｋ（ｋ＝１、２、３、４）を第１モデルＭ１に入力する（ステップＳ１１）。なお、情報処理装置１００は、同一のユーザＵ１によって全ての検索クエリが所定の時間内に入力された複数の検索クエリを抽出してもよい。そして、情報処理装置１００は、時系列的に隣り合うか否かに関わらず、抽出した複数の検索クエリの中から２つの検索クエリを選択して、選択した２つの検索クエリを一対の検索クエリとして抽出してもよい。

【0022】

続いて、情報処理装置１００は、検索クエリＱ１ｋ（ｋ＝１、２、３、４）の分散表現であるベクトルＢＱＶ１ｋ（ｋ＝１、２、３、４）を第１モデルＭ１の出力データとして出力する（ステップＳ１２）。ここで、ベクトルＢＱＶ１ｋ（ｋ＝１、２、３、４）は、第１モデルＭ１の出力層から出力されたばかりの検索クエリＱ１ｋ（ｋ＝１、２、３、４）の分散表現であって、第１モデルＭ１にフィードバックをかける前（学習前）の分散表現を示す。

【0023】

ここで、同一のユーザＵ１によって所定の時間内に連続して入力された検索クエリＱ１ｋ（ｋ＝１、２、３、４）は、例えば、ユーザＵ１によって「ある場所（東京都港区付近）で飲食店を探す」という検索意図の下で検索された検索クエリの集合であると推定される。すなわち、検索クエリＱ１ｋ（ｋ＝１、２、３、４）は、「ある場所（東京都港区付近）で飲食店を探す」という検索意図の下で検索された検索クエリであるという点で、相互に類似する特徴を有する検索クエリであると推定される。そこで、情報処理装置１００は、連続して入力された検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する第１モデルを生成する（ステップＳ１３）。具体的には、情報処理装置１００は、連続して入力された検索クエリの分散表現が類似するものとして学習することで、所定の検索クエリから所定の検索クエリの分散表現を予測する第１モデルＭ１を生成する。例えば、情報処理装置１００は、検索クエリＱ１１の分散表現（ベクトルＱＶ１１）と、検索クエリＱ１１と対となる検索クエリＱ１２の分散表現（ベクトルＱＶ１２）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。また、情報処理装置１００は、検索クエリＱ１２の分散表現（ベクトルＱＶ１２）と、検索クエリＱ１２と対となる検索クエリＱ１３の分散表現（ベクトルＱＶ１３）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。また、情報処理装置１００は、検索クエリＱ１３の分散表現（ベクトルＱＶ１３）と、検索クエリＱ１３と対となる検索クエリＱ１４の分散表現（ベクトルＱＶ１４）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。

【0024】

図１の上段の右側には、学習済みの第１モデルＭ１の出力結果として、同一のユーザＵ１によって所定の時間内に入力された検索クエリＱ１ｋ（ｋ＝１、２、３、４）の分散表現であるベクトルＱＶ１ｋ（ｋ＝１、２、３、４）が分散表現空間のクラスタＣＬ１１としてマッピングされる様子が示されている。このように、情報処理装置１００は、同一のユーザによって所定の時間内に入力された複数の検索クエリが有する特徴を学習した第１学習モデルＭ１を生成する。

【0025】

情報処理装置１００は、第１モデルＭ１を生成すると、生成した第１モデルＭ１（第１モデルＭ１のモデルデータＭＤＴ１）を取得する。情報処理装置１００は、第１モデルＭ１を取得すると、取得した第１モデルＭ１を用いて、第２学習モデルＭ２を生成する。具体的には、情報処理装置１００は、第１モデルＭ１を再学習させることにより、第１モデルＭ１とは学習モデルの重みである接続係数が異なる第２モデルＭ２を生成する。より具体的には、情報処理装置１００は、第１モデルＭ１を用いて、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２学習モデルＭ２を生成する（ステップＳ１４）。

【0026】

図１の下段に示す例では、情報処理装置１００は、検索クエリが第２モデルＭ２に入力された際に、ＣＡＴ１１（「飲食店を探す」）、ＣＡＴ１２（「商品を探す」）、ＣＡＴ１３（「飲食店を予約する」）、ＣＡＴ１４（「商品を購入する」）の４つのカテゴリのいずれのカテゴリに属するかを予測する第２モデルＭ２を生成する。具体的には、情報処理装置１００は、入力情報として検索クエリが第２モデルＭ２に入力された際に、出力情報として検索クエリがそのカテゴリに属する確率をカテゴリ毎に出力する第２モデルＭ２を生成する。例えば、情報処理装置１００は、第２モデルＭ２の正解データとして、検索クエリと検索クエリが属するカテゴリ（ＣＡＴ１１〜ＣＡＴ１４のいずれか）との組を学習する。

【0027】

なお、検索クエリがＣＡＴ１１（「飲食店を探す」）に属することは、検索クエリが飲食店を探す意図で入力された検索クエリであることを示す。また、ＣＡＴ１２（「商品を探す」）に属することは、検索クエリが商品を探す意図で入力された検索クエリであることを示す。また、検索クエリがＣＡＴ１３（「飲食店を予約する」）に属することは、検索クエリが飲食店を予約する意図で入力された検索クエリであることを示す。また、検索クエリがＣＡＴ１４（「商品を購入する」）に属することは、検索クエリが商品を購入する意図で入力された検索クエリであることを示す。

【0028】

具体的には、情報処理装置１００は、検索クエリが学習モデルに入力された際に、学習モデルが出力する分散表現の分類結果が、検索クエリが属するカテゴリに対応するように学習することで、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２モデルＭ２を生成する。そして、情報処理装置１００は、例えば、入力情報として検索クエリが第２モデルＭ２に入力された際に、出力情報として検索クエリがそのカテゴリに属する確率をカテゴリＣＡＴ１１〜ＣＡＴ１４毎に出力する第２モデルＭ２を生成する。

【0029】

例えば、情報処理装置１００は、入力情報として検索クエリＱ１１（「六本木 パスタ」）が第２モデルＭ２に入力された際に（ステップＳ１５）、出力情報として検索クエリＱ１１（「六本木 パスタ」）の分散表現であるベクトルＢＱＶ１１を出力する。ここで、ベクトルＢＱＶ１１は、第２モデルＭ２の出力層から出力されたばかりの検索クエリＱ１１の分散表現であって、第２モデルＭ２にフィードバックをかける前（学習前）の分散表現を示す。ここで、検索クエリＱ１１（「六本木 パスタ」）が属する正解カテゴリがＣＡＴ１１（「飲食店を探す」）であるとする。この場合、情報処理装置１００は、出力された検索クエリＱ１１（「六本木 パスタ」）の分散表現であるベクトルＢＱＶ１１がＣＡＴ１１（「飲食店を探す」）に分類される確率が所定の閾値を超えるように第２モデルＭ２を学習させる。なお、情報処理装置１００は、あらかじめ用意された正解データを用いて第２モデルを学習させる。情報処理装置１００は、第２モデルＭ２の正解データを生成してもよい。そして、情報処理装置１００は、生成した正解データを用いて第２モデルＭ２を学習させてもよい。具体的には、情報処理装置１００は、検索クエリを検索したユーザの検索後の行動に基づいて、検索クエリが属する正解カテゴリを決定する。より具体的には、情報処理装置１００は、所定の検索クエリを検索したユーザに対して、検索後に所定の行動を起こしたユーザの割合が所定の閾値を超える所定の行動を、正解カテゴリに対応する行動として決定する。例えば、検索クエリＱ１１（「六本木 パスタ」）を検索したユーザが検索後に所定の行動を起こしたユーザの割合として、飲食店を探す行動を起こしたユーザの割合が９０％、検索後に商品を探す行動を起こしたユーザの割合が０％、検索後に飲食店を予約する行動を起こしたユーザの割合が１０％、検索後に商品を購入する行動を起こしたユーザの割合が０％であったとする。この場合、情報処理装置１００は、飲食店を探す行動を起こしたユーザの割合が所定の閾値（例えば、９０％）を超えるため、飲食店を探す行動を検索クエリＱ１１（「六本木 パスタ」）の正解カテゴリに対応する行動として決定する。そして、情報処理装置１００は、正解カテゴリに対応する行動を飲食店を探す行動であると決定したので、検索クエリＱ１１（「六本木 パスタ」）が属する正解カテゴリをＣＡＴ１１（「飲食店を探す」）に決定する。

【0030】

例えば、情報処理装置１００は、学習前の第２モデルＭ２に検索クエリＱ１１（「六本木 パスタ」）が入力された際に、分散表現であるベクトルＢＱＶ１１がＣＡＴ１１（「飲食店を探す」）に分類される確率を８０％、ＣＡＴ１２（「商品を探す」）に分類される確率を０％、ＣＡＴ１３（「飲食店を予約」）に分類される確率を２０％、ＣＡＴ１４（「商品を購入する」）に分類される確率を０％と出力したとする。この場合、情報処理装置１００は、分散表現であるベクトルＢＱＶ１１がＣＡＴ１１（「飲食店を探す」）に分類される確率を所定の閾値（例えば、９０％）を超えるように第２モデルＭ２を学習させる。また、情報処理装置１００は、分散表現であるベクトルＢＱＶ１１がＣＡＴ１１（「飲食店を探す」）に分類される確率が所定の閾値（例えば、９０％）を超えるように学習させるのに合わせて、分散表現であるベクトルＢＱＶ１１が他のカテゴリＣＡＴ１３（「飲食店を予約」）に分類される確率を１０％に下げるように第２モデルＭ２を学習させる。

【0031】

このように、情報処理装置１００は、入力情報として所定の検索クエリが入力されると、出力情報として所定の検索クエリの分散表現が正解カテゴリに分類される確率が所定の閾値を超えるように第２モデルを学習させる。そして、情報処理装置１００は、入力情報として所定の検索クエリが入力された際に、所定の検索クエリの分散表現がそのカテゴリに属する確率が所定の閾値を超えるカテゴリを、所定の検索クエリのカテゴリとして出力する。例えば、情報処理装置１００は、学習済みの第２モデルＭ２に入力情報として検索クエリＱ１１（「六本木 パスタ」）が入力されると、検索クエリＱ１１（「六本木 パスタ」）の分散表現であるベクトルＢＱＶ１１がカテゴリＣＡＴ１１（「飲食店を探す」）に属する確率が９０％を超えるので、出力情報として検索クエリが属するカテゴリをＣＡＴ１１（「飲食店を探す」）と出力する（ステップＳ１６）。このように、情報処理装置１００は、検索クエリと検索クエリの正解カテゴリとの組を学習することで、所定の検索クエリから所定の検索クエリのカテゴリを予測する第２モデルを生成する（ステップＳ１７）。

【0032】

一般的に、ユーザはある意図を持って検索を複数回行うと考えられるため、所定の時間内に連続して入力された検索クエリは、検索意図が近いという仮定が成り立つ。そこで、本願発明に係る情報処理装置１００は、所定の時間内に連続して入力された複数の検索クエリは、所定の検索意図の下で検索された検索クエリであるという点で、相互に類似する特徴を有する検索クエリであるとみなして第１モデルＭ１を学習させる。これにより、情報処理装置１００は、検索意図を考慮した検索クエリの特徴を第１モデルＭ１に学習させることができる。そして、情報処理装置１００は、検索意図を考慮した検索クエリの特徴を学習した第１モデルＭ１を活用して、所定の検索クエリから所定の検索クエリのカテゴリを予測する第２モデルを効率的に生成することができる。これにより、情報処理装置１００は、検索クエリを入力したユーザの検索意図を考慮したカテゴリに検索クエリを分類することを可能にする。また、従来、検索クエリをカテゴリに分類し、高い分類精度を得るためには、十分な量の正解データを用意することが必要であった。しかしながら、検索クエリ自体、多種多様であり、ロングテイルな性質を持つものであるため、多数の検索クエリに対応する正解カテゴリをラベル付けするのは、非常に手間がかかり困難である。ここで、情報処理装置１００は、検索意図を考慮した検索クエリの特徴を学習させた第１モデルを出発点として第２モデルを学習させることにより、正解カテゴリをラベル付けする代わりに、ユーザの検索意図（検索クエリを入力したユーザのコンテクスト）を一種の正解として、検索クエリのカテゴリを予測する第２モデルを学習させることができる。これにより、情報処理装置１００は、人手で検索クエリの正解カテゴリをラベル付けすることなく、第２モデルを学習させることができる。すなわち、情報処理装置１００は、正解データが少ないときでも、十分な分類精度を得られるようになる。また、情報処理装置１００は、正解データが多いときであれば、さらに高い分類精度を得られるようになる。したがって、情報処理装置１００は、検索クエリの分類精度を高めることができる。

【0033】

〔２．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0034】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、ユーザ端末１０と、検索サーバ５０との間で情報の送受信を行う。

【0035】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図３に示すように、クエリ情報記憶部１２１と、ベクトル情報記憶部１２２と、分類定義記憶部１２３と、カテゴリ情報記憶部１２４と、モデル情報記憶部１２５とを有する。

【0036】

（クエリ情報記憶部１２１）
クエリ情報記憶部１２１は、ユーザによって入力された検索クエリに関する各種の情報を記憶する。図４に、実施形態に係るクエリ情報記憶部の一例を示す。図４に示す例では、クエリ情報記憶部１２１は、「ユーザＩＤ」、「日時」、「検索クエリ」、「検索クエリＩＤ」といった項目を有する。

【0037】

「ユーザＩＤ」は、検索クエリを入力したユーザを識別するための識別情報を示す。「日時」は、検索サーバがユーザから検索クエリを受け付けた日時を示す。「検索クエリ」は、ユーザによって入力された検索クエリを示す。「検索クエリＩＤ」は、ユーザによって入力された検索クエリを識別するための識別情報を示す。

【0038】

図４の１レコード目に示す例では、検索クエリＩＤ「Ｑ１１」で識別される検索クエリ（検索クエリＱ１１）は、図１に示した検索クエリＱ１１に対応する。また、ユーザＩＤ「Ｕ１」は、検索クエリＱ１１を入力したユーザがユーザＩＤ「Ｕ１」で識別されるユーザ（ユーザＵ１）であることを示す。また、日時「２０１８／９／１ ＰＭ１７：００」は、検索サーバがユーザＵ１から検索クエリＱ１１を受け付けた日時が２０１８年９月１日の午後１７：００であることを示す。また、検索クエリ「六本木 パスタ」は、ユーザＵ１によって入力された検索クエリＱ１１を示す。具体的には、検索クエリ「六本木 パスタ」は、地名を示す「六本木」と食品の種類を示す「パスタ」の文字とが区切り文字であるスペースで区切られた文字列であることを示す。

【0039】

（ベクトル情報記憶部１２２）
ベクトル情報記憶部１２２は、検索クエリの分散表現であるベクトルに関する各種の情報を記憶する。図５に、実施形態に係るベクトル情報記憶部の一例を示す。図５に示す例では、ベクトル情報記憶部１２２は、「ベクトルＩＤ」、「検索クエリＩＤ」、「ベクトル情報」といった項目を有する。

【0040】

「ベクトルＩＤ」は、検索クエリの分散表現であるベクトルを識別するための識別情報を示す。「検索クエリＩＤ」は、ベクトルに対応する検索クエリを識別するための識別情報を示す。「ベクトル情報」は、検索クエリの分散表現であるＮ次元のベクトルを示す。検索クエリの分散表現であるベクトルは、例えば、１２８次元のベクトルである。

【0041】

図５の１レコード目に示す例では、ベクトルＩＤ「ＱＶ１１」で識別されるベクトル（ベクトルＱＶ１１）は、図１に示した検索クエリＱ１１の分散表現であるベクトルＱＶ１１に対応する。また、検索クエリＩＤ「Ｑ１１」で識別される検索クエリ（検索クエリＱ１１）は、ベクトルＱＶ１１に対応する検索クエリが検索クエリＱ１１であることを示す。また、ベクトル情報「ＱＶＤＴ１１」は、検索クエリＱ１１の分散表現であるＮ次元のベクトルを示す。

【0042】

（分類定義記憶部１２３）
分類定義記憶部１２３は、検索クエリが分類されるカテゴリの定義に関する各種の情報を記憶する。図６に、実施形態に係る分類定義記憶部の一例を示す。図６に示す例では、分類定義記憶部１２３は、「大分類ＩＤ」、「大分類」、「小分類ＩＤ」、「小分類」といった項目を有する。

【0043】

「大分類」は、検索クエリが分類されるカテゴリの大分類を示す。「大分類ＩＤ」は、大分類を識別するための識別情報を示す。図６に示す例では、大分類「購買行動系」は、図１の下段に示す例で説明した大分類に対応する。大分類「購買行動系」は、検索クエリをユーザの購買行動に基づいて分類するカテゴリの大分類を示す。図６に示す例では、大分類「購買行動系」は、さらに４つの小分類を有する。大分類ＩＤ「ＣＡＴ１」は、大分類「購買行動系」を識別するための識別情報を示す。

【0044】

「小分類」、検索クエリが分類されるカテゴリの小分類を示す。「小分類ＩＤ」は、小分類を識別するための識別情報を示す。図６に示す例では、小分類「飲食店を探す」は、大分類「購買行動系」に属する分類であって、小分類に分類される検索クエリが、ユーザによって飲食店を探す意図で入力された検索クエリであることを示す。小分類ＩＤ「ＣＡＴ１１」は、小分類「飲食店を探す」を識別するための識別情報を示す。

【0045】

小分類「商品を探す」は、大分類「購買行動系」に属する分類であって、小分類に分類される検索クエリが、ユーザによって商品を探す意図で入力された検索クエリであることを示す。小分類ＩＤ「ＣＡＴ１２」は、小分類「商品を探す」を識別するための識別情報を示す。

【0046】

小分類「飲食店を予約」は、大分類「購買行動系」に属する分類であって、小分類に分類される検索クエリが、ユーザによって飲食店を予約する意図で入力された検索クエリであることを示す。小分類ＩＤ「ＣＡＴ１３」は、小分類「飲食店を予約」を識別するための識別情報を示す。

【0047】

小分類「商品を購入」は、大分類「購買行動系」に属する分類であって、小分類に分類される検索クエリが、ユーザによって商品を購入する意図で入力された検索クエリであることを示す。小分類ＩＤ「ＣＡＴ１４」は、小分類「商品を購入」を識別するための識別情報を示す。

【0048】

（カテゴリ情報記憶部１２４）
カテゴリ情報記憶部１２４は、検索クエリが属するカテゴリに関する各種の情報を記憶する。具体的には、カテゴリ情報記憶部１２４は、学習済みの第２学習モデルに検索クエリが入力された際に、第２学習モデルが出力するカテゴリに関する各種の情報を記憶する。図７に、実施形態に係るカテゴリ情報記憶部の一例を示す。図７に示す例では、カテゴリ情報記憶部１２４は、「検索クエリＩＤ」、「大分類ＩＤ」、「小分類ＩＤ」、「確率（％）」といった項目を有する。

【0049】

「検索クエリＩＤ」は、ユーザによって入力された検索クエリを識別するための識別情報を示す。図７に示す例では、検索クエリＩＤ「Ｑ１１」で識別される検索クエリ（検索クエリＱ１１）は、図１に示した検索クエリＱ１１に対応する。

【0050】

「大分類ＩＤ」は、大分類を識別するための識別情報を示す。「小分類ＩＤ」は、小分類を識別するための識別情報を示す。「確率（％）」は、学習済みの第２学習モデルに検索クエリが入力された際に、第２学習モデルが出力する小分類毎の確率を示す。図７に示す例では、確率（％）「９０」は、検索クエリＱ１１がカテゴリＣＡＴ１１に分類される確率が９０％であることを示す。

【0051】

（モデル情報記憶部１２５）
モデル情報記憶部１２５は、情報処理装置１００によって生成された学習モデルに関する各種の情報を記憶する。図８に、実施形態に係るモデル情報記憶部の一例を示す。図８に示す例では、モデル情報記憶部１２５は、「モデルＩＤ」、「モデルデータ」といった項目を有する。

【0052】

「モデルＩＤ」は、情報処理装置１００によって生成された学習モデルを識別するための識別情報を示す。「モデルデータ」は、情報処理装置１００によって生成された学習モデルのモデルデータを示す。例えば、「モデルデータ」には、検索クエリを分散表現に変換するためのデータが格納される。

【0053】

図８の１レコード目に示す例では、モデルＩＤ「Ｍ１」で識別される学習モデルは、図１に示した第１モデルＭ１に対応する。また、モデルデータ「ＭＤＴ１」は、情報処理装置１００によって生成された第１モデルＭ１のモデルデータ（モデルデータＭＤＴ１）を示す。

【0054】

モデルデータＭＤＴ１は、検索クエリが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された検索クエリに応じて、入力層に入力された検索クエリの分散表現を出力層から出力するよう、情報処理装置１００を機能させてもよい。

【0055】

ここで、モデルデータＭＤＴ１が「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、モデルデータＭＤＴ１が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。

【0056】

また、モデルデータＭＤＴ１がＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、モデルデータＭＤＴ１が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。

【0057】

情報処理装置１００は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、分散表現の算出を行う。具体的には、モデルデータＭＤＴ１は、検索クエリが入力された場合に、分散表現を出力するように係数が設定される。情報処理装置１００は、このようなモデルデータＭＤＴ１を用いて、分散表現を算出する。

【0058】

なお、上記例では、モデルデータＭＤＴ１が、検索クエリが入力された場合に、検索クエリの分散表現を出力するモデル（以下、モデルＸ１という。）である例を示した。しかし、実施形態に係るモデルデータＭＤＴ１は、モデルＸ１にデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルデータＭＤＴ１は、検索クエリを入力とし、モデルＸ１が出力する分散表現を出力とするよう学習されたモデル（以下、モデルＹ１という。）であってもよい。または、モデルデータＭＤＴ１は、検索クエリを入力とし、モデルＹ１の出力値を出力とするよう学習されたモデルであってもよい。

【0059】

また、情報処理装置１００がＧＡＮ（Generative Adversarial Networks）を用いた推定処理を行う場合、モデルデータＭＤＴ１は、ＧＡＮの一部を構成するモデルであってもよい。

【0060】

図８の２レコード目に示す例では、モデルＩＤ「Ｍ２」で識別される学習モデルは、図１に示した第２モデルＭ２に対応する。また、モデルデータ「ＭＤＴ２」は、情報処理装置１００によって生成された第２モデルＭ２のモデルデータ（モデルデータＭＤＴ２）を示す。

【0061】

モデルデータＭＤＴ２は、検索クエリが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された検索クエリに応じて、入力層に入力された検索クエリが各カテゴリに属する確率を出力層から出力するよう、情報処理装置１００を機能させてもよい。

【0062】

ここで、モデルデータＭＤＴ２が「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、モデルデータＭＤＴ２が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。

【0063】

また、モデルデータＭＤＴ２がＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、モデルデータＭＤＴ２が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。

【0064】

情報処理装置１００は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、検索クエリが各カテゴリに属する確率の算出を行う。具体的には、モデルデータＭＤＴ２は、検索クエリが入力された場合に、検索クエリが各カテゴリに属する確率を出力するように係数が設定される。情報処理装置１００は、このようなモデルデータＭＤＴ２を用いて、検索クエリが各カテゴリに属する確率を算出する。

【0065】

なお、上記例では、モデルデータＭＤＴ２が、検索クエリが入力された場合に、検索クエリが各カテゴリに属する確率を出力するモデル（以下、モデルＸ２という。）である例を示した。しかし、実施形態に係るモデルデータＭＤＴ２は、モデルＸ２にデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルデータＭＤＴ２は、検索クエリを入力とし、モデルＸ２が出力する確率を出力とするよう学習されたモデル（以下、モデルＹ２という。）であってもよい。または、モデルデータＭＤＴ２は、検索クエリを入力とし、モデルＹ２の出力値を出力とするよう学習されたモデルであってもよい。

【0066】

また、情報処理装置１００がＧＡＮ（Generative Adversarial Networks）を用いた推定処理を行う場合、モデルデータＭＤＴ２は、ＧＡＮの一部を構成するモデルであってもよい。

【0067】

（制御部１３０）
図３の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0068】

また、制御部１３０は、モデル情報記憶部１２５に記憶されている第１モデルＭ１（モデルデータＭＤＴ１）に従った情報処理により、入力層に入力された検索クエリに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、分散表現を出力層から出力するよう、コンピュータを機能させる。

【0069】

また、制御部１３０は、モデル情報記憶部１２５に記憶されている第２モデルＭ２（モデルデータＭＤＴ２）に従った情報処理により、入力層に入力された検索クエリに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、検索クエリが各カテゴリに属する確率を出力層から出力するよう、コンピュータを機能させる。

【0070】

図３に示すように、制御部１３０は、取得部１３１と、抽出部１３２と、生成部１３３とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0071】

（取得部１３１）
取得部１３１は、種々の情報を取得する。具体的には、取得部１３１は、ユーザによって入力された検索クエリを検索サーバ５０から取得する。取得部１３１は、ユーザによって入力された検索クエリを取得すると、取得した検索クエリをクエリ情報記憶部１２１に格納する。また、取得部１３１は、検索クエリの分散表現であるベクトルに関するベクトル情報を取得する。取得部１３１は、ベクトル情報を取得すると、取得したベクトル情報をベクトル情報記憶部１２２に格納する。また、取得部１３１は、検索クエリと検索クエリが属するカテゴリの分類を定義する情報を取得する。取得部１３１は、検索クエリと検索クエリが属するカテゴリの分類を定義する分類定義情報を取得すると、取得した分類定義情報を分類定義記憶部１２３に格納する。また、取得部１３１は、検索クエリが属するカテゴリに関するカテゴリ情報を取得する。取得部１３１は、カテゴリ情報を取得すると、取得したカテゴリ情報をカテゴリ情報記憶部１２４に格納する。

【0072】

また、取得部１３１は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。具体的には、取得部１３１は、生成部１３３によって、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する学習モデルとして生成された第１学習モデルを取得する。また、取得部１３１は、入力情報として所定の検索クエリが入力された際に、出力情報として所定の検索クエリの分散表現を出力する第１学習モデルを取得する。また、取得部１３１は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。また、取得部１３１は、同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。また、取得部１３１は、ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。また、取得部１３１は、ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。取得部１３１は、第１学習モデルを取得すると、取得した第１学習モデルを識別する識別情報と対応付けて、第１学習モデルのモデルデータＭＤＴ１をモデル情報記憶部１２５に格納する。

【0073】

また、取得部１３１は、生成部１３３によって、第１学習モデルを用いて、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する学習モデルとして生成された第２学習モデルを取得する。取得部１３１は、第２学習モデルを取得すると、取得した第２学習モデルを識別する識別情報と対応付けて、第２学習モデルのモデルデータＭＤＴ２をモデル情報記憶部１２５に格納する。

【0074】

（抽出部１３２）
抽出部１３２は、種々の情報を抽出する。具体的には、抽出部１３２は、取得部１３１によって取得された検索クエリのうち、同一のユーザによって所定の時間内に入力された複数の検索クエリを抽出する。例えば、抽出部１３２は、同一のユーザによって各検索クエリが入力された時間の間隔が所定の時間内である複数の検索クエリを抽出する。続いて、抽出部１３２は、同一のユーザによって所定の時間内に入力された複数の検索クエリのうち、同一のユーザによって所定の時間内に連続して入力された一対の検索クエリを抽出する。例えば、抽出部１３２は、同一のユーザによって各検索クエリのペアが入力された時間の間隔が所定の時間内である複数の検索クエリを抽出する。例えば、抽出部１３２は、取得部１３１によって取得された検索クエリのうち、同一のユーザＵ１によって所定の時間内に連続して入力された４個の検索クエリである検索クエリＱ１１（「六本木 パスタ」）、検索クエリＱ１２（「六本木 イタリアン」）、検索クエリＱ１３（「赤坂 パスタ」）、検索クエリＱ１４（「麻布 パスタ」）を抽出する。抽出部１３２は、検索クエリが入力された順番に並べると、検索クエリＱ１１、検索クエリＱ１２、検索クエリＱ１３、検索クエリＱ１４の順番で入力された４個の検索クエリを抽出する。続いて、抽出部１３２は、４個の検索クエリを抽出すると、時系列的に隣り合う２つの検索クエリを一対の検索クエリとして、３対の検索クエリのペアである（検索クエリＱ１１、検索クエリＱ１２）、（検索クエリＱ１２、検索クエリＱ１３）、（検索クエリＱ１３、検索クエリＱ１４）を抽出する。なお、抽出部１３２は、同一のユーザによって全ての検索クエリが所定の時間内に入力された複数の検索クエリを抽出してもよい。そして、抽出部１３２は、時系列的に隣り合うか否かに関わらず、抽出した複数の検索クエリの中から２つの検索クエリを選択して、選択した２つの検索クエリを一対の検索クエリとして抽出してもよい。

【0075】

また、抽出部１３２は、取得部１３１によって取得された検索クエリのうち、所定の検索クエリと所定の検索クエリに無関係な他の検索クエリとを抽出する。例えば、抽出部１３２は、取得部１３１によって取得された検索クエリの中から、所定の検索クエリを抽出する。続いて、抽出部１３２は、取得部１３１によって取得された検索クエリの中から、所定の検索クエリとは無関係にランダムに他の検索クエリを抽出する。

【0076】

（生成部１３３）
生成部１３３は、種々の情報を生成する。生成部１３３は、第１学習モデルを生成する。具体的には、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、同一のユーザによって所定の時間内に入力された複数の検索クエリが有する特徴を学習させた第１学習モデルを生成する。より具体的には、生成部１３３は、取得部１３１によって取得された検索クエリのうち、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する第１学習モデルを生成する。

【0077】

生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリの分散表現が類似するように学習モデルを学習させることで、所定の検索クエリから所定の検索クエリの特徴情報を予測する第１モデルを生成する。具体的には、生成部１３３は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、第１学習モデルを生成する。より具体的には、生成部１３３は、ＲＮＮの一種であるＬＳＴＭを分散表現生成に用いたＤＳＳＭの技術を用いて、検索クエリから分散表現（ベクトル）を出力する第１学習モデルを生成する。例えば、生成部１３３は、第１学習モデルの正解データとして、同一のユーザによって所定の時間内に入力された一対の検索クエリが類似する特徴を有するものとして、所定の検索クエリの分散表現（ベクトル）と、所定の検索クエリと対となる他の検索クエリの分散表現（ベクトル）とが、分散表現空間上で近くに存在するように学習する。

【0078】

〔第１学習モデルの一例〕
ここで、図９を用いて情報処理装置１００が生成する第１学習モデルの一例について説明する。図９は、実施形態に係る第１学習モデルの一例を示す図である。図９に示す例では、情報処理装置１００が生成する第１学習モデルＭ１は、３層のＬＳＴＭ ＲＮＮで構成されている。図９に示す例では、抽出部１３２は、同一のユーザＵ１によって所定の時間内に連続して入力された「六本木 パスタ」という検索クエリＱ１１と「六本木 イタリアン」という検索クエリＱ１２とから成る一対の検索クエリを抽出する。生成部１３３は、抽出部１３２によって抽出されたた検索クエリＱ１１を第１学習モデルＭ１の入力層に入力する（ステップＳ３１）。

【0079】

続いて、生成部１３３は、第１学習モデルＭ１の出力層から検索クエリＱ１１の分散表現である２５６次元のベクトルＢＱＶ１１を出力する。また、生成部１３３は、抽出部１３２によって抽出された検索クエリＱ１２を第１学習モデルＭ１の入力層に入力する。続いて、生成部１３３は、第１学習モデルＭ１の出力層から検索クエリＱ１２の分散表現である２５６次元のベクトルＢＱＶ１２を出力する（ステップＳ３２）。

【0080】

続いて、生成部１３３は、連続して入力された２つの検索クエリの分散表現（ベクトル）が類似するように学習することで、検索クエリから分散表現（ベクトル）を出力する第１学習モデルＭ１を生成する（ステップＳ３３）。例えば、第１学習モデルＭ１にフィードバックをかける前（学習前）の検索クエリＱ１１の分散表現であるベクトルＢＱＶ１１と検索クエリＱ１２の分散表現であるベクトルＢＱＶ１２とのなす角度の大きさをΘとする。また、第１学習モデルＭ１にフィードバックをかけた後（学習後）の検索クエリＱ１１の分散表現であるベクトルＱＶ１１と検索クエリＱ１２の分散表現であるベクトルＱＶ１２とのなす角度の大きさをΦとする。この時、生成部１３３は、ΘよりもΦが小さくなるように、第１学習モデルＭ１を学習させる。すなわち、生成部１３３は、ベクトルＢＱＶ１１とベクトルＢＱＶ１２のコサイン類似度の値よりも、ベクトルＱＶ１１とベクトルＱＶ１２のコサイン類似度の値が大きくなるように（値が１に近づくように）第１学習モデルＭ１を学習させる。このように、生成部１３３は、一対の検索クエリに対応する一対の分散表現である２つのベクトルが分散表現空間上で類似するように第１学習モデルＭ１を学習させることで、検索クエリから分散表現（ベクトル）を出力する第１学習モデルＭ１を生成する。

【0081】

また、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、第１学習モデルを生成する。例えば、生成部１３３は、地名を示す「六本木」と食品の種類を示す「パスタ」の文字とが区切り文字であるスペースで区切られた検索クエリ「六本木 パスタ」と、地名を示す「六本木」と料理の種類を示す「イタリアン」の文字とが区切り文字であるスペースで区切られた検索クエリ「六本木 イタリアン」とが類似する特徴を有するものとして学習することで、第１学習モデルを生成する。

【0082】

また、生成部１３３は、取得部１３１によって取得された検索クエリのうち、ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、第１学習モデルを生成する。具体的には、生成部１３３は、取得部１３１によって取得された検索クエリのうち、ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、第１学習モデルを生成する。例えば、生成部１３３は、抽出部１３２によって抽出された所定の検索クエリの分散表現と、所定の検索クエリとは無関係にランダムに抽出された検索クエリの分散表現とが分散表現空間上で遠くにマッピングされるように第１学習モデルＭ１のトレーニングを行う。

【0083】

また、生成部１３３は、第２学習モデルを生成する。生成部１３３は、取得部１３１によって取得された第１学習モデルを用いて、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する。より具体的には、生成部１３３は、第１学習モデルを生成すると、生成した第１学習モデル（第１学習モデルＭ１のモデルデータＭＤＴ１）を取得する。生成部１３３は、第１モデルＭ１を取得すると、取得した第１モデルＭ１を用いて、第２学習モデルＭ２を生成する。生成部１３３は、第１モデルＭ１を再学習させることにより、第１モデルＭ１とは学習モデルの重みである接続係数が異なる第２モデルＭ２を生成する。具体的には、生成部１３３は、検索クエリが学習モデルに入力された際に、学習モデルが出力する分散表現の分類結果が、検索クエリが属するカテゴリに対応するように学習することで、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２モデルＭ２を生成する。

【0084】

具体的には、生成部１３３は、検索クエリが学習モデルに入力された際に、学習モデルが出力する分散表現の分類結果が、検索クエリが属するカテゴリに対応するように学習することで、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する。生成部１３３は、入力情報として検索クエリが学習モデルに入力された際に、出力情報として検索クエリが属するカテゴリ毎の確率を出力する第２学習モデルを生成する。例えば、生成部１３３は、第１モデルＭ１を用いて、入力情報として所定の検索クエリが学習モデルに入力された際に、出力情報として検索クエリの分散表現がそのカテゴリに分類される確率をカテゴリ毎に出力する第２モデルＭ２を生成する。生成部１３３は、入力情報として所定の検索クエリが入力されると、出力情報として所定の検索クエリの分散表現が正解カテゴリに分類される確率が所定の閾値を超えるように第２モデルを学習させる。そして、生成部１３３は、入力情報として所定の検索クエリが入力された際に、所定の検索クエリの分散表現がそのカテゴリに属する確率が所定の閾値を超えるカテゴリを、所定の検索クエリのカテゴリとして出力する第２モデルＭ２を生成する。

【0085】

例えば、生成部１３３は、図８に示すモデル情報記憶部１２５を参照して、第１モデルＭ１（第１モデルＭ１のモデルデータＭＤＴ１）を取得する。続いて、生成部１３３は、図６に示す分類定義記憶部１２３を参照して、検索クエリを分類するカテゴリの大分類を選択する。続いて、生成部１３３は、大分類を選択すると、第２モデルＭ２の学習データとして、検索クエリと検索クエリが属する小分類との組を学習する。

【0086】

例えば、検索クエリＱ１１（「六本木 パスタ」）が属する正解カテゴリがＣＡＴ１１（「飲食店を探す」）であるとする。生成部１３３は、入力情報として検索クエリＱ１１（「六本木 パスタ」）が第２モデルＭ２に入力された際に、第２モデルＭ２の出力層から検索クエリＱ１１（「六本木 パスタ」）の分散表現であるベクトルＢＱＶ１１を出力する。ここで、ベクトルＢＱＶ１１は、第２モデルＭ２の出力層から出力されたばかりの検索クエリＱ１１の分散表現であって、第２モデルＭ２にフィードバックをかける前（学習前）の分散表現を示す。この場合、生成部１３３は、出力された検索クエリＱ１１（「六本木 パスタ」）の分散表現であるベクトルＢＱＶ１１が正解カテゴリＣＡＴ１１（「飲食店を探す」）に分類される確率が所定の閾値を超えるように第２モデルＭ２を学習させる。

【0087】

例えば、生成部１３３は、学習前の第２モデルＭ２に検索クエリＱ１１（「六本木 パスタ」）が入力された際に、分散表現であるベクトルＢＱＶ１１がＣＡＴ１１（「飲食店を探す」）に分類される確率を８０％、ＣＡＴ１２（「商品を探す」）に分類される確率を０％、ＣＡＴ１３（「飲食店を予約」）に分類される確率を２０％、ＣＡＴ１４（「商品を購入する」）に分類される確率を０％と出力したとする。この場合、生成部１３３は、分散表現であるベクトルＢＱＶ１１がＣＡＴ１１（「飲食店を探す」）に分類される確率を所定の閾値（例えば、９０％）を超えるように第２モデルＭ２を学習させる。また、生成部１３３は、分散表現であるベクトルＢＱＶ１１がＣＡＴ１１（「飲食店を探す」）に分類される確率が所定の閾値（例えば、９０％）を超えるように学習させるのに合わせて、分散表現であるベクトルＢＱＶ１１が他のカテゴリＣＡＴ１３（「飲食店を予約」）に分類される確率を１０％に下げるように第２モデルＭ２を学習させる。続いて、生成部１３３は、学習済みの第２モデルＭ２に入力情報として検索クエリＱ１１（「六本木 パスタ」）が入力されると、検索クエリＱ１１（「六本木 パスタ」）の分散表現であるベクトルＢＱＶ１１がカテゴリＣＡＴ１１（「飲食店を探す」）に属する確率が９０％を超えるので、出力情報として検索クエリが属するカテゴリをＣＡＴ１１（「飲食店を探す」）と出力する。

【0088】

なお、生成部１３３は、大分類として、任意の数の大分類を選択してもよい。そして、生成部１３３は、入力情報として検索クエリが第２モデルＭ２に入力された際に、出力情報として検索クエリが選択した任意の数の大分類に属する各小分類に属する確率を小分類毎に出力する第２モデルＭ２を生成してもよい。また、生成部１３３は、大分類として、全ての大分類を選択してもよい。そして、生成部１３３は、検索クエリが第２モデルＭ２に入力された際に、各小分類に属する確率を全ての小分類毎に出力する第２モデルＭ２を生成してもよい。

【0089】

〔第２学習モデルの一例〕
ここで、図１０を用いて情報処理装置１００が生成する第２学習モデルの一例について説明する。図１０は、実施形態に係る第２学習モデルの一例を示す図である。図１０に示す例では、情報処理装置１００が生成する第２学習モデルＭ２は、第１学習モデルＭ１を用いて生成される。すなわち、情報処理装置１００は、第１学習モデルＭ１を再学習させることにより、第１学習モデルＭ１とは学習モデルの重みである接続係数が異なる第２学習モデルＭ２を生成する。

【0090】

より具体的には、情報処理装置１００が生成する第２学習モデルＭ２は、第１学習モデルＭ１と同様に、３層のＬＳＴＭ ＲＮＮで構成されている。図１０に示す例では、抽出部１３２は、ユーザＵ１によって入力された「六本木 パスタ」という検索クエリＱ１１を第２学習モデルＭ２の入力層に入力する（ステップＳ４１）。

【0091】

続いて、生成部１３３は、第２学習モデルＭ２の出力層から検索クエリＱ１１の分散表現である２５６次元のベクトルＢＱＶ１１を出力する（ステップＳ４２）。

【0092】

続いて、生成部１３３は、検索クエリＱ１１の分散表現であるベクトルＢＱＶ１１が各カテゴリに分類される確率を出力する（ステップＳ４３）。

【0093】

続いて、生成部１３３は、検索クエリＱ１１の分散表現であるベクトルＢＱＶ１１が正解カテゴリに分類される確率を高くするように第２学習モデルＭ２を学習することで、検索クエリから検索クエリのカテゴリを予測する第２モデルを生成する（ステップＳ４４）。

【0094】

〔３．第１学習モデルの生成処理のフロー〕
次に、図１１を用いて、実施形態に係る第１学習モデルの生成処理の手順について説明する。図１１は、実施形態に係る第１学習モデルの生成処理手順を示すフローチャートである。図１１に示す例では、情報処理装置１００は、ユーザによって入力された検索クエリを取得する（ステップＳ１０１）。

【0095】

続いて、情報処理装置１００は、同一のユーザによって所定の時間内に入力された複数の検索クエリを抽出する（ステップＳ１０２）。

【0096】

続いて、情報処理装置１００は、抽出した複数の検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する第１学習モデルを生成する（ステップＳ１０３）。

【0097】

〔４．情報処理のフロー〕
次に、図１２を用いて、実施形態に係る情報処理の手順について説明する。図１２は、実施形態に係る情報処理手順を示すフローチャートである。図１２に示す例では、情報処理装置１００は、第１学習モデル（第１学習モデルＭ１のモデルデータＭＤＴ１）を取得する（ステップＳ２０１）。

【0098】

続いて、情報処理装置１００は、第１学習モデルを用いて、所定の検索クエリから所定の検索クエリのカテゴリを予測する第２学習モデルを生成する（ステップＳ２０２）。

【0099】

〔５．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と生成部１３３を備える。取得部１３１は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。生成部１３３は、取得部１３１によって取得された第１学習モデルを用いて、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する。

【0100】

一般的に、ユーザはある意図を持って検索を複数回行うと考えられるため、所定の時間内に連続して入力された検索クエリは、検索意図が近いという仮定が成り立つ。そこで、本願発明に係る情報処理装置１００は、所定の時間内に連続して入力された複数の検索クエリは、所定の検索意図の下で検索された検索クエリであるという点で、相互に類似する特徴を有する検索クエリであるとみなして第１モデルＭ１を学習させる。これにより、情報処理装置１００は、検索意図を考慮した検索クエリの特徴を第１モデルＭ１に学習させることができる。そして、情報処理装置１００は、検索意図を考慮した検索クエリの特徴を学習した第１モデルＭ１を活用して、所定の検索クエリから所定の検索クエリのカテゴリを予測する第２モデルを効率的に生成することができる。これにより、情報処理装置１００は、検索クエリを入力したユーザの検索意図を考慮したカテゴリに検索クエリを分類することを可能にする。また、従来、検索クエリをカテゴリに分類し、高い分類精度を得るためには、十分な量の正解データを用意することが必要であった。しかしながら、検索クエリ自体、多種多様であり、ロングテイルな性質を持つものであるため、多数の検索クエリに対応する正解カテゴリをラベル付けするのは、非常に手間がかかり困難である。ここで、情報処理装置１００は、検索意図を考慮した検索クエリの特徴を学習させた第１モデルを出発点として第２モデルを学習させることにより、正解カテゴリをラベル付けする代わりに、ユーザの検索意図（検索クエリを入力したユーザのコンテクスト）を一種の正解として、検索クエリのカテゴリを予測する第２モデルを学習させることができる。これにより、情報処理装置１００は、人手で検索クエリの正解カテゴリをラベル付けすることなく、第２モデルを学習させることができる。すなわち、情報処理装置１００は、正解データが少ないときでも、十分な分類精度を得られるようになる。また、情報処理装置１００は、正解データが多いときであれば、さらに高い分類精度を得られるようになる。したがって、情報処理装置１００は、検索クエリの分類精度を高めることができる。

【0101】

また、取得部１３１は、入力情報として所定の検索クエリが入力された際に、出力情報として所定の検索クエリの分散表現を出力する第１学習モデルを取得する。

【0102】

これにより、情報処理装置１００は、所定の検索クエリの特徴という抽象的な概念を、分散表現という具体的な数値によって測定可能とすることができる。

【0103】

また、取得部１３１は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。

【0104】

一般的に、同一のユーザが短時間に続けて入力した２つの検索クエリは、検索意図が同一であるか、同一でなくとも検索意図が近いと考えられる。すなわち、所定の時間内に続けて入力された一対の検索クエリは、検索意図が同一であるか、同一でなくとも検索意図が近いと考えられる。すなわち、情報処理装置１００は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習させることにより、第１モデルの学習精度を向上させることができる。

【0105】

また、取得部１３１は、同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。

【0106】

一般的に、単体の文字列からなる検索クエリよりも、複数の文字列を含む検索クエリのほうが、検索意図がより明確であると考えられる。すなわち、情報処理装置１００は、所定の区切り文字で区切られた文字列を含む検索クエリを用いて学習させることにより、第１モデルの学習精度を向上させることができる。

【0107】

また、取得部１３１は、ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。また、取得部１３１は、ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。

【0108】

一般的に、ランダムに抽出された複数の検索クエリは、互いに無関係に入力された検索クエリであるため、検索意図が異なるか、検索意図が遠いと考えられる。そこで、本願発明に係る情報処理装置１００は、ランダムに抽出された複数の検索クエリは、異なる検索意図の下で検索された検索クエリであるという点で、相互に相違する特徴を有する検索クエリであるとみなして学習モデルＭ１を学習させる。これにより、学習モデルは、検索意図が近い検索クエリのペアである正解データに加えて、検索意図が遠い検索クエリのペアである不正解データを学習することができる。すなわち、情報処理装置１００は、第１モデルの学習精度を向上させることができる。

【0109】

また、生成部１３３は、検索クエリが学習モデルに入力された際に、学習モデルが出力する分散表現の分類結果が、検索クエリが属するカテゴリに対応するように学習することで、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する。また、生成部１３３は、入力情報として検索クエリが学習モデルに入力された際に、出力情報として検索クエリが属するカテゴリ毎の確率を出力する第２学習モデルを生成する。

【0110】

これにより、情報処理装置１００は、検索意図を考慮した検索クエリの特徴を含む分散表現を活用して、検索クエリを入力したユーザの検索意図を考慮したカテゴリに検索クエリを分類する第２学習モデルを効率的に生成することができる。すなわち、情報処理装置１００は、検索クエリを入力したユーザの検索意図を考慮したカテゴリに検索クエリを分類することを可能にする。したがって、情報処理装置１００は、検索クエリの分類精度を高めることができる。

【0111】

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

【0112】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0113】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

【0114】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

【0115】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0116】

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、第１モデルＭ１のモデルデータＭＤＴ１、第２モデルＭ２のモデルデータＭＤＴ２）を実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムまたはデータ（例えば、第１モデルＭ１のモデルデータＭＤＴ１、第２モデルＭ２のモデルデータＭＤＴ２）を取得してもよい。

【0117】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0118】

〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0119】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0120】

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0121】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

【符号の説明】

【0122】

１ 情報処理システム
１０ ユーザ端末
５０ 検索サーバ
１００ 情報処理装置
１２１ クエリ情報記憶部
１２２ ベクトル情報記憶部
１２３ 分類定義記憶部
１２４ カテゴリ情報記憶部
１２５ モデル情報記憶部
１３１ 取得部
１３２ 抽出部
１３３ 生成部

【要約】

【課題】検索クエリの分類精度を高めること。
【解決手段】本願に係る情報処理装置は、取得部と生成部とを備える。取得部は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した第１学習モデルを取得する。生成部は、取得部によって取得された第１学習モデルを用いて、所定の検索クエリから所定の検索クエリが属するカテゴリを予測する第２学習モデルを生成する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】