ホーム > 特許ランキング > 楽天グループ株式会社
▶ 楽天株式会社の特許一覧 ▶ 国立大学法人 東京大学の特許一覧
特開2023-162816学習システム、属性値抽出システム、学習方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162816
(43)【公開日】2023-11-09
(54)【発明の名称】学習システム、属性値抽出システム、学習方法、及びプログラム
(51)【国際特許分類】
G06F 16/908 20190101AFI20231101BHJP
【ＦＩ】
G06F16/908
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022073474
(22)【出願日】2022-04-27
(71)【出願人】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】新里 圭司
(72)【発明者】
【氏名】夏 ▲彦▼迪
(72)【発明者】
【氏名】陳 維▲徳▼
(72)【発明者】
【氏名】吉永 直樹
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA10
5B175FB02
(57)【要約】
【課題】属性値抽出モデルの精度を高める。
【解決手段】学習システム（１）のモデル記憶部（２００）は、推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、第１アイテムに関する第２属性値を含む第１データから第２属性値を抽出するための属性値抽出モデルを記憶する。第２クエリ取得部（２０３）は、学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する。学習部（２０４）は、第２アイテムに関する第４属性値を含む第２データと、第２クエリと、に基づいて、属性値抽出モデルに関する学習を行う。
【選択図】図６
【解決手段】学習システム（１）のモデル記憶部（２００）は、推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、第１アイテムに関する第２属性値を含む第１データから第２属性値を抽出するための属性値抽出モデルを記憶する。第２クエリ取得部（２０３）は、学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する。学習部（２０４）は、第２アイテムに関する第４属性値を含む第２データと、第２クエリと、に基づいて、属性値抽出モデルに関する学習を行う。
【選択図】図６
【特許請求の範囲】
【請求項1】
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルを記憶するモデル記憶部と、
学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する第２クエリ取得部と、
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、前記属性値抽出モデルに関する学習を行う学習部と、
を含む学習システム。
学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する第２クエリ取得部と、
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、前記属性値抽出モデルに関する学習を行う学習部と、
を含む学習システム。
【請求項2】
前記第１クエリは、前記第１属性と、前記少なくとも１つの第１属性値と、を含み、
前記第２クエリは、前記第２属性を含み、前記複数の第３属性値のうちの少なくとも一部が除外される、
請求項１に記載の学習システム。
前記第２クエリは、前記第２属性を含み、前記複数の第３属性値のうちの少なくとも一部が除外される、
請求項１に記載の学習システム。
【請求項3】
前記第２クエリ取得部は、
前記複数の第３属性値のうちの一部のみを除外し、
前記複数の第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
請求項１又は２に記載の学習システム。
前記複数の第３属性値のうちの一部のみを除外し、
前記複数の第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
請求項１又は２に記載の学習システム。
【請求項4】
前記第２クエリ取得部は、
前記第３属性値ごとに、当該第３属性値に関連付けられた確率に基づいて、当該第３属性値を除外するか否かを決定し、
前記複数の第３属性値のうち、前記確率に基づいて除外すると決定した一部のみを除外する、
請求項３に記載の学習システム。
前記第３属性値ごとに、当該第３属性値に関連付けられた確率に基づいて、当該第３属性値を除外するか否かを決定し、
前記複数の第３属性値のうち、前記確率に基づいて除外すると決定した一部のみを除外する、
請求項３に記載の学習システム。
【請求項5】
前記学習システムは、前記第３属性値ごとに、複数の前記第２データが格納された第１データベースにおける当該第３属性値の頻度に基づいて、当該第３属性値の前記確率を決定する確率決定部を更に含み、
前記第２クエリ取得部は、前記第３属性値ごとに、当該第３属性値に関連付けられた、当該第３属性値の前記頻度に応じた前記確率に基づいて、当該第３属性値を除外するか否かを決定する、
請求項４に記載の学習システム。
前記第２クエリ取得部は、前記第３属性値ごとに、当該第３属性値に関連付けられた、当該第３属性値の前記頻度に応じた前記確率に基づいて、当該第３属性値を除外するか否かを決定する、
請求項４に記載の学習システム。
【請求項6】
前記確率決定部は、前記第３属性値ごとに、予め定められた除外レートと、当該第３属性値の前記頻度と、に基づいて、当該第３属性値の前記確率を決定する、
請求項５に記載の学習システム。
請求項５に記載の学習システム。
【請求項7】
前記学習システムは、前記複数の第３属性値が格納された第２データベースに格納された全ての前記第３属性値を取得する第３属性値取得部を更に含み、
前記第２クエリ取得部は、
前記全ての第３属性値のうちの一部のみを除外し、
前記全ての第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
請求項３に記載の学習システム。
前記第２クエリ取得部は、
前記全ての第３属性値のうちの一部のみを除外し、
前記全ての第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
請求項３に記載の学習システム。
【請求項8】
前記第２クエリ取得部は、
前記複数の第３属性値を含む前記第２クエリを取得し、
前記第２クエリに含まれる前記複数の第３属性値のうちの一部を他の値に置き換えることによって、当該一部の第３属性値を除外する、
請求項３に記載の学習システム。
前記複数の第３属性値を含む前記第２クエリを取得し、
前記第２クエリに含まれる前記複数の第３属性値のうちの一部を他の値に置き換えることによって、当該一部の第３属性値を除外する、
請求項３に記載の学習システム。
【請求項9】
前記第１属性によっては、前記第１属性値を利用可能ではないことがあり、
前記第２クエリ取得部は、
前記第３属性値が利用可能なことを示す第１識別情報と、前記複数の第３属性値のうちの少なくとも一部と、を含む第１タイプの前記第２クエリを取得し、
前記第３属性値が利用可能ではないことを示す第２識別情報を含み、前記複数の第３属性値の全てが除外された第２タイプの前記第２クエリを取得し、
前記学習部は、
前記第２データと、前記第１タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第１学習と、
前記第２データと、前記第２タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第２学習と、を行う、
請求項１又は２に記載の学習システム。
前記第２クエリ取得部は、
前記第３属性値が利用可能なことを示す第１識別情報と、前記複数の第３属性値のうちの少なくとも一部と、を含む第１タイプの前記第２クエリを取得し、
前記第３属性値が利用可能ではないことを示す第２識別情報を含み、前記複数の第３属性値の全てが除外された第２タイプの前記第２クエリを取得し、
前記学習部は、
前記第２データと、前記第１タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第１学習と、
前記第２データと、前記第２タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第２学習と、を行う、
請求項１又は２に記載の学習システム。
【請求項10】
前記学習部は、前記第３属性値の利用可能性をドメインとみなしたマルチドメイン学習を利用して、前記第１学習及び前記第２学習を行う、
請求項９に記載の学習システム。
請求項９に記載の学習システム。
【請求項11】
前記学習部は、前記第２データ及び前記第２クエリが前記属性値抽出モデルに入力された場合に、前記第２データにおける前記第４属性値の部分を識別可能な部分識別情報を前記属性値抽出モデルが出力するように、前記学習を行う、
請求項１又は２に記載の学習システム。
請求項１又は２に記載の学習システム。
【請求項12】
前記第１アイテムは、推定用の第１商品であり、
前記第２アイテムは、学習用の第２商品であり、
前記第１データは、前記第１商品の説明に関する第１文字列を含み、
前記第２データは、前記第２商品の説明に関する第２文字列を含み、
前記属性値抽出モデルは、前記第１文字列から前記第２属性値を抽出するための自然言語処理に関するモデルである、
請求項１又は２に記載の学習システム。
前記第２アイテムは、学習用の第２商品であり、
前記第１データは、前記第１商品の説明に関する第１文字列を含み、
前記第２データは、前記第２商品の説明に関する第２文字列を含み、
前記属性値抽出モデルは、前記第１文字列から前記第２属性値を抽出するための自然言語処理に関するモデルである、
請求項１又は２に記載の学習システム。
【請求項13】
請求項３に記載の学習システムにより作成された学習済みの属性値抽出モデルを利用可能な属性値抽出システムであって、
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを取得する第１クエリ取得部と、
前記第１アイテムに関する第２属性値を含む第１データ、前記第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを取得する第１クエリ取得部と、
前記第１アイテムに関する第２属性値を含む第１データ、前記第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
【請求項14】
請求項９に記載の学習システムにより作成された学習済みの属性値抽出モデルを利用可能な属性値抽出システムであって、
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値の利用可能性を判定する利用可能性判定部と、
前記第１属性値が利用可能であると判定された場合には、前記第１属性値が利用可能なことを示す第３識別情報と、前記少なくとも１つの第１属性値と、を含む第３タイプの第１クエリを取得し、前記第１属性値が利用可能であると判定されない場合には、前記第１属性値が利用可能ではないことを示す第４識別情報を含む第４タイプの第１クエリを取得する第１クエリ取得部と、
前記第１属性値が利用可能であると判定された場合には、前記第１アイテムに関する第２属性値を含む第１データ、前記第３タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出し、前記第１属性値が利用可能であると判定されない場合には、前記第１データ、前記第４タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値の利用可能性を判定する利用可能性判定部と、
前記第１属性値が利用可能であると判定された場合には、前記第１属性値が利用可能なことを示す第３識別情報と、前記少なくとも１つの第１属性値と、を含む第３タイプの第１クエリを取得し、前記第１属性値が利用可能であると判定されない場合には、前記第１属性値が利用可能ではないことを示す第４識別情報を含む第４タイプの第１クエリを取得する第１クエリ取得部と、
前記第１属性値が利用可能であると判定された場合には、前記第１アイテムに関する第２属性値を含む第１データ、前記第３タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出し、前記第１属性値が利用可能であると判定されない場合には、前記第１データ、前記第４タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
【請求項15】
学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する第２クエリ取得ステップと、
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルに関する学習を行う学習ステップと、
を含む学習方法。
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルに関する学習を行う学習ステップと、
を含む学習方法。
【請求項16】
学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する第２クエリ取得部、
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルを記憶する属性値抽出モデルに関する学習を行う学習部、
としてコンピュータを機能させるためのプログラム。
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルを記憶する属性値抽出モデルに関する学習を行う学習部、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、学習システム、属性値抽出システム、学習方法、及びプログラムに関する。
【背景技術】
【0002】
従来、商品又はコンテンツといった種々のアイテムに関する属性値を抽出する技術が知られている。例えば、非特許文献１及び非特許文献２には、学習済みの属性値抽出モデルに相当するモデルに対し、アイテムに関するアイテムデータと、アイテムに関する属性を含むクエリと、を入力し、当該モデルから出力された属性値などの固有表現に相当する情報を抽出する技術が記載されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Qifan Wang, Li Yang, Bhargav Kanagal, Sumit Sanghai, D.Sivakumar, Bin Shu, Zac Yu, and Jon Elsas. 2020. Learning to extract attribute value from product via question answering: A multi-task approach. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 47-55, Online. ACM.
【非特許文献2】Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. 2020. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5849-5859, Online. Association for Computational Linguistics.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１及び非特許文献２のモデルから出力される属性値の精度は、クエリ次第で低下することがある。例えば、非特許文献１の技術では、クエリとして属性名を入力することが想定されている。例えば、非特許文献２の技術では、クエリとして抽出対象の定義説明文を入力することが想定されている。例えば、シンプルな語がクエリとして入力されると、非特許文献１及び非特許文献２のモデルがクエリの意味を認識できず、モデルから出力される属性値の精度が低下する可能性があった。
【0005】
本開示の目的の１つは、属性値抽出モデルの精度を高めることである。
【課題を解決するための手段】
【0006】
本開示に係る学習システムは、推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルを記憶するモデル記憶部と、学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する第２クエリ取得部と、前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、前記属性値抽出モデルに関する学習を行う学習部と、を含む。
【発明の効果】
【0007】
本開示によれば、属性値抽出モデルからの精度が高まる。
【図面の簡単な説明】
【0008】
【図1】学習システムの全体構成の一例を示す図である。
【図2】商品データから取得される属性及び属性値の一例を示す図である。
【図3】質問応答モデルを利用した属性値抽出モデルの一例を示す図である。
【図4】本実施形態の属性値抽出モデルの一例を示す図である。
【図5】知識の不完全さを属性値抽出モデルに学習させる方法の一例を示す図である。
【図6】学習システムで実現される機能の一例を示す機能ブロック図である。
【図7】訓練データベースの一例を示す図である。
【図8】属性データベースの一例を示す図である。
【図9】学習システムで実行される処理の一例を示すフロー図である。
【図10】学習システムで実行される処理の一例を示すフロー図である。
【図11】変形例における学習システム及び属性値抽出システムの一例である。
【発明を実施するための形態】
【0009】
［１．学習システムの全体構成］
本開示に係る学習システム及び属性値抽出システムの実施形態の一例を説明する。本実施形態では、学習システムが属性値抽出システムの機能も含む場合を例に挙げるが、学習システム及び属性値抽出システムは、互いに別々のシステムであってもよい。学習システム及び属性値抽出システムが互いに別々のシステムである場合は、後述の変形例で説明する。
本開示に係る学習システム及び属性値抽出システムの実施形態の一例を説明する。本実施形態では、学習システムが属性値抽出システムの機能も含む場合を例に挙げるが、学習システム及び属性値抽出システムは、互いに別々のシステムであってもよい。学習システム及び属性値抽出システムが互いに別々のシステムである場合は、後述の変形例で説明する。
【0010】
図１は、学習システムの全体構成の一例を示す図である。例えば、学習システム１は、サーバ１０、学習端末２０、及び推定端末３０を含む。サーバ１０、学習端末２０、及び推定端末３０の各々は、インターネット又はＬＡＮ等の任意のネットワークＮに接続可能である。
【0011】
サーバ１０は、サーバコンピュータである。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。
【0012】
学習端末２０は、後述の属性値抽出モデルの学習を行うコンピュータである。例えば、学習端末２０は、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。制御部２１、記憶部２２、及び通信部２３のハードウェア構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様である。操作部２４は、タッチパネル又はマウス等の入力デバイスである。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイである。
【0013】
推定端末３０は、後述の学習済みの属性値抽出モデルを利用するコンピュータである。例えば、推定端末３０は、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５のハードウェア構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様である。
【0014】
なお、記憶部１２，２２，３２に記憶されるプログラムは、ネットワークＮを介して供給されてもよい。また、各コンピュータには、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、メモリカードスロット）と、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）と、の少なくとも一方が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラムが、読取部及び入出力部の少なくとも一方を介して供給されてもよい。
【0015】
また、学習システム１は、少なくとも１つのコンピュータを含めばよい。学習システム１に含まれるコンピュータは、図１の例に限られない。例えば、推定端末３０が学習システム１の外部に存在してもよい。学習システム１は、サーバ１０及び学習端末２０のみを含んでもよい。学習システム１は、サーバ１０又は学習端末２０の何れか一方のみを含んでもよい。学習システム１は、サーバ１０又は学習端末２０の何れか一方と、他のコンピュータと、を含んでもよい。
【0016】
［２．学習システムの概要］
本実施形態では、商品に関する商品データの中から、商品の属性に応じた属性値が取得される場合を例に挙げて、学習システム１で実行される処理を説明する。商品は、商取引の対象となる物である。本実施形態では、オンラインショッピングモールにおける商品を例に挙げるが、商品自体は、任意の商品であってよく、例えば、インターネットオークション、オンラインフリーマーケット、又は現実の店舗で取引される商品であってもよい。
本実施形態では、商品に関する商品データの中から、商品の属性に応じた属性値が取得される場合を例に挙げて、学習システム１で実行される処理を説明する。商品は、商取引の対象となる物である。本実施形態では、オンラインショッピングモールにおける商品を例に挙げるが、商品自体は、任意の商品であってよく、例えば、インターネットオークション、オンラインフリーマーケット、又は現実の店舗で取引される商品であってもよい。
【0017】
商品データは、商品の詳細に関する情報である。例えば、商品データは、文字、数字、その他の記号、画像、音声、動画、又はこれらの組み合わせを含む。本実施形態では、オンラインショッピングモールにおける商品を例に挙げるので、店舗の担当者が入力した任意のテキスト（例えば、商品のタイトル）が商品データに相当する。例えば、商品データの内容は、オンラインショッピングモールのウェブサイト又はアプリケーションから閲覧可能である。
【0018】
属性は、商品を分類するための区分である。属性は、カテゴリ又はジャンルと呼ばれることもある。属性は、階層的に定義されてもよい。属性が階層的に定義される場合、属性が上位であるほど属性の意味が抽象的になり、属性が下位であるほど属性の意味が具体的になる。以降、単に属性と記載した箇所は、属性の名前を意味する。属性は、文字、数字、その他の記号、又はこれらの組み合わせによって表現される。属性は、所定の観点で商品を分類可能なものであればよく、任意の観点で属性を定義可能である。例えば、属性は、ブランド、色、素材、サイズ、機能、柄、又は産地といった情報である。
【0019】
属性値は、具体的な分類を示す値である。属性には、複数の属性値が予め用意されている。商品には、予め用意された複数の属性値のうちの少なくとも１つが付与される。予め用意された複数の属性値は、商品に付与される属性値の候補である。属性値は、文字、数字、その他の記号、又はこれらの組み合わせによって表現される。例えば、店舗の担当者は、ある商品の商品データをアップロードする時に、属性と、この属性に対して用意された複数の属性値のうちの少なくとも１つと、を指定する。この商品の商品データには、当該指定された属性及び属性値が関連付けられる。
【0020】
例えば、属性「ブランド」には、属性値として、種々のブランド名が用意されている。あるブランドの商品には、属性「ブランド」に対して用意された複数の属性値のうち、この商品のブランドのブランド名を示す属性値が付与される。例えば、属性「色」には、属性値として、黒、白、黄色といった種々の色が予め用意されている。見た目が黒い商品には、属性「色」に対して用意された複数の属性値のうち、「黒」を示す属性値が付与される。他の属性についても同様であり、任意の属性値を予め用意し、任意の属性値を商品に付与できる。
【0021】
図２は、商品データから取得される属性及び属性値の一例を示す図である。例えば、学習端末２０がオンラインショッピングモールのウェブサイトにアクセスすると、商品データを含む商品ページＰが表示部２５に表示される。例えば、商品ページＰには、店舗の名前、商品のタイトル、商品の画像、及び商品の詳細な説明文といった商品データが表示される。店舗の担当者が、商品データをアップロードする時に属性及び属性値を指定していれば、当該指定された属性及び属性値も商品データとして商品ページＰに表示される。商品の属性及び属性値は、検索時のインデックスとして利用される。
【0022】
商品データの中から、商品の属性に応じた適切な属性値を抽出できれば、種々の効果を奏することができる。例えば、店舗の担当者が属性値を指定する必要がなくなるので、店舗の担当者の負担を軽減できる。例えば、店舗の担当者が誤って不適切な属性値を指定したとしても、商品データの中から取得した適切な属性値に置き換えることもできる。例えば、現時点では属性値として用意されていなくても、商品データから新たな属性値を抽出することもできる。例えば、顧客の嗜好又はマーケットプレイスを深く理解してマーケティングに活用することもできる。
【0023】
そこで、学習システム１は、商品データから属性値を抽出するための属性値抽出モデルを利用して、商品データから属性値を抽出する。属性値抽出モデルは、機械学習を利用したモデルである。機械学習自体は、種々の手法を利用可能である。例えば、機械学習の手法は、教師有り学習、半教師有り学習、又は教師無し学習の何れの手法も、属性値抽出モデルに利用可能である。
【0024】
本実施形態では、ＢＥＲＴと呼ばれるモデルに基づいた質問応答モデル（ＱＡモデル）を利用した属性値抽出モデルを例に挙げるが、属性値抽出モデルは、商品データを一例とするエンティティとクエリを入力として属性値を抽出するモデルであればよく、その種別に制限はない。例えば、属性値抽出モデルは、ＢＥＲＴ以外のいわゆるＴｒａｎｓｆｏｒｍｅｒベースのモデルであってもよいし、Ｔｒａｎｓｆｏｒｍｅｒが登場する以前に利用されていたニューラルネットワークのモデルであってもよい。
【0025】
図３は、質問応答モデルを利用した属性値抽出モデルの一例を示す図である。図３の質問応答モデルＭ１及び属性値抽出モデルＭ２は、従来のモデルであるが、基本的な仕組みを理解するために、従来のモデルについて説明する。質問応答モデルＭ１及び属性値抽出モデルＭ２の詳細は、先行技術文献として挙げた非特許文献１、非特許文献２、又はこれらに記載された参考文献を参照されたい。なお、これらの文献では、質問応答モデルＭ１及び属性値抽出モデルＭ２に相当するモデルが他の名前で呼ばれていることがある。
【0026】
例えば、質問応答モデルＭ１は、ニュース記事及びクエリが入力されると、クエリに応じた応答を出力する。質問応答モデルＭ１には、ニュース記事及びクエリと、クエリに応じた応答と、の関係が学習されている。質問応答モデルＭ１に入力されるクエリは、ニュース記事の内容に関する質問である。質問応答モデルＭ１から出力される応答は、クエリである質問に対する回答である。質問応答モデルＭ１は、ニュース記事から回答として適切な部分を推定し、当該部分を出力する。
【0027】
図３の例では、日本における緊急事態宣言の解除に関するニュース記事Ｎ１０と、緊急事態宣言が解除される時期を問うクエリＱ１１と、が質問応答モデルＭ１に入力される。質問応答モデルＭ１は、緊急事態宣言が解除される時期として、ニュース記事Ｎ１０の「９月３０日」の部分が適切であることを推定し、この部分を識別可能な応答Ｒ１２を出力する。このような質問応答モデルＭ１は、商品データから属性値を抽出する目的でも利用できる。
【0028】
例えば、属性値抽出モデルＭ２は、質問応答モデルＭ１を流用して作成されたモデルである。属性値抽出モデルＭ２は、商品データ及びクエリが入力されると、クエリに応じた応答として、属性値を出力する。属性値抽出モデルＭ２には、商品データ及びクエリと、商品データに含まれる属性値と、の関係が学習されている。属性値抽出モデルＭ２に入力されるクエリは、商品データが示す商品の属性である。クエリは、商品データのうち、属性に応じた属性値が含まれる部分を問う質問ということができる。属性値抽出モデルＭ２から出力される応答は、クエリである属性に応じた属性値である。属性値抽出モデルＭ２は、商品データから属性値として適切な部分を推定し、当該部分を出力する。
【0029】
図３の例では、バッグの特徴に関する商品データＤ２０と、属性「ブランド」を含むクエリＱ２１と、が属性値抽出モデルＭ２に入力される。図３では、商品の画像も属性値抽出モデルＭ２に入力されるものとしているが、実際には、商品データＤ２０のうちのテキスト部分のみが属性値抽出モデルＭ２に入力されるものとする。商品データＤ２０のうちの画像部分は、ニューラルネットワーク等の機械学習モデルに基づく特徴抽出器等を介して特徴ベクトル等の数値の組み合わせに変換されることで、属性値抽出モデルＭ２に入力されてもよい。
【0030】
例えば、商品データＤ２０がオンラインショッピングモールにアップロードされる前に、商品データＤ２０と、クエリＱ２１と、が属性値抽出モデルＭ２に入力される。属性値抽出モデルＭ２は、クエリＱ２１に含まれる属性「ブランド」に応じた属性値Ｖ２２（ここでは、ブランド名）として、商品データの「ＢＢＢバッグ」の部分が適切であることを推定して出力する。例えば、属性「色」、属性「素材」、属性「サイズ」、又は属性「機能」といった他の属性も、属性値抽出モデルＭ２へのクエリとして入力可能である。
【0031】
例えば、商品の属性は、シンプルな語であることが多いので、属性値抽出モデルＭ２に入力されるクエリは、質問応答モデルＭ１に入力されるクエリよりも短く具体性に欠けることがある。このため、属性値抽出モデルＭ２は、クエリの意味を認識できないことがある。属性値抽出モデルＭ２がクエリの意味を認識できなければ、属性値抽出モデルＭ２からの出力の精度も低下する。特に、オンラインショッピングモールの場合、商品データに基づいて属性値抽出モデルＭ２の訓練データを作成すると、人気のある商品の属性が多くなり、他の商品に関する訓練データが少なくなりがちである。このような訓練データのスパースネス性も、属性値抽出モデルＭ２からの出力の精度が低下する要因の１つである。
【0032】
属性「機能」を例に挙げると、エアコンのような商品であれば、「タイマー」及び「省エネ」といった機能が存在する。バッグのような商品であれば、属性「機能」として、「防水」、「防カビ」、又は「防汚」といった機能が存在する。このため、同じ属性「機能」だったとしても、種々の意味が存在する。属性値抽出モデルＭ２は、属性「機能」のような短く抽象的なクエリの意味を認識できず、適切な属性値を出力できないことがある。この点は、他の属性も同様であり、クエリの質によって、属性値抽出モデルＭ２からの出力の精度が低下する可能性がある。
【0033】
そこで、本実施形態では、商品の属性だけではなく、商品の属性に予め関連付けられた属性値もクエリとして利用することによって、クエリを拡張するようにしている。これにより、クエリの意味がより具体的になり、属性値抽出モデルＭ２がクエリの意味を認識しやすくなるので、クエリの質が高まると考えられる。クエリの質が高まれば、先述した訓練データのスパースネス性の問題も解決できると考えられる。
【0034】
図４は、本実施形態の属性値抽出モデルの一例を示す図である。属性値抽出モデルＭ３は、従来の技術ではなく、新規な技術である。属性値抽出モデルＭ３は、商品データ及びクエリが入力されると、クエリに応じた応答を出力するモデルという点では、属性値抽出モデルＭ２と同様であるが、クエリの中身が属性値抽出モデルＭ２とは異なる。図４の例では、商品データＤ３０は、商品データＤ２０と同じであるが、クエリＱ３１は、属性だけではなく属性値も含むので、クエリＱ２１よりも拡張されている。
【0035】
例えば、商品データＤ３０が示す商品がバッグであり、クエリＱ３１として入力される商品の属性が「機能」だったとする。先述した通り、属性「機能」は、短くて抽象的な属性であり、バッグ以外の商品にも関係する種々の意味を有する。このため、バッグ関連の属性の意味であることを属性値抽出モデルＭ３が認識できるように、属性「機能」と、バッグ関連の属性「機能」に予め用意された属性値「防カビ」と、を含むクエリＱ３１が入力される。なお、図４では省略するが、本実施形態では、属性値「防カビ」だけではなく、属性「機能」に関連付けられた全ての属性値がクエリＱ３１に含まれるものとする。
【0036】
図４の商品は、防カビの機能を有する商品ではないが、クエリＱ３１に含まれる属性値「防カビ」によって、属性「機能」の意味を属性値抽出モデルＭ３が認識できるようになる。例えば、属性値抽出モデルＭ３は、クエリＱ３１に含まれる属性「機能」が、先述したエアコンのような機能ではなく、バッグに関する機能であることを認識できる。このため、属性値抽出モデルＭ３は、商品データＤ３０の中から、例えばクエリＱ３１に含まれる属性値「防カビ」と意味的又は表記的に近い表現を有する機能名である「防水」といった属性値Ｖ３２を出力できるようになる。
【0037】
図４の例以外にも、属性値「防汚」（汚れを防ぐ機能）といったように、例えば抽出したい属性値「防水」と意味的又は表記的に近い他の表現がクエリとして与えられた場合も同様に、属性値抽出モデルＭ３は、商品データの中から属性値「防水」を出力できる。この点は、例えば、属性「機能」に限られず、属性「種類」又は「タイプ」といったように、短く抽象的な属性を含む他のクエリが属性値抽出モデルＭ３に入力される場合も同様である。
【0038】
以上のように、本実施形態では、商品の属性に関連付けられた属性値を利用することによって、クエリを拡張するようにしている。この点は、属性「ブランド」、属性「色」、属性「素材」、属性「サイズ」、又は属性「機能」といった他の属性も同様である。例えば、オンラインショッピングモールで取引される商品の属性及び属性値を網羅することができれば、どのような商品にも対応可能になると考えられる。
【0039】
しかしながら、オンラインショッピングモールの商品は多岐に渡るので、属性及び属性値を完全に網羅することは、現実的ではない。例えば、オンラインショッピングモールで取引される商品の中には、オンラインショッピングモールの管理者が把握しきれていない属性及び属性値も存在する。このため、実際の運用では、属性及び属性値を完全には網羅しきれていない不完全な知識を利用する必要がある。
【0040】
例えば、実際の運用で用いられる知識が不完全であることが属性値抽出モデルＭ３に学習されていない場合、属性値抽出モデルＭ３は、入力されたクエリが完全に正しいものとして、属性値の推定を行う可能性がある。この場合、例えば、属性値抽出モデルＭ３は、クエリに含まれる属性値との単純な文字列一致に基づいて、属性値の推定をすることがある。この場合、未知の属性及び属性値に対応することができないと考えられる。そこで、本実施形態では、属性値抽出モデルＭ３に知識の不完全さをあえて学習させることによって、実際の運用に対応できるようにしている。
【0041】
図５は、知識の不完全さを属性値抽出モデルＭ３に学習させる方法の一例を示す図である。例えば、訓練データベースＤＢ１には、属性値抽出モデルＭ３に学習させる商品の商品データ（図５では、商品のタイトル）と、当該商品の属性及び属性値と、の組み合わせが多数格納されている。図５の例では、バッテリーに関する商品の商品データに「ＡＢＣバッテリー １２Ｖ １４ＡＨ ＳＬＡ Ｒｅｃｈａｒｇｅａｂｌｅ」といった文字列が含まれている。「ＡＢＣバッテリー」は、属性「ブランド」の属性値である。「１４ＡＨ」は、属性「公称容量」の属性値である。
【0042】
例えば、属性データベースＤＢ２には、訓練データベースＤＢ１に存在する属性と属性値のペアが多数格納されている。訓練データベースＤＢ１に格納された属性「公称容量」の属性値として、「１ａｈ」～「１００ａｈ」といった１００個の属性値が存在したとすると、属性「公称容量」と、これら１００個の属性値と、のペアが属性データベースＤＢ２に格納される。属性データベースＤＢ２には、他の属性のペアも多数格納されているものとする。
【0043】
仮に、属性「公称容量」の１００個すべての属性値を含むクエリＱ４０を利用して属性値抽出モデルＭ３の学習を行ったとすると、属性値抽出モデルＭ３は、自身に入力される知識が完全であると認識する可能性がある。この場合、例えば、属性値抽出モデルＭ３は、属性値にばかり着目してしまい、属性に着目しなくなったり、未知の属性値を抽出できなったりする可能性がある。例えば、未知の属性がクエリとして入力されたり、利用可能な属性値が少ない属性がクエリとして入力されたりした場合に、属性値抽出モデルＭ３の精度が低下する可能性がある。
【0044】
そこで、本実施形態では、知識の不完全さを属性値抽出モデルＭ３に学習させるために、２つの手法が利用される。１つ目の手法では、属性データベースＤＢ２に格納された全ての属性値を属性値抽出モデルＭ３に学習させるのではなく、あえて一部を除外したうえで属性値抽出モデルＭ３に学習させるようにしている。以降、１つ目の手法を、ナレッジドロップアウト手法という。ナレッジドロップアウト手法では、本当は利用可能な属性値を意図的に少なくすることによって、知識の不完全さを属性値抽出モデルＭ３に学習させることができる。即ち、ナレッジドロップアウト手法は、属性値抽出モデルＭ３に学習させる知識を意図的に少なくする手法である。
【0045】
２つ目の手法では、属性データベースＤＢ２に格納された属性値を何れも利用せずに、属性値抽出モデルＭ３に学習させるようにしている。ただし、一切の属性値を利用しない場合には、図３で説明した従来の属性値抽出モデルＭ２と同様に精度が低下する可能性があるので、本実施形態では、訓練データベースＤＢ１に商品データが格納された商品１つにつき、ナレッジドロップアウト手法を利用した学習と、属性値を全て除外して利用しない学習と、の２つの学習を行うようにしている。
【0046】
第２の手法では、属性値の利用可能性を示す特別なトークンを、クエリに含めるようにしている。トークンは、語の単位である。図５の例では、スペースで区切られた語の単位をトークンとする。トークンは、スペースではなく、特別な記号で区切られた語の単位であってもよい。トークンは、何らかの意味を有する語になることもあるが、あるトークンだけを見ても人間が意味を理解できる語になるとは限らない。
【0047】
以降、第２の手法で利用される特別なトークンを、ナレッジトークンという。更に、第２の手法を、ナレッジトークン手法という。図５の例では、ナレッジトークンは、［Ｓｅｅｎ］と「Ｕｎｓｅｅｎ」といった文字列で表現される。ナレッジトークンが［Ｓｅｅｎ］であることは、属性値が利用可能であることを意味する。ナレッジトークンが［Ｕｎｓｅｅｎ］であることは、属性値が利用可能ではないことを意味する。
【0048】
本実施形態では、属性データベースＤＢ２に格納された属性には、ペアとなる属性値が必ず存在するものとする。このため、学習段階では、本当は属性値が利用可能である属性に対し、擬似的に［Ｕｎｓｅｅｎ］のナレッジトークンが関連付けられる。図５の例であれば、学習時の属性値抽出モデルＭ３に対する入力Ｉ４２のように、属性「公称容量」には、本当は１００個の属性値が存在するが、擬似的に属性値が存在しないものとして、［Ｕｎｓｅｅｎ］のナレッジトークンが関連付けられる。それとは別に、入力Ｉ４１のように、ナレッジドロップアウト手法を利用した［Ｓｅｅｎ］のナレッジトークンを含むクエリ（除外されなかった属性値を含むクエリ）も属性値抽出モデルＭ２に学習される。
【0049】
以上のように、本実施形態では、ナレッジドロップアウト手法と、ナレッジトークン手法と、を利用して、属性値抽出モデルＭ３に知識の不完全さを学習させるようにしている。知識の不完全さを属性値抽出モデルＭ３に学習させることによって、実運用の環境に適した属性値抽出を実行できるので、属性値抽出モデルＭ３の精度が高まる。以降、学習システム１の詳細を説明する。
【0050】
［３．学習システムで実現される機能］
図６は、学習システム１で実現される機能の一例を示す機能ブロック図である。本実施形態では、属性値抽出モデルＭ３の学習に関する学習機能が学習端末２０により実現される場合を説明する。学習済みの属性値抽出モデルＭ３を利用した推定に関する推定機能が推定端末３０により実現される場合を説明する。以降、推定時及び学習時の各々で利用される商品、商品データ、属性、属性値、及びクエリを区別するために、商品、商品データ、属性、属性値、及びクエリに対し、下記のように名前を付ける。
図６は、学習システム１で実現される機能の一例を示す機能ブロック図である。本実施形態では、属性値抽出モデルＭ３の学習に関する学習機能が学習端末２０により実現される場合を説明する。学習済みの属性値抽出モデルＭ３を利用した推定に関する推定機能が推定端末３０により実現される場合を説明する。以降、推定時及び学習時の各々で利用される商品、商品データ、属性、属性値、及びクエリを区別するために、商品、商品データ、属性、属性値、及びクエリに対し、下記のように名前を付ける。
【0051】
［推定時の各用語］
第１商品：学習済みの属性値抽出モデルＭ３の処理対象となる商品
第１データ：第１商品の商品データ
第１属性：第１商品の属性
第１属性値：第１属性に関連付けられた属性値
第１クエリ：推定時に利用されるクエリ
第２属性値：第１データから抽出された属性値
第１商品：学習済みの属性値抽出モデルＭ３の処理対象となる商品
第１データ：第１商品の商品データ
第１属性：第１商品の属性
第１属性値：第１属性に関連付けられた属性値
第１クエリ：推定時に利用されるクエリ
第２属性値：第１データから抽出された属性値
【0052】
［学習時の各用語］
第２商品：属性値抽出モデルＭ３の学習で利用される商品
第２データ：第２商品の商品データ
第２属性：第２商品の属性
第３属性値：第２属性に関連付けられた属性値
第２クエリ：学習時に利用されるクエリ
第４属性値：第２データに含まれる、学習時の正解となる属性値
第２商品：属性値抽出モデルＭ３の学習で利用される商品
第２データ：第２商品の商品データ
第２属性：第２商品の属性
第３属性値：第２属性に関連付けられた属性値
第２クエリ：学習時に利用されるクエリ
第４属性値：第２データに含まれる、学習時の正解となる属性値
【0053】
［３－１．サーバで実現される機能］
モデル記憶部１００は、記憶部１２により実現される。モデル記憶部１００は、学習済みの属性値抽出モデルＭ３を記憶する。学習済みの属性値抽出モデルＭ３は、後述の学習部２０４による学習が完了した属性値抽出モデルＭ３である。本実施形態では、推定端末３０が、モデル記憶部１００に記憶された学習済みの属性値抽出モデルＭ３をダウンロードして利用する場合を説明するが、推定端末３０は、学習済みの属性値抽出モデルＭ３をダウンロードすることなく、学習済みの属性値抽出モデルＭ３をオンライン上で利用してもよい。モデル記憶部１００は、後述の訓練データベースＤＢ１及び属性データベースＤＢ２を記憶してもよい。
モデル記憶部１００は、記憶部１２により実現される。モデル記憶部１００は、学習済みの属性値抽出モデルＭ３を記憶する。学習済みの属性値抽出モデルＭ３は、後述の学習部２０４による学習が完了した属性値抽出モデルＭ３である。本実施形態では、推定端末３０が、モデル記憶部１００に記憶された学習済みの属性値抽出モデルＭ３をダウンロードして利用する場合を説明するが、推定端末３０は、学習済みの属性値抽出モデルＭ３をダウンロードすることなく、学習済みの属性値抽出モデルＭ３をオンライン上で利用してもよい。モデル記憶部１００は、後述の訓練データベースＤＢ１及び属性データベースＤＢ２を記憶してもよい。
【0054】
［３－２．学習端末で実現される機能］
モデル記憶部２００は、記憶部２２により実現される。第３属性値取得部２０１、確率決定部２０２、第２クエリ取得部２０３、及び学習部２０４は、制御部２１を主として実現される。これらの機能は、学習機能の一例である。
モデル記憶部２００は、記憶部２２により実現される。第３属性値取得部２０１、確率決定部２０２、第２クエリ取得部２０３、及び学習部２０４は、制御部２１を主として実現される。これらの機能は、学習機能の一例である。
【0055】
［モデル記憶部］
モデル記憶部２００は、属性値抽出モデルＭ３の学習に必要なデータを記憶する。例えば、モデル記憶部２００は、推定用の第１商品に関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、第１商品に関する第２属性値を含む第１データから第２属性値を抽出するための属性値抽出モデルＭ３を記憶する。第１商品は、第１アイテムの一例である。このため、第１商品と記載した箇所は、第１アイテムと読み替えることができる。
モデル記憶部２００は、属性値抽出モデルＭ３の学習に必要なデータを記憶する。例えば、モデル記憶部２００は、推定用の第１商品に関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、第１商品に関する第２属性値を含む第１データから第２属性値を抽出するための属性値抽出モデルＭ３を記憶する。第１商品は、第１アイテムの一例である。このため、第１商品と記載した箇所は、第１アイテムと読み替えることができる。
【0056】
アイテムとは、属性及び属性値が付与される対象となる物である。アイテムは、商品のような有体物であってもよいし、サービス又はデータのような無体物であってもよい。アイテムは、任意の物であってよく、商品に限られない。例えば、アイテムは、宿泊施設に関するコンテンツ、レストランに関するコンテンツ、電子書籍、動画、楽曲、ウェブサイト、又はその他のコンテンツであってもよい。例えば、アイテムは、金融サービス又は通信サービスといったサービスの紹介文、ＳＮＳにおける投稿、電子メール等のメッセージ、又はその他の文書であってもよい。
【0057】
第１アイテムは、上記のようなアイテムのうち、学習済みの属性値抽出モデルＭ３による推定対象となるアイテムである。第１アイテムは、第２属性値の抽出対象となるアイテムである。第１アイテムは、第１データから第２属性値がまだ抽出されていないアイテムである。第１アイテムは、後述の第２アイテムと偶然同じになることもあるが、原則として、第２アイテムとは異なるものとする。
【0058】
第１データは、第１アイテムに関する何らかの内容を含むデータである。第１データは、第１アイテムの詳細に関するデータである。第１データは、第１アイテムの種類に応じたデータであればよく、第１商品のタイトルに限られない。例えば、第１アイテムが宿泊施設であれば、宿泊施設又は部屋のタイトル又は紹介文が第１データに相当してもよい。例えば、アイテムが電子書籍であれば、電子書籍の実データ部分が第１データに相当してもよい。本実施形態では、第１データは、第１商品の説明に関する第１文字列を含む。属性値抽出モデルＭ３は、当該第１文字列から第２属性値を抽出するための自然言語処理に関するモデルである。
【0059】
例えば、モデル記憶部２００は、学習前の属性値抽出モデルＭ３を記憶する。学習前の属性値抽出モデルＭ３は、パラメータが初期値の属性値抽出モデルＭ３である。学習部２０４が学習を開始した後は、モデル記憶部２００は、学習途中の属性値抽出モデルＭ３を記憶する。学習が完了した後は、モデル記憶部２００は、学習済みの属性値抽出モデルＭ３を記憶する。モデル記憶部２００は、属性値抽出モデルＭ３以外にも、訓練データベースＤＢ１及び属性データベースＤＢ２を記憶する。
【0060】
図７は、訓練データベースＤＢ１の一例を示す図である。訓練データベースＤＢ１は、属性値抽出モデルＭ３の訓練データになりうるデータが格納されたデータベースである。訓練データは、第２データ及び第２クエリと、第４属性値と、の関係に関するデータである。例えば、訓練データベースＤＢ１には、第２データ、第２クエリに含まれる第２属性、及び第４属性が関連付けられている。訓練データは、学習時に属性値抽出モデルＭ３に入力される入力部分と、属性値抽出モデルＭ３から出力されるべき出力部分と、のペアを含む。図７では、第２クエリのうちの第２属性だけが示されている。第２クエリに含まれる第３属性値は、属性データベースＤＢ２から補填される。
【0061】
訓練データの入力部分は、学習済みの属性値抽出モデルＭ３に入力されるデータと同じ形式である。このため、推定時に入力される第１データ及び第１クエリの形式と、学習時に入力される第２データ及び第２クエリの形式と、は同じである。本実施形態では、第１データ及び第１クエリと、第２データ及び第２クエリと、が互いに文字形式である場合を説明するが、これらは、数字、その他の記号、又はこれらと文字の組み合わせといった任意の形式であってよい。例えば、属性値抽出モデルＭ３に文字が入力されるのではなく、文字の特徴量が入力されるのであれば、訓練データの入力部分として、第２データ及び第２クエリの特徴量が含まれてもよい。
【0062】
訓練データの出力部分は、学習済みの属性値抽出モデルＭ３から出力されるデータと同じ形式である。このため、推定時の出力の形式と、学習時の出力の形式と、は同じである。本実施形態では、後述の部分識別情報が出力される場合を説明するが、第２属性値及び第４属性値そのものが出力されてもよい。本実施形態では、第２属性値及び第４属性値が互いに文字形式である場合を説明するが、これらは、数字、その他の記号、又はこれらと文字の組み合わせといった任意の形式であってよい。例えば、属性値抽出モデルＭ３から属性値を示す文字列が出力されるのではなく、属性値を識別可能なＩＤ又は番号が出力されるのであれば、訓練データの出力部分として、第４属性値を識別可能なＩＤ又は番号が含まれてもよい。
【0063】
本実施形態では、オンラインショッピングモールで実際に販売される商品が第１商品及び第２商品に相当する場合を説明する。即ち、オンラインショッピングモールに実際にアップロードされる商品データが第１データ及び第２データに相当する。例えば、第１データ及び第２データは、オンラインショッピングモールで販売される商品のタイトル、説明文、又はこれらの組み合わせである。第１データは、ユーザが入力した文字を含む。なお、訓練データは、オンラインショッピングモールで実際に販売される商品に基づいて作成されるのではなく、オンラインショッピングモールの管理者が手作業で作成してもよい。
【0064】
第２クエリは、第２商品の属性値を問うための質問である。例えば、第２クエリは、第２属性と、当該第２属性に関連付けられた第３属性値と、を含むことができる。第２属性は、第２商品に関連付けられた属性である。例えば、第２属性は、店舗の担当者が指定した属性を示す文字を含む。第２属性は、オンラインショッピングモールの管理者により指定されてもよいし、第２属性を抽出するためのツールが利用されてもよい。本実施形態では、第２クエリに含まれる第３属性値は、ナレッジドロップアウト手法により決定されるので、訓練データベースＤＢ１には、第２クエリに含めるべき第２属性のみが示されている。第２クエリに含める第３属性値は、後述の属性データベースＤＢ２から取得される。
【0065】
第４属性値は、第２商品の正解となる属性値である。第４属性値は、第２属性に関連付けられた複数の第３属性値のうちの何れかであってもよいし、当該複数の第３属性値の中には存在しない属性値であってもよい。例えば、第４属性値は、店舗の担当者が指定した属性値を示す文字を含む。なお、第４属性値は、店舗の担当者により指定されるのではなく、オンラインショッピングモールの管理者により指定されてもよいし、過去に作成した属性値抽出モデルＭ３により抽出されてもよい。ただし、過去に作成した属性値抽出モデルＭ３から抽出された第４属性値には、誤った第４属性値が含まれる可能性があるので、人手で作成した訓練データに基づいて学習された属性値抽出モデルＭ３よりも精度が悪くなる可能性がある。
【0066】
図８は、属性データベースＤＢ２の一例を示す図である。属性データベースＤＢ２は、複数の属性の各々に対して予め用意された属性値が格納されたデータベースである。属性データベースＤＢ２は、属性と属性値の辞書ということもできる。例えば、属性データベースＤＢ２には、属性及び属性値のペアが多数格納される。属性データベースＤＢ２に格納された属性は、第１属性にもなりうるし、第２属性にもなりうる。属性データベースＤＢ２に格納された属性値は、第１属性値にもなりうるし、第３属性値にもなりうる。属性データベースＤＢ２には、後述の頻度が格納されてもよい。
【0067】
本実施形態では、属性データベースＤＢ２は、訓練データベースＤＢ１に基づいて作成されるものとする。例えば、学習端末２０は、訓練データの入力部分に含まれる第２属性と、当該入力部分に対応する出力部分である第４属性値と、の組み合わせを集計する。学習端末２０は、当該集計結果に基づいて、第２属性及び第４属性値のペアを、属性データベースＤＢ２に格納する。学習端末２０は、ある第２属性に対して閾値以上の頻度を有する第４属性値だけを属性データベースＤＢ２に格納してもよい。
【0068】
なお、属性データベースＤＢ２は、任意の方法によって作成可能であり、訓練データベースＤＢ１に基づいて作成されなくてもよい。例えば、学習端末２０は、オンラインショッピングモールで販売される商品に関する商品データベースに基づいて、属性データベースＤＢ２を作成してもよい。例えば、オンラインショッピングモールの管理者が、属性データベースＤＢ２を手作業で作成してもよい。例えば、オンラインショッピングモールで販売される商品に対して付与可能な属性及び属性値のリストが属性データベースＤＢ２として利用されてもよい。
【0069】
［第３属性値取得部］
第３属性値取得部は、第２クエリに含まれる少なくとも１つの第３属性値を取得する。例えば、第３属性値取得部２０１は、複数の第３属性値が格納された属性データベースＤＢ２の中から、第３属性に関連付けられた複数の第３属性値を取得する。属性データベースＤＢ２は、第２データベースの一例である。このため、属性データベースＤＢ２と記載した箇所は、第２データベースと読み替えることができる。第２データベースは、種々の第３属性値が格納されたデータベースであればよく、他の名前で呼ばれてもよい。
第３属性値取得部は、第２クエリに含まれる少なくとも１つの第３属性値を取得する。例えば、第３属性値取得部２０１は、複数の第３属性値が格納された属性データベースＤＢ２の中から、第３属性に関連付けられた複数の第３属性値を取得する。属性データベースＤＢ２は、第２データベースの一例である。このため、属性データベースＤＢ２と記載した箇所は、第２データベースと読み替えることができる。第２データベースは、種々の第３属性値が格納されたデータベースであればよく、他の名前で呼ばれてもよい。
【0070】
本実施形態では、第３属性値取得部２０１は、複数の第３属性値が格納された属性データベースＤＢ２に格納された全ての第３属性値を取得する。例えば、第３属性値取得部２０１は、属性データベースＤＢ２を参照し、ある第２商品の第２属性に関連付けられた全ての第３属性値を取得する。第２商品として図５のバッテリーを例に挙げると、第２属性「公称容量」には、「１ａｈ」～「１００ａｈ」といった１００個の第３属性値が属性データベースＤＢ２に格納されているので、第３属性値取得部２０１は、これら１００個の第３属性値を全て取得する。第３属性値取得部２０１は、他の第２属性も同様に、全ての第３属性値を属性データベースＤＢ２から取得する。
【0071】
なお、第３属性値取得部２０１は、属性データベースＤＢ２に格納された第３属性値のうちの一部のみを取得してもよい。例えば、第３属性値取得部２０１は、全ての第３属性値の中から、所定数の第３属性値をランダムに取得してもよい。例えば、第３属性値取得部２０１は、全ての第３属性値の中から、訓練データベースＤＢ１における頻度が高い順に所定数の第３属性値を取得してもよい。例えば、第３属性値取得部２０１は、全ての第３属性値の中から、訓練データベースＤＢ１における頻度が閾値以上の第３属性値を取得してもよい。
【0072】
例えば、第３属性値取得部２０１は、属性データベースＤＢ２から第３属性値を取得するのではなく、訓練データベースＤＢ１又は他のデータベースから第３属性値を取得してもよい。第３属性値は、オンラインショッピングモールの管理者により指定されてもよい。例えば、属性値抽出モデルＭ３の学習時に、管理者が第３属性値を逐一指定する場合には、第３属性値取得部２０１は、当該逐一指定された第３属性値を取得してもよい。利用可能な第３属性値が１つだけの場合には、第３属性値取得部２０１は、１つの第３属性値だけを取得してもよい。
【0073】
［確率決定部］
確率決定部２０２は、第３属性値が除外される確率を決定する。この確率は、ナレッジドロップアウト手法において、仮の第２クエリには含められた第３属性値が、最終的な第２クエリには含まれなくなる確率である。この確率は、全ての第３属性値で共通の確率であってもよいしランダムに決定されてもよいが、本実施形態では、第３属性値の頻度に応じた確率であるものとする。
確率決定部２０２は、第３属性値が除外される確率を決定する。この確率は、ナレッジドロップアウト手法において、仮の第２クエリには含められた第３属性値が、最終的な第２クエリには含まれなくなる確率である。この確率は、全ての第３属性値で共通の確率であってもよいしランダムに決定されてもよいが、本実施形態では、第３属性値の頻度に応じた確率であるものとする。
【0074】
頻度は、第３属性値が実際の商品に利用されている頻度である。本実施形態では、ある第３属性値の頻度は、訓練データベースＤＢ１で当該第３属性値が出現する頻度である。頻度は、訓練データベースＤＢ１における出現数ということもできる。図８では省略しているが、属性データベースＤＢ２には、第３属性値の頻度も格納されているものとする。例えば、学習端末２０は、訓練データベースＤＢ１で第３属性値が出現した頻度を集計し、属性データベースＤＢ２に格納する。
【0075】
例えば、確率決定部２０２は、第３属性値ごとに、複数の第２データが格納された訓練データベースＤＢ１における当該第３属性値の頻度に基づいて、当該第３属性値の確率を決定する。訓練データベースＤＢ１は、第１データベースの一例である。このため、訓練データベースＤＢ１と記載した箇所は、第１データベースと読み替えることができる。第１データベースは、種々の第２商品の第３属性値が格納されたデータベースであればよく、他の名前で呼ばれてもよい。例えば、オンラインショッピングモールの商品データベースが第１データベースに相当してもよい。即ち、他のデータベースにおける頻度が利用されてもよい。
【0076】
例えば、確率決定部２０２は、第３属性値の頻度が高いほど、第３属性値の確率が低くなるように、第３属性値の確率を決定する。逆にいえば、確率決定部２０２は、第３属性値の頻度が低いほど、第３属性値の確率が高くなるように、第３属性値の確率を決定する。このようにすれば、よく利用されている第３属性値が除外されにくくなるので、よく利用されている第３属性値を属性値抽出モデルＭ３に学習させやすくなる。
【0077】
頻度と確率の関係を示すデータは、予めモデル記憶部２００に記憶されているものとする。このデータは、任意の形式であってよく、例えば、数式形式又はテーブル形式であってもよい。このデータは、機械学習を利用したモデル、又は、プログラムの一部であってもよい。確率決定部２０２は、第３属性値の頻度に関連付けられた確率となるように、第３属性値の確率を決定する。
【0078】
例えば、確率決定部２０２は、第３属性値ごとに、予め定められた除外レートと、当該第３属性値の頻度と、に基づいて、当該第３属性値の確率を決定してもよい。除外レートは、デフォルトの確率である。除外レートは、第３属性値に応じて異なってもよいが、本実施形態では、全ての第３属性値で除外レートが共通であるものとする。除外レートは、オンラインショッピングモールの管理者が指定してもよいし、外部のデータベースに基づいて動的に決定されてもよい。
【0079】
例えば、除外レートをｒとし、ある第３属性値の頻度をｎｖとすると、確率決定部２０２は、この第３属性値の確率を、ｒｎｖとなるように決定する。なお、確率の計算方法は、他の計算方法であってもよく、本実施形態の例に限られない。例えば、確率決定部２０２は、除外レートｒと、ある第３属性値の頻度ｎｖと、を除算した値を、この第３属性値の確率としてもよい。例えば、確率決定部２０２は、除外レートｒから、ある第３属性値の頻度ｎｖと、を減算した値に応じた値を、この第３属性値の確率としてもよい。例えば、確率決定部２０２は、除外レートｒを利用せずに確率を決定してもよい。
【0080】
［第２クエリ取得部］
第２クエリ取得部２０３は、第２クエリを取得する。本実施形態では、知識の不完全さを表現するために、本当は学習で利用可能な第３属性値が意図的に除外されるので、第２クエリ取得部２０３は、学習用の第２商品に関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する。
第２クエリ取得部２０３は、第２クエリを取得する。本実施形態では、知識の不完全さを表現するために、本当は学習で利用可能な第３属性値が意図的に除外されるので、第２クエリ取得部２０３は、学習用の第２商品に関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する。
【0081】
第３属性値を除外するとは、第３属性値を第２クエリに含めないことである。即ち、本当は学習で利用可能な第３属性値を、第２クエリに意図的に含めないことが、第３属性値を除外することに相当する。属性データベースＤＢ２に存在する第３属性値ではあるが、第２クエリに含めないことは、第３属性値を除外することに相当する。第３属性値の除外は、第３属性値の無効化又は削除ということもできる。
【0082】
本実施形態では、第２クエリは、第２属性を含み、複数の第３属性値のうちの少なくとも一部が除外される場合を例に挙げる。即ち、第２クエリが、第２属性と、第３属性値と、の両方を含む場合を例に挙げる。なお、第２クエリは、第２属性を含まずに、複数の第３属性値のうちの除外されなかった第３属性値を含んでもよい。ある程度の数の第３属性値が利用可能であり、かつ、第３属性値だけでも第２クエリの意味をある程度認識できる場合には、第２クエリは、第２属性を含まなくてもよい。
【0083】
図５のクエリＱ４０が第２クエリに相当したとすると、ナレッジトークン、第２属性に相当する属性トークン、第３属性値に相当する属性値トークン、及びＳＥＰトークンを含む。ＳＥＰトークンは、区切りを示す特別なトークンである。例えば、第２データと第２属性の区切りを示すＳＥＰトークン（図５では、タイトルトークンとナレッジトークンの間のＳＥＰトークン）、第２属性と第３属性値の区切りを示すＳＥＰトークン（図５では、属性トークンと属性値トークンの間のＳＥＰトークン）、及び第３属性値同士の区切りを示すＳＥＰトークン（図５では、属性値トークン同士の間のＳＥＰトークン）がある。なお、図５のＣＬＳトークンは、冒頭に配置される特別なトークンである。隠れ状態は、属性値抽出モデルＭ３の内部の計算を保持するためのメモリに相当する。隠れ状態には、埋め込み表現等の情報が保持されてもよい。
【0084】
ナレッジドロップアウト手法では、第２クエリ取得部２０３は、複数の第３属性値のうちの一部のみを除外する。第２クエリ取得部２０３は、複数の第３属性値のうち、除外されなかった残りの第３属性値を含む第２クエリを取得する。例えば、ある第２属性に関連付けられた第３属性値がｋ個（ｋは２以上の整数）だったとすると、ｋ個の第３属性値のうち、１個以上ｋ個未満の第３属性値を除外することは、複数の第３属性値のうちの一部のみを除外することに相当する。除外される第３属性値の個数又は割合は、予め定められていてもよいし、動的に変わってもよい。
【0085】
本実施形態では、第２クエリ取得部２０３は、第３属性値ごとに、当該第３属性値に関連付けられた確率に基づいて、当該第３属性値を除外するか否かを決定する。第２クエリ取得部２０３は、複数の第３属性値のうち、上記確率に基づいて除外すると決定した一部のみを除外する。例えば、第２クエリ取得部２０３は、第３属性値ごとに、当該第３属性値に関連付けられた、当該第３属性値の頻度に応じた確率に基づいて、当該第３属性値を除外するか否かを決定する。
【0086】
先述した確率決定部２０２の例であれば、第３属性値の確率は、ｒｎｖになる。第２クエリ取得部２０３は、第３属性値ごとに、当該第３属性値の確率ｒｎｖに基づいて、当該第３属性値を除外するか否かを判定する。この判定は、種々の抽せんアルゴリズムを利用可能である。第２クエリ取得部２０３は、除外すると判定した第３属性値が第２クエリに含まれないように、当該第３属性値が第２クエリから除外する。第２クエリ取得部２０３は、除外すると判定されない第３属性値が第２クエリに含まれるように、当該第３属性値を第２クエリから除外しない。
【0087】
本実施形態では、ひとまず全ての第３属性値が取得されるので、第２クエリ取得部２０３は、全ての第３属性値のうちの一部のみを除外する。第２クエリ取得部２０３は、全ての第３属性値のうち、除外されなかった残りの第３属性値を含む第２クエリを取得する。例えば、第２クエリ取得部２０３は、ひとまず全ての第３属性値を含む仮の第２クエリを取得する。第２クエリ取得部２０３は、仮の第２クエリの中から、除外すると判定した第３属性値を除外し、最終的な第２クエリを取得する。
【0088】
例えば、第２クエリ取得部２０３は、複数の第３属性値を含む第２クエリを取得する。この第２クエリは、仮の第２クエリである。第２クエリ取得部２０３は、第２クエリに含まれる複数の第３属性値のうちの一部を他の値に置き換えることによって、当該一部の第３属性値を除外してもよい。他の値は、予め定められた値であればよく、例えば、所定の文字列である。他の値は、パディングと呼ばれることもある。他の値は、特に何の意味もない文字列であってもよい。ここでは、他の値は、［ＰＡＤ］といった文字列であるものとする。
【0089】
例えば、除外される第３属性値が他の値に置き換えられた後の第２クエリは、最終的な第２クエリである。図５の入力Ｉ４１の例では、「１ａｈ」、「４ａｈ」、「５ａｈ」といった第３属性値が除外されている。図５の例では、除外された第３属性値が他の値に置き換えられずに、仮の第３クエリから削除される場合が示されているが、例えば、入力Ｉ４１の「２ａｈ」の前に、除外された「１ａｈ」を置き換えるための他の値が挿入されてもよい。同様に、「３ａｈ」と「６ａｈ」の間に、除外された「４ａｈ」と「５ａｈ」を置き換えるための他の値が挿入されてもよい。
【0090】
以上説明した第２クエリは、ナレッジドロップアウト手法で利用される第２クエリである。ナレッジトークン手法では、第２クエリ取得部２０３は、第３属性値が利用可能なことを示す［Ｓｅｅｎ］のナレッジトークンと、複数の第３属性値のうちの少なくとも一部と、を含む第１タイプの第２クエリを取得する。［Ｓｅｅｎ］のナレッジトークンは、第１識別情報の一例である。このため、［Ｓｅｅｎ］のナレッジトークンについて説明している箇所は、第１識別情報と読み替えることができる。
【0091】
第１識別情報は、第３属性値が利用可能であることを示せばよく、［Ｓｅｅｎ］のナレッジトークン以外にも任意の情報を利用可能である。例えば、［Ｓｅｅｎ］以外の他の文字列であってもよいし、数値又はその他の記号であってもよい。ただし、第１識別情報として利用されるトークンは、タイトル、属性名、及び属性値に含まれないものとする。学習済みの属性値抽出モデルＭ３による推測時には、どのようなタイトル、属性名、及び属性値が入力されるか分からないので、第１識別情報は、［］で囲う等することによって、第１識別情報であることが分かるようになっている。第１識別情報であることを示す識別子は、［］に限られず、他の記号であってもよい。第１タイプの第２クエリは、第１識別情報を含む第２クエリである。第１タイプの第２クエリは、第３属性値を含む第２クエリである。図５の例では、入力Ｉ４１のうちの［Ｓｅｅｎ］以降の部分が第１タイプの第２クエリに相当する。
【0092】
また、ナレッジトークン手法では、第２クエリ取得部２０３は、第３属性値が利用可能ではないことを示す第２識別情報を含み、複数の第３属性値の全てが除外された第２タイプの第２クエリを取得する。［Ｕｎｓｅｅｎ］のナレッジトークンは、第２識別情報の一例である。このため、［Ｕｎｓｅｅｎ］のナレッジトークンについて説明している箇所は、第２識別情報と読み替えることができる。
【0093】
第２識別情報は、第３属性値が利用可能ではないことを示せばよく、［Ｕｎｓｅｅｎ］のナレッジトークン以外にも任意の情報を利用可能である。例えば、［Ｕｎｓｅｅｎ］以外の他の文字列であってもよいし、数値又はその他の記号であってもよい。第２識別情報も、第１識別情報と同様に、［］で囲う等することによって、第２識別情報であることが分かるようになっているものとする。第２タイプの第２クエリは、第２識別情報を含む第２クエリである。図５の例では、入力Ｉ４２のうちの［Ｕｎｓｅｅｎ］以降の部分が第２タイプの第２クエリに相当する。図５の例では、第２タイプの第２クエリは、ナレッジトークンと第２属性だけを含む。
【0094】
なお、［Ｓｅｅｎ］のナレッジトークンと、［Ｕｎｓｅｅｎ］のナレッジトークンと、は任意の位置に挿入されるようにすればよく、これらのナレッジトークンが挿入される位置は、図５の例に限られない。例えば、これらのナレッジトークンは、第２属性の後に挿入されてもよいし、第３属性値の後に挿入されてもよい。ナレッジトークンは、予め定められた位置に挿入されるようにすればよい。
【0095】
［学習部］
学習部２０４は、第２商品に関する第４属性値を含む第２データと、第２クエリと、に基づいて、属性値抽出モデルＭ３に関する学習を行う。第２商品は、第２アイテムの一例である。このため、第２商品と記載した箇所は、第２アイテムと読み替えることができる。第２アイテムは、第１アイテムの箇所で説明したアイテムの説明のうち、属性値抽出モデルＭ３の学習で利用されるアイテムである。第２アイテムは、正解となる第４属性値が特定されているアイテムである。第２アイテムは、属性値抽出モデルＭ３の訓練データとして用いられるアイテムである。
学習部２０４は、第２商品に関する第４属性値を含む第２データと、第２クエリと、に基づいて、属性値抽出モデルＭ３に関する学習を行う。第２商品は、第２アイテムの一例である。このため、第２商品と記載した箇所は、第２アイテムと読み替えることができる。第２アイテムは、第１アイテムの箇所で説明したアイテムの説明のうち、属性値抽出モデルＭ３の学習で利用されるアイテムである。第２アイテムは、正解となる第４属性値が特定されているアイテムである。第２アイテムは、属性値抽出モデルＭ３の訓練データとして用いられるアイテムである。
【0096】
第２データは、第２アイテムに関する何らかの内容を含むデータである。第２データは、第２アイテムの詳細に関するデータである。第２データは、第２アイテムの種類に応じたデータであればよく、第２商品のタイトルに限られない。例えば、第２アイテムが宿泊施設であれば、宿泊施設又は部屋のタイトル又は紹介文が第２データに相当してもよい。例えば、アイテムが電子書籍であれば、電子書籍の実データ部分が第２データに相当してもよい。本実施形態では、第２データは、第２商品の説明に関する第２文字列を含む。
【0097】
例えば、学習部２０４は、訓練データの入力部分が入力された場合に、訓練データの出力部分が出力されるように、属性値抽出モデルＭ３の学習を行う。学習は、属性値抽出モデルＭ３のパラメータを調整することである。学習自体は、属性値抽出モデルＭ３に応じた種々のアルゴリズムを利用可能であり、例えば、ＢＥＲＴ等の事前学習済みのＴｒａｎｓｆｏｒｍｅｒベースのモデルで行われるファインチューニングの態様をとってよく、他のモデルの最適なパラメータを求める際は誤差逆伝播法又は勾配降下法といったアルゴリズムを利用してもよい。
【0098】
本実施形態では、学習部２０４は、第２データ及び第２クエリが属性値抽出モデルＭ３に入力された場合に、第２データにおける第４属性値の部分を識別可能な始点Ｐｂと終点Ｐｅを属性値抽出モデルＭ３が出力するように、学習を行う。始点Ｐｂと終点Ｐｅは、部分識別情報の一例である。このため、始点Ｐｂと終点Ｐｅについて説明している箇所は、部分識別情報と読み替えることができる。図５の例では、入力Ｉ４１，Ｉ４２のうち、第４属性値の部分は「１００Ａｈ」の部分である。例えば、文字をトークンの単位とした場合には、「１」の部分が始点Ｐｂとなり、「ｈ」の部分が終点Ｐｅとなるように、学習が行われる。例えば、単語をトークンの単位として、「１００Ａｈ」が「１００」と「Ａｈ」に分かれた場合には、「１００」の部分が始点Ｐｂになり、「Ａｈ」の部分が終点Ｐｅになる。例えば、サブワードをトークンの単位として、「１００Ａｈ」が「１００」、「＃＃Ａ」、「＃＃ｈ」に分かれた場合には、「１００」の部分が始点Ｐｂになり、「＃＃ｈ」の部分が終点Ｐｅになる。このときサブワードに付く「＃＃」は、元の文字列において、当該サブワードがひとつ前のサブワードと連結していたことを意味する。図５のように、「ＡＨ」、「ａｈ」、「Ａｈ」といった多少の表記ゆれを吸収できるように、学習が行われる。
【0099】
部分識別情報は、第２データにおいて第４属性値が含まれている部分を特定可能な情報であればよい。例えば、第４属性値の１つ前の文字が何文字目であるかを示す情報と、第４属性値の１つ後の文字が何文字目であるかを示す情報と、のペアが部分識別情報に相当してもよい。他にも例えば、部分識別情報は、第４属性値の始点Ｐｂと終点Ｐｅだけではなく、その中間の文字も識別可能な情報を含んでもよい。なお、属性値抽出モデルＭ３は、始点Ｐｂと終点Ｐｅではなく、第４属性値そのものを出力してもよい。この場合、学習部２０４は、第２データ及び第２クエリが入力された場合に、第２データに含まれる第４属性値が出力されるように、属性値抽出モデルＭ３の学習を行う。
【0100】
ナレッジトークン手法では、学習部２０４は、第２データと、第１タイプの第２クエリと、に基づいて、属性値抽出モデルＭ３に関する第１学習を行う。本実施形態では、第１学習は、ナレッジドロップアウト手法と同様の学習であるものとする。学習部２０４は、第２データと、第２タイプの第２クエリと、に基づいて、属性値抽出モデルＭ３に関する第２学習を行う。学習部２０４は、ある１つの第２商品に対し、第１タイプの第２クエリを利用した第１学習と、第２タイプの第２クエリを利用した第２学習と、の２つの学習を行う。
【0101】
本実施形態では、学習部２０４は、第３属性値の利用可能性をドメインとみなしたマルチドメイン学習を利用して、第１学習及び第２学習を行う。本実施形態のマルチドメイン学習では、属性値知識の有無をドメインとみなし、各ドメインのデータとして、［Ｓｅｅｎ］又は［Ｕｎｓｅｅｎ］を含む入力が人工的に用意され、２つのドメインに対する属性値抽出モデルＭ３の学習が行われる。例えば、学習部２０４は、「Denny Britz, Quoc Le, and Reid Pryzant. 2017. Effective domain mixing for neural machine translation. In Proceedings of the Second Conference on Machine Translation, pages 118-126, Copenhagen, Denmark. Association for Computational Linguistics.」のマルチドメイン学習の手法からインスパイアされた上記のマルチドメイン学習を実行する。
【0102】
第１学習により、第１タイプと同タイプのクエリが入力された場合には、第１タイプに対応する第１ドメインが推定で利用される。第２学習により、第２タイプと同タイプのクエリが入力された場合には、第２タイプに対応する第２ドメインが推定で利用される。第１ドメインは、第２ドメインよりもクエリ内の属性値に着目した推定が行われる。第２ドメインは、第１ドメインよりもクエリ内の属性に着目した推定が行われる。第１ドメインの方が第２ドメインよりも知識を重視した推定が行われることになる。なお、学習部２０４は、マルチドメイン学習以外の手法を利用して、第１タイプの第２クエリと、第２タイプの第２クエリと、を利用した学習を行ってもよい。
【0103】
学習部２０４は、モデル記憶部２００に記憶された学習前の属性値抽出モデルＭ３の学習が完了すると、学習済みの属性値抽出モデルＭ３をモデル記憶部２００に記録する。学習部２０４は、サーバ１０に対し、学習済みの属性値抽出モデルＭ３を送信する。サーバ１０は、学習済みの属性値抽出モデルＭ３を受信すると、学習済みの属性値抽出モデルＭ３をモデル記憶部１００に記録する。
【0104】
［３－３．推定端末で実現される機能］
モデル記憶部３００は、記憶部３２により実現される。利用可能性判定部３０１、第１クエリ取得部３０２、及び第２属性値抽出部３０３は、制御部３１を主として実現される。これらの機能は、推定機能の一例である。
モデル記憶部３００は、記憶部３２により実現される。利用可能性判定部３０１、第１クエリ取得部３０２、及び第２属性値抽出部３０３は、制御部３１を主として実現される。これらの機能は、推定機能の一例である。
【0105】
［モデル記憶部］
モデル記憶部３００は、学習済みの属性値抽出モデルＭ３を記憶する。例えば、推定端末３０は、サーバ１０から学習済みの属性値抽出モデルＭ３をダウンロードすると、学習済みの属性値抽出モデルＭ３をモデル記憶部３００に記録する。モデル記憶部３００は、属性データベースＤＢ２も記憶する。この属性データベースＤＢ２も、サーバ１０からダウンロードされたものであってもよい。
モデル記憶部３００は、学習済みの属性値抽出モデルＭ３を記憶する。例えば、推定端末３０は、サーバ１０から学習済みの属性値抽出モデルＭ３をダウンロードすると、学習済みの属性値抽出モデルＭ３をモデル記憶部３００に記録する。モデル記憶部３００は、属性データベースＤＢ２も記憶する。この属性データベースＤＢ２も、サーバ１０からダウンロードされたものであってもよい。
【0106】
［利用可能性判定部］
利用可能性判定部３０１は、推定用の第１商品に関する第１属性に関連付けられた少なくとも１つの第１属性値の利用可能性を判定する。本実施形態では、第１属性によっては、第１属性値を利用可能ではないことがある。例えば、未知の第１属性が第１クエリとして入力された場合には、第１属性値を利用可能ではない。このため、学習用の第２属性は、原則として属性データベースＤＢ２に格納されているが、推定用の第１属性は、属性データベースＤＢ２に格納されているとは限らない。また、第１属性が属性データベースＤＢ２に格納されていたとしても、第１属性値が存在しなければ、必ずしも、第１属性に第１属性値が関連付けられているとは限らない。
利用可能性判定部３０１は、推定用の第１商品に関する第１属性に関連付けられた少なくとも１つの第１属性値の利用可能性を判定する。本実施形態では、第１属性によっては、第１属性値を利用可能ではないことがある。例えば、未知の第１属性が第１クエリとして入力された場合には、第１属性値を利用可能ではない。このため、学習用の第２属性は、原則として属性データベースＤＢ２に格納されているが、推定用の第１属性は、属性データベースＤＢ２に格納されているとは限らない。また、第１属性が属性データベースＤＢ２に格納されていたとしても、第１属性値が存在しなければ、必ずしも、第１属性に第１属性値が関連付けられているとは限らない。
【0107】
例えば、利用可能性判定部３０１は、属性データベースＤＢ２を参照し、第１属性が存在するか否かを判定する。利用可能性判定部３０１は、属性データベースＤＢ２に第１属性が存在しないと判定した場合には、第１属性値の利用可能性がないと判定する。利用可能性判定部３０１は、属性データベースＤＢ２に第１属性が存在すると判定した場合には、第１属性に関連付けられた第１属性値が属性データベースＤＢ２に存在するか否かを判定する。
【0108】
利用可能性判定部３０１は、第１属性に関連付けられた第１属性値が属性データベースＤＢ２に存在しないと判定した場合には、第１属性値の利用可能性がないと判定する。利用可能性判定部３０１は、第１属性に関連付けられた第１属性値が属性データベースＤＢ２に存在すると判定した場合には、第１属性値の利用可能性があると判定する。なお、利用可能性の判定方法は、本実施形態の例に限られない。例えば、利用可能性判定部３０１は、第１属性に関連付けられた第１属性値が存在したとしても、その第１属性値の個数が閾値未満だったり、その第１属性値の頻度が閾値未満だったりした場合には、第１属性値が利用可能ではないと判定してもよい。
【0109】
なお、本実施形態では、店舗の担当者が第１属性を指定する場合を例に挙げるが、第１属性は、何らかの形で取得されるようにすればよく、他の方法によって取得されてもよい。例えば、オンラインショッピングモールの管理者が第１属性を指定してもよい。例えば、商品データと属性の関係が学習された機械学習モデルに基づいて、第１データから第１属性が推定されることによって、第１属性が取得されてもよい。他にも例えば、店舗の担当者が第１商品に対して指定した属性と関連性のある他の属性が、第１属性として取得されてもよい。第１データも同様であり、店舗の担当者が指定するだけではなく、任意の方法によって取得可能である。例えば、推定端末３０又は他のコンピュータに第１データ及び第１属性が記憶されており、当該記憶された第１データ及び第１属性が取得されてもよい。
【0110】
［第１クエリ取得部］
第１クエリ取得部３０２は、推定用の第１商品に関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを取得する。本実施形態では、第１クエリは、原則として、第１属性と、少なくとも１つの第１属性値と、を含む。ただし、第１属性値が利用可能とは限らないので、この場合には、第１クエリは、第１属性を含むが第１属性値は含まないこともある。第１属性値が利用可能な場合には、第１クエリには、第１属性が１つだけ含まれてもよい。
第１クエリ取得部３０２は、推定用の第１商品に関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを取得する。本実施形態では、第１クエリは、原則として、第１属性と、少なくとも１つの第１属性値と、を含む。ただし、第１属性値が利用可能とは限らないので、この場合には、第１クエリは、第１属性を含むが第１属性値は含まないこともある。第１属性値が利用可能な場合には、第１クエリには、第１属性が１つだけ含まれてもよい。
【0111】
ナレッジトークン手法では、第１クエリ取得部３０２は、第１属性値が利用可能であると判定された場合には、第１属性値が利用可能なことを示す第３識別情報と、少なくとも１つの第１属性値と、を含む第３タイプの第１クエリを取得する。第３識別情報は、第１属性値の利用可能性を示すという点で第１識別情報とは異なるが、他の点は、第１識別情報と同様である。このため、本実施形態では、第３識別情報は、［Ｓｅｅｎ］の文字列である。第３タイプは、推定用の第１クエリのタイプという点で第１タイプとは異なるが、データとしての形式自体は、第１タイプと同様である。第３識別情報及び第３タイプの詳細は、第１識別情報及び第１タイプの詳細と同様である。
【0112】
第１クエリ取得部３０２は、第１属性値が利用可能であると判定されない場合には、第１属性値が利用可能ではないことを示す第４識別情報を含む第４タイプの第１クエリを取得する。第４識別情報は、第１属性値の利用可能性を示すという点で第２識別情報とは異なるが、他の点は、第２識別情報と同様である。このため、本実施形態では、第４識別情報は、［Ｕｎｓｅｅｎ］の文字列である。第４タイプは、推定用の第１クエリのタイプという点で第２タイプとは異なるが、データとしての形式自体は、第４タイプと同様である。第４識別情報及び第４タイプの詳細は、第２識別情報及び第２タイプの詳細と同様である。
【0113】
なお、本実施形態では、ナレッジドロップアウト手法は、学習時を想定したものであり、推定時を想定したものではないものとする。このため、第１クエリ取得部３０２は、第１属性値が利用可能であると判定された場合には、利用可能な第１属性値の全てが第１クエリに含まれるように、第１クエリを取得する。第１クエリは、利用可能な第１属性値の一部だけを含んでもよい。この場合、第１クエリ取得部３０２は、最も頻度が高い第１属性値だけを含む第１クエリを取得してもよい。他にも例えば、第１クエリ取得部３０２は、ランダムに選択した第１属性値を含む第１クエリ、頻度が閾値以上の全ての第１属性値を含む第１クエリ、又は頻度が高い順に所定数の第１属性値を含む第１クエリを取得してもよい。他にも例えば、第１属性値が埋め込み表現化された状態で第１クエリに含まれるようにしてもよい。
【0114】
［第２属性値抽出部］
第２属性値抽出部３０３は、第１商品に関する第２属性値を含む第１データ、第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出する。例えば、第２属性値抽出部３０３は、第１データ及び第１クエリを、学習済みの属性値抽出モデルＭ３に入力する。学習済みの属性値抽出モデルＭ３は、第１データ及び第１クエリの埋め込みベクトル（埋め込み表現）を計算し、当該計算された埋め込みベクトルに基づいて、第２属性値の始点Ｐｂと終点Ｐｅを出力する。第２属性値抽出部３０３は、第１データのうち、始点Ｐｂから終点Ｐｅまでの部分を、第２属性値として抽出する。
第２属性値抽出部３０３は、第１商品に関する第２属性値を含む第１データ、第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出する。例えば、第２属性値抽出部３０３は、第１データ及び第１クエリを、学習済みの属性値抽出モデルＭ３に入力する。学習済みの属性値抽出モデルＭ３は、第１データ及び第１クエリの埋め込みベクトル（埋め込み表現）を計算し、当該計算された埋め込みベクトルに基づいて、第２属性値の始点Ｐｂと終点Ｐｅを出力する。第２属性値抽出部３０３は、第１データのうち、始点Ｐｂから終点Ｐｅまでの部分を、第２属性値として抽出する。
【0115】
ナレッジトークン手法では、第２属性値抽出部３０３は、第１属性値が利用可能であると判定された場合には、第１商品に関する第２属性値を含む第１データ、第３タイプの第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出する。第２属性値抽出部３０３は、第１データと、第３タイプの第１クエリと、を学習済みの属性値抽出モデルＭ３に入力する。学習済みの属性値抽出モデルＭ３は、これらの埋め込みベクトルに応じた第２属性値の始点Ｐｂと終点Ｐｅを出力する。
【0116】
第２属性値抽出部３０３は、第１属性値が利用可能であると判定されない場合には、第１データ、第４タイプの第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出する。第２属性値抽出部３０３は、第１データと、第４タイプの第１クエリと、を学習済みの属性値抽出モデルＭ３に入力する。学習済みの属性値抽出モデルＭ３は、これらの埋め込みベクトルに応じた第２属性値の始点Ｐｂと終点Ｐｅを出力する。なお、属性値抽出モデルＭ３が、始点Ｐｂと終点Ｐｅを出力するのではなく、第２属性値そのものを出力する場合には、第２属性値抽出部３０３は、属性値抽出モデルＭ３から出力された第２属性値を取得すればよい。
【0117】
［４．学習システムで実行される処理］
図９及び図１０は、学習システム１で実行される処理の一例を示すフロー図である。図９及び図１０の処理は、制御部１１，２１，３１がそれぞれ記憶部１２，２２，３２に記憶されたプログラムに従って動作することによって実行される。図９及び図１０の処理が実行されるにあたり、訓練データベースＤＢ１及び属性データベースＤＢ２は、予め作成されているものとする。
図９及び図１０は、学習システム１で実行される処理の一例を示すフロー図である。図９及び図１０の処理は、制御部１１，２１，３１がそれぞれ記憶部１２，２２，３２に記憶されたプログラムに従って動作することによって実行される。図９及び図１０の処理が実行されるにあたり、訓練データベースＤＢ１及び属性データベースＤＢ２は、予め作成されているものとする。
【0118】
図９のように、学習端末２０は、訓練データベースＤＢ１に第２データが格納された第２商品のうち、学習対象の第２商品を決定する（Ｓ１）。学習対象の第２商品は、Ｓ２以降の処理の対象となる第２商品である。例えば、訓練データベースＤＢ１に第２データが格納された第２商品の中から、まだ属性値抽出モデルＭ３に学習させていない第２商品が学習対象として決定される。
【0119】
学習端末２０は、訓練データベースＤＢ１を参照し、学習対象の第２商品の第２データ及び第２属性を取得する（Ｓ２）。学習端末２０は、属性データベースＤＢ２を参照し、Ｓ２で取得された第２属性に関連付けられた全ての第３属性値を取得する（Ｓ３）。学習端末２０は、Ｓ２で取得された第２属性と、Ｓ３で取得された全ての第３属性値と、を含む仮の第２クエリを取得する（Ｓ４）。Ｓ４の時点でナレッジトークンが挿入されてもよいが、ここでは、まだナレッジトークンは挿入されないものとする。第２属性と第３属性値の間と、第３属性値同士の間と、には、ＳＥＰトークンが挿入される。
【0120】
学習端末２０は、第３属性値ごとに、除外レートと、当該第３属性値の頻度と、に基づいて、当該第３属性値が除外される確率を決定する（Ｓ５）。先述したように、除外レートは、予め指定されている。頻度は、属性データベースＤＢ２に格納されているものとする。学習端末２０は、第３属性値ごとに、当該第３属性値の確率に基づいて、当該第３属性値を除外するか否かを判定する（Ｓ６）。Ｓ６の判定により、全ての第３属性値のうちの一部が除外されると判定される。なお、極めて低い確率で、全ての第３属性値が除外されると判定されることもあるが、本実施形態では、この点は考えないものとする。
【0121】
学習端末２０は、Ｓ４で取得した仮の第２クエリのうち、Ｓ６で除外すると判定した第３属性値を他の値（例えば、パディング用のトークン）に置き換えることによって、第１タイプの第２クエリを取得する（Ｓ７）。Ｓ７では、［Ｓｅｅｎ］のナレッジトークンも第２クエリに挿入される。学習端末２０は、Ｓ４で取得した仮の第２クエリのうち、第３属性値が全て除外された第２タイプの第２クエリを取得する（Ｓ８）。Ｓ８では、［Ｕｎｓｅｅｎ］のナレッジトークンも第２クエリに挿入される。
【0122】
学習端末２０は、Ｓ２で取得した第２データ、第１タイプの第２クエリ、及び第２タイプの第２クエリに基づいて、マルチドメイン学習を利用して、属性値抽出モデルＭ３の学習を行う（Ｓ９）。Ｓ９では、学習端末２０は、学習対象の第２商品の第２データ及び第１タイプの第２クエリが入力された場合に、当該第２データにおける第４属性値の始点Ｐｂと終点Ｐｅが出力されるように、属性値抽出モデルＭ３の学習を行う。学習端末２０は、学習対象の第２商品の第２データ及び第２タイプの第２クエリが入力された場合に、当該第２データにおける第４属性値の始点Ｐｂと終点Ｐｅが出力されるように、属性値抽出モデルＭ３の学習を行う。
【0123】
学習端末２０は、属性値抽出モデルＭ３の学習を完了するか否かを判定する（Ｓ１０）。Ｓ１０の判定は、予め定められた条件に基づいて実行されるようにすればよい。例えば、訓練データベースＤＢ１に格納された全ての第２データが学習で利用された場合に、属性値抽出モデルＭ３の学習が完了してもよいし、一定数の第２データが学習で利用された場合に、属性値抽出モデルＭ３の学習が完了してもよい。
【0124】
Ｓ１０において、属性値抽出モデルＭ３の学習を完了すると判定されない場合（Ｓ１０：Ｎ）、Ｓ１の処理に戻る。この場合、次の学習対象の第２商品が決定されて属性値抽出モデルＭ３の学習が継続される。属性値抽出モデルＭ３の学習を完了すると判定された場合（Ｓ１０：Ｙ）、学習端末２０は、属性値抽出モデルＭ３の学習を完了し、サーバ１０に対し、学習済みの属性値抽出モデルＭ３を送信する（Ｓ１１）。サーバ１０は、学習済みの属性値抽出モデルＭ３を受信すると（Ｓ１２）、学習済みの属性値抽出モデルＭ３を記憶部１２に記録する（Ｓ１３）。以降、推定端末３０から学習済みの属性値抽出モデルＭ３が利用可能になる。
【0125】
図１０に移り、推定端末３０は、サーバ１０から、学習済みの属性値抽出モデルＭ３をダウンロードして記憶部２２に記録する（Ｓ１４）。推定端末３０は、記憶部３２に予め記憶された第１商品の第１データと、店舗の担当者により指定された第１属性と、を取得する（Ｓ１５）。推定端末３０は、属性データベースＤＢ２を参照し、第１属性値の利用可能性を判定する（Ｓ１６）。
【0126】
第１属性値を利用可能であると判定された場合（Ｓ１６：可）、推定端末３０は、第１属性に関連付けられた全ての第１属性値を取得する（Ｓ１７）。推定端末３０は、Ｓ１５で取得した第１属性と、全ての第１属性値と、を含む第３タイプの第１クエリを取得する（Ｓ１８）。推定端末３０は、第１データ、第３タイプの第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出し（Ｓ１９）、本処理は終了する。Ｓ１９では、属性値抽出モデルＭ３の第１ドメインを利用した推定が実行される。
【0127】
Ｓ１６において、第１属性値を利用可能であると判定されない場合（Ｓ１６：不可）、推定端末３０は、第１属性値を含まずに、第１属性を含む第４タイプの第１クエリを取得する（Ｓ２０）。推定端末３０は、第１データ、第４タイプの第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出し（Ｓ２１）、本処理は終了する。Ｓ２１では、属性値抽出モデルＭ３の第２ドメインを利用した推定が実行される。
【0128】
本実施形態の学習システム１によれば、第４属性値を含む第２データと、第２商品に関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリと、に基づいて、属性値抽出モデルＭ３に関する学習を行う。これにより、本当は学習で利用可能な第３属性値を除外することによって、知識の不完全さを属性値抽出モデルＭ３に学習させることができるので、属性値抽出モデルＭ３の精度が高まる。例えば、実運用では、完全には網羅しきれていない属性データベースＤＢ２といった不完全な知識を利用する必要がある。この不完全さを属性値抽出モデルＭ３に学習させることによって、未知の第１属性が入力されたり、属性データベースＤＢ２にほとんど第１属性値が存在しない第１属性が入力されたりしたとしても、属性値抽出モデルＭ３は、第１データから第２属性値を抽出可能になる。更に、従来の属性値抽出モデルＭ２に比べるとクエリ拡張を実現できるので、この点でも、属性値抽出モデルＭ３の精度が高まる。
【0129】
また、学習システム１は、第１クエリは、第１属性と、少なくとも１つの第１属性値と、を含む。第２クエリは、第２属性を含み、複数の第３属性値のうちの少なくとも一部が除外される。これにより、第１属性値だけではなく第１属性も第１クエリに含めることができ、かつ、第２属性を第２クエリに含めることができるので、より効果的にクエリ拡張を実現できる。その結果、属性値抽出モデルＭ３の精度が高まる。
【0130】
また、学習システム１は、複数の第３属性値のうちの一部のみを除外し、複数の第３属性値のうち、除外されなかった残りの第３属性値を含む第２クエリを取得する。これにより、第２クエリにある程度の第３属性値を含めることができるので、クエリ拡張を実現しつつ、知識の不完全さを属性値抽出モデルＭ３に学習させることができる。
【0131】
また、学習システム１は、第３属性値ごとに、当該第３属性値に関連付けられた確率に基づいて、当該第３属性値を除外するか否かを決定し、複数の第３属性値のうち、確率に基づいて除外すると決定した一部のみを除外する。これにより、どの程度の第３属性値を除外せずに残すかを管理しやすくなるので、管理者が想定した通りに第３属性値を除外できる。例えば、管理者が想定しないほど多くの第３属性値が除外されてしまったり、管理者が想定したよりも少ない第３属性値しか除外されなかったりすることを防止できる。その結果、管理者が狙ったように、知識の不自然さを属性値抽出モデルＭ３に学習させることができる。
【0132】
また、学習システム１は、第３属性値ごとに、当該第３属性値に関連付けられた、当該第３属性値の頻度に応じた確率に基づいて、当該第３属性値を除外するか否かを決定する。これにより、例えば、第３属性値の頻度が高いほど、当該第３属性値が除外されにくくするといったことが可能になるので、頻出の第３属性値を属性値抽出モデルＭ３に学習させやすくなる。
【0133】
また、学習システム１は、第３属性値ごとに、予め定められた除外レートと、当該第３属性値の頻度と、に基づいて、当該第３属性値の確率を決定する。除外レートにより、どの程度の第３属性値を残すかを管理しやすくなるので、管理者が想定した通りに第３属性値を除外できる。
【0134】
また、学習システム１は、全ての第３属性値のうちの一部のみを除外し、全ての第３属性値のうち、除外されなかった残りの第３属性値を含む第２クエリを取得する。これにより、ある程度の第３属性値を属性値抽出モデルＭ３に学習させることができる。
【0135】
また、学習システム１は、複数の第３属性値を含む第２クエリを取得し、第２クエリに含まれる複数の第３属性値のうちの一部を他の値に置き換えることによって、当該一部の第３属性値を除外する。これにより、他の値を第２クエリに含めることによって、知識の不完全さを属性値抽出モデルＭ３に学習させることができる。
【0136】
また、学習システム１は、第２データと、第１タイプの第２クエリと、に基づいて、属性値抽出モデルＭ３に関する第１学習を行い、第２データと、第２タイプの第２クエリと、に基づいて、属性値抽出モデルＭ３に関する第２学習を行う。これにより、第３属性値を属性値抽出モデルＭ３に学習させつつ、より効率的に、知識の不完全さを属性値抽出モデルＭ３に学習させることができる。更に、第１属性値が利用可能な場合の属性値抽出モデルＭ３と、第１属性値が利用可能ではない場合の属性値抽出モデルＭ３と、を別々に作成する場合に比べて、１つの属性値抽出モデルＭ３にまとめることができるので、属性値抽出モデルＭ３の管理負担が軽減する。
【0137】
また、学習システム１は、第３属性値の利用可能性をドメインとみなしたマルチドメイン学習を利用して、第１学習及び第２学習を行う。これにより、１つの属性値抽出モデルＭ３の中で、実際の推定時における第１属性値の利用可能性に応じて推定処理のスイッチが切り替わるようにすることができる。このため、第１属性値が利用可能な場合と利用可能ではない場合との両方に対応できるハイブリッドな属性値抽出モデルＭ３とすることができる。
【0138】
また、学習システム１は、第２データ及び第２クエリが属性値抽出モデルＭ３に入力された場合に、第２データにおける第４属性値の部分を識別可能な部分識別情報を属性値抽出モデルＭ３が出力するように、学習を行う。これにより、実際の推定時には、第１データの中のどの部分が第２属性値なのかを識別できるので、第１データから第２属性値を抽出しやすくなる。
【0139】
また、学習システム１は、第１アイテムは、推定用の第１商品であり、第２アイテムは、学習用の第２商品である。これにより、オンラインショッピングモールで取引される商品の属性値抽出を精度よく行うことができる。
【0140】
また、学習システム１は、第１商品に関する第２属性値を含む第１データ、第１属性値を含む第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出する。これにより、クエリ拡張を実現できるので、第２属性値を精度よく抽出できる。
【0141】
また、学習システム１は、第１属性値が利用可能であると判定された場合には、第１アイテムに関する第２属性値を含む第１データ、第３タイプの第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出する。学習システム１は、第１属性値が利用可能であると判定されない場合には、第１データ、第４タイプの第１クエリ、及び学習済みの属性値抽出モデルＭ３に基づいて、第１データから第２属性値を抽出する。これにより、第１属性値が利用可能な場合と、第１属性値が利用可能ではない場合と、の何れの場合にも、第２属性値を精度よく抽出できる。
【0142】
［５．変形例］
本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
【0143】
図１１は、変形例における学習システム及び属性値抽出システムの一例である。図１１のように、学習システム１及び属性値抽出システム２が互いに別々のシステムであってもよい。属性値抽出システム２は、学習システム１により作成された学習済みの属性値抽出モデルを利用可能なシステムである。図１１の例では、学習システム１は、学習端末２０を含む。属性値抽出システム２は、サーバ１０及び推定端末３０を含む。サーバ１０、学習端末２０、及び推定端末３０の各々の機能は、実施形態で説明した通りである。属性値抽出システム２は、サーバ１０を含まずに、推定端末３０だけを含んでもよい。
【0144】
例えば、実施形態では、ナレッジドロップアウト手法及びナレッジトークン手法の両方が利用される場合を説明したが、学習端末２０は、ナレッジトークン手法を利用せずに、ナレッジドロップアウト手法だけを利用して、属性値抽出モデルＭ３の学習を行ってもよい。この場合、第１クエリ及び第２クエリは、ナレッジトークンを含まない。例えば、学習端末２０は、ナレッジドロップアウト手法を利用せずに、ナレッジトークン手法だけを利用して、属性値抽出モデルＭ３の学習を行ってもよい。この場合、第１クエリは、第３属性値が除外されずに、全ての第３属性値を含んでもよい。
【0145】
例えば、学習端末２０で実現されるものとして説明した機能は、サーバ１０、推定端末３０、又は他のコンピュータで実現されてもよいし、複数のコンピュータで分担されてもよい。例えば、推定端末３０で実現されるものとして説明した機能は、サーバ１０、学習端末２０、又は他のコンピュータで実現されてもよいし、複数のコンピュータで分担されてもよい。
【0146】
［６．付記］
例えば、学習システム及び属性値抽出システムは、下記のような構成も可能である。
例えば、学習システム及び属性値抽出システムは、下記のような構成も可能である。
【0147】
（１）
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルを記憶するモデル記憶部と、
学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する第２クエリ取得部と、
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、前記属性値抽出モデルに関する学習を行う学習部と、
を含む学習システム。
（２）
前記第１クエリは、前記第１属性と、前記少なくとも１つの第１属性値と、を含み、
前記第２クエリは、前記第２属性を含み、前記複数の第３属性値のうちの少なくとも一部が除外される、
（１）に記載の学習システム。
（３）
前記第２クエリ取得部は、
前記複数の第３属性値のうちの一部のみを除外し、
前記複数の第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
（１）又は（２）に記載の学習システム。
（４）
前記第２クエリ取得部は、
前記第３属性値ごとに、当該第３属性値に関連付けられた確率に基づいて、当該第３属性値を除外するか否かを決定し、
前記複数の第３属性値のうち、前記確率に基づいて除外すると決定した一部のみを除外する、
（３）に記載の学習システム。
（５）
前記学習システムは、前記第３属性値ごとに、複数の前記第２データが格納された第１データベースにおける当該第３属性値の頻度に基づいて、当該第３属性値の前記確率を決定する確率決定部を更に含み、
前記第２クエリ取得部は、前記第３属性値ごとに、当該第３属性値に関連付けられた、当該第３属性値の前記頻度に応じた前記確率に基づいて、当該第３属性値を除外するか否かを決定する、
（４）に記載の学習システム。
（６）
前記確率決定部は、前記第３属性値ごとに、予め定められた除外レートと、当該第３属性値の前記頻度と、に基づいて、当該第３属性値の前記確率を決定する、
（５）に記載の学習システム。
（７）
前記学習システムは、前記複数の第３属性値が格納された第２データベースに格納された全ての前記第３属性値を取得する第３属性値取得部を更に含み、
前記第２クエリ取得部は、
前記全ての第３属性値のうちの一部のみを除外し、
前記全ての第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
（３）～（６）の何れかに記載の学習システム。
（８）
前記第２クエリ取得部は、
前記複数の第３属性値を含む前記第２クエリを取得し、
前記第２クエリに含まれる前記複数の第３属性値のうちの一部を他の値に置き換えることによって、当該一部の第３属性値を除外する、
（３）～（７）に記載の学習システム。
（９）
前記第１属性によっては、前記第１属性値を利用可能ではないことがあり、
前記第２クエリ取得部は、
前記第３属性値が利用可能なことを示す第１識別情報と、前記複数の第３属性値のうちの少なくとも一部と、を含む第１タイプの前記第２クエリを取得し、
前記第３属性値が利用可能ではないことを示す第２識別情報を含み、前記複数の第３属性値の全てが除外された第２タイプの前記第２クエリを取得し、
前記学習部は、
前記第２データと、前記第１タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第１学習と、
前記第２データと、前記第２タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第２学習と、を行う、
（１）～（８）の何れかに記載の学習システム。
（１０）
前記学習部は、前記第３属性値の利用可能性をドメインとみなしたマルチドメイン学習を利用して、前記第１学習及び前記第２学習を行う、
（９）に記載の学習システム。
（１１）
前記学習部は、前記第２データ及び前記第２クエリが前記属性値抽出モデルに入力された場合に、前記第２データにおける前記第４属性値の部分を識別可能な部分識別情報を前記属性値抽出モデルが出力するように、前記学習を行う、
（１）～（１０）の何れかに記載の学習システム。
（１２）
前記第１アイテムは、推定用の第１商品であり、
前記第２アイテムは、学習用の第２商品であり、
前記第１データは、前記第１商品の説明に関する第１文字列を含み、
前記第２データは、前記第２商品の説明に関する第２文字列を含み、
前記属性値抽出モデルは、前記第１文字列から前記第２属性値を抽出するための自然言語処理に関するモデルである、
（１）～（１１）の何れかに記載の学習システム。
（１３）
（３）～（８）の何れかに記載の学習システムにより作成された学習済みの属性値抽出モデルを利用可能な属性値抽出システムであって、
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを取得する第１クエリ取得部と、
前記第１アイテムに関する第２属性値を含む第１データ、前記第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
（１４）
（９）又は（１０）に記載の学習システムにより作成された学習済みの属性値抽出モデルを利用可能な属性値抽出システムであって、
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値の利用可能性を判定する利用可能性判定部と、
前記第１属性値が利用可能であると判定された場合には、前記第１属性値が利用可能なことを示す第３識別情報と、前記少なくとも１つの第１属性値と、を含む第３タイプの第１クエリを取得し、前記第１属性値が利用可能であると判定されない場合には、前記第１属性値が利用可能ではないことを示す第４識別情報を含む第４タイプの第１クエリを取得する第１クエリ取得部と、
前記第１属性値が利用可能であると判定された場合には、前記第１アイテムに関する第２属性値を含む第１データ、前記第３タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出し、前記第１属性値が利用可能であると判定されない場合には、前記第１データ、前記第４タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを利用して、前記第１アイテムに関する第２属性値を含む第１データから前記第２属性値を抽出するための属性値抽出モデルを記憶するモデル記憶部と、
学習用の第２アイテムに関する第２属性に関連付けられた複数の第３属性値のうちの少なくとも一部が除外された第２クエリを取得する第２クエリ取得部と、
前記第２アイテムに関する第４属性値を含む第２データと、前記第２クエリと、に基づいて、前記属性値抽出モデルに関する学習を行う学習部と、
を含む学習システム。
（２）
前記第１クエリは、前記第１属性と、前記少なくとも１つの第１属性値と、を含み、
前記第２クエリは、前記第２属性を含み、前記複数の第３属性値のうちの少なくとも一部が除外される、
（１）に記載の学習システム。
（３）
前記第２クエリ取得部は、
前記複数の第３属性値のうちの一部のみを除外し、
前記複数の第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
（１）又は（２）に記載の学習システム。
（４）
前記第２クエリ取得部は、
前記第３属性値ごとに、当該第３属性値に関連付けられた確率に基づいて、当該第３属性値を除外するか否かを決定し、
前記複数の第３属性値のうち、前記確率に基づいて除外すると決定した一部のみを除外する、
（３）に記載の学習システム。
（５）
前記学習システムは、前記第３属性値ごとに、複数の前記第２データが格納された第１データベースにおける当該第３属性値の頻度に基づいて、当該第３属性値の前記確率を決定する確率決定部を更に含み、
前記第２クエリ取得部は、前記第３属性値ごとに、当該第３属性値に関連付けられた、当該第３属性値の前記頻度に応じた前記確率に基づいて、当該第３属性値を除外するか否かを決定する、
（４）に記載の学習システム。
（６）
前記確率決定部は、前記第３属性値ごとに、予め定められた除外レートと、当該第３属性値の前記頻度と、に基づいて、当該第３属性値の前記確率を決定する、
（５）に記載の学習システム。
（７）
前記学習システムは、前記複数の第３属性値が格納された第２データベースに格納された全ての前記第３属性値を取得する第３属性値取得部を更に含み、
前記第２クエリ取得部は、
前記全ての第３属性値のうちの一部のみを除外し、
前記全ての第３属性値のうち、除外されなかった残りの前記第３属性値を含む前記第２クエリを取得する、
（３）～（６）の何れかに記載の学習システム。
（８）
前記第２クエリ取得部は、
前記複数の第３属性値を含む前記第２クエリを取得し、
前記第２クエリに含まれる前記複数の第３属性値のうちの一部を他の値に置き換えることによって、当該一部の第３属性値を除外する、
（３）～（７）に記載の学習システム。
（９）
前記第１属性によっては、前記第１属性値を利用可能ではないことがあり、
前記第２クエリ取得部は、
前記第３属性値が利用可能なことを示す第１識別情報と、前記複数の第３属性値のうちの少なくとも一部と、を含む第１タイプの前記第２クエリを取得し、
前記第３属性値が利用可能ではないことを示す第２識別情報を含み、前記複数の第３属性値の全てが除外された第２タイプの前記第２クエリを取得し、
前記学習部は、
前記第２データと、前記第１タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第１学習と、
前記第２データと、前記第２タイプの前記第２クエリと、に基づいて、前記属性値抽出モデルに関する第２学習と、を行う、
（１）～（８）の何れかに記載の学習システム。
（１０）
前記学習部は、前記第３属性値の利用可能性をドメインとみなしたマルチドメイン学習を利用して、前記第１学習及び前記第２学習を行う、
（９）に記載の学習システム。
（１１）
前記学習部は、前記第２データ及び前記第２クエリが前記属性値抽出モデルに入力された場合に、前記第２データにおける前記第４属性値の部分を識別可能な部分識別情報を前記属性値抽出モデルが出力するように、前記学習を行う、
（１）～（１０）の何れかに記載の学習システム。
（１２）
前記第１アイテムは、推定用の第１商品であり、
前記第２アイテムは、学習用の第２商品であり、
前記第１データは、前記第１商品の説明に関する第１文字列を含み、
前記第２データは、前記第２商品の説明に関する第２文字列を含み、
前記属性値抽出モデルは、前記第１文字列から前記第２属性値を抽出するための自然言語処理に関するモデルである、
（１）～（１１）の何れかに記載の学習システム。
（１３）
（３）～（８）の何れかに記載の学習システムにより作成された学習済みの属性値抽出モデルを利用可能な属性値抽出システムであって、
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値を含む第１クエリを取得する第１クエリ取得部と、
前記第１アイテムに関する第２属性値を含む第１データ、前記第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
（１４）
（９）又は（１０）に記載の学習システムにより作成された学習済みの属性値抽出モデルを利用可能な属性値抽出システムであって、
推定用の第１アイテムに関する第１属性に関連付けられた少なくとも１つの第１属性値の利用可能性を判定する利用可能性判定部と、
前記第１属性値が利用可能であると判定された場合には、前記第１属性値が利用可能なことを示す第３識別情報と、前記少なくとも１つの第１属性値と、を含む第３タイプの第１クエリを取得し、前記第１属性値が利用可能であると判定されない場合には、前記第１属性値が利用可能ではないことを示す第４識別情報を含む第４タイプの第１クエリを取得する第１クエリ取得部と、
前記第１属性値が利用可能であると判定された場合には、前記第１アイテムに関する第２属性値を含む第１データ、前記第３タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出し、前記第１属性値が利用可能であると判定されない場合には、前記第１データ、前記第４タイプの第１クエリ、及び前記学習済みの属性値抽出モデルに基づいて、前記第１データから前記第２属性値を抽出する第２属性値抽出部と、
を含む属性値抽出システム。
【符号の説明】
【0148】
１ 学習システム、２ 属性値抽出システム、Ｎ ネットワーク、Ｐ 商品ページ、１０ サーバ、１１，２１，３１ 制御部、１２，２２，３２ 記憶部、１３，２３，３３ 通信部、２０ 学習端末、２４，３４ 操作部、２５，３５ 表示部、３０ 推定端末、Ｐ 商品ページ、Ｍ１ 質問応答モデル、Ｍ２，Ｍ３ 属性値抽出モデル、Ｐｂ 始点、Ｐｅ 終点、１００，２００ モデル記憶部、２０１ 第３属性値取得部、２０２ 確率決定部、２０３ 第２クエリ取得部、２０４ 学習部、３００ モデル記憶部、３０１ 利用可能性判定部、３０２ 第１クエリ取得部、３０３ 第２属性値抽出部、Ｎ１０ ニュース記事、Ｒ１２ 応答、Ｄ２０，Ｄ３０ 商品データ、ＤＢ１ 訓練データベース、ＤＢ２ 属性データベース、Ｉ４１，Ｉ４２ 入力、Ｑ１１，Ｑ２１，Ｑ３１，Ｑ４０ クエリ、Ｖ２２，Ｖ３２ 属性値。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】