特開 2023-183308 情報処理方法、情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183308

(43)【公開日】2023-12-27

(54)【発明の名称】情報処理方法、情報処理システム及びプログラム

(51)【国際特許分類】

   G06F 16/907 20190101AFI20231220BHJP

   G06N 20/00 20190101ALI20231220BHJP

   G06Q 30/0601 20230101ALI20231220BHJP

【ＦＩ】

G06F16/907

G06N20/00

G06Q30/06 330

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022096849

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】佐藤 政寛

(72)【発明者】

【氏名】谷口 友紀

(72)【発明者】

【氏名】大熊 智子

【テーマコード（参考）】

5B175

5L049

【Ｆターム（参考）】

5B175DA10

5B175FB03

5L049BB22

(57)【要約】

【課題】導入先ドメインと異なるドメインのデータセットを用いて学習がされた複数のモデルを適用して、ドメインシフトに対してロバストな推薦アイテムリストを生成し得る、情報処理方法、情報処理システム及びプログラムを提供する。
【解決手段】情報処理システムが、導入先ドメインと異なる１つ以上のドメインおけるデータセットを用いて学習された複数のモデルのそれぞれから１つ以上の候補アイテムを取得し、取得した複数の候補アイテムの中から、互いにドメインが異なる複数の候補アイテムを推薦アイテムとして選択して、複数の推薦アイテムが含まれる推薦アイテムリストであり、ドメインシフトに対するロバスト性能を有する推薦アイテムリストを生成する。
【選択図】図１４

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサを備える情報処理システムが、ユーザーに対して複数のアイテムを推薦する推薦アイテムリストを生成する情報処理方法であって、
前記情報処理システムが、
導入先ドメインと異なる１つ以上のドメインにおけるデータセットを用いて学習された複数のモデルのそれぞれから１つ以上の候補アイテムを取得し、
前記取得した複数の前記候補アイテムの中から、互いにドメインが異なる複数の前記候補アイテムを推薦アイテムとして選択して、複数の前記推薦アイテムが含まれる推薦アイテムリストであり、ドメインシフトに対するロバスト性能を有する推薦アイテムリストを生成する情報処理方法。

【請求項2】

前記情報処理システムが、
前記候補アイテムのそれぞれに対するユーザーの行動を予測した予測値を算出し、
前記導入先ドメインと異なる複数のドメインのそれぞれにおける同一の前記候補アイテムの前記予測値から算出される統計値の順位に基づいて、前記複数の候補アイテムから前記推薦アイテムを選択する請求項１に記載の情報処理方法。

【請求項3】

前記情報処理システムが、
前記推薦アイテムリストの候補となる複数の候補リストのそれぞれについて、前記導入先ドメインと前記複数のドメインのそれぞれとの属性の近さに応じた評価値を導出し、
前記評価値の最小値が最大となる前記候補リストを、前記推薦アイテムリストとする請求項１に記載の情報処理方法。

【請求項4】

前記情報処理システムが、前記導入先ドメインと属性が近いドメインのデータを用いて学習した前記モデルの前記候補アイテムに対してユーザーが肯定的に行動するとし、かつ、前記導入先ドメインと属性が遠いドメインのデータを用いて学習した前記モデルの前記候補アイテムに対してユーザーが否定的に行動するとして、前記ユーザーの行動を確定的に試行して前記候補リストごとの前記評価値を算出する請求項３に記載の情報処理方法。

【請求項5】

前記情報処理システムが、前記導入先ドメインと属性が近いドメインのデータセットを学習データとして用いて学習した前記モデルの前記候補アイテムに対してユーザーが第１確率で肯定的な行動を行うとし、かつ、前記導入先ドメインと属性が遠いドメインのデータセットを学習データとして用いて学習した前記モデルの前記候補アイテムに対してユーザーが第２確率で肯定的な行動を行うとして、前記ユーザーの行動を確率的に試行して前記候補リストごとの前記評価値を算出する請求項３に記載の情報処理方法。

【請求項6】

前記情報処理システムが、
前記複数のモデルのそれぞれについて、データセットが学習データとして適用された第１ドメインにおいて評価した評価結果から前記第１確率を推定し、
前記複数の推薦モデルのそれぞれについて、前記第１ドメインと異なる第２ドメインにおいて評価した評価結果から前記第２確率を推定する請求項５に記載の情報処理方法。

【請求項7】

前記情報処理システムが、前記導入先ドメインにおいてユーザーに対して前記候補リストが提示された際のユーザーの行動に基づき、前記評価値を算出する請求項３に記載の情報処理方法。

【請求項8】

前記情報処理システムが、前記候補リストに含まれる前記候補アイテムの順位に応じて前記候補アイテムごとに規定される重みであり、評価条件に応じて規定される重みを適用して、前記候補リストごとの前記評価値を算出する請求項３に記載の情報処理方法。

【請求項9】

前記情報処理システムが、前記複数の前記候補リストのそれぞれから、１つ以上の前記候補アイテムを選択する請求項３から８のいずれか一項に記載の情報処理方法。

【請求項10】

前記情報処理システムが、前記複数の候補リストのうち、非類似の前記候補リストを優先して前記推薦アイテムとされる前記候補アイテムを選択する請求項１から８のいずれか一項に記載の情報処理方法。

【請求項11】

前記情報処理システムが、同一のユーザーに対して複数回の前記推薦アイテムリストを提示する際に、前記提示ごとに前記推薦アイテムリストに含まれる複数の前記推薦アイテムの並び順を入れ替える請求項１から８のいずれか一項に記載の情報処理方法。

【請求項12】

前記情報処理システムが、複数回の前記推薦アイテムリストを提示する際に、前記提示ごとに前記推薦アイテムリストに含まれる複数の前記推薦アイテムの並び順を入れ替える請求項１から８のいずれか一項に記載の情報処理方法。

【請求項13】

前記情報処理システムが、互いに異なるドメインにおけるデータセットを学習データとして学習された学習済みモデルを前記複数のモデルとして適用する請求項１から８のいずれか一項に記載の情報処理方法。

【請求項14】

前記情報処理システムが、導入先ドメインと異なる１つのドメインにおける互いに異なる特徴量セットを学習データとして学習された学習済みモデルを前記複数の推薦モデルとして適用する請求項１に記載の情報処理方法。

【請求項15】

ユーザーに対して１つ以上のアイテムを推薦する推薦アイテムリストを生成する情報処理システムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに実行させるプログラムが記憶される１つ以上のメモリと、
を備え、
前記１つ以上のプロセッサは、前記プログラムの命令を実行して、
導入先ドメインと異なる１つ以上のドメインにおけるデータセットを用いて学習された複数のモデルのそれぞれから１つ以上の候補アイテムを取得し、
前記取得した複数の前記候補アイテムの中から、互いにドメインが異なる複数の前記候補アイテムを推薦アイテムとして選択して、複数の前記推薦アイテムが含まれる推薦アイテムリストであり、ドメインシフトに対するロバスト性能を有する推薦アイテムリストを生成する情報処理システム。

【請求項16】

ユーザーに対して１つ以上のアイテムを推薦する推薦アイテムリストを生成するプログラムであって、
コンピュータが、
導入先ドメインと異なる１つ以上のドメインにおけるデータセットを用いて学習された複数のモデルのそれぞれから１つ以上の候補アイテムを取得する機能、及び
前記取得した複数の前記候補アイテムの中から、互いにドメインが異なる複数の前記候補アイテムを推薦アイテムとして選択して、複数の前記推薦アイテムが含まれる推薦アイテムリストであり、ドメインシフトに対するロバスト性能を有する推薦アイテムリストを生成する機能を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理方法、情報処理システム及びプログラムに関する。

【背景技術】

【0002】

多くのアイテムの中からユーザーが自分に合ったベストなものを選ぶことは、時間的にも認知能力的にも難しい。例えば、ＥＣサイトのユーザーであれば、アイテムはＥＣサイトで扱っている商品であり、文書情報管理システムのユーザーであればアイテムは格納されている文書情報である。

【0003】

非特許文献１及び非特許文献２には、ユーザの選択の補助を目的として、アイテムの中から選択候補を提示する技術である情報推薦技術に関する研究について記載されている。なお、ＥＣサイトのＥＣはElectronic Commerceの省略語である。

【0004】

一般に、情報推薦システムは導入先の施設で収集したデータを基に学習する。しかし、学習データに対応する施設と異なる施設に情報推薦システムを導入すると、モデルの予測精度が低下してしまう問題がある。未知の他施設では機械学習モデルがうまく機能しない問題はドメインシフトと呼ばれ、非特許文献３及び非特許文献４に記載されるように、ドメインシフトに対するロバスト性向上の研究であるdomain generalizationが、近年、画像認識を中心に研究が活発化している。しかし、情報推薦技術において、domain generalizationは研究事例が存在しない。

【0005】

情報推薦システムに適用される学習モデルを学習する際に、情報推薦システムの導入
先施設のデータが得られない場合であっても、情報推薦システムが導入される際に導入
先施設のデータが得られていれば、そのデータを用いて学習モデルを評価して、複数の
候補の学習モデルからベストの学習モデルの選択が可能である。

【0006】

しかし、学習モデルが導入される際においても導入先施設のデータが存在しない場合
、又は導入先施設のデータが存在していても、導入先施設のデータへのアクセスができ
ない場合は、上記した複数の候補の学習モデルからのベストの学習モデルの選択は困難
である。

【0007】

非特許文献５は、複数のドメインのそれぞれに対応する学習モデルについて、それぞ
れの予測結果の平均値を用いてドメインシフトに対してロバストな予測を目指す推薦技
術が記載される。

【0008】

非特許文献６は、情報推薦技術における予測モデルの一種である、協調フィルタリン
グモデルについて、例えば、複数の予測の平均値を適用するなど、複数の予測を組み合
わせて、予測精度の向上を試みる手法が記載される。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】Dietmar Jannach、Markus Zanker、Alexander Felfernig、Gerhard Friedrich著、田中克己、角谷和俊訳「情報推薦システム入門－理論と実践‐」共立出版、2012年

【非特許文献2】Deepak K. Agarwal, Bee-Chung Chen著「推薦システム：統計的機械学習の理論と実践」共立出版、２０１８年

【非特許文献3】Jindong Wang1、Cuiling Lan1、Chang Liu1、Yidong Ouyang2、Tao Qin著“Generalizing to Unseen Domains: A Survey on Domain Generalization”Microsoft Research, Beijing, China、2021年

【非特許文献4】Kaiyang Zhou、Ziwei Liu、Yu Qiao、Tao Xiang、Chen Change Loy著“Domain Generalization in Vision: A Survey”Central University of Finance and Economics, Beijing, China、2021年

【非特許文献5】Zheng Xu, Wen Li, Li Niu, and Dong Xu著"Exploiting Low-rank Structure from Latent Domains for Domain Generalization" School of Computer Engineering, Nanyang Technological University, Singapore、2014年

【非特許文献6】Michael Jahrer、Andreas Toscher、Robert Legenstein著"Combining predictions for accurate recommender systems"、2010年

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、学習モデルが適用される情報推薦システムの導入前の評価においても、情報推薦システムの導入先施設のデータが使用できない場合は、導入先施設のデータに基づく導入先施設に対するベストの情報推薦システムの提供は困難である。しかし、学習データに対応する施設と導入先施設が異なる場合であっても、ドメインシフトに対してロバストであり、導入先施設において高性能の情報推薦を実現したいという要求が存在する。

【0011】

非特許文献５に記載の推薦技術は、画像処理を想定した手法であり情報推薦技術に適していない。具体的には、非特許文献５に記載の情報推薦技術は、単一の予測の出力を前提としており、複数の予測を出力する情報推薦技術には適していない。

【0012】

非特許文献６に記載の手法では、複数の協調フィルタリングモデルは、同一のドメインのデータを用いて学習がされており、ドメインシフトに対してロバストではない。また、非特許文献６に記載の手法は、ドメイン汎化性を目指したものではない。

【0013】

本発明はこのような事情に鑑みてなされたもので、導入先ドメインと異なるドメインのデータセットを用いて学習がされた複数のモデルを適用して、ドメインシフトに対してロバストな推薦アイテムリストを生成し得る、情報処理方法、情報処理システム及びプログラムの提供を目的とする。

【課題を解決するための手段】

【0014】

本開示の第１態様に係る情報処理方法は、１つ以上のプロセッサを備える情報処理システムが、ユーザーに対して複数のアイテムを推薦する推薦アイテムリストを生成する報処理方法であって、情報処理システムが、導入先ドメインと異なる１つ以上のドメインにおけるデータセットを用いて学習された複数のモデルのそれぞれから１つ以上の候補アイテムを取得し、取得した複数の候補アイテムの中から、互いにドメインが異なる複数の候補アイテムを推薦アイテムとして選択して、複数の推薦アイテムが含まれる推薦アイテムリストであり、ドメインシフトに対するロバスト性能を有する推薦アイテムリストを生成する情報処理方法である。

【0015】

第１態様に係る情報処理方法によれば、導入先ドメインと異なるドメインのデータセットを用いて学習がされた複数のモデルを適用して、ドメインシフトに対してロバストな推薦アイテムリストを生成し得る。

【0016】

導入先の例として、導入先の施設が挙げられる。施設とは、複数のユーザーが行動する集団である。施設の例として、企業又はＥＣサイトなどが挙げられる。

【0017】

第２態様に係る情報処理方法は、第１態様に係る情報処理方法において、情報処理システムが、候補アイテムのそれぞれに対するユーザーの行動を予測した予測値を算出し、導入先ドメインと異なる複数のドメインのそれぞれにおける同一の候補アイテムの予測値から算出される統計値の順位に基づいて、複数の候補アイテムから推薦アイテムを選択してもよい。

【0018】

かかる態様によれば、候補アイテムごとの予測値に基づき、複数の候補アイテムの中から推薦アイテムを選択し得る。

【0019】

ユーザーの行動を予測した予測値の例として、ユーザーが肯定的な行動を行う確率が挙げられる。

【0020】

第３態様に係る情報処理方法は、第１態様又は第２態様に係る情報処理方法において、情報処理システムが、推薦アイテムリストの候補となる複数の候補リストのそれぞれについて、導入先ドメインと複数のドメインのそれぞれとの属性の近さに応じた評価値を導出し、評価値の最小値が最大となる候補リストを、推薦アイテムリストとしてもよい。

【0021】

かかる態様によれば、候補リストの評価値に基づいて、複数の候補リストの中から推薦アイテムリストを選択し得る。

【0022】

第４態様に係る情報処理方法は、第３態様に係る情報処理方法において、情報処理システムが、導入先ドメインと属性が近いドメインのデータを用いて学習したモデルの候補アイテムに対してユーザーが肯定的に行動するとし、かつ、導入先ドメインと属性が遠いドメインのデータを用いて学習したモデルの候補アイテムに対してユーザーが否定的に行動するとして、ユーザーの行動を確定的に試行して候補リストごとの評価値を算出してもよい。

【0023】

かかる態様によれば、ユーザーの行動を確定的に試行して算出された評価値に基づいて、複数の候補リストの中から推薦アイテムリストを選択し得る。

【0024】

第５態様に係る情報処理方法は、第３態様に係る情報処理方法において、情報処理システムが、導入先ドメインと属性が近いドメインのデータセットを学習データとして用いて学習したモデルの候補アイテムに対してユーザーが第１確率で肯定的な行動を行うとし、かつ、導入先ドメインと属性が遠いドメインのデータセットを学習データとして用いて学習したモデルの候補アイテムに対してユーザーが第２確率で肯定的な行動を行うとして、ユーザーの行動を確率的に試行して候補リストごとの評価値を算出してもよい。

【0025】

かかる態様によれば、ユーザーの行動を確率的に試行して算出された評価値に基づいて、複数の候補リストの中から推薦アイテムリストを選択し得る。

【0026】

第６態様に係る情報処理方法は、第５態様に係る情報処理方法において、情報処理システムが、複数のモデルのそれぞれについて、データセットが学習データとして適用された第１ドメインにおいて評価した評価結果から第１確率を推定し、複数の推薦モデルのそれぞれについて、第１ドメインと異なる第２ドメインにおいて評価した評価結果から第２確率を推定してもよい。

【0027】

第７態様に係る情報処理方法は、第３態様に係る情報処理方法において、情報処理システムが、導入先ドメインにおいてユーザーに対して候補リストが提示された際のユーザーの行動に基づき、評価値を算出してもよい。

【0028】

第８態様に係る情報処理方法は、第３態様から第７態様のいずれか一態様に係る情報処理方法において、情報処理システムが、候補リストに含まれる候補アイテムの順位に応じて候補アイテムごとに規定される重みであり、評価条件に応じて規定される重みを適用して、候補リストごとの評価値を算出してもよい。

【0029】

かかる態様によれば、候補アイテムごとの重みに応じた評価値を算出し得る。

【0030】

第９態様に係る情報処理方法は、第３態様から第８態様のいずれか一態様に係る情報処理方法において、情報処理システムが、複数の候補リストのそれぞれから、１つ以上の候補アイテムを選択してもよい。

【0031】

かかる態様によれば、推薦アイテムとして、出所が異なる候補アイテムが選択される。これにより、推薦アイテムリストにおけるドメインシフトに対する一定のロバスト性能を担保し得る。

【0032】

第１０態様に係る情報処理方法は、第１態様から第８態様のいずれか一態様に係る情報処理方法において、情報処理システムが、複数の候補リストのうち、非類似の候補リストを優先して推薦アイテムとされる候補アイテムを選択してもよい。

【0033】

かかる態様によれば、互いに類似する複数の候補リストのそれぞれからの推薦アイテムの選択が回避される。これにより、複数の推薦アイテムにおけるドメインシフトに対する一定のロバスト性能を担保し得る。

【0034】

かかる態様において、モデルの類似度を算出し、モデルの類似度に基づいて候補アイテムの類似又は非類似を判定してもよい。

【0035】

第１１態様に係る情報処理方法は、第１態様から第８態様のいずれか一態様に係る情報処理方法において、情報処理システムが、同一のユーザーに対して複数回の推薦アイテムリストを提示する際に、提示ごとに推薦アイテムリストに含まれる複数の推薦アイテムの並び順を入れ替えてもよい。

【0036】

かかる態様によれば、各回の提示における推薦アイテムリストについて、一定の平均化が実現され得る。

【0037】

第１２態様に係る情報処理方法は、第１態様から第８態様のいずれか一態様に係る情報処理方法において、情報処理システムが、複数回の推薦アイテムリストを提示する際に、提示ごとに推薦アイテムリストに含まれる複数の推薦アイテムの並び順を入れ替えてもよい。

【0038】

かかる態様において、ユーザーごとに複数の推薦アイテムの並び順を入れ替えてもよい。

【0039】

第１３態様に係る情報処理方法は、第１態様から第１２態様のいずれか一態様に係る情報処理方法において、情報処理システムが、互いに異なるドメインにおけるデータセットを学習データとして学習された学習済みモデルを複数のモデルとして適用してもよい。

【0040】

かかる態様によれば、複数のモデルのそれぞれが異なるドメインに依存する。これにより、推薦アイテムリストにおけるドメインシフトに対する一定のロバスト性能を担保し得る。

【0041】

第１４態様に係る情報処理方法は、第１態様に係る情報処理方法において、情報処理システムが、導入先ドメインと異なる１つのドメインにおける互いに異なる特徴量セットを学習データとして学習された学習済みモデルを複数の推薦モデルとして適用してもよい。

【0042】

かかる態様によれば、異なるドメインのデータセットの入手が難しい場合であっても、学習データが異なる複数のモデルから候補アイテムを取得し得る。これにより、推薦アイテムリストにおけるドメインシフトに対する一定のロバスト性能を担保し得る。

【0043】

本開示の第１５態様に係る情報処理システムは、ユーザーに対して１つ以上のアイテムを推薦する推薦アイテムリストを生成する情報処理システムであって、１つ以上のプロセッサと、１つ以上のプロセッサに実行させるプログラムが記憶される１つ以上のメモリと、を備え、１つ以上のプロセッサは、プログラムの命令を実行して、導入先ドメインと異なる１つ以上のドメインにおけるデータセットを用いて学習された複数のモデルのそれぞれから１つ以上の候補アイテムを取得し、取得した複数の候補アイテムの中から、互いにドメインが異なる複数の候補アイテムを推薦アイテムとして選択して、複数の推薦アイテムが含まれる推薦アイテムリストであり、ドメインシフトに対するロバスト性能を有する推薦アイテムリストを生成する情報処理システムである。

【0044】

第１５態様に係る情報処理システムによれば、第１態様に係る情報処理方法と同様の作用効果を得ることが可能である。第２態様から第１４態様に係る情報処理方法の構成要件は、他の態様に係る情報処理装置の構成要件へ適用し得る。

【0045】

本開示の第１６態様に係るプログラムは、ユーザーに対して１つ以上のアイテムを推薦する推薦アイテムリストを生成するプログラムであって、コンピュータが、導入先ドメインと異なる１つ以上のドメインにおけるデータセットを用いて学習された複数のモデルのそれぞれから１つ以上の候補アイテムを取得する機能、及び取得した複数の候補アイテムの中から、互いにドメインが異なる複数の候補アイテムを推薦アイテムとして選択して、複数の推薦アイテムが含まれる推薦アイテムリストであり、ドメインシフトに対するロバスト性能を有する推薦アイテムリストを生成する機能を実現させるプログラムである。

【0046】

第１６態様に係るプログラムによれば、第１態様に係る情報処理方法と同様の作用効果を得ることが可能である。第２態様から第１４態様に係る情報処理方法の構成要件は、他の態様に係るプログラムの構成要件へ適用し得る。

【発明の効果】

【0047】

本発明によれば、導入先ドメインと異なるドメインのデータセットを用いて学習がされた複数のモデルを適用して、ドメインシフトに対してロバストな推薦アイテムリストを生成し得る。

【図面の簡単な説明】

【0048】

【図1】図１は典型的な推薦システムの概念図である。

【図2】図２は推薦システムの構築に広く用いられている教師あり機械学習の例を示す概念図である。

【図3】図３は推薦システムの典型的な導入フローを示す説明図である。

【図4】図４は導入先の施設のデータが得られない場合における推薦システムの導入プロセスの説明図である。

【図5】図５はドメイン適用によるモデルの学習を行う場合の説明図である。

【図6】図６は学習済み学習モデルの性能を評価するステップを含む推薦システム導入フローの説明図である。

【図7】図７は機械学習に用いる学習用データと評価用データの例を示す説明図である。

【図8】図８はデータセットの違いに起因するモデルの性能の違いを模式的に示すグラフである。

【図9】図９は学習ドメインと導入先ドメインとが異なる場合の推薦システム導入フローの例を示す説明図である。

【図10】図１０は導入先の施設のデータがない場合の課題を示す説明図である。

【図11】図１１は典型的な推薦アイテムリストの模式図である。

【図12】図１２は推薦アイテムリスト評価の第１例における評価結果を示す模式図である。

【図13】図１３は推薦アイテムリスト評価の第２例における評価結果を示す模式図である。

【図14】図１４は実施形態に係る情報処理方法の概要の説明図である。

【図15】図１５は推薦アイテムリスト評価の具体例を示す模式図である。

【図16】図１６は推薦アイテムリスト評価の他の具体例を示す模式図である。

【図17】図１７は実施形態に係る情報処理システムのハードウェア構成の例を概略的に示すブロック図である。

【図18】図１８は実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。

【図19】図１９は実施形態に係る情報処理方法の手順を示すフローチャートである。

【図20】図２０は第１実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図21】図２１は第２実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図22】図２２は第３実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図23】図２３は第４実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図24】図２４は第５実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図25】図２５は第６実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図26】図２６は第７実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図27】図２７は第８実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図28】図２８は第９実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図29】図２９は第１０実施形態に係る推薦アイテムリスト生成方法を示す模式図である。

【図30】図３０は第１１実施形態に係る推薦アイテムリスト生成方法を適用して生成された推薦アイテムリストの一例を示す模式図である。

【図31】図３１は第１１実施形態に係る推薦アイテムリスト生成方法を適用して生成された推薦アイテムリストの他の例を示す模式図である。

【図32】図３２は複数のモデルの第１具体例の説明図である。

【図33】図３３は複数のモデルの第２具体例の説明図である。

【図34】図３４は変数の一覧表である。

【発明を実施するための形態】

【0049】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

【0050】

［情報推薦技術の概説］
本実施形態では、推薦システムに用いるモデルの学習及び評価に用いるユーザーの行動履歴のデータに関して、異なるドメインのデータを生成する方法について説明する。はじめに、情報推薦技術の概要と複数ドメインのデータの必要性について具体例を示して概説する。情報推薦技術は、ユーザーに対してアイテムを推薦するための技術である。なお、推薦はサジェストと称され得る。

【0051】

図１は典型的な推薦システムの概念図である。推薦システム１０は、ユーザーの情報と、コンテキストの情報とを入力として受け付け、コンテキストに応じて当該ユーザーに推薦するアイテムの情報を出力する。コンテキストは、様々な状況を意味し、例えば、曜日、時間帯、または天気などがあり得る。アイテムは、例えば、本、動画及び飲食店など、様々な対象があり得る。

【0052】

推薦システム１０は、複数のアイテムを同時に推薦するのが一般的である。図１では、推薦システム１０が３つのアイテムＩＴ１、アイテムＩＴ２及びアイテムＩＴ３を推薦する例が示されている。推薦したアイテムＩＴ１、アイテムＩＴ２及びアイテムＩＴ３に対してユーザーがポジティブな反応をすると、一般に推薦は成功したとみなされる。ポジティブな反応とは、例えば、購入、視聴及び訪問などである。このような推薦技術は、例えば、ＥＣサイトや飲食店を紹介するグルメサイトなどにおいて広く活用されている。

【0053】

図２は推薦システムの構築に広く用いられている教師あり機械学習の例を示す概念図である。推薦システム１０は、機械学習の技術を用いて構築される。一般に、過去のユーザーの行動履歴を基に正例および負例を用意して、ユーザーとコンテキストとの組み合わせを予測モデル１２に入力し、予測誤差が小さくなるように予測モデル１２を訓練する。例えば、ユーザーが閲覧した閲覧アイテムを正例、閲覧しなかった非閲覧アイテムを負例とする。予測誤差が収束するまで機械学習が行われ、目標とする予測性能が獲得される。

【0054】

こうして訓練された学習済みの予測モデル１２を用いて、ユーザーとコンテキストの組合せに対して予測される閲覧確率が高いアイテムを推薦する。学習済みの予測モデル１２は、訓練済みの予測モデル１２と同義である。

【0055】

例えば、学習済みの予測モデル１２に対し、あるユーザーＡとコンテキストβとの組合せを入力すると、予測モデル１２は、ユーザーＡがコンテキストβの条件の下で、図１に示すアイテムＩＴ３等の文書を閲覧する確率が高いと推論し、ユーザーＡに対してアイテムＩＴ３に近いアイテムを推薦する。なお、推薦システム１０の構成によっては、コンテキストを考慮せずにユーザーに対してアイテムを推薦することも多い。

【0056】

〔推薦システムの開発に用いるデータの例〕
ユーザーの行動履歴は、機械学習における正解データと等しいものである。厳密には、過去の行動履歴から次の行動を推論するというタスク設定と理解されるが、過去の行動履歴を基に潜在的な特徴量を学習するのが一般的である。

【0057】

ユーザーの行動履歴としては、例えば、本の購入履歴、動画の視聴履歴、または飲食店の訪問履歴などがあり得る。

【0058】

また、主要な特徴量としては、ユーザー属性と、アイテム属性とがある。ユーザー属性は、例えば、性別、年代、職業、家族構成、および居住エリアなど、様々な要素があり得る。アイテム属性は、例えば、本のジャンル、値段、動画のジャンル、長さ、飲食店のジャンル、場所など様々な要素があり得る。

【0059】

［モデルの構築と運用］
図３は推薦システムの典型的な導入フローを示す説明図である。ここでは、ある施設に推薦システムを導入する際の典型的なフローを示す。推薦システムの導入は、ステップ１として、目的の推薦タスクを行うモデル１４を構築し、ステップ２として、構築したモデル１４を導入して運用する。

【0060】

モデル１４を構築するとは、機械学習モデルの場合、学習用のデータを用いてモデル１４の学習を行い、実用レベルの推薦性能を満たす予測モデルである推薦モデルを作成することを含む。モデル１４を運用するとは、例えば、ユーザーとコンテキストとの組合せの入力に対して、学習済みのモデル１４から推薦アイテムリストの出力を得ることである。

【0061】

モデル１４の構築には、学習用のデータが必要である。図３に示すように、一般に推薦システムのモデル１４は、導入先の施設で収集したデータを基に学習が行われる。導入先の施設から収集されたデータを用いて学習を行って、モデル１４は導入先の施設のユーザーの振る舞いを学習し、導入先の施設のユーザーに対して精度のよい推薦アイテムの予測が可能である。

【0062】

しかし、様々な事情に起因して、導入先の施設のデータが得られない場合がある。例えば、企業の社内システムにおける文書情報推薦システム及び病院の院内システムにおける文書情報推薦システムなどの場合、推薦モデルを開発する企業が導入先の施設のデータにアクセスできないことがあり得る。導入先の施設のデータが得られない場合、代わりに、異なる施設で収集されたデータをもとに学習する必要がある。

【0063】

図４は導入先の施設のデータが得られない場合における推薦システムの導入プロセスの説明図である。導入先の施設とは異なる施設で収集されたデータを用いて学習したモデル１４を挿入先の施設で運用すると、施設間のユーザーの振る舞いの違いなどにより、モデル１４の予測精度が低下してしまう問題がある。

【0064】

学習した施設と異なる未知の他施設では機械学習モデルがうまく機能しない問題は、広義にはモデル１４を学習したソースドメインと、モデル１４を適用するターゲットドメインが異なるドメインシフトの問題に対するロバスト性を向上させるという技術課題として把握される。ドメイン汎化に関連する問題設定として、ドメイン適用がある。これはソースドメインとターゲットドメインの両方のデータを用いて学習する方法である。ターゲットドメインのデータが存在するにもかかわらず異なるドメインのデータを使う目的は、ターゲットドメインのデータ量が少なく学習に不十分であるのを補うためである。

【0065】

なお、ドメイン汎化は、英語表記を用いてDomain generalizationと称され得る。ドメイン適用は、英語表記を用いてDomain adaptationと称され得る。

【0066】

図５はドメイン適用によるモデルの学習を行う場合の説明図である。ターゲットドメインである導入先の施設で収集されたデータのデータ量は、異なる施設で収集されたデータよりもデータ量に比べて相対的に少ないものの、両方のデータを用いて学習を行うことにより、モデル１４は、導入先の施設のユーザーの振る舞いについてもある程度の精度で予測することが可能になる。

【0067】

［ドメインの説明］
上記の施設の違いはドメインの違いの一種である。情報推薦におけるdomain adaptationの研究に関する文献であるIvan Cantador et al, Chapter 27:"Cross-domain Recommender System"では、ドメインの違いが以下の４つに分類されている。

【0068】

〔アイテム属性レベル〕
例えば、コメディ映画とホラー映画は別ドメイン。なお、アイテム属性レベルは、英語表記を用いてItem attribute levelと称され得る。

【0069】

〔アイテムタイプレベル〕
例えば、映画と連続テレビドラマは別ドメイン。なお、アイテムタイプレベルは、英語表記を用いてItem type levelと称され得る。

【0070】

〔アイテムレベル〕
例えば、映画と本は別ドメイン。なお、アイテムレベルは、英語表記を用いてItem levelと称され得る。

【0071】

〔システムレベル〕
例えば、映画館の映画とテレビ放映の映画は別ドメイン。なお、システムレベルは、英語表記を用いてSystem levelと称され得る。

【0072】

図５等に示す施設の違いは、上記の４つの分類のうちのシステムレベルのドメインに該当する。

【0073】

フォーマルにドメインを定義すると、ドメインは目的変数Ｙと説明変数Ｘの同時確率分布Ｐ（Ｘ，Ｙ）で規定され、Ｐｄ１（Ｘ，Ｙ）≠Ｐｄ２（Ｘ，Ｙ）の場合に、ｄ１とｄ２とは異なるドメインである。

【0074】

同時確率分布Ｐ（Ｘ，Ｙ）は、説明変数の分布Ｐ（Ｘ）と条件付き確率分布Ｐ（Ｙ｜Ｘ）との積、又は目的変数の分布Ｐ（Ｙ）と条件付き確率分布Ｐ（Ｙ｜Ｘ）との積で表すことができる。

【0075】

Ｐ（Ｘ，Ｙ）＝Ｐ（Ｙ｜Ｘ）Ｐ（Ｘ）＝Ｐ（Ｘ｜Ｙ）Ｐ（Ｙ）

【0076】

したがって、Ｐ（Ｘ）、Ｐ（Ｙ）、Ｐ（Ｙ｜Ｘ）及びＰ（Ｘ｜Ｙ）のうち１つ以上が変わると異なるドメインとなる。

【0077】

［ドメインシフトの典型パターン］
〔共変量シフト〕
説明変数の分布Ｐ（Ｘ）が異なる場合、共変量シフトと呼ばれる。例えば、データセット間でユーザー属性の分布が異なる場合、より具体的には男女比率が異なる場合などが共変量シフトに該当する。なお、共変量シフトは、英語表記を用いてCovariate shiftと称され得る。

【0078】

〔事前確率シフト〕
目的変数の分布Ｐ（Ｙ）が異なる場合、事前確率シフトと呼ばれる。例えば、データセット間で平均閲覧率や平均購入率が異なる場合などが事前確率シフトに該当する。なお、事前確率シフトは、英語表記を用いてPrior probability shiftと称され得る。

【0079】

〔コンセプトシフト〕
条件付き確率分布Ｐ（Ｙ｜Ｘ）及びＰ（Ｘ｜Ｙ）が異なる場合、コンセプトシフトと呼ばれる。例えば、ある企業の研究開発部門がデータ分析資料を読む確率がＰ（Ｙ｜Ｘ）にあたるが、これがデータセット間で異なる場合などがコンセプトシフトに該当する。なお、コンセプトシフトは、英語表記を用いてConcept shiftと称され得る。

【0080】

ドメイン適応あるいはドメイン汎化性の研究は、上記いずれかのパターンを主要因として想定しているものと、特にどのパターンが主要因であるかを考慮せずにＰ（Ｘ，Ｙ）が変化していることへの対処を考えるものと、がある。なお、前者の場合、特に、共変量シフトを想定しているものが多い。

【0081】

［ドメインシフトが影響する理由］
予測又は分類のタスクを行う予測分類モデルは、説明変数Ｘと目的変数Ｙの関係性に基づいて推論を行うため、Ｐ（Ｙ｜Ｘ）が変化すれば当然、予測性能及び分類性能の少なくともいずれかは低下する。また、予測分類モデルを機械学習する際には学習データ内において予測誤差及び分類誤差の少なくともいずれかの最小化を行うが、例えば、説明変数がＸ＝Ｘ_１になる頻度が、Ｘ＝Ｘ_２になる頻度と比較して大きい場合、つまりＰ（Ｘ＝Ｘ_１）＞Ｐ（Ｘ＝Ｘ_２）である場合、Ｘ＝Ｘ_１のデータの方がＸ＝Ｘ_２のデータと比較して多いので、Ｘ＝Ｘ_１の誤差低減はＸ＝Ｘ_２の誤差低減より優先して学習される。そのためＰ（Ｘ）が施設間で変化する場合も、予測誤差及び分類誤差の少なくともいずれかは低下する。

【0082】

ドメインシフトは、情報推薦に限らず、いろいろなタスクのモデルについて問題になり得る。例えば、社員の退職リスクを予測するモデルについて、ある企業のデータを用いて学習した予測モデルを別の企業で運用する場合にドメインシフトが問題になり得る。

【0083】

また、細胞の抗体生産量を予測するモデルについて、ある抗体のデータを用いて学習したモデルを、別の抗体で運用する場合にドメインシフトが問題になり得る。また、顧客の声を分類するモデル、例えば、ＶＯＣを商品機能、サポート対応及びその他に分類するモデルについて、ある商品に関するデータを用いて学習した分類モデルを別の商品で運用する場合にドメインシフトが問題になり得る。なお、ＶＯＣは、顧客の声の英語表記であるVoice of Customerの省略語である。

【0084】

［モデルの導入前評価について］
学習したモデル１４を実際の施設等に導入する前に、モデル１４の性能評価を行うことが多い。性能評価は導入の可否判断や、モデルあるいは学習手法などの研究開発のために必要である。

【0085】

図６は学習済み学習モデルの性能を評価するステップを含む推薦システム導入フローの説明図である。図６では、図５で説明したモデル１４を学習するステップ１と、モデル１４を運用するステップ２との間に、ステップ１．５として、モデル１４の性能を評価するステップが追加されている。その他の構成は図５と同様である。

【0086】

図６に示すように、一般的な推薦システム導入のフローでは、導入先の施設で収集されたデータを学習用データと評価用データとに分割することが多い。評価用データを用いてモデル１４の予測性能を確認してから、モデル１４の運用が開始される。

【0087】

しかし、ドメイン汎化のモデル１４を構築する場合は、学習用データと評価用データは異なるドメインである必要がある。さらに、ドメイン汎化においては、学習用データについても複数ドメインのデータを用いることが好ましく、学習に使えるドメインが多い方がより好ましい。

【0088】

［汎化性について］
図７は機械学習に用いる学習用データと評価用データの例を示す説明図である。あるドメインｄ１の同時確率分布Ｐｄ１（Ｘ，Ｙ）から得られるデータセットは、学習用データと、評価用データとに分けられる。学習用データと同一ドメインの評価用データを第１の評価用データといい、図７において評価用データ１と表記する。また、ドメインｄ１と異なるドメインｄ２の同時確率分布Ｐｄ２（Ｘ，Ｙ）から得られるデータセットを用意し、これを評価用データとして用いる。学習用データと異なるドメインの評価用データを第２の評価用データといい、図７において評価用データ２と表記する。

【0089】

ドメインｄ１の学習用データを用いてモデル１４の学習が行われ、ドメインｄ１の第１の評価用データと、ドメインｄ２の第２の評価用データとのそれぞれを用いて学習済みのモデル１４の性能が評価される。

【0090】

図８はデータセットの違いに起因するモデルの性能の違いを模式的に示すグラフである。学習用データ内でのモデル１４の性能を性能Ａとし、第１の評価用データでのモデル１４の性能を性能Ｂとし、第２の評価用データでのモデル１４の性能を性能Ｃとする場合、通常は、図８に示すように、性能Ａ＞性能Ｂ＞性能Ｃという関係になる。

【0091】

モデル１４の汎化性能の高さは、一般には、性能Ｂが高いこと又は性能ＡとＢの差が小さいことを指す。つまり、モデル１４の汎化性能の高さは、学習用データに過剰適合せずに、学習していないデータに対しても予測の性能が高いことを目指している。

【0092】

本明細書におけるドメイン汎化性の文脈では、性能Ｃが高いこと又は性能Ｂと性能Ｃの差が小さいことを指す。つまり、学習に用いたドメインと異なるドメインでも、変わらずに高い性能が出ることを目指している。

【0093】

モデル１４の学習を行う際に、導入先の施設のデータを用いることができないものの、導入の際に導入先の施設において収集されたデータが得られる場合は、導入先の施設において得られたデータを用いてモデルの性能を評価し得る。評価の結果に基づいて複数の候補モデルの中から最適なモデルを選択して導入先の施設に適用することが考えられる。図９にその例を示す。

【0094】

図９は学習ドメインと導入先ドメインとが異なる場合の推薦システム導入フローの例を示す説明図である。図９に示すように、導入先の施設とは異なる施設で収集されたデータを用いて、複数のモデルを学習し得る。ここでは、それぞれ異なる施設で収集されたデータセットＤＳ１、データセットＤＳ２及びデータセットＤＳ３を用いて、モデルＭ１、モデルＭ２及びモデルＭ３の学習が行われる例を示す。例えば、モデルＭ１はデータセットＤＳ１を用いて訓練され、モデルＭ２はデータセットＤＳ２を用いて訓練され、モデルＭ３はデータセットＤＳ３を用いて訓練される。なお、モデルＭ１、モデルＭ２及びモデルＭ３それぞれの学習に用いるデータセットは、異なる施設で収集された複数のデータセットの組み合わせであってもよい。例えば、モデルＭ１はデータセットＤＳ１とデータセットＤＳ２とを混合したデータセットを用いて訓練されてもよい。

【0095】

こうして、複数のモデルＭ１、モデルＭ２及びモデルＭ３を学習した後、導入先の施設で収集されたデータＤｔｇを用いて、モデルＭ１、モデルＭ２及びモデルＭ３のそれぞれの性能を評価する。図９において、モデルＭ１、モデルＭ２及びモデルＭ３のそれぞれの下に示すＡ、Ｂ及びＣの記号は、モデルＭ１、モデルＭ２及びモデルＭ３のそれぞれの評価結果を表している。Ａ評価は、導入基準を満たす良好な予測性能であることを示す。Ｂ評価はＡ評価よりも劣る性能であることを示す。Ｃ評価はＢ評価よりもさらに劣る性能であり、導入に適していないことを示す。

【0096】

例えば、図９のように、モデルＭ１の評価結果がＡ評価であり、モデルＭ２の評価結果がＢ評価であり、モデルＭ３の評価結果がＣ評価であったとする。導入先の施設にとって最適なモデルとしてモデルＭ１が選択され、モデルＭ１を適用した推薦システム１０が導入されることになる。

【0097】

［課題］
図９を用いて説明したように、モデルを学習する際に導入先の施設のデータが得られない場合も、モデルが導入される際に導入先の施設で収集されたデータがあれば、そのデータを用いてモデルを評価してベストなモデルを選択することができる。

【0098】

しかし、導入先の施設へのモデルの導入の際に導入先の施設のデータがない場合、又は導入先の施設へのモデルの導入の際に導入先の施設のデータがあっても、導入先の施設のデータへアクセスできない場合は、モデルを選択することができない。

【0099】

図１０は導入先の施設のデータがない場合の課題を示す説明図である。図１０に示すように、導入先の施設のデータがない場合、モデルＭ１、モデルＭ２及びモデルＭ３のそれぞれを評価することができず、ベストなモデルを選択することができない。

【0100】

このように、導入先の施設のデータが、モデルを導入する前の評価においても利用できない場合は、導入先の施設に対してベストなモデルを選択することができない。このような場合においても、導入先の施設において高性能なレコメンドをすることが望まれる。学習ドメインと導入先ドメインとが異なるため、ドメインシフトにロバストなレコメンドを実現することが課題である。本実施形態では、複数のモデルを活用して推薦アイテムの提示が可能な情報処理方法および情報処理システムを提供する。

【0101】

［推薦アイテムリストの評価］
図１１は典型的な推薦アイテムリストの模式図である。図１１には、５つの推薦アイテムであるアイテム１からアイテム５までを含む推薦アイテムリストＩＬ１００を図示する。

【0102】

図１１に示す推薦アイテムリストＩＬ１００は、予め規定されるランキング順に従って上から下へ向かって５つの推薦アイテムＩＴが並べられる。アイテム１からアイテム５までのそれぞれに付した１から５まで数値は、推薦アイテムリストＩＬ１００における推薦アイテムの相対的な順位を表している。

【0103】

推薦アイテムリストＩＬ１００は、ユーザーが望む推薦アイテムが含まれている場合は、ユーザーの役に立つ。ユーザーが望む推薦アイテムの一例として、閲覧など、ユーザーが肯定的な行動を行う推薦アイテムが挙げられる。

【0104】

推薦アイテムが上から下へ向かって並べられる場合、ユーザーは上から順に推薦アイテムを見る傾向がある。ユーザーは全ての推薦アイテムを見ずに、推薦アイテムリストを途中までしか見ないことがある。そうすると、ユーザーが望む推薦アイテムは、相対的に上位であることが望ましい。

【0105】

図１２は推薦アイテムリスト評価の第１例における評価結果を示す模式図である。図１２には、推薦アイテムリストの評価指標として、hit rateを例示する。図１２には、推薦アイテムリストＩＬ１１０、推薦アイテムリストＩＬ１１２及び推薦アイテムリストＩＬ１１４のそれぞれに対する評価値を図示する。

【0106】

hit rateは、推薦アイテムリストＩＬ１１０、推薦アイテムリストＩＬ１１２及び推薦アイテムリストＩＬ１１４のそれぞれについて、それぞれに含まれる推薦アイテムＩＴのうち１つでもヒットする場合は、評価値が１とされる。また、hit rateは、推薦アイテムリストＩＬ１１０等に含まれる推薦アイテムＩＴのいずれもヒットしない場合は、評価値が０とされる。ここでいう推薦アイテムＩＴがヒットするとは、推薦アイテムＩＴに対してユーザーが肯定的な行動をすることを意味している。

【0107】

例えば、推薦アイテムリストＩＬ１１０のアイテム３は、ヒットした推薦アイテムＩＴであることを表す印が図示される。同様に、推薦アイテムリストＩＬ１１４のアイテム２は、ヒットした推薦アイテムＩＴであることを表す印が図示される。

【0108】

推薦アイテムリストＩＬ１１０等の評価指標としてhit rateが適用される場合、推薦アイテムリストＩＬ１１０及び推薦アイテムリストＩＬ１１４の評価値は１であり、推薦アイテムリストＩＬ１１０の評価値は０である。

【0109】

図１３は推薦アイテムリスト評価の第２例における評価結果を示す模式図である。図１３には、推薦アイテムリストの評価指標として、reciprocal rankを例示する。reciprocal rankは、順位の逆数を重みとして用いて、各推薦アイテムＩＴを重み付けして評価する。

【0110】

図１３には、推薦アイテムリストＩＬ１１０ではアイテム３がヒットし、推薦アイテムリストＩＬ１１２ではアイテム１からアイテム５までのいずれもヒットせず、推薦アイテムリストＩＬ１１４ではアイテム３がヒットした場合を例示する。

【0111】

推薦アイテムリストＩＬ１１０は、重みが１／３のアイテム３がヒットされており、アイテム１、アイテム２、アイテム４及びアイテム５がヒットしていない。したがって、推薦アイテムリストＩＬ１１０の評価値は１／３である。

【0112】

また、推薦アイテムリストＩＬ１１４は、重みが１／２のアイテム２がヒットされており、アイテム１及びアイテム３からアイテム５までがヒットしていない。したがって、推薦アイテムリストＩＬ１１０の評価値は１／２である。

【0113】

更に、ユーザーがアイテム１からアイテム５までのいずれもヒットしていない推薦アイテムリストＩＬ１１２の評価値は０ある。なお、分数を適用した重み及び評価値は、小数を適用してもよい。

【0114】

他の評価指標の例としてdiscounted cumulative gainが挙げられる。discounted cumulative gainは、重みとして１／ｌｏｇ（１＋順位）が適用される。すなわち、重みが用いられる評価指標の重みは、順位が上位のアイテムには、相対的に大きい重みが適用される。

【0115】

［実施形態に係る情報処理方法の概要］
図１４は実施形態に係る情報処理方法の概要の説明図である。図１４には、ドメインＤ１０１のデータセットＤＳ１０１を用いて学習をしたモデルＭ１０１、ドメインＤ１０２のデータセットＤＳ１０２を用いて学習をしたモデルＭ１０２及びドメインＤ１０４のデータセットＤＳ１０３を用いて学習をしたモデルＭ１０３が存在し、導入先の施設のドメインが不明である場合を図示する。

【0116】

モデルＭ１０１は、アイテム４５及びアイテム２６が含まれる複数の候補アイテムＰＩＴを出力する。複数の候補アイテムＰＩＴは予測値の順に並べられる。候補アイテムＰＩＴの予測値は、候補アイテムＰＩＴに対して、閲覧及び購入など、ユーザーが肯定的な行動を取る確率を適用し得る。モデルＭ１０１において、アイテム４５の予測値は０．６であり、アイテム２６の予測値は０．４である。

【0117】

モデルＭ１０２は、アイテム３５及びアイテム３６が含まれる複数の候補アイテムＰＩＴを出力する。アイテム３５の予測値は０．７であり、アイテム６９の予測値は０．３である。

【0118】

モデルＭ１０３は、アイテム４９及びアイテム１２が含まれる複数の候補アイテムＰＩＴを出力する。アイテム４９の予測値は０．５であり、アイテム１２の予測値は０．４である。

【0119】

図１４に示す候補アイテムＰＩＴへ付した数値は、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３から出力される候補アイテムＰＩＴに共通する候補アイテムＰＩＴの識別番号である。なお、モデルＭ１０１から出力される候補アイテムＰＩＴは、モデルＭ１０１から出力される推薦アイテムリストとして把握し得る。

【0120】

複数の多様なドメインのデータセットを用いて複数のモデルの準備がされている場合、導入先の施設のドメインは複数のモデルのいずれかのドメインに属性が近いと仮定される。ここで、モデルのドメインとは、モデルを学習する際に適用されたデータセットの提供先のドメインを意味する。ドメインの属性が近いとは、ユーザーの年齢層、性別及び職業など、ドメインの性質として把握されるドメインの属性が同一又はドメインの属性に共通点が存在する場合を表す。

【0121】

導入先の施設のドメインに属性が近いドメインのデータセットを用いて学習がされたモデルは、高精度の推薦を実施し得る。しかし、複数のドメインのいずれが導入先の施設のドメインと属性が近いかはわからない。

【0122】

そこで、複数のモデルのいずれが導入先の施設のドメインと属性が近い場合であっても、高性能の推薦アイテムリストを生成したい。ここでいう高性能とは、少なくともドメインシフトに対するロバスト性能を有することを意味する。

【0123】

［導入先の施設のドメインを適用した推薦アイテムリストの評価］
図１５は推薦アイテムリスト評価の具体例を示す模式図である。同図には、評価指標としてhit rateが適用される例を示す。同図に示す推薦アイテムリストＩＬ１２０は、モデルＭ１０２のみから出力された複数の候補アイテムＰＩＴから選択された、推薦アイテムＩＴ２０１、推薦アイテムＩＴ２０２、推薦アイテムＩＴ２０３、推薦アイテムＩＴ２０４、推薦アイテムＩＴ２０５及び推薦アイテムＩＴ２０６が含まれる。推薦アイテムＩＴ２０１から推薦アイテムＩＴ２０６は、ユーザーが肯定的な行動を取る予測値の順に、上から並べられている。

【0124】

推薦アイテムリストＩＬ１２０について、モデルＭ１０１に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムＩＴ２０１から推薦アイテムＩＴ２０６までのいずれもヒットしないと予測される。そうすると、推薦アイテムリストＩＬ１２０の評価値は０となる。推薦アイテムリストＩＬ１２０について、モデルＭ１０３に対応するドメインが導入先の施設のドメインの属性と近い場合も同様である。

【0125】

一方、推薦アイテムリストＩＬ１２０について、モデルＭ１０２に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムＩＴ２０１から推薦アイテムＩＴ２０６までの全てがヒットすると予測される。そうすると、推薦アイテムリストＩＬ１２０の評価値は１となる。

【0126】

推薦アイテムリストＩＬ１２２は、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれから出力された候補アイテムＰＩＴから選択された、複数の推薦アイテムＩＴが含まれる。具体的には、推薦アイテムリストＩＬ１２２は、モデルＭ１０１から出力される推薦アイテムＩＴ１０１及び推薦アイテムＩＴ１０２が含まれる。

【0127】

また、推薦アイテムリストＩＬ１２２は、モデルＭ１０２から出力される推薦アイテムＩＴ２０１及び推薦アイテムＩＴ２０２及びモデルＭ１０３から出力される推薦アイテムＩＴ３０１及び推薦アイテムＩＴ３０２が含まれる。

【0128】

推薦アイテムリストＩＬ１２２は、上から順に、モデルＭ１０１の最上位の推薦アイテムＩＴ１０１、モデルＭ１０２の最上位の推薦アイテムＩＴ２０１、モデルＭ１０３の最上位の推薦アイテムＩＴ３０１、モデルＭ１０３の第２位の推薦アイテムＩＴ３０２、モデルＭ１０２の第２位の推薦アイテムＩＴ２０２及びモデルＭ１０１の第２位の推薦アイテムＩＴ１０２の順に、複数の推薦アイテムＩＴが上から並べられる。

【0129】

モデルＭ１０１に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムリストＩＬ１２２の評価値は１である。モデルＭ１０２に対応するドメインが導入先の施設のドメインの属性と近い場合、及びモデルＭ１０３に対応するドメインが導入先の施設のドメインの属性と近い場合も、推薦アイテムリストＩＬ１２２の評価値は１である。

【0130】

すなわち、モデルＭ１０２の候補アイテムＰＩＴのみから偏って選択された推薦アイテムＩＴが含まれる推薦アイテムリストＩＬ１２０は、モデルＭ１０２が導入先のドメインと属性が近い場合に高性能であるが、モデルＭ１０１又はモデルＭ１０３が導入先のドメインと属性が近い場合は、モデルＭ１０２が導入先のドメインと属性が近い場合と比較して性能が低下する。

【0131】

他方、モデルＭ１０１の候補アイテムＰＩＴ、モデルＭ１０２の候補アイテムＰＩＴ及びモデルＭ１０３の候補アイテムＰＩＴのそれぞれから、バランスよく選択された推薦アイテムＩＴが含まれる推薦アイテムリストＩＬ１２２は、上記のいずれの場合も高性能である。

【0132】

図１６は推薦アイテムリスト評価の他の具体例を示す模式図である。同図には、評価指標としてreciprocal rankが適用される例を示す。推薦アイテムＩＴ２０１等に付した分数は、推薦アイテムＩＴごとの評価指標の重みである。

【0133】

モデルＭ１０１に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムリストＩＬ１２０の評価値は０である。同様に、モデルＭ１０３に対応するドメインが導入先の施設のドメインの属性と近い場合も、推薦アイテムリストＩＬ１２０の評価値は０である。また、モデルＭ１０２に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムリストＩＬ１２０の評価値は２．４５である。

【0134】

モデルＭ１０１に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムリストＩＬ１２２の評価値は１．１７である。モデルＭ１０２に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムリストＩＬ１２２の評価値は０．７０である。モデルＭ１０３に対応するドメインが導入先の施設のドメインの属性と近い場合、推薦アイテムリストＩＬ１２２の評価値は０．５８である。

【0135】

評価指標としてhit rateが適用されると同様に、任意の推薦モデルの推薦アイテムＩＴに偏って選択された推薦アイテムＩＴが含まれる推薦アイテムリストＩＬ１２０に対して、複数の推薦モデルの推薦アイテムＩＴがバランスよく選択された推薦アイテムＩＴが含まれる推薦アイテムリストＩＬ１２２は高性能である。

【0136】

［好ましい推薦アイテム選択の具体例］
好ましい推薦アイテム選択の具体例として、小売店舗向けの推薦システムを考える。推薦モデルの学習データとして、店舗Ｓ１における購買履歴のデータセットＤＳ１１、店舗Ｓ２における購買履歴のデータセットＤＳ１２及び店舗Ｓ３における購買履歴のデータセットＤＳ１３が利用可能である。各店舗における購買履歴は各店舗におけるユーザーの行動履歴である。

【0137】

新規にオープンする店舗Ｓ４に導入される推薦システムを開発する際に、導入先の施設である店舗Ｓ４における購買履歴のデータセットは存在しない。また、店舗Ｓ４のドメインの属性が、店舗Ｓ１、店舗Ｓ２又は店舗Ｓ３のいずれの属性に近いかは不明である。

【0138】

店舗Ｓ１、店舗Ｓ２及び店舗Ｓ３のそれぞれにおけるデータセットＤＳ１１、データセットＤＳ１２及びデータセットＤＳ１３を用いて学習を実施したモデルＭ１１、モデルＭ１２及びモデルＭ１３を用意する。モデルＭ１１、モデルＭ１２及びモデルＭ１３は、モデルベースの協調フィルタリングの一種である行列分解モデルを用いる。行列の次元数は１００とする。

【0139】

モデルＭ１１、モデルＭ１２及びモデルＭ１３は、購買の有無の予測に対するlog lossを指標として、stochastic gradient descentを適用して学習する。なお、log loss は、Logarithmic Lossと称され得る。また、stochastic gradient descentは、確率的勾配降下法と称され得る。

【0140】

次に、モデルＭ１１、モデルＭ１２及びモデルＭ１３を用いて、複数のユーザーのそれぞれに対する推薦アイテムリストＩＬ１１、推薦アイテムリストＩＬ１２及び推薦アイテムリストＩＬ１３を生成する。推薦アイテムリストＩＬ１１、推薦アイテムリストＩＬ１２及び推薦アイテムリストＩＬ１３の大きさは６とする。推薦アイテムリストＩＬ１１等の大きさはとは、推薦アイテムリストＩＬ１１等に含まれる推薦アイテムＩＴの数を意味する。

【0141】

推薦アイテムリストＩＬの評価指標としてreciprocal rankを適用し、モデルＭ１１、モデルＭ１２又はモデルＭ１３のいずれかが高性能となるようにする。具体的には、全体の３分の１のユーザーには、推薦アイテムリストＩＬの１位の推薦アイテムＩＴ及び６位の推薦アイテムＩＴとして、モデルＭ１１の推薦アイテムＩＴから選択される。

【0142】

また、推薦アイテムリストＩＬの２位の推薦アイテムＩＴ及び５位の推薦アイテムＩＴとして、モデルＭ１２の推薦アイテムＩＴから選択され、３位の推薦アイテムＩＴ及び４位の推薦アイテムＩＴとして、モデルＭ１３の推薦アイテムＩＴから選択される。

【0143】

更に、上記の全体の３分の１のユーザーと異なる、全体の３分の１のユーザーには、推薦アイテムリストＩＬの１位の推薦アイテムＩＴ及び６位の推薦アイテムＩＴとして、モデルＭ１２の推薦アイテムＩＴから選択される。推薦アイテムリストＩＬの２位の推薦アイテムＩＴ及び５位の推薦アイテムＩＴは、モデルＭ１３の推薦アイテムＩＴから選択し、３位の推薦アイテムＩＴ及び４位の推薦アイテムＩＴは、モデルＭ１１の推薦アイテムＩＴから選択される。

【0144】

残りの全体の３分の１のユーザーには、推薦アイテムリストＩＬの１位の推薦アイテムＩＴ及び６位の推薦アイテムＩＴは、モデルＭ１３の推薦アイテムＩＴから選択される。推薦アイテムリストＩＬの２位の推薦アイテムＩＴ及び５位の推薦アイテムＩＴは、モデルＭ１１の推薦アイテムＩＴから選択され、３位の推薦アイテムＩＴ及び４位の推薦アイテムＩＴは、モデルＭ１２の推薦アイテムＩＴから選択される。

【0145】

すなわち、モデルＭ１１の推薦アイテムＩＴ、モデルＭ１２の推薦アイテムＩＴ及びモデルＭ１３の推薦アイテムＩＴは、推薦アイテムリストＩＬを構成する推薦アイテムＩＴの候補である候補アイテムとされる。推薦アイテムリストＩＬは、複数の候補アイテムの中から、予め規定される選択条件に基づき選択された推薦アイテムＩＴが含まれる。

【0146】

これにより、店舗Ｓ４のドメインが、モデルＭ１１、モデルＭ１２及びモデルＭ１３のいずれのドメインと属性が近い場合であっても、推薦アイテムリストＩＬは、hit rate 及びreciprocal rankなどの複数の評価指標において同程度の評価値が得られ、同程度の性能となる。したがって、上記した推薦アイテムリストＩＬが出力される推薦システムは、ドメインシフトに対するロバストな推薦を実現し得る。

【0147】

［情報処理システムの構成例］
次に、ドメインシフトに対するロバスト性能を有する推薦システムに適用される情報処理システムの構成例について説明する。図１７は実施形態に係る情報処理システムのハードウェア構成の例を概略的に示すブロック図である。

【0148】

情報処理装置１００は、コンピュータのハードウェアとソフトウェアとを用いて実現される。情報処理装置１００の物理的形態は特に限定されず、サーバコンピュータであってもよいし、ワークステーションであってもよく、パーソナルコンピュータ又はタブレット端末などであってもよい。ここでは、１台のコンピュータを用いて情報処理装置１００の処理機能を実現する例を述べるが、情報処理装置１００の処理機能は、複数台のコンピュータを用いて構成されるコンピュータシステムによって実現してもよい。

【0149】

情報処理装置１００は、プロセッサ１０２、非一時的な有体物であるコンピュータ可読媒体１０４、通信インターフェース１０６、入出力インターフェース１０８及びバス１１０を備える。

【0150】

プロセッサ１０２は、ＣＰＵ（Central Processing Unit）を含む。プロセッサ１０２はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ１０２は、バス１１０を介してコンピュータ可読媒体１０４、通信インターフェース１０６及び入出力インターフェース１０８と接続される。

【0151】

プロセッサ１０２は、コンピュータ可読媒体１０４に記憶された各種のプログラム及びデータ等を読み出し、各種の処理を実行する。プログラムという用語は、プログラムモジュールの概念を含み、プログラムに準じる命令を含む。

【0152】

コンピュータ可読媒体１０４は、例えば、主記憶装置であるメモリ１１２及び補助記憶装置であるストレージ１１４を備える記憶装置である。ストレージ１１４は、例えば、ハードディスク装置、ソリッドステートドライブ装置、光ディスク、光磁気ディスク及び半導体メモリなどを用いて構成される。ストレージ１１４は、上記したデバイスの適宜の組み合わせを用いて構成されてもよい。ストレージ１１４には、各種プログラム及びデータ等が記憶される。

【0153】

なお、ハードディスク装置は、英語表記Hard Disk Driveの省略語を用いてＨＤＤと称され得る。ソリッドステートドライブ装置は、英語表記Solid State Driveを用いてＳＳＤと称され得る。

【0154】

メモリ１１２は、プロセッサ１０２の作業領域として使用される領域及びストレージ１１４から読み出されたプログラム及び各種のデータを一時的に記憶する領域が含まれる。ストレージ１１４に記憶されているプログラムがメモリ１１２にロードされ、プログラムの命令をプロセッサ１０２が実行して、プロセッサ１０２は、プログラムで規定される各種の処理を行う手段として機能する。

【0155】

メモリ１１２は、プロセッサ１０２を用いて実行される推薦アイテムリスト生成プログラム１２０などの各種のプログラムおよび各種のデータ等が記憶される。推薦アイテムリスト生成プログラム１２０は、複数のプログラムを含み得る。

【0156】

すなわち、推薦アイテムリスト生成プログラム１２０は、複数の推薦モデルから複数の候補アイテムを取得し、複数の候補アイテムから予め規定される推薦アイテムリストの大きさに対応する数の候補アイテムを推薦アイテムとして選択する。推薦アイテムリスト生成プログラム１２０は、複数の候補アイテムから推薦アイテムを選択する際に、予め規定される選択条件を適用し得る。

【0157】

また、推薦アイテムリスト生成プログラム１２０は、推薦アイテムに対して規定の整列条件を適用して推薦アイテムを並べて、ユーザーへ提示される推薦アイテムリストを生成する。

【0158】

候補アイテムを取得する際に、メモリ１１２へ記憶される複数のモデルのそれぞれから候補アイテムを取得してもよいし、情報処理装置１００の外部の装置に記憶される複数のモデルのそれぞれから候補アイテムを取得してもよい。

【0159】

メモリ１１２は、複数のモデルの学習を行う学習プログラムが記憶されてもよい。プロセッサ１０２は、学習プログラムを実行して複数のモデルの学習を行ってもよい。メモリ１１２は、複数のモデルの学習を行う際に用いられる学習データが記憶されてもよい。

【0160】

メモリ１１２は、候補アイテム記憶部１４０を備える。候補アイテム記憶部１４０は、推薦アイテムリスト生成プログラム１２０が用いる候補アイテムが記憶される。

【0161】

メモリ１１２は、推薦アイテムリスト記憶部１４２を備える。推薦アイテムリスト記憶部１４２は、プロセッサ１０２が推薦アイテムリスト生成プログラム１２０を実行して生成される推薦アイテムリストが記憶される。

【0162】

通信インターフェース１０６は、有線又は無線を適用して外部装置との通信処理を行い、外部装置との間で情報のやり取りを行う。情報処理装置１００は、通信インターフェース１０６を介して通信回線に接続される。

【0163】

通信回線は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよく、これらの組み合わせであってもよい。なお、通信回線の図示を省略する。通信インターフェース１０６は、オリジナルデータセットなど様々なデータの入力を受け付けるデータ取得部の役割を担うことができる。

【0164】

情報処理装置１００は、入力装置１５２及び表示装置１５４を備える。入力装置１５２及び表示装置１５４は、入出力インターフェース１０８を介してバス１１０に接続される。入力装置１５２は、例えば、キーボード、マウス、マルチタッチパネル、その他のポインティングデバイス及び音声入力装置等が適用され得る。入力装置１５２は、上記したキーボード等の適宜の組み合わせであってよい。

【0165】

表示装置１５４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ及びプロジェクタ等が適用される。表示装置１５４は、上記した液晶ディスプレイ等の適宜の組み合わせであってよい。なお、タッチパネルのように入力装置１５２と表示装置１５４とが一体的に構成されてもよく、タッチパネル式のタブレット端末のように、情報処理装置１００と入力装置１５２と表示装置１５４とが一体的に構成されてもよい。有機ＥＬディスプレイは、organic electro-luminescenceの省略語であるＯＥＬと称され得る。なお、有機ＥＬディスプレイのＥＬは、Electro-Luminescenceの省略語である。

【0166】

図１８は実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。情報処理装置１００は、候補アイテム取得部１６０、推薦アイテム選択部１６２及び推薦アイテムリスト生成部１６４を備える。

【0167】

候補アイテム取得部１６０は、複数の推薦モデルのそれぞれから複数の候補アイテムを取得する。候補アイテム取得部１６０は、複数の候補アイテムを候補アイテム記憶部１４０へ記憶する。

【0168】

推薦アイテム選択部１６２は、候補アイテム取得部１６０を用いて取得された複数の候補アイテムの中から、推薦アイテムリストのサイズに応じた数の候補アイテムを推薦アイテムとして選択する。

【0169】

推薦アイテムリスト生成部１６４は、推薦アイテム選択部１６２を用いて選択された複数の推薦アイテムを用いて、推薦アイテムリストを生成する。推薦アイテムリスト生成部１６４は、推薦アイテムリストを推薦アイテムリスト記憶部１４２へ記憶する。

【0170】

［情報処理方法の手順］
図１９は実施形態に係る情報処理方法の手順を示すフローチャートである。候補アイテム取得工程Ｓ１０では、図１８に示す候補アイテム取得部１６０は複数の候補アイテムを取得する。候補アイテム取得工程Ｓ１０において、候補アイテム取得部１６０は取得した複数の候補アイテムを候補アイテム記憶部１４０へ記憶する。候補アイテム取得工程Ｓ１０の後に推薦アイテム選択工程Ｓ１２へ進む。

【0171】

候補アイテム取得工程Ｓ１０において、ユーザーが肯定的な行動を行う確率を表す予測値が候補アイテムごとに算出され、モデルごとに複数の候補アイテムが予測値の降順に並べられたリストを取得してもよい。

【0172】

推薦アイテム選択工程Ｓ１２では、推薦アイテム選択部１６２は、候補アイテム取得工程Ｓ１０において取得された複数の候補アイテムの中から、推薦アイテムとされる候補アイテムを選択する。推薦アイテム選択工程Ｓ１２の後に推薦アイテムリスト生成工程Ｓ１４へ進む。

【0173】

推薦アイテムリスト生成工程Ｓ１４では、推薦アイテムリスト生成部１６４は、推薦アイテム選択工程Ｓ１２において選択された複数の推薦アイテムを用いて、推薦アイテムリストを生成する。推薦アイテムリスト生成工程Ｓ１４において、推薦アイテムリスト生成部１６４は、推薦アイテムリストを推薦アイテムリスト記憶部１４２へ記憶する。推薦アイテムリスト生成工程Ｓ１４の後に、情報処理装置１００は情報処理方法の手順を終了させる。

【0174】

推薦アイテムリスト生成工程Ｓ１４において、選択された推薦アイテムを含む複数の候補リストを評価する候補リスト評価工程及び候補リストの評価結果に応じては、複数の候補リストから推薦アイテムリストを選択する推薦アイテムリスト選択工程が実行されてもよい。

【0175】

［第１実施形態に係る推薦アイテムリスト生成方法］
図２０は第１実施形態に係る推薦アイテムリスト生成方法を示す模式図である。以下に、上記した情報処理方法及び情報処理システムを適用して推薦アイテムリストを生成しする推薦アイテムリスト方法について詳細に説明する。

【0176】

第１実施形態に係る推薦アイテムリスト生成方法では、まず、図１７に示すプロセッサ１０２は、推薦アイテムリスト生成プログラム１２０を実行して、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれから候補アイテムＰＩＴを取得する。図２０には、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれから、２つの候補アイテムＰＩＴが取得される例を示す。

【0177】

プロセッサ１０２は、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれから１つ以上の候補アイテムＰＩＴを取得し、結果的に複数の候補アイテムＰＩＴを取得する。取得された複数の候補アイテムＰＩＴは、候補アイテム記憶部１４０へ記憶される。

【0178】

次に、プロセッサ１０２は、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれについて、取得した複数の候補アイテムＰＩＴが、モデルごとの推薦アイテムの予測値の順に並べられたリストを生成する。プロセッサ１０２は、予め算出された予測値を用いてもよいし、予測値を算出してもよい。

【0179】

ここで、予測値とは、閲覧及び購入など、推薦アイテムごとのユーザーが肯定的に行動する確率を適用し得る。図２０に示す例では、モデルＭ１０１について、予測値が０．６のアイテム４５と、予測値が０．４のアイテム２６が、上から予測値の降順に並べられる。

【0180】

同様に、モデルＭ１０２について、予測値が０．７のアイテム３５と、予測値が０．３のアイテム６９が、上から予測値の降順に並べられる。モデルＭ１０３について、予測値が０．５のアイテム４５と、予測値が０．４のアイテム１２が、上から予測値の降順に並べられる。

【0181】

候補アイテムＰＩＴ及び推薦アイテムＩＴに付した数値は、識別番号である。モデルＭ１０１の候補アイテムＰＩＴとして図示されるアイテム２６は、モデルＭ１０２及びモデルＭ１０３のそれぞれにおいて、予測値が下位の候補アイテムとして存在し得る。アイテム６９及びアイテム１２についても同様である。

【0182】

次に、プロセッサ１０２は、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれから最上位の候補アイテムＰＩＴを推薦アイテムＩＴとして選択し、ドメインシフトに対するロバスト性能を有する推薦アイテムリストＩＬ１００を生成する。図２０に示す例では、推薦アイテムＩＴとして、アイテム４５、アイテム３５及びアイテム４９を含む推薦アイテムリストＩＬ１００を例示する。

【0183】

第１実施形態に適用される推薦アイテムリスト生成プログラム１２０は、モデルごとの候補アイテムの予測値を取得する予測値取得プログラムが含まれる。また、推薦アイテムリスト生成プログラム１２０は、モデルごとの候補アイテムの予測値の順に並べられたリストを生成するリスト生成プログラムが含まれる。各リストから上位の候補アイテムを選択するアイテム選択プログラムが含まれる。なお、情報の取得には、情報の生成という概念が含まれ得る。

【0184】

［第２実施形態に推薦アイテムリスト生成方法］
図２１は第２実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第２実施形態に係る推薦アイテムリスト生成方法では、図１７のプロセッサ１０２は、候補アイテムＰＩＴごとの予測値の統計値を算出し、算出された統計値が各候補アイテムＰＩＴの予測値とする。プロセッサ１０２は、複数の候補アイテムＰＩＴから、候補アイテムＰＩＴごとの予測値の統計値が大きい順に、推薦アイテムリストのサイズに応じた数の推薦アイテムＩＴとされる候補アイテムＰＩＴを選択する。

【0185】

なお、図２１に示すモデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のいずれか１つは高精度であるとする。モデルが高精度であるとは、予測が上位の候補アイテムは、実際にユーザーが閲覧することを意味する。予測が上位の候補アイテムの例として、予測値が相対的に大きい候補アイテムが挙げられる。図２２等を用いて説明する他の実施形態についても同様である。

【0186】

例えば、モデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれについて、アイテムの識別番号が１から１００までの１００の候補アイテムを取得する場合を考える。プロセッサ１０２は、モデルごとの各候補アイテムの予測値の統計値を算出する。統計値は、平均値、最大値及び中央値など任意の統計指標を用いて計算された値を適用し得る。平均値は算術平均値を適用し得る。図２１には、モデルごとの各候補アイテムの予測値の平均値が算出される場合を示す。

【0187】

例えば、モデルＭ１０１のアイテム１の予測値、モデルＭ１０２のアイテム１の予測値及びモデルＭ１０３のアイテム１の予測値の平均値として０．２８が算出される。同様に、モデルＭ１０１のアイテム２の予測値、モデルＭ１０２のアイテム２の予測値及びモデルＭ１０３のアイテム２の予測値の平均値として０．０５が算出される。このようにして、アイテム１からアイテム１００までの全ての候補アイテムＰＩＴについて予測値の平均値が算出され、算出された予測値の平均値が各候補アイテムの予測値とされる。

【0188】

次に、プロセッサ１０２は、平均値が適用される予測値の降順に上から、アイテム１からアイテム１００までを整列させ、最上位の候補アイテムＰＩＴから順に推薦アイテムリストＩＬ１００のサイズに応じた数の候補アイテムＰＩＴを推薦アイテムＩＴとし選択する。図２１には、アイテム４５、アイテム３５及びアイテム４９が推薦アイテムＩＴへ適用される推薦アイテムリストＩＬ１００を図示する。

【0189】

第２実施形態に適用される推薦アイテムリスト生成プログラム１２０は、予測値取得プログラム、リスト生成プログラム及びアイテム選択プログラムに加えて、アイテムごとの予測値の統計値を取得する統計値取得プログラムが含まれる。

【0190】

［第３実施形態に推薦アイテムリスト生成方法］
図２２は第３実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第３実施形態に係る推薦アイテムリスト生成方法では、図１７のプロセッサ１０２は、モデルごとの候補アイテムＰＩＴが予測値の降順に並べられたリストを取得し、各モデルのリストの最上位からｋ位までの候補アイテムＰＩＴを推薦アイテムＩＴとして選択する。推薦アイテムリストＩＬ１０２のサイズは、ｋ×モデルの数である。換言すると、プロセッサ１０２は、推薦アイテムリストＩＬ１０２のサイズに対応する数をモデルの数で除算した数の候補アイテムＰＩＴを推薦アイテムＩＴとして選択する。なお、ｋは２以上の正の整数である。

【0191】

図２２には、モデルＭ１０１における予測値が最上位のアイテム４５、モデルＭ１０２における予測値が最上位のアイテム３５、モデルＭ１０３における予測値が最上位のアイテム４９が、推薦アイテムリストＩＬ１０２の推薦アイテムＩＴとし選択される例を示す。

【0192】

図２２に示す推薦アイテムリストＩＬ１０２は、モデルＭ１０１が高精度の場合はアイテム４５がヒットする。また、推薦アイテムリストＩＬ１０２は、モデルＭ１０２が高精度の場合はアイテム３５がヒットし、モデルＭ１０３が高精度の場合はアイテム４９がヒットする。

【0193】

第３実施形態に適用される推薦アイテムリスト生成プログラム１２０は、第１実施形態と同様に、予測値取得プログラム、リスト生成プログラム及びアイテム選択プログラムが含まれる。

【0194】

［第４実施形態に係る推薦アイテムリスト生成方法］
図２３は第４実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第４実施形態に係る推薦アイテムリスト生成方法では、図１７のプロセッサ１０２は、モデルごとの候補アイテムが予測値の降順に並べられたリストを取得する。

【0195】

推薦アイテムリストＩＬ１０４のサイズが、モデルの数と比較して大きい場合は、推薦アイテムリストＩＬ１０４における推薦アイテムＩＴの順位に応じた重みが考慮され、バランスよく推薦アイテムＩＴが並べられる。

【0196】

プロセッサ１０２は、上記した推薦アイテムリストＩＬ１０４を生成する手順を適用して、推薦アイテムリストＩＬ１０４の候補となる複数の候補リストを生成する。プロセッサ１０２は、複数の候補リストのそれぞれについて、導入先の施設のドメインと各モデルに対応するドメインとの相性に応じて変化する評価値を算出する。なお、候補リストは図２４に候補リストＰＩＬ１００等として図示する。

【0197】

ここで、導入先の施設のドメインと各モデルに対応するドメインとの相性とは、導入先の施設のドメインと各モデルに対応するドメインとの属性の近さとして把握し得る。例えば、導入先の施設のドメインと各モデルに対応するドメインとの間の類似度が相対的に大きい場合は、相性がよく、属性が近いとしてもよい。プロセッサ１０２は、候補リストごとの評価値の最小値を比較して、評価値の最小値が最大となる候補リストを推薦アイテムリストＩＬ１０４として決定する。

【0198】

第４実施形態に適用される推薦アイテムリスト生成プログラム１２０は、第４実施形態に適用される予測値取得プログラム、リスト生成プログラム及びアイテム選択プログラムが含まれる。

【0199】

また、推薦アイテムリスト生成プログラム１２０は、推薦アイテムリストＩＬ１０４の候補となる複数の候補リストを生成する候補リスト生成プログラム、評価値を算出する評価値算出プログラムが含まれる。

【0200】

［第５実施形態に係る推薦アイテムリスト生成方法］
図２４は第５実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第５実施形態に係る推薦アイテムリスト生成方法として、第４実施形態に係る推薦アイテムリスト生成方法における候補リストの評価の具体例を示す。

【0201】

図１７のプロセッサ１０２は、導入先の施設のドメインが、複数のモデルのうち、どのモデルと属性が近いかに応じて、推薦アイテムリストに対する仮想的なユーザーの行動を規定する。すなわち、ドメインの属性が近いユーザーは、１００パーセントの確率で閲覧等の肯定的な行動を行うとして、ユーザーの行動を確定的に試行する。

【0202】

プロセッサ１０２は、複数のモデルから取得した推薦アイテムの並び順が変えられた複数の候補リストを生成し、複数の候補リストのそれぞれについて複数の仮想的なユーザー行動ごとに、予め規定される評価指標の評価値を算出する。図２４には、複数の候補リストとして、候補リストＰＩＬ１００及び候補リストＰＩＬ１０２を示す
図２４には、候補リストＰＩＬ１００について、図２３のモデルＭ１０１、モデルＭ１０２及びモデルＭ１０３のそれぞれが、導入先の施設のドメインに属性が近い場合の評価値を算出する例を模式的に示す。

【0203】

候補リストＰＩＬ１００は、モデルＭ１０１の１位のアイテム、モデルＭ１０２の１位のアイテム、モデルＭ１０３の１位のアイテム、モデルＭ１０１の２位のアイテム、モデルＭ１０２の２位のアイテム、モデルＭ１０３の２位のアイテムの順に６つの推薦アイテムＩＴが並べられる。

【0204】

また、候補リストＰＩＬ１０２は、モデルＭ１０１の１位のアイテム、モデルＭ１０２の１位のアイテム、モデルＭ１０３の１位のアイテム、モデルＭ１０３の２位のアイテム、モデルＭ１０２の２位のアイテム、モデルＭ１０１の２位のアイテムの順に６つの推薦アイテムＩＴが並べられる。

【0205】

図２４には、候補リストＰＩＬ１００及び候補リストＰＩＬ１０２の評価指標として、reciprocal rankが例示される。候補リストＰＩＬ１００について、モデルＭ１０１が導入先の施設のドメインに属性が近い場合の評価値は、１＋（１／４）＝１．２５と計算される。同様に、モデルＭ１０２が導入先の施設のドメインに属性が近い場合の評価値は０．７０と計算され、モデルＭ１０３が導入先の施設のドメインに属性が近い場合の評価値は０．５０と計算される。候補リストＰＩＬ１００の評価値の最小値は０．５０である。

【0206】

また、候補リストＰＩＬ１０２について、モデルＭ１０１が導入先の施設のドメインに属性が近い場合の評価値は１．１７である。モデルＭ１０２が導入先の施設のドメインに属性が近い場合の評価値は０．７０である。モデルＭ１０３が導入先の施設のドメインに属性が近い場合の評価値は０．５８である。候補リストＰＩＬ１００の評価値の最小値は０．５８である。

【0207】

候補リストＰＩＬ１００の評価値の最小値０．５０と、候補リストＰＩＬ１０２の評価値の最小値０．５８とを比較すると、候補リストＰＩＬ１０２の評価値０．５８の方か大きいので、候補リストＰＩＬ１０２は、複数の候補リストの中でベストなものであり、推薦アイテムリストＩＬとされる。

【0208】

候補リストにおける推薦アイテムのベストの並べ方は、候補リストのサイズ、モデルの数及び評価指標に応じて規定し得る。候補リストの評価値は、１人以上の任意のユーザーについて計算されればよく、複数のユーザーのそれぞれについて計算しなくてもよい。

【0209】

第５実施形態に適用される推薦アイテムリスト生成プログラム１２０は、評価値算出プログラムとして、評価条件ごとの評価値の最小値が最大となる候補リストを判定する候補リスト判定プログラムが含まれる。

【0210】

［第６実施形態に係る推薦アイテムリスト生成方法］
図２５は第６実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第６実施形態に係る推薦アイテムリスト生成方法として、第４実施形態に係る推薦アイテムリスト生成方法における候補リストの評価の他の具体例を示す。

【0211】

図２５には、候補リストＰＩＬ１００及び候補リストＰＩＬ１０２の評価指標として、reciprocal rankが例示される。第６実施形態では、推薦アイテムリストに対する仮想的なユーザーの行動として、ドメインの属性が近いユーザーは、４０パーセントの確率で閲覧等の肯定的な行動を行い、ドメインの属性が遠いユーザーは、２０パーセントの確率で閲覧等の肯定的な行動を行うとする確率的な仮想ケースを考える。

【0212】

候補リストＰＩＬ１００について、モデルＭ１０１が導入先の施設のドメインに属性が近い場合の評価値は、１×０．４＋（１／２）×０．２＋（１／３）×０．２＋（１／４）×０．４＋（１／５）×０．２＋（１／６）×０．２＝０．７４と計算される。

【0213】

同様に、モデルＭ１０２が導入先の施設のドメインに属性が近い場合の評価値は０．６３と計算され、モデルＭ１０３が導入先の施設のドメインに属性が近い場合の評価値は０．５９と計算される。候補リストＰＩＬ１００の評価値の最小値は０．５９である。

【0214】

また、候補リストＰＩＬ１０２について、モデルＭ１０１が導入先の施設のドメインに属性が近い場合の評価値は０．７２と計算され、モデルＭ１０２が導入先の施設のドメインに属性が近い場合の評価値は０．６３と計算され、モデルＭ１０３が導入先の施設のドメインに属性が近い場合の評価値は０．６１と計算される。候補リストＰＩＬ１０２の評価値の最小値は０．６１である。候補リストＰＩＬ１０２は、推薦アイテムリストＩＬとされる。

【0215】

［第７実施形態に係る推薦アイテムリスト生成方法］
図２６は第７実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第７実施形態に係る推薦アイテムリスト生成方法として、第６実施形態に係る推薦アイテムリスト生成方法におけるユーザー行動の確率を推定する方法の一例を示す。

【0216】

ドメインの属性が近いユーザーが肯定的な行動を行う確率を第１確率とし、ドメインの属性が遠いユーザーが非定的な行動を行う確率を第２確率とする。モデルＭ１０１について、学習に適用された第１ドメインのデータセットＤＳ１００を用いて、モデルＭ１０１の予測値の順にアイテムを並べたリストが評価され、閲覧率が導出される。例えば、閲覧率は０．４である。

【0217】

また、学習に適用された第１ドメインと異なる第２ドメインのデータセットＤＳ１０２を用いて、モデルＭ１０１の予測値の順にアイテムを並べたリストが評価され、閲覧率が導出される。例えば、閲覧率は０．２である。

【0218】

モデルＭ１０１の第１確率として、学習に適用されたドメインのデータセットＤＳ１００を用いたモデルＭ１０１の予測値の順にアイテムを並べたリストの閲覧率が適用される。

【0219】

また、モデルＭ１０１の第２確率として、学習に適用された第１ドメインと異なる第２ドメインのデータセットＤＳ１０２を用いたモデルＭ１０１の予測値の順にアイテムを並べたリストの閲覧率が適用される。

【0220】

同様にして、モデルＭ１０２の第１確率として、学習に適用された第１ドメインのデータセットＤＳ１１０を用いたモデルＭ１０２の予測値の順にアイテムを並べたリストの閲覧率０．４を適用し得る。

【0221】

また、モデルＭ１０２の第２確率として、学習に適用された第１ドメインと異なる第２ドメインのデータセットＤＳ１１２を用いたモデルＭ１０２の予測値の順にアイテムを並べたリストの閲覧率を０．２適用し得る。図１７に示すモデルＭ１０３など、他のモデルについても同様に、閲覧率を用いて第１確率及び第２確率を規定し得る。

【0222】

図２６には、モデルＭ１０１とモデルＭ１０２との第１確率が同一となる例を示すが、モデルＭ１０１とモデルＭ１０２との第１確率は異なっていてもよい。第２確率についても同様である。

【0223】

例えば、第２確率は上記のとおり算出し、学習に適用された第１ドメインのデータセットを用いて導出された閲覧率と、学習に適用された第１ドメインと異なる第２ドメインのデータセットを用いて導出された閲覧率との算術平均値を第１確率としてもよい。

【0224】

上記の第１確率の導出は、導入先の施設のドメインと属性が近いドメインの閲覧率は、導入先の施設のドメインの閲覧率とは同一とはならず、導入先の施設のドメインの閲覧率と導入先の施設のドメインと属性が遠いドメインの閲覧率とのと間になるという考えに基づいている。

【0225】

［第８実施形態に係る推薦アイテムリスト生成方法］
図２７は第８実施形態に係る推薦アイテムリスト生成方法を示す模式図である。推薦システムの運用において、同一のユーザーに対して複数回の推薦情報を提供する機会が生じ得る。第８実施形態に係る推薦アイテムリスト生成方法では、同一のユーザーに対する推薦アテムリストが生成されるたびに、推薦アイテムの並び順が入れ替えられる。これにより、１人のユーザーに対して平均的には一定以上の品質の推薦情報を提供し得る。なお、推薦アテムリストの生成ごとの推薦アイテムの並び順の入れ替えは、提示ごとの推薦アイテムの並び順の入れ替えの一例である。

【0226】

図２７には、同一のユーザーに対する１回目の推薦アイテムリストＩＬ１２０及び２回目の推薦アイテムリストＩＬ１２２を図示する。また、同図には、１回目の推薦アイテムリストＩＬ１２０の評価値及び２回目の推薦アイテムリストＩＬ１２２のそれぞれの評価値を示す。評価指標は、reciprocal rankが適用される。

【0227】

１回目の推薦アイテムリストＩＬ１２０の評価値は、図２４に示す候補リストＰＩＬ１０２における候補アイテムＰＩＴと同一の配置順が適用され、６つの推薦アイテムＩＴが並べられる。推薦アイテムリストＩＬ１２０についての評価値は、図２４に示す候補リストＰＩＬ１０２の評価値と同一であり、ここでの説明は省略する。

【0228】

２回目の推薦アイテムリストＩＬ１２２は、モデルＭ１０３の１位のアイテム、モデルＭ１０２の１位のアイテム、モデルＭ１０１の１位のアイテム、モデルＭ１０１の２位のアイテム、モデルＭ１０２の２位のアイテム、モデルＭ１０３の２位のアイテムの配置順が適用される。

【0229】

推薦アイテムリストＩＬ１２２について、モデルＭ１０１が導入先の施設のドメインに属性が近い場合の評価値は０．５８である。モデルＭ１０２が導入先の施設のドメインに属性が近い場合の評価値は０．７０である。モデルＭ１０３が導入先の施設のドメインに属性が近い場合の評価値は１．１７である。

【0230】

推薦アイテムリストＩＬ１２０と推薦アイテムリストＩＬ１２２とのモデルＭ１０１が導入先の施設のドメインに属性が近い場合の評価値の平均値は、（１．１７＋０．５８）／２＝０．８７である。モデルＭ１０２が導入先の施設のドメインに属性が近い場合の評価値の平均値は０．７０であり、モデルＭ１０３が導入先の施設のドメインに属性が近い場合の評価値の平均値は０．８７である。推薦アイテムリストＩＬ１２０と推薦アイテムリストＩＬ１２２との評価値の平均値の最小値は０．７０である。

【0231】

一方、同一のユーザーに対して、複数回にわたって推薦アイテムリストＩＬ１２０又は推薦アイテムリストＩＬ１２２が提供される場合、評価値の平均値の最小値は０．５８となる。したがって、第８実施形態に係る推薦アイテムリスト生成方法は、どのモデルのドメインが導入先の施設とドメインの属性と近いかという評価条件について、評価条件ごとの評価値の平均値の最小値の最大化を実現し得る。

【0232】

［第９実施形態に係る推薦アイテムリスト生成方法］
図２８は第９実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第９実施形態に係る推薦アイテムリスト生成方法では、推薦アイテムリストを構成する推薦アイテムの並び順がユーザーごとに入れ替えられる。なお、図２８に示すユーザー１は、第１ユーザーであり、ユーザー２は第２ユーザーである。また、ユーザーごとの推薦アイテムの並び順の入れ替えは、提示ごとの推薦アイテムの並び順の入れ替えの一例である。

【0233】

図２８には、第１ユーザーに対して推薦アイテムリストＩＬ１２０が提示され、第２ユーザーに対して推薦アイテムリストＩＬ１２２が提示される例を示す。なお、図２８に示す推薦アイテムリストＩＬ１２０及び推薦アイテムリストＩＬ１２２は、図２７に示す推薦アイテムリストＩＬ１２０及び推薦アイテムリストＩＬ１２２と同一である。

【0234】

なお、図２８に示す評価値の具体例は、図２７に示す１回目を第１ユーザーに置き換え、かつ、２回目を第２ユーザーに置き換えた場合に相当する。ここでは、評価値の具体例についての説明を省略する。

【0235】

第９実施形態に係る推薦アイテムリスト生成方法は、ユーザーごとに推薦アイテムリストにおける推薦アイテムの並び順を変えて、全てのユーザーについて、平均的には一定以上の品質の推薦情報を提供し得る。各ユーザーに対して１回ずつの推薦アイテムリストを提示する場合においても、推薦アイテムリストにおける推薦アイテムの並び順が変えられるとよい。

【0236】

［第１０実施形態に係る推薦アイテムリスト生成方法］
図２９は第１０実施形態に係る推薦アイテムリスト生成方法を示す模式図である。第１０実施形態に係る推薦アイテムリスト生成方法では、複数のモデルについて、類似性が高いモデルが存在する場合に、類似するモデルの一方の候補アイテムから推薦アイテムが選択され、他方のモデルの候補アイテムから推薦アイテムが非選択とされる。すなわち、非類似のモデルから得られる候補アイテムリストから優先して、推薦アイテムが選択される。

【0237】

なお、類似するモデルのそれぞれから得られる候補リストは、類似する候補リストの一例であり、非類似のモデルのそれぞれから得られる候補リストは、非類似の候補リストの一例である。

【0238】

図２９には、類似性の高いモデルとして、モデルＭ１０２及びモデルＭ１０４を例示する。推薦アイテムリストＩＬ１３６は、モデルＭ１０１の候補アイテムが選択される推薦アイテムＩＴ１３１及びモデルＭ１０３の候補アイテムが選択される推薦アイテムＩＴ１３３が含まれる。

【0239】

また、推薦アイテムリストＩＬ１３６は、モデルＭ１０２の候補アイテム又はモデルＭ１０４の候補アイテムが選択される推薦アイテムＩＴ１２２が含まれる。図２９には、推薦アイテムＩＴ１３２として、モデルＭ１０２のアイテム３５又はモデルＭ１０４のアイテム３５が選択される場合を例示する。

【0240】

モデルの類似性は、ドメイン間の類似性及び生成される推薦アイテムリストの類似性等に基づいて判定しうる。例えば、図２９に示すモデルＭ１０１からモデルＭ１０４までの学習データに対応するドメインの類似性の評価には、以下の手順を適用し得る。

【0241】

まず、各ドメインの特性をユーザー属性とアイテム属性とのデータセットから抽出する。例えば、ユーザー属性からユーザーの平均年齢を抽出する。アイテム属性からアイテムの平均価格を抽出する。データセットから抽出されるドメインの特性は、説明変数などのメタデータから抽出される統計値及び分布等であってよい。

【0242】

次に、各ドメインの特性をデータセットとは別の外部情報から抽出する。例えば、データセット外の関連情報として、ドメインである施設の床面積、施設が所在する市町村の世帯平均年収等を抽出する。

【0243】

次に、上記の処理において得られた特性を表す複数の種類の数値を用いて、各ドメインの特性を多次元ベクトルとして表す。例えば、各ドメインの特性を、ユーザーの平均年齢、アイテムの平均価格、施設の床面積及び所在施設の世帯平均年収を変数とする４次元の特性ベクトルとして表現する。

【0244】

次に、上記したベクトル空間における特性ベクトルの類似度を求める。特性ベクトルの類似度を評価するにあたり、特性ベクトルの各次元の値を規格化し、各次元の値の数値範囲を揃える。

【0245】

次に、各ドメインの特性ベクトル間のユークリッド距離を求める。特性ベクトル間のユークリッド距離が予め規定される距離未満となるドメイン同士は、類似するドメインと判定し得る。なお、モデルの類似性の判定は上記の例に限定されない。例えば、各ドメインの特性を多次元ベクトルとして、外部情報をパラメータとせず、説明変数のみをパラメータとする態様を適用してもよい。

【0246】

図１７に示す推薦アイテムリスト生成プログラム１２０は、ドメイン間の類似性に基づいて、候補アイテムから推薦アイテムを選択する選択プログラムを含み得る。選択プログラムは、ドメイン間の類似性は判定する類似性判定プログラムを含み得る。

【0247】

［第１１実施形態に係る推薦アイテムリスト生成方法］
図３０は第１１実施形態に係る推薦アイテムリスト生成方法を適用して生成された推薦アイテムリストの一例を示す模式図である。第１１実施形態に係る推薦アイテムリスト生成方法は、ユーザーに応じて推薦アイテムのランキング順に基づく重みが規定される。

【0248】

同図には、６つの推薦アイテムＩＴである推薦アイテム１から推薦アイテム６までを含む推薦アイテムリストＩＬ１４０を例示する。推薦アイテムリストＩＬ１４０における推薦アイテム１等の上位の推薦アイテムはよく閲覧するが、推薦アイテム６等の下位の推薦アイテムはあまり閲覧しないユーザーを想定し、ランキング順が下位へ向かうと減衰が相対的に大きくなる重みとして、ランキング順の逆数の２乗が適用される例を示す。

【0249】

図３１は第１１実施形態に係る推薦アイテムリスト生成方法を適用して生成された推薦アイテムリストの他の例を示す模式図である。同図には図３１に示すＩＬ１４０とは、ランキング順に基づく重みが異なる推薦アイテムリストＩＬ１４２を図示する。

【0250】

推薦アイテムリストＩＬ１４２は、推薦アイテム１等の上位の推薦アイテムＩＴから、推薦アイテム６等の下位の推薦アイテムまでを網羅して閲覧するユーザーを想定し、ランキング順が下位へ向かうと減衰が相対的に小さくなる重みとして、ランキング順の逆数の平方根が適用される例を示す。

【0251】

［複数のモデルの第１具体例］
図３２は複数のモデルの第１具体例の説明図である。候補アイテムを出力する互いに異なる複数のモデルは、異なるドメインにおけるデータセットを学習データとして適用して学習が実施される。

【0252】

同図には、ドメインＤ１０１のデータセットＤＳ１０１を用いて学習がされた学習済みモデルであるモデルＭ１０１、ドメインＤ１０２のデータセットＤＳ１０２を用いて学習がされた学習済みモデルであるモデルＭ１０２及びドメインＤ１０３のデータセットＤＳ１０３を用いて学習がされた学習済みモデルであるモデルＭ１０３を図示する。

【0253】

［複数のモデルの第２具体例］
図３３は複数のモデルの第２具体例の説明図である。互いに異なる複数のドメインからデータセットを取得できずに、１つのドメインＤ１００からデータセットＤＳ１００を取得する場合を考える。

【0254】

１つのドメインから取得されたデータセットについて、互いに異なる複数の特徴量セットを抽出し、互いに異なる複数の特徴量セットを学習データとして学習を実施して、互いに異なる複数のモデルを生成する。

【0255】

同図には、１つのドメインのデータセットから抽出された第１特徴量セットを用いて生成されるモデルＭ２０１、第２特徴量セットを用いて生成されるモデルＭ２０２及び第３特徴量セットを用いて生成されるモデルＭ２０３を図示する。なお、図３３に図示される特徴量セット１、特徴量セット２及び特徴量セット３のそれぞれは、第１特徴量セット、第２特徴量セット及び第３特徴量セットに対応する。

【0256】

図３４は変数の一覧表である。同図には説明変数とし得る変数として、ユーザー属性、アイテム属性及びコンテキストが例示される。同図には、ユーザー属性１として呼吸器科等の所属診療科が例示され、ユーザー属性２として医師等の職種が例示される。

【0257】

また、同図には、アイテム属性１としてＣＴ等の検査種類が例示され、アイテム属性２として患者性別が例示され、コンテキスト１として入院の有無が例示され、コンテキスト２として、アイテム作成からの経過時間が例示される。なお、ＣＴはComputed Tomographyの省略語である。

【0258】

例えば、図３３のモデルＭ２０１の学習データに適用される特徴量セットとして、所属診療科以外の説明変数を適用し得る。モデルＭ２０１は、所属診療科と閲覧との関係が変わった場合でも一定のロバスト性能を有する。

【0259】

モデルＭ２０２の学習データに適用される特徴量セットとして、職種以外の説明変数を適用し得る。モデルＭ２０２は、職種と閲覧との関係が変わった場合でも一定のロバスト性能を有する。

【0260】

モデルＭ２０３の学習データに適用される特徴量セットとして、入院の有無以外の説明変数を適用し得る。モデルＭ２０２は、入院の有無と閲覧との関係が変わった場合でも一定のロバスト性能を有する。

【0261】

ドメインシフトに起因して、説明変数と目的変数との関係の一部が変化すると想定される。しかし、どの説明変数の目的変数との関係が変化するのかの把握は困難である。そこで、どの説明変数の目的変数との関係が変化した場合であっても、複数のモデルのいずれ
かが適切となる複数のモデルが準備される。

【0262】

［実施形態の作用効果］
実施形態に係る情報処理装置及び情報処理方法は、以下の作用効果を得ることが可能である。

【0263】

〔１〕
ユーザーに対して複数の推薦アイテムを推薦する情報推薦を実施する情報処理装置において、互いに異なる複数のモデルであり、異なるデータセットを学習データに用いて学習がされた複数のモデルのそれぞれから１つ以上の候補アイテムが取得される。複数の候補アイテムの中から異なるモデルの候補アイテムが含まれる複数の候補アイテムが推薦アイテムとして選択される。

【0264】

これにより、ドメインシフトに対してロバスト性能を有する推薦アイテムリストが生成される。

【0265】

〔２〕
複数のモデルごとに候補アイテムの予測値の降順に候補アイテムが並べられ、各モデルの最上位の候補アイテムから順に推薦アイテムが選択される。これにより、各モデルからバランスよく推薦アイテムとなる候補アイテムが選択される。

【0266】

〔３〕
推薦アイテムリストのサイズがモデル数よりの大きい場合、推薦アイテムが選択される際に候補アイテムのランキング順に基づく重みが考慮される。

【0267】

〔４〕
候補アイテムごとの各モデルにおける予測値の統計値が候補アイテムの予測値とされる。予測値の降順に推薦アイテムが選択される。これにより、各モデルからバランスよく推薦アイテムとなる候補アイテムが選択される。

【0268】

〔５〕
各モデルから選択された1つ以上の推薦アイテムが含まれる複数の推薦アイテムから構成される候補リストが複数生成され、複数の候補リストのそれぞれについて、導入先の施設のドメインと各モデルのドメインとの属性の近さが異なる複数の評価値が算出される。評価条件ごと評価値の最小値が最大となる候補リストが抽出され、推薦アイテムリストとされる。これにより、候補リストの評価値に基づき、ドメインシフトに対してロバスト性能を有する推薦アイテムリストが抽出される。

【0269】

〔６〕
同一のユーザーに対して複数回の推薦アイテムリストを提供する場合に、各回の推薦アイテムリストにおける推薦アイテムの並び順が変えられる。これにより、対象のユーザーに対して平均的には一定の品質の推薦アイテムリストが提供される。

【0270】

〔７〕
ユーザーごとに推薦アイテムリストにおける推薦アイテムの並び順が変えられる。これにより、全てのユーザーに対して平均的には一定の品質の推薦アイテムリストが提供される。

【0271】

〔８〕
複数のモデルのうち、類似性が相対的に高い複数のモデルでは、それぞれの候補アイテムのいずれかが推薦アイテムとして選択される。これにより、各モデルからバランスよく推薦アイテムとなる候補アイテムが選択される。

【0272】

〔９〕
ユーザーの特性に応じて、候補リストのランキング順に応じた重みが変えられる。これにより、ユーザーの特性が考慮された候補リストの評価値が算出される。

【0273】

〔１０〕
複数のモデルのそれぞれは、互いに異なるドメインのデータセットを用いて学習がされる学習済みモデルが適用される。これにより、多種多様なドメインに対応し得る候補アイテムが取得される。

【0274】

〔１１〕
複数のモデルのそれぞれは、１つのドメインのデータセットおいて互いに異なる複数の特徴量セットを用いて学習がされる学習済みモデルが適用される。これにより、複数のドメインのデータセットが利用できない場合であっても、多種多様なドメインに対応し得る候補アイテムが取得される。

【0275】

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態の間で適宜組み合わせることができる。

【符号の説明】

【0276】

１０ 推薦システム
１２ 予測モデル
１４ モデル
１００ 情報処理装置
１０２ プロセッサ
１０４ コンピュータ可読媒体
１０６ 通信インターフェース
１０８ 入出力インターフェース
１１０ バス
１１２ メモリ
１１４ ストレージ
１２０ 推薦アイテムリスト生成プログラム
１４０ 候補アイテム記憶部
１４２ 推薦アイテムリスト記憶部
１５２ 入力装置
１５４ 表示装置
１６０ 候補アイテム取得部
１６２ 推薦アイテム選択部
１６４ 推薦アイテムリスト生成部
Ｄ１０１ ドメイン
Ｄ１０２ ドメイン
Ｄ１０３ ドメイン
ＤＳ１ データセット
ＤＳ２ データセット
ＤＳ３ データセット
ＤＳ１０１ データセット
ＤＳ１０２ データセット
ＤＳ１０３ データセット
ＤＳ１１０ データセット
ＤＳ１１２ データセット
Ｄｔｇ データ
ＩＴ 推薦アイテム
ＩＴ１ アイテム
ＩＴ２ アイテム
ＩＴ３ アイテム
ＩＴ１０１ 推薦アイテム
ＩＴ１０２ 推薦アイテム
ＩＴ１３１ 推薦アイテム
ＩＴ１３２ 推薦アイテム
ＩＴ１３３ 推薦アイテム
ＩＴ２０１ 推薦アイテム
ＩＴ２０２ 推薦アイテム
ＩＴ２０３ 推薦アイテム
ＩＴ２０４ 推薦アイテム
ＩＴ２０５ 推薦アイテム
ＩＴ２０６ 推薦アイテム
ＩＴ３０１ 推薦アイテム
ＩＴ３０２ 推薦アイテム
ＩＬ 推薦アイテムリスト
ＩＬ１００ 推薦アイテムリスト
ＩＬ１０２ 推薦アイテムリスト
ＩＬ１０４ 推薦アイテムリスト
ＩＬ１１０ 推薦アイテムリスト
ＩＬ１１２ 推薦アイテムリスト
ＩＬ１１４ 推薦アイテムリスト
ＩＬ１２０ 推薦アイテムリスト
ＩＬ１２２ 推薦アイテムリスト
ＩＬ１３６ 推薦アイテムリスト
ＩＬ１４０ 推薦アイテムリスト
ＩＬ１４２ 推薦アイテムリスト
Ｍ１ モデル
Ｍ２ モデル
Ｍ３ モデル
Ｍ１０１ モデル
Ｍ１０２ モデル
Ｍ１０３ モデル
Ｍ２０１ モデル
Ｍ２０２ モデル
ＰＩＬ１００ 候補リスト
ＰＩＬ１０２ 候補リスト
ＰＩＴ 候補アイテム
Ｓ１０からＳ１４ 情報処理方法の各工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】