特開2023-87609学習時間常微分方程式基盤の協業フィルタリング推薦装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087609
(43)【公開日】2023-06-23
(54)【発明の名称】学習時間常微分方程式基盤の協業フィルタリング推薦装置及び方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20230616BHJP
G06N 3/04 20230101ALI20230616BHJP
【ＦＩ】
G06N20/00
G06N3/04
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021215162
(22)【出願日】2021-12-28
(31)【優先権主張番号】10-2021-0177928
(32)【優先日】2021-12-13
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】514274672
【氏名又は名称】延世大学校 産学協力団
【氏名又は名称原語表記】ＹＯＮＳＥＩ ＵＮＩＶＥＲＳＩＴＹ，ＵＮＩＶＥＲＳＩＴＹ－ＩＮＤＵＳＴＲＹ ＦＯＵＮＤＡＴＩＯＮ（ＵＩＦ）
【住所又は居所原語表記】５０，ＹＯＮＳＥＩ－ＲＯ， ＳＥＯＤＡＥＭＵＮ－ＧＵ， ＳＥＯＵＬ ０３７２２， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】パク， ノ ソン
(72)【発明者】
【氏名】チェ， ジョン ホワン
(72)【発明者】
【氏名】ジョン， ジン ソン
(57)【要約】
【課題】学習時間常微分方程式基盤の協業フィルタリング推薦装置及び方法を提供する。
【解決手段】本発明の学習時間常微分方程式基盤の協業フィルタリング推薦装置は、第１及び第２の初期の埋め込みを生成する初期の埋め込み生成モジュールと、学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返す第１及び第２の常微分方程式処理部材を含む二重共振常微分方程式モジュールと、第１の前の埋め込み及び第１の前の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成モジュールと、を備える。
【選択図】図３
【解決手段】本発明の学習時間常微分方程式基盤の協業フィルタリング推薦装置は、第１及び第２の初期の埋め込みを生成する初期の埋め込み生成モジュールと、学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返す第１及び第２の常微分方程式処理部材を含む二重共振常微分方程式モジュールと、第１の前の埋め込み及び第１の前の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成モジュールと、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
第１及び第２の初期の埋め込みを生成する初期の埋め込み生成モジュールと、
学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返す第１及び第２の常微分方程式処理部材を含む二重共振常微分方程式モジュールと、
前記第１の前の埋め込み及び前記第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成モジュールと、を備えることを特徴とする学習時間常微分方程式基盤の協業フィルタリング推薦装置。
学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返す第１及び第２の常微分方程式処理部材を含む二重共振常微分方程式モジュールと、
前記第１の前の埋め込み及び前記第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成モジュールと、を備えることを特徴とする学習時間常微分方程式基盤の協業フィルタリング推薦装置。
【請求項2】
前記二重共振常微分方程式モジュールは、前記学習時間の特定の時点におけるユーザ埋め込みマトリックス（ｕ（ｔ））を前記第１の次の埋め込みに出力することを特徴とする請求項１に記載の学習時間常微分方程式基盤の協業フィルタリング推薦装置。
【請求項3】
前記二重共振常微分方程式モジュールは、前記学習時間の特定の時点におけるプロダクト埋め込みマトリックス（ｐ（ｔ））を前記第２の次の埋め込みに出力することを特徴とする請求項２に記載の学習時間常微分方程式基盤の協業フィルタリング推薦装置。
【請求項4】
前記二重共振常微分方程式モジュールは、前記ユーザ埋め込みマトリックスと前記プロダクト埋め込みマトリックスとで共振常微分方程式の集合を構成することを特徴とする請求項３に記載の学習時間常微分方程式基盤の協業フィルタリング推薦装置。
【請求項5】
前記二重共振常微分方程式モジュールは、ユーザにより設定可能な複数の離散的な時間で複数のユーザ埋め込みマトリックス（ｕ（ｔ１），ｕ（ｔ２），…，ｕ（ｔｎ））及び複数のプロダクト埋め込みマトリックス（ｐ（ｔ１），ｐ（ｔ２），…，ｐ（ｔｎ））を出力することを特徴とする請求項３に記載の学習時間常微分方程式基盤の協業フィルタリング推薦装置。
【請求項6】
前記二重共振常微分方程式モジュールは、第１及び第２の常微分方程式の各々を非－パラメータ的な非－時間依存的な常微分方程式で構成することを特徴とする請求項１に記載の学習時間常微分方程式基盤の協業フィルタリング推薦装置。
【請求項7】
前記最終の埋め込み生成モジュールは、複数の離散的な時間で生成された複数のユーザマトリックスを加重合算して前記第１の最終の埋め込みを生成し、前記複数の離散的な時間で生成された複数のプロダクトマトリックスを加重合算して前記第２の最終の埋め込みを生成することを特徴とする請求項１に記載の学習時間常微分方程式基盤の協業フィルタリング推薦装置。
【請求項8】
第１及び第２の初期の埋め込みを生成する初期の埋め込み生成ステップと、
第１及び第２の常微分方程式処理部材を通じて、学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返すステップを含む二重共振常微分方程式ステップと、
前記第１の前の埋め込み及び前記第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成ステップと、を有することを特徴とする学習時間常微分方程式基盤の協業フィルタリング推薦方法。
第１及び第２の常微分方程式処理部材を通じて、学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返すステップを含む二重共振常微分方程式ステップと、
前記第１の前の埋め込み及び前記第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成ステップと、を有することを特徴とする学習時間常微分方程式基盤の協業フィルタリング推薦方法。
【請求項9】
前記二重共振常微分方程式ステップは、前記学習時間の特定の時点におけるユーザ埋め込みマトリックス（ｕ（ｔ））を前記第１の次の埋め込みに出力するステップを含むことを特徴とする請求項８に記載の学習時間常微分方程式基盤の協業フィルタリング推薦方法。
【請求項10】
前記二重共振常微分方程式ステップは、前記学習時間の特定時点におけるプロダクト埋め込みマトリックス（ｐ（ｔ））を前記第２の次の埋め込みに出力するステップを含むことを特徴とする請求項９に記載の学習時間常微分方程式基盤の協業フィルタリング推薦方法。
【請求項11】
前記二重共振常微分方程式ステップは、前記ユーザ埋め込みマトリックスと前記プロダクト埋め込みマトリックスとで共振常微分方程式の集合を構成するステップを含むことを特徴とする請求項１０に記載の学習時間常微分方程式基盤の協業フィルタリング推薦方法。
【請求項12】
前記二重共振常微分方程式ステップは、ユーザにより設定可能な複数の離散的な時間で複数のユーザ埋め込みマトリックス（ｕ（ｔ１），ｕ（ｔ２），…，ｕ（ｔｎ））及び複数のプロダクト埋め込みマトリックス（ｐ（ｔ１），ｐ（ｔ２），…，ｐ（ｔｎ））を出力するステップを含むことを特徴とする請求項１０に記載の学習時間常微分方程式基盤の協業フィルタリング推薦方法。
【請求項13】
前記二重共振常微分方程式ステップは、第１及び第２の常微分方程式の各々を非－パラメータ的な非－時間依存的な常微分方程式で構成するステップを含むことを特徴とする請求項８に記載の学習時間常微分方程式基盤の協業フィルタリング推薦方法。
【請求項14】
前記最終の埋め込み生成ステップは、複数の離散的な時間で生成された複数のユーザマトリックスを加重合算して前記第１最終埋め込みを生成し、前記複数の離散的な時間で生成された複数のプロダクトマトリックスを加重合算して前記第２の最終の埋め込みを生成するステップを含むことを特徴とする請求項８に記載の学習時間常微分方程式基盤の協業フィルタリング推薦方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習基盤の推薦技術に関し、より詳しくは、ニューラルＯＤＥに基づいて線形ＧＣＮを再設計して協業フィルタリング性能を改善する学習時間常微分方程式（Ｌｅａｒｎａｂｌｅ－Ｔｉｍｅ Ｏｒｄｉｎａｒｙ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅｑｕａｔｉｏｎ）基盤の協業フィルタリング推薦装置及び方法に関する。
【背景技術】
【0002】
パターン（ｐａｔｔｅｒｎ）からユーザの選好度（ｐｒｅｆｅｒｅｎｃｅ）を予測する協業フィルタリング（Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ：ＣＦ）は推薦システム分野の長い間の研究課題のうちの１つである。また、ユーザ及びプロダクト埋め込みベクトルを各々学習して推薦するために、これらの間の内積（ｄｏｔ－ｐｒｏｄｕｃｔ）を計算することは一般的な方法に該当する。行列因数分解（ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ）は推薦システム分野でよく知られたアプローチ方式のうちの１つであって、多様な応用事例も提案されてきた。
【0003】
最近、協業フィルタリングの目的達成のためにグラフ畳み込みネットワーク（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ：ＧＣＮ）に関心が集中している。ＧＣＮはＣＦ関連グラフだけではなく、他の一般のグラフも処理するために提案されており、スペクトルＧＣＮ（ｓｐｅｃｔｒａｌ ＧＣＮ）及び空間ＧＣＮ（ｓｐａｔｉａｌ ＧＣＮ）の２つの類型に大別される。ＣＦのためのＧＣＮはＣＦに対する適合性（ａｐｐｒｏｐｒｉａｔｅｎｅｓｓ）によって最初の類型に該当する。しかし、ＣＦのための最適のＧＣＮアーキテクチャが何かに対しては相変らず研究を必要とする状況である。
【0004】
ニューラル常微分方程式（Ｎｅｕｒａｌ Ｏｒｄｉｎａｒｙ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅｑｕａｔｉｏｎｓ：ＮＯＤＥ）はデータで暗示的な微分方程式（ｉｍｐｌｉｃｉｔ ｄｉｆｆｅｒｅｎｔｉａｌ ｅｑｕａｔｉｏｎｓ）を学習するためのものである。ＮＯＤＥは、ｔ１＞ｔ０の場合、ｈ（ｔ０）からｈ（ｔ１）を誘導するために
を計算する。ここで、ｆは
に近似するθｆにより媒介変数化された神経網に該当する。この際、θｆはデータから学習され、これは
がやはりデータから学習されることを示す。また、変数ｔは神経網で階層概念（ｌａｙｅｒ ｃｏｎｃｅｐｔ）を示す時間変数（ｔｉｍｅ ｖａｒｉａｂｌｅ）に該当する。ｔは、既存の神経網で負ではない整数（ｎｏｎ－ｎｅｇａｔｉｖｅ ｉｎｔｅｇｅｒ）に該当する一方、ＮＯＤＥでは任意の負ではない実数（ｎｏｎ－ｎｅｇａｔｉｖｅ ｒｅａｌ ｎｕｍｂｅｒ）になる。このような側面で、ＮＯＤＥは神経網の継続的な一般化（ｃｏｎｔｉｎｕｏｕｓ ｇｅｎｅｒａｌｉｚａｔｉｏｎ）と見なされる
【0005】
一方、多様なＯＤＥソルバー（ｓｏｌｖｅｒ）は、積分問題（ｉｎｔｅｇｒａｌ ｐｒｏｂｌｅｍ）を解き、多様な神経網アーキテクチャを一般化する。例えば、残差連結（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）の一般的な形態はｈ（ｔ＋１）＝ｈ（ｔ）＋ｆ（ｈ（ｔ）；θ）のように表され、これはＯＤＥ問題を解決するためのオイラー陽解法（ｅｘｐｌｉｃｉｔ Ｅｕｌｅｒ ｍｅｔｈｏｄ）に対応する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】韓国公開特許第１０－２０２１－００３１１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、ニューラルＯＤＥに基づいて線形ＧＣＮを再設計して協業フィルタリング性能を改善する学習時間常微分方程式基盤の協業フィルタリング推薦装置及び方法を提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するためになされた本発明の一態様による学習時間常微分方程式（Ｌｅａｒｎａｂｌｅ－Ｔｉｍｅ Ｏｒｄｉｎａｒｙ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅｑｕａｔｉｏｎ）基盤の協業フィルタリング推薦装置は、第１及び第２の初期の埋め込みを生成する初期の埋め込み生成モジュールと、学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返す第１及び第２の常微分方程式処理部材を含む二重共振常微分方程式モジュールと、前記第１の前の埋め込み及び前記第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成モジュールと、を備える。
【0009】
前記二重共振常微分方程式モジュールは、前記学習時間の特定時点におけるユーザ埋め込みマトリックス（ｕ（ｔ））を前記第１の次の埋め込みに出力し得る。
【0010】
前記二重共振常微分方程式モジュールは、前記学習時間の特定時点におけるプロダクト埋め込みマトリックス（ｐ（ｔ））を前記第２の次の埋め込みに出力し得る。
【0011】
前記二重共振常微分方程式モジュールは、前記ユーザ埋め込みマトリックスと前記プロダクト埋め込みマトリックスとで共振常微分方程式の集合を構成し得る。
【0012】
前記二重共振常微分方程式モジュールは、ユーザにより設定可能な複数の離散的な時間で複数のユーザ埋め込みマトリックス（ｕ（ｔ１），ｕ（ｔ２），…，ｕ（ｔｎ））及び複数のプロダクト埋め込みマトリックス（ｐ（ｔ１），ｐ（ｔ２），…，ｐ（ｔｎ））を出力し得る。
【0013】
前記二重共振常微分方程式モジュールは、第１及び第２の常微分方程式の各々を非－パラメータ的な非－時間依存的な常微分方程式で構成し得る。
【0014】
前記最終の埋め込み生成モジュールは、複数の離散的な時間で生成された複数のユーザマトリックスを加重合算して前記第１の最終の埋め込みを生成し、前記複数の離散的な時間で生成された複数のプロダクトマトリックスを加重合算して前記第２の最終の埋め込みを生成し得る。
【0015】
上記目的を達成するためになされた本発明の一態様による学習時間常微分方程式（Ｌｅａｒｎａｂｌｅ－Ｔｉｍｅ Ｏｒｄｉｎａｒｙ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅｑｕａｔｉｏｎ）基盤の協業フィルタリング推薦方法は、第１及び第２の初期の埋め込みを生成する初期の埋め込み生成ステップと、第１及び第２の常微分方程式処理部材を通じて、学習時間が経過するにつれて、初期に前記第１及び第２の初期の埋め込みに各々該当する第１及び第２の前の埋め込みの各々の入力を受けて相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返すステップを含む二重共振常微分方程式ステップと、前記第１の前の埋め込み及び前記第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、前記第２の前の埋め込み及び前記第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する最終の埋め込み生成ステップと、を有する。
【0016】
前記二重共振常微分方程式ステップは、前記学習時間の特定時点におけるユーザ埋め込みマトリックス（ｕ（ｔ））を前記第１の次の埋め込みに出力するステップを含み得る。
【0017】
前記二重共振常微分方程式ステップは、前記学習時間の特定時点におけるプロダクト埋め込みマトリックス（ｐ（ｔ））を前記第２の次の埋め込みに出力するステップを含み得る。
【0018】
前記二重共振常微分方程式ステップは、前記ユーザ埋め込みマトリックスと前記プロダクト埋め込みマトリックスとで共振常微分方程式の集合を構成するステップを含み得る。
【0019】
前記二重共振常微分方程式ステップは、ユーザにより設定可能な複数の離散的な時間で複数のユーザ埋め込みマトリックス（ｕ（ｔ１），ｕ（ｔ２），…，ｕ（ｔｎ））及び複数のプロダクト埋め込みマトリックス（ｐ（ｔ１），ｐ（ｔ２），…，ｐ（ｔｎ））を出力し得る。
【0020】
前記二重共振常微分方程式ステップは、第１及び第２の常微分方程式の各々を非－パラメータ的な非－時間依存的な常微分方程式で構成するステップを含み得る。
【0021】
前記最終の埋め込み生成ステップは、複数の離散的な時間で生成された複数のユーザマトリックスを加重合算して前記第１の最終の埋め込みを生成し、前記複数の離散的な時間で生成された複数のプロダクトマトリックスを加重合算して前記第２の最終の埋め込みを生成するステップを含み得る。
【発明の効果】
【0022】
開示する技術は、次の効果を有する。但し、特定の実施形態が次の効果を全部含まなければならないか、又は次の効果のみを含まなければならないという意味ではないため、開示する技術の権利範囲はこれによって制限されるものと理解してはならない。
【0023】
本発明の学習時間常微分方程式基盤の協業フィルタリング推薦装置及び方法によれば、ニューラルＯＤＥに基づいて線形ＧＣＮを再設計して協業フィルタリング性能を改善することができる。
【0024】
また、本発明の学習時間常微分方程式基盤の協業フィルタリング推薦装置及び方法によれば、ソーシャルネットワーク、アイテム知識グラフ、コンテクスト認知推薦のような構造的情報が込められたドメインでユーザ行動を利用することに有用である。
【0025】
更に、本発明の学習時間常微分方程式基盤の協業フィルタリング推薦装置及び方法によれば、ユーザ－アイテムグラフとアイテム知識グラフとを統合してユーザとアイテムとの間の知識認知連結を設定して、アイテム選択時のユーザの意思決定プロセスに寄与することができる。
【図面の簡単な説明】
【0026】
【図1】本発明による協業フィルタリング推薦システムを説明する図である。
【図2】本発明による協業フィルタリング推薦装置のシステム構成を説明する図である。
【図3】本発明による協業フィルタリング推薦装置の機能的構成を説明する図である。
【図4】本発明による学習時間常微分方程式基盤の協業フィルタリング推薦方法を説明するフローチャートである。
【図5a】ＬｉｇｈｔＧＣＮ及び本発明による方法（ＬＴ－ＯＣＦ）の全体アーキテクチャを説明する図である。
【図5b】ＬｉｇｈｔＧＣＮ及び本発明による方法（ＬＴ－ＯＣＦ）の全体アーキテクチャを説明する図である。
【図6】ＮＯＤＥでのマッピングを説明する図である。
【図7】ＮＯＤＥの一般的なアーキテクチャを説明する図である。
【図8】オイラー陽解法及びＲＫ４の特定ステップを説明する図である。
【図9】本発明による二重共振ＯＤＥを説明する図である。
【図10】多様なソルバーでの内部及び外部連結を説明する図である。
【図11】本発明による学習アルゴリズムを説明する図である。
【図12】本発明に関する実験に使われたデータセットを説明する図である。
【図13】モデル同士間の性能比較実験結果を説明する図である。
【図14】Ｇｏｗａｌｌａデータセットに対する実験結果を説明する図である。
【図15】Ｙｅｌｐ２０１８データセットに対する実験結果を説明する図である。
【図16】Ａｍａｚｏｎ－Ｂｏｏｋデータセットに対する実験結果を説明する図である。
【発明を実施するための形態】
【0027】
この発明は、下記の研究課題をもって支援を受けて出願された。
〔この発明を支援した国家研究開発事業〕
〔課題固有番号〕 １７１１１２６０８２
〔課題番号〕 ２０２０－０－０１３６１－００２
〔省庁名〕 科学技術情報通信部
〔課題管理（専門）機関名〕 情報通信企画評価院
〔研究事業名〕 情報通信放送革新人材養成（Ｒ＆Ｄ）
〔研究課題名〕 人工知能大学院支援（延世大学）
〔貢献率〕 １／１
〔課題遂行機関名〕 延世大学産学協力団
〔研究期間〕 ２０２１．０１．０１～２０２１．１２．３１
本発明に関する説明は構造的又は機能的説明のための実施形態に過ぎないため、本発明の権利範囲は本文に説明する実施形態によって制限的に解釈してはならない。即ち、実施形態は、多様な変更が可能であり、多様な形態を有することができるため、本発明の権利範囲は技術的思想を実現することができる均等物を含むものとして理解されなければならない。また、本発明で提示する目的又は効果は、特定の実施形態がこれを全部含まなければならないとか、又はそのような効果のみを含まなければならないという意味ではないため、本発明の権利範囲はこれによって制限されるものとして理解してはならない。
〔この発明を支援した国家研究開発事業〕
〔課題固有番号〕 １７１１１２６０８２
〔課題番号〕 ２０２０－０－０１３６１－００２
〔省庁名〕 科学技術情報通信部
〔課題管理（専門）機関名〕 情報通信企画評価院
〔研究事業名〕 情報通信放送革新人材養成（Ｒ＆Ｄ）
〔研究課題名〕 人工知能大学院支援（延世大学）
〔貢献率〕 １／１
〔課題遂行機関名〕 延世大学産学協力団
〔研究期間〕 ２０２１．０１．０１～２０２１．１２．３１
本発明に関する説明は構造的又は機能的説明のための実施形態に過ぎないため、本発明の権利範囲は本文に説明する実施形態によって制限的に解釈してはならない。即ち、実施形態は、多様な変更が可能であり、多様な形態を有することができるため、本発明の権利範囲は技術的思想を実現することができる均等物を含むものとして理解されなければならない。また、本発明で提示する目的又は効果は、特定の実施形態がこれを全部含まなければならないとか、又はそのような効果のみを含まなければならないという意味ではないため、本発明の権利範囲はこれによって制限されるものとして理解してはならない。
【0028】
一方、本明細書で記述する用語の意味は、次のように理解されるべきである。
【0029】
“第１”、“第２”などの用語は、１つの構成要素を他の構成要素から区別するためのものであって、これらの用語により権利範囲が限定されてはならない。例えば、第１構成要素は第２構成要素として命名されることがあり、同様に第２構成要素も第１構成要素として命名され得る。
【0030】
ある構成要素が他の構成要素に“連結されて”いると言及する場合には、他の構成要素に直接的に連結されることもあるが、中間に他の構成要素が存在することもあると理解すべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いると言及する場合には、中間に他の構成要素が存在しないものと理解すべきである。一方、構成要素の間の関係を説明する他の表現、即ち“～間に”と“直ぐ～間に”、又は“～に隣り合う”と“～に直接隣り合う”なども同様に解釈すべきである。
【0031】
単数の表現は、文脈上明白に異なる意味を有しない限り、複数の表現を含むものと理解すべきであり、“含む”又は“有する”などの用語は、実施される特徴、数字、ステップ、動作、構成要素、部分品、又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品、又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものと理解すべきである。
【0032】
各ステップにおいて、識別符号（例えば、ａ、ｂ、ｃなど）は説明の便宜のために使われるものであって、識別符号は各ステップの順序を説明するものではなく、各ステップは、文脈上明白に特定順序を記載しない以上、明記した順序とは異なるように起こることがある。即ち、各ステップは、明記した順序と同一に起こることもあり、実質的に同時に遂行されることもあり、反対の順に遂行されることもある。
【0033】
本発明は、コンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードとして具現され、コンピュータ読み取り可能な記録媒体はコンピュータシステムにより読み取り可能なデータが格納される全ての種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがある。また、コンピュータ読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータ読み取り可能なコードが格納されて実行される。
【0034】
ここに使われる全ての用語は、異なるように定義されない限り、本発明が属する分野で通常の知識を有する者により一般的に理解されるものと同一な意味を有する。一般的に使われる予め定義されている用語は、関連技術の文脈上の意味に一致するものとして解釈されなければならず、本明細書で明白に定義しない限り、理想的であるか、又は過度に形式的な意味を有するものとして解釈されない。
【0035】
先ず、ニューラルＯＤＥ（Ｎｅｕｒａｌ ＯＥＤ：ＮＯＤＥ）について説明する。
【0036】
ＮＯＤＥは、次の数式１のように表されるリーマン積分問題を解決することによって、ｈ（ｔｉ）からｈ（ｔｉ＋１）を計算する。
【0037】
【数1】
【0038】
ここで、θｆにより媒介変数化されたＯＤＥ関数ｆはｈの時間導関数（ｔｉｍｅ－ｄｅｒｉｖａｔｉｖｅ）に近似する神経網に該当する。即ち、
である。該当問題を解決するために、既存のＯＤＥソルバーが活用される。例えば、オイラー陽解法（ｅｘｐｌｉｃｉｔ Ｅｕｌｅｒ ｍｅｔｈｏｄ）、Ｄｏｒｍａｎｄ－Ｐｒｉｎｃｅ（ＤＯＰＲＩ）の方法などがこれに該当する。
【0039】
【0040】
ＮＯＤＥは、トポロジーを維持しながらダウンストリームタスク（ｄｏｗｎｓｔｒｅａｍ ｔａｓｋ）を遂行し、敵対的攻撃（ａｄｖｅｒｓａｒｉａｌ）及び分布外の入力（ｏｕｔ－ｏｆ－ｄｉｓｔｒｉｂｕｔｉｏｎ ｉｎｐｕｔｓ）に対する堅固性（ｒｏｂｕｓｔｎｅｓｓ）を向上させる。ＮＯＤＥに関する該当特性は、充分な情報がない場合、信頼されるユーザ／プロダクト表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ）、即ち埋め込みを学習することに適合する。
【0041】
逆伝播方法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ ｍｅｔｈｏｄ）の代りに、効率性及び理論的正確性が立証された隣接敏感度方法（ａｄｊｏｉｎｔ ｓｅｎｓｉｔｉｖｉｔｙ ｍｅｔｈｏｄ）が使われる。作業特化された損失（ｔａｓｋ－ｓｐｅｃｉｆｉｃ ｌｏｓｓ）Ｌに対し、
を定義した後、次の数式１－１のように、他の逆モード積分（ｒｅｖｅｒｓｅ－ｍｏｄｅ ｉｎｔｅｇｒａｌ）を使用してモデルパラメータに関する損失傾き（ｇｒａｄｉｅｎｔ ｏｆ ｌｏｓｓ）が計算される。
【0042】
【数1-1】
【0043】
本発明による学習方法を設計するために隣接敏感度方法を修正する。即ち、修正された方法を使用してレイヤ組み合わせ（ｌａｙｅｒ ｃｏｍｂｉｎａｔｉｏｎ）を構成するためのユーザ／プロダクト埋め込み及び時点｛ｔ１，ｔ２，…，｝を全て学習する
【0044】
一方、ＮＯＤＥは神経網を構築する際に必要とする媒介変数の個数を減らし、既存の神経網では離散的な時間変数ｔを連続的なものとして解析する。図７に、ＮＯＤＥの一般的なアーキテクチャを示す。図７で、ダウンストリーム分類作業を仮定すると、ｈ（０）を提供する特徴抽出レイヤ（ｆｅａｔｕｒｅ ｅｘｒａｃｔｉｏｎ ｌａｙｅｒ）が含まれ、ｈ（１）は上記の方法により計算される。但し、本発明の場合、分類作業ではない協業フィルタリング作業に適用される点で二重共同進化ＯＤＥ（ｄｕａｌ ｃｏ－ｅｖｏｌｖｉｎｇ ＯＤＥ）のみを含む図５ｂのアーキテクチャが適用される。
【0045】
以下、残差／稠密連結（Ｒｅｓｉｄｕａｌ／Ｄｅｎｓｅ Ｃｏｎｎｅｃｔｉｏｎ）とＯＤＥソルバー（ＯＤＥ ｓｏｌｖｅｒ）との間の類似性について説明する。ＯＤＥソルバーは、時間変数ｔを離散化（ｄｉｓｃｒｅｔｉｚｅ）し、積分を多数のステップの足し算に変換する。例えば、オイラー陽解法は特定ステップで次の数式２のように表される。
【0046】
【数2】
【0047】
ここで、ｓは一般的に１よりも小さく、オイラー方法の構成されたステップの大きさ（ｓｔｅｐ ｓｉｚｅ）である。上記数式２はｓ＝１の場合、残差連結と同一である。
【0048】
他のＯＤＥソルバーは、ｈ（ｔ）からｈ（ｔ＋ｓ）をアップデートするために、より複雑な方法を使用する。例えば、４次Ｒｕｎｇｅ－Ｋｕｔｔａ（ＲＫ４）方法は次の数式３で表される方法を使用する。
【0049】
【数3】
【0050】
ここで、
である。
【0051】
稠密畳み込みネットワーク（ＤｅｎｓｅＮｅｔｓ）及びフラクタル神経網（ＦｒａｃｔａｌＮｅｔ）がＲＫ４に類似するということも知られている（オイラー陽解法に対する残差ネットワークも同様である）。しかし、一般性を維持しながら単純性のために実施例としてオイラー陽解法が使われる。
【0052】
更に他のＯＤＥソルバーは、次の数式４のように表される暗示的Ａｄａｍｓ－Ｍｏｕｌｔｏ方法である。
【0053】
【数4】
【0054】
ここで、
である。
【0055】
該当暗示的方法は、ｉ）過去の多ステップ記録（ｍｕｌｔｉ－ｓｔｅｐ ｈｉｓｔｏｒｙ）、即ちｆ３及びｆ４を使用してより剛健な導関数項（ｄｅｒｉｖａｔｉｖｅ ｔｅｒｍ）を計算し、ｉｉ）多ステップ記録と共にｆ１を使用するという点で上述した明示的ソルバーとは相違する。しかし、ｔ時点ではｈ（ｔ＋ｓ）を計算する前であるため、ｆ１に対して単純に評価できない。ｈ（ｔ＋ｓ）を計算するためにＮｅｗｔｏｎ方法のような方法が使われる。ｆ１の使用はＯＤＥを解くための数値的方法分野で暗示的（ｉｍｐｌｉｃｉｔ）である。また、実験のために全ての高級ソルバーが考慮され、これを通じてグラフ基盤ＣＦを二重共振ＯＤＥに公式化する。
【0056】
以下、協業フィルタリング（ＣＦ）について説明する。
【0057】
【0058】
ユーザ－プロダクト関係は、二部グラフで示されるため、最近にはＣＦにＧＣＮを採択している。ＮＧＣＦは最も広く使われるＧＣＮ基盤のＣＦ方法のうちの１つである。ユーザ埋め込み空間からプロダクト埋め込み空間に又はその反対に変換するために、非線形活性化（ｎｏｎ－ｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ）及び変換行列（ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）を使用する。各レイヤでのユーザ及びプロダクト埋め込みはレイヤ組み合わせでのように抽出される。
【0059】
しかし、相互間の合算（ｓｕｍ）を遂行する代わりに、相互連結される。また、全体アーキテクチャは標準ＧＣＮに類似する。しかし、一般のグラフ基盤のダウンストリームタスクとＣＦとの間の環境的な差によってＣＦで非線形活性化及び埋め込み空間変換（ｅｍｂｅｄｄｉｎｇ ｓｐａｃｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）が必要でないことがある。即ち、他のグラフ基盤の作業には高次元ノード特徴（ｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌ ｎｏｄｅ ｆｅａｔｕｒｅ）のような豊富な情報（ａｂｕｎｄａｎｔ ｉｎｆｏｒｍａｔｉｏｎ）が含まれる。しかし、ＣＦには追加特徴無しで二部グラフ（ｂｉｐａｒｔｉｔｅ ｇｒａｐｈ）が含まれる場合が多い。甚だしくは、グラフはＣＦで非常に稀疎である。その差によって非線形ＧＣＮは学習グラフに容易に過適合（ｏｖｅｒ ｆｉｔ）され、これを防止する多様な対策にも拘わらず、テスト正確度が普通である場合が多い。また、ユーザとプロダクト埋め込み空間との間の変換がＣＦで助けにならないことがある。
【0060】
ＮＧＣＦの後、幾つかの方法が提案されており、そのうち、特に最近に開発されたＬｉｇｈｔＧＣＮはグラフ基盤方法として多くのデータセットで最先端正確度を示す。また、レイヤ組み合わせがある線形ＧＣＮが多い設計選択のうち、最もよく作動することを示す。線形グラフ畳み込みレイヤの定義は、次の数式５のように表される。
【0061】
【数5】
【0062】
ここで、
はプロダクトからユーザへのグラフの正規化された隣接行列であり、
も同一な方式により定義され、ユーザでプロダクトの場合である。ＬｉｇｈｔＧＣＮはＥｕ
０及びとＥｐ
０して表される初期の埋め込みを学習し、次の数式６のように表されるレイヤ組み合わせを使用する。
【0063】
【数6】
【0064】
ここで、Ｋはレイヤの個数であり、ｗｉは係数であり、Ｅｕ
ｆｉｎａｌ及びＥｐ
ｆｉｎａｌは各々最終の埋め込みである。
【0065】
本発明による方法、ＬｉｇｈｔＧＣＮなどを含んだＣＦ方法は、ユーザ及びプロダクトの初期の埋め込み（及び、モデル媒介変数がある場合）を学習する。一連のＫグラフ畳み込みレイヤの後、グラフ基盤のＣＦアルゴリズムはＥｕ
ｆｉｎａｌ及びＥｐ
ｆｉｎａｌを導出し、内積（ｄｏｔ ｐｒｏｄｕｃｔ）を使用してｒｕ，ｉを予測する。この際、ｒｕ，ｉは全てのｕ、ｉに対してプロダクトｉに対するユーザｕの評価（又は、ランキング点数）である。一般的に、次の数式７のように表されるベイジアン個人化ランキング（ＢＰＲ）損失を使用してＣＦ分野で初期の埋め込みベクトル（及びモデル媒介変数がある場合）を学習する。
【0066】
【数7】
【0067】
ここで、Ｎｕはｕに隣接するプロダクトの集合、σは非線形活性化、
は連結演算子（ｃｏｎｃａｔｅｎａｔｉｏｎ ｏｐｅｒａｔｏｒ）である。この際、σにはｓｏｆｔｐｌｕｓが使われる。
【0068】
以下、線形ＧＣＮ（Ｌｉｎｅａｒ ＧＣＮ）及びニュートンの冷却法則（Ｎｅｗｔｏｎ’ｓ Ｌａｗ ｏｆ Ｃｏｏｌｉｎｇ）について説明する。
【0069】
実際に、上記数式５は、熱拡散過程の法則（ｌａｗ ｏｆ ｔｈｅｒｍａｌ ｄｉｆｆｕｓｉｖｅ ｐｒｏｃｅｓｓｅｓ）、即ちニュートンの冷却法則を説明する熱方程式（ｈｅａｔ ｅｑｕａｔｉｏｎ）に類似する。熱方程式は次の数式８のように表される。
【0070】
【数8】
【0071】
ここで、△はラプラス演算子（Ｌａｐｌａｃｅ ｏｐｅｒａｔｏｒ）であり、Ｈτは時間ｔでグラフ又は離散グリッド（ｄｉｓｃｒｅｔｅ ｇｒｉｄ）のノード温度を含む熱ベクトル（ｃｏｌｕｍｎ ｖｅｃｔｏｒ）である。ラプラス演算子△は単純にラプラシアン行列（Ｌａｐｌａｃｉａｎ ｍａｔｒｉｘ）又は正規化された隣接行列（ｎｏｒｍａｌｉｚｅｄ ａｄｊａｃｅｎｃｙ ｍａｔｒｉｘ）との行列掛け算である。
【0072】
従って、Ｅｕ
ｉ及びＥｐ
ｉの各要素を温度値として解析すると、上記数式５の右辺は上記数式８のように表される。なぜなら、Ｅｕ
ｉ及びＥｐ
ｉはＤ次元ベクトルであるため、Ｄ個互いに異なる拡散過程が上記数式５に存在するものと見なすことができるためである。これに関連して、ＬｉｇｈｔＧＣＮは離散熱拡散プロセス（ｄｉｓｃｒｅｔｅ ｔｈｅｒｍａｌ ｄｉｆｆｕｓｉｖｅ ｐｒｏｃｅｓｓｅ）をモデリングする一方、本発明による方法は連続熱拡散プロセス（ｏｎｔｉｎｕｏｕｓ ｔｈｅｒｍａｌ ｄｉｆｆｕｓｉｖｅ ｐｒｏｃｅｓｓｅ）を説明する。
【0073】
【0074】
図１は、本発明による協業フィルタリング推薦システムを説明する図である。
【0075】
図１を参照すると、協業フィルタリング推薦システム１００は本発明による学習時間常微分方程式基盤の協業フィルタリング推薦方法を実行するように具現される。このために、協業フィルタリング推薦システム１００は、ユーザ端末１１０、協業フィルタリング推薦装置１３０、及びデータベース１５０を含む。
【0076】
ユーザ端末１１０は、ユーザにより運用される端末装置に該当する。例えば、ユーザはユーザ端末１１０を通じてデータ生成及び学習に関する動作を処理する。本実施形態で、ユーザは１つ以上のユーザとして理解され、複数のユーザは１つ以上のユーザグループに区分される。
【0077】
また、ユーザ端末１１０は、協業フィルタリング推薦システム１００を構成する１つの装置であって、協業フィルタリング推薦装置１３０と連動して動作するコンピューティング装置に該当する。例えば、ユーザ端末１１０は、協業フィルタリング推薦装置１３０に連結されて動作可能なスマートフォン、ノートブック、又はコンピュータで具現されるが、必ずしもこれに限定されず、タブレットＰＣなどを含んで多様なデバイスでも具現される。また、ユーザ端末１１０は協業フィルタリング推薦装置１３０と連動するための専用プログラム又はアプリケーション（又は、アプリ、ａｐｐ）をインストールして実行することができる。
【0078】
協業フィルタリング推薦装置１３０は、本発明による学習時間常微分方程式基盤の協業フィルタリング推薦方法を遂行するコンピュータ又はプログラムに該当するサーバで具現される。また、協業フィルタリング推薦装置１３０は、ユーザ端末１１０と有線ネットワーク又はブルートゥース（登録商標）、ＷｉＦｉ、ＬＴＥなどの無線ネットワークにより連結され、ネットワークを介してユーザ端末１１０とデータを送受信する。また、協業フィルタリング推薦装置１３０は、関連動作を遂行するために独立した外部システム（図１に図示せず）に連結されて動作するように具現される。
【0079】
データベース１５０は、協業フィルタリング推薦装置１３０の動作過程で必要とする多様な情報を格納する格納装置に該当する。例えば、データベース１５０は学習過程に使われる学習データに関する情報を格納し、学習のためのモデルや学習アルゴリズムに関する情報を格納するが、必ずしもこれに限定されず、協業フィルタリング推薦装置１３０は本発明による学習時間常微分方程式基盤の協業フィルタリング推薦方法を遂行する過程で多様な形態に収集又は加工された情報を格納することができる。
【0080】
一方、図１で、データベース１５０は協業フィルタリング推薦装置１３０とは独立的な装置として図示しているが、必ずしもこれに限定されず、論理的な格納装置として協業フィルタリング推薦装置１３０に含まれて具現することができることは勿論である。
【0081】
図２は、本発明による協業フィルタリング推薦装置のシステム構成を説明する図である。
【0082】
図２を参照すると、協業フィルタリング推薦装置１３０は、プロセッサ２１０、メモリ２３０、ユーザ入出力部２５０、及びネットワーク入出力部２７０を含む。
【0083】
プロセッサ２１０は、本発明による学習時間常微分方程式基盤の協業フィルタリング推薦プロシージャを実行し、このような過程で読み取り又は作成されるメモリ２３０を管理し、メモリ２３０にある揮発性メモリと不揮発性メモリとの間の同期化時間をスケジュールする。プロセッサ２１０は、協業フィルタリング推薦装置１３０の動作の全般を制御し、メモリ２３０、ユーザ入出力部２５０、及びネットワーク入出力部２７０に電気的に連結されて、これらの間のデータの流れを制御する。プロセッサ２１０は、協業フィルタリング推薦装置１３０のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で具現される。
【0084】
メモリ２３０は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のような不揮発性メモリで具現されて協業フィルタリング推薦装置１３０に必要なデータの全般を格納することに使われる補助記憶装置を含み、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリで具現された主記憶装置を含む。また、メモリ２３０は、電気的に連結されたプロセッサ２１０により実行されることによって、本発明による学習時間常微分方程式基盤の協業フィルタリング推薦方法を実行する命令の集合を格納する。
【0085】
ユーザ入出力部２５０は、ユーザの入力を受信するための環境及びユーザに特定の情報を出力するための環境を含み、例えば、タッチパッド、タッチスクリーン、画像キーボード、又はポインティング装置のようなアダプタを含む入力装置及びモニタ、又はタッチスクリーンのようなアダプタを含む出力装置を含む。一実施形態で、ユーザ入出力部２５０は、遠隔接続を通じて接続されるコンピューティング装置に該当し、そのような場合、協業フィルタリング推薦装置１３０は独立的なサーバとして遂行される。
【0086】
ネットワーク入出力部２７０は、ネットワークを介してユーザ端末１１０に連結されるための通信環境を提供し、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及びＶＡＮ（Ｖａｌｕｅ Ａｄｄｅｄ Ｎｅｔｗｏｒｋ）などの通信のためのアダプタを含む。また、ネットワーク入出力部２７０はデータの無線転送のためにＷｉＦｉ、ブルートゥース（登録商標）などの近距離通信機能や４Ｇ以上の無線通信機能を提供するように具現される。
【0087】
図３は、本発明による協業フィルタリング推薦装置の機能的構成を説明する図である。
【0088】
図３を参照すると、協業フィルタリング推薦装置１３０は、連続的で学習可能な時間変数ｔを基にしてユーザ及びプロダクト埋め込みに関する共振ＯＤＥ（ｃｏ－ｅｖｏｌｕｔｉｏｎａｌｙ ＯＤＥｓ）を含んで具現される。図５ｂに、本発明による方法（ＬＴ－ＯＣＦ）の全体アーキテクチャを示す。協業フィルタリング推薦装置１３０は、二重ＯＤＥ階層に基づいたＬＴ－ＯＣＦを具現する過程で時間変数ｔを連続階層変数（ｃｏｎｔｉｎｕｏｕｓ ｌａｙｅｒ ｖａｒｉａｂｌｅ）として解析する。即ち、ＬＴ－ＯＣＦはｔの連続的な特性を用いてより柔軟なアーキテクチャを構築することができる一方、ＬｉｇｈｔＧＣＮ及び既存のＧＣＮ基盤のＣＦ方法は予め決定された個別アーキテクチャを使用する。また、ＬＴ－ＯＣＦはｔに対して全ての正の実数を使用することができ、このような数字は、本発明の場合、学習が可能である。
【0089】
このための論理的構成として、協業フィルタリング推薦装置１３０は、初期の埋め込み生成モジュール３１０、二重共振常微分方程式モジュール３３０、最終の埋め込み生成モジュール３５０、及び制御モジュール３７０を含む。
【0090】
初期の埋め込み生成モジュール３１０は、第１及び第２の初期の埋め込みを生成する。ここで、第１及び第２の初期の埋め込みの各々はユーザ及びプロダクト埋め込みに対応する。例えば、初期の埋め込み生成モジュール３１０は第１及び第２の初期の埋め込みとしてＥｕ
０及びＥｐ
０を生成して次の動作ステップに伝達する。これによって、第１及び第２の初期の埋め込みは、二重共振ＯＤＥ（ｄｕａｌｃｏ－ｅｖｏｌｕｔｉｏｎａｒｙ ＯＤＥｓ）に伝達され、本発明によるレイヤ組み合わせアーキテクチャを通過することによって、最終の埋め込みが生成される。
【0091】
二重共振常微分方程式モジュール３３０は、学習時間が経過するにつれて第１及び第２の前の埋め込みの各々の入力を受けて、相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返す第１及び第２の常微分方程式処理部材を含む。ここで、第１及び第２の前の埋め込みは初期に第１及び第２の初期の埋め込みに各々該当する。即ち、第１及び第２の常微分方程式処理部材の各々は各反復ステップでユーザ埋め込み及びプロダクト埋め込みを独立的に受信して所定の演算を通じて次のステップのための埋め込みを生成する動作を遂行する。
【0092】
一実施形態で、二重共振常微分方程式モジュール３３０は学習時間の特定時点でのユーザ埋め込みマトリックス（ｕ（ｔ））を第１の次の埋め込みに出力する。一実施形態で、二重共振常微分方程式モジュール３３０は学習時間の特定時点でのプロダクト埋め込みマトリックス（ｐ（ｔ））を第２の次の埋め込みに出力する。
【0093】
より具体的に、二重共振常微分方程式モジュール３３０により遂行される共振プロセス（ｃｏ－ｅｖｏｌｕｔｉｏｎａｒｙ ｐｒｏｃｅｓｓ）は次の数式９のように表される。
【0094】
【数9】
【0095】
ここで、
は時間ｔでユーザ埋め込みマトリックスであり、
は時間ｔでプロダクト埋め込みマトリックスである。また、ｆ（ｐ（ｔ））は
を出力し、ｇ（ｕ（ｔ））は
を出力する。この際、図５ｂのように、初期の埋め込みがＯＤＥに直接入力されるため、ｕ（０）＝Ｅｕ
０であり、ｐ（０）＝Ｅｐ
０である。
【0096】
一実施形態で、二重共振常微分方程式モジュール３３０はユーザ埋め込みマトリックスとプロダクト埋め込みマトリックスとで共振常微分方程式の集合を構成する。即ち、（ｕ（ｔ））及び（ｐ（ｔ））は共同進化（ｃｏ－ｅｖｏｌｖｉｎｇ）を処理するＯＤＥの集合に対応する。共同進化によってユーザ埋め込みはプロダクト埋め込みに影響を与え、プロダクト埋め込みはユーザ埋め込みに影響を与える。
【0097】
一実施形態で、二重共振常微分方程式モジュール３３０はユーザにより設定可能な複数の離散的な時間で複数のユーザ埋め込みマトリックス（ｕ（ｔ１），ｕ（ｔ２），…，ｕ（ｔｎ））及び複数のプロダクト埋め込みマトリックス（ｐ（ｔ１），ｐ（ｔ２），…，ｐ（ｔｎ））を出力する。これを通じて、二重共振常微分方程式モジュール３３０は本発明による学習時間アーキテクチャ（ｌｅａｒｎａｂｌｅ－ｔｉｍｅ ａｒｃｈｉｔｅｃｔｕｒｅ）を具現する。
【0098】
より具体的に、二重共振常微分方程式モジュール３３０は学習可能な多数の時点ｔ∈｛ｔ１，…，ｔＴ｝を適用して（ｕ（ｔ））及び（ｐ（ｔ））を抽出する。ここで、Ｔはハイパーパラメータ（ｈｙｐｅｒ ｐａｒａｍｅｔｅｒ）であり、全てのｉに対して０＜ｔｉ＜ｔｉ＋１である。従って、上記数式９は次の数式１０のように表される。
【0099】
【数10】
【0100】
ここで、ｔｉは全てのｉに対して学習される。各方程式で、右辺の最初の項は残差連結（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）を生成することに使われる（図９のＯＤＥ内部残留連結（９１０）参照）
【0101】
一実施形態で、二重共振常微分方程式モジュール３３０は第１及び第２の常微分方程式の各々を非－パラメータ的な非－時間依存的な常微分方程式で構成する。例えば、最近の線形グラフ畳み込み（ｌｉｎｅａｒ ｇｒａｐｈ ｃｏｎｖｏｌｕｔｉｏｎ）を基にして２つのＯＤＥ関数ｆ及びｇを次の数式１２のように定義する。
【0102】
【数12】
【0103】
ここで、
は対称正規化されたラプラシアンマトリックス（ｓｙｍｍｅｔｒｉｃ ｎｏｒｍａｌｉｚｅｄ Ｌａｐｌａｃｉａｎ ｍａｔｒｉｘ）又は正規化された隣接行列（ｎｏｒｍａｌｉｚｅｄ ａｄｊａｃｅｎｃｙ ｍａｔｒｉｘ）である。ＬｉｇｈｔＧＣＮは後者を使用する一方、連続熱拡散微分方程式（ｃｏｎｔｉｎｕｏｕｓ ｔｈｅｒｍａｌ ｄｉｆｆｕｓｉｖｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｅｑｕａｔｉｏｎ）に基づいた本発明による方法は両者を共に使用する。上記数式１２のような定義に従って、二重共振常微分方程式モジュール３３０は、非－パラメータ的で非－時間依存的なＯＤＥを構成する。なぜなら、ＯＤＥ関数は、ｔ、θｆ、及びθｇを入力に使用しないためである。
【0104】
最終の埋め込み生成モジュール３５０は、第１の前の埋め込み及び第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、第２の前の埋め込み及び第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する。即ち、最終の埋め込み生成モジュール３５０はユーザ埋め込み及びプロダクト埋め込みに対して独立的な演算を通じて各々に関する最終の埋め込みを生成する。
【0105】
一実施形態で、最終の埋め込み生成モジュール３５０は、複数の離散的な時間で生成された複数のユーザマトリックスを加重合算して第１の最終の埋め込みを生成し、複数の離散的な時間で生成された複数のプロダクトマトリックスを加重合算して第２の最終の埋め込みを生成する。より具体的に、最終の埋め込み生成モジュール３５０により遂行される最終の埋め込み生成動作は、次の数式１１のように表される。
【0106】
【数11】
【0107】
オイラー陽解法が内部的に遂行する動作は連続的な方法により残差連結を一般化するものである。従って、最終の埋め込み生成モジュール３５０はＯＤＥの中間状態（ｉｎｔｅｒｍｅｄｉａｔｅ ｓｔａｔｅ）（即ち、ｔ∈｛ｔ１，…，ｔＴ｝で（ｕ（ｔ））及び（ｐ（ｔ）））を抽出し、上記数式１１で二重残差連結（ｄｕａｌ ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）に対応するより高いレベルのレイヤ組み合わせを生成する。（図９のＯＤＥ外部レイヤ組み合わせ（９３０）参照）。
【0108】
一方、他の改善されたＯＤＥソルバーを使用する場合、ＯＤＥの内部の連結はより精巧になる（例えば、ＲＫ４を使用する場合、ＤｅｎｓｅＮｅｔ又はＦｒａｃｔａｌＮｅｔの連結）。図１０には多様なソルバーでの内部及び外部の連結を図示する。
【0109】
また、多数の線形ＧＣＮが存在するが、ＬｉｇｈｔＧＣＮは、このような多様な線形ＧＣＮモデルの間の類似性を説明し、他の多くの線形モデルをＬｉｇｈｔＧＣＮの特殊な場合に近似することができることを示した。
【0110】
本発明による方法では、次の設定を仮定する。ｉ）ｔｉが学習されていないが、全てのｉに対してｉに固定される。ｉｉ）ステップサイズ媒介変数ｓ＝１と共にオイラー陽解法を使用し、ｉｉｉ）残差連結を使用しないが、ＯＤＥの内部の線形連結を使用する。上記の設定は次の数式１３のように表される。
【0111】
【数13】
【0112】
その後、線形組み合わせは
を導出する。上記数式１２におけるＯＤＥ関数ｆ及びｇは上記数式５におけるＬｉｇｈｔＧＣＮの線形レイヤ定義と同一であるため、上記の最終の埋め込みは上記数式６と同一である。従って、本発明による方法は特定の設定でＬｉｇｈｔＧＣＮと同一である。結果的に、本発明による方法であるＬＴ－ＯＣＦをＬｉｇｈｔＧＣＮ及びＬｉｇｈｔＧＣＮに近似される他のモデルを含む線形ＧＣＮの連続的な一般化と見做すことができる。
【0113】
制御モジュール３７０は、協業フィルタリング推薦装置１３０の全体的な動作を制御し、初期の埋め込み生成モジュール３１０、二重共振常微分方程式モジュール３３０、及び最終の埋め込み生成モジュール３５０の間の制御の流れ又はデータの流れを管理する。
【0114】
図４は、本発明による学習時間常微分方程式基盤の協業フィルタリング推薦方法を説明するフローチャートである。
【0115】
図４を参照すると、協業フィルタリング推薦装置１３０は初期の埋め込み生成モジュール３１０を通じて第１及び第２の初期の埋め込みを生成する（ステップＳ４１０）。協業フィルタリング推薦装置１３０は、二重共振常微分方程式モジュール３３０を通じて第１及び第２常微分方程式処理部材を通じて学習時間が経過するにつれて第１及び第２の前の埋め込みの各々の入力を受けて、相互影響を通じて第１及び第２の次の埋め込みを各々出力する過程を特定時間の間繰り返す（ステップＳ４３０）。協業フィルタリング推薦装置１３０は、最終の埋め込み生成モジュール３５０を通じて第１の前の埋め込み及び第１の次の埋め込みを累積合算して第１の最終の埋め込みを生成し、第２の前の埋め込み及び第２の次の埋め込みを累積合算して第２の最終の埋め込みを生成する（ステップＳ４５０）。
【0116】
一方、協業フィルタリング推薦装置１３０は精巧な技法を含み、これに関する学習アルゴリズムは他の場合よりも複雑である。協業フィルタリング推薦装置１３０は、多くのＣＦ方法で一般的に使われているＬと表現されるＢＰＲ損失（Ｂａｙｅｓｉａｎ Ｐｅｒｓｏｎａｌｉｚｅｄ Ｒａｎｋｉｎｇ ｌｏｓｓ）を使用してモデルを学習する。
【0117】
また、協業フィルタリング推薦装置１３０は共振ＯＤＥ（ｃｏ－ｅｖｏｌｖｉｎｇ ＯＤＥ）及び中間時点（ｉｎｔｅｒｍｅｄｉａｔｅ ｔｉｍｅ ｐｏｉｎｔ）を交互に学習する。即ち、１つを学習する際、他の部分は修正される。固定されたＯＤＥ及び時点は学習時点の瞬間に定数と見なされるため、隣接敏感度方法による傾き計算を簡単にすることができる。初期の埋め込みＥｕ
０に対応するｕ（０）に関する損失傾きは次の数式１４のような逆モード積分（ｒｅｖｅｒｓｅ－ｍｏｄｅ ｉｎｔｅｇｒａｔｉｏｎ）を通じて算出される。
【0118】
【数14】
【0119】
ここで、
である。（ｐ（０））に関する損失傾き、即ちプロダクトの初期の埋め込みも同一の方式により算出される。
【0120】
また、隣接敏感度方法を使用する場合、傾き算出過程は空間複雑度ο（１）及び時間複雑度
が必要であり、ここで、ｓはオイラー方法、ＲＫ４、及びＤＯＰＲＩの変形で固定された値を有する基本ＯＤＥソルバーの平均ステップサイズ（ａｖｅｒａｇｅ ｓｔｅｐ－ｓｉｚｅ）である。
【0121】
また、ｔｉに関する損失傾きは、隣接敏感度方法には含まれないが、次の数式１５のように直接定義される。
【0122】
【数15】
【0123】
ここで、全ての時点を学習するための複雑度（ｃｏｍｐｌｅｘｉｔｙ）はο（Ｔ）である。
【0124】
図１１は、本発明による学習アルゴリズムを示し、協業フィルタリング推薦装置１３０はＢＰＲ損失が収束されるまで各部分を交互に学習する。
【0125】
また、コーシー－コワレフスカヤの定理（Ｃａｕｃｈｙ－Ｋｏｗａｌｅｖｓｋｉ ｔｈｅｏｒｅｍ）によると、
が与えられた場合、ｆが分析的（又は、地域的にＬｉｐｓｃｈｉｔｚ連続型）である場合、ｈの固有な解が存在する。即ち、ＯＤＥ問題は、ｆが分析的な場合、より頻繁に提起される。協業フィルタリング推薦装置１３０は、
をモデリングするための上記数式１２で分析的な行列掛け算を使用する。これによって、固定された（ｐ（ｔ））が与えられた場合、又はその反対の場合、（ｕ（ｔ））に対する固有な最適のＯＤＥのみ存在する。
【0126】
【0127】
ここで、全ての実験は次のソフトウェア及びハードウェア環境で遂行される。即ち、Ｕｂｕｎｔｕ １８．０４ ＬＴＳ、Ｐｙｔｈｏｎ ３．６．６、Ｎｕｍｐｙ １．１８．５、Ｓｃｉｐｙ １．５、Ｍａｔｐｌｏｔｌｉｂ ３．３．１、ＰｙＴｏｒｃｈ １．２．０、ＣＵＤＡ １０．０及びＮＶＩＤＩＡ Ｄｒｉｖｅｒ ４１７．２２、 ｉ９ ＣＰＵ及び ＮＶＩＤＩＡ ＲＴＸタイタンである。
【0128】
先ず、Ｇｏｗａｌｌａ、Ｙｅｌｐ２０１８、及びＡｍａｚｏｎ－Ｂｏｏｋの３種類のベンチマークデータセットを修正無しで使用する。該当データセットに関する統計は図１２に示す。また、比較のために次のベースライン（ｂａｓｅｌｉｎｅ）が使用される。
【0129】
（１）ＭＦは、ユーザ－アイテムの直接相互作用のみを相互作用関数（ｉｎｔｅｒａｃｔｉｏｎ ｆｕｎｃｔｉｏｎ）の目標値（ｔａｒｇｅｔ ｖａｌｕｅ）に活用するベイジアン個人化順位（ＢＰＲ）の損失により最適化した行列分解（ｍａｔｒｉｘ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）である。
【0130】
（２）Ｎｅｕ－ＭＦはニューラル協力フィルタリング方法である。該当方法はユーザ及びアイテム埋め込みの要素別連結の上に多数の隠されたレイヤを使用して非線形特徴相互作用をキャプチャーする。
【0131】
（３）ＣＭＮは、最新メモリ基盤のモデルである。該当方法は１次の連結を使用して同一なアイテムと相互作用する類似のユーザを探す。
【0132】
（４）ＨＯＰ－Ｒｅｃは、グラフ基盤モデルであって、ランダムワーク（ｒａｎｄｏｍ ｗａｌｋ）による高次ユーザ－アイテム相互作用を使用して原本訓練データを増加させる。
【0133】
（５）ＧＣ－ＭＣは二部相互作用グラフ（ｂｉｐａｒｔｉｔｅ ｉｎｔｅｒａｃｔｉｏｎ ｇｒａｐｈ）に伝達される微分可能なメッセージを基にするグラフオートエンコーダフレームワークである。該当方法は、ユーザ－アイテム二部グラフにＧＣＮエンコーダを適用し、ユーザとアイテムとの間の直接連結を活用するために１つの畳み込みレイヤを使用する。
【0134】
（６）Ｍｕｌｔ－ＶＡＥはＶａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ基盤のＣＦ方法である。脱落率（ｄｒｏｐ－ｏｕｔｒａｔｅ）は｛０，０．２，０．５｝であり、βは｛０．２，０．３，０．６，０．８｝である。レイヤ別次元は６００、２００、６００である。
【0135】
（７）ＧＲＭＦはグラフＬａｐｌａｃｉａｎ ｒｅｇｕｌａｒｉｚｅｒを追加した行列分解（ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ）方法である。公正な比較のためにＧＲＭＦの元の損失をＢＰＲ損失に変更する。ＧＲＭＧ－ｎｏｒｍはグラフＬａｐｌａｃｉａｎに正規化を追加したＧＲＭＦの変形である。
【0136】
（８）ＮＧＣＦは、代表的なＧＣＮ基盤のＣＦ方法であり、特徴変換及び非線形活性化を使用する。
【0137】
（９）ＬＲ－ＧＣＣＦ及びＬｉｇｈｔＧＣＮは線形ＧＣＮ基盤のＣＦ方法である。
【0138】
また、ここでは２つの標準評価指標であるＲｅｃａｌｌ＠２０及びＮＤＣＧ＠２０が全てのランキングプロトコルと共に使用される。即ち、ユーザと相互作用しない全てのアイテムが推薦候補である。
【0139】
また、本発明による方法及び上記のベースラインモデルには、幾つかの共通的なハイパーパラメータが適用され、実験環境及び条件、そして比較対象になるモデルによって多様な実施形態が適用される。
【0140】
図１３には、再現率（ｒｅｃａｌｌ）及びＮＤＣＧの面で、全般的な正確度（ａｃｃｕｒａｃｙ）を示している。非線形ＧＣＮ基盤の方法であるＮＧＣＦは他の非ＧＣＮ基盤の方法と比較して幾つかの場合に良い性能を示す。何よりもＬｉｇｈｔＧＣＮは、全てのベースラインのうち、全てのケースで最先端の正確度を示す。例えば、ＬｉｇｈｔＧＣＮによるＧｏｗａｌｌａの０．１８３０再現率対Ｍｕｌｔｉ－ＶＡＥの０．１６４１再現率のように大きい差で他の方法を凌駕する場合が存在する。一般に、３種類のＧＣＮ基盤方法であるＮＧＣＦ、ＬＲ－ＧＣＣＦ、及びＬｉｇｈｔＧＣＮは他のベースライン方法よりも性能で大きい差を示す。
【0141】
しかし、全ての場合において、最高の正確度は本発明による方法であるＬＴ－ＯＣＦ（Ｌｅａｒｎａｂｌｅ－Ｔｉｍｅ ＯＤＥ－ｂａｓｅｄ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ）により表れる。
【0142】
図１４で、ＧｏｗａｌｌａでＬｉｇｈｔＧＣＮ及びＬＴＯＣＦの訓練曲線が示されている。一般に、本発明による方法は、ＬｉｇｈｔＧＣＮよりもエポック（ｅｐｏｃｈ）個数の面でより速い訓練速度を提供することができる。図１４の（ｄ）で、学習が進行するにつれて、ｔｉが増加（多少の変動と共に）していることを確認することができる。本発明によるモデルは、レイヤ組み合わせを構成する場合、深いレイヤで埋め込みを好むためである。ｔｉはより活発に学習され、ｔ３は多く学習されない。該当学習パターンによると、レイヤ組み合わせに対して信頼できる初期レイヤを有することがより重要であることが分かる。
【0143】
図１５及び図１６で、Ｙｅｌｐ２０１８及びＡｍａｚｏｎ－Ｂｏｏｋに対する同一な実験類型の結果が示されている。Ａｍａｚｏｎ－Ｂｏｏｋの場合、図１６の（ａ）のようにＬＴ－ＯＣＦがＬｉｇｈｔＧＣＮよりも格段に小さな損失値を示す。図１５の（ｂ）と（ｃ）、及び図１６の（ｂ）と（ｃ）で、本発明による方法はＬｉｇｈｔＧＣＮよりも再現率及びＮＤＣＧに対してより速い学習を示す。図１６の（ｄ）で、ｔ１は図１４の（ｄ）と図１５の（ｄ）の他の場合よりも遥かに多く学習される。
【0144】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的思想から逸脱しない範囲で多様に変更実施することが可能である。
【符号の説明】
【0145】
１００ 協業フィルタリング推薦システム
１１０ ユーザ端末
１３０ 協業フィルタリング推薦装置
１５０ データベース
２１０ プロセッサ
２３０ メモリ
２５０ ユーザ入出力部
２７０ ネットワーク入出力部
３１０ 初期の埋め込み生成モジュール
３３０ 二重共振常微分方程式モジュール
３５０ 最終の埋め込み生成モジュール
３７０ 制御モジュール
１１０ ユーザ端末
１３０ 協業フィルタリング推薦装置
１５０ データベース
２１０ プロセッサ
２３０ メモリ
２５０ ユーザ入出力部
２７０ ネットワーク入出力部
３１０ 初期の埋め込み生成モジュール
３３０ 二重共振常微分方程式モジュール
３５０ 最終の埋め込み生成モジュール
３７０ 制御モジュール
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
