特許 7454630 ラベル推奨モデルのトレーニング方法及び装置、ラベル取得方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-13

(45)【発行日】2024-03-22

(54)【発明の名称】ラベル推奨モデルのトレーニング方法及び装置、ラベル取得方法及び装置

(51)【国際特許分類】

   G06N 3/08 20230101AFI20240314BHJP

   G06N 3/04 20230101ALI20240314BHJP

【ＦＩ】

G06N3/08

G06N3/04

【請求項の数】 19

(21)【出願番号】P 2022192347

(22)【出願日】2022-11-30

(65)【公開番号】P2023025147

(43)【公開日】2023-02-21

【審査請求日】2022-11-30

(31)【優先権主張番号】202111446672.1

(32)【優先日】2021-11-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】ルオ ジンチャン

(72)【発明者】

【氏名】ワン ハイウェイ

(72)【発明者】

【氏名】ブー ジュンジャオ

(72)【発明者】

【氏名】チェン クンビン

(72)【発明者】

【氏名】ファ ウェイ

【審査官】児玉 崇晶

(56)【参考文献】

【文献】特開２０１８－１９０１３６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００２７１４６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

ラベル推奨モデルのトレーニング方法であって、
トレーニング素材の収集指示を受信したことに応答し、関心ラベルを含むトレーニング素材を収集するステップと、
意味拡張表現フレームワークを利用して前記トレーニング素材の特徴を表現し、前記関心ラベルを含むトレーニング意味ベクトルを得るステップと、
ソーシャルネットワークを前記トレーニング意味ベクトルにアグリゲーションしてトレーニング符号化ベクトルを得るステップと、
前記トレーニング符号化ベクトルを入力として前記関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得るステップと、を含む、
ことを特徴とするラベル推奨モデルのトレーニング方法。

【請求項2】

前記トレーニング素材は、行動トレーニング素材及びサービストレーニング素材を含み、
意味拡張表現フレームワークを利用して前記トレーニング素材の特徴を表現し、関心ラベルを含むトレーニング意味ベクトルを得るステップは、
前記意味拡張表現フレームワークに基づいて、前記行動トレーニング素材を異なる長さのトレーニング行動ベクトルとして表現し、前記サービストレーニング素材を固定長のトレーニングサービスベクトルとして表現するステップと、
前記トレーニング行動ベクトルを平均化した後、前記トレーニングサービスベクトルと融合してトレーニング意味ベクトルを得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

ソーシャルネットワークを前記トレーニング意味ベクトルにアグリゲーションしてトレーニング符号化ベクトルを得るステップは、
ソーシャルネットワークを取得し、ソーシャルネットワーク間の親密値を決定するステップと、
前記親密値を行列における要素の取り得る値として隣接行列を構築するステップと、
前記隣接行列における各行の前記要素の重みの和が１であることを条件として、前記要素に重みを割り当てるステップであって、前記隣接行列における対角線の要素に割り当てられた重みが他の要素に割り当てられた重みより大きいステップと、
前記隣接行列における各要素に対応するトレーニング意味ベクトルを取得し、グラフ畳み込みネットワークに基づいて前記トレーニング意味ベクトルと重みを割り当てた後の各要素の取り得る値との積を計算し、トレーニング符号化ベクトルを得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記トレーニング符号化ベクトルを入力して前記関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得るステップは、
前記トレーニング符号化ベクトルをフィードフォワードニューラルネットワークの入力として前記フィードフォワードニューラルネットワークをトレーニングし、新たなトレーニング符号化ベクトルを得るステップと、
前記新たなトレーニング符号化ベクトルを再び全接続ネットワークの入力として前記全接続ネットワークをトレーニングし、トレーニングラベルベクトルを得るステップと、
前記トレーニングラベルベクトルを引数として、関心ラベルとして出力し、ラベル推奨モデルを得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記トレーニングラベルベクトルを引数として、関心ラベルとして出力し、ラベル推奨モデルを得るステップは、
活性化関数を利用して前記トレーニングラベルベクトルを解析し、前記トレーニングラベルベクトルに含まれる関心ラベルを得るステップと、
前記関心ラベルにおいて、前記関心ラベルに対応する第１の関心ラベルを決定し、前記関心ラベルに占める前記第１の関心ラベルの割合を計算し、ラベル推奨モデルの確率閾値を決定し、出力ラベル確率が前記確率閾値以上であるラベル推奨モデルを得るステップと、を含む、
ことを特徴とする請求項４に記載の方法。

【請求項6】

ラベル取得方法であって、
関心ラベルの取得指示を受信したことに応答し、対応する素材を取得するステップと、
意味拡張表現フレームワークを利用して前記素材の特徴を表現し、関心ラベルを含む意味ベクトルを得るステップと、
ソーシャルネットワークを前記意味ベクトルにアグリゲーションして符号化ベクトルを得るステップと、
前記符号化ベクトルを予めトレーニングされたラベル推奨モデルに入力し、関心ラベルを得るステップと、を含む、
ことを特徴とするラベル取得方法。

【請求項7】

前記符号化ベクトルを予めトレーニングされたラベル推奨モデルに入力し、関心ラベルを得るステップは、
前記符号化ベクトルを前記ラベル推奨モデルにおけるフィードフォワードニューラルネットワークに入力し、新たな符号化ベクトルを得るステップと、
前記新たな符号化ベクトルを全接続ネットワークに入力し、ラベルベクトルを得るステップと、
前記ラベルベクトルを解析し、前記ラベル推奨モデルにおける確率閾値に基づいて関心ラベルを出力するステップと、を含む、
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記ラベルベクトルを解析し、前記ラベル推奨モデルにおける確率閾値に基づいて関心ラベルを出力するステップは、
前記ラベル推奨モデルにおける活性化関数に基づいて前記ラベルベクトルを解析し、複数のラベルを得るステップと、
前記複数のラベルのうちの出現確率が確率閾値以上であるラベルを関心ラベルとして決定するステップと、を含む、
ことを特徴とする請求項７に記載の方法。

【請求項9】

ラベル推奨モデルのトレーニング装置であって、
トレーニング素材の収集指示を受信したことに応答し、関心ラベルを含むトレーニング素材を収集するように構成される取得モジュールと、
意味拡張表現フレームワークを利用して前記トレーニング素材の特徴を表現し、前記関心ラベルを含むトレーニング意味ベクトルを得るように構成され、ソーシャルネットワークを前記トレーニング意味ベクトルにアグリゲーションしてトレーニング符号化ベクトルを得るようにも構成される処理モジュールと、
前記トレーニング符号化ベクトルを入力として前記関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得るように構成されるトレーニングモジュールと、を含む、
ことを特徴とするラベル推奨モデルのトレーニング装置。

【請求項10】

前記トレーニング素材は、行動トレーニング素材及びサービストレーニング素材を含み、
前記処理モジュールは、
前記意味拡張表現フレームワークに基づいて、前記行動トレーニング素材を異なる長さのトレーニング行動ベクトルとして表現し、前記サービストレーニング素材を固定長のトレーニングサービスベクトルとして表現し、
前記トレーニング行動ベクトルを平均化した後、前記トレーニングサービスベクトルと融合してトレーニング意味ベクトルを得るように構成される、
ことを特徴とする請求項９に記載の装置。

【請求項11】

前記処理モジュールは、
ソーシャルネットワークを取得し、ソーシャルネットワーク間の親密値を決定し、
前記親密値を行列における要素の取り得る値として隣接行列を構築し、
前記隣接行列における各行の前記要素の重みの和が１であることを条件として、前記要素に重みを割り当て、前記隣接行列における対角線の要素に割り当てられた重みが他の要素に割り当てられた重みより大きく、
前記隣接行列における各要素に対応するトレーニング意味ベクトルを取得し、グラフ畳み込みネットワークに基づいて前記トレーニング意味ベクトルと重みを割り当てた後の各要素の取り得る値との積を計算し、トレーニング符号化ベクトルを得るようにも構成される、
ことを特徴とする請求項９に記載の装置。

【請求項12】

前記トレーニングモジュールは、
前記トレーニング符号化ベクトルをフィードフォワードニューラルネットワークの入力として前記フィードフォワードニューラルネットワークをトレーニングし、新たなトレーニング符号化ベクトルを得て、
前記新たなトレーニング符号化ベクトルを再び全接続ネットワークの入力として前記全接続ネットワークをトレーニングし、トレーニングラベルベクトルを得て、
前記トレーニングラベルベクトルを引数として、関心ラベルとして出力し、ラベル推奨モデルを得るように構成される、
ことを特徴とする請求項９に記載の装置。

【請求項13】

前記トレーニングモジュールは、
活性化関数を利用して前記トレーニングラベルベクトルを解析し、前記トレーニングラベルベクトルに含まれる関心ラベルを得て、
前記関心ラベルにおいて、前記関心ラベルに対応する第１の関心ラベルを決定し、前記関心ラベルに占める前記第１の関心ラベルの割合を計算し、画像モデルの確率閾値を決定し、出力ラベル確率が前記確率閾値以上であるラベル推奨モデルを得るように構成される、
ことを特徴とする請求項１２に記載の装置。

【請求項14】

ラベル取得装置であって、
関心ラベルの取得指示を受信したことに応答し、対応する素材を取得するように構成される取得モジュールと、
意味拡張表現フレームワークを利用して前記素材の特徴を表現し、関心ラベルを含む意味ベクトルを得るように構成され、ソーシャルネットワークを前記意味ベクトルにアグリゲーションして符号化ベクトルを得るようにも構成される処理モジュールと、
前記符号化ベクトルを予めトレーニングされたラベル推奨モデルに入力し、関心ラベルを得るように構成される予測モジュールと、を含む、
ことを特徴とするラベル取得装置。

【請求項15】

前記予測モジュールは、
前記符号化ベクトルを前記ラベル推奨モデルにおけるフィードフォワードニューラルネットワークに入力し、新たな符号化ベクトルを得て、
前記新たな符号化ベクトルを全接続ネットワークに入力し、ラベルベクトルを得て、
前記ラベルベクトルを解析し、前記ラベル推奨モデルにおける確率閾値に基づいて関心ラベルを出力するように構成される、
ことを特徴とする請求項１４に記載の装置。

【請求項16】

前記予測モジュールは、
前記ラベル推奨モデルにおける活性化関数に基づいて前記ラベルベクトルを解析し、複数のラベルを得て、
前記複数のラベルのうちの出現確率が確率閾値以上であるラベルを関心ラベルとして決定するように構成される、
ことを特徴とする請求項１５に記載の装置。

【請求項17】

電子機器であって、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が記憶されており、前記指令は、前記少なくとも１つのプロセッサが請求項１～５のいずれかに記載の方法を実行できるか、又は前記少なくとも１つのプロセッサが請求項６～８のいずれかに記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
ことを特徴とする電子機器。

【請求項18】

コンピュータ指令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ指令は、前記コンピュータに請求項１～５のいずれかに記載の方法を実行させるために使用されるか、又は前記コンピュータ指令は、前記コンピュータに請求項６～８のいずれかに記載の方法を実行させるために使用される、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項19】

コンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに実行される場合、前記コンピュータに請求項１～５のいずれかに記載の方法を実行させるか、又は、前記コンピュータに請求項６～８のいずれかに記載の方法を実行させる、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理技術分野に関し、特に、深層学習、クラウドサービス、内容検索などの技術分野に関し、具体的には、ラベル推奨モデルのトレーニング方法及び装置、ラベル取得方法及び装置に関する。

【背景技術】

【0002】

関心画像は、ルール、従来のモデルに基づく２つの技術案を含む。属性画像は、年齢、性別などの固定属性であってもよく、入手が簡単で便利である。関心画像は、好み、スキル、習慣などの趣味を表すものである。２つの技術案の特徴は、テキストで特徴を表すことが多いことである。

【発明の概要】

【0003】

本開示は、ラベル推奨モデルのトレーニング方法及び装置、ラベル取得方法及び装置を提供する。

【課題を解決するための手段】

【0004】

本開示の一態様によれば、ラベル推奨モデルのトレーニング方法が提供され、前記方法は、
トレーニング素材の収集指示を受信したことに応答し、関心ラベルを含むトレーニング素材を収集するステップと、意味拡張表現フレームワークを利用して前記トレーニング素材の特徴を表現し、前記関心ラベルを含むトレーニング意味ベクトルを得るステップと、ソーシャルネットワークを前記トレーニング意味ベクトルにアグリゲーションしてトレーニング符号化ベクトルを得るステップと、前記トレーニング符号化ベクトルを入力として前記関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得るステップと、を含む。

【0005】

本開示の第２の態様によれば、ラベル取得方法が提供され、前記方法は、
関心ラベルの取得指示を受信したことに応答し、対応する素材を取得するステップと、意味拡張表現フレームワークを利用して前記素材の特徴を表現し、関心ラベルを含む意味ベクトルを得るステップと、ソーシャルネットワークを前記意味ベクトルにアグリゲーションして符号化ベクトルを得るステップと、前記符号化ベクトルを予めトレーニングされたラベル推奨モデルに入力し、関心ラベルを得るステップと、を含む。

【0006】

本開示の第３の態様によれば、ラベル推奨モデルのトレーニング装置が提供され、前記装置は、
トレーニング素材の収集指示を受信したことに応答し、関心ラベルを含むトレーニング素材を収集するように構成される取得モジュールと、意味拡張表現フレームワークを利用して前記トレーニング素材の特徴を表現し、前記関心ラベルを含むトレーニング意味ベクトルを得るように構成され、ソーシャルネットワークを前記トレーニング意味ベクトルにアグリゲーションしてトレーニング符号化ベクトルを得るようにも構成される処理モジュールと、前記トレーニング符号化ベクトルを入力として前記関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得るように構成されるトレーニングモジュールと、を含む。

【0007】

本開示の第４の態様によれば、ラベル取得装置が提供され、前記装置は、
関心ラベルの取得指示を受信したことに応答し、対応する素材を取得するように構成される取得モジュールと、意味拡張表現フレームワークを利用して前記素材の特徴を表現し、関心ラベルを含む意味ベクトルを得るように構成され、ソーシャルネットワークを前記意味ベクトルにアグリゲーションして符号化ベクトルを得るようにも構成される処理モジュールと、前記符号化ベクトルを予めトレーニングされたラベル推奨モデルに入力し、関心ラベルを得るように構成される予測モジュールと、を含む。

【0008】

本開示の第５の態様によれば、電子機器が提供され、前記電子機器は、
少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が記憶されており、前記指令は、前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが第１の態様又は第２の態様に記載の方法を実行できる。

【0009】

本開示の第６の態様によれば、コンピュータ指令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体が提供され、前記コンピュータ指令は、前記コンピュータに第１の態様又は第２の態様に記載の方法を実行させるために使用される。

【0010】

本開示の第７の態様によれば、コンピュータプログラムが提供され、前記コンピュータプログラムがプロセッサによって実行される場合、第１の態様又は第２の態様に記載の方法が実現される。

【0011】

なお、本部分に記載された内容は、本開示の実施例の肝心または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって容易に理解されやすくなる。

【図面の簡単な説明】

【0012】

図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。

【図1】本開示の実施例に係るラベル推奨モデルのトレーニング方法の概略フローチャートである。

【図2】本開示の実施例に係るトレーニング意味ベクトルの決定方法の概略フローチャートである。

【図3】本開示の実施例に係る意味ベクトル表現の概略図である。

【図4】本開示の実施例に係るトレーニング符号化ベクトルの決定方法の概略フローチャートである。

【図5】本開示の実施例に係るトレーニングモデル方法の概略フローチャートである。

【図6】本開示の実施例に係るニューラルネットワークの概略図である。

【図7】本開示の実施例に係るラベル推奨モデルのトレーニング方法の概略フローチャートである。

【図8】本開示の実施例に係るラベル取得方法の概略フローチャートである。

【図9】本開示の実施例に係るラベル推奨モデル利用方法の概略フローチャートである。

【図10】本開示の実施例に係るラベル取得方法の概略フローチャートである。

【図11】本開示の実施例に係るラベル推奨モデルトレーニングの概略構成図である。

【図12】本開示の実施例に係るラベル取得構造の概略図である。

【図13】本開示の実施例を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を組み合わせて本開示の例示的な実施例を説明し、理解を容易にするために、本開示の実施例の様々な詳細事項が含まれ、これらは単なる例示的なものと見なされるべきである。したがって、当業者は、本開示の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

【0014】

ラベルは、パーソナライズされた推奨、検索及び広告クリック率の見積もりなどの多くの製品で広く適用されており、関心画像によって正確な趣味・好み、使用習慣及び人口属性などを取得することができる。画像によってユーザの製品に対する体験及び収益を向上させることができる。

【0015】

一般的なラベルは、属性ラベル及び関心ラベルに分けられ、属性ラベルは、年齢、性別、出身大学などの固定的な属性を特徴付けるために使用される。関心ラベルは、好み、保有スキル、習慣など多岐にわたることができる。関心ラベルは、適用範囲が広いだけではなく、サービスの精度を向上させるために、千人千面の効果も現れている。

【0016】

しかし、実際の過程において、趣味は、暗黙的なものであり、一般的に収集したり、ルールで予測したりすることは困難であり、ユーザ自身も自分の趣味を正確に説明することが困難である。このような場合、如何に趣味を正確に取得するか、及び如何に関心ラベルを正確に取得するかは、現在の重要な課題となっている。

【0017】

関連技術において、関心ラベルの取得方法は、一般的なルールや従来のモデルを採用している。例えば、一般的なルールにおいて、人為的に定義したルールによってユーザに関連するラベルを付け、応用シナリオを企業のオフィスシナリオとし、ユーザは仕事の週報で何度も「深層学習」を言及すると、「深層学習」の関心ラベルを付け、ユーザの主な作業が製品の設計及び計画である場合、「プロダクトマネージャ（Ｐｒｏｄｕｃｔ Ｍａｎａｇｅｒ、ＰＭ）」のラベルを割り当てる。従来のモデルに基づいてユーザの関心ラベルを取得する場合、従来のモデルに基づく方法では、ラベル予測をテキストの多分類タスクに変換することが多い。例えば、ユーザのオフィスシナリオにおける作業内容、及び作業内容に関連する素材や文書などであってもよいユーザの素材を収集することにより、作業内容、作業内容に関連する素材や文書からユーザの特徴を取得する。なお、上記の作業内容は、いずれもユーザの許可・同意を得た場合に取得したものである。その後、極限グラディエントブースティング（ｅＸｔｒｅｍｅ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ、ＸＧＢｏｏｓｔ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）などの分類モデルを利用して分類し、ここで、各カテゴリは、関心ラベルであってもよい。

【0018】

上記実施形態のように、ルールの方法を採用すると、ルールをまとめるのに多くの人件費が必要となる。しかも、一般的に簡単なルールしか整理できず、暗黙的なマッピングを実現することができず、例えば、ユーザの特徴がテキスト分類、情報検索及びデータマイニングの一般的な重み付け技術（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ、ＴＦ－ＩＤＦ）、ＯＮＥ－ＨＯＴ符号化表現などのキーワードを持っている場合、当該ユーザが「自然言語処理」に関心を持っていると決定することができるが、特徴とラベルのマッピングルールをまとめることは困難である。情報の変化や時間の経過に伴い、ユーザの関心が変わる可能性があり、この場合、ルールの方法は、時効性がないことが多いため、効果が悪くなる。

【0019】

従来のモデルを採用してユーザの関心画像を取得すると、従業員に関心ラベルを付けることができるが、効果が良くない場合が多い。理由は以下の通りである。

【0020】

（１）従来のモデルは、コールドスタート問題が深刻であり、ユーザの関心画像の予測に失敗した。ここで、コールドスタート問題とは、ユーザの素材が不足しているため、特徴表現能力が不足し、従来のモデルの効果が低いことである。一部のユーザに対して全く素材を収集できない場合もあり、この場合、従来のモデルでは、全く予測できない。

【0021】

（２）従来のモデルでは、ｏｎｅ－ｈｏｔ符号化や言語モデルｗｏｒｄ２ｖｅｃを利用してユーザの特徴を表現するのが一般的である。しかしながら、このような言語表現モデルの技術は、浅い意味情報しか捕捉できず、モデルの汎化能力が不足することが多い。

【0022】

（３）従来のモデルでは、従来のモデルは、ユーザの自身の特徴のみを入力として採用し、ソーシャルネットワークなどの追加情報は含まれていない。トレーニングデータセットの収集が比較的に困難であるため、トレーニングデータセットは一般的に小さく、従来のモデルは、この２つの要素の影響でオーバーフィッティングしやすい。

【0023】

上記の関連技術に存在する不足に基づいて、本開示は、ユーザのソーシャルネットワーク及びグラフニューラルネットワーク技術によってユーザの関心画像の正確な構築を実現する取得方法を提供する。これにより、関心画像を正確に取得できるモデルを決定する。

【0024】

以下の実施例は、図面を組み合わせて本開示を説明する。

【0025】

図１は、本開示の実施例に係るラベル推奨モデルのトレーニング方法の概略フローチャートを示し、図１に示すように、当該方法は、以下のステップを含むことができる。

【0026】

ステップＳ１１０において、トレーニング素材の収集指示を受信したことに応答し、トレーニング素材を収集する。

【0027】

本開示の実施例において、なお、トレーニング素材が履歴データであり、トレーニング素材には関心ラベルも含まれる。本開示において収集したトレーニング素材は、ユーザに関連する素材であってもよく、もちろん他の素材であってもよく、ここでは具体的に限定しない。

【0028】

本開示の実施例において、トレーニング素材は、クリック／お気に入り／閲読した記事であってもよい。本開示において、知識推奨製品及び検索製品の行動ログから行動トレーニング素材を収集することができる。仕事中に執筆／編集した関連記事からサービストレーニング素材を収集することもできる。仕事中に執筆／編集した関連記事は、週報、昇進資料、プロジェクトの要約、要件文書などであってもよい。ここで、サービストレーニング素材は、サービスに関連する情報、例えば、仕事中に提出されたコードの分布（Ｃ＋＋９０％、Ｐｙｔｈｏｎ１０％）であってもよい。

【0029】

マルチチャンネルで素材を収集することにより、ログなどの暗黙的なフィードバック（すなわち、行動トレーニング素材）を収集することができる。オフィス素材などの真実で信頼できる素材を取得することもできる。また、サービストレーニング素材を取得し、素材を全面的に取得し、素材のカバー率及び精度を効果的に確保し、素材不足の問題を効果的に解決し、素材の持つ特徴を後から正確に表現することができるようにする。

【0030】

ステップＳ１２０において、意味拡張表現フレームワークを利用してトレーニング素材を表現し、関心ラベルを含むトレーニング意味ベクトルを得る。

【0031】

本開示の実施例において、意味拡張表現フレームワークは、知識拡張に基づく持続学習意味理解フレームワーク（Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ ｋＮｏｗｌｅｄｇｅ ＩｎｔＥｇｒａｔｉｏｎ、ＥＲＮＩＥ）である。ＥＲＮＩＥに基づいてトレーニング素材を意味表現する。関心ラベルを含むトレーニング意味ベクトルを得る。

【0032】

なお、当該フレームワークは、ビッグデータの予めトレーニングをマルチソースの豊富な知識と組み合わせて、持続学習の技術によって大量のテキストデータにおける語彙、構造、意味などの方面の知識を絶えず吸収し、モデル効果の進化を実現する。

【0033】

ステップＳ１３０において、ソーシャルネットワークをトレーニング意味ベクトルにアグリゲーションし、トレーニング符号化ベクトルを得る。

【0034】

本開示の実施例において、ソーシャルネットワーク関係を取得し、社交的関係は、友人であってもよく、ネットワークでは友人は隣人と呼ばれてもよい。ソーシャルネットワーク関係をトレーニング意味ベクトルにアグリゲーションし、トレーニング意味ベクトルを拡張し、トレーニング符号化ベクトルを得る。

【0035】

ステップＳ１４０において、トレーニング符号化ベクトルを入力として関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得る。

【0036】

本開示の実施例において、ニューラルネットワークは、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＤＮＮ）であってもよく、他のニューラルネットワークであってもよい。本開示において、ニューラルネットワークをＤＮＮとし、二層ＤＮＮ構造を構築した。

【0037】

トレーニング符号化ベクトルを二層ＤＮＮ構造の入力とし、関心ラベルを二層ＤＮＮ構造の出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得る。

【0038】

本開示の実施例に係るラベル推奨モデルのトレーニング方法は、ＥＲＮＩＥを利用してトレーニング素材を意味表現することにより、トレーニング素材が持つ特徴表現をより正確にすることができる。二層ニューラルネットワーク構造をトレーニングすることにより、素材のカバー率を高め、関心ラベルの取得精度を向上させることができる。

【0039】

本開示の以下の実施例は、意味拡張表現フレームワークを利用して前記トレーニング素材を表現し、関心ラベルを含むトレーニング意味ベクトルを得ることについて説明する。

【0040】

図２は、本開示の実施例に係るトレーニング意味ベクトルの決定方法の概略フローチャートを示し、図２に示すように、当該方法は、以下のステップを含むことができる。

【0041】

ステップＳ２１０において、意味拡張表現フレームワークに基づいて、行動トレーニング素材を異なる長さのトレーニング行動ベクトルとして表現し、サービストレーニング素材を固定長のトレーニングサービスベクトルとして表現する。

【0042】

上記実施例のように、本開示におけるトレーニング素材は、行動トレーニング素材及びサービストレーニング素材を含む。

【0043】

本開示の実施例において、行動トレーニング素材を区別性のある意味ベクトルに表現し、例えば、関心に類似する行動トレーニング素材は、比較的距離の小さい意味ベクトルで表現し、関心に類似しない行動トレーニング素材は、比較的距離の大きい意味ベクトルで表現し、異なる長さのトレーニング行動ベクトルを得る。他のトレーニング素材を固定長のトレーニングサービスベクトル、例えば、サービストレーニング素材として表現する。ＥＲＮＩＥによってサービストレーニング素材を意味表現し、例えば、コードの分布が［０．９、０．１…］であり、ここで、ベクトルの次元数は、プログラミング言語数に等しく、プロジェクトでは１０に設定することができる。

【0044】

ステップＳ２２０において、トレーニング行動ベクトルを平均化した後、トレーニングサービスベクトルと融合してトレーニング意味ベクトルを得る。

【0045】

本開示の実施例において、異なる長さのトレーニング行動ベクトルを平均化した後、トレーニングサービスベクトルとつなぎ合わせ、トレーニング意味ベクトルを得る。

【0046】

例示的に、図３は、本開示の実施例に係る意味ベクトル表現の概略図を示し、図３に示すように、クリックされたタイトル、検索されたログ、週報などが入力層、符号化層、アグリゲーション層を経てアグリゲーションされ後、出力層は、意味ベクトルを出力し、コードで表現する。

【0047】

本開示の実施例によってトレーニング行動ベクトルとトレーニングサービスベクトルをつなぎ合わせ、得られる最終的なトレーニング意味ベクトルは、一定で合理的な長さを有し、ニューラルネットワークモデルの汎化能力の向上に有利である。

【0048】

関心が社交的関係を持つ他の関心と類似しているという発想に基づいて、ソーシャルネットワークを符号化する。例えば、ゲームが好きなユーザに対して、ゲームが好きな他のユーザもいることがあり、彼らの間には社交的関係がある。決定された意味ベクトルに基づいて符号化して符号化ベクトルを得る。本開示の以下の実施例は、ソーシャルネットワークをトレーニング意味ベクトルにアグリゲーションし、トレーニング符号化ベクトルを得ることについて説明する。

【0049】

図４は、本開示の実施例に係るトレーニング符号化ベクトルの決定方法の概略フローチャートを示し、図４に示すように、当該方法は、以下のステップを含むことができる。

【0050】

ステップＳ３１０において、ソーシャルネットワークを取得し、ソーシャルネットワーク間の親密値を決定する。

【0051】

本開示の実施例において、ソーシャルネットワークは、ユーザ間の社交的状況、例えば、ユーザ間のインタラクティブ状況であってもよい。ユーザ間のソーシャルネットワークに基づいてユーザ間の親密値を計算し、本開示では親密値を親密度と呼ぶこともできる。ここで、親密値の取り得る値の範囲は、（０～１．０）であってもよい。例えば、ｓｃｏｒｅ＝（ｓｉｇｍｏｉｄ（最近のコミュニケーション日数）＋ｓｉｇｍｏｉｄ（最近のコミュニケーション回数））／２．０という式を採用する。

【0052】

ステップＳ３２０において、親密値を行列における要素の取り得る値として隣接行列を構築する。

【0053】

本開示の実施例において、例示的に、ユーザを行列の要素として計算されたユーザ間の親密値に基づいて、各行で１ユーザを表し、各列で当該ユーザと社会的なつながりを持つ他のユーザを表し、親密値を行列における要素の取り得る値として隣接行列を構築して隣接行列をＡと表す。

【0054】

ステップＳ３３０において、隣接行列における各行の前記要素の重みの和が１であることを条件として、要素に重みを割り当てる。

【0055】

ここで、隣接行列における対角線の要素に割り当てられた重みが他の要素に割り当てられた重みより大きい。

【0056】

本開示の実施例において、自身の情報に基づいて隣接行列の対角線に対して５～１０．０などの大きな重みを設定する。最後に以下の式によって隣接行列の重みを正規化し、各行の和が１になるようにする。

【0057】

［式１］

【数1】

［式２］

【数2】

【0058】

式１～２において、ｉは、隣接行列における行を表し、ｊは、隣接行列における列を表し、

【数3】

は、隣接行列を表し、

【数4】

は、親密度を表す。ここで、符号化ベクトルは、

【数5】

で表す。

【数6】

は、符号化ベクトルを表し、Ｘは、ベクトル行列を表す。

【0059】

ステップＳ３４０において、隣接行列における各要素に対応するトレーニング意味ベクトルを取得し、グラフ畳み込みネットワークに基づいてトレーニング意味ベクトルと重みを割り当てた後の各要素の取り得る値との積を計算し、トレーニング符号化ベクトルを得る。

【0060】

本開示の実施例において、構築された隣接行列を基に、グラフ畳み込みネットワーク（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）に基づいて、隣接行列における各親密値及び割り当てられた重みからトレーニング意味ベクトルと重みを割り当てた後の各要素の取り得る値との積を計算し、トレーニング符号化ベクトルを決定する。

【0061】

本開示において、隣接行列の対角線に大きな重みを設定することにより、符号化されたベクトルは、ユーザの情報により偏るようにすることができる。社会的関係を符号化し、モデルコールドスタートの問題を解決し、収集されていない素材の特徴を捕捉することもできる。

【0062】

以下の実施例において、トレーニング符号化ベクトルを入力として関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングしてラベル推奨モデルを得ることについて説明する。

【0063】

図５は、本開示の実施例に係るトレーニングモデル方法の概略フローチャートを示し、図５に示すように、当該方法は、以下のステップを含むことができる。

【0064】

ステップＳ４１０において、トレーニング符号化ベクトルをフィードフォワードニューラルネットワークの入力としてフィードフォワードニューラルネットワークをトレーニングし、新たなトレーニング符号化ベクトルを得る。

【0065】

本開示の実施例において、本開示は、フィードフォワードニューラルネットワークの活性化関数として

【数7】

と表されるＲｅｌｕを採用し、Ｗ０は、ニューラルネットワークの全接続行列を表し、ニューラルネットワークのパラメータであり、出力された新たなトレーニング符号化ベクトルは、アグリゲーションされたトレーニング符号化ベクトルである。

【0066】

本開示の例示的な一実施例において、図６は、本開示の実施例に係るニューラルネットワークの概略図を示す。図６に示すように、図中のＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、異なるユーザを表す。ここで、ユーザＡと社交的関係を持っているのは、ユーザＢ及びユーザＣである。ユーザＢと社交的関係を持っているのは、ユーザＡ、ユーザＥ及びユーザＤである。ユーザＣと社交的関係を持っているのは、ユーザＡ及びユーザＦである。ユーザＡが目標ユーザであるのを例として、社交的関係に基づいてユーザＡ及びユーザＡと社交的関係を持っているユーザＢのトレーニング符号化ベクトル及びユーザＣのトレーニング符号化ベクトルを最初にアグリゲーションしたら、アグリゲーションされたユーザＡのトレーニング符号化ベクトル及びユーザＡと社交的関係を持っているユーザＢのトレーニング符号化ベクトル及びユーザＣのトレーニング符号化ベクトルが得られる。

【0067】

ステップＳ４２０において、新たなトレーニング符号化ベクトルを再び全接続ネットワークの入力として全接続ネットワークをトレーニングし、トレーニングラベルベクトルを得る。

【0068】

本開示の実施例において、新たなトレーニング符号化ベクトルである

【数8】

を第２層全接続ネットワークの入力とし、式を（AV ¹）と表し、出力されたトレーニングラベルベクトルは、

【数9】

と表記される。

【0069】

図６に示すように、アグリゲーションされたユーザＡのトレーニング符号化ベクトル及びユーザＡと社交的関係を持っているユーザＢのトレーニング符号化ベクトル及びユーザＣのトレーニング符号化ベクトルを再びＤＮＮの全接続ネットワークＷ^１に入力し、新たなユーザトレーニング符号化ベクトルを得て、説明を容易にするために、本開示では、

【数10】

をＶと表記する。ユーザＡ、ユーザＢ及びユーザＣを再びアグリゲーションした後のトレーニング符号化ベクトルを二層ニューラルネットワークにおける第２層ニューラルネットワークの入力としてニューラルネットワークの全接続ネットワークに再び入力し、式を（AV ¹）と表し、ラベルベクトルである

【数11】

、すなわち、図６中のＹが得られる。

【0070】

ここで、なお、アグリゲーションされた符号化ベクトルは、１００個のベクトルをマッピングする１００次元のベクトルなどの多次元のベクトルである。つまり、各次元は１つのベクトルを表す。

【0071】

本開示は、二層ニューラルネットワーク構造を採用し、ユーザの社会的関係によってユーザの素材を増加させ、ユーザの素材収集の範囲を広げることにより、オーバーフィッティングの問題を回避する。

【0072】

ステップＳ４３０において、トレーニングラベルベクトルを引数として、関心ラベルとして出力し、ラベル推奨モデルを得る。

【0073】

本開示の実施例において、トレーニングラベルベクトルに作用する関数によってトレーニングラベルベクトルを解析し、トレーニング関心ラベルを出力する。トレーニング関心ラベルと実際に持っている関心ラベルとの関係を計算することでラベル推奨モデルを決定する。

【0074】

図７は、本開示の実施例に係るラベル推奨モデルのトレーニング方法の概略フローチャートを示し、図７に示すように、当該方法は、以下のステップを含むことができる。

【0075】

ステップＳ５１０において、活性化関数を利用してトレーニングラベルベクトルを解析し、トレーニングラベルベクトルに含まれる関心ラベルを得る。

【0076】

本開示の実施例において、トレーニングラベルベクトルに作用する活性化関数を決定し、ここで、活性化関数は、ｓｉｇｍｏｉｄ関数であってもよい。得られたトレーニングラベルベクトルを活性化関数の引数として活性化関数によってトレーニングラベルベクトルを解析し、複数のラベル、すなわち、複数のトレーニング関心ラベルを得る。

【0077】

ステップＳ５２０において、関心ラベルにおいて、関心ラベルに対応する第１の関心ラベルを決定し、第１の関心ラベルが関心ラベルに占める割合を計算し、ラベル推奨モデルの確率閾値を決定し、出力ラベル確率が確率閾値以上であるラベル推奨モデルを得る。

【0078】

本開示の実施例において、複数のラベルにおいて、各ラベルの出現回数が全てのラベルの出現回数に占める確率を計算する。関心ラベルに対応する第１の関心ラベルの出現回数が全てのラベルの出現回数に占める確率を計算することにより、ラベル推奨モデルの確率閾値を決定し、出力されたラベル確率が確率閾値以上であるラベル推奨モデルを得る。

【0079】

本開示は、同じ／類似の発想に基づいて、ラベル取得方法をさらに提供する。

【0080】

図８は、本開示の実施例に係るラベル取得方法の概略フローチャートであり、図８に示すように、当該方法は、以下のステップを含むことができる。

【0081】

ステップＳ６１０において、関心ラベルの取得指示を受信したことに応答し、対応する素材を取得する。

【0082】

本開示の実施例において、関心ラベル指示を受信したら、当該指示に対応する素材を取得し、上述した実施例のように、素材は、行動素材及びサービス素材を含む。

【0083】

ステップＳ６２０において、意味拡張表現フレームワークを利用して素材の特徴を表現し、関心ラベルを含む意味ベクトルを得る。

【0084】

本開示の実施例において、意味拡張表現フレームワークを利用して取得された当該行動素材及びサービス素材を表現し、関心ラベルを含む行動ベクトル及びサービスベクトルを得る。

【0085】

ステップＳ６３０において、ソーシャルネットワークを意味ベクトルにアグリゲーションして符号化ベクトルを得る。

【0086】

本開示の実施例において、行動ベクトル及びサービスベクトルを上記実施例に係る方法によってアグリゲーションし、グラフ畳み込みネットワークを利用して社会的関係を持つ意味ベクトルを符号化する。グラフ畳み込みネットワークの定義に基づいて、符号化ベクトルは、ユーザを特徴付けることができ、ユーザの符号化ベクトル＝Σ親密度*従業員の友人ベクトル、すなわち

【数12】

であり、Ｘは、ユーザのベクトル行列を表し、１行は１ユーザである。

【0087】

得られた意味ベクトルを得られた隣接行列によって当該意味ベクトルに組み込み、当該符号化ベクトルを得る。

【0088】

ステップＳ６４０において、符号化ベクトルを予めトレーニングされたラベル推奨モデルに入力し、関心ラベルを得る。

【0089】

本開示の実施例において、得られた符号化ベクトルをトレーニングされたラベル推奨モデルに入力し、ラベル推奨モデルは、当該関心ラベルを出力し、すなわち、ユーザの関心ラベルが得られる。

【0090】

本開示の実施例に係るラベル取得方法によれば、ユーザの関心ラベルを正確に取得することにより、関連素材を正確に推奨することができる。

【0091】

本開示において、ラベル推奨モデルを利用するステップは、以下の実施例を参照することができる。

【0092】

図９は、本開示の実施例に係るラベル推奨モデルの使用方法の概略フローチャートを示し、図９に示すように、当該方法は、以下のステップを含むことができる。

【0093】

ステップＳ７１０において、符号化ベクトルをラベル推奨モデルにおけるフィードフォワードニューラルネットワークに入力し、新たな符号化ベクトルを得る。

【0094】

本開示の実施例において、トレーニング符号化ベクトルの決定方法を利用して符号化ベクトルが得られ、符号化ベクトルをラベル推奨モデルにおけるフィードフォワードニューラルネットワークに入力し、当該レイヤモデルの全接続ネットワークによって新たな符号化ベクトルを得る。

【0095】

ステップＳ７２０において、新たな符号化ベクトルを全接続ネットワークに入力し、ラベルベクトルを得る。

【0096】

本開示の実施例において、新たな符号化ベクトルをラベル推奨モデルにおける第２層の全接続ネットワークに入力し、ラベルベクトルを得る。

【0097】

例示的に、当該ラベルベクトルには、ユーザの特徴、例えば、深層学習、アーキテクチャ技術、クラウドコンピューティング、自然言語処理などの特徴が含まれる。

【0098】

ステップＳ７３０において、ラベルベクトルを解析し、ラベル推奨モデルにおける確率閾値に基づいて関心ラベルを出力する。

【0099】

本開示の実施例において、ｓｉｇｍｏｉｄを活性化関数としてラベルベクトルを解析する。ラベルベクトルが持つ特徴によって特徴に対応する関心ラベルを得るため、得られる関心ベクトルの中からユーザが持つ関心ラベルを決定する。

【0100】

例示的に、複数の特徴は、１つの関心ラベルに対応することができ、例えば、持っているテキスト分類、ＴＦ－ＩＤＦ、ＯＮＥ－ＨＯＴ特徴などは、すべて「自然言語処理」ラベルに対応することができる。

【0101】

以下の実施例において、前記ラベルベクトルを解析し、前記ラベル推奨モデルにおける確率閾値に基づいて関心ラベルを出力することについて説明する。

【0102】

図１０は、本開示の実施例に係るラベル取得方法の概略フローチャートを示し、図１０に示すように、当該方法、以下のステップを含むことができる。

【0103】

ステップＳ８１０において、ラベル推奨モデルにおける活性化関数に基づいてラベルベクトルを解析し、複数のラベルを得る。

【0104】

上記実施例から分かるように、ラベルベクトルは、

【数13】

と表す。ここで、解析関数は、Ｚ＝ｓｉｇｍｏｉｄ（Ｒ）であり、すなわち、

【数14】

ここで、Ｚは、予測された関心ラベルを表し、複数のラベルが得られる。

【0105】

ステップＳ８２０において、複数のラベルのうちの出現確率が確率閾値以上であるラベルを関心ラベルとして決定する。

【0106】

本開示の実施例において、得られる関心ラベルにおいて、各関心ラベルの出現回数が全ての関心ラベルの出現回数に占める確率を計算し、確率が確率閾値以上である関心ラベルをユーザの持つ関心ラベルとして決定する。

【0107】

例えば、確率閾値が０．５である場合、解析された次元結果のうち、０．５より大きい予測値をユーザの持つ関心ラベルとして決定する。

【0108】

本開示の実施例において、様々な異なるシナリオ、特に、企業のオフィスシナリオなどの企業内部の知識管理に適用することができる。本開示は、企業のオフィスシナリオを例に挙げているが、当該シナリオに限定されるものではない。

【0109】

企業のオフィスシナリオにおいて、関心は、スキル、業務、役職の３つのラベルに分けられる。スキルは、すなわち、知識分類体系、例えば、深層学習、アーキテクチャ技術、クラウドコンピューティング、自然言語処理などであり、業務とは、会社員が参加する製品又はプロジェクト、例えば、アプリケーションＡ、アプリケーションＢなどであり、役職ベクトルは、シーケンスとも呼ばれ、ユーザの役割を表し、具体的には、研究開発エンジニア（Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｅｎｇｉｎｅｅｒ、ＲＤ）、品質保証（Ｑｕａｌｉｔｙ Ａｓｓｕｒａｎｃｅ、ＱＡ）、ＰＭ、オペレータ又は管理者（Ｏｐｅｒａｔｏｒ、ＯＰ）などに分けられる。本開示の目標は、各ユーザの関心画像を正確に予測することである。例えば、ユーザＡのラベルは、経路計画、地図技術、ＲＤなどである。

【0110】

本開示に係る方法によれば、会社内部の知識推奨及び製品の検索に適用することにより、千人千面の推奨効果及び正確な検索効果を実現することができる。先ず、知識推奨製品では、ユーザ画像の関心ラベルによってユーザの好みを正確に知ることにより、ユーザに関心のある文章及びビデオを推奨することができ、人口属性のみに基づくラベルに比べて、関心ラベルが説明する範囲がより広く、ユーザ個人の好みをより体現するので、推奨効果がよりよい。ユーザが製品／プロジェクトに関連付けられているため、製品／プロジェクトの検索時に関係者の構造化情報を直接返し、ユーザが関係者の情報をより迅速に取得することができ、検索のコストが削減される。正確なユーザ画像予測を実現することは、推奨及び検索等の下流側の製品の体験の向上に役立つ。

【0111】

図１に示す方法と同じ原理に基づいて、図１１は、本開示の実施例に係るラベル推奨モデルトレーニングの概略構成図を示し、図１１に示すように、当該装置１００は、
ユーザトレーニング素材の収集指示を受信したことに応答し、トレーニング素材を収集するように構成される取得モジュール１０１と、意味拡張表現フレームワークを利用してトレーニング素材の特徴を表現し、関心ラベルを含むトレーニング意味ベクトルを得るように構成され、ソーシャルネットワークをトレーニング意味ベクトルにアグリゲーションしてトレーニング符号化ベクトルを得るようにも構成される処理モジュール１０２と、トレーニング符号化ベクトルを入力として関心ラベルを出力とし、二層ニューラルネットワーク構造をトレーニングし、ラベル推奨モデルを得るように構成されるトレーニングモジュール１０３と、を含むことができる。

【0112】

本開示の実施例において、トレーニング素材は、行動トレーニング素材及びサービストレーニング素材を含む。

【0113】

処理モジュール１０２は、意味拡張表現フレームワークに基づいて、行動トレーニング素材を異なる長さのトレーニング行動ベクトルとして表現し、サービストレーニング素材を固定長のトレーニングサービスベクトルとして表現し、トレーニング行動ベクトルを平均化した後、トレーニングサービスベクトルと融合してトレーニング意味ベクトルを得るように構成される。

【0114】

処理モジュール１０２は、ソーシャルネットワークを取得し、ソーシャルネットワーク間の親密値を決定し、親密値を行列における要素の取り得る値として隣接行列を構築し、隣接行列における各行の要素の重みの和が１であることを条件として、要素に重みを割り当て、隣接行列における対角線の要素に割り当てられた重みが他の要素に割り当てられた重みより大きく、隣接行列における各要素に対応するトレーニング意味ベクトルを取得し、グラフ畳み込みネットワークに基づいてトレーニング意味ベクトルと重みを割り当てた後の各要素の取り得る値との積を計算し、トレーニング符号化ベクトルを得るように構成される。

【0115】

トレーニングモジュール１０３は、トレーニング符号化ベクトルをフィードフォワードニューラルネットワークの入力としてフィードフォワードニューラルネットワークをトレーニングし、新たなトレーニング符号化ベクトルを得て、新たなトレーニング符号化ベクトルを再び全接続ネットワークの入力として全接続ネットワークをトレーニングし、トレーニングラベルベクトルを得て、トレーニングラベルベクトルを引数として、関心ラベルとして出力し、ラベル推奨モデルを得るように構成される。

【0116】

トレーニングモジュール１０３は、活性化関数を利用してトレーニングラベルベクトルを解析し、トレーニングラベルベクトルに含まれるラベルを得て、ラベルにおいて、関心ラベルに対応する第１の関心ラベルを決定し、第１の関心ラベルがラベルに占める割合を計算し、ラベル推奨モデルの確率閾値を決定し、出力ラベル確率が確率閾値以上であるラベル推奨モデルを得るようにも構成される。

【0117】

図８に示す方法と同じ原理に基づいて、図１２は、本開示の実施例に係るラベル取得構造の概略図を示し、図１２に示すように、当該ラベル取得装置２００は、
関心ラベルの取得指示を受信したことに応答し、対応する素材を取得するように構成される取得モジュール２０１と、意味拡張表現フレームワークを利用して素材の特徴を表現し、関心ラベルを含む意味ベクトルを得るように構成され、ソーシャルネットワークを意味ベクトルにアグリゲーションして符号化ベクトルを得るようにも構成される処理モジュール２０２と、符号化ベクトルを予めトレーニングされたラベル推奨モデルに入力し、関心ラベルを得るように構成される予測モジュール２０３と、を含むことができる。

【0118】

処理モジュール２０２は、符号化ベクトルを画像モデルにおけるフィードフォワードニューラルネットワークに入力し、新たな符号化ベクトルを得て、新たな符号化ベクトルを全接続ネットワークに入力し、ラベルベクトルを得て、ラベルベクトルを解析し、画像モデルにおける確率閾値に基づいて関心ラベルを出力するように構成される。

【0119】

予測モジュール２０３は、画像モデルにおける活性化関数に基づいてラベルベクトルを解析し、複数のラベルを得て、複数のラベルのうちの出現確率が確率閾値以上であるラベルを関心ラベルとして決定するように構成される。

【0120】

本開示の技術案において、係るユーザ個人情報の取得、記憶及び適用などは、いずれも関連する法律法規の規定に適合し、公序良俗に反するものではない。

【0121】

本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体及びコンピュータプログラムをさらに提供する。

【0122】

図１３は、本開示の実施例を実施するために使用され得る例示的な電子機器３００の概略ブロック図を示す。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本開示の実現を制限するものではない。

【0123】

図１３に示すように、機器３００は、リードオンリーメモリ（ＲＯＭ）３０２に記憶されているコンピュータプログラム、又は記憶ユニット３０８からランダムアクセスメモリ（ＲＡＭ）３０３にロッドされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる計算ユニット３０１を含む。ＲＡＭ３０３には、機器３００の動作に必要な様々なプログラム及びデータが記憶されていてもよい。計算ユニット３０１、ＲＯＭ３０２及びＲＡＭ３０３は、バス３０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インタフェース３０５もバス３０４に接続されている。

【0124】

機器３００における、キーボード、マウスなどの入力ユニット３０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット３０７と、磁気ディスク、光ディスクなどの記憶ユニット３０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット３０９と、を含む複数のコンポーネントは、入出力（Ｉ／Ｏ）インタフェース３０５に接続されている。通信ユニット３０９は、機器３００がインタネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。

【0125】

計算ユニット３０１は、各種の処理及び計算能力を有する汎用及び／又は専用処理コンポーネントであってもよい。計算ユニット３０１のいくつかの例は、セントラルプロセッシングユニット（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、各種の専用人工知能（ＡＩ）計算チップ、各種の機械学習モデルアルゴリズムを運行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及びいずれかの適宜なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット３０１は、上述したそれぞれの方法及び処理、例えば、ラベル推奨モデルのトレーニング方法及びラベル取得方法を実行する。例えば、いくつかの実施例で、ラベル推奨モデルのトレーニング方法及びラベル取得方法は、記憶ユニット３０８のような機械読み取り可能な媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施例で、コンピュータプログラムの一部又は全部は、ＲＯＭ３０２及び／又は通信ユニット３０９を介して機器３００にロッド及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ３０３にロッドされて計算ユニット３０１によって実行された場合、上述したラベル推奨モデルのトレーニング方法及びラベル取得方法の１つ又は複数のステップを実行することができる。あるいは、他の実施例で、計算ユニット３０１は、他の任意の適切な形態で（例えば、ファーとウェアにより）ラベル推奨モデルのトレーニング方法及びラベル取得方法を実行するように構成されてもよい。

【0126】

本明細書で上述したシステム及び技術の各種の実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア及び／又はそれらの組合せにおいて実現してもよい。これらの各種の実施方式は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行及び／又は解釈することができる１つ又は複数のコンピュータプログラムにおいて実現されてもよく、当該プログラマブルプロセッサは、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を伝送することができる専用及び／又は汎用プログラマブルプロセッサであってもよい。

【0127】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャート及び／又はブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンパッケージとして、部分的に機械上で実行され、かつ部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。

【0128】

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又はデバイスによって使用されるために、又は命令実行システム、装置、又はデバイスと組み合わせて使用するためのプログラムを含むか、又は格納することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）又はフラッシュメモリ、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

【0129】

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

【0130】

ここで説明されるシステム及び技術は、バックエンドユニットを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアユニットを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドユニットを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドユニットと、ミドルウェアユニットと、フロントエンドユニットの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

【0131】

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、且つ互いにクライアント-サーバ関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバは、クラウドサーバであってもよく、分散システムのサーバ又はブロックチェーンを組み合わせたサーバであってもよい。

【0132】

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。

【0133】

上記の具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本開示の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】