▶ セールスフォース ドット コム インコーポレイティッドの特許一覧
特表2024-521668深層学習における意味ベースの節の階層型検索のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】深層学習における意味ベースの節の階層型検索のためのシステム及び方法
(51)【国際特許分類】
G06F 16/31 20190101AFI20240528BHJP
【ＦＩ】
G06F16/31
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023571263
(86)(22)【出願日】2022-01-26
(85)【翻訳文提出日】2024-01-15
(86)【国際出願番号】 US2022013926
(87)【国際公開番号】W WO2022245406
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】63/189,505
(32)【優先日】2021-05-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/533,613
(32)【優先日】2021-11-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
２．ＡＣＴＩＶＥＸ
(71)【出願人】
【識別番号】506332063
【氏名又は名称】セールスフォース インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】リウ，イエ
(72)【発明者】
【氏名】橋本 和真
(72)【発明者】
【氏名】ジョウ，インボー
(72)【発明者】
【氏名】ヤブズ，セミフ
(72)【発明者】
【氏名】ション，カイミング
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA01
5B175JC05
(57)【要約】
本明細書に記載される実施形態は、文書レベル及び節レベルの密な検索モデルを使用して、文書のコーパスに対するオープンドメインの質問及び回答のための密な階層型検索を提供する。具体的には、各文書は、セクション、サブセクション及び段落を有する構造的集合とみなされる。各文書は、短い長さの節に分割されてよく、ここで、文書レベル検索モデル及び節レベル検索モデルを適用して、フィルタリングされたテキストのより小さなセットを返すことができる。質問と文書を符号化し、符号化された質問に対する文書関連性スコアを決定した後に、上位文書が識別され得る。その後、節を符号化したこと及び符号化された質問に対する節関連性スコアを決定したことに基づいて、上位節のセットが更に識別される。文書及び節関連スコアは、上位節のセットを有する文書の最終的な検索ランキングを決定するために、組み合わせて使用され得る。
【特許請求の範囲】
【請求項1】
深層学習における密な階層型検索のためのシステムであって、機械実行可能コードを記憶している非一時的メモリと、
前記非一時的メモリに結合される１つ以上のハードウェアプロセッサであって、該１つ以上のハードウェアプロセッサに、
文書のコーパスについて質問を受信するステップであって、前記コーパス内の前記文書は、節のそれぞれのセットに関連付けられる、ステップと、
前記文書の前記コーパス及び前記文書についての符号化された文書のインデックスにアクセスするステップであって、前記符号化された文書は、前記文書の要約又は前記文書の線形化された目次のうちの少なくとも一方に基づく、ステップと、
前記文書の文書レベル検索モデル及び前記節の節レベル検索モデルについての前記質問を符号化するステップと、
前記文書レベル検索モデルを使用して、前記質問に対する前記文書の文書関連性スコアを決定するステップであって、前記文書関連性スコアは、前記符号化された質問と前記符号化された文書とに基づく、ステップと、
前記文書関連性スコアを使用して、前記文書から無関係の文書をフィルタリングして前記文書のうちの少なくとも１つの文書を識別するステップと、
前記節の節レベル検索モデルを使用して、前記文書のうちの前記少なくとも１つの文書内の前記節を符号化するステップであって、前記節を符号化するステップは、前記文書のうちの前記少なくとも１つの文書の少なくとも１つの文書構造を更に使用するステップと、
前記文書関連性スコアと前記符号化された節とを使用して、前記文書のうちの前記少なくとも１つの文書から、前記質問についての上位評価の節を取得するステップと、
を含む動作を実行させる前記機械実行可能コードを実行するよう構成可能な１つ以上のハードウェアプロセッサと、
を備える、システム。
【請求項2】
前記上位評価の節を取得するステップは、前記節レベル検索モデルと前記符号化された節を使用して、前記質問についての節関連性スコアを決定するステップと、
前記文書関連性スコア及び前記節関連性スコアからの組合せ関連性スコアを使用して、前記文書からフィルタリングされた節のセットを決定するステップと、
を含む、請求項１に記載のシステム。
【請求項3】
前記節は、前記少なくとも１つの文書構造を用いて前記節を符号化する前に拡張され、前記少なくとも１つの文書構造は、前記文書のうちの対応する１つの文書の要約、目次、１つ以上のセクションタイトル、１つ以上のサブセクションタイトル又は１つ以上の段落タイトルリストのうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項4】
前記文書関連性スコアを決定するステップは、前記文書レベル検索モデルのトレーニング中に提供されるトレーニングデータについての前記節のランキングに更に基づく、請求項１に記載のシステム。
【請求項5】
前記質問を受信する前に、前記機械実行可能コードは、前記１つ以上のハードウェアプロセッサに、前記コーパス内の前記文書の前記要約又は前記線形化された目次のうちの少なくとも１つを決定するステップと、
前記要約又は前記線形化された目次のうちの前記少なくとも１つに基づいて、第１深層学習モデルを使用して、前記文書を符号化するステップと、
前記インデックス内の前記符号化されたドキュメントのオフラインインデックス化を実行するステップと、
を含む動作を更に実行させる、請求項１に記載のシステム。
【請求項6】
前記機械実行可能コードは、前記１つ以上のハードウェアプロセッサに、第２深層学習モデルを使用して、トレーニング質問についての上位節のセットを検索するステップと、
前記トレーニング質問のために前記検索された上位節のセットからの文書内否定的サンプル及びセクション内否定的サンプルに対する否定的サンプリング操作を使用して、前記節レベル検索モデルをトレーニングするステップと、
を含む動作を更に実行させる、請求項５に記載のシステム。
【請求項7】
前記否定的サンプリング操作は、前記検索された上位節のセットからの対応する文書又は対応するセクション内の肯定的節に対する否定的節の近さに基づいて重み付けされたバイアスを適用する、請求項６に記載のシステム。
【請求項8】
深層学習における密な階層型検索の方法であって、当該方法は、文書のコーパスについて質問を受信するステップであって、前記コーパス内の前記文書は、節のそれぞれのセットに関連付けられる、ステップと、
前記文書の前記コーパス及び前記文書についての符号化された文書のインデックスにアクセスするステップであって、前記符号化された文書は、前記文書の要約又は前記文書の線形化された目次のうちの少なくとも一方に基づく、ステップと、
前記文書の文書レベル検索モデル及び前記節の節レベル検索モデルについての前記質問を符号化するステップと、
前記文書レベル検索モデルを使用して、前記質問に対する前記文書の文書関連性スコアを決定するステップであって、前記文書関連性スコアは、前記符号化された質問と前記符号化された文書とに基づく、ステップと、
前記文書関連性スコアを使用して、前記文書から無関係の文書をフィルタリングして前記文書のうちの少なくとも１つの文書を識別するステップと、
前記節の節レベル検索モデルを使用して、前記文書のうちの前記少なくとも１つの文書内の前記節を符号化するステップであって、前記節を符号化するステップは、前記文書のうちの前記少なくとも１つの文書の少なくとも１つの文書構造を更に使用するステップと、
前記文書関連性スコアと前記符号化された節とを使用して、前記文書のうちの前記少なくとも１つの文書から、前記質問に対する上位評価の節を取得するステップと、
を含む、方法。
【請求項9】
前記上位評価の節を取得するステップは、前記節レベル検索モデルと前記符号化された節を使用して、前記質問についての節関連性スコアを決定するステップと、
前記文書関連性スコア及び前記節関連性スコアからの組合せ関連性スコアを使用して、前記文書からフィルタリングされた節のセットを決定するステップと、
を含む、請求項８に記載の方法。
【請求項10】
前記節は、前記少なくとも１つの文書構造を用いて前記節を符号化する前に拡張され、前記少なくとも１つの文書構造は、前記文書のうちの対応する１つの文書の要約、目次、１つ以上のセクションタイトル、１つ以上のサブセクションタイトル又は１つ以上の段落タイトルリストのうちの少なくとも１つを含む、請求項８に記載の方法。
【請求項11】
前記文書関連性スコアを決定するステップは、前記文書レベル検索モデルのトレーニング中に提供されるトレーニングデータについての前記節のランキングに更に基づく、請求項８に記載の方法。
【請求項12】
前記質問を受信する前に、当該方法は、前記コーパス内の前記文書の前記要約又は前記線形化された目次のうちの少なくとも１つを決定するステップと、
前記要約又は前記線形化された目次のうちの前記少なくとも１つに基づいて、第１深層学習モデルを使用して、前記文書を符号化するステップと、
前記インデックス内の前記符号化されたドキュメントのオフラインインデックス化を実行するステップと、
を更に含む、請求項８に記載の方法。
【請求項13】
第２深層学習モデルを使用して、トレーニング質問についての上位節のセットを検索するステップと、前記トレーニング質問のために前記検索された上位節のセットからの文書内否定的サンプル及びセクション内否定的サンプルに対する否定的サンプリング操作を使用して、前記節レベル検索モデルをトレーニングするステップと、
を更に含む、請求項１２に記載の方法。
【請求項14】
前記否定的サンプリング操作は、前記検索された上位節のセットからの対応する文書又は対応するセクション内の肯定的節に対する否定的節の近さに基づいて重み付けされたバイアスを適用する、請求項１３に記載の方法。
【請求項15】
深層学習における密な階層型検索の方法を実行するために構成可能な命令を記憶している非一時的機械読取可能媒体であって、前記命令は、機械に、文書のコーパスについての質問を受信するステップであって、前記コーパス内の前記文書は、節のそれぞれのセットに関連付けられる、ステップと、
前記文書の前記コーパス及び前記文書についての符号化された文書のインデックスにアクセスするステップであって、前記符号化された文書は、前記文書の要約又は前記文書の線形化された目次のうちの少なくとも一方に基づく、ステップと、
前記文書の文書レベル検索モデル及び前記節の節レベル検索モデルについての前記質問を符号化するステップと、
前記文書レベル検索モデルを使用して、前記質問に対する前記文書の文書関連性スコアを決定するステップであって、前記文書関連性スコアは、前記符号化された質問と前記符号化された文書とに基づく、ステップと、
前記文書関連性スコアを使用して、前記文書から無関係の文書をフィルタリングして前記文書のうちの少なくとも１つを識別するステップと、
前記節の節レベル検索モデルを使用して、前記文書のうちの少なくとも１つの文書内の前記節を符号化するステップであって、前記節を符号化するステップは、前記文書のうちの前記少なくとも１つの文書の少なくとも１つの文書構造を更に使用するステップと、
前記文書関連性スコアと前記符号化された節とを使用して、前記文書のうちの前記少なくとも１つの文書から、前記質問に対する上位評価の節を取得するステップと、
を含む動作を実行させる機械実行可能コードを含む、非一時的機械読取可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
［相互参照］
本出願は、２０２１年１１月２３日に出願された米国非仮出願第１７／５３３，６１３号及び２０２１年５月１７日に出願された米国仮出願第６３／１８９，５０５号の優先権を主張し、これらの出願は、その全体が参照により本明細書に明示的に組み込まれる。
［著作権の表示］
本特許文書の開示の一部は、著作権保護の対象となる資料を含む。著作権所有者は、特許商標庁の特許ファイル又は記録に現れる特許文書又は特許開示の何人かによるファクシミリ複製に対して異論はないが、それ以外の場合は、いかなる場合でもすべての著作権を保有する。
本出願は、２０２１年１１月２３日に出願された米国非仮出願第１７／５３３，６１３号及び２０２１年５月１７日に出願された米国仮出願第６３／１８９，５０５号の優先権を主張し、これらの出願は、その全体が参照により本明細書に明示的に組み込まれる。
［著作権の表示］
本特許文書の開示の一部は、著作権保護の対象となる資料を含む。著作権所有者は、特許商標庁の特許ファイル又は記録に現れる特許文書又は特許開示の何人かによるファクシミリ複製に対して異論はないが、それ以外の場合は、いかなる場合でもすべての著作権を保有する。
【0002】
［技術分野］
実施形態は、一般に、機械学習システム及び深層学習に関し、より具体的には、意味ベースのデータの階層型検索フレームワーク（hierarchical retrieval framework）に関する。
実施形態は、一般に、機械学習システム及び深層学習に関し、より具体的には、意味ベースのデータの階層型検索フレームワーク（hierarchical retrieval framework）に関する。
【背景技術】
【0003】
背景技術のセクションで議論される主題事項は、単に背景技術のセクションでの言及の結果として先行技術であると仮定されるべきではない。同様に、背景技術のセクションで言及されるか又は背景技術のセクションの主題に関連する問題は、以前に先行技術で認識されていたと仮定されるべきではない。背景技術のセクションの主題は、単に異なるアプローチを表しているだけであり、それ自体も発明である可能性がある。
【0004】
機械学習（ＭＬ、machine learning）及びニューラルネットワーク（ＮＮ、neural network）システムは、例えば人間のコミュニケーションの全体的な意図、構文及び／又は意味を理解するために、人間の発話（speech）及び記述（writing）を理解しようとするために利用され得る。このようなＭＬ／ＮＮシステムは、ラベルで事前に注釈が付けられるか（教師あり）又は事前に注釈が付けられたラベルのない（教師なし）、異なる文書コーパスを含む、大量のトレーニングテキストを使用してトレーニングされることがある。ＭＬシステムをトレーニングするとき、文書からの文字、単語、フレーズ、節（passages）及び内容を含む、異なるトレーニングデータが利用されることがある。しかしながら、トレーニングデータ及びそのようなデータの仕様は範囲が異なり、大きな文書コーパスを使用するときに、異なる予測及び分類を引き起こす可能性がある。さらに、異なる文書や文書からの節等を有するトレーニングデータの異なる使用は、ＭＬ／ＮＮモデルがトレーニングされると、予測不能及び／又はより遅い検索結果をもたらす可能性がある。
【0005】
密なニューラル検索器（dense neural retrievers）に関する最近の研究は、ＭＬ／ＮＮシステムによるオープンドメイン質問回答（ＱＡ）で有望な結果を達成しており、そこでは、質問と節の潜在的表現が、検索プロセスにおける最大内積検索に利用されることがある。しかしながら、密な検索器をトレーニングすることは、文書を短い節に分割する必要があり、その節の表現は、局所的な内容、部分的な内容、そしてときには偏った内容を含むことがあるので、トレーニングは分割プロセスに大きく依存する。その結果、トレーニングはモデル内に不正確で誤解を招く隠れた表現をもたらし、したがって、ＭＬ／ＮＮシステムによる最終的な検索結果を劣化させる。
【図面の簡単な説明】
【0006】
【図1】いくつかの実施形態による、データベースクエリ結果を予測するためのシステム及び方法が使用され得る、例示的な環境のブロック図を示す図である。
【0007】
【図2】いくつかの実施形態による別の例示的な環境のブロック図を示す図である。
【0008】
【図3】いくつかの実施形態による、深層学習における階層型検索を使用して文書及び節を検索するための例示的なコンピューティングシステムのブロック図を示す図である。
【0009】
【図4】いくつかの実施形態による、深層学習における意味ベースの節の階層型検索を使用して検索され得る、文書コーパス内の例示的な文書及び節の簡略図である。
【0010】
【図5】いくつかの実施形態による、深層学習における意味ベースの節の階層型検索のための例示的な構成要素の簡略図である。
【0011】
【0012】
図面において、同じ符号を有する要素は、同一又は類似の機能を有する。
【発明を実施するための形態】
【0013】
本説明及び態様、実施形態、実装又は適用を例示する添付図面は、保護される発明を定義する請求項を限定するものと解釈されるべきではない。本説明及び特許請求の範囲の精神及び範囲から逸脱することなく、様々な機械的、組成的、構造的、電気的及び動作的な変更が行われてもよい。いくつかの例では、周知の回路、構造又は技術は、当業者に公知であるので、詳細には示されず、説明されていない。２つ以上の図面における同様の番号は、同一又は類似の要素を表す。
【0014】
本説明において、本開示と一致するいくつかの実施形態を説明する具体的な詳細が説明される。実施形態の完全な理解を提供するために、多くの具体的な詳細が説明される。しかしながら、当業者には、これらの具体的な詳細の一部又は全部なしに、いくつかの実施形態が実施されてもよいことが明らかであろう。本明細書に開示される具体的な実施形態は、例示的であるが、限定的ではないように意図される。当業者は、本明細書では具体的に説明しないが、本開示の範囲及び精神内にある他の要素を理解することができる。加えて、不必要な繰り返しを避けるために、１つの実施形態に関連して示され説明される１つ以上の特徴は、特に記載がない限り、あるいは１つ以上の特徴が実施形態を機能しないようにする場合、他の実施形態に組み込まれることがある。
【0015】
深層学習は、ＭＬ及びＮＮシステムで広く使用されている。対照的な学習では、オープンドメインＱＡが擬似事実についての質問に答えるために使用されることがある。以前は、質問に答えるために密な節検索（dense passage retrieval）が使用されることがあった。一般的なアプローチの１つは、回答を提供するためにｒｅｔｒｉｅｖｅｒ－ｒｅａｄｅｒアプローチを利用することである。このようなオープンドメイン質問回答では、質問が与えられ、文書コーパス内の関連するコンテキストのセットが予測される。しかしながら、ウィキペディアのような大きな文書コーパスから関連するコンテキストを抽出することは困難であり、類似したトピックが特定の質問に関連している可能性がある等の弱点に悩まされる。さらに、文書からの節は、局所的かつ特定の情報のみを含む可能性があり、注意をそらす表現につながる。
【0016】
代わりに、密な階層型検索（ＤＨＲ、Dense Hierarchical Retrieval）は、文書内のマクロ的意味と各節に固有のミクロ的意味の両方を利用することによって、節の正確な密な表現を生成するために使用されることがある。まず、例えば文書コーパスからの文書を符号化することに基づいて、質問に関連する文書が検索される。文書は、文書内の要約、目次及び／又は他のタイトル表を使用して、文書レベルで符号化され得る。その後、関連する節が、文書レベルの関連性で較正される節レベルの検索モデルによって検索され得る。グローバルな意味を更に強化するために、各節は階層的なタイトルリストと組み合わされる。肯定的な節をより良く学習するために、２つの否定的サンプリング戦略が導入されることがある、すなわち、文書内（ｉｎ－Ｄｏｃ）否定的サンプルとセクション内（ｉｎ－Ｓｅｃ）否定的サンプルが、ハードコントラストサンプルとして使用されることがある。ＤＨＲは大規模オープンドメインＱＡデータセットに適用され、ここで、密な階層型検索モデルは密な節検索器よりも性能が優れていることがあり、エンドツーエンドのＱＡシステムが複数のオープンドメインＱＡベンチマークでより良い結果を確立するのに役立つ。
【0017】
本明細書で使用されるとき、「ネットワーク」という用語は、任意の人工知能ネットワーク又はシステム、ＮＮ又はシステム、並びに／あるいはそれらの上に又はそれらとともに実装される任意のトレーニング又は学習モデルを含む、任意のハードウェア又はソフトウェアベースのフレームワークを含み得る。
【0018】
本明細書で使用されるとき、「モジュール」という用語は、１つ以上の機能を実行する任意のハードウェア又はソフトウェアベースのフレームワークを含み得る。いくつかの実施形態では、モジュールは、１つ以上のＮＮ上に実装され得る。
【0019】
概要
マルチテナントデータベースシステムのような複数の別個の組織によってアクセス可能なデータベースシステムに対して、文書レベル検索モデル（document-level retrieval model）及び節レベル検索モデル（passage-level retrieval model）を使用して文書コーパスを処理するために方法、データ構造及びシステムが提供される。データベースシステムは、文書コーパス又は複数の文書コーパスと呼ばれる、データベースシステムのユーザによってアクセス可能な多数の文書を記憶する。文書は、例えば入力、記事、要求、及び情報記事や百科事典的エントリ（encyclopedic entries）、ヘルプ要求、トレーニングマニュアル、パンフレット又は情報を提供する主題に関する他の記事のような何らかの情報を提供する他の文書に基づいて、データベースシステムのユーザ又は管理者（例えば組織のエージェント）によって生成され得る。データベースシステムによって記憶される少なくともいくつかの文書は、文書のタイトル又は主題について関連するテキストを有する節に関連付けられる。文書コーパス内の文書は、要約、目次（ＴｏＣ、table of contents）、セクション及び対応するセクションタイトル、サブセクション及び対応するサブセクションタイトル、タイトルの表、段落、文及び／又は他のテキストを含む、１つ以上の文書構造を更に含むことがある。
マルチテナントデータベースシステムのような複数の別個の組織によってアクセス可能なデータベースシステムに対して、文書レベル検索モデル（document-level retrieval model）及び節レベル検索モデル（passage-level retrieval model）を使用して文書コーパスを処理するために方法、データ構造及びシステムが提供される。データベースシステムは、文書コーパス又は複数の文書コーパスと呼ばれる、データベースシステムのユーザによってアクセス可能な多数の文書を記憶する。文書は、例えば入力、記事、要求、及び情報記事や百科事典的エントリ（encyclopedic entries）、ヘルプ要求、トレーニングマニュアル、パンフレット又は情報を提供する主題に関する他の記事のような何らかの情報を提供する他の文書に基づいて、データベースシステムのユーザ又は管理者（例えば組織のエージェント）によって生成され得る。データベースシステムによって記憶される少なくともいくつかの文書は、文書のタイトル又は主題について関連するテキストを有する節に関連付けられる。文書コーパス内の文書は、要約、目次（ＴｏＣ、table of contents）、セクション及び対応するセクションタイトル、サブセクション及び対応するサブセクションタイトル、タイトルの表、段落、文及び／又は他のテキストを含む、１つ以上の文書構造を更に含むことがある。
【0020】
本明細書に記載される実施形態は、ＭＬ及びＮＮ技法を採用する文書レベル検索モデル及び節レベル検索モードを使用して、文書から意味ベースの節を階層的に検索するための方法、コンピュータプログラム製品及びコンピュータデータベースシステムを提供する。オンラインシステムは、ユーザにオンラインサービス及び文書コーパスへのアクセスを提供する。例えばオンラインシステムは、百科事典的リソース（encyclopedic resources）及び／又は顧客関係管理（ＣＲＭ）ソフトウェアアプリケーションへのアクセスをユーザに提供するウェブベースのシステムであり得る。ユーザにサービスを提供する一部として、オンラインシステムは、オンラインシステムのユーザによってアクセス可能であり、かつトレーニングされたＭＬ／ＮＮプロセス及び／又は自然言語プロセッサのような他の検索エンジンを使用して検索可能な、文書コーパスを記憶する。文書コーパスは、例えば文書の入力及び識別に基づいて、オンラインシステムのユーザ又は管理者によって生成され得る。
【0021】
いくつかの実施形態によると、複数の別個の異なる組織によってアクセス可能なマルチテナントデータベースシステムにおいて、各文書、文書構造及び節の特異性を考慮して、文書コーパスを処理し、ＤＨＲを使用して関連する意味ベースの節を提供するためにニューラルネットワークモデルが提供され、それによって、組織に関連付けられるユーザの経験を向上させ、より高速な検索結果を提供し、テキスト検索のための時間処理コストを最小化する。
【0022】
例示的環境
本開示のシステム及び方法は、データベースの環境とともに又はデータベースの環境内に含まれ、組み込まれ又は動作することができ、いくつかの実施形態では、このデータベースを、マルチテナントのクラウドベースのアーキテクチャとして実装することができる。マルチテナントクラウドベースのアーキテクチャは、データセキュリティを犠牲にすることなく、顧客テナント間の共同、統合及びコミュニティベースの協力を改善するために開発された。一般的に言うと、マルチテナントは、単一のハードウェア及びソフトウェアプラットフォームが、共通のデータストレージ要素（「マルチテナントデータベース」とも呼ばれる）からの複数のユーザグループ（「組織」又は「テナント」とも呼ばれる）を同時にサポートするシステムを指す。マルチテナント設計は、従来のサーバ仮想化システムに比べて多くの利点を提供する。第１に、マルチテナントプラットフォームのオペレータは、多くの場合、テナントコミュニティ全体からの集合的な情報に基づいて、プラットフォームに対する改善を成すことができる。さらに、マルチテナント環境内のすべてのユーザが共通の処理スペース内でアプリケーションを実行するため、マルチテナントプラットフォーム内の任意のユーザに対して特定のデータセットへのアクセスを許可又は拒否することが比較的容易であり、それにより、アプリケーションと、様々なアプリケーションによって管理されるデータとの間の共同及び統合を改善する。したがって、マルチテナントアーキテクチャは、ユーザの複数のセット間で類似のアプリケーション機能の便利で費用対効果の高い共有を可能にする。
本開示のシステム及び方法は、データベースの環境とともに又はデータベースの環境内に含まれ、組み込まれ又は動作することができ、いくつかの実施形態では、このデータベースを、マルチテナントのクラウドベースのアーキテクチャとして実装することができる。マルチテナントクラウドベースのアーキテクチャは、データセキュリティを犠牲にすることなく、顧客テナント間の共同、統合及びコミュニティベースの協力を改善するために開発された。一般的に言うと、マルチテナントは、単一のハードウェア及びソフトウェアプラットフォームが、共通のデータストレージ要素（「マルチテナントデータベース」とも呼ばれる）からの複数のユーザグループ（「組織」又は「テナント」とも呼ばれる）を同時にサポートするシステムを指す。マルチテナント設計は、従来のサーバ仮想化システムに比べて多くの利点を提供する。第１に、マルチテナントプラットフォームのオペレータは、多くの場合、テナントコミュニティ全体からの集合的な情報に基づいて、プラットフォームに対する改善を成すことができる。さらに、マルチテナント環境内のすべてのユーザが共通の処理スペース内でアプリケーションを実行するため、マルチテナントプラットフォーム内の任意のユーザに対して特定のデータセットへのアクセスを許可又は拒否することが比較的容易であり、それにより、アプリケーションと、様々なアプリケーションによって管理されるデータとの間の共同及び統合を改善する。したがって、マルチテナントアーキテクチャは、ユーザの複数のセット間で類似のアプリケーション機能の便利で費用対効果の高い共有を可能にする。
【0023】
図１は、いくつかの実施形態による例示的な環境１１０のブロック図を示す。環境１１０は、ユーザシステム１１２、ネットワーク１１４、システム１１６、プロセッサシステム１１７、アプリケーションプラットフォーム１１８、ネットワークインタフェース１２０、テナントデータストレージ１２２、システムデータストレージ１２４、プログラムコード１２６、及びアプリケーションホスティングサービスの一部としてアプリケーションを実行する等、データベースシステムプロセス及びテナント固有のプロセスを実行するためのプロセス空間１２８を含み得る。他の実施形態では、環境１１０は、列挙された構成要素のすべてを有しないことがあり、かつ／又は、上記で列挙された構成要素の代わりに又はこれに加えて、他の要素を有することがある。
【0024】
いくつかの実施形態では、環境１１０は、オンデマンドデータベースサービスが存在する環境である。ユーザシステム１１２は、データベースユーザシステムにアクセスするためにユーザによって使用される任意の機械又はシステムであってもよい。例えばユーザシステム１１２のいずれかを、ハンドヘルドコンピューティングデバイス、携帯電話、ラップトップコンピュータ、ノートパッドコンピュータ、ワークステーション及び／又はコンピューティングデバイスのネットワークとすることができる。図１（及び図２でより詳細に）に図示されるように、ユーザシステム１１２は、ネットワーク１１４を介して、システム１１６であるオンデマンドデータベースサービスと対話し得る。
【0025】
システム１１６を使用して実装することができるようなオンデマンドデータベースサービスは、システム１１６へのアクセスを所有、維持又は提供する企業の外部のユーザに利用可能にされるサービスである。上述のように、そのようなユーザは、システム１１６の構築及び／又は維持に必ずしも関与する必要はない。代わりに、システム１１６によって提供されるリソースは、ユーザがシステム１１６によって提供されるサービスを必要とするとき、例えばユーザの要求に応じて、そのようなユーザの使用のために利用可能であり得る。いくつかのオンデマンドデータベースサービスは、共通データベースイメージのテーブルに記憶された１つ以上のテナントからの情報を記憶して、マルチテナントデータベースシステム（ＭＴＳ）を形成することがある。したがって、「オンデマンドデータベースサービス１１６」及び「システム１１６」は、本明細書では交換可能に使用される。「マルチテナントデータベースシステム」という用語は、データベースシステムのハードウェア及びソフトウェアの様々な要素が１以上の顧客又はテナントによって共有され得るシステムを指すことができる。例えば所与のアプリケーションサーバは、多数の顧客に対する要求を同時に処理することがあり、所与のデータベーステーブルは、潜在的にはるかに多数の顧客に対するフィードアイテムのようなデータの行（row）を記憶することがある。データベースイメージは、１つ以上のデータベースオブジェクトを含むことがある。リレーショナルデータベース管理システム（ＲＤＢＭＳ）又は均等物は、データベースオブジェクトに対する情報の記憶及び検索を実行し得る。
【0026】
アプリケーションプラットフォーム１１８は、ハードウェア及び／又はソフトウェアインフラストラクチャ、例えばオペレーティングシステムのように、システム１１６のアプリケーションの実行を可能にするフレームワークであり得る。一実施形態では、システム１１６は、オンデマンドデータベースサービスのプロバイダ、ユーザシステム１１２を介してオンデマンドデータベースサービスにアクセスするユーザ、又はユーザシステム１１２を介してオンデマンドデータベースサービスにアクセスする第三者アプリケーション開発者によって開発される、１つ以上のアプリケーションを作成、管理及び実行することを可能にするアプリケーションプラットフォーム１１８を含み得る。
【0027】
ユーザシステム１１２のユーザは、そのそれぞれの容量が異なることがあり、ユーザシステム１１２の特定の１つのユーザシステムの容量は、現在のユーザに対する許可（許可レベル）によって完全に決定されることがある。例えばある販売員がシステム１１６と対話するために特定のユーザシステム１１２を使用している場合、そのユーザシステムは、その販売員に割り当てられた容量を有する。しかしながら、管理者がそのユーザシステム１１２を使用してシステム１１６と対話している間、そのユーザシステム１１２は、その管理者に割り当てられた容量を有する。階層ロールモデルを用いるシステムでは、ある許可レベルのユーザは、より低い許可レベルのユーザによりアクセス可能なアプリケーション、データ及びデータベース情報へのアクセスを有し得るが、より高い許可レベルのユーザによってアクセス可能な特定のアプリケーション、データベース情報及びデータへのアクセスを有し得ない。したがって、異なるユーザは、アプリケーション及びデータベース情報へのアクセス及び修正に関して、ユーザのセキュリティ又は許可レベルに応じて、異なる機能を有する。
【0028】
ネットワーク１１４は、互いに通信するデバイスの任意のネットワーク又はネットワークの組合せである。例えばネットワーク１１４は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、電話ネットワーク、無線ネットワーク、ポイントツーポイントネットワーク、スターネットワーク、トークンリングネットワーク、ハブネットワーク又は他の適切な構成のいずれか１つ又は任意の組合せとすることができる。現在使用されている最も一般的なタイプのコンピュータネットワークは、転送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）ネットワーク、例えば大文字「Ｉ」の「Ｉｎｔｅｒｎｅｔ」としばしば呼ばれるネットワークのグローバルインターネットワークである。しかしながら、ＴＣＰ／ＩＰは頻繁に実装されるプロトコルであるが、本実施形態が使用し得るネットワークは、それに限定されないことを理解されたい。
【0029】
ユーザシステム１１２は、ＴＣＰ／ＩＰを使用してシステム１１６と通信し、より高いネットワークレベルでは、他の一般的なインターネットプロトコルを使用して通信し得る。ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、アンドリューファイルシステム（ＡＦＳ）、無線アプリケーションプロトコル（ＷＡＰ）等である。ＨＴＴＰが使用される例では、ユーザシステム１１２は、システム１１６においてＨＴＴＰサーバとの間でＨＴＴＰメッセージを送受信するための、一般に「ブラウザ」と呼ばれるＨＴＴＰクライアントを含み得る。このようなＨＴＴＰサーバは、システム１１６とネットワーク１１４との間の唯一のネットワークインタフェースとして実装され得るが、同様に又は代わりに他の技術が使用されてもよい。いくつかの実装では、システム１１６とネットワーク１１４との間のインタフェースは、負荷をバランスさせ、着信ＨＴＴＰ要求を複数のサーバにわたって均等に分配するためのラウンドロビンＨＴＴＰ要求ディストリビュータのような負荷共有機能を含む。少なくとも、そのサーバにアクセスしているユーザに対しては、複数のサーバの各々がＭＴＳデータへのアクセスを有するが、他の代替的な構成が代わりに使用されてもよい。
【0030】
いくつかの実施形態では、図１に示されるシステム１１６は、ウェブベースのＣＲＭシステムを実装する。例えば一実施形態では、システム１１６は、ＣＲＭソフトウェアアプリケーションを実装して実行するだけでなく、関連データ、コード、フォーム、ウェブページ及び他の情報をユーザシステム１１２との間で提供し、データベースシステム関連データ、オブジェクト及びウェブページコンテンツに記憶し、これらから検索するように構成されたアプリケーションサーバを含む。マルチテナントシステムでは、複数のテナントのデータを同じ物理データベースオブジェクトに記憶し得る。しかしながら、テナントデータは、典型的に、あるテナントのデータが他のテナントのデータから論理的に分離された状態に保たれるように配置され、その結果、あるテナントは、そのようなデータが明示的に共有されない限り、別のテナントのデータにアクセスすることができない。特定の実施形態では、システム１１６は、ＣＲＭアプリケーション以外のアプリケーション、又はＣＲＭアプリケーションに加えてアプリケーションを実装する。例えばシステム１６は、ＣＲＭアプリケーションを含む複数のホストされた（標準及びカスタム）アプリケーションへのテナントアクセスを提供し得る。ユーザ（又は第三者開発者）アプリケーションは、ＣＲＭを含むことも含まないこともあるが、アプリケーションプラットフォーム１１８によってサポートされてもよく、アプリケーションプラットフォーム１１８は、システム１１６のプロセス空間内の仮想機械におけるアプリケーションの作成、１つ以上のデータベースオブジェクトへのアプリケーションの記憶、及びアプリケーションの実行を管理する。
【0031】
ネットワークインタフェース１２０、アプリケーションプラットフォーム１１８、テナントデータ１２３のためのテナントデータストレージ１２２、システム１１６及び場合によっては複数のテナントに対してアクセス可能なシステムデータ１２５のためのシステムデータストレージ１２４、システム１１６の様々な機能を実装するためのプログラムコード１２６、及びアプリケーションホスティングサービスの一部としてアプリケーションを実行するような、ＭＴＳシステムプロセス及びテナント固有プロセスを実行するためのプロセス空間１２８を含む、システム１１６の要素のための１つの構成が図１に示されている。システム１１６上で実行し得る追加のプロセスは、データベースインデックス付けプロセスを含む。
【0032】
図１に示されるシステムのいくつかの要素は、本明細書では簡単に説明される従来の周知の要素を含む。例えばユーザシステム１１２の各々は、デスクトップパーソナルコンピュータ、ワークステーション、ラップトップ、ノートパッドコンピュータ、ＰＤＡ、携帯電話、あるいは任意の無線アクセスプロトコル（ＷＡＰ）対応デバイス又はインターネット又は他のネットワーク接続に直接的又は間接的にインタフェースすることができる任意の他のコンピューティングデバイスを含むことができる。ユーザシステム１１２の各々は、典型的に、ＨＴＴＰクライアント、例えばＭｉｃｒｏｓｏｆｔ（登録商標）のＩｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒブラウザ、ＮｅｔｓｃａｐｅのＮａｖｉｇａｔｏｒブラウザ、Ｏｐｅｒａのブラウザ、あるいは携帯電話、ノートパッドコンピュータ、ＰＤＡ又は他の無線デバイス等の場合にはＷＡＰ対応ブラウザのようなブラウジングプログラムを実行し、ユーザシステム１１２のユーザ（例えばマルチテナントデータベースシステムの加入者）が、ネットワーク１１４を介してシステム１１６から利用可能な情報、ページ及びアプリケーションにアクセスし、処理し、閲覧することを可能にする。また、ユーザシステム１１２の各々は、典型的に、システム１１６又は他のシステム又はサーバによって提供されるページ、フォーム、アプリケーション及び他の情報とともに、ディスプレイ（例えばモニタスクリーン、液晶ディスプレイ（ＬＣＤ）モニタ、発光ダイオード（ＬＥＤ）モニタ、有機発光ダイオード（ＯＬＥＤ）モニタ等）上のブラウザによって提供されるグラフィカルユーザインタフェース（ＧＵＩ）と対話するための、キーボード、マウス、トラックボール、タッチパッド、タッチスクリーン、ペン等のような１つ以上のユーザインタフェースデバイスを含む。例えばユーザインタフェースデバイスは、システム１１６によってホストされるデータ及びアプリケーションにアクセスし、記憶されたデータに対する検索を実行し、あるいは、ユーザが、ユーザに提示され得る様々なＧＵＩページと対話することを可能にするために使用され得る。上述したように、実施形態は、インターネットとの使用に適しており、インターネットは、ネットワークの特定のグローバルなインターネットワークを指す。しかしながら、インターネットの代わりに、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、非ＴＣＰ／ＩＰベースのネットワーク、任意のＬＡＮ又はＷＡＮ等のような他のネットワークを使用することができることを理解されたい。
【0033】
一実施形態によると、ユーザシステム１１２の各々及びその構成要素のすべては、Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）プロセッサ等のような中央処理ユニットを使用して実行されるコンピュータコードを含む、ブラウザのようなアプリケーションを使用してオペレータ構成可能である。同様に、システム１１６（及び２つ以上存在する場合はＭＴＳの追加インスタンス）及びその構成要素のすべては、Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）プロセッサ等を含み得るプロセッサシステム１１７のような中央処理ユニット及び／又は複数のプロセッサユニットを使用して実行されるコンピュータコードを含む、アプリケーションを使用してオペレータ構成可能であり得る。コンピュータプログラム製品の実施形態は、本明細書に記載される実施形態のプロセスのいずれかを実行するようにコンピュータをプログラムするために使用され得る、命令がその上／その中に記憶された機械読取可能記憶媒体を含む。ウェブページ、アプリケーション及び本明細書に記載する他のデータ及び媒体コンテンツを相互通信し、処理するようにシステム１１６を動作させ、構成するためのコンピュータコードは、好ましくは、ハードディスクにダウンロードされ、記憶されるが、プログラムコード全体又はその一部はまた、読取専用メモリ（ＲＯＭ）又はランダムアクセスメモリ（ＲＡＭ）のような周知の任意の他の揮発性又は不揮発性のメモリ媒体又はデバイスに記憶されてもよく、あるいは、フロッピーディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、マイクロドライブ及び光磁気ディスク、磁気又は光カード、ナノシステム（分子メモリ集積回路（ＩＣ）を含む）、又は命令及び／又はデータを記憶するのに適した任意のタイプの媒体又はデバイスを含む任意のタイプの回転媒体のような、プログラムコードを記憶することができる任意の媒体に提供されてもよい。さらに、プログラムコード全体又はその一部は、ソフトウェアソースから伝送媒体を介して、例えばインターネットを介して又は周知のように別のサーバから伝送及びダウンロードされてもよく、あるいは、周知のように任意の通信媒体及びプロトコル（例えばＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、Ｅｔｈｅｒｎｅｔ（登録商標）等）を使用して、周知のように任意の他の従来のネットワーク接続（例えばエクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ＬＡＮ等）を介して伝送されてもよい。本開示の実施形態を実装するためのコンピュータコードを、例えばＣ、Ｃ＋＋、ＨＴＭＬ、任意の他のマークアップ言語、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ、ＡｃｔｉｖｅＸ、ＶＢＳｃｒｉｐｔのような任意の他のスクリプト言語、及び周知の多くの他のプログラミング言語等、クライアントシステム及び／又はサーバ又はサーバシステム上で実行可能な任意のプログラミング言語で実装することができることも理解されよう（Ｊａｖａ（登録商標）は、Ｓｕｎ ＭｉｃｒｏＳｙｓｔｅｍｓ，Ｉｎｃ．の商標である）。
【0034】
一実施形態によると、システム１１６は、ウェブページ、フォーム、アプリケーション、データ及びメディアコンテンツをユーザ（クライアント）システム１１２に提供して、システム１１６のテナントとしてユーザシステム１１２によるアクセスをサポートするように構成される。このように、システム１１６は、データが共有されない限り、各テナントのデータ分離を保つためのセキュリティ機構を提供する。２つ以上のＭＴＳが使用される場合、それらは互いに近接して（例えば単一の建物又はキャンパスに配置されるサーバファーム内に）配置されてもよく、あるいは互いに離れた場所（例えば都市Ａに配置された１つ以上のサーバと都市Ｂに配置された１つ以上のサーバ）に分散されてもよい。本明細書で使用されるとき、各ＭＴＳは、ローカルに又は１つ以上の地理的位置にわたって分散された１つ以上の論理的及び／又は物理的に接続されたサーバを含むことができる。さらに、「サーバ」という用語は、処理ハードウェア及びプロセス空間を含むコンピュータシステムと、関連するストレージシステム及びデータベースアプリケーション（例えばオブジェクト指向データベース管理システム（ＯＯＤＢＭＳ）又は合理的データベース管理システム（ＲＤＢＭＳ、rational database management system））を含むように意図される。また、「サーバシステム」及び「サーバ」は、本明細書ではしばしば互換的に使用されることも理解されるべきである。同様に、本明細書に記載されるデータベースオブジェクトは、単一のデータベース、分散データベース、分散データベースの集合、冗長なオンライン又はオフラインのバックアップ又は他の冗長性を有するデータベース等として実装されることができ、分散データベース又はストレージネットワーク及び関連する処理インテリジェンスを含み得る。
【0035】
図２はまた環境１１０を図示しており、環境１１０は、本明細書に記載される実施形態を実装するために使用され得る。図２は更に、いくつかの実施形態による、システム１１６の要素及び様々な相互接続を図示している。図２は、ユーザシステム１１２の各々が、プロセッサシステム１１２Ａ、メモリシステム１１２Ｂ、入力システム１１２Ｃ及び出力システム１１２Ｄを含み得ることを示す。図２は、ネットワーク１１４とシステム１１６を示す。図２はまた、システム１１６が、テナントデータストレージ１２２、テナントデータ１２３、システムデータストレージ１２４、システムデータ１２５、ユーザインタフェース（ＵＩ）２３０、アプリケーションプログラムインタフェース（ＡＰＩ）２３２、ＰＬ／Ｓａｌｅｓｆｏｒｃｅ．ｃｏｍオブジェクトクエリ言語（ＰＬ／ＳＯＱＬ）２３４、保存ルーチン２３６、アプリケーションセットアップ機構２３８、アプリケーションサーバ２００１～２００Ｎ、システムプロセス空間２０２、テナントプロセス空間２０４、テナント管理プロセス空間２１０、テナントストレージエリア２１２、ユーザストレージ２１４及びアプリケーションメタデータ２１６を含み得ることも示す。他の実施形態では、環境１１０は、上記で列挙された要素と同じ要素を有していなくてもよく、かつ／又は上記に列挙された要素の代わりに又はこれに加えて、他の要素を有してもよい。
【0036】
ユーザシステム１１２、ネットワーク１１４、システム１１６、テナントデータストレージ１２２及びシステムデータストレージ１２４は、図１において上記で議論された。ユーザシステム１１２に関して、プロセッサシステム１１２Ａは、１つ以上のプロセッサの任意の組合せであってもよい。メモリシステム１１２Ｂは、１つ以上のメモリデバイス、短期メモリ及び／又は長期メモリの任意の組合せであってよい。入力システム１１２Ｃは、１つ以上のキーボード、マウス、トラックボール、スキャナ、カメラ及び／又はネットワークへのインタフェースのような入力デバイスの任意の組合せであってよい。出力システム１１２Ｄは、１つ以上のモニタ、プリンタ及び／又はネットワークへのインタフェースのような出力デバイスの任意の組合せであってもよい。図２に示されるように、システム１１６は、ＨＴＴＰアプリケーションサーバ２００、アプリケーションプラットフォーム１１８、テナントデータストレージ１２２及びシステムデータストレージ１２４のセットとして実装される（図１の）ネットワークインタフェース１２０を含み得る。また、個々のテナントプロセス空間２０４及びテナント管理プロセス空間２１０を含むシステムプロセス空間２０２も示されている。各アプリケーションサーバ２００は、テナントデータストレージ１２２及びその中のテナントデータ１２３、並びにシステムデータストレージ１２４及びその中のシステムデータ１２５にアクセスして、ユーザシステム１１２の要求に応えるように構成され得る。テナントデータ１２３は、個々のテナントストレージエリア２１２に分割されてよく、テナントストレージエリア２１２はデータの物理的配置及び／又は論理的配置のいずれかとすることができる。各テナントストレージエリア２１２内において、ユーザストレージ２１４及びアプリケーションメタデータ２１６は、各ユーザに対して同様に割り当てられてもよい。例えばユーザの最も最近使用した（ＭＲＵ、most recently used）アイテムのコピーはユーザストレージ２１４に記憶され得る。同様に、テナントである組織全体のＭＲＵアイテムのコピーは、テナントストレージエリア２１２に記憶され得る。ＵＩ２３０はユーザインタフェースを提供し、ＡＰＩ２３２は、システム１１６常駐プロセスに対して、そしてユーザシステム１１２のユーザ及び／又は開発者に対して、アプリケーションプログラマインタフェースを提供する。テナントデータ及びシステムデータは、１つ以上のＯｒａｃｌｅ（登録商標）データベースのような様々なデータベースに記憶され得る。
【0037】
アプリケーションプラットフォーム１１８は、アプリケーション開発者によるアプリケーションの作成及び管理をサポートするアプリケーションセットアップ機構２３８を含み、該アプリケーションは、例えばテナント管理プロセス空間２１０によって管理される１つ以上のテナントプロセス空間２０４として加入者によって実行されるために、保存ルーチン２３６によってメタデータとしてテナントデータストレージ１２２に保存され得る。このようなアプリケーションに対する呼出しは、ＡＰＩ２３２にプログラミング言語スタイルのインタフェース拡張を提供するＰＬ／ＳＯＱＬ２３４を使用してコーディングされ得る。ＰＬ／ＳＯＱＬ言語のいくつかの実施形態は、２００７年９月２１日に出願された「Method and System For Allowing Access to Developed Applications Via a Multi-Tenant On-Demand Database Service,」という名称の米国特許第７，７３０，４７８号において更に詳細に議論されており、これは参照により本明細書に組み込まれる。アプリケーションに対する呼出しは、１つ以上のシステムプロセスによって検出されてよく、該１つ以上のシステムプロセスは、加入者についてアプリケーションメタデータ２１６を検索し、呼出しを行い、仮想機械内のアプリケーションとしてメタデータを実行することを管理する。
【0038】
各アプリケーションサーバ２００は、例えば異なるネットワーク接続を介してシステムデータ１２５及びテナントデータ１２３へのアクセスを有するデータベースシステムに通信可能に結合され得る。例えばあるアプリケーションサーバ２００１は、ネットワーク１１４（例えばインターネット）を介して結合されてよく、別のアプリケーションサーバ２００Ｎ－１は、直接ネットワークリンクを介して結合されてよく、別のアプリケーションサーバ２００Ｎは、更に異なるネットワーク接続によって結合され得る。転送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）は、アプリケーションサーバ２００とデータベースシステムとの間で通信するための典型的なプロトコルである。しかしながら、当業者には明らかなように、使用されるネットワーク接続に応じて、他のトランスポートプロトコルを使用してシステムを最適化してもよい。
【0039】
ある実施形態では、各アプリケーションサーバ２００は、テナントである任意の組織に関連付けられる任意のユーザについての要求を処理するように構成される。任意の理由におり、いつでもサーバプールにアプリケーションサーバを追加したり、サーバプールからアプリケーションサーバを削除したりできることが望ましいので、特定のアプリケーションサーバ２００に対する、ユーザ及び／又は組織のサーバアフィニティ（server affinity）がないことが好ましい。したがって、一実施形態では、負荷バランシング機能を実装するインタフェースシステム（例えばＦ５ Ｂｉｇ－ＩＰ負荷バランサ）が、アプリケーションサーバ２００とユーザシステム１１２との間で通信可能に結合され、要求をアプリケーションサーバ２００に分散する。一実施形態では、負荷バランサは、最小接続アルゴリズムを使用して、ユーザ要求をアプリケーションサーバ２００にルーティングする。ラウンドロビン及び観測応答時間のような、負荷バランシングアルゴリズムの他の例も使用することができる。例えばある実施形態では、同じユーザからの３つの連続した要求が３つの異なるアプリケーションサーバ２００にヒットする可能性があり、異なるユーザからの３つの要求が同じアプリケーションサーバ２００にヒットする可能性がある。このように、システム１１６はマルチテナントであり、ここで、システム１１６は、別個のユーザ及び組織にわたる異なるオブジェクト、データ及びアプリケーションの記憶及びそれらへのアクセスを処理する。
【0040】
ストレージの例として、１つのテナントは、各販売員がシステム１１６を使用して、自分の販売プロセスを管理し、かつ／又は検索可能であり得る他のユーザ、エージェント及び管理者に情報を提供する販売部隊（sales force）を雇用する会社であり得る。したがって、ユーザは、連絡先データ、リードデータ、顧客フォローアップデータ、性能データ、目標及び進捗データ、トレーニング資料、リ検索記事等、そのユーザに適用可能なすべてのものを（例えばテナントデータストレージ１２２内に）維持し得る。ＭＴＳ構成の例では、アクセス、閲覧、修正、報告、送信、計算等をすべきデータ及びアプリケーションのすべてを、ネットワークアクセス以外の何も持たないユーザシステムによって維持し、アクセスすることができるので、ユーザは、多くの異なるユーザシステムの任意のものから自身の情報を管理することができる。例えば販売員が顧客を訪問しており、顧客がロビーでインターネットアクセスを有する場合、販売員は、顧客がロビーに到着するのを待っている間に、その顧客に関する重要な更新情報を取得することができる。
【0041】
各ユーザのデータは、各ユーザの雇用者に関係なく、他のユーザのデータから分離されていることがあるが、一部のデータは、テナントである所与の組織の複数のユーザ又は該ユーザのすべてによって共有されるか又はアクセス可能な組織規模のデータであり得る。したがって、テナントレベルで割り当てられるシステム１１６によって管理されるいくつかのデータ構造が存在するが、一方、他のデータ構造はユーザレベルで管理されることがある。ＭＴＳは、可能性のあるコンペティタを含む複数のテナントをサポートすることがあるので、ＭＴＳは、データ、アプリケーション、及びアプリケーションの使用の分離を保つセキュリティプロトコルを有するべきである。また、多くのテナントは、自身のシステムを維持するよりもＭＴＳへのアクセスを選択することがあるので、冗長性、アップタイム及びバックアップは、ＭＴＳで実装され得る追加の機能である。ユーザ固有データ及びテナント固有データに加えて、システム１１６は、複数のテナント又は他のデータによって使用可能なシステムレベルデータも維持し得る。このようなシステムレベルのデータは、テナント間で共有可能な業界レポート、ニュース、投稿等を含み得る。
【0042】
ある実施形態では、ユーザシステム１１２（クライアントシステムであり得る）は、アプリケーションサーバ２００と通信して、テナントデータストレージ１２２及び／又はシステムデータストレージ１２４に１つ以上のクエリを送信することを必要とし得るシステム１１６からのシステムレベル及びテナントレベルのデータを要求し、更新する。システム１１６（例えばシステム１１６内のアプリケーションサーバ２００）は、所望の情報にアクセスするように設計された１つ以上の構造化クエリ言語（ＳＱＬ）ステートメント（例えば１つ以上のＳＱＬクエリ）を自動的に生成する。他の実施形態では、自然言語プロセッサ又は機械学習エンジンのような、他のタイプの検索が入力データに基づいて実行されてもよい。システムデータストレージ１２４は、データベースから要求されたデータにアクセスするためのクエリプランを生成してよく、該クエリプランは、文書内のオブジェクトへの参照に基づいて外部オブジェクトを含み得る。
【0043】
図１及び図２に関して示され、説明されるシステム１１６のようなデータベースシステムでは、データ又は情報は、カテゴリ又はグルーピングで編成又は配置され得る。各データベースは、一般に、事前定義されたカテゴリに適合するデータを含む、論理テーブルのセットのような、オブジェクトの集合とみなすことができる。「テーブル」は、データオブジェクトの１つの表現であり、本明細書では、オブジェクト及びカスタムオブジェクトの概念的説明を簡略化するために使用され得る。「テーブル」及び「オブジェクト」は、本明細書では交換可能に使用され得ることを理解されたい。各テーブルは、通常、表示可能なスキーマの列又はフィールドとして論理的に配置される１つ以上のデータカテゴリを含む。テーブルの各行又は各レコードは、フィールドによって定義された各カテゴリのデータのインスタンスを含む。
【0044】
百科事典システム及び／又はＣＲＭシステムでは、例えばこれらのカテゴリ又はグルーピングは、コーパスに属する文書のリストのような文書のコーパスに関連付けられる様々な標準テーブル、並びにシステムに提示されたそれらのコーパスの検索に関連付けられる情報（例えば符号化された文書、要約、ＴｏＣ、テキスト節及び追加の前述の文書テキスト）を含むことができる。例えばデータベースは、文書のコーパス（例えば主題又はシステム自体について検索され得る１つ以上の文書）を記述するテーブルを含んでよく、コーパス内の文書のこのテキストを含み得る。いくつかのマルチテナントデータベースシステムでは、データベース内のテーブル及び文書は、すべてのテナントによる使用のために提供さてよく、あるいはシステムの一部のテナント及びエージェント（例えばユーザ及び管理者）によってのみ閲覧可能であってよい。
【0045】
いくつかのマルチテナントデータベースシステムでは、テナントは、カスタムオブジェクトを作成して記憶することが許容されてよく、あるいは、テナントは、例えばカスタムインデックスフィールドを含む、標準オブジェクトのためのカスタムフィールドを作成することによって、標準エンティティ又はオブジェクトをカスタマイズすることが許容されてよい。マルチテナントデータベースシステムにおいてカスタムオブジェクトを作成するとともに標準オブジェクトをカスタマイズするためのシステム及び方法は、２００４年４月２日に出願された「Custom Entities and Fields in a Multi-Tenant Database System」という名称の米国特許第７，７７９，０３９号に詳細に記載されており、これは参照により本明細書に組み込まれる。ある実施形態では、例えばすべてのカスタムエンティティデータ行が、単一のマルチテナント物理テーブルに記憶され、このテーブルは、組織ごとに複数の論理テーブルを含み得る。顧客にとっては、複数の「テーブル」が実際には１つの大きなテーブルに記憶されていること、あるいは顧客のデータが他の顧客のデータと同じテーブルに記憶されている可能性があることは明白である。
【0046】
上述のマルチテナントデータベースシステム１１６は、百科事典的エントリ、照会（inquiry）、課題（problem）、質問、問題（issue）、サポート関連事項、トレーニング又は教育等の検索及び／又はブラウズに関して、複数の顧客、クライアント又は他の人（一般に「ユーザ」）によってアクセスされ、使用され得る。しかしながら、他の実施形態では、他のタイプの検索システムも、本明細書に記載されるプロセスを利用して、文書内の意味ベースの節の密な階層型検索を提供し得る。システム１１６とユーザとの間の対話を容易にするために、検索バー、音声インタフェース又は同様のユーザインタフェースツールが提供される。検索ツールは、ユーザが、データベースにクエリして、ユーザに関連する様々な文書、オブジェクト及び／又はエンティティに関する又はこれらに関連する情報又はデータにアクセスすることを可能にする。
【0047】
しかしながら、多くのレコード及び情報を有する大規模なデータベースの場合、文書の一部又はすべてが１つ以上の文書構造（例えば要約、ＴｏＣ、セクション及び対応するセクションタイトル、サブセクション及び対応するサブセクションタイトル、タイトルの表等）及び節（例えば段落、文及び／又は他のテキスト）を含む、大量の文書が存在する可能性がある。例えば文書は、セクション及び節を指定する文書構造と、節の対応するテキストとを含み得る。文書を検索するとき、オープンドメインＱＡのための従来の検索技術（例えば文字又は単語の埋め込み又はベクトルを使用してトレーニングされた機械学習システム）は、文書内の節を分割し、検索のために質問と節を符号化することによってのみ、文書の内容を検索することができる。したがって、データベースシステムの検索インデックスデータは、節に加えて文書及び文書構造を考慮しないとき、検索クエリに対する適切な検索結果を予測するための正確な基礎とはならない可能性がある。大規模な文書コーパスに対してユーザによって実行された検索に対して、検索結果を予測し、順序付けることは困難な作業である。Ｓａｌｅｓｆｏｒｃｅ．ｃｏｍのようなマルチテナントシステムでは、文書は文書構造、節等を含み得る。この例を続けると、ユーザは、すべての返されたデータを有する、クエリについての関連する検索結果に最も関心がある可能性があるので、最適な又は高められたユーザ体験のために、データベースシステムが、ユーザの検索又はクエリに最も関連するか又は適用可能な文書を予測し、その結果、所望の情報又はデータが、最少回数のキーストローク、マウスクリック、ユーザインタフェース等でユーザに提示されることが望ましい又は好ましいことがある。したがって、いくつかの実施形態によると、文書レベル検索モデル及びエンコーダと節レベル検索モデル及びエンコーダを含み得る１つ以上の密な階層型検索モデルを使用して、検索結果を予測し返すためのシステム及び方法が提供される。
【0048】
密な階層型検索モデル
いくつかの実施形態によると、図１及び図２に関して示され、説明されるシステム１１６のような、複数の別個の異なる組織によってアクセス可能なマルチテナントデータベースシステムにおいて、１つ又は複数のコーパスの文書の節レベルデータを有する文書レベルデータ及び構造を考慮して、所与のクエリに最も関連する結果をデータベースに返すインテリジェント検索プロセスのための密な階層型検索モデルが提供され、それにより、ユーザ体験の向上が提供される。
いくつかの実施形態によると、図１及び図２に関して示され、説明されるシステム１１６のような、複数の別個の異なる組織によってアクセス可能なマルチテナントデータベースシステムにおいて、１つ又は複数のコーパスの文書の節レベルデータを有する文書レベルデータ及び構造を考慮して、所与のクエリに最も関連する結果をデータベースに返すインテリジェント検索プロセスのための密な階層型検索モデルが提供され、それにより、ユーザ体験の向上が提供される。
【0049】
図３は、本明細書に記載されるいくつかの実施形態による、深層学習のための意味ベースのトレーニングデータの階層型検索を実装するコンピューティングデバイスの簡略図である。図３に示されるように、コンピューティングデバイス３００は、メモリ３２０に結合されたプロセッサ３１０を含む。コンピューティングデバイス３００の動作は、プロセッサ３１０によって制御される。また、コンピューティングデバイス３００は、１つのプロセッサ３１０のみを有するように示されているが、プロセッサ３１０は、コンピューティングデバイス３００内の１つ以上の中央処理ユニット、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィクス処理ユニット（ＧＰＵ）等を表してよいことが理解される。コンピューティングデバイス３００は、スタンドアロンサブシステムとして、コンピューティングデバイスに追加されたボードとして及び／又は仮想機械として実装されてもよい。
【0050】
メモリ３２０は、コンピューティングデバイス３００によって実行されるソフトウェア及び／又はコンピューティングデバイス３００の動作中に使用される１つ以上のデータ構造を記憶するために使用され得る。メモリ３２０は、１つ以上のタイプの機械読取可能媒体を含んでもよい。機械読取可能媒体のいくつかの一般的な形態は、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ及び／又はプロセッサ又はコンピュータが読み出すように適合される任意の他の媒体を含み得る。
【0051】
プロセッサ３１０及び／又はメモリ３２０は、任意の適切な物理的配置で配置されてよい。いくつかの実施形態では、プロセッサ３１０及び／又はメモリ３２０は、同じボード上、同じパッケージ内（例えばシステム・イン・パッケージ）、同じチップ上（例えばシステム・オン・チップ）等で実装されてもよい。いくつかの実施形態では、プロセッサ３１０及び／又はメモリ３２０は、分散、仮想化及び／又はコンテナ化されたコンピューティングリソースを含んでもよい。そのような実施形態と一致して、プロセッサ３１０及び／又はメモリ３２０は、１つ以上のデータセンタ及び／又はクラウドコンピューティング設備内に配置されてもよい。
【0052】
いくつかの例では、メモリ３２０は、非一時的な有形の機械読取可能媒体、及び／又は１つ以上のプロセッサ（例えばプロセッサ３１０）によって実行されると、１つ以上のプロセッサに、本明細書で更に詳細に説明される方法を実行させることができる実行可能コードを含む媒体を含んでよい。例えば図示されるように、メモリ３２０は、システム及びモデルを実装及び／又はエミュレートするために、かつ／又は本明細書に更に記載される任意の方法を実装するために使用され得る、深層学習モジュール３３０のための命令を含む。いくつかの例では、深層学習モジュール３３０は、データインタフェース３１５を介して、例えば文書のコーパスに対する質問のような入力３４０を受信し得る。深層学習モジュール３３０はまた、質問についての１つ以上の文書コーパスを受信及び／又はアクセスしてもよい。データインタフェース３１５は、ＱＡデータセットに対する質問を受信するユーザインタフェース、あるいは別のシステムから及び／又はデータベースによって記憶された以前に要求された質問を受信又は検索し得る通信インタフェースのいずれかであってもよい。深層学習モジュール３３０は、入力３４０の質問に基づいて、文書コーパスからの回答結果のような出力３５０を生成し得る。回答結果は、深層学習モジュール３３０を使用して決定された１つ以上の文書及び／又は文書からの節を含んでよく、これらは、文書レベル検索モデル及び節レベル検索モデルを使用して決定された質問との関連性に基づいて、ランク付け、リスト、分類及び／又はスコア付けされ得る。
【0053】
いくつかの実施形態では、深層学習モジュール３３０は、密な階層型検索モジュール３３１と、文書及び節エンコーダモジュール（document and passage encoder module）３３２とを更に含んでよい。密な階層型検索モジュール３３１と文書及び節エンコーダモジュール３３２は、密な節レベル検索モデルと組み合わせて密な文書レベル検索モデルを使用して質問を考慮するＤＨＲ方法論を使用することによって、オープンドメイン質問により良い結果を提供するために使用され得る。文書コーパス上のオープンドメインＱＡについての質問は、その質問を使用して検索するために識別される文書コーパスについて、密な階層型検索モジュール３３１によって受信され、符号化され得る。密な文書レベル検索モデルは、文書及び節エンコーダモジュール３３２によって符号化されてインデックス付けされる、符号化された文書（例えばその要約、ＴｏＣ及び／又は他の文書構造に基づく）を使用してよい。密な階層型検索モジュール３３１は、文書及び節エンコーダモジュール３３２を利用して、文書コーパスからの節を有する１つ以上の文書を識別し得る。無関係な文書は、密な階層型検索モジュール３３１によってフィルタリングされ、検索及び／又はランキングのための１つ以上の文書が識別され得る。
【0054】
文書及び節エンコーダモジュール３３２の密な節レベル検索モデルは、文書レベル検索モデル及び符号化された質問から識別された文書から節を符号化するときに使用され得る。符号化された節及び質問は、上位評価（top-rated）の文書から上位評価の節を取得するために、密な節レベル検索モデルによって使用されてよく、これらの節は、文書コーパス上のオープンドメインＱＡからの質問に戻るためにスコア付け又はランク付けされる。返された文書及び／又は節の関連性スコアは、密な文書レベル検索モデルからの文書関連性スコアと、密な節レベル検索モデルからの節関連性スコアとの組合せ関連性スコアに基づいて決定されてもよい。密な階層型検索モジュール３３１及び文書及び節エンコーダモジュール３３２の更なる機能性は、図４～図６に関して更に詳細に説明される。いくつかの例では、深層学習モジュール３３０及びサブモジュール３３１～３３２は、ハードウェア、ソフトウェア及び／又はハードウェアとソフトウェアの組合せを使用して実装されてもよい。
【0055】
いくつかの実施形態によると、深層学習モジュール３３０を含むコンピューティングデバイス３００の機能性は、検索モデルサービス（ＳＭＳ、Search Model Service）プラグインに実装又は組み込まれてよい。ＳＭＳは、機械学習モデルをホストして実行するｇＲＰＣマイクロサービスである。ＳＭＳは、Ｐｒｏｔｏｂｕｆファイルを介してパラメータを取り込み、それらの入力パラメータを使用してモデルを実行する。ＳＭＳは、定義された応答パラメータに従って、クライアント（例えばユーザデバイス）に応答を返す。いくつかの実施形態では、ＳＭＳ実装は、システム１１６のようなマルチテナントデータベースシステムのコアアプリケーションとは別個の又は独立した、コンテナ化されたアプリケーション（例えばSalesforce Application Model（ＳＡＭ））のための環境で実行される。ＳＭＳは、モデルのより早い展開を提供し得る。ＳＭＳはまた、Ｊａｖａ仮想機械（ＪＶＭ）の分離／コンテナ化も提供し、その結果、そのモデル実行に関連するクラッシュは、データベースシステムのアプリケーションサーバに影響を与えたり、影響したりすることはない。ＳＭＳプラグインは、特定のモデルタイプのモデルデータを初期化し、モデル固有の特徴処理を実行し、特徴ベクトル及び他のパラメータに基づいてモデルを実行することができる、分離コードである。プラグインアーキテクチャは、モデル実行者コード（model executor code）に対する変更を行うことなくプラグインコードに対する変更を行うことができること、ロードバランシング、ルーティング及び並列化に関する懸念がプラグインにより軽減又は排除されることを含め、様々な利点を提供する。
【0056】
図４は、いくつかの実施形態による、深層学習における意味ベースの節の階層型検索を使用して検索され得る、文書コーパス内の例示的な文書及び節の簡略図を示す。図４の文書４００は、記事、百科事典的エントリ、トレーニング資料、顧客ヘルプ要求と応答、並びにデータベースシステム内の他の文書のような、文書コーパス内のテキストの節を有する文書を構成する文書構造及び構造要素を表示する。したがって、文書４００は、１つ以上の文書構造に基づく文書エンコーディング、並びに文書４００の段落内のテキストの短い長さの分割された節からの節エンコーディングを生成するために使用され得る。
【0057】
文書４００は、文書タイトル４０２、要約４０４、目次（ＴｏＣ）４０６、第１セクション４０８及び第２セクション４１０を含む。文書４００は、オンライン百科事典又は他の検索可能なデータベース及びプラットフォームのための百科事典的エントリのような、文書コーパス内の文書に対応し得る。この点に関して、文書４００は、構造文書とみなされてよく、ここで、異なる入力及びデータが抽出され、文書レベル検索モデル及び節レベル検索モデルの入力として使用される。ＤＨＲのこれらのモデルは、関連性スコアの組合せを決定して、オープンドメインＱＡのために提示される質問について文書及び節をより良好に検索し、スコア付けし、かつ／又はランク付けするために使用され得る。この点に関して、コーパスからの文書の文書レベル検索のために、密な文書レベル検索モデルは、インデックスからの符号化された文書を利用し得る。符号化された文書は、１つ以上の文書構造に基づいて文書コーパスから符号化されてよく、オフライン環境内でインデックス付けされ得る。したがって、質問がランタイム時に提示されてクエリされると、インデックスがアクセスされて、文書レベルの検索のために質問のエンコーディングとともに使用され得る。
【0058】
文書レベル検索のために、文書コーパス内の文書の各々に対して１つ以上の文書構造を符号化する必要がある。エンコーディングは、文書を符号化するために使用される文書構造の構成要素の部分に基づいて文書を表す、埋め込み又はベクトル表現（例えばｎ個の特徴、変数又は属性を有する）を作成することに対応し得る。この点に関して、文書４００は、文書レベル検索のために文書４００を符号化するのに使用される文書構造に対応し得る、ＴｏＣ４０６を含む。いくつかの実施形態では、文書タイトル４０２及び／又は要約４０４も、文書レベル検索エンコーディングに使用されてもよい。文書４００は、節レベル検索のために文書４００の節を符号化するときに使用され得る要約４０４、第１セクション４０８及び第２セクション４１０を更に含む。
【0059】
ＴｏＣ４０６は、セクション及び／又はサブセクションタイトルリスト４１２を含み、該リストは、次いで、抽出動作４１４を使用して抽出され、クリーンにされて階層タイトルリスト４１６を生成する。階層タイトルリスト４１６は次いで、質問がクエリされて符号化されるときに、文書レベル検索モデル及び文書レベル検索器のために文書４００を符号化するために使用され得る。したがって、各文書は、セクションＳ、サブセクションＳｓ及びそれらの対応する段落を有する構造的な集合とみなされてもよい。各セクション又はサブセクションは、対応するタイトルを有する。したがって、各文書Ｄｉはまた、タイトル［［ＴＳ１［ＴＳｓ１；．．．；ＴＳｓｎ］］；．．．；［ＴＳｍ［ＴＳｓ１；．．．；ＴＳｓｌ］］］の独自のネストされたテーブルも含むことがある。ＴＤは、コーパス内の文書を区別するための一意の識別情報とみなされてよい。
【0060】
さらに、文書４００の節レベル検索を実行するために、要約４０４、第１セクション４０８、第２セクション４１０及び／又は文書４００の他のテキストが、短い長さの節に分割されることがある。この点に関して、セクション内分割節テキスト（in-section split passage text）４１８は、要約４０４、第１セクション４０８及び第２セクション４１０を短い長さの節に分割するときに生成され得る。これは、同じセクション又はサブセクションのタイトル下にある段落を、限られた長さの節に分割することによってのみ行われ得る。各節は、ネストされたタイトルを有するトークンのシーケンスに対応し得る。コーパスＣ＝｛Ｐ１；Ｐ２；，．．．，；ＰＭ｝には合計Ｍ個の節が存在することがあり、各節Ｐｉに対して、それが属する対応する文書は、ＴＤを見ることによって決定され得る。したがって、ｆ：ｐ→ｄが、所与の節ｐをその文書ｄにマップする関数として定義される場合、ｇ：ｄ→Ｐは、所与の文書ｄをその節Ｐにマップする。要約４０４、第１セクション４０８及び第２セクション４１０から生成される節は、セクションタイトル情報を更に含み、トレーニング中に、ｉｎ－Ｄｏｃ及び／又はｉｎ－Ｓｅｃ否定的トレーニングが、節レベル検索モデルをトレーニングするために使用され得る。階層タイトルリスト４１６及び／又はセクション内分割節テキスト４１８の抽出は、ＷｉｋｉＥｘｔｒａｃｔｏｒコードを使用して、記事のクリーンテキスト部分を抽出し、テーブル、インフォボックス（infoboxes）、リスト及び／又は曖昧さ回避ページのような半構造化データを除去し得る。しかしながら、階層タイトルリスト４１６は、文書４００に対して保持される。さらに、同じセクション下のテキストは連結されてよく、各セクションは、最大長が１００ワードを超えない複数の互いに素なテキストブロックに分割されてもよい。
【0061】
図５は、いくつかの実施形態による、深層学習における意味ベースの節の階層型検索のための例示的な構成要素の簡略図を示す。いくつかの実施形態では、図５の密な文書レベル検索モデル及び密な節レベル検索モデルを使用する密な階層型検索は、コンピューティングデバイス３００の深層学習モジュール３３０の実装とすることができる。
【0062】
図５の構成要素５００は、文書レベル検索モデル及び節レベル検索モデルを使用して、文書コーパスから意味ベースの特徴及び節の密な階層型検索のためのシステム図に対応し得る。例えば質問５０１は、オープンドメインＱＡシステムに提供され、質問エンコーダを使用してＥＱ（ｑ）として符号化され得る。質問５０１についてより良い検索を提供するために、文書レベル検索器５０２が使用されてもよく、該文書レベル検索器５０２は、符号化された文書ＥＤ（ｄ）とともに使用される文書レベル検索モデルに対応し得る（例えばそれらの符号化された文書構造及び要素に基づく）。文書は、文書コーパス５０４内の文書に対応してよく、これは、文書レベル符号化及び／又は文書の埋め込みを使用して検索され得る。文書コーパス５０４は、異なる主題文書を含み得る文書の大きなセットに対応し得る。文書コーパス５０４内では、各文書は節に関連付けられ、該節は、節レベル検索モデルの更なる節レベルエンコーディングのために文書コーパス５０４から分離され得る。
【0063】
上位ｋ１個の文書５０６は、符号化された文書及び質問から文書レベル検索モデルに基づいて決定される。無関係な文書はフィルタリングされてよく、文書レベル検索器５０２のためのトレーニングされたモデルに基づいて、１つ以上の上位評価の又はランク付けされた文書が返されてよい。上位ｋ１個の文書５０６が決定されると、節レベル検索器５０８は、節レベル検索モデルを実行して、それらの文書から上位ランク付け又は評価付けされた節を決定し得る。しかしながら、最初に、文書－節マッピングを利用して、上位ｋ１個の文書５０６について検索された符号化された文書にマッピングされた節を決定し得る。マッピングされた節は、上位ｋ１個の文書からの節５１０として識別され得る。上位ｋ１個の文書からの節５１０が決定されると、これらの節は符号化され、節レベル検索器５０８に提供され得る。
【0064】
質問５０１のエンコーディングはまた、節レベル検索器５０８とともに使用されてもよく、ここで、節レベル検索モデルが上位ｋ１個の文書からのスコア付けされた節５１２を決定するために、上位ｋ１個の文書からの節５１０が符号化される。節レベル検索器５０８のモデルが、上位ｋ１個の文書からの節５１０から符号化された節ＥＰ（ｐ）に適用されると、上位ｋ１個の文書からのスコア付けされた節５１２が、次いで、質問５０１に関連する可能性のある文書及び対応する節のより小さなフィルタリングされたサブセットとして決定されてよい。しかしながら、文書レベル検索モデルから決定された上位ｋ１個の文書５０６の関連性スコアは、文書及び節のランク付け及び出力に関連する可能性があるため、上位ｋ１個の文書５０６の関連性スコアと上位ｋ１個の文書からのスコア付けされた節５１２の関連性スコアを組み合わせる再ランク付けが実行され得る。再ランク付けは、文書レベル検索器５０２及び節レベル検索器５０８からの組合せ関連性スコアに基づいて、スコアを組み合わせて再ランク付け上位ｋ２個の節５１４を取得する。これは、ＤＨＲが、文書レベル検索モデルと節レベル検索モデルの両方を使用して、文書コーパス５０４を用いて質問５０１を検索することを可能にする。
【0065】
文書レベル検索器５０２及び節レベル検索器５０８のモデルをトレーニングし、符号化された文書ＥＤ（ｄ）及び符号化された節ＥＰ（ｐ）のエンコーディングを生成するために、トレーニング動作がＤＨＲに対して実行され得る。いくつかの実施形態では、文書コーパス内の文書の第１セクションは、百科事典的エントリのような、文書内のトピックの中心となる情報を含む文書の説明及び／又は要約であってよい。これは、要約を含んでよく、文書は、文書内のセクション及びサブセクションを強調するＴｏＣを更に含んでよい。ネストされた目次は、Ｔｔａｂｌｅ＝ＴＳ１，ＴＳｓ１，．．．，ＴＳｓｌ又はＴｔａｂｌｅ＝ＴＳ１［ＳＥＰ］ＴＳｓ１［ＳＥＰ］．．．［ＳＥＰ］ＴＳｓｌのように、カンマ又は特別なトークン［ＳＥＰ］を使用することによって、［［ＴＳ１［ＴＳｓ１；．．．；ＴＳｓｎ］］；．．．；［ＴＳｍ［ＴＳｓ１；．．．；ＴＳｓｌ］］］と線形化され得る。最終的な文書Ｄは、［ＣＬＳ］ＴＤ［ＳＥＰ］ＷＤ［ＳＥＰ］Ｔｔａｂｌｅ［ＳＥＰ］と表されてよい。
【0066】
密な文書レベル検索は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）深層ＮＮモデルに基づいて、質問エンコーダと文書エンコーダを使用し得る。ＢＥＲＴは、ＮＮモデル層における深層双方向表現のトレーニングを可能にする言語表現深層学習モデルに対応する。質問及び文書は、密な表現ベクトルとして符号化されてよく、質問に対する文書の関連性スコアは、内積によって計算されてもよい：Ｓｉｍ（ｑ，ｄ）＝＜ＥＱ（ｑ），ＥＤ（ｄ）＞、ここで、ｑ及びｄは、それぞれ質問及び文書エンコーディングからの低次元ベクトルであってよく、＜．＞は、ドット積を表してよい。
【0067】
密な文書レベル検索モデルのエンコーダをトレーニングするとき、トレーニングデータのためのＱＡデータセットが使用されてよい。これらは、実際のＧｏｏｇｌｅ（登録商標）検索からマイニングされた質問と、注釈者によって識別された百科事典的な記事の対応する回答とを有する自然質問（ＮＱ、Natural Questions）、ウェブから収集された回答を持つトリビア質問のセットを有するＴｒｉｖｉａＱＡ、Ｇｏｏｇｌｅ（登録商標）Ｓｕｇｇｅｓｔ ＡＰＩを使用して選択された質問と、Ｆｒｅｅｂａｓｅのエンティティに対応する回答とを有するＷｅｂＱｕｅｓｔｉｏｎｓ、及び／又はＴＲＥＣ ＱＡトラックからの質問並びに非構造化テキストからのオープンドメインＱＡを目的とした様々なウェブソースを有するＣｕｒａｔｅｄＴＲＥＣ（ＴＲＥＣ）を含む、標準化されたオープンドメインＱＡ評価データセットを含み得る。肯定的な節を選択するとき、質問と回答のペアがＴＲＥＣとＴｒｉｖｉａＱＡにおいて提供され得る。したがって、回答を含むベストマッチ２５（ＢＭ２５）の深層学習モデルを使用して決定された最高ランクの節は、肯定的な節に対応し得る。上位１００個の検索された節のいずれにも回答が含まれていない場合、質問は破棄される可能性がある。さらに、否定的な文書及び節（例えば肯定的な節として現れるが、回答を含まないもの）に関する否定的なサンプリング及びトレーニングも、モデルトレーニングに使用されてよく、ここで、節のランキングは、トレーニングデータに基づく密なモデルのトレーニングに影響を及ぼす可能性がある。これは、節に対するｉｎ－Ｄｏｃ及びｉｎ－Ｓｅｃネガティブ（negatives）の使用を含んでよく、これは、回答を含む肯定的な節に対するｉｎ－Ｄｏｃ及び／又はｉｎ－Ｓｅｃネガティブの近さに基づいて、より多くバイアスされるか、より重く重み付けされることがある。
【0068】
例えばデータセットをトレーニングするとき、所与の質問に対してゴールドタイトル（例えば肯定的な及び／又は最もよく一致するタイトル）を含むデータセットにおいて、肯定的な文書は、ゴールドタイトルを有する文書であり得る。他のデータセットでは、ＢＭ２５を使用するとき、文書テキスト全体の回答を含むトップ１文書が肯定的な文書として検索される。その後、トレーニングのために、３つの異なるタイプのネガティブが使用される。イントロネガティブ（intro negative）は、第１セクションを使用して各文書を表してよく、次いでＢＭ２５が上位文書を検索するために使用され得るが、文書テキスト全体に回答を含まない。全テキストネガティブは、文書テキスト全体を使用して各文書を表してよく、次いでＢＭ２５が上位文書を検索するために使用され得るが、文書テキスト全体に回答を含まない。さらに、バッチ内ネガティブ（in-batch negatives）は、トレーニングデータセットに現れる他の質問とペアになった節から使用され得る。
【0069】
節レベル検索器５０８は、節レベル検索のためにトレーニングされた節レベル検索モデルを使用して節の符号化を更に必要とし得る。密な節レベル検索モデルのエンコーダをトレーニングするとき、サブタイトルリスト（例えばセクション及び／又はサブセクションのタイトルリスト）が文書タイトルとともに考慮され得る。節Ｐは、［ＣＬＳ］タイトル［ＳＥＰ］サブタイトル１、サブタイトル２，．．．，サブタイトルｎ［ＳＥＰ］節［ＳＥＰ］として表現される。異なるＥＱ（．）が、密な文書レベル検索モデルと密な節レベル検索モデルで使用され得る。したがって、質問に対する節の関連性スコアは、内積によって計算され得る：Ｓｉｍ（ｑ，ｄ）＝＜ＥＱ（ｑ），ＥＤ（ｐ）＞、ここで、ｑ及びｐは、それぞれ質問及び節符号化からの低次元ベクトルであり得る。
【0070】
肯定的及び否定的な節は、密な節検索（ＤＰＲ）と同様の方法で、トレーニングのために決定され得る。例えば所与の質問に対するゴールド（例えばベスト又はトップ１）コンテキストを有するデータセットにおいて、肯定的な節は、節セット｛Ｐ｝内のゴールドコンテキストを有する節のマッピングであり得る。他のデータセットについては、ＢＭ２５を使用して、回答を含むトップ１節を検索し得る。また、ＢＭ２５ネガティブ及びバッチ内ネガティブも使用されてよい。さらに、文書レベル検索から肯定的な文書を所与として肯定的な節を見つけるためのモデル能力を向上させるために、ｉｎ－Ｄｏｃネガティブ及びｉｎ－Ｓｅｃネガティブが、検索された節のために使用され得る。ｉｎ－Ｄｏｃネガティブは、肯定的な節と同じ文書内に回答を含まない節であってよく、一方、Ｉｎ－Ｓｅｃネガティブは、肯定的な節と同じセクションに回答を含まない他の節であり得る。
【0071】
したがって、推論時間中に、文書レベル検索器５０２は、上位ｋ１個の文書５０６を選択するために適用される。文書－節マッピングを使用して、上位ｋ１個の文書５０６内の節は、上位ｋ１個の文書からのスコア付けされた節５１２を決定するために節レベル検索器５０８に送られ、上位ｋ１個の文書からのスコア付けされた節５１２は、文書と節の関連性スコアの組合せを使用して再ランク付けされ、再ランク付けされた上位ｋ２個の節５１４を取得する。推論時間の前に、文書エンコーダＥＤは、オフラインでインデックス付けされる文書コーパス５０４からの文書を符号化する。実行時に質問ｑが与えられると、埋め込みが導出され、質問ｑに最も近い埋め込みを有する上位ｋ１個の文書５０６が検索される。上位ｋ１個の文書５０６からのすべての節がマッピングから検索され、節エンコーダＥＰが、検索されたすべての節に適用される。上位ｋ１個の文書からのスコア付けされた節５１２、及び文書レベル検索及び節レベル検索からのランキング又は関連性スコアが、節を再ランク付けするために使用される。
【0072】
したがって、密な文書検索及び密な節検索の両方からの検索ランキング及び／又は関連性スコアは、再ランクされた上位ｋ２個の節５１４の最終的なランキングに寄与する。これを行うために、文書関連性スコアは、Ｓｉｍ（ｑ，Ｄｊ）＋λ＊Ｓｉｍ（ｑ，Ｐｉ），Ｐｉ∈Ｄｊによって計算される節関連性スコアと組み合わされ、ここで、λは２つのスコア間で使用される係数である。スコアは実質的に類似であってよく、したがって、λは１に近いか又は１に等しくてもよい。さらに、反復トレーニングを適用して、文書レベル検索モデルと節レベル検索モデルの両方をトレーニングすることができる。例えば初期トレーニングの後、データセット及びポジティブ／ネガティブを使用する再トレーニングを使用して、モデルによる予測意思決定及び文書／節検索を更に改良することができる。
【0073】
図６は、いくつかの実施形態による、図３、図４及び図５に記載された文書レベル検索器及び節レベル検索器を使用して、深層学習における意味ベースの節の階層型検索のためのフローチャートの簡略図を示す。方法６００のプロセス６０２～６１４のうちの１つ以上は、少なくとも部分的に、１つ以上のプロセッサによって実行されると、該１つ以上のプロセッサにプロセス６０２～６１４のうちの１つ以上を実行させることができる非一時的な有形の機械読取可能媒体に記憶される、実行可能コードの形式で実装されてよい。いくつかの実施形態では、方法６００は、図１及び図２の環境１１０内の１つ以上のコンピューティングデバイスによって実行することができる。
【0074】
深層学習モジュール３３０のモデルは、データ解析、抽出、符号化、変換及びＱＡ予測プロセスを使用して、文書レベル検索モデル及び節レベル検索モデルに基づいて、データベースシステム（例えばシステム１１６）内の意味ベースの節及び／又は文書の密な階層型検索を実行する。いくつかの実施形態では、これらは、データベースシステムの標準であり、ＣＲＭ又は他のシステムの顧客に提供され得る、文書及び文書のコーパス（例えば記事、百科事典的エントリ、トレーニング資料、顧客ヘルプ要求及び回答、並びに特定のデータベースシステムに関連し得る他の文書）を含む。
【0075】
これを達成するために、図４及び図５を参照すると、方法６００はプロセス６０２から開始する。プロセス６０２において、深層学習モジュール３３０は、文書コーパスについての質問を受信し、ここで、コーパス内の文書は、節のそれぞれのセットに関連付けられる。文書コーパスは、文書コーパス５０４に対応してよく、情報記事、百科事典的エントリ、ヘルプ要求、トレーニングマニュアル、パンフレット又は情報を提供する主題に関する他の記事のような、文書４００に類似する文書を含んでよい。質問５０１は、オープンドメインＱＡのためのクエリである入力質問に対応してよい。プロセス６０４では、文書コーパスと符号化された文書のインデックスがアクセスされる。例えば密な文書レベル検索モデルは、文書４００を含み、かつ／又は文書コーパス５０４から、文書のエンコーディングを生成するために使用されてよく、このエンコーディングはＥＤ（ｄ）と指定されてよい。この点に関して、文書レベル検索器５０２は、密モデルについて符号化した後にＥＤ（ｄ）を検索してよい。
【0076】
プロセス６０６において、質問が符号化される。質問５０１はるＥＱ（ｑ）として符号化されてよく、これは、例えば文書レベル検索器５０２のためにＥＤ（ｄ）を生成している文書エンコーダとともに利用され得る質問エンコーダを使用して符号化され得る。プロセス６０８において、質問に対する文書の文書関連性スコアが、文書レベル検索モデルを使用して決定される。文書レベル検索器は、質問５０１のエンコーディングＥＱ（ｑ）に基づいて、上位ｋ１個の文書５０６を検索し得る。文書関連性スコアは、質問５０１に対する上位ｋ１個の文書５０６の関連性を決定するためのスコア付けされた値、ランク付けされた値又は他の方法で重み付けされた値に対応し得る。この点に関して、上位ｋ１個の文書５０６は、そのエンコーディングＥＤ（ｄ）に基づいてスコア付け及び／又は順序付けされてよく、該エンコーディングＥＤ（ｄ）は、文書４００の１つ以上の文書構造及び／又は文書コーパス５０４からの文書から決定され得る。
【0077】
プロセス６１０において、関連のない文書が、文書関連性スコアに基づいて、文書からフィルタリングされる。例えば上位ｋ１個の文書５０６は、それらの対応する関連性スコアに基づいて、文書コーパス５０４からのフィルタリングされた文書のサブセットに対応し得る。さらに、文書－節のマッピングは、上位ｋ１個の文書５０６内の文書のエンコーディングＥＤ（ｄ）から節を決定するために必要とされることがある。これは、上位ｋ１個の文書からの節５１０を返すことを可能にする。プロセス６１２において、（フィルタリングされて返された文書及び節に基づいて）文書のうちの少なくとも１つ文書における節が、節レベル検索モデルを使用して符号化される。節レベル検索５０８は、符号化された節ＥＰ（ｐ）を生成するために、上位ｋ１個の文書からの節５１０を符号化し得る。
【0078】
プロセス６１４において、質問について上位評価の節が取得される。ＥＱ（ｑ）で符号化された節ＥＰ（ｐ）を使用して（例えば質問５０１のエンコーディング）、上位ｋ１個の文書からのスコア付けされた節５１２が、節レベル検索５０８によって返され得る。これは、質問及び節のエンコーディングに基づいて、対応する密なモデルを使用して決定され得る。しかしながら、上位ｋ１個の文書からのスコア付けされた節５１２だけを返す前に、上位ｋ１個の文書５０６からの関連性スコアと上位ｋ１個の文書からのスコア付けされた節５１２とを組み合わせ、かつ／又は処理して、再ランク付けされた上位ｋ２個の節５１４を取得し得る。これらの上位ランクの節は、文書コーパス５０４上のオープンドメインＱＡについて質問５０１の出力として提供され得る。
【0079】
上述のプロセスのために、１つ以上のニューラルネットワークモデルは、トレーニングデータに基づいてトレーニングされてもよい。いくつかの実施形態では、トレーニングのために、ニューラルネットワークは、例えばトレーニングテキスト内の各単語、単語の一部又は文字について、トレーニングデータに対して前処理を実行し得る。埋め込みは、例えばニューラルネットワークの１つ以上の符号化層で符号化され、それぞれのベクトルを生成する。前処理層は、テキスト入力シーケンス内の単語ごとに埋め込みを生成する。各埋め込みはベクトルとすることができる。いくつかの実施形態では、これらは、例えばｗｏｒｄ２ｖｅｃ、ＦａｓｔＴｅｘｔ又はＧｌｏＶｅのようなメソッドを実行することによって取得されるような単語埋め込みとすることができ、それぞれが有用な特性を有する単語ベクトルを学習する方法を定義する。いくつかの実施形態では、特定の次元の事前トレーニングされたベクトルが使用されてよい。いくつかの実施形態では、埋め込みは、単語の部分に関連する部分的な単語埋め込みを含むことがある。例えば単語「ｗｈｅｒｅ」は、部分「ｗｈ」、「ｗｈｅ」、「ｈｅｒ」、「ｅｒｅ」及び「ｒｅ」を含む。部分的な単語埋め込みは、サブワード情報／ＦａｓｔＴｅｘｔで単語ベクトルを豊かにするのに役立つ。同様に、トレーニングデータからの単語及び／又はフレーズに前処理層を適用するとき、文書及び文書構造内の単語のシーケンスに基づいて、単語ベクトルのシーケンスが生成されてよい。いくつかの例では、例えばトレーニングのために使用されるテキスト入力シーケンスは、少数の単語を含むことがあり、その場合、前処理層からの埋め込み出力を、例えばゼロで「パディング」することができる。マスク層は、このような数字（numbers）をマスクし、その結果、そのような数字は、例えばトレーニング時間を短縮するのに役立つように、後続の層で無視されるか処理されない。
【0080】
符号化層は、テキスト入力シーケンスの単語から高レベルの特徴を学習する。各符号化層は、テキスト入力シーケンス内の単語をより高い次元空間にマッピングする、エンコーディング（例えばベクトル）を生成する。エンコーディングは、単語間の意味的関係を符号化することができる。いくつかの実施形態では、符号化層又はエンコーダスタックは、リカレントニューラルネットワーク（ＲＮＮ）で実装される。ＲＮＮは、可変長のベクトルシーケンスを処理する深層学習モデルである。これにより、ＲＮＮは単語ベクトルのシーケンスを処理するのに適したものとなる。いくつかの実施形態では、符号化層は、１つ以上のゲート付き回帰型ユニット（ＧＲＵ、gated recurrent units）で実装することができる。ＧＲＵは、リカレントニューラルネットワーク（ＲＮＮ）の特定のモデルであり、ノードのシーケンスを介した接続を使用してタスクの機械学習を実行するように意図している。ＧＲＵは、ＲＮＮに共通する問題である勾配消失問題を解決するために、ニューラルネットワークの入力重みを調整するのに役立つ。いくつかの実施形態では、符号化層を、１つ以上の長期短期メモリ（ＬＳＴＭ）エンコーダで実装することができる。
【0081】
複数のＧＲＵは、行に配列されてもよい。ＧＲＵの最初の行は、第１の（例えば「順方向」）方向のテキスト入力シーケンス内のそれぞれの単語の情報（例えば埋め込み又はエンコーディング）を見るか、それに対して作用し、各ＧＲＵは、対応する状態ベクトルを生成し、そのベクトルを、その行内の次のＧＲＵに渡す（例えば左から右を指す矢印によって示されるように）。ＧＲＵの第２の行は、第２の（例えば「逆方向」）方向の入力シーケンス内のそれぞれの単語の情報（例えば埋め込み又はエンコーディング）を見るか、それに対して作用し、各ＧＲＵは、対応する隠れ状態ベクトルを生成し、そのベクトルをその行内の次のＧＲＵに渡す。埋め込み行列の重み（値）は、ランダムに及び／又は個別に初期化され、トレーニング時に逆伝播を使用して更新／学習されてもよい。
【0082】
いくつかの実施形態によると、埋め込みは、機械学習エンジン及び／又はニューラルネットワークモデル（他の特徴を有する）をその分類タスクでトレーニングしながら、エンドツーエンドで学習され得る。このトレーニングの結果、文字、単語、フレーズ又は文ごとに１つのベクトルが得られ、ベクトルをクラスタ化される。例えば類似した埋め込みを持つ２つの文字、単語、フレーズ又は文は、最終的に遠い埋め込みよりも近くの類似したベクトルを持つことになる。次に、埋め込みは、それぞれのフラット化器（flattener）で平坦化され、かつ／又はそれぞれの連結器（concatenator）で連結される。
【0083】
ニューラルネットワークのモデルは、連結された特徴又はベクトルを使用してトレーニングされる。トレーニングのために、ニューラルネットワークは、１つ以上の層を有する多層又はディープニューラルネットワーク又はニューラルモデルを含むか、又はそれを用いて実装されてもよい。いくつかの実施形態によると、多層ニューラルネットワークの例は、ＲｅｓＮｅｔ－３２、ＤｅｎｓｅＮｅｔ、ＰｙｒａｍｉｄＮｅｔ、ＳＥＮｅｔ、ＡＷＤ－ＬＳＴＭ、ＡＷＤ－ＱＲＮＮ及び／又は同様のニューラルネットワークを含む。ＲｅｓＮｅｔ－３２ニューラルネットワークは、２０１５年１２月１０日に提示された、He等による「Deep Residual Learning for Image Recognition」arXiv:1512.03385において更に詳細に記載されており；ＤｅｎｓｅＮｅｔニューラルネットワークは、２０１４年４月７日に提示された、Iandola等による「Densenet: Implementing Efficient Convnet Descriptor Pyramids」arXiv:1404.1869において更に詳細に記載されており；ＰｙｒａｍｉｄＮｅｔニューラルネットワークは、２０１６年１０月１０日に提示された、Han等による「Deep Pyramidal Residual Networks」、arXiv:1610.02915において更に詳細に記載されており；ＳＥＮｅｔニューラルネットワークは、２０１７年９月５日に提示された、Hu等による「Squeeze-and-Excitation Networks」、arXiv:1709.01507において更に詳細に記載されており；ＡＷＤ－ＬＳＴＭニューラルネットワークは、２０１６年１１月５日に提示された、Bradbury等による「Quasi-Recurrent Neural Networks」arXiv:1611.0157において更に詳細に記載されており、これらの各々は、参照により本明細書に組み込まれる。
【0084】
各ニューラルネットワーク層は、特徴又はベクトルを操作又は処理する、例えば正則化（regularization）（例えばＬ２及びＬ１正則化、早期停止（Early stopping）等）、正規化（normalization）及び活性化（activation）を行うことができる。いくつかの実施形態では、各ニューラルネットワーク層は、密な層、バッチ正規化及び深層学習のためのドロップアウトを含むことがある。いくつかの実施形態では、各層の端部にあるそれぞれの整流線形ユニット（ＲｅＬＵ、rectifier linear unit）が、ＲｅＬＵ活性化関数を実行する。ニューラルネットワークの出力層は、ソフトマックス関数を実行して、すべてのコンテキストに対して１つの単一モデルを作成又は生成する。グローバルモデルは、システム１１６のようなデータベースシステムへの現在のクエリのためのケースオブジェクト又はテストケースオブジェクトを予測する。いくつかの実施形態では、モデルは、所与のトレーニング文書及び／又は文書構造（例えば節及び文書構造を有する文書の１つ又は複数のコーパス）に関する、文書及び／又は文書構造（標準又はカスタムのいずれか）内の埋め込みの確率分布を含むか、又はこれを表す。分布に関して、各埋め込みは、現在の検索に対するそのような埋め込みの関連性を表すか又は示す、対応する数値を有する。いくつかの実施形態では、ソフトマックスのボトルネック問題を緩和するために、ソフトマックス層を、ソフトマックスの混合（ＭＯＳ、Mixture of Softmaxes）と呼ばれる高ランク言語モデルで実装することができる。
【0085】
上記され、ここで更に強調されるように、図３、図４、図５及び図６は、特許請求の範囲を過度に限定するものではない、トレーニング及び使用のための深層学習モジュール３３０及び対応する方法６００の単なる実施例である。当業者は、多くの変形、代替及び修正を認識するであろう。
【0086】
コンピューティングデバイス３００のようなコンピューティングデバイスのいくつかの例は、１つ以上のプロセッサ（例えばプロセッサ３１０）によって実行されると、該１つ以上のプロセッサに方法６００のプロセスを実行させることができる実行可能コードを含む、非一時的な有形の機械読取可能媒体を含んでよい。方法６００のプロセスを含み得る機械読取可能媒体のいくつかの一般的な形態は、例えばフロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み出すように適合される任意の他の媒体である。
【0087】
例示的な実施形態を示し、説明してきたが、広範囲の修正、変更及び置換が、前述の開示において考慮され、いくつかの例では、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに使用されてよい。当業者は、多くの変形、代替及び修正を認識するであろう。したがって、本出願の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、広く、かつ、本明細書に開示される実施形態の範囲と一致する方法で解釈されることが適切である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】