知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-15
(45)【発行日】2024-04-23
(54)【発明の名称】長い文書の要約のためのモデルグローバル化
(51)【国際特許分類】
G06F 40/279 20200101AFI20240416BHJP
G06F 16/30 20190101ALI20240416BHJP
G06F 40/56 20200101ALI20240416BHJP
【ＦＩ】
G06F40/279
G06F16/30
G06F40/56
【請求項の数】
22
(21)【出願番号】P 2022068546
(22)【出願日】2022-04-18
(65)【公開番号】P2023113541
(43)【公開日】2023-08-16
【審査請求日】2022-04-18
(31)【優先権主張番号】17/592164
(32)【優先日】2022-02-03
(33)【優先権主張国・地域又は機関】US
【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２１年４月１９日～２３日、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １６ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｈａｐｔｅｒ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ（ウェブ開催、ｈｔｔｐｓ：／／ａｃｌａｎｔｈｏｌｏｇｙ．ｏｒｇ／２０２１．ｅａｃｌ－ｍａｉｎ．１５４／）にて公開
(73)【特許権者】
【識別番号】505205812
【氏名又は名称】ネイバー コーポレーション
【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジュリエン パレス
(72)【発明者】
【氏名】クェンテン グライ
(72)【発明者】
【氏名】エリック ジャック ギ ゴシエ
【審査官】松尾 真人
(56)【参考文献】
【文献】特開２０２０－０３５２７２（ＪＰ，Ａ）
【文献】Ruixuan Zhang, Zhuoyu Wei, Yu Shi, Yining Chen，BERT-AL: BERT FOR ARBITRARITY LONG DOCUMENT UNDERSTANDING，OpenReview.net，2019年09月26日，［令和5年10月13日検索］，インターネット＜URL：https://openreview.net/forum?id=SklnVAEFDB&name=original_pdf＞
【文献】Yang Liu，Fine-tune BERT for Extractive Summarization，arXiv[online]，arXiv，2019年09月05日，［令和5年5月15日検索］，インターネット＜URL：https://arxiv.org/abs/1903.10318＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／００－４０／５８
Ｇ０６Ｆ １６／００－１６／９５８
(57)【特許請求の範囲】
【請求項1】
要約システムであって、要約される文書のＫ個のテキストブロックをそれぞれ受信し、
前記Ｋ個のテキストブロックに基づいてＫ個の第１表現をそれぞれ生成するように構成され、Ｋは２よりも大きい定数である、Ｋ個の埋め込みモジュールと、
前記Ｋ個の第１表現に基づいて第２表現を生成するように構成された第１伝播モジュールと、
前記第２表現に基づいて第３表現を生成するように構成された第２伝播モジュールと、
前記第３表現に基づいて前記Ｋ個のテキストブロックのうちからブロックを選択するように構成された出力モジュールと、
前記Ｋ個のテキストブロックのうちから選択されたブロックのテキストから前記文書の要約を生成するように構成された要約モジュールと
を含み、
前記第１および第２伝播モジュールそれぞれは、（ａ）局部的に前記Ｋ個のテキストブロック内で依存性を独立的に決定するように構成されたＫ個の変換器モジュールと、（ｂ）前記Ｋ個の変換器モジュールの出力をプロセッシングして全域的に前記文書内で依存性を決定するように構成された双方向循環ニューラルネットワークモジュールと、（ｃ）前記双方向循環ニューラルネットワークモジュールからの出力に基づいて、Ｋ個のフィードフォワード表現を生成するＫ個のＦＦＮＮ（ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モジュールとを含む、
要約システム。
【請求項2】
前記要約される文書は、少なくとも１０２４個のトークンを含む、請求項１に記載の要約システム。
【請求項3】
前記出力モジュールは、前記第３表現に基づいて、前記Ｋ個のテキストブロックそれぞれを第１状態または第２状態に分類し、
前記分類に基づいて、前記Ｋ個のテキストブロックのうちからブロックを選択するように構成される、
請求項１に記載の要約システム。
【請求項4】
前記出力モジュールは、フィードフォワードニューラルネットワークモジュールおよび前記Ｋ個のテキストブロックそれぞれを分類するように構成されたソフトマックス（ｓｏｆｔｍａｘ）機能を含む、請求項１に記載の要約システム。
【請求項5】
前記第１伝播モジュールは、変換器アーキテクチャを有し、前記Ｋ個の第１表現を受信し、前記Ｋ個の第１表現に基づいて第４表現を生成するように構成されたＫ個の変換器モジュールと、
前記変換器モジュールからの前記第４表現に関するＫ個の第１表現を受信し、前記第４表現に関する前記Ｋ個の第１表現に基づいてＫ個の第５表現を生成するように構成された循環ニューラルネットワークモジュールと、
前記Ｋ個の第５表現に基づいてＫ個の第６表現をそれぞれ生成するように構成されたＫ個のフィードフォワードニューラルネットワークモジュールと
を含み、
前記第２表現は、（ａ）前記第４表現に関する第２表現と、（ｂ）前記Ｋ個の第６表現とを含む、
請求項１に記載の要約システム。
【請求項6】
前記循環ニューラルネットワークモジュールは、双方向ゲート循環ユニットモジュールである、請求項５に記載の要約システム。
【請求項7】
前記第４表現は、（ａ）前記第４表現に関する前記Ｋ個の第１表現と、（ｂ）前記第４表現に関する前記第２表現とからなるグループである、請求項５に記載の要約システム。
【請求項8】
前記第２伝播モジュールは、前記変換器アーキテクチャを有し、前記第２表現を受信し、前記第６表現に基づいて第７表現を生成するように構成されたＫ個の第２変換器モジュールと、
前記第２変換器モジュールからの前記第７表現に関するＫ個の第１表現を受信し、前記第７表現に関する前記Ｋ個の第１表現に基づいてＫ個の第８表現を生成するように構成された第２循環ニューラルネットワークモジュールと、
前記Ｋ個の第８表現に基づいてＫ個の第９表現をそれぞれ生成するように構成されたＫ個の第２フィードフォワードニューラルネットワークモジュールと
を含み、
前記第３表現は、（ａ）前記第７表現に関する第２表現と、（ｂ）前記Ｋ個の第８表現とを含む、
請求項５に記載の要約システム。
【請求項9】
前記第４表現に関する前記Ｋ個の第１表現はそれぞれ、前記Ｋ個のテキストブロックのＫ個の分類表現（ＣＬＳ）トークンである、請求項５に記載の要約システム。
【請求項10】
前記Ｋ個の第１表現それぞれは、トークン埋め込み、セグメント埋め込み、およびポジションエンコードを含み、前記ポジションエンコードは、前記Ｋ個のテキストブロックのうちの１つのトークンのポジションを表現する、請求項１に記載の要約システム。
【請求項11】
前記第３表現に基づいて第４表現を生成するように構成された第３伝播モジュールをさらに含み、前記出力モジュールは、前記第４表現に基づいて前記Ｋ個のテキストブロックのうちからブロックを選択するように構成される、
請求項１に記載の要約システム。
【請求項12】
前記要約モジュールは、前記文書と関連してメモリに前記要約を格納するように構成される、請求項１に記載の要約システム。
【請求項13】
前記要約モジュールは、ネットワークを介してコンピューティングデバイスに前記要約を送信するように構成される、請求項１に記載の要約システム。
【請求項14】
前記Ｋ個のテキストブロックそれぞれは、前記文書からのテキストの少なくとも１つの文章を含む、請求項１に記載の要約システム。
【請求項15】
クエリシステムであって、入力としてクエリを受信し、前記クエリに基づいて探索結果を取得するように構成された探索モジュールと、
請求項１乃至１４のいずれか一項に記載の要約システムと
を含み、
要約モジュールは、前記探索モジュールに対する前記探索結果の要約を生成するように構成され、
検索モジュールは、追加で、前記探索結果および前記要約モジュールによって生成された前記探索結果の要約を出力するように構成される、
クエリシステム。
【請求項16】
要約システムであって、要約される文書のＫ個のテキストブロックをそれぞれ受信し、
前記Ｋ個のテキストブロックに基づいてＫ個の第１表現をそれぞれ生成するためのＫ個の手段であって、Ｋは２よりも大きい定数である、前記Ｋ個の手段と、
前記Ｋ個の第１表現に基づいて第２表現を生成するための手段と、
前記第２表現に基づいて第３表現を生成するための手段と、
前記第３表現に基づいて前記Ｋ個のテキストブロックのうちからブロックを選択するための手段と、
前記Ｋ個のテキストブロックのうちから選択されたブロックのテキストから前記文書の要約を生成するための手段と
を含み、
前記第２および第３表現を生成するための手段それぞれは、（ａ）局部的に前記Ｋ個のテキストブロック内で依存性を独立的に決定するように構成されたＫ個の変換器モジュールと、（ｂ）前記Ｋ個の変換器モジュールの出力をプロセッシングして全域的に前記文書内で依存性を決定するように構成された双方向循環ニューラルネットワークモジュールと、（ｃ）前記双方向循環ニューラルネットワークモジュールからの出力に基づいて、Ｋ個のフィードフォワード表現を生成するＫ個のＦＦＮＮ（ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モジュールとを含む、
要約システム。
【請求項17】
要約方法であって、プロセッサが、要約される文書のＫ個のテキストブロックをそれぞれ受信する段階と、
前記プロセッサが、前記Ｋ個のテキストブロックに基づいてＫ個の第１表現をそれぞれ生成する段階であって、Ｋは２よりも大きい定数である、生成する段階と、
前記プロセッサが、前記Ｋ個の第１表現に基づいて第２表現を生成する段階と、
前記プロセッサが、前記第２表現に基づいて第３表現を生成する段階と、
前記プロセッサが、前記第３表現に基づいて前記Ｋ個のテキストブロックのうちからブロックを選択する段階と、
前記プロセッサが、前記Ｋ個のテキストブロックのうちから選択されたブロックのテキストから前記文書の要約を生成する段階と
を含み、
前記第２および第３表現を生成する段階それぞれには、（ａ）局部的に前記Ｋ個のテキストブロック内で依存性を独立的に決定するように構成されたＫ個の変換器モジュールと、（ｂ）前記Ｋ個の変換器モジュールの出力をプロセッシングして全域的に前記文書内で依存性を決定するように構成された双方向循環ニューラルネットワークモジュールと、（ｃ）前記双方向循環ニューラルネットワークモジュールからの出力に基づいて、Ｋ個のフィードフォワード表現を生成するＫ個のＦＦＮＮ（ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モジュールとが含まれる、
要約方法。
【請求項18】
前記Ｋ個のテキストブロックのうちからブロックを選択する段階は、前記プロセッサが、前記第３表現に基づいて、前記Ｋ個のテキストブロックそれぞれを第１状態または第２状態に分類する段階と、
前記プロセッサが、前記分類に基づいて、前記Ｋ個のテキストブロックのうちからブロックを選択する段階と
を含む、請求項１７に記載の要約方法。
【請求項19】
前記Ｋ個の第１表現それぞれは、トークン埋め込み、セグメント埋め込み、およびポジションエンコードを含み、前記ポジションエンコードは、前記Ｋ個のテキストブロックのうちの１つのトークンのポジションを表現する、請求項１７に記載の要約方法。
【請求項20】
前記プロセッサが、前記第３表現に基づいて第４表現を生成する段階をさらに含み、前記Ｋ個のテキストブロックのうちからブロックを選択する段階は、前記プロセッサが、前記第４表現に基づいて前記Ｋ個のテキストブロックのうちからブロックを選択する段階を含む、
請求項１７に記載の要約方法。
【請求項21】
前記Ｋ個のテキストブロックそれぞれは、前記文書からのテキストの少なくとも１つの文章を含む、請求項１７に記載の要約方法。
【請求項22】
方法であって、プロセッサが、入力としてクエリを受信する段階と、
前記プロセッサが、前記クエリに基づいて探索結果を取得する段階と、
前記プロセッサが、前記探索結果の要約を生成するために、請求項１７乃至２１のいずれか一項に記載の要約方法を実行する段階と、
前記プロセッサが、前記探索結果および前記探索結果の要約を出力する段階と
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報検索システムおよび方法に関し、より詳細には、入力テキストの長いシーケンスを要約するための変換器モデルを備えたニューラルネットワークシステムおよび方法に関する。
【背景技術】
【0002】
ここで提供する背景説明は、本開示の脈絡を一般的に提示することを目的とする。ここに記載した発明者の作業は、この背景技術はもちろん、出願時に従来技術として資格のない説明の様相で説明される範囲まで、明示上にも暗黙的にも本開示の先行技術として認定されない。
【0003】
コンピュータ、スマートフォン、または他のインターネット接続デバイスの使用が幾何学（指数関数的）的に増加している。ユーザは、多様な作業のためにインターネット接続デバイスを活用する。例えば、ユーザは、レストランのようなローカルビジネスを探索するためにインターネット接続デバイスを活用する。他の例として、ユーザは、行きたい位置に案内するための方向を得るためにインターネット接続デバイスを活用する。また他の例として、ユーザは、建物内の照明を付けたり、建物の加熱または冷却を調整したり、ガレージを開閉したりするような１つ以上の建物関連機能を実行するためにインターネット接続デバイスを活用する。さらに他の例として、ユーザは、トピックに関する情報を探索して注文するなどのためにインターネット接続デバイスを活用する。
【発明の概要】
【0004】
特徴として、要約システムは、要約される（要約対象の）文書のＫ個のテキストブロックをそれぞれ受信し、Ｋ個のテキストブロックに基づいてＫ個の第１表現をそれぞれ生成するように構成され、Ｋは２よりも大きい定数であるＫ個の埋め込みモジュールと、Ｋ個の第１表現に基づいて第２表現を生成するように構成された第１伝播モジュールと、第２表現に基づいて第３表現を生成するように構成された第２伝播モジュールと、第３表現に基づいてＫ個のブロックのうちからブロックを選択するように構成された出力モジュールと、Ｋ個のブロックのうちから選択されたブロックのテキストから文書の要約を生成するように構成された要約モジュールとを含む。
【0005】
追加の特徴として、要約される文書は、少なくとも１０２４個のトークンを含む。
【0006】
追加の特徴として、出力モジュールは、第３表現に基づいて、Ｋ個のブロックそれぞれを第１状態または第２状態に分類し、分類に基づいてＫ個のブロックのうちからブロックを選択するように構成される。
【0007】
追加の特徴として、出力モジュールは、フィードフォワードニューラルネットワークモジュールおよびＫ個のブロックそれぞれを分類するように構成されたソフトマックス（ｓｏｆｔｍａｘ）機能を含む。
【0008】
追加の特徴として、第１伝播モジュールは、変換器アーキテクチャを有し、Ｋ個の第１表現を受信し、Ｋ個の第１表現に基づいて第４表現を生成するように構成されたＫ個の変換器モジュールと、第４表現のうちのＫ個の第１表現を受信し、第４表現のうちのＫ個の第１表現に基づいてＫ個の第５表現を生成するように構成された循環ニューラルネットワークモジュールと、Ｋ個の第５表現に基づいてＫ個の第６表現をそれぞれ生成するように構成されたＫ個のフィードフォワードニューラルネットワークモジュールとを含み、第２表現は、（ａ）第４表現のうちの第２表現と、（ｂ）Ｋ個の第６表現とを含む。
【0009】
追加の特徴として、循環ニューラルネットワークモジュールは、双方向ゲート循環ユニットモジュールである。
【0010】
追加の特徴として、第４表現は、（ａ）第４表現のうちのＫ個の第１表現と、（ｂ）第４表現のうちの第２表現とからなるグループである。
【0011】
追加の特徴として、第２伝播モジュールは、変換器アーキテクチャを有し、第２表現を受信し、第６表現に基づいて第７表現を生成するように構成されたＫ個の第２変換器モジュールと、第７表現のうちのＫ個の第１表現を受信し、第７表現のうちのＫ個の第１表現に基づいてＫ個の第８表現を生成するように構成された第２循環ニューラルネットワークモジュールと、Ｋ個の第８表現に基づいてＫ個の第９表現をそれぞれ生成するように構成されたＫ個の第２フィードフォワードニューラルネットワークモジュールとを含み、第３表現は、（ａ）第７表現のうちの第２表現と、（ｂ）Ｋ個の第８表現とを含む。
【0012】
追加の特徴として、第４表現のうちのＫ個の第１表現はそれぞれ、Ｋ個のブロックのＫ個の分類表現（ＣＬＳ）トークンである。
【0013】
追加の特徴として、Ｋ個の第１表現それぞれは、トークン埋め込み、セグメント埋め込み、およびポジションエンコードを含み、ポジションエンコードは、Ｋ個のブロックのうちの１つのトークンのポジションを表現する。
【0014】
追加の特徴として、第３伝播モジュールは、第３表現に基づいて第４表現を生成するように構成され、出力モジュールは、第４表現に基づいてＫ個のブロックのうちからブロックを選択するように構成される。
【0015】
追加の特徴として、要約モジュールは、文書と関連させてメモリに要約を格納するように構成される。
【0016】
追加の特徴として、要約モジュールは、ネットワークを介してコンピューティングデバイスに要約を送信するように構成される。
【0017】
追加の特徴として、Ｋ個のブロックそれぞれは、文書からのテキストの少なくとも１つの文章を含む。
【0018】
追加の特徴として、第１および第２伝播モジュールそれぞれは、（ａ）局部的にＫ個のテキストブロック内で依存性を独立的に決定するように構成されたＫ個の変換器モジュールと、（ｂ）Ｋ個の変換器モジュールの出力をプロセッシングして全域的に文書内で依存性を決定するように構成された双方向循環ニューラルネットワークモジュールとを含む。
【0019】
追加の特徴として、クエリシステムは、入力としてクエリを受信し、クエリに基づいて探索結果を取得するように構成された探索モジュールと、要約システムとを含み、要約モジュールは、探索モジュールに対する探索結果の要約を生成するように構成され、検索モジュールは、追加で、探索結果および要約モジュールによって生成された探索結果の要約を出力するように構成される。
【0020】
特徴として、要約システムは、要約される文書のＫ個のテキストブロックをそれぞれ受信し、Ｋ個のテキストブロックに基づいてＫ個の第１表現をそれぞれ生成し、Ｋは２よりも大きい定数であるＫ個の手段と、Ｋ個の第１表現に基づいて第２表現を生成するための手段と、第２表現に基づいて第３表現を生成するための手段と、第３表現に基づいてＫ個のブロックのうちからブロックを選択するための手段と、Ｋ個のブロックのうちから選択されたブロックのテキストから文書の要約を生成するための手段とを含む。
【0021】
特徴として、要約方法は、要約される文書のＫ個のテキストブロックをそれぞれ受信し、Ｋ個のテキストブロックに基づいてＫ個の第１表現をそれぞれ生成し、Ｋは２よりも大きい定数である段階と、Ｋ個の第１表現に基づいて第２表現を生成する段階と、第２表現に基づいて第３表現を生成する段階と、第３表現に基づいてＫ個のブロックのうちからブロックを選択する段階と、Ｋ個のブロックのうちから選択されたブロックのテキストから文書の要約を生成する段階とを含む。
【0022】
追加の特徴として、Ｋ個のブロックのうちからブロックを選択する段階は、第３表現に基づいて、Ｋ個のブロックそれぞれを第１状態または第２状態に分類する段階と、分類に基づいてＫ個のブロックのうちからブロックを選択する段階を含む。
【0023】
追加の特徴として、Ｋ個の第１表現それぞれは、トークン埋め込み、セグメント埋め込み、およびポジションエンコードを含み、ポジションエンコードは、Ｋ個のブロックのうちの１つのトークンのポジションを表現する。
【0024】
追加の特徴として、要約方法は、第３表現に基づいて第４表現を生成する段階をさらに含み、Ｋ個のブロックのうちからブロックを選択する段階は、第４表現に基づいてＫ個のブロックのうちからブロックを選択する段階を含む。
【0025】
追加の特徴として、Ｋ個のブロックそれぞれは、文書からのテキストの少なくとも１つの文章を含む。
【0026】
追加の特徴として、方法は、入力としてクエリを受信する段階と、クエリに基づいて探索結果を取得する段階と、探索結果の要約を生成するために要約方法を実行する段階と、探索結果および探索結果の要約を出力する段階とを含む。
【0027】
本開示の追加の適用可能な領域は、詳細な説明、特許請求の範囲、および図面によって明らかになるであろう。詳細な説明および特定の実施例は、本発明を例示することだけを目的とし、本開示の範囲を制限しようとする意図はない。
【図面の簡単な説明】
【0028】
本開示は、詳細な説明と添付の図面によってより完全に理解できるであろう。
【図1】クエリに応答して探索結果を提供するように構成された探索システムを含む環境の一例を示したブロック図である。
【図2】探索システムの探索モジュールの一例を示したブロック図である。
【図3】クエリを受信し、クエリに対する応答を提供する方法の一例を示したフローチャートである。
【図4】要約モジュールの一例を示したブロック図である。
【図5】要約モジュールの一例を示したブロック図である。
【図6】長い文書の要約を生成する方法の一例を示したフローチャートである。
【図7】変換器モジュールの一例を示したブロック図である。
【図8】マルチヘッドアテンションモジュールの一例を示したブロック図である。
【図9】マルチヘッドアテンションモジュールのスケーリングされたドット積（ｄｏｔ－ｐｒｏｄｕｃｔ）アテンションモジュールの一例を示したブロック図である。
【図10】要約モジュールまたは他の方式で生成された要約の一例を示した図である。
【図11】要約モジュールまたは他の方式で生成された要約の一例を示した図である。
【図12】要約モジュールまたは他の方式で生成された要約の一例を示した図である。 図面において、参照番号は、類似および／または同一の要素を識別するために再使用されることがある。
【発明を実施するための形態】
【0029】
ダウンストリーム作業に対する大型ニューラルネットワーク言語モデルの微細なチューニングが、自然言語プロセッシングで使用される。しかし、ニューラルネットワーク変換器基盤のアーキテクチャを使用する自然言語プロセッシングは、長い文書（入力テキストの長いシーケンス）を作業するときに制限をきたすことがある。
【0030】
本明細書で使用される変換器アーキテクチャは、Ｉ．Ｇｕｙｏｎ，Ｕ．Ｖ．Ｌｕｘｂｕｒｇ，Ｓ．Ｂｅｎｇｉｏ，Ｈ．Ｗａｌｌａｃｈ，Ｒ．Ｆｅｒｇｕｓ，Ｓ．Ｖｉｓｈｗａｎａｔｈａｎ、およびＲ．Ｇａｒｎｅｔｔ，ｅｄｉｔｏｒｓ，Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ３０，ｐａｇｅｓ５９９８－６００８，ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓ，Ｉｎｃ．，２０１７において、Ａｓｈｉｓｈ Ｖａｓｗａｎｉ、Ｎｏａｍ Ｓｈａｚｅｅｒ、Ｎｉｋｉ Ｐａｒｍａｒ、Ｊａｋｏｂ Ｕｓｚｋｏｒｅｉｔ、Ｌｌｉｏｎ Ｊｏｎｅｓ、Ａｉｄａｎ Ｎ Ｇｏｍｅｚ、Ｌｕｋａｓｚ Ｋａｉｓｅｒ、およびＩｌｌｉａ Ｐｏｌｏｓｕｋｈｉｎの「Ａｔｔｅｎｔｉｏｎ ｉｓ ａｌｌ ｙｏｕ ｎｅｅｄ」で説明され、この全体が本明細書に統合される。変換器アーキテクチャに関する追加情報については、以下で提供する。
【0031】
より一般的に説明すると、変換器アーキテクチャのアテンションメカニズムは、人間がイメージの特定の部分に直観的に焦点を合わせて何が重要であるかを認知する方式と同じように、ニューラルネットワークで関連信号の増幅を可能にする。セルフアテンション（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）メカニズムは、シーケンスの異なるポジションと関連するアテンションメカニズムである（例えば、文章で単語の相関を決定する）。変換器は、埋め込み行列をともに定義する現在の値に、キーのセットに対するクエリをマッピングするセルフアテンションメカニズムを実現するための１つの方法である。
【0032】
変換器セルフアテンションメモリは、入力トークンの数に応じて２次的に増加するため、ある時点で特定のスケールを超過する文書シーケンスをコンピューティングすることが計算的に不可能となることがある。
【0033】
このような制限を克服するための１つのソリューションは、さらに長いシーケンスを使用してニューラルネットワークモデルを事前トレーニングすることを含む。しかし、このようなソリューションには莫大な計算電力消費が伴い、時間も長くかかる。
【0034】
制限を克服するためのソリューションを提示する本出願は、要約モジュールが多数の変換器ウィンドウの間に情報を拡散させる階層的伝播モジュールを含む。階層的接近法は、長い文書を多数のブロックに分割し、変換器層のスケーリングされたドットアテンションを使用してブロックを独立的にプロセッシングし、連続的な階層の結果を組み合わせることを含む。
【0035】
図１は、探索結果として、クエリに応答するように構成された探索システム１０２を含む機能ブロック図を含む。探索システム１０２は、ネットワーク１０６を介して１つ以上のコンピューティングデバイス（複数可）１０４からクエリを受信するように構成される。探索システム１０２は、クエリに対する１つ以上の探索結果を識別するために、クエリに基づいて探索をそれぞれ実行する。また、探索システム１０２は、探索結果に関する要約をそれぞれ提供するように構成される。探索システム１０２は、探索結果および要約を、それぞれのクエリを送信したコンピューティングデバイス１０４に再送する。例えば、要約は、製品のレビューの要約または他の長い文書（例えば、会話、チャットセッションなど）の要約であってよい。
【0036】
情報検索の例について提供したが、本明細書で説明する長い文書の要約に関する概念は、他の環境にも適用が可能である。例えば、本出願は、命名されたエンティティーの認知、トピックの分類、シーケンスのタギング（tagging）、および長い文書の要約が役立つような他の環境にも適用可能である。
【0037】
コンピューティングデバイス１０４は、探索結果および要約をユーザに出力（例えば、ディスプレイ）してよい。また、コンピューティングデバイス１０４は、ユーザに他の情報をディスプレイしてよい。例えば、コンピューティングデバイス１０４は、探索結果と関連する追加の情報、探索結果と関連する広告、および／または他の情報をディスプレイしてよい。多様な実施形態において、コンピューティングデバイス１０４は、１つ以上のスピーカから探索結果および他の情報を可聴的に出力してよい。探索システム１０２およびコンピューティングデバイス１０４は、ネットワーク１０６を介して通信する。
【0038】
図１には、複数の相異する類型のコンピューティングデバイス１０４の例が示されている。コンピューティングデバイス１０４は、探索クエリを生成し、ネットワーク１０６を介して探索システム１０２に送信するように構成される任意の類型のコンピューティングデバイスを含む。コンピューティングデバイス１０４の例は、図１に示すように、スマート（セルラ）フォン、タブレット、ラップトップコンピュータ、およびデスクトップコンピュータを含むが、これに制限されてはならない。また、コンピューティングデバイス１０４は、他のフォームファクタを備える他のコンピューティングデバイス、例えば、車両に備えられたコンピューティングデバイス、ゲームデバイス、テレビジョン、コンソール（例えば、ディスプレイのないスマートスピーカ、Ａｍａｚｏｎ Ｅｃｈｏ、Ｇｏｏｇｌｅ Ｈｏｍｅ、Ｃｌｏｖａ Ｆｒｉｅｎｄｓ ｍｉｎｉ）、または他の機器（例えば、ネットワーキングされた冷蔵庫、ネットワーキングされたサーモスタットなど）を含んでよい。多様な実施形態において、探索システム１０２は、ナビゲーションロボットまたは車両のようなデバイス内で実現されてよい。
【0039】
コンピューティングデバイス１０４は、多様なオペレーティンシステムを使用してよい。コンピューティングデバイス１０４がモバイルデバイスである例において、コンピューティングデバイス１０４は、Ａｎｄｒｏｉｄ、Ａｐｐｌｅ Ｉｎｃ．が開発したｉＯＳ、またはＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎが開発したＷｉｎｄｏｗｓ Ｐｈｏｎｅを含むが、これに制限されないオペレーティングシステムを実行してよい。コンピューティングデバイス１０４がラップトップまたはデスクトップデバイスである例において、コンピュータデバイス１０４は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、ＭａｃＯＳ、またはＬｉｎｕｘを含むが、これに制限されないオペレーティングシステムを実行してよい。また、コンピューティングデバイス１０４は、現在利用可能なものであっても未来に開発されるものであっても、上述したこのようなオペレーティングシステムがこの他のオペレーティングシステムを実行しながら探索システム１０２にアクセスしてよい。
【0040】
一部の例において、コンピューティングデバイス１０４は、コンピューティングデバイス１０４上にインストールされたアプリケーションを使用して探索システム１０２と通信してよい。一般的に、コンピューティングデバイス１０４は、探索システム１０２によって（探索結果とともに）応答するように探索システム１０２にクエリを送信するためのアプリケーションを使用して探索システム１０２と通信してよい。一部の例において、コンピューティングデバイス１０４は、探索システム１０２とのインタフェーシング専用のアプリケーションを実行してよい。一部の例において、コンピューティングデバイス１０４は、ウェブブラウザアプリケーションのようなより一般的なアプリケーションを使用して探索システム１０２と通信してよい。探索システム１０２と通信するためにコンピューティングデバイス１０４によって実行されるアプリケーションは、ユーザが探索クエリを入力するためのグラフィックユーザインタフェース（ＧＵＩ）上に探索フィールドをディスプレイしてよい。ユーザは、例えば、タッチスクリーンまたは物理的なキーボード、スピーチテキストプログラム、または他の形態のユーザ入力を使用してテキストフィールドにテキストを追加することによって探索クエリを入力してよい。ユーザは、例えば、コンピューティングデバイス１０４のメモリに格納されたイメージをアップロードすることによって探索クエリを入力してよい。
【0041】
コンピューティングデバイス１０４上のＧＵＩに入力されたテキストクエリは、単語、数字、文字、句読点、および／またはシンボルを含んでよい。一般的に、クエリは、探索システム１０２からの情報識別および検索のための要請であってよい。
【0042】
コンピューティングデバイス１０４は、探索システム１０２に送信された探索クエリに応答する探索結果を探索システム１０２から受信してよい。多様な実施形態において、探索システム１０２は、探索クエリに応答する多数の探索結果を送信してよく、コンピューティングデバイス１０４は、これを受信してよい。多数の探索結果を提供する探索システム１０２の例において、探索システム１０２は、探索結果それぞれに対する信頼度値（探索結果が探索クエリに最も関連のある探索結果である可能性を表示する）を決定し、探索結果とともに信頼度値をコンピューティングデバイス１０４に提供してよい。コンピューティングデバイス１０４は、多数の探索結果（例えば、予め決定された値よりも高い信頼度値を有するすべての探索結果）のうちの１つ以上、最も高い信頼度値を有する探索結果、ｋ個の最も高い信頼度値を有する探索結果（ここで、ｋは１よりも大きい定数）などをディスプレイしてよい。
【0043】
コンピューティングデバイス１０４は、探索システム１０２から受信した探索結果（複数可）をディスプレイするＧＵＩを含むアプリケーションを実行（実施）してよい。また、それぞれの信頼度値（複数可）がディスプレイされてもよい。例えば、探索クエリを探索システム１０２に送信するために使用されるアプリケーションも、受信された探索結果（複数可）を、コンピューティングデバイス１０４を通じてユーザに提示（例えば、ディスプレイまたは発言）してよい。上述したように、受信した探索結果（複数可）をユーザに提示するアプリケーションは、実施形態によっては、探索システム１０２とのインタフェーシングに適用されてよい。他の例において、アプリケーションは、ウェブブラウザアプリケーションのようなより一般的なアプリケーションであってよい。
【0044】
コンピューティングデバイス１０４上で実行されるアプリケーションのＧＵＩは、どのような情報がコンピューティングデバイス１０４に送信されるかによって、探索結果（複数可）を多様に異なる方式でユーザにディスプレイまたは出力してよい。探索結果が探索結果および関連する信頼度値のリストを含む例において、探索システム１０２は、探索結果およびそれぞれの信頼度値のリストをコンピューティングデバイス１０４に送信してよい。このような例において、ＧＵＩは、探索結果（複数可）および信頼度値（複数可）を可能な探索結果のリストとしてユーザにディスプレイまたは出力してよい。また、ＧＵＩは、探索結果に対する要約をユーザに出力してよい。
【0045】
一部の例において、探索システム１０２または他のコンピューティングシステムは、探索結果、探索クエリ、または探索結果と関連する関心ポイントなどと関連するアプリケーションおよび／または他の情報のような、ただしこれに制限されない追加情報をコンピューティングデバイス１０４に送信してよい。一部の例において、このような追加情報はデータ格納所に格納され、探索システム１０２によってコンピューティングデバイス１０４に送信されてよい。コンピューティングデバイス１０４が追加情報を受信する例において、ＧＵＩは、探索結果（複数可）とともに追加情報をディスプレイしてよい。一部の例において、ＧＵＩは、降べきの順の信頼度値に基づいて、スクリーンの最上部からスクリーンの最下部に整列されたリストで探索結果をディスプレイしてよい。一部の例において、探索結果は、ユーザが探索クエリを入力した探索フィールドの下にディスプレイされてよい。
【0046】
一部の例において、コンピューティングデバイス１０４は、パートナーコンピューティングシステムを介して探索システム１０２と通信してよい。パートナーコンピューティングシステムは、探索システム１０２の探索機能をレバレッジすることのできる第三者のコンピューティングシステムを含んでよい。パートナーコンピューティングシステムは、探索システム１０２を動作させる会社または組織以外の会社または組織に属してよい。探索システム１０２の機能を活用することのできる例示的な第三者としてはインターネット探索提供者および無線通信サービス提供者を含むが、これに制限されてはならない。コンピューティングデバイス１０４は、パートナーコンピューティングシステムを介して探索システム１０２に探索クエリを送信してよい。また、コンピューティングデバイス１０４は、パートナーコンピューティングシステムを介して探索システム１０２から探索結果を受信してよい。一部の例において、パートナーコンピューティングシステムは、コンピューティングデバイス１０４にユーザインタフェースを提供し、および／またはコンピューティングデバイス１０４上に提供されるユーザ経験を修正してよい。
【0047】
探索システム１０２がクエリに対する探索結果を決定する探索結果に関するデータは、１つ以上のデータソース１２０に格納されてよい。データソース１２０は、多様なデータ提供者を含んでよい。データソース１２０は、オンラインニュースソース、ウェブサイト、ソーシャルネットワーキングサイト（例えば、Ｆａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒなど）、データベース、および／または他の類型のデータソースのような、ただしこれに制限されないデジタル分配プラットフォームを含んでよい。
【0048】
データソース１２０は、例えば、複数のイメージおよび関連するキャプションをそれぞれ含んでよい。すなわち、それぞれのイメージは、関連するキャプションを含む。イメージおよびキャプションは、データソース１２０のうちの１つ以上のメモリに格納される。イメージおよびキャプションを含むデータソース１２０の例が提供されるが、データソース１２０は、他のデータおよび／または他の類型のデータを含んでよい。
【0049】
コンピューティングデバイス１０４、探索システム１０２、およびデータソース１２０は、ネットワーク１０６を介して互いに通信してよい。ネットワーク１０６は、広域ネットワーク（ＷＡＮ）および／またはインターネットのような多様な類型のネットワークを含んでよい。ネットワーク１０６は長距離ネットワーク（例えば、インターネットまたはＷＡＮ）を表現するものであってよいが、一実施形態において、ネットワーク１０６は、ローカル領域ネットワーク（ＬＡＮ）のような狭い範囲のネットワークを含んでもよい。一実施形態において、ネットワーク１０６は、標準通信技術および／またはプロトコルを使用する。したがって、ネットワーク１０６は、イーサーネット、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（例えば、８０２．１１）、ＷｉＭＡＸ（ｗｏｒｌｄｗｉｄｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、デジタル加入者線（ＤＳＬ）、非同期転送モード（ＡＴＭ）、ＩｎｆｉｎｉＢａｎｄ、ＰＣＩエクスプレスアドバンスドスイッチング（Ｅｘｐｒｅｓｓ Ａｄｖａｎｃｅｄ Ｓｗｉｔｃｈｉｎｇ）などのような技術を使用するリンクを含んでよい。同じように、ネットワーク１０６上で使用されるネットワーキングプロトコルは、ＭＰＬＳ（ｍｕｌｔｉｐｒｏｔｏｃｏｌ ｌａｂｅｌ ｓｗｉｔｃｈｉｎｇ）、ＴＣＰ／ＩＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ）、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）、ＨＴＴＰ（ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ）、ＳＭＴＰ（ｓｉｍｐｌｅ ｍａｉｌ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）、ＦＴＰ（ｆｉｌｅ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）などを含んでよい。ネットワーク１０６を介して交換されるデータは、ＨＴＭＬ（ｈｙｐｅｒｔｅｘｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）、ＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）などを含む技術および／またはフォーマットを使用して表現されてよい。また、リンクのすべてまたは一部は、ＳＳＬ（ｓｅｃｕｒｅ ｓｏｃｋｅｔｓ ｌａｙｅｒ）、ＴＬＳ（ｔｒａｎｓｐｏｒｔ ｌａｙｅｒ ｓｅｃｕｒｉｔｙ）、ＶＰＮ（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、ＩＰｓｅｃ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ｓｅｃｕｒｉｔｙ）などのような従来の暗号化技術によって暗号化されてよい。他の例において、ネットワーク１０６は、上述したものの代りに、またはこれに追加して、カスタムおよび／または専用データ通信技術を使用してよい。
【0050】
本出願は、（例えば、少なくとも１０２４個のトークンを有する）長い文書の要約を生成する要約モジュールに関する。要約モジュールは、文書レベル表現をコンピューティングするために使用されるローカルテキストブロックをエンコードするために変換器モジュールを使用する階層構造を含む。また、循環的階層的モジュールは、階層的構造／モジュールの最上部だけでなく、相異する変換器モジュールの間に含まれる。要約モジュールが階層の間で文書レベル情報を構成して伝播するため、文書のグローバルおよびローカル情報は、アーキテクチャの多数の（例えば、すべての）レベルで融合される。
【0051】
図２は、探索システム１０２の探索モジュール２００の一例を示したブロック図である。第１トランシーバモジュール２０４は、コンピューティングデバイス１０４から探索クエリを受信する。
【0052】
エンコーダモジュール２０８は、埋め込み機能を使用して、探索クエリをエンコード／埋め込む。また、エンコーダモジュール２０８は、埋め込み機能を使用して、データソース１２０からの候補探索結果をエンコード／埋め込む。エンコーダモジュール２０８は、埋め込み／エンコードを実行するニューラルネットワーク、例えば、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）または他の適した類型のニューラルネットワークを含んでよい。一例として、ニューラルネットワークは、ＲｅｓＮｅｔ－１８ニューラルネットワークまたは他の適した類型のニューラルネットワークであってよい。
【0053】
結果モジュール２１２は、探索クエリと最も近接にマッチングするデータソース１２０からの最上位ｋ個の探索結果を決定するが、ここで、ｋは０よりも大きい定数である。探索結果は、例えば、製品、関心ポイント、レストラン、ビジネスなどであってよい。多様な実施形態において、データソース１２０は、探索モジュール２００内または探索モジュール２００と同じデバイス内に格納されてよい。
【0054】
第２トランシーバモジュール２１６は、探索クエリに対する決定された探索結果を、ネットワーク１０６を介してコンピューティングデバイス１０４に再送する。多様な実施形態において、第２トランシーバモジュール２１６は省略されてよく、第１トランシーバモジュール２０４は、探索クエリを送信したコンピューティングデバイス１０４に探索結果を再送してよい。
【0055】
（例えば、探索システム１０２の）要約モジュール２２０は、探索結果と関連する長い文書の要約をそれぞれ生成する。例えば、要約モジュール２２０は、それぞれ格納されて探索結果と関連するテキストレビューの要約を生成してよい。１つの探索結果に対して多数の（例えば、多くの）テキストレビューが存在する例において、多数のテキストレビューは、１つの長いレビューとして組み合わされ、要約モジュール２２０によって要約されてよい。また、探索結果に関する要約は、探索結果とともに、クエリを送信したコンピューティングデバイス１０４に送信されてよい。要約は、例えば、ディスプレイ上にディスプレイされ、および／または１つ以上のスピーカから出力されるコンピューティングデバイス１０４を介してユーザに出力されてよい。
【0056】
要約モジュール２２０は、図に示すように、探索モジュール２００とは別に実現されてもよく、探索モジュール２００内に実現されてもよい。探索モジュール２００は、クエリの受信に応答して、ｋ個の探索結果に対する要約を決定するかまたは可能な探索結果に対する要約を連続的に決定し、文書（例えば、レビュー）が追加／格納されるときに要約をアップデートしてよい。
【0057】
多様な実現形態において、要約モジュール２２０は、入力された長い文書の要約を提供するために使用されてよい。例えば、コンピューティングデバイスは、要約のために、ネットワークを介して要約モジュール２２０に長い文書（例えば、テキストまたは文書ファイル）を送信してよい。要約モジュール２２０は、長い文書の要約を決定し、長い文書を送信したコンピューティングデバイスに文書の要約を送信してよい。多様な実現形態において、スピーチが入力されてよく、長い文書は、スピーチからスピーチテキスト変換によって取得されてよい。
【0058】
【0059】
例えば、制御は、探索モジュール２００がコンピューティングデバイス１０４から探索クエリを受信する段階３０４から始まる。探索クエリは、例えば、テキスト、イメージ、またはサウンドであってよい。
【0060】
段階３０８で、探索モジュール２００は、埋め込み機能３１４を利用して探索クエリをエンコードする。段階３１２で、探索モジュール２００は、探索クエリに最も近接にマッチングするｋ個の探索結果を決定する。
【0061】
段階３１４で、要約モジュール３００は、ｋ個の探索結果に対する要約をそれぞれ決定する。段階３１６で、探索モジュール３００は、探索クエリを送信したコンピューティングデバイス１０４に、探索結果および要約をそれぞれ送信する。探索結果は、例えば、ｋ個のイメージ、ｋ個のリンク（例えば、ハイパーリンク）、要約、および／または他の適切な情報を含んでよい。
【0062】
図４および図５は、要約モジュール２２０の一例を示したブロック図である。１つの長い文書４０４の一例が図４に示さているが、本出願は他の長い文書にも適用が可能である。長い文書は、少なくとも１０２４個のトークンを含んでよい。トークンは、長い文書４０４をより小さなユニット（すなわち、トークン）の語彙に分割する字句解析（ｔｏｋｅｎｉｚｅｒ）を利用して長い文書４０４から識別されてよい。このようなユニットは、単語または単語の短い部分であってよく、これから他の単語が構成されてよい。
【0063】
ブロックモジュール４０８は、長い文書４０４をＫ個のブロックに分割するが、ここで、Ｋは２よりも大きい定数である。ブロックはそれぞれ、長い文書４０４の文章、段落、または他のセクションであってよい。ブロックは、等しい大きさ（例えば、等しい数の文章、段落など）または相異する大きさであってよい。
【0064】
ＤをＫ個のブロックを含む文書とするが（Ｄ＝｛Ｂ１，Ｂ２，．．．，ＢＫ｝）、ここで、それぞれのブロックＢｋ＝，１＜＝ｋ＜＝Ｋはｎｋ個のトークンを含む。ブロックモジュール４０８は、予め決定されたトークン、言い換えれば、分類（ＣＬＳ）トークンをそれぞれのブロックの前面に追加してＳＥＰトークンをそれぞれのブロックの終端に追加し、
【0065】
【数1】
【0066】
Ｋ個の埋め込みモジュール４１２－１、４１２－２、４１２－Ｋ（「埋め込みモジュール４１２」）はそれぞれ、Ｋ個のブロックそれぞれのトークンを埋め込む。埋め込みモジュール４１２は、それぞれのブロックのそれぞれのトークンをそのトークンの稠密な表現で投影する。それぞれの埋め込みトークン表現（例えば、ベクトルまたは行列）は、トークン埋め込み、セグメント埋め込み、および自身のブロックのトークンのポジションを表現するポジションエンコードを含んでよい。ブロックｋの埋め込みは、
【0067】
【数2】
【0068】
埋め込みトークン表現は、変換器アーキテクチャを有する変換器モジュール４１６－１、４１６－２、４１６－Ｋ（変換器モジュール４１６）に入力される。
【0069】
変換器モジュール４１６は、それぞれのブロックの埋め込みトークン表現にそれぞれ基づいて変換されたトークン表現（例えば、ベクトルまたは行列）を生成する。ブロックのＣＬＳトークン（変換されたＣＬＳ表現）の変換されたトークン表現は、ＢｉＧＲＵ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｇａｔｅ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）モジュール４２０、または他の適切な類型のＲＮＮ（ｒｅｃｕｒｒｅｎｔ ｂｉｄｉｒｅｃｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、例えば、ＢｉＬＳＴＭ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）モデルに入力される。互いに異なるブロックの互いに異なるトークンの変換されたＣＬＳ表現および変換されたトークン表現は、ＢｉＧＲＵモジュール４２０を迂回して出力される。
【0070】
ＢｉＧＲＵモジュール４２０は、変換されたＣＬＳ表現に集合的に基づいてＫ個のブロックに対するＫ個の伝播された表現（例えば、ベクトルまたは行列）をそれぞれ生成する。ＢｉＧＲＵモジュール４２０は、ブロックそれぞれからのローカル情報を他のブロックそれぞれに伝播し、伝播された表現を生成してブロックにわたってグローバル情報を拡散させる。例えば、ＢｉＧＲＵモジュール４２０は、第１ブロックの変換されたＣＬＳ表現および他のＫ個のブロックのうちの１つ以上の変換されたＣＬＳ表現に基づいて、第１ブロックに対する伝播された表現（Ｋ＝１）を生成してよい。
【0071】
Ｋ個のＦＦＮＮ（ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モジュール４２４－１、４２４－２、・・・、４２４－Ｋ（ＦＦＮＮモジュール４１２）は、伝播された表現にそれぞれ基づいてフィードフォワード表現（例えば、ベクトルまたは行列）を生成する。
【0072】
要約モジュール２２０は、Ｌ個の（階層的）伝播モジュール４２８を含むが、ここで、Ｌは１よりも大きいか等しい定数である。Ｌ個の伝播モジュール４２８は同一であってよく、それぞれ変換器モジュール４１６、ＢｉＧＲＵモジュール４２０、およびＦＦＮＮモジュール４２４を含む。伝播モジュール４２８のうちの最後の（Ｌ番目の）伝播モジュールの変換器モジュール４１６およびＦＦＮＮモジュール４２４によって出力された表現は、出力モジュール４３２に出力される。第１～Ｌ－１番目の伝播モジュール４２８の変換器モジュール４１６およびＦＦＮＮモジュール４２４によって出力された表現は、伝播モジュール４２８のうちの次の伝播モジュールに出力される。例えば、伝播モジュール４２８の第１伝播モジュールの変換器モジュール４１６およびＦＦＮＮモジュール４２４によって出力された表現は、伝播モジュール４２８のうちの第２伝播モジュールに出力される方式である。Ｌ個の伝播モジュール４２８はそれぞれ、ブロックまたは他のブロックのうちの１つ以上のＣＬＳ表現に基づいてそれぞれのブロックのＣＬＳ表現をアップデートする。Ｌ個の伝播モジュール４２８は、ブロックごとに異なる表現（例えば、トークン、ＳＥＰ）をそれぞれプロセッシングする。
【0073】
伝播モジュール
【0074】
【数3】
【0075】
【数4】
【0076】
【数5】
【0077】
【数6】
【0078】
【数7】
【0079】
【数8】
【0080】
【数9】
【0081】
【数10】
【0082】
【数11】
【0083】
【数12】
【0084】
【数13】
【0085】
それぞれのブロックｋはその［ＣＬＳ］ベクトルによって表現され、ベクトルは、ブロックのローカル表現の第１ポジションで
【0086】
【数14】
【0087】
【数15】
【0088】
この時点で、与えられた文書に対し、ローカルブロック表現
【0089】
【数16】
【0090】
【数17】
【0091】
【数18】
【0092】
【数19】
【0093】
【数20】
【0094】
【数21】
【0095】
出力モジュール４３２は、Ｌ個の伝播モジュール／階層４２８のうちの最後の伝播モジュール／階層（Ｌ番目の）の出力を受信する。出力モジュール４３２は、文章（または、ブロック）のうちのいずれかが要約に対する最も関連のある情報を含むか否かを決定する。例えば、出力モジュール４３２は、二陣分類を実行し、（ａ）要約と関連があるもの、または（ｂ）要約と関連がないものとしてそれぞれのブロックをラベリングしてよい。例えば、出力モジュール４３２は、ＦＦＮＮ（ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）または他の適切な類型の循環ニューラルネットワークを適用し、伝播モジュール／階層４２８のうちの最後の伝播モジュール／階層のブロックレベル表現の最上部上でＦＦＮＮの出力に対してソフトマックス機能を適用して
【0096】
【数22】
【0097】
【数23】
【0098】
要約モジュール４３６は、出力モジュール４３２によって識別された文章またはブロックを関連があるものとして受信し、文章またはブロックを連接させて長い文書４０４に対する要約を生成する。要約モジュール４３６は、長い文書４０４と関連付けてメモリに要約を格納し、ネットワークを介してコンピューティングデバイスに要約を送信し、および／または１つ以上の他のアクションをとってよい。図４および図５において、図４に示した出力モジュール４３２および要約モジュール４３６は、出力層４３８として図５にともに示した。
【0099】
好ましくは、図５に示すように、階層的接近法は、変換器アテンションメカニズムの潜在的範囲を制限しない。それぞれの伝播層４２８において、モデルは、長い文書のＫ個のブロックに対して独立的な変換器層４１６を適用し、独立的な変換器層４１６をＢｉＧＲＵ層４２０とインターリビングして変換器層４１６の間にコンテキストを提供するが、これは、ブロック内の依存性がそれぞれのローカルアテンション階層４１６によって独立的に決定された直後に、モデルがブロック同士の間の依存性（すなわち、全体としてＫ個のブロック）をキャプチャすることを可能にする。
【0100】
図６は、長い文書の要約を生成する一例を示したフローチャートである。制御は段階６０４から始まるが、ここで、要約モジュール２２０は、要約される（要約対象の）長い文書を受信する。
【0101】
段階６０８で、ブロックモジュール４０８は、長い文書をＫ個のテキストブロックのようなテキストブロックに分割する。ＣＬＳおよびＳＥＰトークンも追加される。段階６１２で、埋め込みモジュール４１２は、テキストブロックをそれぞれ埋め込む。段階６１６で、埋め込みモジュール４１２からの埋め込みは、第１伝播モジュール４２８に入力される。第１伝播モジュール４２８は、上述したような入力埋め込みに基づいて、上述したようにグローバルおよびブロック特定表現を決定する。
【0102】
段階６２０で、第２伝播モジュール４２８は、第１伝播モジュール４２８からグローバルおよびブロック特定表現を受信し、第１伝播モジュール４２８の出力に基づいて第２グローバルおよびブロック特定表現を決定する。段階６２４で、第３伝播モジュール４２８は、第２伝播モジュール４２８からグローバルおよびブロック特定表現を受信し、第２伝播モジュール４２８の出力に基づいて第３グローバルおよびブロック特定表現を決定する。段階６２８で、最後の（Ｌ番目）伝播モジュール４２８は、Ｌ－１番目の伝播モジュール４２８からグローバルおよびブロック特定表現を受信し、Ｌ－１番目の伝播モジュール４２８の出力に基づいてＬ番目のグローバルおよびブロック特定表現を決定する。
【0103】
段階６３２で、出力モジュール４３２は、上述したように長い文書の要約と最も関連のある長い文書の文章またはブロック（例えば、最上位ｍ個の文章またはブロック）を決定する。段階６３６で、要約モジュール４３６は、テキストの文章またはブロックを連結（例えば、連接）して長い文書の要約を形成する。要約モジュール２２０は、文書に対する要約を格納し、コンピューティングデバイスに要約を送信し、および／または１つ以上のアクションを実行してよい。図には制御が終了するものと示しているが、制御は段階６０４にリターンしてよい。また、少なくとも４つの伝播モジュール／階層の例を図６に示したが、本出願は、２つ以上の伝播モジュール／階層にも適用可能である。
【0104】
図７は、変換器モジュール４１６の一例を示したブロック図である。変換器モジュール４１６は、並列にコンピューティングされるｈ個の「ヘッド」を含むマルチヘッドアテンション層またはモジュールを含む。ヘッドそれぞれは、（１）キーＫ、（２）クエリＱ、および（３）値Ｖと呼ばれる３つの線形投影を実行する。個別の入力特徴セットの３つの変換は、入力それぞれのコンテキスト化された表現をコンピューティングするために使用される。スケーリングされたドットアテンションは、それぞれのヘッドに独立的に適用された。それぞれのヘッドは、入力の間の相異する類型の関係を学習し、これらを変換することを目標とする。次に、それぞれの階層の出力はヘッド｛１、ｈ｝として連接され、それぞれの入力のコンテキスト化された表現を取得するように線形的に投影され、それぞれのヘッドに独立的に累積するすべての情報をＭで併合（merge：マージ）する。
【0105】
変換器アーキテクチャのヘッドは、入力シーケンスの間の多数の関係の発見を許容する。
【0106】
変換器モジュール４１６は、Ｎ＝６個の同じ階層のステックを含んでよい。それぞれの階層は、２つのサブ層を有してよい。第１サブ層は、マルチヘッドアテンションメカニズム（モジュール）７０４（例えば、セルフアテンションおよび／またはクロスアテンション）であってよく、第２サブ層は、ポジションごとに完全に接続されたフィードフォワードネットワーク（モジュール）７０８であってよい。加算および正規化モジュール７１２によって、マルチヘッドアテンションモジュール７０４の出力に対して加算および正規化が実行されてよい。連接も、加算および正規化モジュール７１２によって実行されてよい。２つのサブ層それぞれの周りで残余接続が使用されてよく、その次に階層正規化が繋がってよい。
【0107】
図８は、マルチヘッドアテンションモジュール７０４の一例を示したブロック図であり、図９は、マルチヘッドアテンションモジュール７０４のスケーリングされたドット積アテンションモジュール８０４の一例を示したブロック図である。
【0108】
（マルチヘッドアテンションモジュール７０４によって実行される）アテンションと関連して、アテンション機能は、クエリおよびキー値のペアセットを出力にマッピングすることによって機能してよいが、ここで、クエリ、キー、値、および出力はすべてベクトルである。出力は値の加重された合計であり、コンピューティングされてよいが、ここで、それぞれの値に割り当てられた加重値は、対応するキーとのクエリの互換性機能によってコンピューティングされる。
【0109】
スケーリングされたドット積アテンションモジュールにおいて、入力は、次元ｄｋのクエリおよびキー、および次元ｄｖの値を含む。スケーリングされたドット積アテンションモジュール８０４は、すべてのキーを利用してクエリのドット積をコンピューティングし、それぞれを
【0110】
【数24】
【0111】
スケーリングされたドット積アテンションモジュール８０４は、Ｑに同時に配列されたクエリのセットに対するアテンション機能をコンピューティングしてよい。キーおよび値も、行列ＫおよびＶに維持されてよい。スケーリングされたドット積アテンションモジュール８０４は、次の方程式に基づくか又はこれを使用して出力の行列をコンピューティングしてよい：
【0112】
【数25】
【0113】
【数26】
【0114】
ｄ次元キー、値、およびクエリによって単一アテンション機能を実行する代りに、マルチヘッドアテンションモジュール７０４は、線形モジュール８０８を利用して、相異して学習された線形投影を有するクエリ、キー、および値をｄｋ、ｄｑ、およびｄｖ次元で線形的に投影してよい。投影されたバージョンのクエリ、キー、および値それぞれに対し、アテンション機能は並列に実行され、ｄｖ次元出力値を算出してよい。これらは連接されて再び投影され、図に示すように、連接モジュール８１２および線形モジュール８１６によって最終値を招来し（求め）てよい。マルチヘッドアテンションは、相異する位置からの情報に対する共同アテンションを許容してよい。
【0115】
図９に示すように、ＭａｔＭｕｌモジュール９０４は、ＭａｔＭｕｌ機能を使用してクエリＱおよびキーＫ値に基づいて出力を生成する。スケールモジュール９０８は、１つ以上の予め決定されたスカラー値によってＭａｔＭｕｌモジュール９０４の出力をスケーリングしてよい。マスクモジュール９１２は、出力を生成するためにスケールモジュール９０８の出力の１つ以上の部分をマスキングしてよい。多様な実現形態において、マスクモジュール９１２は省略されてもよい。
【0116】
ソフトマックスモジュール９１６は、マスクモジュール９１２の出力にソフトマックス機能を適用してよい。ＭａｔＭｕｌモジュール９２０は、ＭａｔＭｕｌ機能を使用して、ソフトマックスモジュール９１６の出力および値Ｖに基づいて連接モジュール８１２に対する出力を生成する。変換器アーキテクチャに関する追加の情報は、米国特許第１０，４５２，９７８号から探索することができ、その全体は本明細書に統合される。
【0117】
多様な実現形態において、Ｌ（伝播モジュール／階層の数）は１２であってよい。変換器モジュール４１６は、ｈ＝７６８の隠れ次元を有してよい。ＢｉＧＲＵモジュール４２０の隠れ次元は３８４であってよい。それぞれの伝播モジュール／階層の隠れ次元は同一であってよい。ＦＦＮＮモジュール４２４は、次元２×３８４のＢｉＧＲＵモジュール４２０の出力を７６８の次元にマッピングしてよい。出力モジュール４３２のＦＦＮＮは、次元７６８の文章表現を次元２の出力に投影する二陣分類器を含んでよい。
【0118】
要約モジュール２２０は、クロスエントロピー損失に基づいて、そしてＡｄａｍ最適化器を使用して、トレーニングモジュールによってトレーニングされてよい。
【0119】
本明細書で説明する要約モジュール２２０は、結果的な要約の情報性および流暢性を保ちながら、長い文書を要約するのに効果的である。さらに、要約モジュール２２０は、スライディングウィンドウオプションよりも適切に実行するが、その理由は、要約が単一（そして、好ましくはスライディング／移動）変換器ウィンドウ以上の情報の伝播を要求するためである。
【0120】
図１０、図１１、および図１２は、要約モジュール２２０および他の方式（その他）によって生成された要約とゴールド要約（Ｇｏｌｄ）を比較する相異したデータセットからの長い文書に基づいた要約の例を示した図である。より暗く示されたハイライトの要約部方は、より高いＲＯＵＧＥスコアを表示する。図に示すように、要約モジュール２２０によって生成された要約は、少なくとも、より優れていなくても、他の方式で生成された要約と同等に優れている。
【0121】
上述した説明は、本質的かつ例示的なものであり、本開示、その適用または使用を制限するように意図するものではない。本開示の広範囲な教示は、多様な形態で実現されてよい。したがって、本開示は特定の例を含むが、本開示の真正な範囲は、図面、明細書、および添付の特許請求の範囲を検討すれば他の修正が明らかになるはずであるため、そのように制限されてならない。方法内の１つ以上の段階は、本開示の原理を変更しながらも、異なる順序で（または、同時に）実行可能であるということが理解されなければならない。追加で、実施形態それぞれが特定の特徴を有すると上述したが、本開示の任意の実施形態と関連して説明されたそのような特徴のうちの任意の１つ以上は、その組み合わせが明らかに説明されていなくても、異なる実施形態のうちの任意の実施形態の特徴によって実現可能であるし、そして／またはこれらと組み合わされてよい。言い換えれば、説明した実施形態は相互排他的ではなく、互いに対する１つ以上の実施形態の置換は本開示の範囲内に維持される。
【0122】
要素同士の間（例えば、モジュール、回路要素、半導体層などの間）の空間的および機能的関係は、「接続する」、「関与する」、「結合する」、「隣接する」、「次に」、「最上部に」、「上に」、「下に」、および「配置する」を含む多様な用語を使用して説明される。「直接」であると明らかに説明されない限り、第１要素と第２要素の関係を上述した開示で説明するときに、その関係は第１要素と第２要素の間に他の介在要素が存在しない直接的な関係となるが、第１要素と第２要素の間に（空間的にまたは機能的に）１つ以上の介在要素が存在する間接的な関係であることもある。本明細書で使用されるように、Ａ、Ｂ、およびＣのうちの少なくとも１つという文句は、非排他的な論理ＯＲを使用する論理（Ａ ＯＲ Ｂ ＯＲ Ｃ）を意味するものと解釈されなければならず、「Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、およびＣのうちの少なくとも１つ」を意味するものと解釈されてはならない。
【0123】
図面において矢印が表示する方向は、一般的に、例示に関心がある情報（例えば、データまたは命令）の流れを示す。例えば、要素Ａと要素Ｂが多様な情報を交換し、要素Ａから要素Ｂに送信される情報が例示と関連する場合には、矢印は要素Ａから要素Ｂを示す。この単一方向の矢印は、要素Ｂから要素Ａに他の情報が送信されないことを意味するものではない。追加で、要素Ａから要素Ｂに送信される情報に対し、要素Ｂは要素Ａに関する情報に対する要請（要求）またはその情報の受信確認の応答を送信してもよい。
【0124】
以下の定義を含む本出願において、用語「モジュール」または「制御器」という用語は、「回路」という用語に置き換えられてよい。「モジュール」という用語は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル、アナログ、または混合したアナログ／デジタル離散回路、デジタル、アナログ、または混合したアナログ／デジタル集積回路、組合ロジック回路、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、コードを実行するプロセッサ回路（共有、専用、またはグループ）、プロセッサ回路によって実行されるコードを格納するメモリ回路（共有、専用、またはグループ）、説明した機能を提供する他の適切なハードウェアコンポーネント、または上述したものの一部またはすべての組み合わせ、例えば、システムオンチップを指称するか、その一部であるか、これを含む。
【0125】
モジュールは、１つ以上のインタフェース回路を含んでよい。一部の例において、インタフェース回路は、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネット、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、またはこれらの組み合わせに接続される有線または無線インタフェースを含んでよい。本開示の任意の与えられたモジュールの機能は、インタフェース回路を介して接続する多数のモジュールに分散されてよい。例えば、多数のモジュールは、ロードバランシングを許容してよい。追加の例において、サーバ（遠隔またはクラウド、または周知の）モジュールは、クライアントモジュールの代わりに一部の機能を達成してよい。
【0126】
上述で使用されたように、用語コードは、ソフトウェア、ファームウェア、および／またはマイクロコードを含んでよく、プログラム、ルーチン、機能、クラス、データ構造、および／またはオブジェクトを指称してよい。共有プロセッサ回路という用語は、多数のモジュールからの一部またはすべてのコードを実行する単一プロセッサ回路を含む。グループプロセッサ回路という用語は、追加的なプロセッサ回路と組み合わせて、１つ以上のモジュールからの一部またはすべてのコードを実行するプロセッサ回路を含む。多数のプロセッサ回路に対する参照は、離散（ディスクリート）ダイ上の多数のプロセッサ回路、単一ダイ上の多数のプロセッサ回路、単一プロセッサ回路の多数のコア、単一プロセッサ回路の多数のスレッド、またはこれらの組み合わせを含む。共有メモリ回路という用語は、多数のモジュールからの一部またはすべてのコードを格納する単一メモリ回路を含む。グループメモリ回路という用語は、追加のメモリと組み合わせ、１つ以上のモジュールからの一部またはすべてのコードを格納するメモリ回路を含む。
【0127】
メモリ回路という用語は、コンピュータ読み取り可能な媒体という用語のサブセットである。本明細書で使用されるコンピュータ読み取り可能な媒体という用語は、媒体を介して（例えば、キャリア波上で）伝播される一時的な電気または電磁気信号を含まず、したがって、コンピュータ読み取り可能な媒体という用語は、類型的および非一時的なものとして見なされてよい。非一時的な類型的コンピュータ読み取り可能な媒体の非制限的な例は、不揮発性メモリ回路（例えば、フラッシュメモリ回路、消去可能プログラミング可能な読み取り専用メモリ回路、またはマスク読み取り専用メモリ回路）、揮発性メモリ回路（例えば、静的ランダムアクセスメモリ回路または動的ランダムアクセスメモリ回路）、磁気格納媒体（例えば、アナログ、またはデジタル磁気テープ、またはハードディスクドライブ）、および光学記録媒体（例えば、ＣＤ、ＤＶＤ、またはブルーレイディスク）である。
【0128】
本出願で説明した装置および方法は、コンピュータプログラムに実現された１つ以上の特定の機能を実行するように汎用コンピュータを構成することによって生成された特殊目的コンピュータにより、部分的または完全に実現されてよい。上述した機能ブロック、フローチャートコンポーネント、および他の要素は、ソフトウェア規格として機能するが、これは、熟練した技術者またはプログラマーの日常的な作業によってコンピュータプログラムに変換されてよい。
【0129】
コンピュータプログラムは、少なくとも１つの非一時的な類型的コンピュータ読み取り可能な媒体上に格納されるプロセッサ実行可能命令を含む。コンピュータプログラムも、格納されたデータを含むか、これに依存してよい。コンピュータプログラムは、特殊目的コンピュータのハードウェアと相互作用するＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）、特殊目的コンピュータの特定のデバイスと相互作用するデバイスドライバ、１つ以上のオペレーティングシステム、ユーザアプリケーション、背景サービス、背景アプリケーションなどを含んでよい。
【0130】
コンピュータプログラムは、（ｉ）パーシング（parsed：構文解析）される説明テキスト、例えば、ＨＴＭＬ（ｈｙｐｅｒｔｅｘｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）、ＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）、またはＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）、（ｉｉ）アセンブリコード、（ｉｉｉ）コンピュータによってソースコードから生成されたオブジェクトコード、（ｉｖ）インタプリタによる実行のためのソースコード、（ｖ）実行時コンパイラ（ｊｕｓｔ－ｉｎ－ｔｉｍｅ ｃｏｍｐｉｌｅｒ）によるコンパイルおよび実行のためのソースコードなどを含んでよい。一例として、ソースコードは、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｓｗｉｆｔ、Ｈａｓｋｅｌｌ、Ｇｏ、ＳＱＬ、Ｒ、Ｌｉｓｐ、Ｊａｖａ（登録商標）、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、Ｐａｓｃａｌ、Ｃｕｒｌ、ＯＣａｍｌ、Ｊａｖａｓｃｒｉｐｔ（登録商標）、ＨＴＭＬ５（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ５ｔｈ ｒｅｖｉｓｉｏｎ）、Ａｄａ、ＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ）、ＰＨＰ（Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ）、Ｓｃａｌａ、Ｅｉｆｆｅｌ、Ｓｍａｌｌｔａｌｋ、Ｅｒｌａｎｇ、Ｒｕｂｙ、Ｆｌａｓｈ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｌｕａ、ＭＡＴＬＡＢ、ＳＩＭＵＬＩＮＫ、Ｐｙｔｈｏｎ（登録商標）を含む言語からのシンタックスを使用して記録されてよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
