特許 6790214 テキスト要約システム、方法及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6790214

(24)【登録日】2020年11月6日

(45)【発行日】2020年11月25日

(54)【発明の名称】テキスト要約システム、方法及び記憶媒体

(51)【国際特許分類】

   G06F 40/44 20200101AFI20201116BHJP

   G06F 40/56 20200101ALI20201116BHJP

   G06F 16/30 20190101ALI20201116BHJP

   G06N 3/04 20060101ALI20201116BHJP

【ＦＩ】

   G06F40/44

   G06F40/56

   G06F16/30

   G06N3/04

【請求項の数】20

【外国語出願】

【全頁数】27

(21)【出願番号】特願2019-197215(P2019-197215)

(22)【出願日】2019年10月30日

(62)【分割の表示】特願2018-76692(P2018-76692)の分割

【原出願日】2018年4月12日

(65)【公開番号】特開2020-38687(P2020-38687A)

(43)【公開日】2020年3月12日

【審査請求日】2019年11月25日

(31)【優先権主張番号】62/485,876

(32)【優先日】2017年4月14日

(33)【優先権主張国】US

(31)【優先権主張番号】15/815,686

(32)【優先日】2017年11月16日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】506332063

【氏名又は名称】セールスフォース ドット コム インコーポレイティッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ロメイン パウルス

【審査官】 松尾 真人

(56)【参考文献】

【文献】 鈴木 潤，単語出現頻度予測機能付きＲＮＮエンコーダデコーダモデル，言語処理学会第２３回年次大会 発表論文集 ［ｏｎｌｉｎｅ］，言語処理学会，２０１７年 ３月 ６日，ｐｐ．３３４〜３３７，［２０１７年７月７日検索］Internet<URL:http://www.anlp.jp/proceedings/annual_meeting/2017/pdf_dir/B3-2.pdf>

【文献】 菊池 悠太，Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒモデルにおける出力長制御，情報処理学会 研究報告 自然言語処理（ＮＬ） ２０１６−ＮＬ−２２７ ［ｏｎｌｉｎｅ］，情報処理学会，２０１６年 ７月２２日，［２０１６年８月１日検索］Internet<URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=169984&file_id=1&file_no=1>

【文献】 瀧川 雅也，線形化された構文情報を用いた生成型ニューラル文要約，言語処理学会第２３回年次大会 発表論文集 ［ｏｎｌｉｎｅ］，言語処理学会，２０１７年 ３月 ６日，ｐｐ．１０５８〜１０６１，［２０１７年７月７日検索］Internet<URL:http://www.anlp.jp/proceedings/annual_meeting/2017/pdf_dir/P19-6.pdf>

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ４０／２０−４０／５８

１６／００−１６／９５８

Ｇ０６Ｎ ３／００−３／１２

２０／００

(57)【特許請求の範囲】

【請求項1】

テキスト要約システムであって：
要約すべき文書の入力トークンをエンコードするエンコーダ；及び
エンコードされた入力トークンに基づいて前記文書を要約するサマリー・トークンを出力するデコーダ；
を備え、各々の反復において前記デコーダは：
前記デコーダの現在の隠れ状態と前記デコーダの以前の隠れ状態との間のアテンション・スコアを生成し；
前記アテンション・スコア及び前記デコーダの前記以前の隠れ状態から現在のデコーダ・コンテキストを生成し；及び
前記現在のデコーダ・コンテキスト及び前記エンコーダの現在のエンコーダ・コンテキストに基づいて次のサマリー・トークンを選択し；
前記アテンション・スコアは、以前の反復で高いアテンション・スコアを有していた候補サマリー・トークンにペナルティを科す、テキスト要約システム。

【請求項2】

前記アテンション・スコアは、前記デコーダの前記以前の隠れ状態の各々に対するアテンション・スコアを含む、請求項１に記載のテキスト要約システム。

【請求項3】

各々の反復において、前記デコーダは前記アテンション・スコアを更に正規化する、請求項１に記載のテキスト要約システム。

【請求項4】

前記デコーダはソフトマックス・レイヤを利用して前記アテンション・スコアを正規化する、請求項３に記載のテキスト要約システム。

【請求項5】

前記現在のデコーダ・コンテキストは、前記デコーダの前記以前の隠れ状態及び前記アテンション・スコアの凸結合である、請求項１に記載のテキスト要約システム。

【請求項6】

前記次のサマリー・トークンの選択は、前記文書のサマリーの中で反復的なサマリー語句の出力を防ぐ、請求項１に記載のテキスト要約システム。

【請求項7】

前記次のサマリー・トークンは前記デコーダの前記現在の隠れ状態に更に基づいている、請求項１に記載のテキスト要約システム。

【請求項8】

テキストを要約するためにコンピュータ・システムが実行する方法であって：
前記コンピュータ・システムにより、要約されるべき文書を受信するステップ；
前記コンピュータ・システムのエンコーダを利用して、前記文書の入力トークンをエンコードするステップ；
前記コンピュータ・システムのデコーダを利用して、前記デコーダの現在の隠れ状態と前記デコーダの以前の隠れ状態との間のアテンション・スコアを生成するステップ；
前記デコーダを利用して、前記アテンション・スコア及び前記デコーダの前記以前の隠れ状態から現在のデコーダ・コンテキストを生成するステップ；及び
前記デコーダを利用して、前記現在のデコーダ・コンテキスト及び前記エンコーダの現在のエンコーダ・コンテキストに基づいて次のサマリー・トークンを選択するステップ；
を含み、各々の反復からの前記次のサマリー・トークンは前記文書を要約し；及び
前記アテンション・スコアは、以前の反復で高いアテンション・スコアを有していた候補サマリー・トークンにペナルティを科す、方法。

【請求項9】

前記アテンション・スコアは、前記デコーダの前記以前の隠れ状態の各々に対するアテンション・スコアを含む、請求項８に記載の方法。

【請求項10】

各々の反復において、前記アテンション・スコアを正規化するステップを更に含む請求項８に記載の方法。

【請求項11】

前記アテンション・スコアを正規化するステップは、ソフトマックス・レイヤを利用することを含む、請求項１０に記載の方法。

【請求項12】

前記現在のデコーダ・コンテキストを生成するステップは、前記デコーダの前記以前の隠れ状態及び前記アテンション・スコアの凸結合を生成することを含む、請求項８に記載の方法。

【請求項13】

前記次のサマリー・トークンを選択するステップは、前記文書のサマリーの中で反復的なサマリー語句の出力を防ぐことを含む、請求項８に記載の方法。

【請求項14】

前記次のサマリー・トークンを選択するステップは、前記デコーダの前記現在の隠れ状態に更に基づいている、請求項８に記載の方法。

【請求項15】

プロセッサに方法を実行させるコンピュータ・プログラム命令を含む非一時的なコンピュータ読み取り可能な記憶媒体であって、前記方法は：
要約されるべき文書を受信するステップ；
エンコーダを利用して、前記文書の入力トークンをエンコードするステップ；
デコーダを利用して、前記デコーダの現在の隠れ状態と前記デコーダの以前の隠れ状態との間のアテンション・スコアを生成するステップ；
前記デコーダを利用して、前記アテンション・スコア及び前記デコーダの前記以前の隠れ状態から現在のデコーダ・コンテキストを生成するステップ；及び
前記デコーダを利用して、前記現在のデコーダ・コンテキスト及び前記エンコーダの現在のエンコーダ・コンテキストに基づいて次のサマリー・トークンを選択するステップ；
を含み、各々の反復からの前記次のサマリー・トークンは前記文書を要約し；及び
前記アテンション・スコアは、以前の反復で高いアテンション・スコアを有していた候補サマリー・トークンにペナルティを科す、非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項16】

前記アテンション・スコアは、前記デコーダの前記以前の隠れ状態の各々に対するアテンション・スコアを含む、請求項１５に記載の非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項17】

各々の反復において、前記アテンション・スコアを正規化するステップを更に含む請求項１５に記載の非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項18】

前記現在のデコーダ・コンテキストを生成するステップは、前記デコーダの前記以前の隠れ状態及び前記アテンション・スコアの凸結合を生成することを含む、請求項１５に記載の非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項19】

前記次のサマリー・トークンを選択するステップは、前記文書のサマリーの中で反復的なサマリー語句の出力を防ぐことを含む、請求項１５に記載の非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項20】

前記次のサマリー・トークンを選択するステップは、前記デコーダの前記現在の隠れ状態に更に基づいている、請求項１５に記載の非一時的なコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【背景技術】

【0001】

＜関連出願＞
本願は2017年4月14日付で出願された「A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION」と題する米国仮特許出願62/485,876号に基づく優先権を主張している。関連する出願は全体的にリファレンスに組み込まれる。

【0002】

＜技術分野＞
開示される技術は一般にディープ・ニューラル・ネットワークを利用する自然言語処理(natural language processing：NLP)に関連し、特に、リカレント・ニューラル・ネットワーク(recurrent neural network：RNN)に基づくエンコーダ・デコーダ・モデルに関連し、そのモデルは、ニューラル・ネットワーク・シーケンスのモデリングでテキストの抽象的要約のためのサマリー・トークンの予測を改善する。

【0003】

＜背景技術＞
背景技術の欄で議論される事項は、単に背景技術の欄で言及されたことによって、従来技術であると考えられるべきではない。同様に、背景技術の欄で言及される問題、又は背景技術の欄の記載に関連する問題は、従来技術で過去に既に認識されていたと考えられるべきでない。背景技術の欄の記載は、様々なアプローチを単に表現しているに過ぎず、それ自体は付記に係る発明の実施に関連していても良い。

【0004】

ここ数十年、新たな情報を得る問題の中で根本的な変化を目の当たりにしている。ボトルネックはもはや情報にアクセスすることではなく；それをし続ける我々の能力である。仕事、ニュース及びソーシャル・メディアで最新状態を維持するために、我々は皆ますます多くを読み込む必要がある。AIは、この情報の氾濫に対して支援することで人々の作業を改善することが可能である。1つの答は、長いテキストを自動的に要約する抽象的要約のためにディープ強化モデル(a deep reinforced model for abstractive summarization)を利用することである。

【0005】

自動テキスト要約(Automatic text summarization)は、今日業界で益々使用されている自然言語処理の一分野である。要約プロセスのゴールは、1つの文書又は複数の文書のサマリーを作成することであり、そのサマリーは、意味及び最も重要な側面を維持する一方、その長さを、ユーザーが決定しても良いサイズまで実質的に減らすものである。長くても理路整然として有意義なサマリーを作成することができるモデルをトレーニングすることは、オープン・リサーチの問題(an open research problem)を残す。何らかの種類の長いテキストを生成することは、最も進んだディープ・ラーニング・モデルでさえ困難である。

【0006】

テキストの要約は、重要なポイントを維持しつつ、入力文書から自然言語サマリーを自動的に生成するプロセスである。大量の情報を短い有用なサマリーに凝縮することで、要約(又はサマライゼーション)は、ニュース・ダイジェストの作成、サーチ、及びレポート生成のような多くの下流のアプリケーションを支援することが可能である。

【0007】

自動要約モデルは、エキストラクション(抽出)又はアブストラクション(抽象化)という2つの方法のうちの何れかで動作することが可能である。抽出モデルは、如何なる変更も無しに入力の一部分をコピーし、入力文書のうちの関連する語句を選択し、サマリーを形成するためにそれらを連結することにより、サマリーを形成する。これらは、入力から直接的に取得される存在する自然言語フレーズを利用するので、非常に堅牢(ロバスト的)であるが、新たな言葉や接続詞を利用できないので、柔軟性に欠ける。また、これらは、人々がしばしば行うようには、言い換えることができない。これに対して、抽象モデルは、実際の「抽象化された」内容に基づいてサマリーを生成する。抽象化に基づくサマリーは、オリジナルの入力には存在しない言葉を利用して、新たな語句を生成し、おそらくは言い換えることで、ソース文書の結合又は言い換えセクション(fuse or paraphrase sections)を有することが可能である。これは、流暢で理路整然としたサマリーを生成する多くの可能性を与えるが、非常に大きな問題もあり、なぜなら、そのモデルは理路整然とした語句及び接続詞を生成できなければならないからである。

【0008】

たとえ抽象モデルが、理論上、非常に強力であったとしても、実際には、それらはミス(mistakes)を犯すことが一般的である。典型的なミスは、生成されたサマリーの中で理路整然としていない、関連性のない或いは反復的な語句を含むことであり、これは特に長いテキスト出力を作成しようとする場合に起こる。歴史的に見て、これらは、全体的な一貫性、流れ及び読みやすさのセンスに欠けている。

【0009】

ROUGEは、評価の要旨を把握するためのリコール指向アンダースタディ(recall-oriented understudy for gisting evaluation)の略であり、自然言語処理の自動的な要約を評価するために使用可能なソフトウェア・パッケージ及びメトリックのセットの名称である。ROUGEは、生成されたサマリー中のサブ・フレーズをグランド・トゥルース・リファレンス・サマリー中のサブ・フレーズと、たとえそれらが完全に整合しない場合でさえ比較・照合することにより動作する。即ち、メトリックは、自動的に生成されたサマリーを、人間が作成したサマリーのセットと比較することである。

【0010】

機械翻訳用の注意力エンコーダ・デコーダ・モデル(the attentional encoder-decoder model)に基づく最近のニューラル・ネットワーク・モデル(Nallapati et al., 2016; Zeng et al., 2016)は、高いROUGEスコアを有する抽象的サマリーを生成することが可能である。しかしながら、これらのシステムは、典型的には、例えば75文字の制限を有するかなり短いサマリーを生成するために、1つ又は2つのセンテンスのうちの短い入力センテンスを要約することに焦点を当てている。

【0011】

Nallapati et al.(2016)は、彼らの抽象要約モデルを「CNN/Daily Mail」データセット(Hermann et al., 2015)に適用し、そのデータセットは、800トークンに及ぶほどの入力シーケンスと、100トークンに及ぶほどのマルチ・シーケンス・サマリーを含む。Nallapati et al.(2016)による分析は、注意力エンコーダ・デコーダ・モデルに関する主要な問題を示しており：それらは反復的な語句から成る不自然なサマリーをしばしば生成してしまう。

【0012】

開示される堅牢で理路整然とした抽象テキスト要約モデルは、全体的な一貫性、流れ及び読みやすさという上記の問題に加えて、反復的な語句による不自然なサマリーの問題にも対処する。開示される技術の他の側面及び利点は、以下に説明される特許請求の範囲、明細書及び図面を検討することで理解することが可能である。

【発明の概要】

【0013】

抽象テキスト要約に関するアテンション・リカレント・ニューラル・ネットワーク(RNN)に基づくエンコーダ・デコーダ・モデルは、短い入力及び出力シーケンスに関して優れたパフォーマンスを達成している。しかしながら、より長い文書及びサマリーの場合、これらのモデルは反復的な理路整然としていない語句をしばしば含む。

【0014】

開示される技術は、イントラ・有ってネーションを有するニューラル・ネットワーク・モデル及び新たなトレーニング方法を含む。この方法は、標準的な管理されるワード予測(standard supervised word prediction)と強化学習(reinforcement learning：RL)とを結合する。標準的な管理されるワード予測のみによりトレーニングされるモデルはしばしば「エクスポージャー・バイアス(exposure bias)」を示す − それらはトレーニング中は各ステップでグランド・トゥルースが提供されることを仮定している。しかしながら、標準的なワード予測がRLのグローバル・シーケンス予測トレーニングと結合される場合、その結果のサマリーは、より読みやすいものとなる。

【0015】

抽象テキスト要約についての開示されるニューラル・ネットワークで実現される方法は、各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込み(input token embeddings of a document)を処理するステップ；連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークン(a special start-of-summary token)によりリカレント・アテンティブ・デコーダを初期化するステップ；各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップを含む。本方法は、エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態をエンコーダ隠れ状態の各々に適用するステップ；特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化(exponentially normalizing)することにより、エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；現在のエンコーダ・テンポラル・スコアを単位正規化(unity normalizing)することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされるエンコーダ隠れ状態の凸結合(a convex combination)として、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び 対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる以前のデコーダ隠れ状態の凸結合として、現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルを処理してサマリー・トークンを出力するステップも含む。

【0016】

開示される技術は抽象要約システムに関連し、そのシステムではイントラ・デコーダ・アテンション・メカニズムが、以前に予測された出力トークンを識別し、本システムが、既に予測した出力トークンを予測してしまうことを防ぐ。開示される抽象要約システムは、強化学習及び教師あり学習の組み合わせを利用してシステムをトレーニングすることにより改善され、サマリーの読みやすさを改善する。開示されるシステムは、長いシーケンスの生成の問題に適用可能である。

【0017】

開示される技術の特定の側面は、特許請求の範囲、明細書及び図面に記載されている。

【図面の簡単な説明】

【0018】

包含される図面は、説明を目的としたものであり、本開示の1つ以上の実施に関する可能性のある構造及び処理動作の具体例を提供することのみのために機能する。これらの図面は、如何なる方法によっても、形状及び詳細に関して何らかの変更を制限するものではなく、その変更は本開示の精神及び範囲から逸脱することなく当業者によって為されて良いものである。対称とする事項の更に完全な理解は、以下の図面に関連して考察する場合において明細書及び特許請求の範囲を参照することにより得られ、図中、同様な参照番号は同様な要素を指す。

【0019】

本願又は出願ファイルは着色された少なくとも1つの図面を含む。カラー図面を含む本願又は出願書類のコピーは、申請及び必要な手数料により当局により提供されるであろう。カラー図面は「PAIR」における「Supplemental Content」のタブにより利用可能であるかもしれない。

【0020】

【図1】自動テキスト要約のための抽象テキスト要約アーキテクチャの側面を示す図。

【0021】

【図2】要約される文書中の各ワードを高次元ベクトル空間にマッピングする埋め込み部を示す図。

【0022】

【図3】図2の埋め込み部の出力からの5つの入力例を利用する双方向LSTMを有するエンコーダ・ニューラル・ネットワークを示す図。

【0023】

【図4】埋め込みベクトルから隠れ状態を算出するシングル「LSTM RNNs」を有するデコーダ・ニューラル・ネットワークを示す図。

【0024】

【図5】特定のタイム・スタンプに関するエンコーダ・コンテキスト・ベクトルを算出する具体例を示す図。

【図6】特定のタイム・スタンプに関するエンコーダ・コンテキスト・ベクトルを算出する具体例を示す図。

【0025】

【図7】特定のタイム・スタンプでデコーダ・コンテキスト・ベクトルを算出する具体例を示す図。

【0026】

【図8】エンコーダ・コンテキスト・ベクトル、デコーダ・コンテキスト・ベクトル、及び現在の隠れ状態ベクトルを結合するサマリー・ワード・エミッタを示す図。

【0027】

【図9】所与のデコードするステップにおいて2つの注意関数の結合を利用するRNNベースの抽象テキスト・サマライズ・アーキテクチャにより処理される例示的な入力文書テキストを示す図。

【0028】

【図10】CNN/Dailyメール・データセットに関する定量的な結果を示す図(テキスト要約に関し、開示されるアーキテクチャに関する結果と、既存の抽象及び抽出アプローチとを比較している)。

【0029】

【図11】文書例、及び、開示されるアーキテクチャによりその文書例に基づいて生成されるマルチ・センテンス・サマリーを、人間が作成したグランド・トゥルース・サマリーとの比較において示す図。

【図12】文書例、及び、開示されるアーキテクチャによりその文書例に基づいて生成されるマルチ・センテンス・サマリーを、人間が作成したグランド・トゥルース・サマリーとの比較において示す図。

【0030】

【図13】自動抽象テキスト要約のためのコンピュータ・システム例のブロック図。

【発明を実施するための形態】

【0031】

以下の記述は、開示される技術を当業者が構成及び使用することを可能にするために提示され、特定のアプリケーション及びその条件の文脈で提供される。開示される手段に対する様々な変形は、当業者にとって明らかであり、本願で規定される一般的な原理は、開示される技術の精神及び範囲から逸脱することなく、他の手段及びアプリケーションに適用されて良い。即ち、開示される技術は、説明される手段に限定されるようには意図されておらず、本願で開示される原理及び特徴に合致する最も広い範囲で許容される。

【0032】

文書のサマリーを自動的に生成する際の主な困難は、反復的な語句を含み且つ全体的な一貫性、流れ及び読みやすさに欠ける不自然なサマリーを生成してしまうことである。ROUGEスコアは、概して、人間の判断に対して優れた相関性を有するが、最高のROUGEを有するサマリーが、必ずしも、最も読みやすい又は自然なものであるとは限らない。

【0033】

イントラ・アテンション(intra-attention)及び新たなトレーニング法を有する開示される抽象テキスト・サマライズ・アーキテクチャは、管理されたワード分類及び強化学習(reinforcement learning：RL)を組み合わせて、従来のモデルを利用して生成されるサマリーよりも首尾良く文書要約を作成する。

【0034】

不自然なサマリーを生成してしまう従来の問題に対処するために、開示される抽象テキスト要約アーキテクチャは、2つの主要なイントラ・アテンション・メカニズムを利用し、それらは：(i)各々の入力トークンについて以前のアテンション・ウェイトを記録するエンコーダにおけるイントラ・テンポラリ・アテンション、及び(ii)どのワードがデコーダにより既に生成されているかを考慮に入れるデコーダにおけるシーケンシャル・イントラ・アテンションである。開示されるアーキテクチャは、公開バイアスを減らすために、ポリシー勾配強化学習(policy gradient reinforcement learning)からの恩恵と、最尤クロス・エントロピー損失(the maximum-likelihood cross-entropy loss)とを混合する混合トレーニング目的関数も利用する。開示されるアーキテクチャは、以下に説明されるように、生成された出力の人的な評価により示されるように、他の技術と比較して更に読みやすいサマリーを生成する。

【0035】

開示される抽象テキスト要約アーキテクチャは、教師あり学習及び強化学習を同時にトレーニングし、ワード・レベル及びサマリー・全体レベルの双方の管理を利用して、サマリーを更に理路整然に読みやすくする。評価の偏りを減らすために、5人の評価者がそれぞれテスト例の文書サマリーを評価し、その場合、読みやすさだけではなく、サマリーの読みやすさ及びサマリーの関連性の双方を別々に評価する。これらの結果は、開示される混合目的トレーニング法(the disclosed mixed objective training method)が、他のトレーニング法と比較して、サマリーの品質及び関連性の双方を増進することを裏付ける。混合目的学習実験は、強化学習実験に使用されるのと同じ強化報酬を利用して実行され(センテンス分割を行うROUGE-L)、強化学習と混合目的学習との間の比較を更に関連付ける。

【0036】

開示される抽象テキスト要約アーキテクチャは、「CNN/Daily Mail」データセットに関する最高水準の結果を達成し、「New York Times」データセット(NYT)に対しても同様に優れた結果を達成している。開示される抽象テキスト要約アーキテクチャと、抽出ベースライン(リード・センテンス、ファースト・ワード)、抽出モデル(Durrett et al., 2016；Nallapati et al. 2017)及び他の抽象モデル(See et al., 2017)との比較では、開示されるアーキテクチャは、これらのベースライン及びモデルよりも優れたROUGEパフォーマンスを獲得し、更に読みやすい自動的に生成される文書サマリーを提案している。これについては図10に示されている。

【0037】

リカレント・ニューラル・ネットワーク(RNNs)は、ロング・ターム依存性を維持するそれらの能力に起因して、抽象要約モデルに有用である。RNNディープ・ラーニング・モデルは、可変長のテキスト文を処理し、各フレーズについて有用な表現又は隠れ状態を算出することが可能である。

【0038】

開示される抽象テキスト要約アーキテクチャは、双方向LSTMエンコーダとともに文書に関する入力文を読み込み{RNN^e_fwd；RNN^e_bwd }、x_iの埋め込みベクトルから隠れ状態を算出する。アーキテクチャは、シングルLSTMデコーダRNN_dを利用し、y_tの埋め込みベクトルから隠れ状態を算出する。文書に対する入力トークンのシーケンスは、X=x₁,x₂,...,x_nとして表現される。出力サマリー・トークンのシーケンスは、Y=y₁,y₂,...,y_nとして表現され、ベクトルの連結演算子(the vector concatenation operator)は、||により示される。入力及び出力の双方の埋め込みは、以下に説明される同じマトリクスから取得される。

【0039】

図1は、データ・ストア118に保存される文書を読み込んで理解し、サマリーを生成するために利用可能な開示される抽象テキスト要約アーキテクチャの側面を示し、そのサマリーは文書サマリー・データ・ストア198に保存されることが可能である。アーキテクチャ100は抽象テキスト要約システム102を含み、抽象テキスト要約システム102は、文書中の各ワードをベクトル空間にマッピングする埋め込み部112と、コンテキスト情報を文書中の各ワードの表現に組み込むリカレント・ニューラル・ネットワーク(RNN)のエンコーダ・ニューラル・ネットワーク122とを有する。エンコーダ・ニューラル・ネットワーク122は、双方向ロング・ショートターム・メモリ・ニューラル・ネットワーク(a bidirectional Long Short-Term Memory (LSTM) neural network)であり、LSTMニューラル・ネットワークは、出力ワードに先行する及び続く双方のワードに関し、情報を組み込むために有用である。

【0040】

引き続き図1に関し、アーキテクチャ100は、アテンション・スコア(attention scores)を生成するインター隠れ状態コンパレータ(inter-hidden state comparator)132と、個々のトークン位置に関する先行するデコード・ステップに関して正規化し、過去のデコード・ステップで高いアテンション・スコアを得た入力トークンにペナルティを課すイントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部(exponential normalizer of intra-temporal encoder attention)142とを含む。更に、アーキテクチャ100には、全てのテンポラル・スコアにわたって正規化するユニティ正規化部152と、エンコーダ・コンテキスト・ベクトルを生成するエンコーディング・ミキサ162とが含まれる。また、出力y_tの埋め込みベクトルから隠れ状態を算出するシングル「LSTM RNN」ベースのデコーダ・ニューラル・ネットワーク182；デコーダ隠れ状態比較値を算出するイントラ隠れ状態コンパレータ172；対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされるエンコーダ隠れ状態の凸結合を生成するイントラ・テンポラル・デコーダ・アテンションの指数関数正規化部184；及び デコーダ・コンテキスト・ベクトルを生成するデコーティング・ミキサ186；も含まれる。アーキテクチャ100は、出力サマリー・トークン194に関するポインタ・データを提供するサマリー・ワード・エミッタ192と、抽象テキスト要約アーキテクチャ100に関する結果を保存する文書サマリー・データ・ストア198とを含む。

【0041】

図2は、文書118a内の各ワードを、「埋め込み空間(embedding space)」という言葉で言及される高次元ベクトル空間にマッピングする埋め込み部112を示す。一実施例では、埋め込み部112は、埋め込みマトリクス

【数1】

を利用して、文書118a内のn個のワードに対応するl(エル)次元ワード・ベクトルx₁,x₂,...,x_nのシーケンス202を生成し、ここでνは語彙のサイズを表現する。一実施例では、埋め込み部112は、先ず、文書118a内の全てのワードをワン・ホット表現(one-hot representations)に変換し、次に、それらを埋め込みマトリクス

【数2】

を利用して連続的な表現に変換する。更に別の実施例では、埋め込み部112は、文書118a内の各ワードの固定ワード埋め込み(a fixed word embedding)を得るために、「GloVe」及び「word2vec」のような事前にトレーニングされたワード埋め込みモデルを利用してワード埋め込みを初期化する。別の実施例では、埋め込み部112は、キャラクタ埋め込み(character embeddings)及び/又はフレーズ埋め込み(phrase embeddings)を生成する。

【0042】

図3は、埋め込み部112の出力からの5つの入力例x₁,x₂,x₃,x₄,x₅に関し、エンコーダ・ニューラル・ネットワーク122を有する双方向LSTM300を示し、LSTM300は、各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダ(a recurrent encoder)により、文書の入力トークン埋め込みを処理する。双方向LSTM300は、双方向でシーケンスを処理することにより、過去及び将来のコンテキストの双方を利用し、LSTM出力ベクトルの2つの独立したシーケンスを生成する。一方は順方向に入力シーケンスを処理し、他方は逆方向に入力シーケンスを処理する。1つのメモリ・レイヤ352，354，355，356，358は、中間的なシーケンシャルな表現362，364，365，366，368を、次のレイヤ332，334，335，336，338へ渡す。図3に示される例では、各時間ステップにおいて、出力隠れ状態H^e=h₁^e, h₂^e, h₃^e, h₄^e, h₅^eは、(その時間ステップにおいて各方向から1つである)2つの出力ベクトルの連結である。

【0043】

開示される抽象テキスト要約アーキテクチャは、あるタイム・スタンプに関するエンコーダ・コンテキスト・ベクトルと、それと同じタイム・スタンプに関するデコーダ・コンテキスト・ベクトルと、デコーダ隠れ状態とを算出する。これら2つのコンテキストと現在のデコーダ隠れ状態とを利用して、新たなワードが生成され、出力シーケンスに加えられる。

【0044】

図4は、シングル「LSTM RNN」432，434，436，438を有するデコーダ・ニューラル・ネットワーク182を示し、ネットワーク182は、y_tという埋め込みベクトルから隠れ状態h_t^dを算出し；連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態328及び特定のスタート・オブ・サマリー・トークン(a special start-of-summary token)によりリカレント・アテンティブ・デコーダ(a recurrent attentive decoder)を初期化する。各々のデコード・ステップにおいて、デコーダは、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用してサマリー・トークンを出力し − 現在のデコーダ隠れ状態を各々のエンコーダ隠れ状態に適用し、各々のエンコーダ隠れ状態について現在のエンコーダ・アテンション・スコアを生成する。デコーダ・ニューラル・ネットワーク182の隠れ状態は、エンコーダ・ニューラル・ネットワーク122からのh₀^d=h_n^eにより初期化される。デコーダ・ニューラル・ネットワーク182は、各タイム・スタンプにおいてデコーダ隠れ状態を算出し、テンポラル・アテンションを利用して新たなワードを生成する場合に入力文書の部分を顧み、抽象要約モデルの出力を、更に理路整然とさせる。

【0045】

図5及び図6はともにタイム・スタンプt=4に関するエンコーダ・コンテキスト・ベクトルc_t^eを算出する一例を示す。インター隠れ状態コンパレータ132は、そのタイム・スタンプに関してエンコーダ隠れ状態He=[h₁^e,h₂^e,h₃^e,h₄^e,h₅^e]と現在のデコーダ隠れ状態h₄^dとの間でのスカラー・アテンション・スコアe_tiを算出する。e_tiは次の関数fにより定義され、f：e_ti=f(h_t^d,h_i^e)、この関数は、

【数3】

というバイリニア関数(a bilinear function)を利用して、隠れデコーダh_t^d及び隠れエンコーダh_i^eベクトルから、スカラーe_tiを返す。経験的な証拠とも言及されるグランド・トゥルース(Ground truth)が、要素毎の正規に影響するW_attn^eベクトルを修正するために使用されることが可能である。別の実施例では、2つのベクトル間の簡易なドット積が使用されることが可能である。

【0046】

引き続き、図5は、以前のエンコーダ・アテンション・スコアにわたって特定のエンコーダの隠れ状態の現在のエンコーダ・アテンション・スコアを指数関数正規化することにより、各々のエンコーダ隠れ状態について現在のエンコーダ・テンポラル・スコアを生成する様子を示す。イントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部142は、個々のトークン位置に関し、以前のデコード・ステップにわたって、隠れ入力状態h_i^eにより正規化されたアテンション・スコアを算出し、その場合において、入力トークンの位置についての以前のエンコーダ・アテンション・スコアにわたって入力トークンの位置に関する現在のアテンション・スコアを正規化し、テンポラル・アテンション関数を利用して、以前のデコード・ステップで高いアテンション・スコアを取得した入力トークンにペナルティを課す。テンポラル・スコアe_ti’は、次のように定義される：t=1の場合、e_ti’=exp(e_ti)であり、それ以外の場合、

【数4】

である。次に、ユニティ正規化部152は、現在のエンコーダ・テンポラル・スコアを単位正規化(unity normalizing)することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成し：その場合において、全てのテンポラル・スコアにわたって正規化されたテンポラル・アテンション・スコアα_ti^eを、n個の位置に関する入力にわたって算出する：

【数5】

これらのウェイトを利用して、入力コンテキスト・ベクトルc_t^eを取得する：

【数6】

図6は、タイム・スタンプt=4に関してエンコーダ・コンテキスト・ベクトルc_t^e(618)を算出するために、正規化されたテンポラル・スコアを利用する仕組みを示す。
図7は、タイム・スタンプt=4におけるデコーダ・コンテキスト・ベクトルc_t^dの具体例を示す。デコーダ・ニューラル・ネットワーク182は、出力y_tの埋め込みベクトルから隠れ状態H^d=[h₁^d,h₂^d,h₃^d,h₄^d]を算出し、その場合において、自身の隠れ状態に基づいて反復的な語句の生成を避けるために(特に、長いシーケンスを生成する場合に)、以前にデコードされたシーケンスに関する情報をデコーダに組み込む。イントラ隠れ状態コンパレータ172は、算出された隠れ状態H^d=[h₁^d,h₂^d,h₃^d,h₄^d]を、デコード・ステップtにおける隠れ状態と比較し、その場合において、以前のデコーダ隠れ状態の各々に対する現在のデコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用する。各々のデコード・ステップtについて、イントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部184は、新たなアテンション・コンテキスト・ベクトルを算出する。t>1に関し、アテンション・スコアを計算するために以下の数式を利用する：

【数7】

この場合において、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを、対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされたエンコーダ隠れ状態の凸結合(a convex combination)として生成する − 現在のデコーダ・アテンション・スコアの各々を指数関数的に正規化する(exponentially normalizing)ことにより、以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成する。イントラ・テンポラル・アテンション・コンテキスト・ベクトルは次のように計算される：現在のイントラ・デコーダ・アテンション・ベクトルを、対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされた以前のデコーダ隠れ状態の凸結合として生成し、サマリー・トークンを発生するためにそのベクトルを処理する。

【数8】

tt’は現在の時間ステップを示し、j=1は最初のデコード時間ステップを示し、コンテキスト・ベクトルは次式で示される：

【数9】

生成されるシーケンスは最初のデコード・ステップでは空(empty)であるので、c₁^dに関するデコーダ・コンテキスト・ベクトルc_t^dはゼロのベクトルに設定される。

【0047】

イントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部142及びイントラ・テンポラル・デコーダ・アテンションの指数関数正規化部184は、一般的なソフトマックス・モジュール(a common softmax module)を利用して実現されることが可能である。

【0048】

図8は、エンコーダ・コンテキスト・ベクトル618と、デコーダ・コンテキスト・ベクトル768と、現在の隠れ状態ベクトル835とを合成するサマリー・ワード・エミッタを示す。以前のデコード・ステップを顧みることは、開示される抽象テキスト要約アーキテクチャが、更に構造化された予測を行うこと及び同一情報の繰り返しを避けることを、たとえその情報が何ステップも前に生成されていたとしても、許容する。

【0049】

先ず、開示される強化学習プロセスはモデルに自身のサマリーを生成させ、ユーザーは、生成されたサマリーをグランド・トゥルースと比較するために外的なスコアラー(an external scorer)を利用する。従って、このスコアラーは、生成されたサマリーのモデルに対する品質を示す。スコアが高い場合、そのようなサマリーを将来更に登場しやすくするために、モデルは自身を更新することが可能である。そうではない場合、スコアが低い場合、モデルはペナルティが課され、類似するサマリーを避けるように生成プロシジャを変更する。ワード毎の予測ではなく、全文を評価するこの強化モデルは、要約スコアを増加させる点で非常に優れている。
図９は、所与のデコード・ステップで2つのアテンション機能の結合を利用する開示されるRNNに基づく抽象テキスト要約アーキテクチャにより処理される例示的な入力文書テキスト「The United States became the largest tech ...」に関し、結合されるエンコーダ及びデコーダ・アテンション機能を示す。即ち、新たなワードを生成するための組み合わせにおいて、テンポラル・アテンション及びデコーダ・イントラ・アテンションが使用される。シーケンスのうちの各要素(この例の場合、ワード)は、1つずつ処理される。シーケンス中の新たな入力の各々に関し、その入力及び以前の隠れ状態に応じて、新たな隠れ状態が生成される。このセンテンス(文)では、各ワードで算出される隠れ状態は、そのポイントに至るまでに読まれる全てのワードの関数である(又はそれらに依存する)。各々のステップにおいて、RNN隠れ状態835は、最終的な出力テキスト・シーケンス968に加えられ且つ次の関数の入力として供給される新たなワードを生成するために使用される。入力読み込み及び出力生成RNNsが結合され、入力RNNの最終的な隠れ状態は、出力RNNの初期隠れ状態として使用される。出力テキストを生成する場合に、モデルが入力の様々な部分を利用こと、即ち、サマリーの情報カバレッジを増やすことを保証するように、アテンションは調整される。具体例では、「United States」はUS 966に短縮され、0.8というアテンション・スコアが生成されてワード「expanded」に割り振られるが、ワード「became」は0.1というアテンション・スコアに指定され、ワード「increased」は0.05というアテンション・スコアに指定される(928)。開示されるアーキテクチャは、任意のテキストを読み込み、そこから異なるテキストを生成することが可能である。開示される技術の一実施例では、双方向エンコーダのために2つの200次元LSTMsが使用され、デコーダのために1つの400次元LSTMが使用され；入力の語彙サイズは150,000トークンに制限され、出力の語彙は、トレーニング・セット中で最も頻繁に使用されるトークンを選択することにより、50,000トークンに限定される。入力ワード埋め込みは100次元であり、Gloveにより初期化される。

【0050】

図10は、「CNN/Daily Mail」データセットに関する定量的な結果を示し、上記の自動評価メトリックROUGEにより、開示されるアーキテクチャ100を、テキスト要約に関する既存の抽象及び抽出アプローチと比較している。最近まで、「CNN/Daily Mail」データセットに関する抽象テキスト要約の最高ROUGE-1スコアは、35.46(1016)であった。イントラ・デコーダ・アテンションRNNモデルの、教師あり及びRLトレーニングとの開示される結合は、優れたROUGEパフォーマンスにより、そのスコアを39.87まで改善し(1066)、ひいては、更に読みやすい自動的に生成される文書要約を提案する。

【0051】

図11及び図12は、人間が作成したグランド・トゥルース・サマリーとの比較において、文書例と、文書例に基づいて開示のアーキテクチャにより生成されるマルチ・センテンス・サマリーとを示す。各々の具体例に関し、元々の記事、グランド・トゥルース・サマリー、及び開示モデルにより生成されたサマリーが示されている。

【0052】

開示されるモデル及びトレーニング・プロシジャは、「CNN/Daily Mail」のテキスト要約において最高水準の結果を取得し、生成されるサマリーの読みやすさを改善し、長い出力文章に更に適している。
コンピュータ・システム

【0053】

図13は、抽象要約モデル100を実現するために使用されることが可能なコンピュータ・システム1300の簡略化されたブロック図である。コンピュータ・システム1300は、典型的には、バス・サブシステム1332により多数の周辺デバイスと通信する1つ以上のCPUプロセッサ1320を含む。これらの周辺デバイスは、例えばメモリ・デバイスを含むメモリ・サブシステム1312と、ファイル・ストレージ・サブシステム1318と、ユーザー・インターフェース入力デバイス1330と、ユーザー・インターフェース出力デバイス1324と、ネットワーク・インターフェース・サブシステム1322と、複数のGPU処理コア又はGPUプロセッサ1328を有するGPU1326とを含むことが可能である。入力及び出力デバイスは、コンピュータ・システム1300とのユーザー相互作用を可能にする。ネットワーク・インターフェース・サブシステム1322は、外部ネットワークに対するインターフェースを提供し、そのインターフェースは、他のコンピュータ・システムにおける対応するインターフェース・デバイスのためのインターフェースを含む。

【0054】

抽象要約モデル100の動作は、何らかの実現手段に従って、GPU処理コア1328により実行される。

【0055】

ユーザー・インターフェース入力デバイス1330又はクライアント又はクライアント・デバイスは、キーボード；マウス、トラックボール・タッチパッド又はグラフィックス・タブレットのようなポインティング・デバイス；スキャナ；ディスプレイに組み込まれたタッチ・スクリーン；音声認識サブシステム及びマイクロフォンのようなオーディオ入力デバイス；及び その他のタイプの入力デバイスを含むことが可能である。一般に、「入力デバイス」という用語の使用は、コンピュータ・システム1300に情報を入力するための全ての可能なタイプのデバイス及び方法を含むように意図される。

【0056】

ユーザー・インターフェース出力デバイス1324は、ディスプレイ・サブシステム、プリンタ、ファクシミリ送受信機、又は、オーディオ出力デバイスのような非視覚的ディスプレイを含むことが可能である。ディスプレイ・サブシステムは、LEDディスプレイやフラット・パネル・デバイス(例えば、液晶ディスプレイ(LCD)、陰極線管(CRT)、プロジェクション・デバイス、又は、可視的な画像を形成する何らかの他のメカニズム)を含むことが可能である。ディスプレイ・サブシステムは、オーディオ出力デバイスのような非視覚的ディスプレイを提供することも可能である。一般に、「出力デバイス」という用語の使用は、コンピュータ・システム1300からユーザーへ又は他のマシン若しくはコンピュータ・システムへ情報を出力することが可能な全てのタイプのデバイス又は方法を含むように意図される。

【0057】

ストレージ・サブシステム1310は、本願で説明されるモジュール及び方法の全部又は一部の機能を提供するプログラミング及びデータ構造を保存する。これらのソフトウェア・モジュールは、一般に、CPUプロセッサ1320単独により、又はGPUプロセッサ1328のような他のプロセッサとの組み合わせにより実行される。

【0058】

ストレージ・サブシステム内のメモリ・サブシステム1312は多数のメモリを含むことが可能であり、メモリは、プログラム実行中に命令及びデータを保存するためのメイン・ランダム・アクセス・メモリ(RAM)1316、及び、一定の命令が保存されるリード・オンリ・メモリ(ROM)1314を含む。ファイル・ストレージ・サブシステム1318は、プログラム及びデータ・ファイルの永続的なストレージを提供することが可能であり、また、ハード・ディスク・ドライブ、関連する取り外し可能なメディアを伴うフロッピ・ディスク・ドライブ、CD-ROMドライブ、光ドライブ、又は、取り外し可能なメディア・カートリッジを含むことが可能である。所定の実現手段の機能を実現するモジュールは、ファイル・ストレージ・サブシステム1318又はメモリ・サブシステム1312により、或いは、プロセッサによりアクセス可能な他のマシンに保存されることが可能である。

【0059】

バス・サブシステム1332は、コンピュータ・システム1300の様々なコンポーネント及びサブシステムに、意図されるように互いに通信させる仕組みを提供する。バス・サブシステム1332は単独のバスとして概略的に示されているが、バス・サブシステムの代替的な実現手段は複数のバスを利用することが可能である。或る実施形態では、(不図示の)アプリケーションサーバーは、コンピュータ・システム1300のアプリケーションが動作することを許容するフレームワーク(例えば、ハードウェア及び/又はソフトウェア(例えば、オペレーティング・システム))であるとすることが可能である。

【0060】

コンピュータ・システム1300自体は様々なタイプのものであるとすることが可能であり、例えば、パーソナル・コンピュータ、ポータブル・コンピュータ、ワークステーション、コンピュータ端末、ネットワーク・コンピュータ、テレビジョン、メインフレーム、サーバー・ファーム、広く分散された緩やかにネットワーク化されたコンピュータ群、或いは、他の何らかのデータ処理システム又はユーザー・デバイスを含む。コンピュータ及びネットワークの絶え間なく変化する性質に起因して、図13に示されるコンピュータ・システムの記述は、本発明の好ましい実施形態を説明するための特定の具体例として専ら意図されている。図13に示されるコンピュータ・システムよりも多い又は少ないコンポーネントを有するコンピュータ・システム1300の他の多くの構成も可能である。

【0061】

上記の記述は、開示される技術についての生産及び使用を可能にするように述べられている。開示された実現手段に対する様々な変形は明らかであり、本願で規定される一般的な原理は、開示される技術の精神及び範囲から逸脱することなく、他の実現手段及びアプリケーションに適用されて良い。同様に、列挙されるプロセス・ステップは、図示又は説明された順序に限定されなくても良い。従って、明細書及び図面は、限定的な意味ではなく例示的に解釈されるべきである。開示される技術は、示された実現手段に限定されるようには意図されておらず、本願で開示された原理及び特徴に合致する最も広い範囲を享受する。
特定の実現手段

【0062】

以下の議論において、幾つかの特定の実現手段及び特徴が説明される。

【0063】

抽象テキスト要約についての開示されるニューラル・ネットワークで実現される方法の一実施例は、各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；及び 各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップを含む。本方法は、エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態をエンコーダ隠れ状態の各々に適用するステップ；特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、それ以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされるエンコーダ隠れ状態の凸結合として、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び 対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる以前のデコーダ隠れ状態の凸結合として、現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルを処理してサマリー・トークンを出力するステップも含んでいる。

【0064】

開示される技術についての本方法及び他の実現手段は、以下の特徴及び/又は開示される追加的な方法との組み合わせで説明される特徴のうちの1つ以上を含むことが可能である。簡明化の観点から、本願で開示される特徴の組み合わせは、個別的に列挙されてはおらず、それぞれの基本構成の特徴について反復されていない。

【0065】

開示される技術は、システム、方法又は製品として実施されることが可能である。実現手段の1つ以上の特徴は、基本的な実現手段と結合されることが可能である。相互に排他的でない実現手段は、結合が可能であるように教示されている。実現手段の1つ以上の特徴は、他の実現手段と結合されることが可能である。本開示は定期的にユーザーにこれらのオプションを想起させる。これらのオプションを反復する記載を何らかの実施例から省略することは、前節で教示される結合を限定するように解釈されるべきではなく − これらの記載は後続の実現手段の各々に前方参照として組み込まれる。

【0066】

ニューラル・ネットワークで実現される方法の一実施例に関し、「埋め込み」は、高次元ワード埋め込み空間に埋め込まれる。

【0067】

開示される方法に関し、双方向RNNに基づくエンコーダは、2つの別々のロング・ショート・ターム・メモリ(LSTM)ネットワークを有し、RNNに基づくデコーダは単独のLSTMネットワークを有する。或る開示される実現手段では、エンコーダは、フォワード及びバックワードRNNsを有する双方向リカレント・ニューラル・ネットワーク(Bi-RNN)であり、フォワード及びバックワードRNNsの各々は入力として「埋め込み」を受信し、フォワード及びバックワードRNN隠れ状態を生成し、エンコーダ隠れ状態は、それぞれのフォワード及びバックワードRNN隠れ状態の連結(concatenations)である。

【0068】

教師あり学習及び強化学習の双方の利点を実現するために、開示される方法は、強化学習及び教師あり学習の結合を利用して、抽象テキスト要約モデルをトレーニングすることを更に含むことが可能であり、また、混合トレーニング目的関数を利用して抽象要約モデルをトレーニングすることを更に含むことが可能であり、そのモデルは、文書シーケンスのグランド・トゥルース・サマリーに対してデコーダ・サマリー出力を比較することにより妥当性を評価するように各デコード・ステップで最尤損失(a maximum-likelihood loss)を最小化する教師あり機械学習と、ベースライン出力に対してデコーダ・サマリー出力を評価し、デコーダ・サマリー出力の読みやすさに関する報酬又はペナルティを供給する強化学習とを混合し、教師あり機械学習と強化学習の混合は重み付け平均化である。開示される方法は、ワード・レベル及びサマリー全体レベルの双方の監視を行い、サマリーを更に理路整然と読みやすくする。特に、ROUGE最適化RLは、リコール(recall)を改善することを促し、要約される必要のある重要な情報が実際に包含されることを保証し、及び、ワード・レベル学習の監視は、優れた言葉の流れを保証し、サマリーを更に理路整然と読みやすくする。

【0069】

仮出願で引用される文書「ROUGE: A Package for Automatic Evaluation of Summaries」及び「The ROUGE-AR: A Proposed Extension to the ROUGE Evaluation Metric for Abstractive Text Summarization」は、異なるタイプのROUGE評価メトリックを明らかにする。ROUGEのような個々の評価メトリックを最適化するために、開示される抽象テキスト要約アーキテクチャは、強化学習アルゴリズムを利用する。開示される方法の或る実現手段に関し、強化学習は、自己批判シーケンス・トレーニング(SCST)アルゴリズムを利用して実現され、教師あり学習は最尤損失トレーニング目標(ML)を利用して実現される。

【0070】

或る開示される実現手段に関し、400ないし800トークンの文書シーケンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象要約モデルが使用される。

【0071】

開示される一実施例において、抽象テキスト要約モデルは、機械翻訳に基づく自然言語処理(NLP)タスクを実行するために使用される。他の開示される実現手段において、抽象要約モデルは、質疑応答に基づくNLPタスク(question answering-based NLP tasks)を実行するために使用される。更に別の実現手段では、対話システムに基づくNLPタスク(dialog systems-based NLP tasks)を実行するために、抽象要約モデルが使用される。

【0072】

開示される方法の一実施例は、抽象要約モデルのパフォーマンスを、ROUGE個別評価メトリックで評価することを更に含む。抽象要約モデルを実現するニューラル・シーケンス法を実現する開示方法の別の実施例では、BLEU又はMETEOR評価メトリックが使用されることが可能である。

【0073】

開示される方法の一実施例は、出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で1回より多く出力しないことを、RNNに基づくデコーダに要求するステップを更に含む。

【0074】

抽象要約モデルを実現するニューラル・シーケンス法を実現するための開示される方法の一実施例は、文書シーケンスの入力文書トークンをワード埋め込み空間に埋め込むステップ；文書シーケンスの入力文書トークンに対するトークンの双方向エンコーディングと入力文書に対する全体的な双方向エンコーディングとを生じさせるために、入力文書トークン埋め込みを、双方向リカレント・ニューラル・ネットワーク(RNN)に基づくエンコーダに抵抗するステップを含む。開示される方法は、初期の現在のデコーダ隠れ状態として全体的な双方向エンコーディングでRNNに基づくデコーダを初期化するステップも含んでいる。本方法は、各デコード・ステップにおいて、RNNに基づくデコーダが、入力文書トークンについて、エンコードされた状態アテンション・ウェイトを生成するために、現在のデコーダ隠れ状態をトークンの双方向エンコーディングに適用するステップ；エンコードされた状態アテンション・ウェイトを指数関数正規化するステップ；及び 正規化されたエンコードされた状態アテンション・ウェイトに基づいて、トークンの双方向エンコーディングの重み付け加算を計算するステップを更に含む。更に、本方法は、各デコード・ステップにおいて、以前に計算されたデコーダ隠れ状態の各々について、デコードされた状態アテンション・ウェイトを生成するために、現在のデコーダ隠れ状態を、以前に計算されたデコーダ隠れ状態に適用するステップ；デコードされた状態アテンション・ウェイトを指数関数的に正規化するステップ；及び 正規化されたデコードされた状態アテンション・ウェイトに基づいて、以前に計算されたデコーダ隠れ状態の重み付け加算を計算するステップ；各デコード・ステップにおいて、イントラ・デコーダ・アテンション・ベクトルを、イントラ・テンポラル・エンコーダ・アテンション・ベクトル、及び現在のデコーダ隠れ状態と結合し、結合されたベクトルを処理してサマリー・トークンを出力するステップを含む。

【0075】

更に別の実施例は、媒体にロードされるコンピュータ・プログラム命令を含む有形の非一時的なコンピュータ読み取り可能な媒体を含んでも良く、その命令は、コンピュータ・ハードウェアにより実行されると、上記の何れかの方法をコンピュータに実行させる。

【0076】

開示される方法のシステム実施例は、メモリに結合される1つ以上のプロセッサを含み、プロセッサは上記の何れかの方法を実現する。

【0077】

或る実現手段に関し、開示されるシステムは、現在のデコーダ隠れ状態とアテンディング(attending)の結果とを、エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態にわたって結合することにより、現在のサマリー・トークンを出力するアテンティブ・デコーダを更に含むことが可能である。或る実現手段では、エンコーダ隠れ状態に対するデコーダのアテンション(attention)は、文書のうちの要約されていない部分に着目する。場合によっては、以前に生成されたデコー他隠れ状態にわたるデコーダのアテンションは、反復的なサマリー・フレーズの出力を防止する。

【0078】

開示されるネットワークに基づく抽象テキスト要約システムの或る実施例は、強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングすることを更に含む。ニューラル・ネットワークに基づく抽象テキスト要約システムの或る実施例は、混合トレーニング目的関数を利用して抽象要約モデルをトレーニングすることを含み、その関数は、文書シーケンスのグランド・トゥルース・サマリーに対してデコーダ・サマリー出力を比較することにより妥当性を評価するように各デコード・ステップで最尤損失を最小化する教師あり機械学習と、ベースライン出力に対してデコーダ・サマリー出力を評価し、デコーダ・サマリー出力の読みやすさに関する報酬又はペナルティを供給する強化学習とを混合し、教師あり機械学習と強化学習の混合は重み付け平均化である。

【0079】

開示される本システムの実施例及び他のシステムは、開示される方法に関連して説明される1つ以上の特徴を選択的に含む。簡明化のため、システムの特徴の代替的な組み合わせは個別的に列挙されてはいない。システム、方法及び製品に適用可能な特徴は、一群の基本特徴についての法上のクラス(カテゴリ)それぞれに関して繰り返されない。読者は、このセクションで明らかにされる特徴が、どのようにして、他の法上のクラス(カテゴリ)の基本特徴とともに容易に組み合わせることが可能であるかを理解するであろう。

【0080】

上記の記述は、その性質上、単なる例示的であり、対象事項又はアプリケーションの実現手段又はそのような実現手段の用途を限定するようには意図されていない。更に、技術分野、背景技術又は詳細な説明で提示される如何なる表現又は暗示される理論によっても限定される意図は無い。本願で使用されるように、「例示的」という言葉は「具体例又は模範として役立つ」ことを意味する。本願で開示される何れの実現手段も、他の実現手段よりも好ましく又は有利であるように構成されることは、必ずしも必要ではなく、本願で説明される実施例は如何なる方法によっても対象事項の範囲又は適用性を限定するようには意図されていない。

【0081】

開示される技術は、上述した好ましい実施形態及び具体例を参照することにより開示されるが、これらの具体例は限定する意味ではなく例示的に意図されていることが、理解されるべきである。変形及び組み合わせは当業者にとって容易に把握されるであろうし、その変形及び組み合わせは発明の精神及び特許請求の範囲の目的の範囲内にあることが想定されている。

【0082】

以下、本願により教示される手段を例示的に列挙する。
（付記1）
ニューラル・ネットワークで実現される抽象テキスト要約の方法は：
各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；
連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；
各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップ；
を有し、前記出力するステップは：
前記エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を前記エンコーダ隠れ状態の各々に適用するステップ；
特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、前記エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；
前記現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；
対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされる前記エンコーダ隠れ状態の凸結合として、前記現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；
以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；
前記現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、前記以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び
対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる前記以前のデコーダ隠れ状態の凸結合として、前記現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルをサマリー・トークンを出力するために処理するステップ；
を含む、ニューラル・ネットワークで実現される方法。
（付記2）
前記埋め込みは、高次元ワード埋め込み空間に埋め込まれる、付記1に記載の方法。
（付記3）
前記エンコーダは、フォワード及びバックワードRNNsを含む双方向リカレント・ニューラル・ネットワーク(Bi-RNN)であり、フォワード及びバックワードRNNsの各々は、フォワード及びバックワードRNN隠れ状態を生成するために入力として前記埋め込みを受信し、前記エンコーダ隠れ状態は、個々のフォワード及びバックワードRNN隠れ状態の連結である、付記1に記載の方法。
（付記4）
400ないし800トークンの文書センテンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象テキスト要約が使用される、付記1に記載の方法。
（付記5）
機械翻訳に基づく自然言語処理(NLP)のタスクを実行するために、抽象テキスト要約が使用される、付記1に記載の方法。
（付記6）
前記抽象テキスト要約のパフォーマンスをROUGEメトリックで評価するステップを更に含む、付記1に記載の方法。
（付記7）
出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で1回より多く出力しないことを、前記リカレント・アテンティブ・デコーダに要求するステップを更に含む付記1に記載の方法。
（付記8）
並列プロセッサで動作するニューラル・ネットワークに基づく抽象テキスト要約システムであって：
要約される文書の入力トークンについてエンコーダ隠れ状態を生成するエンコーダ；
前記エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態に配慮することにより前記文書を要約するサマリー・トークンを出力するアテンティブ・デコーダ；
を有し、前記エンコーダ隠れ状態に対するデコーダの配慮は、デコーダにより以前に処理されなかった入力トークンを促し、デコーダにより以前に処理された入力トークンにペナルティを課し；
以前に生成されたデコーダ隠れ状態に対するデコーダの配慮は、デコーダにより以前に出力されなかったサマリー・トークン候補を促し、デコーダにより以前に出力されたサマリー・トークン候補にペナルティを課す、抽象テキスト要約システム。
（付記9）
前記アテンティブ・デコーダは、前記エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態にわたる配慮の結果と現在のデコーダ隠れ状態とを結合することにより、現在のサマリー・トークンを出力する、付記8に記載の抽象テキスト要約システム。
（付記10）
前記エンコーダ隠れ状態に対するデコーダの配慮は、前記文書のうち要約されてない部分を重視する、付記8に記載の抽象テキスト要約システム。
（付記11）
前記以前に生成されたデコーダ隠れ状態に対するデコーダの配慮は、反復的なサマリー語句の出力を防ぐ、付記8に記載の抽象テキスト要約システム。
（付記12）
1つ以上のプロセッサと、前記プロセッサに結合され、コンピュータ命令を含むメモリとを含むニューラル・ネットワークに基づく抽象テキスト要約システムであって：前記コンピュータ命令は、前記プロセッサで実行される場合に、抽象要約モデルを実現するプロセスを前記抽象テキスト要約システムに実行させ、前記抽象テキスト要約システムは：
ワード埋め込み空間における文書シーケンスの入力文書トークンの埋め込み；
提供される入力文書トークンの埋め込みを利用して、前記文書シーケンスの入力文書トークンに対するトークンの双方向エンコーディングと入力文書に対する全体的な双方向エンコーディングとを生じさせる双方向リカレント・ニューラル・ネットワーク(RNN)に基づくエンコーダ；
初期の現在のデコーダ隠れ状態として前記全体的な双方向エンコーディングで初期化されたRNNに基づくデコーダ；
を有し、前記RNNに基づくデコーダは、
前記入力文書トークンについて、エンコードされた状態アテンション・ウェイトを生成するために、前記現在のデコーダ隠れ状態を前記トークンの双方向エンコーディングに適用し；
エンコードされた状態アテンション・ウェイトを指数関数正規化し；及び
正規化されたエンコードされた状態アテンション・ウェイトに基づいて、トークンの双方向エンコーディングの重み付け加算を計算する；
ことにより、各デコード・ステップでイントラ・テンポラル・エンコーダ・アテンション・ベクトルを計算し；
前記RNNに基づくデコーダは、
以前に計算されたデコーダ隠れ状態の各々について、デコードされた状態アテンション・ウェイトを生成するために、前記現在のデコーダ隠れ状態を、以前に計算されたデコーダ隠れ状態に適用し；
デコードされた状態アテンション・ウェイトを指数関数的に正規化し；及び
正規化されたデコードされた状態アテンション・ウェイトに基づいて、以前に計算されたデコーダ・隠れ状態の重み付け加算を計算する；
ことにより、各デコード・ステップでイントラ・デコーダ・アテンション・ベクトルを計算し；
各々のデコード・ステップにおいて、前記イントラ・デコーダ・アテンション・ベクトルを、前記イントラ・テンポラル・エンコーダ・アテンション・ベクトル、及び現在のデコーダ隠れ状態と結合し、結合されたベクトルをサマリー・トークンを出力するために処理する、抽象テキスト要約システム。
（付記13）
双方向のRNNに基づくエンコーダが、2つの別個のロング・ショート・ターム・メモリ(LSTM)ネットワークを有する、付記12に記載の抽象テキスト要約システム。
（付記14）
前記RNNに基づくデコーダが、ロング・ショート・ターム・メモリ(LSTM)ネットワークを有する、付記12に記載の抽象テキスト要約システム。
（付記15）
強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングする、付記12に記載の抽象テキスト要約システム。
（付記16）
教師あり機械学習と強化学習とを混合する混合トレーニング目的関数を利用して抽象要約モデルをトレーニングし、
前記教師あり機械学習は、デコーダ・サマリー出力を、前記文書シーケンスのグランド・トゥルース・サマリーと比較することにより、妥当性を評価するために、各々のデコード・ステップにおいて最尤損失を最小化し、
前記強化学習は、前記デコーダ・サマリー出力をベースライン出力に対して評価し、前記デコーダ・サマリー出力の読みやすさについて報酬又はペナルティをフィードバックし、
前記教師あり機械学習及び強化学習の混合は重み付け平均である、付記12に記載の抽象テキスト要約システム。
（付記17）
前記強化学習は、自己批判的シーケンス・トレーニング(SCST)アルゴリズムを利用して実現される、付記16に記載の抽象テキスト要約システム。
（付記18）
前記教師あり学習は、最尤損失トレーニング目標(ML)を利用して実現される、付記16に記載の抽象テキスト要約システム。
（付記19）
400ないし800トークンの文書センテンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象要約モデルが使用される、付記12に記載の抽象テキスト要約システム。
（付記20）
前記抽象要約モデルのパフォーマンスをROUGEメトリックで評価する、付記12に記載の抽象テキスト要約システム。
（付記21）
出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で1回より多く出力しないことを、前記RNNに基づくデコーダに要求する、付記12に記載の抽象テキスト要約システム。
（付記22）
抽象要約モデルを実現するコンピュータ・プログラム命令を備える有形の非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ・プログラム命令は、プロセッサに方法を実行させ、前記方法は：
各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；
連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；
各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップ；
を有し、前記出力するステップは：
前記エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を前記エンコーダ隠れ状態の各々に適用するステップ；
特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、前記エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；
前記現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；
対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされる前記エンコーダ隠れ状態の凸結合として、前記現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；
以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；
前記現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、前記以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び
対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる前記以前のデコーダ隠れ状態の凸結合として、前記現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルをサマリー・トークンを出力するために処理するステップ；
を含む、コンピュータ読み取り可能な記憶媒体。
（付記23）
400ないし800トークンの文書センテンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象テキスト要約が使用される、付記22に記載のコンピュータ読み取り可能な記憶媒体。
（付記24）
前記方法は、強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングするステップを更に含む、付記22に記載のコンピュータ読み取り可能な記憶媒体。
（付記25）
前記方法は、教師あり機械学習と強化学習とを混合する混合トレーニング目的関数を利用して抽象要約モデルをトレーニングするステップを更に含み、
前記教師あり機械学習は、デコーダ・サマリー出力を、文書シーケンスのグランド・トゥルース・サマリーと比較することにより、妥当性を評価するために、各々のデコード・ステップにおける最尤損失を最小化し、
前記強化学習は、前記デコーダ・サマリー出力をベースライン出力に対して評価し、前記デコーダ・サマリー出力の読みやすさについて報酬又はペナルティをフィードバックし、
前記教師あり機械学習及び強化学習の混合は重み付け平均である、付記24に記載のコンピュータ読み取り可能な記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】