特表2022-517971 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ▲騰▼▲訊▼科技（深▲セン▼）有限公司の特許一覧

特表2022-517971言語シーケンスラベリング方法、装置、プログラム及びコンピューティング機器

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1a
1b
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-11

(54)【発明の名称】言語シーケンスラベリング方法、装置、プログラム及びコンピューティング機器

(51)【国際特許分類】

G06F 40/279 20200101AFI20220304BHJP

G06F 40/216 20200101ALI20220304BHJP

【ＦＩ】

G06F40/279

G06F40/216

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021539998

(86)(22)【出願日】2020-06-01

(85)【翻訳文提出日】2021-07-08

(86)【国際出願番号】 CN2020093679

(87)【国際公開番号】W WO2020244475

(87)【国際公開日】2020-12-10

(31)【優先権主張番号】201910486896.1

(32)【優先日】2019-06-05

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】孟凡▲東▼

(72)【発明者】

【氏名】▲劉▼ 宜▲進▼

(72)【発明者】

【氏名】▲張▼ 金超

(72)【発明者】

【氏名】周杰

(72)【発明者】

【氏名】徐金安

【テーマコード（参考）】

5B091

【Ｆターム（参考）】

5B091AB06

5B091AB11

(57)【要約】

言語シーケンスラベリング方法、装置、記憶媒体及びコンピューティング機器を提供する。上記方法は、言語シーケンスの第１埋め込み表現を読み取るステップであって、第１埋め込み表現は言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、グローバル単語埋め込み表現は言語シーケンスのグローバルコンテキスト表現であるステップ（５０１）と、第１深層変換リカレントニューラルネットワークに基づいて、第１埋め込み表現に対して第１深層変換符号化を行い、言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するステップ（５０２）と、第１隠れ層状態表現を復号化して、言語シーケンスのラベリング結果を獲得するステップ（５０３）と、を含む。

【特許請求の範囲】

【請求項1】

コンピューティング機器が実行する言語シーケンスラベリング方法であって、
言語シーケンスの第１埋め込み表現を読み取るステップであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現であるステップと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するステップと、
前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するステップと、を含むことを特徴とする言語シーケンスラベリング方法。

【請求項2】

前記言語シーケンスの第２埋め込み表現を読み取るステップであって、前記第２埋め込み表現は前記文字レベル単語埋め込み表現及び前記事前訓練単語埋め込み表現を含むステップと、
第２深層変換リカレントニューラルネットワークに基づいて、前記第２埋め込み表現に対して第２深層変換符号化を行い、前記グローバル単語埋め込み表現を獲得するステップと、をさらに含む請求項１に記載の方法。

【請求項3】

前記第２深層変換符号化後の結果に対して情報集約を行い、前記グローバル単語埋め込み表現を獲得するステップをさらに含む請求項２に記載の方法。

【請求項4】

第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力する前記ステップは、
前記第１埋め込み表現に対して、それぞれ順方向及び逆方向の２つの方向に前記第１深層変換符号化を実行するステップと、
順方向及び逆方向で獲得した深層変換符号化結果を接合して、各単語に対応する前記第１隠れ層状態表現を獲得するステップと、を含む請求項１に記載の方法。

【請求項5】

線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築するステップをさらに含む請求項１に記載の方法。

【請求項6】

前記第１深層変換リカレントニューラルネットワークは１層のＬ－ＧＲＵ及び少なくとも２層のＴ－ＧＲＵから構成される請求項５に記載の方法。

【請求項7】

前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得する前記ステップは、
各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の前記第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得するステップと、
前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得するステップと、を含む請求項１に記載の方法。

【請求項8】

該単語の前記第１隠れ層状態表現に対して深層変換を行う前記ステップは、
一方向深層変換を行うステップを含む請求項７に記載の方法。

【請求項9】

前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得する前記ステップは、
複数のラベルを事前設定するステップと、
前記第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行った後、該単語が各ラベルに属する確率を取得するステップと、を含む請求項７に記載の方法。

【請求項10】

前記情報集約は平均プーリング又は最大プーリングを含む請求項３に記載の方法。

【請求項11】

言語シーケンスラベリング装置であって、シーケンスラベリングエンコーダと、シーケンスラベリングデコーダと、を含み、
前記シーケンスラベリングエンコーダは、
言語シーケンスの第１埋め込み表現を読み取るための第１読み取りモジュールであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現である第１読み取りモジュールと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するための第１深層変換モジュールと、を含み、
シーケンスラベリングデコーダは、前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するためのものであることを特徴とする言語シーケンスラベリング装置。

【請求項12】

前記グローバル単語埋め込み表現を取得するためのグローバル情報エンコーダをさらに含み、
前記グローバル情報エンコーダは、
前記言語シーケンスの第２埋め込み表現を読み取るための第２読み取りモジュールであって、前記第２埋め込み表現は前記文字レベル単語埋め込み表現及び前記事前訓練単語埋め込み表現を含む第２読み取りモジュールと、
第２深層変換リカレントニューラルネットワークに基づいて、前記第２埋め込み表現に対して第２深層変換符号化を行い、前記グローバル単語埋め込み表現を獲得するための第２深層変換モジュールと、を含む請求項１１に記載の装置。

【請求項13】

前記グローバル情報エンコーダは、
前記第２深層変換符号化後の結果に対して情報集約を行い、前記グローバル単語埋め込み表現を獲得するための情報集約モジュールをさらに含む請求項１２に記載の装置。

【請求項14】

前記第１深層変換モジュールは、前記第１埋め込み表現に対して、それぞれ順方向及び逆方向の２つの方向に前記第１深層変換符号化を実行し、順方向及び逆方向で獲得した深層変換符号化結果を接合して、各単語に対応する前記第１隠れ層状態表現を獲得するためのものである請求項１１に記載の装置。

【請求項15】

線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築するための構築モジュールをさらに含む請求項１１に記載の装置。

【請求項16】

前記第１深層変換リカレントニューラルネットワークは１層のＬ－ＧＲＵ及び少なくとも２層のＴ－ＧＲＵから構成される請求項１５に記載の装置。

【請求項17】

前記シーケンスラベリングデコーダは、
各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の前記第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得するための第３深層変換モジュールと、
前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得するためのラベリングモジュールと、を含む請求項１１に記載の装置。

【請求項18】

前記シーケンスラベリングデコーダは、
複数のラベルを事前設定するための設定モジュールをさらに含み、
前記ラベリングモジュールは、前記第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行った後、該単語が各ラベルに属する確率を取得するためのものである請求項１７に記載の装置。

【請求項19】

コンピュータ可読記憶媒体であって、コンピュータプログラム命令が記憶されており、プロセッサが前記コンピュータプログラム命令を実行すると、前記プロセッサが請求項１～請求項１０のいずれか一項に記載の方法を実行することを特徴とするコンピュータ可読記憶媒体。

【請求項20】

コンピューティング機器であって、プロセッサと、コンピュータプログラムを記憶するメモリとを含み、前記コンピュータプログラムは、前記プロセッサにより実行されると、前記プロセッサが請求項１～請求項１０のいずれか一項に記載の方法を実行するようにすることを特徴とするコンピューティング機器。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１９年６月５日に中国特許局に提出された、出願番号が２０１９１０４８６８９６．１であり、出願名称が「深層変換アーキテクチャに基づくシーケンスラベリング方法及び装置」である中国特許出願の優先権を主張する。

【0002】

本願の実施例はデータ処理の技術分野に関し、具体的には、言語シーケンスラベリング方法、装置、記憶媒体及びコンピューティング機器に関する。

【背景技術】

【0003】

自然言語処理（ＮａｔｕｒｅＬａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）はコンピュータ科学分野と人工知能分野における重要な方向である。自然言語で人間とコンピュータとの効果的な通信を実現できる様々な理論や方法を研究している。自然言語処理は言語学、コンピュータ科学、数学を統合した科学である。したがって、この分野の研究は自然言語、即ち、人間が日常的に使っている言語に関するため、言語学の研究と密接に関連している。自然言語処理技術は通常、テキスト処理、意義理解、機械翻訳、ロボットの質問応答、知識グラフ等の技術を含む。

【0004】

シーケンスラベリングは自然言語処理の基本的な作業であり、自然言語処理で難しい問題でもあり、主に品詞ラベリング、固有表現認識等を含む。例えば、固有表現認識の主なタスクはテキスト中の人名、地名、組織名等の固有名詞及び意味のある時間、日付等のフレーズを認識することである。シーケンスラベリングタスクは情報抽出の重要な構成部分であり、その効果は機械翻訳、インテリジェント対話システム等に大きな影響を与える。

【0005】

現在、シーケンスラベリングの主なモデルは従来の機械学習モデル及びニューラルネットワークモデルに分けられる。近年、従来の機械学習モデルに比べて、ニューラルネットワークモデルがシーケンスラベリングタスクにおいて少量の人工的な特徴を補助として使用されてよりよい効果を達成できる。

【0006】

しかしながら、上記従来技術では、隣接する隠れ層の状態間の変換プロセスは浅く、豊富な言語的特徴を抽出するのに十分ではない。また、従来技術では、言語シーケンスにおける各単語の位置でグローバル情報に対する表現が不十分であり、現在の単語に対して正確に予測することは困難である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

以上に鑑みて、本願の実施例は言語シーケンスラベリング方法、装置、記憶媒体及びコンピューティング機器を提供する。

【課題を解決するための手段】

【0008】

本願の実施例の一態様によれば、コンピューティング機器が実行する言語シーケンスラベリング方法を提供する。該方法は、
言語シーケンスの第１埋め込み表現を読み取るステップであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現であるステップと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するステップと、
前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するステップと、を含む。

【0009】

本願の実施例の別の態様によれば、言語シーケンスラベリング装置を提供する。該装置は、シーケンスラベリングエンコーダと、シーケンスラベリングデコーダと、を含み、
前記シーケンスラベリングエンコーダは、
言語シーケンスの第１埋め込み表現を読み取るための第１読み取りモジュールであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現である第１読み取りモジュールと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するための第１深層変換モジュールと、を含み、
シーケンスラベリングデコーダは、前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するためのものである。

【0010】

本願の実施例の別の態様によれば、コンピュータ可読記憶媒体を提供し、コンピュータプログラム命令が記憶されており、プロセッサが前記コンピュータプログラム命令を実行すると、前記プロセッサが前記方法を実行する。

【0011】

本願の実施例の別の態様によれば、コンピューティング機器を提供する。該コンピューティング機器はプロセッサと、コンピュータプログラムを記憶するメモリとを含み、前記コンピュータプログラムが前記プロセッサにより実行されると、前記プロセッサが前記方法を実行する。

【図面の簡単な説明】

【0012】

以下、図面を参照しながら本願の実施例をより詳しく説明する。

【0013】

【図1a】本願の一実施例に係る実施環境の構造模式図である。

【図1b】本願の一実施例による言語シーケンスラベリングが基礎技術として使用される応用シーンの模式図を示す。

【図2】本願の別の一実施例による言語シーケンスラベリングが基礎技術として使用される応用シーンの模式図を示す。

【図3】本願の一実施例によるシーケンスラベリング用のエンコーダ－デコーダアーキテクチャの模式図を示す。

【図4】本願の一実施例によるグローバル情報強化の深層変換に基づくシーケンスラベリングアーキテクチャの図を示す。

【図5】本願の一実施例による言語シーケンスラベリング方法のフローチャートを示す。

【図6】本願の別の一実施例による言語シーケンスラベリング方法のフローチャートを示す。

【図7】本願の一実施例による言語シーケンスラベリング装置の模式図を示す。

【図8】本願の別の一実施例による言語シーケンスラベリング装置の模式図を示す。

【図9】例示的なシステムを示し、本明細書に記載される様々な技術を実現できる１つ又は複数のシステム及び／又は機器を代表する例示的なコンピューティング機器を含む。

【発明を実施するための形態】

【0014】

以下の説明は本願の実施例の様々な実施例を十分に理解及び実施するための特定の詳細を提供する。当業者にとって、本願の実施例の技術案はこれらの詳細のいくつかを省略しても実施できると理解すべきである。場合によっては、本願の実施例に対する説明を不必要に曖昧にすることを回避するために、いくつかの周知する構造及び機能を示していない又は詳しく説明していない。本願の実施例で使用される用語については、本願の特定実施例と組み合わせて使用される場合であっても、最も広い合理的な方法で理解すべきである。

【0015】

本願の実施例では、言語シーケンスラベリングは基礎となる処理として応用され、中国語単語分割、品詞ラベリング、固有表現認識等の問題を解決できる。言語シーケンスラベリングタスクは情報抽出の重要な構成部分であり、具体的には、機械翻訳、インテリジェント対話システム等に適用されることができる。固有表現認識は情報抽出、質問応答システム、構文解析、機械翻訳等の応用分野における重要な基本ツールである。

【0016】

図１ａは本願の一実施例に係る実施環境の構造模式図である。図１に示すように、言語シーケンスラベリングシステム１００はサーバ１１０と、ネットワーク１２０と、端末機器１３０と、ユーザー１４０とを含む。サーバ１１０はプロセッサ及びメモリを含み、本願における方法実施例はプロセッサによりメモリに記憶された命令を実行することで実行される。具体的には、サーバ１１０は言語シーケンスラベリング装置１１１及び訓練データベース１１２を含む。端末機器１３０にクライアント１３０－１がインストールされている。

【0017】

クライアント１３０－１は言語シーケンスを受信するアプリケーションプログラムとして、ユーザーが入力する音声又は文字を受信でき、その中からラベリングする対象となる言語シーケンスを取得する。その後、端末機器１３０はラベリングする対象となる言語シーケンスをサーバ１１０に送信し、サーバ１１０の言語シーケンスラベリング装置１１１は該言語シーケンスに対してラベリング解析を行う。

【0018】

本願の実施例に記載される方法によれば、訓練データベース１１２に事前訓練された単語ベクトルテーブルが記憶されている。言語シーケンスラベリング装置１１１は訓練データベース１１２から事前訓練単語ベクトルを取得し、第１埋め込み表現及び第２埋め込み表現を構成する。言語シーケンスラベリング装置１１１は深層変換リカレントニューラルネットワークを構築することで、言語シーケンスのラベリング結果を獲得し、該ラベリング結果に応じて、ユーザーの意図を理解し、端末機器１３０に返信するメッセージを決定し、クライアント１３０－１に該メッセージを表示して、ヒューマンマシンインタラクションを実現する。

【0019】

サーバ１１０は１台のサーバであってもよく、又は複数台のサーバからなるサーバクラスターであってもよく、又は１つのクラウドコンピューティングサービスセンターであってもよい。ネットワーク１２０は無線又は有線でサーバ１１０と端末機器１３０を接続してもよい。端末機器１３０はインテリジェント端末であってもよく、スマートフォン、タブレットコンピュータ、ラップトップポータブルコンピュータ等を含む。

【0020】

図１ｂは本願の実施例が基礎技術として応用されるインテリジェント対話システムの応用シーンを模式的に示し、具体的には、１つのヒューマンマシンインタラクションインタフェース２００を示す。該インタラクションインタフェース２００では、２１０及び２２０に示すように、ユーザーは音声又は文字からなる言語シーケンスを入力できる。機械はバックグラウンドで、ユーザーが入力した言語シーケンス、例えば、２１０「トイレはどこですか」等に対してシーケンスラベリング解析を行うことで、ユーザーの意図、例えば、ユーザーの質問を理解できる。２３０及び２４０に示すように、機械はユーザーの質問に対応する応答を提供する。上記言語シーケンス２１０に対して、対応する応答２３０「デパートの２、３、４階にある」を提供し、それにより機械とユーザーとの間のインテリジェント対話を実現できる。当業者にとって理解できることは、本願の実施例は言語シーケンスを解析する必要がある他の様々なシーンにも適用できる。

【0021】

シーケンスラベリング方法とは、線形シーケンスにおける各要素に対して分類することであり、例えば、シーケンスＸ＝ｘ_１，ｘ_２，…ｘ_ｎにおける各要素にラベルセットＹ＝ｙ_１，ｙ_２，…ｙ_ｎにおける特定のラベルを追加する。

【0022】

例えば、入力された言語シーケンス「アインシュタインはドイツで生まれた」について、品詞解析タスクでは、要素に品詞ラベルを追加し、結果としてアインシュタイン［名詞］、生まれた［動詞］、で［介詞］、ドイツ［名詞］を出力する。

【0023】

固有表現認識タスクでは、テキストにおける特定の意味を持つ固有表現認識し、人名、地名、機構名、固有名詞等を含む。上記例では、命名された固有表現にラベルを追加し、結果としてアインシュタイン［人名］、ドイツ［組織名］を出力する。

【0024】

図２は本願の実施例が基礎技術として応用される機械翻訳の応用シーンを模式的に示し、具体的には、１つのヒューマンマシンインタラクションインタフェース３００を示す。該インタフェース３００では、例えば、翻訳君３２１、テンセントＡＩｌａｂ３２２のような複数の技術プロバイダを提供し、テキスト翻訳３１１、音声翻訳３１２、ピクチャ翻訳３１３を含む様々なバックグラウンドサービスをユーザーに提供できる。例えば、テキスト翻訳３１１を例にすると、左側のボックス３３１に入力された言語シーケンスを右側のボックス３３２における言語シーケンスに翻訳することができる。例えば、図２では、左側のボックス３３１に中国語の「我明天去北京玩」を入力した場合、基礎技術の１つであるシーケンスラベリング等の処理を経て、右側のボックス３３２に「Ｉ’ｍｇｏｉｎｇｔｏＢｅｉｊｉｎｇｔｏｍｏｒｒｏｗ」を出力する。以上からわかるように、本願の実施例におけるシーケンスラベリング処理は、基礎アプリケーションとしてバックグラウンドで、入力された言語を解析及び処理することができる。

【0025】

シーケンスラベリングタスクでは、コアアーキテクチャはエンコーダ－デコーダスキームである。エンコーダは可変長入力を処理し、固定長のベクトル表現を作成する。デコーダは符号化済みのベクトル表現に基づいて可変長シーケンス（目標シーケンス）を生成する。図３はシーケンスラベリング用のエンコーダ－デコーダアーキテクチャの模式図を示す。図３に示すように、シーケンスラベリングの品詞解析を例にすると、エンコーダに入力される可変長シーケンスがＸ＝ｘ_１，ｘ_２，…ｘ_ｎであり、エンコーダにより出力される符号化済みのベクトル表現が［ｚ_１，ｚ_２，…ｚ_ｄ］であり、デコーダにより出力される可変長シーケンスがＹ＝ｙ_１，ｙ_２，…ｙ_ｎである。

【0026】

図４は本願の一実施例によるグローバル情報強化の深層変換に基づくシーケンスラベリングアーキテクチャの図を示し、例えば、図１ａ中のサーバ１１０のようなコンピューティング機器に適用できる。図４に示すアーキテクチャでは、グローバル情報エンコーダ４０１と、シーケンスラベリングエンコーダ４０２と、シーケンスラベリングデコーダ４０３とを含む。

【0027】

具体的には、処理する対象となる言語シーケンスはｘ_１，ｘ_２，…ｘ_ｎであり、ｘ_ｎの各々は処理する対象となる言語シーケンスの１つの単語を示し、ｎ＝１，…，Ｎであり、Ｎは正の整数であり、該言語シーケンス中の単語の総数を示す。言語シーケンスに対して双方向深層変換処理を行うことを例にすると、それぞれ順方向ｘ_１，ｘ_２，…ｘ_ｎ及び逆方向ｘ_ｎ，ｘ_ｎ－１，…ｘ_１の順序で言語シーケンスに対して深層変換処理を行う。

【0028】

本願の実施例では、深層変換（ＤＴ）とは、ニューラルネットワーク構造における多階層の非線形回帰型ユニットを用いて複数の隣接する時間ステップ間の処理深度を増加させることである。図４では、各キューブはＤＴ回帰型ニューロンを示し、ＤＴユニットと略称される。具体的には、ブロック４０４には４個のマークの意味が示されており、それぞれ、右斜線付きキューブは前方（左から右へ）のＤＴユニットを示し、左斜線付きキューブは後方（右から左へ）のＤＴユニットを示し、斜線無しブロックは一方向ＤＴユニットを示し、丸みを帯びたブロックは単語埋め込みを示す。

【0029】

グローバル情報エンコーダ４０１は言語シーケンスｘ_１，ｘ_２，…ｘ_ｎの第２埋め込み表現を読み取り、文字レベル単語埋め込み表現ｃ_１，ｃ_２，…ｃ_ｎ及び事前訓練単語埋め込み表現ｗ_１，ｗ_２，…ｗ_ｎを含む。文字レベル単語埋め込み表現ｃ_ｎ及び事前訓練単語埋め込み表現ｗ_ｎはそれぞれ、入力された言語シーケンスにおけるサブ単語ｘ_ｎに対応する。文字レベル単語埋め込みｃ_ｎは文字レベルで学習を行う単語ベクトルであり、サブ単語ｘ_ｎを文字レベルで畳み込み処理することによって得たものである。事前訓練単語埋め込み表現ｗ_ｎはサブ単語ｘ_ｎに応じて、事前訓練して記憶された単語ベクトルテーブルから検索された単語ベクトルである。

【0030】

一例では、テキストシーケンスの「我在家」の事前訓練単語埋め込み表現ｗ_ｎの場合、我＝［０．５４８６４６４，０．１４６５４６４２，…，０．４４８９７８９］は３００次元のベクトルであり、同様に、「在」及び「家」もそれぞれ３００次元のベクトルである。

【0031】

サブ単語ｘ_ｎに対応するｃ_ｎとｗ_ｎを接合して、言語シーケンスの第２埋め込み表現を構成する。その後、読み込んだ言語シーケンスの第２埋め込み表現に対して第２深層変換符号化を行う。

【0032】

本願の実施例では、深層変換リカレントニューラルネットワークを構築することによって、深層変換を実行する。深層変換リカレントニューラルネットワークは線形変換によって改良されたゲート付き回帰型ユニット（ＧＲＵ）から構成される。ＧＲＵは長期短期記憶（ＬＳＴＭ）の変形である。一方、ＬＳＴＭは時間リカレントニューラルネットワークであり、時系列で間隔及び遅延が相対的に長いイベントを処理及び予測することに適する。リカレントニューラルネットワーク（ＲＮＮ）はシーケンスデータを入力とし、シーケンスの進化方向に再帰的であり、すべてのノード（回帰型ユニット）がチェーンの形で接続される再帰型ニューラルネットワークである。ＧＲＵはＬＳＴＭの効果を保持するとともに、構造がさらに簡単であり、ＲＮＮにおける勾配消失に非常に寄与する。

【0033】

グローバル情報エンコーダ４０１の深層変換ユニット４０１１は第２深層変換リカレントニューラルネットワークを表し、１層の線形変換強化ゲート付き回帰型ユニット（Ｌ－ＧＲＵ）及び１層の変換ゲート付き回帰型ユニット（Ｔ－ＧＲＵ）を含む。最下位層はＬ－ＧＲＵユニットを使用し、その上位層はＴ－ＧＲＵユニットを使用する。当業者にとって理解できることは、他の層数のＴ－ＧＲＵユニットを使用してもよく、典型的には、２－３層である。

【0034】

具体的には、ＧＲＵは入力層と、隠れ層と、出力層とを含む。ＧＲＵでは、ｔ時刻の隠れ層状態表現は下記式（１）のようである。

【0035】

【数1】

【数2】

は候補活性化であり、下記式（２）によって計算される。

【0036】

【数3】

式中、Ｗは学習対象となるネットワークパラメータ、x_tは時刻ｔの入力符号化ベクトル、r_tはリセットゲート。リセットゲートr_t及び更新ゲートz_tは下記式（３）及び（４）によって計算される。

【0037】

r_t=σ(w_xrx_t+w_hrh_t-1) （３）
z_t=σ(w_xzx_t+w_hzh_t-1) （４）
式中、σは重み係数であり、r_t及びz_tの値を［０，１］にする。

【0038】

Ｔ－ＧＲＵは１つのタイプのゲート付き回帰型ユニットであり、深層変換リカレントニューラルネットワークの第１層に出現しないため、ＧＲＵのような入力符号化ベクトルx_tを具備せず、ｔ時刻における隠れ層状態は下記式（５）及び（６）によって計算される。

【0039】

【数4】

リセットゲートr_t及び更新ゲートz_tは下記式（７）及び（８）によって計算される。

【0040】

r_t=σ(w_hrh_t-1) （７）
z_t=σ(w_hzh_t-1) （８）
式中、Ｗは学習対象となるネットワークパラメータである。

【0041】

Ｌ－ＧＲＵは別のタイプのゲート付き回帰型ユニットであり、ｔ時刻の隠れ層状態は下記式（９）によって計算される。

【0042】

【数5】

式中、候補活性化

【数6】

は下記式（１０）によって計算される。

【0043】

【数7】

リセットゲートr_t、更新ゲートz_tは上記式（３）、（４）と同じであり、線形変換ゲートl_tは下記式（１１）によって計算される。

【0044】

【数8】

グローバル情報エンコーダ４０１で行われる第２深層変換符号化は双方向である。したがって、接合ユニット４０１２は同一サブ単語ｘ_ｎに対して順方向及び逆方向深層変換処理を行った結果を接合し、情報集約処理ユニット４０１３によって次元を削減して、グローバル単語埋め込みベクトルｇを獲得する。一実施例では、情報集約処理は平均プーリング、最大プーリング又はアテンションメカニズムを含んでもよい。

【0045】

シーケンスラベリングエンコーダ４０２はグローバル情報エンコーダ４０１により出力されたグローバル単語埋め込みベクトルｇを用いて言語シーケンス埋め込み表現を強化する。例示的には、シーケンスラベリングエンコーダ４０２が読み取った言語シーケンスの第１埋め込み表現は、４０２１に示す文字レベル単語埋め込み表現ｃ_１，ｃ_２，…ｃ_ｎ、４０２２に示す事前訓練単語埋め込み表現ｗ_１，ｗ_２，…ｗ_ｎ、及び４０２３に示すグローバル単語埋め込み表現ｇを含む。文字レベル単語埋め込み表現ｃ_ｎ及び事前訓練単語埋め込み表現ｗ_ｎはそれぞれ、入力された言語シーケンスにおけるサブ単語ｘ_ｎに対応する。サブ単語ｘ_ｎに対応するｃ_ｎ、ｗ_ｎ及びグローバル単語埋め込みベクトルｇを接合して、言語シーケンスの第１埋め込み表現を構成する。

【0046】

具体的には、ｎ個の単語を持つ言語シーケンスＸ＝｛ｘ_１，ｘ_２，…，ｘ_ｎ｝を考慮して、本願の実施例のシーケンスラベリングエンコーダ４０２は、まず、３つのプライマリ埋め込みｃ_ｔ、ｗ_ｔ及びｇを直列接続することによってｔ時刻の各単語の表現ｘ_ｔ＝［ｃ_ｔ；ｗ_ｔ；ｇ］をキャプチャする。文字レベル単語埋め込み表現ｃ_ｔは回帰型畳み込みネットワーク（ＣＮＮ）によって取得されたものである。事前訓練単語埋め込み表現ｗ_ｔはルックアップテーブルから検索することによって取得されたものである。グローバル単語埋め込み表現ｇは事前符号化計算によって得られた言語シーケンスに対するグローバルコンテキスト表現であり、即ち、上記グローバル情報エンコーダ４０１によって双方向の第２深層変換リカレントニューラルネットワークから抽出されたものである。

【0047】

その後、シーケンスラベリングエンコーダ４０２は第１深層変換リカレントニューラルネットワークに基づいて、読み込んだ言語シーケンスの第１埋め込み表現に対して第１深層変換符号化を行う。一実施例では、第１深層変換符号化は双方向に行われる。深層変換ユニット４０２４で表される第１深層変換リカレントニューラルネットワークでは、最下位層はＬ－ＧＲＵユニットを使用し、残りの層はＴ－ＧＲＵユニットを使用する。図４に示す例では、使用するＴ－ＧＲＵユニットの層数は通常、２－５であり、当業者にとって理解できることは、他の層数のＴ－ＧＲＵユニットを使用してもよい。シーケンスラベリングエンコーダ４０２はグローバル情報エンコーダ４０１と比較すると、使用するＬ－ＧＲＵ層数はいずれも１層である。

【0048】

接合ユニット４０２５は同一サブ単語ｘｎに対して順方向及び逆方向深層変換処理を行った結果を接合して、各単語に対応する第１隠れ層状態表現h_tを獲得する。

【0049】

シーケンスラベリングデコーダ４０３は各時刻ｔにおいて、シーケンスラベリングエンコーダ４０２から現在の単語に対応する第１隠れ層状態表現h_tを読み込み、前の時刻のラベル情報y_t-1に基づいて復号化する。具体的には、以下のステップを含む。

【0050】

まず、各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の第１隠れ層状態表現に対して深層変換を行い、各単語に対応する第２隠れ層状態表現s_tを獲得する。

【0051】

次に、第２隠れ層状態表現s_t及び前の時刻のラベル情報y_t-1に対して線形変換を行い、隠れ層状態の次元をラベルの数に等しくする。

【0052】

l_t=s_tW_l+b_l （１２）
最後に、ｓｏｆｔｍａｘ操作によって、l_tを確率分布形式に正規化し、ｉ番目の単語に対して、ラベルｊと予測される確率は、
P(y_t=j|x_t)=softmax(l_t)[j] （１３）であり、
このように、各単語のラベル予測結果を獲得する。

【0053】

シーケンスラベリングデコーダ４０３は一方向構造を使用し、一方向深層変換を実行する。その回帰型ニューロンＤＴの構造は上記グローバル情報エンコーダ４０１及びシーケンスラベリングエンコーダ４０２の回帰型ニューロンＤＴの構造と類似し、第１層（図４中の４０３１を参照）はＬ－ＧＲＵであり、残りの層はＴ－ＧＲＵである。

【0054】

図５は本願の一実施例による言語シーケンスラベリング方法のフローチャートを模式的に示し、例えば、図１ａ中のサーバ１１０のようなコンピューティング機器によって実行される。具体的には、以下のステップ５０１～５０３を含む。

【0055】

ステップ５０１では、言語シーケンスの第１埋め込み表現を読み取り、第１埋め込み表現は言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、グローバル単語埋め込み表現は、言語シーケンスのグローバルコンテキスト表現である。

【0056】

第１埋め込み表現は、言語シーケンスの文字レベル単語埋め込み表現ｃ_ｎ、事前訓練単語埋め込み表現ｗ_ｎ及びグローバル単語埋め込み表現ｇを含む。文字レベル単語埋め込みｃ_ｎは文字レベルで学習を行う単語ベクトルであり、サブ単語ｘ_ｎを文字レベルで畳み込み処理することで得られる。事前訓練された単語ベクトルｗ_ｎはサブ単語ｘ_ｎに応じて、事前訓練して記憶された単語ベクトルテーブルから検索することによって得られる。各サブ単語ｘ_ｎに対して、それに対応する文字レベル単語埋め込み表現ｃ_ｎ、事前訓練単語埋め込み表現ｗ_ｎ及びグローバル単語埋め込み表現ｇを接合する。該グローバル単語埋め込み表現ｇは事前符号化計算によって得られた言語シーケンスに対するグローバルコンテキスト表現である。

【0057】

ステップ５０２では、第１深層変換リカレントニューラルネットワークに基づいて、第１埋め込み表現に対して第１深層変換符号化を行い、言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力する。

【0058】

一実施例では、第１深層変換符号化は、第１埋め込み表現に対して、それぞれ順方向及び逆方向の２つの方向に第１深層変換符号化を実行する、即ち、左から右への順方向及び右から左への逆方向に行われる双方向深層変換を含む。双方向深層変換に対して、順方向及び逆方向の深層変換符号化結果を接合する必要がある。順方向及び逆方向で獲得された深層変換符号化結果を接合して、各単語に対応する第１隠れ層状態表現を獲得する。

【0059】

第１深層変換符号化のネットワークアーキテクチャでは、最下位層における深層変換ユニットはＬ－ＧＲＵユニットを使用し、残りの層における深層変換ユニットはＴ－ＧＲＵユニットを使用する。一例では、使用されるＴ－ＧＲＵユニットの層数は通常、２－５であり、当業者にとって理解できることは、他の層数のＴ－ＧＲＵユニットを使用してもよい。

【0060】

ステップ５０３では、第１隠れ層状態表現を復号化して、言語シーケンスのラベリング結果を獲得する。

【0061】

本ステップの復号化方法は、上記シーケンスラベリングデコーダ４０３に対する説明を参照すればよく、ここでは詳細説明をしない。

【0062】

上記実施例によれば、グローバル情報により強化された深層変換アーキテクチャに基づくシーケンスラベリング方法を提供し、リカレントニューラルネットワークの隣接する状態間の変換プロセスを深めることができる。それとともに、グローバル情報エンコーダによって各単語のローカル情報を強化し、より全面的な特徴表現を取得し、予測精度を高める。

【0063】

図６は本願の別の一実施例による言語シーケンスラベリング方法のフローチャートを模式的に示し、該方法は、例えば、図１ａ中のサーバ１１０のようなコンピューティング機器によって実行される。図５の方法のフローをもとに、図６は具体的に、以下のステップ６０１～６０３を含む。

【0064】

ステップ６０１では、線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築する。

【0065】

本ステップでは、構築した深層変換リカレントニューラルネットワークは複数層のＧＲＵから構成され、Ｌ－ＧＲＵとＴ－ＧＲＵを使用する層数は設定可能である。例えば、シーケンスラベリングエンコーダ４０２に使用される第１深層変換リカレントニューラルネットワークは、１層のＬ－ＧＲＵ及び少なくとも２層のＴ－ＧＲＵから構成されてもよい。グローバル情報エンコーダ４０１に使用される第２深層変換リカレントニューラルネットワークは、１層のＬ－ＧＲＵ及び１層のＴ－ＧＲＵから構成されてもよい。１層のＬ－ＧＲＵはネットワークの最下位層にある。

【0066】

ステップ６０２では、言語シーケンスの第２埋め込み表現を読み取り、第２埋め込み表現は文字レベル単語埋め込み表現及び事前訓練単語埋め込み表現を含む。

【0067】

文字レベル単語埋め込み表現ｃ_ｎ及び事前訓練単語埋め込み表現ｗ_ｎはそれぞれ、入力された言語シーケンスにおけるサブ単語ｘ_ｎに対応する。文字レベル単語埋め込み表現ｃ_ｎは文字レベルで学習を行う単語ベクトルであり、サブ単語ｘ_ｎを文字レベルで畳み込み処理することによって得られる。事前訓練埋め込み表現はサブ単語ｘ_ｎに応じて、事前訓練して記憶された単語ベクトルテーブルから検索された単語ベクトルである。

【0068】

ステップ６０３では、第２深層変換リカレントニューラルネットワークに基づいて、第２埋め込み表現に対して第２深層変換符号化を行い、グローバル単語埋め込み表現を獲得する。

【0069】

一実施例では、第２埋め込み表現に対して第２深層変換符号化を行った後、次元削減を行うために、第２深層変換符号化後の結果に対して情報集約を行い、グローバル単語埋め込み表現を獲得する。具体的には、第２深層変換符号化は、読み取った第２埋め込み表現に対して、それぞれ左から右への順方向及び右から左への逆方向の２つの方向に深層変換符号化を行うステップを含む。順方向及び逆方向の２つの方向に深層変換符号化を行う場合、順方向及び逆方向の２つの方向に深層変換を行った結果を接合し、さらに情報集約を行う。情報集約は最大プーリング又は平均プーリングを含んでもよい。

【0070】

第２深層変換符号化は線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵから構成される第２深層変換リカレントニューラルネットワークによって行われる。Ｌ－ＧＲＵは第２深層変換リカレントニューラルネットワークにおける回帰型ユニットの第１層に位置し、Ｔ－ＧＲＵは深層変換リカレントニューラルネットワークにおける回帰型ユニットの他の層に位置する。一実施例では、第１深層変換リカレントニューラルネットワークにおけるＴ－ＧＲＵの層数は１であり、当業者にとって理解することは、第２深度リカレントネットワークにおいて、例えば、２－３層のような他の層数のＴ－ＧＲＵを有してもよい。

【0071】

ステップ５０１及び５０２を実行した後、ステップ６０４及び６０５を実行し、
ステップ６０４では、各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得する。

【0072】

本願の一実施例では、行われる深層変換は一方向深層変換であってもよい。例えば、図４に示すシーケンスラベリングデコーダ４０３では、４０３１に含まれるのは一方向ＤＴユニットである。

【0073】

ステップ６０５では、第２隠れ層状態表現に基づいて、言語シーケンスのラベリング結果を獲得する。

【0074】

本願の一実施例では、複数のラベルを事前設定し、第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行った後、該単語が各ラベルに属する確率を取得する。例えば、ラベルセットＹ＝ｙ_１，ｙ_２，…ｙ_ｎを事前設定し、上記式（１２）及び（１３）を参照して、各単語がラベルセットＹ中の各ラベルに属する確率を、該単語のラベル予測結果として獲得して、即ち、該言語シーケンスのラベリング結果を獲得する。

【0075】

図７は本願の一実施例による言語シーケンスラベリング装置７００の模式図を模式的に示し、該装置７００は、例えば、図１ａに示すサーバ１１０のようなコンピューティング機器に適用できる。言語シーケンスラベリング装置７００はシーケンスラベリングエンコーダ７０１とシーケンスラベリングデコーダ７０２とを含む。シーケンスラベリングエンコーダ７０１は第１読み取りモジュール７０１１と第１深層変換モジュール７０１２とを含む。

【0076】

第１読み取りモジュール７０１１は、言語シーケンスの第１埋め込み表現を読み取るためのものであり、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現である。

【0077】

第１深層変換モジュール７０１２は、第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するためのものである。

【0078】

シーケンスラベリングデコーダ７０２は、前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するためのものである。

【0079】

図８は本願の別の一実施例による言語シーケンスラベリング装置８００の模式図を模式的に示し、該装置８００は、例えば、図１ａに示すサーバ１１０のようなコンピューティング機器に適用できる。図７に示す装置をもとに、言語シーケンスラベリング装置８００はグローバル情報エンコーダ７０３をさらに含む。

【0080】

一実施例では、グローバル情報エンコーダ７０３は前記グローバル単語埋め込み表現を取得するためのものであり、
前記言語シーケンスの第２埋め込み表現を読み取るための第２読み取りモジュール７０３１であって、前記第２埋め込み表現は前記文字レベル単語埋め込み表現及び前記事前訓練単語埋め込み表現を含む第２読み取りモジュール７０３１と、
第２深層変換リカレントニューラルネットワークに基づいて、前記第２埋め込み表現に対して第２深層変換符号化を行い、前記グローバル単語埋め込み表現を獲得するための第２深層変換モジュール７０３２と、を含む。

【0081】

一実施例では、グローバル情報エンコーダ７０３は、
前記第２深層変換符号化後の結果に対して情報集約を行い、前記グローバル単語埋め込み表現を獲得するように構成される情報集約モジュール７０３３をさらに含む。

【0082】

グローバル情報エンコーダ７０３は双方向深層変換符号化、即ち、左から右への変換符号化及び右から左への深層変換符号化を行うことができる。双方向深層変換符号化は、入力シーケンスの方向が異なる以外、他の差異がない。

【0083】

一実施例では、第１深層変換モジュール７０１２は、前記第１埋め込み表現に対して、それぞれ順方向及び逆方向の２つの方向に前記第１深層変換符号化を実行し、順方向及び逆方向で獲得した深層変換符号化結果を接合して、各単語に対応する前記第１隠れ層状態表現を獲得するためのものである。

【0084】

一実施例では、装置８００は、
線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築するための構築モジュール７０４をさらに含む。

【0085】

一実施例では、前記第１深層変換リカレントニューラルネットワークは１層のＬ－ＧＲＵ及び少なくとも２層のＴ－ＧＲＵから構成される。

【0086】

一実施例では、シーケンスラベリングデコーダ７０２は、
各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の前記第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得するための第３深層変換モジュール７０２２と、
前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得するためのラベリングモジュール７０２３と、を含む。

【0087】

一実施例では、シーケンスラベリングデコーダ７０２は、
複数のラベルを事前設定するための設定モジュール７０２１をさらに含み、
ラベリングモジュール７０２３は、前記第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行った後、該単語が各ラベルに属する確率を取得するためのものである。

【0088】

第１深層変換モジュール７０１２、第２深層変換モジュール７０３２は双方向ＤＴを実行する。一方、第３深層変換モジュール７０２２は一方向ＤＴを実行する。

【0089】

以下、一方向変換エンコーダを例に説明する。Ｌは変換エンコーダ深度を示し、ｉ時刻、深度ｊにおいて、深層変換エンコーダの隠れ層状態は下記式（１４）及び（１４）によって計算される。

【0090】

【数9】

深層変換符号化を行った後、ｉ番目の単語に対応する状態は

【数10】

である。同様に２つの方向の深層変換符号化を計算し、２つの方向の符号化された隠れ層状態表現を接合して、ｉ番目の単語に対応する最終符号化表現

【数11】

を獲得する。

【0091】

その後、第２深層変換モジュール７０３２は各単語の符号化表現に対して平均プーリングを行い、最終的な言語シーケンス全体のグローバル表現

【数12】

を獲得する。

【0092】

本願の実施例のシーケンスラベリングスキームは従来の双方向ＬＳＴＭモデルに比べて、より良好なラベリング効果を示し、文中の固有表現、文法ブロック、品詞等の情報をより正確に認識でき、さらに、例えばマイクロ対話システムのような従来の関連アプリケーションシステムを最適化する。

【0093】

Ｆ１は精度及びフィードバック率を表す平均指標である。シーケンスラベリングの評注指標Ｆ１を例にして、実際にテストを行ったところ、本願の実施例のスキームは様々な点でＦ１値が上がった。表１は固有表現認識及び文法ブロック認識における様々なスキームでのＦ１性能の比較を模式的に示す。

【0094】

【表1】

【0095】

表１に示すように、シーケンスラベリングにおける固有表現認識について、本願の実施例のスキームはＦ１値を従来技術の９１．６４よりも０．３２上げ、シーケンスラベリングにおける文法ブロック認識について、Ｆ１値を従来技術の９５．２９よりも０．１４上げた。

【0096】

また、本願の実施例をもとに、変換器に基づく双方向エンコーダ表現（ＢＥＲＴ）を組み合わせることで、性能をさらに向上させる。

【0097】

【表2】

【0098】

表２はスタック型リカレントニューラルネットワークとの性能比較を示す。まず、スタック型リカレントニューラルネットワークが非常に深い構造を処理できるが、単語レベルで連続する隠れ層状態間の変換深度は浅い。次に、スタック型リカレントニューラルネットワークでは、シーケンスの軸方向に沿う隠れ層状態は簡単に上位層の対応する位置にフィードされ、つまり、深度アーキテクチャのみでは位置感知特徴のみを伝送する。

【0099】

一方、本願の実施例では、グローバルエンコーダのすべての単語位置の内部状態は固定サイズのベクトルに変換される。スタック型リカレントニューラルネットワークに比べて、このようなコンテキスト感知表現は文のより一般的でより多くの情報の特徴を提供する。より厳密な比較を獲得するために、本願の実施例と類似するパラメータ数値を持つスタック型リカレントニューラルネットワークを使用する。表２中の数値スタック型リカレントニューラルネットワークによれば、スタック型リカレントニューラルネットワークと本願の実施例の技術案の間に大きなギャップがまだある。表２に示すように、本願の実施例はより小さいパラメータ量で、スタック型リカレントニューラルネットワークよりも良好な性能を実現し、図中の固有表現認識Ｆ１に対する列に示すように、本願の実施例のＦ１は９１．９６であり、スタック型リカレントニューラルネットワークよりも１．０２高い。それにより、本願の実施例の技術案はグローバル情報を効果的に利用して、より多くのシーケンスラベリングタスクの有用な表現を学習できることが確認された。

【0100】

【表3】

【0101】

表３はモデルアブレーション実験の結果、即ち、それぞれ文字レベル単語埋め込み表現（即ち、図４中の４０２１）、事前訓練単語埋め込み表現（即ち、図４中の４０２２）、グローバル単語埋め込み表現（即ち、図４中の４０２３）及び深層変換リカレントニューラルネットワーク（図４中の４０２４）のうちのいずれかを除去し、残りの３つの構成部分を保留する情况に得た固有表現認識タスクのＦ１値を示す。

【0102】

４つの部分がすべて存在する情况場合、Ｆ１値は９１．９６と最も高く、文字レベル畳み込みネットワークをアブレーションする場合における９０．９４、事前訓練単語ベクトルをアブレーションする場合における８８．５９、グローバル情報をアブレーションする場合における９１．６０、及び深度伝送リカレントネットワークをアブレーションする場合における９１．４２よりも高いことが分かった。以上からわかるように、本願の実施例の技術案の性能は他のアブレーションスキームよりも高い。

【0103】

本願の実施例はグローバル単語埋め込み表現を用いてシーケンスラベリングエンコーダの入力を強化したが、シーケンスラベリングデコーダの入力、ｓｏｆｔｍａｘ分類層の入力とする等の他の方式を用いてグローバル単語埋め込み情報を強化してもよい。

【0104】

しかし、本願の実施例の技術案は効果が最もよく、グローバル単語埋め込み表現と多粒度の文字レベル単語埋め込み表現、事前訓練単語埋め込み表現を接合したものをシーケンスラベリングエンコーダの入力とし、複雑な組合せ計算を経て、各単語位置がより具体的でより豊富な表現を学習でき、それによりモデル全体の効果を向上させる。一方、後の２種のスキームでは、グローバル情報と他の隠れ層状態の特徴空間は類似する。

【0105】

図９は例示的なシステム９００を示し、本明細書に記載される様々な技術を実現できる１つ又は複数のシステム及び／又は機器を代表する例示的なコンピューティング機器９１０を含む。コンピューティング機器９１０は、例えば、サービスプロバイダのサーバ、クライアント（例えば、クライアント機器）に関連付けられた機器、システムオンチップ、及び／又は任意の他の適切なコンピューティング機器又はコンピューティングシステムであってもよい。上記図７の言語シーケンスラベリング装置７００又は図８の言語シーケンスラベリング装置８００はコンピューティング機器９１０の形態を使用してもよい。あるいは、言語シーケンスラベリング装置７００及び８００はシーケンスラベリングアプリケーション９１６の形態でコンピュータプログラムとして実現されてもよい。

【0106】

図示される例示的なコンピューティング機器９１０は、互いに通信結合される処理システム９１１、１つ又は複数のコンピュータ可読媒体９１２、及び１つ又は複数のＩ／Ｏインタフェース９１３を含む。図示していないが、コンピューティング機器９１０は、様々なユニットを互いに接続するシステムバス又は他のデータ及び命令伝送システムをさらに含んでもよい。システムバスは様々なバス構造のいずれか又は組合せを含んでもよく、前記バス構造は、例えば、メモリバス又はメモリコントローラ、ペリフェラルバス、ユニバーサルシリアルバス、及び／又は様々なバスアーキテクチャのうちのいずれかを用いたプロセッサ又はローカルバスであってもよい。例えば、制御及びデータラインのような様々な他の例も想到し得る。

【0107】

処理システム９１１はハードウェアを用いて１つ又は複数の操作を実行する機能を代表する。したがって、図示されるように、処理システム９１１は、プロセッサ、機能ブロック等として構成できるハードウェア素子９１４を含む。これには、ハードウェアで特定用途向け集積回路として実現される、又は１つ又は複数の半導体から形成される他のロジックデバイスが含まれる。ハードウェア素子９１４はその製造材料又は使用する処理機構によって制限されない。例えば、プロセッサは（複数の）半導体及び／又はトランジスタ（例えば、電子集積回路（ＩＣ））からなってもよい。このような場合、プロセッサ実行可能命令は電子的に実行可能な命令であってもよい。

【0108】

図示されるように、コンピュータ可読媒体９１２はメモリ／記憶装置９１５を含む。メモリ／記憶装置９１５は１つ又は複数のコンピュータ可読媒体に関連付けられたメモリ／記憶容量を示す。メモリ／記憶装置９１５は揮発性媒体（例えば、ランダムアクセスメモリ（ＲＡＭ））及び／又は不揮発性媒体（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュ、光ディスク、磁気ディスク等）を含んでもよい。メモリ／記憶装置９１５は固定媒体（例えば、ＲＡＭ、ＲＯＭ、固定ハードディスクドライブ等）及びリムーバブル媒体（例えば、フラッシュ、リムーバブルハードディスクドライブ、光ディスク等）を含んでもよい。コンピュータ可読媒体９１２は以下さらに説明される様々な他の方式で構成されてもよい。

【0109】

１つ又は複数のＩ／Ｏインタフェース９１３は、ユーザーがコンピューティング機器９１０に命令及び情報を入力することを可能にし、選択的に様々な入力／出力機器を用いて情報をユーザー及び／又は他のユニット又は機器に提示することを可能にする機能を代表する。入力機器の例として、キーボード、カーソル制御機器（例えば、マウス）、マイク（例えば、音声入力用）、スキャナー、タッチ機能（例えば、物理的なタッチを検出する静電容量式又は他のセンサ）、カメラ（例えば、可視又は不可視の波長（例えば、赤外線周波数）を用いてタッチとは関係のない動きをジェスチャーとして検出する）等が含まれる。出力機器の例は表示機器（例えば、モニタ又はプロジェクタ）、スピーカー、プリンタ、ネットワークカード、触覚応答機器等を含む。したがって、コンピューティング機器９１０は、ユーザーの対話をサポートするように、以下さらに説明される様々な方式で構成されてもよい。

【0110】

コンピューティング機器９１０はシーケンスラベリングアプリケーション９１６をさらに含む。シーケンスラベリングアプリケーション９１６は、例えば、図５に示す言語シーケンスラベリング装置７００及び８００のソフトウェア例であってもよく、コンピューティング機器９１０の他の素子と組み合わせて、本明細書に記載される技術を実現する。

【0111】

本明細書はソフトウェア・ハードウェア素子又はプログラムモジュールの一般的なコンテキストでは様々な技術を説明できる。一般に、これらのモジュールは、特定のタスクを実行する、又は特定の抽象データタイプを実現するルーチン、プログラム、オブジェクト、要素、ユニット、データ構造等を含む。本明細書で使用する用語「モジュール」、「機能」及び「ユニット」は一般に、ソフトウェア、ファームウェア、ハードウェア又はこれらの組合せを示す。本明細書に記載される技術的特徴はプラットフォームとは無関係であり、これらの技術は様々なプロセッサを持つ様々なコンピューティングプラットフォームで実現できる。

【0112】

説明されるモジュール及び技術の実現は特定の形式のコンピュータ可読媒体に記憶され、又は特定の形式のコンピュータ可読媒体間で伝送されてもよい。コンピュータ可読媒体は、コンピューティング機器９１０がアクセス可能な様々な媒体を含んでもよい。限定ではなく例として、コンピュータ可読媒体は「コンピュータ可読記憶媒体」及び「コンピュータ可読信号媒体」を含んでもよい。

【0113】

単なる信号伝送、キャリア又は信号自体とは反対であり、「コンピュータ可読記憶媒体」とは、情報を永続的に記憶できる媒体及び／又は機器、及び／又は有形の記憶装置である。したがって、コンピュータ可読記憶媒体とは非信号キャリア媒体である。コンピュータ可読記憶媒体は、例えば、揮発性及び不揮発性、リムーバブル及び固定媒体、及び／又は記憶情報（例えば、コンピュータ可読命令、データ構造、プログラムモジュール、ロジック素子／回路又は他のデータ）を記憶する方法又は技術を適用して実現される記憶機器のようなハードウェアを含む。コンピュータ可読記憶媒体の例はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光記憶装置、ハードディスク、カセットテープ、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶機器、又は他の記憶機器、有形の媒体、又は所望の情報を記憶することに適し、コンピュータがアクセス可能な製品を含むが、これらに限定されない。

【0114】

「コンピュータ可読信号媒体」とは、例えば、ネットワークを介して命令をコンピューティング機器９１０のハードウェアに送信する信号キャリア媒体である。信号媒体は典型的には、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを、例えば、キャリア、データ信号又は他の伝送メカニズムの変調データ信号に具体化できる。信号媒体は任意の情報伝送媒体をさらに含む。用語「変調データ信号」とは、このような方式で信号中の情報を符号化することでその特徴のうちの１つ又は複数を設定又は変更する信号である。限定ではなく例として、通信媒体は、例えば、有線ネットワーク又は直接接続された有線媒体、及び、例えば、声、ＲＦ、赤外線及び他の無線媒体などの無線媒体を含む。

【0115】

上述したように、ハードウェア素子９１４及びコンピュータ可読媒体９１２はハードウェアの形態で実現される命令、モジュール、プログラマブルデバイスロジック及び／又は固定デバイスロジックを代表し、いくつかの実施例では、本明細書に記載される技術の少なくともいくつかの態様を実現できる。ハードウェア素子は集積回路又はシステムオンチップ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）及びシリコンにおける他の実現又は他のハードウェア機器のユニットを含んでもよい。このような場合、ハードウェア素子はハードウェア素子により具体化される命令、モジュール及び／又はロジックに定義されたプログラムタスクを実行する処理機器、及び実行用の命令を記憶するハードウェア機器、例えば、上述したコンピュータ可読記憶媒体として機能してもよい。

【0116】

上記組合せは本明細書に記載される様々な技術及びモジュールを実現してもよい。したがって、ソフトウェア、ハードウェア又はプログラムモジュール及び他のプログラムモジュールは、特定の形式のコンピュータ可読記憶媒体における及び／又は１つ又は複数のハードウェア素子９１４により具体化される１つ又は複数の命令及び／又はロジックとして実現されてもよい。コンピューティング機器９１０は、ソフトウェア及び／又はハードウェアモジュールに対応する特定の命令及び／又は機能を実現するように構成されてもよい。したがって、例えば、処理システムのコンピュータ可読記憶媒体及び／又はハードウェア素子９１４を用いることで、少なくとも部分的にハードウェアで、モジュールをコンピューティング機器９１０によりソフトウェアとして実行可能なモジュールとして実現できる。命令及び／又は機能は１つ又は複数の製品（例えば、１つ又は複数のコンピューティング機器９１０及び／又は処理システム９１１）により実行／操作可能であり、それにより本明細書に記載される技術、モジュール及び例を実現する。

【0117】

様々な実施形態では、コンピューティング機器９１０は様々な構成としてもよい。例えば、コンピューティング機器９１０は、パーソナルコンピュータ、デスクトップコンピュータ、マルチスクリーンコンピュータ、ラップトップコンピュータ、ネットブック等のコンピュータ機器を含むように実現されてもよい。コンピューティング機器９１０はさらに、例えば、携帯電話、携帯型音楽プレーヤー、携帯型ゲーム機器、タブレットコンピュータ、マルチスクリーンコンピュータ等のモバイル機器のモバイル装置のような機器を含むように実現されてもよい。コンピューティング機器９１０はさらにテレビ機器として実現されてもよく、娯楽視聴環境における一般に大きなスクリーンを持つ、又はそれに接続される機器を含む。これらの機器はテレビ、セットトップボックス、ゲーム機等を含む。

【0118】

本明細書に記載されている技術は、コンピューティング機器９１０のこれらの様々な構成によってサポートでき、且つ本明細書に記載される技術の具体例に限定されない。機能はさらに、例えば、下記プラットフォーム９２２のような分散型システムによって「クラウド」９２０ですべて又は部分的に実現されてもよい。

【0119】

クラウド９２０はリソース９２４用のプラットフォーム９２２を含み、及び／又は代表する。プラットフォーム９２２はクラウド９２０のハードウェア（例えば、サーバ）及びソフトウェアリソースの基礎機能を抽象化する。リソース９２４は、コンピューティング機器９１０から離れたサーバでコンピュータ処理を実行する時に使用できるアプリケーション及び／又はデータを含んでもよい。リソース９２４はさらに、インターネット、及び／又は、例えば、セルラー又はＷｉ－Ｆｉネットワークの加入者ネットワークによって提供するサービスを含んでもよい。

【0120】

プラットフォーム９２２はリソース及び機能を抽象化することで、コンピューティング機器９１０と他のコンピューティング機器を接続してもよい。プラットフォーム９２２はさらに、リソースの等級付けを抽象することで、遭遇するプラットフォーム９２２を介して実現されるリソース９２４のニーズの対応するレベルの等級付けを提供する。したがって、相互接続機器の実施例では、本明細書に記載される機能の実現はシステム９００全体に分散してもよい。例えば、機能は部分的にコンピューティング機器９１０でクラウド９２０の機能を抽象化するプラットフォーム９２２によって実現されてもよい。

【0121】

明確にするために、異なる機能モジュールを参照して本願の実施例を説明したことを理解すべきである。しかし、明らかなように、本願の実施例を逸脱せずに、各機能モジュールの機能は単一のモジュールで実施され、複数のモジュールで実施され、又は他の機能モジュールの一部として実施されてもよい。例えば、単一のモジュールにより実行されるように説明される機能は複数の異なるモジュールにより実行されてもよい。したがって、特定の機能モジュールの参考は、説明される機能を提供する適切なモジュールの参考のみとして見なされ、厳密なロジック又は物理的構造又は組織を示すものではない。したがって、本願の実施例は、単一のモジュールで実施されてもよく、又は物理的・機能的に異なるモジュールと回路の間に分散してもよい。

【0122】

第１、第２、第３等の用語は本明細書において様々な機器、素子、又は部材を説明するためのものであるが、これらの機器、素子、又は部材はこれらの用語に限定されないことを理解できる。これらの用語は単に１つの機器、素子、又は部材をもう１つの機器、素子、又は部材と区別するためのものである。

【0123】

いくつかの実施例を参照しながら本願の実施例を説明したが、本明細書で説明された特定の形態に限定されない。一方、本願の実施例の範囲は添付特許請求の範囲に制限される。付加的に、単独な特徴は異なる請求項に含まれてもよいが、可能な限り、有利に組み合わせてもよく、そして、異なる請求項に含まれる特徴を暗示しない組合せは実現可能及び／又は有利ではない。請求項における特徴の順序は特徴が動作しなければならない特定の順序を暗示しない。また、請求項では、単語「含む」は他の素子を除外せず、不定冠詞「一」又は「１つ」は複数を除外しない。請求項における符号は単に明確な例として提供され、特許請求の範囲を限定するものではないと理解すべきである。

【符号の説明】

【0124】

１００言語シーケンスラベリングシステム
１１０サーバ
１１１言語シーケンスラベリング装置
１１２訓練データベース
１２０ネットワーク
１３０クライアント
１３０－１端末機器
１４０ユーザー

【図1a】