特許 7579022 セマンティックグラフモデルに基づく法案インテリジェント分析方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-29

(45)【発行日】2024-11-07

(54)【発明の名称】セマンティックグラフモデルに基づく法案インテリジェント分析方法及びシステム

(51)【国際特許分類】

   G06F 40/30 20200101AFI20241030BHJP

   G06F 40/216 20200101ALI20241030BHJP

   G06Q 50/18 20120101ALI20241030BHJP

   G06N 3/04 20230101ALI20241030BHJP

   G06N 3/0475 20230101ALI20241030BHJP

【ＦＩ】

G06F40/30

G06F40/216

G06Q50/18

G06N3/04 100

G06N3/0475

【請求項の数】 5

(21)【出願番号】P 2023197632

(22)【出願日】2023-11-21

【審査請求日】2023-11-21

(31)【優先権主張番号】202311456615.0

(32)【優先日】2023-11-03

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】520465253

【氏名又は名称】浙江師範大学

【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＮＯＲＭＡＬ ＵＮＩＶＥＲＳＩＴＹ

【住所又は居所原語表記】Ｎｏ．６８８ Ｙｉｎｇｂｉｎ Ｒｏａｄ， Ｗｕｃｈｅｎｇ Ｄｉｓｔｒｉｃｔ Ｊｉｎｈｕａ， Ｚｅｊｉａｎｇ ３２１００４ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】江 潤雪

(72)【発明者】

【氏名】張 銘姿

【審査官】成瀬 博之

(56)【参考文献】

【文献】中国特許出願公開第１１１０９１００９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－４０／５８

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

セマンティックグラフモデルに基づく法案インテリジェント分析方法であって、
入力された法律テキストをコンピュータにより処理可能な高次元特徴ベクトルに変換するＧＰＴ言語処理モジュールと、
前記ＧＰＴ言語処理モジュールで変換された前記高次元特徴ベクトルをさらに最適化して改善し、法律テキストのデータをグラフィック表現に変換するグラフニューラルネットワーク特徴最適化モジュールと、
グラフニューラルネットワーク特徴最適化ステップにおけるグラフィック表現を入力として受信して、対応する結果を出力することによって、前記入力された法律テキストの理解と処理、及び法律判例の分析を実現する下流タスク利用モジュールと、を含む法案インテリジェント分析システムによって実現され、
前記法案インテリジェント分析方法は、前記ＧＰＴ言語処理モジュールによって実現されるＧＰＴ言語処理ステップと、グラフニューラルネットワーク特徴最適化モジュールで実現されるグラフニューラルネットワーク特徴最適化ステップと、下流タスク利用モジュールで実現される下流タスク利用ステップとの３つのステップを含み、
前記ＧＰＴ言語処理ステップでは、前記ＧＰＴ言語処理モジュールによって、自己注意機構を持つ深層学習モデルＴｒａｎｓｆｏｒｍｅｒネットワークを利用して、入力された法律テキストをコンピュータに処理可能な高次元特徴ベクトルに変換する構成であり、具体的には、
前記ＧＰＴ言語処理ステップでは、前記法律テキストを教師なし事前訓練済みモデルに入力する前に、量子化処理を行い、テキストに対して単語分割を行った後、シソーラスを構築し、次に、ｔｏｋｅｎをＩＤとしてマッピングし、
前記量子化処理のステップにおいて、入力された法律テキストをＵｎｉｃｏｄｅに変換し、表現できない文字を削除し、スペース文字を表示可能なスペース文字に変換し、その後、中国語文字の前後にスペースを追加し、スペースによって単語を分割し、
次に、量子化処理済みのデータを教師なし事前訓練済みモデルに入力し、教師なし事前訓練済みモデルによって、ＧＰＴ－２フレームワークに基づいて、教師ありタスクを実行することで、下記(数１)で求まる条件付き確率が最大となる文字あるいは単語を次の文あるいは語の予測とし、文のストップキャラクタまで繰り返して、完全な文を生成する構成であり、
ここで、下記（数１）は、前記教師なし事前訓練済みモデルが、語句ｓを生成する確率であり、

【数1】

ここで、ｎは、語句ｓの単語分割後の長さであり、条件付き確率は、前記教師なし事前訓練済みモデルの最初のｉ－１（２≦ｉ≦ｎ）個の単語ｓ_１，…，ｓ_ｉ－１を与えるときに、前記教師なし事前訓練済みモデルがｉ番目の単語の確率推定ｐ（ｓ_ｉ｜ｓ_１，…，ｓ_ｉ－１）を与えることを意味しており、
次いで、前記生成された完全な文のテキストをエンコーダとデコーダのアーキテクチャに入力し、最終的な出力として高次元特徴ベクトルを得、
前記グラフニューラルネットワーク特徴最適化ステップでは、グラフニューラルネットワーク特徴最適化モジュールによって、ＧＰＴ言語処理モジュールによる高次元特徴ベクトルをさらに最適化して改善し、セマンティクスと知識との関係を構築することによってノード間の接続を実現し、それによって法案セマンティクス特徴を生成し、テキストデータをグラフィック表現に変換し、具体的には、
テキスト分析部分において抽出されたテキスト特徴に基づいてテキストを分類し、テキスト間の類似度を計算することを含み、具体的には、まず、入力された高次元特徴ベクトルに対して共有重み行列を用いた線形変換を行い、次に、ニューラルネットワークの入力層から出力層までの各層に設けられるノードであって、データが伝達される関係で隣り合っているノードを意味する隣接ノード毎に自己注意係数ｅ_ｉｊを下記式を用いて計算し、
ｅ_ｉｊ＝（Ｗｖ_ｉ）^Ｔ（Ｗｖ_ｊ）
ここで、Ｗは学習可能な線形層重みであり、ｖ_ｉはＧＰＴ言語処理ステップにおいてＴｒａｎｓｆｏｒｍｅｒにより出力されたｉ番目の単語のベクトル表現であり、ｖ_ｊはＧＰＴ言語処理ステップにおいてＴｒａｎｓｆｏｒｍｅｒにより出力されたｊ番目の単語のベクトル表現であり、自己注意係数ｅ_ｉｊは、ｉ番目の単語に対応するベクトルが位置するノードｉに対するｊ番目の単語に対応するベクトルが位置するノードｊの重要度、すなわちノードｉとノードｊに位置する２つのベクトルに対応するテキストの分類時の影響度を表し、
最後に、ｓｏｆｔｍａｘ関数を用いて１つのノードのすべての隣接ノード毎に正規化し、それによって、ノードの各々の出力に安定的な分布を付与し、
下流タスク利用ステップでは、下流タスク利用モジュールによって、グラフニューラルネットワーク特徴最適化ステップにおけるグラフィック表現を受信して入力とし、次に、下流タスクを実行することにより対応する結果を出力し、それによって、下流タスクを実現する、
ことを特徴とする法案インテリジェント分析方法。

【請求項2】

前記下流タスクは、法案理解、法案要約、法案作成、法案遵守、法案シミュレーション、及び法案管理を含む、ことを特徴とする請求項１に記載のセマンティックグラフモデルに基づく法案インテリジェント分析方法。

【請求項3】

標準的なＴｒａｎｓｆｏｒｍｅｒモデルのサブブロックについて、各サブブロックの前に各層の層正則化を配置して、最後の自己注意領域の後に層正則化層を追加し、コンテキストのサイズを１０２４個のｔｏｋｅｎに拡張させ、また、５１２のｂａｔｃｈｓｉｚｅを使用するように補正する、ことを特徴とする請求項１に記載のセマンティックグラフモデルに基づく法案インテリジェント分析方法。

【請求項4】

Ｔｒａｎｓｆｏｒｍｅｒにおいて自己注意機構を用いて、入力時に長いシーケンス文を処理し、依存関係についてモデリングし、１つのシーケンスの様々な位置を直列接続して、再構築時に各単語がそれ自体と他の単語に対する重み依存性を確立できるようにし、重みの計算は、
各単語のベクトルを１つのｑｕｅｒｙベクトルｑ_ｉ及び１つのｋｅｙベクトルｋ_ｉとしてマッピングし、ｑ_ｉ及びすべてのｋｅｙベクトルの類似性又は相関性を計算し、Ｓｏｆｔｍａｘを通じて確率推定にて正規化し、

【数2】

ここで、ｓｉｍ_ｉｊ＝ｑ_ｉ ^Ｔｋ_ｊであり、ａ_ｉｊはｉ番目のｑｕｅｒｙベクトルｑ_ｉとｊ番目のｋｅｙベクトルｋ_ｊの注意係数であり、ｅは自然数であり、Ｔは行列転置を示し、
３番目の段階においてＴｒａｎｓｆｏｒｍｅｒ中のＡｔｔｅｎｔｉｏｎ操作を行い、

【数3】

文中の各単語のｑｕｅｒｙ、ｋｅｙ、ｖａｌｕｅベクトル和をスプライシングして行列にし、並列演算を行い、ここで、

【数4】

はｑｕｅｒｙベクトルの行列化表現であり、

【数5】

はｋｅｙベクトルの行列化表現であり、

【数6】

はｖａｌｕｅベクトルの行列化表現であり、

【数7】

は出力ベクトルの行列化表現であり、ｄ_ｋはｑｕｅｒｙ、ｋｅｙ、ｖａｌｕｅベクトルの次元数である、ことを特徴とする請求項１に記載のセマンティックグラフモデルに基づく法案インテリジェント分析方法。

【請求項5】

前記自己注意機構を用いることは、複数の訓練可能な注意ベクトルを有するマルチヘッド注意機構を用いて、ベクトルごとに注意係数の演算及びノード特徴畳み込みを個別に行い、出力構造を算出した後、平均関数と活性化関数の非線形変換を行うことであり、

【数8】

ここで、Ｗ^ｋはｋ番目のヘッドの線形層重みであり、上付き文字ｋはマルチヘッド注意機構におけるｈｅａｄのインデックスを示し、σは非線形活性化関数であり、ｈ_ｉはｉ番目の単語の入力単語ベクトルであり、ｈ_ｉ ^’はｉ番目の単語の出力単語ベクトルである、ことを特徴とする請求項１に記載のセマンティックグラフモデルに基づく法案インテリジェント分析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータソフトウェア及びビッグデータ処理の技術分野に関し、特にセマンティックグラフモデルに基づく法案インテリジェント分析方法及びシステムに関する。

【背景技術】

【0002】

現在、法律事務の複雑化や量の増大、及び技術の進化に伴い、法律問題を解決するための自動化・インテリジェントなソリューションを求める場合が多くなる。既存の方法は、主に、法律従事者による判例分析に依存しており、従来のコンピュータ技術、例えばテキスト検索、類義語分析などは、簡単な照合、補助検索などの機能しか実現できず、しかも操作ステップが複雑で、判例分析の効率が非常に限られている。現在、ＣｈａｔＧＰＴを始めとする言語大型モデルは、技術パラダイムの新時代を開き、法学判例分析に新たな可能性をもたらす。大型モデルは認知レベルから判例の内容を理解し、法律従事者に新たなマンマシンインタラクションモードを提供することで、ＡＩの法律業界での使用のハードルを下げ、法律従事者の処理効率を大幅に高めることができる。

【0003】

近年、自然言語処理の分野で事前訓練済みモデルが盛んになっているが、主流の事前訓練済みモデルのほとんどは英語分野を対象としており、中国語分野は出遅れている。中国語と英語は全世界で使用頻度が最も高い２つの言語であり、自然言語処理における中国語の重要度に鑑みて、学術界と産業界は広範な研究を展開し、多くの中国語事前訓練済みモデルを提出した。英語の事前訓練済みモデルとは異なり、中国語と英語の言語には本質的な違いがあるため、中国語のテキストには、複数の連続した文字で構成され、単語と単語の間には明確な区切り文字がないものが多いので、ＢＥＲＴなど、単一のコーパス英語データセットを基にして訓練する事前訓練済みモデルは、一般的な中国語のタスクを処理する場合、満足のいく効果が得られない傾向を示す。以上の問題を解決するため、研究チームは、単語分割方式とマスク方式の修正、外部情報を取り入れた事前訓練、特定分野の事前訓練などのスキームを提案し、ＭａｃＢＥＲＴ、ＥＲＮＩＥ、ＲｏＢＥＲＴａなど、主にＴｒａｎｓｆｏｒｍｅｒとＢＥＲＴの２種類の基礎モデルに基づく中国語の事前訓練済みモデルを提案し、多くの自然言語処理タスクで良い結果を得た。

【0004】

日増しに増加する法律コンサルティングの需要及び自然言語処理技術の発展に伴い、中国語自然言語事前訓練済みモデルを利用して法学判例のテキスト分類及び類似度分析を行うことは解決すべき課題となっている。既存の中国語事前訓練済みモデルのほとんどは、汎用性のある大規模コーパスを対象としたものであるが、特定分野を対象とした事前訓練済みモデルは開発が遅れており、実際の運用に十分に利用されていない。法学判例は抽出可能な特徴が多く、データ規模が大きいなどの特徴があり、既存の判例コーパスを解析することで、同種の判例の共通点をまとめ、類似判例の推薦を行うことができる。

【0005】

法学分野は、様々なタイプ、長いテキスト、専門知識に関わる分野であり、自然言語処理のタスクにとって、挑戦性と価値が高く、例えば、法律判例検索、判決予測、法律質疑回答などのタスクは、モデルが法学判例のテキストを理解し、分析し、類似判例の推薦を行うことを必要とする。現在の事前訓練済み言語モデルは汎用分野では良い効果を得ているが、法学分野では以下の３つの問題点が残っている。

【0006】

（一）長さに制限がある。
主流のＰＬＭの入力長は５１２ｔｏｋｅｎに制限されているため、より長い文書を処理する場合には、文書を切り詰めたり、つなぎ合わせたりしたりする必要があり、その結果として、情報が失われたり混乱したりする可能性がある。例えば、判例テキストに事実、理由、判決など、多面的な内容が含まれている場合、切り詰めたりつなぎ合わせたりすると、テキストの構造や論理が崩れ、モデルがテキストを正しく理解し分析できなくなる可能性がある。そのため、テキストの完全性や一貫性を保つために、より長いシーケンスを扱えるモデルが必要となる。

【0007】

（二）分野適応
法学分野のテキストと一般分野のテキストとの間には、専門用語の使用量、法条の引用、論理的推論などが大きく異なるため、一般分野のコーパスにはほとんど登場しない、あるいは登場しない場合がある。したがって、一般分野のコーパスで事前に訓練されたモデルをそのまま使用することは、モデルが法学分野の知識と能力を欠いており、法学分野のタスクを正確に処理できないことにつながる可能性がある。したがって、モデルの汎化能力と効果を高めるために、法学分野の特徴とニーズに適応できるモデルが必要である。

【0008】

（三）知識融合
法学分野のテキストは自身のテキスト情報を含むだけでなく、外部の知識ベースとも密接な関係があるため、例えば１つの判例テキストは複数の関連する法条、判例、原則などに関わることがある。これらの外部知識は、モデルがテキストをよりよく理解して分析するのに役立つように、テキストの背景と参照をより多く提供することができる。しかし、現在のＰＬＭはテキスト自体の情報に主に依存しており、モデルの能力を高めるために外部知識を利用することはほとんどない。そのため、モデルのテキスト理解や分析能力を向上させるために、外部知識ベースから関連知識を獲得し融合することが可能なモデルが必要となる。

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来技術に存在する課題に対して、本発明の目的は、新たなＧＰＴグラフニューラルネットワーク方法によって法律知識グラフを構築し、大量の判例や推理データを用いて法律知識グラフの学習訓練を行うことによって、具体的な判例テキスト及び関連する法律条文、規則の知識を融合するという課題を解決し、法学判例特徴抽出やマーチングなどのサービスをユーザに効率的に提供するという確実な効果を達成させるセマンティックグラフモデルに基づく法案インテリジェント分析方法及びシステムを提供することである。

【課題を解決するための手段】

【0010】

上記の目的を達成させるために、本発明は、
セマンティックグラフモデルに基づく法案インテリジェント分析方法であって、
ＧＰＴ言語処理ステップと、グラフニューラルネットワーク特徴最適化ステップと、下流タスクステップとの３つのステップを含み、
ＧＰＴ言語処理ステップでは、自己注意機構を持つ深層学習モデルＴｒａｎｓｆｏｒｍｅｒネットワークを利用して、入力された法律テキストをコンピュータに処理可能な高次元特徴ベクトルに変換し、
グラフニューラルネットワーク特徴最適化ステップでは、ＧＰＴ言語処理モジュールによる高次元特徴ベクトルをさらに最適化して改善し、セマンティクスと知識との関係を構築することによってノード間の接続を実現し、それによって法案セマンティクス特徴を生成し、テキストデータをグラフィック表現に変換し、
下流タスク利用ステップでは、グラフニューラルネットワーク特徴最適化ステップにおけるグラフィック表現を受信して入力とし、次に、対応する結果を出力し、それによって、法律テキストの理解と処理、及び法律判例の分析を実現する、法案インテリジェント分析方法を提供する。

【0011】

さらに、前記下流タスクは、法案理解、法案要約、法案作成、法案遵守、法案シミュレーション、及び法案管理を含む。

【0012】

さらに、ＧＰＴ言語処理モジュールは、教師なし事前訓練済みモデルによって、ＧＰＴ－２フレームワークに基づいて、教師ありタスクを実行し、そのコアが言語モデリングにあり、言語モデリングは教師なし分布推定の形態の１つであり、自然言語テキストは可変長の単語又は語句のセットで構成されるシーケンスデータであり、言語が自然に順に配列されているので、シンボルの同時確率を条件付き確率の積に分解し、

【数1】

ここで、ｐ（ｓ）は、言語モデルが語句ｓ（語句ｓの単語分割後の長さがＮになる）を生成する確率であり、上記の式における条件付き確率は、言語モデルの最初のｉ－１（２≦ｉ≦Ｎ）個の単語ｓ_１，…，ｓ_ｉ－１を与えるときに、言語モデルがｉ番目の単語の確率推定ｐ（ｓ_ｉ｜ｓ_１，…，ｓ_ｉ－１）を与えることを意味する。実装では、言語モデルは、最後に出力された単語分割表全体における確率分布を上文が既知の場合の現在の単語の条件付き確率分布とする。モデル学習では、単一のタスクは確率分野において推定条件分布ｐ（ｏｕｔｐｕｔ｜ｉｎｐｕｔ）、マルチタスク学習では、確率分野においてｐ（ｏｕｔｐｕｔ｜ｉｎｐｕｔ，ｔａｓｋ）として表現する。

【0013】

さらに、標準的なＴｒａｎｓｆｏｒｍｅｒモデルのサブブロックについて、各サブブロックの前に各層の層正則化を配置して、最後の自己注意領域の後に層正則化層を追加し、補正された初期化方法を用いて、モデル深層が現在の層に与える影響を考慮して、重みを初期化するときに残りの層の重みに√Ｎ（Ｎは残差層の数）を乗算し、コンテキストのサイズを１０２４個のｔｏｋｅｎに拡張させ、また、５１２のｂａｔｃｈｓｉｚｅを使用するように補正する。

【0014】

さらに、ＧＰＴ言語処理ステップでは、テキストをモデルに入力する前に、量子化処理を行い、テキストに対して単語分割を行った後、シソーラスを構築し、次に、ｔｏｋｅｎをＩＤとしてマッピングし、量子化処理のステップにおいて、入力された中国語テキストをＵｎｉｃｏｄｅに変換し、表現できない文字を削除し、スペース文字を表示可能なスペース文字に変換し、その後、中国語文字の前後にスペースを追加し、スペースによって単語を分割する。

【0015】

さらに、Ｔｒａｎｓｆｏｒｍｅｒにおいて自己注意機構を用いて、入力時に長いシーケンス文を処理し、依存関係についてモデリングし、１つのシーケンスの様々な位置を直列接続して、再構築時に各単語がそれ自体と他の単語に対する重み依存性を確立できるようにし、重みの計算は、
各単語のベクトルを１つのｑｕｅｒｙベクトルｑ_ｉ及び１つのｋｅｙベクトルｋ_ｉとしてマッピングし、ｑ_ｉ及びすべてのｋｅｙベクトルの類似性又は相関性を計算し、Ｓｏｆｔｍａｘを通じて確率推定にて正規化し、

【数2】

ここで、ｓｉｍ_ｉｊ＝ｑ_ｉ ^Ｔｋ_ｊであり、ａ_ｉｊはｉ番目のｑｕｅｒｙベクトルｑ_ｉとｊ番目のｋｅｙベクトルｋ_ｊの注意係数であり、

【数3】

は自然定数ｅのｓｉｍ_ｉｊ累乗であり、Ｔは行列転置を示し、

【数4】

中のｋは総和インデックスであり、
３番目の段階においてＴｒａｎｓｆｏｒｍｅｒ中のＡｔｔｅｎｔｉｏｎ操作を行い、

【数5】

上記の式では、文中の各単語のｑｕｅｒｙ、ｋｅｙ、ｖａｌｕｅベクトル和をスプライシングして行列にし、並列演算を行い、ここで、

【数6】

はｑｕｅｒｙベクトルの行列化表現であり、

【数7】

はｋｅｙベクトルの行列化表現であり、

【数8】

はｖａｌｕｅベクトルの行列化表現であり、

【数9】

は出力ベクトルの行列化表現であり、ｄ_ｋはｑｕｅｒｙ、ｋｅｙ、ｖａｌｕｅベクトルの次元数であり、

【数10】

は実数を表す。

【0016】

さらに、グラフニューラルネットワーク特徴最適化は、テキスト分析部分において抽出されたテキスト特徴に基づいてテキストを分類し、テキスト間の類似度を計算することを含み、具体的には、まず、入力されたｅｍｂｅｄｄｉｎｇに対して共有重み行列を用いた線形変換を行い、次に、隣接ノード毎に自己注意機構を用い、ここで、隣接ノードごとの自己注意係数ｅ_ｉｊは次の通りである。
ｅ_ｉｊ＝（Ｗｖ_ｉ）^Ｔ（Ｗｖ_ｊ）
ここで、Ｗは学習可能な線形層重みであり、ｖ_ｉは第１段階においてＴｒａｎｓｆｏｒｍｅｒにより出力されたｉ番目の単語のベクトル表現であり、ｖ_ｊは第１段階においてＴｒａｎｓｆｏｒｍｅｒにより出力されたｊ番目の単語のベクトル表現である。この係数は、ノードｉに対するノードｊの重要度を表し、自己注意機構には、ノードのそれぞれと隣接する他のノードとの情報の融合が可能である。最後に、ｓｏｆｔｍａｘ関数を用いて１つのノードのすべての隣接ノード毎に正規化し、それによって、ノードの各々の出力に安定的な分布を付与する。

【0017】

さらに、複数の訓練可能な注意ベクトルを有するマルチヘッド注意機構を用いて、ベクトルごとに注意係数の演算及びノード特徴畳み込みを個別に行い、出力構造を算出した後、平均関数と活性化関数の非線形変換を行い、

【数11】

ここで、Ｗ^ｋはｋ番目のヘッドの線形層重みであり、上付き文字ｋはマルチヘッド注意機構におけるｈｅａｄのインデックスを示し、σは非線形活性化関数であり、ｈ_ｉはｉ番目の単語の入力単語ベクトルであり、ｈ_ｉ ^’はｉ番目の単語の出力単語ベクトルである。

【0018】

さらに、下流タスク利用ステップは、特徴抽出とタスク適応を含み、
特徴抽出は、前処理されたデータから最適特徴を選択する特徴選択と、選択された特徴から最も代表的な特徴を抽出する特徴抽出と、抽出された特徴をベクトルとして表す特徴表示の３つのステップを含み、
タスク適応は、下流タスクを異なるカテゴリに分け、カテゴリごとに異なるモデルを用いて処理するタスク分類と、下流タスクに応じて抽出された特徴を調整する特徴調整との２つのステップを含む。

【0019】

別の態様では、本発明は、セマンティックグラフモデルに基づく法案インテリジェント分析システムを提供し、本発明による方法を実現することに用いられ、
入力された法律テキストをコンピュータにより処理可能な高次元特徴ベクトルに変換するＧＰＴ言語処理モジュールと、
ＧＰＴ言語処理モジュールによる高次元特徴ベクトルをさらに最適化して改善し、テキストデータをグラフィック表現に変換するグラフニューラルネットワーク特徴最適化モジュールと、
グラフニューラルネットワーク特徴最適化ステップにおけるグラフィック表現を受信して入力とし、次に、対応する結果を出力し、それによって、法律テキストの理解と処理、及び法律判例の分析を実現する下流タスク利用モジュールと、を含む。

【発明の効果】

【0020】

＜有益な効果＞
１）法学分野におけるＧＰＴ汎用モデルの応用革新を実現する。ＧＰＴ汎用モデルと法律分野の具体的な判例のコンサルティング分析作業を組み合わせることで、従来の法学判例の分析はキーワード検索による単一の相互作用しかできないという問題を解決し、人間と機械の質問と回答の間のマルチラウンド相互作用という新しい応用効果を実現し、認知モードと判例分析の考え方を再構築する。
２）ＬａｗＧＰＴ専用モデルの適応的改造の技術革新を実現する、法学用語の専門性が高く、論理推論が複雑であるという独特な需要に対して、汎用大型モデルの言語処理、グラフニューラルネットワークの特徴、下流タスク利用などのモジュールに対して適応的な技術革新を行い、的確なＬａｗＧＰＴモデルを構築し、ＬａｗＧＰＴモデルの技術的な有効性のテスト検証に合格した。
３）法学判例と法規間の知識を融合する方法の革新を実現する。

【図面の簡単な説明】

【0021】

【図1】本発明によるセマンティックグラフモデルに基づく法案インテリジェント分析システムのアーキテクチャ模式図である。

【図2】本発明のセマンティックグラフモデルに基づく法案インテリジェント分析方法におけるＴｒａｎｓｆｏｒｍｅｒｓネットワーク構造模式図である。

【図3】本発明のセマンティックグラフモデルに基づく法案インテリジェント分析方法及びシステムの注意機構の使用のプロセスを示す。

【発明を実施するための形態】

【0022】

以下、本発明の技術的解決手段について、図面を参照して明確かつ完全に説明するが、説明される実施例は本発明の一部の実施例であり、全ての実施例ではないことは明らかである。本発明の実施例に基づいて、当業者が創造的な労働を行わずに取得した他のすべての実施例は本発明の保護の範囲に属する。

【0023】

なお、本発明の説明において、「中心」、「上」、「下」、「左」、「右」、「垂直」、「水平」、「内」、「外」などの用語が示す方位又は位置関係は図面に示される方位又は位置関係に基づくものであり、単に本発明の説明を容易にし、説明を簡略化するためのものであって、特定の方位を有したり、特定の方位で構成され、動作しなければならないことを指示又は暗示するものではなく、本発明を限定するものとは理解されない。さらに、「第１」、「第２」、「第３」という用語は、説明の目的のためだけに使用され、相対的重要度を指示又は暗示するものとして理解されるべきではない。

【0024】

なお、本発明の説明においては、特に明示的な規定及び限定がない限り、「取り付ける」、「連結」、「接続」という用語は、広義に理解されるべきであり、例えば、固定的な接続、取り外し可能な接続、又は一体的な接続であってもよいし、機械的接続、電気的接続であってもよいし、直接連結、又は中間媒体を介した間接的連結、又は２つのコンポーネントの内部の連通であってもよい。当業者であれば、本発明における上記の用語の具体的な意味を状況に応じて理解することができる。

【0025】

本発明は、中国語自然言語処理の分野では、法学判例のテキスト分析と分類に基づくモデルがまだ大規模に普及していないことに対して、中国語の大型モデルに基づいて法学判例テキストに対して分析処理を行うことができ、ユーザによる大量の法学判例コーパスの使用を容易にし、また、下流タスクにも応用でき、異なる判例間の類似度分析又はその他のタスクを行うことができる、法学判例テキストに対して知能理解、特徴抽出を行う事前訓練済みモデルを提案している。

【0026】

図１に示すように、本発明による言語グラフモデルに基づく法案インテリジェント分析システム（ＬａｗＧＰＴ）は、図２に示すように、ＧＰＴ言語処理モジュール、グラフニューラルネットワーク特徴最適化モジュール、及び下流タスク利用モジュールの３つのコア技術モジュールを含む。この３つのモジュールは、精密な連携により、法律テキストを深く理解して処理することで、法律判例分析の効率と精度を向上させる。

【0027】

１． ＧＰＴ言語処理モジュール：このモジュールは、システム全体の基盤であり、入力された法律テキストをコンピュータに処理可能な高次元特徴ベクトルに変換することが主なタスクである。ここでいう高次元特徴ベクトルとは、語彙表からベクトルの実数空間に単語又は句をマッピングするものであり、これらの高次元ベクトルは、単語間の意味的及び文法的関係を把握することができ、例えば、類義語のベクトルは空間内でより近くなり、対義語はより遠くなる。また、性別、複数、時制など、単語の他の特性も取り込むことができる。この目標を達成するために、本発明では、Ｔｒａｎｓｆｏｒｍｅｒネットワークという高度な深層学習モデルが採用されている。Ｔｒａｎｓｆｏｒｍｅｒネットワークは自己注意機構を持っており、法律テキスト中の複雑なコンテキスト関係を効果的に把握し、高品質なテキスト表現を生成することができる。また、Ｔｒａｎｓｆｏｒｍｅｒネットワークは優れた並列計算能力も持っており、モデルの訓練効率を大幅に向上させることができる。このモジュールは、深層学習技術により、複雑な法律テキストのセマンティクスをコンピュータが理解できる形式に符号化し、その後の処理ステップの基礎を築く。

【0028】

２． グラフニューラルネットワーク特徴最適化モジュール：このモジュールの主要な機能はＧＰＴ言語処理モジュールによる高次元特徴ベクトルをさらに最適化して改善することである。これを実現するために、本発明は、グラフニューラルネットワーク（ＧＮＮ）という高度な機械学習技術を導入する。グラフニューラルネットワークは、テキストデータをグラフィック表現に変換し、セマンティクスと知識の関係を構築することにより、ノード間の接続を強化し、強化版の法案セマンティクス特徴を生成することができる。この方法は、法学判例の詳細な情報をシステムが深く理解するのに役立ち、下流タスクの精度と効率を向上させることができる。また、グラフニューラルネットワークの導入により、システムが大規模な法律テキストデータを効率的に処理することも可能となり、システムの処理能力と拡張性がさらに向上する。

【0029】

３． 下流タスク利用モジュール：このモジュールは、システムの応用側で、主に実際の法律問題の解決を担当する。本発明は、法案理解、法案要約、法案作成、法案遵守、法案シミュレーション、法案管理を含む、６つの異なる下流タスクを設計する。これらのタスクは、法律判例の理解と要約から、法律文書の作成、文書のコンプライアンスのチェック、法案のシミュレーションと管理を至るまで、法律業務の主要な部分を網羅しており、このモジュールは、これらの何れに対しても、適切なソリューションを提供する。これらのタスクを達成するために、本発明は、タスクごとに、多くの法律テキストによって訓練された個別のモデルを設計し、したがって、様々な法律問題の深い理解と効率的な処理を可能にする。タスク処理を行う際、このモジュールはグラフニューラルネットワークモジュールからの結果表示を入力として受信し、グラフニューラルネットワーク処理後のデータは文間の関係と対応する予想インデックス関係を含むが、具体的な形式は依然として高次元特徴ベクトルとして表示され、これらの高次元特徴ベクトルは専用に設計された下流タスク利用モジュールに入力され、そして、対応する結果が出力され、これらのネットワーク出力結果を復号して対応する法律回答を出力することで、法律問題の自動化処理を実現する。

【0030】

本発明は、３つのモジュールが効率的に協調して動作するように、各モジュールの設計を厳密に最適化し、デバッグする。適応的な学習率調整戦略をＧＰＴ言語処理モジュールに導入することにより、訓練中にモデルが学習率を自動的に調整し、学習効率を向上させることが可能になる。グラフニューラルネットワークモジュールでは、個別の注意機構が設計されており、モジュールが法律テキスト中の重要な情報をより正確に把握できるようになっている。下流タスク利用モジュールでは、各タスクの特性に基づいて、各モデルがその特定のタスクで最適な効果を達成できるように、異なるモデル構造とパラメータが設計されている。要するに、ＬａｗＧＰＴの技術サポートはＧＰＴ言語処理モジュール、グラフニューラルネットワーク、及び下流タスク処理という３つの主な技術モジュールが共同で構築したものであり、三者が相互に協力して、共同で法律テキストの効率的な処理を実現した。これは、深層学習及び自然言語処理技術の最先端技術に対する本発明の理解を反映するだけでなく、実際の問題を解決するための本発明の独自の戦略及び方法を示している。

【0031】

本発明によるセマンティックグラフモデルに基づく法案インテリジェント分析方法は、ＧＰＴ言語処理ステップと、グラフニューラルネットワーク特徴最適化ステップと、下流タスク利用ステップとの３つのステップを含む。

【0032】

ＧＰＴ言語処理ステップは、ＧＰＴ言語処理モジュールによって行われる。ＧＰＴ言語処理ステップでは、自己注意機構を持つ深層学習モデルＴｒａｎｓｆｏｒｍｅｒネットワークを利用して、入力された法律テキストをコンピュータに処理可能な高次元特徴ベクトルに変換する。

【0033】

グラフニューラルネットワーク特徴最適化ステップは、グラフニューラルネットワーク特徴最適化モジュールによって行われる。グラフニューラルネットワーク特徴最適化ステップでは、ＧＰＴ言語処理モジュールによる高次元特徴ベクトルをさらに最適化して改善し、セマンティクスと知識との関係を構築することによってノード間の接続を実現し、それによって法案セマンティクス特徴を生成し、テキストデータをグラフィック表現に変換する。

【0034】

下流タスク利用ステップは、下流タスク利用モジュールによって行われる。下流タスク利用ステップでは、グラフニューラルネットワーク特徴最適化ステップにおけるグラフィック表現を受信して入力とし、次に、対応する結果を出力し、それによって、法律テキストの理解と処理、及び法律判例の分析を実現する。

【0035】

以下、各ステップの実装の詳細について説明する。本発明によるセマンティックグラフモデルに基づく法案インテリジェント分析方法は、以下のＳ１～Ｓ３を含む。
Ｓ１．ＧＰＴ言語処理ステップ、自己注意機構を持つ深層学習モデルＴｒａｎｓｆｏｒｍｅｒネットワークを利用して、入力された法律テキストをコンピュータに処理可能な高次元特徴ベクトルに変換する。
Ｓ２．グラフニューラルネットワーク特徴最適化ステップ、ＧＰＴ言語処理モジュールによる高次元特徴ベクトルをさらに最適化して改善し、セマンティクスと知識との関係を構築することによってノード間の接続を実現し、それによって法案セマンティクス特徴を生成し、テキストデータをグラフィック表現に変換する。
Ｓ３．下流タスク利用ステップ、グラフニューラルネットワーク特徴最適化ステップにおけるグラフィック表現を受信して入力とし、次に、対応する結果を出力し、それによって、法律テキストの理解と処理、及び法律判例の分析を実現する。

【0036】

具体的には、ＧＰＴ言語処理ステップでは、まず、自然言語テキストを対応する単語ベクトルにマッピングし、単語ベクトルは、通常、セマンティクスを符号化する埋め込みベクトル（通常、学習可能な線形層のマッピングによって得られる）と、位置を符号化する位置ベクトルとをつなぎ合わせたものである。具体的には、本発明は、テキストをモデルに入力する前に量子化処理を行う。Ｔｒａｎｓｆｏｒｍｅｒネットワークに入力する前に、テキストを単語分割してマッピングしてから、エンコーダとデコーダの構造に入力する。本発明は、ＢＥＲＴのトークナイザ（ｔｏｋｅｎｉｚｅｒ）を採用しており、英語のトークナイザとは異なり、中国語では、「単語」の定義に対する理解を追加する必要があり、中国語では、基本単位が文字であり、英語の「単語」は接頭辞又は接尾辞形式に分割することができ、例えば、ｐｏｓｔｇｒａｄｕａｔｅは［“ｐｏｓｔ”，“＃＃ｇｒａｄｕａｔｅ”］に分割することができる。テキストに対して単語分割を行った後、シソーラスを構築し、次に、ｔｏｋｅｎをＩＤとしてマッピングし、ＧＰＴ言語処理ステップは、具体的に以下のとおりである。

【0037】

Ｓ１０１．入力された中国語テキストをＵｎｉｃｏｄｅに変換し、表現できない文字を削除し、スペース文字を表示可能なスペース文字に変換し、その後、中国語文字の前後にスペースを追加し、スペースによって単語を分割する。

【0038】

Ｓ１０２．次に、教師なし事前訓練済みモデルによって、ＧＰＴ－２フレームワークに基づいて、教師ありタスクを実行する。この過程では、言語モデリングはモデル訓練のコアとなる。言語モデリングは、通常、教師なし分布推定の形態の１つである。自然言語テキストは、可変長の単語又は語句のセットで構成されるシーケンスデータである。言語が自然に順に配列されているので、通常、シンボルの同時確率を条件付き確率の積に分解する。

【数12】

ここで、ｐ（ｓ）は言語モデルが語句ｓ（語句ｓの単語分割後の長さがＮになる）を生成する確率であり、上記の式における条件付き確率は、言語モデルの最初のｉ－１（２≦ｉ≦Ｎ）個の単語ｓ_１，…，ｓ_ｉ－１を与えるときに、言語モデルがｉ番目の単語の確率推定ｐ（ｓ_ｉ｜ｓ_１，…，ｓ_ｉ－１）を与えることを意味する。実装では、言語モデルは、最後に出力された単語分割表全体における確率分布を上文が既知の場合の現在の単語の条件付き確率分布とする。例えば、漢字を最小単位として単語分割を行うとすれば、上文が

という文であれば、次の文字が「件」である確率は以下の通りである。

【数13】

言語モデルは、上記で与えられた次の単語の条件付き確率に基づいて、条件付き確率が最大となる文字や単語を次の文や語の予測とし、これを文のストップキャラクタまで繰り返すことで、完全な文を生成する。モデル学習では、単一のタスクは、確率分野において推定条件分布ｐ（ｏｕｔｐｕｔ｜ｉｎｐｕｔ）、マルチタスク学習では、確率分野においてｐ（ｏｕｔｐｕｔ｜ｉｎｐｕｔ，ｔａｓｋ）として表現する。

【0039】

Ｓ１０３．最後に、処理後のテキストをエンコーダとデコーダのアーキテクチャに入力し、最終的な出力を得る。図２に示すように、本発明の言語モデルは、標準的なＴｒａｎｓｆｏｒｍｅｒｓに基づいて実現され、全体的なアーキテクチャは、エンコーダ（ｅｎｃｏｄｅｒ）及びデコーダ（ｄｅｃｏｄｅｒ）の２つの部分から構成され、エンコーダ及びデコーダは、いずれも、複数の同じサブブロック（ｓｕｂ－ｂｌｏｃｋ）を積み重ねて構成される。各サブブロックには、自己注意層（ｓｅｌｆ－ａｔｔｅｔｉｏｎ ｌａｙｅｒ）と完全接続層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の２つのサブ層が含まれている。自己注意層は、入力シーケンス中の各要素と他の要素との関係をモデリングすることにより、要素間の依存関係を学習する。完全接続層は、自己注意層の出力を多層パーセプトロンによってさらに処理する。
ここで、自己注意層の作動原理は以下の通りである。

【0040】

Ｓ１０３１．入力シーケンスをクエリーベクトル（ｑｕｅｒｙ ｖｅｃｔｏｒ）、キーベクトル（ｋｅｙ ｖｅｃｔｏｒ）、及び値ベクトル（ｖａｌｕｅ ｖｅｃｔｏｒ）にそれぞれマッピングする。

【0041】

Ｓ１０３２．ステップＳ１０３１で得られたクエリーベクトルとキーベクトルとの点積を計算することにより、各クエリーベクトルがどのキーベクトルと相関性が高いかを示す注意スコア行列を得る。

【0042】

Ｓ１０３３．ステップＳ１０３２で得られた注意スコア行列と値ベクトルとを乗算して、各クエリーベクトルに対応する出力を示す重み付き和ベクトルを得る。

【0043】

Ｓ１０３４．Ｓ１０３３で得られたすべてのクエリーベクトル（入力された各分詞に対応する）の出力をスプライシングすることにより、自己注意層の出力を得る。

【0044】

完全接続層では、自己注意層の出力は、複数の非線形変換と活性化関数との組み合わせによって、最終的な出力を得るために、多層パーセプトロンに入力される。具体的には、完全接続層は線形変換と活性化関数ＲｅＬＵを含む。次に、さらに線形変換を行い、各サブブロックの最終出力を得る。

【0045】

エンコーダ及びデコーダにおいて、自己注意層及び完全接続層の順序は同じであるが、それらの入力及び出力は異なる。エンコーダでは、各自己注意層への入力は、入力シーケンスの埋め込み表現であり、出力は、自己注意及び完全接続層計算後の符号化表現である。デコーダでは、各自己注意層及び完全接続層も同様であるが、自己注意層のキーベクトル及び値ベクトルは、エンコーダの出力であり、入力シーケンスを復号するために用いられる。

【0046】

本発明の言語モデルは、標準的なＴｒａｎｓｆｏｒｍｅｒｓに基づいて実現され、標準的なＴｒａｎｓｆｏｒｍｅｒｓを基にして以下のように補正する。

【0047】

１）．標準的なＴｒａｎｓｆｏｒｍｅｒのサブブロックを変化させ、すなわち、各サブブロックの前に各層の層正則化（Ｌａｙｅｒ Ｎｏｒｍａｌｉｚａｔｉｏｎ）を配置し、最後の自己注意領域の後に層正則化層を追加し、サブブロックの前に層正則化を配置する。主な構想は以下の通りである。入力ネットワークのテキスト情報が相対的な安定性を保つことができ、具体的なサブブロックの層数はモデルの下流タスクによって決められ、複雑なタスクほど積み重ねられるサブブロックの層数が多く、ネットワークモデルが深くなり、このように、ネットワークが学習できる情報が多く、表現の特徴も多くなり、モデルの深さの増加に従って、特に複数のＴｒａｎｓｆｏｒｍｅｒ層を積み重ねた時に、ネットワークは勾配消失又は勾配爆発の問題に遭遇することがあり、これによって、訓練が困難になり、深刻な場合は、収束することができなくなり、これに対して、本発明は、自己注意層の後に層の正則化層を導入する。層正則化は、各特徴の分布が安定するように、各特徴を層内で正規化するための正規化技術である。この安定性は、勾配の伝播と訓練の安定性に寄与する。

【0048】

２）．修正された初期化方法を採用して、モデルの深さが現在の層に与える影響を考慮して、初期化重みの時に残りの層の重みに√Ｎ（Ｎは残差接続層（ｒｅｓｉｄｕａｌ ｌａｙｅｒｓ）の数である）を乗算する。この修正された初期化方法の目的は、残差接続層の数を考慮して、ネットワーク中の勾配の伝達がよりスムーズになることを確保することにあり、その肝心なのは、ネットワークの深さに基づいて初期化重みの尺度を調整して、それによって残差接続の存在によりよく適応し、深層ネットワークにおける勾配の有効な伝達に寄与することである。

【0049】

３）．コンテキストのサイズを１０２４個のｔｏｋｅｎに拡張させ、５１２のバッチサイズ（ｂａｔｃｈ ｓｉｚｅ）を使用する。ここで、コンテキストのサイズは、モデルがテキストを処理する際に確認可能な入力シーケンスの長さを表す。この長さは、通常、ｔｏｋｅｎ単位で測定されることが多く、従来の自然言語処理タスクでは、コンテキストのサイズは、通常小さく設定されている。例えば、会話システムのコンテキストは会話の前の文を含み、テキスト生成タスクのコンテキストは前の文や前の段落を含むことがある。

【0050】

自己注意機構（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）は、Ｔｒａｎｓｆｏｒｍｅｒの重要な構成部分で、入力時に長いシーケンス文を処理することができ、入力出力シーケンスにおけるこれらの距離を考慮せずに依存関係についてモデリングすることを可能にし、また、１つのシーケンスの様々な位置を直列接続して、再構築時に各単語がそれ自体と他の単語に対する重み依存性を確立できるようにする。各単語ベクトルを１つのｑｕｅｒｙベクトルｑ_ｉ及び１つのｋｅｙベクトルｋ_ｉとしてマッピングし、ｑ_ｉ及びすべてのｋｅｙベクトルの類似性又は相関性を計算し、Ｓｏｆｔｍａｘによって確率推定に正規化する。

【数14】

ここで、ｓｉｍ_ｉｊ＝ｑ_ｉ ^Ｔｋ_ｊであり、ａ_ｉｊはｉ番目のｑｕｅｒｙベクトルｑ_ｉとｊ番目のｋｅｙベクトルｋ_ｊとの注意係数であり、

【数15】

は自然定数ｅのｓｉｍ_ｉｊ累乗であり、Ｔは行列転置を示し、

【数16】

中のｋは総和インデックスである。

【0051】

３番目の段階においてＴｒａｎｓｆｏｒｍｅｒ中のＡｔｔｅｎｔｉｏｎ操作を行い、

【数17】

上記の式では、文中の各単語のｑｕｅｒｙ、ｋｅｙ、ｖａｌｕｅベクトル和をスプライシングして行列にし、並列演算を行い、ここで、

【数18】

はｑｕｅｒｙベクトルの行列化表現であり、

【数19】

はｋｅｙベクトルの行列化表現であり、

【数20】

はｖａｌｕｅベクトルの行列化表現であり、

【数21】

は出力ベクトルの行列化表現であり、ｄ_ｋはｑｕｅｒｙ、ｋｅｙ、ｖａｌｕｅベクトルの次元数であり、

【数22】

は実数を表す。

【0052】

訓練段階では、本発明は、マルチタスク学習を用いて、複数の関連するタスクを同時並行的に学習し、勾配を同時に逆方向に伝播させ、複数のタスクが基本的な共有表現を通じて、学習した分野に関する情報を互いに補完し合い、タスクの学習を助け合い、汎化効果を高める。

【0053】

検証段階では、ゼロショット学習（Ｚｅｒｏ－Ｓｈｏｔ Ｌｅａｒｎｉｎｇ）が採用されており、ゼロショット学習は主に以下の問題を解決する。すなわち、訓練セットデータを利用してモデルを訓練し、モデルがテストセットの対象を分類できるが、訓練セットカテゴリとテストセットカテゴリの間には交差がなく、その間に、カテゴリの記述を用いて、訓練セットとテストセットとの間の関連を確立し、モデルを有効にすることが必要とされる。ＧＰＴ－２は、膨大なコーパスを使ってモデルを訓練し、訓練の際に多くの下流タスクを直接接続することができる。そして、具体的なタスクを行う際には、訓練を行うことなく、そのまま事前訓練済みモデルに入力すればよく、その効果は他のモデルの小さいデータでの効果を上回ることが期待できる。

【0054】

Ｓ２：グラフニューラルネットワーク特徴最適化ステップでは、テキスト分析部分において抽出されたテキスト特徴に基づいてテキストを分類し、テキスト間の類似度を計算することが主な目的である。具体的には、以下のサブステップを含む：

【0055】

Ｓ２０１．入力された特徴をより高いレベルの特徴に変換するのに十分な表現力を得るために、ＧＮＮ部分は、まず、入力されたｅｍｂｅｄｄｉｎｇに対して共有重み行列を用いた線形変換を行う。次に、隣接ノード毎に自己注意係数ｅ_ｉｊを計算する。
ｅ_ｉｊ＝（Ｗｖ_ｉ）^Ｔ（Ｗｖ_ｊ）

【0056】

ここで、Ｗは学習可能な線形層重みであり、ｖ_ｉは第１段階においてＴｒａｎｓｆｏｒｍｅｒにより出力されたｉ番目の単語のベクトル表現であり、ｖ_ｊは第１段階においてＴｒａｎｓｆｏｒｍｅｒにより出力されたｊ番目の単語のベクトル表現である。この係数は、ノードｉに対するノードｊの重要度、すなわち２つのベクトルに対応するテキストの分類時の影響度を表す。自己注意機構では、各ベクトルと他の隣接ベクトル情報との融合が可能である。この式では、ベクトル間の構造情報を加えないように、すべてのノード間で注意係数を計算している。そこで、本発明では、２つのベクトル間の類似度が小さい場合、その注意機構を０とするマスキング機構を組み込んで、類似度が小さいベクトル間で相互に影響を及ぼさないようにする。

【0057】

Ｓ２０２．異なるノードの隣接ノードの数が異なることによる値の消失や爆発を回避するために、ｓｏｆｔｍａｘ関数を用いて１つのノードのすべての隣接ノード毎に正規化し、それによって、ノードの各々の出力に安定的な分布を付与する。正規化式は以下に示される。

【数23】

【0058】

Ｓ２０３． 各ノードについて、そのユークリッド距離に最も近いｋ個の点がそのノードとエッジを結ぶことにより、１つのノード間のグラフ構造を生成し、異なるノード間の情報融合を可能にする。本発明では、ノード分類の一部はＧＡＴに基づいて実現されるが、ＧＡＴの入力のうちグラフ構造特徴を１つ含む入力は本願の入力にはない。グラフ構造に対応する情報が入力されなくてもノードの分類を行うために、各ノードに対して、そのユークリッド距離に最も近いｋ個の点がそのノードとエッジを結ぶことにより、１つのノード間のグラフ構造を生成し、異なるノード間の情報融合を可能にするグラフ構造の生成方式を考案した。この方法は、クラスタリングに似ている効果を有し、特徴が類似しているノードから注意機構によってより近い特徴を得ることができ、ニューラルネットワークの訓練速度を速め、分類効果を高めることができる。

【0059】

Ｓ２０４．入力データ処理では、入力データを列方向に正規化し、平均値が１、分散が１の分布に正規化した後、ノード数の分の１倍にスケーリングすることで、入力特徴の高次元化を行うデータがネットワーク学習に適した分布になるようにする。

【0060】

注意係数を算出した後、正規化された係数をノードの計算、対応する特徴を各ノードに対応する出力に用いることができる。注意機構による分類効果を高め、情報の利用効率を高めるために、本発明では、複数の訓練可能な注意ベクトルを持つマルチヘッド注意機構が使用され、具体的には、ベクトルごとに注意係数の演算及びノード特徴畳み込みを個別に行い、出力構造を算出した後、平均関数と活性化関数の非線形変換を行う。

【数24】

【0061】

ここで、Ｗ^ｋはｋ番目のヘッド（ｈｅａｄ）の線形層重みであり、上付き文字ｋはマルチヘッド注意機構におけるｈｅａｄのインデックスを示し（合計Ｋ個のｈｅａｄ）、σは非線形活性化関数であり、ｈ_ｉはｉ番目の単語の入力単語ベクトルであり、ｈ_ｉ ^’はｉ番目の単語の出力単語ベクトルである。

【0062】

Ｓ２０５．ネットワーク構造では、２層の注意層を用いて特徴処理を行い、ＥＬＵ活性化関数を経た後、１層の完全接続層を用いて分類を行うような設計を採用する。

【0063】

図３において、各ノード間の接続線は異なるｈｅａｄを表し、図では、Ｋ＝３個のｈｅａｄが例示されている。図３における文字の意味は上記の式と同じである。

【0064】

Ｓ３：下流タスク利用ステップでは、下流タスク利用モジュールは、ＬａｗＧＰＴ システムの重要なモジュールの１つであり、最適化後の特徴を各下流タスクモジュールに渡し、システムが全体として法案理解、法案要約、法案作成、法案遵守、法案シミュレーション、法案管理などの複数のタスクを実行できるようにする。下流タスク利用モジュールは、主に、特徴抽出とタスク適応の２つの部分を含む。

【0065】

特徴抽出は、ＬａｗＧＰＴシステムで自然言語テキスト中の単語に対応する特徴表現を取得することを指し、通常、テキスト中のフォントを高次元ベクトルとして表現し、下流タスクモジュールに渡して下流タスクを行う。

【0066】

タスク適応とは、抽出された特性を下流タスクモジュールに渡し、下流タスクごとに特徴を調整することである。この過程は、主に、タスク分類と特徴調整の２つのステップを含む。タスク分類は、下流タスクを異なるカテゴリに分類し、カテゴリごとに異なるモデルを使用して処理することである。例えば、法案理解タスクには、テキスト分類モデルを、法案要約タスクには、生成モデルを用いることができる。特徴調整とは、抽出された特徴を下流タスクごとに調整することで、モデルの精度と効果を高めることである。例えば、法案遵守タスクでは、抽出された特徴の順序を変更して評価し、モデルが規制に遵守していることを確認する必要がある。

【0067】

本方法及びシステムの全体的なテストの手順は以下のとおりである。
１．法学テキストを特徴抽出し分類する。
２．「ＧＰＴ言語処理モジュール」を用いてテストデータを特徴抽出し、テキストごとのベクトル表現を得る。
３．「下流タスクモジュール」の分類タスクを使用して、混同行列で分類結果を評価し、精度、再現率、Ｆ１値などの指標を計算する。
４．分類アルゴリズムの実行時間とメモリ使用率を記録する。
５．入力テキストに対して類似度分析を行い、類似判例を推薦する。
６．「ＧＰＴ言語処理モジュール」事前訓練済みモデルを使用して入力テキストに対して特徴抽出を行い、入力テキストのベクトル表現を得る。次に、「グラフニューラルネットワーク特徴最適化モジュール」により特徴を最適化し、確率が最大となる単語を得て、予測出力テキストを得る。
７．「下流タスクモジュール」の類似度測定タスクを使用して、余弦類似度などの方法によって、出力テキストとテストデータ中の各テキストとの類似度を計算し、類似度リストを得る。
８．推奨判例の相関性スコアとユーザ満足度スコアを記録する。
９．推奨プロセスの応答時間とメモリ使用率を記録する。
本発明のシステムは、法案理解、法案要約、法案作成、法案遵守、法案シミュレーション、法案管理を行うことができる

【0068】

法案理解：
ＬａｗＧＰＴは、法案の内容をセマンティックレベルで理解することができ、ユーザは提案をシステムに提供した後、その法案に対して質問を投げかけ、モデルはこの質問に回答することができる。
ユーザはＬａｗＧＰＴに提案内容を分析してもらい、関連法案を迅速に理解するための短い要約を提供してもらうことができる。例えば、１つの特定実施例では、ユーザは以下のテキストを入力する。

本発明によるセマンティックグラフモデルに基づく法案インテリジェント分析システムは、上記の入力内容を処理し、法案理解モジュールは、以下のテキストを出力する。

【0069】

法案作成：
ユーザは、現在の法案の内容に基づいて、類似の法案を自動的に作成し、ユーザの指示に基づいて、判例に特定の修正を加えるようシステムに要求することができる。

【0070】

法案遵守：
ユーザは、インテリジェントアシスタントに、具体的にどの法律や規制が現在の法案に基づいているのかを分析し、対応する法律に基づいてコンプライアンス分析を行うよう依頼することができる。

【0071】

法案シミュレーション
法案分析の最も重要な応用の１つは、今後行われる訴訟判例の結果を判断することである。ＬａｗＧＰＴは、多数の法案の学習を通じて、専門的でインテリジェントな法律援助と分析を提供している。ユーザは自分が提出しようとしている訴訟の内容をＬａｗＧＰＴインテリジェントアシスタントに提出し、ＬａｗＧＰＴは勝訴の確率を分析し、ユーザに対して具体的な法律関連の提案を行う。

【0072】

法案管理：
ユーザは、過去アップロードされた法学判例をシステム内で管理できる。ＬａｗＧＰＴは、ユーザがアップロードした法案に対して体系化したスマート分析を行い、スマート可視化の方式で展示を行い、展示方式には法案関連の平行座標グラフ、法案セマンティック放射状ツリーグラフ、法案依存関係グラフ、法案ホットスポット水平トレンドグラフなどが含まれる。

【0073】

また、システムには模擬法廷モジュールが設けられている。法案分析の最も重要な応用の１つは、今後行われる訴訟判例の結果を判断することである。ＬａｗＧＰＴは、多数の法案の学習を通じて、専門的でインテリジェントな法律援助と分析を提供している。ユーザは自分が提出しようとしている訴訟の内容をＬａｗＧＰＴインテリジェントアシスタントに提出し、ＬａｗＧＰＴは勝訴の確率を分析し、ユーザに対して具体的な法律関連の提案を行う。

【0074】

本発明の技術的利点は以下のとおりである。
１）法学分野におけるＧＰＴ汎用モデルの応用革新を実現する。ＧＰＴ汎用モデルと法律分野の具体的な判例のコンサルティング分析作業を組み合わせることで、従来の法学判例の分析はキーワード検索による単一の相互作用しかできないという問題を解決し、人間と機械の質問と回答の間のマルチラウンド相互作用という新しい応用効果を実現し、認知モードと判例分析の考え方を再構築する。
２）ＬａｗＧＰＴ専用モデルの適応的改造の技術革新を実現する。法学用語の専門性が高く、論理推論が複雑であるという独特な需要に対して、汎用大型モデルの言語処理、グラフニューラルネットワークの特徴、下流タスク利用などのモジュールに対して適応的な技術革新を行い、的確なＬａｗＧＰＴモデルを構築し、また、北大法宝スマート型法律データベースの２０００件の判例データをもとに、実際の法律所の判例に基づき、ＬａｗＧＰＴモデルの技術的な有効性のテスト検証に合格した。
３）法学判例と法規間の知識を融合する方法の革新を実現する。作品全体の論理の角度から、新たなＧＰＴグラフニューラルネットワーク方法によって法律知識グラフを構築し、大量の判例や推理データを用いて法律知識グラフの学習訓練を行うことによって、具体的な判例テキスト及び関連する法律条文、規則の知識を融合するという課題を解決し、法学判例特徴抽出やマーチングなどのサービスをユーザに効率的に提供するという確実な効果を達成させる。

【0075】

以上から、ＬａｗＧＰＴは応用革新、技術革新、方法革新に特徴を持ち、法律テキストの理解、法律知識の深掘りと応用、システムの正確性と効率の向上などで、その顕著な革新性と実用性を示している。

【0076】

本発明のフローチャートに、又は本明細書において他の方法で説明される任意のプロセス又は方法の説明は、特定の論理機能又はプロセスを実装するための１つ又は複数のステップを含む実行可能命令のコードを表すモジュール、フラグメント、又は部分として理解され、命令実行システム、装置、又はデバイスのために、任意のコンピュータ可読媒体において実装されてもよく、前記コンピュータ可読媒体は、実行システム、装置、又はデバイスのために使用するための記憶、通信、伝播、又は送信プログラムを含む任意の媒体であってもよく、読み出し専用メモリ、磁気ディスク、光ディスクなどを含む。

【0077】

本明細書の説明において、「実施例」、「例」等の用語を参照した説明は、当該実施例又は例を参照して説明される特定の特徴、構造、材料、又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。本明細書では、上記の用語の概略的な表現は、同じ実施例又は例を対象としていなければならないものではない。さらに、当業者は、矛盾を生じることなく、本明細書に記載された異なる実施例又は例及びそれらの特徴を結合したり、組み合わせたりすることができる。

【0078】

以上、本発明の実施形態を示して説明したが、上記実施例は例示的なものであり、本発明を限定するものとは理解すべきではなく、当業者であれば、本発明の範囲内で上記実施例に対して変更、修正、置換や変形などの更新操作を行うことができることが理解される。

【要約】      （修正有）

【課題】法学判例特徴抽出やマーチングなどのサービスをユーザに効率的に提供するセマンティックグラフモデルに基づく法案インテリジェント分析方法及びシステムを提供する。
【解決手段】セマンティックグラフモデルに基づく法案インテリジェント分析方法は、自己注意機構を持つ深層学習モデルＴｒａｎｓｆｏｒｍｅｒネットワークを利用して、入力された法律テキストをコンピュータに処理可能な高次元特徴ベクトルに変換するＧＰＴ言語処理ステップと、ＧＰＴ言語処理モジュールによる高次元特徴ベクトルを最適化して、セマンティクスと知識との関係を構築することによってノード間を接続し、それによって法案セマンティクス特徴を生成し、テキストデータをグラフィック表現に変換するグラフニューラルネットワーク特徴最適化ステップと、前記グラフィック表現を受信して入力とし、次に、対応する結果を出力する下流タスク利用ステップと、を含む。
【選択図】図１

【図1】

【図2】

【図3】