特許 7055848 学習装置、学習方法、学習プログラム、及び請求項マップ作成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-08

(45)【発行日】2022-04-18

(54)【発明の名称】学習装置、学習方法、学習プログラム、及び請求項マップ作成装置

(51)【国際特許分類】

   G06F 16/35 20190101AFI20220411BHJP

   G06F 16/34 20190101ALI20220411BHJP

   G06N 3/08 20060101ALI20220411BHJP

   G06Q 50/18 20120101ALI20220411BHJP

【ＦＩ】

G06F16/35

G06F16/34

G06N3/08 140

G06Q50/18 310

【請求項の数】 5

(21)【出願番号】P 2020158458

(22)【出願日】2020-09-23

(65)【公開番号】P2022052212

(43)【公開日】2022-04-04

【審査請求日】2020-09-23

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトのアドレス：・ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓａｉ２０２０／ｓｕｂｊｅｃｔ／４Ｑ３－ＧＳ－９－０３／ｔａｂｌｅｓ？ｃｒｙｐｔｏＩｄ＝ ・ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ－ｉｍｇ／ｊｓａｉ２０２０／４Ｑ０６－０９／ｐｕｂｌｉｃ／ｐｄｆ？ｔｙｐｅ＝ｉｎ ・ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ－ｉｍｇ／ｊｓａｉ２０２０／４Ｑ３－ＧＳ－９－０３／ｐｕｂｌｉｃ／ｐｄｆ？ｔｙｐｅ＝ｉｎ 掲載日：令和２年５月２２日 ［刊行物等］ ２０２０年度 人工知能学会全国大会（第３４回） 開催日：令和２年６月１２日

(73)【特許権者】

【識別番号】301017433

【氏名又は名称】有限責任監査法人トーマツ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】坪田 匡史

(72)【発明者】

【氏名】神津 友武

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】特開２０１９－０４０４０２（ＪＰ，Ａ）

【文献】特開平０９－００６７９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｎ ３／０８

Ｇ０６Ｑ ５０／１８

(57)【特許請求の範囲】

【請求項1】

複数の請求項を含む複数の特許文献から、請求項文書を含む特許文章を入力する入力部と、
入力された前記特許文章に含まれる単語の分散表現を計算する事前学習部と、
前記請求項文書を形態素解析することにより単語単位に分割し、前記単語の分散表現を利用して、分割された前記単語のそれぞれをベクトル表現化し、前記請求項文書をテンソル化する前処理部と、
テンソル化された前記請求項文書のペアを入力として受け付け、入力された前記請求項文書のペアのそれぞれを文書ベクトル表現化し、文書ベクトル表現化された前記請求項文書のペアのベクトル間類似度を算出し、算出された前記ベクトル間類似度に基づいて類似すると判断された請求項文書のペアが、同一特許文献由来の場合には正解とし、異なる特許文献由来の場合には不正解とし、正解率が所定の閾値を超えるまで、文書ベクトル表現化を行うためのパラメータを誤差逆伝播法により最適化する深層学習を行なって深層学習モデルを作成する学習部と、
を有することを特徴とする学習装置。

【請求項2】

前記学習部は、前記請求項文書に含まれる特別な技術的特徴に対して重みづけを行う自己注意機構を備えることを特徴とする、請求項１に記載の学習装置。

【請求項3】

入力部が、複数の請求項を含む複数の特許文献から、請求項文書を含む特許文章を入力し、
事前学習部が、入力された前記特許文章に含まれる単語の分散表現を計算し、
前処理部が、前記請求項文書を形態素解析することにより単語単位に分割し、前記単語の分散表現を利用して、分割された前記単語のそれぞれをベクトル表現化し、前記請求項文書をテンソル化し、
学習部が、テンソル化された前記請求項文書のペアを入力として受け付け、入力された前記請求項文書のペアのそれぞれを文書ベクトル表現化し、文書ベクトル表現化された前記請求項文書のペアのベクトル間類似度を算出し、算出された前記ベクトル間類似度に基づいて類似すると判断された請求項文書のペアが、同一特許文献由来の場合には正解とし、異なる特許文献由来の場合には不正解とし、正解率が所定の閾値を超えるまで、文書ベクトル表現化を行うためのパラメータを誤差逆伝播法により最適化する深層学習を行なって深層学習モデルを作成する、
ことを特徴とする学習方法。

【請求項4】

コンピュータを請求項１または２に記載の学習装置として機能させることを特徴とする学習プログラム。

【請求項5】

請求項１または２に記載の学習装置と、
前記学習装置によって作成された前記深層学習モデルを用いて、テンソル化された前記請求項文書の多次元のベクトル表現を計算するベクトル表現計算部と、
計算された多次元のベクトル表現を２次元のベクトル表現に圧縮し、前記請求項文書間の類似性をベクトル間距離として出力する出力部と、
を有することを特徴とする請求項マップ作成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習方法、学習プログラム、及び請求項マップ作成装置に関する。

【背景技術】

【0002】

ある発明に類似する発明を特定することは、技術動向調査をする際の調査対象の選定の際などに有用である。発明間の類似性を定量化する技術は大きく二つのカテゴリに分けられる。一つが、発明のペアの間の「距離」を発明文書から直接計算することで発明間の類似性を直接求める方法（直接法）であり、もう一つが、発明間の類似性を反映した発明文書のベクトル表現を獲得し、ベクトル間の距離として発明間の類似性を定量する方法（間接法）である。

【0003】

特許文献１には、発明間の類似性の定量手法に関する記載がある。具体的には、特許出願Ａの請求項１に含まれる形態素群のうち所定割合以上の形態素が、別の特許出願Ｂの明細書にも含まれているときには、特許出願Ｂは特許出願Ａに類似すると判定する、としている。これは上記分類のうち直接法に該当するものである。また、特許文献１には、ＴＦ（Term Frequency）・ＩＤＦ（Inverse Document Frequency）法のように、形態素ごとの重要性を加味したうえで類否を判定することも可能である、との記載があり、これは上記分類のうち間接法に相当する。

【0004】

特許文献２にもまた、発明間の類似性の定量手法に関する記載がある。すなわち、発明文書に含まれるキーワードを用いて、分散表現空間で検索キーワードと近接する特許文章を抽出したうえで、発明文書と特許文書との類似度を編集距離に基づいて算出する手法である。この手法もまた、直接法に相当する。編集距離を用いるのは、表記ゆれを吸収するため、とされており、これにより、検索キーワードに類似する文言を備える特許文章も抽出することが可能とされている。

【0005】

特許法上、特許発明の技術的範囲を規定する文書は、請求の範囲、すなわち請求項文書である。したがって、発明間の類似性を定量する手法としては、請求項文書の間の類似性を定量可能な手法が望ましい。

【0006】

特許文献１に記載の直接法は、請求項という短文と明細書という長文の間の類似性評価に関するものであり、評価対象の特許の請求項に含まれる単語群が別の特許出願の明細書全体にどの程度含まれているかを検索するというシンプルな手法である。したがって、短文である請求項同士の類似性判定を想定した手法ではなく、同手法によって請求項同士の類似性判定を行なったとしても、同義語や類義語を考慮できない以上、正確な評価は望めない。また、特許文献１に記載の間接法（ＴＦ・ＩＤＦ法）についても、同義語や類義語を考慮できないという点は同様である。

【0007】

また、特許文献２に記載の直接法についても、思想としては発明文章という短文と、特許文章という長文との間の類似性判定を想定したものと考えられる。この手法についても、請求項同士の類似性判定に適用することは可能であり、編集距離を使用するという性質上、同義語や類義語による言い換え（例えば、）があったとしても、それが原因で編集距離の値が大きく変わってしまうことは少ない。他方で、ほぼ同義の文章であっても、記載形式（語順）に依存して編集距離の値が大きく変わってしまう可能性がある。特に、請求項の場合、ジェプソン形式や書き流し方式などの複数の記載形式が用いられるという慣例もあり、記載形式の違いによる影響が生じやすい。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２００９－２３８０７４号公報

【文献】特許第６５０６４８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、従来技術に存在していた上記課題を解決するためになされたものであり、特許文章を用いて事前学習した単語埋め込みモデルおよび請求項判別タスクによって学習した深層学習モデルを含む学習装置により、同義語・類義語への言い換えや、記載形式の違いなどの影響を受けにくい発明間の類似性定量手法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本開示の実施形態に係る学習装置は、複数の請求項を含む複数の特許文献から、請求項文書を含む特許文章を入力する入力部と、入力された特許文章に含まれる単語の分散表現を計算する事前学習部と、請求項文書を形態素解析することにより単語単位に分割し、単語の分散表現を利用して、分割された単語のそれぞれをベクトル表現化し、請求項文書をテンソル化する前処理部と、テンソル化された請求項文書のペアを入力として受け付け、入力された請求項文書のペアのそれぞれを文書ベクトル表現化し、文書ベクトル表現化された請求項文書のペアのベクトル間類似度を算出し、算出されたベクトル間類似度に基づいて類似すると判断された請求項文書のペアが、同一特許文献由来の場合には正解とし、異なる特許文献由来の場合には不正解とし、正解率が所定の閾値を超えるまで、文書ベクトル表現化を行うためのパラメータを誤差逆伝播法により最適化する深層学習を行なって深層学習モデルを作成する学習部と、を有することを特徴とする。

【0011】

上記学習装置において、学習部は、請求項文書に含まれる特別な技術的特徴に対して重みづけを行う自己注意機構を備えることが好ましい。

【0012】

本開示の実施形態に係る学習方法は、複数の請求項を含む複数の特許文献から、請求項文書を含む特許文章を入力し、入力された特許文章に含まれる単語の分散表現を計算し、請求項文書を形態素解析することにより単語単位に分割し、単語の分散表現を利用して、分割された単語のそれぞれをベクトル表現化し、請求項文書をテンソル化し、テンソル化された請求項文書のペアを入力として受け付け、入力された請求項文書のペアのそれぞれを文書ベクトル表現化し、文書ベクトル表現化された請求項文書のペアのベクトル間類似度を算出し、算出されたベクトル間類似度に基づいて類似すると判断された請求項文書のペアが、同一特許文献由来の場合には正解とし、異なる特許文献由来の場合には不正解とし、正解率が所定の閾値を超えるまで、文書ベクトル表現化を行うためのパラメータを誤差逆伝播法により最適化する深層学習を行なって深層学習モデルを作成する、ことを特徴とする。

【0013】

本開示の実施形態に係る学習プログラムは、コンピュータを上記学習装置として機能させることを特徴とする。

【0014】

本開示の実施形態に係る請求項マップ作成装置は、上記学習装置と、学習装置によって作成された深層学習モデルを用いて、テンソル化された請求項文書の多次元のベクトル表現を計算するベクトル表現計算部と、計算された多次元のベクトル表現を２次元のベクトル表現に圧縮し、請求項文書間の類似性をベクトル間距離として出力する出力部と、を有することを特徴とする。

【発明の効果】

【0015】

本開示の実施形態に係る学習装置によれば、同義語・類義語への言い換えや、記載形式の違いなどの影響を受けにくい発明間の類似性定量手法を提供することができる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係る学習装置の概略構成図である。

【図2】実施形態に係る学習装置による学習工程の手順を説明するための概略図である。

【図3】実施形態に係る学習装置において行われる形態素解析の例を示す図である。

【図4】実施形態に係る学習方法の手順を説明するためのフローチャートである。

【図5】実施形態に係る学習装置において用いられる双方向ＬＳＴＭに自己注意機構を適用したネットワークモデルの概略図である。

【図6】同一特許文献に含まれる独立請求項と従属請求項のペアについてattention vectorを可視化した結果を示す図である。

【図7】実施形態に係る請求項マップ作成装置の概略構成図である。

【図8】実施形態に係る請求項マップ作成装置による請求項マップの作成手順を説明するためのフローチャートである。

【図9】（ａ）は、実施形態に係る請求項マップ作成装置によって作成した請求項マップの例であり、（ｂ）は、従来技術によって作成した請求項マップの例である。

【発明を実施するための形態】

【0017】

以下、図面を参照して、本発明の実施形態に係る学習装置、学習方法、学習プログラム、及び請求項マップ作成装置について説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0018】

まず、本開示の実施形態に係る学習装置の概要について説明する。本開示の実施形態に係る学習装置は、請求項ペアが同一特許文献由来か否かを判別するタスク（請求項判別タスク）によって学習を行なう深層学習モデルを含む点を特徴としている。請求項マップ作成装置は、学習済みの学習装置を用いて請求項文書をベクトル表現化することにより、請求項文書間の類似性をベクトル間距離として定量することができる。ここで、「特許文献」には、「特許公開公報」及び「特許公報」が含まれる。

【0019】

請求項判別タスクは、同一特許文献由来の請求項ペアを正例とし、異なる特許文献由来の請求項ペアを負例としたうえで、これらを判別するものである。

【0020】

特許法上、特許発明の技術的範囲を規定する文書は、請求の範囲、すなわち請求項文書であり、請求項文書の中でも特に、「先行文献に対する貢献を明示する技術的特徴」と定義される「特別な技術的特徴」の部分が重要となる。また、一の特許出願に含まれる複数の請求項の間には、特別な技術的特徴が共通することによる「発明の単一性」がある必要がある。よって、原則として、同一特許文献由来の請求項ペアは類似関係にあると考えることができる。

【0021】

請求項判別タスクは、特許出願の上記性質を利用したものである。学習装置が請求項判別タスクを学習することにより、学習装置は、各請求項文書の中から「特別な技術的特徴」に相当する部分を特定するための一般的ルールを学習することが期待される。そして、学習済みの学習装置を利用することで、高精度な発明間類似性の定量を可能とする請求項文書ベクトル表現が得られるものと期待される。

【0022】

次に、本実施形態に係る学習装置について説明する。図１は、実施形態に係る学習装置の概略構成を示す模式図である。図２は、実施形態に係る学習装置による学習工程の手順を説明するための概略図である。学習装置１００は、事前学習部１０と、前処理部２０と、学習部３０と、を有する。学習装置１００に含まれる各機能ブロックは、ＣＰＵ、ＲＯＭおよびＲＡＭなどを含むマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される。また、学習装置１００へのデータの入力は、入力部４０により行われる。入力部４０は、複数の請求項を含む複数の特許文献から、請求項文書を含む特許文章を入力する。

【0023】

事前学習部１０は、入力部４０から入力された特許文章を用いてニューラル言語モデルを学習させることにより、単語の分散表現を計算する。事前学習部１０は、特許文章を形態素解析して単語単位に分割する形態素解析部１１と、ニューラル言語モデル部１２と、を含む。

【0024】

特許文章として使用するのは、特許請求の範囲、明細書、要約書を含む文章であり、いずれかを１つまたは複数用いてもよいし、全てを併せて用いてもよい。形態素解析部１１で行われる文書の形態素解析は、文章を単語単位に分かち書きする解析方法である。例えば、「前処理部と、学習部とを備える学習装置」という文章について形態素解析を行うと、図３のように複数の単語について、品詞の種類や、活用形の種類などを割り出すことができる。

【0025】

また、ニューラル言語モデルとしては、ｓｋｉｐ－ｇｒａｍモデル、ＧｌｏＶｅモデル、ＢＥＲＴモデルなどを使用することができるが、これらに限定されるものではない。ｓｋｉｐ－ｇｒａｍモデルとは、ある単語が与えられたとき、その周辺の単語を予測するためのモデルである。ＧｌｏＶｅ（Global Vectors for Word Representation）モデルは、文書全体における単語と単語の共起行列を使って表される、ある単語の文脈単語が現れる確率値と、ある単語ベクトルと文脈単語ベクトルの内積が等しいものをモデル化して、最小二乗法で解くことで得られるものを、ある単語のベクトルとしたものである。ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）モデルは、Transformerによる双方向のエンコード表現を用いた自然言語処理モデルである。

【0026】

前処理部２０は、請求項文書を形態素解析することにより単語単位に分割したうえで、事前学習部１０が有する単語の分散表現を利用して分割された単語のそれぞれをベクトル表現化し、請求項文書をテンソル表現化（以下、単に「テンソル化」ともいう。）する。

【0027】

学習部３０は、テンソル化された請求項文書のペアを入力として受け付け、入力された請求項文書のペアのそれぞれを文書ベクトル表現化する第１ニューラルネットワーク部３１と、文書ベクトル表現化された請求項文書のペアを入力として受け付け、当該ペアが同一特許文献由来か否かを判断する第２ニューラルネットワーク部３２と、を含む。

【0028】

第１ニューラルネットワーク部３１には、ＬＳＴＭ（long-short term memory）モデルやＢＥＲＴモデルなどを使用することができるが、これらのモデルに限定されるものではない。ＬＳＴＭモデルは、文脈情報を含めて文書をベクトル化するモデルである。ＬＳＴＭモデルを使用する場合には、自己注意（self-attention）機構を備えることが望ましい。自己注意機構は、請求項判別タスクを解くにあたり、各請求項に内包される特別な技術的特徴に対して重みづけすることを可能にするために、入力データの特定の部分に注目する機構を予測モデルに組み込むものである。attentionを可視化することにより、予測を行ううえで、入力データのうちの注目した部分を示すことができる。なお、ＬＳＴＭモデルを使用する場合のモデルハイパーパラメータについては、文献（Lin, Z., Feng, M., Nogueira dos Santos, C., Yu, M., Xiang, B., Zhou B., Bengio, Y: A Structured Self-Attentive Sentence Embedding, arXiv preprint arXiv:1703.03130 (2017)）に記載のハイパーパラメータセットを使用することが望ましいが、学習に使用するデータセットの数に応じて適宜ハイパーパラメータの調整が必要になることに留意されたい。

【0029】

第２ニューラルネットワーク部３２は、文書ベクトル表現化された請求項文書のペアのベクトル間類似度を算出し、算出されたベクトル間類似度に基づいて類似すると判断された請求項文書のペアが、同一特許文献由来の場合には正解とし、異なる特許文献由来の場合には不正解とし、正解率が所定の閾値を超えるまで、文書ベクトル表現化を行うためのパラメータを誤差逆伝播法により最適化する深層学習を行なって深層学習モデルを作成する。第２ニューラルネットワーク部３２には、順伝搬型ニューラルネットワークを使用することができるが、このモデルに限定されるものではない。第２ニューラルネットワーク部３２に対する入力は、二つの文書ベクトルを結合したベクトルとしてもよいし、二つの文書ベクトルの内積としても良いし、二つの文書ベクトルの距離としてもよいし、これらの組み合わせとしてもよいが、これらに限定されるものではない。

【0030】

学習部３０の学習のためには、同一特許文献由来の請求項ペア、および異なる特許文献由来の請求項ペアを用意する必要がある。同一特許文献由来の請求項ペアとしては、独立請求項と従属請求項のペアが望ましい。また、異なる特許文献由来の請求項ペアとしては、独立請求項のペアが望ましい。

【0031】

学習部３０の学習は、第１ニューラルネットワーク部３１と第２ニューラルネットワーク部３２を一体として行われるものであり、それぞれが独立に学習するものではない。ニューラルネットワークの学習方法は従来既知の手法を用いればよい。すなわち、各教師データに関する第２ニューラルネットワーク部３２による判別結果と、教師ラベル（同一特許文献に由来するか、もしくは、異なる特許文献に由来するか）とから、損失関数に基づく損失を算出し、これを誤差逆伝播法により逆伝播することにより、損失が小さくなるようニューラルネットワーク内の各パラメータを逐次的に最適化すればよい。損失関数としては二値クロスエントロピー関数を用いることが望ましいが、これに限定されるものではない。また、損失最小化のための最適化アルゴリズムにはＡｄａｍやＡｄａｇｒａｄなどを用いることができるが、これらに限定されるものではない。また、学習の際には、教師データをバッチ単位で使用することが望ましい。

【0032】

なお、過学習を防ぐため、学習を数エポック行った後に正解率等の学習指標が閾値を超えていれば学習を止めることが望ましい。同一特許文献由来のペアと異なる特許文献由来のペアが同数の場合、正解率９５パーセントなどを閾値として使用することができる。

【0033】

次に、本開示の実施形態に係る学習方法について説明する。図４に、実施形態に係る学習方法の手順を説明するためのフローチャートを示す。図５に、実施形態に係る学習装置において用いられる双方向ＬＳＴＭに自己注意機構を適用したネットワークモデルの概略図を示す。

【0034】

まず、ステップＳ１０１において、２つの請求項Ａ及び請求項Ｂを入力部４０から事前学習部１０に入力する。ここで、請求項Ａ及びＢは、同一特許文献に含まれる独立項と従属項の２つの請求項（類似請求項ペア）であるか、または、異なる２つの特許文献にそれぞれ含まれる独立項（非類似請求項ペア）である。

【0035】

次に、ステップＳ１０２において、形態素解析部１１が、入力された請求項文書Ｄ（単語数ｎ）を単語列へ変換する。例えば、図５に示すように、「掃除機であって、・・・」との請求項の記載は、「掃除機」、「で」、「あって」のように単語単位に分かち書きされる。ＢＯＳ（beginning of sentence）は文頭を意味し、ＥＯＳ（end of sentence）は文末を意味している。

【0036】

次に、ステップＳ１０３において、ニューラル言語モデル部１２が、単語単位に分かち書きした単語を下記の式（１）のように単語埋め込みベクトルｗ_t（次元数１００）に変換する。

【0037】

【数1】

【0038】

次に、ステップＳ１０４において、第１ニューラルネットワーク部３１が、請求項文書ベクトルを計算する。即ち、下記の式（２）～（４）により、順方向ＬＳＴＭセル及び逆方向ＬＳＴＭセルを含む双方向ＬＳＴＭ（各方向につき次元数２００）によりｎ個の隠れ状態ベクトルｈ_t（次元数４００）を得る。

【0039】

【数2】

【0040】

さらに、self-attention vectorを計算するため、下記の式（５）により、全結合型feed-forward neural network（１層の隠れ層、次元数１００）を介して各ｈ_tからスカラー値ａ_tを得る。Ｗ₁は４００×１００の行列、Ｗ₂は１×１００の行列（ベクトル）である。

【0041】

【数3】

【0042】

次に、ソフトマックス（softmax）関数を介することで、下記の式（６）により、self-attention vectorであるａｔｔ（次元数ｎ）を得る。

【0043】

【数4】

【0044】

最後に、self-attention vectorによる加重平均により、下記の式（７）により、文書埋め込みベクトルｓを得る。

【0045】

【数5】

【0046】

次に、ステップＳ１０５において、第２ニューラルネットワーク部３２が、ベクトル間類似度を算出する。判別タスクを解く際には、ペアである請求項それぞれについて埋め込みベクトルｓ₁，ｓ₂を得た後、これらを以下の式（８）のように組み合わせたベクトルｓ_cを作成し、全結合層（次元数７５０）を介してロジスティック回帰を行なう。

【0047】

【数6】

【0048】

次に、ステップＳ１０６において、算出したベクトル間類似度が教師ラベルと一致しているか否かを判断する。即ち、算出されたベクトル間類似度に基づいて類似すると判断された請求項文書のペアが、同一特許文献由来の場合には正解とし、異なる特許文献由来の場合には不正解と判断する。

【0049】

不正解と判断された場合は、教師ラベルと一致していないため、ステップＳ１０７において、誤差逆伝播法によりニューラルネットワーク（第１ニューラルネットワーク部３１及び第２ニューラルネットワーク部３２）の各パラメータを最適化する。

【0050】

さらに、算出されたベクトル間類似度に基づいて非類似であると判断された請求項文書のペアが、同一特許文献由来の場合には不正解とし、異なる特許文献由来の場合には正解と判断する。

【0051】

この場合も、不正解と判断された場合は、教師ラベルと一致していないため、ステップＳ１０７において、誤差逆伝播法によりニューラルネットワークの各パラメータを最適化する。

【0052】

ステップＳ１０６において、ベクトル間類似度に基づく判断結果が教師ラベルと一致すると判断された場合は、ステップＳ１０８において、学習指標が閾値以上であるか否かを判断する。例えば、正解率が９５パーセント以上である場合は、学習指標が閾値以上であると判断して学習工程を終了する。

【0053】

一方、学習指標が閾値未満であるは、ステップＳ１０１に戻って次のエポックを用いて学習を行う。

【0054】

以上のようにして訓練したモデルによって請求項に対して付加されるattention vectorを、同一特許文献（特許第５４００９１５号公報）由来の類似請求項ペアについて可視化した結果を図６に示す。図６（ａ）は独立項である請求項１を示し、図６（ｂ）は従属項である請求項３を示している。色が濃い部分ほど、より大きなattentionを付加していることを表している。例えば、請求項１のＡ１、Ａ２、Ａ３は、それぞれ、請求項３のＢ１、Ｂ２、Ｂ３と対応していると考えられる。このように、請求項間に共通する構成部分に対して、より大きなattentionを付加していることが分かる。

【0055】

以上、学習装置について説明したが、学習プログラムにより、コンピュータを学習装置として機能させるようにしてもよい。

【0056】

次に、本開示の実施形態に係る請求項マップ作成装置について説明する。図７に、実施形態に係る請求項マップ作成装置１０００の概略構成図を示す。請求項マップ作成装置１０００は、入力部４０と、学習装置１００と、ベクトル表現計算部５０と、出力部６０と、を有する。学習装置１００は上述した学習装置と同様であるので詳細な説明は省略する。

【0057】

ベクトル表現計算部５０は、学習装置１００によって作成された深層学習モデルを用いて、テンソル化された請求項文書の多次元のベクトル表現を計算する。

【0058】

出力部６０は、計算された多次元のベクトル表現を２次元のベクトル表現に圧縮し、請求項文書間の類似性をベクトル間距離として出力する。出力部６０から出力されたデータは、ＬＣＤ等の表示装置に表示することができる。

【0059】

次に、本開示の実施形態に係る請求項マップ作成装置を用いた請求項マップ作成手順について説明する。図８に、実施形態に係る請求項マップ作成装置による請求項マップの作成手順を説明するためのフローチャートを示す。

【0060】

まず、ステップＳ２０１において、入力部４０により、特許文献の請求項１を入力する。ここでは、まず全データセットを使用して学習装置１００の学習を行ない、学習後の第１ニューラルネットワーク部３１に対して、データセットに含まれる各特許文献の請求項１を再度入力する。

【0061】

次に、ステップＳ２０２において、形態素解析部１１が、請求項文書を単語列へと変換する。請求項文書の単語への分かち書きには形態素解析エンジンであるＭｅＣａｂを用いることができる。

【0062】

次に、ステップＳ２０３において、ニューラル言語モデル部１２が、単語をベクトル変換する。

【0063】

次に、ステップＳ２０４において、第１ニューラルネットワーク部３１が、請求項文書ベクトルを計算する。

【0064】

次に、ステップＳ２０５において、ｔ－ＳＮＥ法により、高次元の請求項文書ベクトルを２次元の請求項文書ベクトルに次元圧縮する。t－ＳＮＥ（t-distribution Stochastic Neighbor Embedding）法は、元のデータの情報をなるべく保持したままデータの次元数を減らすアルゴリズムである。

【0065】

次に、ステップＳ２０６において、２次元の請求項文書ベクトルを用いて、請求項マップを作成する。

【0066】

本開示の実施形態に係る請求項マップ作成装置によって作成した請求項マップについて説明する。図９（ａ）は、実施形態に係る請求項マップ作成装置によって作成した請求項マップの例であり、一例として、電気機器メーカーであるダイソン（Dyson limited）が日本国特許庁に出願した特許出願であって、２０１０年１月１日以降に出願公開された特許文献約１２００件を対象にした実験結果を示す。

【0067】

比較として、図９（ｂ）に従来手法であるＴＦ・ＩＤＦ法によるベクトル表現を用いた請求項マップを示す。請求項文書間の類似性をベクトル表現上に精度良く反映することができていれば、類似する発明を含む特許文献が請求項マップ上で密集するいわゆる「クラスタ」が形成され易くなる。図９（ａ）に示すように、本開示の実施形態による請求項マップ作成装置により作成した請求項マップ上には、グループＡ～Ｄのクラスタが形成されていることが分かる。一方、図９（ｂ）に示すように、従来技術により作成された請求項マップ上には、明確なクラスタの形成は認められない。

【0068】

本開示の実施形態による請求項マップ作成装置による効果を定量的に評価するため、図９（ａ）及び（ｂ）のそれぞれの請求項マップについて、同一のデータ範囲かつ同一のデータ数でランダムに分布する仮想的な請求項マップからのエントロピー減少幅を計算した。エントロピーは乱雑さの指標であるため、ランダム分布からのエントロピー減少幅が大きいほど、請求項マップ上に明確な「クラスタ」が形成されていると解釈できる。計算の結果、本開示の実施形態に係る請求項マップ作成装置により得られた請求項マップ（図９（ａ））におけるエントロピー減少幅は０．５６７である一方で、従来手法による請求項マップ（図９（ｂ））におけるエントロピー減少幅は０．４３１であり、前者の方が大きな減少幅を示した。この結果から、本開示の実施形態に係る請求項マップ作成装置により、高精度に発明間の類似性を定量する手法が提供されることが分かる。

【0069】

なお、特許文献として日本語特許文献を使用した例について説明したが、実施形態に係る学習装置の適用対象は日本語の特許文献に限定されず、英語等、他の言語についても適用することができる。

【符号の説明】

【0070】

１０ 事前学習部
１１ 形態素解析部
１２ ニューラル言語モデル部
２０ 前処理部
３０ 学習部
３１ 第１ニューラルネットワーク部
３２ 第２ニューラルネットワーク部
４０ 入力部
５０ ベクトル表現計算部
６０ 出力部
１００ 学習装置
１０００ 請求項マップ作成装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】