ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 日本電信電話株式会社の特許一覧 ▶ 国立大学法人電気通信大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024123471
(43)【公開日】2024-09-12
(54)【発明の名称】論文構造解析装置、論文構造解析方法、プログラム
(51)【国際特許分類】
G06F 40/279 20200101AFI20240905BHJP
G06F 40/151 20200101ALI20240905BHJP
G06F 40/143 20200101ALI20240905BHJP
G06F 40/258 20200101ALI20240905BHJP
G06F 16/958 20190101ALI20240905BHJP
【ＦＩ】
G06F40/279
G06F40/151
G06F40/143
G06F40/258
G06F16/958
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023030913
(22)【出願日】2023-03-01
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）発行日 予稿集公開 ２０２２年３月７日、発明を発表した日 ２０２２年３月１５日（開催日 ２０２２年３月１４日～１８日） 刊行物 言語処理学会 第２８回年次大会（予稿集） ｈｔｔｐｓ：／／ｗｗｗ．ａｎｌｐ．ｊｐ／ｎｌｐ２０２２／ （２）公開日 ２０２２年６月１３日 刊行物 ＬＲＥＣ２０２２（ｔｈｅ １３ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｎｇｕａｇｅ Ｒｅｓｏｕｒｃｅｓ ａｎｄ Ｅｖａｌｕａｔｉｏｎ） ｈｔｔｐ：／／ｗｗｗ．ｌｒｅｃ－ｃｏｎｆ．ｏｒｇ／ｐｒｏｃｅｅｄｉｎｇｓ／ｌｒｅｃ２０２２／ｉｎｄｅｘ．ｈｔｍｌ
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】成松 宏美
(72)【発明者】
【氏名】南 泰浩
(72)【発明者】
【氏名】小林 恵大
(72)【発明者】
【氏名】小山 康平
【テーマコード（参考）】
5B091
5B109
5B175
【Ｆターム（参考）】
5B091AA15
5B091AB01
5B091CA01
5B091CA21
5B109NH01
5B109NH06
5B109NH13
5B109NH14
5B109TA11
5B175DA01
5B175FA01
(57)【要約】
【課題】従来よりも高精度に論文の文書構造を解析することができる論文構造解析装置を提供する。
【解決手段】論文構造解析装置は、ＰＤＦ形式の論文をＨＴＭＬ形式に変換するＨＴＭＬ変換部と、ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および前記括弧記号が挿入されている場合の前記括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出する引用アンカ検出部を含む。
【選択図】図１
【解決手段】論文構造解析装置は、ＰＤＦ形式の論文をＨＴＭＬ形式に変換するＨＴＭＬ変換部と、ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および前記括弧記号が挿入されている場合の前記括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出する引用アンカ検出部を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ＰＤＦ形式の論文をＨＴＭＬ形式に変換するＨＴＭＬ変換部と、
ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および前記括弧記号が挿入されている場合の前記括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出する引用アンカ検出部を含む
論文構造解析装置。
ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および前記括弧記号が挿入されている場合の前記括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出する引用アンカ検出部を含む
論文構造解析装置。
【請求項2】
請求項１に記載の論文構造解析装置であって、
前記引用アンカに範囲を示す記号が含まれる場合に、前記引用アンカを範囲によって示された番号を列挙する形式に変換する対応付け部を含む
論文構造解析装置。
前記引用アンカに範囲を示す記号が含まれる場合に、前記引用アンカを範囲によって示された番号を列挙する形式に変換する対応付け部を含む
論文構造解析装置。
【請求項3】
請求項２に記載の論文構造解析装置であって、
ＨＴＭＬ形式に変換された論文の本文から所定のキーワードを検出し、前記所定のキーワードの直前に括弧付き番号または括弧無しの番号を含む場合に前記括弧付き番号または前記括弧無しの番号を含む行を章の先頭とするか、あるいは前記所定のキーワードのフォントサイズと一致するフォントサイズで表記されている行を章の先頭として、前記論文の本文を章ごとに抽出する章抽出部を含む
論文構造解析装置。
ＨＴＭＬ形式に変換された論文の本文から所定のキーワードを検出し、前記所定のキーワードの直前に括弧付き番号または括弧無しの番号を含む場合に前記括弧付き番号または前記括弧無しの番号を含む行を章の先頭とするか、あるいは前記所定のキーワードのフォントサイズと一致するフォントサイズで表記されている行を章の先頭として、前記論文の本文を章ごとに抽出する章抽出部を含む
論文構造解析装置。
【請求項4】
請求項３に記載の論文構造解析装置であって、
章ごとに抽出された前記論文の末尾の章において行頭に括弧付き番号または括弧無しの番号を含む行が存在する場合に該当する行を各文献情報の先頭として前記末尾の章を文献毎に抽出してＧＲＯＢＩＤに入力する引用文献情報抽出部を含む
論文構造解析装置。
章ごとに抽出された前記論文の末尾の章において行頭に括弧付き番号または括弧無しの番号を含む行が存在する場合に該当する行を各文献情報の先頭として前記末尾の章を文献毎に抽出してＧＲＯＢＩＤに入力する引用文献情報抽出部を含む
論文構造解析装置。
【請求項5】
論文構造解析装置が実行する論文構造解析方法であって、
ＰＤＦ形式の論文をＨＴＭＬ形式に変換するステップと、
ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および前記括弧記号が挿入されている場合の前記括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出するステップを含む
論文構造解析方法。
ＰＤＦ形式の論文をＨＴＭＬ形式に変換するステップと、
ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および前記括弧記号が挿入されている場合の前記括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出するステップを含む
論文構造解析方法。
【請求項6】
コンピュータを請求項１から４の何れかに記載の論文構造解析装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、視覚情報で判断される文書構造を考慮して論文の構造を解析する論文構造解析装置、論文構造解析方法、プログラムに関する。
【背景技術】
【0002】
ＰＤＦ形式の論文からの情報抽出に関する従来の技術として例えばＧＲＯＢＩＴ（非特許文献１）、ＰＤＦＢＯＴ（非特許文献２）などがある。ＧＲＯＢＩＴは、章タイトル、本文、引用文献情報の抽出、本文中の引用アンカとの対応付けを行うことができ、引用文献情報を高精度に抽出することができる。ＰＤＦＢＯＴは、ＰＤＦ形式の論文をＨＴＭＬ形式に変換することにより、論文の本文のみを抽出することができる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Patrice Lopez, “GROBID”, ［online］, ［令和 5年 1月 30日検索］、インターネット〈 URL：https://github.com/kermitt2/grobid〉
【非特許文献2】Changfeng Yu, Cheng Zhang, Jie Wang, “Extracting Body Text from Academic PDF Documents for Text Mining”, International Conference on Knowledge Discovery and Information Retrieval, 23 October 2020.
【発明の概要】
【発明が解決しようとする課題】
【0004】
ＧＲＯＢＩＴは、本文の途中に図表のテキストが紛れ込む誤認識がしばしば起こる。またＰＤＦＢＯＴは、論文の章タイトル、引用文献の章を全て除去してしまうという課題がある。
【0005】
そこで本開示では、従来よりも高精度に論文の文書構造を解析することができる論文構造解析装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の論文構造解析装置は、ＨＴＭＬ変換部と、引用アンカ検出部を含む。
【0007】
ＨＴＭＬ変換部は、ＰＤＦ形式の論文をＨＴＭＬ形式に変換する。引用アンカ検出部は、ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および前記括弧記号が挿入されている場合の前記括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出する。
【発明の効果】
【0008】
本開示の論文構造解析装置によれば、従来よりも高精度に論文の文書構造を解析することができる。
【図面の簡単な説明】
【0009】
【図1】実施例１の論文構造解析装置の機能構成を示すブロック図。
【図2】実施例１の論文構造解析装置の動作を示すフローチャート。
【図3】典型的な論文の文書構造の例を示す図。
【図4】章抽出部の章の先頭を特定する動作の例を示す図。
【図5】引用文献の章を文献毎に抽出（分割）した例を示す図。
【図6】ＧＲＯＢＩＤの出力例を示す図。
【図7】引用アンカ検出部の検出パターン設定例を示す図。
【図8】従来技術と実施例１の装置における章タイトル抽出精度評価実験の結果を示す図。
【図9】従来技術と実施例１の装置における本文抽出精度評価実験の結果を示す図。
【図10】従来技術と実施例１の装置における引用文献情報抽出精度評価実験の結果を示す図。
【図11】コンピュータの機能構成例を示す図。
【発明を実施するための形態】
【0010】
以下、本開示の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例0011】
以下、図１を参照して実施例１の論文構造解析装置の機能構成を説明する。同図に示すように本実施例の論文構造解析装置１は、ＰＤＦ論文データベース１０と、ＨＴＭＬ変換部１１と、章抽出部１２と、本文クリーニング部１３と、引用文献情報抽出部１４と、引用アンカ検出部１５と、対応付け部１６と、外部文献データ取得部１７と、データセット記憶部１８を含む。以下、図２－図５を参照して、各構成要件の動作を説明する。
【0012】
＜ＰＤＦ論文データベース１０＞
ＰＤＦ論文データベース１０には、ＰＤＦ形式の論文が多数記憶されている。なお、ＰＤＦ論文データベース１０は必須の構成ではなく、例えば論文データをインターネット９１から取得する構成としてもよい。
ＰＤＦ論文データベース１０には、ＰＤＦ形式の論文が多数記憶されている。なお、ＰＤＦ論文データベース１０は必須の構成ではなく、例えば論文データをインターネット９１から取得する構成としてもよい。
【0013】
＜ＨＴＭＬ変換部１１＞
ＨＴＭＬ変換部１１は、テキストの特徴量を取得するために、ＰＤＦ形式の論文をＨＴＭＬ形式に変換する（Ｓ１１）。例えばＨＴＭＬ変換部１１は、pdf2htmlEX（参考非特許文献１）を使用することができる。
ＨＴＭＬ変換部１１は、テキストの特徴量を取得するために、ＰＤＦ形式の論文をＨＴＭＬ形式に変換する（Ｓ１１）。例えばＨＴＭＬ変換部１１は、pdf2htmlEX（参考非特許文献１）を使用することができる。
【0014】
（参考非特許文献１：“pdf2htmlEX”, ［online］, ［令和 5年 1月 31日検索］、インターネット〈 URL：https://github.com/pdf2htmlEX/pdf2htmlEX〉）
ＨＴＭＬ変換部１１は、ＨＴＭＬ変換により、テキストの特徴量（座標、フォント種類・サイズ）を取得する。テキストの特徴量は<div x1 y1 ff1 fs1>text</div>といった形式で表現される。x1, y1は座標、ff1はフォント種類、fs1はフォントサイズを意味する。
ＨＴＭＬ変換部１１は、ＨＴＭＬ変換により、テキストの特徴量（座標、フォント種類・サイズ）を取得する。テキストの特徴量は<div x1 y1 ff1 fs1>text</div>といった形式で表現される。x1, y1は座標、ff1はフォント種類、fs1はフォントサイズを意味する。
【0015】
ＨＴＭＬ変換部１１は、テキストの特徴量を用いて、論文のレイアウト情報を取得する。論文のレイアウト情報とは、論文の段組み、本文行の始点のｘ座標、本文のフォントサイズ・種類、本文の行間の情報などである（図３の例を参照）。
【0016】
＜章抽出部１２＞
章抽出部１２は、まずＨＴＭＬ形式に変換された論文の本文から、所定のキーワードとなるテキストを取得する（Ｓ１２）。所定のキーワードは例えば“Introduction”とすれば好適である。この後の処理は、章番号の有無により異なる。章抽出部１２は、所定のキーワード（例えば“Introduction”）の直前に章番号、すなわち括弧付き番号または括弧無しの番号を含む場合に括弧付き番号または括弧無しの番号を含む行を章の先頭とする（Ｓ１２、図４の章番号有りの例を参照）。章番号が無い場合、章抽出部１２は、所定のキーワードのフォントサイズと一致するフォントサイズで表記されている行を章の先頭として、論文の本文を章ごとに抽出する（Ｓ１２、図４の章番号無しの例を参照）。
章抽出部１２は、まずＨＴＭＬ形式に変換された論文の本文から、所定のキーワードとなるテキストを取得する（Ｓ１２）。所定のキーワードは例えば“Introduction”とすれば好適である。この後の処理は、章番号の有無により異なる。章抽出部１２は、所定のキーワード（例えば“Introduction”）の直前に章番号、すなわち括弧付き番号または括弧無しの番号を含む場合に括弧付き番号または括弧無しの番号を含む行を章の先頭とする（Ｓ１２、図４の章番号有りの例を参照）。章番号が無い場合、章抽出部１２は、所定のキーワードのフォントサイズと一致するフォントサイズで表記されている行を章の先頭として、論文の本文を章ごとに抽出する（Ｓ１２、図４の章番号無しの例を参照）。
【0017】
＜本文クリーニング部１３＞
本文クリーニング部１３は、非特許文献２のルールベース手法により、ヘッダ・フッタ・脚注、図表キャプション、図、数式を除去し、画像認識（参考非特許文献２）により、TableBank（参考非特許文献３）で学習済みのCNNを利用して、表を検出し、検出範囲を座標に変換して対象範囲を除去する（Ｓ１３）。
本文クリーニング部１３は、非特許文献２のルールベース手法により、ヘッダ・フッタ・脚注、図表キャプション、図、数式を除去し、画像認識（参考非特許文献２）により、TableBank（参考非特許文献３）で学習済みのCNNを利用して、表を検出し、検出範囲を座標に変換して対象範囲を除去する（Ｓ１３）。
【0018】
（参考非特許文献２：Angela Casado－Garcia, Cesar Dominguez, Jonathan Heras, Eloy Mata, and Vico Pascual. The benefits of close－domain fine－tuning for table detection in document images. In International Workshop on Document Analysis Systems, pp. 199-215. Springer, 2020）
（参考非特許文献３：Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, Ming Zhou, and Zhoujun Li. Table－Bank: Table benchmark for image－based table detection and recognition. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1918-1925, Marseille, France, May 2020. European Language Resources Association）
＜引用文献情報抽出部１４＞
引用文献情報抽出部１４の処理は、文献番号の有無により異なる。引用文献情報抽出部１４は、章ごとに抽出された論文の末尾の章において行頭に括弧付き番号または括弧無しの番号を含む行が存在する場合に該当する行を各文献情報の先頭として末尾の章を文献毎に抽出（分割）してＧＲＯＢＩＤ（非特許文献１）に入力し、ＧＲＯＢＩＤの出力から引用文献情報を抽出する（Ｓ１４）。分割は例えば図５に例示するように実行される。一方、引用文献情報抽出部１４は、文献番号が無い場合すなわち、章ごとに抽出された論文の末尾の章において行頭に括弧付き番号または括弧無しの番号を含む行が存在しない場合に、分割を行わずに末尾の章（のＰＤＦデータ）をそのままＧＲＯＢＩＤに入力し、ＧＲＯＢＩＤの出力から引用文献情報を抽出する（Ｓ１４）。ＧＲＯＢＩＤの出力例を図６に示す。
（参考非特許文献３：Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, Ming Zhou, and Zhoujun Li. Table－Bank: Table benchmark for image－based table detection and recognition. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1918-1925, Marseille, France, May 2020. European Language Resources Association）
＜引用文献情報抽出部１４＞
引用文献情報抽出部１４の処理は、文献番号の有無により異なる。引用文献情報抽出部１４は、章ごとに抽出された論文の末尾の章において行頭に括弧付き番号または括弧無しの番号を含む行が存在する場合に該当する行を各文献情報の先頭として末尾の章を文献毎に抽出（分割）してＧＲＯＢＩＤ（非特許文献１）に入力し、ＧＲＯＢＩＤの出力から引用文献情報を抽出する（Ｓ１４）。分割は例えば図５に例示するように実行される。一方、引用文献情報抽出部１４は、文献番号が無い場合すなわち、章ごとに抽出された論文の末尾の章において行頭に括弧付き番号または括弧無しの番号を含む行が存在しない場合に、分割を行わずに末尾の章（のＰＤＦデータ）をそのままＧＲＯＢＩＤに入力し、ＧＲＯＢＩＤの出力から引用文献情報を抽出する（Ｓ１４）。ＧＲＯＢＩＤの出力例を図６に示す。
【0019】
＜引用アンカ検出部１５＞
ステップＳ１５は、参考非特許文献４、参考非特許文献５の正規表現を一部改良して実行される。
ステップＳ１５は、参考非特許文献４、参考非特許文献５の正規表現を一部改良して実行される。
【0020】
（参考非特許文献４：Riaz Ahmad and Muhammad Tanvir Afzal. CAD: an algorithm for citation－anchors detection in research papers. Scientometrics, Vol. 117, pp. 1405-1423, 2018.）
（参考非特許文献５：Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4539-4545, 2021. Association for Computational Linguistics.）
引用アンカ検出部１５は、ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および括弧記号が挿入されている場合の括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出する（Ｓ１５）。
（参考非特許文献５：Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4539-4545, 2021. Association for Computational Linguistics.）
引用アンカ検出部１５は、ＨＴＭＬ形式に変換された論文の本文から、著者名に付随する括弧記号の挿入の有無、および括弧記号が挿入されている場合の括弧記号の種類および挿入位置に関する複数の検出パターンを設定して、引用アンカを検出する（Ｓ１５）。
【0021】
図７のregexの行は、［＼（＼［］？すなわち、括弧の始まりについて、パーレン（小括弧）の“（”またはブラケット（大括弧）の“［”を許容し（＼で表現）、括弧記号がこの位置に有っても無くても良い（［］？で表現）ことを示している。括弧の終わりについても［＼）＼］］？と表現されているように同様に、パーレンの“）”またはブラケットの“］”を許容し、括弧記号がこの位置に有っても無くても良いことを示している。
【0022】
なお、regexの行のauthorは、同図の１行目に定義する著者名であり、additionalは同図の３行目に定義する共著者名であり、yearは、同図の７行目に定義する発表年である。括弧の位置のバリエーションについては、yearの定義である同図７行目に記載されているように、発表年をパーレン（小括弧）、またはブラケット（大括弧）を囲む形式も検出可能である。引用アンカ検出部１５は、上述のように検出パターンを追加で設定しているため、例えばsmith 2021, (Smith, 2021), (Smith and Jones, 2021), Smith et al. (2021a), (Smith et al., 2020, 2021a), [Smith et al., 2021; Jones et al., 2020]などの引用アンカを検出することができる。
【0023】
＜対応付け部１６＞
対応付け部１６は、引用アンカに範囲を示す記号が含まれる場合に、引用アンカを範囲によって示された番号を列挙する形式に変換する（Ｓ１６）。例えば対応付け部１６は、引用アンカが[1]－[3]であり、範囲を示すエヌダッシュ（ハイフン）が含まれる場合、この引用アンカを番号を列挙する形式、すなわち[1],[2],[3]に変換する。例えば対応付け部１６は、引用アンカが[1,3－5]であった場合、この引用アンカを番号を列挙する形式、すなわち[1],[3],[4],[5]に変換する。対応付け部１６は、本文中の引用アンカと末尾の引用文献章における対応する文献との対応付けを行う。対応付け部１６は、例えば本文中に引用アンカ[1]がある場合には、末尾の引用文献章において[1]から始まる文献情報を引用アンカ[1]と対応付ける。引用アンカに番号が含まれていない場合、対応付け部１６は引用アンカに含まれる文字列の全てを含む文献情報を引用アンカと対応付ける。例えば対応付け部は、引用アンカが(Sato, 2021)であった場合、末尾の引用文献章において“Sato”, “2021”の双方を含む文献情報を引用アンカ(Sato, 2021)と対応付ける。
対応付け部１６は、引用アンカに範囲を示す記号が含まれる場合に、引用アンカを範囲によって示された番号を列挙する形式に変換する（Ｓ１６）。例えば対応付け部１６は、引用アンカが[1]－[3]であり、範囲を示すエヌダッシュ（ハイフン）が含まれる場合、この引用アンカを番号を列挙する形式、すなわち[1],[2],[3]に変換する。例えば対応付け部１６は、引用アンカが[1,3－5]であった場合、この引用アンカを番号を列挙する形式、すなわち[1],[3],[4],[5]に変換する。対応付け部１６は、本文中の引用アンカと末尾の引用文献章における対応する文献との対応付けを行う。対応付け部１６は、例えば本文中に引用アンカ[1]がある場合には、末尾の引用文献章において[1]から始まる文献情報を引用アンカ[1]と対応付ける。引用アンカに番号が含まれていない場合、対応付け部１６は引用アンカに含まれる文字列の全てを含む文献情報を引用アンカと対応付ける。例えば対応付け部は、引用アンカが(Sato, 2021)であった場合、末尾の引用文献章において“Sato”, “2021”の双方を含む文献情報を引用アンカ(Sato, 2021)と対応付ける。
【0024】
従来は、事前に引用アンカと引用文献の欄をリンクさせたＰＤＦを作成することは可能であったものの、そうしたリンクが作られていない論文データに対して、後からリンクを作成することはできなかった。本実施例の論文構造解析装置１は、ステップＳ１６を実行することにより、事後的に引用アンカと文献情報の対応付けを行うことができる。
【0025】
＜外部文献データ取得部１７＞
外部文献データ取得部１７は、引用文献のタイトルを外部ＡＰＩ（Application Programming Interface、例としてarXiv API）にて検索し、一致する文献があれば取得する（Ｓ１７）。例えば大文字、小文字を無視＋完全一致を条件とすれば好適である。
外部文献データ取得部１７は、引用文献のタイトルを外部ＡＰＩ（Application Programming Interface、例としてarXiv API）にて検索し、一致する文献があれば取得する（Ｓ１７）。例えば大文字、小文字を無視＋完全一致を条件とすれば好適である。
【0026】
＜データセット記憶部１８＞
データセット記憶部１８は、ステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６により変換され最適化された論文データと、Ｓ１７により取得された引用文献データを組にして、データセットとして記憶する。
データセット記憶部１８は、ステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６により変換され最適化された論文データと、Ｓ１７により取得された引用文献データを組にして、データセットとして記憶する。
【0027】
＜評価実験＞
以下、図８－１０を参照して、従来技術と実施例１の手法を比較評価した３つの評価実験の結果について述べる。
以下、図８－１０を参照して、従来技術と実施例１の手法を比較評価した３つの評価実験の結果について述べる。
【0028】
≪評価実験１、２の比較対象≫
第１の比較対象は、Texをソースとした先行研究である（参考非特許文献６、以下Narimatsu et al.とも表記）。
第１の比較対象は、Texをソースとした先行研究である（参考非特許文献６、以下Narimatsu et al.とも表記）。
【0029】
（参考非特許文献６：Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientific－document writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021. Association for Computational Linguistics.）
第２の比較対象は、非特許文献１の論文ＰＤＦ解析ツールGROBIDである（以下、GROBIDとも表記）。
第２の比較対象は、非特許文献１の論文ＰＤＦ解析ツールGROBIDである（以下、GROBIDとも表記）。
【0030】
≪評価実験１、２の評価データ≫
評価データは、Texをソースとした先行研究でデータセット構築に使用したAxcell（参考非特許文献７）の論文リストから選択した113件である。
評価データは、Texをソースとした先行研究でデータセット構築に使用したAxcell（参考非特許文献７）の論文リストから選択した113件である。
【0031】
（参考非特許文献７：Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. AxCell: Automatic extraction of results from machine learning papers.In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8580-8594,2020.）
≪評価実験１：章タイトル抽出精度評価実験の結果≫
図８に示すように、実施例１による手法の章タイトル抽出失敗は３件であった。なお、Narimatsu et al.は、Texフォーマットの論文に含まれる章タイトルのタグを用いる手法であるため、章タイトルの抽出失敗は通常起こりえない。従って、Narimatsu et al.は目標値に相当する。同図に示すように、実施例１による手法はGROBIDよりも高精度であり、目標値であるNarimatsu et al.と同等程度の精度で章タイトルの抽出が可能であることが分かった。
≪評価実験１：章タイトル抽出精度評価実験の結果≫
図８に示すように、実施例１による手法の章タイトル抽出失敗は３件であった。なお、Narimatsu et al.は、Texフォーマットの論文に含まれる章タイトルのタグを用いる手法であるため、章タイトルの抽出失敗は通常起こりえない。従って、Narimatsu et al.は目標値に相当する。同図に示すように、実施例１による手法はGROBIDよりも高精度であり、目標値であるNarimatsu et al.と同等程度の精度で章タイトルの抽出が可能であることが分かった。
【0032】
≪評価実験２：本文抽出精度評価実験の結果≫
評価実験２では、各手法の本文中の引用アンカをすべて削除した条件、本文中の引用アンカを削除しない条件の２条件で本文抽出精度を評価した。図９に示すように、Word Error Rate (WER)・Sentence Error Rate (SER)ともに、実施例１の手法が最も優れた結果であった。
評価実験２では、各手法の本文中の引用アンカをすべて削除した条件、本文中の引用アンカを削除しない条件の２条件で本文抽出精度を評価した。図９に示すように、Word Error Rate (WER)・Sentence Error Rate (SER)ともに、実施例１の手法が最も優れた結果であった。
【0033】
≪評価実験３の比較対象≫
Texをソースとした先行研究(Narimatsu et al.、参考非特許文献６)である。
≪評価実験３の評価データ≫
Texをソースとした先行研究のデータセットに含まれる2786件の論文である。
≪評価実験３：評価方法≫
まず、評価データでデータセットを作成する。次に、引用アンカに対応づけることができた引用文献タイトルをarXiv APIで検索する。最後に、一致する文献がヒットした件数を比較する。ただし、タイトルは完全一致していなければ検索されないものとする。なお、Narimatsu et al.はTexの＼cite{}タグやbib,bblファイルを利用できるため、容易に完全な引用文献タイトルを抽出できる。従って、評価実験１と同様Narimatsu et al.は目標値に相当する。実施例１の手法では、タグやファイルのないＰＤＦ形式の論文を解析対象としていることに注意する。
≪評価実験３：引用文献情報抽出精度評価実験の結果≫
図１０に示すように、実施例１の手法により抽出された引用文献の件数は4225件であり、Texをソースとした先行研究（Narimatsu et al.）により抽出された引用文献の件数4874件の約87%（4225件/4874件）であった。実施例１の手法による引用文献情報の抽出結果のうち、Narimatsu et al.とタイトルが完全一致したものは、4225件中の3591件で約85%であった。従って、実施例１の手法を組み合わせることでTexをソースとするデータセットが改善できる。
Texをソースとした先行研究(Narimatsu et al.、参考非特許文献６)である。
≪評価実験３の評価データ≫
Texをソースとした先行研究のデータセットに含まれる2786件の論文である。
≪評価実験３：評価方法≫
まず、評価データでデータセットを作成する。次に、引用アンカに対応づけることができた引用文献タイトルをarXiv APIで検索する。最後に、一致する文献がヒットした件数を比較する。ただし、タイトルは完全一致していなければ検索されないものとする。なお、Narimatsu et al.はTexの＼cite{}タグやbib,bblファイルを利用できるため、容易に完全な引用文献タイトルを抽出できる。従って、評価実験１と同様Narimatsu et al.は目標値に相当する。実施例１の手法では、タグやファイルのないＰＤＦ形式の論文を解析対象としていることに注意する。
≪評価実験３：引用文献情報抽出精度評価実験の結果≫
図１０に示すように、実施例１の手法により抽出された引用文献の件数は4225件であり、Texをソースとした先行研究（Narimatsu et al.）により抽出された引用文献の件数4874件の約87%（4225件/4874件）であった。実施例１の手法による引用文献情報の抽出結果のうち、Narimatsu et al.とタイトルが完全一致したものは、4225件中の3591件で約85%であった。従って、実施例１の手法を組み合わせることでTexをソースとするデータセットが改善できる。
【0034】
≪評価結果まとめ≫
実施例１の手法は、本文抽出精度においていずれの先行研究よりも高い性能を示した。また実施例１の手法は、章タイトル抽出精度、引用文献情報抽出精度においてTexをソースとした手法（Narimatsu et al.）に近い性能を示した。
実施例１の手法は、本文抽出精度においていずれの先行研究よりも高い性能を示した。また実施例１の手法は、章タイトル抽出精度、引用文献情報抽出精度においてTexをソースとした手法（Narimatsu et al.）に近い性能を示した。
【0035】
＜補記＞
本開示の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
本開示の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【0036】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【0037】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【0038】
本開示は上述の実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【0039】
既述のように、上記実施形態において説明したハードウェアエンティティ（本開示の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【0040】
上述の各種の処理は、図１１に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。
【0041】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto－Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable－Read Only Memory）等を用いることができる。
【0042】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0043】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0044】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】