特開 2024-22977 推論システム、方法、および推論器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024022977

(43)【公開日】2024-02-21

(54)【発明の名称】推論システム、方法、および推論器

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240214BHJP

   G06F 40/44 20200101ALI20240214BHJP

【ＦＩ】

G06N20/00 130

G06F40/44

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022126453

(22)【出願日】2022-08-08

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「多言語翻訳技術の高度化に関する研究開発」に係る委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】301022471

【氏名又は名称】国立研究開発法人情報通信研究機構

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】内山 将夫

【テーマコード（参考）】

5B091

【Ｆターム（参考）】

5B091EA01

(57)【要約】

【課題】教師データを生成するためのコーパスが存在しないまたは十分ではない場合であっても、文章を操作する推論器を構成できる新たな技術を提供する。
【解決手段】推論システムは、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器と、第１言語の第１の文と、第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される第１言語の第３の文と、の組から教師データを生成する生成部と、教師データを用いて推論器を学習する学習部とを含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器と、
第１言語の第１の文と、前記第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される前記第１言語の第３の文と、の組から教師データを生成する生成部と、
前記教師データを用いて前記推論器を学習する学習部とを備える、推論システム。

【請求項2】

前記生成部は、前記第１の文の評価値と前記第３の文の評価値とを比較することで、前記第１の文および前記第３の文の一方を前記教師データの入力に決定し、前記第１の文および前記第３の文の他方を前記教師データの出力に決定する、請求項１に記載の推論システム。

【請求項3】

前記第１の文および前記第３の文について、文の長さ、および、文の難易度のいずれかを評価する評価部をさらに備える、請求項１に記載の推論システム。

【請求項4】

前記生成部は、評価値のレベルを示すメタ情報を前記教師データに付加し、
前記学習部は、前記教師データを用いて学習した前記推論器を、前記教師データのうち特定のメタ情報が付加されたデータを用いて追加学習する、請求項１～３のいずれか１項に記載の推論システム。

【請求項5】

１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器を構成する方法であって、
第１言語の第１の文と、前記第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される前記第１言語の第３の文と、の組から教師データを生成するステップと、
前記教師データを用いて前記推論器を学習するステップとを備える、方法。

【請求項6】

１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器であって、
前記推論器は、教師データを用いて学習することにより構成され、
前記教師データは、第１言語の第１の文と、前記第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される前記第１言語の第３の文と、の組から生成される、推論器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推論システム、方法、プログラム、および推論器に関する。

【背景技術】

【0002】

ニューラルネットを用いて文章を操作する技術が知られている。例えば、非特許文献１および非特許文献２は、通常の文章が入力されると、当該入力された文章を短縮した文章を出力する技術を開示している。このような文章を短縮する技術は、要約技術に利用されている。

【0003】

また、非特許文献３には、規準コーパスを用いて、文章の難易度を推定する技術を開示する。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Katja Filippova and Yasemin Altun, "Overcoming the Lack of Parallel Data in Sentence Compression," Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pages 1481-1491, Seattle, Washington, USA, 18-21 October 2013.

【非特許文献2】Sander Wubben, Emiel Krahmer, Antal van den Bosch, Suzan Verberne, "Abstractive Compression of Captions with Attentive Recurrent Neural Networks," Proceedings of the 9th International Natural Language Generation conference, pages 41-50,Edinburgh, UK, September 5-8 2016.

【非特許文献3】佐藤 理史，「日本語テキストの難易度判定ツール『帯』」，Japio YEAR BOOK 2008 寄稿集，pp.52-57，2008

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の非特許文献１および非特許文献２に開示されるようなニューラルネットワークを構成するためには、通常の文章（入力）と短縮された文章（出力）とを対応付けた教師データが必要となる。しかしながら、このような教師データに利用できるコーパスはほとんど存在しない。

【0006】

また、非特許文献３に開示される技術は、ニューラルネットを用いる手法ではないので、規準コーパスを教師データとして用いることはできない。

【0007】

本発明は、教師データを生成するためのコーパスが存在しないまたは十分ではない場合であっても、文章を操作する推論器を構成できる新たな技術の提供を目的とする。

【課題を解決するための手段】

【0008】

ある実施の形態に従う推論システムは、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器と、第１言語の第１の文と、第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される第１言語の第３の文と、の組から教師データを生成する生成部と、教師データを用いて推論器を学習する学習部とを含む。

【0009】

生成部は、第１の文および第３の文の評価値を算出する算出部を含んでいてもよい。
生成部は、第１の文の評価値と第３の文の評価値とを比較することで、第１の文および第３の文の一方を教師データの入力に決定し、第１の文および第３の文の他方を教師データの出力に決定するようにしてもよい。

【0010】

算出部は、文の長さ、および、文の難易度のいずれかを含んでいてもよい。
推論システムは、第１の文および前記第３の文について、文の長さ、および、文の難易度のいずれかを評価する評価部をさらに含んでいてもよい。

【0011】

生成部は、評価値のレベルを示すメタ情報を教師データに付加するようにしてもよい。
学習部は、教師データを用いて学習した推論器を、教師データのうち特定のメタ情報が付加されたデータを用いて追加学習するようにしてもよい。

【0012】

推論システムは、第１の文を機械翻訳して第２の文を生成する第１の翻訳部と、第２の文を機械翻訳して第３の文を生成する第２の翻訳部とをさらに含んでいてもよい。

【0013】

別の実施の形態に従えば、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器を構成する方法が提供される。方法は、第１言語の第１の文と、第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される第１言語の第３の文と、の組から教師データを生成するステップと、教師データを用いて推論器を学習するステップとを含む。

【0014】

さらに別の実施の形態に従えば、コンピュータに上述の方法を実行させるためのプログラムが提供される。

【0015】

さらに別の実施の形態に従えば、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器が提供される。推論器は、教師データを用いて学習することにより構成される。教師データは、第１言語の第１の文と、第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される第１言語の第３の文と、の組から生成される。

【発明の効果】

【0016】

本発明によれば、教師データを生成するためのコーパスが存在しないまたは十分ではない場合であっても、文章を操作する推論器を構成できる。

【図面の簡単な説明】

【0017】

【図1】本実施の形態に従う推論システムの推論時の構成例を示す模式図である。

【図2】実施の形態１に従う推論システムの教師データを生成するための構成例を示す模式図である。

【図3】実施の形態１に従う推論システムの教師データを生成するための処理手順を示すフローチャートである。

【図4】実施の形態１に従う推論システムの推論器を構成するための構成例を示す模式図である。

【図5】実施の形態３に従う推論システムの教師データを生成するための構成例を示す模式図である。

【図6】実施の形態３に従う推論システムの推論時の構成例を示す模式図である。

【図7】本実施の形態に従う推論システムを実現するハードウェア構成例を示す模式図である。

【発明を実施するための形態】

【0018】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

【0019】

［Ａ．推論システム］
本実施の形態に従う推論システムについて説明する。

【0020】

図１は、本実施の形態に従う推論システム１の推論時の構成例を示す模式図である。図１を参照して、推論システム１は、入力された文章から対応する文章を推論する推論器１０を含む。すなわち、推論器１０は、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力（推論）する。

【0021】

推論器１０は、後述する教師データを用いて学習することにより構成される学習済モデルを含む。一例として、推論器１０は、ニューラルネットワークを用いて構成される。

【0022】

例えば、任意の１または複数の文を入力とすることができる。出力としては、入力された１または複数の文を短縮した結果（短文）とすることができる。このような入力と出力との組み合わせを採用した場合には、推論器１０は、入力された文章を短縮する短文化エンジンとして機能する。

【0023】

あるいは、入力された文章を容易化した結果を出力とすることができる。このような入力と出力との組み合わせを採用した場合には、推論器１０は、入力された文章を理解し易くする容易化エンジンとして機能する。

【0024】

なお、上述した短文化エンジンとは逆に、入力された文章を冗長化した結果を出力する推論器１０を実現してもよい。あるいは、上述した容易化エンジンとは逆に、入力された文章を難読化した結果を出力する推論器１０を実現してもよい。

【0025】

このように、推論システム１に含まれる推論器１０は、入力された文章を任意に操作できる。

【0026】

以下では、主として、短文化エンジンを実現する場合の処理について説明する。短文化エンジンとして機能する推論器１０の動作例は、例えば、以下のようになる。

【0027】

（入力１）シリンダヘッドをシリンダブロックに固定するためのボルトの締め付けによる歪み。

【0028】

（出力１）シリンダヘッドをシリンダブロックに固定するボルトによる歪み。
（入力２）図１は、基本筐体の前面右斜め上から筐体を透過して見たものであり、筐体内各部の配置の概略を示している。

【0029】

（出力２）図１は、基本筐体の正面右斜め上方から見た図であり、筐体内の各部の配置の概略を示す。

【0030】

（入力３）To provide information on appropriate diagnosis/monitoring of infections associated with administration of this drug and how to respond to such infections when they occur, in order to prepare for the risk of such infections and to minimize their seriousness when they occur.
（出力３）To provide information on appropriate diagnosis and monitoring of infections associated with administration of this drug and how to respond to such infections in order to minimize the risk and severity of such infections.
このように、短文化エンジンに入力された文章は短縮される。

【0031】

［Ｂ．実施の形態１］
以下、本発明の実施の形態１に従う推論システム１について説明する。

【0032】

（ｂ１：教師データの生成）
まず、推論器１０の構成に必要な教師データの生成について説明する。

【0033】

図２は、実施の形態１に従う推論システム１の教師データを生成するための構成例を示す模式図である。図２を参照して、推論システム１は、翻訳エンジン２２と、翻訳エンジン２４と、生成部２６とを含む。

【0034】

翻訳エンジン２２は、第１言語（例えば、日本語）の文Ｓ１を第２言語（例えば、英語）の文Ｔに翻訳する。すなわち、翻訳エンジン２２は、文Ｓ１を機械翻訳して文Ｔを生成する。このように、翻訳エンジン２２は、文Ｓ１に対応する文Ｔを推論する。

【0035】

翻訳エンジン２４は、第２言語の文Ｔを第１言語の文Ｓ２に翻訳する。すなわち、翻訳エンジン２４は、文Ｔを機械翻訳して文Ｓ２を生成する。このように、翻訳エンジン２４は、文Ｔに対応する文Ｓ２を推論する。

【0036】

このように、翻訳エンジン２２および翻訳エンジン２４との間では、入力言語と出力言語が逆になっている。２つの翻訳エンジンを接続することで、同じ第１言語の文Ｓ１と文Ｓ２との組が得られる。

【0037】

翻訳エンジン２２および翻訳エンジン２４には、公知の学習済モデルを用いることができる。一例として、Ｔｒａｎｓｆｏｒｍｅｒなどのニューラル機械翻訳（Neural Machine Translation：以下「ＮＭＴ」とも略称する。）モデルを用いることができる。なお、十分に大きいコーパスを用いて、翻訳エンジン２２および翻訳エンジン２４を学習することが好ましい。

【0038】

生成部２６は、文Ｓ１と文Ｓ２との組（文対）から教師データ２０を生成する。すなわち、生成部２６は、第１言語の文Ｓ１（第１の文）と、文Ｓ１の翻訳である第２言語の文Ｔ（第２の文）を機械翻訳することで生成される第１言語の文Ｓ２（第３の文）と、の組から教師データ２０を生成する。

【0039】

生成部２６は、文Ｓ１および文Ｓ２の評価値を算出するようにしてもよい。目的の推論器１０に応じた評価値が用いられる。例えば、短文化エンジンを構成する場合には、評価値として、文の長さ（文字数またはワード数）が採用すればよい。容易化エンジンを構成する場合には、評価値として、文の難易度を採用すればよい。

【0040】

また、生成部２６は、評価値などに基づいて、文Ｓ１と文Ｓ２との組を教師データ２０として用いることができるか否かを評価するようにしてもよい。この場合には、生成部２６は、教師データ２０として用いることができる文の組のみを教師データ２０に追加する。

【0041】

より具体的には、生成部２６は、長さ算出部２７と、比較部２８とを含む。長さ算出部２７は、文Ｓ１および文Ｓ２のそれぞれの長さを算出する。比較部２８は、文Ｓ１の長さと文Ｓ２の長さとを比較する。

【0042】

生成部２６は、文Ｓ１および文Ｓ２のうち、長い方の文を長文ＬｏｎｇＳｎｔとして出力し、短い方の文を短文ＳｈｏｒｔＳｎｔとして出力する。長文ＬｏｎｇＳｎｔと短文ＳｈｏｒｔＳｎｔとの組が教師データ２０となる。

【0043】

教師データ２０において、長文ＬｏｎｇＳｎｔが入力であり、短文ＳｈｏｒｔＳｎｔが出力となる。以下では、教師データ２０における入出力の対応関係を「ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ」と表現することもある。

【0044】

このように、生成部２６は、文Ｓ１の評価値（長さ）と文Ｓ２の評価値（長さ）とを比較することで、文Ｓ１および文Ｓ２の一方を教師データ２０の入力に決定し、文Ｓ１および文Ｓ２の他方を教師データ２０の出力に決定するようにしてもよい。

【0045】

なお、文Ｓ１と文Ｓ２との意味が一致している可能性を高めるために、生成部２６は、文Ｓ１と文Ｓ２との類似度を算出するとともに、類似度が予め定められたしきい値（例えば、５０％）を超える場合に限って、教師データ２０として用いるようにしてもよい。

【0046】

文Ｓ１として、任意の分野の任意の言語の文を任意の量だけ用いることで、任意の分野の任意の言語の教師データ２０を任意の量だけ生成できる。

【0047】

図３は、実施の形態１に従う推論システム１の教師データを生成するための処理手順を示すフローチャートである。図３に示す各ステップは、例えば、プロセッサがプログラムを実行することで実現される。

【0048】

図３を参照して、推論システム１は、予め用意されたコーパスから文Ｓ１を選択する（ステップＳＴ２）。推論システム１は、選択された文Ｓ１を翻訳エンジン２２に入力して文Ｔを生成する（ステップＳＴ４）。続いて、推論システム１は、選択された文Ｔを翻訳エンジン２４に入力して文Ｓ２を生成する（ステップＳＴ６）。

【0049】

推論システム１は、文Ｓ１および文Ｓ２のそれぞれの長さを算出し（ステップＳＴ８）、算出した文の長さを比較する（ステップＳＴ１０）。

【0050】

文Ｓ１が文Ｓ２より長ければ（ステップＳＴ１０において「Ｓ１＞Ｓ２」）、推論システム１は、文Ｓ１を長文ＬｏｎｇＳｎｔとし、文Ｓ２を短文ＳｈｏｒｔＳｎｔとして、教師データ２０に追加する（ステップＳＴ１２）。

【0051】

文Ｓ２が文Ｓ１より長ければ（ステップＳＴ１０において「Ｓ２＞Ｓ１」）、推論システム１は、文Ｓ２を長文ＬｏｎｇＳｎｔとし、文Ｓ１を短文ＳｈｏｒｔＳｎｔとして、教師データ２０に追加する（ステップＳＴ１４）。

【0052】

推論システム１は、教師データ２０が予め定められたサイズに到達したか否かを判断する（ステップＳＴ１６）。教師データ２０が予め定められたサイズに到達していなければ（ステップＳＴ１６においてＮＯ）、ステップＳＴ２以下の処理が繰り返される。

【0053】

教師データ２０が予め定められたサイズに到達していれば（ステップＳＴ１６においてＹＥＳ）、教師データを生成するための処理は終了する。

【0054】

（ｂ２：推論器１０の学習）
次に、推論器１０の学習について説明する。

【0055】

図４は、実施の形態１に従う推論システム１の推論器１０を構成するための構成例を示す模式図である。図４を参照して、推論システム１は、学習部４０を含む。

【0056】

学習部４０は、教師データ２０を用いて推論器１０を学習する。より具体的には、学習部４０は、教師データ２０を用いて、推論器１０を構成するモデルのパラメータを最適化する。パラメータの最適化（学習）には、例えば、非特許文献２に開示される「ｓｅｑｕｅｎｃｅ２ｓｅｑｕｅｎｃｅ」といった任意の学習手法を採用できる。

【0057】

推論器１０をニューラルネットワーク（ＮＭＴモデル１２）を用いて構成する場合には、ＮＭＴの手法を採用できる。より具体的には、学習部４０は、教師データ（ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ）の長文ＬｏｎｇＳｎｔと、長文ＬｏｎｇＳｎｔをＮＭＴモデル１２に入力して得られる結果を対応する短文ＳｈｏｒｔＳｎｔとの差に基づいて、ＮＭＴモデル１２のパラメータを最適化する。このように、学習部４０は、一般的なＮＭＴの学習方法により、ＮＭＴモデル１２を学習することにより、短文化エンジンとして機能する推論器１０（学習済モデル）を構成できる。

【0058】

［Ｃ．実施の形態２］
上述の実施の形態１においては、翻訳エンジン２２を用いて、第１言語の文Ｓ１と第２言語の文Ｔとの対訳を用意する。すなわち、機械翻訳により対訳が用意される。

【0059】

但し、第１言語の文Ｓ１と第２言語の文Ｔとの対訳については、予め用意されている対訳コーパスを用いてもよいし、人手翻訳に代えてもよい。

【0060】

このように、図２に示す構成例において、翻訳エンジン２２は必須の構成ではなく、代替可能である。

【0061】

［Ｄ．実施の形態３］
上述の実施の形態１においては、文Ｓ１と文Ｓ２との間で長さを比較することで、教師データ２０を生成する処理例を説明したが、評価値のレベルを示すメタ情報を教師データ２０に付加してもよい。より具体的には、短縮の度合いを示すメタ情報を教師データ２０に付加するとともに、短縮の度合いを示すメタ情報を反映した推論器１０を構成してもよい。

【0062】

（ｄ１：教師データの生成）
図２に示す構成例により生成される教師データ２０において、長文ＬｏｎｇＳｎｔの長さに対する短文ＳｈｏｒｔＳｎｔの長さの比率Ｒ（＝ＳｈｏｒｔＳｎｔ／ＬｏｎｇＳｎｔ）は、文Ｓ１と文Ｓ２との組毎に異なる。ここで、比率Ｒは、短縮率を示す。

【0063】

比率Ｒの大きさに基づいて、文の組を複数のクラス（例えば、２クラス）に分類してもよい。

【0064】

図５は、実施の形態３に従う推論システム１の教師データを生成するための構成例を示す模式図である。図５に示す推論システム１は、図２に示す推論システム１に比較して、生成部２６の構成が異なっている。

【0065】

より具体的には、生成部２６は、長さ算出部２７および比較部２８に加えて、比率算出部２９を含む。比率算出部２９は、文Ｓ１および文Ｓ２のうち長い方（長文ＬｏｎｇＳｎｔ）の文長さに対する短い方（短文ＳｈｏｒｔＳｎｔ）の文長さの比率Ｒを算出する。

【0066】

生成部２６は、算出される比率Ｒの大きさに基づいて、短縮の度合いを示すメタ情報を付加して、教師データ２０を生成する。

【0067】

一例として、生成部２６は、（１）比率Ｒがしきい値（例えば、８０％）以上である文対には、短縮の度合いが相対的に低いことを示す＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞というタグを入力文の先頭に付加し、（２）比率Ｒがしきい値（例えば、８０％）未満である文対には、短縮の度合いが相対的に高いことを示す＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞というタグを入力文の先頭に付加する。

【0068】

なお、比率Ｒが１００％に近い文対（すなわち、短縮の度合いが低いと判断できる文対）については、教師データ２０として用いることができないと判断して、破棄するようにしてもよい（すなわち、教師データ２０には含めないようにしてもよい）。

【0069】

このような短縮の度合いを示すメタ情報として複数種類のタグを先頭に付加することで、教師データ２０における入出力の対応関係は、以下のいずれかを含むことになる。

【0070】

＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ
＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ
（ｄ２：推論器１０の学習）
推論器１０を構成する場合には、メタ情報であるタグが先頭に付加された教師データ２０を用いて学習が行われる。学習方法としては、一般的なＮＭＴの学習方法を用いることができる。

【0071】

（ｄ３：推論）
図６は、実施の形態３に従う推論システム１の推論時の構成例を示す模式図である。図６を参照して、実施の形態３に従う推論システム１は、上述の教師データ２０を用いて構成された推論器１０に加えて、入力文の先頭にタグを付加するタグ付加部３０を含む。

【0072】

タグ付加部３０は、入力文Ｓｎｔに対して、予め用意されたタグ（例えば、＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞または＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞）を付加する。その結果、タグ付加部３０からは、「＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞Ｓｎｔ」または「＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞Ｓｎｔ」が出力される。なお、タグ付加部３０は、指定されたモードに応じて、付加するタグを切り替える。

【0073】

タグ付加部３０から出力されるタグが付加された入力文は、推論器１０に入力される。これにより、＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された入力文に対しては、相対的に度合いの低い短縮が行われて、出力文は相対的に長くなる。また、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された入力文に対しては、相対的に度合いの高い短縮が行われて、出力文は相対的に短くなる。

【0074】

このように、ユーザがモードを選択することで、共通の推論器１０を用いて、短縮の度合いを任意に切り替えることができる。

【0075】

［Ｅ．実施の形態３の変形例］
上述の実施の形態３において説明したように、短縮の度合いを示すメタ情報を付加した教師データ２０を生成した場合には、学習により推論器１０を構成した後に、さらにチューニング（adaptation）を行ってもよい。

【0076】

一般的に、相対的に度合いの高い短縮が利用されると想定されているため、教師データ２０のうち、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対を用いて、追加学習（ファインチューニング）を行うようにしてもよい。

【0077】

より具体的には、上述の実施の形態３と同様の方法で、教師データ２０を用いて学習することにより推論器１０を構成する。なお、この学習においては、＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対、および、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対の両方（すなわち、教師データ２０のすべて）が用いられる。

【0078】

続いて、教師データ２０に含まれる＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対を用いて、推論器１０の追加学習が行われる。なお、教師データ２０に含まれる＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対の一部だけが追加学習に用いられてもよい。また、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された同じ文対を複数回用いるようにしてもよい。

【0079】

このように、教師データ２０を用いて学習した推論器１０を、教師データ２０のうち特定のメタ情報（この例では、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグ）が付加されたデータを用いて追加学習するようにしてもよい。このような追加学習により、短縮の度合いを高めた圧縮化が得意な推論器１０を構成することができる。

【0080】

なお、推論時には、図６に示す構成例に示すタグ付加部３０は、基本的には、入力文Ｓｎｔに対して＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞を付加することになる。

【0081】

本願発明者らの実験によれば、実施の形態３の変形例において説明した追加学習を行うことにより、日本語、英語、中国語、韓国語、ベトナム語のいずれについても、平均して約７５％程度の短縮を実現できることが確認された。

【0082】

［Ｆ．実施の形態４］
本発明の実施の形態に従う推論システム１の推論器１０には、１文ではなく、複数の文を連結して入力することも可能である。上述の実施の形態に従う推論器１０（短文化エンジン）は、数文程度を連結した結果を入力しても、短縮された文を出力可能である。但し、数文を超えると、適切に短縮できない場合もある。

【0083】

このような場合には、予め定められた数の範囲で文を連結して短縮するという処理を繰り返し実行するようにしてもよい。例えば、複数の文からなる文書については、連続する複数の文（２以上の文）を連結して、推論器１０の一つの入力とする。これによって、連結した複数の文に対応する短縮された文が出力される。この処理をボトムアップに繰り返し実行することで、複数の文からなる文書であっても、短縮された文章（例えば、要約）を生成できる。

【0084】

例えば、９文（Ｓｎｔ１～Ｓｎｔ９）を２文の要約を生成する場合には、以下のように処理することができる。なお、以下の説明において、「＋」は結合を意味し、「→」は推論器１０からの出力を意味する。

【0085】

（１）短文化（Ｓｎｔ１＋Ｓｎｔ２）→ＣｏｍｐＳｎｔ１２
（２）短文化（Ｓｎｔ３＋Ｓｎｔ４）→ＣｏｍｐＳｎｔ３４
（３）短文化（Ｓｎｔ５＋Ｓｎｔ６）→ＣｏｍｐＳｎｔ５６
（４）短文化（Ｓｎｔ７＋Ｓｎｔ８＋Ｓｎｔ９）→ＣｏｍｐＳｎｔ７８９
すなわち、（１）～（４）においては、２または３文を連結して、短縮文ＣｏｍｐＳｎｔ１２，ＣｏｍｐＳｎｔ３４，ＣｏｍｐＳｎｔ５６，ＣｏｍｐＳｎｔ７８９がそれぞれ生成される。

【0086】

（５）短文化（ＣｏｍｐＳｎｔ１２＋ＣｏｍｐＳｎｔ３４）→ＣｏｍｐＳｎｔ１２３４
（６）短文化（ＣｏｍｐＳｎｔ５６＋ＣｏｍｐＳｎｔ７８９）→ＣｏｍｐＳｎｔ５６７８９
すなわち、（５）および（６）においては、２つの短縮文を連結して、短縮文ＣｏｍｐＳｎｔ１２３４，ＣｏｍｐＳｎｔ５６７８９がそれぞれ生成される。

【0087】

最終的に、短縮文ＣｏｍｐＳｎｔ１２３４および短縮文ＣｏｍｐＳｎｔ５６７８９が要約として出力される。

【0088】

上述したような処理は、この要約のプロセスは、所望の文数および／または所望の長さの文が生成されるまで繰り返されてもよい。

【0089】

［Ｇ．実施の形態５］
上述の実施の形態１～４においては、入力された文を短縮する短文化エンジンとして機能する推論器１０を例示したが、推論器１０による文章の操作内容は、どのようなものであってもよい。

【0090】

上述したように、容易化エンジンあるいは難読化エンジンとして機能する推論器１０を構成する場合には、文Ｓ１と文Ｓ２との組（文対）について、非特許文献３に示される手法を用いて、難易度を評価した上で、容易化エンジンあるいは難読化エンジンを構成するための教師データ２０を生成すればよい。

【0091】

容易化エンジンを構成する場合には、難しい文を入力とし、対応する易しい文を出力として教師データ２０が生成される。逆に、難読化エンジンを構成する場合には、易しい文を入力とし、対応する難しい文を出力として教師データ２０が生成される。

【0092】

このように、教師データ２０を生成する際の文対の評価方法は、目的の推論器１０に必要な機能を実現するものであれば、どのようなものであってもよい。

【0093】

［Ｈ．ハードウェア構成例］
次に、本実施の形態に従う推論システム１を実現するためのハードウェア構成例について説明する。

【0094】

図７は、本実施の形態に従う推論システム１を実現するハードウェア構成例を示す模式図である。推論システム１は、例えば、コンピュータの一例である情報処理装置１００を用いて実現される。

【0095】

図７を参照して、情報処理装置１００は、主要なハードウェアコンポーネントとして、ＣＰＵ（central processing unit）１０２と、ＧＰＵ（graphics processing unit）１０４と、主メモリ１０６と、ディスプレイ１０８と、ネットワークインターフェイス（Ｉ／Ｆ：interface）１１０と、二次記憶装置１１２と、入力デバイス１２２と、光学ドライブ１２４とを含む。これらのコンポーネントは、内部バス１２８を介して互いに接続される。

【0096】

ＣＰＵ１０２および／またはＧＰＵ１０４は、推論システム１の実現に必要な処理を実行するプロセッサである。ＣＰＵ１０２およびＧＰＵ１０４は、複数個配置されてもよいし、複数のコアを有していてもよい。

【0097】

主メモリ１０６は、プロセッサ（ＣＰＵ１０２および／またはＧＰＵ１０４）が処理を実行するにあたって、プログラムコードやワークデータなどを一時的に格納（あるいは、キャッシュ）する記憶領域であり、例えば、ＤＲＡＭ（dynamic random access memory）やＳＲＡＭ（static random access memory）などの揮発性メモリデバイスなどで構成される。

【0098】

ディスプレイ１０８は、処理に係るユーザインターフェイスや処理結果などを出力する表示部であり、例えば、ＬＣＤ（liquid crystal display）や有機ＥＬ（electroluminescence）ディスプレイなどで構成される。

【0099】

ネットワークインターフェイス１１０は、インターネット上またはイントラネット上の任意の情報処理装置などとの間でデータをやり取りする。ネットワークインターフェイス１１０としては、例えば、イーサネット（登録商標）、無線ＬＡＮ（local area network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式を採用できる。

【0100】

入力デバイス１２２は、ユーザからの指示や操作などを受け付けるデバイスであり、例えば、キーボード、マウス、タッチパネル、ペンなどで構成される。

【0101】

光学ドライブ１２４は、ＣＤ－ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）などの光学ディスク１２６に格納されている情報を読出して、内部バス１２８を介して他のコンポーネントへ出力する。光学ディスク１２６は、非一過的（non-transitory）な記録媒体の一例であり、任意のプログラムを不揮発的に格納した状態で流通する。光学ドライブ１２４が光学ディスク１２６からプログラムを読み出して、二次記憶装置１１２などにインストールすることで、コンピュータが情報処理装置１００として機能するようになる。したがって、本発明の主題は、二次記憶装置１１２などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した光学ディスク１２６などの記録媒体でもあり得る。

【0102】

図７には、非一過的な記録媒体の一例として、光学ディスク１２６などの光学記録媒体を示すが、これに限らず、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ＭＯ（magneto-optical disk）などの光磁気記録媒体を用いてもよい。

【0103】

二次記憶装置１１２は、コンピュータを情報処理装置１００として機能させるために必要なプログラムおよびデータを格納する。例えば、ハードディスク、ＳＳＤ（solid state drive）などの不揮発性記憶装置で構成される。

【0104】

より具体的には、二次記憶装置１１２は、図示しないＯＳ（operating system）の他、教師データ生成プログラム１１４と、学習プログラム１１６と、パラメータセット１１８と、推論プログラム１２０とを格納している。

【0105】

教師データ生成プログラム１１４は、上述したような教師データ２０を生成するための処理を実現する。

【0106】

学習プログラム１１６は、上述したような教師データ２０を用いて推論器１０を構成する処理を実現する。

【0107】

パラメータセット１１８は、学習プログラム１１６による学習により最適化された結果を含む。

【0108】

推論プログラム１２０は、パラメータセット１１８により規定される推論器１０に１または複数の入力文を入力して、結果を出力する処理を実現する。

【0109】

プロセッサ（ＣＰＵ１０２および／またはＧＰＵ１０４）がプログラムを実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳが標準で提供するライブラリまたは機能モジュールにより代替してもよい。この場合には、プログラム単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳの実行環境下にインストールされることで、目的の処理を実現できる。このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。

【0110】

また、これらのプログラムは、上述したようないずれかの記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。

【0111】

図７には、単一のコンピュータを用いて情報処理装置１００を構成する例を示すが、これに限らず、コンピュータネットワークを介して接続された複数のコンピュータが明示的または黙示的に連携して、推論器１０を含む推論システム１を実現するようにしてもよい。例えば、文章の操作をウェブサービスとして提供する場合には、ウェブブラウザを介して入力された１または複数の文を推論器１０に入力し、推論器１０から出力される結果をウェブブラウザを介して提供する処理を１または複数のサーバで実行するようにしてもよい。この場合、教師データ２０を生成する処理、および、教師データ２０を用いて推論器１０を構成する処理は、別のサーバで実行されてもよい。

【0112】

プロセッサ（ＣＰＵ１０２および／またはＧＰＵ１０４）がプログラムを実行することで実現される機能の全部または一部を、集積回路などのハードワイヤード回路（hard-wired circuit）を用いて実現してもよい。例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）などを用いて実現してもよい。

【0113】

当業者であれば、本発明が実施される時代に応じた技術を適宜用いて、本実施の形態に従う情報処理装置１００を実現できるであろう。

【0114】

説明の便宜上、同一の情報処理装置１００が教師データ２０の生成処理、学習処理および推論処理を実行する例を示すが、これらの処理の一部を異なるハードウェアを用いて実現してもよい。

【0115】

［Ｉ．その他の実施の形態］
上述の説明では、推論システム１を短文化、容易化等のタスクを実現するものとしてとらえているが、入力文と出力文とを有する点では、機械翻訳も同様の推論システム１と考えることができる。言い換えれば、学習のための教師データを異ならせることにより、異なるタスクを実現するシステムととらえることができる。つまり、教師データを変えることにより、翻訳タスクと短文化タスクとを、同じニューラルネットワーク構成（例えば、自己注意を有するトランスフォーマーのネットワーク構成など）と推論プログラムの組み合わせで実現できる。推論プログラムは共用で、パラメータデータが異なる組み合わせになる。推論プログラムが共用できる構成は、システム管理上の利点がある。

【0116】

そして、翻訳のための教師データ（いわゆる対訳コーパス）で学習した結果のパラメータデータ（翻訳パラメータデータ）と短文化のための教師データ（本明細書にて説明した教師データ）で学習した結果のパラメータ（短文化パラメータデータ）を保存していれば、図７のシステムにおいて、同じ推論プログラム１２０により、翻訳と短文化の機能を実現することができる。

【0117】

このような短文化と翻訳の機能を有するシステムのさらなる応用例について説明する。この応用例では、音声信号を入力として、目的言語に翻訳された音声信号が出力される（同時通訳的な使い方）。例えば、日本語から英語への同時通訳を考えると、同時通訳システムの起動時には、音声認識プログラム（音声入力をテキストに変換）、音声合成プログラム（テキストを音声に変換して出力）、短文化プログラム、翻訳プログラムが異なるプロセスとして起動される。

【0118】

ここで、短文化プログラムと翻訳プログラムは推論プログラムが同じもので、起動時に読み込むパラメータデータが異なることで、別のタスクを実現するプロセスとして起動される。そして、ＯＳのプロセス間通信機能を利用し、各プロセス間でデータのやり取りが行われる。

【0119】

この同時通訳システムに日本語が入力されると、日本語の音声入力が音声認識された結果、日本語テキスト文が得られる。この日本語テキスト文をまず、短文化プログラムで処理した上で、翻訳プログラムでの処理が行われ、目的言語でのテキストが音声合成プログラムにて処理され、音声出力が得られることになる。発話された文を簡略化して翻訳することは、人手による同時通訳でも行われることであり、このように、短文化された後で翻訳処理が行われることで、平均的に見て入力音声から翻訳結果が発話されるまでのレスポンスを改善できる。

【0120】

［Ｊ．利点］
本実施の形態によれば、２つの翻訳エンジン、または、対訳コーパスおよび翻訳エンジンを用いて、教師データを生成できるので、コーパスが存在しないまたは十分ではない場合であっても、文章を操作する推論器を構成できる。

【0121】

また、本実施の形態によれば、字幕の作成などの文章を短縮する必要がある場面で有益である。

【0122】

また、本実施の形態によれば、文章に含まれる冗長性を削減できるので、例えば、話し言葉を書き言葉に変換できる。会議などでの発言を書き起こしたような文章に対して適用すると、冗長な表現が削減されて、議事録などの作成を容易化できる。

【0123】

また、本実施の形態に従う推論処理を、翻訳エンジンの一翻訳モデルとして構成することで、翻訳エンジンのシステムをそのまま流用することができる。つまり、日本語－英語を選択するのと同じように、短縮化を選択すれば、入力文が短い文となって出力される。

【0124】

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0125】

１ 推論システム、１０ 推論器、１２ ＮＭＴモデル、２０ 教師データ、２２，２４ 翻訳エンジン、２６ 生成部、２７ 長さ算出部、２８ 比較部、２９ 比率算出部、３０ タグ付加部、４０ 学習部、１００ 情報処理装置、１０２ ＣＰＵ、１０４ ＧＰＵ、１０６ 主メモリ、１０８ ディスプレイ、１１０ ネットワークインターフェイス、１１２ 二次記憶装置、１１４ 教師データ生成プログラム、１１６ 学習プログラム、１１８ パラメータセット、１２０ 推論プログラム、１２２ 入力デバイス、１２４ 光学ドライブ、１２６ 光学ディスク、１２８ 内部バス、ＬｏｎｇＳｎｔ 長文、Ｒ 比率、Ｓ１，Ｓ２，Ｔ 文、ＳｈｏｒｔＳｎｔ 短文、Ｓｎｔ 入力文。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】