特許 7575894 作成文章評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】作成文章評価装置

(51)【国際特許分類】

   G06F 40/51 20200101AFI20241023BHJP

   G06F 40/44 20200101ALI20241023BHJP

   G09B 19/00 20060101ALI20241023BHJP

   G09B 19/06 20060101ALI20241023BHJP

【ＦＩ】

G06F40/51

G06F40/44

G09B19/00 H

G09B19/06

【請求項の数】 10

(21)【出願番号】P 2020135965

(22)【出願日】2020-08-11

(65)【公開番号】P2022032319

(43)【公開日】2022-02-25

【審査請求日】2023-08-03

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】松岡 保静

【審査官】成瀬 博之

(56)【参考文献】

【文献】国際公開第２０１９／２２５１５４（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１３１２５９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－４０／５８

Ｇ０９Ｂ １／００－１９／２６

(57)【特許請求の範囲】

【請求項1】

エンコーダが第１言語の文章を入力し、デコーダが当該第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を、文章の最初の単語から最後の単語へ順に向かう単語順とは異なる所定の単語順で順次出力する、エンコーダデコーダモデルのリカレントニューラルネットワークを利用する作成文章評価装置であって、
前記エンコーダに、第１言語の文章を入力するエンコーダ入力部と、
前記デコーダに、第２言語で作成された作成文章であって前記エンコーダ入力部によって入力される第１言語の文章に対応する作成文章の単語を前記所定の単語順で順次入力するデコーダ入力部と、
前記作成文章の単語を、前記デコーダ入力部による入力に基づいて前記デコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価する評価部と、
前記評価部による評価に基づく出力を行う出力部と、
を備える作成文章評価装置。

【請求項2】

前記デコーダ入力部は、前記デコーダに、前記デコーダが順次出力する単語候補の替わりに前記作成文章の単語を前記所定の単語順で順次入力する、
請求項１に記載の作成文章評価装置。

【請求項3】

前記評価部は、前記デコーダ入力部によって入力された前記作成文章の単語である入力単語に対して前記デコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて、前記作成文章における前記入力単語の前記所定の単語順での次の単語を評価する、
請求項１又は２に記載の作成文章評価装置。

【請求項4】

前記作成文章は、前記エンコーダ入力部によって入力される第１言語の文章をユーザが第２言語に翻訳して作成した文章である、
請求項１～３の何れか一項に記載の作成文章評価装置。

【請求項5】

前記リカレントニューラルネットワークは、第１言語の文章と、当該第１言語の文章に対応する第２言語の文章を前記所定の単語順にした文章との組のコーパスに基づいて学習される、
請求項１～４の何れか一項に記載の作成文章評価装置。

【請求項6】

前記所定の単語順は、文章の最後の単語から最初の単語へ順に向かう単語順である、
請求項１～５の何れか一項に記載の作成文章評価装置。

【請求項7】

前記作成文章の単語を当該作成文章の最初の単語から最後の単語へ順に向かう単語順に評価する追加評価部をさらに備え、
前記出力部は、前記追加評価部による評価にさらに基づく出力を行う、
請求項１～６の何れか一項に記載の作成文章評価装置。

【請求項8】

前記出力部は、前記評価部による評価及び前記追加評価部による評価のうちより高い評価に基づく出力を行う、
請求項７に記載の作成文章評価装置。

【請求項9】

前記作成文章の単語を当該作成文章の最初の単語から最後の単語へ順に向かう単語順に評価する追加評価部をさらに備え、
前記出力部は、前記評価部による評価が所定の基準を満たさない場合に前記追加評価部による評価に基づく出力を行う、又は、前記追加評価部による評価が所定の基準を満たさない場合に前記評価部による評価に基づく出力を行う、
請求項１～６の何れか一項に記載の作成文章評価装置。

【請求項10】

前記作成文章の単語を当該作成文章の最初の単語から最後の単語へ順に向かう単語順に評価する追加評価部と、
前記評価部による評価に基づく出力を行うか、又は、前記追加評価部による評価に基づく出力を行うかのユーザの選択を受け付ける受付部と、
をさらに備え、
前記出力部は、前記受付部によって受け付けられたユーザの選択に応じた出力を行う、
請求項１～６の何れか一項に記載の作成文章評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の一側面は、第１言語の文章をユーザが第２言語に翻訳して作成した文章について評価を行う作成文章評価装置に関する。

【背景技術】

【0002】

従来、エンコーダ及びデコーダから構成されるエンコーダデコーダモデルのニューラルネットワークを利用した機械翻訳であるニューラル機械翻訳（Neural Machine Translation）が知られている。エンコーダデコーダモデルのニューラルネットワークにおいて、エンコーダは第１言語（例えば日本語）の文章を入力し、デコーダは当該第１言語の文章に対応した第２言語（例えば英語）の文章を翻訳結果として出力する。

【0003】

例えば下記特許文献１では、ニューラルネットワークで構成されたエンコーダ及びデコーダを含む自動通訳装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－５２１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記自動通訳装置は、ユーザが入力した第１言語の文章「江南駅までどのように行きますか？」に対して、翻訳結果である第２言語の文章「Ｈｏｗ ｄｏ Ｉ ｇｅｔ ｔｏ Ｇａｎｇｎａｍ？」を出力する。しかしながら上記自動通訳装置では、例えば、上記第１言語の文章に対してユーザが自分で翻訳して作成した第２言語の文章について、翻訳の適切さ等を評価することはできない。

【0006】

そこで、所定の言語で作成された作成文章を評価することが望まれている。

【課題を解決するための手段】

【0007】

本開示の一側面に係る作成文章評価装置は、エンコーダが第１言語の文章を入力し、デコーダが当該第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を、文章の最初の単語から最後の単語へ順に向かう単語順とは異なる所定の単語順で順次出力する、エンコーダデコーダモデルのリカレントニューラルネットワークを利用する作成文章評価装置であって、デコーダに、第２言語で作成された作成文章の単語を所定の単語順で順次入力するデコーダ入力部と、作成文章の単語を、デコーダ入力部による入力に基づいてデコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価する評価部と、評価部による評価に基づく出力を行う出力部と、を備える。

【0008】

このような側面においては、第２言語で作成された作成文章の単語を評価することができる。すなわち、所定の言語で作成された作成文章を評価することができる。

【発明の効果】

【0009】

本開示の一側面によれば、所定の言語で作成された作成文章を評価することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る作成文章評価装置の機能構成の一例を示す図である。

【図2】翻訳及び評価の実施例（その１）を示す図である。

【図3】翻訳及び評価の実施例（その２）を示す図である。

【図4】第１実施形態に係る作成文章評価装置が実行する処理の一部の一例を示すフローチャートである。

【図5】インタフェースの一例を示す図である。

【図6】第２実施形態に係る作成文章評価装置の機能構成の一例を示す図である。

【図7】第１実施形態及び第２実施形態に係る作成文章評価装置で用いられるコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、以下の説明における本開示での実施形態（第１実施形態及び第２実施形態を含む）は、本発明の具体例であり、特に本発明を限定する旨の記載がない限り、これらの実施形態に限定されないものとする。

【0012】

［第１実施形態］
図１は、第１実施形態に係る作成文章評価装置１の機能構成（機能ブロック）の一例を示す図である。図１に示す通り、作成文章評価装置１は、ニューラルネットワーク部１０、対訳コーパス格納部１１、問題文章準備部１２、エンコーダ入力部１３、出力部１４（出力部）、作成文章入力部１５、デコーダ入力部１６（デコーダ入力部）及び評価部１７（評価部）を含んで構成される。また、ニューラルネットワーク部１０は、エンコーダ部１００及びデコーダ部１０１を含んで構成される。

【0013】

作成文章評価装置１は、第１言語の文章を第２言語に翻訳して作成した文章である作成文章について評価を行うコンピュータ装置である。第１言語は、例えば日本語であるが、他のいかなる言語であってもよい。第２言語は、第１言語とは異なる言語であり、例えば英語であるが、他のいかなる言語であってもよい。第１言語と第２言語とは異なる地方の方言（例えば日本における標準語と関西弁）であってもよい。言語は、自然言語に限らず、人工言語及び形式言語（コンピュータのプログラム言語）等であってもよい。作成文章は、作成文章評価装置１のユーザ等の人が作成することを意図しているが、人以外が作成した文章であってもよい。評価とは、作成文章の翻訳としての適切さ（良し悪し、適合度）等を決定することを示す。

【0014】

作成文章評価装置１の各機能ブロックは、作成文章評価装置１内にて機能することを想定しているが、これに限るものではない。例えば、作成文章評価装置１の機能ブロックの一部は、作成文章評価装置１とは異なるコンピュータ装置であって、作成文章評価装置１とネットワーク接続されたコンピュータ装置内において、作成文章評価装置１と情報を適宜送受信しつつ機能してもよい。また、作成文章評価装置１の一部の機能ブロックは無くてもよいし、複数の機能ブロックを一つの機能ブロックに統合してもよいし、一つの機能ブロックを複数の機能ブロックに分解してもよい。

【0015】

以下、図１に示す作成文章評価装置１の各機能ブロックについて説明する。

【0016】

ニューラルネットワーク部１０は、エンコーダ部１００及びデコーダ部１０１から構成される、エンコーダデコーダモデル（別名：encoder-decoder翻訳モデル、Sequence to Sequence Model）のリカレントニューラルネットワーク（Recurrent Neural Network、ＲＮＮ）である。ニューラルネットワーク部１０は、例えば、ＬＳＴＭ（Long Short Term Memory）と呼ばれるリカレントニューラルネットワークである。ニューラルネットワーク部１０は、ニューラル機械翻訳を行う。なお、ニューラルネットワーク部１０は、作成文章評価装置１内ではなく、作成文章評価装置１とネットワークを介して互いにアクセス可能な他の装置内にあってもよい。

【0017】

エンコーダ部１００は、第１言語の文章を入力し、中間層（隠れ層）のベクトルを出力する。より具体的には、エンコーダ部１００は、第１言語の文章を形態素解析等により単語に分割し、各単語に対応する単語ＩＤ（Ｗｏｒｄ ＩＤ）を単語ベクトル（入力層のベクトル）に変換した上で、文章の最初の単語から最後の単語まで順に順次入力し、それまでの入力内容に基づく中間層のベクトルを順次出力する（ニューラルネットワークの計算を行う）。エンコーダ部１００は、文章の終わりを示す「＜ＥＯＳ＞」を入力した時点で、エンコーダ部１００からデコーダ部１０１に、それまでの入力内容に基づく中間層のベクトルを出力する（渡す）。エンコーダ部１００は概念的に、第１言語の文章を意味解析し、意味表現を抽出していると言える。

【0018】

デコーダ部１０１は、エンコーダ部１００から出力された中間層のベクトルを入力し、中間層のベクトルに基づいて、又は、中間層のベクトル及びデコーダ部１０１に入力される第２言語の単語に基づいて、出力層のベクトルを順次計算し、出力する。出力層のベクトルは、例えば、第２言語の単語候補と当該単語候補の尤度との組のリストを示す情報である。当該リストの一例として『（単語候補「Ｉ」及びその尤度「０．７」，単語候補「Ｗｅ」及びその尤度「０．２」，単語候補「Ｙｏｕ」及びその尤度「０．１」）』等が挙げられる。

【0019】

ここで、一般的なエンコーダデコーダモデルのリカレントニューラルネットワークにおいてニューラル機械翻訳を行う際のデコーダ（以下、「一般的デコーダ」と記す）の処理について説明する。一般的デコーダは、まず、エンコーダから出力された中間層のベクトルを入力すると、入力された中間層のベクトルに基づいて、最終的に出力する第２言語の文章のうち１語目（最初の単語）に対応する出力層のベクトルを出力する。一般的デコーダは、以降、Ｎ語目（Ｎは１以上の整数）の出力層のベクトルが示す単語候補のうち尤度が最大の単語を抽出し、抽出した単語を自デコーダ（当該一般的デコーダ）に入力し、入力した単語とＮ語目の出力層のベクトルの出力を行う際に用いた中間層のベクトルとに基づいて、（Ｎ＋１）語目の出力層のベクトルを出力する、という処理を、第２言語の文章の最後の単語まで反復する。一般的デコーダは概念的に、エンコーダが抽出した意味表現から、（第１言語とは異なる第２言語の）文章を生成している、と言える。

【0020】

一方、デコーダ部１０１は、一般的デコーダとは異なり、第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を、文章の最初の単語から最後の単語へ順に向かう単語順（一般的デコーダが採用している順）とは異なる所定の単語順で順次出力する。所定の単語順は、文章の最後の単語から最初の単語へ順に向かう単語順（逆順）であってもよい。具体的には、文章がＭ語（Ｍは１以上の整数）で構成されている場合にＭ語目、（Ｍ－１）語目、（Ｍ－２）語目、…、３語目、２語目、１語目の順である。その他にも、所定の単語順は、ランダム順であってもよいし、１語目、Ｍ語目、２語目、（Ｍ－１）語目、３語目、（Ｍ－２）語目、４語目、…、と徐々に文章の真ん中の単語に向かう順でもよいし、その他の任意の順でもよい。本開示での実施形態では、所定の単語順は、上述の逆順とするが、これに限るものではなく、任意の順に適宜読み替えてもよい。

【0021】

上記の通り、作成文章評価装置１は、エンコーダ部１００が第１言語の文章を入力し、デコーダ部１０１が当該第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を、逆順（文章の最初の単語から最後の単語へ順に向かう単語順とは異なる所定の単語順）で順次出力する、エンコーダデコーダモデルのニューラルネットワーク部１０を利用する。なお、デコーダ部１０１のその他の機能については後述する。

【0022】

対訳コーパス格納部１１は、第１言語と第２言語との対訳コーパスを格納する。対訳コーパスとは、機械翻訳の学習データとして利用するために構築された、異なる言語の文章と文章とが対訳の形でまとめられたコーパス（文章のデータベース）である。対訳コーパス格納部１１は、第１言語の（任意の）文章と、当該第１言語の文章に対応する（当該第１言語の文章を翻訳した）第２言語の文章を逆順にした文章との組から構成される対訳コーパスである逆順対訳コーパスを格納する。例えば、当該組の一例として、第１言語（日本語）の文章「私はＡＩが好きです。」と第２言語（英語）の逆順の文章「. AI like I」（逆順ではない通常の文章は「I like AI .」）との組が挙げられる。ニューラルネットワーク部１０は、逆順対訳コーパス（第１言語の文章と、当該第１言語の文章に対応する第２言語の文章を逆順にした文章との組のコーパス）に基づいて学習されてもよい。学習は、作成文章評価装置１の管理者の指示に基づいて行われてもよいし、定期的（例えば１週間に１回）に行われてもよい。

【0023】

問題文章準備部１２は、ユーザに問題文として提示する第１言語の文章である問題文章を準備する。より具体的には、問題文章準備部１２は、対訳コーパス格納部１１によって格納された逆順対訳コーパスに含まれる第１言語の文章を抽出する。抽出する第１言語の文章は、ランダムであってもよいし、所定の手順に従ったものでもよい。問題文章準備部１２は、対訳コーパス格納部１１によって格納された逆順対訳コーパスからではなく、異なる手段又は異なる装置等から問題文章を取得してもよい。問題文章準備部１２は、準備した問題文章をエンコーダ入力部１３及び出力部１４に出力する。

【0024】

エンコーダ入力部１３は、問題文章準備部１２から出力された問題文章をエンコーダ部１００に入力する。

【0025】

出力部１４は、問題文章準備部１２から出力された問題文章を出力する。より具体的には、出力部１４は、後述の出力装置１００６（例えば画面）を介して、問題文章をユーザに表示する。出力部１４のその他の機能については後述する。

【0026】

作成文章入力部１５は、第２言語で作成された作成文章を入力する。より具体的には、作成文章入力部１５は、出力部１４によって問題文章がユーザに表示された後、表示された問題文章をユーザが第２言語に翻訳して作成した作成文章を、後述の入力装置１００５（例えばキーボード）を介して入力する。つまり、作成文章は、エンコーダ部１００に入力される第１言語の文章をユーザが第２言語に翻訳して作成した文章であってもよい。本開示の実施形態では、作成文章はユーザによって作成されたものを想定するが、ユーザ以外の人や装置によって作成されたものであってもよい。作成文章入力部１５は、作成文章をデコーダ入力部１６及び評価部１７に出力する。

【0027】

デコーダ入力部１６は、デコーダ部１０１に、作成文章の単語を逆順で順次入力する。より具体的には、デコーダ入力部１６は、作成文章入力部１５から出力された作成文章を、形態素解析等により単語に分割し、各単語に対応する単語ＩＤを単語ベクトル（入力層のベクトル）に変換した上で逆順に順次（作成文章の最後の単語から最初の単語まで順に）デコーダ部１０１に入力する。

【0028】

ここで、デコーダ入力部１６は、デコーダ部１０１に、当該デコーダ部１０１が（逆順で）順次出力する単語候補の替わりに、上述の通り作成文章の単語を逆順で順次入力する。つまり、一般的デコーダは、当該一般的デコーダから出力された単語（最大の尤度の単語候補）を当該一般的デコーダの次の入力とするが、作成文章評価装置１のデコーダ部１０１は、作成文章の単語を当該デコーダ部１０１の入力とする。

【0029】

デコーダ入力部１６の入力に基づくデコーダ部１０１の処理について具体的に説明する。デコーダ部１０１は、まず、エンコーダ部１００から出力された中間層のベクトルを入力すると、入力された中間層のベクトルに基づいて、最終的に出力する第２言語の文章のうち最後の単語に対応する出力層のベクトルを出力する。デコーダ部１０１は、以降、デコーダ入力部１６によって入力された作成文章のＰ語目（Ｐは２以上の整数）の単語を当該デコーダ部１０１に入力し、入力した単語と前回の出力層のベクトルの出力を行う際に用いた中間層のベクトルとに基づいて、作成文章の（Ｐ－１）語目に対応する出力層のベクトルを出力する、という処理を、作成文章の最初の単語（１語目）まで反復する。

【0030】

なお、エンコーダ入力部１３が問題文章をエンコーダ部１００に入力すると、エンコーダ部１００が計算を行い、中間層のベクトルをデコーダ部１０１に出力し、デコーダ部１０１が入力された中間層のベクトルに基づいて、最終的に出力する第２言語の文章のうち最後の単語に対応する出力層のベクトルを出力するが、以降の処理は、デコーダ入力部１６からの作成文章の単語の（逆順の）順次入力があるまで保留する。

【0031】

評価部１７は、作成文章の単語を、デコーダ入力部１６による入力に基づいてデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価（スコア化、点数化）し、評価結果を出力部１４に出力する。評価部１７は、デコーダ入力部１６によって入力された作成文章の単語である入力単語に対してデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度に基づいて、作成文章における入力単語の逆順での次の単語を評価してもよい。

【0032】

より具体的には、まず、評価部１７は、デコーダ入力部１６によって入力された作成文章のＰ語目の単語（入力単語）に対してデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度を取得する。次に、評価部１７は、作成文章入力部１５から出力された当該作成文章におけるＰ語目の単語の逆順での次の単語である（Ｐ－１）語目の単語を取得する。次に、評価部１７は、取得した単語候補及び当該単語候補の尤度のうち、（Ｐ－１）語目の単語と同一の単語候補に紐付く尤度を、（Ｐ－１）語目の単語の尤度として取得する。次に、評価部１７は、取得した単語候補及び当該単語候補の尤度のうち、最大の尤度（翻訳として最も適切な単語候補の尤度）を取得する。次に、評価部１７は、取得した（Ｐ－１）語目の単語の尤度を取得した最大の尤度で除算した値（尤度比率）を、作成文章の（Ｐ－１）語目の評価値として算出する。次に、評価部１７は、算出した評価値を出力部１４に出力する。なお、評価値の算出は、上述の除算に限るものではなく、例えば、（Ｐ－１）語目の単語の尤度と最大の尤度（又は、取得した単語候補及び当該単語候補の尤度のうち、所定の基準によって取得された尤度）との比較に基づくいかなる算出であってもよいし、尤度に基づくその他の算出であってもよい。

【0033】

評価部１７は、作成文章の各単語の評価値に基づく当該作成文章（全体）の評価値を算出し、出力部１４に出力してもよい。例えば、評価部１７は、作成文章の各単語の評価値を平均した平均評価値を、当該作成文章の評価値として算出する。

【0034】

評価部１７は、取得した単語候補及び当該単語候補の尤度の一部、又は全てを出力部１４に出力してもよい。例えば、評価部１７は、取得した単語候補及び当該単語候補の尤度のうち、尤度が所定の基準よりも大きい単語候補、又は、尤度が最大の単語候補を出力部１４に出力する。

【0035】

出力部１４は、評価部１７による評価に基づく出力を行う。より具体的には、出力部１４は、評価部１７から出力された評価結果に基づく出力を行う。出力部１４は、評価部１７から出力された作成文章の単語の評価値（スコア）を（単語ごとに）表示してもよい。出力部１４は、評価部１７から出力された作成文章（全体）の評価値（総合スコア）を表示してもよい。出力部１４は、評価部１７から出力された作成文章の単語の評価値に基づいた当該単語の表示を行ってもよい。例えば、出力部１４は、評価値が所定の基準よりも低い単語については当該単語の色や大きさ等を変えて表示する。出力部１４は、作成文章の単語に対する別候補（単語ごとの最適単語）として、評価部１７から出力された、尤度が所定の基準よりも大きい単語候補、又は、尤度が最大の単語候補を表示してもよい。出力部１４は、上述の表示方法を一つ以上組み合わせて表示してもよい。例えば、出力部１４は、評価値が所定の基準よりも低い単語について、別候補として尤度が最大の単語候補をあわせて表示してもよい。出力部１４は、対訳コーパス格納部１１によって格納された逆順対訳コーパスを参照することで、問題文章に対する模範解答を取得し、表示してもよい。なお、出力部１４は、出力に必要な各種情報を、他の機能ブロックから適宜取得するものとする。また、出力部１４の機能の一部は、評価部１７に組み込まれていてもよい。すなわち、評価部１７は、評価を行うと共に、評価結果を直接出力してもよい。

【0036】

図２及び図３は、作成文章評価装置１における翻訳及び評価の実施例を示す図である。なお、図２及び図３に示すニューラルネットワーク部１０の一例は、本来１つの図で示すべきものであるが、大きさの関係上、ニューラルネットワーク部１０の一例の約左半分を図２に示し、ニューラルネットワーク部１０の一例の約右半分を図３に示している。

【0037】

図２及び図３に示す実施例では、問題文章「私はＡＩが好きです。」をユーザに提示し、ユーザが作成文章「My favorite is AI.」を作成した場合の採点（評価）例を示す。なお、問題文章「私はＡＩが好きです。」に対する模範解答は「I like AI.」である。図２に示す通り、まず、問題文章「私はＡＩが好きです。」を単語に分割すると、「私」、「は」、「ＡＩ」、「が」、「好き」、「です」、「。」になる。これら単語を（最初の単語から最後の単語へ向かって）順番にエンコーダ部１００に入力する。単語「。」の後には、文章の終わりを示す「＜ＥＯＳ＞」記号を入力する。「＜ＥＯＳ＞」記号を入力すると、ニューラルネットワーク部１０は、デコーダ部１０１から単語候補及び当該単語候補の尤度を出力し始める（出力層をＳｏｆｔｍａｘ関数等で尤度計算するものとする）。

【0038】

続いて図３に示す通り、最初に出力される単語候補は、尤度が一番高い「.」になる。ユーザが作成した作成文章の最後の単語も「.」なので、同じ尤度であるため（同じ尤度同士の除算により）点数は「１．００」となる。次に、ユーザが作成した（最後の）単語「.」をデコーダ部１０１の入力として入力する（ユーザが作成した作成文章は単語ごとにデコーダ部１０１に逆順で順次入力される）。すると、デコーダ部１０１によって出力される単語候補は、尤度が一番高い「AI」になる。ユーザが作成した作成文章の最後から２番目の単語も「AI」なので、同じ尤度であるため点数は「１．００」となる。次に、ユーザが作成した（最後から２番目の）単語「AI」をデコーダ部１０１の入力として入力する。すると、デコーダ部１０１の出力は、「like」が最も尤度が高く、尤度「０．７５」とでる。しかし、ユーザが作成した（逆順で「AI」の次の）単語は「is」であり、この単語は尤度が「０．１５」であった。したがって、「is」の尤度を「like」の尤度で割って、「０．２０」が「is」の点数（評価値）となる。次に、デコーダ部１０１の入力としては「like」ではなく、「is」を入れる。すると、デコーダ部１０１の出力は、最も尤度が高い「favorite」がでてくる。ユーザが作成した（最後から３番目の）単語も「favorite」であるため、点数は「１．０」となる。このように逆順で順次単語ごとに点数を計算していく。

【0039】

図４は、作成文章評価装置１が実行する処理（作成文章評価方法）の一部の一例を示すフローチャートである。まず、エンコーダ入力部１３により、問題文章（の単語）がエンコーダ部１００の入力層に入力される（ステップＳ１）。次に、エンコーダ部１００により、次の入力単語が「＜ＥＯＳ＞」であるか否かが判定され（ステップＳ２）、次の入力単語が「＜ＥＯＳ＞」でないと判定された場合（Ｓ２：ＮＯ）、次の入力単語についてＳ１の処理に戻る。一方、次の入力単語が「＜ＥＯＳ＞」であると判定された場合（Ｓ２：ＹＥＳ）、続いて、デコーダ部１０１により、出力層からＳｏｆｔｍａｘで解答文章（最終的に出力する第２言語の文章）の単語（候補単語）の尤度が算出される（ステップＳ３）。次に、評価部１７により、作成文章の単語と尤度とが比較され、尤度比率が単語スコアとして計算される（ステップＳ４）。次に、デコーダ部１０１により、作成文章の逆順での次の単語が無いかあるかが判定され（ステップＳ５）、次の単語があると判定された場合（Ｓ５：ＮＯ）、デコーダ入力部１６により、作成文章の単語がデコーダ部１０１の次の入力として入力され（ステップＳ６）、Ｓ３の処理に戻る。一方、次の単語が無いと判定された場合（Ｓ５：ＹＥＳ）、評価部１７により、各単語の単語スコアが平均され、文章（作成文章）として総合スコアが計算される（ステップＳ７）。次に、出力部１４により、各単語ごとの単語スコアと、作成文章の総合スコアとが出力される（ステップＳ８）。

【0040】

図５は、作成文章評価装置１のインタフェースの一例（画面例）を示す図である。図５に示すインタフェースは、日本語（第１言語）の問題文章をユーザに提示し、問題文章に対してユーザが英作文した英語（第２言語）の作成文章を入力し、作成文章を採点するものである。参照符号Ａは、問題文章「つまり、それは学生の成績を上げる可能性があります。」を示す。参照符号Ｂは、ユーザがテキストボックスに入力した作成文章「Because, there is a possibility that the student’s grade will improve.」を示す。参照符号Ｃが示す「採点」ボタンをユーザが押下することで採点が実行される。なお、以降で説明する参照符号Ｄ、Ｅ、Ｆ及びＨが示す情報については、採点が実行された後に表示される。

【0041】

参照符号Ｄは、採点結果としての作成文章の総合スコアである、「１０．００」点満点中の「８．２１」点を示す。なお、参照符号Ｄの周辺には、総合スコアに対応したキャラクタ画像が表示されてもよい。参照符号Ｅは、作成文章であって、採点の結果、評価値が所定の基準よりも低い単語（図５では単語「Because」）については太字で（又は色を変えて）表示された作成文章を示す。参照符号Ｆは、上述の評価値が所定の基準よりも低い単語に対する別候補として、尤度が最大の単語候補で構成される熟語（図５では熟語「In short」）を示す。参照符号Ｇが示す「模範解答を見る」ボタンをユーザが押下することで、問題文章に対する模範解答が表示される。参照符号Ｈは、表示された模範解答「In short, there is a possibility that the student's grade will improve.」を示す。

【0042】

次に、第１実施形態に係る作成文章評価装置１の作用効果について説明する。

【0043】

作成文章評価装置１によれば、デコーダ入力部１６は、デコーダ部１０１に第２言語で作成された作成文章の単語を逆順で順次入力し、評価部１７は、作成文章の単語を、デコーダ入力部１６による入力に基づいてデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価し、出力部１４は、評価部１７による評価に基づく出力を行う。より具体的には、評価部１７は、デコーダ入力部１６によって入力された作成文章の単語である入力単語に対してデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度に基づいて、作成文章における入力単語の逆順での次の単語を評価する。これにより、第２言語で作成された作成文章の単語を評価することができる。すなわち、所定の言語で作成された作成文章を評価することができる。また、ユーザが作文した作成文章を、単語ごとに評価することができる。

【0044】

また、作成文章評価装置１によれば、デコーダ入力部１６は、デコーダ部１０１に、デコーダ部１０１が順次出力する単語候補の替わりに作成文章の単語を逆順で順次入力する。これにより、エンコーダ部１００で問題文章の意味を把握しておきながら、ユーザが作成した作成文章の単語列に対して、逆順で次にくる最もふさわしい単語を推定することができる。また、問題文章の意味をとらえながら、ユーザが選んだ表現の単語に基づいて、逆順で次の単語を推定するため、表現の自由度もある評価が可能となる。

【0045】

また、作成文章評価装置１によれば、作成文章は、エンコーダ部１００に入力される第１言語の文章をユーザが第２言語に翻訳して作成した文章である。これにより、ユーザが第１言語の文章を翻訳した第２言語の文章について、その翻訳を評価することができる。

【0046】

また、作成文章評価装置１によれば、ニューラルネットワーク部１０は、第１言語の文章と、当該第１言語の文章に対応する第２言語の文章を逆順にした文章との組のコーパスに基づいて学習される。これにより、エンコーダ部１００への第１言語の文章の入力により、デコーダ部１０１は、当該第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を、逆順で（当該第２言語の文章の最後の単語から最初の単語に向かって）順次出力することができる。

【0047】

また、作成文章評価装置１によれば、所定の単語順は、文章の最後の単語から最初の単語へ順に向かう単語順である。これにより、文章の先頭からだけでなく、後方からでも評価（採点、添削など）を行うことができる。文章の後方から評価を行うことが可能になれば、前方だけが間違っている（評価値が所定の基準よりも低い）作成文章に対しても前方のみの修正などが可能になる。

【0048】

以下、具体的に説明する。一般的に、文章の先頭の方だけが間違っていて、後方は合っている作成文章も多々ある。文章の先頭から単語単位で評価を行う場合、先頭の間違った単語から全て評価してしまうため、ユーザの作成文章（後方）が活かされない。例えば、問題文章「つまり、それは学生の成績を上げる可能性があります。」に対して、ユーザが作成した作成文章が「Because, there is a possibility that the student's grade will improve.」である場合、例えば、点数は「１０．００」点満点中「５．９２」で、添削後の文章は「This means that it can increase their academic performance.」となる。このように、ユーザが作成した作成文章は、問題文章のうち「つまり、」の翻訳以外はだいたい合っているが、点数は低く、添削後の文章に至っては全書き直しとなっている。つまり、「Because」だけを直せば良いのに、全部直してしまう。

【0049】

一方、作成文章評価装置１で上記作成文章を評価を行うと、例えば、添削後の文章は「In short, there is a possibility that the student's grade will improve.」となる。つまり、「Because」の部分だけの修正を行うので、ユーザの回答が活かされている。

【0050】

また、作成文章評価装置１によれば、評価部１７及び出力部１４は、作成文章の単語の評価値を表示する、作成文章の単語の評価値に基づいた当該単語の表示を行う、作成文章の単語に対する別候補として、尤度が所定の基準よりも大きい単語候補、又は、尤度が最大の単語候補を表示する、及び、作成文章の各単語の評価値に基づく当該作成文章の評価値を表示する。これにより、評価だけではなく、よりよい翻訳を行うためのユーザへのアドバイスが可能となる等、ユーザへのフィードバック学習も可能となる。

【0051】

なお、作成文章評価装置１において、作成文章入力部１５は、作成文章を、ユーザの全ての単語入力が終わるのを待たずに、リアルタイムで作成文章の各単語をデコーダ入力部１６及び評価部１７に出力してもよい。そして、出力部１４による出力は、評価部１７から評価結果が出力されるたびにリアルタイムで行ってもよい。これにより、ユーザが作成文章を入力中にその時点での評価及び最適単語が表示されることになるため、作成文章を全て入力し終わってしらばく時間が経った後に評価や最適単語が表示されるのに比べて、ユーザにとって学習効果が高い学習ツールとしての役割を果たすことができる。

【0052】

［第２実施形態］
図６は、第２実施形態に係る作成文章評価装置１Ａの機能構成（機能ブロック）の一例を示す図である。図６に示す通り、作成文章評価装置１Ａは、ニューラルネットワーク部１０、ニューラルネットワーク部１０Ａ、対訳コーパス格納部１１Ａ、問題文章準備部１２、エンコーダ入力部１３Ａ、出力部１４Ａ（出力部）、作成文章入力部１５、デコーダ入力部１６Ａ（デコーダ入力部）、評価部１７Ａ（評価部、追加評価部）及び受付部１８Ａ（受付部）を含んで構成される。また、ニューラルネットワーク部１０は、エンコーダ部１００及びデコーダ部１０１を含んで構成される。ニューラルネットワーク部１０Ａは、エンコーダ部１００Ａ及びデコーダ部１０１Ａを含んで構成される。

【0053】

以降では、作成文章評価装置１Ａについて、第１実施形態に係る作成文章評価装置１との主な差分について説明し、同様の内容については説明を適宜省略する。

【0054】

ニューラルネットワーク部１０Ａ、エンコーダ部１００Ａ及びデコーダ部１０１Ａは、それぞれニューラルネットワーク部１０、エンコーダ部１００及びデコーダ部１０１とほぼ同様である。主な差分は、デコーダ部１０１Ａは、一般的デコーダと同様に、第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を、文章の最初の単語から最後の単語へ順（以降「正順」と呼ぶ）に向かう単語順で順次出力する点である。

【0055】

対訳コーパス格納部１１Ａは、対訳コーパス格納部１１とほぼ同様である。主な差分は、対訳コーパス格納部１１Ａは、逆順対訳コーパスに加えて、第１言語の（任意の）文章と、当該第１言語の文章に対応する（当該第１言語の文章を翻訳した）第２言語の文章（単語は正順）との組から構成される対訳コーパスである正順対訳コーパスを格納する点である。上述のニューラルネットワーク部１０Ａは、正順対訳コーパスに基づいて学習されてもよい。

【0056】

エンコーダ入力部１３Ａは、エンコーダ入力部１３とほぼ同様である。主な差分は、エンコーダ入力部１３Ａは、問題文章準備部１２から出力された問題文章をエンコーダ部１００Ａにさらに入力する点である。

【0057】

出力部１４Ａについては後述する。

【0058】

デコーダ入力部１６Ａは、デコーダ入力部１６とほぼ同様である。主な差分は、デコーダ入力部１６Ａは、デコーダ部１０１Ａに、作成文章の単語を正順で順次入力する点、及び、デコーダ部１０１Ａに、当該デコーダ部１０１Ａが順次出力する単語候補の替わりに、上述の通り作成文章の単語を正順で順次入力する点である。

【0059】

評価部１７Ａは、評価部１７とほぼ同様である。主な差分は、評価部１７Ａは、作成文章の単語を、デコーダ入力部１６Ａによる入力に基づいてデコーダ部１０１Ａが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価（スコア化、点数化）し、評価結果を出力部１４Ａに出力する点、及び、デコーダ入力部１６Ａによって入力された作成文章の単語である入力単語に対してデコーダ部１０１Ａが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて、作成文章における入力単語の正順での次の単語を評価する点である。すなわち、評価部１７Ａは、作成文章の単語を正順（当該作成文章の最初の単語から最後の単語へ順に向かう単語順）に評価する。

【0060】

受付部１８Ａは、デコーダ部１０１の出力に基づく評価部１７Ａによる評価（以降、「逆順評価」と呼ぶ）に基づく出力（以降、「逆順出力」と呼ぶ）を行うか、又は、デコーダ部１０１Ａの出力に基づく評価部１７による評価（以降、「正順評価」と呼ぶ）に基づく出力（以降、「正順出力」と呼ぶ）を行うかのユーザの選択を受け付ける。例えば、出力部１４Ａが、後述の出力装置１００６（例えば画面）を介して、逆順出力又は正順出力の何れかを選択可能なラジオボタンを表示し、ユーザが何れかを選択すると、受付部１８Ａは、当該選択に関する選択情報を取得する。

【0061】

出力部１４Ａは、出力部１４とほぼ同様である。主な差分は、出力部１４Ａは、デコーダ部１０１Ａの出力に基づく評価部１７による評価（正順評価）にさらに基づく出力（正順出力）を行う点、逆順評価及び正順評価のうちより高い評価に基づく出力を行う点、逆順評価が所定の基準を満たさない場合に正順評価に基づく出力を行う、又は、正順評価が所定の基準を満たさない場合に逆順評価に基づく出力を行う点、及び、受付部１８Ａによって受け付けられたユーザの選択（選択情報）に応じた出力（逆順出力又は正順出力）を行う点である。

【0062】

例えば、出力部１４Ａは、正順評価の評価値と逆順評価の評価値との和又は平均を出力してもよい。例えば、出力部１４Ａは、逆順評価の評価値が正順評価の評価値よりも高ければ逆順評価の評価値を出力してもよいし、逆順評価の評価値が正順評価の評価値よりも低ければ正順評価の評価値を出力してもよい。例えば、出力部１４Ａは、逆順評価において作成文章の真ん中より後方に評価値が所定の閾値よりも低い単語が所定の割合以上含まれていれば、正順評価に基づく出力を行ってもよい。例えば、出力部１４Ａは、正順評価において作成文章の真ん中より前方に評価値が所定の閾値よりも低い単語が所定の割合以上含まれていれば、逆順評価に基づく出力を行ってもよい。例えば、出力部１４Ａは、受付部１８Ａによって逆順出力を行う選択が受け付けられた場合に逆順出力を行い、受付部１８Ａによって正順出力を行う選択が受け付けられた場合に正順出力を行ってもよい。

【0063】

次に、第２実施形態に係る作成文章評価装置１Ａの作用効果について説明する。

【0064】

作成文章評価装置１Ａによれば、評価部１７Ａは、作成文章の単語を正順に評価する。これにより、作成文章の前方からの評価を行うことができる。

【0065】

また、作成文章評価装置１Ａによれば、出力部１４Ａは、（逆順評価に加え）正順評価にさらに基づく出力を行う。これにより、作成文章評価装置１の出力結果に、正順評価を反映することができるため、より正確な出力を行うことができる。

【0066】

また、作成文章評価装置１Ａによれば、出力部１４Ａは、逆順評価及び正順評価のうちより高い評価に基づく出力を行う。これにより、より正確な出力を行うことができると共に、ユーザが作成した作成文章をなるべく活かした出力を行うことができる。

【0067】

また、作成文章評価装置１Ａによれば、出力部１４Ａは、逆順評価が所定の基準を満たさない場合に正順評価に基づく出力を行う、又は、正順評価が所定の基準を満たさない場合に逆順評価に基づく出力を行う。これにより、より正確な出力を行うことができると共に、ユーザが作成した作成文章をなるべく活かした出力を行うことができる。

【0068】

また、作成文章評価装置１Ａによれば、受付部１８Ａは、逆順評価に基づく出力を行うか、又は、正順評価に基づく出力を行うかのユーザの選択を受け付け、出力部１４Ａは、受付部１８Ａによって受け付けられたユーザの選択に応じた出力を行う。これにより、ユーザの利便性が向上する。

【0069】

以上の通り、作成文章評価装置１又は作成文章評価装置１Ａは、英作文ＡＩ採点における文章の後方からの添削方法を実行しているとも言える。すなわち、文章の先頭からだけでなく、後方からでも採点・添削を可能にする。文章の後方から採点・添削が可能になれば、前方だけが間違っている回答に対しても前方のみの修正が可能になる。それにより、ユーザの回答を活かすことができる。作成文章評価装置１又は作成文章評価装置１Ａでは、例えば、学習の時点で、正解の文章（英文）の単語を、逆順で入力し、英文を逆順で出力するモデル（ニューラルネットワーク部１０）を生成しておく。当該モデルに、ユーザ回答を逆順で入力すると、後方から採点・添削が可能になる。

【0070】

作成文章評価装置１Ａでは、例えば、前方から採点と後方から採点の融合による採点・添削を行うことができる。作成文章評価装置１Ａは、前方、後方の両方から採点し、点数の高い方を採用してもよい。作成文章評価装置１Ａは、添削も、前方修正、後方修正の両方を試し、信頼度の高い方で添削してもよい。作成文章評価装置１Ａは、前方から採点し、前の方だけ誤りがあった場合は、後方から採点・添削を行ってもよいし、後方から採点し、後ろの方だけ誤りがあった場合は、前方から採点・添削を行ってもよい。作成文章評価装置１Ａは、ユーザが、前方修正か後方修正を選択することも可能であってもよい。例えば、問題文「つまり、それは学生の成績を上げる可能性があります。」に対してユーザ回答が「Because, there is a possibility that the student's grade will improve.」であった場合、作成文章評価装置１Ａは、前方から採点すると「１０．００」満点中「５．９２」点となり、後方から採点すると「１０．００」満点中「７．００」点となり、前方からの採点よりも後方からの採点の方が評価値が高い。

【0071】

作成文章評価装置１又は作成文章評価装置１Ａの変形例として以下の文章採点添削システムを示す。

【0072】

エンコーダ・デコーダモデルのニューラルネットワークであり、第一言語の文章をエンコーダに入力し、その対訳となる第二言語の文章をデコーダから出力させるネットワークにおいて、第二言語の文章の語順を逆転させた文章をデコーダから出力させるように学習させることを特徴とし、その学習させたモデルを使用して、第一言語の文章をエンコーダに入力するとともに、その第二言語への訳文を語順を逆にして、デコーダに入力させながら、デコーダの出力単語と、訳文の単語を比較することで採点し、デコーダの出力単語に置き換えることで添削をすることを特徴とする文章採点添削システム。

【0073】

上記文章採点添削システムであって、文章を前方から採点・添削を行う採点システムと、上記の文章を後方から採点・添削する採点システムの両方で採点を行い、点数の高い方の採点結果および添削結果を表示することを特徴とする文章採点添削システム。

【0074】

上記文章採点添削システムであって、文章を前方から採点し、文章の前方にのみ誤りがあった場合において、上記の文章を後方から採点・添削する採点システムで再度採点・添削し、後方からの採点・添削結果を表示することを特徴とする文章採点添削システム。

【0075】

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0076】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0077】

例えば、本開示の一実施の形態における作成文章評価装置１及び作成文章評価装置１Ａなどは、本開示の文章評価方法の処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係る作成文章評価装置１及び作成文章評価装置１Ａのハードウェア構成の一例を示す図である。上述の作成文章評価装置１及び作成文章評価装置１Ａは、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0078】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。作成文章評価装置１及び作成文章評価装置１Ａのハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0079】

作成文章評価装置１及び作成文章評価装置１Ａにおける各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0080】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の問題文章準備部１２、エンコーダ入力部１３、エンコーダ入力部１３Ａ、出力部１４、出力部１４、作成文章入力部１５、デコーダ入力部１６、デコーダ入力部１６Ａ、評価部１７、評価部１７Ａ及び受付部１８Ａなどは、プロセッサ１００１によって実現されてもよい。

【0081】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、問題文章準備部１２、エンコーダ入力部１３、エンコーダ入力部１３Ａ、出力部１４、出力部１４、作成文章入力部１５、デコーダ入力部１６、デコーダ入力部１６Ａ、評価部１７、評価部１７Ａ及び受付部１８Ａは、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0082】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0083】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ROM）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0084】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の出力部１４、出力部１４Ａ、作成文章入力部１５及び受付部１８Ａなどは、通信装置１００４によって実現されてもよい。

【0085】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0086】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0087】

また、作成文章評価装置１及び作成文章評価装置１Ａは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0088】

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。

【0089】

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

【0090】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0091】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0092】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0093】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0094】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

【0095】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0096】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0097】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0098】

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0099】

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0100】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

【0101】

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。

【0102】

本開示で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up、search、inquiry）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0103】

「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

【0104】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0105】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0106】

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

【0107】

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0108】

本開示において、例えば、英語でのa、an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0109】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0110】

１・１Ａ…作成文章評価装置、１０・１０Ａ…ニューラルネットワーク部、１１・１１Ａ…対訳コーパス格納部、１２…問題文章準備部、１３・１３Ａ…エンコーダ入力部、１４・１４Ａ…出力部、１５…作成文章入力部、１６・１６Ａ…デコーダ入力部、１７・１７Ａ…評価部、１８Ａ…受付部、１００・１００Ａ…エンコーダ部、１０１・１０１Ａ…デコーダ部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】