(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-17
(45)【発行日】2023-11-28
(54)【発明の名称】文章解答問題自動採点システム及びその方法
(51)【国際特許分類】
G09B 19/00 20060101AFI20231120BHJP
G09B 7/02 20060101ALI20231120BHJP
G06Q 50/20 20120101ALI20231120BHJP
G06F 40/279 20200101ALI20231120BHJP
【ＦＩ】
G09B19/00 G
G09B7/02
G06Q50/20
G06F40/279
【請求項の数】
7
(21)【出願番号】P 2021200417
(22)【出願日】2021-12-09
(65)【公開番号】P2023086037
(43)【公開日】2023-06-21
【審査請求日】2021-12-09
(73)【特許権者】
【識別番号】520498387
【氏名又は名称】株式会社ナスピア
(74)【代理人】
【識別番号】100081581
【弁理士】
【氏名又は名称】内山 美奈子
(72)【発明者】
【氏名】山田 竜也
【審査官】安田 明央
(56)【参考文献】
【文献】特開２０２０－２０４７０３（ＪＰ，Ａ）
【文献】特開２０１７－１６７４１３（ＪＰ，Ａ）
【文献】特開２０２１－００９７０８（ＪＰ，Ａ）
【文献】特開２０１８－０４５０６２（ＪＰ，Ａ）
【文献】特開２０１７－１８８０３９（ＪＰ，Ａ）
【文献】特開２０２０－１６６７７０（ＪＰ，Ａ）
【文献】特開２０２０－１１３１２９（ＪＰ，Ａ）
【文献】特開２０１９－１９１８１５（ＪＰ，Ａ）
【文献】特表２００３－５２９８０１（ＪＰ，Ａ）
【文献】国際公開第２０１９／２２５２２９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ １９／００－１９／２６
Ｇ０９Ｂ ７／００－７／１２
Ｇ０６Ｑ ５０／２０
Ｇ０６Ｆ ４０／２７９
(57)【特許請求の範囲】
【請求項1】
文章解答問題をＡＩによって自動採点するシステムであって、解答文章の判定のためのＡＩの学習パターン構造として、最大４つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成手段と
各パターンに分けた解答例をＡＩに記憶させる記憶手段と、
解答された文章をそのカテゴリーへ記憶させたパターン例との近似をＡＩに判定させて各カテゴリーにおける確率を判定させる判定手段と、学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定手段とを有することを特徴とする文章解答問題自動採点システム。
【請求項2】
文章解答問題をＡＩによって自動採点するシステムであって、解答文章の判定のためのＡＩの学習パターン構造として、前記最大４つのカテゴリーに加え、正解としての正答に最も近い誤答として追加誤答パターンを設けた構成手段を有することを特徴とする請求項１記載の文章解答問題自動採点システム。
【請求項3】
文章解答問題をＡＩによって自動採点するシステムであって、前記カテゴリーごとの近似性判定に加え、キーワード判定、誤字脱字判定、文字数判定の判定を行う判定手段、判定結果を減点処理によって適正度を判定する判定手段
複数段階にわたり合格の判定基準を設定する設定手段
前記適正度を設定された複数段階の判定基準と照合し、判定結果を表示する判定表示手段とを有することを特徴とする請求項１または２記載の文章解答問題自動採点システム。
【請求項4】
前記キーワード判定は、解答における１つまたは複数のキーワードを決定入力する決定入力手段とそのキーワードが解答において必須かどうかの決定入力する決定入力手段と
必須である場合に減点値を決定して入力する決定入力手段とを有し、
受験生の解答入力に対して、前記判定された正答確率から減点の有無を判定し、
減点に一定割合をかけて減点を算定し、
正答確率から算定した減点を差し引いて適正度を算出する算出手段
を有することを特徴とする請求項３記載の文章解答問題自動採点システム。
【請求項5】
ＡＩ判定のための機械学習パターンを登録するデータベース、それをＡＩに判定させるためのアプリケーション、判定結果をフィードバックするためのユーティリティが互いに接続され、学習者の解答入力装置又は入力装置を装備した学習ツールと接続可能であることを特徴とする請求項１記載の文章解答問題自動採点システム。
【請求項6】
学習者には模範解答と正解不正解の判定のみを返し、管理者にはより詳細な各カテゴリー別の確率を表示することを特徴とする請求項１～５記載の文章解答問題自動採点システム。
【請求項7】
文章解答問題をＡＩによって自動採点する方法であって、解答文章の判定のためのＡＩの学習パターン構造として、最大４つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成工程と
各パターンに分けた解答例をＡＩに記憶させる記憶工程と、
解答された文章をそのカテゴリーへ記憶させたパターン例との近似をＡＩに判定させて各カテゴリーにおける確率を判定させる判定工程と、学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定工程とを有することを特徴とする文章解答問題自動採点方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文章解答問題のＡＩによる即時自動採点を可能とするものであり、従来採点困難といわれた文章解答問題をＡＩへの学習データ構造を工夫することで、より精度の高い自動採点を可能としたものでそのシステム及び方法に関する。
【背景技術】
【0002】
文章解答問題は、単なる選択肢だけによる問題に比べ正答率を比較すると３４．５％もの開きがある。すなわち、選択式でたずねた場合には８８．９％のものの正答率が、文章解答形式にすると、一挙に５４．４％に下落するとのデータが存在する。これは選択肢方法の場合、真に正答がわかっていなくても、どれかの正答らしい肢を選択するあるいは他の肢がピンとこない場合に、残りの肢を選択することで、正答率が上がるためと考えられる。このため、文章解答問題は正確な理解度を測定するために必要とされているが、文章解答においては、解答の表現が多岐にわたることから、ＡＩを用いても、その精度を上げるためには、1つの項目について１０００例程度のデータ記憶をさせることが必要となる。現場の教師に１０００例の作成を求め、さらに入力を求めることは現実的に不可能であった。 そこまでの労力をかけることができない場合には、自然と精度が期待できなくなり、最終的には教師による主観的な最終チェックを余儀なくされている。 このような状況下にあって、実用的なパターン例の登録で、自動採点の質を高めることができないかについて、初めて研究し、本発明が完成した。
【0003】
まず人の採点作業及び解答例の誤答例を客観的に分析し、誤答例の特徴を3パターンより詳しくは４パターンの構造として捉え、予めそれを記憶させることにより、従来の10分の１の１００例程度で自動採点を可能とする方法を開発した。この方法により採点の質を高めることを見出し、本発明が完成した。
【0004】
従来から存在するＡＩ採点方法に用いるＡＩとしては、種々のものが存在する。そして、その手法には種々のものがあるが、どの方法でも可能ではあるが、自然言語関連法が最も好ましい。なぜなら文章の近似性は文言と文言の近似性を自然関連性でもって図るためである。
【先行技術文献】
【特許文献】
【0005】
【文献】特許４１６５８９８号
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来翻訳文について上記特許が成立している。
しかし、前記特許はその実施例で英訳にのみ触れており、英文への翻訳についての添削を主とするため、判定基準としては、同義語や語の位置、活用形についての評価など翻訳に特有の判定基準を用いなければならず、単なる説明問題や和訳の採点には適していない。
さらに、前記特許においては、正解と思われる翻訳文をすべて用意して、予め覚えさせるなどの作業が必要であり、事前準備に手間が必要となる。
そして、ＡＩによる採点を採用したとしても、その採点基準は荒く模範答案との正誤が判定のメインとなるため、別の表現での正解を判定することができず、結局は人による最終チェックあるいは当初からのチェックが必要となり、導入コストに対して人件費が抑えられる程度が低かったため、利用しにくい問題点がある。
しかし、前記特許はその実施例で英訳にのみ触れており、英文への翻訳についての添削を主とするため、判定基準としては、同義語や語の位置、活用形についての評価など翻訳に特有の判定基準を用いなければならず、単なる説明問題や和訳の採点には適していない。
さらに、前記特許においては、正解と思われる翻訳文をすべて用意して、予め覚えさせるなどの作業が必要であり、事前準備に手間が必要となる。
そして、ＡＩによる採点を採用したとしても、その採点基準は荒く模範答案との正誤が判定のメインとなるため、別の表現での正解を判定することができず、結局は人による最終チェックあるいは当初からのチェックが必要となり、導入コストに対して人件費が抑えられる程度が低かったため、利用しにくい問題点がある。
【0007】
本発明に係る文章解答問題自動採点システム及びその方法は、上記従来技術の問題点を鑑みて発明したものである。
【課題を解決するための手段】
【0008】
前記の課題を解決するために、本発明に係る文章解答問題自動採点システムは、文章解答問題をＡＩによって自動採点するシステムであって、 解答文章の判定のためのＡＩの学習パターン構造として、最大４つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成手段と 各パターンに分けた解答例をＡＩに記憶させる記憶手段と、 解答された文章をそのカテゴリーへ記憶させたパターン例との近似をＡＩに判定させて各カテゴリーにおける確率を判定させる判定手段と、学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定手段とを有することを要旨とする。
【0009】
前記の課題を解決するために、本発明に係る文章解答問題自動採点システムは、文章解答問題をＡＩによって自動採点するシステムであって、 解答文章の判定のためのＡＩの学習パターン構造として、前記最大４つのカテゴリーに加え、正解としての正答に最も近い誤答として追加誤答パターンを設けた構成手段を有することを要旨とする。
【0010】
前記の課題を解決するために、本発明に係る文章解答問題自動採点システムは、文章解答問題をＡＩによって自動採点するシステムであって、前記カテゴリーごとの近似性判定に加え、キーワード判定、誤字脱字判定、文字数判定の判定を行う判定手段、
判定結果を減点処理によって適正度を判定する判定手段
複数段階にわたり合格の判定基準を設定する設定手段
前記適正度を設定された複数段階の判定基準と照合し、判定結果を表示する判定表示手段とを有することを要旨とする。
判定結果を減点処理によって適正度を判定する判定手段
複数段階にわたり合格の判定基準を設定する設定手段
前記適正度を設定された複数段階の判定基準と照合し、判定結果を表示する判定表示手段とを有することを要旨とする。
【0011】
前記キーワード判定は、解答における１つまたは複数のキーワードを決定入力する決定入力手段と
そのキーワードが解答において必須かどうかの決定入力する決定入力手段と
必須である場合に減点値を決定して入力する決定入力手段とを有し、
受験生の解答入力に対して、前記判定された正答確率から減点の有無を判定し、
減点に一定割合をかけて減点を算定し、
正答確率から算定した減点を差し引いて適正度を算出する算出手段
を有することを要旨とする。
そのキーワードが解答において必須かどうかの決定入力する決定入力手段と
必須である場合に減点値を決定して入力する決定入力手段とを有し、
受験生の解答入力に対して、前記判定された正答確率から減点の有無を判定し、
減点に一定割合をかけて減点を算定し、
正答確率から算定した減点を差し引いて適正度を算出する算出手段
を有することを要旨とする。
【0012】
本発明に係る文章解答問題自動採点システムはＡＩ判定のための機械学習パターンを登録するデータベース、それをＡＩに判定させるためのアプリケーション、判定結果をフィードバックするためのユーティリティが互いに接続され、学習者の解答入力装置又は入力装置を装備した学習ツールと接続可能であることを要旨とする。
【0013】
本発明に係る文章解答問題自動採点システムは、採点結果の送付方法として、学習者には模範解答と正解不正解の判定のみを返し、管理者にはより詳細な各カテゴリー別の確率を表示することを要旨とする。
【0014】
前記の課題を解決するために、本発明に係る文章解答問題自動採点方法は、文章解答問題をＡＩによって自動採点する方法であって、
解答文章の判定のためのＡＩの学習パターン構造として、最大４つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成工程と
各パターンに分けた解答例をＡＩに記憶させる記憶工程と、
解答された文章をそのカテゴリーへ記憶させたパターン例との近似をＡＩに判定させて各カテゴリーにおける確率を判定させる判定工程と、
学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定工程とを有することを要旨とする。
解答文章の判定のためのＡＩの学習パターン構造として、最大４つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成工程と
各パターンに分けた解答例をＡＩに記憶させる記憶工程と、
解答された文章をそのカテゴリーへ記憶させたパターン例との近似をＡＩに判定させて各カテゴリーにおける確率を判定させる判定工程と、
学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定工程とを有することを要旨とする。
【発明の効果】
【0015】
本願発明のシステム及び方法を使用することで、特に、従来は難しかった、文章解答問題のＡＩ採点を容易とした。
そして本願発明に係る文章問題を自動採点するシステム及び方法によると、文章の前提（主語や理由部分）と結論部分の組み合わせを変化させて正答のみでなく、誤答についても解答パターンをＡＩに記憶させることにより、少ないパターンの機械学習によって判定精度を上げ、人によるチェックを大幅に減らすことが可能となった。採点完了までの時間を大幅に短縮することが可能となり、採点結果を即時に送信することができ、それを生かした試験方法が可能となった。たとえば、午前中の文章解答問題の判定を午前中に終了し、午後から合格者に対して次の試験を行うなどのことが可能となった。そのため採点にかけるコストを低コストとすることができ、教師や塾講師の重労働からの開放を可能とした。
そして本願発明に係る文章問題を自動採点するシステム及び方法によると、文章の前提（主語や理由部分）と結論部分の組み合わせを変化させて正答のみでなく、誤答についても解答パターンをＡＩに記憶させることにより、少ないパターンの機械学習によって判定精度を上げ、人によるチェックを大幅に減らすことが可能となった。採点完了までの時間を大幅に短縮することが可能となり、採点結果を即時に送信することができ、それを生かした試験方法が可能となった。たとえば、午前中の文章解答問題の判定を午前中に終了し、午後から合格者に対して次の試験を行うなどのことが可能となった。そのため採点にかけるコストを低コストとすることができ、教師や塾講師の重労働からの開放を可能とした。
【0016】
また、本願発明に係る文章問題を自動採点するシステム及び方法によると、オンライン学習者には正解不正解の判定のみを返すが、管理者には詳細な判定ログを提供するようにしているため、採点結果のダブルチェックが可能となるとともに、学習者に対してきめ細かな指導が可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明の文章自動採点システムの概略図
【図2】本発明の文章自動採点システムの学習データ５パターンの概念図
【図3】本発明の文章自動採点システムのフロー図
【図4】本発明の文章自動採点システムの管理者設定画面例
【図5A】本発明の実施例２の予想解答パターン例
【図5B】本発明の実施例２の学習者に示される画面例
【図5C】本発明の実施例２の採点者に示される画面例
【図6A】本発明の実施例３の予想解答パターン例
【図6B】本発明の実施例３の学習者に示される画面例
【図6C】本発明の実施例４の学習者に示される画面例
【図7A】本発明の実施例５の予想解答パターン例
【図7B】本発明の実施例５の学習者に示される画面例
【発明を実施するための形態】
【0018】
本願発明は、作者の意図する点の要約や語彙の説明等の文章問題すなわち問に対して文章で解答する問題についての採点をできるだけ自動化し、解答後瞬時に評価結果を受験者側にも教師側にも目に見える形として、場合によっては表示内容に差異を設けて示し、採点の効率化と精度を上げることを目的としている。
【0019】
その目的のため、本発明は解答がどのような構成になっているか研究した結果、解答として提出された文章には正答のカテゴリー以外には誤答のカテゴリーとして以下の3つのカテゴリーがあることが判明した（図２）。1つは文の前提（主語あるいは理由部分）と術語部分について、正答に比べ術語が逆の結論となっている例でありこれを結論逆、前提部分が逆となっている場合を前提逆、両方逆となっている場合を二重否定、全く解答として趣旨が外れているものを論外と称し、４パターンが認められた。これらについては、使用文言の近似性からは一次的に高い近似性がはじき出されるが、正答とはできない場合の３パターンについて、ＡＩに学習データを与え、それらのカテゴリーについて近似性を分析することにより、実際の解答について正誤の自動判定を可能とするものである。
なお二重否定についてはわずかに正答の場合があること（例えば高度と気温の関係について説明せよ 高度が高くなれば気温が低くなるなど前提と結論の関係を尋ねるような問題 と 論理学の対偶の場合）がわかっており、ほとんどの場合誤答であるため、誤答に含めることとしている。
なお二重否定についてはわずかに正答の場合があること（例えば高度と気温の関係について説明せよ 高度が高くなれば気温が低くなるなど前提と結論の関係を尋ねるような問題 と 論理学の対偶の場合）がわかっており、ほとんどの場合誤答であるため、誤答に含めることとしている。
【0020】
なおここで、追加誤答とは、いずれの4パターンにも属しないが、使用言語としては、きわめて正答に近いが正答ではないパターンを意味している。実施例３で示すように、目的語があってそれが回答として必須のような場合や前提や結論に言語要素が複数存在し、一方が逆でも他方が肯定となっているような場合には、純粋に前提が逆 結論が逆と決定できないような場合が含まれるといえる（例えば実施例３にあるように「私はそれをすることが嫌いだ。どんなにがんばっても私はそれができなかった。」というように、「それ（を）」「それ（が）」の指示語が2回でてくる すると解答として「それを」を求める場合、単純に必須キーワードで処理することはできず、追加誤答のパターンが必要となる。他には前半あるいは後半に言語要素が複数ある場合 例えば「「長い」文章を「短く」」というような解答を求める場合、単純に「短く」を誤答とするだけではなく、「「長い」を「長く」」あるいは「「短い」を「長く」」なども誤答としなければならない。
【0021】
システム全体の判定順は図３に示すように、解答に対してＡＩによる文意の判断を行いその後、必須キーワード判定、誤字脱字判定、入力文字数判断をおこなって、基準点以上では正答あるいは基準点以外にキーワード等の追加要素によってそれを満たさなければ不正解とするかあるいは減点とするかなど以下に述べる設定で細かく設定可能である。
【実施例1】
【0022】
本発明の1実施例（システム全体構成）を図１－４を用いて説明する。
本システム全体概略図を図１のシステム構成図として示す。１はシステム全体を示し、２は学習者 ３は出題者や採点者 ４は本発明のメインシステム構成、５は既存の学習システム等を示す。メインシステムは５の既存の管理システムに連携が可能となっている。メインシステム４内は問題・解答などを保存するデータベース（６）とＡＩソフト（７）と解答者の解答を受けてＡＩ判定を行い判定結果を解答者に送信表示するアプリケーション（８）とそのアプリケーションから詳細な判定結果を受け、採点者３に詳細な表示を送信するユーティリティ（９）とから構成される。
まず事前準備として、設定者側で設定画面図４において、模範解答（４１）や文字数制限（４２）について最小文字数（４２a）、最大文字数（４２ｂ）への入力で文字制限が設定できるとともに、制限が守られない場合に減点とするのか×とする（必須へのチェック）のかも選択可能である。
またキーワード（４３）については、キーワードの文字決定とその入力と該キーワードが記載されていない場合に減点するか記載されていないことのみで×とするか（必須）（４３ａ）を選択でき、減点を選択する場合には何点減点するかの点数を決定して入力する（４３ｂ）と減点を選択したこととなる。このキーワードは，複数指定が可能で、複数を区切って入力すればすべてのキーワードを判定するようにされている。たとえば漢字とひらかなの違いや同義語などである。これらの設定がシステムに保存され、使用にあたってはその設定に沿って判定結果が表示される。
次に、上記の模範解答を基準として、図６Ａに示すような正答、誤答（結論逆、前提逆、追加誤答、論外などの解答例を作成してデータベース６に記憶させる。
本システム全体概略図を図１のシステム構成図として示す。１はシステム全体を示し、２は学習者 ３は出題者や採点者 ４は本発明のメインシステム構成、５は既存の学習システム等を示す。メインシステムは５の既存の管理システムに連携が可能となっている。メインシステム４内は問題・解答などを保存するデータベース（６）とＡＩソフト（７）と解答者の解答を受けてＡＩ判定を行い判定結果を解答者に送信表示するアプリケーション（８）とそのアプリケーションから詳細な判定結果を受け、採点者３に詳細な表示を送信するユーティリティ（９）とから構成される。
まず事前準備として、設定者側で設定画面図４において、模範解答（４１）や文字数制限（４２）について最小文字数（４２a）、最大文字数（４２ｂ）への入力で文字制限が設定できるとともに、制限が守られない場合に減点とするのか×とする（必須へのチェック）のかも選択可能である。
またキーワード（４３）については、キーワードの文字決定とその入力と該キーワードが記載されていない場合に減点するか記載されていないことのみで×とするか（必須）（４３ａ）を選択でき、減点を選択する場合には何点減点するかの点数を決定して入力する（４３ｂ）と減点を選択したこととなる。このキーワードは，複数指定が可能で、複数を区切って入力すればすべてのキーワードを判定するようにされている。たとえば漢字とひらかなの違いや同義語などである。これらの設定がシステムに保存され、使用にあたってはその設定に沿って判定結果が表示される。
次に、上記の模範解答を基準として、図６Ａに示すような正答、誤答（結論逆、前提逆、追加誤答、論外などの解答例を作成してデータベース６に記憶させる。
【0023】
たとえば第1問が「因果応報について説明せよ」であったとすると、この解答についてパターン１として、想定される代表的解答パターン例（図６Ａ）を予めの図１の３の出題者や採点者、場合によっては外部委託機関が正答 結論逆 前提逆 追加誤答 論外の４あるいは５パターンについて解答誤答例を作成する。
ＡＩの近似判断を間違いのないものにするためには、ＡＩ関係者は1問あたり１０００のパターンの記憶作業が必要と言われている。しかしこの学習データの工夫により、記述式の採点が可能となったため、準備すべき問題数は記述式が設けられない場合は100問程度作成しないと学力が判定できなかったものが、本発明方法の採用で問題数は８０問場合によっては６０問でも学力採点の精度を上げることができる。その理由について図２を用いて説明する。
ＡＩの近似判断を間違いのないものにするためには、ＡＩ関係者は1問あたり１０００のパターンの記憶作業が必要と言われている。しかしこの学習データの工夫により、記述式の採点が可能となったため、準備すべき問題数は記述式が設けられない場合は100問程度作成しないと学力が判定できなかったものが、本発明方法の採用で問題数は８０問場合によっては６０問でも学力採点の精度を上げることができる。その理由について図２を用いて説明する。
【0024】
図２において、模範解答を（３０）、解答をＡＩの機械的１次的に正答とみなせる範囲を（３１）とする。用語が同一であったり、前後の用語の順が同じであったりすると結論逆であっても近似性は高くなり、この正答と看做せる範囲に入ることになるが、真の解答としては結論が逆（３２）で誤答となる。
同様に前提(理由)逆（３３）の場合は前半と後半のつながりが正答とは認められないため、間違いとなる。二重否定の場合には、厳密には対偶が正解（３４ａ）となるため、語順を変えず、否定を行うと正答の場合と不正答の場合が混在し、厳密な意味での正答とはいえないため（３４ｂ）、これも例外として扱う必要がある。本発明の基本的考え方はＡＩによる１次的な近似判定にさらに、結論逆 前提逆 場合によっては追加誤答（３６）を除外する判定を行うことでより精度の高い判定が可能となる。さらに、言語的にも近似性が全くないような場合やポイントが大きく外れているような場合は論外（３５）という判定をも設けることでより精度をあげる工夫をしている。機械学習のデータをこのような構成としていることによりＡＩによる学習データがより少ないものでも文章問題の解答判定が可能となることと関係していると思われる。
同様に前提(理由)逆（３３）の場合は前半と後半のつながりが正答とは認められないため、間違いとなる。二重否定の場合には、厳密には対偶が正解（３４ａ）となるため、語順を変えず、否定を行うと正答の場合と不正答の場合が混在し、厳密な意味での正答とはいえないため（３４ｂ）、これも例外として扱う必要がある。本発明の基本的考え方はＡＩによる１次的な近似判定にさらに、結論逆 前提逆 場合によっては追加誤答（３６）を除外する判定を行うことでより精度の高い判定が可能となる。さらに、言語的にも近似性が全くないような場合やポイントが大きく外れているような場合は論外（３５）という判定をも設けることでより精度をあげる工夫をしている。機械学習のデータをこのような構成としていることによりＡＩによる学習データがより少ないものでも文章問題の解答判定が可能となることと関係していると思われる。
【0025】
この正答とみなせる範囲の円が大きい問題は難易度が低く、小さければ小さいほど難易度は高くなる。
その意味で、機械学習させるデータをどの程度までのものとするかで、問題の難易を調整することが可能となる。
その意味で、機械学習させるデータをどの程度までのものとするかで、問題の難易を調整することが可能となる。
【0026】
ＡＩによってまず言語同一あるいは近似のものが正答に近いものとして認識されＡＩは高得点すなわち、類似と判断してしまう。それは日本語においては「ＡはＢである」と「ＡはＢでない」とは「Ａ」も「Ｂ」も含まれ、しかも順序も同じであり、さらに「Ａ」と「Ｂ」を繋ぐ助詞も「は」で同じであるためである。しかし「ある」と「ない」とでは結論が全くの逆であり、ＡＩが類似として判定したものから逆を排除する必要がある。その意味で結論逆の誤答パターン例を設けることでよりＡＩの判定の精度を上げることができる。
【0027】
また前提（理由）逆については、「ＡだからＢである」との正答に対して「ＡでないからＢである」との解答は間違いとなるが「Ａ」「からＢである」部分は同じで順序も同じである。このような場合も近似と判定がでてしまうため、前提（理由）逆としてパターン化し覚えさせる必要がある。同様に二重否定の場合「ＡでないのでＢでない」というのは必ずしも真とはならない。ＢでないのはＡでないとはいえるが（対偶は真）、Ａでない場合でもＢの場合もあり、Ｂでない場合もあるからである。ここで正答に対偶を含めてもよいことは勿論である。
〈論外〉については、文字どおり、期待された文意の大枠から全く近似要素なく、説明されているものが該当する。
〈論外〉については、文字どおり、期待された文意の大枠から全く近似要素なく、説明されているものが該当する。
【0028】
なお、本発明は説明問題（作者の主張を○文字以内で書きなさい）、和訳問題、その他の例としてはエントリーシートのランキング等に適している。それは、日本語の趣旨を大きくつかむという点において、共通するためである。
そしてそれは現在まで行われてきた正答例を膨大にＡＩに与えて判定させるという手法とは異なり、ＡＩが近似と判断する場合から明らかな間違い例を排除する例を与えるという機械学習においての構造の工夫にあるからである。
上記各実施形態の記述は本発明をこれに限定するものではなく、本発明の要旨を逸脱しない範囲で種々の設計変更等が可能である。
そしてそれは現在まで行われてきた正答例を膨大にＡＩに与えて判定させるという手法とは異なり、ＡＩが近似と判断する場合から明らかな間違い例を排除する例を与えるという機械学習においての構造の工夫にあるからである。
上記各実施形態の記述は本発明をこれに限定するものではなく、本発明の要旨を逸脱しない範囲で種々の設計変更等が可能である。
【実施例2】
【0029】
以下、本願発明の第２の実施例につき説明する。本実施例は、説明問題である「因果応報の言葉の意味を書きなさい」という問いに対して用いられる機械学習のためのパターンの例及び生徒の解答ごとにどのようにパターン例から判定されて結果が示されるかを示す。
【0030】
ここでは、図５Ａに示すように正答例が１７例 結論逆が１１例 論外８例 連続文字論外３例が設けられている。そして文字数制限は設定により５０文字となっている。一般に文字数制限の８割程度で解答することが求められる（不文律）。入試や採用試験の採点にあってはそのような基準で採点されるといわれている。従って、５０文字制限で３０文字の解答の場合本発明においても文字数制限を設けた場合には、判定としては不可となるように設定可能である。しかし、本実施例では最大入力できる文字数を表しており、文字制限による減点は設けていない。
まず本実施例では説明問題であり、結論逆の解答は考えられるが、ニ重否定すなわち「原因でないものは結果と対応しない」や前提（理由）否定すなわち「原因でないことで報いを受けること」は解答としても存在の可能性は薄いため、本実施例では正答と結論逆のみのパターン例となっている。すべてのパターンを登録してもよいことはもちろんであるが、本発明方法は如何にして採点者側の労力をかけず、簡便に使用できるかという点を問題としているため、特に全問について全パターンを登録する必然性はない。
まず本実施例では説明問題であり、結論逆の解答は考えられるが、ニ重否定すなわち「原因でないものは結果と対応しない」や前提（理由）否定すなわち「原因でないことで報いを受けること」は解答としても存在の可能性は薄いため、本実施例では正答と結論逆のみのパターン例となっている。すべてのパターンを登録してもよいことはもちろんであるが、本発明方法は如何にして採点者側の労力をかけず、簡便に使用できるかという点を問題としているため、特に全問について全パターンを登録する必然性はない。
【0031】
解答例のうち（５１）と（５２）は正答確率からわかるように正答であり、判定は○となる。また（５３）と（５４）は結論が逆となっているため、誤答となり、判定は×である。さらに（５５）は論外の判定値が高く、内容的にも、「因果応報」とは全く関係がないため、論外であり判定は×となる。 このように、わずか５０足らずのパターン例の機械学習によってほぼ正確な文章回答問題の採点ができている。
【0032】
この例において学習者に示される一例としての画面は図５Ｂの通りである。
示されるものは模範解答（５６）適正度（５７）評価３項目（５８）であり、その３項目の中身は不足キーワードがあるかないか、入力文字数、文字数の過不足をプラス（文字数が多い）過不足なし（文字数の範囲内）マイナス（文字数が足りない）で一目でわかるように示している。
示されるものは模範解答（５６）適正度（５７）評価３項目（５８）であり、その３項目の中身は不足キーワードがあるかないか、入力文字数、文字数の過不足をプラス（文字数が多い）過不足なし（文字数の範囲内）マイナス（文字数が足りない）で一目でわかるように示している。
【0033】
一方採点者側には、図５Ｃに示すより詳細な結果報告を提供する。
学習者を特定するためのＩＤ（５９）、解答（６０） 紙での解答はOCR処理後のデータ）、模範解答（６１）（正答の中の1つ 設定で入れたもの）ＡＩの判定結果（正答確率 誤答確率 論外確率）（６２）を示す。
具体的には正答確率-（減点値×１０）＝その人の成績（適正度）
これが設定で決定した％以上であれば○として表示される。ここで論外確率に含めるべきではあるものの文章構造・内容が正答に近く、正答確率に明らかに影響を与えると推定できるものは追加誤答確率を設定することで排除する。
学習者を特定するためのＩＤ（５９）、解答（６０） 紙での解答はOCR処理後のデータ）、模範解答（６１）（正答の中の1つ 設定で入れたもの）ＡＩの判定結果（正答確率 誤答確率 論外確率）（６２）を示す。
具体的には正答確率-（減点値×１０）＝その人の成績（適正度）
これが設定で決定した％以上であれば○として表示される。ここで論外確率に含めるべきではあるものの文章構造・内容が正答に近く、正答確率に明らかに影響を与えると推定できるものは追加誤答確率を設定することで排除する。
【実施例3】
【0034】
以下結論逆 前提逆パターンを設ける実施例３を図６Ａに基づいて説明する。
今回は英語の和訳問題であり、複合関係副詞の「ＨＯＷＥＶＥＲ」を用いているため完全文が２つできる形での解答であり、前半の文について肯定否定の２種類、後半の文について肯定否定の２種類の解答例が想定されるため、学習データとしては結論逆パターンと前提逆パターンの２通りの誤答が想定される。従って学習データとしては両方用意している。
内容は図６Ａの通りである。
実施例２に比べ前提逆パターンが5件追加されている。
このような学習データであれば、たとえば以下のような解答があった場合「私の挑戦がどれだけ激しくなくても、私はそれができなかった」と誤答した場合、（６９）の学習データ「どれだけ一所懸命挑戦しなくても、私にはできませんでした」と対比して一致しているのが「挑戦」「なくても」「どれだけ」「私」「でき・・・た」であり、ＡＩは前提逆の誤答であると判定できる。
本実施例では解答６３～６７について 適正度がＡＩにより示されている。６３は正答の５番目と同じであり確率が高い。６４、６５は論外の８番、論外の１番目に近似しており論外確率が高い。
このような複文で解答が形成される場合には、実施例２のように結論否定だけの学習データであると、結論が肯定であれば学習データから誤答と判定できるが、結論が否定であれば、前提が間違っていても正解とＡＩが判定する可能性が否定できず、両パターンの学習データが必要となる。
今回は英語の和訳問題であり、複合関係副詞の「ＨＯＷＥＶＥＲ」を用いているため完全文が２つできる形での解答であり、前半の文について肯定否定の２種類、後半の文について肯定否定の２種類の解答例が想定されるため、学習データとしては結論逆パターンと前提逆パターンの２通りの誤答が想定される。従って学習データとしては両方用意している。
内容は図６Ａの通りである。
実施例２に比べ前提逆パターンが5件追加されている。
このような学習データであれば、たとえば以下のような解答があった場合「私の挑戦がどれだけ激しくなくても、私はそれができなかった」と誤答した場合、（６９）の学習データ「どれだけ一所懸命挑戦しなくても、私にはできませんでした」と対比して一致しているのが「挑戦」「なくても」「どれだけ」「私」「でき・・・た」であり、ＡＩは前提逆の誤答であると判定できる。
本実施例では解答６３～６７について 適正度がＡＩにより示されている。６３は正答の５番目と同じであり確率が高い。６４、６５は論外の８番、論外の１番目に近似しており論外確率が高い。
このような複文で解答が形成される場合には、実施例２のように結論否定だけの学習データであると、結論が肯定であれば学習データから誤答と判定できるが、結論が否定であれば、前提が間違っていても正解とＡＩが判定する可能性が否定できず、両パターンの学習データが必要となる。
【実施例4】
【0035】
上記４パターンに含まれない追加誤答について実施例を２つ説明する。
まず、指示語「それが」などが教師から解答として求められる場合、それを使用していない解答を除外する必要がある。実施例３においては、「それが」が回答にないと誤答確率が高くなっている 必須キーワード「頑張」又は「挑戦」又は「試」がないため３×１０＝３０％減点されている。この時、必須キーワードには「それ」が設定されていない。前半にも解答内に「それ」を含むため、必須キーワードで「それ」を設定することができない。このような場合には、図６で例示したような追加誤答パターン（用語が同じか同義語で「それが」を含まないような解答例）を設けることでＡＩは誤答であると判定可能となる。
まず、指示語「それが」などが教師から解答として求められる場合、それを使用していない解答を除外する必要がある。実施例３においては、「それが」が回答にないと誤答確率が高くなっている 必須キーワード「頑張」又は「挑戦」又は「試」がないため３×１０＝３０％減点されている。この時、必須キーワードには「それ」が設定されていない。前半にも解答内に「それ」を含むため、必須キーワードで「それ」を設定することができない。このような場合には、図６で例示したような追加誤答パターン（用語が同じか同義語で「それが」を含まないような解答例）を設けることでＡＩは誤答であると判定可能となる。
【0036】
また図６Ｃに示すように、回答内に複数の要素を含む場合、例えば「「やや長い」文章を「短くして」「言いやすいように」」というような解答を求める場合、単純に「短く」を「長く」としたものを誤答とするだけではなく、「長い」を「短く」あるいは「短く」を「長く」なども誤答としなければならない。回答の後半も「言いやすく」「短縮化」と二つの要素が含まれているため、「言い辛く」や「短縮化しない」なども誤答となる。このような場合には、追加の誤答パターンとして、「短い言葉を短くして」（７０）や「長い言葉を長くして」（７１）などのパターンを追加する必要がある。
【実施例5】
【0037】
本発明の1実施例である実施例５を図７Ａに基づいて説明する。
一般にモバイルやパソコンによる学習システムは、学生が解答を入力し、機会判定されてその結果を学生が見て再度挑戦したり次の問題に進んだりして使用する。教師側（採点者側）でこの状況を同じ画面表示を閲覧できるようにしたものが存在するが本発明では、学生へのフィードバック以上の詳細な図５Ｃに示すような分析結果を教師側（採点者側）に提供する点において特徴を有する。
一般にモバイルやパソコンによる学習システムは、学生が解答を入力し、機会判定されてその結果を学生が見て再度挑戦したり次の問題に進んだりして使用する。教師側（採点者側）でこの状況を同じ画面表示を閲覧できるようにしたものが存在するが本発明では、学生へのフィードバック以上の詳細な図５Ｃに示すような分析結果を教師側（採点者側）に提供する点において特徴を有する。
【0038】
このように採点者に詳細な判定データが送信されると、採点者としてもどうしてその生徒が間違えたのか キーワードが欠けているのか 間違いのポイントは何かなど瞬時に把握することが可能となり、直接生徒へのフィードバックもできるし、今後の指導の参考情報とすることも可能となる。解答を見て与える問題のレベルを変更したり、再度基礎的な問題の練習をさせるなど、方針変更の手がかりともなる。
【実施例6】
【0039】
本発明の1実施例である実施例６を図７Ａに基づいて説明する。
同様にして正答誤答のカテゴリーごとにパターンを作成し、データーベースに保存する。この例では正答１５例 結論逆１１例 前提逆が１０例が設定されている。
７２から７６の解答に対して、これらの学習データの入力保存によって正しく判定され、７２と７６については高い正答確率が示されている。７４は当事者と第三者が入れ替わっており、前提逆の１番目のパターン例に近似しており、前提逆確率が高い。また７５は問いと全く関係のないことが書いてあり、論外判定が高くなっています。このように、少ないパターンの学習データで文章問題の自動採点が可能となっている。
同様にして正答誤答のカテゴリーごとにパターンを作成し、データーベースに保存する。この例では正答１５例 結論逆１１例 前提逆が１０例が設定されている。
７２から７６の解答に対して、これらの学習データの入力保存によって正しく判定され、７２と７６については高い正答確率が示されている。７４は当事者と第三者が入れ替わっており、前提逆の１番目のパターン例に近似しており、前提逆確率が高い。また７５は問いと全く関係のないことが書いてあり、論外判定が高くなっています。このように、少ないパターンの学習データで文章問題の自動採点が可能となっている。
【実施例7】
【0040】
次に、本発明には論外のパターンの中に同じ文字の繰り返しを文字数を変えて記載する工夫がなされており、それを実施例７として説明する。
解答する学生の中には、でたらめの文字を打ったり、ふざけて同じ文字を続けて打ったりすることがあるが、そのような場合に、高得点が表示される問題があった。その理由としては、学習データによっては同じ文字の羅列が正答の特徴と一致する場合が出る可能性が排除しきれなかったためであり、特定キーワードが存在するだけで高得点が出ることを防ぐためにこのような工夫が必要となった。
そのため、各パターンには同じ文字の連続である論外たとえば「あああああああああああ」や「いいいい」「うううううううううううう」などが設定される。この場合数字であれ、ひらがなであれ、漢字であれ 文字であればＡＩは同じ文字としての認識を行う。字数を変化させることで、その程度つながっても論外として排除することが必要であることをＡＩに記憶させることができる。
解答する学生の中には、でたらめの文字を打ったり、ふざけて同じ文字を続けて打ったりすることがあるが、そのような場合に、高得点が表示される問題があった。その理由としては、学習データによっては同じ文字の羅列が正答の特徴と一致する場合が出る可能性が排除しきれなかったためであり、特定キーワードが存在するだけで高得点が出ることを防ぐためにこのような工夫が必要となった。
そのため、各パターンには同じ文字の連続である論外たとえば「あああああああああああ」や「いいいい」「うううううううううううう」などが設定される。この場合数字であれ、ひらがなであれ、漢字であれ 文字であればＡＩは同じ文字としての認識を行う。字数を変化させることで、その程度つながっても論外として排除することが必要であることをＡＩに記憶させることができる。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】