ホーム > 特許ランキング > 株式会社資格スクエア
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-26
(45)【発行日】2023-07-04
(54)【発明の名称】試験問題予測システム及び試験問題予測方法
(51)【国際特許分類】
G06Q 50/20 20120101AFI20230627BHJP
G06F 16/35 20190101ALI20230627BHJP
G09B 7/00 20060101ALI20230627BHJP
【ＦＩ】
G06Q50/20
G06F16/35
G09B7/00
【請求項の数】
5
(21)【出願番号】P 2021075445
(22)【出願日】2021-04-27
(62)【分割の表示】P 2019080130の分割
【原出願日】2019-04-19
(65)【公開番号】P2021106062
(43)【公開日】2021-07-26
【審査請求日】2022-03-18
(73)【特許権者】
【識別番号】522049059
【氏名又は名称】株式会社資格スクエア
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】鬼頭 政人
【審査官】久宗 義明
(56)【参考文献】
【文献】中国特許出願公開第１０９２９９２８２（ＣＮ，Ａ）
【文献】特開２０１１－１９１４５６（ＪＰ，Ａ）
【文献】再公表特許第２０１０／１１９５７１（ＪＰ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ｇ０６Ｆ １６／３５
Ｇ０９Ｂ ７／００
(57)【特許請求の範囲】
【請求項1】
試験問題を予測する処理装置を備える試験問題予測システムであって、前記処理装置は、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、前記ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎に前記カテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものであり、
前記処理装置は、文章特徴量抽出のために、機械学習の第１の学習モデルに教師データの問題文を入力して当該教師データの問題文から抽出された単語について所望のベクトルデータが得られるよう学習させ、当該学習済みの前記第１の学習モデルに前記過去の試験問題の問題文を入力して当該試験問題の問題文から抽出された単語についてベクトル化を行わせ、
前記処理装置は、文章分類のために、機械学習の第２の学習モデルに教師データのベクトルデータを用いて所望のカテゴリに分類されるよう学習させ、当該学習済みの前記第２の学習モデルを用いて前記ベクトル化されたベクトルデータから試験問題をカテゴリに分類することを特徴とする試験問題予測システム。
【請求項2】
処理装置は、過去の年毎にカテゴリに分類された試験問題の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測することを特徴とする請求項１記載の試験問題予測システム。
【請求項3】
処理装置は、文章分類のための機械学習に、再帰型ニューラルネットワークを用いることを特徴とする請求項１又は２記載の試験問題予測システム。
【請求項4】
処理装置は、予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成することを特徴とする請求項１乃至３のいずれか記載の試験問題予測システム。
【請求項5】
処理装置が試験問題を予測する試験問題予測方法であって、文章特徴量抽出のために、機械学習の第１の学習モデルに教師データの問題文を入力し、当該教師データの問題文から抽出された単語について所望のベクトルデータが得られるよう学習させ、当該学習済みの前記第１の学習モデルに過去の試験問題の問題文を入力し、当該試験問題の問題文から抽出された単語についてベクトル化を行わせ、
文章分類のために、機械学習の第２の学習モデルに教師データのベクトルデータを用いて所望のカテゴリに分類されるよう学習させ、当該学習済みの前記第２の学習モデルを用いて前記ベクトル化されたベクトルデータから試験問題をカテゴリに分類し、
前記過去の年毎に前記カテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測することを特徴とする試験問題予測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試験問題を予測するシステムに係り、特に、過去の問題の問題文をカテゴリに分類して出題のカテゴリを予測し、それに基づいて試験問題を予測する試験問題予測システム及び試験問題予測方法に関する。
【背景技術】
【0002】
［従来の技術］
従来、コンピュータを用いて試験問題を作成し、ネットワークを介して試験問題を提供するものがある。
しかしながら、過去の試験問題の問題文を分類して今年の試験問題を精度よく予測する手法は確立されていない。
従来、コンピュータを用いて試験問題を作成し、ネットワークを介して試験問題を提供するものがある。
しかしながら、過去の試験問題の問題文を分類して今年の試験問題を精度よく予測する手法は確立されていない。
【0003】
［関連技術］
尚、関連する先行技術として、特開２００７－２４８６０５号公報「試験問題作成方法、試験問題作成システム及び試験問題作成プログラム」（特許文献１）がある。
特許文献１には、試験の種別に応じた評価基準を満たす試験問題を作成できることが示されている。
尚、関連する先行技術として、特開２００７－２４８６０５号公報「試験問題作成方法、試験問題作成システム及び試験問題作成プログラム」（特許文献１）がある。
特許文献１には、試験の種別に応じた評価基準を満たす試験問題を作成できることが示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００７－２４８６０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の試験問題作成方法では、過去の試験問題の文章を、人工知能を用いて効率的に分類し、分類した内容から出題カテゴリを分析して次回の試験問題を予測するものではないため、試験問題を効率的に精度よく予測できるものとはなっていないという問題点があった。
【0006】
特に、過去の試験問題の量が膨大になると、試験問題を出題カテゴリに分類する作業が増大し、効率的に精度よく出題カテゴリに分析して次回の試験問題を予測するのが困難となっていた。
特許文献１にも、過去の問題内容から次回の出題カテゴリを予測して試験問題を作成するものとはなっていないものである。
特許文献１にも、過去の問題内容から次回の出題カテゴリを予測して試験問題を作成するものとはなっていないものである。
【0007】
本発明は上記実情に鑑みて為されたもので、過去に出題された問題文をカテゴリに分類し、分類結果から次回の出題カテゴリを予測して、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を容易に作成できる試験問題予測システム及び試験問題予測方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記従来例の問題点を解決するための本発明は、試験問題を予測する処理装置を備える試験問題予測システムであって、処理装置が、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものであり、処理装置が、文章特徴量抽出のために、機械学習の第１の学習モデルに教師データの問題文を入力して当該教師データの問題文から抽出された単語について所望のベクトルデータが得られるよう学習させ、当該学習済みの第１の学習モデルに過去の試験問題の問題文を入力して当該試験問題の問題文から抽出された単語についてベクトル化を行わせ、処理装置が、文章分類のために、機械学習の第２の学習モデルに教師データのベクトルデータを用いて所望のカテゴリに分類されるよう学習させ、当該学習済みの第２の学習モデルを用いてベクトル化されたベクトルデータから試験問題をカテゴリに分類することを特徴とする試験問題予測システム。
【0009】
本発明は、上記試験問題予測システムにおいて、処理装置が、過去の年毎にカテゴリに分類された試験問題の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測することを特徴とする。
【0010】
本発明は、上記試験問題予測システムにおいて、処理装置が、文章分類のための機械学習に、再帰型ニューラルネットワークを用いることを特徴とする。
【0011】
本発明は、上記試験問題予測システムにおいて、処理装置が、予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成することを特徴とする請求項１乃至３のいずれか記載の試験問題予測システム。
【0012】
本発明は、処理装置が試験問題を予測する試験問題予測方法であって、文章特徴量抽出のために、機械学習の第１の学習モデルに教師データの問題文を入力し、当該教師データの問題文から抽出された単語について所望のベクトルデータが得られるよう学習させ、当該学習済みの第１の学習モデルに過去の試験問題の問題文を入力し、当該試験問題の問題文から抽出された単語についてベクトル化を行わせ、文章分類のために、機械学習の第２の学習モデルに教師データのベクトルデータを用いて所望のカテゴリに分類されるよう学習させ、当該学習済みの第２の学習モデルを用いてベクトル化されたベクトルデータから試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測することを特徴とする。
【発明の効果】
【0013】
本発明によれば、処理装置が、試験問題を予測する処理装置を備える試験問題予測システムであって、処理装置が、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものであり、処理装置が、文章特徴量抽出のために、機械学習の第１の学習モデルに教師データの問題文を入力して当該教師データの問題文から抽出された単語について所望のベクトルデータが得られるよう学習させ、当該学習済みの第１の学習モデルに過去の試験問題の問題文を入力して当該試験問題の問題文から抽出された単語についてベクトル化を行わせ、処理装置が、文章分類のために、機械学習の第２の学習モデルに教師データのベクトルデータを用いて所望のカテゴリに分類されるよう学習させ、当該学習済みの第２の学習モデルを用いてベクトル化されたベクトルデータから試験問題をカテゴリに分類する試験問題予測システムとしているので、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できる効果がある。
【図面の簡単な説明】
【0014】
【図1】本システムの概略図である。
【図2】本実装エンジンの概略図である。
【図3】文章特徴量抽出エンジンの概略図である。
【図4】文章分類エンジンの概略図である。
【図5】ＲＮＮのSelf-Attention利用例を示す概略図である。
【図6】出題傾向予測エンジンの概略図である。
【図7】予測と問題作成処理の概略図である。
【図8】本装置におけるニューラルネットワークのモデルの概略図である。
【図9】年次毎のカテゴリの出題回数を示す図である。
【図10】階差データの作り方を示す図である。
【発明を実施するための形態】
【0015】
本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る試験問題予測システム（本システム）は、予測問題作成処理装置（本装置）で、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものであり、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できるものである。
［実施の形態の概要］
本発明の実施の形態に係る試験問題予測システム（本システム）は、予測問題作成処理装置（本装置）で、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものであり、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できるものである。
【0016】
更に、本システムでは、処理装置が、予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成するものであり、出題回数が適正に予測されたカテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができるものである。
【0017】
［本システム：図１］
本システムについて図１を参照しながら説明する。図１は、本システムの概略図である。
本システムは、図１に示すように、予測問題作成処理装置１と、予測問題提供サーバ２と、インターネット３と、受験者コンピュータ（ＰＣ）４とを基本的に有している。
各装置は、インターネット３を介して接続されており、受験者ＰＣ４は本来、複数台接続されるものである。
本システムについて図１を参照しながら説明する。図１は、本システムの概略図である。
本システムは、図１に示すように、予測問題作成処理装置１と、予測問題提供サーバ２と、インターネット３と、受験者コンピュータ（ＰＣ）４とを基本的に有している。
各装置は、インターネット３を介して接続されており、受験者ＰＣ４は本来、複数台接続されるものである。
【0018】
［予測問題作成処理装置１］
予測問題作成処理装置１は、過去の問題文をカテゴリに分類して出題カテゴリを分析し、次回の試験問題を予測して試験問題を作成する処理を行う。
予測問題作成処理装置１は、制御部１１と、記憶部１２と、インタフェース部１３とを備え、インタフェース部１３には、表示部１４、入力部１５が接続され、更にインターネット３に接続している。
予測問題作成処理装置１は、過去の問題文をカテゴリに分類して出題カテゴリを分析し、次回の試験問題を予測して試験問題を作成する処理を行う。
予測問題作成処理装置１は、制御部１１と、記憶部１２と、インタフェース部１３とを備え、インタフェース部１３には、表示部１４、入力部１５が接続され、更にインターネット３に接続している。
【0019】
制御部１１は、記憶部１２に記憶する処理プログラムを読み込み、後述する処理を実行する。
記憶部１２は、処理プログラムを記憶すると共に、過去の試験問題を記憶する。
表示部１４は、予測問題を作成するに必要な表示を行う。
入力部１５は、予測問題を作成するに必要な入力を行う。
記憶部１２は、処理プログラムを記憶すると共に、過去の試験問題を記憶する。
表示部１４は、予測問題を作成するに必要な表示を行う。
入力部１５は、予測問題を作成するに必要な入力を行う。
【0020】
［予測問題提供サーバ２］
予測問題提供サーバ２は、制御部と記憶部を備え、インターネット３に接続するコンピュータであり、予測問題作成処理装置１で作成された予測問題を入力して記憶し、受講者ＰＣ４に予測問題を配信する。請求項では「予測問題提供装置」としている。
図１では、予測問題作成処理装置１と予測問題提供サーバ２とをインターネット３を介して接続しているが、社内のネットワークで接続してもよい。
また、予測問題作成処理装置１と予測問題提供サーバ２とを一体の装置の構成としてもよい。
予測問題提供サーバ２は、制御部と記憶部を備え、インターネット３に接続するコンピュータであり、予測問題作成処理装置１で作成された予測問題を入力して記憶し、受講者ＰＣ４に予測問題を配信する。請求項では「予測問題提供装置」としている。
図１では、予測問題作成処理装置１と予測問題提供サーバ２とをインターネット３を介して接続しているが、社内のネットワークで接続してもよい。
また、予測問題作成処理装置１と予測問題提供サーバ２とを一体の装置の構成としてもよい。
【0021】
［受験者ＰＣ４］
受験者ＰＣ４は、インターネット３を介して予測問題提供サーバ２にアクセスし、提供される予測問題を受け取ることができるコンピュータである。請求項では「受験者装置」としており、コンピュータに限らずタブレット端末、スマートフォン等の端末装置であってもよい。
受験者ＰＣ４は、インターネット３を介して予測問題提供サーバ２にアクセスし、提供される予測問題を受け取ることができるコンピュータである。請求項では「受験者装置」としており、コンピュータに限らずタブレット端末、スマートフォン等の端末装置であってもよい。
【0022】
また、受験者ＰＣ４は、提供された予測問題に解答した場合に、解答データを予測問題提供サーバ２に送信するようにしてもよい。その場合、予測問題提供サーバ２が受験者の解答データを採点して、合格のためのアドバイスを行ったり、弱点について実力に応じた講義を受講するよう促したりするものである。
【0023】
［本実装エンジン：図２］
次に、予測問題作成処理装置１で動作するプログラム（ソフトウェア）で実現される実装エンジン（本実装エンジン）について図２を参照しながら説明する。図２は、本実装エンジンの概略図である。
本実装エンジン１０は、図２に示すように、試験文章分類エンジン１００と、出題傾向予測エンジン２００とを備えている。
試験文章分類エンジン１００は、文章特徴量抽出エンジンと文章分類エンジンを備えている。
次に、予測問題作成処理装置１で動作するプログラム（ソフトウェア）で実現される実装エンジン（本実装エンジン）について図２を参照しながら説明する。図２は、本実装エンジンの概略図である。
本実装エンジン１０は、図２に示すように、試験文章分類エンジン１００と、出題傾向予測エンジン２００とを備えている。
試験文章分類エンジン１００は、文章特徴量抽出エンジンと文章分類エンジンを備えている。
【0024】
試験文章分類エンジン１００の文章特徴量抽出エンジンは、問題文の文章を大量に読み込み、文章のベクトル化を行うＡＩ（Artificial Intelligence）の深層学習（Deep Learning）の学習済みモデルを習得しており、入力された問題から単語を抽出し、当該単語に対するベクトルデータを出力する。
【0025】
試験文章分類エンジン１００の文章分類エンジンは、そのベクトルデータに基づき別の学習済みモデルを用いて当該試験問題（問題文）のカテゴリを分類する。
出題傾向予測エンジン２００は、過去のカテゴリ別の出題数の推移や直近の出題の推移や直近の出題数から次回のカテゴリ毎の出題数を予測する。
以下、各エンジンについて具体的に説明する。
出題傾向予測エンジン２００は、過去のカテゴリ別の出題数の推移や直近の出題の推移や直近の出題数から次回のカテゴリ毎の出題数を予測する。
以下、各エンジンについて具体的に説明する。
【0026】
［文章特徴量抽出エンジン：図３］
次に、文章特徴量抽出エンジンについて図３を参照しながら説明する。図３は、文章特徴量抽出エンジンの概略図である。
文章特徴量抽出エンジンは、図３に示すように、試験問題、例えば司法試験の選択肢等の文章データ（テキストデータ）を学習済みモデル１１０に読み込み、文章からキーワードの単語を抽出し、分類が容易なベクトルデータに変換する。
次に、文章特徴量抽出エンジンについて図３を参照しながら説明する。図３は、文章特徴量抽出エンジンの概略図である。
文章特徴量抽出エンジンは、図３に示すように、試験問題、例えば司法試験の選択肢等の文章データ（テキストデータ）を学習済みモデル１１０に読み込み、文章からキーワードの単語を抽出し、分類が容易なベクトルデータに変換する。
【0027】
ベクトルデータとは、試験問題の文章データから抽出した単語、例えば「今日」「罰金」「申請」等に、カテゴリ分類のキーとなるベクトルｖ１，ｖ２，ｖ３，…の要素（向き）に当該要素への関連性の数値（大きさ）で示されるものである。
ここで、文章データから単語を抽出するのは、形態素解析を用いる。形態素解析は、品詞を分解して、不要な語句を削除することで、重要な単語を抽出する。
ここで、文章データから単語を抽出するのは、形態素解析を用いる。形態素解析は、品詞を分解して、不要な語句を削除することで、重要な単語を抽出する。
【0028】
学習済みモデル１１０は、教師データの問題文を大量に入力し、抽出した特定の単語についてベクトルｖ１，ｖ２，ｖ３…の要素に最適な数値となるよう学習している。
学習済みモデル１１０で学習させる教師データは、第１に、問題文のみと分類ラベルのデータ、第２に、問題文と選択肢と問題の正解のデータ、第３に、書籍のテキストデータを用いる。
学習済みモデル１１０で学習させる教師データは、第１に、問題文のみと分類ラベルのデータ、第２に、問題文と選択肢と問題の正解のデータ、第３に、書籍のテキストデータを用いる。
【0029】
具体的には、ベクトルｖ１をカテゴリａに関係する「平和」の要素、ベクトルｖ２をカテゴリｂに関係する「懲役」の要素、ベクトルｖ３をカテゴリｃに関係する「法人」の要素とする。
そして、文章特徴量抽出エンジンの学習済みモデル１１０は、入力した問題文から単語「今日」「懲役」「法人」を抽出したとすると、カテゴリ分類が容易となるよう、それら単語にベクトルデータに落とし込む変換処理を行う。
そして、文章特徴量抽出エンジンの学習済みモデル１１０は、入力した問題文から単語「今日」「懲役」「法人」を抽出したとすると、カテゴリ分類が容易となるよう、それら単語にベクトルデータに落とし込む変換処理を行う。
【0030】
例えば、単語「今日」は、ｖ１が「０．８」、ｖ２が「０」、ｖ３が「０．１」の数値が付与され、単語「罰金」は、ｖ１が「０」、ｖ２が「０．５」、ｖ３が「０．３」の数値が付与され、単語「申請」は、ｖ１が「０．０５」、ｖ２が「０」、ｖ３が「０．７２」の確数値が付与される。
尚、問題文が異なれば、同じ単語「今日」が抽出された場合、ベクトルの数値が同じになるとは限らない。
また、入力される問題の文章は毎回異なるので、抽出される単語も毎回異なるものとなる。
尚、問題文が異なれば、同じ単語「今日」が抽出された場合、ベクトルの数値が同じになるとは限らない。
また、入力される問題の文章は毎回異なるので、抽出される単語も毎回異なるものとなる。
【0031】
ベクトルは、試験問題の文章をカテゴリ分類するために設定される重要なファクタであり、文章の単語に対するベクトルの要素に対する数値が高いということは、そのベクトルに対応するカテゴリへの関連性が高いことを示している。
【0032】
そして、入力された文章の単語全体とベクトルの関連性、つまり、ベクトルの縦方向の数値全体が単語全体とベクトルとの関連性を示すものとなる。これは、入力される文章のベクトル毎に特徴量を抽出するものである。
【0033】
ベクトルの要素の単語に対する数値が、単語の特徴量（特徴ベクトル）を表し、単語を特徴ベクトル化するものである。
文章特徴量抽出エンジンの学習済みモデル１１０では、単語を１つ入力したときに前後に出てくる単語を予測させるタスクを学習させ中間層を獲得し、学習後の中間層を単語特徴ベクトルとして使用して算出するようにしてもよい。
つまり、入力単語について、中間層を利用して単語の前又は後に出てくる単語の予測確率を利用してベクトルの数値を求めてもよい。
文章特徴量抽出エンジンの学習済みモデル１１０では、単語を１つ入力したときに前後に出てくる単語を予測させるタスクを学習させ中間層を獲得し、学習後の中間層を単語特徴ベクトルとして使用して算出するようにしてもよい。
つまり、入力単語について、中間層を利用して単語の前又は後に出てくる単語の予測確率を利用してベクトルの数値を求めてもよい。
【0034】
［文章分類エンジン：図４］
次に、文章分類エンジンについて図４を参照しながら説明する。図４は、文章分類エンジンの概略図である。
文章分類エンジンは、図４に示すように、図３の学習済みモデル１１０から出力されたベクトルデータをまず教師データとして学習済みモデル１２０に大量に入力し、所望のカテゴリに分類されるよう学習させる。
次に、文章分類エンジンについて図４を参照しながら説明する。図４は、文章分類エンジンの概略図である。
文章分類エンジンは、図４に示すように、図３の学習済みモデル１１０から出力されたベクトルデータをまず教師データとして学習済みモデル１２０に大量に入力し、所望のカテゴリに分類されるよう学習させる。
【0035】
そして、図３の文章特徴量抽出エンジンで教師データではない問題文について変換処理を行って得られたベクトルデータを、図４の文章分類エンジンの学習済みモデル１２０に入力して、カテゴリに分類する。
図４では、司法試験を想定しているので、分類されたカテゴリは「民法 第８編 親族 第２章 家族」となり、「章」が中カテゴリで、「節」が小カテゴリで、中カテゴリまでの分類であってもよく、小カテゴリまでの分類であってもよい。
図４では、司法試験を想定しているので、分類されたカテゴリは「民法 第８編 親族 第２章 家族」となり、「章」が中カテゴリで、「節」が小カテゴリで、中カテゴリまでの分類であってもよく、小カテゴリまでの分類であってもよい。
【0036】
［ＲＮＮの利用例：図５］
文章分類エンジンにおいて、再帰的ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を用い、前から順番に計算することで、系列データの前後関係を学習している。
ここで、過去から未来の方向だけでなく、未来から過去の方向への双方向に情報伝搬を行って未来の情報を予測する「Bidirectional」のモデルで、入力毎にユニット自体の重要性（重み）を使い分ける「Self-Attention」の利用例を図５に紹介する。図５は、ＲＮＮのSelf-Attention利用例を示す概略図である。
文章分類エンジンにおいて、再帰的ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を用い、前から順番に計算することで、系列データの前後関係を学習している。
ここで、過去から未来の方向だけでなく、未来から過去の方向への双方向に情報伝搬を行って未来の情報を予測する「Bidirectional」のモデルで、入力毎にユニット自体の重要性（重み）を使い分ける「Self-Attention」の利用例を図５に紹介する。図５は、ＲＮＮのSelf-Attention利用例を示す概略図である。
【0037】
図５に示すように、複数のユニット（メモリ）１２１～１２６において、学習した単語に対してどのユニットが重要であるかを計算するが、その際に入力と同じ情報を用いている。
図５において、ユニット１２１，１２３，１２５がユニット１２２，１２４，１２６より重みがあり、また、ユニット１２６は、ユニット１２２，１２４より重みがあることを示している。
この図５の例は、文章分類エンジンで用いられる学習モデルであり、関連性の高い単語同士（例えば「懲役」と「年」など）のみを注視できるので、言語処理に優れている。
図５において、ユニット１２１，１２３，１２５がユニット１２２，１２４，１２６より重みがあり、また、ユニット１２６は、ユニット１２２，１２４より重みがあることを示している。
この図５の例は、文章分類エンジンで用いられる学習モデルであり、関連性の高い単語同士（例えば「懲役」と「年」など）のみを注視できるので、言語処理に優れている。
【0038】
［出題傾向予測エンジン：図６］
次に、予測問題作成処理装置１に実装される出題傾向予測エンジンについて図６を参照しながら説明する。図６は、出題傾向予測エンジンの概略図である。
試験文章分類エンジン１００で過去の年度毎、カテゴリ毎に分類された出題件数（数値データ）を学習済みモデル２１０に入力して、次の年のカテゴリ毎の出題件数（数値データ）を予測する。
学習済みモデル２１０には、重回帰、ＬＳＴＭ（Long Short-Term Memory network：長・短期記憶）等のモデルが用いられる。
尚、出題傾向予測及び問題作成の詳細は、以下に説明する。
次に、予測問題作成処理装置１に実装される出題傾向予測エンジンについて図６を参照しながら説明する。図６は、出題傾向予測エンジンの概略図である。
試験文章分類エンジン１００で過去の年度毎、カテゴリ毎に分類された出題件数（数値データ）を学習済みモデル２１０に入力して、次の年のカテゴリ毎の出題件数（数値データ）を予測する。
学習済みモデル２１０には、重回帰、ＬＳＴＭ（Long Short-Term Memory network：長・短期記憶）等のモデルが用いられる。
尚、出題傾向予測及び問題作成の詳細は、以下に説明する。
【0039】
［予測と問題作成の処理：図７］
本装置における予測問題作成の処理（本処理）について図７を参照しながら説明する。図７は、予測と問題作成の処理の概略図である。
本処理は、図７に示すように、過去の特定期間（前回試験から連続して遡った期間）の試験問題を読み込んで、それら試験問題について内容に応じて予め定められた小カテゴリ（単に「カテゴリ」と称することがある）に分類したデータを基に次回試験の小カテゴリを予測する小カテゴリ予測ステップと、その小カテゴリ予測結果を用いて予測問題の作成を行う問題作成ステップとを有している。
本装置における予測問題作成の処理（本処理）について図７を参照しながら説明する。図７は、予測と問題作成の処理の概略図である。
本処理は、図７に示すように、過去の特定期間（前回試験から連続して遡った期間）の試験問題を読み込んで、それら試験問題について内容に応じて予め定められた小カテゴリ（単に「カテゴリ」と称することがある）に分類したデータを基に次回試験の小カテゴリを予測する小カテゴリ予測ステップと、その小カテゴリ予測結果を用いて予測問題の作成を行う問題作成ステップとを有している。
【0040】
尚、小カテゴリとは、問題の内容に応じて予め分野を分類したものであり、小カテゴリへの分類作業は、人手によって為されている。
また、小カテゴリに分類されたデータとは、カテゴリ毎の出題回数（出題件数）であり、例えば、カテゴリ１について出願回数２回、カテゴリ２について出題回数３回というものになる。
また、小カテゴリに分類されたデータとは、カテゴリ毎の出題回数（出題件数）であり、例えば、カテゴリ１について出願回数２回、カテゴリ２について出題回数３回というものになる。
【0041】
図７の例では、既に分類された試験問題からカテゴリの予測を行って予測問題を作成するものであり、図２～５で説明したのは、カテゴリに分類されていない問題文からカテゴリ分類するものである。
従って、分類されていない問題文については、図２～５でカテゴリ分類し、図６以降の予測プログラムによる処理でカテゴリ予測を行い、予測問題を作成することになる。
従って、分類されていない問題文については、図２～５でカテゴリ分類し、図６以降の予測プログラムによる処理でカテゴリ予測を行い、予測問題を作成することになる。
【0042】
本処理の小カテゴリ予測ステップと問題作成ステップについて具体的に説明する。
［小カテゴリ予測ステップ］
本装置の制御部１１は、記憶部１２から処理プログラムを読み込んで、小カテゴリ予測ステップを実行するものであり、外部から過去の特定期間の試験問題（過去問）をＣＳＶ（Comma Separated Values）形式で入力し、試験毎に小カテゴリ毎の出題回数を集計し（ここまでの処理を試験文章分類エンジン１００で行ってもよい）、その小カテゴリ毎の出題回数を基に予測プログラムを実行して小カテゴリ予測結果を出力する。この小カテゴリ予測結果は、次回の試験問題の小カテゴリ毎の予測出題回数である。
［小カテゴリ予測ステップ］
本装置の制御部１１は、記憶部１２から処理プログラムを読み込んで、小カテゴリ予測ステップを実行するものであり、外部から過去の特定期間の試験問題（過去問）をＣＳＶ（Comma Separated Values）形式で入力し、試験毎に小カテゴリ毎の出題回数を集計し（ここまでの処理を試験文章分類エンジン１００で行ってもよい）、その小カテゴリ毎の出題回数を基に予測プログラムを実行して小カテゴリ予測結果を出力する。この小カテゴリ予測結果は、次回の試験問題の小カテゴリ毎の予測出題回数である。
【0043】
ここで、予測プログラムとして時系列データを扱える再帰型のニューラルネットワーク（ＲＮＮ）を用いたＡＩプログラムとなっており、中間層（隠れ層）のユニットをＬＳＴＭブロックに置き換えたものとなっている。ＲＮＮは、時系列情報と過去のデータを学習するのに適している。
尚、試験問題が複数科目から構成されている場合は、科目毎の出題数が決まっているので、その分類はルールベースで行う。
尚、試験問題が複数科目から構成されている場合は、科目毎の出題数が決まっているので、その分類はルールベースで行う。
【0044】
［問題作成ステップ］
本装置の制御部１１は、記憶部１２から処理プログラムを読み込んで、問題作成ステップを実行するものであり、小カテゴリ予測ステップで得られた小カテゴリ予測結果（小カテゴリ毎の予測出題回数）を入力し、問題作成プログラムを実行して過去問からランダムに問題を抽出して出題予測結果を出力する。
つまり、小カテゴリ毎の予測出題回数に従って、当該小カテゴリに対応する過去問の中からランダムに問題を抽出して全体としての予測問題を作成する。
本装置の制御部１１は、記憶部１２から処理プログラムを読み込んで、問題作成ステップを実行するものであり、小カテゴリ予測ステップで得られた小カテゴリ予測結果（小カテゴリ毎の予測出題回数）を入力し、問題作成プログラムを実行して過去問からランダムに問題を抽出して出題予測結果を出力する。
つまり、小カテゴリ毎の予測出題回数に従って、当該小カテゴリに対応する過去問の中からランダムに問題を抽出して全体としての予測問題を作成する。
【0045】
本問題作成ステップでは、過去問をランダムに抽出するようにしているが、前回、前々回に出題された問題が選ばれにくいように抽出の際に、重み付けを行って選択してもよい。
また、過去問について、過去問そのものではなく、問題内容を少し変更したものを作成しておき、それらを含めて抽出するようにしてもよい。
また、過去問について、過去問そのものではなく、問題内容を少し変更したものを作成しておき、それらを含めて抽出するようにしてもよい。
【0046】
［ニューラルネットワークのモデル：図８］
次に、本装置で使用されるニューラルネットワークのモデルについて図８を参照しながら説明する。図８は、本装置におけるニューラルネットワークのモデルの概略図である。
本装置におけるニューラルネットワークは、図８に示すように、入力層１１１に入力データｘが入力され、それが中間層のＬＳＴＭレイヤー１１２，１１３を介して、全結合レイヤー１１４に入力されて全結合がなされ、それが出力層１１５に予測値として出力データｙが出力される。
次に、本装置で使用されるニューラルネットワークのモデルについて図８を参照しながら説明する。図８は、本装置におけるニューラルネットワークのモデルの概略図である。
本装置におけるニューラルネットワークは、図８に示すように、入力層１１１に入力データｘが入力され、それが中間層のＬＳＴＭレイヤー１１２，１１３を介して、全結合レイヤー１１４に入力されて全結合がなされ、それが出力層１１５に予測値として出力データｙが出力される。
【0047】
中間層のＬＳＴＭレイヤー１１２，１１３は、時系列情報を一定の時間窓の期間メモリユニットで保持し、時間窓内の情報について学習を行う。
ＬＳＴＭレイヤーは、ＲＮＮの短期間の記憶しか実現できないという限界を緩和するもので、メモリユニットには、入力層から入力されるものもあり、中間層からの出力を帰還させるものもあり、時系列情報の長期の記憶を可能としている。
図８のモデルを本装置が使用することで、小カテゴリの予測結果の精度を向上させることができるものである。
ＬＳＴＭレイヤーは、ＲＮＮの短期間の記憶しか実現できないという限界を緩和するもので、メモリユニットには、入力層から入力されるものもあり、中間層からの出力を帰還させるものもあり、時系列情報の長期の記憶を可能としている。
図８のモデルを本装置が使用することで、小カテゴリの予測結果の精度を向上させることができるものである。
【0048】
［年次毎のカテゴリの出題回数：図９］
次に、年次毎のカテゴリ（小カテゴリ）の出題回数について図９を参照しながら説明する。図９は、年次毎のカテゴリの出題回数を示す図である。
年次毎の出題回数は、図９に示すように、例えば、９３のカテゴリに分類されており、平成１年（Ｈ１）から平成２９年（Ｈ２９）までの各年のカテゴリ毎の出題回数が得られる。
次に、年次毎のカテゴリ（小カテゴリ）の出題回数について図９を参照しながら説明する。図９は、年次毎のカテゴリの出題回数を示す図である。
年次毎の出題回数は、図９に示すように、例えば、９３のカテゴリに分類されており、平成１年（Ｈ１）から平成２９年（Ｈ２９）までの各年のカテゴリ毎の出題回数が得られる。
【0049】
尚、カテゴリ番号Ｉについてカテゴリの出題回数は、ｎijで表され、ｉはカテゴリの番号を示し、ｊは年次を表している。
以下に説明する階差データの作り方では、カテゴリ毎（カテゴリ番号毎）にＨ１～Ｈ２９の図９の行データを用いている。例えば、カテゴリ番号２では、ｎ21，ｎ22，ｎ23，…の行データを単位として用いている。
以下に説明する階差データの作り方では、カテゴリ毎（カテゴリ番号毎）にＨ１～Ｈ２９の図９の行データを用いている。例えば、カテゴリ番号２では、ｎ21，ｎ22，ｎ23，…の行データを単位として用いている。
【0050】
［階差データの作り方：図１０］
次に、階差データの作り方について図１０を参照しながら説明する。図１０は、階差データの作り方を示す図である。
過去問の小カテゴリ毎の出題回数を単純にＡＩプログラムに入力するだけでは、精度のよい小カテゴリ予測結果を得るのに十分ではないため、以下に説明する階差データを作成し、その階差データから得られる行列の数値をＡＩプログラムに入力して予測精度を向上させている。
次に、階差データの作り方について図１０を参照しながら説明する。図１０は、階差データの作り方を示す図である。
過去問の小カテゴリ毎の出題回数を単純にＡＩプログラムに入力するだけでは、精度のよい小カテゴリ予測結果を得るのに十分ではないため、以下に説明する階差データを作成し、その階差データから得られる行列の数値をＡＩプログラムに入力して予測精度を向上させている。
【0051】
図１０に示すように、年度Ｈ１～Ｈ２９について、（１）～（２９）が元の時系列データである。例えば、図９で示したカテゴリ番号２についてのｎ21，ｎ22，ｎ23，…の行のデータが時系列データに該当する。
尚、丸括弧で表される数値は、実際の試験での出題回数であり、角括弧で表される数値は予測値である。
尚、丸括弧で表される数値は、実際の試験での出題回数であり、角括弧で表される数値は予測値である。
【0052】
そして、その時系列データを１年分左にシフトさせた配列をその下に配置し、それを繰り返し行って複数段の配列を生成し、例えば、１３段の配列の階差データを生成する。
更に、Ｈ１の縦方向の列のデータ（１）～（１３）の値からＨ１４のこのカテゴリの出題回数の数値［１４］を予測する。
更に、Ｈ１の縦方向の列のデータ（１）～（１３）の値からＨ１４のこのカテゴリの出題回数の数値［１４］を予測する。
【0053】
更に、Ｈ１の縦方向の列のデータとＨ２の縦方向の列のデータ（２）～（１４）の値からＨ１５の予測値［１５］を得る。これは、１３行×２列の行列の値を入力データとして予測値を得るものである。
同様に、Ｈ１～Ｈ１３の１３行×１４列の行列の値を入力データとしてＨ２６の予測値［２６］を得る。
同様に、Ｈ１～Ｈ１３の１３行×１４列の行列の値を入力データとしてＨ２６の予測値［２６］を得る。
【0054】
本装置では、時系列データを１４年分使用することにしており、Ｈ３０の予測値を得るのに、Ｈ４～Ｈ１７の１３行×１４列の行列の値を入力データとして小カテゴリ予測ステップのＡＩプログラムに入力して予測値［３０］を得る。
【0055】
尚、小カテゴリは、９３個あるので、９３個分並べて（９３，１４，１３）の配列をＡＩプログラムに入力して、全ての小カテゴリについて小カテゴリ予測結果を得ることになる。
このようにして得られた小カテゴリ予測結果は、精度が高く、問題作成ステップでの問題作成でも予測精度を向上させることができる。
このようにして得られた小カテゴリ予測結果は、精度が高く、問題作成ステップでの問題作成でも予測精度を向上させることができる。
【0056】
［予測問題提供サーバ２の処理］
次に、本システムの予測問題提供サーバ２での処理を説明する。
予測問題提供サーバ２は、予測問題作成処理装置１で作成された予測問題データを予測問題作成処理装置１からアップロードされて、記憶部に記憶し、その予測問題データを受験者ＰＣ４からのアクセスにより提供する。
次に、本システムの予測問題提供サーバ２での処理を説明する。
予測問題提供サーバ２は、予測問題作成処理装置１で作成された予測問題データを予測問題作成処理装置１からアップロードされて、記憶部に記憶し、その予測問題データを受験者ＰＣ４からのアクセスにより提供する。
【0057】
予測問題提供サーバ２は、受験者ＰＣ４から予測問題に対する解答データを受け取り、採点を行い、採点結果を受験者ＰＣ４に通知してもよい。
また、採点結果を単に通知するだけでなく、予測問題の全解答者の解答内容の分析結果を提供したり、受験者個人の弱点を指摘し、合格のための有効な学習方法をアドバイスとして提供するようにしてもよい。当該アドバイスには、勉強に参考となるオンラインの講義を紹介してその講義に呼び込むことも含まれる。
また、採点結果を単に通知するだけでなく、予測問題の全解答者の解答内容の分析結果を提供したり、受験者個人の弱点を指摘し、合格のための有効な学習方法をアドバイスとして提供するようにしてもよい。当該アドバイスには、勉強に参考となるオンラインの講義を紹介してその講義に呼び込むことも含まれる。
【0058】
［実施の形態の効果］
本システム及び試験問題予測方法によれば、本装置１が、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものとしているので、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できる効果がある。
本システム及び試験問題予測方法によれば、本装置１が、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものとしているので、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できる効果がある。
【0059】
更に、本システムでは、処理装置が、予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成するものとしているので、出題回数が適正に予測されたカテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができる効果がある。
【産業上の利用可能性】
【0060】
本発明は、過去に出題された問題内容から次回の出題カテゴリを予測して、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を容易に作成できる試験問題予測システム及び試験問題予測方法に好適である。
【符号の説明】
【0061】
１…予測問題作成処理装置、 ２…予測問題提供サーバ、 ３…インターネット、 ４…受験者ＰＣ、 １０…実装エンジン、 １１…制御部、 １２…記憶部、 １３…インタフェース部、 １４…表示部、 １５…入力部、 １１１…入力層、 １００試験文章分類エンジン、 １１２，１１３…中間層、 １１４…全結合層、 １１５…出力層
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】