特許 7171333 試験問題予測システム及び試験問題予測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-07

(45)【発行日】2022-11-15

(54)【発明の名称】試験問題予測システム及び試験問題予測方法

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20221108BHJP

   G09B 7/02 20060101ALI20221108BHJP

【ＦＩ】

G06Q50/20

G09B7/02

【請求項の数】 6

(21)【出願番号】P 2018173783

(22)【出願日】2018-09-18

(65)【公開番号】P2020046833

(43)【公開日】2020-03-26

【審査請求日】2021-05-17

(73)【特許権者】

【識別番号】522049059

【氏名又は名称】株式会社資格スクエア

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】鬼頭 政人

【審査官】樋口 龍弥

(56)【参考文献】

【文献】特開２０１１－１９１４５６（ＪＰ，Ａ）

【文献】特開平１１－３４５１５４（ＪＰ，Ａ）

【文献】特開平０９－０７３４４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０９Ｂ ７／０２

(57)【特許請求の範囲】

【請求項1】

試験問題を予測する試験問題予測システムであって、
過去の試験問題から試験毎について予め分類されたカテゴリ毎の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測し、当該予測されたカテゴリ毎の出題回数に従って前記過去の試験問題から問題を抽出して次回の予測問題を作成する予測問題作成処理装置を有し、
各カテゴリの出題回数を過去の時系列に配置し、当該配置を１年過去にシフトさせる配列を段階的に複数生成した階差データから得られる行列の数値を予測プログラムに入力して前記次回の試験問題のカテゴリ毎の出題回数を予測することを特徴とする試験問題予測システム。

【請求項2】

前記予測プログラムは、中間層のユニットをＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）ブロックに置き換えた再帰型ニューラルネットワークを含むことを特徴とする請求項１記載の試験問題予測システム。

【請求項3】

予測問題作成処理装置で作成された予測問題を受験者装置に提供する予測問題提供装置を有することを特徴とする請求項１又は２記載の試験問題予測システム。

【請求項4】

予測問題提供装置は、受験者装置からの予測問題に対する解答を受け取り、採点を行って前記受験者装置にフィードバックすることを特徴とする請求項３記載の試験問題予測システム。

【請求項5】

処理装置が試験問題を予測する試験問題予測方法であって、
過去の試験問題から試験毎について予め分類されたカテゴリ毎の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測し、当該予測されたカテゴリ毎の出題回数に従って前記過去の試験問題から問題を抽出して次回の予測問題を作成するし、
各カテゴリの出題回数を過去の時系列に配置し、当該配置を１年過去にシフトさせる配列を段階的に複数生成した階差データから得られる行列の数値を予測プログラムに入力して前記次回の試験問題のカテゴリ毎の出題回数を予測することを特徴とする試験問題予測方法。

【請求項6】

前記予測プログラムは、中間層のユニットをＬＳＴＭブロックに置き換えた再帰型ニューラルネットワークを含むことを特徴とする請求項５記載の試験問題予測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、試験問題を予測するシステムに係り、特に、過去の問題から出題のカテゴリを予測し、それに基づいて試験問題を予測する試験問題予測システム及び試験問題予測方法に関する。

【背景技術】

【0002】

［従来の技術］
従来、コンピュータを用いて試験問題を作成し、ネットワークを介して試験問題を提供するものがある。
しかしながら、過去の試験問題から今年の試験問題を精度よく予測する手法は確立されていない。

【0003】

［関連技術］
尚、関連する先行技術として、特開２００７－２４８６０５号公報「試験問題作成方法、試験問題作成システム及び試験問題作成プログラム」（特許文献１）がある。
特許文献１には、試験の種別に応じた評価基準を満たす試験問題を作成できることが示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－２４８６０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の試験問題作成方法では、過去の試験問題から本年の出題カテゴリを分析して本年の試験問題を予測するものではないため、試験問題を精度よく予測できるものとはなっていないという問題点があった。
特許文献１にも、過去の問題内容から本年の出題カテゴリを予測して試験問題を作成するものとはなっていないものである。

【0006】

本発明は上記実情に鑑みて為されたもので、過去に出題された問題内容から次回の出題カテゴリを予測して、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を作成する試験問題予測システム及び試験問題予測方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記従来例の問題点を解決するための本発明は、試験問題を予測する試験問題予測システムであって、過去の試験問題から試験毎について予め分類されたカテゴリ毎の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測し、当該予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成する予測問題作成処理装置を有することを特徴とする。

【0008】

本発明は、上記試験問題予測システムにおいて、機械学習には、再帰型ニューラルネットワークを用いることを特徴とする。

【0009】

本発明は、上記試験問題予測システムにおいて、各カテゴリの出題回数を過去の時系列に配置し、当該配置を１年過去にシフトさせる配列を段階的に複数生成した階差系列を用いて次回の試験問題のカテゴリ毎の出題回数を予測することを特徴とする。

【0010】

本発明は、上記試験問題予測システムにおいて、予測問題作成処理装置で作成された予測問題を受験者装置に提供する予測問題提供装置を有することを特徴とする。

【0011】

本発明は、上記試験問題予測システムにおいて、予測問題提供装置が、受験者装置からの予測問題に対する解答を受け取り、採点を行って受験者装置にフィードバックすることを特徴とする。

【0012】

本発明は、処理装置が試験問題を予測する試験問題予測方法であって、過去の試験問題から試験毎について予め分類されたカテゴリ毎の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測し、当該予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成することを特徴とする。

【発明の効果】

【0013】

本発明によれば、予測問題作成処理装置が、過去の試験問題から試験毎について予め分類されたカテゴリ毎の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測し、当該予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成する試験問題予測システムとしているので、出題回数が適正に予測されたカテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができる効果がある。

【図面の簡単な説明】

【0014】

【図1】本システムの概略図である。

【図2】本処理の概略図である。

【図3】本装置におけるニューラルネットワークのモデルの概略図である。

【図4】年次毎のカテゴリの出題回数を示す図である。

【図5】階差データの作り方を示す図である。

【発明を実施するための形態】

【0015】

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る試験問題予測システム（本システム）は、予測問題作成処理装置（本装置）で、過去に出題された問題内容から次回の試験問題のカテゴリにおける出題回数を予測し、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を作成し、ネットワークを介して接続する予測問題提供装置が、作成された予測問題を受験者装置に提供するものであり、出題回数が適正に予測されたカテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができるものである。

【0016】

［本システム：図１］
本システムについて図１を参照しながら説明する。図１は、本システムの概略図である。
本システムは、図１に示すように、予測問題作成処理装置１と、予測問題提供サーバ２と、インターネット３と、受験者コンピュータ（ＰＣ）４とを基本的に有している。
各装置は、インターネット３を介して接続されており、受験者ＰＣ４は本来、複数台接続されるものである。

【0017】

［予測問題作成処理装置１］
予測問題作成処理装置１は、次回の試験問題を予測して試験問題を作成する処理を行う。
予測問題作成処理装置１は、制御部１１と、記憶部１２と、インタフェース部１３とを備え、インタフェース部１３には、表示部１４、入力部１５が接続され、更にインターネット３に接続している。

【0018】

制御部１１は、記憶部１２に記憶する処理プログラムを読み込み、後述する処理を実行する。
記憶部１２は、処理プログラムを記憶すると共に、過去の試験問題を記憶する。
表示部１４は、予測問題を作成するに必要な表示を行う。
入力部１５は、予測問題を作成するに必要な入力を行う。

【0019】

［予測問題提供サーバ２］
予測問題提供サーバ２は、制御部と記憶部を備え、インターネット３に接続するコンピュータであり、予測問題作成処理装置１で作成された予測問題を入力して記憶し、受講者ＰＣ４に予測問題を配信する。請求項では「予測問題提供装置」としている。
図１では、予測問題作成処理装置１と予測問題提供サーバ２とをインターネット３を介して接続しているが、社内のネットワークで接続してもよい。
また、予測問題作成処理装置１と予測問題提供サーバ２とを一体の装置の構成としてもよい。

【0020】

［受験者ＰＣ４］
受験者ＰＣ４は、インターネット３を介して予測問題提供サーバ２にアクセスし、提供される予測問題を受けることができるコンピュータである。請求項では「受験者装置」としており、コンピュータに限らずタブレット端末、スマートフォン等の端末装置であってもよい。

【0021】

また、受験者ＰＣ４は、提供された予測問題を解答して、解答データを予測問題提供サーバ２に送信するようにしてもよい。その場合、予測問題提供サーバ２が受験者の解答データを採点して、合格のためのアドバイスを行ったり、弱点について実力に応じた講義を受講するよう促したりするものである。

【0022】

［本処理：図２］
本装置における予測問題作成の処理（本処理）について図２を参照しながら説明する。図２は、本処理の概略図である。
本処理は、図２に示すように、過去の特定期間（前回試験から連続して遡った期間）の試験問題を読み込んで、それら試験問題について内容に応じて予め定められた小カテゴリ（単に「カテゴリ」と称することがある）に分類したデータを基に次回試験の小カテゴリを予測する小カテゴリ予測ステップと、その小カテゴリ予測結果を用いて予測問題の作成を行う問題作成ステップとを有している。

【0023】

尚、小カテゴリとは、問題の内容に応じて予め分野を分類したものであり、小カテゴリへの分類作業は、人手によって為されている。
また、小カテゴリに分類されたデータとは、カテゴリ毎の出題回数（出題件数）であり、例えば、カテゴリ１について出願回数２回、カテゴリ２について出題回数３回というものになる。

【0024】

本処理の小カテゴリ予測ステップと問題作成ステップについて具体的に説明する。
［小カテゴリ予測ステップ］
本装置の制御部１１は、記憶部１２から処理プログラムを読み込んで、小カテゴリ予測ステップを実行するものであり、外部から過去の特定期間の試験問題（過去問）をＣＳＶ（Comma Separated Values）形式で入力し、試験毎に小カテゴリ毎の出題回数を集計し、その小カテゴリ毎の出題回数を基に予測プログラムを実行して小カテゴリ予測結果を出力する。この小カテゴリ予測結果は、次回の試験問題の小カテゴリ毎の予測出題回数である。

【0025】

ここで、予測プログラムとして時系列データを扱える再帰型のニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を用いたＡＩ（Artificial Intelligence）プログラムとなっており、中間層（隠れ層）のユニットをＬＳＴＭ（Long Short-Term Memory：長・短期記憶）ブロックに置き換えたものとなっている。ＲＮＮは、時系列情報と過去のデータを学習するのに適している。
尚、試験問題の複数科目から構成されている場合は、科目毎の出題数が決まっているので、その分類はルールベースで行う。

【0026】

［問題作成ステップ］
本装置の制御部１１は、記憶部１２から処理プログラムを読み込んで、問題作成ステップを実行するものであり、小カテゴリ予測ステップで得られた小カテゴリ予測結果（小カテゴリ毎の予測出題回数）を入力し、問題作成プログラムを実行して過去問からランダムに問題を抽出して出題予測結果を出力する。
つまり、小カテゴリ毎の予測出題回数に従って、当該小カテゴリに対応する過去問の中からランダムに問題を抽出して全体としての予測問題を作成する。

【0027】

本問題作成ステップでは、過去問をランダムに抽出するようにしているが、前回、前々回に出題された問題が選ばれにくいように抽出の際に、重み付けを行って選択してもよい。
また、過去問について、過去問そのものではなく、問題内容を少し変更したものを作成しておき、それらを含めて抽出するようにしてもよい。

【0028】

［ニューラルネットワークのモデル：図３］
次に、本装置で使用されるニューラルネットワークのモデルについて図３を参照しながら説明する。図３は、本装置におけるニューラルネットワークのモデルの概略図である。
本装置におけるニューラルネットワークは、図３に示すように、入力層１１１に入力データｘが入力され、それが中間層のＬＳＴＭレイヤー１１２，１１３を介して、全結合レイヤー１１４に入力されて全結合がなされ、それが出力層１１５に予測値として出力データｙが出力される。

【0029】

中間層のＬＳＴＭレイヤー１１２，１１３は、時系列情報を一定の時間窓の期間メモリユニットで保持し、時間窓内の情報について学習を行う。
ＬＳＴＭレイヤーは、ＲＮＮの短期間の記憶しか実現できないという限界を緩和するもので、メモリユニットには、入力層から入力されるものもあり、中間層からの出力を帰還させるものもあり、時系列情報の長期の記憶を可能としている。
図３のモデルを本装置が使用することで、小カテゴリの予測結果の精度を向上させることができるものである。

【0030】

［年次毎のカテゴリの出題回数：図４］
次に、年次毎のカテゴリ（小カテゴリ）の出題回数について図４を参照しながら説明する。図４は、年次毎のカテゴリの出題回数を示す図である。
年次毎の出題回数は、図４に示すように、例えば、９３のカテゴリに分類されており、平成１年（Ｈ１）から平成２９年（Ｈ２９）までの各年のカテゴリ毎の出題回数が得られる。

【0031】

尚、カテゴリ番号Ｉについてカテゴリの出題回数は、ｎ_ijで表され、ｉはカテゴリの番号を示し、ｊは年次を表している。
以下に説明する階差データの作り方では、カテゴリ毎（カテゴリ番号毎）にＨ１～Ｈ２９の図４の行データを用いている。例えば、カテゴリ番号２では、ｎ₂₁，ｎ₂₂，ｎ₂₃，…の行データを単位として用いている。

【0032】

［階差データの作り方：図５］
次に、階差データの作り方について図５を参照しながら説明する。図５は、階差データの作り方を示す図である。
過去問の小カテゴリ毎の出題回数を単純にＡＩプログラムに入力するだけでは、精度のよい小カテゴリ予測結果を得るのに十分ではないため、以下に説明する階差データを作成し、その階差データから得られる行列の数値をＡＩプログラムに入力して予測精度を向上させている。

【0033】

図５に示すように、年度Ｈ１～Ｈ２９について、（１）～（２９）が元の時系列データである。例えば、図４で示したカテゴリ番号２についてのｎ₂₁，ｎ₂₂，ｎ₂₃，…の行のデータが時系列データに該当する。
尚、丸括弧で表される数値は、実際の試験での出題回数であり、角括弧で表される数値は予測値である。

【0034】

そして、その時系列データを１年分左にシフトさせた配列をその下に配置し、それを複数段について繰り返し行い、例えば、１３段の配列の階差データを生成する。
更に、Ｈ１の縦方向の列のデータ（１）～（１３）の値からＨ１４のこのカテゴリの出題回数の数値［１４］を予測する。

【0035】

更に、Ｈ１の縦方向の列のデータとＨ２の縦方向の列のデータ（２）～（１４）の値からＨ１５の予測値［１５］を得る。これは、１３行×２列の行列の値を入力データとして予測値を得るものである。
同様に、Ｈ１～Ｈ１３の１３行×１４列の行列の値を入力データとしてＨ２６の予測値［２６］を得る。

【0036】

本装置では、時系列データを１４年分使用することにしており、Ｈ３０の予測値を得るのに、Ｈ４～Ｈ１７の１３行×１４列の行列の値を入力データとして小カテゴリ予測ステップのＡＩプログラムに入力して予測値［３０］を得る。

【0037】

尚、小カテゴリは、９３個あるので、９３個分並べて（９３，１４，１３）の配列をＡＩプログラムに入力して、全ての小カテゴリについて小カテゴリ予測結果を得ることになる。
このようにして得られた小カテゴリ予測結果は、精度が高く、問題作成ステップでの問題作成でも予測精度を向上させることができる。

【0038】

［予測問題提供サーバ２の処理］
次に、本システムの予測問題提供サーバ２での処理を説明する。
予測問題提供サーバ２は、予測問題作成処理装置１で作成された予測問題データを予測問題作成処理装置１からアップロードされて、記憶部に記憶し、その予測問題データを受験者ＰＣ４からのアクセスにより提供する。

【0039】

予測問題提供サーバ２は、受験者ＰＣ４から予測問題に対する解答データを受け取り、採点を行い、採点結果を受験者ＰＣ４に通知してもよい。
また、採点結果を単に通知するだけでなく、予測問題の全解答者の解答内容の分析結果を提供したり、受験者個人の弱点を指摘し、合格のための有効な学習方法をアドバイスとして提供するようにしてもよい。当該アドバイスには、勉強に参考となるオンラインの講義を紹介してその講義に呼び込むことも含まれる。

【0040】

［実施の形態の効果］
本システム及び試験問題予測方法によれば、本装置１が、小カテゴリ予測ステップで、過去に出題された問題内容から次回の試験問題のカテゴリにおける出題回数を予測して、問題作成ステップで、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を作成し、ネットワーク３を介して接続する予測問題提供サーバ２が、作成された予測問題を受験者ＰＣ４に提供するものとしているので、出題回数が適正に予測された小カテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができる効果がある。

【産業上の利用可能性】

【0041】

本発明は、過去に出題された問題内容から次回の出題カテゴリを予測して、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を作成する試験問題予測システム及び試験問題予測方法に好適である。

【符号の説明】

【0042】

１…予測問題作成処理装置、 ２…予測問題提供サーバ、 ３…インターネット、 ４…受験者ＰＣ、 １１…制御部、 １２…記憶部、 １３…インタフェース部、 １４…表示部、 １５…入力部、 １１１…入力層、 １１２，１１３…中間層、 １１４…全結合層、 １１５…出力層

【図1】

【図2】

【図3】

【図4】

【図5】