特許 6625585 機械学習フレームワークを運用する方法、装置、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6625585

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】機械学習フレームワークを運用する方法、装置、及びコンピュータプログラム

(51)【国際特許分類】

   G09B 7/08 20060101AFI20191216BHJP

【ＦＩ】

   G09B7/08

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2017-119250(P2017-119250)

(22)【出願日】2017年6月19日

(65)【公開番号】特開2018-194804(P2018-194804A)

(43)【公開日】2018年12月6日

【審査請求日】2017年6月19日

(31)【優先権主張番号】10-2017-0062551

(32)【優先日】2017年5月19日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】517215526

【氏名又は名称】リイイド インク

(74)【代理人】

【識別番号】110002158

【氏名又は名称】特許業務法人上野特許事務所

(72)【発明者】

【氏名】チャ ヨンミン

(72)【発明者】

【氏名】へ ジェウェ

(72)【発明者】

【氏名】ジャン ヨンジュン

【審査官】 比嘉 翔一

(56)【参考文献】

【文献】 特開２００６−０７２１２２（ＪＰ，Ａ）

【文献】 特開２０１７−０６８１８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００− ９／５６

Ｇ０９Ｂ１７／００−１９／２６

Ｇ０６Ｑ１０／００−１０／１０

Ｇ０６Ｑ３０／００−３０／０８

Ｇ０６Ｑ５０／００−５０／２０

Ｇ０６Ｑ５０／２６−９９／００

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

サービスサーバで、オーダーメード型学習コンテンツを提供する方法において、
前記サービスサーバが、少なくとも一つ以上の選択肢を含む選択式問題を少なくとも一つ以上含む問題データベースを構成し、前記問題に対するユーザの選択肢選択データを収集するａステップと、
前記サービスサーバで、前記ユーザ及び前記選択肢を変数にして多次元空間を構成し、前記ユーザそれぞれの前記選択肢選択データを用いて、各問題がどんな概念を含んでいるのかに関する、数学的に生成されたのではない人の主観に依存するタグ情報を用いることなく、前記ユーザそれぞれが、該当問題の各選択肢を選択したかを基準に、前記多次元空間に値を与えて前記ユーザに対するモデリングベクトルを計算し、前記問題に対するモデリングベクトルを前記選択肢別に各々生成するｂステップと、
前記サービスサーバで、前記ユーザのモデリングベクトル及び前記問題の選択肢モデリングベクトルを用いて前記ユーザの選択肢の選択確率を計算するｃステップと、
を含むことを特徴とする、学習コンテンツ提供方法。

【請求項2】

前記サービスサーバで、前記選択肢の選択確率を用いて前記問題の正答率を計算するステップをさらに含み、
前記問題の正答率は、前記問題の選択肢の選択確率の各々を平均化し、前記問題の正答選択肢に対する平均化された選択確率を適用して計算することを特徴とする、請求項１に記載の学習コンテンツ提供方法。

【請求項3】

前記サービスサーバで、前記ユーザモデリングベクトルを用いて前記ユーザの苦手問題モデルを生成し、前記問題データベースで前記苦手問題モデルと予め設定された範囲以内の類似性を有する問題を前記ユーザに推薦するステップを含むことを特徴とする、請求項２に記載の学習コンテンツ提供方法。

【請求項4】

前記ｃステップは、
前記サービスサーバで、前記ユーザのモデリングベクトルにシグモイド関数を適用して前記選択肢の選択確率を計算するステップを含むことを特徴とする、請求項３に記載の学習コンテンツ提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はデータを分析し、オーダーメード型コンテンツを提供する方法に関し、より詳しくは、収集された問題解釈結果データを問題の選択肢パラメータを適用して拡張する学習データ分析方法に関する。

【背景技術】

【0002】

今まで教育コンテンツは一般的にパッケージで提供されてきた。例えば、紙に記録される問題集は巻当たり最小７００の問題が収録されており、オンラインまたはオフライン講義やはり１−２時間単位で最小一ヶ月間勉強する量を纏めて一度に販売される。

【0003】

しかしながら、教育を受ける学生の立場では個別的に苦手な単元と苦手な問題類型が全て相異するので、パッケージ形態よりはオーダーメード型コンテンツに対するニーズが存在する。自身の苦手な単元の苦手な問題類型のみを選んで学習することが問題集の７００の問題を全て解くことより遥かに効率的なためである。

【0004】

しかしながら、被教育者である学生達自ら自身の苦手な点を把握することは非常に難しい。延いては、学院、出版社など、従来の教育業界でも主観的経験と直観に依存して学生及び問題を分析するため、個別の学生達に最適化された問題を提供することは容易でない。

【0005】

このように、従来の教育環境では被教育者が最も効率良く学習結果を出すことができるオーダーメード型コンテンツを提供することが容易でなく、学生達はパッケージ形態の教育コンテンツに対して成就感と興味をすぐ失うようになる問題が発生する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前記のような問題を解決することを目的とする。より詳しくは、本発明は、ユーザ及び／又は問題分析のために必要なデータを抽出し、収集されたデータが含んでいるパラメータを効率良く活用できるデータ分析フレームワークを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の実施形態に従うオーダーメード型学習コンテンツを提供する方法は、少なくとも一つ以上の選択肢を含む選択式問題を少なくとも一つ以上含む問題データベースを構成し、前記問題に対するユーザの選択肢選択データを収集するａステップ；前記選択肢選択データを用いて前記ユーザに対するモデリングベクトルを計算し、前記問題に対するモデリングベクトルを前記選択肢別に各々生成するｂステップ；及び前記ユーザのモデリングベクトル及び前記問題の選択肢モデリングベクトルを用いて前記ユーザの選択肢の選択確率を計算するｃステップを含むことを特徴とする。

【発明の効果】

【0008】

本発明の実施形態をよれば、収集されたユーザ問題解釈結果データからユーザが選択した選択肢パラメータを適用して問題またはユーザを分析することができるので、同一な結果データでユーザをより精密に分析することができる効果がある。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係るデータ分析フレームワークの動作内容を説明するための図である。

【発明を実施するための形態】

【0010】

本発明は、以下に記載される実施形態の説明内容に限定されるものではなく、本発明の技術的要旨を逸脱しない範囲内で多様な変形が可能であることは自明である。そして、実施形態を説明するに当たって、本発明が属する技術分野に広く知られており、本発明の技術的要旨と直接的に関連のない技術内容に対しては説明を省略する。

【0011】

一方、添付した図面で同一な構成要素は同一な符号で表現される。そして、添付図面において、一部の構成要素は誇張、省略されるか、または概略的に図示されることもある。これは、本発明の要旨と関連のない不要な説明を省略することによって本発明の要旨を明確に説明するためである。

【0012】

最近、ＩＴデバイスの普及が拡大されるにつれて、ユーザ分析のためのデータ収集が容易になっている。ユーザデータが十分に収集できれば、ユーザの分析がより精密になり、該当ユーザに最も適した形態のコンテンツを提供することができる。

【0013】

このような流れと共に、特に教育業界でオーダーメード型教育コンテンツ提供に対するニーズが高い。

【0014】

簡単な例として、あるユーザが英語科目で“動詞の時制”に対する理解度が劣る場合、“動詞の時制”に対する概念を含んでいる問題が推薦できれば学習効率はより高まるはずである。ところで、このようにオーダーメード型教育コンテンツを提供するためにはそれぞれのコンテンツ及びユーザ個々人に対する精密な分析が必要である。

【0015】

従来にはコンテンツとユーザを分析するために、該当科目の概念を専門家により手作業で定義し、該当科目に対する各問題がどんな概念を含んでいるのか専門家が個別的に判断してタギングする方式に従った。以後、各ユーザが特定概念に対してタギングされた問題を解いてみた結果情報に基づいて学習者の実力を分析するものである。

【0016】

しかしながら、このような方法はタグ情報が人の主観に依存する問題点があった。人の主観が介入されず、数学的に生成されたタグ情報が数学的に問題に与えられるものでないので、結果データに対する信頼度が高くないという問題があった。

【0017】

したがって、本発明の実施形態に係るデータ分析サーバは、学習データ分析にマシンラーニングフレームワークを適用してデータ処理過程の人の介入を排除することができる。

【0018】

これによれば、ユーザの問題解釈結果ログを収集し、ユーザと問題で構成された多次元空間を構成し、ユーザが問題を当てたか間違えたかを基準に前記多次元空間に値を与えて、それぞれのユーザ及び問題に対するベクトルを計算する方式によりユーザ及び／又は問題をモデリングすることができる。

【0019】

延いては、前記ユーザベクトル及び／又は問題ベクトルを用いて全体ユーザで特定ユーザの位置、特定ユーザと類似のグループにクラスタリングすることができる他のユーザ、他のユーザと該当ユーザの類似性、全体問題で特定問題の位置、前記問題と類似のグループにクラスタリングすることができる他の問題、他の問題と該当問題の類似性などを数学的に計算することができる。延いては、少なくとも一つ以上の属性を基準にユーザ及び問題をクラスタリングすることができる。

【0020】

この際、本発明で前記ユーザベクトル、前記問題ベクトルがどんな属性、または特徴を含んでいるかは制限して解釈できないことに留意しなければならない。

【0021】

例えば、本発明の実施形態によれば、前記ユーザベクトルは前記ユーザが任意の概念に対して理解している程度、即ち概念の理解度を含むことができる。延いては、前記問題ベクトルは前記問題がどんな概念で構成されているのか、即ち概念構成度を含むことができる。

【0022】

ところで、マシンラーニングを適用して学習データを分析すれば、幾つかの解決しなければならない問題が存在する。

【0023】

第１は、問題分析結果として正答か誤答かのみをベクトル値抽出のためのパラメータとして使用する場合には、任意の信頼度以上の分析結果を提供するためには問題解釈結果データを大量収集しなければならないということである。

【0024】

選択式問題は問題文だけでなく、選択肢要素が含まれて構成される。ところで、分析のソースとして正答か誤答かだけを反映する従来の方法によれば、２学生が同一な問題を間違えたが、異なる選択肢を選択した場合、２学生のベクトル値計算に該当問題が及ぼす影響は同一である。

【0025】

言い換えると、ある学生がある問題を“動名詞”に対する選択肢を選択して間違えた場合と“動詞の時制”に対する選択肢を選択して間違えた場合、従来の方式によれば、該当問題のベクトル値の計算に該当学生の解釈結果データが及ぼす影響は同一であり、該当問題の解釈結果はユーザ解釈に十分反映できず、実質的に効果が弱いはずである。

【0026】

したがって、２学生が各々動名詞に対する理解度と動詞の時制に対する理解度が劣るという結果値を得るためには効果が弱い結果を克服できる程度のより多い量の問題解釈結果データの収集が求められる。

【0027】

即ち、正誤答結果のみをデータ分析のための入力値に使用する従来の方式によれば、問題とユーザを任意の範囲以上の信頼度で分析するためには、より多い量の問題解釈結果データが収集されなければならない。

【0028】

本発明の実施形態によれば、前記のような問題を解決することができる。より詳しくは、本発明の実施形態によれば、問題解釈結果データでユーザが選択した選択肢パラメータを適用して、ユーザ及び／又は問題を分析することができる。これを通じて、同一な問題解釈結果データを該当問題の選択肢個数だけ拡張することができるので、同一な結果データで、より精密にユーザと問題を分析することができる効果がある。

【0029】

図１は、本発明の実施形態に従って問題解釈結果データを分析する方法を説明するためのフローチャートである。

【0030】

ステップＳ１１０及びステップＳ１１５は、本発明の実施形態に従うデータ分析システムで学習データを収集し、問題とユーザをモデリングするステップである。

【0031】

本発明の実施形態によれば、ステップＳ１１０で全体問題と全体ユーザに対して解釈結果データが収集できる。

【0032】

より詳しくは、データ分析サーバは問題データベースを構成し、前記問題データベースに属する全体問題に対する全体ユーザの解釈結果データを収集することができる。

【0033】

例えば、データ分析サーバは市販されている各種の問題に対するデータベースを構築し、ユーザが該当問題を解いた結果を収集する方式により解釈結果データを収集することができる。前記問題データベースは聞き取り評価問題を含み、テキスト、イメージ、オーディオ、及び／又は動映像形態でありうる。

【0034】

この際、データ分析サーバは収集された問題解釈結果データをユーザ、問題、結果に対するリスト形態に構成することができる。例えば、Ｙ（ｕ、ｉ）はユーザｕが問題ｉを解いた結果を意味し、正答の場合は１、誤答の場合は０の値が与えられる。

【0035】

延いては、本発明の実施形態に従うデータ分析サーバは、ユーザと問題で構成された多次元空間を構成し、ユーザが問題を当てたか間違えたかを基準に前記多次元空間に値を与えて、それぞれのユーザ及び問題に対するベクトルを計算することができる（ステップＳ１２０）。この際、前記ユーザベクトルと問題ベクトルが含む特徴は特定されないことと解釈されなければならない。

【0036】

本発明の実施形態に従うデータ分析フレームワークでユーザと問題をモデリングベクトルで表現する理由は、窮極的には特定ユーザが特定問題を当てるか間違えるかを精密に予測するためのものである。

【0037】

ところで、ユーザの問題に対する正答率は前述したようにユーザの正誤答結果を収集して分析する方式により推定することができるが、選択肢の選択確率を用いて推定することもできる。

【0038】

例えば、第１ユーザが特定問題に対する選択肢の選択確率が（０．１、０．２、０、０．７）の場合、ユーザは高い確率で選択肢４番を選択するはずであり、該当問題の正答が４番の場合、第１ユーザはその問題を当てる確率が高いと予想することができる。

【0039】

延いては、問題の難易度は全体ユーザの正誤答結果を収集して分析する方式により推定することもできるが、選択肢の選択確率を用いて推定することもできる。

【0040】

例えば、四肢択一式で構成された特定問題に対し、ユーザの選択肢の選択確率が（０．５、０．１、０．３、０．６）の場合、ユーザが第２問題から選択肢１番を選ぶ確率と選択肢４番を選ぶ確率が似ているので、第２問題は難易度が高いと分類することができる。

【0041】

このために、図１の例で、データ分析サーバは全体問題と全体ユーザに対する解釈結果データをユーザが選択した選択肢要素を含んで収集することができる（ステップＳ１３０）。より詳しくは、データ分析サーバは問題データベースを構成し、前記問題データベースに属する全体問題に対して全体ユーザがどの選択肢を選択したかに対する結果データを収集することができる。

【0042】

例えば、データ分析サーバは市販されている各種の問題に対するデータベースを構築し、ユーザが該当問題からどの選択肢を選択したか、選択肢選択結果を収集する方式により解釈結果ログを収集することができ、追加的に該当問題に対する正誤答結果を収集することもできる。この際、データ分析サーバは、ユーザ、問題、該当ユーザが該当問題から選択した選択肢に対するリストを構成することができる。

【0043】

以後、データ分析サーバは一つの問題を選択肢単位で拡張してデータ分析処理を遂行することができる（ステップＳ１４０）。

【0044】

例えば、問題ｉが四肢択一式問題の場合、問題ｉは（ｉ、１）（ｉ、２）（ｉ、３）（ｉ、４）の変数４個に拡張され、各問題−選択肢の各ユーザの選択有無が値として与えられる。

【0045】

例えば、Ｅ（ｉ、ｊ）は問題ｉの選択肢ｊを意味し、Ｙ’（ｕ、Ｅ）はユーザｕが問題ｉの選択肢ｊを選択したかを意味し、本発明の実施形態によれば、選択した場合は１、選択しない場合は０の値が与えられる。

【0046】

延いては、データ分析サーバはユーザ及び問題−選択肢を変数として多次元空間を構成し、ユーザが該当問題−選択肢を選択したかを基準に前記多次元空間に値を与えて、それぞれのユーザ及び問題−選択肢に対するベクトルを計算することができる。

【0047】

以後、データ分析サーバは、前記ユーザベクトルと前記問題−選択肢ベクトルを用いて任意のユーザが任意の問題−選択肢を選択する確率、即ち選択率を推定することができる（ステップＳ１５０）。

【0048】

この際、前記ユーザベクトルと前記問題−選択肢ベクトルに多様なアルゴリズムを適用して前記選択率を推定することができ、本発明を解釈するに当たって選択率を計算するためのアルゴリズムは制限されない。

【0049】

例えば、本発明の実施形態によれば、以下の＜数式１＞のようなシグモイド関数を適用すれば、ユーザの問題−選択肢の選択率を推定することができる（ｘは問題−選択肢ベクトル、θはユーザベクトル）

【0050】

ｈθ（ｘ）＝１／（１＋ｅ^{（−θ*Ｔ*Ｘ）}） ＜数１＞

【0051】

延いては、本発明の実施形態に従うデータ分析サーバはユーザの選択肢の選択率を用いて問題の正答率を推定することができる（ステップＳ１６０）。

【0052】

ところで、例えば四肢択一式で構成された特定問題に対し、特定ユーザの選択肢の選択確率が（０．５、０．１、０．３、０．６）であり、正答選択肢が１番の場合、前記ユーザが該当問題を当てる確率はいくらかが問題となる。即ち、該当問題に対する複数の選択肢の選択率を用いて該当問題の正答率を推定する方法を考慮することができる。

【0053】

本発明の実施形態に従って選択肢の選択率を問題正答率に還元する簡単な方式には、全体選択肢の選択率対比正答選択肢の選択率を比較する方法を考慮することができる。この場合、先の例で該当ユーザの該当問題に対する正答率は０．５／（０．５＋０．１＋０．３＋０．６）で計算する。しかしながら、ユーザは問題を解釈する時は選択肢単位で区分して該当問題を理解することでなく、全体選択肢に対する構成及び問題の出題意図を含んで問題単位で理解するため、選択肢の選択率と正答率は単純連結できない。

【0054】

したがって、本発明の実施形態によれば、該当問題の全体選択肢の選択率を平均化し、正答の選択肢の平均化された選択率を全体選択肢の選択率に適用する方式により選択肢の選択率から該当問題の正答率を推定することができる。

【0055】

先の例において、選択肢の選択確率が（０．５、０．１、０．３、０．６）の場合、これを全体選択肢に対して平均化すれば、それぞれの選択肢の選択率は（０．３３、０．０７、０．２０、０．４１）にスケールが変更できる。正答選択肢が１番の場合、選択肢１の平均化された選択率は０．３３に、該当ユーザの該当問題に対する正答率は３３％に推定できる。

【0056】

延いては、本発明の実施形態に従うサービスサーバは、ユーザの問題−選択肢の選択確率を用いて問題の正答率を推定することができ、これを通じて特定概念に対するユーザの理解度を推定することができる。

【0057】

延いては、データ分析サーバは問題の選択肢別の選択率に基づいて該当ユーザの特定問題に対する学習効率を計算することができる（ステップＳ１６５）。

【0058】

本発明の実施形態に従うデータ分析サーバは、前述したように、問題の選択肢単位のモデリングベクトルとユーザモデリングベクトルを用いて、それぞれのユーザに対して問題の選択肢単位の選択確率及び該当ユーザの問題単位の正答確率を計算することができる。これに基づいて本発明の実施形態に従うデータ分析サーバは、特定ユーザの任意の問題の選択肢別の選択確率に前記ユーザが該当選択肢を選択した場合、他の問題の正答率変更値の平均値を適用すれば、該当問題の学習効率を計算することができる。

【0059】

例えば、ユーザＡの特定問題ａの第１選択肢に対する選択率がａ１、第２選択肢に対する選択率がａ２、第３選択肢に対する選択率がａ３、第４選択肢に対する選択率がａ４の場合を考慮することができる。

【0060】

その時、ユーザＡが該当問題に対して第１選択肢を選択したと仮定すれば、ユーザＡのモデリングベクトル及び全体問題のモデリングベクトルはユーザＡの第１選択肢の選択イベントを適用して多少変更され、変更されたモデリングベクトルによって各問題の正答率が多少変更される。これによって、データ分析サーバはユーザＡの第１選択肢の選択に対する仮想イベントを適用して全体問題の正答率変更平均値ＡＶＣ＿ａ１を計算することができる。

【0061】

同一な方法によりデータ分析サーバはユーザＡが第２選択肢を選択したと仮定してＡＶＣ＿ａ２を計算し、第３選択肢を選択したと仮定してＡＶＣ＿ａ３を計算し、第４選択肢を選択したと仮定してＡＶＣ＿ａ４を計算することができる。

【0062】

以後、データ分析サーバはユーザＡの問題ａを通じての学習効率Ｅ（Ａ，ａ）を以下の数式により計算することができる。

【0063】

Ｅ（Ａ，ａ）＝ａ１*ＡＶＣ＿ａ１＋ａ２*ＡＶＣ＿ａ２＋ａ３*ＡＶＣ＿ａ３＋ａ４*ＡＶＣ＿ａ４ ＜数２＞

【0064】

延いては、データ分析サーバは全体問題に対してＥ（Ａ）を計算し、Ｅ（Ａ）が最も高い問題順にオーダーメード型問題を提供することができる（ステップＳ１７０）。即ち、本発明の実施形態によれば、任意のユーザに最も学習効率の高い問題を提供することができる。

【0065】

一方、データ分析サーバは、ユーザベクトル、問題−選択肢ベクトル、選択肢の選択率、問題の正答率、ユーザの概念理解度、問題の概念構成度のうち、少なくとも一つ以上を用いてオーダーメード型コンテンツを推薦することができる（ステップＳ１７０）。

【0066】

例えば、サービスサーバは特定概念に対する理解度の低いユーザに該当概念に対する深化講座を推薦することができる。

【0067】

更に他の例に、サービスサーバは複数の概念を全て含む問題に対する正答率の低いユーザに前記複数の概念を含むように構成された問題を推薦することができる。

【0068】

延いては、サービスサーバは問題データベースセットのうち、ユーザが既に解いてみた問題を除いて、残りの問題を特定ユーザに対する正答率の低い順に整列して該当ユーザに対する推薦問題リストを作成し、これを提供することができる。

【0069】

例えば、ユーザ−問題の正答率Ｐの１番行の値が［０．３、０．４、０．１、０．９、０．７］の場合、ユーザ１が問題１、２、３、４、５を当てる確率が各々３０％、４０％、１０％、９０％、７０％であると解釈される。サービスサーバは、問題３、１、２、５、４の順に優先順位を与えた問題推薦リストをユーザに提供することができる。この際、問題５番をユーザ１が既に解いたならば、サービスサーバは問題５番は除いて問題推薦リストを作成することができる。

【0070】

本明細書と図面に開示された本発明の実施形態は本発明の技術内容を分かり易く説明し、本発明の理解を助けるために特定例を提示したものであり、本発明の範囲を限定しようとするものではない。ここに掲示された実施形態の以外にも本発明の技術的思想に基づいた他の変形例が実施可能であるということは本発明が属する技術分野で通常の知識を有する者に自明である。

【図1】