特許第6845486号(P6845486)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ワールド ヴァーテックス カンパニー リミテッドの特許一覧

特許6845486神経網基盤機械翻訳およびマスコーパス(Math Corpus)を利用した数学問題概念類型予測サービス提供方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6845486
(24)【登録日】2021年3月2日
(45)【発行日】2021年3月17日
(54)【発明の名称】神経網基盤機械翻訳およびマスコーパス(Math Corpus)を利用した数学問題概念類型予測サービス提供方法
(51)【国際特許分類】
   G06F 16/906 20190101AFI20210308BHJP
   G06F 40/279 20200101ALI20210308BHJP
【FI】
   G06F16/906
   G06F40/279
【請求項の数】10
【全頁数】24
(21)【出願番号】特願2019-173914(P2019-173914)
(22)【出願日】2019年9月25日
(65)【公開番号】特開2020-161111(P2020-161111A)
(43)【公開日】2020年10月1日
【審査請求日】2019年9月25日
(31)【優先権主張番号】10-2019-0035243
(32)【優先日】2019年3月27日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】519292925
【氏名又は名称】ワールド ヴァーテックス カンパニー リミテッド
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】キム、テ ジョン
【審査官】 齊藤 貴孝
(56)【参考文献】
【文献】 特開2016−028346(JP,A)
【文献】 特開2014−010260(JP,A)
【文献】 特開2014−056209(JP,A)
【文献】 特開2014−102383(JP,A)
【文献】 中国特許出願公開第107168949(CN,A)
【文献】 中国特許出願公開第107153640(CN,A)
【文献】 中国特許出願公開第108228568(CN,A)
【文献】 米国特許出願公開第2004/0090439(US,A1)
【文献】 米国特許出願公開第2015/0363391(US,A1)
【文献】 米国特許出願公開第2013/0268263(US,A1)
【文献】 米国特許出願公開第2013/0275122(US,A1)
【文献】 米国特許第09082309(US,B1)
【文献】 米国特許出願公開第2018/0131645(US,A1)
【文献】 遠藤 勉、外3名,対話に基づく初等数学の問題解決手法,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1994年10月21日,第94巻,第292号,p.55−62
【文献】 相澤 彰子、外2名,自然言語処理と計算代数の接合による数学問題へのアプローチ,人工知能学会誌,日本,(社)人工知能学会,2012年 9月 1日,第27巻,第5号,p.483−491
【文献】 阿部 一貴、外3名,意味処理を用いた算数文章題演算処理手法の提案,情報処理学会研究報告 平成21年度(6),日本,社団法人情報処理学会,2010年 4月15日,p.1−8
【文献】 小島 一晃、外1名,過去の作問エピソードを用いた文章題作問システムの試作,第43回 先進的学習科学と工学研究会資料 (SIG−ALST−A403),日本,社団法人人工知能学会,2005年 3月15日,p.81−86
【文献】 岩根 典之、外2名,算数の文章題を対象としたネットワーク型知的教育支援環境,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,1997年 4月25日,第J80−D−II巻,第4号,p.915−924
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00−16/958
G06F 40/00−40/58
(57)【特許請求の範囲】
【請求項1】
数学問題概念類型予測サービス提供サーバー(以下、サーバーと呼ぶ)で実行される数学問題概念類型予測サービス提供方法において、
前記サーバーの入力部が、ネットワークを通じてユーザー端末から受信した数学文章題問題(Math Word Problem)が入力される段階;
前記サーバーの分離部が、前記数学文章題問題を自然語処理(Natural Language Processing)およびイメージ処理を利用してテキストとイメージに分離する段階;
前記サーバーの翻訳部が、前記分離したテキストをマスコーパス(Math Corpus)に基づいて形態素分析および個体名認識を利用して分析し、前記イメージを客体認識および意味分析を利用して分析して数学項を抽出するように数式化翻訳を遂行する段階;
前記サーバーのフィルタ部が、前記数式化翻訳された数学項に基づいて概念類型候補群をフィルタリングして抽出および圧縮する段階;
前記サーバーの分析部が、前記数式化翻訳された数学項を既設定された所有格、対象格、時点格、定数項、未知項、および演算項に分類するように分析する段階;および
前記サーバーの分類部が、神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して前記数学文章題問題の概念類型を分類(Classification)する段階;を含む、神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項2】
前記数学文章題問題(Math Word Problem)が入力される段階前に、前記サーバーの学習部が、
数学問題を解決する端緒に対応する数学問題内テキストのキーワード(Keyword)および数学問題内イメージのキーシンボル(Key−Symbol)の位置および形態を表示したマーキングファイルと、前記数学問題を構文、数式および解説のトリプルモデルの数学言語に変換した翻訳ファイルを類似パターン別に複数対入力を受ける段階;
前記類似パターンの新しい数学問題の原本ファイル複数問題の入力を受け、人工知能で既学習した仮説規則に対応するように分析して構文、数式および解説の数学言語に翻訳ファイルを生成する段階;
ネットワークを通じて専門家端末から受信した前記類似パターンの新しい数学問題の原本ファイル複数問題に対してキーワードおよびキーシンボルが表示されたマーキングファイルと、数学言語に変換された翻訳ファイルの入力を受ける段階;
入力された前記マーキングファイルおよび前記翻訳ファイルと、前記人工知能で前記仮説規則に対応するように分析した翻訳ファイルを比較分析する段階;
比較分析する段階における比較分析結果に基づいて前記既学習された仮説規則を修正および補完してアブダクション(Abduction)規則を生成する段階;をさらに含むものである、請求項1に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項3】
前記数学問題を解決する端緒に対応する前記数学問題内テキストのキーワード(Keyword)および前記数学問題内イメージのキーシンボル(Key−Symbol)の位置および形態を表示したマーキングファイルと、前記数学問題を構文、数式および解説のトリプルモデルの数学言語に変換した翻訳ファイルを類似パターン別に複数対入力を受ける段階は、
前記入力された数学問題の原本ファイルをテキスト領域とイメージ領域に分割してテキスト領域から文章単位で単語表現(Word Embedding)ベクターを抽出し、前記イメージ領域から前記イメージ領域をなすイメージ客体をそれぞれ分離(Object Localization)して第1特徴ベクターを抽出する段階;
前記入力された数学問題のマーキングファイルからキーワード単位で位置情報、字素の形態、個数の情報を第2特徴ベクターとして抽出し、前記キーシンボルの位置、形態および大きさの情報を第3特徴ベクターとして抽出する段階;
前記専門家端末から前記数学問題を数学言語に翻訳した翻訳ファイルから構文、数式および解説のそれぞれを第4特徴ベクターとして抽出する段階;
前記マーキングファイルと原本ファイルから抽出したテキストとイメージに対する第1〜第3特徴ベクターと、前記翻訳ファイルから抽出した第4特徴ベクターの間の関係を分析して仮説規則を生成する段階;を遂行して実行されるものである、請求項2に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項4】
前記構文、数式および解説内の数値は可変要素として処理するものである、請求項3に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項5】
前記神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して前記数学文章題問題の概念類型を分類(Classification)する段階後に、
前記サーバーのマッチング部が、前記分類した概念類型と類似する問題を段階別にマッチングして比較し、前記概念類型で適用されてこそ最適の規則を有するマッチング問題を抽出する段階;をさらに含み、
前記分類した概念類型と類似する問題は、概念単位であるスキーマの類似問題集合分類内に含まれたモデル問題、同値問題、同型問題、同意問題、交差問題、および推理問題を含むものである、請求項1に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項6】
前記モデル問題は、単位概念別に機械学習の指導学習を通じてモデリングされた後にマスコーパスで構築した問題であり、
前記同値問題は、形態と意味が同じである同型−同意問題であって、前記モデル問題と問題の脈絡のキーワードが同じであり解決の手続きも同じである問題であり、
前記同型問題は、形態は同じであるが意味は異なる同型−異義問題であって、前記モデル問題と問題の脈絡のキーワードは同じであるが解決の手続きは異なる問題であり、
前記同意問題は、形態は異なって意味は同じである異型−同意問題であって、前記モデル問題と問題の脈絡のキーワードは異なるが解決の手続きは同じである問題であり、
前記交差問題は、形態が互いに異なり意味も異なる相反−異義問題であって、前記モデル問題と問題の脈絡のキーワードが反対であり解決の手続きも異なる問題であり、
前記推理問題は、形態と意味がすべて異なる異型−異義問題であって、前記モデル問題と問題の脈絡のキーワードが異なり解決の手続きも異なる問題であるものである、請求項5に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項7】
前記神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して前記数学文章題問題の概念類型を分類(Classification)する段階後に、
前記サーバーの解説部が、前記分類した概念類型に基づいて前記数学文章題問題の数式および解説を生成し、前記解説を自然語処理して解説を生成する段階;をさらに含むものである、請求項1に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項8】
前記分離したテキストをマスコーパス(Math Corpus)に基づいて形態素分析および個体名認識を利用して分析し、前記イメージを客体認識および意味分析を利用して分析して数学項を抽出するように数式化翻訳を遂行する段階は、
前記分離したテキストを形態素分析および個体名を認識して所有格、対象格、状況格、および数量格に分ける意味把握段階;
前記分離したテキストのうち、キーワードをキーワード数学翻訳を利用して語彙、数字、数式および記号を用語/記号概念単位未知項、定数項、数式および演算子でそれぞれマッチングして構文分析を数学翻訳に変換する段階;
前記イメージのうち、キーシンボルをキーシンボル数学翻訳を利用して計算機、図形、教具、記号、表、および図を、計算機、形態/意味、定数項、意味、形態/意味、および意味にそれぞれ翻訳し、レンダリング可能なフォーマットに変換して構文分析を数学翻訳に変換する段階;を含むものである、請求項1に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項9】
前記分離したテキストを形態素分析および個体名を認識して所有格、対象格、状況格、および数量格に分ける意味把握段階は、
人物、地域、機関、人工物、および文明に対する個体名は所有格として意味把握する段階;
動物、植物、前記意味把握で把握された人工物を除いた楽器、武器、および交通手段を含む人工物、文明、物質、および色相模様形態に対する用語は対象格として把握する段階;
一般名詞を含む日、時間および方向に対する用語は状況格として把握する段階;および
単位名詞を含む日、時間および数量に対する用語は数量格として把握する段階;を含むものである、請求項8に記載の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法。
【請求項10】
請求項1〜請求項9のいずれか一項に記載された方法を遂行するプログラムが記録された、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法に関し、神経網基盤機械翻訳を利用して文章題を数式で翻訳して解き、その結果を自然語解説で提供するプラットホームを提供する。
【背景技術】
【0002】
最近ディープランニング(Deep Learning)で代表される人工知能技術は音声認識と映像認識をはじめとする多様なパターン認識分野で革新的な性能を記録して多くの研究が進行されている。Alpha Goなどで現れた最近の人工知能は、ディープブルー(Deep Blue)で代表される既存の人工技術とは技術的な側面で大いに異なるが、場合の数を計算するコンピューティングパワーだけでなくビッグデータに基づいて知識を自動で蓄積することによって、与えられた分野では人間水準の知能を越えているという点である。多様な成功的な応用分野ののうち、最近質疑応答、文章生成、翻訳などの自然語処理分野においてもディープランニングは成果を出している。特に、ディープランニングが成功裏に適用される代表的な自然語処理分野が機械翻訳と言えるが、神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation、NMT)は、一つの神経網で翻訳モデルが構成されて学習されるという側面で既存の多様なモジュールに基づいた機械翻訳と異なるパラダイムを提示している。
【0003】
この時、数学文章題問題(Math Word Problem、MWP)を人工知能と解く方法が研究および開発されたが、これと関連して、先行技術であるアメリカ登録特許第7373291号(2008年03月13日公告)には、数学的な認識の正確度を向上させるための新しい情報の根源、言語学的モデルを数学的なドメインに拡張し、自然語認識と関連した方法で数学の人工言語を認知する方法が開示されている。また、アメリカ公開特許第2015−0363390号(2015年12月17日公開)には、自然語処理を通じて算術または対数文章型問題を解決し応答できるように、入力文を受信して入力文と関連した複数の文章の中にあるそれぞれの文章が数学的観点で適格な文章であるかを決定し、それぞれの適格な文章を方程式を形成するための数学式に変換し、これを再び自然語に解く構成が開示されている。そして、韓国登録特許第10−1842873号(2018年03月28日公告)には、数学式を含む文章やイメージから演算子と因子を認識し、認識した演算子と因子を含んだ数学式に対する意味を翻訳して出力し、因子と演算子の関係を自然語に翻訳して出力することによって数学式の翻訳文を提供し、翻訳は、演算子と因子の関係を解釈し、演算子の自然語意味を抽出した後、抽出した演算子の自然語意味と因子で翻訳文を構成する方式で遂行する構成を開示する。
【0004】
ただし、数学文章題問題(Math Word Problem、MWP)を解釈するにおいて、その種類が多様でデータの量も巨大なデータセット(Data Set)に適用するには正確度が落ちる問題があり、前述した韓国登録特許を利用するといっても、韓国語基盤数学用語自然語処理のためのマスコーパス(Math Corpus)の構築が不備であるため、複雑かつ多様な数学問題を解釈し、問題の類型を分類して問題を解くのにその正確度が非常に落ちる。最近、2019年度の大学修学能力試験においてもAIは、30質問項目のうち5問題だけを当て、130万点に16点という受験生の平均である51点にもはるかに及ばない点数を得、推論および思考力問題には全く対応できないことが明らかとなった。すでに、アメリカ、中国および日本は神経網を構築しつつAIに国家試験を受けさせているが、韓国は神経網を構築して実験中の国家や団体が全くなく、それさえもすぐにお金となる金融市場にのみ集中しており、基礎科学の研究には疎かな韓国内の現実を覗き見ることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の一実施例は、数学問題のうち、数学文章題問題(Math Word Problem、MWP)に対して数学問題テキストをマスコーパス(Math Corpus)に基づいて数学項を抽出し、神経網翻訳(Neural Machine Translation、NMT)を利用してなぜそのような翻訳方法を選択したかを説明できるようにし、人工知能およびディープランニングで構築されたレベリングおよびマーキングを通じての学習を進行するようにし、セマンティック分析で意味分析を通じての翻訳規則の最適化を通じて、新しい数学問題が入力された時に問題の類型を自動で分類(Classification)できる数学エンジンプラットホームを提供できる、神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法を提供することができる。ただし、本実施例が達成しようとする技術的課題は前記のような技術的課題に限定されず、さらに他の技術的課題が存在し得る。
【課題を解決するための手段】
【0006】
前述した技術的課題を達成するための技術的手段として、本発明の一実施例は、数学文章題問題(Math Word Problem)が入力される段階、数学文章題問題を自然語処理(Natural Language Processing)およびイメージ処理を利用してテキストとイメージに分離する段階、分離したテキストをマスコーパス(Math Corpus)に基づいて形態素分析および個体名認識を利用して分析し、イメージを客体認識および意味分析を利用して分析して数学項を抽出するように数式化翻訳を遂行する段階、数式化翻訳された数学項に基づいて概念類型候補群をフィルタリングして抽出および圧縮する段階、数式化翻訳された数学項を既設定された所有格、対象格、時点格、定数項、未知項、および演算項に分類するように分析する段階、および神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して数学文章題問題の概念類型を分類(Classification)する段階を含む。
【発明の効果】
【0007】
前述した本発明の課題解決手段のうちいずれか一つによると、数学問題のうち、数学文章題問題(Math Word Problem、MWP)に対して数学問題テキストをマスコーパス(Math Corpus)に基づいて数学項を抽出し、神経網翻訳(Neural Machine Translation、NMT)を利用してなぜそのような翻訳方法を選択したかを説明できるようにし、人工知能およびディープランニングで構築されたレベリングおよびマーキングを通じての学習を進行するようにし、セマンティック分析で意味分析を通じての翻訳規則の最適化を通じて新しい数学問題が入力された時に問題の類型を自動で分類(Classification)できる数学エンジンプラットホームを提供することができる。
【図面の簡単な説明】
【0008】
図1】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供システムを説明するための図面である。
図2図1のシステムに含まれた数学問題概念類型予測サービス提供サーバーを説明するためのブロック構成図である。
図3a】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図3b】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図3c】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図3d】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図3e】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図3f】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図3g】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図4a】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図4b】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図4c】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図5a】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図5b】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図5c】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図5d】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図6a】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図6b】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図6c】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図6d】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図6e】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図6f】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
図7】本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法を説明するための動作フローチャートである。
【発明を実施するための形態】
【0009】
以下では添付した図面を参照して、本発明が属する技術分野で通常の知識を有する者が容易に実施できるように本発明の実施例を詳細に説明する。しかし、本発明は多様な異なる形態で具現され得、ここで説明する実施例に限定されない。そして、図面で本発明を明確に説明するために説明と関係のない部分は省略したし、明細書全体を通じて類似する部分については類似する図面符号を付した。
【0010】
明細書全体において、あう部分が他の部分と「連結」されているとする時、これは「直接的に連結」されている場合だけでなく、その中間に他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」とする時、これは特に反対の記載がない限り、他の構成要素を除くものではなく他の構成要素をさらに含むことができることを意味し、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
【0011】
明細書全体において使われる程度の用語「約」、「実質的に」等は、言及された意味に固有な製造および物質許容誤差が提示される時にその数値でまたはその数値に近接した意味として使われ、本発明の理解を助けるために正確または絶対的な数値が言及された開示内容を非良心的な侵害者が不当に利用することを防止するために使われる。本発明の明細書全体において使われる程度の用語「〜(する)段階」または「〜の段階」は「〜のための段階」を意味しない。
【0012】
本明細書において「部」とは、ハードウェアによって実現されるユニット(unit)、ソフトウェアによって実現されるユニット、両方を利用して実現されるユニットを含む。また、1個のユニットが2個以上のハードウェアを利用して具現されてもよく、2個以上のユニットが1個のハードウェアによって具現されてもよい。
【0013】
本明細書において端末、装置またはデバイスが遂行するものと記述された動作や機能のうち一部は、該当端末、装置またはデバイスと連結されたサーバーで代わりに遂行されてもよい。これと同様に、サーバーが遂行するものと記述された動作や機能のうち一部も、該当サーバーと連結された端末、装置またはデバイスで遂行されてもよい。
【0014】
本明細書であって、端末とマッピング(Mapping)またはマッチング(Matching)と記述された動作や機能のうち一部は、端末の識別情報(Identifying Data)である端末機の固有番号や個人の識別情報をマッピングまたはマッチングするという意味で解釈され得る。
【0015】
以下添付された図面を参照して本発明を詳細に説明する。
【0016】
図1は、本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供システムを説明するための図面である。図1を参照すると、神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供システム1は、少なくとも一つのユーザー端末100、数学問題概念類型予測サービス提供サーバー300、少なくとも一つの専門家端末400を含むことができる。ただし、このような図1の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供システム1は、本発明の一実施例に過ぎないため、図1を通じて本発明が限定解釈されるものではない。
【0017】
この時、図1の各構成要素は一般にネットワーク(network、200)を通じて連結される。例えば、図1に図示された通り、少なくとも一つのユーザー端末100はネットワーク200を通じて数学問題概念類型予測サービス提供サーバー300と連結され得る。そして、数学問題概念類型予測サービス提供サーバー300は、ネットワーク200を通じて少なくとも一つのユーザー端末100、少なくとも一つの専門家端末400と連結され得る。また、少なくとも一つの専門家端末400は、ネットワーク200を通じて数学問題概念類型予測サービス提供サーバー300と連結され得る。
【0018】
ここで、ネットワークは、複数の端末およびサーバーのようなそれぞれのノードの相互間に情報交換が可能な連結構造を意味するものであって、このようなネットワークの一例には、RF、3GPP(3rd Generation Partnership Project)ネットワーク、LTE(Long Term Evolution)ネットワーク、5GPP(5th Generation Partnership Project)ネットワーク、WIMAX(World Interoperability for Microwave Access)ネットワーク、インターネット(Internet)、LAN(Local Area Network)、Wireless LAN(Wireless Local Area Network)、WAN(Wide Area Network)、PAN(Personal Area Network)、ブルートゥース(登録商標)(Bluetooth(登録商標))ネットワーク、NFCネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、DMB(Digital Multimedia Broadcasting)ネットワークなどが含まれるが、これに限定されはしない。
【0019】
下記で、少なくとも一つのという用語は単数および複数を含む用語と定義され、少なくとも一つのという用語が存在せずとも各構成要素が単数または複数で存在し得、単数または複数を意味できることは自明であると言える。また、各構成要素が単数または複数で備えられることは、実施例により変更可能であると言える。
【0020】
少なくとも一つのユーザー端末100は、神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス関連ウェブページ、アプリケーションページ、プログラムまたはアプリケーションを利用して数学問題を解く学生などの端末であり得る。この時、少なくとも一つのユーザー端末100は、数学問題のうち、数学文章題問題(Math Word Problem、MWP)の解釈および解説を所望する学生の端末であり得、このために数学文章題問題を数学問題概念類型予測サービス提供サーバー300で伝送する端末であり得る。そして、少なくとも一つのユーザー端末100は、リアルタイムで問題解釈および解説などのフィードバックデータを数学問題概念類型予測サービス提供サーバー300に伝送を受けることができる端末であり得る。この時、少なくとも一つのユーザー端末100は、数学問題を質疑し得返事をもらう過程を自然語で人工知能チャットボットまたはチャットエージェントと進行できる端末であり得、人工知能チャットボットまたはチャットエージェントは数学問題概念類型予測サービス提供サーバー300から提供されたインターフェースで駆動され得る。
【0021】
ここで、少なくとも一つのユーザー端末100は、ネットワークを通じて遠隔地のサーバーや端末に接続できるコンピュータで具現され得る。ここで、コンピュータは例えば、ナビゲーション、ウェブブラウザ(WEB Browser)が搭載されたノートパソコン、デスクトップ(Desktop)、ラップトップ(Laptop)等を含むことができる。この時、少なくとも一つのユーザー端末100は、ネットワークを通じて遠隔地のサーバーや端末に接続できる端末で具現され得る。少なくとも一つのユーザー端末100は、例えば、携帯性と移動性が保証される無線通信装置であって、ナビゲーション、PCS(Personal Communication System)、GSM(登録商標)(Global System for Mobile communications)、PDC(Personal Digital Cellular)、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)、IMT(International Mobile Telecommunication)−2000、CDMA(Code Division Multiple Access)−2000、W−CDMA(W−Code Division Multiple Access)、Wibro(Wireless Broadband Internet)端末、スマートフォン(smartphone)、スマートパッド(smartpad)、タブレットPC(Tablet PC)等のようなすべての種類のハンドヘルド(Handheld)基盤の無線通信装置を含むことができる。
【0022】
数学問題概念類型予測サービス提供サーバー300は、神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスウェブページ、アプリケーションページ、プログラムまたはアプリケーションを提供するサーバーであり得る。そして、数学問題概念類型予測サービス提供サーバー300は、ユーザー端末100から数学問題のうち数学文章題問題が受信される場合、自然語処理およびイメージ処理を利用してテキストとイメージに分離し、分離したテキストをマスコーパス(Math Corpus)に基づいて個体名を認識(Named Entity Recognition)し、数学項を抽出するサーバーであり得る。そして、数学問題概念類型予測サービス提供サーバー300は、数式化翻訳された数学項に基づいて入力された数学文章題問題に適用された概念と類似する概念類型を有する概念類型候補群を抽出するサーバーであり得る。また、数学問題概念類型予測サービス提供サーバー300は、数式化翻訳された数学項を分析し、神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)と各文章パターンの定義に基づいて構文のパターンを分析して概念類型を分類できるサーバーであり得る。これにより、数学問題概念類型予測サービス提供サーバー300は、ユーザーが質疑した問題を解くことができる概念類型を正確に予測し、予測した概念類型を適用して問題を解釈し、これを再び自然語に変換してユーザーに説明をする方法でリアルタイムでフィードバックをユーザー端末100で伝達するサーバーであり得る。前述した処理のために、数学問題概念類型予測サービス提供サーバー300は、神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)モデルを構築するために人工知能機械学習を進行させるサーバーであり得、学習方法は指導学習、半指導学習、強化学習などによって進行され得る。
【0023】
ここで、数学問題概念類型予測サービス提供サーバー300は、ネットワークを通じて遠隔地のサーバーや端末に接続できるコンピュータで具現され得る。ここで、コンピュータは例えば、ナビゲーション、ウェブブラウザ(WEB Browser)が搭載されたノートパソコン、デスクトップ(Desktop)、ラップトップ(Laptop)等を含むことができる。
【0024】
少なくとも一つの専門家端末400は、神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス関連ウェブページ、アプリケーションページ、プログラムまたはアプリケーションを利用する専門家の端末であり得る。この時、少なくとも一つの専門家端末400は、数学問題概念類型予測サービス提供サーバー300でトレーニングデータを利用して神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)モデルを構築するために学習する時、人工知能に学習の基準を設定するために数学問題を数学言語に変換した翻訳ファイルを提供する端末であり得る。そして、少なくとも一つの専門家端末400は、人工知能の学習結果で神経網基盤機械翻訳モデルが構築された時、リアルタイムで受信される数学問題を人工知能で処理した結果を校正したりエラーを正すためのデータを数学問題概念類型予測サービス提供サーバー300に伝送する端末であり得る。
【0025】
ここで、少なくとも一つの専門家端末400は、ネットワークを通じて遠隔地のサーバーや端末に接続できるコンピュータで具現され得る。ここで、コンピュータは例えば、ナビゲーション、ウェブブラウザ(WEB Browser)が搭載されたノートパソコン、デスクトップ(Desktop)、ラップトップ(Laptop)等を含むことができる。この時、少なくとも一つの専門家端末400は、ネットワークを通じて遠隔地のサーバーや端末に接続できる端末で具現され得る。少なくとも一つの専門家端末400は、例えば、携帯性と移動性が保証される無線通信装置であって、ナビゲーション、PCS(Personal Communication System)、GSM(登録商標)(Global System for Mobile communications)、PDC(Personal Digital Cellular)、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)、IMT(International Mobile Telecommunication)−2000、CDMA(Code Division Multiple Access)−2000、W−CDMA(W−Code Division Multiple Access)、Wibro(Wireless Broadband Internet)端末、スマートフォン(smartphone)、スマートパッド(smartpad)、タブレットPC(Tablet PC)等のようなすべての種類のハンドヘルド(Handheld)基盤の無線通信装置を含むことができる。
【0026】
図2図1のシステムに含まれた数学問題概念類型予測サービス提供サーバーを説明するためのブロック構成図であり、図3図6は本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスが具現された一実施例を説明するための図面である。
【0027】
図2を参照すると、数学問題概念類型予測サービス提供サーバー300は、入力部310、分離部320、翻訳部330、フィルタ部340、分析部350、分類部360、学習部360、マッチング部380、解説部390を含むことができる。
【0028】
本発明の一実施例に係る数学問題概念類型予測サービス提供サーバー300や連動して動作する他のサーバー(図示されず)が、少なくとも一つのユーザー端末100、および少なくとも一つの専門家端末400に神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスアプリケーション、プログラム、アプリケーションページ、ウェブページなどを伝送する場合、少なくとも一つのユーザー端末100、および少なくとも一つの専門家端末400は、神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービスアプリケーション、プログラム、アプリケーションページ、ウェブページなどを設置したり開くことができる。また、ウェブブラウザで実行されるスクリプトを利用してサービスプログラムが、少なくとも一つのユーザー端末100、および少なくとも一つの専門家端末400で駆動されてもよい。ここで、ウェブブラウザはウェブ(WWW:world wide web)サービスを利用できるようにするプログラムであって、HTML(hyper text mark−up language)で叙述されたハイパーテキストを受けて見せてくれるプログラムを意味し、例えばネットスケープ(Netscape)、エクスプローラ(Explorer)、クロム(chrome)等を含む。また、アプリケーションは端末上のアプリケーション(application)を意味し、例えば、モバイル端末(スマートフォン)で実行されるアプリケーション(app)を含む。
【0029】
図2を参照すると、入力部310は、数学文章題問題(Math Word Problem)が入力される。この時、数学文章題問題とは、外形的には文章で表現された問題を指すが、文章題の一般的な意味はストーリーが入っている問題であって、数学的な知識を基本内容とするが、これを素材にする問題的状況が文章で提示されている状態の問題を意味する。文章題の構成要素は、問題解決的な要素を中心に問題の構成要素を文章の脈絡(context)、力学(mechanics)、形態(format)を含む。文章題を構成する文章は、指定陳述、関係陳述、質疑陳述、事実陳述の四種類に分けられ得るが、指定陳述はある変数に対して一定の数値を指定する文章である。例えば、「バラ一輪に1000ウォンである」という文章は指定陳述になる。関係陳述は二つの変数間の算術的関係を表すためにある変数を他の変数と関連させる文章である。例えば、「長方形の横の長さは縦の長さより5cmさらに長い」は関係陳述である。そして、質疑陳述はある変数の値に該当する単一の数値を求めるように要求する文章であり、事実陳述は与えられた問題に統合性を付与するために要求される事実を陳述する文章である。
【0030】
分離部320は、数学文章題問題を自然語処理(Natural Language Processing)およびイメージ処理を利用してテキストとイメージに分離することができる。この時、自然語処理とは、人間が発話する言語現象を機械的に分析してコンピュータが理解できる形態に作る自然言語理解あるいはそのような形態を再び人間が理解できる言語で表現する諸般技術を意味する。自然語処理方式としては伝統的に規則基盤接近法、統計基盤接近法があり、この二つの強みを統合したハイブリッド方式があり、人工神経網方式があるが、最近浮上しているディープランニング(Deep Learning)が人工神経網方式に該当する。ディープランニングを利用した方式は入力文章と出力文章を一つの対にして置き、最も適合した表現および翻訳結果を探す方式である。自然語処理方式は、まず品詞の付着(POS tagging)から始まるが、品詞の付着は自然語処理技術のうち最も基本となる技術である。膠着語に該当する韓国語は屈折語である英語とは異なって品詞の付着を形態素分析後で遂行することに一般化されているが、形態素分析をせず、品詞付着を遂行する方法も利用され得る。二番目はパーシング(parsing)過程である構文の分析である。韓国語は語順が自由であって、主語を含んだ必須項の省略が頻繁に起きる特徴により構文分析の難易度が高いが、国で開発したセジョンコーパスが利用され得、これに加え、マスコーパス(Math Corpus)も利用され得る。これに加えて、校正(spelling)がさらに含まれ得るが、韓国語校正技術の場合、分かち書き校正と綴り校正技術に大別される。韓国語分かち書きの場合、主にコーパス基盤の統計基盤方式で進行され得るがこれに限定されはしない。韓国語綴り校正研究の場合、韓国語が有する膠着語の特性によりN−gram方式の接近が難しいため、韓国語の綴り校正はrule−based方式で校正語彙対を使用することができるが、同様にこれに限定されるものではない。また、重義性解消(Word Sense Disambiguation、WSD)は主に小規模の意味タグ付きコーパスや辞書の情報などを利用してエントロピー情報、条件付き確率、相互情報などを使って多様に進行され得る。韓国語学習データには目、手、言葉など、重義性がある語彙に対してそれぞれ数十個のデータが含まれ得る。そして、相互参照(Coreference Resolution)がさらに含まれ得る。最後に、個体名認識(Named Entity Recognition、NER)過程がさらに付加され得るが、韓国語個体名認識の場合、多様なドメインで多様なモデルを使うことができる。
【0031】
翻訳部330は、分離したテキストをマスコーパス(Math Corpus)に基づいて形態素分析および個体名認識を利用して分析し、イメージを客体認識および意味分析を利用して分析して数学項を抽出するように数式化翻訳を遂行できる。この時、翻訳部330は前述した自然語処理技術を続けて利用して形態素を分析し、品詞をタギングし、個体名を認識するなどの過程を遂行できる。本発明の文章題は、テキスト領域とイメージ領域を含む文章題問題を仮定するため、前述した過程が発生する可能性があるが、もしイメージ領域が存在せず、テキスト領域だけで構成される場合には、イメージ領域内の客体認識および意味分析過程は省略され得る。この時、マスコーパス(Math Corpus)は、コーパス(Corpus)とともに数学の問題モデルを定義し、区分するために数学および数学問題を定義する分野で一つの問題を代表するものと考えられるテキスト、発話またはその他標本のコーパスであって、データベースに保存されたものである。自然語処理でコーパス構築の程度が自然語処理正確度を決めるように、数学問題を処理する過程でも問題モデルであるマスコーパスがどの程度構築されているかにより、問題モデルをタギングし、ドメインを定義し、学習させ分離する過程の正確度が高くなり得る。したがって、翻訳部330は、問題モデルを分離するために既構築されたマスコーパスを利用してテキストとイメージから意味分析、翻訳および解決法を探索するための最初の段階として、文章題を翻訳して数学言語に変換させることができる。
【0032】
フィルタ部340は、数式化翻訳された数学項に基づいて概念類型候補群をフィルタリングして抽出および圧縮することができる。図4bを参照すると例えば、概念類型が、二進木や上位−下位メニューを区分する形式で構造化され、第1レベルには、問題形式1(単一問題/セット問題)、第2レベルには、二番目に問題形式2(計算題/文章題/図解題)、第3レベルには、問題類型1(計算機演算型、計算パズル型、単位演算型、方程式型、規則適用型、エラー修正型、四則演算型、陳述完成型、例題提示型、数量比較型、エラー校正型、状況類推型、パターン分析型、数値比較型、垂直線型、漫画対話型、図表作成型、類似図表型)、第4レベルには問題類型2(集める、分ける、補助計算、縦計算、横計算、不等式計算、連結計算、樹形図計算、矢印計算、ウォナン計算、足し算の合併型、足し算の添加型、足し算の比較型など)が存在すると仮定すると(レベルの大きさが高くなるほど子ノード)、フィルタ部340は、翻訳された数学項が、第1レベルに存在する問題形式1のうちいずれであるかを区分し、もしセット問題であれば、第2レベルに存在する問題形式2のうち計算題セット問題であるか文章題セット問題であるかを比較し、もし計算題問題であれば、計算機演算型であるかなどを区分してその候補群を次第に狭めていくのである。最終的に問題型がセット問題(第1レベル)−計算題(第2レベル)−計算機演算型(第3レベル)−集める(第4レベル)に区分されたのであれば、フィルタ部340は、セット問題−計算題−計算機演算型−集める内に含まれた候補群を抽出することになる。
【0033】
再び図2に戻り、分析部350は、数式化翻訳された数学項を既設定された所有格、対象格、時点格、定数項、未知項、および演算項に分類するように分析することができる。この時、翻訳部330で分離されたテキストをマスコーパス(Math Corpus)に基づいて形態素分析および個体名認識を利用して分析し、イメージを客体認識および意味分析を利用して分析して数学項を抽出するように数式化翻訳を遂行しつつ、分離されたテキストを形態素分析および個体名を認識して所有格、対象格、状況格、および数量格に分ける意味把握段階、分離したテキストのうち、キーワードをキーワード数学翻訳を利用して語彙、数字、数式および記号を用語/記号概念単位未知項、定数項、数式および演算子にそれぞれマッチングして構文分析を数学翻訳に変換する段階、イメージのうち、キーシンボルをキーシンボル数学翻訳を利用して計算機、図形、教具、記号、表、および図を、計算機、形態/意味、定数項、意味、形態/意味、および意味にそれぞれ翻訳し、レンダリングが可能なフォーマットに変換して構文分析を数学翻訳に変換する段階を遂行したので、変換された翻訳を基準として分類するプロセスを遂行できる。ここで、翻訳部330で分離されたテキストを形態素分析および個体名を認識して所有格、対象格、状況格、および数量格に分ける意味把握段階は、人物、地域、機関、人工物、および文明に対する個体名は所有格として意味把握し、動物、植物、意味把握で把握された人工物を除いた楽器、武器、および交通手段を含む人工物、文明、物質、および色相模様形態に対する用語は対象格として把握し、一般名詞を含む日、時間および方向に対する用語は状況格として把握し、単位名詞を含む日、時間および数量に対する用語は数量格として把握することで遂行され得る。ただし、前述した定義は前述したものに確定されるものではなく、実施例により変更および変形され得ることは自明であり、人工知能の学習結果により変更され得ることも言うまでもない。
【0034】
分類部360は、神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して数学文章題問題の概念類型を分類(Classification)することができる。この時の分類は、フィルタ部340で候補群に抽出した問題類型から抽出した候補群内で最も類似する候補群をマッチングし、最適の規則マッチング問題を抽出して、ユーザーが質疑した数学問題に適用され得る最適の規則および類似問題を分類(予測)するのである。このように、ユーザーが質疑した問題に適用され得る最適の規則および類似問題が抽出されると、後述する解説部390で最適の規則を該当質疑した問題に適用して解説を生成することになる。
【0035】
一方、学習部370は、入力部310から数学文章題問題(Math Word Problem)が入力される前に、該当文章題問題を解くための神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)モデルを構築しなければならない。すなわち、何らかの質疑(Query)を処理するためには、これを処理するためのアルゴリズムが構築されなければならない。例えば、y=f(x)というアルゴリズムが存在する場合、xという入力値が処理されるためには、f()という関数(アルゴリズム)が定義されていないと、xを入力とするyを導き出すことができない。同様に、入力部310で入力された質疑(数学文章題問題)を処理するためには、これを分析して解説を進行させるアルゴリズムが設けられていなければならず、本発明の一実施例では神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)モデルを構築して利用する。
【0036】
この時、神経網基盤機械翻訳は、一つの神経網で翻訳モデルが構成され学習されるという側面で、既存の多様なモジュールに基づいた機械翻訳と異なるパラダイムを提示している。一般的に神経網基盤機械翻訳はエンコーダ(Encoder)とデコーダ(Decoder)で構成されるが、単語で構成された入力文章をエンコーダがベクター空間に表現し、これをデコーダが再び出力文章の単語を一つずつ順次作り出すことで翻訳過程が進行される。このような過程は、伝統的な機械翻訳システムが単語をシンボル(Symbols)水準で直接取り扱っているのと相反する。この時、神経網基盤機械翻訳の説明に先立って、背景知識となるディープランニングの主なアルゴリズムを説明した後に神経網基盤機械翻訳を説明する。
【0037】
第1は、オートエンコーダ(AutoEncoder)である。深層網が逆電波だけでは学習が容易でない場合、事前学習過程を使うことができるが、深層網の階層をあらかじめ非監督学習(Unsupervised learning)で学習後、階層を連結して深層網を構成する。オートエンコーダは簡単な神経網であるが、入力(visible)と出力(reconstruction)のターゲットは同じである。すなわち、エンコーディング後にデコーディングした時に本来の入力と同じにならなければならないというものであって、エンコーディングで発生する情報の損失が最小化されることを期待する。エンコーディング行列に対してデコーディングは転置(transpose)で表現できるため同じ変数を使用することができる。学習は復旧エラーの逆電波に基づく。神経網モデルで文章をオートエンコーディングできるが、入力文章がベクターでエンコーディングされて表現され、デコーダが本来の文章を復旧することができる。これを時系列オートエンコーダ(Sequential AutoEncoder、SAE)という。エンコーダとデコーダの言語が異なる場合、翻訳モデルに作られ得るが、例えば文章題数学問題をエンコーディングして表現されたベクターを自然語にデコーディングする場合、これはすなわち、数学の問題解説となる。エンコーダとデコーダは言語別に構成されるが、学習は互いに異なる言語のエンコーダ−デコーダが共に行われなければならない。すなわち、オートエンコーダで各言語別エンコーダとデコーダを学習し、単に互いに異なる言語のエンコーダとデコーダを連結することでは翻訳モデルとしての役割をすることはできない。なぜならば、SAEで学習する場合、エンコーダが作る文章の表現は意味基盤のものではないためである。ひいては、二つの言語のSAEで学習後に両モデルの文章表現の間のマッピング関数を学習することもできないのであるが、同様の理由である。万一、単一語コーパスでオートエンコーダを学習して意味基盤の文章表現が可能であれば、後述する神経網基盤機械翻訳で並列コーパスの量が足りない問題が現在のようには深刻でないはずである。オートエンコーダ概念は並列コーパスが足りない場合、再翻訳(back−translation)という技法で再び現れる。翻訳後に再翻訳する場合、本来の入力文章と同じとなることを望むものであるが、この時は翻訳自体がエンコーディングとなり再翻訳がデコーディングとなる形態となる。
【0038】
第2は、ワードエンベッディング(Word Embedding)である。シンボルからなる単語の連続である文章を神経網に入力するにはこれらをベクターに変換しなければならないが、ワードエンベッディングという手順を経て変換する。ワードエンベッディングのために、まずすべての単語を集めた単語辞書を作る。この辞書は普通の辞書とは異なり、ただ単語のリストであって、このリストを作る方法はコーパスで最も頻繁に表れる単語を探して作るのが一般的である。辞書の製作が終ると順序が決まるのであるが、順序に特別な意味はなく、一度決まった順序はその単語のIDとなる。このIDを利用して各単語に該当するワンホット(one−hot)表現のベクターを作ることができる。例えば、単語の個数が合計10Kであれば10K次元のベクターを作り、その単語のIDが7であれば10K次元のベクターですべての値は0であり、7番目の値のみ1となるベクターとなる。単語がベクターの形態で表現されたが、各単語間の距離はすべて同じである。すなわちこの表現は何の意味を有さないのであるが、学習前に作られたベクターが無意味なものであることは当然である。ワンホットベクターを意味を表現するベクターに変換する過程はワードエンベッディング行列を使う。D次元のワードエンベッディングを得るためには、エンベッディング行列はNxD行列となる。すなわち、N次元のワンホットベクターをNxD行列に積算することでD次元のベクターを得ることができる。この行列の初期値はよくランダムに与えられ、学習を通じてその値が決定されるが、そのベクター値は空間で単語の意味を含むことになり、類似する意味の単語はベクター空間から近いところに位置することになる。ワードエンベッディング行列は初期値はランダムで始まって学習をする変数であるが、神経網基盤翻訳モデルの入出力に連結されて共に学習されてもよく、他のアルゴリズムで事前に学習した結果を持って行って使うこともできる。事前学習のためのアルゴリズムとしてはモデルとデータの構造により、Skip−gram、CBOW、言語モデル(Language model)、TransEなどが使われ得るが、これに限定されるものではない。また、事前学習された結果を固定し、神経網基盤翻訳モデルの他の変数のみ学習してもよく、共に追加学習してもよい。
【0039】
第3は、複合性原理(The Principle of Compositionality)である。
【0040】
学習されたワードエンベッディング行列が単語の意味を決定するが、これで文章の意味が決定されるわけではない。例えば、「Mary loves John」と「John loves Mary」は同じ単語で構成されているが、他の意味の文章となる。すなわち、文章の意味は単語の意味と共に結合される方式によって決定されるが、これを複合性原理という。自然語処理で複合性の原理は有限な単語と有限な結合方式を通じてほぼ無限に近い文章を作ることができる生産性(productivity)と、このような無限の文章が作られ理解するための体系性(systematicity)を含む。これを適用した神経網は以下の通りである。
【0041】
まず、循環神経網(Recurrent Neural Networks、RNNs)は、一般神経網の各階層で上位階層への連結だけでなく自分自身の階層にも連結を作るが、このような戻ってくる連結はメモリの役割をすることによってデータの時間的な変化をモデリングできるようにする。この時、戻ってくる連結に対する学習はLSTM(Long Short−Term Memory)、GRU(Gated Recurrent Unit)、iRNN、uRNN、PRU(Persistant Recurrent Units)が利用され得る。そして、畳み込み神経網(Convolutional Neural Networks、CNNs)の重要な特徴のうち一つは脳神経科学的な発見に基づいたモデルであるということであるが、これは地域的受容野(local receptive fields)、プーリング(pooling)のような概念に基づいて地域的受容野を全体イメージに畳み込んで(convolution)神経網の連結強度を共有する方法で変数の数を大幅に縮小したものである。事前学習がなくても学習可能な理由は、地域的連結と共有された連結が逆伝播されるエラー情報を消えないようにしエラーの分散を減らすためである。この時、神経網基盤翻訳モデルで畳み込み神経網が使われる場合、複合性の原理はカーネル(kernel)によって具現される。つまり、RNNで循環連結が行う結合の役割を多様な階層のカーネルが行っているのである。また、注意技法(Attention Mechanism)は、RNNあるいはCNNが行う役割を注意技法が代替することによってエンコーダとデコーダにそれぞれ一つずつの注意技法があり、その両者間にもう一つの注意技法があるモデルとなる。RNNあるいはCNNでの結合の原理がそれぞれ循環連結あるいはカーネル強度によってモデルされ学習されるのに対し、注意技法モデルでは各単語別に必要な単語に注意を置くことによって直接結合する。最後に、言語モデル(Language Model)は言語の統辭的あるいは意味的構造をモデリングして学習する。一般的に言語モデルはオート回帰(Auto Regressive)モデルと見なすことができるが、その前までに与えられた単語からその次の単語の確率を計算することになり、これを通じて全体の文章の傾向(Likelihood)を確認することができる。
【0042】
前述した基本概念に基づいて神経網基盤翻訳モデル(Neural Machine Translation Models)を説明する。
【0043】
神経網基盤翻訳モデルは、入力文章とターゲット文章が共にある学習の場合と入力文章のみがある実際の翻訳の場合、エンコーダの部分は同じであり、デコーダで若干の差がある。翻訳モデルの学習は入力文章が与えられた時にターゲット文章の確率を最大化するように学習し、ターゲット文章の場合、言語モデルのようにその前までの単語も与えられた条件で現在の単語の確率の積で表現される。まず、入力文章の場合、エンコーディングをすることになる。与えられた文章が単語のIDで構成されているので、前述したようにワードエンベッディングを経た後単語ベクターに変換する。そして、この単語ベクターを入力に両方向RNNを経る。RNNはLSTMあるいはGRUなどを使うことができる。順方向と逆方向出力値を合わせて(concatenate)エンコーディングの結果ベクターを作る。
【0044】
デコーダはRNNと単純神経網で構成される。RNNは隠匿値および入力値を利用して出力データを出力する構造を有することになるが、単純神経網を適用して結果値を得ることになり、最後のアルゴリズムを経ながら出力データを予測することになる。出力データを予測する時の学習の場合にはターゲット文章が存在するのでこれを使用できるが、実際の翻訳の場合には正解ターゲットが存在しないため、予測した結果を使うしかない。この場合、学習と実際の翻訳の間に差が発生し得る。パターン認識の場合、既設定された条件を満足しなければならないが、学習と実際の翻訳間の差を減らすために、スケジュールサンプリング(Scheduled Sampling)技法と強化学習などが利用され得る。
【0045】
翻訳モデルの学習は他のディープランニングモデルの学習と同様に多様な最適化アルゴリズム(RMSprop、Adam、あるいはAdadelta)の中から選択して使うことができる。翻訳モデルは翻訳システムとしても重要であるが、それ自体でディープランニングにおいて多様な応用分野に直間接的に活用されるという面で重要である。まず要約(summarization)は翻訳モデルを略そのまま適用可能である。すなわち段落あるいは文書を入力とし、要約結果を出力として翻訳する。もちろん要約の特性を考慮してモデルを改善することもできる。イメージキャプション生成も翻訳モデルの一部(正確にはデコーダの部分)をそのまま使用することができ、イメージをCNNでエンコーディングし、デコーダは前述した同じ方式を使ってキャプション文章を生成することができる。その他にも時系列データを他の時系列データに変換する応用は翻訳に理解し翻訳モデルを修正して適用することができる。前述した方法は本発明の一実施例の変更につれて、変更または変形適用され得、前述したものに限定されないことは自明である。
【0046】
前述した神経網基盤翻訳モデルの概念に基づいて、継続学習部370のプロセスを説明する。学習部370は、数学問題を解決する端緒に対応する数学問題内テキストのキーワード(Keyword)および数学問題内イメージのキーシンボル(Key−Symbol)の位置および形態を表示したマーキングファイルと、数学問題を構文、数式および解説のトリプルモデル(構文−数式−解釈)の数学言語に変換した翻訳ファイルを類似パターン別に複数対入力を受けることができる。そして、学習部370は、類似パターンの新しい数学問題の原本ファイル複数問題の入力を受け、人工知能で既学習した仮説規則に対応するように分析して構文、数式および解説の数学言語に翻訳ファイルを生成することができる。また、専門家端末400から類似パターンの新しい数学問題の原本ファイル複数問題に対してキーワードおよびキーシンボルが表示されたマーキングファイルと、数学言語に変換された翻訳ファイルの入力を受け、専門家端末400から入力されたマーキングファイルおよび翻訳ファイルと、人工知能で仮説規則に対応するように分析した翻訳ファイルを比較分析し、比較分析結果に基づいて既学習された仮説規則を修正および補完してアブダクション(Abduction)規則を生成することができる。この時、アブダクションからくち、結果を通じて中間段階を推理するものである。すなわち、すでに知っている理論と結果を通じて原因を推定するものである。
【0047】
そして、学習部370は、数学問題を解決する端緒に対応する数学問題内テキストのキーワード(Keyword)および数学問題内イメージのキーシンボル(Key−Symbol)の位置および形態を表示したマーキングファイルと、数学問題を構文、数式および解説のトリプルモデルの数学言語に変換した翻訳ファイルを類似パターン別に複数対入力を受ける時、以下の特徴ベクターを抽出する過程を実行することになり、この時は学習部370内の人工知能を通じて遂行される。
【0048】
学習部370は、入力された数学問題の原本ファイルをテキスト領域とイメージ領域に分割してテキスト領域から文章単位で単語表現(Word Embedding)ベクターを抽出し、イメージ領域からイメージ領域をなすイメージ客体をそれぞれ分離(Object Localization)して第1特徴ベクターを抽出することができる。そして、学習部370は、入力された数学問題のマーキングファイルからキーワード単位で、位置情報、字素の形態、個数の情報を第2特徴ベクターとして抽出し、キーシンボルの位置、形態および大きさの情報を第3特徴ベクターとして抽出することができる。また、学習部370は、専門家端末400から数学問題を数学言語に翻訳した翻訳ファイルから構文、数式および解説のそれぞれを第4特徴ベクターとして抽出し、マーキングファイルと原本ファイルから抽出したテキストとイメージに対する第1〜第3特徴ベクターと、翻訳ファイルから抽出した第4特徴ベクターの間の関係を分析して仮説規則を生成することができる。このように生成された仮説規則は、前述した通り翻訳ファイルを生成するために利用される。この時、構文、数式および解説内の数値は可変要素に処理され得、このように学習された結果である神経網基盤翻訳モデルを利用してユーザーから質疑が存在する場合、最適な問題類型をマッチングして解説を生成し、ユーザーに伝達することになる。これについては、後述する。
【0049】
マッチング部380は、分類部360で神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して数学文章題問題の概念類型を分類(Classification)した後、分類した概念類型と類似する問題を段階別にマッチングして比較し、概念類型で適用されてこそ最適の規則を有するマッチング問題を抽出することができる。この時、分類した概念類型と類似する問題は、概念単位であるスキーマの類似問題集合分類内に含まれたモデル問題、同値問題、同型問題、同意問題、交差問題、および推理問題を含むことができるが、これに限定されはしない。
【0050】
そして、モデル問題は、図3dを参照すると、単位概念別に機械学習の指導学習を通じてモデリングされた後にマスコーパスで構築した問題であり、同値問題は形態と意味が同じである同型−同意問題であって、モデル問題と問題の脈絡のキーワードが同じであり解決の手続きも同じである問題であり、同型問題は形態は同じであるが意味は異なる同型−異義問題であって、モデル問題と問題の脈絡のキーワードは同じであるが解決の手続きが異なる問題であり、同意問題は形態は異なるが意味は同じである異型−同意問題であって、モデル問題と問題の脈絡のキーワードは異なるが解決の手続きが同じである問題であり、交差問題は形態が互いに異なり意味も異なる相反−異義問題であって、モデル問題と問題の脈絡のキーワードが反対であり解決の手続きも異なる問題であり、推理問題は形態と意味がすべて異なる異型−異義問題であって、モデル問題と問題の脈絡のキーワードが異なり解決の手続きも異なる問題であり得る。
【0051】
解説部390は、分類部360で神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して数学文章題問題の概念類型を分類(Classification)した後、分類した概念類型に基づいて数学文章題問題の数式および解説を生成し、解説を自然語処理して解説を生成することができる。
【0052】
以下、前述した図2の数学問題概念類型予測サービス提供サーバーの構成による動作過程を図3図6を例にして詳細に説明する。ただし、実施例は本発明の多様な実施例のうちいずれか一つに過ぎず、これに限定されないことは自明である。
【0053】
図3aおよび図3bを参照すると、小学校の数学問題にテキスト領域とイメージ領域が含まれた文章題問題が存在すると仮定する。これを、ユーザー端末100で質疑をした場合、数学問題概念類型予測サービス提供サーバー300は、まずテキスト領域とイメージ領域を分離し、数学問題を解決しようとする核心端緒となるテキストのキーワード(二つの数の和が大きいと、ある数)と、イメージ領域のキーシンボル(9と4、6)の位置と形態を表示したマーキングファイルと、該当問題を[構文]−[数式]−[解説]のトリプルモデルの数学言語に変換した変換ファイルを類似パターン別に10対を入力する。そして、数学問題概念類型予測サービス提供サーバー300は、類似パターンの新しい数学問題の原本ファイル30質問項目を入力し、人工知能ですでに学習した仮説規則に沿って自ら分析して[構文]−[数式]−[解説]の数学言語に翻訳ファイルを生成するようにし、原本ファイル30質問項目に対して専門家端末400からキーワードとキーシンボルを表示したマーキングファイルと、数学言語に変換した翻訳ファイルの入力を受けて人工知能で仮説規則で翻訳した結果を比較および分析することによって、仮説規則を修正したアブダクション規則を生成する。この時、前述した過程はmathML基盤のレンダリングが可能なフォーマットで構築され、これは図3cの通りである。そして、図3dのように最適の規則がマッチングされ、この過程で神経網基盤機械翻訳モデルを利用して類似問題を段階別にマッチングし比較し、最適の規則マッチング問題を抽出することになる。そして、図3eを参照すると、テキスト意味分析、キーワード数学翻訳、およびキーシンボル数学翻訳のマッチングテーブルの実施例が記載される。これにより、各テキストと数字図形などが翻訳される。また、図3fと図3gを参照すると、意味項目別の構文分析要素と、単位名詞を分類したテーブルが図示されるが、これに限定されるものではなく、人工知能学習が進行されながら、または新しい形態がさらに入力される場合、変形され得ることは自明である。
【0054】
図4aは表象変換パターンと、表象変換パターンの例示を図示し、図4bは初等数学問題分類概要を図示する。この時、各問題形式を階層的構造に分類することについては前述した通りである。図4cは小学校の数学1〜2年生の問題を概念単位で内容コード、上位コード、学校級、要素などの内容情報と、教科コード、教育過程、ID、学校級、学年および学期、単元などに、数学問題についてのテーブルを図示する。図5aは本発明の一実施例に係る方法を利用して数学AIチューターサービスが進行される概略的な過程を図示する。そして、図5bを参照すると、数学翻訳方法は神経網学習結果を翻訳規則でスキーママップを円形モデルで生成するようにする差異点を図示する。そして、円形モデルと変形モデルがスキーマ群集マップとして作動するようにし、専門家が定期的に検討して管理するようにする。
【0055】
図5および図6は構文分析および数式翻訳規則を定義したテーブルを図示するが、各形態素分析されたキーワードとキーシンボルがどのように翻訳され、数式項に翻訳されるかを定義したテーブルである。また、図6fは足算、引き算の文章題に対するタギング(Tagging)を示しているが、これも教科課程が変更される場合等や新しい問題が添加されるのかにより変更可能である。そして、それぞれのテキストはこのテーブルによって翻訳されるが、これに限定されるものではなく、実施例により変更され得ることは自明である。
【0056】
このような図2図6の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法について説明されていない事項は、前述した、図1の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法の内容と同じであるか説明された内容から容易に類推可能であるため、以下では説明を省略する。
図7は、本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法を説明するための動作フローチャートである。図7を参照すると、数学問題概念類型予測サービス提供サーバーは、数学文章題問題(Math Word Problem)の入力を受けて(S7100)、数学文章題問題を自然語処理(Natural Language Processing)およびイメージ処理を利用してテキストとイメージに分離する(S7200)。
【0057】
そして、数学問題概念類型予測サービス提供サーバーは、分離したテキストをマスコーパス(Math Corpus)に基づいて形態素分析および個体名認識を利用して分析し、イメージを客体認識および意味分析を利用して分析して数学項を抽出するように数式化翻訳を遂行する(S7300)。
【0058】
また、数学問題概念類型予測サービス提供サーバーは、数式化翻訳された数学項に基づいて概念類型候補群をフィルタリングして抽出および圧縮し(S7400)、数式化翻訳された数学項を既設定された所有格、対象格、時点格、定数項、未知項、および演算項に分類するように分析する(S7400)。
【0059】
そして、数学問題概念類型予測サービス提供サーバーは、神経網(Neural Networks)基盤機械翻訳(Neural Machine Translation)を利用し、既設定された計算題パターン、文章題パターンおよび図解題パターンの定義に基づいて構文のパターンを分析して数学文章題問題の概念類型を分類(Classification)する(S7500)。
【0060】
前述した段階(S7100〜S7500)間の順序は例示に過ぎず、これに限定されない。すなわち、前述した段階(S7100〜S7500)間の順序は互いに変動され得、このうち一部の段階は、同時に実行または削除されてもよい。
【0061】
このような図7の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法について説明されていない事項は、前述した図1図6の神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法の内容と同じであるか説明された内容から容易に類推可能であるため、以下では説明を省略する。
【0062】
図7を通じて説明された一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法は、コンピュータによって実行されるアプリケーションやプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読み取り可能媒体はコンピュータによってアクセスされ得る任意の使用可能媒体であり得、揮発性および不揮発性媒体、分離型および非分離型媒体をすべて含む。また、コンピュータ読み取り可能媒体はコンピュータ保存媒体をすべて含むことができる。コンピュータ保存媒体はコンピュータ読み取り可能命令語、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性および不揮発性、分離型および非分離型媒体をすべて含む。
【0063】
前述した本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法は、端末機に基本的に設置されたアプリケーション(これは、端末機に基本的に搭載されたプラットホームや運営体制などに含まれたプログラムを含むことができる)により実行され得、ユーザーがアプリケーションストアサーバー、アプリケーションまたは該当サービスと関連したウェブサーバーなどのアプリケーション提供サーバーを通じてマスター端末機に直接設置したアプリケーション(すなわち、プログラム)により実行されてもよい。このような意味で、前述した本発明の一実施例に係る神経網基盤機械翻訳およびマスコーパスを利用した数学問題概念類型予測サービス提供方法は、端末機に基本的に設置されるかユーザーによって直接設置されたアプリケーション(すなわち、プログラム)で具現され、端末機などのコンピュータで読み取り可能な記録媒体に記録され得る。
【0064】
前述した本発明の説明は例示のためのものであって、本発明が属する技術分野の通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更することなく他の具体的な形態に容易に変形できることが理解できるはずである。したがって、以上で記述した実施例はすべての面で例示的なものであって、限定的ではないものと理解されるべきである。例えば、単一型に説明されている各構成要素は分散して実施されてもよく、同様に分散したものと説明されている構成要素も結合した形態で実施され得る。
【0065】
本発明の範囲は前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲、そしてその均等概念から導き出されるすべての変更または変形された形態は本発明の範囲に含まれるものと解釈されるべきである。
図1
図2
図3a
図3b
図3c
図3d
図3e
図3f
図3g
図4a
図4b
図4c
図5a
図5b
図5c
図5d
図6a
図6b
図6c
図6d
図6e
図6f
図7