(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022067657
(43)【公開日】2022-05-06
(54)【発明の名称】手書き文字の正確性及び書き順と規則の遵守とを決定するためのかつ視覚及び音声フィードバックを提供するための電子化方法及び装置
(51)【国際特許分類】
G09B 11/00 20060101AFI20220425BHJP
G09B 19/00 20060101ALI20220425BHJP
G09B 19/06 20060101ALI20220425BHJP
G09B 5/02 20060101ALI20220425BHJP
【FI】
G09B11/00
G09B19/00 Z
G09B19/06
G09B5/02
【審査請求】有
【請求項の数】22
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2021171586
(22)【出願日】2021-10-20
(31)【優先権主張番号】17/075,386
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Linux
(71)【出願人】
【識別番号】521460376
【氏名又は名称】ホリスティック ランゲージ ソリューションズ リミテッド ライアビリティ カンパニー
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100122563
【弁理士】
【氏名又は名称】越柴 絵里
(72)【発明者】
【氏名】エレナ サドヴ
【テーマコード(参考)】
2C028
【Fターム(参考)】
2C028AA05
2C028BA05
2C028BB04
2C028BC05
2C028BD01
(57)【要約】 (修正有)
【課題】ユーザによって入力された手書き文字の正確性と文字が正しいストロークで形成されたか及び適用可能な規則が遵守されたか否かを決定するかつユーザに視覚及び音声フィードバックを提供するための電子化方法及び装置を提供する。
【解決手段】文字比較エンジン、規則エンジン、ストロークエンジン、芸術表現エンジン、音楽エンジン、及び発声エンジンを含み、かつ文字ライブラリ、規則ライブラリ、ストロークライブラリ、芸術ライブラリ、及び音声ライブラリへのアクセスを有する。文字を書く適切な方法をユーザに示し、ユーザが次に文字を書くことを可能にし、文字の品質を評価し、かつ肯定的フィードバックを提供するためにユーザの作業の質に応答して音声及び/又は視覚フィードバックをユーザに提供する。視覚フィードバックは、伝統的中国輪郭画又は非輪郭画画法技術を用いて絵を描く方法に関する段階的教示を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
視覚フィードバックをユーザに該ユーザによって入力された手書き文字に応答して提供する方法であって、
コンピュータデバイスのディスプレイ上にグリッド及び芸術作品パネルを発生させる段階と、
前記ディスプレイ上に基準文字を発生させる段階と、
前記ディスプレイ上の前記基準文字を薄くする段階と、
前記ユーザによって入れられた前記ディスプレイ上の前記グリッドにストロークを発生させる段階と、
前記基準文字に関するデータに基づいて前記ストロークに対する正確性スコアを決定する段階と、
前記正確性スコアを予め決められた閾値に対して比較する段階と、
前記正確性スコアが前記予め決められた閾値を超える時に、前記ユーザへの視覚フィードバックとして前記ディスプレイ上の前記芸術作品パネルに芸術作品の一部分を発生させる段階と、
を含むことを特徴とする方法。
【請求項2】
前記ユーザによって入れられた前記ディスプレイ上の前記グリッドに第2のストロークを発生させる段階と、
前記基準文字に関するデータに基づいて前記第2のストロークに対する正確性スコアを決定する段階と、
前記正確性スコアを予め決められた閾値に対して比較する段階と、
前記正確性スコアが前記予め決められた閾値よりも低い時に、前記ユーザへの視覚フィードバックとして前記ディスプレイ上の前記芸術作品パネル内の芸術作品の一部分から色を除去する段階と、
を更に含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記ユーザへの視覚フィードバックとして前記ディスプレイ上に前記第2のストロークの正しいバージョンを発生させる段階、
を更に含むことを特徴とする請求項2に記載の方法。
【請求項4】
ユーザ入力に応答して、前記基準文字の音声発声を発生させる段階、
を更に含むことを特徴とする請求項2に記載の方法。
【請求項5】
ユーザ入力に応答して、前記基準文字とは異なる言語で該基準文字のテキストスペリングを発生させる段階、
を更に含むことを特徴とする請求項2に記載の方法。
【請求項6】
前記基準文字に関する前記データは、ストローク配置を含むことを特徴とする請求項2に記載の方法。
【請求項7】
前記基準文字に関する前記データは、書き順を含むことを特徴とする請求項2に記載の方法。
【請求項8】
前記基準文字に関する前記データは、ストローク方向を含むことを特徴とする請求項2に記載の方法。
【請求項9】
前記ディスプレイ上に基準文字を前記発生させる段階の前に、前記ユーザによって入れられた情報に基づいて該基準文字を選択する段階、
を更に含むことを特徴とする請求項1に記載の方法。
【請求項10】
前記芸術作品は、輪郭画を含むことを特徴とする請求項1に記載の方法。
【請求項11】
前記芸術作品は、輪郭画を含まないことを特徴とする請求項1に記載の方法。
【請求項12】
ユーザに視覚フィードバックを該ユーザによって入力された手書き文字に応答して提供するためのコンピュータシステムであって、
ディスプレイと、
ユーザ入力デバイスと、
プロセッサと、
前記プロセッサによって実行された時に以下の段階:
コンピュータデバイスのディスプレイ上にグリッド及び芸術作品パネルを発生させる段階、
前記ディスプレイ上に基準文字を発生させる段階、
前記ディスプレイ上の前記基準文字を薄くする段階、
前記ユーザによって入れられた前記ディスプレイ上の前記グリッドにストロークを発生させる段階、
前記基準文字に関するデータに基づいて前記ストロークに対する正確性スコアを決定する段階、
前記正確性スコアを予め決められた閾値に対して比較する段階、及び
前記正確性スコアが前記予め決められた閾値を超える時に、前記ユーザへの視覚フィードバックとして前記ディスプレイ上の前記芸術作品パネルに芸術作品の一部分を発生させる段階、
を実行させる命令を格納するコンピュータ媒体と、
含むことを特徴とするコンピュータシステム。
【請求項13】
前記コンピュータ媒体は、前記プロセッサによって実行された時に以下の段階:
前記ユーザによって入れられた前記ディスプレイ上の前記グリッドに第2のストロークを発生させる段階、
前記基準文字に関するデータに基づいて前記第2のストロークに対する正確性スコアを決定する段階、
前記正確性スコアを予め決められた閾値に対して比較する段階、及び
前記正確性スコアが前記予め決められた閾値よりも低い時に、前記ユーザへの視覚フィードバックとして前記ディスプレイ上の前記芸術作品パネル内の芸術作品の一部分から色を除去する段階、
を実行させる命令を更に格納することを特徴とする請求項12に記載の装置。
【請求項14】
前記コンピュータ媒体は、前記プロセッサによって実行された時に以下の段階:
前記ユーザへの視覚フィードバックとして前記ディスプレイ上の前記第2のストロークの正しいバージョンを発生させる段階、
を実行させる命令を更に格納することを特徴とする請求項13に記載の装置。
【請求項15】
前記コンピュータ媒体は、前記プロセッサによって実行された時に以下の段階:
ユーザ入力に応答して前記基準文字の音声発声を発生させる段階、
を実行させる命令を更に格納することを特徴とする請求項13に記載の装置。
【請求項16】
前記コンピュータ媒体は、前記プロセッサによって実行された時に以下の段階:
ユーザ入力に応答して、前記基準文字とは異なる言語で該基準文字のテキストスペリングを発生させる段階、
を実行させる命令を更に格納することを特徴とする請求項13に記載の装置。
【請求項17】
前記基準文字に関する前記データは、ストローク配置を含むことを特徴とする請求項13に記載の装置。
【請求項18】
前記基準文字に関する前記データは、書き順を含むことを特徴とする請求項13に記載の装置。
【請求項19】
前記基準文字に関する前記データは、ストローク方向を含むことを特徴とする請求項13に記載の装置。
【請求項20】
前記コンピュータ媒体は、前記プロセッサによって実行された時に以下の段階:
前記ディスプレイ上に基準文字を前記発生させる段階の前に、前記ユーザによって入れられた情報に基づいて該基準文字を選択する段階、
を実行させる命令を更に格納することを特徴とする請求項12に記載の装置。
【請求項21】
前記芸術作品は、輪郭画を含むことを特徴とする請求項12に記載の装置。
【請求項22】
前記芸術作品は、輪郭画を含まないことを特徴とする請求項12に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
〔優先権の主張〕
この特許出願は、引用によって本明細書に組み込まれている「手書き文字の正確性及び書き順と規則の遵守とを決定するためのかつ視覚及び音声フィードバックを提供するための電子化方法及び装置」という名称の2020年10月20日出願の米国特許出願第1の7/075,386号に対する優先権を主張するものである。
【0002】
ユーザによって入力された手書き文字の正確性と、文字が正しいストロークで形成されたか及び適用可能な規則が遵守されたか否かとを決定するかつユーザに視覚及び音声フィードバックを提供するための電子化方法及び装置を開示する。
【背景技術】
【0003】
新しい言語を学習することはいずれの学生にも困難である過程である。これは、学生が自身の母国語又は母国語以外を学習するかを問わず事実である。手書き文字を学習することは特に困難である可能性がある。例えば、英語のネイティブスピーカーは小学校の低学年の間に26文字の英語のアルファベットを学習する。この学生が後で北京語を学びたくなった場合に、学生は、関わっている膨大な数の文字に圧倒されることが多く、北京語の文書言語は、50,000を超える北京語文字を含有する。中国の北京語の小学生のネイティブスピーカーは、一般的に約2,000-5,000の北京語文字を読み書きすることができる。従って、小学生の習熟度を獲得するためには、非ネイティブスピーカー又はそれに関して言えばネイティブスピーカーも数千の北京語文字を学習することを目指さなくてはならない。
【0004】
従来的に、学生は、北京語のような言語を一度に1文字学習する。学生は、ハードコピーワークブックの文字を見て、次に何度も文字を書く練習をすることが多い。理想的には、教師は、学生の手書き練習を精査して練習文字のフィードバックを与える。英語言語とは異なり、北京語文字は、規則セットに従って極めて精確に書かなければならない。例えば、各文字は、いくつかのストロークから構成される場合がある。各ストロークは、名称と、ある一定の開始点、終了点、湾曲、及び厚みを有する公知の理想的な形態とを有する。これに加えて、これらのストロークは、ある一定の規則に従って行われなくてはならない。例えば、ストロークは、特定の順序で書かれなくてはならない。これらの規則は、中国教育省によって強制される。これらの規則によることなく書かれる僅かに少数の特定の文字が存在する。これらの文字は教育省によって識別されている。これらの規則及び文字例外は、従来技術で公知である付録Aに含まれている。
【0005】
ストロークが適正に形成されない場合又は規則が遵守されない場合に、得られる文字は、訓練された眼には不正確であることになり、意図されたものとは異なる意味を有する異なる文字を構成する場合さえもある。
【0006】
図1は、ハードコピーワークブックに見出される場合がある従来技術の練習シート100を示している。練習シート100は、多数のグリッド101を含むことが多い。ここでは、グリッド101は、四角内で学生を指導することを助けるセクションにグリッドを分割する薄い破線を含有する四角いボックスである。学生は、グリッド101に手描き文字102を描く練習をする。学生が各文字を数百回書くことは珍しいことではなく、学生が規則に従って正確に文字を書くことができるポイントに達する前に文字の各事例に対して教師からのフィードバックがある。経時的に、学生は、各ストロークを適正に形成する方法を学習し、学生は、付録Aに示す規則を学習する。学生は、文字の意味及び各文字を描く方法も学習する。言うまでもなく、これは、学生並びに教師にとって困難かつ退屈な過程である。
【0007】
従来技術はまた、ユーザが電子的に文字を書く練習をするための環境を提供する電子化された教育ソフトウエアを含む。しかし、そのようなソフトウエアは、ユーザに有意義なフィードバックを提供するその機能が制限される。従来技術のソフトウエアは、非常に機械的かつ反復的である傾向もある。反復タスクを完了しなければならないことは、暗記過程の有効性を低減する。学生が、彼らが退屈であると感じる情報を記憶することを強いられた時に、彼らが形成する記憶は、短期である傾向があり、一方で言語学習者にとっては、容易な想起の機能を伴う長期記憶を形成することが大切である。
【0008】
従来技術の別の態様では、多くの人々は、伝統的な中国の画法技術を学習することにも努めている。伝統的中国芸術には2つの主な画法様式がある。第1の様式は、画像が最初に紙又はキャンバス上に黒インクで描かれ、インクが乾く機会を得て、次に透明絵の具がインクの上に塗られる「輪郭画」様式である。第2の様式は、アーティストが、インクと色ブラシのストロークとの組合せを用いて紙又はキャンバス上に直接塗る「非輪郭画」様式である。従来技術は、両方の様式で絵を描く方法を学生に示すビデオを含むが、従来技術は、これらの画法様式を学生が学習することを助けるコンピュータソフトウエアを含まない。
【発明の概要】
【発明が解決しようとする課題】
【0009】
必要とされるのは、ユーザに中国語文字を書く適切な方法を示し、特定のストロークを形成する方法及び北京語文字構成の規則をユーザに教示し、ユーザが次に文字を書くことを可能にし、手書き文字の品質を評価し、かつユーザの作業の質に応答して音声及び/又は視覚フィードバックをユーザに与えて肯定的又は建設的フィードバックと従来技術に見出すことができるよりも魅力的な体験とを提供する改善されたソフトウエア環境である。
【0010】
更に必要とされるのは、学生が言語のネイティブスピーカー又は非ネイティブスピーカーであるか否かに基づいてかつ学生がレッスンを通してそれによって上達している相対的な容易さに基づいてレッスンの難度を調節することができる改善されたソフトウエア環境である。
【0011】
更に必要とされるのは、伝統的中国絵画の輪郭画及び非輪郭画様式で絵を描く方法をユーザに示すソフトウエア環境である。
【0012】
更に必要とされるのは、輪郭画又は非輪郭画様式で絵を描く方法も学習しながら北京語文字を書く方法をユーザに同時に教示する集学的ソフトウエア環境である。
【課題を解決するための手段】
【0013】
ユーザによって入力された手書き文字の正確性と文字が正しいストロークで形成されて適用可能な規則が遵守されたか否かとを決定するためのかつ視覚及び音声フィードバックをユーザに提供するための電子化方法及び装置を開示する。コンピュータデバイスは、文字比較エンジン、規則エンジン、ストロークエンジン、芸術表現エンジン、音楽エンジン、及び発声エンジンを含み、かつ文字ライブラリ、規則ライブラリ、ストロークライブラリ、芸術ライブラリ、及び音声ライブラリへのアクセスを有する。コンピュータデバイスは、文字を書く適切な方法をユーザに示し、ユーザが次に文字を書くことを可能にし、手書き文字の品質を評価し、かつユーザの作業の質に応答して音声及び/又は視覚フィードバックをユーザに提供して肯定的又は建設的フィードバックを提供する。視覚フィードバックは、伝統的中国輪郭画又は非輪郭画画法技術を用いて絵を描く方法に関する段階的な教示を含むことができる。
【図面の簡単な説明】
【0014】
本発明の特許又は出願ファイルは、色で実行される少なくとも1つの描画を含有する。色描画によるこの特許又は特許出願公開の複製は、要求及び必要な料金の支払い時に当局によって提供されることになる。
【0015】
【
図1】手書き文字を練習するための従来技術練習シートを描く図である。
【
図2】従来技術クライアントデバイスのハードウエア構成要素を描く図である。
【
図3】クライアントデバイスのソフトウエア構成要素を描く図である。
【
図4】従来技術サーバのハードウエア構成要素を描く図である。
【
図5】サーバのソフトウエア構成要素を描く図である。
【
図6】サーバと通信している複数のクライアントデバイスを描く図である。
【
図7】文字ライブラリ、芸術ライブラリ、及び音楽ライブラリを描く図である。
【
図8】クライアントアプリケーション及び/又はサーバアプリケーションによって実行される文字比較エンジンを描く図である。
【
図10A】ユーザが入力ストロークを描くことを可能にするユーザインタフェースに発生されたグリッドを描く図である。
【
図10B】入力ストロークに対する正確性スコアを発生させるために
図10Bの基準文字との
図10Aの入力ストロークの比較を描く図である。
【
図12】ソフトウエア環境を通してユーザが学習するための第1の文字セットを描く図である。
【
図14A】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14B】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14C】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14D】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14E】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14F】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14G】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14H】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14I】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14J】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14K】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14L】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14M】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14N】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14O】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14P】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図14Q】陰影基準文字の支援によって及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによって文字を描く例示的シーケンスを描く図である。
【
図15A】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15B】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15C】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15D】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15E】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15F】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15G】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15H】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図15I】陰影基準文字の支援なしの及び伝統的中国絵画の輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17A】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17B】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17C】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17D】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17E】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17F】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17G】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17H】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17I】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17J】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17K】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17L】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17M】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17N】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17O】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17P】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【
図17Q】伝統的中国絵画の非輪郭画様式でのレッスンを含む視覚フィードバックによる文字を描く例示的シーケンスを描く図である。
【発明を実施するための形態】
【0016】
本明細書に説明する実施形態は、従来技術では完全に失われていたユーザの教育体験を提供する。本明細書で提供する例では、ソフトウエア環境が北京(中国)語をユーザに教示する。しかし、ソフトウエア環境は、広東語、日本語、又は他の言語のような文字集約的である他の言語に用いることもできることは理解されるものとする。
【0017】
ソフトウエア環境は、以下の目標を達成するように設計される:
1.ユーザの分析及び視覚技能の改善であるストローク及びそれらの構成をユーザが識別することを助ける。
2.ユーザの分析及び視覚技能の改善である書き順の規則をユーザが識別することを助ける。
3.ユーザの音声技能の改善である北京語に用いられるストロークの名称の語源をユーザが認識及び記憶することを助ける。
4.ユーザの視覚及び分析技能の改善であるユーザにとって新しい中国語文字をユーザが視覚的に分析し、文字を書く際の書き順の規則を適用する方法を概念的に策定することを助ける。
5.ユーザの運動技能の改善である正しい書き順で正しいストロークを用いて単純化された北京語文字を書く練習をユーザがすることを助ける。
6.ユーザの音声技能の改善であるこれらの文字の標準的な北京語の発音をユーザに教示する。
7.北京語の非ネイティブスピーカーであるユーザにこれらの特性の翻訳を提供する。
8.単純化北京語文字を書くことと輪郭画及び非輪郭画様式を含む従来的中国芸術との間の視覚的接続を確立する。
9.ユーザの手-眼協調を改善する。
10.輪郭画及び非輪郭画様式で紙、ブラシ、インク、及び塗料を用いてソフトウエア環境の外側の現実生活でユーザが書くこと及び絵を描くことを学習することを奨励する。
【0018】
これらの目標を達成するために、ゲームは、北京語文字及びこれらの意味の記憶を改善するために文化的状況に関連して視覚、音声、分析、連想、及び運動態様のような人間の記憶の様々な態様の使用を最適化する「ホリスティック言語習得」と呼ぶ教育方法を用いる。記憶に関するホリスティック言語習得方法は、記憶の様々な態様が分類カテゴリになる概念的フレームワークをそれが生成するので教育的ゲーム設計において有用である。これらのカテゴリの存在は、ユーザに提示される認識入力の異なるタイプを投与するためのパラメータの確立を助ける。特定の投与量で提示される入力の組合せは、望ましい学習効果の達成を助ける。ユーザが学習過程で上達する時に、ゲームは、ユーザの注意を維持するために調節を実行する必要がある。従って、教育的ゲーム設計は動的最適化問題と考えることができる。ユーザの反応における誤り率及びユーザが問題に応答する速度は、ユーザの学習上達速度の表示として作用し、かつ動的調節過程の調節を助けることができる。
【0019】
例えば、ソフトウエア環境では、ユーザの記憶の様々な態様は、以下のように利用及び訓練される:
・視覚:ユーザに北京語文字の画像が提示され、正しい順序で正しいストロークを用いてこれらの画像を複写することが予想される。これらの文字がストロークのタイプ又は書き順のいずれかで間違う場合に、この間違いが反転表示される。不正確なストロークが消え、このプログラムは、正しいストローク又は書き順を実演する。ユーザの間違いは、生徒が間違ったという罪悪感を有する色に関連付けられるように教師が学校で学生の文書を訂正するために赤色を使用することが多いという理由で、緑色のような赤以外の色で反転表示されている。ソフトウエア環境は、目的のはっきりしたフォーカス及び肯定的な考え方を維持するためにユーザに罪悪感を感じさせないように設計される。否定的な自己評価は注意を散漫にさせて記憶の過程を妨げる場合がある。最初に、セット内の最終文字を除く全てに対して、ユーザは、手書きの練習と同じ画面に表示された輪郭画様式絵画における色の変化を観察することによって文字のストロークが正しくかつ正しい順序で書かれているか否かの表示を受け入れる。各セットの最後での最終文字に対して、ユーザは、非輪郭画様式の花又は他のオブジェクトを描く際に段階的な教示を受け入れる。
・音声:好ましい設定では、ユーザは、北京語のターゲット言葉及び筆記規則だけを聴取する。語及び他の情報の翻訳は筆記だけで提供される。これはターゲット情報にユーザの音声の注意を集中させ音声の語学的注意散漫を阻止する。例外は、読むことにまだ上達しない子供たちに対して作られる。
・分析:文字が含有する部首に従ってグループ分けされた文字がユーザに提示される。輪郭画及び非輪郭画絵画は、絵画を生成するために1つずつ組み立てられるブラシストロークの組合せとして提示される。
・連想:ユーザは、語の音を各文字に、及び規則の音を規則の要件を満たすアクション又はアクションのシーケンスに関連付けるように教示される。
・運動:ユーザは画面上に特定のストロークを「書く」必要がある。ストローク及びストロークの特定のシーケンスを書くアクションは、ダンスのステップがダンサーの記憶に定着する方法と同様にユーザの記憶に定着される。
・文化的状況:中国文化では、伝統的な絵画は、一般的に毛筆体で書かれた詩に関連付けられる。実際に、伝統的な絵画は、そのような詩がなければ不完全と考えられる。通常は、単純化された文字を書くプログラムは、漫画のイラストを用いる。本発明者の技術革新は、伝統的な様式の絵画に並べて書かれた単純化された文字を用いることである。筆記及び絵画は横に並んで進行し、それによって両者の芸術形式の間の視覚的及び時間的関連付けを発生させる。伝統的芸術画像は、単純化された中国語文字の審美的性質を強調し、単純化された中国語文字をより魅力的かつユーザに対して記憶し易いものにする。短いアニメーションシーケンスには、伝統的な中国の歌から取られたメロディーの引用が伴う。これは、ユーザの文化的没入効果を拡張することになる。
【0020】
コンピュータデバイス
本明細書に説明する実施形態は、コンピュータデバイスを用いて実施される。一実施形態では、クライアントデバイスは、ネットワーク上でサーバと対話する。別の実施形態では、クライアントデバイスはm独立型コンピュータデバイスであり、サーバとは対話しない。
【0021】
図2は、タブレット、スマートフォン、ノートブックコンピュータ、デスクトップコンピュータ、ゲームユニット、腕時計又は眼鏡のようなウェアラブルコンピュータデバイス、又はあらゆる他のコンピュータデバイスのようなコンピュータデバイスであるクライアントデバイス200のハードウエア構成要素を示している。これらのハードウエア構成要素は、従来技術で公知である。クライアントデバイス200は、処理ユニット210、メモリ220、不揮発性ストレージ230、位置決めユニット240、ネットワークインタフェース250、画像取込ユニット260、図形処理ユニット270、及びディスプレイ280を含むコンピュータデバイスである。
【0022】
処理ユニット210は、任意的に、1又は2以上の処理コアを備えたマイクロプロセッサを含む。メモリ220は、任意的に、DRAM又はSRAM揮発性メモリを含む。不揮発性メモリ230は、任意的に、ハードディスクドライブ又はフラッシュメモリアレイを含む。位置決めユニット240は、任意的に、GPS又はGNSS衛星と通信するGPSユニット又はGNSSユニットを含み、クライアントデバイス200の緯度及び経度座標を決定し、通常は緯度及び経度データとして出力する。ネットワークインタフェース250は、任意的に、有線インタフェース(例えば、イーサネットインタフェース)又は無線インタフェース(例えば、3G、4G、5G、GSM、802.11、BLUETOOTH(登録商標)によって公知のプロトコルなど)を含む。画像取込ユニット260は、任意的に、1又は2以上の標準的カメラ(スマートフォン及びノートブックコンピュータの多くに現在見出されるカメラなど)を含む。図形処理ユニット270は、任意的に、ディスプレイのグラフィックを発生させるためのコントローラ又はプロセッサを含む。ディスプレイ280は、図形処理ユニット270によって発生された図形を表示し、かつ好ましい実施形態ではタッチ画面を含む。
【0023】
図3は、クライアントデバイス200のソフトウエア構成要素を示している。クライアントデバイス200は、オペレーティングシステム310(WINDOWS(登録商標)、LINUX、ANDROID(登録商標)、IOS、又は他のオペレーティングシステムによって公知のオペレーティングシステムなど)、ウェブブラウザ320((登録商標)CHROME、FIREFOX、SAFARI、EDGE、又は他のウェブブラウザによって公知のウェブブラウザなど)、及びクライアントアプリケーション330を含む。クライアントアプリケーション330は、処理ユニット210及び/又は図形処理ユニット270によって実行されるソフトウエアコードのラインを含み、以下に説明する機能を実行する。例えば、クライアントデバイス200は、Appleによって(登録商標)「IPAD」として販売されているタブレットとすることができ、クライアントアプリケーション330は、タブレットにインストールされるダウンロード可能アプリケーションとすることができる。クライアントデバイス200はまた、ノートブックコンピュータ、デスクトップコンピュータ、ゲームシステム、又は他のコンピュータデバイスとすることができ、クライアントアプリケーション330は、クライアントデバイス200で実行されるソフトウエアアプリケーションとすることができる。クライアントアプリケーション330は、本明細書に説明する実施形態の発明態様の重要な構成要素を形成し、クライアントアプリケーション330は、従来技術で公知ではない。
【0024】
代替実施形態では、クライアントアプリケーション330の本明細書に説明した機能の全ては、ソフトウエア環境がウェブサイトを通して提供される場合に必要に応じて代わりにウェブブラウザ320によって実行される。
【0025】
図4は、サーバ400のハードウエア構成要素を示している。これらのハードウエア構成要素は従来技術で公知である。サーバ400は、処理ユニット410、メモリ420、不揮発性ストレージ430、位置決めユニット440、ネットワークインタフェース450、画像取込ユニット460、図形処理ユニット470、及びディスプレイ480を含むコンピュータデバイスである。
【0026】
処理ユニット410は、1又は2以上の処理コアを備えたマイクロプロセッサを任意的に含む。メモリ420は、DRAM又はSRAM揮発性メモリを任意的に含む。不揮発性ストレージ430は、ハードディスクドライブ又はフラッシュメモリアレイを任意的に含む。位置決めユニット440は、GPS又はGNSS衛星と通信するGPSユニット又はGNSSユニットを任意的に含み、サーバ400の緯度及び経度座標を決定し、通常は緯度データ及び経度データとして出力する。ネットワークインタフェース450は、有線インタフェース(例えば、イーサネットインタフェース)又は無線インタフェース(例えば、3G、4G、5G、GSM、802.11、「BLUETOOTH(登録商標)」によって公知のプロトコルなど)を任意的に含む。画像取込ユニット460は、1又は2以上の標準的カメラ(スマートフォン及びノートブックコンピュータの多くに現在見出されるカメラ)を任意的に含む。図形処理ユニット470は、ディスプレイのための図形を発生させるコントローラ又はプロセッサを任意的に含む。ディスプレイ480は、図形処理ユニット470によって発生された図形を表示し、かつモニタ、タッチ画面、又は他のタイプのディスプレイを任意的に含む。
【0027】
図5は、サーバ400のソフトウエア構成要素を示している。サーバ400は、オペレーティングシステム510(「WINDOWS(登録商標)サーバ」、「MAC OS Xサーバ」、「LINUX」、又は他によって公知のサーバオペレーティングシステムなど)、ウェブサーバ520((登録商標)「APACHE」によって公知のウェブサーバなど)、及びサーバアプリケーション530を含む。サーバアプリケーション530は、処理ユニット410及び/又は図形処理ユニット470によって実行されるソフトウエアコードのラインを含み、サーバアプリケーション530は、クライアントアプリケーション330と対話するように具体的に設計される。サーバアプリケーション530は従来技術で公知ではない。
【0028】
代替実施形態では、サーバアプリケーション530に対して本明細書に説明する機能の全ては、ソフトウエア環境がウェブサイトを通して提供される場合に必要に応じてウェブブラウザ320と通信するウェブサーバ520によって代わりに実行される。
【0029】
図6を参照すると、クライアントデバイス200の3つのインスタンス化、すなわち、クライアントデバイス200a、200b、200cが示されている。これらは例示的デバイスであり、クライアントデバイス200のいずれの数の異なるインスタンス化も用いることができることは理解されるものとする。クライアントデバイス200a、200b、及び200cの各々は、ネットワーク610を通してネットワークインタフェース250を用いてサーバ400と通信する。この例では、各クライアントデバイス200は、ウェブブラウザ320及びクライアントアプリケーション330のクライアントデバイス固有のインスタンス化を作動させる。
【0030】
図7は、文字ライブラリ710、規則ライブラリ720、ストロークライブラリ730、芸術ライブラリ740、及び音声ライブラリ750を示し、これらの各々は、不揮発性ストレージ内のデータベースに記憶されたデータセットを含む。文字ライブラリ710、規則ライブラリ720、ストロークライブラリ730、芸術ライブラリ730、及び音声ライブラリ750は、クライアント200及びサーバ400によってアクセス可能である。
【0031】
図8は、文字比較エンジン810、規則エンジン820、ストロークエンジン830、芸術表現エンジン840、音楽エンジン850、及び発声エンジン860を含むクライアントアプリケーション330及び/又はサーバアプリケーション530によって作動される様々なエンジンを示し、これらの各々は、処理ユニット210及び/又は410及び/又は図形処理ユニット270及び/又は470によって実行されるソフトウエアコードのラインを含む。
【0032】
ソフトウエア環境
文字比較エンジン810、規則エンジン820、ストロークエンジン830、芸術表現エンジン840、音楽エンジン850、発声エンジン860、文字ライブラリ710、規則ライブラリ720、ストロークライブラリ730、芸術ライブラリ740、及び音声ライブラリ750、及びこれらが一体となってクライアントデバイス200及びサーバ400で可能にされる機能に関する追加の詳細をここで提示する。
【0033】
図9は、グリッド901の上に重ねられた基準文字900を示している。これらは、クライアントデバイス200のディスプレイ280上の図形描写であり、関連付けられたピクセルデータ及びデータ構造は、メモリ220又は図形処理ユニット270にある。文字ライブラリ710は、基準文字900及び多くの他の文字のデータを記憶する。規則ライブラリ720は、以下に限定されるものではないが、中国公用語及び文字運営委員会によって公開されている書き順の以下の規則を含む全ての文字を書く場合に従うべき規則に関するデータを記憶する:
1.上から下
2.左から右
3.垂直の前に水平
4.左から右への対角線の前に右から左への対角線
5.内側の前に外側-取り囲むストロークが、上部左、上部右から又は上から内部構造を取り囲むことを示す
6.外側の前の内側-取り囲むストロークが、下部から又は下部左から内部構造を取り囲むことを示す
7.下部の取り囲みの前に内側
8.外側「はね」の前の中心垂直線
9.最後に切るストローク
10.取り囲む前に左の垂直線
11.最初に最上部又は上部左ドット
12.最後に内側又は上部右ドット
【0034】
ストロークライブラリ730は、いずれの可能な文字に用いることもできるストロークの各可能なタイプの理想的形態に関するデータを記憶する。
【0035】
基準文字900は、ストローク902、ストローク910などのストロークを含む。ストローク902に対して、サンプルポイント903、904、905、906、907、及び908に関するデータが取り込まれて記憶される。サンプルポイント903は、ストローク902の開始ポイントである。このストロークは、上部の「かぎ」の先端で始まり、サンプルポイント903を通って移動し、サンプルポイント908で終わる。基準文字900の全ての他のストロークの類似のサンプルポイントが取り込まれる。基準文字900及びストローク902のような各文字及びストロークの文字ライブラリ610に記憶されるデータのタイプを以下の表1に示している。
【0036】
【0037】
表1では、グリッド座標x、yは、特定のポイントのグリッド901内の相対的位置を示している。例えば、グリッド901の下左コーナは、座標0,0を有することができ、各区分は、上又は右のいずれかに1ピクセル分のストロークを表すことができる。表1の傾きsは、この特定のポイントのストローク902の傾きを表し、ストローク902の湾曲に関する情報を提供する。表1のストロークのタイプは、ストローク902のストロークのタイプ(ストロークライブラリ730による)を示す。表1の生成の順序は、各ストロークを作らなければならない順序(規則ライブラリ720による)及びストローク902のような各ストローク内のポイントが正しく形成される順序を示す。すなわち、開始ポイントであるポイント903が最初に形成され、終了ポイントであるポイント908が最後に形成される。
【0038】
図10A及び10Bは、文字比較エンジン810、規則エンジン820、及びストロークエンジン830に関する追加の詳細を示している。
【0039】
図10Aは、例えば、タッチ画面の時にディスプレイ280に描くことによって又はマウスを用いることによってユーザによって入力された入力ストローク1001を示している。従って、グリッド901もディスプレイ280上に描かれ、ユーザはグリッド901内に入力ストローク1001を描いている。入力ストローク1001は、入力文字1000の最初のストロークである。
図10Bは、ユーザが真似しようとする基準文字900を入力ストローク1001に沿って示している。
【0040】
図11を参照すると、次に、
図10Aからの入力ストローク1001にフィードバック方法1100が実行され、入力ストローク1001に関するフィードバックをユーザに提供する。
【0041】
段階1120では、文字比較エンジン810が表1に含有された条件に基づく式を用いて入力ストローク1001に対する正確性スコア1101を計算する。単純式の例は以下の通りである:
正確性スコア1101=w1*(開始ポイント間の距離)+w2*(終了ポイント間の距離)+w3*(ポイント間の平均距離)+w4*(ポイントの傾きの平均差)
ここで、w1、w2、w3、及びw4は、各条件の相対的重要度を強調するように選択される重みである。
【0042】
段階1130では、ストロークエンジン830は、次に、入力ストローク1001が正しいストロークであるか否かを決定する。イエスである場合に、本発明のシステムは段階1140に進む。ノーである場合に、本発明のシステムは段階1170に進む。例えば、ストローク902のような「pie」ストロークは、上部で描き始めて左下に下ろさなければならない。ストロークエンジン1130は、入力ストローク1001を分析し、この条件及び「pie」ストロークの他の条件を分析することによって「pieストローク」であるか否かを決定する。
【0043】
段階1140では、規則エンジン820は、次に、入力ストローク1001が全ての適用可能な規則に従ったか否かを決定する。イエスである場合に、本発明のシステムは段階1150に進む。ノーである場合に、本発明のシステムは段階1170に進む。例えば、1つの規則は、左に下りるストロークが右に下りるストロークよりも前に描かなければならないことである(付録Aを参照)。ここで、「pie」ストロークは、左に下がるストロークであるので、規則エンジン820は、ユーザが「pie」ストロークを描く前にいずれかの右に下りるストロークを間違って描いたか否かを決定することができる。
図10Aの例では、そのような間違いは起こっていない。
【0044】
段階1150では、文字比較エンジン810は、次に、正確性スコア1101が予め決められた閾値1102を超えたか否かを決定する。イエスである場合に、本発明のシステムは段階1160に進む。ノーである場合に、本発明のシステムは段階1170に進む。
図10A及び10Bの例では、入力ストローク1001の湾曲が入力ストローク1020の湾曲とは異なることを見ることができる。これが許容範囲の偏差のレベルであるか否かは、予め決められた閾値1102の構成によって決定されることになる。すなわち、予め決められた閾値1102は、甘いレベル、厳しいレベル、又はこの間のいずれかに設定することができる。この構成の態様を
図18に関して以下に詳しく説明する。
【0045】
段階1160では、入力ストローク1001が正しいストロークであり、適用可能な規則に従い、かつ正確であると決定されたので、肯定的フィードバックがユーザに提供される。肯定的フィードバックは以下のオプションの1又は2以上を含むことができる:
・音楽エンジン850が、音楽フィードバック1101をユーザに提供する。例えば、音楽エンジン850は、新しいストロークに対する正確性スコアが閾値を超える度に提供される追加のセグメントと共に中国語の民謡の一部を再生することができる。この音楽コンテンツは音声ライブラリ750に記憶される。文字全体が満足のいく方式で描かれた状態では、音楽エンジン850は曲の全てを再生することができる。代替では、曲の一部を毎回再生するのではなく、音楽エンジン850は曲全体を毎回再生することができるが、各々の正しいストロークによって異なるトラックを追加することができる(例えば、各トラックは異なる楽器を有する)。
・発声エンジン860が、音声フィードバック1102をユーザに提供する。例えば、発声エンジン860は、音声ライブラリ750に記憶された事前録音音声セグメントを用いて又は発話発生モジュールを用いて発話を合成することによって肯定的な励ましを提供することができる。ユーザが理解する音声の最も容易なタイプは、その人の音声にピッチで最も近いものである。第1のセットに対して、ゲームは、小さい子供が年が上の子供によって設定された例に従いたいという理由で10歳の子供の音声を用いる。ユーザの多くが小さい子供になるので、歳が上の子供の音声を使用することでゲームに小さい子供を惹きつけることになる。ターゲット言葉の翻訳の音声は、高から中-高ピッチ音声になる。ここで、目標は、容易な理解を保証することである。この特徴のユーザの多くが小さい子供になることを本発明者は知っているので、本発明者は、これらに対する必要性を受け入れるために高ピッチ音声を利用することになる。ターゲット言葉の発音及び規則の呈示を含む同じ音声は、言葉のセットと共に残ることになる。同じ音声を何度も何度も聞くとイライラすることを多くの人が気付いているので、数セットの後に、新しい人がゲームを音声化することになる。始まりで音声俳優は、中ピッチ音声、子供は10から12歳の子供、女性はメゾソプラノ、男性はテノール、次第に変化するピッチ変形、6歳の子供、女性はハイソプラノ、及び男性はローバスに進む。これは重要な耳の訓練であり、北京語では音素有意度を有する4つの音色がある。リスナーは、4つの音色の区別を学習する必要があり、自分とは極めて異なるピッチを有する話者の音声を聞く時にもこれらを理解することを次第に学んでいく。特に問題を困難にするのは、音声が僅かに安定しない年配の人の声及び若い青年の音声である。
・芸術表現エンジン840は、芸術ライブラリ740に記憶された芸術作品を用いて芸術作品フィードバック1103をユーザに提供する。例えば、閾値を超える正確性を有する各ストロークでは、芸術表現エンジン840が古典中国絵画で追加のストロークを描くことができる。この例を
図12Aから12Jに関して以下に示している。
【0046】
段階1170では、入力ストローク1001が間違ったストロークである(段階1130)、全ての適用可能な規則に従わない(段階1140)、及び/又は不正確である(段階1150)と決定されたので、建設的フィードバックがユーザに提供される。以下のオプションの1又は2以上を含むことができる建設的フィードバックが次にユーザに提供されることになる:
・音楽エンジン850が、音楽フィードバック1111をユーザに提供する。音楽エンジン850は、中国の民謡の再生を停止することができ、又は再生されている曲からトラック(楽器)を除去することができる。
・発声エンジン860が、音声フィードバック1112をユーザに提供する。例えば、発声エンジン860は、音声ライブラリ750に記憶された事前録音された音声セグメントによって又は発話発生モジュールを用いて発話を合成することによって建設的コメントをユーザに提供することができる。
・芸術表現エンジン840が、芸術作品フィードバック1113をユーザに提供する。例えば、芸術表現エンジン840は、以前に追加された芸術作品のブラシストロークを削除することができ、又はストローク1001が十分な正確性で描かれていないことを示すフィードバックとして芸術作品から色を除去することができる。
・文字比較エンジン810、規則エンジン820、及び/又はストロークエンジン830が、文字フィードバック1114をユーザに提供する。例えば、文字比較エンジン810又はストロークエンジン830は、正しい及び正確なストロークをストローク1001の上に重ねることがすることができ、それによってユーザは、何故ストローク1001が間違ったか又は十分に正確でないかを見ることができる。規則エンジン820は、例えば、入力ストローク1001を書く前にユーザが書かなければならないストロークを表示することにより、規則が侵害された方式を示すことができる。
【0047】
動的な困難
クライアントアプリケーション330及び/又はサーバアプリケーション550は、ユーザの練習の難しさを変えることができる。例えば、練習は、ネイティブスピーカーに対してよりも非ネイティブスピーカーに対して又は年齢の高いユーザよりも若いユーザに対して容易にすることができる。
【0048】
初期構成過程中に、ユーザは、以下を尋ねられることになる:
・ユーザの母国語を指定すること、これは、中国語の言葉をユーザの母国語に翻訳するのに用いられる辞書を起動する
・(1)7歳又は7歳未満、(2)8-10、(3)11-14、及び(4)15歳又はそれよりも年上のような年齢範囲を選択すること。年齢によってユーザを分類することは、各グループに対するエラー耐性の確立を助けるであろう。小さい子供は話すことを学習するのに極めて長けているが、小さい子供の細かい運動機能は発展中であり、彼らが中国語文字を書くことを学習する場合の広いマージンのエラー耐性が必要である。
【0049】
これらのファクタは、練習中に用いる文字(基準文字900など)を選択する場合及び各練習の閾値1102を設定する場合に考慮することができる。
【0050】
ゲームへのユーザの関心を維持するために、難度のレベルで上達することが重要である。難度レベルは以下の方法で漸次的に上げられることになる:
1.文字の複雑さ-ユーザがゲームで上達する時に、ユーザはストロークのより多数及びストロークのより複雑なタイプから構成される文字を提示され、最終的に2又は3以上の文字から構成される言葉に進む。
2.正確性-ユーザがゲームで上達する時にユーザの正確性を上げる必要があるので、閾値1102は経時的に増すことができる。ストロークの質は、中国語で同様に書くことにも重要であり、ゲームはユーザがユーザの筆記に注意深く注意を払うように促し、手-眼協調を改善する。
3.理解回復力(訓練過程)。
4.芸術的画像の複雑さ。提示される芸術的画像は、ストロークの数、空間構成及び画法技術をより複雑にすることにもなる。ユーザがゲームで上達する時に、画法様式の輪郭画及び非輪郭画様式の両方が段階的な教示を用いて提示されることになる。
【0051】
芸術作品フィードバック1103及び1113の例
以下のシーン毎の説明は、芸術作品フィードバック1103の特徴を明らかにし、伝統的中国絵画の輪郭画及び非輪郭画技術での教示を含むことができる。
【0052】
図12を参照すると、ゲームは、
図12に示す5つの北京語文字の第1のセット1200から開始される。ゲームは、pin yin(ラテン筆記ベースの発音翻字)及び英語の各文字の定義での各文字の発音に沿って
図12に示す5つの北京語文字の第1のセット1200から開始される。5つの北京語文字の各々は、同じ部首-Renから始まり、これは、立っている人を意味し、この部首は示された5つの北京語文字の各々の左側を含む。
【0053】
第1のセット1200の最初の4つの文字を学習する場合に、ユーザは、同じく輪郭画様式のハスの描画を見るであろう。練習は花の黒と白の画像から始まる。ユーザが正しいストロークを書いた場合に、画像は少しずつ視覚的に色を獲得する。ユーザが間違った場合に、画像は、ある色を失い、間違いが訂正された時に色を再び獲得する。ユーザが文字を正しく完成させた時に、画像はフル色で示される。従って、色の獲得及び一時的損失は、ユーザがゲームのこの段階に進んだ場合のユーザへの肯定的及び否定的フィードバックの一部である。従って、ユーザは気を逸らせることを最低限にしながら筆記の規則の学習に集中することができる。
【0054】
第1のセット1200の最後の文字を学習する場合に、ユーザは非輪郭画様式でハスの花を描く方法を学習することになる。
【0055】
ユーザは、予め見ていたあらゆる輪郭画又は非輪郭画画像の絵画のシーケンスをいつでも再生することができ、ユーザが日常の生活で画像を描く方法を思い出すことを助ける。定期的に、このプログラムは、様々なトピックでのショートアニメーションの形態でユーザに視覚教示を提供する。例えば:絵画での特定のタイプのストローク(いくつかの変形がある)を利用するのとは対照的に書くための最良の手の位置とブラシ上の保持はどこか、ブラシで書く時に共通の誤りを犯さないようにする方法、望ましい効果を達成するために様々な色を一緒に混合する方法。
【0056】
図13は、練習中のテンプレートとして用いられるレッスン画面1300を示している。グリッド901はユーザが文字を描くことになる区域である。芸術作品パネル902は、輪郭画又は非輪郭画絵画が描かれる区域である。芸術作品制御1303は、ユーザがストローク毎に芸術作品の生成をナビゲートすることを可能にする。ユーザが音声要求1301を選択した場合に、発声エンジンが音声ライブラリ730を用いて文字900を発音する。すなわち、ユーザは北京語で発音された文字を聞くことができる。ユーザが翻訳要求1301を選択した場合に、基準文字900の英語翻訳が文字ライブラリ710を用いて表示されている。
【0057】
【0058】
【0059】
図14Bでは、基準文字1400が陰になっているが完全に消えてはいない。この特徴は、「陰影付け」特徴と呼ばれ、任意的である。芸術作品パネル902は、伝統的な輪郭画絵画の様式で花の輪郭画を表示している。
【0060】
図14Cでは、ユーザは、グリッド901内のディスプレイ280に第1のストロークを描く。フィードバック方法1100が実行され、段階1130では、ユーザが矢印に示すように間違ったストロークを書いたとストロークエンジン830が決定する。特に、ユーザは、「pie」ストローク(下向きにかつ左に描かれる)の代わりに「ti」ストローク(上方にかつ右に向けて描かれる)を書いた。ストロークエンジン830はまた発声エンジン860に命令して音声ライブラリ750を用いて北京語で正しいストロークの名称、「pie」を発音させる。ユーザが英語を話す人である場合に、ユーザは、
図14Cから14Gが表示されているいずれの時間でも英語でストロークの文書説明を見るための「?」を押すオプションを有する(翻訳要求1302)。ユーザが次のストロークを書いた後に、
図14Hでは、前のストロークの英語説明がユーザに利用することができなくなり、それによってユーザはゲームで上達する時に関連のなくなる情報を読むことによって混乱することがない。
【0061】
図14Dでは、間違った第1のストロークがディスプレイ280から消去される。
【0062】
図14Eでは、第1のストロークを描く正しい方法が、コンピュータ発生式ストローク1401(矢印あり又は矢印なし)を用いて、好ましくは異なる色(例えば、黒の代わりに緑)を用いてディスプレイ280上でユーザに明らかにされる。ユーザは、発声エンジン830を用いて、書かれるストロークの名称を北京語で聞く。
【0063】
図14Fでは、コンピュータ描画式ストローク1401が消去される。
【0064】
図14Gでは、ユーザが再びグリッド901内のディスプレイ280に第1のストロークを描く。この事例では、ユーザは矢印に示すように正しい方向に第1のストロークを描く。フィードバック方法1100が実行され、ユーザが正しいストロークを形成したことをストロークエンジン830が決定し(段階1130)、ストロークが規則に準拠したことを規則エンジン820が決定し(段階1140)、かつ正確性スコア1101が閾値1102を超えたことを文字比較エンジンが決定する(段階1150)。その結果、芸術表現エンジン840は芸術作品の輪郭画の一部を充填し、芸術作品パネル902の色飽和度の第1のレベルを達成する(芸術ライブラリ720のデータを用いて)(段階1160)。
【0065】
図14Hでは、ユーザは、グリッド901内でディスプレイ280に破線によって表される第2のストロークを描く。従って、ユーザは正しいストローク(「shu」)を書いたが、極めて不正確な方向に書いている。フィードバック方法1100が実行され、段階1150では、文字比較エンジン810が第2のストロークに対する正確性スコア1101が閾値1102を超えていないと決定する。
【0066】
図14Iでは、正しく描かれた基準ストロークが緑のような色で示される(段階1170)。
【0067】
図14Jでは、ユーザのストローク及び基準ストロークが消去される。
【0068】
図14Kでは、ユーザが再びストロークを書こうとし、かつこの時は正確に書いている。フィードバック方法1100が実行され、ユーザが正しいストロークを形成したとストロークエンジン830が決定し(段階1130)、ストロークが規則に準拠したことを規則エンジン820が決定し(段階1140)、かつ正確性スコア1101が閾値1102を超えたことを文字比較エンジンが決定する(段階1150)。ストロークが描かれているが、
図14Hの間違ったストロークと同様な破線としては表示されていない。
【0069】
芸術表現エンジン840は、芸術作品パネル902で芸術作品の色飽和度のレベルをレベル2に上げている(芸術ライブラリ720のデータを用いて)(段階1160)。
【0070】
図14Lでは、ユーザは、グリッド901内でディスプレイ280に第3のストロークを描く。フィードバック方法1100が実行され、段階1140では、ユーザが誤った順序でストロークを描いたので、第3のストロークが規則ライブラリ720の規則の全てを遵守しなかったことを規則エンジン820が決定する。規則エンジン820は、侵害された規則を規則ライブラリ720で識別し、この例では規則は、最初に横のストローク「heng」、次に縦のストローク「shu」を描くことである。規則エンジン820は、次に、音声ライブラリ750を用いて北京語で規則の名称を発音するように発声エンジン860に命令する(段階1170)。芸術表現エンジン840は色飽和度をレベル1に下げる(段階1170)。ユーザは、
図14Nで次のストロークを行うまでユーザが再度「?」(翻訳要求1302)を押すことによって規則の英語翻訳を見るオプションを有する。
【0071】
図14Mでは、間違った第3のストロークがディスプレイ280から消去される。
【0072】
図14Nでは、第3のストロークを描く正しい方法が、コンピュータ発生式ストローク1402(矢印あり又は矢印なし)を通して、好ましくは異なる色(例えば、黒の代わりに緑)を用いてディスプレイ280上でユーザに明らかにされる。ユーザは、発声エンジン830を用いてこの場合に従うべき書き順規則を北京語で聞く(段階1170)。
【0073】
図14Oでは、コンピュータ発生式ストローク1402が消去される。
【0074】
図14Pでは、ユーザが再びグリッド901内でディスプレイ280に第3のストロークを描く。この事例では、ユーザは正しい第3のストロークを描く。フィードバック方法1100が実行され、ユーザが正しいストロークを形成したことをストロークエンジン830が決定し(段階1130)、ストロークが規則に準拠したことを規則エンジン820が決定し(段階1140)、かつ正確性スコア1101が閾値1102を超えたことを文字比較エンジンが決定する(段階1150)。その結果、芸術表現エンジン840は、絵画の色の飽和度をレベル3に上げる(段階1160)。
【0075】
図14Qでは、ユーザは、グリッド901内でディスプレイ280に第4のストロークを描く。フィードバック方法1100が実行され、ユーザが正しいストロークを形成したことをストロークエンジン830が決定し(段階1130)、ストロークが規則に準拠したことを規則エンジン820が決定し(段階1140)、かつ正確性スコア1101が閾値1102を超えたことを文字比較エンジンが決定する(段階1150)。その結果、芸術表現エンジン840は、芸術作品パネル902の芸術作品の輪郭画内に追加の色を追加する(芸術ライブラリ720のデータを用いて)(段階1160)。これは文字の最後のストロークであり、続いて輪郭画絵画も完成する。この結果、芸術表現エンジン840は、絵画の色の飽和度をレベル4に上げる(段階1160)。
【0076】
上述のように、
図14はユーザに対する「陰影付け」特徴を提供し、基準文字の陰影が何時でも示されている。
図14に描かれたもののようなセット内のいずれかの所与の文字を書くことを数回繰返した後に、ユーザは、次に、ユーザの記憶の想起及び
図15に示す「陰影付けなし」特徴を用いた筆記技能の正確性を試験する機会が与えられる。この場合に、練習の目標が芸術的考慮を超えてユーザの水準が上がるように、ユーザは、更に複雑なタスクを完了しようとする。
【0077】
【0078】
図15Bでは、基準文字が消えて、基準文字の影のないグリッド901だけが残っている。
【0079】
図15Cでは、ユーザは、第1のストロークを書いている。このストロークは、黒いペンを用いて描かれたように薄い黒線の形態で眼に見える。フィードバック方法1100が実行され、ユーザが正しいストロークを形成したことをストロークエンジン830が決定し(段階1130)、このストロークが規則に準拠したことを規則エンジン820が決定し(段階1140)、かつ正確性スコア1101が閾値1102を超えたことを文字比較エンジンが決定する(段階1150)。この結果、
図15Dでは、ユーザのストロークが適切な濃い毛筆ストロークで置換される。これは、ユーザの元のストロークが完璧でなかったとしてもユーザが正しく書いたことを知る満足をユーザに与える。
【0080】
図15Eでは、ユーザは、第2のストロークを書いている。フィードバック方法1100が実行され、ユーザが正しいストロークを形成したことをストロークエンジン830が決定し(段階113)、かつストロークが規則に準拠したことを規則エンジン820が決定する(段階1140)。しかし、ユーザのストロークが間違った開始位置及び終了位置で不正確な角度で書かれたので、文字比較エンジンは、正確性スコア1101が閾値1102を超えていないと決定する(段階1150)。
【0081】
図15Fでは、正しく描かれたストロークが緑で示されている。
【0082】
図15Gでは、正しいストローク及びユーザのストロークが削除される。
【0083】
図15Hでは、ユーザが再び第2のストロークを試みている。フィードバック方法1100が実行され、ユーザが正しいストロークを形成したことをストロークエンジン830が決定し(段階1130)、ストロークが規則に準拠したことを規則エンジン820が決定し(段階1140)、かつ正確性スコア1101が閾値1102を超えたことを文字比較エンジンが決定する(段階1150)。この結果として、
図15Iでは、ユーザのストロークが適切な濃い毛筆ストロークで置換される。
【0084】
ユーザは、次に、文字の残りのストロークに進むことができる。各ストロークの後に、フィードバック方法1100が実行され、文字比較エンジン810、規則エンジン820、及びストロークエンジン830が
図14に関して上述した同じ分析を実行する。効率の観点で、陰影付けのないオプションを有する
図15の文字練習の残りは示されない。
【0085】
【0086】
図16は、練習中のテンプレートとして用いられるレッスン画面1600を示している。レッスン画面1600は、終了した非輪郭画絵画が芸術作品パネル902に示されていることを除いて、
図13のレッスン画面1300と同じである。
【0087】
図17Aでは、ユーザは、グリッド901内に描くように求められている基準文字1700がユーザに提示されている。
図14のように、
図16は、基準文字1700の薄くなったバージョンが練習を通して示される「陰影付け」オプションによるものである。
【0088】
図17Bでは、基準文字1700が消えるか又は薄くなる。
【0089】
図17Cでは、ユーザは、グリッド901内のディスプレイ280に第1のストロークを描く。フィードバック方法1100が実行され、正確性スコア1101が閾値1102を超えたことが決定される。この結果、芸術表現エンジン840は、芸術作品パネル902に第1のストロークを描く(芸術ライブラリ720のデータを用いて)。注意すべきことは、
図17Cの芸術作品パネル902に表示された芸術作品は、伝統的中国絵画の非輪郭画技術を用いていることである。
【0090】
図17Dでは、ユーザは、グリッド901内のディスプレイ280に第2のストロークを描く。フィードバック方法1100が実行され、正確性スコア1101が閾値1102を超えたことが決定される。この結果、芸術表現エンジン840は、芸術作品パネル902に第2のストロークを描く(芸術ライブラリ720のデータを用いて)。
【0091】
図17Eでは、ユーザは、グリッド901内のディスプレイ280に第3のストロークを描く。フィードバック方法1100が実行され、正確性スコア1101が閾値1102を超えたことが決定される。この結果、芸術表現エンジン840は、芸術作品パネル902に第3のストロークを描く(芸術ライブラリ720のデータを用いて)。
【0092】
図17Fでは、ユーザは、グリッド901内のディスプレイ280に第4のストロークを描く。フィードバック方法1100が実行され、正確性スコア1101が閾値1102を超えていないことが決定される。これは、ユーザが第4のストロークの最後のかぎを描いていないためである。この結果、芸術表現エンジン840は、芸術作品パネル902に新しいストロークを描かない。これに代えて、芸術表現エンジン840は、芸術作品パネル902から第3のストロークを除去することができる。
【0093】
図17Gでは、間違った第4のストロークがディスプレイ280から消去される。
【0094】
図17Hでは、第4のストロークを描く正しい方法が、コンピュータ発生式ストローク1701(矢印あり又は矢印なし)を通して、好ましくは異なる色(例えば、黒の代わりに緑)を用いてディスプレイ280上でユーザに明らかにされる。発声エンジン860が北京語で正しいストロークの名称を発音する。
【0095】
図17Iでは、コンピュータ発生式ストローク1701が消去される。
【0096】
図17Jでは、ユーザは、グリッド901内のディスプレイ280に再び第4のストロークを描く。フィードバック方法1100が実行され、この時の正確性スコア1101が閾値1102を超えたことが決定される。この結果、芸術表現エンジン840は、芸術作品パネル902に追加のストロークを描く(芸術ライブラリ720のデータを用いて)。
【0097】
図17Kでは、ユーザは、グリッド901内のディスプレイ280に第5ストロークを描く。フィードバック方法1100が実行され、正確性スコア1101が閾値1102を超えたことが決定される。この結果、芸術表現エンジン840は、芸術作品パネル902に追加のストロークを描く(芸術ライブラリ720のデータを用いて)。
【0098】
図17Lでは、ユーザは、グリッド901内のディスプレイ280に第6ストロークを描く。フィードバック方法1100が実行され、正確性スコア1101が閾値1102を超えなかったことが決定される。これは、ユーザが誤った位置に第6ストロークを入れたためである。ユーザは「最初に左、次に右」という規則を侵害した。この結果、芸術表現エンジン840は、芸術作品パネル902に新しいストロークを描かない。これに代えて、芸術表現エンジン840は、芸術作品パネル902から1又は2以上のストロークを除去することができる。
【0099】
図17Mでは、間違った第6ストロークがディスプレイ280から消去される。
【0100】
図17Nでは、第4のストロークを描く正しい方法が、コンピュータ発生式ストローク1702(矢印あり又は矢印なし)を通して、好ましくは異なる色(例えば、黒の代わりに緑)を用いてディスプレイ280上でユーザに明らかにされる。
【0101】
図17Oでは、コンピュータ発生式ストローク1701が消去される。
【0102】
図17Pでは、ユーザは、グリッド901内のディスプレイ280に再び第6ストロークを描く。フィードバック方法1100が実行され、この時の正確性スコア1101が閾値1102を超えたことが決定される。この結果、芸術表現エンジン840は、芸術作品パネル902に追加のストロークを描く(芸術ライブラリ720のデータを用いて)。
【0103】
図17Qでは、ユーザは、グリッド901内のディスプレイ280に第7ストロークを描く。フィードバック方法1100が実行され、正確性スコア1101が閾値1102を超えたことが決定される。この結果、芸術表現エンジン840は、芸術作品パネル902に追加のストロークを描く(芸術ライブラリ720のデータを用いて)。
【0104】
この時点で、ユーザは、十分な正確性で基準文字1700の全体を描くことに成功している。
【0105】
本発明のシステムは、
図15に関して上述した陰影付けのないオプションを用いた同じ文字の練習をユーザに提供することができる。
【0106】
図13-17に関して説明したレッスンの説明は、北京語文字の2つだけを用いるかつ教育ソフトウエア環境に用いることができる芸術の作品の2つを用いるレッスンの一般的な過程を例示するための例に過ぎない。当業者は、これらの例を制限されない数の追加の北京語文字に拡張することができることを理解するであろう。
【0107】
図18Aから18Fは較正過程1800を描いている。較正過程1800は閾値1102を設定又は調節するのに使用され、それによってユーザ又はインストラクターは必要に応じて甘く又は厳しく本発明のシステムを修正することができる。較正過程1800はまた、ユーザがストローク発生の細かい態様を練習することができ、かつ各ストロークでの有用なフィードバックを受け入れることができるユーザのための指導的過程そのものである。
【0108】
図18Aは、基準文字1700の部分的な特に基準文字1700の最初の2つのストロークを示している。
【0109】
図18Bは、基準文字1700のチェックポイント1801及び周囲チェックポイント1802を示している。チェックポイント1801及び周囲チェックポイント1802は、文字比較エンジン810によって用いられ、正確性スコア1101を決定することができる。
【0110】
図18Cは、基準文字1700の最初の2つのストロークをユーザが描く第1の例を示している。この事例では、ユーザのストロークは、ユーザのストロークとチェックポイント1801及び周囲チェックポイント1802とからの偏差によって測定されるように相対的に正確である。ユーザ入力ボックス1803が、ユーザ又はインストラクターからの較正フィードバックを要求するために画面に表示される。文字比較エンジン810は正確性スコア1101を決定し、単純なラベル「スコア」を有する数(ここでは、「95」)として正確性スコア1101を示す。ユーザ又はインストラクターは、正確性スコア1101が合格であるか否かを訊ねられる。この例では、閾値1102が最初に100に設定される。ユーザ又はインストラクターが「イエス」を選択した場合に、閾値1102は、正確性スコア1101の現在の値(ここでは95)に設定される。
【0111】
図18Dは、基準文字1700の最初の2つのストロークをユーザが描く第2の例を示している。この事例では、ユーザのストロークは、ユーザのストロークとチェックポイント1801及び周囲チェックポイント1802とからの偏差によって測定されるように
図18Cほど正確ではない。ここでもまた、文字比較エンジン810は正確性スコア1101を決定し、かつ単純なラベル「スコア」を有する数(ここでは「90」)として正確性スコア1101を示す。ユーザ又はインストラクターは、正確性スコア1101が合格であるか否かを訊ねられる。ユーザ又はインストラクターが「イエス」を選択した場合に、閾値1102が正確性スコア1101の現在の値(ここでは「90」)に設定される。ユーザ又はインストラクターが「ノー」を選択した場合に、閾値1102は変化しない。
【0112】
図18Eは、基準文字1700の最初の2つのストロークをユーザが示す第3の例を示している。この事例では、ユーザのストロークは、ユーザのストローク及びチェックポイント1801及び周囲チェックポイント1802からの偏差によって測定されるように
図18C又は18Dほど正確ではない。ここでもまた、文字比較エンジン810は、正確性スコア1101を決定し、かつ単純なラベル「スコア」を有する数(ここでは「80」)として正確性スコア1101を示す。ユーザ又はインストラクターは、正確性スコア1101が合格であるかを訊ねられる。ユーザ又はインストラクターが「イエス」を選択した場合に、閾値1102は、正確性スコア1101の現在の値(ここでは「80」)に設定される。ユーザ又はインストラクターが「ノー」を選択した場合に、閾値1102は変化しない。
【0113】
図18Fは、基準文字1700の最初の2つのストロークをユーザが描く第3の例を示している。この事例では、ユーザのストロークは、ユーザのストロークとチェックポイント1801及び周囲チェックポイント1802とからの偏差によって測定されるように
図18C、18D、又は18Eほど正確ではない。ここでもまた、文字比較エンジン810は正確性スコア1101を決定し、かつ単純なラベル「スコア」を有する数(ここでは「70」)として正確性スコア1101を示す。ユーザ又はインストラクターは、正確性スコア1101が合格であるか否かを訊ねられる。ユーザ又はインストラクターが「イエス」を選択した場合に、閾値1102は、正確性スコア1101の現在の値(ここでは「70」)に設定される。ユーザ又はインストラクターが「ノー」を選択した場合に、閾値1102は変化しない。
【0114】
較正過程1800を用いて、ユーザは、ユーザが上達する時にストローク評価過程の厳しさを上げることができる。他方、較正過程1800はまた、ユーザが小さい子供又は初心者である場合に閾値1102を甘いレベルに設定することができる。
【0115】
本明細書に説明するシステム及び方法は、音楽フィードバック、音声フィードバック、芸術作品フィードバック、及び文字フィードバックを受け入れながら、かつ同じく輪郭画様式及び非輪郭画様式での古典的中国絵画を生成する方法を学習しながら北京語のような言語からの文字を正確に書く方法をユーザが学習するための電子化環境を提供する。
【0116】
本明細書での本発明への参照は、いずれの特許請求の範囲又は特許請求の範囲の用語の範囲を制限することも意図せず、むしろ特許請求の範囲の1又は2以上によって網羅することができる1又は2以上の特徴を単に参照するに過ぎない。上述の材料、過程、及び数字の例は例示に過ぎず、特許請求の範囲を制限するものと考えるべきではない。用語「over」及び「on」は、両方とも「直接に上に」(2つの間に配置される中間材料、要素、又は空間がない)及び「間接的に上に」(2つの間に中間材料、要素、又は空間が配置される)を包括的に含む。同様に、用語「隣接する」は、「直接的に隣接する」(2つの間に中間材料、要素、又は空間がない)及び「間接的に隣接する」(2つの間に中間材料、要素、又は空間が配置される)を含む。例えば、「基板の上に」要素を形成することは、2つの間に中間材料/要素を含まずに基板上に要素を直接形成する段階、並びに2つの間の1又は2以上の中間材料/要素を有して基板上に間接的に要素を形成する段階を含むことができる。
【符号の説明】
【0117】
200 クライアントデバイス
310 オペレーティングシステム
320 ウェブブラウザ
330 クライアントアプリケーション
【外国語明細書】