特許 7118389 言語学習装置及び言語学習方法並びに言語学習用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-05

(45)【発行日】2022-08-16

(54)【発明の名称】言語学習装置及び言語学習方法並びに言語学習用プログラム

(51)【国際特許分類】

   G09B 19/06 20060101AFI20220808BHJP

   G09B 5/06 20060101ALI20220808BHJP

   G10L 15/00 20130101ALI20220808BHJP

   G06F 3/16 20060101ALI20220808BHJP

【ＦＩ】

G09B19/06

G09B5/06

G10L15/00 200E

G06F3/16 650

G06F3/16 620

【請求項の数】 20

(21)【出願番号】P 2017165973

(22)【出願日】2017-08-30

(65)【公開番号】P2019045575

(43)【公開日】2019-03-22

【審査請求日】2020-06-11

(73)【特許権者】

【識別番号】516087090

【氏名又は名称】株式会社ＲＥＫＩＤＳ

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(74)【代理人】

【識別番号】100173510

【弁理士】

【氏名又は名称】美川 公司

(72)【発明者】

【氏名】富野 り香

(72)【発明者】

【氏名】富野 永和

(72)【発明者】

【氏名】山形 知大

(72)【発明者】

【氏名】山之内 隆弘

【審査官】西村 民男

(56)【参考文献】

【文献】特開２０１１－１１８２９２（ＪＰ，Ａ）

【文献】特開２０１０－２７１６１５（ＪＰ，Ａ）

【文献】特開２００７－１４８１７０（ＪＰ，Ａ）

【文献】特開２０００－１０５５３０（ＪＰ，Ａ）

【文献】特開平１０－２２８２３０（ＪＰ，Ａ）

【文献】特開平１０－１４３０６１（ＪＰ，Ａ）

【文献】特開平０８－０８３０４１（ＪＰ，Ａ）

【文献】国際公開第２００５／１２２１０６（ＷＯ，Ａ１）

【文献】学研 えいご三昧ＤＳ クッキングママ ３ ストライクウィッチーズ 蒼空の電撃戦 新隊長 奮闘する，週刊ファミ通 ，日本，株式会社エンターブレイン，2009年12月01日，第２４巻、 第５１号 ，p. 101

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００ － ９／５６，

Ｇ０９Ｂ １７／００ －１９／２６，

Ｇ０６Ｆ ３／１６ ，

Ｇ０６Ｑ ５０／２０ ，

Ｇ１０Ｌ １５／００ －１７／２６

(57)【特許請求の範囲】

【請求項1】

学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行する視聴ステップ実行手段と、
前記視聴ステップの後に、複数の録音シーンからなる録音ステップを実行する録音ステップ実行手段と、
前記録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行する翻訳ステップ実行手段と、
を備える言語学習装置であって、
前記視聴ステップ実行手段は、
一の前記視聴シーンを構成する前記画像及び前記音声である視聴画像及び視聴音声を出力する視聴出力手段と、
同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記視聴シーンの出力を、当該各視聴シーンを構成する前記視聴画像及び前記視聴音声の出力により順次実行するように前記視聴出力手段を制御する視聴制御手段と、
を備え、
前記録音ステップ実行手段は、
一の前記録音シーンを構成する前記画像及び前記音声である録音画像及び録音音声を出力する録音出力手段と、
前記録音画像及び前記録音音声に対応する前記文章を発音した学習者の音声を集音して録音する録音手段と、
前記録音した学習者の音声を出力する学習者音声出力手段と、
同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記録音シーンの実行を、当該各録音シーンを構成する前記録音画像及び前記録音音声の出力、前記学習者の音声の集音及び録音、及び前記学習者の音声の出力により順次行うように、前記録音出力手段、前記録音手段、及び前記学習者音声出力手段を制御する録音制御手段と、
を備え、
前記翻訳ステップ実行手段は、
一の前記翻訳シーンを構成し且つ前記画像及び前記音声に対応した日本語により綴られた日本語文章を含む日本語画像を表示する日本語画像表示手段と、
前記表示中の日本語画像に含まれる前記日本語文章に相当する前記言語による学習者の音声を翻訳音声として集音して録音する翻訳録音手段と、
前記録音された翻訳音声を出力する第１翻訳出力手段と、
前記日本語文章に相当する前記言語の文章を含む画像及び当該言語の文章を発音した音声を出力する第２翻訳出力手段と、
同一文法の相互に異なる前記日本語文章によりそれぞれ構成される複数の前記翻訳シーンの実行を、前記日本語画像の表示、前記翻訳音声の集音及び録音、前記翻訳音声の出力、並びに前記第２翻訳出力手段による前記画像及び前記音声の出力により順次行うように、前記日本語画像表示手段、前記翻訳録音手段、前記第１翻訳出力手段、及び前記第２翻訳出力手段を制御する翻訳制御手段と、
を備え、
前記日本語文章における読点の位置が、当該日本語文章に相当する前記言語の文章における単語の区切りに相当する位置とされていることを特徴とする言語学習装置。

【請求項2】

請求項１に記載の言語学習装置において、
前記録音手段による集音及び録音を開始する際に操作される操作手段を更に備え、
前記録音手段は、前記操作手段を用いた操作が実行された場合に、前記集音及び前記録音を行うことを特徴とする言語学習装置。

【請求項3】

請求項１又は請求項２に記載の言語学習装置において、
前記視聴制御手段による複数の前記視聴シーンの出力が終了したタイミングにおいて、前記視聴ステップに対応する前記同一文法の解説である文法解説情報を出力する解説情報出力手段を更に備えることを特徴とする言語学習装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の言語学習装置において、
前記録音制御手段による複数の前記録音シーンの実行が終了したタイミングにおいて、学習者を労う旨の労い情報を出力する労い情報出力手段を更に備えることを特徴とする言語学習装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の言語学習装置において、
前記録音した学習者の音声の内容を認識する認識手段と、
前記認識手段による認識結果と、前記録音画像及び前記録音音声それぞれの内容と、を比較し、両者の一致度を示す一致度情報を出力する一致度情報出力手段と、
を更に備えることを特徴とする言語学習装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の言語学習装置において、
前記翻訳録音手段による集音及び録音を開始する際に操作される翻訳操作手段を更に備え、
前記翻訳録音手段は、前記翻訳操作手段を用いた操作が実行された場合に、前記翻訳音声の集音及び録音を行うことを特徴とする言語学習装置。

【請求項7】

請求項１から請求項６のいずれか一項に記載の言語学習装置において、
前記表示中の日本語画像に含まれる前記日本語文章に相当し且つ前記言語により綴られた文章である翻訳文章を発音した音声を出力する際に操作される翻訳音声出力操作手段と、
前記翻訳音声出力操作手段を用いた操作が実行された場合に、前記翻訳文章を発音した音声を出力する翻訳音声出力手段と、
を更に備えることを特徴とする言語学習装置。

【請求項8】

請求項１から請求項７のいずれか一項に記載の言語学習装置において、
前記録音された翻訳音声の内容を認識する翻訳認識手段と、
前記翻訳認識手段による認識結果と、前記日本語文章に相当する前記言語の文章の内容と、を比較し、両者の一致度を示す一致度情報を出力する翻訳一致度情報出力手段と、
を更に備えることを特徴とする言語学習装置。

【請求項9】

請求項１から請求項８のいずれか一項に記載の言語学習装置において、
前記視聴ステップと前記録音ステップとの間に、複数の反復シーンからなる反復ステップを実行する反復ステップ実行手段あって、
一の前記反復シーンを構成する前記画像及び前記音声である反復画像及び反復音声を出力する反復出力手段と、
各前記出力された反復画像及び反復音声に対応する前記文章を構成する単語の発音を促す発音促進情報を出力する発音促進手段と、
同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記反復シーンの実行を、前記反復画像及び前記反復音声の出力並びに前記発音促進情報の出力により順次行うように、前記反復出力手段及び前記発音促進手段を制御する反復制御手段と、
を備える反復ステップ実行手段を更に備えることを特徴とする言語学習装置。

【請求項10】

請求項９に記載の言語学習装置において、
前記反復制御手段による複数の前記反復シーンの実行が終了したタイミングにおいて、前記反復ステップに対応する前記同一文法の解説である文法解説情報を出力する反復解説情報出力手段を更に備えることを特徴とする言語学習装置。

【請求項11】

請求項９又は請求項１０に記載の言語学習装置において、
前記視聴シーンの数、前記録音シーンの数、前記翻訳シーンの数、及び前記反復シーンの数が同一であることを特徴とする言語学習装置。

【請求項12】

請求項１１に記載の言語学習装置において、
各前記数が四であることを特徴とする言語学習装置。

【請求項13】

請求項９から請求項１２のいずれか一項に記載の言語学習装置において、
一の前記翻訳シーンに対応する前記日本語文章の数が、一の前記視聴シーンを構成する前記画像及び前記音声に対応する前記文章の数、一の前記録音シーンを構成する前記画像及び前記音声に対応する前記文章の数並びに一の前記反復シーンを構成する前記画像及び前記音声に対応する前記文章の数のいずれよりも少ないことを特徴とする言語学習装置。

【請求項14】

請求項９から請求項１３のいずれか一項に記載の言語学習装置において、
前記視聴出力手段、前記録音出力手段、前記反復出力手段又は前記第２翻訳出力手段の少なくともいずれか一つは、出力中の画像及び音声に対応する前記文章を構成する単語の、当該音声としての出力タイミングにおける当該画像内の表示態様を、当該出力タイミング後に当該音声として出力される他の前記単語の当該画像内の表示態様に対して異ならせつつ画像及び音声を出力することを特徴とする言語学習装置。

【請求項15】

請求項１４に記載の言語学習装置において、
前記表示態様が前記単語の前記画像内の表示色であることを特徴とする言語学習装置。

【請求項16】

請求項９から請求項１５のいずれか一項に記載の言語学習装置において、
相互に対応する前記視聴シーン、前記反復シーン、前記録音シーン及び前記翻訳シーンのそれぞれを構成する少なくともキャラクタが当該各シーンの全てにおいて同一であることを特徴とする言語学習装置。

【請求項17】

請求項９から請求項１６のいずれか一項に記載の言語学習装置において、
前記視聴ステップ、前記反復ステップ、前記録音ステップ及び前記翻訳ステップがそれぞれ終了した場合、当該終了したことを示す終了情報を当該終了した学習者に関連付けて出力可能に記録する終了情報記録手段を更に備えることを特徴とする言語学習装置。

【請求項18】

請求項１から請求項１７のいずれか一項に記載の言語学習装置において、
前記言語が英語であり、
前記同一文法が時制の一致であることを特徴とする言語学習装置。

【請求項19】

学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行する視聴ステップ実行手段であって、視聴出力手段と、視聴制御手段と、を備える視聴ステップ実行手段と、前記視聴ステップの後に、複数の録音シーンからなる録音ステップを実行する録音ステップ実行手段であって、録音出力手段と、録音手段と、学習者音声出力手段と、録音制御手段と、を備える録音ステップ実行手段と、前記録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行する翻訳ステップ実行手段であって、日本語画像表示手段と、翻訳録音手段と、第１翻訳出力手段と、第２翻訳出力手段と、翻訳制御手段と、を備える翻訳ステップ実行手段と、を備える言語学習装置において実行される言語学習方法であって、
前記視聴ステップは、
一の前記視聴シーンを構成する前記画像及び前記音声である視聴画像及び視聴音声を前記視聴出力手段により出力する視聴出力工程と、
同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記視聴シーンの出力を、当該各視聴シーンを構成する前記視聴画像及び前記視聴音声の出力により順次実行するように、前記視聴制御手段により前記視聴出力手段を制御する視聴制御工程と、
を含み、
前記録音ステップは、
一の前記録音シーンを構成する前記画像及び前記音声である録音画像及び録音音声を前記録音出力手段により出力する録音出力工程と、
前記録音画像及び前記録音音声に対応する前記文章を発音した学習者の音声を前記録音手段により集音して録音する録音工程と、
前記録音した学習者の音声を前記学習者音声出力手段により出力する学習者音声出力工程と、
同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記録音シーンの実行を、当該各録音シーンを構成する前記録音画像及び前記録音音声の出力、前記学習者の音声の集音及び録音、及び前記学習者の音声の出力により順次行うように、前記録音出力手段、前記録音手段、及び前記学習者音声出力手段を前記録音制御手段により制御する録音制御工程と、
を含み、
前記翻訳ステップは、
一の前記翻訳シーンを構成し且つ前記画像及び前記音声に対応した日本語により綴られた日本語文章を含む日本語画像を前記日本語画像表示手段により表示する日本語画像表示工程と、
前記翻訳録音手段により、前記表示中の日本語画像に含まれる前記日本語文章に相当する前記言語による学習者の音声を翻訳音声として集音して録音する翻訳録音工程と、
前記録音された翻訳音声を前記第１翻訳出力手段により出力する第１翻訳出力工程と、
前記日本語文章に相当する前記言語の文章を含む画像及び当該言語の文章を発音した音声を前記第２翻訳出力手段により出力する第２翻訳出力工程と、
同一文法の相互に異なる前記日本語文章によりそれぞれ構成される複数の前記翻訳シーンの実行を、前記日本語画像表示手段による前記日本語画像の表示、前記翻訳録音手段による前記翻訳音声の集音及び録音、前記第１翻訳出力手段による前記翻訳音声の出力、並びに前記第２翻訳出力手段による前記画像及び前記音声の出力により順次行うように、前記日本語画像表示手段、前記翻訳録音手段、前記第１翻訳出力手段、及び前記第２翻訳出力手段を前記翻訳制御手段により制御する翻訳制御工程と、
を含み、
前記日本語文章における読点の位置が、当該日本語文章に相当する前記言語の文章における単語の区切りに相当する位置とされていることを特徴とする言語学習方法。

【請求項20】

言語学習装置に含まれるコンピュータを、
学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行する視聴ステップ実行手段、
前記視聴ステップの後に、複数の録音シーンからなる録音ステップを実行する録音ステップ実行手段、及び、
前記録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行する翻訳ステップ実行手段、
として機能させる言語学習用プログラムであって、
前記視聴ステップ実行手段として機能する前記コンピュータを、
一の前記視聴シーンを構成する前記画像及び前記音声である視聴画像及び視聴音声を出力する視聴出力手段、及び、
同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記視聴シーンの出力を、当該各視聴シーンを構成する前記視聴画像及び前記視聴音声の出力により順次実行するように前記視聴出力手段を制御する視聴制御手段、
として機能させ、
前記録音ステップ実行手段として機能する前記コンピュータを、
一の前記録音シーンを構成する前記画像及び前記音声である録音画像及び録音音声を出力する録音出力手段、
前記録音画像及び前記録音音声に対応する前記文章を発音した学習者の音声を集音して録音する録音手段、
前記録音した学習者の音声を出力する学習者音声出力手段、及び、
同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記録音シーンの実行を、当該各録音シーンを構成する前記録音画像及び前記録音音声の出力、前記学習者の音声の集音及び録音、及び前記学習者の音声の出力により順次行うように、前記録音出力手段、前記録音手段、及び前記学習者音声出力手段を制御する録音制御手段、
として機能させ、
前記翻訳ステップ実行手段として機能する前記コンピュータを、
一の前記翻訳シーンを構成し且つ前記画像及び前記音声に対応した日本語により綴られた日本語文章を含む日本語画像を表示する日本語画像表示手段、
前記表示中の日本語画像に含まれる前記日本語文章に相当する前記言語による学習者の音声を翻訳音声として集音して録音する翻訳録音手段、
前記録音された翻訳音声を出力する第１翻訳出力手段、
前記日本語文章に相当する前記言語の文章を含む画像及び当該言語の文章を発音した音声を出力する第２翻訳出力手段、及び、
同一文法の相互に異なる前記日本語文章によりそれぞれ構成される複数の前記翻訳シーンの実行を、前記日本語画像表示手段による前記日本語画像の表示、前記翻訳録音手段による前記翻訳音声の集音及び録音、前記第１翻訳出力手段による前記翻訳音声の出力、並びに前記第２翻訳出力手段による前記画像及び前記音声の出力により順次行うように、前記日本語画像表示手段、前記翻訳録音手段、前記第１翻訳出力手段、及び前記第２翻訳出力手段を制御する翻訳制御手段、
として機能させ、
前記日本語文章における読点の位置が、当該日本語文章に相当する前記言語の文章における単語の区切りに相当する位置とされていることを特徴とする言語学習用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、言語学習装置及び言語学習方法並びに言語学習用プログラムの技術分野に属し、より詳細には、日本人が日本語以外の他の言語を学習するために用いられる言語学習装置及び言語学習方法並びに当該言語学習装置用のプログラムの技術分野に属する。

【背景技術】

【0002】

近年、日本人に対する実用的な英語教育の必要性は益々高まっており、これに対応して、小学生等の低年齢層に対する実用的な英語教育の必要性も指摘されている。また、学校等での集団による英語教育の他に、自身が操作するパーソナルコンピュータやタブレット端末を用いて個人的に英語教育を受けることも多く行われるようになった。なお以下の説明において、パーソナルコンピュータやタブレット端末を、単に「ＰＣ（Personal Computer）等」と称する。このような個人的な英語教育は、当該教育を受ける個人の上達度や進度に応じて難易度を調整できる等、集団による英語教育では得られない効果が期待できる。

【0003】

そして、上記ＰＣ等を用いた英語教育に関する先行技術文献としては、例えば下記特許文献１が挙げられる。この特許文献１に記載されている技術では、言語教育用システムにおいて、第１視点に対応するイベントの第１記述を提示するステップと、第２視点に対応するイベントの第２記述を提示するステップと、を含み、イベントの第１記述とイベントの第２記述とが共通の言語であるように構成されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－１９７６９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、日本人を対象とした英語教育に対して上記特許文献１に記載されている技術を用いた場合、例えば高度過ぎたり、或いは飽き易かったりといった問題点があり、実効のある英語教育は期待できないという問題点がある。

【0006】

そこで本発明は、上記の問題点に鑑みて為されたもので、その課題の一例は、日本人であっても、学習対象たる言語（例えば英語）の学習効果（練習効果）を向上させることが可能な言語学習装置及び言語学習方法並びに当該言語学習装置用のプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、請求項１に記載の発明は、学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行するリスニングステップ処理部等の視聴ステップ実行手段と、
前記視聴ステップの後に、複数の録音シーンからなる録音ステップを実行するレコードステップ処理部等の録音ステップ実行手段と、前記録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行するトランスレーションステップ処理部等の翻訳ステップ実行手段と、を備える言語学習装置であって、前記視聴ステップ実行手段は、一の前記視聴シーンを構成する前記画像及び前記音声である視聴画像及び視聴音声を出力するディスプレイ及びスピーカ等の視聴出力手段と、同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記視聴シーンの出力を、当該各視聴シーンを構成する前記視聴画像及び前記視聴音声の出力により順次実行するように前記視聴出力手段を制御するリスニングステップ処理部等の視聴制御手段と、を備え、前記録音ステップ実行手段は、一の前記録音シーンを構成する前記画像及び前記音声である録音画像及び録音音声を出力するディスプレイ及びスピーカ等の録音出力手段と、前記録音画像及び前記録音音声に対応する前記文章を発音した学習者の音声を集音して録音するレコードステップ処理部等の録音手段と、前記録音した学習者の音声を出力するスピーカ等の学習者音声出力手段と、同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記録音シーンの実行を、当該各録音シーンを構成する前記録音画像及び前記録音音声の出力、前記学習者の音声の集音及び録音、及び前記学習者の音声の出力により順次行うように、前記録音出力手段、前記録音手段、及び前記学習者音声出力手段を制御するレコードステップ処理部等の録音制御手段と、を備え、前記翻訳ステップ実行手段は、一の前記翻訳シーンを構成し且つ前記画像及び前記音声に対応した日本語により綴られた日本語文章を含む日本語画像を表示するディスプレイ等の日本語画像表示手段と、前記表示中の日本語画像に含まれる前記日本語文章に相当する前記言語による学習者の音声を翻訳音声として集音して録音するトランスレーションステップ処理部等の翻訳録音手段と、前記録音された翻訳音声を出力するスピーカ等の第１翻訳出力手段と、前記日本語文章に相当する前記言語の文章を含む画像及び当該言語の文章を発音した音声を出力するスピーカ等の第２翻訳出力手段と、同一文法の相互に異なる前記日本語文章によりそれぞれ構成される複数の前記翻訳シーンの実行を、前記日本語画像の表示、前記翻訳音声の集音及び録音、前記翻訳音声の出力、並びに前記第２翻訳出力手段による前記画像及び前記音声の出力により順次行うように、前記日本語画像表示手段、前記翻訳録音手段、前記第１翻訳出力手段、及び前記第２翻訳出力手段を制御するトランスレーションステップ処理部等の翻訳制御手段と、を備え、前記日本語文章における読点の位置が、当該日本語文章に相当する前記言語の文章における単語の区切りに相当する位置とされているように構成される。

【0008】

上記の課題を解決するために、請求項１９に記載の発明は、学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行する視聴ステップ実行手段であって、ディスプレイ及びスピーカ等の視聴出力手段と、リスニングステップ処理部等の視聴制御手段と、を備えるリスニングステップ処理部等の視聴ステップ実行手段と、前記視聴ステップの後に、複数の録音シーンからなる録音ステップを実行する録音ステップ実行手段であって、スピーカ等の録音出力手段と、レコードステップ処理部等の録音手段と、スピーカ等の学習者音声出力手段と、録音制御手段と、を備えるレコードステップ処理部等の録音ステップ実行手段と、前記録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行する翻訳ステップ実行手段であって、ディスプレイ等の日本語画像表示手段と、トランスレーションステップ処理部等の翻訳録音手段と、スピーカ等の第１翻訳出力手段と、スピーカ等の第２翻訳出力手段と、トランスレーションステップ処理部等の翻訳制御手段と、を備えるトランスレーションステップ処理部等の翻訳ステップ実行手段と、を備える言語学習装置において実行される言語学習方法であって、前記視聴ステップは、一の前記視聴シーンを構成する前記画像及び前記音声である視聴画像及び視聴音声を前記視聴出力手段により出力する視聴出力工程と、同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記視聴シーンの出力を、当該各視聴シーンを構成する前記視聴画像及び前記視聴音声の出力により順次実行するように、前記視聴制御手段により前記視聴出力手段を制御する視聴制御工程と、を含み、前記録音ステップは、一の前記録音シーンを構成する前記画像及び前記音声である録音画像及び録音音声を前記録音出力手段により出力する録音出力工程と、前記録音画像及び前記録音音声に対応する前記文章を発音した学習者の音声を前記録音手段により集音して録音する録音工程と、前記録音した学習者の音声を前記学習者音声出力手段により出力する学習者音声出力工程と、同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記録音シーンの実行を、当該各録音シーンを構成する前記録音画像及び前記録音音声の出力、前記学習者の音声の集音及び録音、及び前記学習者の音声の出力により順次行うように、前記録音出力手段、前記録音手段、及び前記学習者音声出力手段を前記録音制御手段により制御する録音制御工程と、を含み、前記翻訳ステップは、一の前記翻訳シーンを構成し且つ前記画像及び前記音声に対応した日本語により綴られた日本語文章を含む日本語画像を前記日本語画像表示手段により表示する日本語画像表示工程と、前記翻訳録音手段により、前記表示中の日本語画像に含まれる前記日本語文章に相当する前記言語による学習者の音声を翻訳音声として集音して録音する翻訳録音工程と、前記録音された翻訳音声を前記第１翻訳出力手段により出力する第１翻訳出力工程と、前記日本語文章に相当する前記言語の文章を含む画像及び当該言語の文章を発音した音声を前記第２翻訳出力手段により出力する第２翻訳出力工程と、同一文法の相互に異なる前記日本語文章によりそれぞれ構成される複数の前記翻訳シーンの実行を、前記日本語画像表示手段による前記日本語画像の表示、前記翻訳録音手段による前記翻訳音声の集音及び録音、前記第１翻訳出力手段による前記翻訳音声の出力、並びに前記第２翻訳出力手段による前記画像及び前記音声の出力により順次行うように、前記日本語画像表示手段、前記翻訳録音手段、前記第１翻訳出力手段、及び前記第２翻訳出力手段を前記翻訳制御手段により制御する翻訳制御工程と、を含み、前記日本語文章における読点の位置が、当該日本語文章に相当する前記言語の文章における単語の区切りに相当する位置とされているように構成される。

【0009】

上記の課題を解決するために、請求項２０に記載の発明は、言語学習装置に含まれるコンピュータを、学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行する視聴ステップ実行手段、前記視聴ステップの後に、複数の録音シーンからなる録音ステップを実行する録音ステップ実行手段、及び、前記録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行する翻訳ステップ実行手段、として機能させる言語学習用プログラムであって、前記視聴ステップ実行手段として機能する前記コンピュータを、一の前記視聴シーンを構成する前記画像及び前記音声である視聴画像及び視聴音声を出力する視聴出力手段、及び、同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記視聴シーンの出力を、当該各視聴シーンを構成する前記視聴画像及び前記視聴音声の出力により順次実行するように前記視聴出力手段を制御する視聴制御手段、として機能させ、前記録音ステップ実行手段として機能する前記コンピュータを、一の前記録音シーンを構成する前記画像及び前記音声である録音画像及び録音音声を出力する録音出力手段、前記録音画像及び前記録音音声に対応する前記文章を発音した学習者の音声を集音して録音する録音手段、前記録音した学習者の音声を出力する学習者音声出力手段、及び、同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記録音シーンの実行を、当該各録音シーンを構成する前記録音画像及び前記録音音声の出力、前記学習者の音声の集音及び録音、及び前記学習者の音声の出力により順次行うように、前記録音出力手段、前記録音手段、及び前記学習者音声出力手段を制御する録音制御手段、として機能させ、前記翻訳ステップ実行手段として機能する前記コンピュータを、一の前記翻訳シーンを構成し且つ前記画像及び前記音声に対応した日本語により綴られた日本語文章を含む日本語画像を表示する日本語画像表示手段、前記表示中の日本語画像に含まれる前記日本語文章に相当する前記言語による学習者の音声を翻訳音声として集音して録音する翻訳録音手段、前記録音された翻訳音声を出力する第１翻訳出力手段、前記日本語文章に相当する前記言語の文章を含む画像及び当該言語の文章を発音した音声を出力する第２翻訳出力手段、及び、同一文法の相互に異なる前記日本語文章によりそれぞれ構成される複数の前記翻訳シーンの実行を、前記日本語画像表示手段による前記日本語画像の表示、前記翻訳録音手段による前記翻訳音声の集音及び録音、前記第１翻訳出力手段による前記翻訳音声の出力、並びに前記第２翻訳出力手段による前記画像及び前記音声の出力により順次行うように、前記日本語画像表示手段、前記翻訳録音手段、前記第１翻訳出力手段、及び前記第２翻訳出力手段を制御する翻訳制御手段、として機能させ、前記日本語文章における読点の位置が、当該日本語文章に相当する前記言語の文章における単語の区切りに相当する位置とされているように構成される。

【0010】

請求項１、請求項１９又は請求項２０のいずれか一項に記載の発明によれば、学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行し、その後に、複数の録音シーンからなる録音ステップを実行する。このとき、視聴ステップとして、同一文法の相互に異なる文章によりそれぞれ構成される複数の視聴シーンの出力が、各視聴シーンを構成する視聴画像及び視聴音声の出力により順次実行される。一方録音ステップとして、同一文法の相互に異なる文章によりそれぞれ構成される複数の録音シーンの実行を、各録音シーンを構成する録音画像及び録音音声の出力、録音画像及び録音音声に対応する文章を発音した学習者の音声の集音及び録音、及び録音した学習者の音声の出力により順次行われる。よって、視聴ステップと録音ステップとが、同一の文法の異なる文章により構成されるいわゆるパターンプラクティスとして実行されることで、学習対象たる言語の学習効果（練習効果）を向上させることができる。
また、録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行する。このとき、翻訳ステップとして、同一文法の相互に異なる日本語文章によりそれぞれ構成される複数の翻訳シーンの実行が、各翻訳シーンを構成する日本語画像の表示、表示中の日本語画像に含まれる日本語文章に相当する翻訳音声の録音、録音された翻訳音声の出力、及び日本語文章に相当する学習対象の言語の文章を含む画像及び当該言語の文章を発音した音声の出力により順次行われる。よって、同一の文法の異なる日本語文章によるいわゆるパターンプラクティスとして翻訳ステップが更に実行されることで、学習対象たる言語の学習効果（練習効果）をより向上させることができる。
更に、日本語文章における読点の位置が、当該日本語文章に相当する学習対象の言語の文章における単語の区切りに相当する位置とされているので、より正確な翻訳音声の集音及び録音を行わせることができる。

【0011】

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の言語学習装置において、前記録音手段による集音及び録音を開始する際に操作される操作部等の操作手段を更に備え、前記録音手段は、前記操作手段を用いた操作が実行された場合に、前記集音及び前記録音を行うように構成される。

【0012】

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、録音手段による集音及び録音を開始する際に操作される操作手段を用いた当該操作が実行された場合に、学習者の音声の集音及び録音を行う。よって、学習者の任意のタイミングで発音及び録音を行うことができるので、余裕を持ってその言語を学習することができる。

【0013】

上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の言語学習装置において、前記視聴制御手段による複数の前記視聴シーンの出力が終了したタイミングにおいて、前記視聴ステップに対応する前記同一文法の解説である文法解説情報を出力するディスプレイ等の解説情報出力手段を更に備える。

【0014】

請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、複数の視聴シーンの出力が終了したタイミングにおいて文法解説情報を出力するので、視聴ステップの学習の対象となった文法の内容を容易に理解することができる。

【0015】

上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の言語学習装置において、前記録音制御手段による複数の前記録音シーンの実行が終了したタイミングにおいて、学習者を労う旨の労い情報を出力するディスプレイ等の労い情報出力手段を更に備える。

【0016】

請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、複数の録音シーンの実行が終了したタイミングにおいて労い情報を出力するので、学習者の学習継続意欲を維持又は高めることができる。

【0017】

上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の言語学習装置において、前記録音した学習者の音声の内容を認識するレコードステップ処理部等の認識手段と、前記認識手段による認識結果と、前記録音画像及び前記録音音声それぞれの内容と、を比較し、両者の一致度を示す一致度情報を出力するディスプレイ等の一致度情報出力手段と、を更に備える。

【0018】

請求項５に記載の発明によれば、請求項１から請求項４のいずれか一項に記載の発明の作用に加えて、録音画像及び録音音声に対応する文章を発音した学習者の音声の内容を認識し、その認識結果と、録音画像及び録音音声それぞれの内容と、を比較し、両者の一致度を示す一致度情報を出力するので、学習者が発声した当該音声の内容が合っているか否かを迅速に認識しつつ、当該言語の学習を進めることができる。

【0019】

上記の課題を解決するために、請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の言語学習装置において、前記翻訳録音手段による集音及び録音を開始する際に操作される操作部等の翻訳操作手段を更に備え、前記翻訳録音手段は、前記翻訳操作手段を用いた操作が実行された場合に、前記翻訳音声の集音及び録音を行うように構成される。
請求項６に記載の発明によれば、請求項１から請求項５のいずれか一項に記載の発明の作用に加えて、翻訳録音手段による集音及び録音を開始する際に操作される翻訳操作手段を用いた当該操作が実行された場合に、翻訳音声の集音及び録音を行う。よって、学習者の任意のタイミングで翻訳音声の発音及び録音を行うことができるので、余裕を持ってその言語を学習することができる。
上記の課題を解決するために、請求項７に記載の発明は、請求項１から請求項６のいずれか一項に記載の言語学習装置において、前記表示中の日本語画像に含まれる前記日本語文章に相当し且つ前記言語により綴られた文章である翻訳文章を発音した音声を出力する際に操作される操作部等の翻訳音声出力操作手段と、前記翻訳音声出力操作手段を用いた操作が実行された場合に、前記翻訳文章を発音した音声を出力するスピーカ等の翻訳音声出力手段と、を更に備える。
請求項７に記載の発明によれば、請求項１から請求項６のいずれか一項に記載の発明の作用によれば、翻訳音声出力操作手段を用いた操作が実行された場合に、表示中の日本語画像に含まれる日本語文章に相当する翻訳文章を発音した音声を出力する。よって、学習者において日本語文章の翻訳が難しい場合に、当該学習者による翻訳音声出力操作手段を用いた操作により翻訳文章を発音した音声を出力させることで、停滞することなく言語学習を進めることができる。
上記の課題を解決するために、請求項８に記載の発明は、請求項１から請求項７のいずれか一項に記載の言語学習装置において、前記録音された翻訳音声の内容を認識するトランスレーションステップ処理部等の翻訳認識手段と、前記翻訳認識手段による認識結果と、前記日本語文章に相当する前記言語の文章の内容と、を比較し、両者の一致度を示す一致度情報を出力するディスプレイ等の翻訳一致度情報出力手段と、を更に備える。
請求項８に記載の発明によれば、請求項１から請求項７のいずれか一項に記載の発明の作用に加えて、日本語文章に相当する学習者の音声である翻訳音声の内容を認識し、その認識結果と、日本語文章に相当する学習対象たる言語の文章の内容と、を比較し、両者の一致度を示す一致度情報を出力するので、学習者が発声した当該翻訳音声の内容が合っているか否かを迅速に認識しつつ、当該言語の学習を進めることができる。
上記の課題を解決するために、請求項９に記載の発明は、請求項１から請求項８のいずれか一項に記載の言語学習装置において、前記視聴ステップと前記録音ステップとの間に、複数の反復シーンからなる反復ステップを実行する反復ステップ実行手段あって、一の前記反復シーンを構成する前記画像及び前記音声である反復画像及び反復音声を出力するディスプレイ及びスピーカ等の反復出力手段と、各前記出力された反復画像及び反復音声に対応する前記文章を構成する単語の発音を促す発音促進情報を出力するディスプレイ等の発音促進手段と、同一文法の相互に異なる前記文章によりそれぞれ構成される複数の前記反復シーンの実行を、前記反復画像及び前記反復音声の出力並びに前記発音促進情報の出力により順次行うように、前記反復出力手段及び前記発音促進手段を制御するリピートステップ処理部等の反復制御手段と、を備えるリピートステップ処理部等の反復ステップ実行手段を更に備える。

【0020】

請求項９に記載の発明によれば、請求項1から請求項８のいずれか一項に記載の発明の作用に加えて、視聴ステップと録音ステップとの間に、複数の反復シーンからなる反復ステップを実行する。このとき、反復ステップとして、同一文法の相互に異なる文章によりそれぞれ構成される複数の反復シーンの実行が、各反復シーンを構成する反復画像及び反復音声の出力、及び当該反復画像及び反復音声に対応する文章を構成する単語の発音を促す発音促進情報の出力により順次行われる。よって、同一の文法の異なる文章により構成されるいわゆるパターンプラクティスとして、視聴ステップ、録音ステップ及び翻訳ステップに加えて反復ステップが実行されることで、学習対象たる言語の学習効果（練習効果）をより向上させることができる。

【0021】

上記の課題を解決するために、請求項１０に記載の発明は、請求項９に記載の言語学習装置において、前記反復制御手段による複数の前記反復シーンの実行が終了したタイミングにおいて、前記反復ステップに対応する前記同一文法の解説である文法解説情報を出力するディスプレイ等の反復解説情報出力手段を更に備える。

【0022】

請求項１０に記載の発明によれば、請求項９に記載の発明の作用に加えて、複数の反復シーンの実行が終了したタイミングにおいて文法解説情報を出力するので、反復ステップとしての学習の対象となった文法の内容を容易に理解することができる。

【0023】

上記の課題を解決するために、請求項１１に記載の発明は、請求項９又は請求項１０に記載の言語学習装置において、前記視聴シーンの数、前記録音シーンの数、前記翻訳シーンの数、及び前記反復シーンの数が同一であるように構成される。

【0024】

請求項１１に記載の発明によれば、請求項９又は請求項１０に記載の発明の作用に加えて、視聴シーンの数、録音シーンの数及び翻訳シーンの数並びに反復シーンの数が同一であるので、パターンプラクティスとしての学習効果を更に高めることができる。

【0025】

上記の課題を解決するために、請求項１２に記載の発明は、請求項１１に記載の言語学習装置において、各前記数が四であるように構成される。

【0026】

請求項１２に記載の発明によれば、請求項１１に記載の発明の作用に加えて、各数が四であるので、飽きを防止してパターンプラクティスとしての学習効果をより高めることができる。

【0037】

上記の課題を解決するために、請求項１３に記載された発明は、請求項９から請求項１２のいずれか一項に記載の言語学習装置において、一の前記翻訳シーンに対応する前記日本語文章の数が、一の前記視聴シーンを構成する前記画像及び前記音声に対応する前記文章の数、一の前記録音シーンを構成する前記画像及び前記音声に対応する前記文章の数並びに一の前記反復シーンを構成する前記画像及び前記音声に対応する前記文章の数のいずれよりも少ないように構成される。

【0038】

請求項１３に記載の発明によれば、請求項９から請求項１２のいずれか一項に記載の発明の作用に加えて、一の翻訳シーンに対応する日本語文章の数が、一の視聴シーンを構成する画像等に対応する文章の数、一の録音シーンを構成する画像等に対応する文章の数及び一の反復シーンを構成する画像等に対応する文章の数のいずれよりも少ないので、難度の高い翻訳シーン内の日本語文章の数を抑えて学習意欲の低下を防止することができる。

【0039】

上記の課題を解決するために、請求項１４に記載の発明は、請求項９から請求項１３のいずれか一項に記載の言語学習装置において、前記視聴出力手段、前記録音出力手段、前記反復出力手段又は前記第２翻訳出力手段の少なくともいずれか一つは、出力中の画像及び音声に対応する前記文章を構成する単語の、当該音声としての出力タイミングにおける当該画像内の表示態様を、当該出力タイミング後に当該音声として出力される他の前記単語の当該画像内の表示態様に対して異ならせつつ画像及び音声を出力するように構成される。

【0040】

請求項１４に記載の発明の作用によれば、請求項９から請求項１３のいずれか一項に記載の発明の作用に加えて、出力中の画像及び音声に対応する文章を構成する単語の、音声としての出力タイミングにおける画像内の表示態様を、その出力タイミング後に音声として出力される他の単語の画像内の表示態様に対して異ならせつつ画像及び音声を出力するので、音声としていずれの単語が出力されているかを容易に認識することができる。

【0041】

上記の課題を解決するために、請求項１５に記載の発明は、請求項１４に記載の言語学習装置において、前記表示態様が前記単語の前記画像内の表示色であるように構成される。

【0042】

請求項１５に記載の発明の作用によれば、請求項１４に記載の発明の作用に加えて、出力中の画像及び音声に対応する文章を構成する単語の、音声としての出力タイミングにおける画像内の表示色が、その出力タイミング後に音声として出力される他の単語の表示色態に対して異ならせられつつ画像及び音声が出力されるので、音声としていずれの単語が出力されているかをより容易に認識することができる。

【0043】

上記の課題を解決するために、請求項１６に記載の発明は、請求項９から請求項１５のいずれか一項に記載の言語学習装置において、相互に対応する前記視聴シーン、前記反復シーン、前記録音シーン及び前記翻訳シーンのそれぞれを構成する少なくともキャラクタが当該各シーンの全てにおいて同一であるように構成される。

【0044】

請求項１６に記載の発明の作用によれば、請求項９から請求項１５のいずれか一項に記載の発明の作用に加えて、相互に対応する視聴シーン、反復シーン、録音シーン及び翻訳シーンのそれぞれを構成する少なくともキャラクタが当該各シーンの全てにおいて同一であるので、視聴ステップ→反復ステップ→録音ステップ→翻訳ステップと同じキャラクタにより学習が進むことで、学習効果をより高めることができる。

【0045】

上記の課題を解決するために、請求項１７に記載の発明は、請求項９から請求項１６のいずれか一項に記載の言語学習装置において、前記視聴ステップ、前記反復ステップ、前記録音ステップ及び前記翻訳ステップがそれぞれ終了した場合、当該終了したことを示す終了情報を当該終了した学習者に関連付けて出力可能に記録する処理部等の終了情報記録手段を更に備える。

【0046】

請求項１７に記載の発明の作用によれば、請求項９から請求項１６のいずれか一項に記載の発明の作用に加えて、視聴ステップ、反復ステップ、録音ステップ及び翻訳ステップがそれぞれ終了した場合に、当該終了したことを示す終了情報が当該終了した学習者に関連付けて出力可能に記録されるので、当該学習者における事後の学習意欲を更に増大させることができる。
上記の課題を解決するために、請求項１８に記載の発明は、請求項１から請求項１７のいずれか一項に記載の言語学習装置において、前記言語が英語であり、前記同一文法が時制の一致であるように構成される。
請求項１８に記載の発明によれば、請求項１から請求項１７のいずれか一項に記載の発明の作用に加えて、学習対象たる言語が英語であり、同一文法が時制の一致であるので、英語における時制の一致についての学習効果（練習効果）を向上させることができる。

【発明の効果】

【0047】

本発明によれば、学習対象たる言語により綴られた文章を含む画像と、当該文章を発音した音声と、を、複数の視聴シーンとして出力する視聴ステップを実行し、その後に、複数の録音シーンからなる録音ステップを実行する。このとき、視聴ステップとして、同一文法の相互に異なる文章によりそれぞれ構成される複数の視聴シーンの出力が、各視聴シーンを構成する視聴画像及び視聴音声の出力により順次実行される。一方録音ステップとして、同一文法の相互に異なる文章によりそれぞれ構成される複数の録音シーンの実行を、各録音シーンを構成する録音画像及び録音音声の出力、録音画像及び録音音声に対応する文章を発音した学習者の音声の集音及び録音、及び録音した学習者の音声の出力により順次行われる。

【0048】

従って、視聴ステップと録音ステップとが、同一の文法の異なる文章により構成されるいわゆるパターンプラクティスとして実行されることで、学習対象たる言語の学習効果（練習効果）を向上させることができる。
また、録音ステップの後に、複数の翻訳シーンからなる翻訳ステップを実行する。このとき、翻訳ステップとして、同一文法の相互に異なる日本語文章によりそれぞれ構成される複数の翻訳シーンの実行が、各翻訳シーンを構成する日本語画像の表示、表示中の日本語画像に含まれる日本語文章に相当する翻訳音声の録音、録音された翻訳音声の出力、及び日本語文章に相当する学習対象の言語の文章を含む画像及び当該言語の文章を発音した音声の出力により順次行われる。
従って、同一の文法の異なる日本語文章によるいわゆるパターンプラクティスとして翻訳ステップが更に実行されることで、学習対象たる言語の学習効果（練習効果）をより向上させることができる。
更に、日本語文章における読点の位置が、当該日本語文章に相当する学習対象の言語の文章における単語の区切りに相当する位置とされているので、より正確な翻訳音声の集音及び録音を行わせることができる。

【図面の簡単な説明】

【0049】

【図1】第１実施形態に係る言語学習システムの概要構成を示すブロック図である。

【図2】第１実施形態に係る言語学習システムに含まれるサーバ装置に記憶されているデータベースの内容を例示する図である。

【図3】第１実施形態に係る言語学習処理の全体を示すフローチャートである。

【図4】第１実施形態に係る言語学習処理におけるリスニングステップの内容を示すフローチャートである。

【図5】第１実施形態に係る言語学習処理におけるリスニングステップにおいて表示される画像例を示す図（Ｉ）である。

【図6】第１実施形態に係る言語学習処理におけるリスニングステップにおいて表示される画像例を示す図（II）であり、（ａ）は当該リスニングステップにおける第１リスニングシーンにおいて表示される画像例を示す図であり、（ｂ）は当該リスニングステップにおける第２リスニングシーンにおいて表示される画像例を示す図であり、（ｃ）は当該リスニングステップにおける第３リスニングシーンにおいて表示される画像例を示す図であり、（ｄ）は当該リスニングステップにおける第４リスニングシーンにおいて表示される画像例を示す図であり、（ｅ）は当該リスニングステップにおける解説として表示される画像例を示す図である。

【図7】第１実施形態に係る言語学習処理におけるリピートステップの内容を示すフローチャートである。

【図8】第１実施形態に係る言語学習処理におけるリピートステップにおいて表示される画像例を示す図であり、（ａ）は当該リピートステップにおける第１リピートシーンにおいて表示される画像例を示す図であり、（ｂ）は当該第１リピートシーンにおける発音時に表示される画像例を示す図であり、（ｃ）は当該リピートステップにおける第２リピートシーンにおいて表示される画像例を示す図であり、（ｄ）は当該第２リピートシーンにおける発音時に表示される画像例を示す図であり、（ｅ）は当該リピートステップにおける解説として表示される画像例を示す図である。

【図9】第１実施形態に係る言語学習処理におけるレコードステップの内容を示すフローチャートである。

【図10】第１実施形態に係る言語学習処理におけるレコードステップにおいて表示される画像例を示す図であり、（ａ）は当該レコードステップにおける第１レコードシーンにおいて表示される画像例を示す図であり、（ｂ）は当該第１レコードシーンにおける録音時に表示される画像例を示す図であり、（ｃ）は当該レコードステップにおける第２レコードシーンにおいて表示される画像例を示す図であり、（ｄ）は当該第２レコードシーンにおける録音時に表示される画像例を示す図である。

【図11】第１実施形態に係る言語学習処理におけるトランスレーションステップの内容を示すフローチャートである。

【図12】第１実施形態に係る言語学習処理におけるトランスレーションステップにおいて表示される画像例を示す図（Ｉ）であり、（ａ）は当該トランスレーションステップにおける第１トランスレーションシーンの問題提示時において表示される画像例を示す図であり、（ｂ）は当該トランスレーションステップにおける第２トランスレーションシーンの問題提示時において表示される画像例を示す図であり、（ｃ）は当該トランスレーションステップにおける第３トランスレーションシーンの問題提示時において表示される画像例を示す図であり、（ｄ）は当該トランスレーションステップにおける第４トランスレーションシーンの問題提示時において表示される画像例を示す図である。

【図13】第１実施形態に係る言語学習処理におけるトランスレーションステップにおいて表示される画像例を示す図（II）であり、（ａ）は当該トランスレーションステップにおける第１トランスレーションシーンの解答提示時において表示される画像例を示す図であり、（ｂ）は当該トランスレーションステップにおける第２トランスレーションシーンの解答提示時において表示される画像例を示す図であり、（ｃ）は当該トランスレーションステップにおける第３トランスレーションシーンの解答提示時において表示される画像例を示す図であり、（ｄ）は当該トランスレーションステップにおける第４トランスレーションシーンの解答提示時において表示される画像例を示す図である。

【図14】第１実施形態に係る言語学習処理において取得されるアイテムの例を示す図であり、（ａ）はアイテム取得前の地図を例示する図であり、（ｂ）は一つのアイテムの例を示す図であり、（ｃ）はアイテム取得後の地図を例示する図である。

【図15】第２実施形態に係る言語学習処理におけるレコードステップの内容を示すフローチャートである。

【図16】第２実施形態に係る言語学習処理におけるトランスレーションステップの内容を示すフローチャートである。

【発明を実施するための形態】

【0050】

次に、本発明を実施するための最良の形態について、図面に基づいて説明する。なお、以下に説明する各実施形態は、日本人たるユーザが、自身が所有する端末装置を用いて英語を学習する際に用いられる言語学習システムに対して本発明を適用した場合の実施の形態である。ここで当該端末装置の例としては、当該ユーザが所有するＰＣ等が挙げられる。

【0051】

（Ｉ）第１実施形態
始めに、本発明に係る第１実施形態について、図１乃至図１３を用いて説明する。

【0052】

（ｉ）第１実施形態に係る言語学習システムの構成等の概要について
先ず、第１実施形態に係る言語学習システムの構成の概要、及び第１実施形態に係る言語学習処理の概要について、図１及び図２を用いてそれぞれ説明する。なお、図１は第１実施形態に係る言語学習システムの概要構成を示すブロック図であり、図２は当該言語学習システムに含まれるサーバ装置に記憶されているデータベースの内容を例示する図である。

【0053】

図１に示すように、第１実施形態に係る言語学習システムＳは、それぞれが第１実施形態に係る端末装置Ｔ１、端末装置Ｔ２、端末装置Ｔ３、…、端末装置Ｔｎ（ｎは自然数）と、第１実施形態に係るサーバ装置ＳＶと、上記端末装置Ｔ１、端末装置Ｔ２、端末装置Ｔ３、…、端末装置Ｔｎとサーバ装置ＳＶとを接続する既存のインターネット等のネットワークＮＷと、により構成されている。このとき、端末装置Ｔ１、端末装置Ｔ２、端末装置Ｔ３、…、端末装置Ｔｎは、基本的には同一の構成及び機能を有するので、以下の第１実施形態の説明では、これらを纏めて「端末装置Ｔ」として、その構成及び機能を説明する。

【0054】

次に上記サーバ装置ＳＶは、通信部２０と、ＣＰＵ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等からなる処理部２１と、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）からなるデータベース２２と、により構成されている。

【0055】

一方上記端末装置Ｔは、ＣＰＵ等からなり且つ第１実施形態に係る言語学習処理を中心的に実行する処理部１と、通信部２と、キーボード、マウス又はディスプレイ４の表示面に備えられたタッチパネル等からなる操作部３と、液晶ディスプレイ等からなるディスプレイ４と、ＨＤＤ又はＳＳＤからなる記録部５と、ＲＡＭ及びＲＯＭからなるメモリ６と、スピーカ７と、マイク８と、により構成されている。また処理部１は、リスニングステップ処理部１０と、リピートステップ処理部１１と、レコードステップ処理部１２と、トランスレーションステップ処理部１３と、により構成されている。このとき、リスニングステップ処理部１０、リピートステップ処理部１１、レコードステップ処理部１２及びトランスレーションステップ処理部１３のそれぞれは、処理部１を構成するＣＰＵ等のハードウェアロジック回路により構成されていてもよいし、後述する第１実施形態に係る言語学習処理を示すフローチャートに対応するプログラムを処理部１で読み出して実行することにより、ソフトウェア的に実行されるものであってもよい。

【0056】

また、上記処理部１が本発明に係る「終了情報記録手段」の一例に、上記リスニングステップ処理部１０が本発明に係る「視聴ステップ実行手段」の一例及び「視聴制御手段」の一例に、上記レコードステップ処理部１２が本発明に係る「録音ステップ実行手段」の一例、「録音手段」の一例、「録音制御手段」の一例、「認識手段」の一例及び「一致度情報出力手段」の一例に、上記リピートステップ処理部１１が本発明に係る「反復ステップ実行手段」の一例及び「反復制御手段」の一例に、上記トランスレーションステップ処理部１３が本発明に係る「翻訳ステップ実行手段」の一例、「翻訳録音手段」の一例、「翻訳制御手段」の一例及び「翻訳認識手段」の一例に、それぞれ相当する。更に、ディスプレイ４及びスピーカ７が本発明に係る「視聴出力手段」の一例及び「反復出力手段」の一例に相当し、スピーカ７が本発明に係る「録音出力手段」の一例、「学習者音声出力手段」の一例、「第１翻訳出力手段」の一例、「第２翻訳出力手段」の一例及び「翻訳音声出力手段」の一例にそれぞれ相当する。更にまた、操作部３が本発明に係る「操作手段」の一例、「翻訳操作手段」の一例及び「翻訳音声出力操作手段」の一例にそれぞれ相当し、ディスプレイ４が本発明に係る「解説情報出力手段」の一例、「労い情報出力手段」の一例、「発音促進手段」の一例、「反復解説情報出力手段」の一例、「日本語画像表示手段」の一例及び「翻訳一致度情報出力手段」の一例にそれぞれ相当する。

【0057】

以上の構成において、サーバ装置ＳＶの通信部２０は、処理部２１の制御の下、ネットワークＮＷを介した各端末装置Ｔとサーバ装置ＳＶとの間の種々のデータの授受を制御する。これにより処理部２１は、データベース２２に記録されている後述する各データ等を用い、各端末装置Ｔとの間でネットワークＮＷ及び通信部２０を介したデータの授受を行いつつ、第１実施形態に係る言語学習処理を実行する。

【0058】

一方各端末装置Ｔの通信部２は、処理部１の制御の下、ネットワークＮＷを介したサーバ装置ＳＶとの種々のデータの授受を制御する。一方操作部３は、後述するスキップ操作用のスキップボタン、リトライ操作用のリトライボタン、録音操作用の録音ボタン及び解答確認操作用の解答確認操作ボタン等の操作ボタンやマウス等により構成されており、上記操作ボタン等の操作に対応した操作信号を生成して処理部３に出力する。このとき上記操作ボタンのそれぞれは、例えばキーボードのような物理的に押下できる操作ボタンであってもよいし、各操作ボタンに対応してディスプレイ４に表示される操作アイコンに相当するタッチパネルの位置をタッチすることにより当該操作ボタンに対応する操作が実現されるものであってもよい。

【0059】

次に記録部５及びメモリ６は、処理部１の制御の下、当該処理部１が実行する第１実施形態に係る言語学習処理において必要なデータ等を、揮発性又は不揮発性に記録する。これらのデータ等は、必要に応じて処理部１により読み出され、第１実施形態に係る言語学習処理に供される。またディスプレイ４は、処理部１の制御の下、第１実施形態に係る言語学習処理において必要な後述の画像等を表示する。更にスピーカ７は、処理部１の制御の下、第１実施形態に係る言語学習処理において必要な後述の音声又は音を出力（放音）する。最後にマイク８は、端末装置Ｔのユーザが発する音声を集音し、音声信号として処理部１に出力する。

【0060】

次に、処理部１のリスニングステップ処理部１０は、上記操作信号に基づき、ディスプレイ４による画像表示及びスピーカ７による音声等の出力を用いて、第１実施形態に係る言語学習処理における後述のリスニングステップに係る処理を主として実行する。また処理部１のリピートステップ処理部１１は、上記操作信号に基づき、上記画像表示及び上記音声等の出力を用いて、第１実施形態に係る言語学習処理における後述のリピートステップに係る処理を主として実行する。また処理部１のレコードステップ処理部１２は、上記操作信号に基づき、上記画像表示及び上記音声等の出力を用いて、第１実施形態に係る言語学習処理における後述のレコードステップに係る処理を主として実行する。最後に処理部１のトランスレーションステップ処理部１３は、上記操作信号に基づき、上記画像表示及び上記音声等の出力を用いて、第１実施形態に係る言語学習処理における後述のトランスレーションステップに係る処理を主として実行する。

【0061】

ここで、第１実施形態に係る言語学習処理を構成する上記リスニングステップ、上記リピートステップ、上記レコードステップ及び上記トランスレーションステップの概要について、それぞれ説明する。ここで、上記リスニングステップが本発明に係る「視聴ステップ」の一例に、上記リピートステップが本発明に係る「反復ステップ」の一例に、上記レコードステップが本発明に係る「録音ステップ」の一例に、上記トランスレーションステップが本発明に係る「翻訳ステップ」の一例に、それぞれ相当する。

【0062】

先ず上記リスニングステップは、四つのリスニングシーンにより構成されている。このリスニングシーンが本発明に係る「視聴シーン」の一例に相当する。一つのリスニングシーンでは、ディスプレイ４上に、予め設定された動作をするキャラクタを含む画像と、そのキャラクタの動作を英語で表現した英文が二文表示される。このとき、当該二つの英文間には、そのリスニングシーンとして学習させるべき文法関係が、予め設定されている。この、予め設定された文法関係とは、例えば、いわゆる「時制の一致」等である。更に一のリスニングシーンでは、キャラクタを含んだ画像とそれに対応する各英文が表示されるのと同時に、その英文を英語で音読した音声が、スピーカ７を介して出力される。このとき表示される各英文では、それが対応する文法関係としてユーザに注意喚起すべき単語（例えば動詞等）が、それを強調するように他の単語とは異なる表示態様で表示される。この場合の異なる表示態様の例としては、当該強調の対象となる単語のみ下線が引かれる表示態様や、他の単語と異なるフォント又は表示色で表示される表示態様が挙げられる。

【0063】

これに加えて一のリスニングシーンでは、英語による音声として表示されている単語の表示態様が、その単語を音読した音声の出力タイミングにおいて、対応する音声が出力されていない他の単語（即ち、音読した音声が出力されている単語の前後又はその後に音声が出力される他の単語）の表示態様と異なるように表示される。この場合、当該異なる表示態様の例としては、その表示色やフォント、或いは表示時の大きさ等を異ならせる表示態様が挙げられる。なお、英文中の単語を英語で音読した音声の出力タイミングにおいてその単語の表示態様を他の単語の表示態様と異ならせて表示させる上述した表示制御処理は、第１実施形態に係る言語学習処理における他の上記リピートステップ、上記レコードステップ及び上記トランスレーションステップでも用いられる。よってこのような表示制御を、以下「英文カラオケ様表示」と称する。

【0064】

そして、一のリスニングステップを構成する四つのリスニングシーンでは、キャラクタの動作を英語で表現した英文がそれぞれ二文表示されるが、当該四つのリスニングシーンについては同一の上記文法関係が予め設定されている。一のリスニングステップでは、キャラクタの動作を英語で表現し且つリスニングシーン間で同一の文法関係にある英文を二文ずつ含む四つのリスニングシーンが、異なるキャラクタの動作を表現する異なる英文について一回ごとに繰り返される。そして、四つのリスニングシーンが終了した後には、当該四つのリスニングシーン間で同一である上記文法関係についての解説が、ディスプレイ４上に表示される。

【0065】

次に上記リピートステップについて説明する。当該リピートステップは四つのリピートシーンにより構成されている。このリピートシーンが本発明に係る「反復シーン」の一例に相当する。一つのリピートシーンでは、ディスプレイ４上に、上記リスニングステップと同じ動作をするキャラクタを含む画像と、そのキャラクタの動作を英語で表現した英文が二文表示される。このとき、当該二つの英文間には、上記リスニングステップと同様の文法関係が予め設定されている。

【0066】

より具体的に一のリピートシーンでは、初めに、キャラクタを含んだ画像とそれに対応する第一の英文が表示されるのと同時に、当該第一の英文を英語で音読した音声が、スピーカ７を介して出力される。このとき表示される第一の英文における上記注意喚起すべき単語の表示態様の制御や上記英文カラオケ様表示については、上記リスニングステップと同様である。次に当該一のリピートシーンでは、上記第一の英文の表示及び対応する音読の音声の出力後に、当該音読の音声を真似た英語でのユーザの発音を指示する（促す）音声が出力される。その後当該一のリピートシーンでは、上記第一の英文に対応する音読の音声を除いた当該第一の英文の英文カラオケ様表示のみが実行される。その後当該一のリピートシーンでは、上記画像に対応する第二の英文についての、対応する画像と当該第二の英文の英文カラオケ様表示、当該第二の英文の英語音読音声の出力、第二の英文に対応する発音指示音声の出力、及び第二の英文に対応する音読の音声を除いた当該第二の英文の英文カラオケ様表示のみが、第一の英文と同様に繰り返される。

【0067】

そして、一のリピートステップを構成する四つのリピートシーンで表示等される二つの英文については、当該四つのリピートシーンで上記リスニングシーンと同一の文法関係が予め設定されている。一のリピートステップでは、上記四つのリピートシーンが、上記リスニングステップと同一の異なるキャラクタの動作を表現する異なる英文について一回ごとに繰り返される。そして、四つのリピートシーンが終了した後には、当該四つのリピートシーン間で同一である上記文法関係（即ち、上記リスニングシーンにおける文法関係と同一の文法関係）についての解説が、ディスプレイ４上に表示される。

【0068】

次に上記レコードステップについて説明する。当該レコードステップは四つのレコードシーンにより構成されている。このレコードシーンが本発明に係る「録音シーン」の一例に相当する。一つのレコードシーンでは、ディスプレイ４上に、上記リスニングステップ及び上記リピートステップと同じ動作をするキャラクタを含む画像と、そのキャラクタの動作を英語で表現した英文が二文表示される。このとき、当該二つの英文間には、上記リスニングステップ及び上記リピートステップと同様の文法関係が予め設定されている。

【0069】

より具体的に一のレコードシーンでは、初めに、キャラクタを含んだ画像とそれに対応する第一の英文が表示されるのと同時に、当該第一の英文を英語で音読した音声が、スピーカ７を介して出力される。このとき表示される第一の英文における上記注意喚起すべき単語の表示態様の制御や上記英文カラオケ様表示については、上記リスニングステップ及び上記リピートステップと同様である。次に当該一のレコードシーンでは、上記第一の英文の表示及び対応する音読の音声の出力後に、当該音読の音声を真似た英語でのユーザの発音が録音され、更に当該録音されたユーザの音声が再生される。その後当該一のレコードシーンでは、上記第一の英文に対応する音読の音声の出力及び当該第一の英文の英文カラオケ様表示のみが実行される。その後当該一のレコードシーンでは、上記画像に対応する第二の英文についての、対応する画像と当該第二の英文の英文カラオケ様表示、当該第二の英文のユーザの音読音声の録音及び再生、並びに第二の英文に対応する英語音読音声の出力及び当該第二の英文の英文カラオケ様表示が、第一の英文と同様に繰り返される。

【0070】

そして、一のレコードステップを構成する四つのレコードシーンで表示等される二つの英文については、当該四つのレコードシーンで上記リスニングステップ及び上記リピートステップと同一の文法関係が予め設定されている。一のレコードステップでは、上記四つのレコードシーンが、上記リスニングステップ及び上記リピートステップと同一の異なるキャラクタの動作を表現する異なる英文について一回ごとに繰り返される。そして、四つのレコードシーンが終了した後には、当該四つのレコードシーンを終了させたユーザを労う旨の、例えば「Good Job!!」と言った労い情報がディスプレイ４上に表示される。

【0071】

最後に上記トランスレーションステップについて説明する。当該トランスレーションステップは四つのトランスレーションシーンにより構成されている。このトランスレーションシーンが本発明に係る「翻訳シーン」の一例に相当する。一つのトランスレーションシーンでは、ディスプレイ４上に、上記リスニングステップ乃至上記レコードステップと同じ動作をするキャラクタを含む画像と、そのキャラクタの動作を日本語で表現した日本文が一文表示される。このとき、当該日本文における文法は、上記リスニングステップ乃至上記レコードステップそれぞれにおける文法関係に沿ったものである。

【0072】

より具体的に一のトランスレーションシーンでは、初めに、キャラクタを含んだ画像とそれに対応する日本文が一文表示される。その後当該一のトランスレーションシーンでは、上記日本文の表示後に、当該日本語をユーザが英語に訳して発音したその音声が録音され、更に当該録音された音声が再生される。その後当該一のトランスレーションシーンでは、上記日本文を英訳した英文（即ち、解答としての英文）を英語で音読した音声の出力及び当該英文の英文カラオケ様表示が実行される。

【0073】

そして、一のトランスレーションステップを構成する四つのトランスレーションシーンで表示等される日本文及びそれに対応する解答の英文については、当該四つのトランスレーションシーンで上記リスニングシーン乃至上記レコードステップと同一の文法関係が予め設定されている。一のトランスレーションステップでは、上記四つのトランスレーションシーンが、上記リスニングステップ乃至上記レコードステップと同一の異なるキャラクタの動作を表現する異なる日本文について、四回繰り返される。

【0074】

以上の通り、第１実施形態に係る言語学習処理では、上記リスニングステップが四つのリスニングシーンにより、上記リピートステップが四つのリピートシーンにより、上記レコードステップが四つのレコードシーンにより、そして上記トランスレーションステップが四つのトランスレーションシーンにより、それぞれ構成されている。そして、それぞれのステップにおいて、同じキャラクタの動きに応じた英語学習が、同一の文法関係に沿って行われる。このような第１実施形態に係る言語学習処理によれば、いわゆるパターンプラクティスの考え方に沿った英語学習を効果的に行うことができる。

【0075】

なお、上述した各シーンにおいて表示又は出力される画像及び音声のデータは、各端末装置Ｔの例えば記録部５に予め纏めて記録しておくことも可能である。しかしながら、端末装置Ｔが記録容量の少ない例えばタブレット端末であった場合は、それに接続されるサーバ装置ＳＶのデータベース２２内に一元的に記録しておき、これを、必要に応じて取得（ダウンロード）して用いるのが効率的である。また複数のユーザが第１実施形態に係る言語学習を行う場合、各ユーザの成績管理等もサーバ装置ＳＶにおいて一元的に行われるのが好ましい。そこで、このような場合に第１実施形態に係るサーバ装置ＳＶを用いる際には、データベース２２としては、例えば図２に示すようなデータ等が記録されている必要がある。

【0076】

即ち、上記の場合に各シーン用の画像や音声のデータ並びに成績管理用のデータを記録するデータベース２２には、図２に示すように、シーンデータＱＤと、学習履歴データＨＤと、画像データＧＤと、アイテムデータＩＴＤと、が記録されているのが好ましい。このときシーンデータＱＤとしては、例えば学齢に応じた難度の上記各シーン用の音声のデータや英文又は日本文のデータが、当該学齢等を示す学齢ＩＤにより相互に識別可能に記録されている。また学習履歴データＨＤとしては、ユーザ毎の過去の学習履歴やその進捗度を示すデータが、ユーザＩＤにより相互に識別可能に記録されている。更に画像データＧＤとしては、上記各シーン用の画像データが相互に識別可能に記録されている。最後にアイテムデータＩＴＤとしては、上記リスニングステップ乃至上記トランスレーションステップを一通り終了したユーザに対して与えられるご褒美に相当するアイテムのデータが、アイテムごとに識別可能に記録されている。なお、当該アイテム及びそのデータについては、後ほど詳述する。

【0077】

（ii）第１実施形態に係る言語学習処理について
次に、上述した構成を備える言語学習システムＳにおいて実行される、第１実施形態に係る言語学習処理の全体について、具体的に図１乃至図３を用いて説明する。なお図３は、第１実施形態に係る言語学習処理の全体を示すフローチャートである。また、図３に示される第１実施例に係る言語学習処理は、主として各端末装置Ｔの処理部１を中心として実行される処理である。

【0078】

図３にその全体を示すように、サーバ装置ＳＶを含む言語学習システムＳを用いた第１実施形態に係る言語学習処理では、初めに、端末装置Ｔの操作部３を用いて予め設定されたログイン操作が実行されることにより、ログイン処理が行われる（ステップＳ１）。このログイン処理として具体的には、例えば、サーバ装置ＳＶとの間のログイン情報の授受や本人認証処理等、従来と同様のログイン処理が実行される。

【0079】

次に処理部１は、ログインしたユーザが第１実施形態に係る言語学習処理を実行するために必要な種々のデータを、サーバ装置ＳＶからネットワークＮＷを介して取得する（ステップＳ２）。このステップＳ２において処理部１は、ステップＳ１でログイン処理を行ったユーザに関する学習履歴データＨＤをサーバ装置ＳＶのデータベース２２において検索して取得する。これに加えて処理部１は、当該取得した学習履歴データＨＤにより示される当該ユーザの学習履歴に対応した次の段階の難度に相当するシーンデータＱＤ及びこれに対応する画像データＧＤを上記データベース２２において検索して取得する。これら取得された画像データＧＤ及びシーンデータＱＤは、以降に実行される第１実施形態に係る言語学習処理に供される。

【0080】

次に、処理部１のリスニングステップ処理部１０による上記リスニングステップ（ステップＳ１０）、リピートステップ処理部１１による上記リピートステップ（ステップＳ２０）、レコードステップ処理部１２による上記レコードステップ（ステップＳ３０）及びトランスレーションステップ処理部１３による上記トランスレーションステップ（ステップＳ４０）が、それぞれこの順番で実行される。これらの各ステップについては、後ほど詳述する。

【0081】

次に処理部１は、上記リスニングステップ乃至上記トランスレーションステップを一通り終了したことから、そのことによるユーザへのご褒美に相当するアイテムに相当するアイテムデータＩＴＤを、サーバ装置ＳＶから取得する（ステップＳ３）。このアイテムとしては、例えば仮想の地域を示す地図が予め設定されており、その地図に、上記ユーザが好む建物又は遊具を一つずつ建設して最終的に大きな遊園地等を建築していく場合において、この建物又は遊具の一つずつが、それぞれに上記アイテムに相当する。そして、段階的に難度が高い上記リスニングステップ乃至上記トランスレーションステップを終了する（修了する）度に、ユーザの好みのアイテムに相当するアイテムデータＩＴＤが取得され、最終的にはユーザが好みの遊園地等を仮想的に建築できる。これによりユーザは、常に高いモチベーションを維持しつつ、第１実施形態に係る言語学習に取り組むことができる。なお、具体的なアイテムやそれを用いて仮想的に建築される遊園地等の例については、後ほど詳述する。

【0082】

その後処理部１は、その時点での上記リスニングステップ乃至上記トランスレーションステップを含む学習記録を示すデータをサーバ装置ＳＶにアップロードし、これを、当該ユーザの学習履歴データＨＤに記録させる（ステップＳ４）。

【0083】

そして処理部１は、端末装置Ｔの操作部３を用いた予め設定されたログアウト操作が実行されたか否かを判定する（ステップＳ５）。ステップＳ５の判定により当該ログアウト操作が実行されていないと判定される場合（ステップＳ５：ＮＯ）、処理部１は、次の段階の第１実施形態に係る言語学習処理が実行されるものとして、上記ステップＳ２に戻って上述してきた一連の処理を繰り返す。一方ステップＳ５の判定により当該ログアウト操作が実行されたと判定される場合（ステップＳ５：ＹＥＳ）、処理部１は、必要なログアウト処理を実行する（ステップＳ６）。このログアウト処理として具体的には、例えば、サーバ装置ＳＶとの間のログアウト情報の授受等、従来と同様のログアウト処理が実行される。その後処理部１は、第１実施形態に係る言語学習処理を終了する。

【0084】

（iii）第１実施形態に係るリスニングステップについて
次に、上記リスニングステップ処理部１０を中心として実行される、第１実施形態に係るリスニングステップ（図３ステップＳ１０参照）について、より具体的に図４乃至図６を用いて説明する。なお、図４は当該リスニングステップの内容を示すフローチャートであり、図５及び図６は当該リスニングステップにおいて表示される画像例を示す図である。

【0085】

図４に示すように、第１実施形態に係るリスニングステップ（図３ステップＳ１０参照）としてリスニングステップ処理部１０は、先ず、上記ステップＳ２で取得されていた画像データＧＤ及びシーンデータＱＤを用いて、第１リスニングシーンを構成し且つ相互に上記文法関係にある二つの英文について、一文ずつ、当該英文を英語で音読した音声のスピーカ７を用いた出力と、ディスプレイ４を用いた当該英文の英文カラオケ様表示を実行する（ステップＳ１００及びステップＳ１０１）。

【0086】

ここで、上記ステップＳ１００及び上記ステップＳ１０１においてリスニングステップ処理部１０がディスプレイ４に表示する画像について、図５を用いて説明する。

【0087】

上記二文のうち第一の英文を英語で音読した音声が出力されるステップＳ１００では、図５に示すように、当該第一の英文で表現される動作をしているキャラクタを含む画像ＧＳ１１と共に、第一の英文としての英文ＳＴ１１１が英文カラオケ様表示される。図５に例示する英文ＳＴ１１１の内容は、「I know that she is cooking dinner for us.」である。そして当該英文ＳＴ１１１の英文カラオケ様表示では、それが対応する文法関係としてユーザに注意喚起されるべき単語である「know」と「is」が、それを強調するように他の単語とは異なる斜体字及び異なる表示色（例えば赤色）で表示される。これに加えてステップＳ１００では、英文カラオケ様表示として、音声として出力されている英文ＳＴ１１１内の単語（例えば図５に示す「cooking」）に対して、その出力タイミングにおいて、その単語以外の他の単語（即ち、英文ＳＴ１１１において「cooking」の前後又はその後に音声が出力される他の単語）と区別可能な文字修飾が付されて表示される。図５では、この文字修飾をマーカＭＫとして例示しているが、当該マーカＭＫ自体がその音声の出力タイミングで付される他に、その単語（の文字）自体が、音声が出力されていない他の単語の文字と異なるように表示されればよい。以上のようにしてリスニングステップ処理部１０は、ステップＳ１００としての英文ＳＴ１１１の音声出力と英文カラオケ様表示を行う。なおこのとき、上記二文のうち第二の英文としての英文ＳＴ１１２は、英文ＳＴ１１１に対して視認性が低くなるように（即ち、例えば背景の色に溶け込むような色を用いて）、英文ＳＴ１１１と共にディスプレイ４に表示される。この英文ＳＴ１１２としては、それを英語で音読した音声が表示されていないことから、それの英文カラオケ様表示は行われないが、それが対応する文法関係としてユーザに注意喚起されるべき単語（英文ＳＴ１１２では「knew」と「was」）が、英文ＳＴ１１１と同様に斜体字で表示される。

【0088】

次に、当該英文ＳＴ１１２を英語で音読した音声が出力されるステップＳ１０１では、上記英文ＳＴ１１１の場合と同様に、英文ＳＴ１１２で表現される動作をしているキャラクタを含む上記画像ＧＳ１１と共に、英文ＳＴ１１２が英文カラオケ様表示される。図５に例示する英文ＳＴ１１２の内容は、「I knew that she was cooking dinner for us.」である。この場合、英文ＳＴ１１１と英文ＳＴ１１２が対応する文法関係は「時制の一致」である。そして当該英文ＳＴ１１２の英文カラオケ様表示では、それが対応する文法関係としてユーザに注意喚起されるべき単語である「knew」と「was」が、英文ＳＴ１１１と同様の斜体字及び表示色で表示される。これに加えてステップＳ１０１でリスニングステップ処理部１０は、英文ＳＴ１１２の英文カラオケ様表示として、英文ＳＴ１１１と同様の英文カラオケ様表示を行う。以上のようにしてリスニングステップ処理部１０は、ステップＳ１０１としての英文ＳＴ１１２の音声出力と英文カラオケ様表示を行う。なおこのとき、ステップＳ１００で英文カラオケ様表示及び英語音読音声の出力が行われた英文ＳＴ１１１については、ステップＳ１００における英文ＳＴ１１２と同様に、現在英文カラオケ様表示及び英語音読音声の出力が行われている英文ＳＴ１１２に対して視認性が低くなるように英文ＳＴ１１２と共にディスプレイ４に表示してもよいし、当該英文ＳＴ１１２と同様の視認性としつつ英文カラオケ様表示を行わないようにしてディスプレイ４に表示してもよい。

【0089】

上記ステップＳ１００及び上記ステップＳ１０１を実行した後、リスニングステップ処理部１０は、上記ステップＳ１００及び上記ステップＳ１０１が再度実行されることを望むユーザが操作部３の上記リトライボタンを操作してリトライ操作を行ったか否かを監視する（ステップＳ１０２）。ステップＳ１０２の監視においてリトライ操作が行われた場合（ステップＳ１０２：ＹＥＳ）、リスニングステップ処理部１０は上記ステップＳ１００に戻って、当該ステップＳ１００及び上記ステップＳ１０１を再度実行する。一方ステップＳ１０１の監視においてリトライ操作が例えば予め設定された待機時間内に行われない場合（ステップＳ１０２：ＮＯ）、リスニングステップ処理部１０は次に、上記英文ＳＴ１１１及び上記英文ＳＴ１１２それぞれの和訳文をディスプレイ４に表示する（ステップＳ１０３）。

【0090】

他方、上記ステップＳ１００乃至上記ステップＳ１０３の実行と並行して、リスニングステップ処理部１０は、上記ステップＳ１００及び上記ステップＳ１０１を最後まで実行せずに次のリスニングシーンに進むことを望むユーザが操作部３の上記スキップボタンを操作してスキップ操作を行ったか否かを監視する（ステップＳ１０４。ステップＳ１０４：ＮＯ。）。ステップＳ１０４の監視においてスキップ操作が行われた場合（ステップＳ１０４：ＹＥＳ）、リスニングステップ処理部１０は後述するステップＳ１０５に移行する。

【0091】

そして、上記ステップＳ１０３が実行されるか、又は上記ステップＳ１０４の監視において上記スキップ操作が行われた場合（ステップＳ１０４：ＹＥＳ）、リスニングステップ処理部１０は、リスニングステップとして予め設定されたシーン数（第１実施形態の場合は四）だけリスニングシーン（即ち上記ステップＳ１００乃至ステップＳ１０４）が繰り返されたか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定において、既定のシーン数が繰り返されていない場合（ステップＳ１０５：ＮＯ）、リスニングステップ処理部１０は、リスニングステップとして予め設定されている次のリスニングシーンに切り換え（ステップＳ１０６）、当該切り換えられた次のリスニングシーンについて、上記ステップＳ１００乃至上記ステップＳ１０５を繰り返す。ここで、第１実施形態に係るリスニングステップは、図６に例示するように、図５を用いて説明し且つ画像ＧＳ１１並びに二つの英文ＳＴ１１１及び英文ＳＴ１１２からなる第１リスニングシーン（図６（ａ）参照）、図６（ｂ）に例示する画像ＧＳ１２並びに二つの英文ＳＴ１２１及び英文ＳＴ１２２からなる第２リスニングシーン、図６（ｃ）に例示する画像ＧＳ１３並びに二つの英文ＳＴ１３１及び英文ＳＴ１３２からなる第３リスニングシーン、及び図６（ｄ）に例示する画像ＧＳ１４並びに二つの英文ＳＴ１４１及び英文ＳＴ１４２からなる第４リスニングシーンから構成されている。そしてそれぞれのリスニングシーンが実行される際の上記ステップＳ１００及び上記ステップＳ１０１では、図６（ａ）乃至図６（ｄ）に例示するように、各英文ＳＴ１２１等の英文カラオケ様表示及び英語音読出力がそれぞれのリスニングシーンごとに実行される。

【0092】

図４に戻り、ステップＳ１０５の判定において、既定のシーン数が繰り返された場合（ステップＳ１０５：ＹＥＳ）、リスニングステップ処理部１０は、上記四つのリスニングシーン間で同一である上記文法関係についての解説を、図６（ｅ）に例示する解説Ｃｍとして、ディスプレイ４上に表示する。この解説Ｃｍ用のデータ（文字データ）も、上記ステップＳ２において予め取得されているものが用いられる。その後リスニングステップ処理部１０は、第１実施形態に係るリスニングステップを終了し、これにより処理部１は、次の第１実施形態に係るリピートステップに移行する。

【0093】

なお、図４乃至図６を用いて説明したリスニングステップでは、一つのリスニングシーンについてステップＳ１００及びステップＳ１０１が終了した後にステップＳ１０２のリトライ操作の有無を監視したが、これ以外に、ステップＳ１００が終了した後に当該ステップＳ１００についてのリトライ操作の有無を監視し、更に、ステップＳ１０１が終了した後に当該ステップＳ１０１についてのリトライ操作の有無を監視するように構成してもよい。

【0094】

（iv）第１実施形態に係るリピートステップについて
次に、上記リピートステップ処理部１１を中心として実行される、第１実施形態に係るリピートステップ（図３ステップＳ２０参照）について、より具体的に図７及び図８を用いて説明する。なお、図７は当該リピートステップの内容を示すフローチャートであり、図８は当該リピートステップにおいて表示される画像例を示す図である。

【0095】

図７に示すように、第１実施形態に係るリピートステップ（図３ステップＳ２０参照）としてリピートステップ処理部１１は、先ず、上記ステップＳ２で取得されていた画像データＧＤ及びシーンデータＱＤを用いて、第１リピートシーンに相当する第一の英文としての英文ＳＴ２１１の英語音読音声の出力及び英文カラオケ様表示を行う（ステップＳ２００）。この場合の画像データＧＤ及びシーンデータＱＤは、上記リスニングステップにおいて用いたものと同様の画像データＧＤ及びシーンデータＱＤである。そしてステップＳ２００としてリピートステップ処理部１１は、図８（ａ）に例示するように、その内容として上記第１リスニングシーンと同様の画像ＧＳ２１の表示及び英文ＳＴ２１１の英文カラオケ様表示を行いつつ、英文ＳＴ２１１の英語音読音声の出力を行う。この場合の英文ＳＴ２１１の英文カラオケ様表示でも、上記リスニングステップの場合と同様に、それが対応する文法関係としてユーザに注意喚起されるべき単語が、それを強調するように他の単語とは異なる斜体字及び異なる表示色で表示される。また、第１リピートシーンに相当する第二の英文としての英文ＳＴ２１２は、これも上記リスニングステップと同様に英文ＳＴ２１１に対して視認性が低くなるように、英文ＳＴ２１１と共にディスプレイ４に表示される。

【0096】

上記ステップＳ２００が終了したら、次にリピートステップ処理部１１は、ステップＳ２００で出力された英語音読音声に倣って同じ英語音声を発音する旨の発音指示音声をスピーカ７から出力する（ステップＳ２０１）。そしてリピートステップ処理部１１は、図８（ｂ）に例示するように、上記英文ＳＴ２１１の英文カラオケ様表示に加えて例えば全体のトーンを薄くした画像ＧＳ２１ｗの表示を行う（ステップＳ２０２）。このステップＳ２０２としては、英文ＳＴ２１１の英語音読音声の出力は行われない。これにより、当該ステップＳ２０２が実行されている間、端末装置Ｔのユーザは、ステップＳ２００で出力された英語音読音声のリピート（復唱）を行うことになる。

【0097】

その後リピートステップ処理部１０は、上記ステップＳ２００乃至上記ステップＳ２０２が再度実行されることを望むユーザが操作部３の上記リトライボタンを操作してリトライ操作を行ったか否かを監視する（ステップＳ２０３）。ステップＳ２０３の監視においてリトライ操作が行われた場合（ステップＳ２０３：ＹＥＳ）、リピートステップ処理部１１は上記ステップＳ２００に戻って、当該ステップＳ２００乃至上記ステップＳ２０３を再度実行する。

【0098】

一方ステップＳ２０３の監視においてリトライ操作が例えば予め設定された待機時間内に行われない場合（ステップＳ２０３：ＮＯ）、リピートステップ処理部１１は次に、上記画像データＧＤ及びシーンデータＱＤを用いて、第１リピートシーンに相当する第二の英文としての英文ＳＴ２１２（図８（ａ）参照）の英語音読音声の出力及び英文カラオケ様表示を行う（ステップＳ２０４）。この場合の画像データＧＤ及びシーンデータＱＤも、上記リスニングステップにおいて用いたものと同様の画像データＧＤ及びシーンデータＱＤである。そしてステップＳ２０４としてリピートステップ処理部１１は、その内容として上記第１リスニングシーンと同様の画像ＧＳ２１の表示及び英文ＳＴ２１２の英文カラオケ様表示を行いつつ、英文ＳＴ２１２の英語音読音声の出力を行う。

【0099】

上記ステップＳ２０４が終了したら、次にリピートステップ処理部１１は、上記ステップＳ２０５と同様の発音指示音声をスピーカ７から出力する（ステップＳ２０５）。そしてリピートステップ処理部１１は、上記英文ＳＴ２１２の英文カラオケ様表示に加えて例えば全体のトーンを薄くした画像ＧＳ２１ｗの表示を行う（ステップＳ２０６）。このステップＳ２０６としては、英文ＳＴ２１２の英語音読音声の出力は行われない。これにより、当該ステップＳ２０６が実行されている間、端末装置Ｔのユーザは、ステップＳ２０６で出力された英語音読音声のリピートを行うことになる。

【0100】

その後リピートステップ処理部１０は、上記ステップＳ２０４乃至上記ステップＳ２０６が再度実行されることを望むユーザがリトライ操作を行ったか否かを監視する（ステップＳ２０７）。ステップＳ２０７の監視においてリトライ操作が行われた場合（ステップＳ２０７：ＹＥＳ）、リピートステップ処理部１１は上記ステップＳ２０４に戻って、当該ステップＳ２０４乃至上記ステップＳ２０７を再度実行する。

【0101】

一方、上記ステップＳ２００乃至上記ステップＳ２０７の実行と並行して、リピートステップ処理部１１は、ステップＳ２００乃至ステップＳ２０３を実行中においては上記英文ＳＴ２１１の和訳文を、ステップＳ２０４乃至ステップＳ２０７を実行中においては上記英文ＳＴ２１２の和訳文を、それぞれディスプレイ４に表示し（ステップＳ２０８）、その後後述するステップＳ２１０に移行する。

【0102】

更にリピートステップ処理部１１は、上記ステップＳ２００乃至上記ステップＳ２０７の実行と並行して、当該ステップＳ２００乃至当該ステップＳ２０７を最後まで実行せずに次のリピートシーンに進むことを望むユーザが操作部３の上記スキップボタンを操作してスキップ操作を行ったか否かを監視する（ステップＳ２０９。ステップＳ２０９：ＮＯ。）。ステップＳ２０９の監視においてスキップ操作が行われた場合（ステップＳ２０９：ＹＥＳ）、リピートステップ処理部１１は後述するステップＳ２１０に移行する。

【0103】

次に、上記ステップＳ２０８が実行されつつ上記ステップＳ２０７の監視においてリトライ操作が例えば予め設定された待機時間内に行われないか（ステップＳ２０７：ＮＯ）、又は上記ステップＳ２０９の監視においてスキップ操作が行われた場合（ステップＳ２０９：ＹＥＳ）、リピートステップ処理部１１は、リピートステップとして予め設定されたシーン数（第１実施形態の場合は四）だけリピートシーン（即ち上記ステップＳ２００乃至ステップＳ２０９）が繰り返されたか否かを判定する（ステップＳ２１０）。ステップＳ２１０の判定において、既定のシーン数が繰り返されていない場合（ステップＳ２１０：ＮＯ）、リピートステップ処理部１１は、リピートステップとして予め設定されている次のリピートシーンに切り換え（ステップＳ２１１）、当該切り換えられた次のリピートシーンについて、上記ステップＳ２００乃至上記ステップＳ２１０を繰り返す。

【0104】

ここで、第２実施形態に係るリピートステップは、図８に例示するように、画像ＧＳ２１並びに二つの英文ＳＴ２１１及び英文ＳＴ２１２からなる第１リピートシーン（図８（ａ）参照）、図８（ｃ）に例示する画像ＧＳ２２並びに二つの英文ＳＴ２２１及び英文ＳＴ２２２からなる第２リスニングシーン、並びに、リスニングステップにおける図６（ｃ）及び図６（ｄ）を用いて例示した画像及び二つの英文と同様の画像及び二つの英文からそれぞれなる第３リピートシーン及び第４リピートシーンから構成されている。そしてそれぞれのリピートシーンが実行される際の上記ステップＳ２００乃至上記ステップＳ２０７では、図８（ａ）乃至図８（ｄ）に例示するように、各英文ＳＴ２１１等の英文カラオケ様表示等がそれぞれのリピートシーンごとに実行される。このとき、第２リピートシーンとして端末装置Ｔのユーザに上記リピートを行わせる際（上記ステップＳ２０２又は上記ステップＳ２０６参照）には、リピートステップ処理部１１は、図８（ｄ）に例示するように、英文ＳＴ２２１の英文カラオケ様表示（ステップＳ２０２の場合）又は英文２２２の英文カラオケ様表示（ステップＳ２０６の場合）に加えて、例えば全体のトーンを薄くした画像ＧＳ２２ｗの表示を行う。

【0105】

図７に戻り、ステップＳ２１０の判定において、既定のシーン数が繰り返された場合（ステップＳ２１０：ＹＥＳ）、リピートステップ処理部１１は、上記四つのリピートシーン間で同一である上記文法関係についての解説（即ち、リスニングステップに対応する文法関係と同様の文法関係についての解説）を、図８（ｅ）に例示する解説Ｃｍとして、ディスプレイ４上に表示する（ステップＳ２１２）。この解説Ｃｍ用のデータ（文字データ）も、リスニングステップの場合と同様に上記ステップＳ２において予め取得されているものが用いられる。その後リピートステップ処理部１１は、第１実施形態に係るリピートステップを終了し、これにより処理部１は、次の第１実施形態に係るレコードステップに移行する。

【0106】

（ｖ）第１実施形態に係るレコードステップについて
次に、上記レコードステップ処理部１２を中心として実行される、第１実施形態に係るレコードステップ（図３ステップＳ３０参照）について、より具体的に図９及び図１０を用いて説明する。なお、図９は当該レコードステップの内容を示すフローチャートであり、図１０は当該レコードステップにおいて表示される画像例を示す図である。

【0107】

図９に示すように、第１実施形態に係るレコードステップ（図３ステップＳ３０参照）としてレコードステップ処理部１２は、先ず、上記ステップＳ２で取得されていた画像データＧＤ及びシーンデータＱＤを用いて、第１レコードシーンに相当する第一の英文としての英文ＳＴ３１１の英語音読音声の出力及び英文カラオケ様表示を行う（ステップＳ３００）。この場合の画像データＧＤ及びシーンデータＱＤは、上記リスニングステップ及び上記リピートステップにおいて用いたものと同様の画像データＧＤ及びシーンデータＱＤである。そしてステップＳ３００としてレコードステップ処理部１２は、図９（ａ）に例示するように、その内容として上記第１リスニングシーン又は上記第１リピートシーンと同様の画像ＧＳ３１の表示及び英文ＳＴ３１１の英文カラオケ様表示を行いつつ、英文ＳＴ３１１の英語音読音声の出力を行う。この場合の英文ＳＴ３１１の英文カラオケ様表示でも、上記リスニングステップ及び上記リピートステップの場合と同様に、それが対応する文法関係としてユーザに注意喚起されるべき単語が、それを強調するように他の単語とは異なる斜体字及び異なる表示色で表示される。また、第１レコードシーンに相当する第二の英文としての英文ＳＴ３１２は、これも上記リスニングステップ及び上記リピートステップと同様に英文ＳＴ３１１に対して視認性が低くなるように、英文ＳＴ３１１と共にディスプレイ４に表示される。

【0108】

上記ステップＳ３００が終了したら、次にレコードステップ処理部１２は、ステップＳ３００で出力された英語音読音声に倣った自らの英語音声を録音して再生することを望むユーザが操作部３の上記録音ボタンを操作して録音操作を行ったか否かを監視する（ステップＳ３０１）。ステップＳ３０１の監視において録音操作が行われない場合（ステップＳ３０１：ＮＯ）、レコードステップ処理部１２は次に、上記ステップＳ３００を実行してから予め設定された待機時間が経過したか否かを判定する（ステップＳ３０２）。そしてステップＳ３０２の判定において当該待機時間が経過していない場合（ステップＳ３０２：ＮＯ）、レコードステップ処理部１２は上記ステップＳ３０１に戻って録音操作の実行を判定する。一方ステップＳ３０２の判定において上記待機時間が経過した場合（ステップＳ３０２：ＹＥＳ）、レコードステップ処理部１２は上記ステップＳ３００に戻って当該ステップＳ３００を繰り返す。

【0109】

他方、ステップＳ３０１の監視において録音操作が行われた場合（ステップＳ３０１：ＹＥＳ）、レコードステップ処理部１２は録音操作の直後から発音されているであろうユーザの英語音声を、マイク８を介して集音し、更に当該集音結果としての音声信号を予め設定された汎用の音声ファイル形式を用いて例えば記録部５に一時的に記録する（ステップＳ３０３）。このステップＳ３０３を実行中にレコードステップ処理部１２は、図１０（ｂ）に例示するように、上記英文ＳＴ３１１の英文カラオケ様表示に加えて例えば全体のトーンを濃くした画像ＧＳ３１ｄを、音声の時間軸に沿った波形を模した図形を重畳させてディスプレイ４に表示する。これにより、当該ステップＳ３０３を実行しているユーザは、自身の音声が録音されていることを直感的に認識することができる。

【0110】

次にレコードステップ処理部１２は、ステップＳ３０３が終了してから予め設定された時間が経過した後、当該ステップＳ３０３で録音したユーザの英語音声を再生する（ステップＳ３０４）。その後更にレコードステップ処理部１２は、上記ステップＳ３００と同様に、上記英文ＳＴ３１１の英語音読音声の出力及び英文カラオケ様表示を再度行う（ステップＳ３０５）。以上のステップＳ３０４及びステップＳ３０５の実行により、ステップＳ３０３で録音された自身の英語音声（ステップＳ３０４）を正しい英語音声（ステップＳ３０５）と比較することで、正しい発音を身につけることができる。

【0111】

その後レコードステップ処理部１２は、上記ステップＳ３００乃至上記ステップＳ３０６が再度実行されることを望むユーザが操作部３の上記リトライボタンを操作してリトライ操作を行ったか否かを監視する（ステップＳ３０６）。ステップＳ３０６の監視においてリトライ操作が行われた場合（ステップＳ３０６：ＹＥＳ）、レコードステップ処理部１２は上記ステップＳ３００に戻って、当該ステップＳ３００乃至上記ステップＳ３０６を再度実行する。

【0112】

一方ステップＳ３０６の監視においてリトライ操作が例えば予め設定された待機時間内に行われない場合（ステップＳ３０６：ＮＯ）、レコードステップ処理部１２は次に、上記画像データＧＤ及びシーンデータＱＤを用いて、第１レコードシーンに相当する第二の英文としての英文ＳＴ３１２（図１０（ａ）参照）の英語音読音声の出力及び英文カラオケ様表示を行う（ステップＳ３０７）。この場合の画像データＧＤ及びシーンデータＱＤも、上記リスニングステップ及び上記リピートステップにおいて用いたものと同様の画像データＧＤ及びシーンデータＱＤである。そしてステップＳ３０７としてレコードステップ処理部１２は、その内容として上記第１レコードシーンと同様の画像ＧＳ３１の表示及び英文ＳＴ３１２の英文カラオケ様表示を行いつつ、英文ＳＴ３１２の英語音読音声の出力を行う。

【0113】

上記ステップＳ３０７が終了したら、次にレコードステップ処理部１２は、ステップＳ３０７で出力された英語音読音声に倣った自らの英語音声を録音して再生することを望むユーザが操作部３の上記録音ボタンを操作して録音操作を行ったか否かを監視する（ステップＳ３０８）。ステップＳ３０８の監視において録音操作が行われない場合（ステップＳ３０８：ＮＯ）、レコードステップ処理部１２は次に、上記ステップＳ３０７を実行してから予め設定された待機時間が経過したか否かを判定する（ステップＳ３０９）。そしてステップＳ３０９の判定において当該待機時間が経過していない場合（ステップＳ３０９：ＮＯ）、レコードステップ処理部１２は上記ステップＳ３０７に戻って上記録音操作の実行を判定する。一方ステップＳ３０９の判定において上記待機時間が経過した場合（ステップＳ３０９：ＹＥＳ）、レコードステップ処理部１２は上記ステップＳ３０７に戻って当該ステップＳ３０７を繰り返す。

【0114】

他方、ステップＳ３０８の監視において録音操作が行われた場合（ステップＳ３０８：ＹＥＳ）、レコードステップ処理部１２は録音操作の直後から発音されているであろうユーザの英語音声を、マイク８を介して集音し、更に当該集音結果としての音声信号を上記ステップＳ３０３と同様にして例えば記録部５に一時的に記録する（ステップＳ３１０）。このステップＳ３１０を実行中にレコードステップ処理部１２は、上記英文ＳＴ３１２の英文カラオケ様表示に加えて例えば全体のトーンを濃くした画像ＧＳ３１ｄを、音声の時間軸に沿った波形を模した図形を重畳させてディスプレイ４に表示する。これにより、当該ステップＳ３１０を実行しているユーザは、上記ステップＳ３０３と同様に、自身の音声が録音されていることを直感的に認識することができる。次にレコードステップ処理部１２は、ステップＳ３１０が終了してから予め設定された時間が経過した後、当該ステップＳ３１０で録音したユーザの英語音声を再生する（ステップＳ３１１）。その後更にレコードステップ処理部１２は、上記ステップＳ３０７と同様に、上記英文ＳＴ３１２の英語音読音声の出力及び英文カラオケ様表示を再度行う（ステップＳ３１２）。以上のステップＳ３１１及びステップＳ３１２の実行により、ステップＳ３１０で録音された自身の英語音声（ステップＳ３１１）を正しい英語音声（ステップＳ３１２）と比較することで、正しい発音を身につけることができる。

【0115】

その後レコードステップ処理部１２は、上記ステップＳ３０７乃至上記ステップＳ３１２が再度実行されることを望むユーザが操作部３の上記リトライボタンを操作してリトライ操作を行ったか否かを監視する（ステップＳ３１３）。ステップＳ３１３の監視においてリトライ操作が行われた場合（ステップＳ３１３：ＹＥＳ）、レコードステップ処理部１２は上記ステップＳ３０７に戻って、当該ステップＳ３０７乃至上記ステップＳ３１３を再度実行する。

【0116】

一方レコードステップ処理部１２は、上記ステップＳ３００乃至上記ステップＳ３１３の実行と並行して、当該ステップＳ３００乃至当該ステップＳ３１３を最後まで実行せずに次のレコードシーンに進むことを望むユーザが操作部３の上記スキップボタンを操作してスキップ操作を行ったか否かを監視する（ステップＳ３１７。ステップＳ３１７：ＮＯ。）。ステップＳ３１７の監視においてスキップ操作が行われた場合（ステップＳ３１７：ＹＥＳ）、レコードステップ処理部１２は後述するステップＳ３１４に移行する。

【0117】

他方ステップＳ３１３の監視においてリトライ操作が例えば予め設定された待機時間内に行われないか（ステップＳ３１３：ＮＯ）、又は上記ステップＳ３１７の監視において上記スキップ操作が行われた場合（ステップＳ３１７：ＹＥＳ）、レコードステップ処理部１２は、レコードステップとして予め設定されたシーン数（第１実施形態の場合は四）だけレコードシーン（即ち上記ステップＳ３００乃至ステップＳ３１３及びステップＳ３１７）が繰り返されたか否かを判定する（ステップＳ３１４）。ステップＳ３１４の判定において、既定のシーン数が繰り返されていない場合（ステップＳ３１４：ＮＯ）、レコードステップ処理部１２は、レコードステップとして予め設定されている次のレコードシーンに切り換え（ステップＳ３１５）、当該切り換えられた次のレコードシーンについて、上記ステップＳ３００乃至上記ステップＳ３１３及びステップＳ３１７を繰り返す。

【0118】

ここで、第１実施形態に係るレコードステップは、図１０に例示するように、画像ＧＳ３１並びに二つの英文ＳＴ３１１及び英文ＳＴ３１２からなる第１レコードシーン（図１０（ａ）参照）、図１０（ｃ）に例示する画像ＧＳ３２並びに二つの英文ＳＴ３２１及び英文ＳＴ３２２からなる第２レコードシーン、並びに、例えばリスニングステップにおける図６（ｃ）及び図６（ｄ）を用いて例示した画像及び二つの英文と同様の画像及び二つの英文からそれぞれなる第３レコードシーン及び第４レコードシーンから構成されている。そしてそれぞれのレコードシーンが実行される際の上記ステップＳ３００乃至上記ステップＳ３１３では、図１０（ａ）乃至図１０（ｄ）に例示するように、各英文ＳＴ３１１等の英文カラオケ様表示等がそれぞれのレコードシーンごとに実行される。このとき、第２レコードシーンとして端末装置Ｔのユーザに自身の音声の録音を行わせる際（上記ステップＳ３０３又は上記ステップＳ３１０参照）には、レコードステップ処理部１２は、図１０（ｄ）に例示するように、英文ＳＴ３２１の英文カラオケ様表示（ステップＳ３０３の場合）又は英文ＳＴ３２２の英文カラオケ様表示（ステップＳ３１０の場合）に加えて、例えば全体のトーンを濃くした画像ＧＳ３２ｄを、音声の時間軸に沿った波形を模した図形を重畳させてディスプレイ４に表示する。

【0119】

図９に戻り、ステップＳ３１４の判定において、既定のシーン数が繰り返された場合（ステップＳ３１４：ＹＥＳ）、レコードステップ処理部１２は、上記四つのレコードシーンが終了したことを労う労い情報として、例えば「Good Job!」の文字をディスプレイ４上に表示すると共に、当該「Good Job!」の音声をスピーカ７から出力する（ステップＳ３１６）。その後レコードステップ処理部１２は、第１実施形態に係るレコードステップを終了し、これにより処理部１は、次の第１実施形態に係るトランスレーションステップに移行する。

【0120】

なお、上述したレコードステップでは、ステップＳ３０４とステップＳ３０５とを、それぞれ別個に時間を分けて実行する構成としたが、これ以外に、ステップＳ３０４としてのユーザの英語音声の再生と並行して、ステップＳ３０５としての英語音読音声の出力及び英文カラオケ様表示を行うように構成することもできる。この場合に、ステップＳ３０４としてのユーザの英語音声の再生の開始タイミングと同時にステップＳ３０５としての英語音読音声の出力及び英文カラオケ様表示を開始するように構成してもよいし、又は、ステップＳ３０４としてのユーザの英語音声の再生の開始タイミングから少し遅らせてステップＳ３０５としての英語音読音声の出力及び英文カラオケ様表示を開始するように構成してもよい。更にこれと同様に、レコードステップのステップＳ３１１としてのユーザの英語音声を再生と並行して、ステップＳ３１２としての英語音読音声の出力及び英文カラオケ様表示を行うように構成することもできる。この場合にも、ステップＳ３１１としてのユーザの英語音声の再生の開始タイミングと同時にステップＳ３１２としての英語音読音声の出力及び英文カラオケ様表示を開始するように構成してもよいし、又は、ステップＳ３１１としてのユーザの英語音声の再生の開始タイミングから少し遅らせてステップＳ３１２としての英語音読音声の出力及び英文カラオケ様表示を開始するように構成してもよい。

【0121】

（vi）第１実施形態に係るトランスレーションステップについて
最後に、上記トランスレーションステップ処理部１３を中心として実行される、第１実施形態に係るトランスレーションステップ（図３ステップＳ４０参照）について、より具体的に図１１乃至図１３を用いて説明する。なお、図１１は当該トランスレーションステップの内容を示すフローチャートであり、図１２及び図１３は当該トランスレーションステップにおいて表示される画像例をそれぞれ示す図である。

【0122】

図１１に示すように、第１実施形態に係るトランスレーションステップ（図３ステップＳ４０参照）としてトランスレーションステップ処理部１３は、先ず、上記ステップＳ２で取得されていた画像データＧＤと、上記シーンデータＱＤに含まれている各英文それぞれの和訳文のデータと、を用いて、第１トランスレーションシーンに相当する第一の英文としての英文ＳＴ４１の和訳文ＳＴ４１Ｊの表示を行う（ステップＳ４００）。この場合の画像データＧＤ及びシーンデータＱＤは、上記リスニングステップ乃至上記レコードステップにおいて用いたものと同様の画像データＧＤ及びシーンデータＱＤである。そしてステップＳ４００としてトランスレーションステップ処理部１３は、図１２（ａ）に例示するように、その内容として上記第１リスニングシーン乃至上記第１レコードシーンと同様の画像ＧＳ４１の表示及び和訳文ＳＴ４１Ｊの表示、並びに表示されている和訳文ＳＴ４１Ｊの英訳の発音を促す英訳問題文ＱＵの表示を行う。なおこのときの和訳文ＳＴ４１Ｊでは、日本文としての通常の（自然な）句読点の位置ではなく、対応する英文における単語の区切りに相当する位置に読点が打たれている。より具体的に例えば、第１トランスレーションシーンに相当する第一の英文が「I know that she is cooking dinner for us.」である場合、それに対応する和訳文ＳＴ４１Ｊは、図１２（ａ）に例示するように「私は、彼女が、私達、のために、夕食を、作っていることを、知って、います。」である。

【0123】

上記ステップＳ４００が終了したら、次にトランスレーションステップ処理部１３は、ステップＳ４００で表示された和訳文ＳＴ４１Ｊを英訳した英語音声の出力及び当該英訳の英文カラオケ様表示を行うこと（即ち、ステップＳ４００で表示されている英訳問題文ＱＵに対する解答の出力及び表示を行うこと）を望むユーザが、操作部３の上記解答確認操作ボタンを操作して解答確認操作を行ったか否かを監視する（ステップＳ４０１）。ステップＳ４０１の監視において上記解答確認操作が行われた場合（ステップＳ４０１：ＹＥＳ）、トランスレーションステップ処理部１３は、後述するステップＳ４０６に移行する。一方ステップＳ４０１の監視において上記解答確認操作が行われない場合（ステップＳ４０１：ＮＯ）、次にトランスレーションステップ処理部１３は、ステップＳ４００で表示された和訳文ＳＴ４１Ｊを英訳した自らの英語音声を録音して再生することを望むユーザが操作部３の上記録音ボタンを操作して録音操作を行ったか否かを監視する（ステップＳ４０２）。ステップＳ４０２の監視において録音操作が行われない場合（ステップＳ４０２：ＮＯ）、トランスレーションステップ処理部１３は次に、上記ステップＳ４００を実行してから予め設定された待機時間が経過したか否かを判定する（ステップＳ４０３）。そしてステップＳ４０３の判定において当該待機時間が経過していない場合（ステップＳ４０３：ＮＯ）、トランスレーションステップ処理部１３は上記ステップＳ４０２に戻って上記録音操作の実行を判定する。一方ステップＳ４０３の判定において上記待機時間が経過した場合（ステップＳ４０３：ＹＥＳ）、トランスレーションステップ処理部１３は上記ステップＳ４００に戻って当該ステップＳ４００以降を繰り返す。

【0124】

他方、ステップＳ４０２の監視において上記録音操作が行われた場合（ステップＳ４０２：ＹＥＳ）、トランスレーションステップ処理部１３は上記録音操作の直後から発音されているであろうユーザの英語音声を、マイク８を介して集音し、更に当該集音結果としての音声信号を上記レコードステップにおけるステップＳ３０３又はステップＳ３１０と同様にして例えば記録部５に一時的に記録する（ステップＳ４０４）。

【0125】

次にトランスレーションステップ処理部１３は、ステップＳ４０４が終了してから予め設定された時間が経過した後、当該ステップＳ４０４で録音したユーザの英語音声を再生する（ステップＳ４０５）。その後更にトランスレーションステップ処理部１３は、上記英訳問題文ＱＵに対する解答として、ステップＳ４００で表示された和訳文ＳＴ４１Ｊを英訳した英語音声の出力及び当該英訳の英文カラオケ様表示を行う（ステップＳ４０６）。以上のステップＳ４０５及びステップＳ４０６の実行により、ステップＳ４０４で録音された自身の英語音声（ステップＳ４０５）を正しい英語音声（ステップＳ４０６）と比較することで、そのユーザが正しい解答（翻訳）を行ったかを確認することができる。

【0126】

その後トランスレーションステップ処理部１３は、上記ステップＳ４００乃至上記ステップＳ４０６が再度実行されることを望むユーザが操作部３の上記リトライボタンを操作してリトライ操作を行ったか否かを監視する（ステップＳ４０７）。ステップＳ４０７の監視においてリトライ操作が行われた場合（ステップＳ４０７：ＹＥＳ）、トランスレーションステップ処理部１３は上記ステップＳ４００に戻って、当該ステップＳ４００乃至上記ステップＳ４０７を再度実行する。

【0127】

一方トランスレーションステップ処理部１３は、上記ステップＳ４００乃至上記ステップＳ４０７の実行と並行して、当該ステップＳ４００乃至当該ステップＳ４０７を最後まで実行せずに次のトランスレーションシーンに進むことを望むユーザが操作部３の上記スキップボタンを操作して上記スキップ操作を行ったか否かを監視する（ステップＳ４１０。ステップＳ４１０：ＮＯ。）。ステップＳ４１０の監視において上記スキップ操作が行われた場合（ステップＳ４１０：ＹＥＳ）、トランスレーションステップ処理部１３は後述するステップＳ４０８に移行する。

【0128】

他方ステップＳ４０７の監視においてリトライ操作が例えば予め設定された待機時間内に行われないか（ステップＳ４０７：ＮＯ）、又は上記ステップＳ４１０の監視において上記スキップ操作が行われた場合（ステップＳ４１０：ＹＥＳ）、トランスレーションステップ処理部１３は、トランスレーションステップとして予め設定されたシーン数（第１実施形態の場合は四）だけトランスレーションシーン（即ち上記ステップＳ４００乃至ステップＳ４０７及びステップＳ４１０）が繰り返されたか否かを判定する（ステップＳ４０８）。ステップＳ４０８の判定において、既定のシーン数が繰り返されていない場合（ステップＳ４０８：ＮＯ）、トランスレーションステップ処理部１３は、トランスレーションステップとして予め設定されている次のトランスレーションシーンに切り換え（ステップＳ４０９）、当該切り換えられた次のトランスレーションシーンについて、上記ステップＳ４００乃至上記ステップＳ４０７及びステップＳ４１０を繰り返す。

【0129】

ここで、第１実施形態に係るトランスレーションステップは、図１２に例示するように、画像ＧＳ４１並びに和訳文ＳＴ４１Ｊ及び英訳問題文ＱＵからなる第１トランスレーションシーン（図１２（ａ）参照）、画像ＧＳ４２並びに和訳文ＳＴ４２Ｊ及び英訳問題文ＱＵからなる第２トランスレーションシーン（図１２（ｂ）参照）、画像ＧＳ４３並びに和訳文ＳＴ４３Ｊ及び英訳問題文ＱＵからなる第３トランスレーションシーン（図１２（ｃ）参照）及び画像ＧＳ４４並びに和訳文ＳＴ４４Ｊ及び英訳問題文ＱＵからなる第４トランスレーションシーン（図１２（ｄ）参照）から構成されている。そして、各トランスレーションシーンのステップＳ４０６では、第１トランスレーションシーンの場合は図１３（ａ）に例示する画像ＧＳ４１の表示及び英文ＳＴ４１の英文カラオケ様表示が行われ、第２トランスレーションシーンの場合は図１３（ｂ）に例示する画像ＧＳ４２の表示及び英文ＳＴ４２の英文カラオケ様表示が行われ、第３トランスレーションシーンの場合は図１３（ｃ）に例示する画像ＧＳ４３の表示及び英文ＳＴ４３の英文カラオケ様表示が行われ、第４トランスレーションシーンの場合は図１３（ｄ）に例示する画像ＧＳ４４の表示及び英文ＳＴ４４の英文カラオケ様表示が行われる。このとき、図１２と図１３とを比較すると明らかなように、図１２（ａ）に例示する和訳文ＳＴ４１Ｊでは図１３（ａ）に例示する英文ＳＴ４１における単語の区切りに相当する位置に読点が打たれており、図１２（ｂ）に例示する和訳文ＳＴ４２Ｊでは図１３（ｂ）に例示する英文ＳＴ４２における単語の区切りに相当する位置に読点が打たれており、図１２（ｃ）に例示する和訳文ＳＴ４３Ｊでは図１３（ｃ）に例示する英文ＳＴ４３における単語の区切りに相当する位置に読点が打たれており、図１２（ｄ）に例示する和訳文ＳＴ４４Ｊでは図１３（ｄ）に例示する英文ＳＴ４４における単語の区切りに相当する位置に読点が打たれている。

【0130】

図１１に戻って、上記ステップＳ４０８の判定において、既定のシーン数が繰り返された場合（ステップＳ４０８：ＹＥＳ）、トランスレーションステップ処理部１３は、図３に示すステップＳ３に移行する。

【0131】

ここで、上記ステップＳ３においてサーバ装置ＳＶから取得されるアイテムデータＩＴＤ及びそれが相当する第１実施形態に係るアイテム等について、図１４を用いて説明する。なお、図１４は当該アイテム等の例を示す図である。

【0132】

上記ステップＳ３においては、サーバ装置ＳＶから予め取得され且つ端末装置Ｔの記録部５に記録されているマップデータに基づいて、図１４（ａ）に例示する仮想的な遊園地等を含む地域を示す地図ＭＰがディスプレイ４に表示される。そして、端末装置Ｔのユーザは、これまで説明してきたリスニングステップ乃至トランスレーションステップ（図３ステップＳ１０、ステップＳ２０、ステップＳ３０及びステップＳ４０参照）を一回終了すると、図１４（ａ）に例示する地図ＭＰに対して、建物又は遊具の一つであるアイテムＩＴ（図１４（ｂ）参照）を一つ取得する。このときそのユーザの端末装置Ｔの処理部１は、サーバ装置ＳＶから当該取得するアイテムＩＴに相当するアイテムデータＩＴＤを、ネットワークＮＷを介して取得する。そして当該ユーザは、上記リスニングステップ乃至トランスレーションステップを一回終了する度に一のアイテムＩＴに相当するアイテムデータＩＴＤを取得することを繰り返し、更に当該取得したアイテムデータＩＴＤに相当するアイテムＩＴを地図ＭＰに反映させる。これによりユーザは、段階的に難度が高い上記リスニングステップ乃至上記トランスレーションステップを終了する度に、その好みのアイテムＩＴに相当するアイテムデータＩＴＤが取得し、最終的にはそのユーザが好みの遊園地等を地図ＭＰ内に建築できる。これによりユーザは上述した通り、常に高いモチベーションを維持しつつ、第１実施形態に係る言語学習に取り組むことができる。なお、上記アイテムＩＴの取得は、上述したような上記リスニングステップ乃至トランスレーションステップを一回終了する度だけでなく、例えば、各ステップの途中や上記リスニングステップ乃至トランスレーションステップを複数回終了した後等、ユーザの例えば学齢等に応じて変更することも可能である。

【0133】

以上説明したように、第１実施形態の言語学習処理によれば、学習対象たる言語である英語により綴られた英文ＳＴ１１１等を含む画像と、当該英文ＳＴ１１１等を発音した音声と、を、複数のリスニングシーンとして出力するリスニングステップを実行し（図３ステップＳ１０及び図４乃至図６参照）、その後に、複数のレコードシーンからなるレコードステップを実行する（図３ステップＳ３０並びに図９及び図１０参照）。このとき、リスニングステップとして、一のリスニングシーンを構成する画像ＧＳ１１等及び英語音読音声を出力することが、同一文法の相互に異なる英文によりそれぞれ構成される複数のリスニングシーンとして繰り返される。一方レコードステップとして、一のレコードシーンを構成する画像ＧＳ３１等及び英語音読音声を出力し、画像ＧＳ３１等及び英語音読音声に対応する英文ＳＴ３１１等を音読（発音）したユーザの音声を集音して録音し（図９ステップＳ３０３及びステップＳ３１０参照）、録音した音声を出力すること（図９ステップＳ３０４及びステップＳ３１１参照）が、同一文法の相互に異なる文章によりそれぞれ構成される複数のレコードシーンごとに繰り返される。よって、リスニングステップとレコードステップとが、同一の文法の異なる文章により構成されるいわゆるパターンプラクティスとして実行されることで、英語の学習効果（練習効果）を向上させることができる。

【0134】

またレコードステップにおいては、ユーザによる録音操作が行われた場合に、その音声の集音及び録音を行う（図３ステップＳ３０１及びステップＳ３０８参照）。よって、ユーザの任意のタイミングで発音及び録音を行うことができるので、余裕を持って英語を学習することができる。

【0135】

更にリスニングステップにおいては、複数（例えば四回）のリスニングシーン分の繰り返しが終了したタイミングにおいて解説Ｃｍを表示するので（図4ステップＳ１０７参照）、リスニングステップの学習の対象となった文法の内容を容易に理解することができる。

【0136】

更にまたレコードステップにおいては、複数のレコードシーン分の繰り返しが終了したタイミングにおいて労い情報を出力するので（図９ステップＳ３１６参照）、ユーザの学習継続意欲を維持又は高めることができる。

【0137】

また、リスニングステップとレコードステップとの間に、複数のリピートシーンからなるリピートステップを実行する（図３ステップＳ２０並びに図７及び図８参照）。このときリピートステップとして、一のリピートシーンを構成する画像ＧＳ２１等及び英語音読音声を出力し、当該画像ＧＳ２１等及び英語音読音声に対応する英文を構成する単語の発音を促す発音指示音声の出力が、同一文法の相互に異なる文章によりそれぞれ構成される複数のリピートシーンごとに繰り返される。よって、同一の文法の異なる文章により構成されるいわゆるパターンプラクティスとして、リスニングステップ及びレコードステップに加えてリピートステップが実行されることで、学習対象たる英語の学習効果（練習効果）をより向上させることができる。

【0138】

またリピートステップにおいては、複数（例えば四回）のリピートシーン分の繰り返しが終了したタイミングにおいて解説Ｃｍを表示するので（図７ステップＳ２１２参照）、リピートステップとしての学習の対象となった文法の内容を容易に理解することができる。

【0139】

更に、一のリスニングステップにおけるリスニングシーンの繰り返し数、一のレコードステップにおけるレコードシーンの繰り返し数、及び一のリピートステップにおけるリピートシーンの繰り返し数が全て同一であるので、パターンプラクティスとしての学習効果を更に高めることができる。更にまた、当該各繰り返し数が四回であるので、飽きを防止してパターンプラクティスとしての学習効果をより高めることができる。

【0140】

また、レコードステップの後に、複数のトランスレーションシーンからなるトランスレーションステップを実行する（図３ステップＳ４０及び図１１乃至図１３参照）。このときトランスレーションステップとして、一のトランスレーションシーンを構成する和訳文ＳＴ４１Ｊ等を含む画像が表示され、その和訳文ＳＴ４１Ｊ等に相当する日本語の音声が録音され（図１１ステップＳ４０４参照）、録音された音声が再生され（図１１ステップＳ４０５参照）、その後、和訳文ＳＴ４１Ｊを英訳した英語音声の出力及び当該英訳の英文カラオケ様表示が行われること（図１１ステップＳ４０６参照）が、同一文法の相互に異なる和訳文ＳＴ４１Ｊ等によりそれぞれ構成される複数のトランスレーションシーンごとに繰り返される。よって、同一の文法の異なる和訳文ＳＴ４１Ｊ等によるいわゆるパターンプラクティスとしてトランスレーションステップが更に実行されることで、学習対象たる英語の学習効果（練習効果）をより向上させることができる。

【0141】

またトランスレーションステップにおいては、ユーザによる録音操作が実行された場合に、翻訳音声の集音及び録音を行う（図１１ステップＳ４０２参照）ので、ユーザの任意のタイミングで音声の発音及び録音を行うことができるので、余裕を持って英語を学習することができる。

【0142】

更にトランスレーションステップにおいては、和訳文ＳＴ４１Ｊ等における読点の位置が、当該和訳文ＳＴ４１Ｊ等に相当する英文における単語の区切りに相当する位置とされているので（図１２参照）、より正確な音声の録音等を行わせることができる。

【0143】

更にまたトランスレーションステップにおいては、解答確認操作が行われた場合に、表示中の和訳文ＳＴ４１Ｊ等に相当する英文音読を出力する（図１１ステップＳ４０１及びステップＳ４０６参照）ので、ユーザにおいて和訳文ＳＴ４１Ｊ等の翻訳が難しい場合に、当該ユーザによる解答確認操作により当該相当する英文音読を出力させることで、停滞することなく英語学習を進めることができる。

【0144】

またトランスレーションステップにおいては、一のトランスレーションシーンに対応する和訳文ＳＴ４１Ｊ等の数（一）が、一のリスニングシーンを構成する英文ＳＴ１１１等の数、一のレコードシーンを構成する英文ＳＴ３１１等数及び一のリピートシーンを構成する英文ＳＴ２１１等の数のいずれ（それぞれ二）よりも少ないので、難度の高いトランスレーションシーン内の和訳文ＳＴ４１Ｊ等の数を抑えて学習意欲の低下を防止することができる。

【0145】

更に、上記リスニングステップ、上記リピートステップ及び上記レコードステップにいおいて英文カラオケ様表示を行うので、音声としていずれの単語が出力されているかを容易に認識することができる。

【0146】

更にまた英文カラオケ様表示においては、音声としての出力タイミングにおけるその単語の画像内の表示色が、その出力タイミング後に音声として出力される他の単語の表示色態に対して異ならせられつつ出力されるので、音声としていずれの単語が出力されているかをより容易に認識することができる。

【0147】

また、相互に対応するリスニングシーン、リピートシーン、レコードシーン及びトランスレーションシーンの当該各シーンを構成する少なくともキャラクタ及びその動作が同一であるので、リスニングステップ→リピートステップ→レコードステップ→トランスレーションステップと同じキャラクタにより学習が進むことで、学習効果をより高めることができる。

【0148】

更に、リスニングステップ、リピートステップ、レコードステップ及びトランスレーションステップがそれぞれ終了した場合に、そのユーザが好みのアイテムＩＴを取得して記録することができるので（図１４参照）、当該ユーザにおける事後の学習意欲を更に増大させることができる。

【0149】

（II）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図１５及び図１６を用いて説明する。なお、図１５は第２実施形態に係る言語学習処理におけるレコードステップの内容を示すフローチャートであり、図１６は当該言語学習処理におけるトランスレーションステップの内容を示すフローチャートである。

【0150】

また、第２実施形態に係る言語学習システムのハードウエア構成は、基本的には第１実施形態に係る言語学習システムＳのハードウェア構成と同一であるので、以下の第２実施形態の説明では、当該言語学習システムＳと同様の構成部材については、同様の部材番号を付して細部の説明は省略する。更に、第２実施形態に係る言語学習処理のうち、第１実施形態に係る言語学習処理と同様の処理については、同様のステップ番号を付して細部の説明を省略する。

【0151】

以下に説明する第２実施形態に係る言語学習処理では、そのレコードステップ及びトランスレーションステップが、上述した第１実施形態に係る言語学習処理におけるレコードステップ及びトランスレーションステップと異なる。その他の、第２実施形態に係る言語学習処理におけるリスニングステップ及びリピートステップは、上述した第１実施形態に係る言語学習処理におけるリスニングステップ及びリピートステップと同様であるので、細部の説明を省略する。

【0152】

（ｉ）第２実施形態に係るレコードステップについて
始めに、第２実施形態に係るレコードステップについて、図１５を用いて具体的に説明する。

【0153】

図１５に示すように第２実施形態に係るレコードステップ（ステップＳ３０－１）では、レコードステップ処理部１２は始めに、第１実施形態に係るレコードステップにおけるステップＳ３００乃至ステップＳ３０３と同様の処理を実行する。

【0154】

次にレコードステップ処理部１２は、第１実施形態に係るレコードステップにおけるステップＳ３０４と同様の処理と並行して、ステップＳ３０３で集音／録音されたユーザの英語音声を認識し、その認識結果と、その後のステップＳ３０５で出力される英文ＳＴ３１１の英語音読音声の内容と、を自動的に比較し、両者が同じか否かを判定し、その結果を、例えばディスプレイ４上に例えば「〇（両者が同じである場合）」又は「×（両者が異なる場合）」と表示する（ステップＳ３２０）。このステップＳ３２０における自動判定の方法は、例えば従来と同様の音声判別方法等を用いることができる。その後レコードステップ処理部１２は、第１実施形態に係るレコードステップにおけるステップＳ３０５及びステップＳ３０５と同様の処理を実行する。

【0155】

その後レコードステップ処理部１２は、第１実施形態に係るレコードステップにおけるステップＳ３０７乃至ステップＳ３１０と同様の処理を実行する。

【0156】

次にレコードステップ処理部１２は、第１実施形態に係るレコードステップにおけるステップＳ３１１と同様の処理と並行して、ステップＳ３１０で集音／録音されたユーザの英語音声を認識し、その認識結果と、その後のステップＳ３１２で出力される英文ＳＴ３１２の英語音読音声の内容と、を自動的に比較し、両者が同じか否かを判定し、その結果を、上記ステップＳ３２０と同様に例えばディスプレイ４上に表示する（ステップＳ３２１）。このステップＳ３２０における自動判定の方法は、上記ステップＳ３２０と同様である。その後レコードステップ処理部１２は、第１実施形態に係るレコードステップにおけるステップＳ３１２乃至ステップＳ３１６及びステップＳ３１７と同様の処理を実行する。

【0157】

（ii）第２実施形態に係るトランスレーションステップについて
次に、第２実施形態に係るトランスレーションステップについて、図１６を用いて具体的に説明する。

【0158】

図１６に示すように第２実施形態に係るトランスレーションステップ（ステップＳ４０－１）では、トランスレーションステップ処理部１３は始めに、第１実施形態に係るトランスレーションステップにおけるステップＳ４００乃至ステップＳ４０４と同様の処理を実行する。

【0159】

次にトランスレーションステップ処理部１３は、第１実施形態に係るトランスレーションステップにおけるステップＳ４０５と同様の処理と並行して、ステップＳ４０４で集音／録音されたユーザの英語音声を認識し、その認識結果と、その後のステップＳ４０６で出力される和訳文ＳＴ４１Ｊを英訳した英語音声の内容と、を自動的に比較し、両者が同じか否かを判定し、その結果を、上記ステップＳ３２０と同様の方法で例えばディスプレイ４上に表示する（ステップＳ４１１）。このステップＳ４１１における自動判定の方法も、例えば上記ステップＳ３２０と同様の方法を用いることができる。その後トランスレーションステップ処理部１３は、第１実施形態に係るトランスレーションステップＳ４０におけるステップＳ４０６乃至ステップＳ４１０と同様の処理を実行する。

【0160】

以上説明したように、第２実施形態に係るレコードステップによれば、第１実施形態に係る言語学習処理の作用効果に加えて、録音されたユーザの音声の内容を認識し、その認識結果と、英文ＳＴ３１１等の英語音読音声の内容と、を比較し、両者が同じか否かを判定して表示するので（図１５ステップＳ３２０又はステップＳ３２１参照）、ユーザが発声した当該音声の内容が合っているか否かを迅速に認識しつつ、当該英語の学習を進めることができる。

【0161】

また、第２実施形態に係るトランスレーションステップによれば、第１実施形態に係る言語学習処理の作用効果に加えて、録音されたユーザの音声の内容を認識し、その認識結果と、和訳文ＳＴ４１Ｊを英訳した英語音声の内容と、を比較し、両者が同じか否かを判定して表示するので（図１６ステップＳ４１１参照）、ユーザが発声した当該音声の内容が合っているか否かを迅速に認識しつつ、当該英語の学習を進めることができる。

【0162】

なお、上述した第２実施形態に係る言語学習処理のステップＳ３２０、ステップＳ３２１及びステップＳ４１１においては、例えばステップＳ３０３で集音／録音されたユーザの英語音声の認識結果と、ステップＳ３０５で出力される英文ＳＴ３１１の英語音読音声の内容と、が「同じか否か」を画一的に判定したが、これ以外に、両者の一致度を例えばパーセントで算出し、それを例えばディスプレイ４上に表示するように構成してもよい。

【0163】

更に、上述した各実施形態では、リスニングステップ等の各ステップにおいて同一の文法関係を用いたが、これ以外に、一又は複数のステップごとに文法関係の一部又は全部を異ならせてもよい。

【0164】

更にまた、上述した各実施形態は、英語学習処理に対して本発明を適用した場合について説明したが、本発明はこれに限らず、日本語以外の種々の言語を効率的に学習する場合に適用することができる。

【0165】

また、図３、図４、図７、図９、図１１、図１５及び図１６に示すフローチャートに相当するプログラムを光ディスク又はハードディスク等の記録媒体に記録しておき、或いは上記ネットワークＮＷを介して取得して不揮発性に記録しておき、これを汎用のマイクロコンピュータ等で読み出して実行することにより、当該マイクロコンピュータ等を各実施形態に係る処理部１として機能させることも可能ある。

【産業上の利用可能性】

【0166】

以上夫々説明したように、本発明は言語学習の分野に利用することが可能であり、特に、コンピュータシステムを用いた言語学習の分野に適用すれば特に顕著な効果が得られる。

【符号の説明】

【0167】

１、２１ 処理部
２、２０ 通信部
３ 操作部
４ ディスプレイ
５ 記録部
６ メモリ
７ スピーカ
８ マイク
１０ リスニングステップ処理部
１１ リピートステップ処理部
１２ レコードステップ処理部
１３ トランスレーションステップ処理部
Ｓ 言語学習システム
Ｔ１、Ｔ２、Ｔ３、Ｔｎ 端末装置
ＳＶ サーバ装置
ＮＷ ネットワーク
２２ データベース
ＱＤ シーンデータ、
ＨＤ 学習履歴データ
ＧＤ 画像データ
ＭＫ マーカ
Ｃｍ 解説
ＱＵ 英訳問題文
ＭＰ 地図
ＩＴ アイテム
ＩＴＤ アイテムデータ
ＧＳ１１、ＧＳ１２、ＧＳ１３、ＧＳ１４、ＧＳ２１、ＧＳ２１ｗ、ＧＳ２２、ＧＳ２２ｗ、ＧＳ３１、ＧＳ３１ｄ、ＧＳ３２、ＧＳ３２ｄ、ＧＳ４１、ＧＳ４２、ＧＳ４３、ＧＳ４４ 画像
ＳＴ１１１、ＳＴ１１２、ＳＴ１２１、ＳＴ１２２、ＳＴ１３１、ＳＴ１３２，ＳＴ１４１、ＳＴ１４２、ＳＴ２１１、ＳＴ２１２、ＳＴ２２１、ＳＴ２２２、ＳＴ３１１、ＳＴ３１２、ＳＴ３２１、ＳＴ３２２、ＳＴ４１、ＳＴ４２、ＳＴ４３、ＳＴ４４ 英文
ＳＴ４１Ｊ、ＳＴ４２Ｊ、ＳＴ４３Ｊ、ＳＴ４４Ｊ 和訳文

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】