特許 7587670 音情報の学習支援装置、音情報の学習支援方法、音情報の学習支援プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-12

(45)【発行日】2024-11-20

(54)【発明の名称】音情報の学習支援装置、音情報の学習支援方法、音情報の学習支援プログラム及び記録媒体

(51)【国際特許分類】

   G09B 15/00 20060101AFI20241113BHJP

   G10K 15/04 20060101ALI20241113BHJP

   G10H 1/00 20060101ALN20241113BHJP

【ＦＩ】

G09B15/00 Z

G09B15/00 A

G10K15/04 302F

G10H1/00 Z

【請求項の数】 9

(21)【出願番号】P 2023222781

(22)【出願日】2023-12-28

【審査請求日】2023-12-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】524004124

【氏名又は名称】中内 悠介

(74)【代理人】

【識別番号】100180426

【弁理士】

【氏名又は名称】剱物 英貴

(72)【発明者】

【氏名】中内 悠介

【審査官】松谷 洋平

(56)【参考文献】

【文献】特開２０１９－０５３１７０（ＪＰ，Ａ）

【文献】特表２０１１－５２３８１０（ＪＰ，Ａ）

【文献】特開２００３－３０７９９７（ＪＰ，Ａ）

【文献】特開平０８－０１６０８９（ＪＰ，Ａ）

【文献】特開２０１６－０３１３９５（ＪＰ，Ａ）

【文献】特開２０００－１６３０５４（ＪＰ，Ａ）

【文献】特開平１１－１５０７８３（ＪＰ，Ａ）

【文献】特許第３６１５３７８（ＪＰ，Ｂ２）

【文献】特開２０１０－０６０６３０（ＪＰ，Ａ）

【文献】特開平１１－２１２４３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １５／００

Ｇ１０Ｋ １５／０４

Ｇ１０Ｈ １／００

(57)【特許請求の範囲】

【請求項1】

練習の対象となる複数の音情報を保存する音情報記録手段と、
前記音情報記録手段により保存される１又は複数の音情報を選択する音情報選択手段と、
前記音情報選択手段により選択された音情報を出力する音出力手段と、
前記音出力手段により出力される音情報の消音を含む音量を調節する音量調節手段と、
前記音出力手段により出力される音情報をそれぞれ記録し保存する出力音情報記録手段と、
前記音出力手段により出力される音情報に対応し発せされる音声情報を記録し保存する音声情報記録手段と、
前記出力音情報記録手段に保存された任意の音情報と、音声情報記録手段に保存された音声情報を合成する合成手段と、
前記合成手段で合成した合成情報を記録し保存する合成情報記録手段と、
前記音情報に対応し発される前記音声情報記録手段に記録し保存された前記音声情報を、前記音情報記録手段に保存された前記音情報を判定基準とし、１又は複数の判定項目に定めた所定の閾値に基づき判定する判定手段と、
前記判定手段による判定結果を記録し保存する判定結果記録手段と、
前記判定結果記録手段に保存された判定結果を前記音出力手段により出力される音情報又は前記音声情報に紐付かせ、前記音情報の出力時、若しくは前記音声情報又は前記合成情報の再生時に、前記音情報、前記音声情報または前記合成情報のいずれかの情報において、同一の前記判定結果が連続する箇所で前記判定結果が表示部に認識可能に表示されるための処理を実行する紐付手段と
を備えることを特徴とする音情報の学習支援装置。

【請求項2】

前記紐付手段は、前記判定基準からのずれに応じた複数の判定結果が表示部に認識可能に表示されるための処理を実行する、請求項１に記載の音情報の学習支援装置。

【請求項3】

前記判定手段で設定される判定基準を任意に設定可能とし、
前記紐付手段は、前記判定結果が任意の判定基準と一致しない場合、該当箇所にコメントの入力を促すための処理を実行する、請求項１に記載の音情報の学習支援装置。

【請求項4】

前記コメントは、前記判定手段では判定できない情報を含む、請求項３に記載の音情報の学習支援装置。

【請求項5】

前記音情報が、楽曲全体における伴奏、パート毎の伴奏、コーラス、リード、テノール、ソプラノ、アルト、バスを含むパート毎の歌唱から選ばれる１又は複数の音情報であり、前記音声情報が練習生の発する歌唱である、請求項１～４のいずれか１項に記載の音情報の学習支援装置。

【請求項6】

前記音情報が文章の読み上げであり、前記音声情報が練習生の発する音声である、請求項１に記載の音情報の学習支援装置。

【請求項7】

音情報記録手段（２１）に保存されている練習の対象となる複数の音情報から音情報選択手段（３）により１又は複数の音情報を選択するステップ（ステップ１）と、
前記選択した音情報に対し、音量調節手段（５）により音出力手段（４）から出力される音量を調節し設定するステップ（ステップ２）と、
前記選択した音情報を、音出力手段（４）により出力するステップ（ステップ３）と、
前記選択した音情報の出力情報を出力音情報記録手段（２２）に記録し保存するステップ（ステップ４）と、
前記選択した音情報に対応し発される音声情報を音声情報記録手段（２３）に記録し保存するステップ（ステップ５）と、
前記出力音情報記録手段（２２）に保存された任意の音情報と、音声情報記録手段（２３）に保存された音声情報を合成手段（７）により合成するステップ（ステップ６）と、
前記合成手段により合成した合成情報を合成情報記録手段（２４）に記録し保存するステップ（ステップ７）と、
前記音情報に対応し発される前記音声情報記録手段（２３）に記録し保存された前記音声情報を、前記音情報記録手段（２１）に保存された前記音情報を判定基準とし、１又は複数の判定項目に定めた所定の閾値に基づき判定するステップ（ステップ８）と、
前記判定結果を記録し保存するステップ（ステップ９）と、
前記判定結果を前記音出力手段（４）により出力される音情報又は前記音声情報に紐付かせ、前記音情報の出力時、若しくは前記音声情報又は前記合成情報の再生時に、前記音情報、前記音声情報または前記合成情報のいずれかの情報において、同一の前記判定結果が連続する箇所で前記判定結果が表示部に認識可能に表示されるための処理を実行するステップ（ステップ１０）と
を備えることを特徴とする音情報の学習支援方法。

【請求項8】

楽曲や文章の読み上げ、単語の発音を含む音情報の学習支援プログラムであって、
１又は複数の音情報を選択する音情報選択手段と
前記音情報選択手段により選択された音情報を出力する音出力手段と、
前記音出力手段により出力される音情報の消音を含む音量調節手段と、
前記音出力手段により出力される音情報をそれぞれ記録し保存する出力音情報記録手段と、
前記音出力手段により出力される音情報に対応し発される音声情報を記録し保存する音声情報記録手段と、
前記出力音情報記録手段に保存された任意の音情報と、音声情報記録手段に保存された音声情報を合成する合成手段と、
前記合成手段で合成した合成情報を記録し保存する合成情報記録手段と
により、
練習に必要な音情報を選択し、音量を調節し出力され、出力音情報記録手段により保存される音情報と、前記音情報に対応し発され音声情報記録手段により保存される音声情報を、合成手段により合成し記録し保存する合成情報記録手段を機能させ、
前記音情報に対応し発される前記音声情報記録手段に記録し保存された前記音声情報を、前記音情報記録手段に保存された前記音情報を判定基準とし、１又は複数の判定項目に定めた所定の閾値に基づき判定する判定手段と、
前記判定手段による判定結果を記録し保存する判定結果記録手段を機能させ、
前記判定結果記録手段に保存された判定結果を前記音出力手段により出力される音情報又は前記音声情報に紐付かせ、前記音情報の出力時、若しくは前記音声情報又は前記合成情報の再生時に、前記音情報、前記音声情報または前記合成情報のいずれかの情報において、同一の前記判定結果が連続する箇所で前記判定結果が表示部に認識可能に表示されるための処理を実行する紐付手段を機能させることを特徴とする音情報の学習支援プログラム。

【請求項9】

請求項８に記載の音情報の学習支援プログラムを記録したことを特徴とする音情報の学習支援プログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音楽の合唱や器楽の練習や語学の発音の練習等の教育現場における音情報の学習を支援するための音情報の学習支援装置、音情報の学習支援方法、音情報の学習支援プログラム及び記録媒体に関する。

【背景技術】

【0002】

教育現場において、例えば、音楽の合唱の練習や語学の発音の練習は、通常、一人の指導者が多数の練習生に対して一斉に発声させながら指導する。また、複数のパート分けをして合唱曲を練習する場合は、パート練習用ＣＤの音を聞かせ、練習生に指定のパートの音とりをさせて練習させる。外国語の単語の発音や文章の読み上げは、指導者の発声の後、練習生がそれを真似て発声させて、発音を練習させる。

【0003】

このような指導や練習は、指導者が主導となって発声させるものである。練習者にとっては受け身の指導であり、特に発声や音程、発音の正確性を気にとめることもない。仮に発声や発音に興味をもっても、教育現場で個別に指導を受けることは難しい。上手く発声、発音できているのかの判断はできず、正確な発声や音程、発音を身につける機会は乏しい。

【0004】

また、指導者は、練習生に正確な発声や音程、発音、そして、それらを習得することによる学びの楽しさや価値に気づかせたい。しかし、一人一人の練習に寄り添って指導をするには、時間的にも体力的にも容易ではない。

【0005】

このような問題を解決する手段として、例えば特許文献１を挙げることができる。特許文献１には、合唱の練習に適した演奏を再生可能な音声再生装置に関する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】実用新案登録第３１６３１８４号公報

【発明の開示】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の音声再生装置は、複数の音声データが記録されたＤＶＤと、該ＤＶＤに記録された前記複数の音声データを再生する再生部と、該再生部から出力される複数の音声出力部とを有し、前記ＤＶＤに記録された複数の音声データに対応する複数の音声を前記複数の音声出力部から同時に出力し、複数の音声を同時に聴取できる構成である。このように特許文献１に記載の音声再生装置では、複数の音声が合唱の各パートの音声および合唱のステレオ音声を含んでいる。このため、特許文献１に記載の音声再生装置は、合唱の各パートの音声をそれぞれ別のスピーカから同時に出力させ、それぞれのパート練習を同時にすることができる装置となっている。

【0008】

したがって、特許文献１に記載の音声再生装置を利用すれば、合唱の練習にあたり、練習生は指導者の一斉指導の他に、任意のパートごとに分かれて、そのパートの正確な音声を再生しながら練習することができる。

【0009】

しかし、このような装置では、単に該当のパートを聞きながら、そのパートを練習するだけある。そして、実際に上手く歌えているのか、どうして上手く歌えないのか等、練習生が自身の状況を客観視して課題を的確に把握することは難しい。これにともない、教育現場で求められる、一人ひとりの理解状況や能力・適正に合わせた学び（＝個別最適な学び）を実現させることはできない。

【0010】

また、合唱の教材は、一つの楽曲を、人それぞれ異なる声の異なるパートを一つに合わせ、一人では実現できないハーモニーを生み出すことによる一体感や達成感を感覚的に学び、協働性、集中力等を養う魅力ある教材である。単に担当パートを一人で繰り返す単調な練習では、その価値に気づくことなく飽きてしまう。

【0011】

本発明の課題は、音楽の合唱の練習や語学の発音の練習等の教育現場における音情報の学習を支援するための音情報の学習支援装置、音情報の学習支援方法、音情報の学習支援プログラム及び記録媒体を提供することである。

【課題を解決するための手段】

【0012】

本発明者らは、上記課題を鑑み、以下の内容を実現できる手段に思い至った。まずは、練習生が練習したいことを、自ら最も練習しやすい設定にして繰り返し練習することができるように、客観的に習得状況を把握できた方がよい。また、達成感や一体感を感じられる学習支援装置があれば、指導者も練習生の学習状況や学習結果を把握しやすく、かつ練習生が指導者の指導を的確に受けられることを実感することができる。加えて、集中力を切らさずに学習することを支援することもできた方がよい。

【0013】

上記の課題を解決した本発明に係る音情報の学習支援装置、音情報の学習支援方法、音情報の学習支援プログラム及び記録媒体の代表的な構成は、以下の通りである。なお、ここでは、本発明の理解を容易にするために、後述する実施例の図面に用いられる参照符号を付してあるが、本発明はこの参照符号で示される構成に限定されるものではない。

【0014】

（１）練習の対象となる複数の音情報を保存する音情報記録手段と
音情報記録手段に保存される１又は複数の音情報を選択する音情報選択手段と
音情報選択手段により選択された音情報を出力する音出力手段と、
音出力手段により出力される音情報の消音を含む音量を調節する音量調節手段と、
音出力手段により出力される音情報をそれぞれ記録し保存する出力音情報記録手段と、
音出力手段により出力される音情報に対応し発せされる音声情報を記録し保存する音声情報記録手段と、
出力音情報記録手段に保存された任意の音情報と、音声情報記録手段に保存された音声情報を合成する合成手段と、
合成手段で合成した合成情報を記録し保存する合成情報記録手段と
を備えることを特徴とする音情報の学習支援装置。

【0015】

（２）音情報に対応し発される音声情報記録手段に記録し保存された音声情報を、音情報記録手段に保存された音情報を判定基準とし、１又は複数の判定項目に定めた所定の閾値に基づき判定する判定手段と、
判定手段による判定結果を記録し保存する判定結果記録手段と
を備える、上記（１）に記載の音情報の学習支援装置。

【0016】

（３）判定結果記録手段に保存された判定結果を音出力手段により出力される音情報又は音声情報に紐付かせ、音情報の出力時、音声情報又は合成情報の再生時に、判定結果を表示部に表示するための処理を実行する紐付手段
を備える、上記（２）に記載の音情報の学習支援装置。

【0017】

（４）音情報が、楽曲全体における伴奏、パート毎の伴奏、コーラス、リード、テノール、ソプラノ、アルト、バス等のパート毎の歌唱から選ばれる１又は複数の音情報であり、音声情報が練習生の発する歌唱である、上記（１）～上記（３）のいずれか１項に記載の音情報の学習支援装置。

【0018】

（５）音情報が文章の読み上げであり、音声情報が練習生の発する音声である、上記（１）記載の音情報の学習支援装置。

【0019】

（６）音情報記録手段（２１）に保存されている練習の対象となる複数の音情報から音情報選択手段（３）により１又は複数の音情報を選択するステップ（ステップ１）と、
選択した音情報に対し、音量調節手段（５）により音出力手段（４）から出力される音量を調節し設定するステップ（ステップ２）と、
選択した音情報を、音出力手段（４）により出力するステップ（ステップ３）と、
選択した音情報の出力情報を出力音情報記録手段（２２）に記録し保存するステップ（ステップ４）と、
選択した音情報に対応し発される音声情報を音声情報記録手段（２３）に記録し保存するステップ（ステップ５）と、
出力音情報記録手段（２２）に保存された任意の音情報と、音声情報記録手段（２３）に保存された音声情報を合成手段（７）により合成するステップ（ステップ６）と、
合成手段により合成した合成情報を合成情報記録手段（２４）に記録し保存するステップ（ステップ７）と
を備えることを特徴とする音情報の学習支援方法。

【0020】

（７）楽曲や文章の読み上げ、単語の発音などの音情報の学習支援プログラムであって、
１又は複数の音情報を選択する音情報選択手段と
音情報選択手段により選択された音情報を出力する音出力手段と、
音出力手段により出力される音情報の消音を含む音量調節手段と、
音出力手段により出力される音情報をそれぞれ記録し保存する出力音情報記録手段と、
音出力手段により出力される音情報に対応し発される音声情報を記録し保存する音声情報記録手段と、
出力音情報記録手段に保存された任意の音情報と、音声情報記録手段に保存された音声情報を合成する合成手段と、
合成手段で合成した合成情報を記録し保存する合成情報記録手段と
により、
練習に必要な音情報を選択し、音量を調節し出力され、出力音情報記録手段により保存される音情報と、音情報に対応し発され音声情報記録手段により保存される音声情報を、合成手段により合成し記録し保存する合成情報記録手段を機能させることを特徴とする音情報の学習支援プログラム。

【0021】

（８）出力音情報記録手段に保存された音情報に対応し発される音声情報記録手段に記録された音声情報を、
音情報を判定基準とし、１又は複数の判定項目に定めた所定の閾値に基づき記録情報判定手段により判定し、判定の結果を記録し保存する判定結果記録手段を機能させる、上記（７）に記載の音情報の学習支援プログラム。

【0022】

（９）記録情報判定手段による判定の結果を、音出力手段により出力される音情報又は音声情報に紐付かせ、音情報の出力時又は音声情報の再生時に、判定結果を表示部に表示するための処理を実行する紐付手段を機能させる、上記（７）に記載の音情報の学習支援プログラム。

【0023】

（１０）上記（７）～上記（９）のいずれか一項に記載のプログラムを記録したことを特徴とする音情報の学習支援プログラムを記録した記録媒体。

【発明の効果】

【0024】

本発明にかかる音情報の学習支援装置、音情報の学習支援方法、音情報の学習支援プログラム及び記録媒体によれば、複数の音情報から練習の対象に使用する音情報を選択し、音情報に対応し発される音声情報を記録保存し、音情報と音声情報を合成手段で合成する。このため、練習生が練習したいことを、自ら最も練習しやすい設定にし、練習内容を記録保存できる。また、任意の音情報と組み合わせた合成記録も作成できる。さらに、同環境で繰り返し練習ができるので、客観的に習得状況を把握でき、加えて、達成感や一体感を感じられる学習支援をすることができる。
さらに、音情報ごとに音量の調節ができ、出力した音情報ごとに記録保存されるので、組み合わせも練習内容によって任意に変更できるので、継続的な学習がしやすい。
また、指導者は、練習生の学習状況や学習結果を把握しやすく、かつ練習生が指導者の指導を的確に、あたかも個人授業に近い指導を受けられるので、集中力を切らさずに学習でき、学習目標の達成のために繰り返し練習することができる。

【図面の簡単な説明】

【0025】

【図1】図１は、本発明にかかる学習支援装置の実施例における機能的構成を説明するブロック図である。

【図2】図２は、本発明にかかる学習支援装置の実施例における音情報記録手段の階層構造の例を示す説明図である。

【図3】図３は、本発明にかかる学習支援装置の実施例における音情報記録手段の階層構造の例を示す説明図である。

【図4】図４は、本発明にかかる学習支援装置の実施例における判定の例の説明図である。

【図5】図５は、本発明にかかる学習支援方法の実施例を示すフローチャートである。

【図6】図６は、本発明にかかる学習支援装置の実施例における判定処理を説明するフローチャートである。

【図7】図７は、本発明にかかる学習支援装置の実施例における紐付処理を説明するフローチャートである。

【図8】図８は、本発明にかかる学習支援装置の一実施例で、学習用端末に表示される例を示した説明図である。

【図9】図９は、本発明にかかる学習支援装置のその他の実施例で、学習用端末に表示される例を示した説明図である。

【発明を実施するための形態】

【0026】

本発明にかかる学習支援装置を実施するための形態を、実施例の図に基づいて説明する。なお、以下の発明の実施形態については、形状、数値的条件などは、単なる好適例にすぎない。従って、この発明は以下の実施形態に限定されるものではなく、この発明の構成の範囲を逸脱せずにこの発明の効果を達成できる多くの変更を行うことができる。

【0027】

〔機能的構成〕
図１は本発明にかかる学習支援装置１の実施例における機能的構成を説明するブロック図である。学習支援装置１は情報記録部２を備える。情報記録部２は、音情報記録手段２１、出力音情報記録手段２２、音声情報記録手段２３、合成情報記録手段２４、判定結果記録手段２５を備える。また、学習支援装置１は、音情報選択手段３、音出力手段４、スピーカ４１、音量調節手段５、音声入力手段６、マイク６１、合成手段７、判定手段８、紐付手段９、制御部１０、操作部１１、表示部１２を備える。

【0028】

学習支援装置１は、図１に示すように、少なくとも音情報記録手段２１、出力音情報記録手段２２、音声情報記録手段２３、合成情報記録手段２４、を備える情報記録部２と、音情報選択手段３、音出力手段４、音量調節手段５、音声入力手段６、合成手段７、操作部１１、表示部１２及び制御部１０で構成され、各手段は制御部１０により制御され学習支援装置１が実行される。学習支援装置１は、好ましくは、判定手段８、および紐付手段９を備え、情報記録部２は判定結果記録手段２５を備える。

【0029】

図１に示す構成は一実施例であり、情報記録部２は、学習支援装置１が実行される機器や携帯型端末等の学習用機器内に格納されるものであっても、ネットワーク上のクラウドサーバ装置内に格納されるものであってもよい。情報記録部２は、ＯＳやアプリケーションプログラム等を格納するＲＯＭや作業領域となるＲＡＭ、各種情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などにより構成される。本実施例では、学習支援装置１が実行されるタブレット型端末内に格納され、制御部１０により実行処理が行われる。

【0030】

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサを含み、学習支援装置１を実行するプログラムを制御する。

【0031】

前述の学習用機器は、特に限定されるものではなく、練習生が操作する電子端末、例えばスマートフォンやタブレット端末、コンピュータ装置などである。また、学習用機器は、情報記録部２と制御部１０の他、スピーカ４１、イヤフォン端子等の音出力手段４、消音を含む音量の調節をする音量調節手段５、練習生が音声を入力するための音声入力手段６、出力音情報や音声情報を録音・録画するための録音手段・録画手段１３の他、操作部１１と表示部１２を備える。

【0032】

操作部１１は、表示部１２とタッチパネルが一体となったタッチスクリーンであってもよい。また、キーボードからの入力、ペンによる入力であってもよい。音声によるものであってもよい。

【0033】

本発明にかかる学習支援装置１において、
音情報記録手段２１は、練習の対象となる複数の音情報を保存する手段であり、
音情報選択手段３は、音情報記録手段２１に保存される１又は複数の音情報を選択する手段である。
そして、音出力手段４は、音情報選択手段３により選択された音情報を出力する手段であり、
音量調節手段５は、音出力手段４により出力される音情報の消音を含む音量を調節する手段である。
また、出力音情報記録手段２２は、音出力手段４により出力される音情報をそれぞれ記録し保存する手段であり、
音声情報記録手段２３は、音出力手段４により出力される音情報に対応し発される音声情報を記録し保存する手段である。
そして、合成手段７は、出力音情報記録手段２２に保存された任意の音情報と、音声情報記録手段２３に保存された音声情報を合成する手段であり、
合成情報記録手段２４は、合成手段７で合成した合成情報を記録し保存する手段である。
以下に各手段について詳細に説明する。

【0034】

〔音情報〕
本発明において音情報とは、学習する対象が音である場合に、練習生が発する音声以外の音に関するすべての情報を含む。
したがって、合唱曲の歌唱を学習する場合には、その合唱曲の全体の伴奏の他、パート毎の伴奏も独立した音情報であり、その合唱曲を構成するパート毎の模範となる歌唱する声も、パート毎の独立した音情報である。また、これら音情報に付随する情報、例えば各パートの模範となる歌唱を撮影した動画データや表情や口の動かし方、身振り手振りを撮影した動画データ、楽曲全体の楽譜、パート毎の楽譜、独自の音程、リズムを取るための表示等も音情報とし、これらの音情報のデータが音情報記録手段２１に保存される。

【0035】

上記は合唱の学習の場合であるが、本発明にかかる学習支援装置１は、これに限定されることなく、様々な学習の支援を可能とする。音楽の場合、合唱だけでなく器楽の学習の支援もできる。また、例えば外国語の学習をする場合には、その練習するための文章の読み上げの音声、単語ごとの発音、文節ごとの発音等、これらが音情報であり、これに付随するテキスト情報や発音記号情報、発音の際の口の動きの動画情報等も音情報とし、これらの音情報のデータが音情報記録手段２１にそれぞれ選択可能に保存される。

【0036】

〔音情報記録手段〕
音情報記録手段２１は、練習の対象となる音情報を、あらかじめデータ化して保存する手段であり、練習生は練習したい任意の音情報を音情報記録手段２１から選択して練習できる構成となっている。また、音情報記録手段２１に保存される音情報データは、それに対応して発される音声情報、すなわち練習生の発する音声情報のデータと合成して保存される合成記録にも使用される。

【0037】

図２及び図３は、本発明にかかる学習支援装置１の実施例における音情報記録手段２１の階層構造の例を示す説明図である。図２及び図３の実施例は合唱の学習の場合の一例であり、理解を助けるために階層構造で表すが、音情報の記録構造は図に示す階層構造に限定されるものではなく、練習生が任意に各種音情報を選択できる構造であればよい。

【0038】

音情報記録手段２１には、練習する対象となる練習曲が複数保存される。そして、練習曲ごとに、伴奏、歌唱（音）、楽譜、歌唱、演奏動画等の音情報のデータが読み出し再生可能に保存される。

【0039】

伴奏、歌唱（音）、楽譜、歌唱、演奏動画の音情報は、それぞれ練習曲全体の音情報と、パートごとの音情報が格納され、例えば、伴奏の練習曲全体の音情報としては、標準的な演奏による標準音情報、オーケストラによる演奏のバージョンの音情報、デジタル演奏による音情報というように、いくつかの演奏のバージョンを設けることもできる。

【0040】

また、パートごとの音情報は、パート１としてソプラノの練習に使用するための伴奏の音情報、パート２としてアルトの練習に使用するための伴奏の音情報、パート３としてテノールの練習に使用するための伴奏の音情報、パート４としてバスの練習に使用するための伴奏の音情報というようにパート分けしてそれぞれ保存する。

【0041】

パートごとの伴奏も、標準的な演奏の他、ピアノによる伴奏、オーケストラによる伴奏、デジタル音による伴奏というように複数のバージョンを設けてもよい。このように複数の伴奏バージョンを設けることで、練習者が自分の習得度に合わせて、ピアノ伴奏で練習したり、オーケストラ伴奏で練習したりと、楽しみながら自発的に練習を続けることを奨励するものになる。

【0042】

同様に、歌唱についても、全体の音情報とパート別の音情報を音情報記録手段２１に保存する。歌唱の音情報は、自らその歌唱を参考にして聴きながら練習してもよい。また、自分の練習するパートの音情報は消音し、他のパートの音と自分の音声を合わせ全体のバランスを確認しながら練習してもよい。このように、本発明では、練習生が練習したいスタイルを音情報から任意に選べる構成となっている。

【0043】

例えば、歌唱の全体の音情報には、標準的な模範となる歌唱（範唱）の音情報の他、男女混声合唱のバージョン、男声のみの合唱のバージョン、女声のみの合唱のバージョン等に分けて音情報を作成し保存しておいてもよい。そして、パートごとの歌唱の音情報として、パート１にソプラノの練習に使用するための歌唱の音情報、パート２にアルトの練習に使用するための歌唱の音情報、パート３にテノールの練習に使用するための歌唱の音情報、パート４にバスの練習に使用するための歌唱の音情報というように、パート分けされたそれぞれの音情報が保存する。

【0044】

さらに各パートには、標準的な歌唱の音情報の他、模範となる歌唱（範唱）を指導者によるもの、男声プロの音楽家によるもの、女声プロの音楽家によるもの等、複数保存しておくことも可能である。このようなバリエーションを設けることで、練習生は、自分が歌った音声情報を、本格的なオーケストラの伴奏によるものと、プロの音楽家の歌唱とを合成することもでき、本格的な合唱を味わうことができる。これにともない、より上手くなりたいという向上心を育てるとともに、自分の歌声を含む臨場感あふれる合成記録により達成感を味わうこともできる。

【0045】

教育現場において、児童、生徒、学生等（以下、「練習生」という。）が声を出して学習する教材には、その学習する元となる音情報がある。これまで指導者が提供していた音情報をデータとして音情報記録手段２１に保存すれば、本発明にかかる学習支援装置１はあらゆる学習に利用可能であり、優れた効果を発揮するものとなっている。なお、上記音情報の種類やバリエーションは実施例であり、音情報記録手段２１には、学習に必要となる任意の音情報のデータが保存できる。

【0046】

〔音声情報〕
本発明において音声情報とは、学習する練習生が練習のために発した音声である。これは歌であっても、外国語の発音であってもよい。音声を発することにより学習する必要がある場合に、学習のために発したその音声を音声情報としている。また、本発明においては、学習対象によって、例えば吹奏楽の練習の場合、練習生が演奏する楽器が発する音も、音声情報に分類する。

【0047】

〔音声情報記録手段〕
音声情報記録手段２３は、音出力手段４により出力される音情報に対応し発される音声情報を記録し保存する手段である。音声情報は、音情報記録手段２１に保存される音情報の中から任意に選択された音情報に対応して発された情報である。

【0048】

音声情報は、録音手段や録画手段により記録され、音声情報記録手段２３に保存される。録音や録画のＯＮ・ＯＦＦのタイミングは選択可能であり、また一部分のみの録音や録画を選択することもできる。音声情報記録手段２３により記録・保存される音声情報の録音データや録画データは、後述する合成情報の作成や、判定処理や紐付処理の対象となる。

【0049】

また、この他の例としては、例えば指導者が音声情報記録手段２３に保存された録音データや録画データを視聴し、練習生の学習状況を確認したり、あるいは発声時の口の開き方や唇の動き等を確認する。これにより、練習生ごとに指導することが可能となる。したがって、一般的な練習生だけでなく、長期欠席している学生や通信制の学生なども、授業に参加しているのと同様な指導を受けることが可能となっている。

【0050】

〔音情報選択手段〕
音情報選択手段３は、音情報記録手段２１に保存されている音情報の中から、練習に使用する音情報を選択するための手段である。本発明において音情報の出力は１つだけでなく複数選択可能に構成される。

【0051】

練習する際には、端末の表示部１２に表示される音情報のリストの中から、例えば、「練習曲１」を選択し、「全体伴奏」、「パート別歌唱」、「ソプラノ」と「バス」、「パート別楽譜」「アルト」、「歌唱動画」「ソプラノ」と「バス」というように選択できる。音情報選択手段３により選択されると、該当の音情報のデータが読み込まれ再生可能となる。

【0052】

音情報選択手段３は、階層構造のフォルダから選択する構成であっても、音情報とリンクしたアイコン画像をクリックすることにより選択する構成であってもよい。また音声により選択する構成であってもよく、練習生が選択しやすい構成であれば、音情報選択手段３の実行指示の構成は特に限定されない。

【0053】

〔音出力手段〕
音出力手段４は、音情報記録手段２１により保存された音情報の中から、音情報選択手段３により選択された音情報を出力するための手段である。図１では、スピーカ４１やイヤフォン出力等がこの手段に該当する。合唱の学習の場合には、音出力手段４により音情報が再生され、単語の発音の学習の場合には、該当単語を読む音声が出力される。

【0054】

〔音量調節手段〕
音量調節手段５は、音出力手段４により出力される音情報の音量を調節する手段であり、すなわちボリュームコントロール手段である。本発明において、音量調節手段５による音量の調節は、音情報記録手段２１に保存される音情報に対し、それぞれ個別に設定できる。

【0055】

したがって、音情報選択手段３により選択された音情報が複数ある場合、それぞれ音量調節設定が可能である。そして、音情報ごとに出力中（再生中）に音量を調節することもできる。

【0056】

また、音量調節手段５は、消音設定も可能とする。消音に設定すると、その音情報は出力されないので、例えば練習したいパートについて、最初は音情報を聴きながら練習し、途中から音を消して練習するというような使い方が可能となる。
なお、音情報として動画が表示されている場合には、音のボリュームの調節だけでなく、動画の表示を途中から開始したり、停止したりの制御も音量調節手段５により調節、設定できる。

【0057】

〔出力音情報記録手段〕
出力音情報記録手段２２は、音出力手段４により出力される音情報を記録し保存する手段である。音出力手段４により出力される音情報は、音情報記録手段２１に保存された音情報が出力されたものである。出力時には、音量調節手段５により消音を含む音量の調節が可能である。このため、音出力手段４により出力される音情報は、音情報記録手段２１に保存された音情報とは異なる。したがって、出力音情報記録手段２２は、これら設定を含めて出力された音情報を記録し保存する。

【0058】

また、音情報出力時には、当該音情報にかかる楽譜を表示したり、歌唱動画や歌詞を表示することなど、様々な制御を行うことができる。このような制御が行われた場合には、任意でこれらの制御の設定を含めて出力音情報記録手段２２に記録保存を可能とすることもできる。

【0059】

出力音情報記録手段２２に保存される出力音情報は、後述する合成情報の作成や、好ましい態様として後述する紐付処理の対象とすることもできる。さらに、出力音情報記録手段２２に記録された音情報を、次回の練習の時に呼び出して、反復練習に使用することもできる。

【0060】

なお、出力音情報記録手段２２による記録は、設定により実行される。したがって、合成用や反復練習に使用したい場合にのみ記録する、あるいは保存しておきたい箇所のみを録音・録画して出力音情報として記録保存することもできる。

【0061】

〔合成手段〕
合成手段７は、出力音情報記録手段２２に保存された任意の音情報や音情報記録手段２１に保存された音情報と、音声情報記録手段２３に保存された音声情報を合成する手段である。出力音情報記録手段２２には、出力した音情報が、それぞれ記録保存され、音情報記録手段２１も様々な音情報がそれぞれ記録保存されている。それらの中から、任意の出力音情報や音情報と、練習生が発した音声情報は合成手段７により合成される。

【0062】

音情報と音声情報の合成方法は、周知の音声合成方法を利用でき、音情報と音声情報のタイムコードに基づいて調整して合成する方法や、波形に基づいて同期して合成する方法でもよい。練習生が簡単に合成できるよう音情報と音声情報を音情報の出力時をスタートとし保存するようにすれば、同じ時間軸で同期させて一つに合成することができ好適である。

【0063】

合成手段７により、複数の音情報、出力音情報、音声情報を組み合わせることができ、歌唱のみの合成や、歌唱動画の合成など、任意の組み合わせの合成情報を作成する。例えば、プロの音楽家と合唱しているような合成情報を作成できる。

【0064】

なお、学習用端末に通信機能を備えた場合には、練習生同士が、互いの音声情報記録手段２３にアクセス可能に設定することで、他の練習生の音声情報と合成できる構成とすることもできる。この場合、例えば音楽の学習であれば、あたかも他の練習生と一緒に合唱しているかのごとき合成情報を得ることができる。この場合において、通信機能は、学習用端末間で情報を相互に送受信可能、あるいはサーバにアップロード可能な有線、無線、インターネット回線、イントラネット回線、ＬＡＮ等が挙げられ、特に限定はされない。

【0065】

〔合成情報記録手段〕
合成情報記録手段２４は、合成手段７で合成した合成情報を記録し保存する手段である。合成情報記録手段２４に記録された合成情報を確認することで、音声情報の問題点、要するに上手い箇所、上手くない箇所を客観視できる。このため、練習生は特に練習すべきところの発見が容易である。また指導者も、合成情報を確認して評価することもできる。

【0066】

〔判定手段及び判定結果記録手段〕
本発明における学習支援装置１は、好ましくは、判定手段８及び判定結果記録手段２５を備える。判定手段８とは、音情報に対応し発される音声情報記録手段２３に記録し保存された音声情報を、音情報記録手段２１又は出力音情報記録手段２２に保存された音情報を判定基準とし、１又は複数の判定項目に定めた所定の閾値に基づき判定する手段である。

【0067】

すなわち、模範とする音情報と、その音情報を使って練習した音声情報とで判定を行う手段である。例えば、あらかじめ判定する項目を定め、項目ごとに閾値を設定し判定を行ってもよい。

【0068】

図４は、本発明にかかる学習支援装置における判定の例の説明図である。図４において、音情報は、黒塗り部分が模範となる音程の発音である。音声情報は、黒塗り部分が模範と一致している音程である。薄墨塗り部分は、模範の音程とずれた音程を表している。

【0069】

そして、音情報の第１音から第１５音を判定基準とし、音声情報の第１音から第１５音までを判定手段８により判定している。その結果、第２音、第６音は判定基準より－２ずれ、第１０音は判定基準より+１ずれ、第１１音と第１４音は－１ずれていることになる。

【0070】

図４に示す例では、判定手段８は、判定基準と一致する場合をＡ判定、１のずれの場合をＢ判定、２のずれの場合をＣ判定としている。このため、判定結果は、第２音と第６音はＣ判定、第１０音、第１１音、第１４はＢ判定となる。

【0071】

判定結果記録手段２５は、判定結果を記録し保存する。判定手段８による判定は、その基準や判定項目等、適宜変更可能に設定される。

【0072】

〔紐付手段〕
判定結果記録手段２５に保存された判定結果は、音出力手段４により出力される音情報又は音声情報に紐付かせる。そして、紐付手段９は、音情報の出力時、音声情報又は合成情報の再生時に、判定結果を表示部１２に表示するための処理を実行するために紐付かせる。これは、判定結果の情報を、その後の学習に役立てるため、音情報、音声情報又は合成情報の該当箇所に反映させるためである。

【0073】

例えば、紐付手段９により紐付けされた箇所のうち、判定結果が閾値を超えた箇所には、表示部１２に所定のコメントが表示される構成とすることができる。判定結果が閾値を超えた箇所というのは、例えば歌唱であれば、その曲において閾値を超えて音程がずれた部分である。また判定結果により、音程が一致するＡ判定が続いた箇所の表示部１２にコメントを表示する構成とすることもできる。音程が一致するＡ判定が続いた箇所というのは、歌唱であれば、上手く歌えている部分ということである。

【0074】

図４に示す例では、第３音から第５音までＡ判定が続いているので、表示部に上手く歌えているという評価を合成情報に紐付かせ、合成情報の再生時にコメントとして表示する構成となっている。また、第１０音と第１１音はＢ判定が続いているので、この部分は音程がずれやすい箇所であるということを認識できるように、合成情報の再生時に表示部にコメントを表示する。

【0075】

このように、紐付手段９は、判定手段８により判定して判定結果記録手段２５に記録保存された判定結果を、音出力手段４で出力される音情報や、音声情報又は合成情報等に紐付かせる。これにより、これらの出力時又は再生時に判定結果を反映したコメントを提示することができる。したがって、練習生はあたかも個人的に指導を受けている感覚で練習を続けることができる。

【0076】

なお、紐付かせる対象が、模範となる音情報の場合には、次にその音情報を選択し再生出力した場合に、該当箇所にコメントを表示されることができる。コメントは特にテキストによる表示に限定されるものではなく、例えば注意を喚起するあらかじめ定めた警告用（注意喚起用）の音であったり、画面上に目印となるマークを表示するというようなものであってもよい。要するに、練習を重ねるべき箇所を認識でき、また上手に発声できている箇所を認識させることができる構成が採用される。

【0077】

なお、コメントは、あらかじめ判定手段８で定めた判定基準に基づき判定した結果に基づいて、汎用性の高いコメントが紐付手段９により自動的に表示されるよう設定することができる。また、この他に、指導者が任意に判定基準や評価基準を設定し、一定の判定結果が判定結果記録手段２５に記録された場合、該当箇所に指導者のコメントの入力を促すよう設定することもできる。

【0078】

また、この場合、コメントを表示させる箇所は任意の箇所を選択できる。その際に、判定手段８では判定できない情報、例えば音声情報記録手段２３に保存されている歌唱時に撮影された動画を参照し、練習に役立つアドバイスをコメントとして入力することもできる。なお、テキストでは指導が難しいようなアドバイスをする場合に、指導者が動画を作成し、コメント欄からどの動画を視聴できるように制御してもよい。このように学習支援装置１を利用することで、本来教育現場において指導者が練習生にしている指導と同様の支援が可能となっている。

【0079】

また、判定結果をその後の学習に役立てるためには、以下の例が挙げられる。Ｂ判定やＣ判定の箇所が他のパートの歌唱につられたことが原因と分析された場合、その結果を練習対象の音情報に紐付かせる。そして、次の練習の時に、そのＢ判定やＣ判定と判定された部分について、その歌唱がつられた他のパートの歌唱音量を一時的に下げたり、逆に上げたりして学習を支援するということも可能である。

【0080】

判定手段８では、音情報と音声情報を、あらかじめ定めた判定項目について判定をする。このことから、当該判定項目に、音程のずれの判定とともに、はずれた音程が他のパートの音といくつ一致しているか分析するという判定項目が設定されたとする。例えば、はずれた音程のうち６０％以上特定の他のパートの音と一致すると分析された場合には、音程がずれたＢ判定及びＣ判定の箇所は、他のパートの歌唱の影響を受けているためと判定する。

【0081】

そして、その判定結果に基づいて、音程がずれた箇所には、他のパートの歌唱に気をつける旨のコメントを表示するように紐付けることができる。これにともない、例えば再生時に、他のパートの歌唱音量を下げるという情報を紐付けることにより、より判定結果を有効に活用でき、さらに上手く歌えない箇所を集中的に練習しやすくすることができる。

【0082】

次に、本発明にかかる学習支援装置１を利用した学習支援方法を図に基づいて説明する。図５は、本発明にかかる学習支援方法の実施例を示すフローチャートである。

【0083】

まず、音情報記録手段２１に保存されている練習の対象となる複数の音情報から、音情報選択手段３により１又は複数の音情報を選択する（ステップ１）。

【0084】

その際、練習する内容によって、必要な音情報を選ぶ。音楽の学習でソプラノの歌唱の練習をする場合、選択する音情報としては、全体の伴奏あるいはソプラノ用の伴奏を選択する。他のパートにつられないようにソプラノだけを練習したい場合には、パートを選択せず伴奏だけとする。模範の歌唱（範唱）を聴きながら練習したい場合にはソプラノの歌唱の音情報を選択する。他のパートの歌唱とともに練習したい場合には、ソプラノ以外のパートの歌唱を選択する。

【0085】

また、音情報記録手段２１に保存されているその他の情報も選択する。例えば歌唱動画を見ながら練習したい場合、音情報記録手段２１に保存されている歌唱動画のソプラノを選択する（図３参照）。その他、歌唱部分の楽譜の表示を希望する場合には、音情報の中からソプラノ用楽譜を選択する。このような音情報の選択は、練習生が練習したい内容に合わせて選択でき、受動的ではなく能動的に練習環境を整える。

【0086】

次に、音情報が音情報選択手段３により選択されると音情報記録手段２１から音情報が読み込まれる。そして、読み込まれた音情報は、音量調節手段５により音出力手段４から出力される音量の調節がなされ、設定される（ステップ２）。なお、音情報は、出力中に任意に音量調節できるので、ここでの音量調節は初期設定となる。

【0087】

したがって、途中から他のパートの音情報と一緒に練習したい場合は、初期設定では消音にする。一緒に練習したい箇所にさしかかった場合は、手動で音量を上げる調節をする。また、音情報として歌唱動画を選択した場合、動画の視聴は希望するが、歌唱は必要ないという場合には、最初に消音の設定をする。音量の他、速度設定や楽譜表記の切り替え等を予定している場合には、併せて調整設定する。

【0088】

そして、選択した音情報を、音出力手段４により出力する（ステップ３）。音出力手段４としては、スピーカの他、イヤフォン等であってもよく、練習生が練習しやすい手段で出力される。

【0089】

選択した音情報の出力情報は、出力音情報記録手段２２に記録し保存される（ステップ４）。その際、音情報ごとに設定、変更した音量設定や速度調整の設定等も含めて保存してもよい。そうすることで、繰り返し練習する時に、最初に出力音情報記録手段２２に記録保存された出力音情報を選択すれば、何度も同じような音量設定をすることなくリピート練習が可能となる。

【0090】

出力音情報を出力音情報記録手段２２に記録保存すると同時に、選択した音情報に対応し発される音声情報を音声情報記録手段２３に記録し保存する（ステップ５）。これは、音情報を使用して練習する練習生が発する音声部分の記録保存である。音声情報記録手段２３には、歌唱のみの録音による記録の他、歌唱時の口の動きがわかるような歌唱時の動画による記録も可能であり、これらは練習生が任意に設定をすることができる。

【0091】

そして、出力音情報記録手段２２に保存された任意の音情報と、音声情報記録手段２３に保存された音声情報を合成手段７により合成する（ステップ６）。なお音声情報と合成する音情報は、出力音情報ではなく、音情報記録手段２１に保存されている模範の音情報であってもよい。例えば、音楽の学習の場合で、上手く歌えた場合、練習時には練習対象のパート伴奏だけであった音声情報に、他のパートの歌唱の音情報を合成すれば、全体合唱をしたのと同様の合成情報が作成される。

【0092】

なお、ステップ６の合成処理は、必須ではなく、音情報とは合成せずに音声情報のみをそのまま記録保存しておいてもよい。そうすると、練習時には、他のパート歌唱を音情報として練習した場合に、うまく他のパートとハモることができないと感じた時に、音声情報に記録された自分一人の歌唱を振り返りながら確認することができる。

【0093】

その後、合成手段７により合成した合成情報を合成情報記録手段２４に記録し保存する（ステップ７）。合成情報記録手段２４に保存された合成情報は、練習生だけでなく、指導者や他の練習生も視聴できる構成にすれば、指導者は練習生が学習の目標に対しどの程度達成したか、練習につまずきはないか等個別に確認ができる。そして、必要に応じて指導をすることができる。

【0094】

また、他の練習生が合成情報を視聴できる構成であれば、周りの練習生の学習の度合いを確認できる。このような確認を行うことができれば、そばで一緒に練習している時と同様に刺激をうけ、練習の励みにすることができる。

【0095】

本発明における学習支援装置１を使用した学習支援方法では、好ましくは、音声情報について判定し学習支援を助けることができる。本発明にかかる学習支援装置１の判定手段８による判定処理は、音情報に対応し発される音声情報記録手段２３に記録し保存された音声情報を、音情報記録手段２１に保存された音情報を判定基準とし、１又は複数の判定項目に定めた所定の閾値に基づき判定が行われる。

【0096】

図６は、本発明にかかる学習支援装置の実施例における判定処理を説明するフローチャートである。判定処理は、任意のタイミングで実行するため、必要に応じて判定手段８を起動する（ステップ２１）。判定手段８は、判定対象となる音声情報を音声情報記録手段２３から取得する（ステップ２２）。

【0097】

次に、判定の基準となる音情報の取得をする（ステップ２３）。判定の基準とする音情報は、初期の設定では、判定対象の音声情報の模範とする伴奏と楽譜が取得されるが、任意の音情報に変更して判定処理を行うこともできる。

【0098】

そして、判定処理にあたり、当該音声情報における判定項目を確認する（ステップ２４）。判定項目がある場合には（ステップ２４、ＹＥＳ）、その項目について音情報が基準とされると、音声情報が所定の閾値を超えているか算出する（ステップ２５）。

【0099】

閾値を超えている場合には（ステップ２５、ＹＥＳ）、判定結果として、例えば「Ａ」判定とし判定結果記録手段２５に記録する（ステップ２６）。閾値を超えていない場合には（ステップ２５、ＮＯ）、判定結果として「Ｂ」判定とし判定結果記録手段２５に記録する（ステップ２７）。一方、判定項目がない場合には（ステップ２４、ＮＯ）、ステップ２９に移行する。

【0100】

そして、その他に判定項目があるか確認し（ステップ２８）、ない場合には（ステップ２８、ＮＯ）、すべての判定結果を判定結果記録手段２５に記録保存（ステップ２９）したのちに終了する。その他に判定項目がある場合は（ステップ２８、ＹＥＳ）、ステップ２４に戻って、他の判定項目の判定を行い、同様に処理し、判定項目がなくなるまで繰り返す。

【0101】

本発明にかかる学習支援装置１の判定手段８による判定結果は、模範となる音情報と比較して、発した音が異なっている、ずれている等の課題点と、十分に上手く習得していること等が分析されるので、客観的な視点から習得状況を認識させることが可能である。

【0102】

しかし、判定処理がなされても、それを生かすことができなければ判定する効果は十分には発揮できない。そこで、本発明にかかる学習支援装置１は、判定結果記録手段２５に記録保存される判定結果を音声情報や合成情報と紐付け、より学習しやすい支援の方法を提供している。

【0103】

図７は、本発明にかかる学習支援装置の実施例における紐付処理を説明するフローチャートである。紐付処理を行うかどうかは任意のため、必要に応じて紐付手段９を起動する（ステップ３１）。

【0104】

紐付手段９は、判定手段８の判定により得た判定結果を判定結果記録手段２５から取得する（ステップ３２）。次に、判定結果と紐付ける情報を、音情報、音声情報及び合成情報から選択し読み込み取得する（ステップ３３）。

【0105】

そして、選択し取得した情報、例えば合成情報と、判定結果を紐付ける（ステップ３４）。紐付けは、判定手段に合わせるものとし、例えば模範の音情報と音声情報を一音ずつ一致するか否かにより判定した場合、紐付も一音ずつ処理される。

【0106】

紐付いた結果により、練習生に認知させるべきコメントを付与すべきか否かの要件に照らし（ステップ３５）、満たさない、すなわちコメントを付与すべき特別な事情がない場合（ステップ３５、満たさない）、紐付処理は終了する。

【0107】

コメントを付与すべき要件を満たす場合（ステップ３５、満たす）、付与すべきコメントを選択する（ステップ３６）。ステップ３６では、コメントを付与すべき要件ごとに、あらかじめコメントを用意しておけば、自動的にコメントが選択される。

【0108】

そして、選択されたコメントを、音情報、音声情報あるいは合成情報のいずれか、あるいはすべての該当箇所に紐付ける（ステップ３７）。紐付けられたコメントは、音情報、音声情報あるいは合成情報のいずれかが出力・再生された時、例えば、練習のために出力手段により出力された時や、復習のために合成情報や音声情報を再生した時に、その紐付いた箇所にコメントが表示されるように制御される（ステップ３８）。

【0109】

コメントは、表示部１２に楽譜が表示されている場合には、楽譜の表示に重なるように表示するものであってもよく、表示部に歌詞が表示されている場合には、当該歌詞の該当部分に重なるように表示するものであってもよく、また、コメントはテキストに限定されず、例えば判定Ｃが続き、音程に注意が必要な部分にあたる歌詞を特定の色使いで表示したり、文字の大きさを大きくして目立つようにして注意喚起を促すような目印となればコメントを表示するのと同様の効果を奏する。

【0110】

このように紐付処理がなされることで判定結果をいちいち確認することなく、次の練習の時には、その結果が反映され、それを利用して学習することができる。これにより上手く歌えない部分を意識しながら、繰り返し練習できるので、自然と学習目標に達成することが可能となる。

【0111】

〔プログラム〕
本発明にかかる音情報の学習支援プログラムは、楽曲や文章の読み上げ、単語の発音などの音情報の学習支援のためのプログラムであり、１又は複数の音情報を選択する音情報選択手段３と、
音情報選択手段３により選択された音情報を出力する音出力手段４と、
音出力手段４により出力される音情報の消音を含む音量調節手段５と、
音出力手段４により出力される音情報をそれぞれ記録し保存する出力音情報記録手段２２と、
音出力手段４により出力される音情報に対応し発される音声情報を記録し保存する音声情報記録手段２３と、
出力音情報記録手段２２に保存された任意の音情報と、音声情報記録手段２３に保存された音声情報を合成する合成手段７と、
合成手段７で合成した合成情報を記録し保存する合成情報記録手段２４と
により、
練習に必要な音情報を選択し、音量を調節し出力され、出力音情報記録手段２２により保存される音情報と、音情報に対応し発され音声情報記録手段２３により保存される音声情報を、合成手段７により合成し記録し保存する合成情報記録手段２４を機能させる。

【0112】

また、本発明にかかる音情報の学習支援プログラムは、出力音情報記録手段２２に保存された音情報に対応し発される音声情報記録手段２３に記録された音声情報を、音情報を判定基準とする。そして、１又は複数の判定項目に定めた所定の閾値に基づき判定手段８により判定し、判定の結果を記録し保存する判定結果記録手段２５を機能させる。

【0113】

さらに、学習支援プログラムは、判定手段８による判定の結果を、音出力手段４により出力される音情報又は音声情報に紐付かせ、音情報の出力時又は音声情報の再生時に、判定結果を表示部１２に表示するための処理を実行する紐付手段９を機能させる。

【0114】

学習支援プログラムの各手段については、学習支援装置１について説明したのと同様の機能を発揮し、本発明は、実施形態の機能を実現するためのプログラムを構成する。またプログラムを記録した記録媒体を、システムあるいは装置に格納し、プログラムを読み出し実行することによっても本発明の目的が達成される。

【0115】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。なお、プログラムを供給するための記録媒体としては、例えば、ハードディスク、光ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＲＯＭ等を用いることが出来る。

【0116】

図８は、本発明にかかる学習支援装置の一実施例で、学習用端末に表示される例を示した説明図である。図８において、学習支援装置１は、練習の対象となる複数の音情報を保存する音情報記録手段２１に保存される音情報を選択する音情報選択手段３を実行する音情報選択ボタン３１と、音情報選択手段３により選択された音情報を出力する音出力手段４を実行するスピーカ４１と、音出力手段４により出力される音情報の消音を含む音量を調節する音量調節手段５を実行するボリュームコントロール５１と、音出力手段４により出力される音情報をそれぞれ記録し保存する出力音情報記録手段２２を実行する録画ボタン１３ａ、録音ボタン１３ｂ、音出力手段４により出力される音情報に対応し発される音声情報を記録し保存する音声情報記録手段２３を実行する録画ボタン２３０ａ、録音ボタン２３０ｂと、音声入力手段６としてマイク６１の他、学習用端末の表示部１２、操作部１１を備えてなる。

【0117】

そして、出力音情報記録手段２２に保存された任意の音情報と、音声情報記録手段２３に保存された音声情報を合成する合成手段７を実行する合成ボタン７０と、判定手段８の処理を実行する判定ボタン８０及び紐付手段９の処理を実行する紐付ボタン９０を備えて構成される。

【0118】

図８に示す例では、音情報選択ボタン３１で、練習に利用する音情報が選択される。図面においては、音情報３０は、「テノールのプロ」の歌唱の音情報３０、「ソプラノのプロ」の歌唱の音情報、「バスのプロ」の歌唱の音情報が選択され、全体伴奏の音情報がＯＮとなっている。本実施例では、音情報の選択は、音情報選択ボタン３１により選択可能となっている。そして、選択した音情報を示す動画や表示が音情報選択ボタン３１に表示され、現在どの音情報を使っているのか一目瞭然になっている。
そして、練習するのはアルトのため、音情報選択ボタン３１の背景を暗くして練習生が練習する音情報がわかりやすくなっている。

【0119】

そして、表示部１２には、音情報の欄それぞれに、プロの歌唱の動画が表示され、歌唱の記録のための録画ボタン１３ａと録音ボタン４が設けられ、図面では動画の録音ボタン１３ａがＯＮとなっている。
他方、練習生が表示されている音情報選択ボタン３１には、練習生の音声情報を記録するため、録画ボタン２３０ａ、録音ボタン２３０ｂを備え、図面では動画の録画ボタン２３０ａがＯＮとなっている。
録画ボタン１３ａ、録画ボタン２３０ａ、録音ボタン１３ｂ、録音ボタン２３０ｂは、伴奏の演奏途中や歌唱の練習中にＯＮ又はＯＦＦすることができるので、急遽録画をしたい時には、録画ボタン１３ａで録音をスタートさせ、録画を停止したい時は、再度録画ボタン１３ａを押すことでストップさせる。同様に歌唱だけを録音したいときは、録音ボタン１３ｂで録音をスタートさせ、停止させるときは再度録音ボタン１３ｂを押す。

【0120】

また、表示部１２には、音量調節手段５を実行するボリュームコントロールバー５１が、各音情報３０の上方に配置されている。したがって、音量を調節したい音情報３０ごとに、上方のボリュームコントロールバーでそれぞれ音量を調節することができる。

【0121】

図８において、音情報のテノールとソプラノ及びバスは、マックスの音量で設定され、アルトだけ消音となっている。したがって、練習生は、他のパートの歌唱を聴きながら、アルトのバートの歌唱練習をすることができる。

【0122】

その他、合成手段７を実行する合成ボタン７０、判定手段８の処理を実行する判定ボタン８０、紐付手段９の処理を実行する紐付ボタン９０が操作部１１に設けられ、各処理が操作しやすいように構成されている。そして、表示部１２には、音情報で選択された歌詞が表示されている。音情報で楽譜が選択された場合には、この部分に指定された譜面が練習時に見やすいように表示できる構成となっている。

【0123】

図９は、本発明にかかる学習支援装置のその他の実施例で、学習用端末に表示される例を示した説明図である。図９は、音情報に対応し発され音声情報記録手段２３に記録し保存された音声情報を、音情報記録手段２１に保存された音情報を判定基準とし、判定手段８によって判定された結果について、音声情報に紐付かせ、音声情報の再生時に判定結果を表示部に表示するための処理が実行され、紐付手段９によりコメント１４が表示された場合の例を示している。

【0124】

図９に示す例は、音程がはずれた箇所が表示部１２に表示され、「音程がさがっているので、もう少し腹筋に力をいれてみましょう」と指導者からのコメント１４が表示されている。このように先に練習した際の音声情報の判定結果を、表示面に可視化することで、練習生の不安を取り除き、個人的に指導をうけている感覚をうけ、より学習に真剣に取り組みやすい構成となっている。

【産業上の利用可能性】

【0125】

本発明にかかる学習支援装置及び学習支援方法は、複数人が同時に学習する必要がある音情報に関する教育現場で利用することができる。練習生が練習したいことを、自ら最も練習しやすい設定にして繰り返し練習ができ、客観的に習得状況を把握できるものである。

【0126】

専ら音楽の学習に使用する場合の例で説明したが、音情報は音楽に限らず、外国語の習得や、古典の学習の場などにおいても使用可能である。あらかじめ模範となる音情報を練習しやすく、且つ指導しやすいため、様々な教科で使用可能である。また学習用端末に通信機能を持たせ、サーバで情報を共有する環境とすれば、海外の練習生と距離を超えて一緒に練習しているかのような合成情報を作成することができ、応用の範囲は無限と考える。

【符号の説明】

【0127】

１ 学習支援装置
２ 情報記録部
２１ 音情報記録手段
２２ 出力音情報記録手段
２３ 音声情報記録手段
２４ 合成情報記録手段
２５ 判定結果記録手段
３ 音情報選択手段
４ 音出力手段
４１ スピーカ
５ 音量調節手段
６ 音声入力手段
６１ マイク
７ 合成手段
７０ 合成ボタン
８ 判定手段
８０ 判定ボタン
９ 紐付手段
９０ 紐付ボタン
１０ 制御部
１１ 操作部
１２ 表示部
１３ 録音手段・録画手段
１３ａ 録画ボタン
１３ｂ 録音ボタン
１４ コメント

【要約】

【課題】音楽の合唱の練習や語学の発音の練習等の教育現場における音情報の学習を支援するための音情報の学習支援装置、音情報の学習支援方法、音情報の学習支援プログラム及び記録媒体を提供する。
【解決手段】練習の対象となる複数の音情報を保存する音情報記録手段、音情報記録手段により保存される１又は複数の音情報を選択する音情報選択手段、音情報選択手段により選択された音情報を出力する音出力手段、音出力手段により出力される音情報の消音を含む音量を調節する音量調節手段、音出力手段により出力される音情報をそれぞれ記録し保存する出力音情報記録手段、音出力手段により出力される音情報に対応し発される音声情報を記録し保存する音声情報記録手段、出力音情報記録手段に保存された任意の音情報、音声情報記録手段に保存された音声情報を合成する合成手段、及び合成手段で合成した合成情報を記録し保存する合成情報記録手段とを備える。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】