特許 7524677 演奏レッスンシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】演奏レッスンシステム

(51)【国際特許分類】

   G09B 15/00 20060101AFI20240723BHJP

   G10G 3/04 20060101ALI20240723BHJP

【ＦＩ】

G09B15/00 Z

G10G3/04

【請求項の数】 4

(21)【出願番号】P 2020143795

(22)【出願日】2020-08-27

(65)【公開番号】P2022039020

(43)【公開日】2022-03-10

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】茨木 武

【審査官】安田 明央

(56)【参考文献】

【文献】特開２０１７－１０８１９８（ＪＰ，Ａ）

【文献】特開２００５－１８１５８５（ＪＰ，Ａ）

【文献】特開２００３－１３１６７４（ＪＰ，Ａ）

【文献】松井 遼太，複数カメラのスイッチング半自動化機能をもつ遠隔ピアノレッスン支援システム，第２５回インタラクティブシステムとソフトウェアに関するワークショップ ［ｏｎｌｉｎｅ］，日本，日本ソフトウェア科学会インタラクティブシステムとソフトウェア研究会，2017年12月08日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １５／００

Ｇ１０Ｇ ３／０４

Ｇ０９Ｂ １９／００

Ｇ０９Ｂ ７／００

Ｇ１０Ｈ １／００

Ｇ０６Ｑ ５０／２０

(57)【特許請求の範囲】

【請求項1】

教師及び生徒のうち一方の演奏者の演奏を複数の撮影部で撮影した複数の撮影データを取得し、複数の前記撮影データを送信する演奏側装置と、
前記演奏側装置から送信される複数の前記撮影データを受信し、受信した複数の前記撮影データを表示部に表示させる表示側装置と
を備え、
前記演奏側装置及び前記表示側装置の少なくとも一方は、前記演奏者が演奏する対象楽曲について設定される所定の切り替え箇所で前記表示部に表示する前記撮影データを切り替えるように制御する制御部を有し、
前記演奏側装置は、前記演奏者の演奏の音声を記録した音声データを取得し、
前記制御部は、予め設定された音階の変化のパターンと楽曲の曲名とを対応付けた楽曲データと、取得された前記音声データの音階の変化のパターンとを対応付けることで、対象楽曲を判別し、判別結果に基づいて前記対象楽曲の楽譜データを所定のデータベースから取得する
演奏レッスンシステム。

【請求項2】

前記切り替え箇所は、前記対象楽曲を演奏する前記演奏者ごとに予め設定される
請求項１に記載の演奏レッスンシステム。

【請求項3】

前記制御部は、前記対象楽曲の楽譜データに基づいて前記切り替え箇所の設定又は設定の変更を行う
請求項１又は請求項２に記載の演奏レッスンシステム。

【請求項4】

前記制御部は、前記演奏側装置が取得した複数の前記撮影データの中から前記切り替え箇所ごとに一の前記撮影データを選択して送信するように制御する
請求項１から請求項３のいずれか一項に記載の演奏レッスンシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演奏レッスンシステムに関する。

【背景技術】

【0002】

生徒が楽器を演奏する様子をカメラで撮影し、得られた撮影データを教師に送信し、教師が撮影データを確認して生徒に必要な指導を行うオンラインレッスンについての技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－９１２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のようなオンラインレッスンでは、生徒を撮影するカメラが１台の場合、生徒の指使い、目線、姿勢、ステップ等の各ポイントを教師側で隈なくチェックすることが難しい。また、複数のカメラで生徒を撮影する場合、複数のカメラで得られた撮影データを一度に表示すると、表示部のレイアウトが窮屈になり、教師が細部をチェックする際の視認性が低下する場合がある。また、例えば教師が模範演奏を行う様子を撮影した撮影データを生徒側で確認する場合にも、同様の課題がある。

【0005】

本発明は、上記に鑑みてなされたものであり、演奏者の演奏を撮影した撮影データを確認する際の視認性の低下を抑制することが可能な演奏レッスンシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る演奏レッスンシステムは、教師及び生徒のうち一方の演奏者の演奏を複数の撮影部で撮影した複数の撮影データを取得し、複数の前記撮影データを送信する演奏側装置と、前記演奏側装置から送信される複数の前記撮影データを受信し、受信した複数の前記撮影データを表示部に表示させる表示側装置とを備え、前記演奏側装置及び前記表示側装置の少なくとも一方は、前記演奏者が演奏する対象楽曲について設定される所定の切り替え箇所で前記表示部に表示する前記撮影データを切り替えるように制御する制御部を有する。

【発明の効果】

【0007】

本発明によれば、演奏者の演奏を撮影した撮影データを確認する際の視認性の低下を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る演奏レッスンシステムの一例を示す概略図である。

【図2】図２は、本実施形態に係る演奏レッスンシステムの一例を示すブロック図である。

【図3】図３は、映像切り替えデータの一例を示す図である。

【図4】図４は、切替制御部により撮影データを切り替える制御の一例を示すタイムチャートである。

【図5】図５は、表示側装置側の表示部に表示される映像の一例を示す図である。

【図6】図６は、表示側装置側の表示部に表示される映像の一例を示す図である。

【図7】図７は、表示側装置側の表示部に表示される映像の一例を示す図である。

【図8】図８は、本実施形態に係る演奏レッスン方法の一例を示すフローチャートである。

【図9】図９は、本実施形態に係る演奏レッスン方法の他の例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明に係る演奏レッスンシステムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0010】

図１は、本実施形態に係る演奏レッスンシステムの一例を示す概略図である。図２は、本実施形態に係る演奏レッスンシステムの一例を示すブロック図である。図１及び図２に示すように、演奏レッスンシステム１００は、ネットワークＮＷを介して通信可能な生徒側装置１０及び教師側装置２０を備える。演奏レッスンシステム１００は、例えばピアノ等の楽器の演奏のレッスンをオンラインで行うシステムである。本実施形態において、生徒側装置１０で生徒がピアノを演奏し、教師側装置２０を教師が生徒の演奏を確認する場合を例に挙げて説明する。なお、演奏レッスンシステム１００では、ピアノとは異なる他の楽器を演奏する場合にも適用可能である。このため、本実施形態では、生徒側装置１０が演奏側装置として用いられ、教師側装置２０が表示側装置として用いられる。

【0011】

生徒側装置１０は、複数のカメラＣ１～Ｃ３、マイクＭ１、入力部Ｉ１、表示部Ｐ１、音声出力部Ｓ１及び視線検出部Ｅ１に接続される。

【0012】

複数のカメラＣ１～Ｃ３は、生徒（演奏者）の演奏を撮影し、撮影データＤ１～Ｄ３を生徒側装置１０に入力する。例えば、カメラＣ１は、ピアノを演奏する生徒の全体を撮影し、撮影データＤ１を生成して生徒側装置１０に入力する。撮影データＤ１により、例えば生徒の演奏時の全体の姿勢等を確認できる。また、カメラＣ２は、ピアノを演奏する生徒の手元を撮影し、撮影データＤ２を生成して生徒側装置１０に入力する。撮影データＤ２により、例えば生徒の指使い等を確認できる。また、カメラＣ３は、ピアノを演奏する生徒の足元を撮影し、撮影データＤ３を生成して生徒側装置１０に入力する。撮影データＤ３により、例えば生徒のペダル操作等を確認できる。なお、演奏者（生徒及び後述する教師）の演奏を撮影するカメラの台数は、３台に限定されず、２台又は４台以上であってもよい。

【0013】

マイクＭ１は、演奏による音声を記録し、音声データを生徒側装置１０に入力する。マイクＭ１は、カメラＣ１～Ｃ３に内蔵された構成であってもよい。この場合、カメラＣ１～Ｃ３による撮影データは、音声データを含む。入力部Ｉ１は、例えばキーボード、マウス、タッチパネル等の入力装置により構成される。入力部Ｉ１は、生徒側装置１０に所定の情報を入力する。表示部Ｐ１は、生徒側装置１０から出力される表示データに基づいて映像を表示する。音声出力部Ｓ１は、生徒側装置１０から出力される音声データに基づいて音声を出力する。視線検出部Ｅ１は、生徒の視線を検出し、検出結果である視線データを生徒側装置１０に入力する。本実施形態において、生徒側装置１０側の表示部Ｐ１、音声出力部Ｓ１及び視線検出部Ｅ１は、設けられなくてもよい。

【0014】

生徒側装置１０は、データ取得部１１と、通信部１２と、制御部１３と、記憶部１４と、出力部１５とを有する。データ取得部１１は、複数のカメラＣ１～Ｃ３からの複数の撮影データと、マイクＭ１からの音声データと、視線検出部Ｅ１からの視線データとを取得する。

【0015】

通信部１２は、ネットワークＮＷを介して情報の送受信が可能である。例えば、通信部１２は、教師側装置２０との間で情報の送受信を行う。また、通信部１２は、データベース３０から楽譜データを受信する。データベース３０は、各種の楽譜データを記憶する。データベース３０としては、例えば楽譜データを保管する既存のデータベース等を用いることができる。

【0016】

制御部１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶装置を有する。制御部１３は、切替制御部１６と、生徒側装置１０を統括的に制御する。制御部１３は、楽曲判別部１７と、楽譜取得部１８と、データ設定部１９とを有する。

【0017】

切替制御部１６は、生徒が演奏する対象楽曲について設定される所定の切り替え箇所で、教師側装置２０の表示部Ｐ２に表示する撮影データを切り替えるように制御する。本実施形態において、切替制御部１６は、複数のカメラＣ１～Ｃ３で撮影された複数の撮影データＤ１～Ｄ３の中から一の撮影データを切り替え箇所ごとに選択して送信するように制御する。つまり、切替制御部１６は、切り替え箇所ごとに、通信部１２から送信させる撮影データを切り替える。切り替え箇所を設定することにより、教師側装置２０の表示部Ｐ２において、例えば生徒の全体を撮影した映像、生徒の手元を撮影した映像及び生徒の足元等を撮影した映像の中から最適な映像を切り替えて表示することができる。

【0018】

切り替え箇所は、対象楽曲を演奏する演奏者ごとに予め設定される。切り替え箇所は、対象楽曲のうち、例えば生徒が不得意とする箇所、演奏が難しい箇所等を設定することができる。切り替え箇所として設定する箇所については、上記に限定されず、対象楽曲の任意の箇所に設定することができる。

【0019】

楽曲判別部１７は、データ取得部１１で取得された音声データに基づいて、生徒が演奏する対象楽曲を判別する。例えば、音階の変化のパターンと楽曲の曲名とを対応付けた楽曲データを予め設定しておく。楽曲判別部１７は、取得された音声データの音階の変化のパターンと楽曲データとを対応付けることで、対象楽曲を判別することができる。楽曲データは、例えば記憶部１４に記憶させておいてもよいし、データベース３０に記憶させておいてもよい。

【0020】

楽譜取得部１８は、楽曲判別部１７により判別された対象楽曲の楽譜データをデータベース３０から取得する。楽譜取得部１８は、通信部１２によりネットワークＮＷを介してデータベース３０から楽譜データを受信する。

【0021】

データ設定部１９は、取得した楽譜データに基づいて、切り替え箇所の設定又は設定変更を行う。データ設定部１９は、楽譜データの内容に基づいて、演奏が難しい箇所、演奏に注意を要する箇所等の特定箇所を検出し、検出結果に基づいて切り替え箇所の設定又は設定変更を行う。例えば、単位時間当たりの音階の変化の度合いが大きい箇所、演奏する速度が速くなる箇所、演奏中の姿勢が崩れやすい箇所、ピアノ等においては足元のペダル操作に注意を要する箇所等のパターンを予め抽出しておき、抽出結果を記憶部１４等に記憶させておく。データ設定部１９は、取得した楽譜データと、予め抽出されたパターンとを比較し、比較結果に基づいて特定箇所を検出することができる。特定箇所の検出態様については、上記に限定されず、他の態様であってもよい。なお、切り替え箇所は、入力部Ｉ１から所定の入力を行うことにより設定又は設定変更が行われてもよい。

【0022】

記憶部１４は、各種情報を記憶する。記憶部１４は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部１４として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部１４は、例えば映像切り替えデータを記憶する。

【0023】

出力部１５は、表示部Ｐ１及び音声出力部Ｓ１に対して映像データ及び音声データを出力する。

【0024】

教師側装置２０は、生徒側装置１０と同様の構成を有する。教師側装置２０は、複数のカメラＣ４～Ｃ６、マイクＭ２、入力部Ｉ２、表示部Ｐ２、音声出力部Ｓ２及び視線検出部Ｅ２に接続される。複数のカメラＣ４～Ｃ６は、教師（演奏者）の演奏を撮影し、撮影データＤ４～Ｄ６を生成して教師側装置２０に入力する。例えば、カメラＣ４は、ピアノを演奏する教師の全体を撮影した撮影データＤ４を生成して教師側装置２０に入力する。また、カメラＣ５は、ピアノを演奏する教師の手元を撮影した撮影データＤ５を生成して教師側装置２０に入力する。また、カメラＣ６は、ピアノを演奏する教師の足元を撮影した撮影データＤ６を生成して教師側装置２０に入力する。マイクＭ２は、演奏による音声を記録し、音声データを生成して教師側装置２０に入力する。入力部Ｉ２は、例えばキーボード、マウス、タッチパネル等の入力装置により構成される。入力部Ｉ２は、教師側装置２０に所定の情報を入力する。表示部Ｐ２は、教師側装置２０から出力される表示データに基づいて映像を表示する。音声出力部Ｓ２は、教師側装置２０から出力される音声データに基づいて音声を出力する。視線検出部Ｅ２は、教師の視線を検出し、検出結果である視線データを教師側装置２０に入力する。本実施形態において、教師側装置２０側のカメラＣ４～Ｃ６及びマイクＭ２は、設けられなくてもよい。

【0025】

教師側装置２０は、データ取得部２１と、通信部２２と、制御部２３と、記憶部２４と、出力部２５とを有する。各部の構成は、生徒側装置１０のデータ取得部１１、通信部１２、制御部１３、記憶部１４及び出力部１５と同様である。制御部２３は、ＣＰＵ等の処理装置と、ＲＡＭ又はＲＯＭ等の記憶装置を有する。制御部２３は、教師側装置２０を統括的に制御する。制御部２３は、生徒側装置１０の制御部１３と同様、切替制御部２６と、楽曲判別部２７と、楽譜取得部２８と、データ設定部２９とを有する。各部の構成は、生徒側装置１０と同様である。なお、本実施形態のように生徒側装置１０において撮影データの切り替え等の処理を行う場合、制御部２３は、切替制御部２６、楽曲判別部２７、楽譜取得部２８及びデータ設定部２９を有しない構成であってもよい。

【0026】

記憶部２４は、各種情報を記憶する。記憶部２４は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部２４として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部２４は、例えば映像切り替えデータを記憶する。

【0027】

出力部２５は、表示部Ｐ２及び音声出力部Ｓ２に対して映像データ及び音声データを出力する。

【0028】

次に、上記のように構成された演奏レッスンシステム１００の動作の一例を説明する。以下、生徒側装置１０側において生徒がピアノを演奏し、生徒の演奏をカメラＣ１～Ｃ３で撮影し、撮影データＤ１～Ｄ３を生徒側装置１０の通信部１２から教師側装置２０に送信し、教師が教師側装置２０側において表示部Ｐ２で撮影データを確認する場合を例に挙げて説明する。

【0029】

まず、対象楽曲における切り替え箇所を設定する。切り替え箇所は、例えば生徒側装置１０側の入力部Ｉ１及び教師側装置２０側の入力部Ｉ２等により入力することで生成可能である。つまり、生徒側から入力してもよいし、教師側から入力してもよい。また、生徒が演奏する対象楽曲の楽譜データが取得されている場合、データ設定部１９は、楽譜データに基づいて切り替え箇所の設定又は設定の変更を行うことができる。

【0030】

図３は、切り替え箇所の一例を示す図である。図３に示すように、切り替え箇所を含む映像切り替えデータＤＣは、楽譜データＤＳに対応して作成することができる。映像切り替えデータＤＣは、楽譜データＤＳに基づいて、演奏区間ごとに使用する撮影データＤ１～Ｄ３を設定する。図３に示す例において、映像切り替えデータＤＣは、演奏開始箇所ｔ０から第１箇所ｔ１までの期間はカメラＣ１で撮影された撮影データＤ１を送信し、第１箇所ｔ１から第２箇所ｔ２までの期間はカメラＣ２で撮影された撮影データＤ２を送信し、第２箇所ｔ２から第３箇所ｔ３までの期間はカメラＣ１で撮影された撮影データＤ１を送信し、第３箇所ｔ３から第４箇所ｔ４までの期間はカメラＣ３で撮影された撮影データＤ３を送信し、第４箇所ｔ４以降はカメラＣ１で撮影された撮影データＤ１を送信するように設定されている。以下、第１箇所ｔ１～第４箇所ｔ４を、切り替え箇所ｔ１～ｔ４と表記する場合がある。

【0031】

映像切り替えデータを作成した後、生徒の演奏を開始し、撮影データＤ１～Ｄ３及び音声データの送信を開始する。切替制御部１６は、作成された映像切り替えデータに基づいて、複数の撮影データＤ１～Ｄ３の中から１つの撮影データを切り替えて通信部１２から送信するように制御する。

【0032】

図４は、切替制御部１６により撮影データを切り替える制御の一例を示すタイムチャートである。図４に示すように、切替制御部１６は、演奏開始箇所ｔ０から第１箇所ｔ１までの期間は撮影データＤ１を選択して送信し、第１箇所ｔ１から第２箇所ｔ２までの期間は撮影データＤ２を選択して送信し、第２箇所ｔ２から第３箇所ｔ３までの期間は撮影データＤ１を選択して送信し、第３箇所ｔ３から第４箇所ｔ４までの期間は撮影データＤ３を選択して送信し、第４箇所ｔ４以降は撮影データＤ１を選択して送信するように制御する。この制御により、教師側装置２０側の表示部Ｐ２で表示用データが表示される際、第１箇所ｔ１、第２箇所ｔ２、第３箇所ｔ３及び第４箇所ｔ４で映像が切り替わるように表示される。

【0033】

教師側装置２０は、生徒側装置１０から送信される撮影データ及び音声データを通信部２２により受信する。出力部２５は、受信した撮影データ及び音声データを表示部Ｐ２及び音声出力部Ｓ２に出力する。教師は、表示部Ｐ２に表示された撮影データ及び音声出力部Ｓ２から出力された音声データを確認することができる。

【0034】

図５から図７は、教師側装置２０側の表示部Ｐ２に表示される映像の一例を示す図である。演奏開始箇所ｔ０から第１箇所ｔ１までの期間には、図５に示すように、撮影データＤ１が表示部Ｐ２に表示される。この期間において、教師は、撮影データＤ１に基づいて、生徒の全身の姿勢等を確認できる。

【0035】

第１箇所ｔ１では、表示部Ｐ２の表示が撮影データＤ１から撮影データＤ２に切り替わる。第１箇所ｔ１から第２箇所ｔ２までの期間には、図６に示すように、撮影データＤ２が表示部Ｐ２に表示される。この期間において、教師は、撮影データＤ２に基づいて、生徒の指の使い方を重点的に確認することができる。

【0036】

第２箇所ｔ２では、表示部Ｐ２の表示が撮影データＤ２から再び撮影データＤ１に切り替わる。第２箇所ｔ２から第３箇所ｔ３までの期間には、図５に示すように、撮影データＤ１が表示部Ｐ２に表示される。

【0037】

第３箇所ｔ３では、表示部Ｐ２の表示が撮影データＤ１から撮影データＤ３に切り替わる。第３箇所ｔ３から第４箇所ｔ４までの期間には、図７に示すように、撮影データＤ３が表示部Ｐ２に表示される。この期間において、教師は、生徒のペダルの使い方を重点的に確認できる。

【0038】

第４箇所ｔ４では、表示部Ｐ２の表示が撮影データＤ３から再び撮影データＤ１に切り替わる。第４箇所ｔ４以降は、撮影データＤ１が表示部Ｐ２に表示される。

【0039】

なお、教師が表示部Ｐ２を見る際、視線検出部Ｅ２により教師の視線を検出し、検出結果を通信部２２から生徒側装置１０側に送信してもよい。この場合、生徒側装置１０において、切替制御部１６は、教師の視線に基づいて撮影データを切り替えるようにしてもよい。例えば、表示部Ｐ２に撮影データＤ１（生徒の全身を撮影したデータ）が表示されている際に、教師が生徒の手元を注視していることが視線検出部Ｅ２で検出された場合、切替制御部１６は、通信部１２から送信する撮影データを撮影データＤ２（生徒の手元を撮影したデータ）に切り替えるようにしてもよい。同様に、表示部Ｐ２に撮影データＤ１が表示されている際に、教師が生徒の足元を注視していることが視線検出部Ｅ２で検出された場合、切替制御部１６は、通信部１２から送信する撮影データを撮影データＤ３（生徒の足元を撮影したデータ）に切り替えるようにしてもよい。

【0040】

また、教師が入力部Ｉ２を介して撮影データを切り替えることが可能な構成であってもよい。具体的には、教師側装置２０において入力部Ｉ２に撮影データを切り替える旨の入力が行われた場合、当該入力内容を通信部２２から生徒側装置１０に送信する。生徒側装置１０において、切替制御部１６は、入力内容に基づいて、通信部１２から送信する撮影データを切り替えるようにする。例えば、撮影データＤ１から撮影データＤ２又はＤ３に切り替える旨の入力が入力部Ｉ２に行われ、入力内容が生徒側装置１０に送信された場合、切替制御部１６は、入力内容に基づいて、通信部１２から送信する撮影データを撮影データＤ１から撮影データＤ２又はＤ３に切り替える。この構成により、例えば教師が表示部Ｐ２を確認しているときに演奏についての気になる点を発見した場合等において、表示部Ｐ２の表示を切り替えることで、教師が気になる点を重点的に確認できる。

【0041】

また、生徒が演奏する際、例えば楽曲判別部１７により音声データに基づいて対象楽曲を判別し、判別した対象楽曲の楽譜データを楽譜取得部１８がデータベース３０等から取得することができる。楽譜取得部１８等により楽譜データが取得された場合、切替制御部１６は、例えば生徒の演奏の音声データに基づいて譜面を作成し、生徒の演奏の譜面と楽譜データにおける譜面とを比較して、両者が異なる場合、つまり生徒が間違えた場合に撮影データを切り替えることが可能な構成であってもよい。例えば、比較結果により生徒が音階を間違えたことが判別された場合、切替制御部１６は、生徒の手元を撮影する撮影データＤ２に切り替えることができる。また、比較結果により生徒がペダル操作を間違えたことが判別された場合、切替制御部１６は、生徒の足元を撮影する撮影データＤ３に切り替えることができる。この構成により、生徒の間違いを速やかに検出することができ、間違えた箇所を確認することができる。また、楽譜データが取得された場合、データ設定部１９は、楽譜データの内容に基づいて、演奏が難しい箇所、演奏に注意を要する箇所等の特定箇所を検出し、検出結果に基づいて切り替え箇所ｔ１～ｔ４の設定又は設定変更を行ってもよい。

【0042】

図８は、本実施形態に係る演奏レッスン方法の一例を示すフローチャートである。図８に示すように、まず、生徒側装置１０側において、複数のカメラＣ１～Ｃ３で生徒の演奏を撮影した撮影データＤ１～Ｄ３と、マイクＭ１で生徒の演奏を録音した音声データとを取得する（ステップＳ１０１）。次に、切替制御部１６は、映像切り替えデータＤＣにおいて複数の撮影データＤ１～Ｄ３の中から演奏開始箇所ｔ０について設定される１つの撮影データを選択し、音声データと共に通信部１２から送信開始する（ステップＳ１０２）。

【0043】

教師側装置２０側において、通信部２２が撮影データ及び音声データを受信する。制御部２３は、受信した撮影データ及び音声データを出力部２５から表示部Ｐ２及び音声出力部Ｓ２に出力させる（ステップＳ２０１）。

【0044】

生徒側装置１０側において、撮影データを送信開始後、切替制御部１６は、生徒の演奏が切り替え箇所ｔ１～ｔ４が到達したか否かを判定する（ステップＳ１０３）。ステップＳ１０３において切り替え箇所ｔ１～ｔ４が到達したと判断した場合（ステップＳ１０３のＹｅｓ）、切替制御部１６は、映像切り替えデータの設定に基づいて、通信部１２から送信する撮影データを切り替える（ステップＳ１０４）。

【0045】

ステップＳ１０４が行われた場合、教師側装置２０側においては、受信される撮影データに応じて、表示部Ｐ２に表示される撮影データが切り替わる（ステップＳ２０２）。

【0046】

一方、生徒側装置１０側において、ステップＳ１０３において切り替え箇所ｔ１～ｔ４が到達していないと判断した場合（ステップＳ１０３のＮｏ）、切替制御部１６は、ステップＳ１０４の処理を飛ばすようにする。

【0047】

ステップＳ１０４の後、又はステップＳ１０３のＮｏの場合、切替制御部１６は、撮影データの送信が完了したか否かを判定する（ステップＳ１０５）。ステップＳ１０５において撮影データの送信が完了したと判定した場合（ステップＳ１０５のＹｅｓ）、切替制御部１６は、処理を終了する。一方、ステップＳ１０５において撮影データの送信が完了していないと判定した場合（ステップＳ１０５のＮｏ）、切替制御部１６は、ステップＳ１０３以降の処理を繰り返し行う。

【0048】

また、教師側装置２０側において、制御部２３は、撮影データの受信が完了したか否かを判定する（ステップＳ２０３）。ステップＳ２０３において受信完了したと判定した場合（ステップＳ２０３のＹｅｓ）、処理を終了する。一方、ステップＳ２０３において受信完了していないと判定した場合（ステップＳ２０３のＮｏ）、制御部２３は、ステップＳ２０２以降の動作を繰り返し行う。

【0049】

以上のように、本実施形態に係る演奏レッスンシステム１００は、演奏者の演奏を複数の撮影部Ｃ１～Ｃ３で撮影した複数の撮影データＤ１～Ｄ３を取得し、複数の撮影データＤ１～Ｄ３を送信する演奏側装置１０と、演奏側装置１０から送信される複数の撮影データＤ１～Ｄ３を受信し、受信した複数の撮影データＤ１～Ｄ３を表示部Ｐ２に表示させる表示側装置２０とを備え、演奏側装置１０は、演奏者が演奏する対象楽曲について設定される所定の切り替え箇所ｔ１～ｔ４で表示部Ｐ２に表示する撮影データを切り替えるように制御する制御部１２を有する。

【0050】

この構成によれば、所定の切り替え箇所ｔ１～ｔ４で表示部Ｐ２に表示される映像データが自動的に切り替わる。このため、切り替わった撮影データに基づいて教師が生徒の演奏を容易に確認することができる。これにより、表示部Ｐ２を確認する際の視認性の低下を抑制できる。

【0051】

本実施形態に係る演奏レッスンシステム１００において、切り替え箇所ｔ１～ｔ４は、対象楽曲を演奏する演奏者ごとに予め設定される。例えば生徒が不得意とする箇所、対象楽曲において演奏が難しい箇所等に応じて予め切り替え箇所ｔ１～ｔ４を設定しておくことで、生徒及び対象楽曲に応じてより適切な確認を行うことができる。

【0052】

本実施形態に係る演奏レッスンシステム１００において、制御部１３は、対象楽曲の楽譜データに基づいて切り替え箇所ｔ１～ｔ４の設定又は設定の変更を行う。これにより、楽譜データに基づいた観点で切り替え箇所ｔ１～ｔ４を作成又は変更することができる。

【0053】

本実施形態に係る演奏レッスンシステム１００において、生徒側装置１０は、生徒の演奏の音声を記録した音声データを取得し、制御部１３は、音声データに基づいて対象楽曲を判別し、判別結果に基づいて対象楽曲の楽譜データを所定のデータベース３０から取得する。これにより、楽譜データを容易に取得できる。

【0054】

本実施形態に係る演奏レッスンシステム１００において、制御部１３は、生徒側装置１０が取得した複数の撮影データＤ１～Ｄ３の中から一の撮影データを抽出して送信し、抽出する一の撮影データを切り替え箇所ｔ１～ｔ４で切り替えるように制御する。このように生徒側装置１０において送信する撮影データを切り替えることで、生徒側装置１０から教師側装置２０に送信される撮影データの容量を抑制して良好な通信状態を保持しつつ、教師側装置２０において表示部Ｐ２に表示される撮影データを切り替えることができる。

【0055】

次に、演奏レッスンシステム１００の他の使用形態について説明する。上記実施形態では、生徒側装置１０の制御部１３において、複数の撮影データＤ１～Ｄ３のうち教師側装置２０に送信する撮影データを切り替える態様を例に挙げて説明したが、これに限定されない。例えば、生徒側装置１０から教師側装置２０に対して複数の撮影データＤ１～Ｄ３をすべて送信し、教師側装置２０の制御部２３の切替制御部２６が映像切り替えデータＤＣに基づいて表示部Ｐ２に出力する撮影データを切り替える態様であってもよい。

【0056】

この場合、データ設定部２９において切り替え箇所ｔ１～ｔ４の設定又は設定の変更を行ってもよい。また、切替制御部２６は、教師の視線を視線検出部Ｅ２で検出した結果に基づいて、撮影データを切り替えるようにしてもよい。例えば、表示部Ｐ２に撮影データＤ１（生徒の全身を撮影したデータ）が表示されている際に、教師が生徒の手元を注視していることが視線検出部Ｅ２で検出された場合、切替制御部２６は、表示部Ｐ２の表示を撮影データＤ２（生徒の手元を撮影したデータ）に切り替えるようにしてもよい。同様に、表示部Ｐ２に撮影データＤ１が表示されている際に、教師が生徒の足元を注視していることが視線検出部Ｅ２で検出された場合、切替制御部２６は、表示部Ｐ２の表示を撮影データＤ３（生徒の足元を撮影したデータ）に切り替えるようにしてもよい。

【0057】

図９は、本実施形態に係る演奏レッスン方法の他の例を示すフローチャートである。図９に示すように、上記実施形態と同様に、生徒側装置１０側において、複数のカメラＣ１～Ｃ３で生徒の演奏を撮影した撮影データＤ１～Ｄ３と、マイクＭ１で生徒の演奏を録音した音声データとを取得する（ステップＳ１１１）。次に、制御部１３は、取得した全ての撮影データＤ１～Ｄ３と音声データとを通信部１２から送信開始させる（ステップＳ１１２）。

【0058】

教師側装置２０側において、通信部２２は、撮影データＤ１～Ｄ３及び音声データを受信する（ステップＳ２１１）。切替制御部２６は、受信した複数の撮影データＤ１～Ｄ３の中から演奏開始箇所ｔ０について設定される１つの撮影データを選択し、音声データと共に出力部２５から表示部Ｐ２及び音声出力部Ｓ２に出力させる（ステップＳ２１２）。切替制御部２６は、映像切り替えデータに基づいて、切り替え箇所ｔ１～ｔ４が到達したか否かを判定する（ステップＳ２１３）。ステップＳ２１３において切り替え箇所ｔ１～ｔ４が到達したと判断した場合（ステップＳ２１３のＹｅｓ）、切替制御部２６は、映像切り替えデータに基づいて、表示部Ｐ２に出力する撮影データを切り替える（ステップＳ２１４）。ステップＳ２１４が行われた場合、表示部Ｐ２に表示される撮影データが切り替わる。一方、ステップＳ２１３において切り替え箇所ｔ１～ｔ４が到達していないと判断した場合（ステップＳ２１３のＮｏ）、切替制御部２６は、ステップＳ２１４の処理を飛ばすようにする。

【0059】

生徒側装置１０側において、制御部２３は、撮影データ及び音声データの送信が完了したか否かを判定する（ステップＳ１１３）。ステップＳ１１３において送信完了したと判定した場合（ステップＳ１１３のＹｅｓ）、処理を終了する。一方、ステップＳ１１３において送信完了していないと判定した場合（ステップＳ１１３のＮｏ）、制御部１３は、ステップＳ１１３の判定を繰り返し行う。

【0060】

教師側装置２０側において、ステップＳ２１４の後、又はステップＳ２１３のＮｏの場合、切替制御部２６は、撮影データの受信が完了したか否かを判定する（ステップＳ２１５）。ステップＳ２１５において撮影データの受信が完了したと判定した場合（ステップＳ２１５のＹｅｓ）、切替制御部２６は、処理を終了する。一方、ステップＳ２１５において撮影データの受信が完了していないと判定した場合（ステップＳ２１５のＮｏ）、切替制御部２６は、ステップＳ２１３以降の処理を繰り返し行う。

【0061】

以上のように、生徒側装置１０から教師側装置２０に対して複数の撮影データＤ１～Ｄ３をすべて送信し、教師側装置２０の制御部２３の切替制御部２６が切り替え箇所ｔ１～ｔ４において表示部Ｐ２に出力する撮影データを切り替えるため、切り替わった撮影データに基づいて教師が容易に生徒の演奏を確認することができ、表示部Ｐ２を確認する際の視認性の低下を抑制できる。また、教師側装置２０側に全ての撮影データＤ１～Ｄ３が送信されるため、例えば教師の視線に基づく場合等、教師側装置２０側でトリガーが発生した場合に、表示部Ｐ２に表示される撮影データを臨機応変に切り替えることができる。

【0062】

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記本実施形態では、生徒側装置１０で生徒が演奏し、教師側装置２０で教師が生徒の演奏を確認する態様を例に挙げて説明したが、これに限定されない。

【0063】

例えば、教師側装置２０で教師が模範演奏等の演奏を行い、生徒側装置１０で生徒が教師の演奏を確認する態様であってもよい。この構成では、教師側装置２０が演奏側装置として用いられ、生徒側装置１０が表示側装置として用いられる。つまり、上記各実施形態において、生徒側装置１０の各構成及び動作が教師側装置２０の各構成及び動作により置き換えられ、教師側装置２０の各構成及び動作が生徒側装置１０の各構成及び動作に置き換えられた態様となる。

【0064】

一例として、教師側装置２０側の複数のカメラＣ４～Ｃ６により教師の演奏を撮影し、撮影データＤ４～Ｄ６の少なくとも１つを教師側装置２０から生徒側装置１０に送信する。生徒側装置１０では、受信した撮影データを表示部Ｐ１に表示させる。この場合、教師側装置２０において生徒側装置１０に送信する撮影データを切り替える制御を行ってもよいし、教師側装置２０から生徒側装置１０に複数の撮影データを送信し、生徒側装置１０において表示部Ｐ１に表示させる撮影データを切り替える制御を行ってもよい。また、生徒が表示部Ｐ１を見る際、視線検出部Ｅ１により生徒の視線を検出し、検出結果に基づいて撮影データを切り替えるようにしてもよい。

【符号の説明】

【0065】

Ｃ１～Ｃ３，Ｃ４～Ｃ６…カメラ、ＤＣ…映像切り替えデータ、ＤＳ…楽譜データ、Ｄ１～Ｄ３，Ｄ４～Ｄ６…撮影データ、Ｅ１，Ｅ２…視線検出部、Ｉ１，Ｉ２…入力部、Ｍ１，Ｍ２…マイク、ＮＷ…ネットワーク、Ｐ１，Ｐ２…表示部、Ｓ１，Ｓ２…音声出力部、１０…演奏側装置、１１，２１…データ取得部、１２，２２…通信部、１３，２３…制御部、１４，２４…記憶部、１５，２５…出力部、１６，２６…切替制御部、１７，２７…楽曲判別部、１８，２８…楽譜取得部、１９，２９…データ設定部、２０…表示側装置、３０…データベース、１００…演奏レッスンシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】