IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 銀河ソフトウェア株式会社の特許一覧 ▶ 群馬県の特許一覧

<>
  • 特許-演奏支援システム、方法及びプログラム 図1
  • 特許-演奏支援システム、方法及びプログラム 図2
  • 特許-演奏支援システム、方法及びプログラム 図3
  • 特許-演奏支援システム、方法及びプログラム 図4
  • 特許-演奏支援システム、方法及びプログラム 図5
  • 特許-演奏支援システム、方法及びプログラム 図6
  • 特許-演奏支援システム、方法及びプログラム 図7
  • 特許-演奏支援システム、方法及びプログラム 図8
  • 特許-演奏支援システム、方法及びプログラム 図9
  • 特許-演奏支援システム、方法及びプログラム 図10
  • 特許-演奏支援システム、方法及びプログラム 図11
  • 特許-演奏支援システム、方法及びプログラム 図12
  • 特許-演奏支援システム、方法及びプログラム 図13
  • 特許-演奏支援システム、方法及びプログラム 図14
  • 特許-演奏支援システム、方法及びプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-04
(45)【発行日】2023-07-12
(54)【発明の名称】演奏支援システム、方法及びプログラム
(51)【国際特許分類】
   G09B 15/00 20060101AFI20230705BHJP
   G10H 1/00 20060101ALI20230705BHJP
   G10G 7/00 20060101ALI20230705BHJP
   G10G 3/04 20060101ALI20230705BHJP
【FI】
G09B15/00 Z
G10H1/00 Z
G10G7/00
G10G3/04
【請求項の数】 8
(21)【出願番号】P 2019017274
(22)【出願日】2019-02-01
(65)【公開番号】P2020126103
(43)【公開日】2020-08-20
【審査請求日】2022-01-05
(73)【特許権者】
【識別番号】517367054
【氏名又は名称】銀河ソフトウェア株式会社
(73)【特許権者】
【識別番号】591032703
【氏名又は名称】群馬県
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(72)【発明者】
【氏名】梶原 篤
(72)【発明者】
【氏名】後藤 昌甲
(72)【発明者】
【氏名】宮島 洋
(72)【発明者】
【氏名】新嶋 修
(72)【発明者】
【氏名】内海 祐太
(72)【発明者】
【氏名】松本 真
(72)【発明者】
【氏名】鈴木 健斗
【審査官】前地 純一郎
(56)【参考文献】
【文献】特開2017-194826(JP,A)
【文献】米国特許第09824670(US,B1)
【文献】米国特許第09812029(US,B1)
【文献】特開2013-186215(JP,A)
【文献】特開2001-282095(JP,A)
【文献】特開2017-097750(JP,A)
【文献】特開2016-197776(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09B 11/00-15/08
G10G 3/04
G10G 7/00
G10H 1/00
(57)【特許請求の範囲】
【請求項1】
楽器に取り付けられるセンサーデバイスと、前記センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、
前記センサーデバイスは、
少なくとも2つの検出軸を有する加速度センサーと、
前記加速度センサーから出力された検出信号を前記操作デバイスに送信するセンサー側通信手段とを備え、
前記操作デバイスは、
前記センサーデバイス及び前記講師端末と通信するための操作側通信手段であって、前記センサーデバイスから送信された前記検出信号を受信する操作側通信手段と、
表示手段と、
前記検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成して前記サーバーに送信し、前記講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して前記表示手段に表示させる制御手段とを備える、
演奏支援システム。
【請求項2】
前記制御手段は、前記楽器の演奏中における前記検出信号に応じて、ユーザーの演奏をアシストするための演奏支援情報を生成し、前記演奏支援情報に基づいて、前記表示手段の表示を制御する、
請求項1に記載の演奏支援システム。
【請求項3】
前記制御手段は、前記検出信号に応じて演奏状況の評価を行い、前記演奏状況の評価の結果を前記表示手段に表示させる、
請求項2に記載の演奏支援システム。
【請求項4】
前記制御手段は、前記操作デバイスに通信可能に接続された外部機器に対して、前記検出信号に応じた指示を送信する、
請求項2又は3に記載の演奏支援システム。
【請求項5】
前記制御手段は、楽譜を前記表示手段に表示させ、前記検出信号に応じて演奏の進行状況を検出し、前記演奏の進行状況に応じて、前記楽譜上に演奏箇所を示す表示を行うか、又は前記楽譜のページ送りを行う、
請求項2から4のいずれか1項に記載の演奏支援システム。
【請求項6】
楽器に取り付けられるセンサーデバイスと、前記センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、
前記センサーデバイスは、
加速度センサーと、
前記加速度センサーから出力された検出信号を前記操作デバイスに送信するセンサー側通信手段とを備え、
前記操作デバイスは、
前記センサーデバイス及び前記講師端末と通信するための操作側通信手段であって、前記センサーデバイスから送信された前記検出信号を受信する操作側通信手段と、
表示手段と、
前記検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成して前記サーバーに送信し、前記講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して前記表示手段に表示させる制御手段とを備える、
演奏支援システム。
【請求項7】
楽器に取り付けられるセンサーデバイスと、前記センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムにおける演奏支援方法であって、
前記センサーデバイスは、加速度センサーにより検出した検出信号を前記操作デバイスに送信し、
前記操作デバイスは、前記検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成して前記サーバーに送信し、
前記操作デバイスは、前記講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して表示手段に表示させる、
演奏支援方法。
【請求項8】
楽器に取り付けられるセンサーデバイスに設けられた加速度センサーにより検出した検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信する機能と、
講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して表示手段に表示させる機能と、
をコンピュータに実現させる演奏支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、演奏支援システム、方法及びプログラム並びに楽器管理システム、方法及びプログラムに関する。
【背景技術】
【0002】
従来、ギター、バイオリン、ピアノ、サックス、トランペット、フルート等の楽器を調律するために用いる調律器(チューナ)が知られている(例えば、特許文献1、2参照)。
【0003】
従来の調律器は、装置全体を動作させるための電池等の電源と、楽器の操作により生じた楽音の振動を検出する振動センサーと、電源のオン/オフ、調律の設定条件、及び表示条件等を入力するためのスイッチ等の操作手段と、調律の設定条件や調律の状況を表示するための表示手段と、振動センサーや操作手段からの入力を基に計算を行い、表示手段に情報を表示させる計算機(CPU)とから構成されるのが一般的である。
【0004】
例えば、ギターのような弦楽器の場合、調律器は一般的に弦楽器のヘッド部に取り付けられる。弦楽器において調律対象となる弦が操作されると、その操作により生じた楽音の振動は振動センサーの出力信号に基づいて検出される。そして、検出された周波数と基準周波数との周波数偏差が検出され、その検出結果に基づいて調律情報が表示手段に表示される。これにより、演奏者は、表示手段に表示された調律情報を確認しながら、楽器の調律を行うことが可能となっている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2010-181798号公報
【文献】特開2012-141358号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来の調律器に備えらえる振動センサーの感度方向は1軸のみであるため、楽器に取り付けられた調律器の姿勢(取り付け状態)によっては、振動センサーの感度が不足してしまい、楽器から発生する楽音の振動を的確に捉えられない場合がある。
【0007】
この対応策の1つとして、楽器に対する調律器の取り付け位置や向きを規定することが考えられる。これにより、楽器から発生する楽音の振動に対して振動センサーの感度が最も大きくなるように調律器を配置することが可能となる。しかし、このような対応策は、楽器や調律器におけるデザインの制約を招き、演奏者にとって使い勝手の良くないという問題がある。
【0008】
また、楽器の特性により、特定の周波数において振動センサーの感度方向の振動が弱く、他の方向の振動が強く出るような場合もある。このような場合、従来の調律器では、振動センサーの感度が1軸方向のみである指向性を有するため、楽器の調律を正確に行えないことになる。
【0009】
特許文献1、2には、振動センサーを備えた調律器が開示されているものの、これらの課題については全く言及されておらず、当然のことながら、その課題を解決するための手段については記載も示唆もない。
【0010】
本発明は、このような事情に鑑みてなされたもので、使い勝手が良く、安定かつ正確な調律が可能な楽器用調律器を実現するとともに、そのような楽器用調律器の機能を利用して、ユーザーの演奏を支援したり、楽器の管理を行うための演奏支援システム、方法及びプログラム並びに楽器管理システム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するために、本発明の第1の態様に係る演奏支援システムは、楽器に取り付けられるセンサーデバイスと、センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、センサーデバイスは、少なくとも2つの検出軸を有する加速度センサーと、加速度センサーから出力された検出信号を操作デバイスに送信するセンサー側通信手段とを備え、操作デバイスは、センサーデバイス及び講師端末と通信するための操作側通信手段であって、センサーデバイスから送信された検出信号を受信する操作側通信手段と、表示手段と、検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信し、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる制御手段とを備える。
【0012】
本発明の第2の態様に係る演奏支援システムは、第1の態様において、制御手段は、楽器の演奏中における検出信号に応じて、ユーザーの演奏をアシストするための演奏支援情報を生成し、演奏支援情報に基づいて、表示手段の表示を制御するようにしたものである。
【0013】
本発明の第3の態様に係る演奏支援システムは、第2の態様において、制御手段は、検出信号に応じて演奏状況の評価を行い、演奏状況の評価の結果を表示手段に表示させるようにしたものである。
【0014】
本発明の第4の態様に係る演奏支援システムは、第2又は第3の態様において、制御手段は、操作デバイスに通信可能に接続された外部機器に対して、検出信号に応じた指示を送信するようにしたものである。
【0015】
本発明の第5の態様に係る演奏支援システムは、第2から第4の態様のいずれかにおいて、制御手段は、楽譜を表示手段に表示させ、検出信号に応じて演奏の進行状況を検出し、演奏の進行状況に応じて、楽譜上に演奏箇所を示す表示を行うか、又は楽譜のページ送りを行うようにしたものである。
【0016】
本発明の第6の態様に係る演奏支援システムは、楽器に取り付けられるセンサーデバイスと、センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、センサーデバイスは、加速度センサーと、加速度センサーから出力された検出信号を操作デバイスに送信するセンサー側通信手段とを備え、操作デバイスは、センサーデバイス及び講師端末と通信するための操作側通信手段であって、センサーデバイスから送信された検出信号を受信する操作側通信手段と、表示手段と、検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信し、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる制御手段とを備える。
【0017】
本発明の第7の態様に係る演奏支援方法は、楽器に取り付けられるセンサーデバイスと、センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムにおける演奏支援方法であって、センサーデバイスは、加速度センサーにより検出した検出信号を操作デバイスに送信し、操作デバイスは、検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信し、操作デバイスは、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる。
【0018】
本発明の第8の態様に係る演奏支援プログラムは、楽器に取り付けられるセンサーデバイスに設けられた加速度センサーにより検出した検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信する機能と、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる機能とをコンピュータに実現させる。
【0019】
本発明の第9の態様に係る楽器管理システムは、楽器に取り付けられるセンサーデバイス、及びセンサーデバイスと相互に無線通信可能な操作デバイスと通信可能なサーバーを備える楽器管理システムであって、操作デバイスは、位置情報記憶手段と、センサーデバイスと操作デバイスとの間のリンク状態が切れたことを検出した場合に、リンク状態が切れたことを検出した時点の操作デバイスの位置情報、又はリンク状態が切れたことを検出する直前の操作デバイスの位置情報を取得し、位置情報記憶手段に位置情報を格納する制御手段と、位置情報を含むステータス情報をサーバーに送信する操作側通信手段とを備え、サーバーは、操作デバイスから、ステータス情報を取得するステータス情報取得手段を備える。
【0020】
本発明の第10の態様に係る楽器管理方法は、楽器に取り付けられるセンサーデバイス、及びセンサーデバイスと相互に無線通信可能な操作デバイスと通信可能なサーバーを備える楽器管理システムにおける楽器管理方法であって、操作デバイスは、センサーデバイスと操作デバイスとの間のリンク状態が切れたことを検出した場合に、リンク状態が切れたことを検出した時点の操作デバイスの位置情報、又はリンク状態が切れたことを検出する直前の操作デバイスの位置情報を取得し、位置情報を格納し、位置情報を含むステータス情報をサーバーに送信するようにしたものである。
【0021】
本発明の第11の態様に係る楽器管理プログラムは、楽器に取り付けられるセンサーデバイスとの間のリンク状態が切れたことを検出した場合に、リンク状態が切れたことを検出した時点の操作デバイスの位置情報、又はリンク状態が切れたことを検出する直前の操作デバイスの位置情報を取得し、位置情報を格納する機能と、位置情報を含むステータス情報をサーバーに送信する機能とをコンピュータに実現させる。
【発明の効果】
【0022】
本発明によれば、楽器に取り付けられた加速度センサーを利用して、講師に対して練習結果を報告することができ、かつ、操作デバイスを用いて、講師からの指導情報を取得することができる。これにより、音楽教室に通うことなく、遠隔で講師からの指導を受けることが可能になる。また、本発明によれば、楽器に取り付けられた加速度センサーを利用して、楽器の管理を行うことが可能になる。
【図面の簡単な説明】
【0023】
図1図1は、本発明の第1の実施形態にかかる楽器用調律器を示すブロック図である。
図2図2は、本発明の第1の実施形態に係るセンサーデバイスを示すブロック図である。
図3図3は、本発明の第1の実施形態に係る操作デバイスを示すブロック図である。
図4図4は、本発明の第1の実施形態に係る楽器用調律器を用いた調律方法を示すフローチャートである。
図5図5は、本発明の第1の実施形態に係る演奏支援方法を示すフローチャートである。
図6図6は、演奏の進行状況を示す表示の例を示す図である。
図7図7は、本発明の第1の実施形態に係る楽器管理方法を示すフローチャートである。
図8図8は、本発明の第1の実施形態に係る楽器管理方法の別の例を示すフローチャートである。
図9図9は、本発明の第2の実施形態に係る楽器用調律器を示すブロック図である。
図10図10は、本発明の第2の実施形態に係る操作デバイスを示すブロック図である。
図11図11は、本発明の第2の実施形態に係るサーバーを示すブロック図である。
図12図12は、本発明の第2の実施形態に係る演奏支援方法で使用されるデータの関係を示すブロック図である。
図13図13は、本発明の第2の実施形態に係る演奏支援方法(演奏指導)を示すフローチャートである。
図14図14は、本発明の第2の実施形態に係る楽器管理方法で使用されるデータの関係を示すブロック図である。
図15図15は、本発明の第2の実施形態に係る楽器管理方法を示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、添付図面に従って本発明に係る演奏支援システム、方法及びプログラム並びに楽器管理システム、方法及びプログラムの実施の形態について説明する。
【0025】
[第1の実施形態]
図1は、本発明の第1の実施形態にかかる楽器用調律器を示すブロック図である。
【0026】
図1に示すように、本実施形態に係る楽器用調律器1は、センサーデバイス10及び操作デバイス50を含んでいる。センサーデバイス10及び操作デバイス50は、相互に無線通信可能となっている。センサーデバイス10及び操作デバイス50との間の通信方式としては、無線LAN(Local Area Network)、WiFi(登録商標)、Bluetooth(登録商標)、WAN(Wide Area Network)等を採用可能である。
【0027】
センサーデバイス10は、楽器MI(図3参照)に取り付けられる。例えば、楽器MIがギターの場合には、センサーデバイス10は、クリップにより、そのヘッドに取り付けることが可能である。センサーデバイス10の楽器MIへの取り付け方法は特に限定されず、センサーデバイス10の形状、楽器の形状及び種類に応じて選択可能である。センサーデバイス10は、例えば、粘着剤式、ネジ止め等の方法により、楽器MIに直接取り付けられるようにしてもよいし、クリップ等のアタッチメントを介して間接的に取り付けられるようにしてもよい。
【0028】
センサーデバイス10は、楽器MIが発する音響又は振動を電気信号(音響信号)に変換して送信情報を作成し、操作デバイス50に送信する。
【0029】
操作デバイス50は、センサーデバイス10から受信した送信情報を復調して音響信号を取得する。そして、操作デバイス50は、この音響信号を解析し、楽器MIの調律に必要な調律情報を作成して表示部62(図3参照)に表示させる。これにより、楽器MIの演奏者(以下、ユーザーという。)は、調律情報の表示を確認しながら、楽器MIの調律を行うことができる。
【0030】
(センサーデバイス)
図2は、本発明の第1の実施形態に係るセンサーデバイスを示すブロック図である。図2に示すように、本実施形態のセンサーデバイス10は、加速度センサー12と、波形成形回路14と、演算制御部16と、通信モジュール18とを備えている。また、図示は省略したが、センサーデバイス10は、センサーデバイス10の各部を動作させるための電源を供給する電源部を備えている。電源部は、一次電池または二次電池で構成される。
【0031】
加速度センサー12は、互いに直交する3つの検出軸(X軸、Y軸、Z軸)を有する3軸加速度センサーで構成される。この加速度センサー12は、各検出軸に対応した3つのセンサー12a、12b、12cを有しており、各センサー12a、12b、12cからそれぞれ対応する検出軸についての検出信号S、S、Sを出力する(以下、「加速度センサー12の出力信号S、S、S」という。)。加速度センサー12の出力信号S、S、Sは、波形成形回路14に対して出力される。この加速度の値は、振動の周波数に応じた交流値で出力されるようにしてもよい。なお、加速度センサー12は、その出力信号S、S、Sを、デジタル信号で出力するデジタル出力タイプのものでもよいし、アナログ信号で出力するアナログ出力タイプであってもよい。但し、アナログ出力タイプは、デジタル出力タイプと比べてA/D(Analog-to-Digital)変換、通信などでの遅延が生じないので、変化への応答性が速く、楽器の調律には望ましい。本実施形態では、一例として、アナログ出力タイプの加速度センサー12が用いられる。
【0032】
波形成形回路14は、バンドパスフィルタ(ハイパスフィルタ)や増幅回路などを備え、加速度センサー12の出力信号S、S、Sを出力信号毎にハイパスフィルタでフィルタ処理して、各出力信号S、S、Sに含まれるノイズ成分(低周波成分)を除去する。さらに、波形成形回路14は、出力信号毎に増幅回路で増幅してパルス状波形に変換し、変換後の出力信号S、S、Sを出力信号T、T、Tとして演算制御部16に対して出力する。
【0033】
演算制御部16は、波形成形回路14の出力信号T、T、Tに各種処理を施して、操作デバイス50に出力する。
【0034】
演算制御部16は、CPU(Central Processing Unit)、メモリー(RAM(Random Access Memory)、ROM(Read Only Memory)、不揮発性メモリー)、A/Dコンバータ、その他周辺回路などを備えている。メモリーには、CPUを動作させるためのプログラムの他、各種データが記憶される。演算制御部16は、メモリーに記憶されたプログラムがCPUによって実行されることによって、図2に示した各機能が実現される。
【0035】
演算制御部16は、信号選択部22と、周波数検出部24と、記憶部30と、送信情報生成部32と、姿勢検出部34として機能する。
【0036】
信号選択部22は、波形成形回路14の出力信号T、T、Tのうち、波形振幅の最大値と最小値との差が最も大きい出力信号(最も強い信号)を検出用信号Uとして選択して、選択した検出用信号Uを周波数検出部24に対して出力する。
【0037】
なお、本実施形態では、出力信号T、T、Tのうち最も強い信号を用いて調律を行うことで、センサーデバイス10の取付方向及び楽器MIの特性に影響を抑制するようにしたが、本発明はこれに限定されない。例えば、XYZ軸の出力信号T、T、Tを合成(例えば、加算)して得られた合成値を検出用信号Uとして用いて、軸の選択を不要とすることも可能である。
【0038】
周波数検出部24は、信号選択部22の出力信号である検出用信号Uの周波数を検出して、検出した周波数(以下、「検出周波数」という。)Fを送信情報生成部32に対して出力する。具体的には、周波数検出部24は、信号選択部22から入力された検出用信号Uの符号が変わるゼロクロス点の間の時間を計測することにより振動の周期を求める。そして、周波数検出部24は、この振動の周期から検出周波数を求めて、送信情報生成部32に出力する。周波数検出部24は、本発明の周波数検出手段の一例である。
【0039】
送信情報生成部32は、周波数検出部24から入力された検出周波数に基づいて、操作デバイス50に送信する送信情報を生成する。なお、送信情報は、振動の周期に基づいて生成するようにして、検出周波数は、この振動の周期に関する情報を用いて、操作デバイス50側で算出するようにすることも可能である。通信モジュール18は、この送信情報を通信用の信号に変換して操作デバイス50に送信する。送信情報生成部32及び通信モジュール18は、本発明のセンサー側通信手段の一例である。
【0040】
そして、後述するように、操作デバイス50は、操作部56を介してユーザーからの操作入力を受け付け、調律対象とする音名(例えば、ギターの場合、弦の番号、弦名等)を設定する設定操作を受け付ける。操作デバイス50は、センサーデバイス10から送信された送信情報を用いて、調律対象とする音名に関する調律情報を生成し、表示部62に表示させる。これにより、ユーザーは、表示部62に表示された調律情報を見ながら、楽器M1の調律を行うことができる。
【0041】
また、上記の例では、操作部56を介して、調律対象とする音名等の設定操作を受け付けたが、加速度センサー12を入力手段として用いて設定操作を受け付けるようにすることも可能である。
【0042】
加速度センサー12の出力信号S、S、Sには、それぞれ、楽器の操作により生じた楽音の振動の他に、楽器に取り付けられたセンサーデバイス10の傾き状況(姿勢)によって変化する加速度信号(重力加速度)が含まれている。そこで、姿勢検出部34は、加速度センサー12の出力信号S、S、Sの変化を検出することにより、楽器の姿勢を示す姿勢情報を検出する。なお、加速度センサー12によって検出された重力加速度の値は、直流のバイアス値として出力されるようにしてもよい。
【0043】
姿勢検出部34は、加速度センサー12の出力信号S、S、Sに基づき、センサーデバイス10が取り付けられた楽器の姿勢(傾き、向き)を示す姿勢情報を検出する。姿勢検出部34が検出した姿勢情報は、送信情報生成部32を介して操作デバイス50に送信可能となっている。姿勢検出部34は、本発明の姿勢検出手段の一例である。
【0044】
後述するように、操作デバイス50は、楽器MIを上下に振った場合等の加速度の変化と、操作内容との関係を記憶している。操作デバイス50は、センサーデバイス10の姿勢検出部34によって検出された加速度の変化を取得し、センサーデバイス10が取り付けられた楽器MIの動きを検出することにより操作入力を受け付けることが可能となる。また、楽器MIに取り付けられたセンサーデバイス10の姿勢と、楽器MIに対する操作との組み合わせにより、操作入力を可能としてもよい。例えば、楽器MIがギターの場合には、ギターの向き及び傾き角度と、特定の弦に対する操作(振動)との組み合わせにより操作入力を可能としてもよい。
【0045】
また、加速度センサー12に加えて角速度センサー(ジャイロセンサー)を設けることにより、ユーザーの挙動をより詳細に検出して、操作入力に利用できるようにしてもよい。
【0046】
(操作デバイス)
次に、操作デバイスについて、図3を参照して説明する。図3は、本発明の第1の実施形態に係る操作デバイスを示すブロック図である。
【0047】
図3に示すように、本実施形態に係る操作デバイス50は、制御部52、ストレージ54、操作部56、電源部58、表示制御部60、表示部62、音声出力制御部64、スピーカー66、通信モジュール68及び外部接続インターフェース(外部接続I/F)70を含んでいる。操作デバイス50は、専用のデバイスであってもよいが、例えば、スマートホン、タブレット端末、パーソナルコンピューター等の汎用のデバイスに本実施形態に係る機能を実現するためのソフトウェア又はプログラムを適用することによって実現することも可能である。
【0048】
制御部52は、操作デバイス50の各部の動作を制御するCPUと、CPUの作業領域として使用されるSDRAM(Synchronous Dynamic Random Access Memory)とを含んでいる。制御部52は、操作部56を介してユーザーからの操作入力を受け付け、操作入力に応じた制御信号を操作デバイス50の各部に送信して各部の動作を制御する。制御部52は、調律情報生成部520、演奏支援情報生成部522、動作判別部524、リンク状態検出部526、位置情報取得部528及び警告出力部530として機能する。
【0049】
ストレージ54は、CPUにより実行されるプログラム及びデータを格納する不揮発性メモリーを含んでいる。ストレージ54に含まれる不揮発性メモリーとしては、例えば、SSD(Solid State Drive)、eMMC(embedded Multi Media Card)等のフラッシュメモリーを含む記憶装置、HDD(Hard Disk Drive)等の磁気ディスクを含む記憶装置等を用いることができる。ストレージ54には、調律対象の音名(音階)と周波数(基準周波数F)の対応関係を示すテーブル(例えば、A4=440Hz等)が格納される。
【0050】
操作部56は、ユーザーからの操作入力を受け付ける手段である。操作部56としては、例えば、表示部62の表面等に設けられたタッチパネル、マウス等のポインティングデバイス、キーボード等を用いることができる。操作部56は、本発明の操作手段の一例である。
【0051】
電源部58は、操作デバイス50の各部に電力を供給するための一次電池又は二次電池を含んでいる。なお、電源部58は、商用電源を操作デバイス50に適した状態に変換する電源アダプターを含んでいてもよい。
【0052】
表示制御部60は、制御部52からの制御信号に応じて画像信号を生成し、表示部62に入力する。制御部52及び表示制御部60は、本発明の制御手段の一例である。
【0053】
表示部62は、操作GUI(Graphical User Interface)、画像を表示する手段(例えば、液晶ディスプレイ)であり、表示制御部60から入力された画像信号に応じて画像を表示する。表示部62は、本発明の表示手段の一例である。
【0054】
音声出力制御部64は、制御部52からの制御信号に応じて音声信号を生成し、スピーカー66から音声を出力させる。なお、楽器用調律器1を演奏支援装置として使用する場合には、制御部52により、操作デバイス50の音声出力機能が自動的に無効化されるようにしてもよい。
【0055】
通信モジュール68は、センサーデバイス10と通信接続するための手段である。通信モジュール68は、制御部52から出力された制御信号を通信用の信号に変換して、センサーデバイス10に送信する。また、通信モジュール68は、センサーデバイス10から受信した信号を復調して得られたデータを制御部52に入力する。通信モジュール68は、本発明の操作側通信手段の一例である。
【0056】
操作デバイス50は、外部接続I/F70を介して、エフェクター等の外部機器E1及びE2と通信可能に接続されている。なお、図3には、楽器MIを介して操作デバイス50に接続される外部機器E1と、操作デバイス50に直接接続される外部機器E2が例示されているが、外部機器の接続方法及び接続台数はこれに限定されるものではない。
【0057】
外部接続I/F70は、制御部52からの制御信号を通信用の信号に変換して外部機器E1及びE2に送信する。これにより、ユーザーは、操作デバイス50を介して、エフェクター等による音量の調整(増幅、減衰、コンプレッション等)の設定を行うことができる。また、外部接続I/F70は、外部機器E1及びE2から受信した設定等に関する情報を復調して制御部52に入力するようにしてもよい。ここで、操作デバイス50と外部機器E1及びE2との間の通信方式は、有線及び無線のいずれでもよい。
【0058】
(調律モード)
次に、楽器MIの調律を行う場合の処理の流れについて、図4を参照して説明する。図4は、本発明の第1の実施形態に係る楽器用調律器を用いた調律方法を示すフローチャートである。
【0059】
まず、楽器用調律器1のセンサーデバイス10が楽器MIに取り付けられて、調律を開始する場合、操作デバイス50又はセンサーデバイス10からの操作入力に応じて、操作デバイス50及びセンサーデバイス10が楽器MIの調律を行うための調律モードに設定される。操作デバイス50は、ユーザーからの操作入力を受け付けて、調律対象の設定操作を行う(ステップS10)。調律対象としては、楽器MIがギターの場合には、複数の弦にそれぞれ対応する音名に限らず、弦の番号又は弦名を設定するようにしてもよい。調律対象の設定操作が行われると、その設定操作に対応した操作信号が、操作デバイス50からセンサーデバイス10に対して送信される。
【0060】
次に、ユーザーによる楽器MIの操作によって生じた楽音がセンサーデバイス10に入力される(ステップS12)。このとき、センサーデバイス10に備えられる加速度センサー12は、センサーデバイス10に入力された楽音の振動を検出する(ステップS14)。
【0061】
加速度センサー12の出力信号S、S、Sは、波形成形回路14を介して信号選択部22に入力され、波形振幅の最大値と最小値との差が最も大きい出力信号が検出用信号Uとして選択される。そして、周波数検出部24において、選択された検出用信号Uの周波数が検出周波数Fとして検出される(ステップS16)。
【0062】
次に、送信情報生成部32は、周波数検出部24から入力された検出周波数に基づいて、送信情報を生成する。そして、この送信情報は、センサーデバイス10から操作デバイス50に送信される(ステップS18)。
【0063】
次に、操作デバイス50において、通信モジュール68は、センサーデバイス10から受信した送信情報を復調して制御部52に入力する。そして、制御部52(調律情報生成部520)は、この送信情報に基づいて、ユーザーによる調律を支援するための調律情報を生成する(ステップS20)。
【0064】
具体的には、制御部52(調律情報生成部520)は、センサーデバイス10が取り付けられた楽器MIの操作に対応する検出周波数Fを送信情報から取得し、この検出周波数Fに基づいて、音高及びピッチの判定を行う。
【0065】
また、制御部52(調律情報生成部520)は、ステップS10において調律対象として設定した音名に対応する基準周波数Fをストレージ54から読み出し、検出周波数Fと基準周波数Fとの偏差(以下、「周波数偏差」という。)ΔFを検出する。ここで、調律情報生成部520は、本発明の周波数偏差検出手段の一例である。
【0066】
次に、制御部52(調律情報生成部520)は、生成した調律情報を表示制御部60に出力する。表示制御部60は、楽器MIの調律情報として、調律対象の音名(又は弦の番号、弦名等)、音高、ピッチ、その音名から決定される基準周波数Fとの周波数偏差ΔF等を、表示部62に表示させる(ステップS22)。また、調律情報として、楽器MIに対する具体的な操作の示唆(例えば、ギターの場合、どの糸巻を締める又は緩めるかに関する示唆)等を表示部62に表示させる。これにより、ユーザーは、表示部62に表示された調律情報及び調律情報を参照しながら楽器MIの調律を行うことができる。なお、表示部62に表示される情報としては、これらの調律情報に限らず、他の調律情報を含んでいてもよい。
【0067】
次に、調律を継続する場合、ユーザーによる楽器MIの操作によって生じた楽音が再度入力される(ステップS24のYes)。すると、ステップS12からS22が繰り返されて、調律情報が表示部62に表示される(ステップS22)。
【0068】
調律対象の楽音等(例えば、ギターの弦)のすべてについての調律が終了し、操作デバイス50の操作部56から調律終了の指示が入力されると(ステップS26のYes)、操作デバイス50における調律モードが終了する(ステップS28)。そして、操作デバイス50からセンサーデバイス10に、調律終了の指示が送信されて、センサーデバイス10においても調律モードが終了する(ステップS30)。
【0069】
このように本実施形態によれば、楽器の操作により生じた楽音の振動は、加速度センサー12によって検出される。この加速度センサー12は、互いに直交する3つの検出軸を有する3軸加速度センサーで構成されるので、3つの検出軸の出力信号のうち最も信号強度が大きくなる検出軸の出力信号を用いて、楽器の操作により生じた楽音の振動の周波数(検出周波数F)を検出することが可能となる。これにより、楽器に対するセンサーデバイス10の取り付け位置や向きに影響されることなく、楽器から発生する楽音の振動を的確に捉えることができる。したがって、使い勝手が良く、安定かつ正確な調律が可能となる。
【0070】
なお、本実施形態では、好ましい態様の一例として、加速度センサー12を3軸加速度センサーで構成したが、これに限らず、加速度センサー12は、互いに直交する2つの検出軸を有する2軸加速度センサーで構成されていてもよい。この場合にも、1軸方向のみの感度を有する振動センサーを備えた従来の調律器に比べて、使い勝手が良く、安定かつ正確な調律が可能となる。
【0071】
また、本実施形態では、調律モードの設定及び終了を操作デバイス50の操作部56から行うようにしたが、センサーデバイス10の加速度センサー12を用いて、操作内容と関連づけられた加速度の変化を検出することにより調律モードの設定及び終了を指示するようにしてもよい。また、調律モードの設定及び終了は、センサーデバイス10及び操作デバイス50に対して個別に指示するようにしてもよい。
【0072】
また、センサーデバイス10から操作デバイス50に伝送するデータは、例えば、センサーデバイス10のID情報、加速度センサー12の各軸の値、加速度センサー12の任意の軸の周期値等を伝送することも考えられる。しかしながら、センサーデバイス10から操作デバイス50へのデータの伝送量が大きいと、センサーデバイス10の消費電力が大きくなり、センサーデバイス10の電池での稼働時間が短くなる。このため、操作デバイス50において、伝送するデータの種類を選択可能として、必要最小限とすることが好ましい。本実施形態では、センサーデバイス10において、加速度センサー12の3軸の値のうち最も強い信号、又は各軸の値の合成値からその検出周波数F及び周波数偏差ΔFを算出し、周波数偏差ΔFを操作デバイス50に伝送するようにした。これにより、調律モードにおけるセンサーデバイス10と操作デバイス50との間のデータの伝送量を抑制し、それぞれの電源部の電池を長持ちさせることができる。
【0073】
(演奏支援モード)
ところで、楽器MIの演奏を行う場合、例えば、演奏状況を客観的に解析したり、楽器MIの音響効果を調整するためのエフェクター等の外部機器を簡易に制御することが求められている。
【0074】
本実施形態に係る楽器用調律器1は、加速度センサー12による検出信号を利用して、上記のような演奏支援に適用することが可能である。図5は、本発明の第1の実施形態に係る演奏支援方法を示すフローチャートである。
【0075】
まず、操作デバイス50において演奏支援モードが設定されると(ステップS40)、演奏支援モードへの設定指示がセンサーデバイス10に送信される。センサーデバイス10の演算制御部16は、演奏支援モードへの設定指示を受け付けると、演奏中の動作検出を開始する(ステップS42)。一方、操作デバイス50は、センサーデバイス10からの楽器MIの動作の入力待ち状態になる(ステップS44)。
【0076】
次に、センサーデバイス10の加速度センサー12により、楽器MIの動きが検出されると(ステップS46のYes)、送信情報生成部32は、XYZ軸ごとの加速度及びその時間変化の情報を含む動きの測定値を含む送信情報を生成する。通信モジュール18は、この送信情報を操作デバイス50に送信する(ステップS48)。ここで、動きの測定値としては、加速度センサー12による検出信号をそのまま用いてもよい。
【0077】
次に、操作デバイス50において、制御部52(動作判別部524)は、センサーデバイス10から受信した動きの測定値を解析して、楽器MIの動きを判別する(ステップS50)。制御部52(演奏支援情報生成部522)は、楽器MIの動きに応じて、ユーザーの演奏をアシストするための演奏支援情報を生成する。そして、制御部52(演奏支援情報生成部522)は、この演奏支援情報に基づいて、表示制御部60を制御して表示部62の表示を制御して、ユーザーに対する演奏支援を行う(ステップS52)。
【0078】
ここで、ユーザーに対する演奏のアシストの態様としては、次の(1)から(3)に列挙するものが考えられる。
【0079】
(1)演奏状況の検出
制御部52(演奏支援情報生成部522及び動作判別部524)により、センサーデバイス10の加速度センサー12から出力された信号に基づいて演奏状況を解析して、演奏支援情報を生成することが考えられる。例えば、センサーデバイス10において、演算制御部16は、楽器MIの演奏状況をもっともよく捉えた加速度センサー12の軸の値(例えば、最も強い信号)、又は各軸の値の合成値から最適値を算出し、この最適値のデータを操作デバイス50に送信する。ここで、センサーデバイス10と操作デバイス50との間の伝送帯域に余裕がある場合には、センサーデバイス10から操作デバイス50にXYZの3軸すべてのデータを伝送して、操作デバイス50側で最適値を算出してもよい。
【0080】
次に、操作デバイス50において、制御部52は、この最適値又は3軸すべてのデータを用いてFFT(Fast Fourier Transform)解析等を行い、演奏している音程、和音の状況、及びテンポ等を算出する。制御部52は、これらの算出値を表示制御部60に出力して表示部62に表示させる。これにより、ユーザーは、操作デバイス50の表示部62に表示された算出値を参照しながら、演奏又は練習をすることが可能になる。
【0081】
(1)の例では、制御部52は、例えば、演奏中の楽曲の楽譜を読み取って、楽譜から読み取られた音程等と、上記の算出値を比較することにより、演奏状況の評価を行い、演奏状況の評価結果(例えば、演奏状況の評価を示すスコア、又は「テンポが早すぎる」等のメッセージ等)を表示部62に表示させるようにしてもよい。
【0082】
(2)エフェクター等の外部機器(E1、E2)との連携(モーション検出)
外部機器(E1、E2)との連携を行う場合、制御部52は、楽器MIの動き(モーション)と、エフェクター等の外部機器(E1、E2)への指示内容との対応関係をあらかじめ記憶しておく。そして、制御部52は、センサーデバイス10から送信された加速度の大きさ及び向きを示す信号に基づいて楽器MIに加えられた動作を検出し、外部機器(E1、E2)に設定変更の指示を送信する。例えば、楽器MIがすばやく持ち上げられた場合(鉛直上方向の加速度が閾値以上)に音量を大きくしたり、楽器MIとしてのギターのヘッドが振られた場合(ある軸に対する加速度又は角速度が周期的に変化した場合)に音量の変化幅を拡大又は圧縮する等、楽器MIに加えられる動作と指示内容との関連づけが可能である。これにより、ユーザーは、エフェクター等の外部機器(E1、E2)に対する指示を演奏中に容易に行うことが可能になる。
【0083】
なお、外部機器(E1、E2)に出力された指示内容(例えば、「音量を上げました。」、「音量の変化幅を拡大しました。」)は、操作デバイス50の表示部62に表示して、ユーザーが意図した指示がされたかどうかを確認できるようにしてもよい。
【0084】
(3)操作デバイス50における楽譜等の表示(モーション検出)
制御部52は、演奏支援モード時において、表示部62に演奏中の楽曲の楽譜を表示させるようにしてもよい。この場合、楽譜データの形式としては、例えば、PDF(Portable Document Format)、PostScript、EPS(Encapsulated PostScript)、ePub(electronic Publication)、Music XML(eXtensible Markup Language)等、又は楽譜作成ソフトウェアの独自フォーマット等の任意の形式を用いることができる。このような楽譜のデータは、ストレージ54にあらかじめ格納されていてもよいし、インターネット等を介して取得できるようになっていてもよい(第2の実施形態参照)。(3-1)制御部52は、楽器MIの動きの測定値に応じて演奏の進行状況を検出し、図6に示すように、演奏箇所を示す矢印等の画像を楽譜に重畳表示させ、演奏の進行状況に応じて移動させる。(3-2)また、制御部52は、演奏の進行状況に応じて楽譜のページ送りを行ったり、楽器MIの動きに応じて楽譜のページ戻しを行うようにしてもよい。(3-3)また、制御部52は、演奏の速度に応じて一画面に表示させる楽譜のページ数を増減させてもよい(例えば、演奏速度が速いほどページ数を増やす等)。
【0085】
ここで、(2)の外部機器(E1、E2)に対する指示、又は(3)の操作デバイス50における楽譜等の表示の変更指示を行う場合、モーション検出は、センサーデバイス10及び操作デバイス50のどちらで行ってもよい。モーション検出を操作デバイス50で精度よく行うためには、加速度センサー12の3軸のデータと、角速度センサー3軸のデータとを操作デバイス50に伝送することが好ましい。ユーザーが楽器MIに加えるモーションは、楽器MIの演奏による振動(例えば、弦の振動)と比較して非常に遅い(周波数が小さい)。そこで、加速度センサー12及び角速度センサーにおけるサンプリング周波数を下げる(例えば、100Hz程度)ことで伝送する情報量を減らすことが可能となる。また、モーション検出のための信号の量子化ビット数も12ビットから8ビットのように減らすことも可能である。
【0086】
また、(1)の演奏支援と(2)及び(3)のモーション検出とは、センサーデバイス10と操作デバイス50との間の伝送帯域に余裕があれば同時に実現することが可能である。これは、加速度センサー12及び角速度センサーから得られるデータを可能な限り多く操作デバイス50に伝送し、操作デバイス50側で情報を切り分けて使用することが可能であるからである。
【0087】
例えば、加速度センサー12の3軸のデータと、角速度センサー3軸のデータの合計6軸のデータが各4kHzのサンプリングレート、12ビットで伝送されている場合、モーション検出には6軸すべてのデータを20回に1回の割合で取得し、見かけ上サンプリングレートを200Hz程度にすることも可能であるし、12ビットのデータから有効な8ビットのデータのみを取り出して採用することも可能である。このとき、20回分のデータの加算平均を取ることも可能である。また、加速度センサー12から出力される各軸のデータのうち、モーション検出に同時に必要な軸のデータのみをそのまま解析することも可能である。この場合、例えば、モーションが直線的である場合には、加速度センサー12の3軸のデータの絶対値を比較して、絶対値が最大の1つの軸のデータのみを解析対象としてもよい。また、モーションが平面的である場合には、絶対値が最小のデータを除く2軸のデータのみを解析対象としてもよい。
【0088】
次に、センサーデバイス10において、加速度センサー12により動きが検出されない状態が所定時間継続した場合に、演算制御部16は、演奏が終了したと判定し(ステップS54のYes)、演奏支援モードを終了させる(ステップS56)。さらに、演算制御部16は、演奏支援モードの終了指示を操作デバイス50に送信して、操作デバイス50において演奏支援モードを終了させる(ステップS58のYes及びS60)。
【0089】
本実施形態によれば、楽器用調律器1の加速度センサー12を用いて演奏の進行状況を判定し、楽譜の表示を制御することにより、ユーザーの演奏を容易にすることが可能になる。
【0090】
なお、本実施形態では、操作デバイス50からセンサーデバイス10に対して演奏支援モードの設定指示を行う一方、センサーデバイス10における演奏終了の判定に基づいて、演奏支援モードの終了指示を行うようにしたが、本発明はこれに限定されない。センサーデバイス10から操作デバイス50に対して演奏支援モードの設定指示を行ってもよいし、操作デバイス50から演奏支援モードの終了指示を行ってもよいし、センサーデバイス10及び操作デバイス50に対して個別に演奏支援モードの設定及び終了の操作入力を行ってもよい。
【0091】
(楽器管理モード)
ところで、楽器MIの演奏を行わない不使用時には、楽器MIが転倒したり、ユーザー以外の者によって誤って移動されることがあり得る。本実施形態に係る楽器用調律器1は、加速度センサー12及び通信機能を利用して、楽器MIの管理(不使用時の動き検出)を行うことも可能である。図7は、本発明の第1の実施形態に係る楽器管理方法を示すフローチャートである。
【0092】
まず、操作デバイス50において楽器管理モードが設定されると(ステップS70)、楽器管理モードへの設定指示がセンサーデバイス10に送信される。センサーデバイス10の演算制御部16は、楽器管理モードへの設定指示を受け付けると、非演奏時(楽器を不使用時、例えば、楽器の保管時、休憩時等)の動作検出を開始する(ステップS72)。一方、操作デバイス50は、センサーデバイス10からの楽器MIの動作の入力待ち状態になる(ステップS74)。
【0093】
なお、楽器管理モードは、例えば、センサーデバイス10が取り付けられた楽器MIがケースに格納されたことが検出された場合に、自動的に設定されるようにしてもよい。この場合、例えば、〈1〉楽器MIが一定時間制止していることをセンサーデバイス10が検出した場合、又は〈2〉楽器MIのケースに内蔵されたセンサー(例えば、RFID(Radio Frequency IDentifier)等の近距離通信用のセンサーをセンサーデバイス10が検出した場合に、楽器管理モードが自動的に設定されるようにしてもよい。また、センサーデバイス10に光センサー(例えば、フォトダイオード、太陽電池等)を設けて、〈3〉光センサーからの検出出力が所定値以下となった場合、又は所定値以下の状態が所定時間継続した場合に、センサーデバイス10が取り付けられた楽器MIがケースに収納されたとして、楽器管理モードが自動的に設定されるようにしてもよい。また、楽器MIが収納されるケースに磁石を取り付け、センサーデバイス10にホールセンサーを取り付けて、〈4〉ホールセンサーがケースの磁石を検出した場合に、楽器管理モードが自動的に設定されるようにしてもよい。
【0094】
次に、センサーデバイス10の加速度センサー12により、楽器MIの動きが検出されると(ステップS76のYes)、送信情報生成部32は、XYZ軸ごとの加速度及びその時間変化の情報を含む動きの測定値を含む送信情報を生成する。通信モジュール18は、この送信情報を操作デバイス50に送信する(ステップS78)。
【0095】
次に、操作デバイス50において、制御部52(動作判別部524)は、センサーデバイス10から受信した動きの測定値を解析して、楽器の動きを判別する(ステップS80)。そして、動きの測定値が閾値以上の場合(ステップS80のYes)、制御部52(警告出力部530)は、表示制御部60及び音声出力制御部64に警告の出力を指示する制御信号を出力し、表示部62における警告表示及びスピーカー66からの警告音の出力を行い(ステップS82)、ステップS74に戻る。ステップS80からS82では、例えば、楽器MIを保管している状況下で、センサーデバイス10が取り付けられた楽器MIの移動が検出された場合に警告を出力させることにより、楽器MIの転倒又は移動をユーザーに知らせることができる。これにより、楽器MIの紛失又は盗難を防止することが可能になる。
【0096】
次に、楽器管理モードを終了し、電源をOFFする場合には、操作デバイス50の操作部56から電源OFF指示が入力され(ステップS84のYes)、操作デバイス50の電源がOFFになる(ステップS86)。そして、操作デバイス50からセンサーデバイス10に対して、電源OFF指示が送信され(ステップS88のYes)、センサーデバイス10の電源がOFFになる(ステップS90)。
【0097】
本実施形態によれば、楽器用調律器1の加速度センサー12を用いて非演奏時に楽器MIの動きを検出することにより、楽器MIの転倒又は移動をユーザーに知らせることができる。これにより、楽器MIの紛失又は盗難を防止することが可能になる。
【0098】
また、本実施形態に係る楽器用調律器1の通信機能を、楽器MIの管理(紛失又は盗難の防止)に利用することも可能である。図8は、本発明の第1の実施形態に係る楽器管理方法の別の例を示すフローチャートである。
【0099】
まず、操作デバイス50において楽器管理モードが設定されると(ステップS100)、楽器管理モードへの設定指示がセンサーデバイス10に送信される。センサーデバイス10の演算制御部16は、楽器管理モードへの設定指示を受け付けると、リンク状態(通信が可能な状態か否か)の監視を開始し、応答要求待ち状態になる(ステップS102からS118)。
【0100】
操作デバイス50の制御部52(リンク状態検出部526)は、所定時間(例えば、1秒から数秒)ごとに、センサーデバイス10に対して応答を要求する応答要求信号を送信する(ステップS104)。センサーデバイス10と操作デバイス50との間のリンク状態が維持されている場合には、応答要求信号がセンサーデバイス10に到達し、センサーデバイス10から操作デバイス50に対して、応答要求信号に対する応答信号が送信される(ステップS106のYes及びステップS108)。ここで、応答要求信号及び応答信号には、それぞれ操作デバイス50及びセンサーデバイス10を特定するためのID(Identification)情報が含まれていてもよい。制御部52は、センサーデバイス10からの応答信号を受信することにより(ステップS110)、センサーデバイス10との間のリンク状態が継続しているか否かを判定する。ステップS102からS112までの処理を所定時間ごとに繰り返すことにより、リンク状態を継続的に監視することが可能になる。
【0101】
センサーデバイス10が取り付けられた楽器MIを置き忘れた場合等には、センサーデバイス10と操作デバイス50との間の距離が離れて通信接続が切れる。この場合、応答要求信号又は応答信号の不達により、操作デバイス50において応答信号が受信されなくなる(ステップS110のNo)。この場合、制御部52(警告出力部530)は、表示制御部60及び音声出力制御部64に警告の出力を指示する制御信号を出力し、表示部62における警告表示及びスピーカー66からの警告音の出力を行う(ステップS114)。ステップS114では、センサーデバイス10と操作デバイス50との間の通信接続が切れたことが検出された時点(リンク切れの時点)で警告が出力されるので、楽器MIの置き忘れ等による紛失及び盗難を防止することが可能になる。ここで、警告出力部530、表示部62及びスピーカー66は、本発明の警告出力手段の一例である。
【0102】
また、制御部52(位置情報取得部528)は、操作デバイス50の現在位置を示す位置情報を取得して、この位置情報と、リンク切れを検出した日時の情報を含む警告情報をストレージ54に格納する(ステップS116)。位置情報は、例えば、操作デバイス50の無線LAN接続のアクセスポイント情報から取得してもよいし、操作デバイス50がGPS(Global Positioning System)機能を有する場合には、GPS情報を取得してもよい。ここで、ストレージ54は、本発明の位置情報記憶手段として機能する。これにより、ユーザーは、リンク切れの時点の操作デバイス50の位置情報を参照することにより、センサーデバイス10が取り付けられた楽器MIを置き忘れた場所を推定することが可能になる。
【0103】
一方、センサーデバイス10において、操作デバイス50からの応答要求信号が所定時間(例えば、数分)以上受信されなかった場合には(ステップS118のYes)、不図示のLED又はスピーカー等により警告音を出力する(ステップS120)。これにより、操作デバイス50及び楽器MIの置き忘れを確実に防止することが可能になる。
【0104】
本実施形態では、楽器用調律器1の通信機能を用いて、紛失及び盗難の防止のための楽器の管理を行うことが可能になる。
【0105】
なお、本実施形態では、応答要求信号に操作デバイス50の現在位置を示す位置情報を含めておき、センサーデバイス10において、リンク切れ(ステップS118のYes)の直前に受信した応答要求信号に含まれていた位置情報を警告情報として、記憶部30に格納してもよい。これにより、ユーザーは、リンク切れの直前の位置情報を参照することができるので、操作デバイス50を置き忘れた後に、置き忘れた場所を特定することが可能になる。
【0106】
また、センサーデバイス10がGPS機能を有する場合には、センサーデバイス10において、リンク切れ(ステップS118のYes)の時点の位置情報を警告情報として記憶部30に格納してもよい。また、この場合、センサーデバイス10から操作デバイス50に送信する応答信号にセンサーデバイス10の位置情報を含めておき、操作デバイス50において、リンク切れ(ステップS110のNo)の直前に受信した応答信号に含まれていた位置情報を警告情報としてストレージ54に格納してもよい。これにより、ユーザーは、操作デバイス50において、リンク切れ直前のセンサーデバイス10の位置情報を閲覧することができるので、センサーデバイス10が取り付けられた楽器MIを置き忘れた後に、置き忘れた場所を特定することが可能になる。
【0107】
また、リンク切れが検出され、警告の出力及び警告情報の格納が実行された後は、センサーデバイス10及び操作デバイス50の電源をOFFにするようにしてもよいし、リンク状態の検出を継続して行うようにしてもよい。リンク状態の検出を継続して行う場合には、リンク状態が復活した場合(一時的な電波障害又はリンク切れであった場合)に、警告の出力を停止したり、記憶部30又はストレージ54に格納された警告情報を消去するようにしてもよい。
【0108】
また、図7及び図8に示す例では、操作デバイス50からセンサーデバイス10に対して楽器管理モードの設定指示及び終了指示(電源OFF指示)を行うようにしたが、本発明はこれに限定されない。センサーデバイス10から操作デバイス50に対して楽器管理モードの設定及び終了指示を行ってもよいし、センサーデバイス10及び操作デバイス50に対して個別に楽器管理モードの設定及び終了の操作入力を行ってもよい。
【0109】
なお、センサーデバイス10は、楽器MIの部品の一部、例えば、ギターの場合にはヘッド部等に組み付けて分解不可能としておくことが好ましい。これにより、楽器MIの紛失及び盗難をより確実に防止することができる。
【0110】
また、センサーデバイス10が楽器MIに対する着脱が容易なもの(例えば、クリップ式等)であっても、楽器MIの楽器ケース等にセンサーデバイス10を収容することにより、楽器MIの紛失及び盗難を防止することができる。
【0111】
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。なお、以下の説明では、第1の実施形態と同様の構成については、同一の符号を付して説明を省略する。
【0112】
図9は、本発明の第2の実施形態に係る楽器用調律器を示すブロック図であり、図10は、本発明の第2の実施形態に係る操作デバイスを示すブロック図である。
【0113】
図9に示すように、本実施形態に係る楽器用調律器1Aは、ネットワークNW(例えば、インターネット、VPN(Virtual Private Network)等)を通じて、サーバー100及び講師端末200との間で通信可能に接続されている。ここで、講師端末200は、例えば、タブレット端末、パーソナルコンピューター、ワークステーション等である。本実施形態では、サーバー100を介して、音楽講師(以下、講師という。)から演奏の練習に関して指導を受けることが可能となっている。さらに、本実施形態では、サーバー100を利用した楽器MIの管理を行うことが可能となっている。
【0114】
図11は、本発明の第2の実施形態に係るサーバーを示すブロック図である。図11に示すように、本実施形態に係るサーバー100は、制御部102、ストレージ104、操作部106、表示部108及び通信モジュール110を備えている。
【0115】
制御部102は、サーバー100の各部の動作を制御するCPUと、CPUの作業領域として使用されるSDRAMとを含んでいる。制御部102は、操作部106を介してユーザーからの操作入力を受け付け、操作入力に応じた制御信号をサーバー100の各部に送信して各部の動作を制御する。制御部102は、後述する演奏支援データ処理部112及び楽器ステータス情報処理部114として機能する。
【0116】
ストレージ104は、CPUにより実行されるプログラム及びデータを格納する不揮発性メモリーを含んでいる。ストレージ104に含まれる不揮発性メモリーとしては、例えば、SSD、eMMC等のフラッシュメモリーを含む記憶装置、HDD等の磁気ディスクを含む記憶装置等を用いることができる。ストレージ104には、後述のデータベースが格納される(図12及び図14参照)。
【0117】
操作部106は、ユーザーからの操作入力を受け付ける手段であり、例えば、マウス等のポインティングデバイス、キーボード等を含んでいる。
【0118】
表示部108は、サーバー100の操作GUI、画像を表示する手段(例えば、液晶ディスプレイ)であり、制御部102から入力された画像信号に応じて画像を表示する。
【0119】
通信モジュール110は、ネットワークNWと通信接続するための手段であり、ネットワークNWの通信方式にしたがって、サーバー100に入出力される信号の変換を行う。
【0120】
(演奏支援モード)
次に、本実施形態に係る演奏支援モードについて説明する。
【0121】
図10に示すように、操作デバイス50Aの制御部52Aは、第1の実施形態で説明した機能に加えて、指導情報処理部532として機能する。
【0122】
本実施形態では、センサーデバイス10が取り付けられた楽器MIを用いて演奏の練習が行われた場合に、センサーデバイス10の演算制御部16は、通信モジュール18を介して、加速度センサー12からの検出信号を含む送信情報を操作デバイス50Aに送信する。操作デバイス50Aの制御部52A(指導情報処理部532)は、練習中にセンサーデバイス10から取得した送信情報を用いて、練習の結果に関する練習結果情報を生成する。そして、制御部52A(指導情報処理部532)は、ユーザーを特定するためのユーザー特定情報とともに、練習結果情報をサーバー100に送信する。
【0123】
ここで、練習結果情報には、例えば、(A)図5に示した演奏支援モードにおいて生成された演奏状況の評価、及びその履歴が含まれていてもよい。また、練習結果情報には、例えば、(B)エフェクター等の外部機器(E1、E2)に対する指示及びそのタイミングに関する情報が含まれていてもよい。講師は、これらの情報を、演奏状況の評価に対するユーザーの反応、及びエフェクター操作の習熟度に対する評価等に利用することが可能である。なお、練習結果情報は、これらに限定されるものではない。
【0124】
サーバー100の制御部102(演奏支援データ処理部112)は、この練習結果情報を受信して、ユーザー特定情報からこのユーザーを担当する講師を特定し、その講師の講師端末200に練習結果情報を送信する。
【0125】
講師は、講師端末200を用いて、サーバー100から受信した練習結果情報を参照しながら、ユーザーへのアドバイスを含む指導情報を作成し、サーバー100に送信する。サーバー100の制御部102(演奏支援データ処理部112)は、この指導情報を操作デバイス50Aに送信する。ユーザーは、この指導情報をサーバー100から受信して、練習の参考にすることができる。これにより、ユーザーは、音楽教室に通うことなく、任意のタイミングで、遠隔的な音楽の指導を受けることが可能になる。
【0126】
ここで、指導情報には、ユーザーが練習する楽曲の楽譜を含むテキストの情報が含まれていてもよい。また、これらのテキスト情報は、ユーザーがサーバー100から閲覧及びダウンロード可能となっていてもよい。
【0127】
図12は、本発明の第2の実施形態に係る演奏支援方法で使用されるデータの関係を示すブロック図である。
【0128】
図12に示すように、本実施形態では、ユーザー登録情報、講師登録情報及び指導履歴情報を含む関係データベースが用いられる。サーバー100は、このデータベースを用いて、ユーザーの操作デバイス50Aと講師端末200との間の演奏の練習支援を行うことが可能となっている。
【0129】
ユーザー登録情報は、ユーザー特定情報として、ユーザーに個別に割り振られたユーザーID、操作デバイスに個別に割り振られたデバイスID(センサーデバイス10及び操作デバイス50AのID)を含んでいる。ユーザー登録情報は、ユーザーに関する情報として、ユーザー名(例えば、氏名等)、ユーザー情報(例えば、住所、電話番号、電子メールアドレス等の連絡先情報、本実施形態に係るシステム(演奏支援システム及び楽器管理システム)の利用に関する情報、その他の個人情報)を含んでいる。
【0130】
講師登録情報は、講師特定情報として、講師及び講師端末200にそれぞれ個別に割り振られた講師ID及び講師端末IDを含んでいる。さらに、講師登録情報は、講師名(例えば、氏名等)、講師情報(例えば、住所、電話番号、電子メールアドレス等の連絡先情報、本実施形態に係るシステムの利用に関する情報、その他の個人情報)を含んでいる。
【0131】
ここで、デバイスID及び講師端末IDとしては、例えば、IP(Internet Protocol)アドレス、MAC(Media Access Control)アドレスを用いることができる。また、操作デバイス50A又は講師端末200がスマートホンの場合には、デバイスID及び講師端末IDとして電話番号を用いることも可能である。また、ユーザーID及び講師IDを使用せずに、デバイスIDのみでユーザー及び講師を特定することも可能である。
【0132】
指導履歴情報は、ユーザーIDがその担当講師の講師IDと関連づけられて格納されており、ユーザーと、ユーザーを担当する講師の対応関係が特定される。1人のユーザーに対して、楽器の種類ごとに複数の担当講師がいる場合には、ユーザーID及び講師IDと、その担当講師が担当する楽器の種類を示す情報が関連づけられて格納されるようにしてもよい。指導履歴情報は、練習履歴データ及び指導履歴データを含んでいる。
【0133】
練習履歴データは、ユーザーの操作デバイス50Aから受信した練習結果に関するデータを蓄積したものである。この練習結果データは、例えば、クラウドサービスの予定管理(カレンダー)アプリケーション又はタスク管理アプリケーションと連携させて、練習のスケジュール及び実績(例えば、講師から課された課題、練習時間、又はスコアの達成状況)の管理を行うことも可能である。このようなクラウドサービスは、サーバー100を介して提供されるようにしてもよい。
【0134】
指導履歴データは、講師端末200からユーザーに対して送信された指導情報を蓄積したものである。
【0135】
サーバー100の制御部102は、ユーザーID又は講師IDを主キーとして、各情報に含まれるデータを必要に応じて呼び出すことが可能となっている。
【0136】
図13は、本発明の第2の実施形態に係る演奏支援方法(演奏指導)を示すフローチャートである。
【0137】
まず、本実施形態に係るシステム(演奏支援システム)の演奏支援機能を利用するに先立って、ユーザー情報の登録が行われる。すなわち、操作デバイス50Aからユーザー情報が送信され(ステップS200)、サーバー100において、ユーザー登録情報として登録される(ステップS202)。
【0138】
次に、図5に示した演奏支援モードを用いた楽器MIの演奏の練習が終了すると、操作デバイス50Aからサーバー100に、ユーザーID及び練習結果情報が送信される(ステップS204)。
【0139】
サーバー100の制御部102(演奏支援データ処理部112)は、受信したユーザーIDに基づいて、対応する指導履歴情報に含まれる練習履歴データを呼び出して、その中に練習結果情報を蓄積する。そして、制御部102(演奏支援データ処理部112)は、受信したユーザーIDに基づいて担当講師を特定して、特定した担当講師の講師端末200に練習結果情報を送信する(ステップS206)。
【0140】
講師は、講師端末200により、ユーザーの練習結果情報を閲覧して、指導情報(例えば、ユーザーに対して練習メニュー及び楽曲を指示する情報、ユーザーに対するアドバイス等)を作成して送信する(ステップS208)。
【0141】
制御部102(演奏支援データ処理部112)は、講師端末200から講師ID及び指導情報を受信すると、受信した講師IDに基づいて、対応する指導履歴情報に含まれる指導履歴データを呼び出して、その中に指導情報を蓄積する。そして、制御部102(演奏支援データ処理部112)は、受信した講師IDに基づいて対象ユーザーを特定して、特定したユーザーの操作デバイス50Aに指導情報を送信する(ステップS206)。これにより、ユーザーは、操作デバイス50Aに指導情報を表示させて閲覧することが可能になる(ステップS212)。
【0142】
本実施形態によれば、ユーザーは、音楽教室に通うことなく、遠隔的な音楽の指導を受けることが可能となる。
【0143】
(楽器管理モード)
次に、本実施形態に係る楽器管理モードについて説明する。
【0144】
本実施形態では、サーバー100に登録されたデバイスIDと、センサーデバイス10の通信機能を利用して、センサーデバイス10が取り付けられた楽器MIの管理を行うことが可能となっている。
【0145】
図14は、本発明の第2の実施形態に係る楽器管理方法で使用されるデータの関係を示すブロック図である。
【0146】
楽器情報は、ユーザーが所有する楽器MIに関する情報を含んでおり、楽器MIに取り付けられたセンサーデバイス10のデバイスIDを介して、ユーザー登録情報と関連づけられている。楽器情報は、デバイスIDに加えて、楽器MIの種類等を示す楽器ID及びステータス情報を含んでいる。ステータス情報は、例えば、センサーデバイス10から取得した楽器MIの位置情報(例えば、直前に取得した最新の位置情報)を含んでいる。楽器MIがレンタルされている場合には、ステータス情報は、その借用者情報を含んでいてもよい。また、ステータス情報は、紛失情報フラグを含んでいてもよい。紛失情報フラグは、操作デバイス50Aからの操作入力に応じてON/OFFが切り替えられるようにしてもよい。
【0147】
図15は、本発明の第2の実施形態に係る楽器管理方法を示すフローチャートである。なお、ステップS220からS228の処理は図8と同様であるため、説明を適宜省略する。
【0148】
まず、操作デバイス50において楽器管理モードが設定され、楽器管理モードへの設定指示がセンサーデバイス10に送信される。センサーデバイス10の演算制御部16は、楽器管理モードへの設定指示を受け付けると、応答要求待ち状態になる。
【0149】
操作デバイス50は、所定時間ごとにセンサーデバイス10に対して応答を要求する応答要求信号を送信する(ステップS220)。センサーデバイス10と操作デバイス50との間のリンク状態が維持されている場合には、応答要求信号がセンサーデバイス10に到達し、センサーデバイス10から操作デバイス50に対して、応答要求信号に対する応答信号が送信される(ステップS222)。
【0150】
制御部52(警告出力部530)は、応答要求信号又は応答信号の不達により、操作デバイス50において応答信号が受信されなくなったこと(リンク切れ)を検出すると(ステップS224)、表示制御部60及び音声出力制御部64に警告の出力を指示する制御信号を出力し、表示部62における警告表示及びスピーカー66からの警告音の出力を行う(ステップS226)。
【0151】
また、制御部52(位置情報取得部528)は、操作デバイス50の現在位置を示す位置情報を取得して、この位置情報と、リンク切れを検出した日時の情報を含む警告情報をストレージ54に格納する(ステップS228)。
【0152】
次に、操作デバイス50の制御部52は、上記位置情報及びリンク切れ検出日時の情報に加えて、センサーデバイス10が取り付けられた楽器MIの所有者情報及び楽器MIを特定するための情報を含むステータス情報を作成してサーバー100に送信する(ステップS230)。
【0153】
サーバー100の制御部102は、操作デバイス50からステータス情報を受信すると、ストレージ104に格納する(ステップS232)。そして、制御部102(楽器ステータス情報処理部114)は、受信したステータス情報から楽器MIに関する公開用のステータス情報を作成し、ネットワークNW等を介して閲覧可能にする(ステップS234)。ここで、公開用のステータス情報は、例えば、操作デバイス50から受信したステータス情報からユーザーの個人情報等を削除したものである。ステップS234では、公開用のステータス情報が閲覧可能な範囲を、例えば、特定のネットワークNW内に限定するようにしてもよい。なお、制御部102は、本発明のステータス情報取得手段の一例である。
【0154】
本実施形態によれば、紛失及び盗難の防止のための楽器の管理を行うことが可能になる。さらに、本実施形態は、楽器に関する公開用のステータス情報を作成して公開することで、楽器MIの盗難の発見等にも利用可能である。例えば、制御部102(楽器ステータス情報処理部114)は、紛失情報フラグがONに設定された楽器MIのステータス情報をネットワークNWを介して公開する。これにより、楽器MIが、楽器の中古市場に持ち込まれた場合に、楽器買い取り業者は、サーバー100に登録された操作デバイス50AのデバイスIDを確認することで、盗品の不正な取引の防止に利用することが可能である。
【0155】
さらに、本実施形態は、楽器MIをレンタルする場合にも適用することが可能である。例えば、貸し出した相手(借用者)に関する情報をステータス情報に含めておくことにより、ユーザーは、楽器MIの所在、借用者を容易に確認することが可能である。
【0156】
なお、センサーデバイス10をネットワークNWに接続可能とすることにより、センサーデバイス10が取り付けられた楽器MIの位置情報(例えば、アクセスポイント情報又はGPS情報)を取得可能としてもよい。これにより、楽器MIを置き忘れた場合でも、操作デバイス50Aを用いて楽器MIの位置情報を確認することができるので、楽器MIの紛失を防止することができる。
【0157】
[その他の実施形態]
なお、上記の各実施形態に係る演奏支援装置及びシステム、並びに楽器管理装置及びシステムは、加速度センサー12を備えた楽器用調律器1又は1Aを利用したものであるが、加速度センサーを備えたセンサーデバイス(調律機能を備えていないもの)により構成されていてもよい。また、上記の各実施形態に係る調律方法、演奏支援方法及び楽器管理方法は、スマートホン、タブレット端末又はパーソナルコンピューターに適用するソフトウェア、又はこのようなソフトウェアが格納された非一時的な有形記録媒体により実現することも可能である。
【0158】
また、上記の各実施形態では、センサーデバイス10に加速度センサー12を設けたが、加速度センサー12に加えて又は加速度センサー12に代えて、マイクロホンを設けてもよい。この場合でも、マイクロホンにより楽器MIからの音響を収集することにより、上記の各実施形態と同様に、管楽器等の楽器の調律及び演奏支援を行うことが可能である。また、加速度センサー12とマイクロホンの両方を備える場合には、上記の各実施形態におけるモーション検出による演奏支援を行うことも可能である。
【0159】
なお、楽器MIの種類によっては、演奏操作を行う部分と、音響を発するスピーカーとが離れた位置関係となることがある。このような位置関係となる楽器MIでは、マイクロホンを備えたセンサーデバイス10を、楽器MIの演奏操作を行う部分に取り付けても、音響を収集することが困難になると考えられる。そのような場合、楽器MIからの音響を収集するマイクロホンを操作デバイス50に設けて、スピーカーからの音響を操作デバイス50のマイクロホンで収集し、ユーザーの演奏中のモーションをセンサーデバイス10の加速度センサー12により捉えるようにしてもよい。これにより、楽器演奏に伴う振動を伴わない楽器(例えば、電子楽器など)に対しても、操作デバイス50において、マイクロホンから取得した音響信号と加速度センサー12からの出力信号とを用いて演奏状況の評価等を行うことが可能になる。
【0160】
また、楽器MIがピアノ等の据え置き状態で使用される場合には、センサーデバイス10の機能を操作デバイス50に含めるようにすることも可能である。
【0161】
また、上記の各実施形態では、少なくとも2つの検出軸を有する加速度センサー12を用いたが、重力加速度を検出可能な少なくとも1軸の加速度センサーを用いて、楽器MIの演奏(楽音)による振動と、ユーザーのモーションによる振動の両方を検出することも考えられる。この場合、楽音による振動、及びモーションによる振動の周波数領域の相違に基づいて、両者を分離することが可能である。なお、1軸の加速度センサーを用いる場合には、加速度センサーの楽器MIへの取付方向を調整することが必要となるが、加速度センサーを用いて楽器MIの動きの検出することにより、加速度センサーから出力される信号の増幅率を調整したり、加速度センサーから出力される信号がデジタル信号の場合には、積算等の信号処理を行ったりしてもよい。
【符号の説明】
【0162】
1、1A…楽器用調律器、10…センサーデバイス、12…加速度センサー、14…波形成形回路、16…演算制御部、18…通信モジュール、22…信号選択部、24…周波数検出部、30…記憶部、32…送信情報生成部、34…姿勢検出部、50、50A…操作デバイス、52、52A…制御部、54…ストレージ、56…操作部、58…電源部、60…表示制御部、62…表示部、64…音声出力制御部、66…スピーカー、68…通信モジュール、70…外部接続I/F、520…調律情報生成部、522…演奏支援情報生成部、524…動作判別部、526…リンク状態検出部、528…位置情報取得部、530…警告出力部、532…指導情報処理部、100…サーバー、102…制御部、104…ストレージ、106…操作部、108…表示部、110…通信モジュール、112…演奏支援データ処理部、114…楽器ステータス情報処理部、200…講師端末、MI…楽器、E1、E2…外部機器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15